Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

사회적 책무성 프레임워크와 그것이 의학교육과 프로그램 평가에 갖는 함의: 내러티브 리뷰(Acad Med, 2020)
Social Accountability Frameworks and Their Implications for Medical Education and Program Evaluation: A Narrative Review 
Cassandra Barber, MA, Cees van der Vleuten, PhD, Jimmie Leppink, PhD, and Saad Chahine, PhD

의과대학이 봉사하고자 하는 인구에 대한 사회적 책무성을 다해야 한다는 국제적인 요구가 계속 제기되어 왔습니다. 사회적 책무성은 많은 교육기관이 추구하는 이상이지만, 이를 측정하는 것은 전 세계적인 과제로 남아 있습니다. 투명성과 책임성에 대한 사회적 요구가 증가함에 따라 의과대학은 사회적 책무성에 대한 더 강력한 증거를 제시해야 한다는 압박에 직면해 있습니다.1,2 
There have been repeated international calls for medical schools to be socially accountable to the populations they intend to serve. While social accountability is an ideal that many institutions strive toward, measuring it remains a global challenge. With increasing societal demands for greater transparency and accountability, medical schools face growing pressures to produce stronger evidence of their social accountability.1,2

1995년 세계보건기구(WHO)는 사회적 책무성을 다음과 같이 정의했습니다: 
In 1995, the World Health Organization (WHO) defined social accountability as:

[의과대학은 교육, 연구 및 봉사 활동을 그들이 봉사해야 하는 지역사회, 지역 및 국가의 우선적인 건강 문제를 해결하는 방향으로 이끌어야 할 의무가 있습니다. 우선적 건강 요구는 정부, 의료 기관, 의료 전문가 및 대중이 공동으로 파악해야 합니다.3 
[T]he obligation of medical schools to direct their education, research and service activities towards addressing the priority health concerns of the community, region, and/or the nation they have a mandate to serve. The priority health needs are to be identified jointly by governments, healthcare organizations, health professionals and the public.3

그 이후로 사회적 책무성에 관한 문헌이 확대되고 이니셔티브의 수가 증가했습니다.4,5 많은 의과대학이 사명 선언문, 프로그램 목표 및 전략 계획에 사회적 책무성 정책을 포함시켰으며 일부 조직은 공식 인증 절차에 포함시켰습니다.5 그러나 증가하는 관심에도 불구하고 사회적 책무성이 측정 가능한 속성으로 운영되는 방법은 여전히 불분명하여 사회적 책무성을 객관적으로 평가하기 어렵습니다.6 
Since then, the literature surrounding social accountability has expanded and the number of initiatives has multiplied.4,5 Many medical schools have embedded social accountability policies in their mission statements, program objectives, and strategic plans, and some organizations have included them in formal accreditation processes.5 Yet despite the growing interest, how social accountability is operationalized into measurable attributes remains elusive, making social accountability difficult to evaluate objectively.6

의과대학의 사회적 책무성 평가를 지원하기 위해 다양한 정책과 프레임워크가 마련되었지만, 사회적 책무성 원칙, 지표 및 매개변수에 대한 설명은 주로 개념적인 수준에 머물러 있습니다. 위의 WHO의 사회적 책무성 정의는 의학교육의 세 가지 영역(교육, 연구, 봉사 활동)을 포괄하며, 이 검토에서는 교육 영역에 대해 다룹니다. 이 검토의 목적은 프로그램 평가 모델을 조직적 프레임워크로 사용하여 대규모 사회적 책무성 프레임워크 전반에서 공통 주제와 지표를 식별하고 문서화하는 것입니다. 이는 의학교육의 사회적 책무성을 평가하는 데 필요한 초기 운영 구조의 개발을 촉진하기 위한 것입니다.  
Although various policies and frameworks have been established to assist medical schools in the evaluation of social accountability, their descriptions of socially accountable principles, indicators, and parameters remain predominately conceptual in nature. The WHO’s social accountability definition, above, encompasses the 3 domains of medical education (education, research, and service activities), and this review addresses the educational domain. The purpose of this review is to identify and document common themes and indicators across large-scale social accountability frameworks, using a program evaluation model as an organizational framework. It is intended to facilitate the development of initial operational constructs needed to evaluate social accountability in medical education.

배경
Background

설명하다(account)라는 동사에서 파생된 책무성은 가장 단순한 형태의 답변성, 즉 자신의 행동에 대해 설명하고 책임을 져야 하는 의무를 의미합니다.7,8 교육에서 책무성은 기관의 효과성(즉, 기관이 목표를 얼마나 잘 달성했는지)을 평가하는 시스템으로 기능하여 기관이 결과에 대한 책임을 지고 교육 개선을 촉진합니다.9-12 이 시스템은 교육 기관이 자신의 행동에 대해 사회에 답변해야 하는 책임감, 투명성 및 공공 신뢰를 의미합니다.13,14 다양한 형태의 책임성은 존재하지만 모두 다음의 근본적인 질문을 다루고 있습니다:

• 누가, 무엇에 대해, 누구에게, 어떤 수단을 통해 책임을 져야 하는가?7,10,15

Derived from the verb account, accountability in its simplest form means answerability, the obligation to provide an account and be held responsible for one’s actions.7,8 In education, accountability functions as a system to evaluate institutional effectiveness (i.e., how well institutions meet their goals), holding institutions responsible for results and promoting educational improvement.9–12 This system implies a sense of responsibility, transparency, and public trust, whereby educational institutions are obligated to answer to society for their actions.13,14 While many forms of accountability exist, they all address the following fundamental questions:

• Who is held to account, for what, to whom, and through what means?7,10,15

모든 의과대학은 이러한 의무를 인정하거나 해결하기로 선택했는지 여부에 관계없이 대중에 대해 책임을 집니다.3 보건의료 전문직 교육 프로그램과 미래의 보건의료 인력을 준비하는 모든 교육기관은 다음에 대해 책임을 집니다. 

• 의료계,
• 대중(환자, 가족, 지역사회, 사회),
• 교육 결과물(졸업생, 봉사 활동, 연구 활동),
• 미래의 보건의료 수요

책임의 한 형태인 사회적 책무성은 의과대학이 지역사회의 변화하는 공공 의료 수요에 대응할 준비가 된 유능한 졸업생을 배출해야 한다는 점에서 암묵적, 명시적, 예상되는 것입니다.16-20 
All medical schools are accountable to the public, regardless of whether they choose to acknowledge or address this obligation.3 Health professions education programs and any educational institutions responsible for preparing the future health care workforce are accountable to

• the medical profession;
• the public (patients, families, communities, and society);
• their educational products (graduates, service activities, and research activities); and
• future health care needs.

As a form of accountability, social accountability is implicit, explicit, and anticipated, in that medical schools must produce competent graduates prepared to respond to the changing public health care needs within their local communities.16–20

의료계는 사회로부터 일정한 책임과 특권을 부여받았습니다. 의과대학은 법률, 규제 및 인가를 통해 사회의 요구를 충족할 준비가 된 유능한 의사를 배출하도록 위임받았습니다.21,22 이러한 사회적 역할은 의사와 사회 간의 본질적인 사회적 계약을 의미하는 큰 책임을 수반합니다.23 이러한 사회적 계약은 특히 의학교육이 정부 자금으로 지원되는 국가에서 더욱 강화됩니다. 그 결과, 의과대학은 긍정적인 사회적 환원에 대한 증거를 제공해야 한다는 사회적 압력에 직면해 있습니다.3,16 사회적 책무성은 의학과 사회 사이에 존재하는 전방위적인 사회적 계약을 나타냅니다.24-31 
The medical profession has been granted certain responsibilities and privileges by society. Through legislation, regulation, and accreditation, medical schools are entrusted to produce competent physicians who are prepared to meet the needs of society.21,22 This social role carries great responsibilities, signifying the intrinsic social contract between physicians and society.23 This social contract is specifically amplified in countries where medical education is government funded. As a result, medical schools face increasing societal pressures to provide evidence of a positive social return.3,16 Social accountability represents an omnipresent social contract that exists between medicine and society.24–31

일반적으로 사회적 책무성이란 기업이 자신의 행동, 행위 및 성과에 대해 봉사하고자 하는 사회에 대한 헌신을 의미합니다.32 WHO의 사회적 책무성에 대한 정의는 국제적으로 가장 널리 받아들여지고 있습니다. 2010년에 의과대학의 사회적 책무성에 대한 글로벌 컨센서스는 이 정의를 재확인하면서 사회적 책무성이 측정 가능한 활동임을 강조했습니다: 
Broadly, social accountability implies an entity’s commitment to the society it is intended to serve for its actions, conduct, and performance.32 The WHO’s definition of social accountability remains the most widely accepted internationally. In 2010, the Global Consensus for Social Accountability of Medical Schools reaffirmed this definition, emphasizing that social accountability is a measurable activity:

주요 이해관계자, 정책 입안자, 의료기관, 의료보험 제공자, 의료 전문가 및 시민사회와 협력하면서 사회의 현재 및 미래 건강 요구와 도전에 대응하기 위한 행동입니다.19 
[A]n action to respond to current and future health needs and challenges in society while working collaboratively with key stakeholders; policy-makers; healthcare organizations; health-insurance providers, health professionals and civil society.19

광범위한 책임성 문헌에서 책임성이라는 용어는 종종 개념적 우산13,33,34 으로 불리며 신뢰, 신뢰성 또는 투명성의 이미지를 묘사하기 위해 책임성, 답변 가능성 또는 효과성과 상호 교환적으로 사용됩니다. 그러나 의학교육 문헌에서 책임성, 책임감, 응답성이라는 용어는 동일하지 않습니다. 이들 간의 차이점은 Boelen과 Woollard의 사회적 의무 척도에 명확하게 정의되어 있습니다.32 이 분류법은 사회적 책무성을 달성하기 위한 선형적 진행을 나타냅니다:

• 책임성이란 "사회의 요구에 부응해야 할 의무를 인식하는 상태"를 의미합니다; 
  
• 반응성은 "사회의 요구에 반응하는 행동 과정"을 의미합니다. 
  
• 책무성은 프로그램이 공중 보건에 긍정적인 영향을 미치기 위해 주요 이해관계자들과 협력하면서 사회의 우선적인 보건의료 요구를 선제적으로 충족한다는 증거를 제공하는 "측정 가능한 활동"을 의미합니다.32  

Within the broader accountability literature, the term accountability is often referred to as a conceptual umbrella13,33,34 and used interchangeably with responsibility, answerability, or effectiveness to portray an image of trust, trustworthiness, or transparency. However, in the medical education literature, the terms accountable, responsible, and responsive are not equivalent. Differences between them are clearly defined within Boelen and Woollard’s social obligation scale.32 Their taxonomy represents a linear progression toward achieving social accountability: 

• responsibility refers to a “state of awareness of duties to respond to society’s needs”; 
• responsiveness refers to “a course of action addressing society’s needs”; and 
• accountability represents a “measurable activity” to provide evidence that programs proactively meet the priority health care needs of society while working alongside key stakeholders to positively impact public health.32 

방법
Method

프로그램 평가 모델은 사회 정책, 프로그램 및 개입에 대한 포괄적인 평가를 제공하기 위해 여러 분야에서 널리 사용됩니다.35-39 우리는 프로그램 평가 모델을 조직적 프레임워크와 체계화된 프로세스로 사용하여 대규모 사회적 책무성 프레임워크와 저널 논문 및 의학교육 문헌의 기타 문서를 검토하는 내러티브 검토40를 수행했습니다. 그런 다음 질적 접근법을 사용하여 핵심 개념을 종합했습니다.  
Program evaluation models are widely used in multiple fields to provide comprehensive evaluations of social policies, programs, and interventions.35–39 We conducted a narrative review40 using a program evaluation model as an organizational framework and a systematized process to review large-scale social accountability frameworks as well as journal articles and other documents from the medical education literature. We then synthesized key concepts using a qualitative approach.

조직 프레임워크
Organizational framework

우리는 사회적 책무성의 복잡한 요구, 지표, 결과를 체계적으로 파악하기 위한 평가 도구로 스터플빔의 맥락-입력-과정-산출물(CIPP) 모델을 선택했습니다.35 교육의 책무성을 높이기 위해 1960년대에 처음 개념화된 이 프로그램 평가 모델은 국제적으로 사용되는 책무성 모델이며 의학 교육에서 널리 수용되고 있습니다.35-37 그림 1에 표시된 대로 CIPP 모델은 프로그램 개선 및 책무성을 위한 방법으로 평가를 사용합니다. 이 모델은 상호 관련된 4개의 구성요소로 구성되어 있으며 평가 모델 전체에서 사용되는 지속적인 질 개선 피드백 루프를 통합합니다.35,36,38 
We selected Stufflebeam’s context–input–process–product (CIPP) model as the assessment tool to systematically identify social accountability complex needs, indicators, and outcomes.35 First conceptualized in the 1960s to provide greater accountability in education, this program evaluation model is an internationally used accountability model and widely accepted in medical education.35–37 As depicted in Figure 1, the CIPP model uses evaluation as a method for program improvement and accountability. It consists of 4 interrelated components and incorporates continuous quality improvement feedback loops to be used throughout the evaluation model.35,36,38

CIPP 모델에서35-37 

• 맥락은 배경을 의미하며, 교육 기관의 요구, 목표 및 기회를 파악하는 데 사용되는 요구 평가이다. 
• 투입은 교육기관이 효과적으로 기능하는 데 필요한 물적 및 인적 자원을 의미합니다. 투입은 프로그램 목표와 목적을 달성하는 데 필요한 적절한 행동 방침을 결정하는 데 사용됩니다. 
• 프로세스는 프로그램 실행을 가이드하는 데 사용됩니다. 
• 산출은 학생 학습의 질과 개인 및 사회에 대한 유용성을 나타냅니다. 산출은 결과를 측정하는 데 사용됩니다. 이후 CIPP 모델에서는 프로그램의 영향력, 효과성, 지속가능성, 전달성을 평가하기 위해 산출 구성요소를 4개의 하위 구성요소로 나누었습니다.36,38

CIPP 모델은 역동적이며 교육을 생산 기능으로 간주하여 교육 투입물이 교육 산출물로 전환되는 방식으로 접근합니다. 각 구성 요소는 독립적으로 평가할 수 있지만, 어떤 지표도 프로그램 성과를 절대적으로 나타내는 것은 아닙니다.36,38
In the CIPP model,35–37

• Context refers to background—a needs assessment used to help identify needs, objectives, and/or opportunities of an educational institution. 
• Inputs refer to material and human resources needed for effective functioning of an educational institution. Inputs are used to determine the appropriate course of action(s) required to achieve program goals and objectives. 
• Processes are used to guide the implementation of a program. 
• Products refer to the quality of student learning and its usefulness for the individual and for society. Products are used to measure outcomes. In later iterations of the CIPP model, the product component was divided into 4 subcomponents to assess a program’s impact, effectiveness, sustainability, and transportability.36,38 

The CIPP model is dynamic and views education as a production function, whereby educational inputs are transformed to educational outputs. While each component can be evaluated independently, no indicator independently represents an absolute measure of program performance.36,38

선택 및 검색 기준
Selection and search criteria

반복적인 프로세스를 사용하여 5개의 전자 서지 데이터베이스 및 플랫폼(PubMed, Embase, ERIC, Web of Science, Google Scholar)과 광범위한 월드 와이드 웹(Google 사용)에서 의학교육에 적용 가능한 사회적 책무성 프레임워크와 동료 평가 저널 논문 및 문서를 검색했습니다. 이러한 검색은 영어 문서로 제한되었습니다. 검색은 2018년 10월에 처음 수행된 후 2019년 3월 31일에 최신 문서를 포함하기 위해 반복되었습니다. 검색 전략에 사용된 키워드에는 사회적 책무성 또는 책임, 사회적 책무성 또는 책임, 사회 정책 등이 포함되었습니다. 이러한 단어는 의학교육, 의과대학, 의료 수련 프로그램, 보건 전문직 교육 주제 제목 용어와 함께 검색되었습니다. 데이터베이스 검색 전략 샘플은 부록 디지털 부록 1에 제공됩니다.  
Using an iterative process, we searched 5 electronic bibliographic databases and platforms (PubMed, Embase, ERIC, Web of Science, and Google Scholar) as well as the broader World Wide Web (using Google) for social accountability frameworks and peer-reviewed journal articles and documents applicable to medical education. These searches were limited to English-language documents. The searches were first conducted in October 2018 and then repeated on March 31, 2019, to include any more recent documents. Keywords used in the search strategies included social accountability OR responsibility, socially accountable OR responsible, and social policies. These words were searched in combination with medical education, medical schools, medical training programs, and health professions education subject heading terms. A sample database search strategy is provided in Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/B24.

포함 및 제외 기준
Inclusion and exclusion criteria

저희는 의과대학의 사회적 책무성에 초점을 맞추었습니다. 1990년(사회적 책무성이라는 용어가 의학교육 문헌에 명시적으로 등장한 시기)부터 2019년 3월까지 출판된 주요 영어 정책 프레임워크와 동료 검토 문서가 포함 대상에 포함되었습니다. 사회적 책무성 프레임워크에 대해 논의하지 않은 문서는 제외되었습니다. 검색에서 확인된 모든 문서는 연구팀의 포함 여부 검토 과정을 거쳤습니다. 저자 중 두 명(C.B., S.C.)이 검색에서 확인된 모든 문서를 선별했습니다. 전체 연구팀은 수시로 만나 문서를 검토하고 자격 요건에 관한 합의를 도출했습니다. 의과대학이 사회적 책무를 다하기 위해 노력할 수 있는 기본 가치, 원칙 및/또는 매개변수를 나타내고 사회적 책무를 개념화하기 위해 후속 논문에서 사용된 주요 출처의 사회적 책무 프레임워크가 검토에 포함되었습니다. 하위 프레임워크 및/또는 프로그램 또는 기관별 문서는 이전에 확립된 프레임워크를 기반으로 구축되어 일반화 가능성이 부족할 수 있으므로 제외되었습니다. 
Our focus was social accountability in medical schools. Key English-language policy frameworks and peer-reviewed documents published from 1990 (when the term social accountability explicitly emerged within the medical education literature) through March 2019 were eligible for inclusion. Documents that did not discuss social accountability frameworks were excluded. All documents identified in the searches underwent an inclusion review process by the research team. Two of the authors (C.B. and S.C.) screened all documents identified in the searches. The full research team met frequently to review the documents and come to consensus regarding eligibility requirements. Primary source social accountability frameworks which represented the foundational values, principles, and/or parameters of the attributes medical schools can strive toward to fulfill their social mandate and which were used in subsequent papers to conceptualize social accountability were included in the review. Subframeworks and/or program- or institution-specific documents were excluded as these built upon previously established frameworks and could lack generalizability.

분석
Analysis

주제별 종합41-44은 포함된 사회적 책무성 프레임워크 전반에 걸쳐 공통 요소와 고유 요소를 설명하는 데 사용되었습니다. 주제 종합은 귀납적 접근법을 사용하여 텍스트를 체계적으로 코딩하여 주제를 생성하는 것입니다.43,44 3단계 분석 프로세스는

• 텍스트의 줄별 코딩으로 시작하여,
• CIPP 모델의 4가지 차원을 조직적 프레임워크로 사용하여 특성화한 설명적 주제를 개발한 다음
• 분석적 주제를 생성하는 것으로 이어집니다.

저자 중 두 명(C.B. 및 S.C.)이 포함된 문서를 독립적으로 코딩했습니다. 결과물은 두 명의 코더가 검토하고 코딩의 정확성과 포괄성을 보장하기 위해 합의에 도달할 때까지 연구팀 내에서 논의했습니다. 
Thematic synthesis41–44 was used to describe common and unique elements across the included social accountability frameworks. Thematic synthesis involves the systematic coding of text using an inductive approach to generate themes.43,44 The 3-stage analytical process starts with

• line-by-line coding of text;
• followed by the development of descriptive themes, which we characterized using the 4 dimensions of the CIPP model as an organizational framework; and
• then the generation of analytical themes.

Two of the authors (C.B. and S.C.) coded the included documents independently. Resulting themes were reviewed by the 2 coders and discussed within the research team until consensus was reached to ensure coding accuracy and inclusivity.

결과
Results

33개의 초기 샘플 문서3,16,18-20,23,44-70에서 4개의 주요 대규모 사회적 책무성 정책 프레임워크3,16,18,19를 선정하여 검토에 포함시켰습니다(선정된 프레임워크의 개요는 표 1 참조). 이 4개의 주요 출처 문서는 의학교육에서 사회적 책무성의 기본 가치, 원칙 또는 매개변수를 나타냅니다. 또한 이 문서들은 모두 사회적 책무성을 개념화하기 위한 후속 논문에서 많이 인용되고 사용되었습니다. 또한 건강 형평성을 위한 교육 네트워크 평가 프레임워크47 및 다양한 기관별 교육, 연구, 서비스 활동의 정보로도 사용되었습니다. 
From the initial sample of 33 documents,3,16,18–20,23,44–70 we selected 4 key large-scale social accountability policy frameworks3,16,18,19 for inclusion in the review (see Table 1 for an overview of the selected frameworks). These 4 primary source documents represent the foundational values, principles, and/or parameters of social accountability in medical education. Additionally, these documents have all been highly cited and used in subsequent papers to conceptualize social accountability. They were also used to inform the Training for Health Equity Network evaluation framework47 as well as various institution-specific education, research, and service activities.

이러한 프레임워크에는 지역, 국가 및 국제 수준에서 사회적 책무성에 대한 정책, 정의, 적용 및 평가가 포함됩니다.71 이러한 프레임워크는 조금씩 다르지만 모두 [사회적 책무성을 입증하는 데 사용할 수 있는 특성]을 설명합니다. 공통점으로는

• 지역 공중보건 수요에 대응하고,
• 주요 이해관계자와 협력하여 기존 및 향후 사회적 공중보건 수요를 파악하고,
• 주변 지역사회에 봉사하고,
• 의사 부족 문제를 해결하고,
• 지역 인구통계와 지리를 반영하여 입학 과정 내 다양성을 높이고,
• 유능한 의료 전문가를 배출하고,
• 교육과정에 우선적 보건 수요를 반영하는 것 등이 있습니다.3,16,18,19 

These frameworks include policy, definition, application, and evaluation of social accountability at the local, national, and international levels.71 Although these frameworks differ slightly, they all describe characteristics that can be used toward demonstrating social accountability. Commonalities include

• responding to local public health needs;
• working alongside key stakeholders in identifying existing and forthcoming societal public health needs;
• servicing surrounding communities;
• addressing physician shortages;
• increasing diversity within the admissions process to reflect local demographics and geography;
• producing competent medical professionals; and
• ensuring the curriculum reflects priority health needs.3,16,18,19

주제별 종합에서는 공유 가치를 포함한 6가지 주제와 CIPP 평가 모델과 관련된 5가지 지표를 확인했습니다.

• 맥락(프로그램 목표),
• 투입물(활동),
• 과정(활동),
• 결과물(기관의 산출물/결과),
• 사회 보건에 미치는 영향

영향 평가는 CIPP 모델에서 제품 평가의 하위 구성 요소이지만, 의학교육의 사회적 책무성이 실무에 미치는 영향과 공중 보건 개선에 중점을 두는 점을 고려하여 분석에서 영향 평가를 별도의 주제로 다루었습니다. 또한 아래 설명과 그림 2에 표시된 것처럼 각 테마 내에서 하위 주제를 식별했습니다. 주제와 하위 주제를 설명하기 위한 인용문은 표 2에 나와 있습니다. 
Our thematic synthesis identified 6 themes, including shared values and 5 indicators as they relate to the CIPP evaluation model:

• context (program objectives),
• inputs (actions),
• processes (activities),
• products (institutional outputs/outcomes), and
• impacts on societal health.

While impact evaluation is a subcomponent of product evaluation in the CIPP model, given the emphasis of social accountability in medical education on impact in practice and improvement in public health, we treated impacts as a separate theme in our analysis. Additionally, we identified subthemes within each theme, as described below and depicted in Figure 2. A selection of quotes to illustrate the themes and subthemes is provided in Table 2.

공유 가치
Shared values

4개의 프레임워크는 모두 4가지 핵심 사회적 가치(관련성, 품질, 효과성, 형평성)를 강조합니다.3,16,18,19 이러한 광범위한 가치는 CIPP 모델의 모든 구성 요소에 걸쳐 있습니다. 일반적으로 핵심 사회적 가치는 맥락(프로그램 목표), 투입물(행동), 프로세스(활동), 결과물(기관의 산출물/결과)에 정보를 제공하기 위한 사회적 책무성의 개념적 이상과 잘 의도된 속성을 나타냅니다. 이는 행동 지향적이며 사회적 요구의 파악에 기반을 두고 있습니다. 이는 교육, 연구 및 서비스 전반에 걸쳐 의학교육 프로그램 활동을 안내하기 위한 것입니다.18 
All 4 frameworks emphasized the 4 core social values (relevance, quality, effectiveness, and equity).3,16,18,19 These far-reaching values extend across all components of the CIPP model. Generally, the core social values refer to the conceptual ideals and well-intended attributes of social accountability intended to inform context (program objectives), inputs (actions), processes (activities), and products (institutional outputs/outcomes). They are action oriented and grounded in the identification of societal needs. They are intended to guide medical education program activities in education, research, and service across the training continuum.18

핵심 사회적 가치는 의과대학이 사회적 책무성에 대한 진전을 평가하는 데 도움을 주기 위해 1995년 WHO3 에 의해 처음 개념화되었으며, 이후 후속 프레임워크에서 적용되었습니다.16,18-20,23,44-70

• 관련성은 의학교육 프로그램이 교육, 연구 및 봉사 활동에서 체계적인 접근법을 사용하여 인구, 지역사회 또는 국가의 우선적인 건강 요구 또는 우려를 해결한다는 것을 의미합니다.3,16,18,19
• 질은 근거에 기반하고 포괄적이며 문화적으로 민감한 최상의 진료를 개인에게 제공하는 것을 말합니다.3,16,18,19
• 효과성은 보건의료 자원(비용)을 활용하고, 자원을 최대한 활용하면서 공중보건에 가장 큰 영향을 미치는 것을 말합니다.3,16,18,19
• 형평성은 보편적 접근성을 의미하며 모든 개인이 양질의 보건의료에 접근할 수 있도록 노력하는 것을 말합니다.3,16,18,19 

The core social values were originally conceptualized in 1995 by the WHO3 as a means to help medical schools evaluate their progress in addressing social accountability and have since been adapted by subsequent frameworks.16,18–20,23,44–70

• Relevance implies that a medical education program addresses priority health needs or concerns of the population, community, or nation using a systematic approach in education, research, and service activities.3,16,18,19
• Quality refers to providing individuals with the best possible care that is evidence based, comprehensive, and culturally sensitive.3,16,18,19
• Effectiveness refers to the utilization of health care resources (costs) and ensuring that the greatest impact on public health is achieved while making the best use of resources.3,16,18,19
• Equity refers to universal access and striving to ensure that all individuals have access to quality health care.3,16,18,19

이러한 핵심 사회적 가치들 간의 상호관계는 "지역사회 또는 국가의 필요와 관련이 있고, 비용 효율적이며, 공평한 양질의 진료를 제공하는 의료 시스템을 구축"하겠다는 보편적인 사회적 약속을 나타냅니다.3 교육, 연구, 봉사 및 보건 정책에서 의과대학 활동은 이러한 필요를 반영해야 하며, 인구의 우선적인 건강 요구와 관련되고, 이에 대응하며, 예측해야 합니다.3,16,18,19 
The interrelationship between these core social values represents a universal social commitment to “building a health care system that is relevant to the needs of the community or nation and provides high-quality care that is cost-effective and equitable.”3 Medical school activities in education, research, and service as well as health policies must be reflective of these needs—they must relate to, respond to, and anticipate priority health needs of the population.3,16,18,19

핵심 사회적 가치에 더하여, 포함된 3개의 프레임워크16,18,19 는 전문직업성의 가치와 윤리, 팀워크, 문화적 역량, 리더십, 의사소통, 평생 학습, 근거 기반 실천 등의 역량을 강조했습니다. 캐나다의 맥락에서는 학문적 자유와 임상 자율성의 가치도 강조되었습니다.16 
In addition to the core social values, 3 of the included frameworks16,18,19 emphasized the value of professionalism as well as the following competencies: ethics, teamwork, cultural competence, leadership, communication, lifelong learning, and evidence-based practice. In the Canadian context, the values of academic freedom and clinical autonomy were also highlighted.16

CIPP 모델
CIPP model

맥락.
Context.

맥락은 CIPP 모델의 첫 번째 구성 요소입니다. 프레임워크 전반에 걸쳐 반복적으로 등장하는 하위 주제에는 사명 선언문, 지역사회 파트너십, 보건의료 정책에 대한 적극적인 기여가 포함됩니다. 
Context is the first component in the CIPP model. Recurring subthemes that emerged across the frameworks included mission statements, community partnerships, and active contributions to health care policy.

[기관 또는 프로그램 사명 선언문, 의무, 정책, 목적 및 목표]는 사회적 책무성의 핵심 사회적 가치와 사회적 건강 요구 충족에 대한 명시적 약속을 반영해야 합니다.3,16,18,19 이러한 선언문은 공개적으로 게시하고 일반 대중이 쉽게 접근할 수 있도록 해야 합니다.16 또한 의과대학의 사명 선언문과 교육, 연구, 봉사 활동의 내용과 맥락의 특수성은 해당 기관이 서비스를 제공하는 지역사회 및 국가의 현재 및 예상되는 우선적 건강 요구 또는 관심사에 영감을 받고 이에 부합해야 합니다.3,19 이러한 사명 선언문은 요구 평가의 역할을 하며 기관의 교육, 연구, 봉사 활동이 사회에 대한 사회적 의무와 헌신을 입증하도록 안내하기 위한 것입니다.3 
Institutional or program mission statements, mandates, policies, objectives, and/or goals must reflect the core social values of social accountability and the explicit commitment to meeting societal health needs.3,16,18,19 These statements should be posted publicly and made easily accessible to the general population.16 Additionally, the content and context specificity of a medical school’s mission statement and activities in education, research, and service should be inspired by and aligned with the current and anticipated priority health needs or concerns of the community and/or nation the institution serves.3,19 These mission statements serve as needs assessments and are intended to guide institutions’ education, research, and service activities to demonstrate their social obligation and commitment to society.3

지역 보건 시스템 및 기타 이해관계자들과 효과적인 지역사회 파트너십을 개발하는 것도 중요합니다.3,16,18,19 의과대학은 다른 이해관계자들과 협력하여 우선순위를 설정하고 현재 및 미래의 보건 요구를 파악하면 그 효과를 개선할 가능성이 더 높습니다.18 지역사회는 모든 의과대학의 주요 이해관계자 역할을 합니다.19 따라서 학교는 보건의료 정책, 계획, 재정을 담당하는 지역 이해관계자들과 협력하여 우선순위 건강 요구와 최적의 환자 치료에 필요한 서비스 및 자원을 파악하는 것이 필수적입니다.3,16,18,19 관련 보건의료 기관, 전문가 그룹, 정부, 소비자, 시민사회와의 파트너십은 보건 계획, 정책 개발, 보건의료 전달 및 평가에 대한 공동 작업을 촉진하고 장려할 수 있습니다.16 
Developing effective community partnerships with local health systems as well as other stakeholders is also important.3,16,18,19 Medical schools are more likely to improve their effectiveness if they work collaboratively with other stakeholders to establish priorities and identify current and future health needs.18 The local community serves as the primary stakeholder of all medical schools.19 Therefore, it is imperative that schools work in partnership with local stakeholders responsible for health care policy, planning, and finance to identify priority health needs as well as services and resources required for optimal patient care.3,16,18,19 Partnerships with affiliated health care organizations, professional groups, governments, consumers, and civil society could facilitate and encourage shared work on health planning, policy development, health care delivery, and evaluation.16

의료 교육 프로그램도 보건의료 시스템을 형성하는 데 중요한 역할을 합니다. 지역사회 파트너십은 의과대학이 보건의료 정책에 적극적으로 기여할 수 있는 수단이 될 것입니다.3,16,18,19 의과대학은 변화의 촉매제 역할을 하고 보건의료 계획 및 전달, 정책 개발의 지속 가능성과 평가에 적극적으로 기여해야 합니다.16 
Medical education programs also play an important role in shaping the health care system. Community partnerships would serve as a means for medical schools to actively contribute to health care policy.3,16,18,19 Medical schools should act as catalysts of change and actively contribute to the sustainability and evaluation of health care planning and delivery, and policy development.16

입력.
Inputs.

인풋은 목표한 목표를 달성하기 위해 프로그램에서 취하는 조치입니다. 이러한 행동은 기관/프로그램의 의무와 사명 선언문에 의해 동기가 부여되며, 사회적 책무성의 핵심 사회적 가치를 반영합니다. 프레임워크 전반의 하위 주제에는 다음이 포함됩니다. 

• 모집 및 선발(학생, 교수진, 교직원)의 다양성 및 형평성,
• 지역사회 인구 건강 프로필

Inputs are actions taken by programs to meet targeted goals. These actions are motivated by institution/program mandates and mission statements, and they reflect the core social values of social accountability. Subthemes across frameworks included

• diversity and equity in recruitment and selection (students, faculty, and staff) and
• community population health profiles.

두 가지 프레임워크는 학생 모집 및 선발에서 다양성과 형평성의 중요성을 강조했습니다.18,19 핵심 사회적 가치와 사명 선언문에 포함된 사회적 약속을 이행하기 위해 의과대학은 모집 및 선발 정책을 조정하여 지원자의 다양성을 높여 소외된 인구와 취약 계층을 포함해야 합니다.18 학생들은 인종 및 민족, 가시적 소수 또는 원주민 신분, 사회경제적 지위, 성별 및 성적 지향, 종교를 포함한 일반 인구의 인구통계를 반영하고 농촌 및 소외된 지역사회 등 기타 취약 계층의 특성을 반영해야 합니다.19 또한 학교는 사회적 약자 지원자에게 동등한 기회를 보장하기 위해 지원 메커니즘(예: 재정 지원, 상담 서비스)뿐만 아니라 소외 계층을 위한 전략적 파이프라인 또는 할당제를 시행해야 합니다.19 의과대학은 또한 의학, 의료 서비스 전달 및 사회과학 부서의 교수진이 커리큘럼과 프로그램 의사 결정에 대표성을 갖고 참여하도록 해야 합니다.18 마지막으로 의과대학은 WHO 보고서에서 권고한 대로 일반의로서 진료할 가능성이 더 높은 학생을 입학시켜야 합니다.3 
Two frameworks emphasized the importance of diversity and equity in the recruitment and selection of students.18,19 To meet the social commitments embedded within the core social values and mission statements, medical schools must adapt their recruitment and selection policies to increase the diversity of accepted applicants to include individuals from underrepresented populations and disadvantaged groups.18 Students should reflect the demographics of the general population—including race and ethnicity, visible minority or indigenous status, socioeconomic status, gender and sexual orientation, and religious affiliation—and reflect other disadvantaged groups, such as rural and underserved communities.19 Additionally, schools should implement strategic pipelines and/or quotas for underrepresented groups as well as support mechanisms (e.g., financial aid, counseling services) to ensure equal opportunities for socially disadvantaged applicants.19 Medical schools should also ensure that faculty from medicine, health service delivery, and social science divisions are represented and involved in the curriculum and in programmatic decision making.18 Lastly, medical schools should matriculate students who are more likely to practice as generalists, as recommended by the WHO report.3

세 가지 프레임워크의 또 다른 핵심 주제는 의과대학이 대상 지역사회 또는 국가의 서비스 격차뿐만 아니라 인구 요구를 파악해야 한다는 것입니다.3,18,19 학교는 잘 정의된 인구 건강 연구와 포괄적인 지역사회 인구 건강 프로필 개발을 통해 이러한 요구를 파악하기 시작할 수 있습니다.3,18 이러한 프로필에는 지역사회의 사회 인구학적 및 지정학적 구성과 인구 건강 위험, 건강의 사회적 결정 요인, 서비스 접근 장벽이 반영되어야 합니다. 
Another central theme in 3 frameworks was the need for medical schools to identify population needs as well as service gaps of a targeted community and/or nation.3,18,19 Schools can begin to identify these needs through well-defined population health research and the development of a comprehensive community population health profile.3,18 These profiles must reflect the community’s sociodemographic and geopolitical composition as well as population health risks, social determinants of health, and barriers to accessing services.

프로세스.
Processes.

과정에는 교육 활동의 전체 스펙트럼이 포함됩니다.

• 커리큘럼 내용 및 구조,
• 교수법,
• 지역사회 기반 임상 교육 기회 및 지역 인구와 의료 서비스 소외 지역에 대한 학습 노출,
• 학습 평가,
• 지속적인 전문성 개발,
• 평가 시스템 등 

Processes include the entire spectrum of educational activities:

• curricular content and structure;
• teaching methods;
• community-based clinical training opportunities and learning exposures to local populations and underserviced areas;
• learning assessments;
• continuing professional development; and
• evaluation systems.

프레임워크 전반에 걸쳐 반복적으로 등장하는 하위 주제에는 다음이 포함되었습니다. 

• 커리큘럼 활동과
• 지역사회 기반 임상 교육 기회 및 학습 노출

Recurring subthemes that emerged across frameworks included

• curricular activities as well as
• community-based clinical training opportunities and learning exposures.

의과대학은 우선순위 공중보건 요구를 해결하는 방향으로 교과과정 활동을 진행해야 합니다.3,16,18,19 교과과정 내용과 구조는 학생 중심 패러다임으로 접근해야 하며, 건강의 사회적 결정요인, 공중보건 위험, 인구, 지역사회, 국가의 지정학적, 사회인구학적, 역학적 특수성을 포함해야 합니다.3,19 또한 학교의 교과과정 활동은 강력한 지속적인 전문성 개발 프로그램을 통해 결함 학생, 졸업생, 직원에게 평생 학습 기회를 지원해야 합니다.16,18 
Medical schools must direct their curricular activities toward addressing priority public health needs.3,16,18,19 Curricular content and structure should be approached using a student-centered paradigm and must include the social determinants of health; public health risks; and the geopolitical, sociodemographic, and epidemiological specificities of a population, community, and/or nation.3,19 Additionally, schools’ curricular activities should support lifelong learning opportunities for faulty, graduates, and staff through the availability of robust continuing professional development programs.16,18

지역사회 기반 임상 교육 기회와 학습 노출은 인구 접근법을 사용하여 설계되어야 합니다.3,19 의과대학은 일차 진료를 장려하고 일차 진료 실습에 대한 학습 기회와 노출을 제공해야 합니다.3,16,19 또한 학교는 지역사회의 건강 요구와 관련된 종단적 지역사회 기반 학습 경험을 제공해야 합니다.3,19 마지막으로 학교는 농촌 의료 환경에서 학습 기회를 제공하고 불우하고 소외된 그룹에 노출되도록 해야 합니다.3,19 
Community-based clinical training opportunities and learning exposures should be designed using a population approach.3,19 Medical schools should promote primary care and provide learning opportunities and exposure to primary care practices.3,16,19 Additionally, schools should provide longitudinal community-based learning experiences that are relevant to the community’s health needs.3,19 Lastly, schools should provide learning opportunities in rural health care settings as well as exposure to disadvantaged and underserved groups.3,19

제품.
Products.

제품 평가는 프로그램 졸업생들의 유용성을 의미합니다. 프레임워크 전반에 걸쳐 반복적으로 등장하는 하위 주제에는 다음이 포함되었습니다. 

• 의사 자원 계획,
• 품질 보증,
• 프로그램 평가 및 인증

Product evaluation refers to the usability of a program’s graduates. Recurring subthemes that emerged across frameworks included

• physician resource planning,
• quality assurance, and
• program evaluation and accreditation.

4개의 프레임워크 모두 의사 자원 계획의 중요성을 강조했습니다. 의과대학은 학생의 적절한 구성을 결정하고 교육하며, 사회적 요구를 충족하는 데 필요한 졸업생의 분포, 배치 및 유지를 결정하는 데 적극적으로 참여해야 합니다.3,16,18,19 또한 학교는 일차 진료 의사를 위한 지역 취업 기회를 보장해야 합니다.18,19 
All 4 frameworks emphasized the importance of physician resource planning. Medical schools should be actively involved in determining and educating the right composition of students and in determining the distribution, deployment, and retention of graduates necessary to meet social needs.3,16,18,19 Additionally, schools must ensure local employment opportunities for primary care physicians.18,19

또 다른 핵심 주제는 프로그램 평가 및 인증의 중요성이었습니다.3,16,18,19 인증 기준 및 프로세스는 사회적 책무성 원칙을 통합해야 합니다.3,16,18,19 평가 및 인증은 정기적으로 수행되어야 하며,3,19 결과는 공개적으로 이용 가능하고 제도 개선에 사용되어야 합니다.19 또한 평가 및 인증 팀은 정책 입안자, 보건 전문가, 지역사회 구성원을 포함한 이해관계자를 폭넓게 대표할 수 있어야 합니다.3,16,18,19 
Another central theme was the importance of program evaluation and accreditation.3,16,18,19 Accreditation standards and processes should incorporate social accountability principles.3,16,18,19 Evaluation and accreditation must be conducted at regular intervals,3,19 and the results should be made publicly available and used for institutional improvement.19 Additionally, evaluation and accreditation teams should be widely representative of stakeholders, including policymakers, health professionals, and community members.19

마지막으로, 교육, 연구 및 서비스 제공에서 지속적인 품질 보증 프로세스를 수용하는 것의 중요성은 모든 프레임워크에서 강조되었습니다.3,16,18,19 이 프로세스는 투명해야 하며, 교육 개선을 촉진하기 위해 잘 정의된 표준을 사용하여 안내해야 합니다.3,19 또한 졸업생 역량을 정기적으로 평가하고, 잘 정의된 교육 기준을 반영하여 치료의 질을 보장하고, 졸업생이 변화하는 공중 보건 요구를 충족하는 데 필요한 기술을 갖추고 실무에 투입되도록 해야 합니다.3,16,18,19 
Lastly, the importance of embracing a continuous quality assurance process in education, research, and service delivery was emphasized across all frameworks.3,16,18,19 This process should be transparent and guided using well-defined standards to promote educational improvements.3,19 Additionally, graduate competencies must be assessed regularly and reflect well-defined educational standards to ensure quality of care and that graduates enter practice equipped with the skills required to meet changing public health needs.3,16,18,19

영향.
Impacts.

사회적 책무성의 전제는 의학교육 프로그램의 목적과 실천이 사회적 필요를 파악하는 데서 시작하여 그러한 필요를 충족하는 것으로 마무리될 것을 요구합니다.18 영향 평가는 제품 평가의 일부입니다.

• 프레임워크 전반에서 강조되는 공통 주제는 지역사회 건강 결과의 전반적인 개선입니다.3,16,18,19
• 또 다른 공통 주제는 지역사회 건강 위험과 지역사회 질병의 이환율 및 사망률의 감소 및 예방입니다.16,19 

The premise of social accountability requires that the purpose and practices of medical education programs commence in the identification of societal needs and conclude in meeting those needs.18 Impact evaluation is part of product evaluation.

• A common theme highlighted across frameworks was overall improvement in community health outcomes.3,16,18,19 
• Another common theme was reduction and prevention of community health risks and morbidity and mortality of community diseases.16,19

사회적 영향을 효과적으로 평가하기 위해 의과대학은 교육 연속체를 포괄하고 졸업생이 실제로 미치는 영향에 초점을 맞춘 표준을 개발해야 합니다.19 졸업생이 질병 부담을 줄이고 그들이 봉사하는 지역 사회의 건강을 개선하는 정도를 평가하는 지표를 개발해야 합니다.16 의과대학은 활동 결과가 지역 사회 건강에 긍정적인 영향을 미친다는 것을 입증할 수 있어야 합니다.3,16,18,19 졸업생이 지역사회 건강 위험과 지역사회 질병의 이환율 및 사망률을 줄여 공중 보건에 긍정적인 사회적 투자 수익을 얻도록 해야 할 의무가 있습니다.16,19 
To evaluate societal impacts effectively, medical schools must develop standards that span the educational continuum and focus on impacts of graduates in practice.19 They must develop metrics to assess the extent to which their graduates reduce the burden of illness and improve the health of the communities they serve.16 Medical schools must be able to demonstrate that the outcomes of their activities have positive impacts on community health.3,16,18,19 They have an obligation to ensure their graduates have a positive social return on investment to public health by reducing community health risks and the morbidity and mortality of community diseases.16,19

토론
Discussion

이 검토에서는 CIPP 평가 모델을 사용하여 4개의 대규모 사회적 책무성 정책 프레임워크3,16,18,19 에서 주요 주제와 지표를 확인했습니다.35 의학교육 문헌에서 정책 문서 전반에 걸쳐 사회적 책무성 지표를 식별하는 데 CIPP 모델이 사용된 적은 없지만, 이 검토는 의학교육의 사회적 책무성 평가를 위한 초기 운영 구성 개발에서 그 유용성을 입증합니다. 포함된 프레임워크에서 탐구된 주제는 의학교육의 광범위한 사회적 책무성 문헌과 일치합니다. 그러나 CIPP 모델은 책무성 시스템을 강화하기 위한 의학교육 프로그램의 평가 프레임워크를 제공합니다.35-38 또한, 이 검토에서는 책임에 대한 근본적인 질문도 의도치 않게 다루고 있습니다: 누가, 무엇에 대해, 누구에게, 어떤 수단을 통해 책임을 져야 하는가.7,10,15 이러한 질문은 책무성을 이해하는 데 중요하며, 의과대학의 사회적 책무성을 어떻게, 어떤 방식으로 평가할 수 있도록 사회적 책무성 프레임워크를 운영하는 데 도움이 될 수 있습니다. 
This review identified major themes and indicators across 4 large-scale social accountability policy frameworks3,16,18,19 using the CIPP evaluation model.35 The CIPP model has not been used previously in the medical education literature to identify social accountability indicators across policy documents, but this review provides evidence of its utility in the development of initial operational constructs to evaluate social accountability in medical education. The themes explored in the included frameworks are consistent with the broader social accountability literature in medical education. However, the CIPP model provides an evaluation framework for medical education programs to strengthen their accountability systems.35–38 Additionally, this review also inadvertently addresses the fundamental questions of accountability: Who is held to account, for what, to whom, and through what means?7,10,15 These questions are critical to understanding accountability and can be used to help operationalize social accountability frameworks to better evaluate how and in which ways medical schools are socially accountable.

이 검토는 주로 의과대학의 사회적 책무성에 초점을 맞추었지만, 사회적 책무성은 역동적인 과정이라는 점을 인식하는 것이 중요합니다. 이는 시민, 정부, 수련기관, 의료 교육자/공급자 간의 협력 관계를 통해 사회적 건강 요구를 체계적으로 파악하고 우선순위를 정하여 해결하는 과정입니다.3,72 의과대학의 사회적 책무성을 측정하고 체계적으로 평가하려면 개념적, 운영적 복잡성을 포착할 수 있는 강력한 평가 모델을 사용해야 합니다. 인증은 이러한 많은 문제를 해결할 수 있지만, 의과대학이 직장에서 일할 수 있는 유능한 졸업생을 배출하도록 하는 다른 목적도 있습니다. 이 경우 학교는 인증기관에 책임을 집니다. 캐나다와 호주는 인구의 우선적인 건강 문제를 해결하기 위한 의과대학의 노력을 평가하기 위한 수단으로 공식적인 사회적 책무성 기준을 인증 절차에 통합했습니다.19,72,73 이는 긍정적인 발전이지만, 사회적 책무성 결과에 대해 더 폭넓게 생각하고 교육 투입물, 산출물, 영향 간의 의미 있는 관계를 확립해야 합니다.19,73 
While this review focused primarily on social accountability of medical schools, it is important to acknowledge that social accountability is a dynamic process. It represents a collaborative relationship between citizens, government, training institutions, and health care educators/providers to systematically identify, prioritize, and address societal health needs.3,72 The measurement and systematic evaluation of social accountability in medical schools requires the use of a robust evaluation model to capture its conceptual and operational complexities. While accreditation may address many of these issues, it often serves a different purpose—ensuring medical schools produce competent graduates for the workplace. In this instance, schools are accountable to the accreditors. Canada and Australia have incorporated formal social accountability standards into their accreditation processes as a means to evaluate a medical school’s commitment to addressing the priority health concerns of the population.19,72,73 While this is a positive advancement, we need to continue to think about social accountability outcomes more broadly and establish meaningful relationships between educational inputs, outputs, and impacts.19,73

그러나 의과대학이 사회적 필요를 충족시킨다는 가정에 대한 연구가 부족합니다. Boelen에 따르면,72 사회적 책무성을 다하는 의과대학은 1%에 불과한 반면, 사회적 대응을 하는 의과대학은 9%, 사회적 책무성을 다하는 의과대학은 90%에 달한다고 합니다. 투명성 및 책임성 이니셔티브가 공공 서비스 개선을 위한 핵심 전략으로 부상했지만, 이러한 이니셔티브와 공중 보건에 미치는 영향 사이의 관계는 거의 알려지지 않았습니다.74 이 문제는 의학교육에만 국한된 것이 아닙니다.75 졸업생들이 실제로 지역사회에 미치는 사회적 영향을 평가 및 입증하고, 이론과 실무 사이의 연결 고리를 구축해야 할 필요성이 있습니다. 이러한 입증은 사회적 책무성에 대한 선한 의도와 헌신을 공개적으로 보여주는 것이 아니라 개념 증명에 가까워지고 있습니다.75 개별 의과대학이 사회적 책무성을 다하기 위한 진전을 확인하고자 하는 문헌이 증가하고 있습니다(체계적인 검토는 Reeve 외76 참조). 의과대학의 노력의 예로는 입학 절차를 통한 접근성 확대,77-82 건강의 사회적 결정 요인을 반영한 커리큘럼 개혁,83-86 지역사회 기반 임상 교육 기회 및 학습 노출,87-90 학습자의 위치 등이 있습니다.91-97 
There is, however, an understudied assumption that medical schools meet societal needs. According to Boelen,72 only 1% of medical schools are socially accountable, whereas 9% of medical schools are socially responsive and 90% are socially responsible. While transparency and accountability initiatives have emerged as a key strategy for improving public services, the relationship between these initiatives and their impacts on public health remains largely unknown.74 This issue is not specific to medical education.75 There is a need to evaluate and demonstrate the social impacts graduates have in practice on communities and establish a link between theory and practice. This demonstration becomes less about providing public displays of good intentions and commitment to social accountability and more about proof of concept.75 A growing body of literature seeks to affirm the progress of individual medical schools toward becoming socially accountable (see Reeve et al76 for a systematic review). Some examples of medical schools’ efforts include widening access through admissions processes,77–82 curricular reforms reflecting social determinants of health,83–86 community-based clinical training opportunities and learning exposures,87–90 and location of learners.91–97

일부 의학교육 환경에서 사회적 책무성 평가의 진전이 계속 확대되고 있지만,98 사회적 책무성 이니셔티브가 사회 건강에 미치는 영향은 거의 알려지지 않았습니다.99,100 그러나 소수의 경험적 논문에서 환자 건강 결과를 의사 교육 및 성과와 연관시키고 있으며101,102 일부 논평103-105에서는 의학교육 프로그램이 공중 보건 요구에 미치는 영향을 더 잘 이해하기 위해 국가 임상 데이터 세트를 사용하여 졸업생 결과를 환자 영향과 연결해야 한다는 점을 강조하고 있습니다. 
While progress in evaluating social accountability continues to expand in select medical education settings,98 the extent to which social accountability initiatives impact societal health remains largely unknown.99,100 However, a small number of empirical papers associate patient health outcomes with physician training and performance101,102 and some commentaries103–105 emphasize the need to link graduate outcomes with patient impacts using national clinical datasets to better understand the effects medical education programs have on public health needs.

한계점
Limitations

이 검토는 이전 연구를 확장한 것입니다.3,16,18-20,23,44-70 가능한 모든 사회적 책무성 지표의 포괄적인 목록을 제공하지는 않습니다. 여기에 제시된 주제와 지표는 주요 출처의 사회적 책무성 정책 프레임워크에 국한되어 있으며, 품질 평가에 사용되는 지표를 반드시 포함하지는 않습니다. 이 검토에서는 글로벌 건강 격차에 대한 우려가 커지는 등 최근의 글로벌 건강 운동은 다루지 않았습니다. 또한 CIPP 모델은 교육에 대한 하향식 시스템 접근 방식을 가정하여 교육 투입물이 제품으로 전환된다고 가정합니다. 또한 이 검토는 주로 의학교육에 초점을 맞추고 있으며, 사회적 책무성의 다른 상호 연관되고 상호 의존적인 프로그램 활동(예: 연구 및 서비스)은 포함하지 않았습니다. 이러한 관계를 더 자세히 조사하고 의과대학이 지역 보건 요구를 해결하고 이에 대응하는지 여부를 결정하기 위해서는 추가 연구가 필요합니다.  
This review extends earlier work.3,16,18–20,23,44–70 It does not provide a comprehensive list of all possible social accountability indicators. The themes and indicators presented here are limited to primary source social accountability policy frameworks and are not necessarily inclusive of metrics used to assess quality. This review does not address more recent global health movements, for instance, the growing concerns regarding global health disparities. Additionally, the CIPP model assumes a top-down systems approach to education, whereby educational inputs are turned into products. This review is also primarily on medical education, not other interrelated and interdependent program activities of social accountability (i.e., research and service). Further research is needed to examine these relationships in more detail and determine whether medical schools address and respond to local health needs.

결론
Conclusion

이 검토는 확립된 프로그램 평가 모델과 4가지 대규모 사회적 책무성 정책 프레임워크의 증거를 연결하여 의학교육 연속체 전반에 걸쳐 지표를 생성할 수 있도록 합니다. 프로그램 평가 모델은 교육기관이 원하는 목표와 목적을 향해 나아가는 과정을 모니터링하기 위한 체계적이고 쉽게 이해할 수 있는 실용적인 가이드를 제공합니다. 그러나 의과대학이 사회적 의무를 다하려고 노력하더라도 이러한 행동이 공중 보건에 긍정적인 영향을 미칠 것이라는 보장은 없습니다.3 
This review links an established program evaluation model and evidence from 4 large-scale social accountability policy frameworks, which may lead to the creation of indicators across the medical education continuum. Program evaluation models provide a systematic and easily understood practical guide for monitoring the progress of an institution toward desired goals and objectives. However, even when medical schools attempt to fulfill their social obligations, there is no guarantee that these actions will positively impact public health.3

사회적 책무성을 평가하는 일은 복잡합니다.65 의학교육 프로그램의 질을 평가하는 대부분의 이전 문헌은 주로 투입물과 과정에 초점을 맞추었습니다.72 사회적 책무성이 더욱 강조됨에 따라, 우리 커뮤니티는 [교육 투입물과 과정]에서 [산출물과 영향]에 초점을 전환해야 합니다. 다음의 것들 사이에 의미 있는 관계를 설정할 필요가 있습니다.32,74

• 투입물(누가, 어디서, 어떤 교육을 받았는지),
• 산출물(졸업생이 실제 진료 현장에서, 어떤 의료 전문 분야에서, 어떤 일을 하는지),
• 영향(졸업생의 활동이 인구 건강을 어떻게 개선하는지) 

이러한 관계를 설정하기 시작하는 한 가지 방법으로 CIPP 프로그램 평가 모델을 사용할 것을 제안합니다. 
The task of evaluating social accountability is complex.65 Most of the previous literature assessing the quality of medical education programs has focused predominantly on inputs and processes.72 As more emphasis is placed on social accountability, it is imperative that we as a community shift our focus from educational inputs and processes to products and impacts. There is a need to establish meaningful relationships between program

• inputs (who is trained and from where),
• products (what graduates do in practice, in what medical specialty, and where), and
• impacts (how graduates’ activities improve population health).32,74 

We suggest a way to begin to establish these links is through the use of the CIPP program evaluation model.

Social Accountability Frameworks and Their Implications for Medical Education and Program Evaluation: A Narrative Review

PMID: 32910000

DOI: 10.1097/ACM.0000000000003731

Free article

건강의 사회적 결정요인과 관련한 환자돌봄의 관찰가능한 프로세스 정의 (Med Educ, 2022)
Defining the observable processes of patient care related to social determinants of health
Junki Mizumoto | Toshichika Mitsuyama | Satoshi Kondo | Masashi Izumiya | Shoko Horita | Masato Eto 

1 소개
1 INTRODUCTION

건강의 사회적 결정요인(SDH)은 '사람들이 태어나고, 성장하고, 생활하고, 일하고, 노화하는 조건으로... 글로벌, 국가 및 지역 수준에서 돈, 권력 및 자원의 분배에 의해 형성된다'으로 정의됩니다.1 SDH는 인구 건강 결과에 상당한 기여를 합니다. 의료 전문가는 건강 결과에 영향을 미치는 사회 구조를 인식하는 능력(구조적 역량이라고 함)을 훈련하고2 환자에게 개별화된 치료를 제공하고 공중 보건을 개선해야 하지만3 환자의 사회적 요구에 항상 부응하는 것은 아닙니다.4, 5 일부 연구에 따르면 의사는 사회적 어려움을 가진 환자를 돌보는 데 장벽을 경험한다고 보고했습니다.6-11  
Social determinants of health (SDHs) are defined as ‘the conditions in which people are born, grow, live, work and age … shaped by the distribution of money, power and resources at global, national and local levels’.1 SDH makes a substantial contribution to population health outcomes. Although health care professionals are expected to train the ability to recognise social structure to influence health outcomes (as is called structural competency)2 and to deliver individualised care to patients and improve public health, 3 they do not always respond to patients' social needs.4, 5 Some studies have reported that physicians experience barriers in caring for patients with social difficulties.6-11

[사회적 불평등이 건강 상태에 미치는 영향]은 임상 수련 전문가들에 의해 종종 무시되어 왔습니다.12 예를 들어, 의학전문대학원 교육인증위원회는 레지던트 및 펠로우십 프로그램에서 수련의가 사회적 결정 요인을 식별 및 해결하고 환자의 건강 결과에 미치는 영향을 최적화하도록 준비시킬 수 있는 프로그램은 거의 없다고 보고했습니다.13 그럼에도 불구하고, SDH의 대학원 교육은 독특한 이점을 제공할 수 있을 것입니다. 레지던트는 환자의 건강 요구를 효과적으로 해결하는 기술을 개발하고 지역사회에 보다 생산적으로 참여함으로써 자기 효능감과 만족감을 경험할 수 있습니다.3 환자 건강에 영향을 미치는 사회적 결정 요인에 대해 학습하면 레지던트가 환자의 상황에 집중하고 환자-의사 관계를 강화하며 의료 팀 기반 파트너십을 구축하는 데 도움이 될 수 있습니다.13 이러한 학습은 어려운 상황에 있는 환자를 치료할 때 특히 중요합니다.3, 14 이러한 긍정적인 결과를 고려할 때 건강과 건강 관리를 개선하려면 SDH에 대한 의학 교육의 중요성을 강조하고 보다 효과적인 교육 전략을 개발하는 것이 중요해야 합니다.15 
The effects of social inequity on health conditions have often been ignored by clinical training experts.12 For example, the Accreditation Council for Graduate Medical Education reported that few residency and fellowship programmes can prepare trainees to identify and address social determinants and optimise their effects on patients' health outcomes.13 Nevertheless, postgraduate education in SDH would provide unique benefits. Residents would experience self-efficacy and satisfaction by developing skills to effectively address patients' health needs and engaging more productively with their communities.3 Learning about social determinants that affect patient health could help residents focus on patients' contexts, strengthen patient–physician relationships and build health care team-based partnerships.13 Such learning is particularly important when residents deliver care for patients in difficult situations.3, 14 Considering these positive outcomes, emphasising the importance of medical education about SDH and developing a more effective educational strategy should be important to improve health and health care.15

SDH는 의학교육과 수련의 중요한 부분이지만, 전통적인 접근 방식으로는 SDH 역량을 문서화하기 어렵습니다.16 교육과정에서 비의료 교육 주제를 제시하는 것은 종종 모호한 목표와 불명확한 평가 기준을 특징으로 합니다.17 모호한 교육과정은 수련의에게 이러한 주제가 저평가되고 임상 학습과 단절되어 있다는 인상을 주고 환자 치료와 수련의의 전문적인 성장 모두에 해를 끼칠 수 있습니다.17 또한 SDH와 관련된 커리큘럼 기준이 부족하면 레지던트가 사회적 어려움을 가진 환자에 대한 편견과 오해를 조장할 수 있습니다.18 또한 대부분의 지도전문의는 자연스럽게 생물의학적 및 기술적 기술의 습득에 높은 가치를 두고 수련의의 사회적 책임과 윤리의식 함양에 소홀히 하는 경향이 있습니다.19 
Although SDH is an important part of medical education and training, SDH competence is difficult to document using traditional approaches.16 Presentation of non-medical educational topics in the curriculum is often characterised by vague objectives and unclear assessment criteria.17 An ambiguous curriculum gives trainees the impression that these topics are undervalued and disconnected from clinical learning and may harm both patient care and the professional growth of trainees.17 Lack of curriculum criteria related to SDH may also foster residents' prejudices and misconceptions about patients with social difficulties.18 Additionally, most supervisors naturally place a high value on the acquisition of biomedical and technical skills and tend to neglect the development of social responsibility and ethics in trainees.19

전공의가 SDH 교육을 통해 무엇을 성취해야 하는지에 대한 명시적인 문서화가 중요합니다. 소외 계층에 대한 의료 서비스 제공과 같은 일부 역량은 자체적으로 위탁 가능한 전문 활동(EPA)을 수행할 가치가 있는 것으로 간주됩니다.20 예를 들어, 미국의과대학협회는 병력 청취와 관련된 EPA 하위 항목 중 하나는 SDH에 주의를 기울이는 환자 중심 면담을 수행하는 기술을 입증하는 것이라고 명시하고 있습니다.21 관찰 가능한 실습 활동(OPA)의 위탁 및 매핑은 레지던트 커리큘럼 및 평가 시스템에서 레지던트를 평가하는 데 사용할 수 있습니다.22, 23 OPA는 '위탁 결정을 내리기 위해 일상적인 실습에서 관찰해야 하는 학습 목표/활동의 모음'으로 정의됩니다.22 OPA는 두 가지 범주로 나뉩니다.

• 내용 OPA는 '호중구감소성 발열에 대한 항생제 치료 선택'과 같이 각 로테이션마다 다른 특정 활동입니다.
• 과정 OPA는 '정확하고 관련성 있는 병력 획득'과 같이 로테이션에 걸쳐 공통적으로 적용되는 활동입니다.22 과정 OPA의 개념은 모호한 역량 용어나 광범위한 EPA 대신 공동 의사 결정과 같은 특정 상황에서 의료 전문가가 따라야 하는 정확한 과정과 의료 절차를 설명하는 데 사용됩니다.24

Explicit documentation about what residents should achieve from SDH education is important. Some competencies, such as providing medical care for underserved populations, are considered worthy of their own entrustable professional activities (EPAs).20 For example, the Association of American Medical Colleges states that one of the EPA sub-items related to history taking is to demonstrate the skills to conduct patient-centred interviews that are attentive to SDH.21 Entrustment and mapping of observable practice activities (OPAs) can be used in residency curriculum and assessment systems to assess residents.22, 23 OPA is defined as ‘a collection of learning objectives/activities that must be observed in daily practice to form entrustment decisions’.22 There are two categories of OPA.

• Content OPAs are specific activities that differ for each rotation, such as ‘choose antibiotic therapy for neutropenic fever’.
• Process OPAs are activities that are conserved across rotations, such as ‘acquire accurate and relevant history’.22 The concept of process OPA is used to describe the precise process and medical procedures that medical professionals are expected to follow in specific situations, such as shared decision making,24 instead of using ambiguous competency terms or broad EPA.22

일차 의료 또는 포괄적인 일상 건강 관리에서 사회적 결정 요인에 대한 개입을 설명하는 여러 임상 프레임워크가 보고되었습니다. 이러한 개입은 세 가지 수준으로 나뉩니다.15, 25-28 

• 일반적으로 개별 환자를 위한 미시적 수준, 
• 의료 기관 및 지역사회를 위한 중시적 수준, 
• 의료 시스템 및 행정 부서를 포함한 광범위한 인구를 위한 거시적 수준 

이러한 프레임워크는 SDH를 의료 시스템에 통합하기 위한 청사진을 제공하지만, 의사가 [실제로 환자 치료를 제공하는 과정]은 자세히 설명되어 있지 않습니다. 또한 이러한 프레임워크의 대부분은 체계적인 합의 그룹 방법을 사용하여 개발되지 않았습니다. 임상 환경에서 의사가 하는 일을 자세히 설명하지 못하면 SDH 교육의 가치가 떨어집니다. 따라서 환자의 사회적 맥락과 필요에 대한 이해를 바탕으로 환자를 돌보는 [과정 OPA]를 설명해야 합니다. 본 연구는 합의 집단 방법을 사용하여 일차 진료 환경에서 SDH와 관련된 환자 진료 [과정 OPA]를 체계화하는 것을 목표로 했습니다.
Several clinical frameworks have been reported that describe interventions for social determinants in primary health care or comprehensive day-to-day health care. These interventions are usually divided into three levels:

• microlevel for individual patients,
• mesolevel for medical institutions and communities and
• macrolevel for broader populations, including health care systems and administrative divisions.15, 25-28 

Although such frameworks provide a blueprint for integrating SDH into health care systems, the processes by which physicians actually deliver patient care have not been described in detail. In addition, most of these frameworks have not been developed using systematic consensus group methods. Failure to describe in detail what physicians do in clinical settings reduces the value of SDH education. The process OPA for caring for patients based on an understanding of patients' social contexts and needs should therefore be explicated. This study aimed to codify the process OPA for patient care related to SDH in a primary care setting, using consensus group methods.

2 연구 방법
2 METHOD

연구 설계
Study design

일본에서 2022년 1월부터 2022년 2월까지 일차 진료 환경에서 SDH와 관련된 진료 프로세스에 대한 합의를 도출하기 위해 수정된 델파이 기법29 을 시행했습니다. 수정 델파이 연구에서는 연구자들이

• (i) 문헌 검토를 수행하거나 다른 학술적 방법을 사용하여 작성한 초기 목록을 배포하고,
• (ii) 전문가들로부터 의견을 추출하여 익명으로 반복적으로 피드백을 제공하며,
• (iii) 구조화된 방식으로 합의에 도달합니다.30

수정 델파이 기법은 전문가 합의를 도출하는 데 널리 사용되며,31-33 특히 다양한 이해관계자가 있고 익명으로 독립적인 의견 제공이 필요할 때 유용합니다.34, 35 본 연구는 델파이 연구 수행 및 보고 지침(CREDES)을 따랐습니다.36 모든 라운드에서 설문지는 웹 기반 설문조사 시스템(SurveyMonkey: Survey Monkey, Inc., San Mateo, CA, USA)을 통해 제공되었습니다. 이 연구에 대한 윤리적 승인은 도쿄대학교 의학전문대학원 및 의학부 연구윤리위원회로부터 받았습니다(제2020250NI호).
A modified Delphi technique29 was implemented from January 2022 to February 2022 in Japan to reach a consensus on the processes of medical care related to SDH in a primary care setting. In a modified Delphi study, researchers

• (i) distribute an initial list that is prepared by conducting a literature review or using other academic methods,
• (ii) extract opinions from the experts and give them anonymous feedback iteratively and
• (iii) reach a consensus in a structured way.30 

The modified Delphi technique is widely used to create expert consensus,31-33 especially when there are diverse stakeholders and when anonymous and independent provision of their opinions is needed.34, 35 This study followed the Guidance on Conducting and Reporting Delphi Studies (CREDES.)36 In all rounds, questionnaires were provided via a web-based survey system (SurveyMonkey: Survey Monkey, Inc., San Mateo, CA, USA). Ethical approval for this study was obtained from the research ethics committee of the University of Tokyo Graduate School of Medicine and Faculty of Medicine (No. 2020250NI).

잠재적으로 중요한 요인 목록 작성
Compilation of a list of potentially important factors

잠재적으로 중요한 단계의 예비 목록을 작성하기 위해 2021년 9월에 제1저자가 세 개의 전자 데이터베이스(MEDLINE, CINAHL, PsycINFO)에서 문헌 검색을 수행했습니다. 검색 결과 중복을 제거한 후 447개의 논문이 확인되었습니다. 논문 제목과 초록을 기준으로 선별한 결과 110편의 논문이 선정되었습니다. 전체 텍스트 심사 후 27편의 논문이 선정되었습니다.2, 3, 12, 14, 20, 37-58 이 문헌 검색의 세부 사항은 표 S1에 나와 있습니다. 이 문헌 검색을 통해 연구자들은 '구조적 역량'이라는 용어가 자주 사용된다는 것을 재발견하고 검색 공식을 수정했습니다. 의견, 리뷰, 사설, 사례 보고서, 활동 보고서 등 다양한 종류의 논문이 포함되었습니다. SDH와 관련된 환자 치료 과정을 직접적으로 언급한 논문은 거의 없었습니다. 첫 번째 저자는 논문을 종합하여 잠정적인 목록을 작성했습니다. 두 번째, 네 번째, 다섯 번째, 여섯 번째 저자는 이 목록을 비판적으로 검토 및 분석하고 반복적인 토론을 거쳐 일부 수정을 가했습니다. 목록은 커뮤니케이션, 실천, 자기 관리, 옹호라는 네 가지 구성 요소로 나뉜 13개 항목으로 구성되었습니다(표 S2 참조). 
To develop a preliminary list of potentially important steps, a literature search of three electronic databases (MEDLINE, CINAHL and PsycINFO) was conducted by the first author in September 2021. The search identified 447 articles after the removal of duplicates. The articles were screened by article titles and abstracts, and 110 articles were selected. After full-text screening, 27 articles were selected.2, 3, 12, 14, 20, 37-58 Details of this literature search are shown in Table S1. Through this literature search, researchers rediscovered that the term ‘structural competency’ was often used, and the search formula was modified. A wide range of articles was included (e.g. opinions, reviews, editorials, case reports and activity reports). Few articles directly referred to the processes of patient care related to SDH. The first author synthesised the articles and constructed a tentative list. The second, fourth, fifth and sixth authors critically reviewed and analysed the list, held iterative discussions and made some modifications. The list consisted of 13 items, which were divided into four components: communication, practice, self-management and advocacy (see Table S2).

참가자 모집
Participant recruitment

성별, 연령, 직업, 진료 환경 등 구성원의 다양성을 보장하기 위해 의도적인 샘플링 전략을 사용했습니다. 패널은 임상 전문가(의사, 간호사, 공중보건의, 사회복지사, 약사, 의료 사무원), 레지던트, 의대생, 연구자, 소외 계층 및 환자를 위한 지원 위원으로 구성되었습니다. 모집 대상을 결정한 이유는 다음과 같습니다. 

• 첫째, SDoH와 관련된 일차 진료에는 의료 사무원을 포함한 여러 직종이 관여하고 있으며,59, 60 의사가 수행하는 과정을 다루는 연구에서도 다양한 의료 직종의 의견이 존중되어야 합니다.
• 둘째, 의학교육의 수요를 충족하기 위해 과정에 대한 명시적인 설명이 필요하며, 의학교육의 이해당사자인 전공의, 학생, 환자의 의견을 수렴해야 합니다.
• 셋째, SDoH와 관련된 환자 진료의 범위는 전 국민이었지만, 사회적 소외계층도 주요 이해관계자로서 본 연구에서 중요한 잠재적 의사결정권자로 고려되어야 합니다. 그러나 소외 계층을 모집하고 참여시키는 데 현실적인 어려움이 있어61, 62 연구자들은 이 연구에서 이들을 모집할 수 없었습니다. 따라서 연구자들은 공중보건간호사, 소외계층 지원위원, 사회복지사, 사회학 전문 연구자 등 소외계층의 옹호자로 간주될 수 있는 사람들에게 본 연구에 참여해 줄 것을 요청했습니다.63 연구자들은 소외계층의 의견을 물어볼 필요가 없다고 생각하지 않는다는 점을 강조해야 합니다.

A purposive sampling strategy was used to ensure member diversity, including gender, age, profession and practice setting. The panel consisted of clinical professionals (physicians, nurses, public health nurses, social workers, pharmacists and medical clerks), residents, medical students, researchers, support members for marginalised people and patients. The reasons for determining recruitment targets were as follows. First, multiple professions, including medical clerks, are involved in the primary care practice related to SDoH,59, 60 and, even in research dealing with processes undertaken by physicians, the opinions of various medical professions should be respected. Second, an explicit description of the processes was to meet the demands of medical education, and the opinions of residents, students and patients, all of whom were stakeholders in medical education, should be solicited. Third, although the scope of patient care related to SDoH was the entire population, the socially marginalised population should be considered a key stakeholder and thus an important potential decision maker in this study. However, due to practical difficulties in recruiting the marginalised population and their participation,61, 62 researchers could not recruit them in this study. Researchers thus asked public health nurses, support members for marginalised people, social workers and expert researchers in sociology, who could be considered advocators, to participate in this study.63 It should be emphasised that researchers do not believe that the opinions of marginalised people need not be asked.

우리는 SDH에 대한 깊은 이해와 상당한 실무 경험이 있는 임상 전문가, SDH에 대한 관심과 지식이 있는 레지던트 및 의대생, 만성 질환을 앓고 있고 제1저자가 근무하는 병원에 정기적으로 다니는 환자를 모집했습니다. 환자 모집 과정에서 환자의 사회적 배경과 상황은 고려하지 않았습니다. 일반 의학(일반 내과, 호스피탈리스트, 가정의학과), 소아과, 정신과, 응급의학과 의사와 간호사를 모집했는데, 이러한 전문 분야는 일반적으로 미분화 문제를 가진 환자를 진료하고 이전 연구에서 SDH를 다룰 필요가 있는 것으로 확인되었기 때문입니다.20, 39, 50, 64-67 보건의료 및 의학 교육 분야 연구자뿐만 아니라 소외된 사람들과 함께 일하는 사회학자도 모집했습니다. 소외된 사람들을 위한 지원 멤버는 비의대생 2명과 의사 및 정치인 1명으로 구성되었습니다. 이 세 명은 노숙자 및 기타 소외된 사람들을 위해 자발적으로 지원을 제공했습니다. 모든 참가자는 이 연구에 참여하기 위해 자발적으로 서면 동의를 제공했습니다. 참가자에게는 2000엔(약 15달러) 상당의 상품권으로 구성된 인센티브가 제공되었습니다. 
We recruited clinical professionals who had a deep understanding and considerable practice of SDH, residents and medical students who had an interest in and some knowledge of SDH and patients who had chronic conditions and regularly attended the hospital in which the first author worked. The social backgrounds and contexts of the patients were not considered in the recruitment process. We recruited physicians and nurses in general medicine (general internal medicine, hospitalist and family medicine), paediatrics, psychiatry and emergency medicine because these specialties usually care for patients with undifferentiated problems and have been identified as needing to address SDH in previous studies.20, 39, 50, 64-67 We recruited not only researchers in health care and medical education but also sociologists working with marginalised populations. Support members for marginalised people consisted of two non-medical students and one physician and statesperson. These three members voluntarily provided support for people experiencing homelessness and other marginalised people. All participants voluntarily provided their written consent to participate in this study. An incentive comprising a gift certificate worth JPY 2000 (approximately US$ 15) was offered to participants.

데이터 수집 및 분석
Data collection and analysis

각 라운드에서 참가자들은 5점 리커트 척도(1점: 전혀 중요하지 않다 ~ 5점: 매우 중요하다)로 각 항목을 평가하도록 요청받았습니다. 또한 참가자들은 각 항목에 대한 수정 사항을 제안하고 SDH와 관련된 의료 측면에 적합하다고 생각되는 다른 단계를 추가하도록 요청받았습니다. 참가자들의 응답은 이전 검토33 및 기타 선행 연구를 바탕으로 사전 정의된 기준에 따라 분석 및 선정되었습니다.68, 69 구체적으로 (i) 평균 점수가 4점 이상, (ii) 표준편차가 1 미만, (iii) 패널의 75% 이상이 4점 또는 5점을 준 항목은 모두 통과했습니다. 참가자들은 각 설문지를 작성하는 데 2주의 시간이 주어졌습니다. 각 마감일 며칠 전에 리마인더 이메일이 발송되었습니다. 모든 저자는 모든 라운드에서 모든 서면 의견을 읽었습니다. 첫 번째, 두 번째, 세 번째 저자는 내용 분석을 사용하여 의견을 분석했습니다.70 코딩 데이터는 다른 연구자들과의 논의를 통해 축소되고 수정되었습니다. 다음 라운드가 시작될 때 이전 라운드의 익명 결과 요약본이 전문가들에게 제공되었습니다. 우리는 모든 진술이 가능한 한 높은 수준에서 합의에 도달할 수 있는 동등한 기회를 갖도록 하기 위해 일부 진술이 이미 합의에 도달했더라도 후속 라운드에서 모든 진술을 다시 포함시키기로 결정했습니다.71 각 델파이 단계는 일본어로 진행되었습니다. 결과는 연구원과 전문 번역가가 영어로 번역했습니다. 

In each round, participants were asked to evaluate each item on a 5-point Likert scale (1: absolutely unimportant to 5: absolutely important). The participants were also asked to propose revisions for each item and add any other steps considered suitable for aspects of medical care related to SDH. Their responses were analysed and selected using a predefined standard based on a previous review33 and other previous studies.68, 69 Specifically, items that met all the following standards were passed: (i) a mean score of 4 or higher, (ii) a standard deviation of less than 1 and (iii) scores of 4 or 5 from 75% or more of the panellists. Participants were given 2 weeks to fill out each questionnaire. Reminder e-mails were sent a few days before each deadline. All authors read all written comments in every round. The first, second and third authors analysed the comments using content analysis.70 Coding data were collapsed and then modified through discussion with the other researchers. At the start of the subsequent round, a summary of anonymous results from the previous round was provided to the experts. We chose to include all statements again in the subsequent round (even though some had already reached consensus) to ensure that every statement had an equal chance of achieving consensus at the highest possible level.71 Each Delphi step was conducted in Japanese. The results were translated into English by the researchers and professional translators.

3 결과
3 RESULTS

델파이 패널에는 총 63명이 모집되었으며, 이 중 61명이 참여했습니다. 2명은 업무 부담으로 인해 참여를 거부했습니다. 인구통계학적 데이터는 표 1에 나와 있습니다. 모든 참가자가 델파이 라운드를 완료했습니다.

A total of 63 people were recruited to the Delphi panel, of which 61 participated. Two declined participation because of work pressure. The demographic data are shown in Table 1. All participants completed the Delphi rounds.

1라운드에서는 초기 목록에서 탈락한 항목이 없었습니다. 동의 수준, 평균 및 표준편차는 표 S3에 나와 있습니다. 참가자들의 의견에 대한 내용 분석을 바탕으로 12개 항목이 수정되었습니다. 분석 결과에 따라 전문가 간 팀 기반 성찰에 대한 단계가 하나 추가되었고, 이에 따라 세 번째 구성 요소인 '자기 관리'를 '유지 관리'로 변경했습니다. 또한 모든 단계가 지속적인 환자-의사 관계 내에서 다른 전문가 및 이해관계자와 협력하여 수행되어야 한다는 서문을 추가했습니다(표 S4 참조). 
In Round 1, no items were eliminated from the initial lists. The agreement levels, means and standard deviations are shown in Table S3. Twelve items were modified based on the content analysis of the participants' comments. According to the analysis, we drafted one new step about interprofessional team-based reflection and accordingly changed the third component ‘self-management’ to ‘maintenance’. We also developed a preface that stated that all steps should be conducted within an ongoing patient–physician relationship and in collaboration with other professionals and stakeholders (see Table S4).

2라운드 이후, 수정된 모든 항목이 긍정적인 합의 기준을 충족하는 것으로 확인되었습니다(표 S5 참조). 일부 사소한 수정이 이루어졌으며 모든 참가자의 승인을 받았습니다. 3라운드는 진행되지 않았습니다. 최종 버전의 목록은 14개 항목으로 구성되었으며, 이는 4개의 구성 요소로 나뉩니다(표 2).
After Round 2, all modified items were confirmed to meet the positive consensus standard (see Table S5). Some minor revisions were made and were approved by all participants. Round 3 was not performed. The final version of the list consisted of 14 items, which were divided into four components (Table 2).

4 토론
4 DISCUSSION

이 연구에서는 SDH와 관련된 환자 치료의 OPA 프로세스를 확인했습니다. 프로세스는 커뮤니케이션, 진료, 유지 관리, 옹호라는 네 가지 구성 요소로 분류되었습니다. 각 구성 요소는 서로 밀접한 관련이 있습니다. 커뮤니케이션은 좋은 진료에 기여합니다. 의사 자신과 팀원을 위한 유지 관리는 좋은 의사 소통과 진료의 기본입니다. 커뮤니케이션, 진료, 유지보수에 대한 경험은 옹호에 동기를 부여할 수 있습니다. 이 커뮤니케이션-실무-유지-옹호(CPMA) 프레임워크(그림 1 참조)는 이전에 보고된 접근 방식과 몇 가지 요소를 공유합니다. 예를 들어, 빈곤 아동 간호와 관련된 역량은 환자 간호, 대인관계 및 의사소통 기술, 전문성, 시스템 기반 실무 영역과 관련이 있습니다.39, 72 또한 간호 교육 전문가들은 환자의 기저질환을 변화시키고 건강 형평성을 증진하기 위해 비판적 돌봄 접근법과 세심한 권한 부여 간호 제공을 제안해 왔습니다.55, 73 
This study identified the process OPA for patient care related to SDH. The processes were classified into four components: communication, practice, maintenance and advocacy. Each component is closely related to each other. Communication contributes to good practice. Maintenance for physicians themselves and team members is the base of good communication and practice. Experience about communication, practice and maintenance may motivate advocacy. This Communication–Practice–Maintenance–Advocacy (CPMA) framework (see Figure 1) shares some elements with previously reported approaches. For example, the competency relevant to the care of children in poverty is related to the domains of patient care, interpersonal and communication skills, professionalism and system-based practice.39, 72 In addition, professionals in nursing education have proposed a critical caring approach and provision of sensitive empowering care to change patients' underlying conditions and promote health equity.55, 73

CPMA 프레임워크에는 몇 가지 독특한 장점이 있습니다. 

• 첫째, 전문가 패널은 다양한 이해관계자로 구성됩니다. 환자, 사회학자, 소외된 사람들을 위한 지원 단체의 참여로 패널의 다양성이 증가했습니다. 
• 둘째, 프레임워크는 환자 치료 과정을 상세하게 설명하여 의학교육에 대한 활용도를 높였습니다. 

[생물 의학 및 기술 중심의 지배적인 커리큘럼 패러다임]은 정답을 얻고 문제를 해결하는 데 중점을 둡니다. 이 패러다임에서 학습자는 SDH와 같이 확실성이 낮은 문제에 직면할 때 불편함을 느낄 수 있습니다.74, 75 문제를 해결하는 과정을 명시하면 이러한 불편함을 줄일 수 있습니다.17, 20 이 프레임워크는 잠재적으로 학습자에게 명확한 지표를 제공하고 임상 실습 및 현장 기반 평가에 반영하는 데 적용될 수 있습니다.
The CPMA framework has some unique advantages.

• First, the expert panel consisted of various stakeholders. The participation of patients, sociologists and support members for marginalised people increased panel diversity.
• Second, the framework clearly described in detail the patient care processes to increase its availability for medical education.

The dominant curriculum paradigm, which is centred on biomedicine and technology, focuses on obtaining correct answers and solving problems. In this paradigm, learners may feel uncomfortable when facing challenges with low levels of certainty, such as SDH.74, 75 Making explicit the process of tackling challenges could potentially reduce this discomfort.17, 20 This framework potentially provides learners with a clear indication and could be applied to reflection on their clinical practice and workplace-based assessment.

의사소통
Communication

이 구성 요소에는 환자와의 커뮤니케이션과 다른 전문가 및 이해관계자와의 커뮤니케이션이 모두 포함됩니다. 델파이 라운드에서는 환자에 대한 의사의 편견과 태도에 대한 의견이 나왔습니다. 예를 들어, 패널리스트들은 첫 번째 목록의 일부 항목('의사는 공동 의사 결정을 수행한다', '의사는 환자가 자신의 건강 상태에 대처할 수 있도록 적절한 설명과 지원을 제공한다')에 가부장적인 측면이 포함되어 있다고 지적했습니다. 일부 패널리스트는 의사 자신의 편견과 편견에 대한 의사의 인식이 언급되어야 한다고 제안했습니다. 이러한 편견과 태도는 항상 관찰할 수 있는 것은 아니지만, 환자 중심주의,49 다른 전문가와의 협력76 및 환자 결과를 저해할 수 있으므로76-78 의사소통 관련 교육 및 실습에서 심각하게 고려해야 합니다. 이 구성 요소는 의사소통에 대한 자세한 내용을 설명하며 효과적인 교육 및 평가에 기여할 수 있습니다. 
This component includes both communications with patients and communications with other professionals and stakeholders. The Delphi rounds revealed opinions about physicians' biases and attitudes towards patients. For example, panellists pointed out that some of the items in the first list (‘The physician performs shared decision making’ and ‘The physician provides adequate explanation and support to help the patient deal with their health condition’) included some paternalistic aspects. Some panellists suggested that physicians' awareness of their own prejudice and biases should be mentioned. Although these biases and attitudes are not always observable, they may impair patient-centredness,49 collaboration with other professionals76 and patient outcomes76-78 and should thus be seriously considered in communication-related education and practice. This component illustrates detailed content about communication and may contribute to effective education and assessment.

실습
Practice

이 구성 요소는 의사가 환자 진료를 위해 진료실에서 실제로 하는 일을 설명합니다. 목록의 각 단계는 의사가 수행하는 활동의 관점에서 설명되었습니다. 이는 의사가 특권적인 위치에 있다는 것을 의미하지는 않습니다. 델파이 라운드에서 두 가지 관련 의견이 발견되었습니다. 

• 첫째, 사회적 요구가 충족되지 않은 환자를 진료할 때 환자 중심 진료를 고려하는 것이 특히 중요합니다. 의사는 지시적이고 억압적인 방식으로 말함으로써 그러한 환자의 권한을 박탈하는 경향이 있기 때문에 이 점을 강조해야 합니다.79-81
• 둘째, 의사가 환자의 사회적 상황에 혼자 대처할 수 없으므로 다학제 간 협업의 중요성을 강조해야 합니다. 이러한 의견은 의료 시스템에서 일어나는 일은 환자에게 일어나는 일의 일부에 불과하다는 사실을 강조합니다.54 이러한 전문가들의 견해에 따라 이 구성 요소는 종단적이고 포괄적이며 팀 기반의 접근 방식이 필요하다고 주장합니다. 사회적 어려움을 포함한 복잡한 문제는 단기간에 해결되는 경우가 드물고 안정화가 더 적절한 목표인 경우가 많기 때문에 문제 해결을 요구하지 않습니다.82

This component illustrates what physicians actually do in the office for patient care. Each step on the list was described in terms of the activities performed by physicians. This does not imply that physicians are in a privileged position. The Delphi rounds uncovered two related opinions.

• First, it is particularly important to consider patient-centred care when seeing patients with unmet social needs. This should be emphasised because physicians tend to disempower such patients by speaking in a directive and oppressive manner.79-81 
• Second, a physician cannot cope alone with patients' social circumstances, and the importance of interdisciplinary collaboration should be emphasised. These opinions underlined the fact that what happens in the health care system is only part of what happens to the patient.54 Under these expert views, this component insists that a longitudinal, comprehensive and team-based approach is needed. It does not ask for problem solving because complex problems, including social difficulties, are rarely resolved over a short period, and stabilisation is often a more appropriate goal.82

유지 관리
Maintenance

이 구성 요소는 전문가의 소진을 완화하고 환자 치료의 질을 유지 및 개선하기 위해 의사가 진료실 밖에서 하는 일을 보여줍니다. 환자의 사회적 요구 해결과 관련된 소진83-85은 자가 모니터링38 및 팀 빌딩을 통해 줄일 수 있습니다.86, 87 이 구성 요소는 다른 공개된 프레임워크와 비교하여 독특하며 수련의와 임상 감독자에게 새롭고 필수적인 통찰력을 제공할 수 있습니다.
This component illustrates what physicians do outside their office to mitigate professionals' burnout and then maintain and improve the quality of patient care. Burnout associated with addressing patients' social needs83-85 can be reduced by self-monitoring38 and team building.86, 87 This component is unique compared with other published frameworks and may give novel and essential insights to trainees and clinical supervisors.

옹호
Advocacy

의료 전문가들 사이에서 윤리적 가치와 인권에 대한 존중 부족은 건강 형평성에 대한 도전이며,88 건강 옹호는 의사에게 중요한 역량으로 간주되어야 합니다.89 그러나 건강 옹호에 대한 정의가 불분명하여 이 영역을 가르치고 평가하기 어려운 경우가 있습니다.90 [미시적 수준과 거시적 수준의 사회적 책임]에 대한 강조가 증가하고 있지만,91 일부 의사들은 옹호를 [사회 시스템의 개선이 아닌 개별 환자에게 적절한 치료를 제공하는 것]으로 생각했습니다.92,93 델파이 라운드에서는 개별 의사가 실행하는 옹호의 실현 가능성에 대한 몇 가지 의문이 제기되었습니다. 예를 들어, 사회 및 지역사회 구조의 변화는 개별 의사의 범위를 벗어난 것으로 판단되었습니다. 일부 전문가들은 일부 수련의, 특히 초심자들이 시스템 차원의 문제를 지나치게 강조하는 것에 대해 거부감을 나타낼 수 있다고 주장했습니다. 의대생을 대상으로 한 이전 연구에서도 비슷한 질문이 제기되었습니다: 학생들은 의사가 개별 환자를 옹호해야 한다는 데는 반대하지 않았지만, 옹호와 관련된 어려움을 예상했습니다.94 본 연구는 의사가 임상 환경에서 실천할 수 있고 실천해야 하는 옹호의 구체적인 측면에 대한 합의를 보여주었습니다. 예를 들어, 의료 시스템 내에서 접근성을 저해하는 요인을 파악하는 것은 일차 진료에 종사하는 모든 의사가 수용할 수 있는 것으로 판단되었습니다.

A lack of respect for ethical values and human rights among health professionals is a challenge for health equity,88 and health advocacy should be considered an important competency for physicians.89 However, definitions of health advocacy are sometimes unclear, which makes it difficult to teach and assess this domain.90 Although an increasing emphasis on mesolevels and macrolevels of social accountabilities has been put,91 some physicians thought of advocacy as the delivery of appropriate care for individual patients rather than an improvement in social systems.92, 93 The Delphi rounds generated some questions about the feasibility of advocacy as practised by individual physicians. For example, changing social and community structures was judged to be beyond the scope of individual physicians. Some experts insisted that some trainees, especially novices, may express a refusal of excessive emphasis on system-level challenges. A previous study of medical students raised similar questions: Although students did not disagree that physicians should advocate for individual patients, they anticipated challenges related to advocacy.94 The present study demonstrated a consensus on the specific aspects of advocacy that physicians can and should practise in clinical settings. For example, identifying factors that impede access within their health care system was judged to be acceptable for all physicians in primary care.

이 연구에는 몇 가지 한계가 있었습니다. 

• 첫째, 모든 저자와 참여자가 일본에 거주하고 일하고 있습니다. 일본 상황과 관련된 환자 치료 측면에만 초점을 맞추지 않았기 때문에 이러한 연구 결과를 다른 국가에 일반화할 수 있을지는 불확실합니다. 일본은 보편적 의료 서비스와 잘 발달된 사회 보장 시스템으로 유명하지만, 사회 및 건강 불평등이 여전히 존재합니다.95 예를 들어, 일본의 상대적 빈곤층 비율은 2016년에 16%로 경제협력개발기구 평균인 11%보다 높았습니다.95 한부모 가구의 비율은 2013년에 50.8%로 가장 높았습니다.96 이러한 사회 경제적 불평등은 건강 결과를 손상시킵니다.98-101 본 연구 결과는 고소득 국가에서도 SDH 해결이 중요하다는 점을 강조합니다. 또한 일본에는 다양한 인종과 민족 정체성을 가진 사람들이 살고 있지만 대다수는 같은 인종과 민족입니다. 연구자들은 패널리스트의 인종 및 민족 정체성에 대해 묻지 않았지만, 아마도 거의 모든 패널리스트가 아시아인이었을 것으로 추정됩니다. 이 결과를 다른 문화와 국가에 적용할 때는 이러한 사실에 유의해야 합니다.
• 둘째, 각 라운드의 찬성률이 일관되게 높았다는 점입니다. 이는 임상에서 SDoH를 다루는 것이 정치적으로나 윤리적으로 옳은 것처럼 보이기 때문일 수 있으며, 참가자들은 제안된 항목을 거부하거나 거부하지 않으려는 경향이 있었습니다. 패널들의 의견에 대한 질적 분석은 상호보완적으로 작용하여 연구자들이 참가자들의 중요한 아이디어를 연구 결과에 반영하는 데 도움이 되었습니다.
• 셋째, 돌봄의 과정을 항목화하는 데에는 불가피한 한계가 있습니다. 일련의 과정이 미리 정해져 있고 불변하며 엄격하게 따라야 한다는 것은 오해입니다. 모든 환자는 고유한 사회적 맥락을 가지고 있으며, 의사와 이해관계자는 복잡한 사회적 결정 요인을 시급히 해결하기 위해 비판적이고 창의적인 사고의 중요성을 인식해야 합니다.
• 40 넷째, 이 연구는 치료 과정에서 관찰 가능한 단계만을 조사했습니다. SDH를 충분히 다루기 위해서는 전문가가 자신의 편견을 인식하는 능력과 같이 관찰할 수 없는 진료의 측면을 조사할 필요가 있습니다.40, 42, 45, 50, 77
• 다섯째, 이 연구에 참여한 환자 수가 적었습니다. 다른 전문가와 동등한 수준의 연구 참여에 대한 부담감이 환자 참여에 장애가 될 수 있습니다. 환자의 참여와 파트너십이 촉진되어야 하며,102, 103 새로 개발된 프레임워크는 보다 현실적이고 실질적인 방식으로 환자의 의견을 수렴하는 추가 연구를 통해 개선되어야 합니다.104 특히 소외된 환자들의 의견을 반영할 수 있는 잘 설계된 연구가 필요합니다.105, 106

This study had several limitations.

• First, all authors and participants live and work in Japan. Although we did not focus only on aspects of patient care specific to the Japanese situation, it is uncertain whether these findings can be generalised to other countries. Although Japan is known for its universal health care and well-developed social security systems, social and health inequities still exist.95 For example, the proportion of people with relative poverty in Japan was 16% in 2016, higher than that of the Organization for Economic Co-operation and Development average of 11%.95 This proportion among single-parent households was 50.8% in 2013,96 which was the highest.97 These socio-economic inequities impair health outcomes.98-101 The present findings highlight the importance of addressing SDH even in high-income countries. In addition, although people with various racial and ethnic identities live in Japan, the majority are of the same race and ethnicity. Researchers did not ask about panellists' racial and ethnic identities, but, presumably, almost all of the panellists were Asian. These facts should be noted when adapting the result to other cultures and countries.
• Second, the approval rates of each round were consistently high. It may be that addressing SDoH in clinical practice sounds politically and ethically correct, and participants tended to avoid denying and refusing proposed items. Qualitative analysis of the panellists' comments functioned complementarily, and it helped researchers to reflect participants' important ideas to the result.
• Third, there are inevitable limitations in itemising the process of care. It is a misapprehension that a series of processes is predetermined and immutable and should be strictly followed. Every patient has a unique social context, and physicians and stakeholders must be aware of the importance of critical and creative thinking to urgently address complex social determinants.40 
• Fourth, this study examined only observable steps in the processes of care. To fully address SDH, it is necessary to investigate unobservable aspects of care, such as professionals' ability to recognise their own biases.40, 42, 45, 50, 77 
• Fifth, the number of patients who participated in this study was a few. The burden of participating in research, which was equivalent to other professionals, might be a barrier to patient participation. Patient involvement and partnerships should be promoted,102, 103 and this newly developed framework should be refined by further research that gathers patient feedback in a more realistic and practical manner.104 In particular, well-designed research to reflect the opinions of marginalised patients is needed.105, 106

저희는 OPA 과정을 설명하는 것이 SDH에 대한 대학원 교육을 개선하는 데 중요한 단계라고 생각합니다. 이러한 연구 결과는 몇 가지 임상적 함의를 가지고 있습니다. 

• 첫째, 건강 상태 불평등의 근원은 부와 권력의 불평등한 분배에 있지만, 많은 개입이 불평등 문제를 개인화하여 개인의 행동을 주요 해결책으로 삼고 있습니다. 이러한 접근 방식은 '판타지적 패러다임'이라는 비판을 받아야 합니다.107 이 연구는 의사가 개별 환자와 관련된 SDH를 해결하는 방법에 중점을 두었지만, 우리는 이러한 문제의 상위 원인을 이해하는 것이 중요하다는 것을 인식하고 있습니다. SDH의 상류 측면을 고려하는 것은 맥락화된 진료에 필수적입니다.3
• 둘째, CPMA 프레임워크는 일차 진료에 종사하는 모든 의사의 기본 요구 사항을 설명합니다. 전문 진료를 위해서는 보다 전문화된 역량이 필요합니다.108-111 의사는 특히 소외된 인구에게 진료를 제공할 때 이 목록 이상의 것을 목표로 해야 합니다.112-114

We believe that describing process OPA is an important step towards improving postgraduate education about SDH. These findings have several clinical implications.

• First, although the root of health status inequity is in the unequal distribution of wealth and power, many interventions personalise the problem of inequality and target individual behaviour as the main solution. This approach should be criticised as a ‘fantasy paradigm’.107 Although this study focused on how physicians address SDH related to individual patients, we recognise the importance of understanding upstream causes of these problems. A consideration of the upstream aspects of SDH is essential to contextualised care.3 
• Second, the CPMA framework describes basic requirements for all physicians in primary care. More specialised competency is needed for expert practice.108-111 Physicians should aim beyond the list, especially when delivering care to marginalised populations.112-114

OPA는 수련의 평가 계획에 적절하게 매핑되어 있다면 평가할 수 있습니다.22 따라서 CPMA 프레임워크를 사용하는 평가 방법은 다른 맥락에서 개발 및 검증되어야 합니다. 이 프레임워크 실행의 교육 효과는 환자가 보고한 결과를 사용하여 평가해야 합니다. 또한, 이 프레임워크가 공유된 의사결정 및 환자 중심주의를 포함한 다른 환자 치료 영역과의 연관성을 확인해야 합니다.
OPA can be assessed if they are appropriately mapped in a trainee assessment plan.22 Thus, assessment methods using the CPMA framework should be developed and validated in other contexts. The educational effectiveness of implementing this framework should be evaluated using patient-reported outcomes. Additionally, the association of this framework with other realms of patient care, including shared decision making and patient-centredness, should be confirmed.

5 결론 5 CONCLUSION

수정된 델파이 기법을 사용하여 SDH와 관련된 환자 치료를 위한 프로세스 OPA를 설명했습니다. CPMA 프레임워크는 SDH 관련 의료 교육을 개선하는 데 도움이 될 수 있습니다. 다른 맥락에서 추가 검증, 구현 및 탐색을 위해서는 추가 연구가 필요합니다.
Using the modified Delphi technique, the process OPA for patient care related to SDH was described. The CPMA framework could help to improve medical education in SDH. Further research is needed for further validation, implementation and exploration in other contexts.

Abstract

© 2022 Association for the Study of Medical Education and John Wiley & Sons Ltd.

보건의료전문직이 인공지능-기반 도구를 사용하기 위한 역량(Acad Med, 2023)
Competencies for the Use of Artificial Intelligence–Based Tools by Health Care Professionals
Regina G. Russell, PhD, MA, MEd, Laurie Lovett Novak, PhD, Mehool Patel, MD, Kim V. Garvey, PhD, MS, MLIS, Kelly Jean Thomas Craig, PhD, Gretchen P. Jackson, MD, PhD, Don Moore, PhD, and Bonnie M. Miller, MD, MMHC 

인공 지능(AI)은 머신 러닝, 딥 러닝, 자연어 처리, 신경망을 활용하는 알고리즘을 포함하여 인간의 지능을 모방하는 컴퓨터 과학 기술을 말합니다. 의료 분야에서 AI 알고리즘은 이해할 수 없을 정도로 크고 복잡한 데이터 세트를 임상적 결정을 내릴 수 있는 정보로 변환할 수 있습니다. 1 이러한 기술은 점점 더 정교해지고 있으며, 위험 점수, 이미지 해석, 의료 기록 요약과 같이 AI로 생성된 결과물은 이미 환자 치료에 직접적인 영향을 미치는 데 사용되고 있습니다. 2,3 AI 기반 도구에는 이러한 유형의 계산 기술을 운영 체제에 통합하는 모든 기기와 소프트웨어가 포함됩니다.  
Artificial intelligence (AI) refers to computer science techniques that mimic human intelligence, including algorithms that leverage machine learning, deep learning, natural language processing, and neural networks. In health care, AI algorithms can transform incomprehensibly large and complex data sets into information that can guide clinical decisions. 1 These technologies have become increasingly sophisticated, and AI-generated outputs, such as risk scores, image interpretation, and health record summarization, are already being used to directly influence patient care. 2,3 AI-based tools include all instruments and software that incorporate these types of computational technologies into their operating systems.

의료 서비스에서 AI 기반 도구를 구현하면서 도구 개발의 편향성, 후속 건강 개선의 분배 정의 등 다양한 실용적, 윤리적 문제가 제기되고 있습니다. 4-7 이러한 도구의 도입이 증가함에 따라 임상의는 이러한 도구의 유익한 효과와 해로운 효과를 모두 경험하게 될 것이며, 따라서 AI의 영향을 받는 의료 환경에서 효과적이고 효율적이며 안전하며 공평하게 진료하기 위한 기본 역량을 습득해야 합니다. 그러나 이러한 역량의 성격은 아직 명확히 밝혀지지 않았습니다.
The implementation of AI-based tools in health care has given rise to a variety of practical and ethical concerns, including bias in tool development and justice in the distribution of subsequent health improvements. 4–7 As adoption increases, clinicians will encounter both beneficial and harmful effects of these tools and will therefore need to acquire baseline competencies for practicing effectively, efficiently, safely, and equitably in AI-influenced health care environments. However, the nature of such competencies has not yet been articulated.

6개 의과대학에서 제공하는 프로그램을 검토한 Paranjape 등 8은 고급 수학, 의료 데이터 세트, AI 기반 도구의 임상 적용 등 다양한 AI 관련 주제를 다루는 학습 활동을 설명했습니다. Lee 등 9은 학부 의과 교육에서 AI에 대한 범위 검토를 수행하여 명확한 학문적 구조와 특정 역량이 필요하다는 결론을 내렸습니다. 최근 논평에서 Garvey 등10은 임상 현장에서 새로운 AI 기반 도구를 테스트하고 구현할 때 구조화된 학습 프로그램이 거의 수반되지 않는다고 지적하며 역량에 대한 요구를 반영했습니다. 임상 정보학에 대한 역량이 발표되었지만,11 AI 기반 도구의 계산 복잡성과 진료 및 결과에 대한 잠재적 영향력을 고려할 때 안전하고 윤리적인 배포를 보장하기 위한 구체적인 역량이 필요합니다. 
In a review of programs offered at 6 medical schools, Paranjape et al 8 described learning activities that covered a range of AI-related topics, including advanced mathematics, health care data sets, and clinical applications of AI-based tools. Lee et al 9 conducted a scoping review of AI in undergraduate medical education and concluded that a clear academic structure and specified competencies were needed. In a recent commentary, Garvey et al 10 noted that structured learning programs rarely accompanied the testing and implementation of new AI-based tools in clinical workplaces and they echoed the call for competencies. Although competencies have been published for clinical informatics, 11 the computational complexity of AI-based tools and their potential influence on practice and outcomes necessitate specific competencies aimed at ensuring safe and ethical deployment.

역량 기반 교육은 이 연구를 위한 개념적 틀을 제공합니다. 12-14 역량 기반 교육의 기본 가정은 특정 지식, 기술 및 태도(역량)가 전문직 실무에 필요하며 이러한 역량 기대치는 전문직 환경의 핵심 측면을 분석하여 학습자를 위해 개발될 수 있다는 것입니다. 기대치가 정의되면 학습자는 개별화된 학습 경로를 따라 해당 역량을 습득할 수 있습니다. 12-14 본 연구의 목표는

• (1) 의료 전문가를 위한 AI 관련 임상 역량을 정의하고,
• (2) 향후 의료 AI 기술의 사용과 감독 및 관리에 필요한 조직의 책임을 탐구하는 것입니다.

Competency-based education provides a conceptual framework for this study. 12–14 The basic assumption of competency-based education is that specific knowledge, skills, and attitudes (competencies) are necessary for professional practice and that these competency expectations can be developed for learners by analyzing core aspects of their professional environments. Once expectations are defined, learners can acquire the competencies along individualized learning pathways. 12–14 Our study’s goals were

• (1) to define AI-related clinical competencies for health care professionals and
• (2) to explore future uses of health care AI technologies and the organizational responsibilities required for oversight and management.

방법
Method

2020년 12월부터 2021년 7월까지 의료 전문가가 AI 기반 도구를 효과적으로 사용하는 데 필요한 역량에 대해 주제별 전문가(SME)를 인터뷰하는 정성적 연구를 수행했습니다. 15-19그림 1은 연구 프로세스를 간략하게 보여줍니다.
From December 2020 through July 2021, we conducted a qualitative study in which we interviewed subject matter experts (SMEs) about the competencies health care professionals need to work effectively with AI-based tools. 15–19Figure 1 outlines the study process.

다학제 연구팀은 밴더빌트 대학교 의과대학의 교수진 5명(R.G.R., L.L.N., K.V.G., D.M., B.M.M.)과 AI 관련 연구 및 분석에 전문성을 갖춘 IBM 왓슨 헬스의 직원 3명(M.P., K.J.T.C., G.P.J.)으로 구성되었습니다. 이 팀에는 의사 3명(M.P., G.P.J., B.M.M.), 의료 AI 전문 인류학자(L.L.N.), 기술 업계 과학 책임자이자 전 의학교육자(K.J.T.C.), 교육 기술 전문가(K.V.G.), 직장 및 역량 기반 학습에 전문성을 갖춘 의학교육 학자 2명(D.M. 및 R.G.R.)이 포함되었습니다. 과도한 영향을 피하기 위해 IBM 왓슨 헬스의 팀원은 인터뷰에 참여하지 않았습니다. 두 연구팀은 연구의 다른 모든 측면에 대해 협력했습니다. 밴더빌트 대학교 기관윤리심의위원회는 이 프로젝트가 최소한의 위험을 초래한다고 판단하여 면제 대상으로 지정했습니다. 
The multidisciplinary research team consisted of 5 faculty members (R.G.R., L.L.N., K.V.G., D.M., and B.M.M.) from Vanderbilt University School of Medicine and 3 members (M.P., K.J.T.C., and G.P.J.) from IBM Watson Health who have expertise in AI-related research and analytics. The team included 3 physicians (M.P., G.P.J., and B.M.M.), an anthropologist specializing in health care AI (L.L.N.), a science officer in the technology industry and former medical educator (K.J.T.C.), a specialist in educational technology (K.V.G.), and 2 medical education scholars with expertise in workplace and competency-based learning (D.M. and R.G.R.). To avoid undue influence, team members from IBM Watson Health did not participate in the interviews. The combined team collaborated on all other aspects of the study. The Vanderbilt University Institutional Review Board determined that the project posed minimal risk and designated it exempt.

참여자
Participants

문헌 검토, 전문가 접촉, 눈덩이 기법(참가자에게 다른 내용전문가(SME)을 추천하도록 요청)을 통해 의료 환경에서 AI 기반 도구를 사용하는 내용전문가(SME)을 파악하고 이 연구에 참여하도록 초대했습니다. 19 연구에 참여하려면 미국 보건 전문직 교육 또는 보건 정보학 분야에서 일해야 했습니다. 이러한 의도적인 표본 추출 과정을 통해 다양한 직업을 대표할 수 있도록 했으며 윤리 및 형평성에 대한 특별한 전문성을 가진 사람들을 포함했습니다. 내용전문가(SME)은 연구 참여에 대한 사례금을 받았습니다. 
We identified SMEs in the use of AI-based tools in health care settings through literature review, professional contacts, and snowball techniques (asking participants to recommend other SMEs) and invited them to participate in this study. 19 To be eligible for the study, individuals needed to work in U.S. health professions education or health informatics. This purposive sampling process ensured representation from multiple professions and included those with special expertise in ethics and equity. The SMEs received an honorarium for their participation in the study.

데이터 수집
Data collection

반구조화된 인터뷰가 데이터의 주요 원천이었지만, 인구통계학적 설문지와 역량 초안에 대한 피드백을 요청하는 양식에서도 데이터를 수집했습니다. 저자들의 사전 논평에서 확인된 내용은 인터뷰 가이드 개발에 도움이 되었습니다. 10 반구조화된 인터뷰 프로토콜에는 연구 목표에 대한 설명이 포함된 소개 스크립트와 인터뷰에 대한 공유된 이해를 확립하기 위한 의료 분야에서의 AI에 대한 실무적 정의가 포함되었습니다. 인터뷰는 "의료 전문가가 임상 치료에서 AI 기반 도구를 사용하려면 어떤 역량이 필요한가?"라는 질문에 답하기 위해 설계되었습니다. 또한 인터뷰에서는 의료 AI 기술의 향후 활용과 이에 대한 조직의 감독 및 관리 책임에 대해서도 논의했습니다. 질문의 질과 유용성을 평가하기 위해 두 차례의 파일럿 인터뷰가 실시되었습니다. 초기 인터뷰에 대한 팀의 검토를 거쳐 다양성, 포용성, 건강 형평성과 관련된 질문이 추가되었습니다. 15번의 인터뷰 끝에 데이터 포화, 즉 내용전문가(SME)이 공유하는 아이디어의 반복에 도달했습니다. 20 최종 인터뷰 가이드는 부록 디지털 부록 1에서 확인할 수 있습니다.
Semistructured interviews were the primary source of data, although we also collected data from a demographic questionnaire and a form that solicited feedback on drafts of the competencies. Articles identified from the authors’ prior commentary informed development of the interview guide. 10 The semistructured interview protocol included an introductory script with a description of the study objectives and a working definition of AI in health care that was intended to establish a shared understanding for the interviews. Interviews were designed to answer the question, “What competencies do health care professionals need for use of AI-based tools in clinical care?” Interviews also explored future uses of health care AI technologies and organizational responsibilities for their oversight and management. Two pilot interviews were conducted to assess quality and utility of the questions. After team reflection on the initial interviews, questions were added related to diversity, inclusion, and health equity. Data saturation, or repetition of the ideas being shared by the SMEs, was reached after 15 interviews. 20 The final interview guide is available in Supplemental Digital Appendix 1 (at https://links.lww.com/ACADMED/B334).

인터뷰는 2021년 1월부터 4월까지 화상회의를 통해 진행되었으며, 참가자의 동의를 얻어 오디오를 녹음하고 필사했습니다. 인터뷰는 45분에서 60분 사이에 진행되었습니다. 인터뷰는 밴더빌트 대학교 의과 대학 팀원들이 가용성에 따라 분산되어 진행되었으며, 각 팀당 1명이 주 인터뷰어로 지정되었습니다. 보조 면접관은 일관성을 보장하기 위해 1명을 제외한 모든 면접에 참여했으며 선택한 지점에서 후속 질문을 던졌습니다. 일관성을 유지하기 위해 연구팀 전체가 매주 만나 인터뷰 내용을 보고하고, 녹취록을 검토하고, 인터뷰 가이드를 수정했습니다.
Interviews were conducted via videoconference between January and April 2021, audio-recorded with consent of the participants, and transcribed. The interviews lasted between 45 and 60 minutes. Interviews were distributed across Vanderbilt University School of Medicine team members based on availability, with 1 person designated as the primary interviewer for each. A secondary interviewer participated in all but 1 interview to ensure consistency and pose follow-up questions at selected points. To further ensure consistency, the entire research team met weekly to debrief interviews, review transcripts, and refine the interview guide.

내용전문가(SME)은 인터뷰 후 학위, 직책, 직업, 전문 분야, 나이, 경력 연수, 성별, 인종 또는 민족 등의 인구통계학적 요소를 제공했습니다. 2021년 7월, 내용전문가(SME)은 각 역량 및 하위 역량 초안의 구체적인 문구가 포함된 양식을 받았습니다. 응답자들은 각각에 대해 공개 텍스트 의견과 편집 제안을 제공하도록 요청받았으며 요약 의견을 제공할 기회를 가졌습니다. 인구통계학적 설문지와 역량 피드백 양식은 안전한 온라인 데이터 수집 도구인 REDCap(Research Electronic Data Capture)을 통해 관리되었습니다. 21 
The SMEs provided the following demographic elements after the interview: degree(s), title(s), profession, fields of expertise, age, years of professional experience, gender, and race or ethnicity. In July 2021, the SMEs received a form that contained the specific wording of each draft competency and subcompetency. Respondents were asked to provide open text comments and editorial suggestions on each and had the opportunity to provide summary comments. The demographic questionnaire and competency feedback form were administered through REDCap (Research Electronic Data Capture), a secure online data-capturing tool. 21

데이터 관리 및 분석
Data management and analysis

인터뷰 녹취록은 정성적 데이터 분석 도구인 Dedoose로 가져오기 전에 비식별화되었습니다. 22 코딩은 연구팀 전체에 분산되어 2명의 연구원이 각 인터뷰마다 코딩을 담당했습니다. 코딩에는 녹취록에서 텍스트 섹션을 발췌하고 각 발췌에 1개 이상의 코드를 할당하는 작업이 포함되었습니다. 연구팀은 연역적 코딩과 귀납적 코딩 방법을 모두 사용했습니다. 23

• 연역적 코딩에서는 의료 전문직 전반의 영역을 통합한 기존 역량 분류법을 적용했습니다. 24
• 귀납적 코딩에서는 선험적 코딩 체계 없이 데이터를 검토하여 기존 프레임워크에 포함되지 않은 새로운 아이디어를 식별할 수 있었습니다.

이전에 개발된 역량 프레임워크를 사용하면 코더 간 개념의 초기 조율을 지원하는 한편, 개방형 코딩의 유연성을 통해 예상치 못한 인사이트를 발견할 수 있었습니다.
Interview transcripts were deidentified before importing into the qualitative data analysis tool Dedoose. 22 Coding was distributed across the research team, with 2 members coding each interview. This coding involved excerpting sections of text from transcripts and assigning 1 or more codes to each excerpt. The team used both deductive and inductive coding methods. 23 

• In deductive coding, an existing competency taxonomy that integrated domains across health professions was applied. 24 
• In inductive coding, data were reviewed without an a priori coding scheme, allowing identification of new ideas not included in existing frameworks.

The use of a previously developed competency framework supported initial alignment of concepts across coders, whereas the flexibility of open coding allowed discovery of unexpected insights.

주제별 분석은 코딩 과정에서 떠오른 아이디어를 탐색하고 요약하는 데 사용되었습니다. 15,19,23 코딩된 데이터에 대한 반복적인 팀 토론을 통해 6개의 광범위한 개념적 주제가 확인되었습니다. 이러한 주제는 인터뷰 전반에 걸쳐 반복적으로 나타났으며, 15개의 녹취록을 분석한 결과 귀납적 주제 포화도에 도달했습니다. 20,25
Thematic analysis was used to explore and summarize ideas that surfaced during the coding process. 15,19,23 Six broad conceptual themes were identified through iterative team discussion of the coded data. These themes appeared repeatedly throughout interviews, and after analysis of 15 transcripts, inductive thematic saturation was reached. 20,25

전문 분야에 따라 각 개념적 주제에 1명의 연구원이 배정되어 역량 진술로 번역했습니다. 연구자들은 주제에 매핑된 발췌문을 사용하여 향후 커리큘럼 개발에 필요한 구체성을 제공하는 하위 역량도 만들었습니다. 두 번째 팀원이 각 초안을 검토하고 수정 사항을 제안하도록 배정되었습니다. 그런 다음 팀 전체가 작성된 목록을 검토하고 유사한 하위 역량을 중복 제거하고 합의에 도달할 때까지 문구와 프레임워크를 반복적으로 수정했습니다. 이 합의 문서는 후속 양식을 작성하는 데 사용되었으며, 역량 진술에 대한 피드백을 요청하기 위해 내용전문가(SME)에 이메일을 통해 배포되었습니다.
On the basis of areas of expertise, 1 researcher was assigned to each conceptual theme for translation into competency statements. Using excerpts that mapped to the themes, researchers also created subcompetencies, which provided the specificity needed for future curriculum development. A second team member was assigned to review each draft and suggest revisions. The entire team then reviewed the compiled list, deduplicated similar subcompetencies, and iterated the wording and framework until consensus was reached. This consensus document was used to construct the follow-up form, which was distributed via email to the SMEs to solicit feedback on competency statements.

내용전문가(SME)의 피드백을 수집한 후, 각 역량과 그 하위 역량에 대해 1차 및 2차 검토자가 배정되었습니다. 1차 검토자는 제출된 답변을 변경 없음, 문구 수정, 삭제 또는 새로운 하위 역량 추가 등의 루브릭을 사용하여 코드화했습니다. 그런 다음 1차 검토자는 코드화된 답변을 사용하여 필요에 따라 진술을 수정했습니다. 2차 검토자는 성문화된 내용을 확인하고 수정된 내용이 정확하고 완전한지 평가했습니다. 수정된 역량 목록은 전체 연구팀의 합의 프로세스를 통해 검토 및 최종 확정되었습니다.
After collection of feedback from the SMEs, primary and secondary reviewers were assigned to each competency and its subcompetencies. The primary reviewer codified the submitted responses using the following rubric: no change, edit wording, delete, or add new subcompetency. The primary reviewer then used the codified responses to revise statements as needed. The secondary reviewer confirmed codification and evaluated the revisions for accuracy and completeness. The revised competency list was reviewed and finalized using a consensus process across the combined research team.

매주 회의를 통해 팀원들의 다양한 관점과 경력 경험이 데이터 해석에 미치는 영향에 대한 지속적인 성찰을 장려했습니다. 성적표 코딩, 성명서 작성, 내용전문가(SME) 피드백을 통한 수정 작업을 함께 진행함으로써 팀 내 참여가 더욱 활발해져 요약 결과의 신뢰도가 높아졌습니다. 25
Weekly meetings encouraged ongoing reflection on the impact of team members’ diverse perspectives and career experiences on data interpretation. Mixed pairings for transcript coding, statement writing, and revisions from the SME feedback encouraged deeper engagement within the team, increasing the credibility of the summary findings. 25

결과
Results

남성 10명, 여성 5명을 포함하여 15명의 내용전문가(SME)을 인터뷰했습니다. 내용전문가(SME)의 연령은 34세부터 73세까지 다양했으며, 3명은 소수 인종 또는 소수 민족 출신이었습니다. 내용전문가(SME)을 대표하는 임상 전문직은 의학(n = 9), 간호(n = 2), 약학(n = 1, 표 1) 등이었습니다. 비임상 학자 3명은 윤리(n = 1), 비즈니스 및 교육(n = 1), 사회 의학(n = 1)에 대한 전문성을 추가했습니다. 여러 역할을 맡고 있다고 답한 내용전문가(SME)이 많았지만,

• 주로 의료 AI, 생의학 정보학 및/또는 직장에서의 AI의 윤리적 적용에 대한 전문성으로 11명이 선정되었고,
• 의료 전문직 교육에 대한 전문성으로 2명이,
• 의료 전문직 교육과 의료 AI에 대한 이중 전문성으로 2명이 선정되었습니다.

Fifteen SMEs were interviewed, including 10 men and 5 women. The SMEs ranged in age from 34 to 73 years, and 3 were from racial or ethnic minority groups. Clinical professions represented by the SMEs included medicine (n = 9), nursing (n = 2), and pharmacy (n = 1; Table 1). Three additional nonclinical scholars added expertise in ethics (n = 1), business and education (n = 1), and social medicine (n = 1). Although many SMEs reported multiple roles,

• 11 were selected primarily for their expertise in health care AI, biomedical informatics, and/or the ethical application of AI in the workplace;
• 2 for their expertise in health professions education; and
• 2 because of dual expertise in health professions education and health care AI.

주요 주제 및 선정 의견
Key themes and selected comments

연구원들은 코딩된 발췌문을 반복적으로 분석하여 6개의 개념적 주제를 식별했습니다. 이러한 주제는 초기 전문가 간 역량 프레임워크에 의해 연역적으로 형성되었으며, 연구팀의 다양한 전문성을 반영한 오픈 코딩을 통해 귀납적으로 형성되었습니다. 주제와 대표 의견은 아래에 요약되어 있습니다. 의견은 길이와 명확성을 위해 최소한의 편집을 거쳤습니다. 
Researchers identified 6 conceptual themes based on iterative analysis of coded excerpts. These themes were shaped deductively by the initial interprofessional competency framework as well as inductively by open coding, which reflected the diverse expertise of the research team. Themes and representative comments are outlined below. Comments have been minimally edited for length and clarity.

기초 지식의 필요성.
The need for foundational knowledge.

내용전문가(SME)들은 임상 치료에 활용되는 AI 도구의 유형, 목적, 데이터의 품질, 관련 분야의 개발 기여도에 대한 기초 지식이 필요하다고 설명했습니다. 내용전문가(SME)들은 임상의가 이러한 분야의 전문가가 될 필요는 없지만 일반적인 정보학 역량과 데이터 입력, 생성된 출력, 알고리즘의 특성 등 AI의 구성 요소에 대한 높은 수준의 이해가 있어야 한다고 강조했습니다.
The SMEs described a need for foundational knowledge about the types of AI tools deployed in clinical care, their purposes, the qualities of data, and the contributions of related fields to their development. The SMEs stressed that clinicians need not become experts in any of these disciplines but instead should gain general informatics competency and a high-level understanding of the components of AI, including data inputs, generated outputs, and the nature of algorithms.

모든 의료 전문가를 위한 기본적인 정보학 역량 교육부터 시작해야 합니다. 어떤 기술을 사용하고 있나요? 어떻게 효율적으로 사용하나요? 데이터란 무엇인가요? 데이터를 어떻게 수집하나요? 왜 정확한 데이터가 필요한가?... 그런 다음 다음과 같은 더 복잡한 내용으로 넘어갑니다: AI란 무엇인가요? (내용전문가(SME) 4)
You have to start with fundamental informatics competency education for all our health professionals. What are the technologies you use? How do you use them efficiently? What’s data? How do you collect data? Why do we need accurate data?… Then, we move up to more complex stuff like: What is AI? (SME 4)

어떤 사람들은 이것을 새로운 형태의 문해력이라고 설명합니다.
Some described this as a new form of literacy.

더 많은 의료 서비스가 기술을 통해 제공될 수밖에 없기 때문에, 그 편안함, 그것은 수리력도 아니고 문해력도 아닙니다. 기술 리터러시와 같은 것이죠. (내용전문가(SME) 3)
We have no choice that more health care is going to be funneled through technology, so that comfort, it’s not quite numeracy and it’s not quite literacy. It’s like tech literacy. (SME 3)

내용전문가(SME)들은 또한 특정 도구를 특정 환자 또는 환자 집단에 안전하게 적용하기 위해서는 해당 도구에 대해 "알아야 할 것을 알아야 한다"고 설명했습니다.
The SMEs also described a need to “know what you need to know” about a specific tool to safely apply it to any given patient or population of patients.

우리는 약리학에 대해 충분히 배워서 누군가 와서 "이 마법의 콩이 있어요"라고 말하면 "그래요, 약리학을 해봤어요. 어떻게 작용하죠?" 그러면 그들은 "그냥 마술이에요."라고 대답할 것입니다. 환자에게 마법의 콩을 주기 전에 그 마법에 대해 조금 더 알고 싶을 것입니다. AI는 사람들에게 판매되는 방식이 마법의 콩과 비슷하기 때문에 우리 모두가 올바른 질문을 할 수 있기를 바랍니다. 그 뒤에 있는 기술은 무엇인가요? 어떻게 테스트되었나요? 외부 검증을 거쳤나요? 어떤 종류의 데이터 세트인가요? (내용전문가(SME) 6)
We learn enough about pharmacology that if someone came in and said, “I have these magic beans” and you said “Okay, I’ve had pharmacology. How do they work?” And they said “Well, it’s just magic.” You’d probably want to know a little more about the magic before you would give it to your patients. AI is kind of like magic beans the way it gets sold to people, and I want all of us to be able to ask the right questions. What’s the technology behind it? How has it been tested? Did you do external validation? What kind of data sets? (SME 6)

마지막으로, 내용전문가(SME)들은 일부 기초 지식은 기존 교육 과정에서 이미 다루어졌을 수 있지만 AI의 맥락에서 명시적으로 적용해야 할 필요가 있다는 점을 인정했습니다.
Finally, the SMEs acknowledged that some foundational knowledge may already be covered in existing courses but would need to be applied explicitly in the context of AI.

이 부분은 이미 어느 정도 교육을 받고 있다고 생각합니다. 민감도, 특이성, 정확도 측정에 대한 기본적인 개념만 "AI가 모든 것을 해결해 줄 거야"라고 말하는 경향이 있기 때문입니다. 하지만 완벽한 방법은 없습니다. (내용전문가(SME) 14)
This is something I think they already get some training on. Just the basic notion of sensitivity, specificity, the accuracy measures because there’s a tendency to say, “Ooh, you know, AI is going to solve everything.” But no particular method is perfect. (SME 14)

윤리적, 법적, 규제적, 사회적, 경제적, 정치적 문제.
Ethical, legal, regulatory, social, economic, and political issues.

많은 내용전문가(SME)은 공정성을 보장하기 위한 신중한 조치 없이 AI 기반 도구가 구현될 경우 건강 불평등을 악화시킬 가능성에 대해 논의했습니다. 잠재적인 부정적 결과에 대해 충분한 주의를 기울이기 전에 형사 사법, 교육, 주택 분야에 AI 기반 기술이 도입되었을 때 발생하는 문제점을 언급하기도 했습니다. 이러한 우려를 바탕으로 내용전문가(SME)은 모든 임상의가 AI 기반 도구가 건강 격차와 의료 격차를 좁힐지 넓힐지를 결정할 사회적, 윤리적, 법적, 규제적 문제를 이해해야 한다고 설명했습니다. 
Many of the SMEs discussed the potential for AI-based tools to worsen health inequities if implemented without deliberate action to ensure fairness. Several cited problems occurred when AI-based technologies were implemented in criminal justice, education, and housing before sufficient attention was given to potential negative consequences. On the basis of these concerns, the SMEs described a need for all clinicians to understand the social, ethical, legal, and regulatory issues that will determine whether AI-based tools will narrow or widen health disparities and health care gaps.

우리는 형사 사법, 교육, 주택 등 다양한 분야에서 인공지능이 형평성과 포용성을 무시할 때 어떤 일이 벌어지는지 보아왔습니다. 우리는 이러한 분야에서 인공지능을 사용해서는 안 되며, 의료 분야에서도 인공지능을 사용해서는 안 됩니다. (내용전문가(SME) 15) 
We have seen what AI does when it ignores equity and inclusion in criminal justice, in education, in housing, in you name it. We should not have done it in those fields, and we certainly cannot do it in health care. (SME 15)

내용전문가(SME)들은 이해도를 넘어 임상의가 AI 도구의 윤리적 배포와 적절한 평가를 보장하기 위해 개인적이고 공동의 책임감을 개발해야 할 필요성을 설명했습니다. 
Beyond understanding, the SMEs described a need for clinicians to develop a sense of personal and shared responsibility for ensuring ethical deployment and appropriate evaluation of AI tools.

많은 임상의가 "나에게는 책임이 있고 그 책임의 일부는 목소리를 내는 것입니다. 저는 이 문제에 대해 방관자가 되지 않을 것입니다." 라고 말하기보다는 시스템이 저절로 작동하도록 내버려 둡니다.  (내용전문가(SME) 15) 
Many clinicians allow the system to run itself rather than saying, “I have a responsibility and part of that is to speak up. I’m not going to be a bystander on this one.” (SME 15)

내용전문가(SME)들은 AI 기반 도구가 제공하는 지원과 관계없이 임상의가 환자 치료의 모든 측면과 임상 결과에 대한 일차적인 전문적, 법적 책임을 여전히 져야 한다고 한목소리로 말했습니다. 
The SMEs uniformly stated that clinicians should still hold primary professional and legal responsibility for all aspects of patient care and for clinical outcomes, regardless of the support provided by AI-based tools.

학생들에게 필요한 윤리적 부분은 의사가 그 과정에서 전문적인 의무를 포기하지 않는다는 개념이라고 생각합니다. (내용전문가(SME) 10) 
I think the ethical piece that the students would need is this notion of the physician not abdicating their professional duty in the process. (SME 10)

몇몇은 형평성과 격차 악화 가능성에 대한 우려를 신랄하게 표현하고 공평한 배치를 방해할 수 있는 정치적, 구조적 요인에 대해 설명했습니다. 
Several expressed concerns for equity and the potential for worsening disparities in poignant terms and described the political and structural factors that could impede equitable deployment.

그렇다면 기술에 접근할 수 없거나 교육, 언어 또는 기타 장벽으로 인해 뒤처진 사람들은 어떤 상황에 놓이게 될까요? AI 혁명은 그 범주에 속하는 사람들을 어디에 남겨둘까요? 그리고 환급 구조와 전체 시스템 측면에서 의료 서비스 모델은 어디에서 장애를 일으키기 시작할까요? AI가 본질적으로 격차를 줄이는 데 도움이 되기보다는 오히려 악화시킬 수 있는 부분은 어디일까요? 저는 그것이 앞으로 문제가 될 수 있다고 생각하기 때문입니다. (내용전문가(SME) 14)  
So where does it leave those who don’t have access to technology or who are left behind because of educational, language, or other barriers? Where does an AI revolution leave people who fall in that bucket? And where does the health care model start to impede, in terms of the way reimbursements are structured, the entire system? Where might it introduce gaps that AI essentially exacerbates rather than helps close? Because I can see that being a problem down the line. (SME 14)

임상의의 역할과 책임, 그리고 임상 진료의 본질.
Clinician roles and responsibilities and the nature of the clinical encounter.

내용전문가(SME)들은 AI 기반 도구의 큰 잠재력은 임상의가 다양한 소스에서 파생된 방대한 양의 데이터를 관리할 수 있도록 지원함으로써 임상 진료를 개선하는 데 있다는 데 동의했습니다. 
The SMEs agreed that the great promise of AI-based tools is to improve clinical care by helping clinicians manage massive amounts of data derived from diverse sources.

과거 데이터, 현재 데이터. 환자의 환경에서 무슨 일이 일어나고 있는지 진료 시점에 이 모든 것을 종합하려고 합니다....... 증상. 치료법. 우리를 돕기 위해 이러한 도구가 필요합니다. 우리의 마음은 무한하지 않습니다. 우리는 산만합니다. 우리는 피곤합니다. 우리는 무슨 일이 일어나고 있는지 따라잡을 수 없습니다. 올바른 결정을 내리는 데 도움을 줄 수 있는 도구가 필요합니다. (내용전문가(SME) 4) 
Historic data, current data. Trying to piece all that together at the point of care with whatever’s going on in the environment of the patient…. The symptomatology. Their treatment. We need these tools to help us. Our minds are not infinite. We are distracted. We get tired. We can’t keep up with what’s going on. We need these tools to be able to provide us the support to help make good decisions. (SME 4)

내용전문가(SME)들은 AI 기반 도구의 결과물이 임상적 의사 결정을 보강하고 지원하는 데 사용되어야 하며, 임상의가 개별 환자를 돌볼 때 이러한 결과물을 적용하는 데 판단력을 발휘해야 하며, 이상적으로는 공유 의사 결정 모델을 사용해야 한다고 강조했습니다. 
The SMEs stressed that the outputs of AI-based tools should be used to augment and support clinical decision-making and that clinicians should exercise judgment in applying those outputs in caring for individual patients, ideally using shared decision-making models.

르네 라넥은 튜브를 통해 들을 수 있는 청진기를 사용하면 더 잘 들을 수 있다는 사실을 발견했고, 이는 결국 현대 청진기로 발전했습니다. 마찬가지로 AI 도구는 진단 또는 치료 능력을 향상시키는 청진기처럼 보아야 하며, 귀를 대체해서는 안 됩니다. (내용전문가(SME) 7) 
René Laënnec discovered that you could hear better with a tube you could listen through that was eventually refined to the modern stethoscope. Similarly, AI tools should be viewed like a stethoscope that increases your diagnostic or therapeutic ability but shouldn’t replace what goes on between your ears. (SME 7)

의사의 역할은 해당 지침이나 프레젠테이션을 환자의 맥락에서 해석한 다음 공유된 의사 결정 프로세스를 통해 환자가 현재 처한 상황에서 환자의 요구를 가장 잘 충족할 수 있는 치료 계획을 생성하는 것이며, 일부 상충 관계가 있을 수 있음을 이해해야 합니다. (내용전문가(SME) 2) 
The physician’s job is to interpret that guideline or presentation in the context of their patient and then through a shared decision-making process generate a care plan that’s going to best meet the needs of the patient where they are at that time, understanding that there may be some tradeoffs. (SME 2)

내용전문가(SME)들은 환자의 치료에 영향을 미칠 수 있는 AI 기반 도구의 결과를 환자에게 설명할 때 향상된 커뮤니케이션 기술이 필요하다고 설명했지만, 이러한 도구가 임상의와 환자 관계의 인간적인 측면을 향상시킬 수 있는 기회를 제공할 수 있다고 믿었습니다. 
The SMEs described a need for enhanced communication skills in explaining to patients the outputs of AI-based tools that might influence their care but also believed that these tools may present an opportunity to enhance humanistic aspects of clinician–patient relationships.

의사 결정에 따른 인지적 부하를 일부 상쇄하고 이를 돕기 위해 이 도구를 통합함으로써 이득을 얻을 수 있다고 한다면, 이러한 인지적 부하를 인문학적 상호 작용에 다시 주입할 수 있을까요? (내용전문가(SME) 10) 
If we’re saying we’re going to benefit from offsetting some of the cognitive load of the decision making and incorporating this tool to help us do that, can we reinfuse that cognitive load in the humanistic interactions? (SME 10)

내용전문가(SME)들은 대체가 아닌 보강을 강조했지만, 임상 치료의 일부 측면이 결국 AI 기반 기능으로 대체될 수 있다는 점을 인정했습니다. 
Although the SMEs emphasized augmentation and not replacement, they acknowledged that some aspects of clinical care might eventually be replaced by AI-based capabilities.

기술이 여러분이 하는 일의 일부를 대체할 것이라는 점을 이해해야 합니다. 그리고 그거 아세요? 괜찮습니다. 여러분의 스킬 세트에는 여전히 중요한 다른 측면이 있습니다. 하지만 기술이나 시스템의 다른 부분으로 더 잘할 수 있는 일에 매달리는 것은 어떨까요? 환자와 시스템 모두에게 중요합니다. AI가 이를 더욱 강화할 것이라고 생각합니다. (내용전문가(SME) 2) 
You need to understand that technology is going to replace some of the stuff you do. And guess what? That is okay. There are other aspects of your skill set that are going to remain really important. But hanging onto stuff that can be done better by either technology or other points in the system? It’s important for both the patients and the system. AI, I think, is going to push that. (SME 2)

마지막으로, 내용전문가(SME)들은 임상의가 임상적으로 적절한 경우 환자가 생성한 데이터를 통합해야 한다고 생각했습니다. 
Finally, the SMEs believed that clinicians should incorporate patient-generated data when clinically appropriate.

엄청나게 가치 있는 정보죠? 예를 들어 진료실에서 혈압을 한 번 측정하는 것보다 훨씬 낫죠. 이제 환자의 일상 생활과 건강 상태에 대한 훨씬 더 정확한 데이터를 얻을 수 있습니다. 따라서 우리는 이를 활용해야 합니다. 엄청난 잠재력을 제공합니다. 사람들을 너무 단편적으로 만나기 때문에 우리가 할 수 있는 모든 일을 할 수 없습니다. 하지만 이를 어떻게 처리하고 최대한 활용할 수 있을지 함께 노력해야 합니다. (내용전문가(SME) 10) 
It’s incredibly valuable information, right? It’s so much better than the one shot of, for instance, a blood pressure measurement when they’re in the office. Now you’ve got much more accurate data about their day-to-day life and how things work. And so, we need to lean into it. It offers tremendous potential. It’s all the stuff that we can’t do because we see folks so episodically. But we will need to work together to figure out how to process it and make the most of it. (SME 10)

팀 역학 및 워크플로에 미치는 영향.
The impact on team dynamics and workflows.

몇몇 내용전문가(SME)은 AI 기반 도구가 기존 워크플로우에 미칠 영향에 대해 논의하고 워크플로우 변경 사항을 명시적으로 처리하는 구현 프로세스를 권장했습니다. 
Several SMEs discussed the impact that AI-based tools would have on established workflows and recommended implementation processes that explicitly address workflow changes.

"우리의 워크플로는 무엇이며, 이 기술은 어디에 적합fit한가?"라는 질문을 던질 수 있어야 합니다. 그것이 위험 모델을 제시하는 것이든, 약물을 전달하는 로봇이든, 정맥주사 펌프이든 상관없습니다. 이 새로운 도우미를 수용하기 위해 워크플로에 어떤 변화가 필요할까요? (내용전문가(SME) 1) 
We should be able to ask the question, “What is our workflow and where does this technology fit into that?” And that’s whether it’s the presentation of a risk model or it’s the robot that delivers medications or the IV [intravenous] pump. How will this fit in, and what do we need to change about our workflows, if anything, to accommodate this new helper? (SME 1)

내용전문가(SME)들은 이러한 워크플로우의 중단이 전문가 간 팀과 팀원 간의 관계에 영향을 미칠 수 있다는 점을 인정했습니다. 
The SMEs acknowledged that these disrupted workflows could have an impact on interprofessional teams and the relationships between team members.

또한 전문가 간 팀은 팀 내에서 증강 지능이 할 수 있는 일과 할 수 없는 일에 대해 공유된 이해를 가져야 합니다. 특히 진행성 암과 같은 복잡한 치료 문제와 관련하여 중요한 부분이라고 생각할 수 있습니다. (내용전문가(SME) 2) 
The interprofessional team would also have to have a shared understanding of what that augmented intelligence can and can’t do within that team aspect. But you could imagine that being an important part, particularly around complex care issues like advanced cancers. (SME 2)

데이터 세트의 편향성 및 대표성에 대한 우려.
Concerns about bias and representativeness of data sets.

내용전문가(SME)들은 개인적 편향, 조직적 편향, 시스템적 편향 등 여러 수준에서, 그리고 도구 제작 과정의 여러 지점에서 편향에 대한 우려를 논의했습니다. 특히 내용전문가(SME)들은 데이터 세트 학습과 검증에 사용되는 모집단의 특성에 따라 AI 기반 도구에 내장될 수 있는 편향성에 대해 설명할 때 우려를 표명했습니다.
The SMEs discussed concerns for bias at multiple levels, including personal, organizational, and systemic bias, and at multiple points in the tool creation process. Concerns were particularly strong when SMEs described the bias that can be built into AI-based tools based on the characteristics of populations used for training data sets and for validation.

문제는 이러한 도구를 사용하는 사람들이 도구의 기반이 되는 데이터에 사용된 개별 연구에 대해 알지 못한다는 것입니다. 예를 들어 70세 미만은 임상시험에 참여하지 않거나 어린이는 임상시험에 참여하지 않는 등의 배제 기준이 있었을 수 있습니다. 모든 임상시험에 해당되는 것은 아니지만, 이상값에 대한 예측의 기본 통계적 근거가 편향될 수 있을 정도로 많은 수의 임상시험에 해당될 수 있습니다. 따라서 일반적인 AI 도구에서 경계 조건이 무엇인지 모른다면 도구를 적용하는 것은 매우 위험합니다. (내용전문가(SME) 7) 
The problem there is that the people that are using those tools don’t know about the individual studies that went into the data underlying the tool. There may have been exclusion criteria for, like, people under 70 weren’t admitted into the trial, or children weren’t admitted into the trial, and so on. And that may not have been true of all of the trials, but enough of them that it would bias the underlying statistical basis for predictions for outliers. So, it’s very dangerous to apply a tool, in general AI tools, if you don’t know what their boundary conditions are. (SME 7)

데이터의 대표성은 특히 과소대표된 환자 및 인구 집단에 특정 AI 도구를 적용하는 결정을 내릴 때 매우 중요합니다.
Representativeness of data becomes especially critical in decisions about applying specific AI tools to underrepresented patients and populations.

얼굴 인식 및 치안 분야에서는 소수 민족의 얼굴에 대해 학습되지 않은 도구가 판매되어 근처에 있지도 않은 사람을 부적절하게 용의자로 분류하는 등의 문제가 발생하기도 했습니다. 의료 분야에도 이와 유사한 사례가 있습니다. (내용전문가(SME) 14) 
And we’ve seen issues with that in facial recognition and policing space where tools have been sold that were not trained on minority faces and then inappropriately flagged people as being suspects for things where they were not even anywhere near the vicinity. There’s an analog in medicine to that as well. (SME 14)

내용전문가(SME)들은 편견을 완화하기 위해 커뮤니티 참여와 권한 부여 접근 방식을 권장했습니다.
The SMEs recommended a community engagement and empowerment approach to mitigate bias.

환자와 보호자를 테이블로 끌어들이는 것은 점점 더 넓어지고 있습니다. 그리고 네, 그렇게 하면 속도가 느려집니다. 저도 동의합니다. 하지만 모두를 위한 진전을 이루려면 모든 사람을 테이블에 참여시켜 발언권을 부여하고 영향력을 행사할 수 있는 권한을 부여해야 합니다. (내용전문가(SME) 15) 
Bringing in patients and their caregivers to the table is broadening and widening. And, yes, that slows things down. I agree. But if you wanted to find progress for everyone, then we need to empower and have everyone at the table and give them a power to speak and influence and shape. (SME 15)

지속적인 전문성 개발.
Continuing professional development.

내용전문가(SME)들은 변화의 속도가 빠르기 때문에 보건 전문직 교육 단계 전반에 걸쳐 이니셔티브가 필요하다고 말하며, 후배 학습자가 상급자보다 더 발전할 수 있다고 언급했습니다. 
The SMEs stated that the rapid pace of change created an imperative for initiatives across the phases of health professions education and noted that junior learners might be more advanced than their supervisors.

이러한 상황에서 공동 제작 및 공동 학습이 도움이 될 수 있다고 생각하며, 교수진이 학생 및 레지던트와 함께 자신들이 접하지 못했던 분야에 대해 배울 수 있는 공간을 마련할 수 있습니다. (내용전문가(SME) 2)
This is where I think co-production and co-learning can be helpful, creating space for faculty to kind of learn with their students and the residents in areas that they themselves may not have been exposed to. (SME 2)

의료 전문가를 위한 AI 관련 역량
AI-related competencies for health care professionals

인터뷰 분석, 주제 파악, 전문가 피드백 통합, 연구팀 전체의 반복적인 합의 도출을 통해 최종적으로 의료 전문가를 위한 6개의 AI 관련 역량 영역 진술과 25개의 하위 역량이 공식화되고 구체화되었습니다. 의료 전문가 역량 분류체계 24가 초기 코딩을 용이하게 했지만, 일부 AI 관련 역량은 이미 확립된 여러 영역에 매핑되는 것을 발견했으며 최종 프레임워크를 구성할 때 이 분류체계에 국한하지 않았습니다. 
Ultimately, 6 AI-related competency domain statements and 25 subcompetencies for health care professionals were formulated and refined from analysis of the interviews, identification of themes, incorporation of expert feedback, and iterative consensus development across the study team. Although the health professions competency taxonomy 24 facilitated initial coding, we found that several of the AI-related competencies mapped to multiple established domains and did not limit ourselves to this taxonomy in constructing our final framework.

역량 영역 진술은 다음과 같습니다:

• (1) AI에 대한 기본 지식: AI가 무엇인지 설명하고 의료 분야에 적용하는 방법을 설명한다.
• (2) AI의 사회적, 윤리적 의미: 사회, 경제, 정치 시스템이 AI 기반 도구에 미치는 영향과 이러한 관계가 정의, 형평성, 윤리에 미치는 영향을 설명한다.
• (3) AI로 강화된 임상 진료: 환자 중심 치료 계획을 수립할 때 다양한 정보원을 통합하는 AI 강화 임상 진료 수행,
• (4) AI 기반 도구의 증거 기반 평가를 수행: 환자 및 집단에 대한 치료를 제공할 때 AI 기반 도구와 그 기반 데이터 세트의 품질, 정확성, 안전성, 맥락적 적절성, 편향성을 평가하고,
• (5) AI 기반 도구의 워크플로 분석: AI 기반 도구 구현으로 인한 팀, 역할, 책임, 워크플로 변화를 분석하고 이에 적응하며,
• (6) AI 기반 도구 관련 실무 기반 학습 및 개선: 의료 서비스에서 AI 도구 사용과 관련된 지속적인 전문 개발 및 실무 기반 개선 활동에 참여합니다.

The competency domain statements are as follows:

• (1) basic knowledge of AI: explain what AI is and describe its health care applications;
• (2) social and ethical implications of AI: explain how social, economic, and political systems influence AI-based tools and how these relationships impact justice, equity, and ethics;
• (3) AI-enhanced clinical encounters: carry out AI-enhanced clinical encounters that integrate diverse sources of information in creating patient-centered care plans;
• (4) evidence-based evaluation of AI-based tools: evaluate the quality, accuracy, safety, contextual appropriateness, and biases of AI-based tools and their underlying data sets in providing care to patients and populations;
• (5) workflow analysis for AI-based tools: analyze and adapt to changes in teams, roles, responsibilities, and workflows resulting from implementation of AI-based tools; and
• (6) practice-based learning and improvement regarding AI-based tools: participate in continuing professional development and practice-based improvement activities related to use of AI tools in health care.

그림 2는 역량 영역을 보여줍니다. 목록 1은 AI 관련 역량과 그 하위 역량을 제시합니다. 전문직별 번역의 예로, 부록 디지털 부록 2에는 이러한 역량이 의학전문대학원 교육 인증위원회의 핵심 역량 영역 26과 대략적인 난이도에 매핑된 목록이 나와 있습니다.

Figure 2 depicts the competency domains. List 1 presents the AI-related competencies along with their subcompetencies. As an example of profession-specific translation, Supplemental Digital Appendix 2 (at https://links.lww.com/ACADMED/B334) lists these competencies mapped to the Accreditation Council for Graduate Medical Education core competency domains 26 and approximate level of difficulty.

토론
Discussion

AI 기반 도구의 임상적 사용에 대한 내용전문가(SME)의 일반적인 열의에도 불구하고 거의 모든 인터뷰에 신중함이 스며들어 있었습니다. 사람에 대한 부적절한 분류 및 라벨링, 왜곡된 데이터 세트에 기반한 예측 모델, 기존의 불평등을 의도치 않게 유지하는 강력한 기술 등 잠재적인 위험은 AI 개발의 역사 전반에 걸쳐 목록화되어 왔습니다. 4,27 인공지능의 역사에 대한 최근의 비판적 검토에 따르면 "인공지능은 인공적이지도 지능적이지도 않다"고 주장합니다. 4 AI 기반 도구의 출력은 사용 가능한 데이터에 의해 결정되므로 시스템의 "지능"은 인간의 결정에서 비롯된 기본 데이터 소스의 구조, 가정 및 범위에 의해 결정됩니다. 따라서 강력한 윤리적 지향과 형평성에 대한 헌신이 모든 AI 관련 역량의 핵심이 되어야 합니다. 
Despite the SMEs’ general enthusiasm for clinical use of AI-based tools, a sense of caution permeated nearly all interviews. Potential dangers have been cataloged across the history of AI development, including inappropriate categorization and labeling of people, predictive models based on skewed data sets, and powerful technologies that inadvertently maintained existing inequalities. 4,27 A recent critical review of the history of AI claims that “artificial intelligence is neither artificial nor intelligent.” 4 Outputs from AI-based tools are determined by available data, and therefore system “intelligence” is determined by the structure, assumptions, and scope of underlying data sources, which originate from human decisions. Thus, a strong ethical orientation and commitment to equity should lie at the heart of all AI-related competencies.

수많은 저자와 전문 기관은 AI 관련 지식, 기술 및 태도를 전달하기 위한 체계적인 접근 방식과 이러한 교육 및 학습을 안내할 역량 목록을 개발할 것을 촉구해 왔습니다. 7-10,28-36 의료37 및 간호 교육에서 정보학을 위한 역량이 개발되었으며,38 이들 중 일부는 AI와 관련이 있지만 임상 치료에서 강력한 AI 기반 도구를 사용하는 데 필요한 구체성이 부족합니다. 저자들은 보건 전문직 커리큘럼에 AI 관련 주제를 포함할 것을 권고하고10 다른 저자들은 모범 프로그램을 인용했지만,17,18 역량 목록이 공식화되지는 않았습니다. 
Numerous authors and professional organizations have called for systematic approaches to imparting AI-related knowledge, skills, and attitudes and for the development of a list of competencies that would guide this teaching and learning. 7–10,28–36 Competencies have been developed for informatics in medical 37 and nursing education, 38 and although some of these are relevant to AI, they lack the specificity needed for the use of powerful AI-based tools in clinical care. Although authors have made recommendations for AI-related topics to be included in health professions curricula 10 and others have cited exemplar programs, 17,18 no list of competencies had been formulated.

이 연구는 반구조화된 전문가 인터뷰의 주제별 분석을 통해 의료 전문가를 위한 AI 관련 임상 역량 목록을 생성함으로써 이러한 격차를 해결합니다. 임상 진료를 제공하는 모든 사람이 결국 AI 기반 도구와 상호작용하게 되므로 전문가 간 접근 방식을 의도적으로 선택했습니다. 연구 결과에 따르면 의료 전문직 간에 상당한 연관성이 있으며, 이는 전문직 간 학습자가 협력하여 역량을 개발할 수 있는 잠재적 기회를 나타냅니다. 
This study addresses that gap by generating a list of AI-related clinical competencies for health care professionals through thematic analysis of semistructured expert interviews. An interprofessional approach was deliberately chosen because all who provide clinical care will eventually interface with AI-based tools. Findings suggest significant alignment across health professions, indicating potential opportunities for interprofessional learners to develop competencies collaboratively.

이 연구는 개인의 역량에 초점을 맞추었지만, 내용전문가(SME)은 유능한 개인이 AI 기반 도구와 관련된 구조, 산출물 및 결과를 평가하고 모니터링할 수 있는 'AI 역량 조직' 내에서 기능해야 한다고 강조했습니다. 이러한 조직은 안전과 공정성에 중점을 둔 규제 시스템의 지원이 필요합니다. 최근 의약품 및 의료 기기 개발과 유사한 평가 프로세스가 AI 기반 도구에 대해 설명되었으며,39 다른 사람들은 새로운 실험실 테스트에 대해 유사한 프로세스를 제안했습니다. 40 그러나 두 모델 모두 현지 조직과 규제 기관 간의 책임(및 그에 따른 역량) 배분은 아직 명확히 밝혀지지 않았습니다. 
Although this study focused on individual competencies, the SMEs emphasized that competent individuals need to function within “AI-capable organizations,” which can evaluate and monitor the structure, outputs, and outcomes associated with AI-based tools. These organizations in turn need support from regulatory systems focused on safety and fairness. An evaluation process similar to that for drug and medical device development was recently described for AI-based tools, 39 whereas others have suggested a process similar to that for new laboratory tests. 40 However, in both models, the distribution of responsibilities (and thus capabilities) between local organizations and regulatory bodies remains to be clarified.

직접적인 질문 없이도 투명성은 유능한 임상의를 지원하는 데 필요한 조직과 시스템의 필수적인 특성으로 떠올랐습니다. 조직 차원에서 개방적이고 잘 소통되는 프로세스를 통해 환자와 임상의가 임베디드 툴에 대해 인지할 수 있습니다. 또한 투명성은 도구가 강력한 경쟁적 이해관계가 아닌 환자와 대중의 이익을 위해 기능할 수 있도록 보장하는 안전장치 역할을 합니다. 이러한 투명성을 확보하려면 모든 관련 이해관계자가 의사결정 테이블에 참여해야 하며 새로운 도구를 구현할 때 표준화된 접근 방식을 사용해야 합니다. 5 
Even without direct questioning, transparency emerged as an essential characteristic of the organizations and systems needed to support competent clinicians. Open and well-communicated processes at the organizational level can ensure that patients and clinicians are aware of embedded tools. Transparency also serves as a safeguard to ensure that tools will function primarily for the benefit of patients and populations and not for powerful competing interests. This transparency requires that all relevant stakeholders have seats at decision-making tables and that standardized approaches are used for implementing new tools. 5

개인과 조직의 역량은 시스템 전반의 투명성을 요구하며, 규제 표준은 AI 기반 도구의 구성 방식, 답변하도록 설계된 질문, 학습 및 검증에 사용되는 모집단에 대한 명확한 라벨링을 요구합니다. 1,41-43 복잡한 신경망과 진화하는 알고리즘을 갖춘 도구는 조사하기 어렵고 추가적인 지속적인 감독이 필요합니다. 39,43 
Individual and organizational competency demands system-wide transparency, with regulatory standards requiring clear labeling about how AI-based tools are constructed, the questions they are engineered to answer, and the populations used for training and validation. 1,41–43 Tools with complex neural networks and evolving algorithms will be difficult to interrogate and will require additional ongoing oversight. 39,43

내용전문가(SME)들은 또한 필요한 조직 및 규제 프로세스를 수립하고 감독할 AI 기반 도구의 구현과 관련된 분야에 대한 고급 교육을 받은 새로운 의료 전문가 집단cadre의 필요성에 대해서도 논의했습니다. 학위 프로그램, 펠로우십, 자격증 프로그램 등 이러한 인력의 성격과 교육에 대해서도 추가적인 정의가 필요합니다.
The SMEs also discussed the need for a new cadre of health care professionals with advanced training in areas related to the implementation of AI-based tools who would establish and oversee the needed organizational and regulatory processes. The nature of this workforce and its training, whether through degree programs, fellowships, or certificate programs, also needs further definition.

마지막으로, 역량 기반 교육은 개인이 역량을 습득하는 다양한 방법이 있다고 가정하므로 이 보고서에서는 교수 및 학습 접근 방식에 대한 구체적인 권장 사항을 제시하지 않습니다. 그러나 역량 목록(목록 1)은 학습자의 역량 습득을 돕기 위한 이니셔티브를 설계, 실행 및 결과를 측정하고자 하는 교육자에게 청사진을 제공합니다. 개별 임상의가 이미 보유하고 있을 수 있는 AI 관련 역량은 학습자 수준에 따라 다를 수 있으므로 교육 연속체의 뚜렷한 단계에 역량을 할당하지 않았습니다. 대신, 부록 디지털 부록 2에서는 어떤 역량을 초급으로 간주할 수 있는지, 어떤 역량을 고급으로 간주할 수 있는지 제안합니다. 
Finally, competency-based education assumes there are diverse ways in which individuals gain competencies; thus, this report does not make specific recommendations for teaching and learning approaches. However, the competency list (List 1) provides a blueprint for educators who wish to design, implement, and measure results of initiatives aiming to help learners acquire them. The AI-related competencies that individual clinicians might already possess are likely to vary across and within learner levels; therefore, we did not assign competencies to distinct phases of the educational continuum. Instead, Supplemental Digital Appendix 2 (at https://links.lww.com/ACADMED/B334) suggests which competencies could be considered entry level and which could be considered more advanced.

Competencies for the Use of Artificial Intelligence (AI)–Based Tools by Health Care Professionals

1. Basic Knowledge of AI: Explain what artificial intelligence is and describe its health care applications.

• a. Identify the range of health-related AI applications.
• b. Describe contributions from the disciplines of data science, computer science, and informatics to the development of health care AI tools. 
• c. Summarize the factors that influence the quality of data and explain how they impact the outputs of AI-based applications. 
• d. Explain how different approaches to data visualization can affect interpretation of the outputs of AI-based tools and the subsequent actions that might be taken. 
• e. Describe the statistical properties of AI-based tools and explain how they should be used in interpreting outputs.

2. Social and Ethical Implications of AI: Explain how social, economic, and political systems influence AI-based tools and how these relationships impact justice, equity, and ethics.

• a. Acknowledge personal responsibility for fairness and equity in the use of AI-based tools in health care.
• b. Describe how system-level factors and regulatory structures influence the implementation of AI-based tools in health care.
• c. Identify and evaluate how personal and structural biases can impact health data and the outputs of AI-based tools.
• d. Recognize the potential for use of AI-based tools to reduce or exacerbate health disparities and participate in debiasing activities to mitigate negative impacts.
• e. Appraise the ethical issues for clinicians, patients, and populations raised by various design, implementation, and use scenarios involving AI.

3. AI-Enhanced Clinical Encounters: Carry out AI-enhanced clinical encounters that integrate diverse sources of information in creating patient-centered care plans.

• a. Recognize that clinicians are responsible for all patient care decisions, including those that involve support from AI-based tools, and exercise judgment in applying AI-generated recommendations.
• b. Discern a patient’s information needs, preferences, numeracy, and health literacy levels regarding the use of AI-based tools in their care.
• c. Explain to patients the concepts of risk and uncertainty as they relate to the outputs of AI-based tools and describe practical implications for their care.
• d. Integrate information derived from multiple AI and non-AI sources in patient-centered decision-making processes that result in personalized care plans.
• e. Demonstrate comfort and humility in caring for data-empowered patients and incorporate patient-reported data and outcomes in developing care plans.
• f. Apply methods of data visualization to facilitate patient understanding of AI-derived data, with sensitivity to possible differential impacts related to race, ethnicity, sex, gender, and social determinants of health.
• g. Describe how AI-based tools can be used to enhance access and quality of care in remote and underserved settings. 

4. Evidence-Based Evaluation of AI-Based Tools: Evaluate the quality, accuracy, safety, contextual appropriateness, and biases of AI-based tools and their underlying datasets in providing care to patients and populations.

• a. Access critical information about specific AI-based tools before applying them to patient care, including sources and representativeness of training data, algorithm performance for the question being asked, and how they were validated. 
• b. Describe how the scope and quality of data sets used in development of AI tools influence their applicability to specific patients and populations.
• c. Identify potential biases in the design of an AI-based tool, and the implications of those biases for patient care and population health. 
• d. Collaborate with patients, caregivers, informaticians, and others in the ongoing monitoring of AI-based applications and communicate feedback through established organizational channels.

5. Workflow Analysis for AI-Based Tools: Analyze and adapt to changes in teams, roles, responsibilities, and workflows resulting from implementation of AI-based tools.

• a. Participate collaboratively in team-based discussions that analyze changing roles, responsibilities, and workflows associated with the adoption of novel AI-based tools and help implement necessary changes.
• b. Effectively use AI-based tools to facilitate critical communications between all members of health care teams.
• c. Recognize data and informatics professionals as valuable members of health care teams and collaborate with them in the design of AI tools that address clinical problems.
• d. Contribute to micro- and macro-system decision-making processes regarding which AI-based tools should augment and which should replace parts of current health care practices.

6. Practice-Based Learning and Improvement Regarding AI-Based Tools: Participate in continuing professional development and practice-based improvement activities related to use of AI tools in health care

목록1. 의료 전문가가 인공지능(AI) 기반 도구를 사용하기 위한 역량
List 1 Competencies for the Use of Artificial Intelligence (AI)–Based Tools by Health Care Professionals

• 1. 인공지능에 대한 기본 지식: 인공지능이 무엇인지 설명하고 인공지능의 의료 분야 적용 사례를 설명합니다.
  1. Basic Knowledge of AI: Explain what artificial intelligence is and describe its health care applications.
• 2. AI의 사회적, 윤리적 의미: 사회, 경제, 정치 시스템이 AI 기반 도구에 어떤 영향을 미치는지, 그리고 이러한 관계가 정의, 형평성, 윤리에 어떤 영향을 미치는지 설명합니다.
  2. Social and Ethical Implications of AI: Explain how social, economic, and political systems influence AI-based tools and how these relationships impact justice, equity, and ethics.
• 3. AI로 강화된 임상적 만남: 환자 중심의 치료 계획을 수립할 때 다양한 정보 소스를 통합하는 AI로 강화된 임상 진료를 수행합니다.
  3. AI-Enhanced Clinical Encounters: Carry out AI-enhanced clinical encounters that integrate diverse sources of information in creating patient-centered care plans.
• 4. AI 기반 도구의 증거 기반 평가: 환자와 집단에게 치료를 제공할 때 AI 기반 도구와 그 기본 데이터 세트의 품질, 정확성, 안전성, 맥락적 적절성, 편향성을 평가합니다.
  4. Evidence-Based Evaluation of AI-Based Tools: Evaluate the quality, accuracy, safety, contextual appropriateness, and biases of AI-based tools and their underlying datasets in providing care to patients and populations.
• 5. AI 기반 도구에 대한 워크플로 분석: AI 기반 도구의 구현으로 인한 팀, 역할, 책임, 워크플로우의 변화를 분석하고 이에 적응합니다.
  5. Workflow Analysis for AI-Based Tools: Analyze and adapt to changes in teams, roles, responsibilities, and workflows resulting from implementation of AI-based tools.
• 6. AI 기반 도구에 대한 실습 기반 학습 및 개선: 의료 서비스에서 AI 도구 사용과 관련된 지속적인 전문성 개발 및 실무 기반 개선 활동에 참여합니다.
  6. Practice-Based Learning and Improvement Regarding AI-Based Tools: Participate in continuing professional development and practice-based improvement activities related to use of AI tools in health care.

제한 사항
Limitations

다양한 전문 분야를 가진 내용전문가(SME)을 의도적으로 선정했지만, 15건의 인터뷰는 일부 관점에 대한 표본을 제공했습니다. 예를 들어, 사회복지사, 병원 관리자 또는 AI 기반 도구와 상호 작용할 기타 의료 전문가는 표본에 포함되지 않았습니다. 또한 이 연구는 미국에서 일하는 전문가로 제한되었으며, 해외 전문가들은 다른 견해를 추가할 가능성이 높습니다. 향후 연구에서는 더 많은 전문가 그룹을 참여시켜 다양한 치료 환경, 팀 역할, 전문 분야에 따라 어떤 역량 요소가 가장 중요한지 알아볼 수 있습니다. 또한 이 연구는 환자 중심의 임상적 AI 사용에만 초점을 맞추었으며 비즈니스 프로세스나 시스템 수준의 운영을 용이하게 하는 도구는 포함하지 않았습니다. 마지막으로, 빠른 변화의 속도를 고려할 때 이러한 역량은 적응이 필요하며 이 목록은 자주 재검토되어야 한다는 점을 인정합니다. 
Although we purposively selected the SMEs for their diverse areas of expertise, 15 interviews provided a small sampling of perspectives. For example, the sample did not include social workers, hospital administrators, or other health care professionals who will interact with AI-based tools. In addition, the study was restricted to experts working in the United States, and international experts would likely add different views. Future research could engage a wider group of experts to determine which competency elements are most critical for different care settings, team roles, and specialty contexts. Furthermore, this study focused only on patient-centered, clinical uses of AI and did not include tools that facilitate business processes or system-level operations. Finally, given the rapid pace of change, we acknowledge that the competencies will need to adapt and that this list should be frequently revisited.

결론
Conclusions

전문가 인터뷰와 주제별 분석을 사용한 이 정성적 연구에서는 의료 전문가가 AI 기반 도구를 사용하는 데 필요한 6개의 역량 영역과 25개의 하위 역량을 확인했습니다. 역량 선언문과 하위 역량은 향후 교육 단계에 걸쳐 의료 전문가를 위한 교육 및 학습 프로그램을 안내하는 데 사용할 수 있습니다. AI 기반 도구의 잠재적 이점을 극대화하고 잠재적 해악을 줄이려면 윤리적으로 유능한 개인과 조직을 개발하는 것이 중요합니다. 
This qualitative study using expert interviews and thematic analysis identified 6 competency domains and 25 subcompetencies needed for the use of AI-based tools by health care professionals. The competency statements and subcompetencies can be used to guide future teaching and learning programs for health care professionals across the phases of education. The development of ethically competent individuals and organizations is critical if the potential benefits of AI-based tools are to be maximized and their potential harms diminished.

Copyright © 2022 by the Association of American Medical Colleges.

필요하지만 충분하지 않고, 어쩌면 반생산적인 것: 강의평가의 복잡한 문제(Acad Med, 2023)
Necessary but Insufficient and Possibly Counterproductive: The Complex Problem of Teaching Evaluations
Shiphra Ginsburg, MD, MEd, PhD, and Lynfa Stroud, MD, MEd

임상 교사의 성과 평가는 수십 년 동안 연구와 논쟁의 대상이 되어 왔습니다. 문헌에는 학생의 교사 평가에 대한 증거를 검토하거나 더 나은 평가 도구를 만들려는 논문이 넘쳐납니다. 1-3 이러한 방대한 문헌에도 불구하고 교수 평가(TE)는 여전히 문제가 되고 있습니다. 예를 들어, 학생의 평가가 학습과 관련이 있다는 증거는 거의 없지만, 우리는 이러한 평가를 거의 전적으로 교사에 대한 평가 및 피드백으로만 활용하고 있습니다. 특정 환경에서는 타당성이 있다는 증거가 있지만,4,5 TE는 다양한 형태의 편견에 노출될 수 있으며 교사의 신체적 매력이나 성격과 같이 구성과 무관한 요인에 의해 혼동될 수 있는 것으로 알려져 있습니다. 6 또한 이러한 도구의 형성적(즉, 교사의 향상을 돕기 위한) 목적과 요약적(예: 승진을 위한) 목적의 구분이 모호해졌습니다. 
The evaluation of clinical teachers’ performance has been a subject of research and debate for decades. The literature is rife with papers that either review the evidence for students’ evaluations of teachers or attempt to create better rating instruments. 1–3 Despite this extensive literature, teaching evaluations (TEs) remain problematic. For example, there is little evidence that students’ evaluations are associated with learning, yet we rely on these evaluations almost exclusively as assessments of and feedback to teachers. While there is some evidence of validity in certain settings, 4,5 TEs are subject to many forms of bias and are known to be confounded by construct-irrelevant factors, such as the teacher’s physical attractiveness or personality. 6 We have also blurred the distinction between formative (i.e., to help teachers improve) and summative (e.g., for promotion) purposes of these tools.

이러한 한계에도 불구하고 TE는 교사를 승진시키고, 종신 재직 기간을 부여하고, 상을 수여하는 데 사용되어 왔으며, 이는 모두 우수한 가르침의 가치를 강조하는 데 도움이 될 수 있습니다. 그러나 TE는 승진을 거부하고 교원의 진급을 막는 데에도 사용되었습니다. 일부 교육기관에서는 학습자의 교수 점수가 임상 교사의 재정적 보상에 영향을 미치기도 합니다. 따라서 동일한 도구가 보상 또는 징벌 목적으로 사용될 수 있습니다. 교수진에게 TE가 차지하는 비중이 매우 크다는 점을 고려할 때 교수진이 이러한 도구가 구현되는 방식에 만족하지 못하는 것은 당연한 일일까요? 7,8 이 해설에서는 TE의 목적, 실제 업무, 전반적인 영향에 대한 문헌을 간략하게 검토합니다. 그런 다음 앞으로의 생산적인 방법을 고려합니다.  
Regardless of these limitations, TEs have been used to promote teachers, award tenure, and bestow awards, all of which may serve to emphasize the value of excellent teaching. But TEs have also been used to deny promotion and to hold faculty back from advancement. In some institutions, teaching scores from learners affect clinical teachers’ financial compensation. The same tools can therefore be used for rewarding or punitive purposes. Given that TEs carry so much weight for faculty, is it any wonder that faculty are not satisfied with how these tools are implemented? 7,8 In this commentary, we briefly review the literature on what TEs are meant to do, what they actually do in the real world, and their overall impact. We then consider productive ways forward.

열망과 의도된 목표: TE의 목적은 무엇인가요?
Aspirations and Intended Goals: What Are TEs Meant to Do?

표면적으로 학습자에게 교사에 대한 의견을 묻는 것은 당연한 일입니다. TE를 수집함으로써 학습자는 누가 자신을 가르치고 어떻게 가르치고 있는지에 대해 목소리를 낼 수 있습니다. 학습자는 교사를 평가함으로써 최고의 교사를 선발하여 보상하고 코칭이 필요하거나 심지어 해임해야 할 교사를 식별하는 데 도움을 줄 수 있습니다. 학습자는 이러한 관점에서 의견을 제시할 수 있는 유일한 집단일 수 있으므로 적대적인 학습 환경을 조성하는 교사에게 특히 중요합니다. 또한 교사가 학습자 중심의 접근 방식, 즉 학습자에게 반응하고, 학습자에게 필요한 것을 가르치고, 적절한 피드백을 제공하고, 학습자의 학습과 성장을 돕는 방식을 유지하도록 하는 데 도움이 됩니다. 
On the surface, asking learners for their opinions about their teachers makes sense. By collecting TEs, we ensure that learners have a voice in who is teaching them and how they are being taught. By evaluating teachers, students can help select for and reward the best individuals and identify those who may require coaching or even removal. This is especially important for teachers who create hostile learning environments, as learners may be the only group that can comment from this perspective. It also helps ensure that teachers maintain a learner-focused approach; that is, that they respond to their learners, teach them what they need, give appropriate feedback, and help learners learn and grow.

임상 교사에게 TE는 무엇이 중요한지 알려 줍니다. 평가 양식에 명시된 내용은 다양한 이해관계자(예: 교육생, 임상 교사, 병원 및 학계 지도자)에게 중요하다고 여겨지는 사항이며 성과에 대한 기대치를 설정합니다. 또한 TE를 통해 교사(특히 교육 트랙에 있는 교사)는 자신의 효과와 우수성에 대한 증거를 축적하여 승진 및 임기, 수상, 심지어 금전적 이득을 위해 자신이 잘 가르치고 있음을(충분히 가르치고 있음을) 보여줄 수 있습니다. 좋은 TE 도구는 성찰과 개선을 위한 코칭을 포함하는 교수 개발 시스템에 포함되는 것이 이상적입니다. 9 
For clinical teachers, TEs signal what is important. What is delineated on the evaluation form is what is seen to matter to various stakeholders (e.g., trainees, clinical teachers, hospital and academic leadership) and sets expectations for performance. TEs also allow teachers (especially those on education tracks) to accrue evidence of their effectiveness and even excellence to show they are teaching well (and enough) for purposes of promotion and tenure, for awards, and even for financial gain. Ideally, good TE tools should be embedded in faculty development systems that include reflection and coaching for improvement. 9

실제 성과: TE는 실제로 어떤 일을 하나요?
Real-World Performance: What Do TEs Actually Do?

증거에 따르면 TE가 실제로 교육을 잘 포착하지 못할 수도 있습니다. 놀랍게도 높은 평가를 받은 교사가 학생의 학습을 더 많이 또는 더 잘한다는 증거는 많지 않습니다. 고등 교육 교실 환경에서는 TE와 교실 학습 사이에 미미한 연관성만 있다는 연구 결과가 있습니다. 10 임상 환경에서는 교사가 학생의 진로 선택에 영향을 미칠 수 있지만, 이전 연구에 따르면 교사의 질과 학생의 성과 간에는 매우 미미한 영향이 있는 것으로 나타났습니다. 11 또 다른 연구에서는 성과가 낮은 교사에 대한 피드백이 오히려 교사의 성과를 악화시킨 것으로 나타났습니다. 12 어떤 면에서는 학생들이 일반적으로 자신이 가르치는 콘텐츠 영역이나 모범 교육 사례에 대한 전문 지식이 없다는 점을 고려할 때, 학습과 TE 간의 이러한 상관관계 부족은 놀라운 일이 아닐 수 있습니다. 
Evidence suggests that TEs may not actually capture teaching very well. Surprisingly, there isn’t much evidence that higher-rated teachers are associated with more or better learning in their students. In the higher education classroom setting, research has found that there are only tenuous links between TEs and classroom learning. 10 In the clinical setting, an older study showed quite minimal effects between teaching quality and students’ performance during clerkship, although teachers may have an effect on students’ career choice. 11 In another study, feedback to lower performing teachers actually made them worse. 12 In some ways, this lack of correlation between learning and TEs may not be surprising, given that students usually do not have expertise in either the content domain in which they are being taught or in best pedagogical practices.

학습이 아니라면 TE는 실제로 무엇을 측정할까요? TE를 대상으로 한 일부 연구에서 교사 평가는 카리스마, 성격, 상황의 영향을 받아 후광 효과가 크게 작용하는 것으로 나타났습니다. 6,13,14 교실이나 병동 로테이션에서 즐거움과 심리적 안정감이 중요하지 않다는 말은 아닙니다. 하지만 이러한 요소를 "가르치는 것"과 동일시하지 않도록 주의해야 합니다. 실제로 학습자에게 임상 교사를 평가하도록 요청할 때 대부분의 평가 척도에는 학습자를 존중하는 태도, 효과적인 피드백 제공, 가용성 등 가르침이나 교육과는 별개로 훨씬 더 광범위한 구성 요소가 포함되어 있습니다. 그러나 TE와 학습 간의 연관성을 살펴보는 연구는 표준화되고 수행하기 쉬운 학생의 지식 테스트에 주로 국한되어 있습니다. 분명한 것은 지식은 좋은 의사가 되기 위한 한 가지 측면일 뿐입니다. 한 흥미로운 연구에 따르면 레지던트들의 임상의사 평가는 환자들의 평가와 반비례하는 것으로 나타났는데, 이는 레지던트 평가가 좋은 의사가 되기 위한 중요한 요소를 놓치고 있을 수 있음을 시사합니다. 15 따라서 이러한 평가에는 위에서 설명한 구조와 무관한 요소도 포함되어 있으므로 전공의는 좋은 의사가 되기 위한 중요한 측면을 놓치고 있을 수 있습니다. 나프툴린과 동료들은 1973년에 발표한 논문에서 "학습에 대한 학생의 만족도는 학습했다는 착각에 불과할 수 있다"고 썼습니다. 16 
If not learning, what do TEs actually measure? In some studies of TEs, teacher ratings were subject to significant halo effects, being influenced by charisma, personality, and context. 6,13,14 This is not to say that enjoyment and psychological safety in a classroom or on a ward rotation are not important. But we should be careful not to equate these factors with “teaching.” Indeed, when we ask learners to evaluate their clinical teachers, most rating scales include much broader constructs apart from teaching or instruction, such as, among other things, treating learners with respect, providing effective feedback, and being available. Yet research looking at associations between TEs and learning are largely limited to tests of students’ knowledge, as they are standardized and easy to conduct. Clearly, knowledge is only one aspect of being a good physician. In one interesting study, ratings of clinicians by residents were inversely correlated with ratings by patients, suggesting that resident ratings may be missing important elements of what it means to be a good doctor. 15 Thus, TEs may be missing important aspects of being a good physician, as these evaluations also include the construct-irrelevant factors we described above. As Naftulin and colleagues wrote in a seminal article in 1973, “Student satisfaction with learning may represent little more than the illusion of having learned.” 16

또한, 모든 연구에서 효과가 나타나는 것은 아니며 모두 같은 방향으로 나타나는 것은 아니지만, TE는 종종 여성과 눈에 보이는 소수 집단에 대한 편견을 보이는 것으로 보고되었습니다. 최소한 학생들은 성별에 따라 교수진을 묘사할 때 다른 언어를 사용할 수 있습니다. 17,18 이것이 모든 전문 분야에서 여성의 TE 평가에 부정적인 영향을 미치지는 않지만,19,20 경우에 따라 성별 편견으로 인해 남성과 여성 간의 TE에 상당한 차이가 발생할 수 있습니다. 이는 특히 외과와 같이 교수진에서 여성의 비율이 낮은 전문과목에서 문제가 됩니다. 19-21 또한 성별과 인종/민족이 긍정적이든 부정적이든 교차 효과가 있을 수 있습니다. 22 
In addition, TEs have often been reported to show biases against women and individuals from visible minority groups, although effects are not seen in all studies and are not all in the same direction. At a minimum, students may use different language to describe faculty by gender. 17,18 While this may not negatively impact TE ratings of women in all specialties, 19,20 in some instances, gender bias may lead to significant differences in TEs between men and women. This is particularly problematic in specialties with a lower representation of women at the faculty level, such as in surgery. 19–21 There may also be intersectionality effects with gender and race/ethnicity, both positively and negatively. 22

또한 평가를 완료한 사람의 성별에 따라 교육 점수 및 의견에 차이가 있음을 확인했습니다. 18,20 따라서 학생과 교사 사이의 개별적인 역학 관계가 중요할 수 있지만, 이에 대한 조사는 거의 이루어지지 않고 있습니다. 인구통계학적 편견 외에도, 구조와 무관한 추가 항목이 의학에서 TE에게 긍정적인 영향을 미치는 것으로 나타났는데, 이러한 항목에는 교수진이 수련의에게 관여하는 정도,23 카리스마 및 신체적 매력,16,24 외향성,25 쿠키 제공 등이 있습니다. 6 TE가 편견에 취약한 정도를 고려할 때, 일부 교육기관에서는 승진 및 임기 결정을 위한 학생의 교육 평가를 허용하지 않는 경우도 있습니다. 26 
Additionally, we identified differences in teaching scores and comments based on the gender of the person completing the evaluation. 18,20 Individual dyadic relationships between student and teacher may therefore be important, yet they are rarely explored. Beyond demographic biases, additional construct-irrelevant items have been shown to positively influence TEs in medicine; these items include the perceived degree of faculty members’ involvement with trainees, 23 charisma and physical attractiveness, 16,24 extraversion, 25 and provision of cookies. 6 Given the extent to which TEs are vulnerable to bias, some institutions have gone so far as to disallow students’ evaluations of teaching for promotion and tenure decisions. 26

TE의 전반적인 영향은 무엇인가요?
What Is The Overall Impact of TEs?

위의 내용을 고려할 때 TE의 순 효과는 무엇일까요? TE의 신뢰성과 타당성에 대한 증거는 분명히 존재하지만, 특히 결과적 타당성에 대한 연구는 부족합니다. 5 하지만 위에서 언급한 바와 같이 단점도 있습니다. 즉, 관련 결과를 포함하는 직장 내 연구가 매우 제한적이기 때문에 TE의 이점과 잠재적 해로움의 순 효과를 판단하기는 어렵습니다. 교사는 좋은 교사가 되고 싶고 좋은 평가를 받기를 원하고 필요로 합니다. 이는 자신의 효과를 입증하고 개선에 도움이 되는 평가를 받는다는 것을 의미합니다. 그러나 임상 교사들은 외부뿐만 아니라 내부적으로도 이러한 평가가 갖는 힘과 무게에 대해 경계하고 있습니다. 부정적인 TE를 받아본 사람이라면 누구나 그것이 자존감, 자기 효능감, 직업적 정체성에 얼마나 위협적인지 느낄 수 있습니다. 7,27 이러한 감정은 TE의 익명성으로 인해 더욱 커질 수 있으며, 제공된 피드백을 개선에 활용하는 것도 어렵게 만듭니다. 문제가 발생한 지 [몇 달 후에 받은 익명 피드백]은 일반적으로 교사가 무엇이 잘못되었는지, 누구의 관점에서, 앞으로 어떻게 하면 더 잘할 수 있는지 이해할 수 있는 충분한 맥락이 부족합니다. 
Given the above, what is the net effect of TEs? There is clearly some evidence of the reliability and validity of TEs, although notably research on consequential validity is lacking. 5 Yet there are also drawbacks, as we noted above. So, the net effect of the benefits and potential harms of TEs is hard to determine, as research in the workplace that includes relevant outcomes is very limited. Teachers want and need to be good teachers and to get good evaluations. This means getting evaluations that demonstrate their effectiveness and help them improve. Yet clinical teachers are wary of the power and weight these evaluations hold, not just externally but also internally. Anyone who has ever received negative TEs can attest to how threatening it can feel to one’s self-esteem, self-efficacy, and professional identity. 7,27 These feelings may be heightened by the anonymity of TEs, which also makes it challenging to use the provided feedback to improve. Anonymous feedback received months after an encounter usually lacks sufficient context for the teacher to understand what went wrong, from whose perspective, and how they might do better in the future.

당연히 교사는 기존의 틀을 깨거나 새로운 교수법을 시도하거나 학습자가 너무 힘들어하거나 불편함을 느낄 수 있는 일을 하는 것을 꺼릴 수 있습니다. 고등 교육 환경에서는 더 쉬운 수업과 더 관대한 교사가 더 높은 평가를 받습니다. 28 실제로 우리는 이것이 오늘날 의학교육에서 가장 골치 아픈 문제라고 생각합니다. 경력 발전을 위해 학습자의 눈치를 보는 임상 교사는 필요할 때 학습자에게 정직하고 비판적인 피드백과 평가를 제공하지 못합니다. 29,30 이는 의미 있는 작업장 기반 평가 시스템을 만드는 데 있어 잠재적으로 치명적인 결함입니다. 수년 전 토론토 대학교의 한 연구에 따르면 교수진이 직장에서 학습자에게 부여하는 점수와 교사로서 받는 점수 간에 통계적으로 유의미한 관계가 있는 것으로 나타났습니다. 31 즉, 교수자가 부여하는 점수가 때때로 교수자가 받는 점수와 일치한다는 것입니다. "학생의 교수 평가는 부실한 교수를 조장하고 성적 인플레이션에 기여합니다."라는 제목의 기사에서 확인할 수 있습니다: 이론적 및 실증적 분석"이라는 제목의 글에서 스트로베는 다음과 같이 말합니다:
Understandably, teachers may be reluctant to rock the boat, to try new teaching methods or to do anything that may risk their learners feeling too challenged or even uncomfortable. In higher education settings, classes that are easier, and teachers who are more lenient, are rated more highly. 28 Indeed, we see this as the most vexing problem in medical education today. Clinical teachers who are beholden to their learners for career advancement are inhibited from giving honest, critical feedback and assessments to learners when required. 29,30 This is a potentially fatal flaw in creating a meaningful workplace-based assessment system. A study at the University of Toronto a number of years ago found a statistically significant relationship between the scores faculty assign to learners in the workplace and the scores they receive as teachers. 31 That is, the score you give is sometimes the score you get. In an article entitled, “Student Evaluations of Teaching Encourages Poor Teaching and Contributes to Grade Inflation: A Theoretical and Empirical Analysis,” Stroebe writes:

학생과 교수진은 암묵적인 협상 상황에 처해 있으며, 양측 모두 상대방에게 가치 있는 '좋은 것'을 가지고 있습니다. 교수진은 좋은 성적과 쉬운 강의를 제공할 수 있고, 학생은 긍정적인 [교수 평가]를 제공할 수 있습니다. 28 
Students and faculty are in an implicit negotiation situation, where each side has a “good” that is valuable to the other side. Faculty can provide good grades and easy courses, and students can provide positive [teaching evaluations]. 28

이 연구는 의료 환경에서 수행되지는 않았지만, 우리는 이러한 시나리오가 의학교육의 현상유지 수단으로 작용하는 것을 보았습니다. 우리는 자신을 위험에 빠뜨리지 않기 위해 모든 학습자에게 평가에서 4점과 5점을 주도록 후배 교수진에게 지시하는 선임 교수진을 알고 있습니다. 이 문제는 학습자가 우수한 임상의가 되기 위해 필요한 건설적이고 올바른 피드백을 박탈하고, 역설적으로 점수를 부풀리고 의미 있는 피드백을 제공하는 데 노력을 덜 기울이는 교수진에게 보상을 제공함으로써 시스템을 왜곡하는 매우 중요한 문제입니다.
While this study was not conducted in a health care setting, we have seen this scenario play out as a quid pro quo in medical education. We are aware of senior faculty who instruct junior faculty to give all learners 4s and 5s on their evaluations so as not to put themselves at risk. This issue is critical—it warps the system by depriving learners of the constructive and corrective feedback they need to become excellent clinicians and paradoxically rewards faculty who may inflate scores and put less effort into providing meaningful feedback.

이제 어디로 가야 할까요?
Where Do We Go From Here?

이 논평에서 저희는 TE 사용에 대한 수많은 위협에 대해 설명했습니다. 하지만 이 중요한 데이터 소스를 없애야 한다는 주장은 단 한순간도 하지 않을 것입니다. TE는 교사의 성장을 위한 중요한 피드백을 제공하며, 무엇보다도 교사가 설정한 학습 환경에 대한 정보, 즉 다른 방법으로는 얻을 수 없는 정보를 제공합니다. 문제는 교사의 교수 능력을 판단하는 유일한 기준으로 TE에 지나치게 의존하는 경우가 많다는 것입니다. 우리는 의학교육이 학습자에 대한 프로그램적 평가로 전환한 것처럼, 교수진의 교육 효과에 대한 프로그램적 평가로 전환할 때가 왔다고 제안합니다. 
In this commentary, we have outlined numerous threats to the use of TEs. However, we would not for a minute advocate that we should do away with this critical source of data. TEs provide important feedback for faculty growth and, vitally, they provide information about the learning environment a teacher establishes, information that may not be available otherwise. The problem is the overreliance on TEs as often the sole arbitrator by which a faculty member’s teaching skills are judged. We propose that, just as medical education has moved toward programmatic assessment of learners, the time has come to move toward programmatic evaluation of faculty teaching effectiveness.

이러한 프로그램 내에서 TE는 학생의 목소리를 제공하게 되는데, 이는 필수적이지만 그것만으로는 교육에 대한 불충분한 척도가 될 수 있습니다. 또한 TE를 구현하는 방법도 신중하게 고려해야 합니다.

• 첫째, 측정 대상이 명확해야 합니다. 임상 환경의 많은 TE는 교육과 슈퍼비전 및 코칭과 같은 다른 기술을 혼동합니다. TE의 항목을 교사에게 평가하고자 하는 항목과 일치시키고 이를 교사와 학생 모두에게 명확하게 설명한다면 이는 그 자체로 문제가 되지 않습니다.
• 둘째, TE에 사용되는 평가 척도는 주관적이고 잘 정의되지 않은 앵커가 아닌 특정 행동이나 기술에 초점을 맞추는 것이 이상적입니다.
• 셋째, 학습자에게 익명으로 TE를 완료하는 것은 특권이며, 건설적이고 전문적이어야 할 책임이 수반되는 특권이라는 점을 인식시켜야 합니다.

Within such a program, TEs would provide the student voice, which is essential—but alone is an insufficient measure of teaching. We also need to be thoughtful about how TEs are implemented.

• First, what is being measured must be explicit. Many TEs in the clinical setting conflate teaching with other skills, such as supervision and coaching. This is not in itself a problem as long as we align the items on TEs with what it is we wish to evaluate in teachers and make this explicit to both teachers and students.
• Second, the rating scales used on TEs should ideally be focused on specific behaviors or skills, rather than on subjective, poorly defined anchors.
• Third, there needs to be recognition that, for learners, completing TEs anonymously is a privilege, one that comes with a responsibility to be constructive and professional.

학습자와 교사 사이에 내재된 힘의 역학 관계를 고려할 때, 우리는 TE의 익명화를 반드시 옹호하지는 않지만, 이는 연구된 흥미로운 전망입니다. 32 드물기는 하지만 노골적으로 성차별적이거나 인종차별적이거나 인격을 비하하는 댓글은 비전문적이고 완전히 부적절합니다. 학교는 이러한 언어를 사용하는 학습자를 식별할 수 있는 투명한 메커니즘을 마련해야 하며, 이러한 행동을 전문성 문제로 간주하여 후속 조치를 취해야 합니다. 또한 학교는 TE로부터 이러한 댓글을 삭제하는 절차를 수립해야 합니다. 이상적으로는 학습자가 건설적이고 영감을 주는 내러티브 피드백을 제공하는 방법에 대한 교육과 훈련을 받아야 합니다. 
Recognizing the inherent power dynamic between learners and teachers, we would not necessarily advocate for de-anonymizing TEs, although this is an interesting prospect that has been studied. 32 While rare, comments that are overtly sexist, racist, or otherwise personally demeaning are unprofessional and totally inappropriate. Schools should have transparent, arms-length mechanisms for identifying learners who use such language and should follow up on these behaviors as a professionalism issue. Schools should also establish processes to remove such comments from TEs. Ideally, learners should receive education and training on how to provide constructive and inspirational narrative feedback.

그런 다음 TE 데이터의 사용 방법을 규정하는 강력하고 투명한 시스템을 마련해야 합니다. 예를 들어, 많은 학교에서는 표준 참조 범위를 사용하여 TE를 보고하고 상위 백분위수에 속하는 교직원을 기준으로 수상 대상자를 선정하는 경우가 많습니다. 그러나 이러한 관행은 두 가지 측면에서 문제가 있습니다. 

• 첫째, 대다수의 교원이 매우 우수하거나 우수한 교원이기 때문에 상당한 천장 효과가 발생하고 상위 몇 백분위 수에 속하는 교원은 다른 백분위 수에 속하는 교원과 차이가 매우 큽니다.
• 둘째, 이러한 극히 좁은 차이는 위에 나열된 수많은 편견의 영향을 받을 수 있습니다. 학습자의 경우와 마찬가지로, 허용 가능한 수준의 성과에 미치지 못하는 교사를 식별하는 데는 기준 참조 기준이 더 적합하지만, 뛰어난 교사를 식별하는 데는 다른 지표가 더 적합할 수 있습니다.

There must then be a robust, transparent system in place that dictates how TE data are used. For example, many schools use a norm-referenced range to report their TEs and often select faculty for awards based on those in the very top percentiles. However, this practice is problematic in 2 ways.

• First, the vast majority of faculty are very good or excellent teachers, so there is a significant ceiling effect and those in the top few percentiles are a razor’s edge apart from those in the other percentiles.
• Second, these extremely narrow margins may be influenced by the numerous biases listed above. Just as we do for learners, a criterion-referenced standard is more appropriate to identify those falling below an acceptable level of performance, but other metrics may be more appropriate to identify outstanding teachers.

그렇다면 프로그래밍 방식의 TE에 기여할 수 있는 다른 지표에는 어떤 것이 있을까요?

• 우선, 레지던트를 위한 역량 기반 의학교육을 향한 움직임과 마찬가지로, TE에 포함된 서술적 의견에 더 중점을 두어야 하지만, 의견에도 한계가 없는 것은 아닙니다. 33 천장 효과를 고려할 때 이 점수는 분명히 교정이 필요한 저성과자를 식별하는 데만 도움이 된다고 주장할 수도 있습니다.
• 그 대신, 교수진이 내년에 어떤 작업을 할 계획인지에 대한 의견과 반성을 시간이 지남에 따라 포트폴리오로 정리하는 것이 더 의미 있는 과정일 수 있습니다.
• 일부 관할 지역에서는 교사에게만 공유되는 형성형 TE로 전환하는 방안이 고려되고 있습니다. 28 교사에게 제공되는 데이터의 종류와 관계없이 TE는 효과적인 교수자 개발 전략을 포함하는 시스템의 일부로 수집 및 사용되어야 합니다. 2
• 단순히 학습자 피드백을 교사에게 전달하는 것만으로는 성장을 촉진하는 효과적인 방법이 아닙니다. 9

So, what might these other metrics be that could contribute to programmatic TEs?

• To start, just as with the move toward competency-based medical education for residents, there should be a greater focus on the narrative comments included on TEs, although comments are not without their own limitations. 33 One might argue that the scores, given the ceiling effect, are only helpful in identifying low-performing outliers who clearly need remediation.
• Instead, a deeper dive into the comments and reflection by faculty on what they plan to work on over the next year collated into a portfolio over time may be a more meaningful process.
• Moving toward formative TEs that are shared only with the teacher is being considered in some jurisdictions. 28 Regardless of what data are provided to teachers, TEs should be collected and used as part of a system that includes effective faculty development strategies. 2 
• Merely handing learner feedback to teachers is not an effective way to foster growth. 9

실제 TE 외에도 교수 효과에 대한 보다 완전하고 정보에 입각한 그림을 개발하기 위해 수집할 수 있는 추가 데이터 소스가 있습니다. 

• 예를 들어, 교육 세션에 대한 동료 평가(예: 교육 라운드에 참석한 동료), 정기적인 공식 외부 TE, 학습 결과(측정하기 가장 어렵고 교육 효과의 성배), 포트폴리오, 다른 사람의 360도 평가 등이 모두 교육 효과에 대한 다각적이고 완전한 그림을 그리는 데 기여할 수 있습니다. 34 
• 그러나 새로운 방법이나 프로세스가 단순히 추가 업무가 아니라 실제로 교수진에게 의미 있고 도움이 되는지 확인해야 합니다.

Beyond the actual TEs, there are additional sources of data that could be collected to develop a more fulsome and informed picture of teaching effectiveness.

• For example, near-peer assessments of teaching sessions (such as from colleagues attending teaching rounds), periodic formal external TEs, learning outcomes (the most challenging to measure and holy grail of teaching impact), portfolios, and 360-degree evaluations from others may all contribute to a multi-pixelated, complete picture of teaching effectiveness. 34
• However, we must ensure that any new methods or processes are actually meaningful and helpful for faculty and not just extra work.

마지막으로, 다소 도발적인 제안이지만, 학습자를 'fail to fail'하지 않는 교수진에게 더 큰 인정(어쩌면 상까지)을 제공할 것을 제안합니다. 상당한 시간과 에너지를 들여 어려움에 처한 학습자를 찾아내고, 그 학습자가 더 나은 의사가 될 수 있도록 지원하고, 가르치고, 코치하는 교수진은 우리 모두가 지향해야 할 교육자상입니다. 학습자가 성공하기 위해서는 이러한 지원이 필요하며, 환자를 보호해야 하는 우리의 의무도 이러한 지원을 요구합니다. 
Lastly, and somewhat provocatively, we propose greater recognition (perhaps even an award) for faculty who do not “fail to fail” learners. Those faculty who take the significant time and energy to identify a learner in difficulty and who then support, teach, and coach that individual to become a better doctor are the educators we should all aspire to be. Our learners need this support to succeed, and our obligation to protect our patients demands it.

Copyright © 2022 by the Association of American Medical Colleges.

의학교육의 문턱개념: 스코핑 리뷰(Med Educ, 2022)
Threshold concepts in medical education: A scoping review
Helen Jones | Lucy Hammond

1 배경
1 BACKGROUND

문턱 개념(TC)은 20031년에 처음 설명되었으며, '이전에는 접근할 수 없었던 새로운 사고 방식을 열어주는 포털과 비슷하다'고 묘사됩니다.1(p1) 따라서 TC를 파악하면 학습자의 주제 또는 학문에 대한 이해와 인식이 변화하여 학습이 진전될 수 있습니다.1 마이어와 랜드(2003)는 열전달을 예로 들었는데, 온도 구배에 따라 무언가가 식는 속도가 결정된다는 것을 이해하면 요리에 대해 생각하는 방식이 달라지고 그 과정을 가장 잘 돕기 위해 사용하는 냄비가 달라질 수 있습니다.1 임계치 개념 프레임워크(TCF)가 발전하면서 학생들이 다양한 정도로 경험할 수 있는 몇 가지 가능한 특징이 제안되었습니다. 이러한 특성은 표 1에 설명되어 있습니다.  
Threshold concepts (TCs) were first described in 20031 and are depicted as ‘akin to a portal opening up a new and previously inaccessible way of thinking about something’.1(p1) Grasping a TC therefore enables transformation of the learner's understanding and perception of a subject or discipline which allows them to progress.1 Meyer and Land (2003) used heat transfer as an example: understanding that the temperature gradient determines the rate at which something cools, which transforms how someone thinks about cooking and may change what pots they use to best aid the process.1 As the threshold concept framework (TCF) has developed, several possible characteristics have been proposed, which students may experience to varying degrees. These are described in Table 1.

따라서 TC는 지식의 기본 구성 요소 그 이상을 나타냅니다. 여기에는 학습자가 새로운 이해와 씨름하는 동안 한계 공간을 점유하는 숙달을 향한 여정이 포함됩니다.2, 3, 5 이러한 투쟁은 모방으로 나타날 수 있으며, 학습자는 이 공간을 성공적으로 탐색하기 위해 지원이 필요할 수 있습니다.2, 5 문턱을 넘으면 '앎, 수행, 존재, 미래 학습 가능성'에 변화가 생깁니다.6(263쪽) 이는 인식론적 또는 존재론적 전환을 의미하며,7 학생들이 학문의 특정 방식으로 사고할 수 있게 하고, 학문의 일부가 될 때 학습자의 정체성1-4 의 변화와 관련이 있습니다.6 
TCs, therefore, represent more than basic building blocks of knowledge. They involve a journey towards mastery in which the learner occupies a liminal space while they grapple with new understandings.2, 3, 5 This struggle can present as mimicry and the learner may need support to successfully navigate this space.2, 5 Crossing a threshold subsequently leads to a change in ‘knowing, doing, being, and future learning possibilities’.6(p263) This represents a transformative epistemological or ontological shift,7 enabling students to think in a discipline specific way, and is associated with a transfiguration of the learner's identity1-4 as they become part of the discipline.6

따라서 TC는 보건 전문직 교육에서 사고와 실천 방식을 탐구하는 데 활용되어 왔습니다.6, 8 이러한 맥락에서 TCF는 커리큘럼이 학생들이 실제 실무에 가장 잘 대비할 수 있게 하고, 전문직 정체성 형성을 방해하는 문제를 해결할 수 있는 방법을 탐색하는 렌즈를 제공합니다.8, 9 또한 학생들이 단절된 학습 경험을 통합하는 데 도움이 되고9 교육자가 주제 영역5, 9에 대한 이해를 높이는 중요한 개념에 집중할 수 있어 내용이 많은 의료 교과 과정에서 유용한 도구로 활용될 수 있습니다. 그러나 브라운 등은 TCF가 하나의 지식 체계를 암시하고 정체성에 대한 인지적 개념에 초점을 맞춘다는 점에서 [구성주의 패러다임과 상충]되는 것처럼 보이기 때문에, 보건 전문직 커리큘럼에서 TCF의 적합성에 이의를 제기했습니다.10 그들은 TC를 커리큘럼을 구성하는 데 사용해서는 안 되며 학생과 교육자 간의 토론을 돕기 위한 성찰적 자극으로 사용해야 한다고 주장합니다.10
TCs have therefore been utilised in health professions education to explore ways of thinking and practising.6, 8 In this context, the TCF provides a lens for exploring how curricula can best prepare students for real-world practice and address issues which hinder professional identity formation.8, 9 In addition, it could aid students in integrating disjointed learning experiences9 and help educators focus on crucial concepts that open up greater understanding of the subject area5, 9—a useful tool in content-heavy medical curricula. However, Brown et al. have challenged the suitability of the TCF in health professions curricula as it appears at odds with a constructivist paradigm by implying one body of knowledge and focusing on cognitive conceptions of identity.10 They argue TCs should not be used to structure curricular and instead as a reflective prompt to aid discussions between students and educators.10

지난 10년 동안 의학교육에서 TC에 대한 관심이 증가하고 있습니다. 2017년에 보건 과학 TC 문헌에 대한 질적 종합이 수행되었지만,8 우리가 아는 한 의학교육에서 TC만을 주제로 한 체계적 또는 포괄적 검토는 수행되지 않았습니다. 서로 상충되는 관점을 고려할 때, 문헌을 탐색하는 것은 현재 논의의 본질을 확립하는 데 필수적입니다. 또한 증거 기반 교육 실습 및 커리큘럼 설계를 안내하는 중요한 통찰력을 제공할 수 있습니다. 따라서 이 연구의 목적은 의학교육 연속체(학부, 대학원 및 평생 의학교육) 전반에 걸쳐 TC에 관한 현재 연구를 탐색하고 설명하며, 의학교육의 실무에 정보를 제공하기 위해 TC가 어떻게 사용되고 있는지 고려하고, 연구 격차를 식별하는 것입니다. 근거의 새롭고 이질적인 특성을 감안하여 현재 문헌의 범위를 매핑하기 위해 범위 검토를 선택했습니다.11 
There has been a growing interest in TCs in medical education in the last decade. While a qualitative synthesis of the health sciences TC literature was conducted in 2017,8 to the best of our knowledge, no systematic or scoping reviews have been conducted on the topic of TCs in medical education exclusively. Given the competing viewpoints, exploration of the literature is essential to establish the nature of the current discussion. It could also provide important insights to guide evidence-based teaching practice and curriculum design. Therefore, the aim of this study is to explore and describe the current research regarding TCs across the medical education continuum (undergraduate, postgraduate and continuing medical education), consider how TCs are being used to inform practice in medical education, and to identify research gaps. Given the emerging and heterogeneous nature of the evidence, a scoping review was selected to map the extent of the current literature.11

2 방법
2 METHODS

본 문헌고찰은 근거 종합을 위한 JBI 매뉴얼12 에 제시된 프레임워크를 따랐으며, 체계적 문헌고찰 및 범위선정 문헌고찰을 위한 메타분석 확장(PRISMA-ScR)에 대한 우선 보고 항목을 준수했습니다.13 PRISMA-ScR 체크리스트는 부록 S1 에서 확인할 수 있습니다. 연구 질문, 연구 선정 기준 및 방법은 프로토콜에 게시되었습니다.14 
The review followed the framework presented in the JBI Manual for Evidence Synthesis12 and adhered to Preferred Reporting Items for Systematic reviews and Meta-Analyses extension for Scoping Reviews (PRISMA-ScR).13 The PRISMA-ScR checklist can be found in Appendix S1. The research questions, study selection criteria and methods were published in a protocol.14

검색 전략
Search strategy

2021년 7월 29일에 Medline(Ovid), Embase(Ovid), Scopus(Elsevier), Education Research Complete(EBSCO)를 검색했습니다. 프로토콜에 제시된 검색 전략에 약간의 변경이 있었습니다: 원래 전략의 8번째 줄은 너무 광범위하여 삭제되었고, '제한적'과 '변형적'은 용어의 반복을 포착하기 위해 잘라냈습니다. 검색은 TCF가 처음 설명된 2003년 이후 발표된 논문1과 영어로 된 논문으로 제한되었습니다. Medline 검색 전략은 표 S1에 나와 있습니다. 
Medline (Ovid), Embase (Ovid), Scopus (Elsevier) and Education Research Complete (EBSCO) were searched on 29 July 2021. Minor changes were made to the search strategy presented in the protocol: Line 8 of the of the original strategy was removed as it was too broad, and ‘liminal’ and ‘transformative’ were truncated to capture iterations of the terms. The search was limited to papers published since 2003, when the TCF was first described,1 and to papers in the English language. The Medline search strategy is shown in Table S1.

2003년부터 2018년까지의 다양한 출판물이 수록된 온라인 Threshold Concepts Bibliography에서 추가 논문을 확인했습니다.15 출판 후 동료 검토 프로세스를 갖춘 오픈 액세스 플랫폼인 MedEdPublish를 수작업으로 검색하여16 회색 문헌을 식별했습니다. 전체 텍스트 검토를 위해 포함된 논문의 참조 목록도 수작업으로 검색했습니다. 
Additional papers were identified from the online Threshold Concepts Bibliography which lists a range of publications from 2003 to 2018.15 Hand-searching of MedEdPublish, an open access platform with a post-publication peer review process,16 was undertaken to identify grey literature. The reference lists of the articles included for full text review were also hand-searched.

논문 선별
Screening articles

식별된 논문의 참고문헌은 Covidence에 업로드되었습니다.17 중복 제거 후, 저자 HJ와 LH는 연구 선택 기준에 따라 제목과 초록을 독립적으로 선별했습니다. 포괄적인 접근 방식을 취했으며, 전문에서 관련 데이터를 추출할 수 있는지 확인하기 위해 의료 전문가를 언급하는 초록을 포함했습니다. 그런 다음 선정된 논문의 전문을 포함 및 제외 기준에 따라 독립적으로 검토하여 최종적으로 논문을 선정했습니다. 심사 과정의 시작, 중간, 마지막에 회의를 열어 연구 포함 여부에 대한 이견이 있을 경우 토론을 통해 해결했습니다.  
The references for the identified papers were uploaded to Covidence.17 Following de-duplication, authors HJ and LH independently screened the title and abstracts against the study selection criteria. An inclusive approach was taken, and abstracts that referenced health professions were included to establish whether relevant data could be extracted from the full text. Full texts of the selected articles were then reviewed against the inclusion and exclusion criteria independently, to obtain a final selection of papers. We met at the beginning, midpoint and end of the screening process and resolved any disagreements about study inclusion via discussion.

연구 선정 기준
Study selection criteria

포함 및 제외 기준은 인구, 개념, 맥락(PCC) 형식12을 사용하여 개발되었습니다(표 2). 현재 사고에 대한 전체적인 그림을 얻기 위해 모든 유형의 출판물을 포함했습니다. 논문이 첨부되지 않은 초록은 제외되었습니다. 차트 작성과 분석을 돕기 위해 보건 전문직 교육 맥락에서 Barradell과 Peseta가 개발한 분류법8을 포함 기준에 통합했습니다.
The inclusion and exclusion criteria were developed using the population, concept, context (PCC) format12 (Table 2). To ensure that a thorough picture of current thinking was obtained, all types of publications were included. Abstracts without an accompanying paper were excluded. A taxonomy developed by Barradell and Peseta in the context of health professions education8 was incorporated into the inclusion criteria to aid charting and analysis.

데이터 차트 작성
Data charting

프로토콜을 발표하기 전에 데이터 차트 양식을 개발하여 시범적으로 사용했습니다.14 이 양식은 분류체계 및 연구 결과와의 관계를 포함하여 검토 질문과 관련된 주요 세부 사항을 캡처하는 것을 목표로 했습니다.8 HJ가 포함된 연구에 대한 데이터를 차트로 작성하고 LH가 그 정확성을 검증했습니다. 이견이 있는 부분은 토론을 통해 해결했습니다. 일부 저자가 임계 기술 및 직업 임계값과 같은 다른 용어를 사용한다는 것이 분명해졌고, 데이터 손실을 방지하기 위해 이러한 논문에도 비슷한 방식으로 분류법을 적용하기로 결정했습니다. 
A data charting form was developed and piloted prior to publication of the protocol.14 The form aimed to capture key details relevant to the review questions,12 including the relationship to the taxonomy and our findings.8 HJ charted the data for the included studies, and LH verified it for accuracy. Any disagreements were resolved by discussion. It became apparent that some authors used different terminology, such as threshold skills and vocational thresholds, and the decision was made to apply the taxonomy to these papers in a comparable way to ensure no data loss.

분석
Analysis

설명적 정량 분석을 사용하여 논문의 맥락과 접근 방식에 대한 주요 세부 사항을 조사하고, 문헌의 범위를 수치로 표현하고, 질적 종합을 위한 맥락을 제공했습니다. 
We used a descriptive quantitative analysis to examine key details about the context and approach of the papers, to present a numerical representation of the extent of the literature and to provide context for the qualitative synthesis.

질적 분석은 귀납적 접근 방식을 따랐으며 추출된 데이터에서 코드를 개발했습니다. 코딩은 반복적인 과정이었으며 새로운 발견이 나오면 논문을 다시 분석하는 과정을 거쳤습니다. 이후 데이비스와 망간이 경제학 연구에서 개발한 개념 변화 프레임워크 내에서 주제를 식별하기 위해 유사한 코드를 그룹화했습니다.18 바라델과 페세타는 이 프레임워크가 물리치료 교육에서 전문적인 사고 및 실무 개발과 관련된 TC에 적용 가능하다고 설명했습니다6: 
Qualitative analysis followed an inductive approach and codes were developed from the extracted data. The coding was an iterative process and involved reanalysing the papers as new findings emerged. We subsequently grouped similar codes to identify themes within a framework of conceptual change, developed by Davies and Mangan in their work in economics.18 Barradell and Peseta described the applicability of this framework to TCs associated with the development of professional thinking and practice in physiotherapy education6:

• 기본 개념 변화는 해당 분야 내에서 지식의 의미와 언어와 관련하여 지식을 개혁하는 것을 포함합니다.18 의학교육에서는 기본 과학 및 의학 지식이 여기에 포함됩니다.
  
• 학문 분야 개념 변화는 학습자가 습득한 지식을 사용하고 개념 간의 관계를 이해하는 것을 포함합니다.18 이는 의학 분야의 사고 방식에 비유할 수 있습니다.6
  
• 모델링 개념 변화는 해당 분야에 뿌리를 둔 추론과 논증 구성을 포함합니다.18 이는 의사로서의 진료 방식과 유사합니다.6

질적 분석은 주관적 인식론에 뿌리를 두고 있으며 저자의 해석에 기반한 증거의 종합을 나타냅니다.19 범위 검토 접근법에 따라 포함된 논문의 질 또는 편향 위험에 대한 공식적인 검토는 수행되지 않았습니다.20 그러나 데이터 차트 작성 시 비판적 렌즈를 적용하고 포함된 연구의 실험적 엄격성을 고려했습니다. 이는 부록 S2의 '우리의 연구 결과'에 통합되어 있으며, 논의의 초점과 후속 권고에 영향을 미쳤습니다. 
The qualitative analysis was rooted in subjective epistemology and represents a synthesis of the evidence based on author interpretation.19 Consistent with a scoping review approach, a formal review of the quality or risk of bias of the included papers was not undertaken.20 However, a critical lens was applied during data charting, and we considered the experimental rigour of the included studies. This is incorporated under ‘Our findings’ in Appendix S2 and informed the focus of discussion and subsequent recommendations.

3 결과
3 RESULTS

포함된 연구 요약
Summary of included studies

2012년부터 2021년 사이에 발표된 36편의 논문이 최종 분석에 포함되었습니다(그림 1은 PRISMA 흐름도 참조). 대부분의 논문은 영국(n = 15 21-35), 북미(n = 11 36-46) 및 오세아니아(n = 7 47-53)에서 작성되었습니다. 일부 논문은 외과(n = 521, 23, 47, 41, 54), 의학 생리학 및 의생명과학(n = 451, 55, 42, 43), 노인의학 및 치매 치료(n = 326, 27, 29) 등 특정 의료 전문 분야 및 주제에 초점을 맞췄습니다, 정신과(n = 224, 35), 일반 진료(n = 250, 34), 군의학(n = 236, 37), 마취과,46 내과,39 신경과,40 소아과,38 완화 치료,48 인구 보건,28 류마티스학52 및 이식 과학. 30 다양한 유형의 논문이 확인되었으며(표 3), 그 중 대부분은 질적 연구였습니다. 논문에 대한 자세한 요약은 부록 S2에 포함되어 있습니다. 
Thirty-six papers published between 2012 and 2021 were included in the final analysis (see Figure 1 for PRISMA flow diagram). Most papers originated in the United Kingdom (n = 1521-35), North America (n = 1136-46) and Australasia (n = 747-53). Some papers focused on particular medical specialities and subject areas, including surgery (n = 521, 23, 47, 41, 54), medical physiology and biomedical science (n = 451, 55, 42, 43), geriatric medicine and dementia care (n = 326, 27, 29), psychiatry (n = 224, 35), general practice (n = 250, 34), military medicine (n = 236, 37), anaesthetics,46 internal medicine,39 neurology,40 paediatrics,38 palliative care,48 population health,28 rheumatology52 and transplant science.30 A wide range of article types were identified (Table 3), the majority of which were qualitative research studies. A detailed summary of the papers is included in the Appendix S2.

확인된 TC
TCs identified

의학교육에서 TCF를 가장 빈번하게 적용한 분야는 TC를 식별하는 것이었습니다. 10편의 논문은 학부 의학교육에서 TC를 식별하는 데 중점을 두었습니다.22, 24, 25, 36-38, 49, 28, 42, 53 주니어 대학원 의학교육(인턴, 전공의 또는 핵심 수련의의 다양한 의료 시스템에서의 역할 포함) 또는 시니어 대학원 의학교육(시니어 레지던트, 전문의 수련의, 레지던트 또는 펠로우)에서 TC를 조사한 논문이 4편, 21, 23, 26, 48 학부 및 주니어 대학원 의학교육을 모두 조사한 논문 1편,39 선임 임상의가 참여하는 계속 의학 교육에 중점을 둔 논문 1편이 있었습니다.47 
The most frequent application of the TCF in medical education was in the identification of TCs. Ten papers focused on identifying TCs in undergraduate medical education.22, 24, 25, 36-38, 49, 28, 42, 53 Four papers examined TCs in junior postgraduate medical education (encompassing the roles in different health care systems of interns, foundation year doctors or core trainees) or senior postgraduate medical education (senior residents, specialist trainees, registrars or fellows).21, 23, 26, 48 One paper looked at both undergraduate and junior postgraduate medical education,39 and one paper focused on continuing medical education involving senior clinicians.47

일차 연구자들은 인터뷰,21, 23, 24, 26, 39, 40, 47, 49 포커스 그룹 및 토론,25, 48, 28, 42 서면 반성문,36-38 오디오 일기 녹음22, 25 및 설문지를 포함한 다양한 데이터 수집 방법을 사용하여 잠재적 TC를 식별했습니다.26, 28 관심 집단,21, 22, 36-38, 47-49, 42 교육자 또는 전문가40, 28 또는 학습자와 트레이너 모두로부터 데이터를 수집하여 가능한 TC를 중심으로 삼각 측량을했습니다.23-26, 39 
A variety of data collection methods were used by the primary researchers to identify potential TCs including interviews,21, 23, 24, 26, 39, 40, 47, 49 focus groups and discussion,25, 48, 28, 42 written reflections,36-38 audio-diary recordings22, 25 and questionnaires.26, 28 Data were gathered from the population of interest,21, 22, 36-38, 47-49, 42 educators or experts40, 28 or from both learners and trainers to triangulate the data around possible TCs.23-26, 39

기본 개념 변화
Basic conceptual change

이 분야의 TC를 조사하기 위해 경험적 방법을 사용한 논문은 2편에 불과합니다.40, 42 2차 전달자 시스템, 압력 구배, 예압 및 후압, 세포막 전위 및 극성 등 생리학 및 생의학 과학과 관련하여 잠재적 TC가 확인되었습니다.40, 42 환기-관류(V/Q) 불일치46 및 3D 구조의 2D 표현인 X-선32 은 전문적인 경험을 바탕으로 TC로 제안되었습니다. 이러한 유형의 TC에 대한 평가는 다른 어려운 개념의 후속 숙달과 술기 개발에 도움이 될 수 있기 때문에 근본적으로 중요합니다.40 
Only two papers used empirical methods to examine TCs in this area.40, 42 Potential TCs were identified in relation to physiology and biomedical science, including secondary messenger systems, pressure gradients, preload and afterload, cell membrane potential and polarity.40, 42 Ventilation-perfusion (V/Q) mismatch46 and an X-ray being a 2D representation of a 3D structure32 were proposed as TCs based on professional experience. Evaluation of this type of TC is of fundamental importance because grasping them may help in the subsequent mastery of other difficult concepts and development of skills.40

사고 방식(훈련 개념 변화)
Ways of thinking (discipline conceptual change)

불확실성, 환자 치료, 의사의 역할 및 전문가 정체성 개발이라는 세 가지 주제가 학문 내 사고 방식과 관련하여 나타났습니다. 
Three themes emerged relating to ways of thinking within a discipline:

• uncertainty,
• care of patients and
• the doctor's role and development of professional identity.

불확실성이 의학의 본질적인 부분이라는 인식이 여러 논문에서 나타났습니다.22, 25, 38, 39, 28 의학은 흑백이 아니라는 인식과 밀접한 관련이 있습니다.22, 38 이러한 문턱을 넘으면서 환자 진단과 관리에 '단 하나의 해결책'25(p100)이 없다는 것을 이해하게 되었습니다. 그러나 처음에는 모호함으로 어려움을 겪던 학생들은 '여러 가지 가능성을 동시에 머릿속에 담아두는 것에 익숙해졌습니다'37(p7) 의료 현장의 현실은 교과서 그림보다 더 복잡하고 배움은 평생 지속되며 모든 것을 다 알 필요는 없다는 것을 인식하게 되었습니다.25, 38 
Recognising that uncertainty is an inherent part of medicine emerged in several papers.22, 25, 38, 39, 28 Closely related was the realisation that medicine is not black and white.22, 38 Crossing these thresholds led to an understanding that there was ‘no single solution’25(p100) in the diagnosis and management of patients. After initially struggling with ambiguity, however, ‘students became comfortable with holding multiple possibilities simultaneously in their heads’.37(p7) They recognised that the reality of medical practice is more complex than the textbook picture and that learning is lifelong and it is not necessary to know everything.25, 38

TC로서의 사람 중심 진료는 환자를 전체적으로 보는 맥락에서26, 39 설명되었으며, '의술에는 생의학 과학의 임상적 적용보다 더 많은 것이 있다'고 했습니다.25(p98) 이는 학생들이 건강을 보는 방식에 변화를 가져왔습니다.25 환자의 관점과 목표를 탐구하는 것의 중요성을 인식하는 것 또한 환자 중심주의의 필수적인 특징으로 지적되었습니다.39 또한 다학제 팀에서 의사의 역할26 과 다른 의료 전문가와의 협력의 중요성39 은 효과적인 치료를 제공하는 데 핵심적인 것으로 여겨졌으며 수련의들이 팀에서 다른 사람들의 역할을 바라보는 방식을 변화시켰습니다.
Person-centred care as a TC was described in context of seeing the patient as a whole26, 39 and that there was ‘more to the practice of medicine than just the clinical application of biomedical science’.25(p98) This led to a transformation in how students saw health.25 Recognising the importance of exploring patients' perspectives and goals was also noted to be an essential feature of patient-centredness.39 In addition, the doctor's role in the multidisciplinary team26 and the importance of collaboration with other health professionals39 was seen as key in providing effective care and transformed how trainees viewed the role of others in the team.

전문직 정체성의 발달은 검토에 참여한 여러 TC의 공통된 특징이었습니다.25, 36-39, 47, 28 '나는 치료자다'37(p16) 라는 깨달음과 수련생들이 진입하고 있는 직업 문화에 대한 인식이 있었습니다.25 이러한 변화는 다른 사람의 건강에 대한 책임을 인식하면서 학생들의 개인 정체성25 에 불편함과 도전이 되었습니다.37 군의학의 맥락에서 독특한 전문직 정체성이 형성되었습니다.36, 37 그러나 의사가 수행하는 더 넓은 역할25, 39 과 그들의 책임은 개별 환자를 넘어 확장된다는 인식도 있었습니다.28
The development of professional identity was common feature of several TCs in the review.25, 36-39, 47, 28 There was a realisation that ‘I am a healer’37(p16) and an awareness of the professional culture students were entering into.25 This transformation was uncomfortable and challenged students' personal identity25 as they recognised their responsibility for others' health.37 The formation of a unique professional identity was noted in the context of military medicine.36, 37 However, there was also a recognition of the multiple wider roles that doctors play25, 39 and that their responsibility extends beyond the individual patient.28

진료 방식(개념 변화 모델링)
Ways of practising (modelling conceptual change)

실무 기술 개발, 임상적 판단 및 의사 결정, 불확실성 용인, 환자 중심주의 확립, 전인적 치료 제공 등 네 가지 주제가 진료 방식과 관련하여 등장했습니다.
Four themes emerged relating to ways of practising:

• development of practical skills,
• clinical judgement and decision making,
• tolerance of uncertainty and
• enactment of patient-centredness and the provision of holistic care.

임상의로서 실습하려면 고유한 실무 기술을 개발해야 합니다. 자격을 갖춘 외과의사들 사이에서 기술적 복잡성과 수술 속도가 TC로 확인되었습니다.47 그러나 팀 역학 등 비기술적 요인이 절차적 복잡성에 영향을 미칠 수 있으며,47 다른 TC가 수술 관리의 근간이 될 수 있음을 시사합니다. 마찬가지로 외과 수련의들이 수술이 어렵다고 느끼는 주요 요인은 연습 기회 부족이었습니다.21, 23, 41 따라서 일부 술기는 충분한 시간과 연습을 통해 습득할 수 있으므로 TC를 대표하지 않는다는 주장도 있습니다.23, 45 
Practising as a clinician involves the development of unique practical skills. Technical complexity and speed of operating were identified as TCs amongst qualified surgeons.47 However, non-technical factors such as team dynamics can influence procedural complexity,47 suggesting other TCs may underlie surgical management. Similarly, a key factor in why surgical trainees found procedures troublesome was lack of opportunities to practice.21, 23, 41 It has therefore been argued that some skills can be learnt with sufficient time and practice and so do not represent TCs.23, 45

이와 대조적으로 에브게니우 등은 환자 치료의 수술 전, 수술 중, 수술 후 단계에서 의사 결정과 관련된 잠재적 TC를 확인했습니다.23 임상 추론은 의대생들에게도 임계 기술로 인식되어 정보 수집 및 분석 방식에 변화를 가져왔습니다.49 불확실성을 견디고 적절하게 대응하는 능력은 임상적 판단과 의사 결정 기술을 개발하는 데 있어 근본적인 특징이자 가능한 TC입니다21,47 그리고 학생들이 진단에 접근하는 방식을 변화시켰습니다.24 마찬가지로, 질병 경과와 기대 수명에 대한 불확실성은 수련의들이 환자와 소통하는 새로운 방법을 개발하는 데 영향을 미쳤습니다.48
In contrast, Evgeniou et al. identified potential TCs related to decision making during the pre-operative, intra-operative and post-operative stages of a patient's treatment.23 Clinical reasoning was also recognised as a threshold skill in medical students, transforming how they gathered and analysed information.49 The ability to tolerate and respond appropriately to uncertainty is an underlying feature, and a possible TC, in the development of clinical judgement and decision-making skills21, 47 and changed how students approached diagnoses.24 Similarly, uncertainty about illness trajectory and life expectancy shaped trainees' development of new ways of communicating with patients.48

마지막으로, 여러 논문에서 환자 중심주의 및 전인적 치료와 관련된 TC를 확인했는데,24, 26, 37, 48 이는 '립 서비스'48(p425)가 전문 실무에서 이러한 원칙의 구체화로 전환되면서 학문 개념 변화와는 달랐습니다. 환자의 평가와 치료에서 심리사회적 측면을 고려하는 것은 이 주제의 핵심적인 측면이었습니다.24, 26 또한 공감 능력과 감정 관리 능력의 발달은 수련의가 환자와 상호작용하는 방식을 변화시켰습니다.25, 26, 48 노인의학에서 진료 제공은 적극적이고 실습적인 과정으로 간주되었으며, 수련의가 노인의사가 되면서 양육하는 실무자의 개념을 구체화했습니다.26 
Finally, several papers identified TCs related to patient-centredness and holistic care,24, 26, 37, 48 which differed from discipline conceptual change, as ‘lip-service’48(p425) was transformed to the embodiment of these principles in professional practice. Considering psychosocial aspects in the assessment and treatment of patients was a key aspect of this theme.24, 26 In addition, the development of empathy and the ability to manage emotions changed how trainees interacted with patients.25, 26, 48 In geriatrics, providing care was seen as an active, hands-on process, and as trainees become geriatricians, they embody the concepts of a nurturing practitioner.26

확인된 TC와 수련 단계 간의 관계
Relationship between TCs identified and stage of training

학습자가 경험하는 개념 변화의 유형은 그림 2에서 보는 바와 같이 의료 수련의 단계와 관련이 있는 것으로 나타났습니다. 과학적 지식과 관련된 TC는 의대생에게서 확인된 반면, 진료 방식과 관련된 TC는 의학교육의 연속체에 걸쳐 있었습니다. 불확실성 및 환자 관리와 같은 일부 TC는 모든 수련 단계에 걸쳐 나타났지만, 전문적 책임과 관련하여 발전했습니다. 의학이 발전함에 따라 TC도 발전한다는 인식도 있었습니다.54 
The types of conceptual changes learners encounter appeared to relate to the stage of medical training, as shown in Figure 2. TCs related to scientific knowledge were identified in medical students, whereas TCs related ways of practising spanned the medical education continuum. Some TCs, such as uncertainty and patient care, featured at all stages of training, but developed in relation to professional responsibilities. There was also a recognition that as medicine advances TCs also evolve.54

교육에서 TC 프레임워크 사용
Use of the TCs framework in teaching

여러 논문에서 TCF41, 51, 54, 55, 43의 맥락에서 교육 개입을 평가했으며, 한 논문에서는 TCF를 새로운 과정의 커리큘럼 설계에 통합했습니다.30 다른 저자는 다른 접근 방식을 취하여 문턱을 넘는 것과 관련된 학습 경험을 조사했습니다.27, 50 학생들은 치매 치료에 대한 시뮬레이션 세션 후 언어, 지식 및 행동의 변화를 보였지만, 학생들이 넘었을 수 있는 TC는 논의되지 않았습니다.27 본은 GP 개발 중 강력한 학습 경험에 대한 서면 설명을 검토하여 수련의의 성향 태도를 변화시키는 데 환자 및 동료와의 상호작용이 중요함을 확인했습니다.50 
Several papers evaluated teaching interventions in the context of the TCF41, 51, 54, 55, 43 and one paper incorporated the TCF into curriculum design of a new course.30 Other authors took a different approach and examined learning experiences associated with threshold crossing.27, 50 Students demonstrated a change in language, knowledge and behaviour following a simulation session about dementia care, although the TCs students may have crossed were not discussed.27 By examining written accounts of powerful learning experiences during GPs' development, Vaughan identified the importance of interactions with patients and colleagues in transforming trainees' dispositional attitudes.50

다른 많은 논문에서도 TC를 가르치는 방법을 제안했습니다. 예를 들어, 시뮬레이션은 학습자가 불확실성을 관리하는 데 도움을 줌으로써 임상 실습과 직접적으로 관련된 방식으로 변화를 도울 수 있다고 제안되었습니다.46 또는 소규모 성찰 그룹과 발린트 그룹은 학생들이 직업적 정체성 형성과 관련된 문제를 탐색하는 데 도움을 줄 수 있습니다.22, 24, 25 강사가 개별 학습자를 지원하기 위해 사용할 수 있는 전략에는 사례 및 도전적인 상황에 대한 토론,23, 39, 45 명시적 진단 추론,24, 49 및 공식 멘토링 프로그램이 포함되었습니다.21, 47 저자들은 또한 학생을 TCF에 적극적으로 참여시키고,22, 38, 28, 33 학생들이 자신의 TC를 식별할 수 있도록 하고,42, 32 반복적이고 비선형적이며 잠재적으로 문제가 될 수 있는 학습 과정을 인식할 것을 주장했습니다.40, 45 코스 수준에서 여러 저자들은 TC를 교육과정 설계에 통합할 것을 주장했습니다.23, 25, 47, 48, 28 
Many other papers suggested methods to teach the TCs they had identified. It was proposed that simulation could aid transformation in ways that are directly related to clinical practice,46 for example, by helping learners manage uncertainty.47 Alternatively, small reflective groups and Balint groups could help students navigate the challenges associated with professional identity formation.22, 24, 25 Strategies that trainers could use to support individual learners included discussion of cases and challenging situations,23, 39, 45 explicit diagnostic reasoning,24, 49 and formal mentoring programmes.21, 47 Authors also advocated for actively engaging students with the TCF,22, 38, 28, 33 enabling them to identifying their own TCs,42, 32 and recognise the repetitive, non-linear and potentially troublesome learning process.40, 45 At a course level, several authors argued for the incorporation of TCs into curriculum design.23, 25, 47, 48, 28

4 토론
4 DISCUSSION

이 리뷰는 의학교육에서 현재 TC 문헌을 체계적으로 검토한 최초의 리뷰입니다. 포함된 논문의 3분의 2 이상이 2018년 이후에 발표된 것으로, 최근 몇 년간 관심이 크게 증가했음을 보여줍니다. 따라서 이 리뷰는 현재 교육 환경에서 매우 적절하며 다양한 증거 기반을 통합합니다.
This is the first review to take a systematic approach in examining the current TCF literature in medical education. Over two thirds of the papers included were published from 2018 onwards, demonstrating a significant growth in interest in recent years. This review is therefore highly pertinent in the current educational landscape and brings together a diverse evidence base.

재귀적 TC와 커리큘럼 설계에 대한 시사점
Recursive TCs and implications for curriculum design

이러한 종합을 통해 의학교육 연속체 전반에 걸쳐 TC의 재귀적 특성에 대한 독특한 관점이 드러났습니다. 재귀는 Land 등(2005)에 의해 학생들이 '개념적 자료에 대해 다른 "테이크"를 시도하는' 한계 공간을 여행하면서 학습을 재방문하는 것으로 설명되었습니다.3(p59) 의학교육 연속체도 마찬가지로 학습자가 새로운 상황에 직면했을 때 학습을 재방문하고 적응 또는 발전시키는 지속적인 학습 여정입니다.48

• 예를 들어 불확실성은 수련 및 전문성 개발의 모든 단계에서 나타나는 개념으로, 학문적 개념 변화22, 25, 38, 39, 28 및 모델링 개념 변화21, 24, 47, 48, 34 와 연결되며 새로운 역할 및 책임과 함께 다시 등장합니다.
• 의대생과 주니어 대학원 수련의는 의학의 복잡하고 모호한 특성을 먼저 인식했습니다.25, 38 그런 다음 이를 의사 결정에 반영하기 시작했고24, 34 불확실성에도 불구하고 환자 치료에 대한 책임을 졌습니다.25, 38
• 그러나 시니어 임상의도 독립 전문 진료로 전환한 후 의사 결정, 임상 판단 및 부작용 관리와 관련하여 불확실성을 경험했습니다.47

This synthesis has revealed a unique perspective on the recursive nature of TCs across the medical education continuum. Recursion was described by Land et al. (2005) as a revisiting of learning as students journey through the liminal space ‘attempting different “takes” on the conceptual material’.3(p59) The medical education continuum is likewise an ongoing learning journey, in which learners revisit learning and adapt or advance it when faced with new situations.48 

• Uncertainty, for example, was a concept that featured at all stages of training and professional development, linked to both discipline conceptual change22, 25, 38, 39, 28 and modelling conceptual change,21, 24, 47, 48, 34 and re-emerged with new roles and responsibilities.
• Medical students and junior postgraduate trainees first recognised the complex and ambiguous nature of medicine.25, 38 They then began to incorporate this into their decision making24, 34 and take responsibility for patients' care despite uncertainty.25, 38 
• However, senior clinicians also experienced uncertainty following their transition to independent specialty practice, related to decision-making, clinical judgement and managing adverse events.47

따라서 TC 자체는 전문가 경력의 다양한 시점에서 반복될 수 있으며, 보다 정교한 이해 또는 구체화가 필요합니다. 이는 [문턱을 넘는 것]이 학습 여정의 종착점이 아니며, Liminality란 전문가가 지속적으로 점유하는 상태이면서, 새로운 상황에 노출되면 덜 편안해지는 상태로 생각하는 것이 더 낫다는 개념을 뒷받침합니다.4, 47 이는 그림 3에서 확인할 수 있습니다. 이러한 방식으로 TC를 바라보는 것은 커리큘럼 설계에 도움이 될 수 있는 귀중한 통찰력입니다. 여러 교육 단계 간의 통합을 강화하면 학습의 연속성을 개선하고 수련의가 어려운 전환기를 헤쳐나가는 데 도움이 된다는 주장이 제기되어 왔기 때문에 의료 교육 연속체를 아우르는 총체적인 접근 방식을 지원합니다.58
TCs themselves may therefore recur at various points in a professional's career, requiring a more sophisticated understanding or embodiment. This supports the notion that crossing a threshold is not the endpoint of the learning journey and that liminality may be better thought of as a state continually occupied by professionals, but which becomes less comfortable with exposure to new situations.4, 47 This is demonstrated in Figure 3. Viewing TCs in this way is a valuable insight which could help guide curricula design. It supports a holistic approach that spans the medical education continuum, as it has been argued that better integration between different stages of training would improve continuity in learning and help trainees navigate challenging transitions.58

TC의 재귀적 특성은 또한 많은 의과대학에서 사용하는 나선형 커리큘럼 접근법을 뒷받침하는 것처럼 보일 수 있습니다.59 이 접근법에서는 복잡성이 증가하고 고급 적용이 요구되는 주제가 코스 전반에 걸쳐 재검토됩니다.60 그러나 이 접근법은 새로운 학습이 이전 학습을 기반으로 하는 선형적이고 점진적인 과정을 제안합니다.59, 60

• 반면에 TC 습득은 예측 가능한 간격으로 진행되는 과정을 따르지 않습니다: 이해와 결과의 편차와 수정이 있는 지저분하고 앞뒤를 오가는 여정입니다.3, 5
• 또한 TC와 관련된 학습 경험은 개인에게 고유하며 학습자마다 훈련의 서로 다른 지점에서 이를 통과할 수 있습니다.26, 39, 50

결과적으로 나선형 교육과정은 학습자의 학습 요구와 일치하지 않을 수 있으며 특정 문턱을 넘지 않고 훈련을 진행할 수 있습니다.25, 39 
The recursive nature of TCs would also, on face value, seem to support the spiral curriculum approach employed by many medical schools,59 in which topics are revisited throughout the course with increasing complexity and requiring more advanced application.60 However, this approach suggests a linear and progressive process, in which new learning builds on previous learning.59, 60 

• TC acquisition, in contrast, does not follow a predictably spaced process: It is a messy and back-and-forth journey, with deviations and revisions of understanding and outcomes.3, 5 
• Furthermore, the learning experience associated with TCs is unique to individuals and learners may pass through them at different points in their training.26, 39, 50 

As a result, the spiral curriculum may not align with their learning needs, and they may progress in training without having crossed certain thresholds.25, 39

대조적으로, 본 검토에서 TCF의 개념화는 대학원 의학교육에서 점점 더 많이 적용되고 있는 역량 기반 의학교육(CBME)과 더 밀접하게 일치합니다.61 CBME에서는 학습자의 진전이 수련 시간 대신 의료 실무와 관련된 역량을 달성하는 것으로 결정되며,61 종종 수련생이 감독 없이 수행할 수 있는 업무 또는 책임인 위탁 전문 활동(EPA)으로 실질적으로 측정됩니다.62 이 검토에서 확인된 많은 TC는 임상 경험에 기반한 학습으로 존재론적 변화와 전문적 실천의 발전을 나타냅니다. 따라서 TCF는 이러한 핵심 역량 또는 EPA39 를 식별하는 렌즈로 사용될 수 있으며, 모방과 숙달을 구분하는 데 도움이 됩니다.46 TC의 재귀적 특성은 또한 의학교육 연속체 전반에 걸쳐 일관성을 보장하는 것을 목표로 하는 CBME의 수직적 통합을 지원합니다.61 TCF와 CBME를 연계하면 단일 지식 체계의 촉진과 교육에서 전통적인 권력 불균형의 영속화와 관련하여 브라운 등이 제기한 몇 가지 우려를 해결할 수 있습니다.10 CBME의 핵심 구성 요소는 학습자 중심 접근법61 으로, 이는 TC의 경험에 대한 개별적 차이를 설명할 수 있습니다. 실제로 브라운 등은 교육과정 설계에서 EPA가 TC보다 더 바람직한 구성 요소라고 주장하지만,10 우리는 이 두 가지를 반드시 배타적으로 볼 필요는 없다고 주장합니다.
In contrast, the conceptualisation of the TCF in this review aligns more closely with competency-based medical education (CBME), which is increasingly being applied in postgraduate medical education.61 In CBME, progression of the learner is determined by achieving competencies related to practicing medicine instead of time in training,61 often measured practically as Entrustable Professional Activities (EPAs) which are tasks or responsibilities trainees can undertake without supervision.62 Many of the TCs identified in this review represent ontological transformations and the development of professional practice, with learning rooted in clinical experience. The TCF could therefore be used as a lens for identifying these critical competencies or EPAs39 and help differentiate between mimicry and mastery.46 The recursive nature of TCs also supports the vertical integration of CBME which aims to ensure coherence across the medical education continuum.61 Aligning the TCF with CBME addresses some of the concerns raised by Brown et al. with regard to the promotion of a single body of knowledge and perpetuation of traditional power imbalances in education.10 A key component of CBME is a learner-centred approach61 which can account for the individual variation in the experience of TCs. Indeed, Brown et al. argue that EPAs are a preferable component of curriculum design to TCs,10 but we contend that the two do not necessarily need to be viewed exclusively.

의학교육에서 임계 '개념'의 의미
The meaning of threshold ‘concepts’ in medical education

이 검토는 의학교육에서 문턱 개념이라는 용어의 사용에 대한 일부 비판을 해결하는 데도 도움이 됩니다. 많은 저자들이 지적했듯이, 개념이라는 용어는 실용적 차원이 아닌 이론적 차원6,10 의 의미를 가지며, 따라서 종종 '지식에 대한 내용 중심적 관점'과 연관됩니다.4(p235) 이러한 맥락에서 브라운 등은 인지적 변화(지식의 변화가 정체성의 변화로 이어지는)에 초점을 맞추고 기초 과학 지식과 관련된 일부 TC와 전문가 정체성 사이의 단절로 인해 TCF가 전문가 정체성 발달에 적용하기 어렵다고 주장해왔습니다.10 그러나 이 리뷰는 TC을 [개념 변화의 단계]라는 맥락에서 바라봄으로써, [한계를 넘는 것]이 의학 분야 내에서 어떻게 [사고와 실천 방식의 변화]로 이어지고, 이는 본질적으로 학습자의 [정체성 재형성]과 연결되는지를 명확히 합니다.18
This review also helps to address some of the criticisms around the use of the term threshold concept in medical education. As many authors have noted, the term concept has connotations of a theoretical, rather than practical, dimension6, 10 and so is often associated with ‘a content-focused view of knowledge’.4(p235) In this vein, Brown et al. have argued that the TCF is not applicable to professional identity development due to the focus on cognitive transformation—a change in knowledge leading to change in identity—and the disconnection between some TCs, such as those related to basic scientific knowledge, and professional identity.10 However, by viewing TCs in the context of stages of conceptual change, this review clarifies how crossing thresholds leads to changes in ways of thinking and practising within the discipline of medicine, and this is intrinsically linked to reshaping of a learner's identity.18

TC에 대한 이러한 지식 중심의 해석은 대체 용어의 등장으로 이어지기도 했습니다. 이 검토에서 확인된 두 연구에서는 각각 임계 기술49 및 직업 임계치50라는 용어를 사용했습니다. 이러한 개념은 지식의 습득 및 활용 방법을 나타내며49 의사가 되는 것과 관련된 변화를 나타낸다는 것이 그 근거였습니다.50, 63 그러나 원래 TC에 대한 설명은 가치, 태도, 기술, 사고 및 존재 방식을 포괄하는 광범위한 개념이었습니다.1, 2, 4 이 설명은 역치 기술과 직업 역치를 포괄합니다. 따라서 의학교육자 및 연구자는 의학교육의 맥락에서 TCF와 관련된 해석 및 용어의 새로운 변화를 인지하여 예를 들어 문헌 검색 전략에 이러한 용어를 포함할 수 있어야 합니다.
This knowledge-focused interpretation of the TCF has also led to the emergence of alternative terminology. Two studies identified in this review used the terms threshold skills49 and vocational thresholds,50 respectively. The justification was that these ideas represent how knowledge is acquired and utilised49 and represent transformations related to being a practitioner.50, 63 However, the original description of TCs was broad and inclusive of values, attitudes, skills and ways of thinking and being.1, 2, 4 This explanation encompasses threshold skills and vocational thresholds. Therefore, medical educators and researchers should be cognisant of the emergent variations in interpretation and terminology associated with the TCF in the context of medical education so they can, for example, include these terms in literature search strategies.

방법론적 고려 사항
Methodological considerations

이 범위 검토를 통해 의학교육에서 TC을 탐구하는 현재 연구의 방대한 범위를 확인할 수 있었습니다. 그러나 문헌의 이질성으로 인해 종합하는 데 어려움이 있었으며 대략적인 결론만 도출할 수 있었습니다. 가능한 TC를 식별하는 데 사용된 특성에는 상당한 차이가 있었으며, 이는 더 광범위한 문헌의 결과와 일치하며,8, 64 TCF에 대한 비판 중 하나입니다.10 논의 주제를 뒷받침하기 위해 TCF를 사용했지만 포함을 정당화할 증거가 없는 논문도 여러 편 있었습니다.29, 52, 31 이 범위 검토의 일환으로 공식적인 품질 평가는 수행되지 않았지만 여러 논문, 특히 교육에서 TCF 사용에 중점을 둔 논문에서 실험적 엄격성이 부족하다는 점이 지적되었습니다. 광범위한 문헌과 일관되게,64 개념 선택을 정당화하거나 개입 후 임계값을 넘었음을 입증하는 증거가 부족한 경우가 많았습니다.41, 51, 54, 55, 30, 43 따라서 이러한 논문의 결과는 신중하게 해석해야 합니다.  
This scoping review has demonstrated the vast extent of the current work exploring the TCF in medical education. However, the heterogeneity of the literature presented challenges for synthesis and only broad conclusions can be drawn. There was significant variation in characteristics used to identify possible TCs, which is consistent with findings in the wider literature,8, 64 and is one of the criticisms of the TCF.10 There were also several papers in which the TCF was used to support the topic of discussion but with no evidence to justify its inclusion.29, 52, 31 Although no formal assessment of quality was carried out as part of this scoping review, a lack of experimental rigour was noted in several papers, particularly those focused on the use of the TCF in teaching. Consistent with the wider literature,64 there was frequently a lack of evidence to justify the selection of concepts or demonstrate threshold crossing post-intervention.41, 51, 54, 55, 30, 43 Therefore, the results of these papers should be interpreted with caution.

TC에 대한 지속적인 연구가 의학교육에 의미 있는 영향을 미치려면 연구자는 프레임워크의 적용과 연구 설계에 높은 수준의 엄격함과 투명성을 적용해야 합니다. 여기에는 TC 프레임워크 적용에 대한 명확한 정당성, 특정 TC의 식별 또는 활용에 대한 근거 기반 접근법, 복제 가능한 방법론이 포함되어야 합니다. 
It is imperative that if ongoing research into TCs is to have a meaningful impact in medical education, researchers must apply high degrees of rigour and transparency in the application of the framework and the design of their studies. This needs to involve clear justification for applying the TCF, an evidence-based approach to identification or utilisation of specific TCs and replicable methodology.

이 검토의 또 다른 한계는 일반적으로 의료 전문가에 초점을 맞춘 논문이 제외되었고, 예를 들어 전문가 간 업무와 관련된 의학교육에 적용 가능한 일부 연구 결과가 누락되었을 수 있다는 점입니다. 또한 이번 검토는 의료 실무와 관련된 교육에 중점을 두었기 때문에 교수진 개발과 같은 다른 논문은 제외되었습니다. 그러나 의사의 역할은 환자 치료를 제공하는 것 이상의 의미를 가지며, 이러한 다른 전문적 의무는 포함되지 않았습니다. 
Further limitations to this review are that papers focusing on health care professionals in general were excluded and some findings applicable to medical education, for example, related to interprofessional working, could have been missed. Additionally, the review focused on education around practicing medicine, and other papers, such as those addressing faculty development, were excluded. However, the role of the doctor goes beyond delivering patient care, and these other professional duties were not captured.

의학교육 및 연구에 대한 시사점
Implications for medical education and research

이 검토는 의과대학과 임상 실습 과정에서 학습자가 겪는 중요한 변화를 검토하는 데 TCF가 어떤 렌즈를 제공할 수 있는지 보여줍니다. 검토 결과를 바탕으로 의학교육자를 위한 몇 가지 광범위한 권장사항이 확인되었으며 표 4에 요약되어 있습니다. 그러나 의대생과 의사의 발달 과정에서 발생하는 광범위한 학습에 대해 TCF를 설명하고 적용하기 위한 일관된 접근법을 개발하기 위해서는 추가 연구가 필요합니다. 이는 근거 기반의 진화하는 특성과 의학의 발전과 함께 새로운 TC가 계속 등장할 것이라는 사실을 고려할 때 특히 적절합니다.54 또한 TCF를 교육에 사용할 수 있는 방법과 역치 통과를 측정할 수 있는 방법은 현재 근거에 상당한 격차가 있으므로 추가 연구가 필요합니다. 
This review demonstrates how the TCF can provide a lens for examining important transformations learners undergo in their developmental journey at medical school and during clinical practice. Several broad recommendations for medical educators have been identified based on the review findings and are summarised in Table 4. However, further research is needed to develop a consistent approach for describing and applying the TCF to the broad range of learning that occurs during the developmental journey of medical students and doctors. This is especially pertinent given the evolving nature of the evidence base and the fact that new TCs will continue to emerge with advancing medicine.54 In addition, how the TCF can be used in teaching and how threshold crossing can be measured are significant gaps in the current evidence and require further research.

5 결론
5 CONCLUSION

최근 몇 년 동안 의학교육계에서 TCF에 대한 관심이 높아지고 있습니다. 많은 초점이 수련의 다양한 지점에서 학문적 사고방식과 실습의 기초가 되는 TC를 식별하는 데 맞춰져 있습니다. 의학교육의 연속체 전반에 걸쳐 불확실성, 환자 치료, 임상적 추론 및 전문적 정체성 TC에 대한 이해와 구현이 점점 더 복잡해졌으며, 이는 지식, 사고 및 실천의 개념적 변화를 나타냅니다. TC는 임상 환경과 책임의 변화와 함께 반복되어 평생 학습 커리큘럼에 대한 총체적인 접근 방식을 지지했습니다. 
The TCF has garnered increasing attention in the medical education community in recent years. Much of the focus has been on identifying TCs which underlie the development of disciplinary ways of thinking and practising at various points in training. There was an increasing complexity to the understanding and embodiment of uncertainty, patient care, clinical reasoning and professional identity TCs across the medical education continuum, representing the conceptual changes of knowing, thinking and practising. TCs recurred with changes in clinical environment and responsibilities, endorsing a holistic approach to the curriculum of lifelong learning.

의대생과 의사의 발달 학습 여정, 특히 의학이 발전함에 따라 새로운 TC가 등장하는 상황에서 TCF를 설명하고 적용하기 위한 일관된 접근법을 개발하기 위해서는 더 많은 연구가 필요합니다. 또한 TCF를 교육에 활용하는 방법과 역치 통과를 측정하는 방법은 현재 증거에 상당한 공백이 있어 추가 연구가 필요합니다.
Further research is needed to develop a consistent approach for describing and applying the TCF to the developmental learning journey of medical students and doctors, particularly where new TCs emerge as medicine advances. In addition, how the TCF can be used in teaching and how threshold crossing can be measured are significant gaps in the current evidence and require further research.

Threshold concepts in medical education: A scoping review

PMID: 35775904

PMCID: PMC9543879

DOI: 10.1111/medu.14864

Free PMC article

© 2022 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

멀고 숨겨진 존재: 환자를 EPA의 개발, 내용, 도입의 전면에 두기(Acad Med, 2021)
Distant and Hidden Figures: Foregrounding Patients in the Development, Content, and Implementation of Entrustable Professional Activities 
Stefanie S. Sebok-Syer, PhD, Andrea Gingerich, ND, MMed, PhD, Eric S. Holmboe, MD, Lorelei Lingard, PhD, David A. Turner, MD, and Daniel J. Schumacher, MD, PhD, MEd 

역량 기반 의료 교육(CBME)은 개별 환자, 가족 및 지역사회의 의료 요구를 충족하기 위해 수련의가 습득해야 하는 능력을 강조함으로써 결과에 초점을 맞춘 학습자 중심 프레임워크입니다. 1 결과를 목표로 하는 CBME는 학습자에 대한 더 나은 교육과 평가를 통해 환자 치료를 개선하고자 합니다. 2 CBME에 대한 접근 방식으로서, 위임 가능한 전문 활동(EPA)은 자격을 갖춘 전문가가 환자에게 안전하고 효과적인 진료를 제공하기 위해 수행할 수 있어야 하는 활동을 설명합니다. 따라서 EPA는 환자 치료의 결과를 직장에서 전문가의 임상적 행동 및 결정과 연결할 수 있습니다. 3-5 이 논문에서는 EPA가 환자 중심주의에 대한 약속을 어느 정도 이행하는지 살펴봅니다. 
Competency-based medical education (CBME) is a learner-centered framework that focuses on outcomes by emphasizing the abilities a trainee must acquire to meet the health care needs of individual patients, families, and their communities. 1 By targeting outcomes, CBME seeks to enhance patient care through better teaching and assessment of learners. 2 As an approach to CBME, entrustable professional activities (EPAs) describe activities that qualified professionals must be able to perform to deliver safe and effective care to patients. Thus, EPAs can link outcomes of patient care with clinical actions and decisions of professionals in the workplace. 3–5 In this paper, we examine the extent to which EPAs deliver on their promise of patient-centeredness.

최근의 문헌은 환자를 평가 방정식에 포함시킬 수 있는 EPA가 제공하는 기회에 대해 이야기합니다. 6,7 EPA는 [학습자 결과]에만 초점을 맞추지 않고 [환자 결과]를 고려하는 최초의 평가 프레임워크입니다. EPA의 전문적 활동 측면은 커리큘럼을 개발하는 데 사용될 수 있으며, 이를 사용하여 내린 위임 결정은 확실히 평가에 사용될 수 있지만, 환자 중심의 교육 접근 방식을 달성하려면 환자의 요구에서 시작하여 이러한 요구를 충족하는 커리큘럼과 평가를 설계하는 것이 필요합니다. 8 이 작업은 말처럼 간단하지 않을 수 있습니다.

• 한 가지 접근 방식은 EPA 개발에 환자를 포함하는 것입니다. 9
• 또 다른 접근 방식은 EPA 실행에 환자를 치료의 공동 생산자로 포함시키는 것을 목표로 의도적으로 EPA를 개발하는 것입니다. 10

Recent literature speaks to the opportunities afforded by EPAs that allow us to bring the patient into the assessment equation. 6,7 EPAs are the first assessment framework to consider patient outcomes rather than focus solely on learner outcomes. The professional activity aspect of EPAs can be used to develop curricula, and entrustment decisions made using them can certainly be used for assessment, but achieving a patient-centered approach to education necessitates starting with the needs of the patient and designing curricula and assessments to meet those needs. 8 This undertaking may not be as simple as it sounds.

• One approach is to include patients in the development of EPAs. 9 
• Another approach is to intentionally develop EPAs with the goal of including patients as co-producers of their care when the EPA is executed. 10 

환자에게 보다 명시적으로 초점을 맞추기 위한 이러한 변화로 인해 우리는 다음과 같은 질문을 탐구하게 되었습니다: 환자를 수련의 및 감독자의 초점과 함께 전면에 내세우면 EPA 개발, 내용 및 실행에 어떤 변화가 있을까요? 
This shift toward focusing more explicitly on the patient led us to explore the question: What happens to EPA development, content, and implementation when we foreground the patient alongside trainee and supervisor foci?

먼저 우리 주장의 중요한 전제를 확립하는 것으로 시작하겠습니다: EPA는 (종종 그렇게 사용되기는 하지만) 단순한 평가 프레임워크가 아닙니다. 오히려 환자에게 필요한 것이 무엇인지 파악하는 것에서 시작하여, 그 정보를 사용하여 이러한 요구를 충족할 수 있는 커리큘럼과 평가 접근법을 개발하는 CBME를 설계하고 구현하는 접근 방식입니다. EPA를 평가 프레임워크로만 바라보는 것은 거의 전적으로 교육생에 초점을 맞추는 것입니다. 이렇게 교육생에게만 초점을 맞추면 환자는 그늘에 가려질 수 있습니다. 교육과 환자 결과를 성공적으로 연결하려면 평가 프레임워크의 관점을 넘어 EPA에 대한 관점을 넓혀서 교육 과정과 평가를 모두 대표하는 것으로 EPA를 고려해야 합니다. 그렇게 함으로써 환자에게 주의를 환기하고 수련의 중심 접근법과 환자 중심 접근법을 모두 지원하는 방식으로 수련의의 요구를 해결할 수 있습니다. 11 
Let us begin by establishing an important premise of our argument: EPAs are not simply an assessment framework, despite the fact that they are often used as such. Rather, they are an approach to designing and implementing CBME, which begins with determining what patients need and then uses that information to develop curricula and approaches to assessment that ensure those needs can be met. Viewing EPAs solely as an assessment framework foregrounds, almost exclusively, the trainee. Casting this spotlight on the trainee may leave the patient in the shadows. If we want to successfully link educational and patient outcomes, we need to broaden our perspective of EPAs beyond that of an assessment framework and consider EPAs as representative of both curricula and assessment. In doing so, we can return our attention to the patient and also address the needs of our trainees in a way that supports both trainee-focused and patient-centered approaches. 11

EPA에 환자를 포함해야 한다는 데 이의를 제기하는 사람은 거의 없지만, 그 여부와 방법을 조사한 경험적 연구는 거의 없습니다. EPA를 수련의에게 맡겨야 할 일련의 활동 이상으로 생각하면 환자의 역할에 대해 더 풍부한 질문을 할 수 있습니다. 최근의 한 논문이 이러한 이점을 잘 보여줍니다. El-Haddad와 동료 9는 질적 방법론을 사용하여 EPA 개발에서 환자의 역할을 조사했습니다. 이들의 연구는 EPA에서 환자의 역할을 스케치하기 시작하여 환자가 의사를 보완하는 고유한 관점을 제공하며, 진정한 환자 중심의 방식으로 기대치와 임상 실습을 조정하는 데 도움이 될 수 있다는 결론을 내렸습니다. 9 연구 결과에 따르면 의사와 환자는 수련의가 임상 진료를 제공할 때 무엇을 알고 어떻게 해야 하는지, 그리고 그러한 지식과 기술이 왜 중요한지 파악하는 데 중요한 역할을 합니다. 이 연구는 의사와 환자의 상호의존성을 어떻게 바라보는지에 대한 정보를 제공하고 EPA의 개발과 실행에 있어 환자에 대한 이해를 안내하는 데 도움이 될 수 있습니다.  
While few would disagree that we should include patients in EPAs, little empirical research has explored whether and how this occurs. If we think about EPAs as more than a set of activities to be entrusted to trainees, we can ask richer questions about the role of patients. A recent paper illustrates this benefit. El-Haddad and colleagues 9 used qualitative methodology to examine the role of patients in EPA development. Their work begins to sketch the role of patients in EPAs and concludes that patients offer a unique perspective, which is complementary to physicians, and can help align both expectations and clinical practice in a way that is truly patient centered. 9 Their findings demonstrate that physicians and patients are vital in identifying both what is important for a trainee to know and do in the context of providing clinical care and why that knowledge and those skills matter. This work can help inform how we view physician–patient interdependence and guide our understanding of patients in the development and implementation of EPAs.

그러나 의사-환자 상호의존성을 고려할 때, EPA가 수행되는 임상 현장에서 의사 수련의는 한 개인에게 성과를 쉽게 돌릴 수 없는 협업 팀의 일원이라는 점도 기억해야 합니다. 12

• 수련의는 수퍼바이저와 불가분의 관계에 있으며,13 이러한 수퍼바이저와 수련의의 상호의존성 때문에 어떤 환자 결과가 특정 수련의, 수퍼바이저 또는 조직적 맥락과 같은 다른 측면에 기인하는지를 식별하는 것이 특히 어렵습니다. 14,15
• 또한, 수퍼비전은 일부 수련자에 대한 책임 부여를 공식화한 위임 결정에 의해 EPA 프레임워크에 포함되었습니다. 16,17
• 이러한 척도는 또한 수퍼바이저가 생각하는 방식에 맞춰 구성되도록 설계되어 있어,18 수퍼바이저-수련생-환자의 상호의존성을 삼원적으로 만듭니다.

따라서 우리는 EPA에 존재하는 상호 의존성을 환자, 수련의, 감독자라는 세 가지 독립된 주체의 삼중적 관계로 특징짓습니다. 
As we consider physician–patient interdependence, however, we need to also remember that in the clinical workplace where EPAs are carried out, physician trainees are part of a collaborative team where performance often cannot be easily attributed to a single individual. 12 

• Trainees are inseparably tied to their supervisors, 13 and this supervisor–trainee interdependence makes discerning which patient outcomes can be attributed to specific trainees, supervisors, or other aspects such as organizational context particularly challenging. 14,15 
• Furthermore, supervision is baked into the EPA framework by virtue of entrustment decisions that some have formalized with statements of awarded responsibility for the trainee. 16,17 
• These scales are also designed to be construct aligned with how supervisors think, 18 which makes the supervisor–trainee–patient interdependence triadic.

Thus, we characterize the interdependence that exists in EPAs as a triad of 3 distinct entities: patient, trainee, and supervisor.

EPA에서 '환자' 검색하기
Searching for “the Patient” in EPAs

이러한 프레임을 염두에 두고, 저희는 3개 전문 분야(소아과, 응급의학과, 정신과)와 4개 국가(미국, 캐나다, 호주, 뉴질랜드)의 EPA를 검토하여 현재 환자가 이 세 가지 영역의 일부로 표현되는 다양한 방식을 종합적으로 살펴보기 시작했습니다. 우리가 식별하고 선정한 특정 EPA는 개발 및 시행에 관련된 프로세스 및 개인에 대한 우리 팀의 지식과 친숙함을 기반으로 합니다. 선택된 EPA는 편의상 소규모 표본을 반영한 것으로, 의학의 모든 전문 분야 또는 EPA를 사용하는 국가를 대표하기 위한 것이 아니라 현재 사용되는 일부 EPA에서 환자를 어떻게 설명할 수 있는지를 엿볼 수 있도록 하기 위한 것입니다. 표본은 작지만, 관찰과 해석을 통해 주목과 논의가 필요한 패턴이 드러나며, 특히 이러한 패턴은 이 백서의 표본 외에서도 관찰되었기 때문에 더욱 그러합니다. 
With this framing in mind, we collectively set out to explore the various ways that patients are currently represented as part of this triad by reviewing EPAs from 3 different specialties (i.e., pediatrics, emergency medicine, and psychiatry) and 4 different countries (i.e., the United States, Canada, Australia, and New Zealand). The particular EPAs we identified and selected were based upon our team’s knowledge and familiarity with the processes and individuals involved in their development and implementation. The selected EPAs reflect a small convenience sample, not intended to be representative of all specialties within medicine or countries that employ EPAs, but rather to offer a glimpse into how patients can be described in some currently used EPAs. Although the sample is small, we expect that our observations and interpretations reveal patterns that warrant attention and discussion, especially since these patterns have been observed outside our sampling for this paper.

소아과(미국), 응급의학과(캐나다) 19, 20, 정신과(호주/뉴질랜드) 21의 EPA를 하나의 문서로 통합하여 검토할 수 있도록 했습니다. 각 전문 분야의 EPA는 한 쌍의 저자(소아과: D.A.T. 및 D.J.S.; 응급의학: S.S.-S. 및 E.S.H.; 정신과: A.G. 및 L.L.)를 통해 환자의 상태를 분석했습니다. 이러한 EPA의 분석과 해석에 참여한 팀은 환자와 직접적으로 상호작용할 뿐만 아니라 수련의의 환자와의 상호작용을 감독하는 의사(E.S.H., D.A.T., D.J.S.)와 감독 및 평가 전문가인 연구 과학자(S.S.-S., A.G., L.L., D.J.S.)로 구성되어 다양한 시각과 경험을 대변합니다. 또한 CBME 인가 및 인증 영역에서 일하는 개인(E.S.H., D.A.T.)도 있었습니다. 
EPAs from pediatrics (USA), 19 emergency medicine (CAN), 20 and psychiatry (AUS/NZ) 21 were consolidated into one document for our team to review. Each specialty’s EPAs were assigned to a pair of authors (pediatrics: D.A.T. and D.J.S.; emergency medicine: S.S.S.-S. and E.S.H.; psychiatry: A.G. and L.L.) for analysis of how the patient was represented. The team involved in the analysis and interpretation of these EPAs represent diverse perspectives and experiences, consisting of physicians who not only directly interact with patients but also supervise trainees’ interactions with patients (E.S.H., D.A.T., D.J.S.) as well as research scientists who are experts in supervision and assessment (S.S.S.-S., A.G., L.L., D.J.S.). We also had individuals who work within the CBME accreditation and certification realm (E.S.H., D.A.T.).

연구팀의 정기 회의는 3단계로 진행되었습니다: EPA와 관련 교육 문서 및 활동에서 환자가 묘사되는 방식에 대한 일반적인 논의, 할당된 EPA의 짝 분석, 짝 분석에서 분석 범주를 논의하고 구체화하는 전체 그룹 회의가 있었습니다. 또한 S.S.-S.와 E.S.H.는 문헌에 존재하는 일반적인 EPA 평가 척도(예: EQual, 22 O-SCORE, 23 및 Chen 감독 척도24)를 검토하여 '환자'를 찾고 '환자' 대신 '임상 치료'라는 문구가 더 자주 사용되었으며, 환자가 언급된 경우에도 주체가 아닌 객체로 위치하는 경우가 더 많았다는 점에 주목했습니다. 예를 들어, 정신과 EPA의 "정신분열증/정신병 환자에게 항정신병 약물 사용"에서는 교육생이 동사의 주어(즉, 행위의 주체)로 암시되어 있어 환자는 간접 목적어(약물은 직접 목적어이므로)의 역할에 그치고 있습니다. 
Regular meetings of the research team involved 3 steps: general discussion of the ways patients are portrayed in EPAs and related educational documents and activities, paired analysis of assigned EPAs, and full-group meeting to discuss and refine analytical categories from the paired analysis. S.S.S.-S. and E.S.H. also reviewed common EPA assessment scales present in the literature (i.e., EQual, 22 O-SCORE, 23 and the Chen Supervisory Scale 24) looking for “the patient” and noted the phrase “clinical care” was used more often in place of “the patient,” and even in instances where the patient was mentioned, they were positioned more as an object rather than the subject. For instance, the psychiatry EPA, “Use of an antipsychotic medication in a patient with schizophrenia/psychosis,” has the trainee implied as the subject of the verb (i.e., agent of the action), which renders the patient into the role of an indirect object (because medication is the direct object).

EPA에서 환자 특성화
Characterizing the Patient in EPAs

분석 결과, EPA에서 환자는 다음 4가지 중 한 가지 방식으로 특성화될 수 있는 것으로 확인되었습니다:

• (1) 공동 생산자,
• (2) 직접 객체,
• (3) 간접 수혜자,
• (4) 숨겨진 인물.

이러한 범주를 EPA 내 환자 참여 스펙트럼의 한 지점으로 개념화하고, 이러한 범주가 환자 초점이 다양한 정도를 어떻게 강조하는지 고려합니다. 또한 성찰의 기회로 프로세스, 구조 및 언어의 일부 조정이 어떻게 환자를 더 잘 부각하고 EPA 실행에서 환자, 수련의 및 감독자를 위한 공유 공간을 촉진할 수 있는지 보여줍니다. 
Our analysis identified that patients could be characterized in 1 of 4 ways in EPAs:

• (1) as a co-producer,
• (2) as a direct object,
• (3) as an indirect beneficiary, or
• (4) as a hidden figure.

We conceptualize these categories as points on the spectrum of patient involvement within EPAs and consider how they highlight the extent to which patient foci vary. As an opportunity for reflection, we also showcase how some adjustments in the process, structure, and language could better foreground the patient and promote a shared space for patients, trainees, and supervisors in EPA implementation.

• 첫 번째 범주는 공동 생산자로서의 환자로, 의사가 환자와 협력하여 활동을 수행하는 경우입니다. 25-27 이 범주에는 환자-수련의-감독자 삼자 관계의 행위가 전면에 부각되는 EPA가 포함됩니다. 이 응급의학 EPA에서 관찰된 바와 같이 세 주체는 모두 활동의 공동 생산자입니다:
  • "응급실에 있는 환자, 간병인, 의료진 간의 정보 소통을 촉진하여 환자 치료 및 처치를 조직하는 것".
• 두 번째 범주는 직접적인 대상인 환자로, 환자의 명시적인 참여 없이 환자에게 직접적인 혜택을 제공하는 방식으로 활동이 수행되는 경우를 설명합니다. 예를 들어 소아과에서 시행하는 EPA를 들 수 있습니다:
  • "환자를 소생시키고 안정화시킨 다음 질병의 중증도에 따라 치료를 조정하기 위해 분류합니다."
• 세 번째 범주는 간접 수혜자인 환자로, 일반적으로 환자 치료를 개선하기 위해 환자를 위한 활동이 수행되는 경우입니다. 정신과 EPA의
  • "학교 출석에 위험이 있는 청소년을 위한 관리 계획 개발"이 이 범주의 예입니다.
• 마지막 범주는 환자가 상태나 증상을 통해 암시되는 숨겨진 인물로서의 환자입니다. 응급의학 EPA에 설명된 것처럼:
  • "집중 병력 및 신체 검사 문서화."
• 또한 일부 EPA는 환자 치료와 직접 관련이 없는 전문적 활동을 나타내며, 이는 종종 수련의 중심이고 환자는 전혀 고려되지 않는 직업의 중요한 구성 요소를 반영합니다.
  • (예: 의료 시스템 내 연구 또는 품질 개선에 집중)

• The first category is patients as co-producers, where activities are performed by a physician in collaboration with the patient. 25–27 This category captures EPAs where the actions of the entire patient–trainee–supervisor triad are foregrounded. The 3 entities are all co-producers of an activity as observed in this emergency medicine EPA:
  • “Facilitating communication of information between a patient in the emergency department, caregivers, and members of the health care team to organize care and disposition the patient.”
• The second category is patients as a direct object and describes instances where activities are performed on a patient without their explicit engagement, but in a way that offers a direct benefit. An example of this is an EPA from pediatrics:
  • “Resuscitate, initiate stabilization of the patient, and then triage to align care with severity of illness.”
• The third category is patients as an indirect beneficiary, where an activity is done for the patient, usually to enhance patient care. The psychiatry EPA,
  • “Develop a management plan for an adolescent where school attendance is at risk,” is an example from this category.
• Finally, the last category is patients as a hidden figure where the patient is implied through a condition or presentation, as described in this emergency medicine EPA:
  • “Documenting focused histories and physical exams.”
• We also noted that some EPAs represent professional activities (e.g., focus on research or quality improvement within a health system) that are not directly related to patient care; these were often trainee focused and reflect important components of the profession where the patient is a distant consideration, if at all.

이러한 EPA에 환자의 참여를 고려하면서 환자의 위치가 달라지는 것과 관련된 사항을 고려할 수 있었습니다. 그림 1은 상호 의존성의 세 가지 구성이 EPA에서 각각 어떻게 나타나는지 시각적 일러스트레이션을 통해 강조합니다. EPA 자체를 삼각형으로 생각하고 삼각형의 모서리에 환자, 수련생, 감독자를 배치하면 환자의 위치가 달라질 수 있는 다양한 방법을 확인할 수 있습니다. 임상 활동을 설명, 실행 및 평가하는 방법의 변화에 따라 환자가 전경에 더 많이 배치될 수도 있고, 배경에 더 많이 배치될 수도 있습니다. 임상 활동에서 환자, 실습생, 감독자의 위치는 임상 활동 자체에 따라 그리고 주어진 임상 활동의 다양한 시점에 따라 바뀔 수 있습니다. 환자, 수련생 및 감독자의 거리가 같지 않을 수 있다는 개념화는 스펙트럼이 존재할 수 있다는 것을 의미하며, 이는 트라이어드의 개체 간의 이동도 가능하다는 것을 시사합니다.
Contemplating the involvement of patients in these EPAs allowed us to consider what is associated with the patient being positioned differently. Figure 1 highlights, using visual illustrations, how each configuration of the triad of interdependence might look in EPAs. If we think about EPAs themselves as triangles and position patients, trainees, and supervisors at the corners of those triangles, you can see various ways the patient can be positioned. The patient can shift from being more in the foreground to more in the background based on changes in how we describe, enact, and assess a clinical activity. Rotation of patients, trainees, and supervisors around a clinical activity also occurs depending on the encounter itself and at various points of time throughout a given encounter. The conceptualization that patients, trainees, and supervisors can have unequal distances allows for a spectrum to exist, which suggests that movement between entities of the triad is also possible.

이러한 순환과 이동을 보여주는 사례의 예로는 패혈성 쇼크 환자가 의식이 있고 합리적으로 일관성이 있을 때 응급실에서 소생술에 중점을 둔 EPA를 들 수 있습니다.

• 이 경우 처음에는 환자와 실습생이 함께 이 EPA를 실행하는 모습을 전면에 내세우지만,
• 실습생이 해당 상태의 환자를 관리한 경험이 충분하지 않아 환자가 더 이상 치료에 참여할 수 없는 심각한 저혈압 및 무반응 상태가 되면 감독자가 전면에 내세워질 수 있습니다.
• 이러한 상황은 가족이 병상에 입회하고 참여하기 시작하면 환자의 가족 및 감독자와의 공동 작업으로 전환될 수도 있습니다.

An example case depicting such rotation and movement surrounds an EPA that focuses on resuscitation in the emergency department when a patient with septic shock is conscious and reasonably coherent.

• In this instance, the patient and trainee may initially be foregrounded through the co-production of executing this EPA,
• but the supervisor may then be foregrounded when the patient becomes profoundly hypotensive and unresponsive because the trainee may not have enough experience managing a patient in that state and the patient can no longer participate in his/her care.
• This situation could even shift to co-production with the patient’s family and the supervisor when family presence and participation at the bedside is initiated.

이 예에서 삼각형은 몇 분 안에 여러 가지 다른 위치로 회전할 수 있습니다. 스펙트럼을 따라 가장 환자 중심적인 위치에서 가장 환자 중심적이지 않은 위치로 이동함에 따라 [EPA]와 [제공되는 임상 치료] 사이의 거리가 멀어지고 환자에게 도움이 되기 위해 더 많은 개입 단계가 필요합니다. 의도적인 경우에는 거리가 멀다고 해서 반드시 문제가 되는 것은 아니지만, 의도하지 않은 경우에는 거리가 멀면 아무도 눈치 채지 못한 채 환자가 완전히 제거될 수 있습니다. 
In this example, the triangle may rotate through several distinct positions within a matter of minutes. As one moves along the spectrum from most to least patient centered, the distance between an EPA and the clinical care provided is greater and requires more intervening steps to benefit the patient. We believe that a larger distance is not necessarily problematic when intentional; however, when unintentional, a larger distance can allow the patient to be completely removed without anyone even noticing.

EPA에서 환자를 전면으로 이동하기
Shifting the Patient to the Foreground in EPAs

마지막 예에서 알 수 있듯이, 우리는 EPA에서 환자, 실습생 및 감독자의 위치에 어느 정도 영향을 미칠 수 있습니다. 따라서 환자 중심주의의 목표는 가능한 한 환자를 전면에 배치하는 것을 고려할 것입니다. EPA의 설계, 언어, 운영에서 환자가 얼마나 쉽게 뒷전으로 밀려나고 축소될 수 있는지를 보여주는 분석적 통찰력에도 불구하고, 이러한 결과가 불가피한 것은 아닙니다. 따라서 환자가 여전히 중요한 부분을 차지할 수 있도록 돕는 방법에 대한 제안을 제공합니다. EPA의 세 가지 상호의존성에서 환자에게 초점을 맞추려면 환자가 어떤 방식으로 결국 배경으로 사라지는지를 고려하는 것부터 시작해야 합니다. 또한 이러한 분석 및 성찰 과정의 일환으로, 저희 팀은 EPA에 환자를 더 잘 통합하기 위해 적용할 수 있는 몇 가지 조정 사항에 대해서도 논의했습니다.
As the last example shows, we have some influence over how we position the patient, trainee, and supervisor in EPAs. Therefore, a goal of patient-centeredness would consider foregrounding the patient whenever possible. Despite our analytical insights revealing how easily the patient can be backgrounded and diminished in the design, language, and operationalization of EPAs, this outcome is not inevitable. We offer suggestions for how to help the patient remain an important part of our focus. To shift the focus of the patient in an EPA’s triad of interdependence, we need to start by considering some of the ways the patient ends up fading into the background. And as part of this analytical and reflective process, our team also discussed a few adjustments that could be made to better incorporate the patient in EPAs.

개발 관점에서 볼 때, EPA는 커리큘럼과 프로그램의 필요에 따라 설계되는 경우가 많고, 환자가 [설계 위원회의 구성원]이 되는 경우는 드물기 때문에, [EPA의 설계 및 작성]에 [환자와 커뮤니티 구성원을 포함하는 것을 표준 관행]으로 삼을 수 있습니다. 환자에게 주어진 EPA의 맥락에서 안전하고 효과적인 진료 제공을 가능하게 하는 필수 과제를 설명하도록 요청하면 환자에게 주도권을 부여할 뿐만 아니라 커리큘럼과 평가를 인구 건강 요구사항에 맞추는 데 도움이 됩니다. 개발 시 고려해야 할 또 다른 중요한 측면은 치료의 특정 측면(예: 만성 질환 및 당뇨병 프로그램)을 둘러싼 협의체에 환자를 포함하는 등 이해관계자 사이에서 환자를 대표하는 것입니다. EPA 개발 시 환자 대표성을 강화하는 것은 의도적인 것이어야 하며 억지로 만들어서는 안 됩니다.
From a development perspective, EPAs are often designed based upon curricular and program needs, and patients are rarely members of design committees, we could start making it standard practice to include patients and members of the community in the design and creation of EPAs. Asking patients to describe the essential tasks that enable safe and effective care delivery within the context of a given EPA not only gives agency to the patient but also helps to align our curricula and assessments with population health needs. Another important aspect to consider in development is representation of patients among stakeholders, such as including patients on councils surrounding specific aspects of care (e.g., chronic disease and diabetes programs). Our augmentation of the patient in development of EPAs needs to be purposeful, not forged.

내용적 관점에서 보면, EPA의 표현은 해당 활동을 수행하는 전문가인 교육생에 초점을 맞추는 경향이 있습니다. 그러나 전문가 활동을 설명하는 데 사용되는 언어는 좀 더 사람 우선적이고 환자에 민감하도록 개선될 수 있습니다. 예를 들어,

• 간접적 활동으로 분류한 정신과 EPA("학교 출석에 위험이 있는 청소년을 위한 관리 계획 개발")는
• "학교 출석에 위험이 있는 청소년과 협력하여 관리 계획 개발"로 수정할 수 있습니다.

전자의 표현은 활동 자체를 강조하고 환자의 결과를 암시하므로 연수생은 모범 사례를 기반으로 관리 계획을 개발할 수 있으며, 이는 특정 청소년이 학교에 더 효과적으로 출석하거나 참여하는 데 도움이 되지 않을 수 있음을 의미합니다. 
From a content perspective, the wording of EPAs tends to focus on trainees because they are the professionals performing the activity. But, the language used to describe professional activities could be improved to be more person-first and patient-sensitive. For instance,

• the psychiatry EPA we categorized as indirect—“Develop a management plan for an adolescent where school attendance is at risk”—
• could be rephrased to “Collaborate with an adolescent to develop a management plan where school attendance is at risk.”

The former language foregrounds the activity itself and implies the patient outcome, which means a trainee can develop a management plan based on best practices which may not help the specific adolescent attend or engage more effectively in school.

앞서 언급한 바와 같이, 모든 EPA가 환자의 전경화(또는 공유 전경화)에 적합한 것은 아니지만(예: "소생, 환자 안정화 시작 후 질병의 중증도에 따라 치료를 조정하기 위해 분류"), 질병의 중증도를 고려할 때 환자와 함께 일하는 것이 불가능해 보이는 경우에도 환자를 전면에 배치할 기회는 여전히 존재합니다. 예를 들어, 심정지 상태의 어린이를 소생시킬 때 가족(즉, 환자의 연장선상)을 포함시킬 수 있는 옵션이 있으며, 대부분의 상황에서 가족이 침상 옆에 있고 인식하는 것이 더 바람직한 것으로 나타났습니다. 28 따라서 기억해야 할 중요한 점은 대부분의 EPA 설명에 환자의 역할에 대한 명시적인 언급이 있어야 한다는 것입니다.

As previously stated, not all EPA lend themselves to foregrounding (or shared foregrounding) with the patient (e.g., “resuscitate, initiate stabilization of the patient and then triage to align care with severity of illness”); however, despite instances where working with patients seem impossible given the severity of their illness, opportunities still exist to shift patients closer to the forefront. For example, when resuscitating a child in full arrest, there is the option of incorporating the family (i.e., an extension of the patient), and family presence and awareness at the bedside has been shown to be preferable in most circumstances. 28 Important to remember, therefore, is that the majority of EPA descriptions should make explicit reference to patients’ roles.

마지막으로, 실행 관점에서 볼 때, 무엇보다도 평가 접근법으로서 EPA에 초점을 맞추는 경향이 있는데, 이는 수련의와 감독자를 우선시하고 환자에게는 주의를 분산시킵니다. 여기서 첫 번째 단계는 환자와 환자 결과를 평가 관행에 의미 있게 통합하는 것입니다. 이 접근 방식은 단순한 환자 만족도 측정 그 이상입니다. 임상 수행의 어떤 측면을 평가하기에 가장 적합한지 결정하여 수련의 평가에 환자를 포함시킬 수 있습니다. 또한 환자에게 가장 중요한 측면을 반영하는 결과 측정을 식별하고 개발하는 과정에 환자를 포함시킬 수 있습니다. 이를 통해 반복적인 프로세스에 참여하여 커리큘럼이 환자의 요구를 충족하는지 확인할 수 있습니다. 또한 설계, 콘텐츠 및 결과에 대한 정보를 정기적으로 수집하고 검토하는 평가 프로세스가 내장되어 있으면 EPA에서 환자의 역할과 묘사를 지속적으로 모니터링할 수 있습니다.

• 슈마허와 동료 29의 연구에 따르면 23개 레지던트 프로그램에서 소아과 레지던트 졸업생 중 53%만이 행동 및 정신 건강에 중점을 둔 EPA의 무감독 실습을 할 준비가 된 것으로 간주된다는 사실이 이 점을 잘 보여줍니다.
• 일반 소아과 의사가 이 활동을 일상적으로 수행해야 한다는 점을 고려할 때, 전체 졸업생 중 절반만이 무감독 EPA를 수행할 수 있다는 것은 행동에 대한 촉구입니다.

Finally, from an implementation perspective, the focus tends to be on EPAs as an assessment approach above all else, which prioritizes trainees and supervisors and distracts from the patient. The first step here is to meaningfully incorporate patients and their outcomes into our assessment practices. This approach goes beyond mere measures of patient satisfaction. We can include patients in the assessments of our trainees by determining what aspects of clinical performance they are ideally suited to assess. We can also incorporate patients in the process of identifying and developing outcome measures that reflect aspects most important to them. In doing so, we can engage in an iterative process to ensure that our curricula are meeting the needs of our patients. Furthermore, built-in assessment processes that regularly collect and review information about design, content, and outcomes would allow for continual monitoring of the role and portrayal of patients in our EPAs.

• The research of Schumacher and colleagues 29 illustrates this point, finding that only 53% of graduating pediatric residents across 23 residency programs were deemed ready for unsupervised practice for an EPA focused on behavioral and mental health.
• Given that a general pediatrician is expected to perform this activity routinely, having only half of all graduates capable of executing this EPA unsupervised is a call to action.

이 연구에서 알 수 있듯이, EPA를 시행하면 평가하기 어렵거나 현재 평가되고 있지 않은 활동에 대한 교육 격차를 발견할 수 있습니다. 이러한 경우, 수련생이 수련생-환자 경험을 통해 스스로를 발전시킬 수 있도록 커리큘럼을 수정해야 합니다(즉, 환자와 직접 협력하여 전문직에 필요한 활동을 수행하는 데 필요한 지식과 기술을 학습하는 것). 
Implementation of EPAs can uncover training gaps for activities that are difficult to assess or are not currently being assessed, as this study illustrates. In these instances, curricular modifications are needed to ensure trainees develop themselves through the trainee–patient experience (i.e., working directly with patients to learn the knowledge and skills necessary to perform these necessary activities of the profession).

임상 활동에 환자와 함께 참여하면 최적의 환자 치료가 가능할 뿐만 아니라,30 환자에게 주체성을 부여하여 환자를 전면에 내세울 수 있습니다. 공동 제작이 잘 이루어지면 수련의와 환자 모두 전면에 나설 수 있는 여건이 조성됩니다. 일부 활동은 환자에게 덜 주체성을 부여할 수 있지만, 사실 의사가 수행하는 모든 활동의 수혜자는 환자입니다. 환자 중심의 의료 행위 접근 방식으로서 EPA의 진화하는 잠재력에 대해 더 깊이 생각하면서, 우리는 위임 결정이 결국 환자가 의사를 신뢰하는 것으로 이어져야 한다고 제안합니다. 7 이 메시지는 현재 EPA에 적용될 수도 있고 적용되지 않을 수도 있지만, 신중한 개발, 목적에 맞는 언어, 사려 깊은 실행을 통해 환자의 위치를 전면에 내세우고 환자 중심 진료의 약속을 이행하는 방식으로 EPA 커리큘럼과 평가에 환자를 통합할 수 있습니다.
Engaging with patients in clinical activities not only facilitates optimal patient care, 30 but brings the patient into the forefront by offering them a sense of agency. When done well, co-production grants the conditions for both the trainee and patient to be foregrounded. Although some activities may offer patients less agency, patients are in fact the recipients of all the activities that physicians perform. As we think further about the evolving potential of EPAs as a patient-centered approach to health care practice, we also suggest that entrustment decisions should eventually translate to patients trusting doctors. 7 This message may or may not translate in our current EPAs, but through careful development, purposeful language, and thoughtful implementation, we can shift the position of patients to the foreground and incorporate patients in our EPA curricula and assessments in a way that fulfills the promise of patient-centered care.

결론
Concluding Thoughts

우리가 CBME에 대한 접근 방식의 일부로 EPA를 계속 발전시키고 있는 가운데, EPA에서 환자의 입장에 대한 평가는 우리가 교육과 환자 결과를 연결하는 데 어려움을 겪는 이유에 대한 중요한 논의를 뒷받침합니다. 이 분석은 교육적 결과와 환자 결과를 연결하는 것의 중요성을 강조하고, EPA의 설계와 실행을 통해 연결을 강화할 수 있는 기회를 확인합니다. 이 사례는 역사적으로 더디게 진행되어 온 EPA의 개발, 콘텐츠 및 구현에서 환자를 의미 있게 전경화할 수 있는 기회를 보여줍니다. 이러한 전경화의 속도를 높이려면 [환자, 수련생, 감독자]가 EPA에서 가장 중요한 위치를 공유하는 [상호 의존성]의 삼위일체를 인식하는 데 달려 있습니다. 수련의, 수퍼바이저, 환자를 포그라운딩하는 것이 적절한 시점을 결정하는 것은 간단한 일이 아니지만, 삼중적 개념화는 어느 한 쪽을 우선시하는 것에서 벗어나는 데 도움이 됩니다. 또한, 스펙트럼 전반에서 삼자의 역동적인 관계를 파악하면 EPA가 감독자나 심지어 수련의를 제쳐두는 위험을 감수하지 않고도 환자를 더 두드러지게 전경에 배치할 수 있습니다. EPA에서 항상 환자를 전면에 내세울 필요는 없지만, 그렇다고 해서 그림에서 완전히 배제되어서도 안 됩니다. 상호 의존성의 세 가지 요소를 인식하고, 가능하면 환자를 포 그라운드하고, 적절한 경우 공유 포 그라운드를 고려한다면 교육 결과와 환자 결과를 연계하는 바람직한 목표에 한 걸음 더 다가갈 수 있습니다. 

As we continue to advance EPAs as part of our approach to CBME, an evaluation of the position of patients in our EPAs supports a critical discussion of why we struggle to connect educational and patient outcomes. Our analysis highlights the importance of bridging educational and patient outcomes and identifies an opportunity to bolster the connection through both our design and our implementation of EPAs. Our examples illustrate opportunities to meaningfully foreground the patient in the development, content, and implementation of EPAs, which has historically progressed slowly. Speeding up this foregrounding depends upon recognition of a triad of interdependence in which patients, trainees, and supervisors share the foremost position in our EPAs. Determining when it is appropriate to foreground the trainee, the supervisor, and the patient is no simple task, but a triadic conceptualization helps us shift away from having to prioritize one over another. Further, viewing the dynamic relationship of the triad across a spectrum allows for EPAs to more prominently foreground the patient without running the risk of pushing aside the supervisor, or perhaps even the trainee. Patients need not always be foregrounded in EPAs, but they should never be entirely absent from the picture either. If we remain cognizant of the triad of interdependence, foreground the patient when possible, and consider shared foregrounding when appropriate, we can move one step closer to the desired goal of linking educational outcomes with patient outcomes.

Copyright © 2021 by the Association of American Medical Colleges.

학부의학교육에서 적극적 환자 참여의 역할: 체계적 문헌고찰(BMJ Open. 2020)
Role of active patient involvement in undergraduate medical education: a systematic review
Stijntje Willemijn Dijk ,1 Edwin Johan Duijzer,2 Matthias Wienold3 

결과
Results

연구 선택
Study selection

초기 검색 결과 769개의 논문이 검색되었으며, 이 중 제목 및/또는 초록을 기준으로 95개의 논문이 추가 검토 대상으로 선정되었습니다. 이 95개 논문은 두 명의 저자(SWD 및 ED)가 독립적으로 읽었으며 지정된 기준에 따라 포함되었습니다. 검토자 간의 합의율은 91.2%였습니다. 나머지 논문은 짧은 토론 후 합의에 따라 포함되었습니다. 주요 제외 사유는 논문 유형이 잘못된 경우(학회 초록 또는 논평), 환자의 적극적인 참여와 관련이 없는 연구였습니다. 참고문헌 검토 결과 11편의 논문이 추가로 포함되었습니다. 포함 기준을 충족한 49개 연구의 특징은 그림 1과 온라인 부록 파일 3에 제시되어 있습니다. 

The initial search resulted in 769 articles, of which 95 were selected for further review based on the title and/or abstract. These 95 articles were independently read by two authors (SWD and ED) and included based on the specified criteria. Consensus between reviewers was 91.2%. The remaining articles were included based on consensus after a short discussion. Main reasons for exclusion where wrong article type (conference abstracts or commentaries) and studies that did not concern active participation of patients. The review of references resulted in 11 additional articles for inclusion. The characteristics of the 49 studies that met inclusion criteria are presented in figure 1 and online supplementary file 3.

포함된 연구에서 추출한 데이터를 사용하여 다음 하위 섹션의 증거를 종합했습니다:
We used the extracted data from included studies to synthesise the evidence in the following subsections:

• 환자를 의학교육에 참여시키는 근거.
  
• 환자 모집 및 선정.
  
• 의학 교육에 참여하기 위한 환자의 준비 과정.
  
• 의학 교육에서 환자가 수행하는 역할.
  
• 환자 참여를 통해 추구하는 학습 목표.
  
• 환자 참여에 대한 우려 사항.
  
• 환자 참여의 영향에 대한 환자들의 견해.
  
• 환자 참여의 재정적 영향.
  
• 환자 단체의 역할.
  
• 환자 참여의 지속 가능성을 보장하기 위한 조치.
  
• Rationale for involving patients in medical education.
• Patient recruitment and selection.
• Patients’ preparation to participate in medical education.
• Roles patients take on in medical education.
• Learning objectives pursued through patient involvement.
• Concerns about the involvement of patients.
• Patients’ views on the impact of their involvement.
• Financial implications of patient involvement.
• Roles of patient organisations.
• Measures to ensure the sustainability of patient involvement.

의학 교육에 환자를 참여시키는 근거
Rationale for involving patients in medical education

몇몇 저자는 의학교육에 환자 참여를 의무화하는 정부 정책, 즉 영국 보건부 및 영국 일반의학회,16 23 24 호주 의학회25 및 WHO5 를 환자 참여 이니셔티브의 근거로 언급했습니다. 이러한 정치적 동인 외에도

• 학생들에게 환자 중심 및 전문가 간 치료를 가르치기 위해24 26-28,
• 학생들에게 만성 질환 치료를 소개하기 위해29-31,
• 다문화 학습 환경을 조성하기 위해,
• 사회적 책임과 포용 의제를 실천하기 위해32-37,
• 교육을 더욱 매력적이고 강력하며 혁신적으로 만들기 위해38,
• 환자에게 권한을 부여하기 위해39

환자들은 미래의 의료 인력을 양성하고24 32 의료 시스템을 개선한다는 점에서 더 광범위한 커뮤니티에 대한 책임감을 느낀다고 언급했습니다.24 33 40 
Several authors referred to government policy mandating patient participation in medical education, namely the UK Department of Health and the UK General Medical Council,16 23 24 the Australian Medical Council25 and the WHO5 as a rationale for their patient involvement initiatives. Besides these political drivers, cited rationales were:

• to teach students patient-centred and interprofessional care24 26–28;
• to introduce students to chronic illness care29–31;
• to create a multicultural learning environment;
• to practise social accountability and an inclusion agenda32–37;
• to make education more engaging, powerful and transformative38; and
• to empower patients.39 

Patients mentioned that they felt a sense of responsibility to the broader community in shaping the future health workforce24 32 and improving the healthcare system.24 33 40

환자 모집 및 선택
Patient recruitment and selection

가장 자주 보고된 환자 모집 방법은

• 기존 대학 파트너십 및 기존 프로그램,28 33 41-46
• 언론 또는 소셜 미디어를 통한 광고 또는 보건 시설에 게시,26 34-36 47 48
• 지역사회 및 환자 단체,
• 개인적 인맥 및 이전 참가자,32 38 49-51 및
• 보건 전문가를 통하여 52-55

학생들이 만성 질환 환자를 섀도잉하는 한 프로젝트에서는 학생들이 직접 환자를 모집하도록 요청받았습니다.30
The most frequently reported methods to recruit patients were through

• existing university partnerships and existing programmes,28 33 41–46 
• advertisements through press or social media or posted in health facilities,26 34–36 47 48 
• through community and patient organisations,
• through personal connections and previous participants,32 38 49–51 and
• through health professionals.52–55 

In one project, where students shadowed a patient with a chronic condition, students were asked to recruit patients themselves.30

선발 기준은 일반적으로 광범위하게 설정되어 모든 환자 또는 지역사회 구성원을 초대했습니다. 환자 교육자의 일반적인 기준에는 다음 등이 포함되었습니다.

• 좋은 의사소통 능력,
• 교육에 대한 선호,
• 추가 학습에 대한 적성,
• 열정,
• 연구에 전념할 수 있는 시간,
• 완전히 움직일 수 있고 반복적인 신체 검사에 대처할 수 있는 능력 48 54 56

어떤 경우에는 환자에게 질병의 대표적인 신체적 징후가 요구되기도 했습니다.53 54 56 57 
Selection criteria were generally set up broadly, inviting any patient or community member. General criteria for patient educators included

• good communication skills,
• affinity for teaching,
• aptitude for further learning,
• enthusiasm,
• time to commit to the study, as well as
• being fully mobile and being able to cope with repeated physical examinations.48 54 56 

In some cases patients were required to have representative physical signs of their disease.53 54 56 57

의료 교육에 참여하기 위한 환자의 준비 과정
Patients’ preparations to participate in medical education

20개의 논문에서 환자 교사의 준비에 대해 언급하고 있습니다. 준비 기간은 총 100시간의 상당한 교육 세션42 에서부터 서면 정보만 제공하거나 1~1.5 시간의 단일 오리엔테이션 세션이 대부분이었습니다.24 30 32 39 43 49 52 57 근골격계(MSK) 술기를 교육하는 환자 대상 교육 프로그램이 가장 광범위했으며 의료 또는 교육 전문가가 제공했습니다.42 47 54 56 58 59 다른 준비 세션은 덜 형식적이며 교수진 교육 전문가, 학생 또는 동료에 의해 진행되었습니다. 
Twenty articles mention preparation of patient teachers. The duration of the preparation ranged from substantial training sessions of 100 hours in total42 to the majority of programmes providing solely written information or a single orientation session of 1–1.5 hours.24 30 32 39 43 49 52 57 Training programmes for patients in teaching musculoskeletal (MSK) skills were the most extensive and were delivered by medical or educational experts.42 47 54 56 58 59 Other preparatory sessions were less formal and were facilitated by faculty educational experts, students or peers.

준비 프로그램의 주요 목표는 다양했습니다. 한 연구에서는 학생의 학습 결과를 보호하기 위해 환자 교육자가 코스 목표를 인식하는 것이 중요하다고 강조했습니다.53 다른 연구에서는 환자들의 자신감 향상, 기술 훈련 제공57, 교육 과정과 관련된 지식 제공을 목표로 언급했습니다.23 39 48 60 이러한 세션에서는 문제 기반 학습, 프레젠테이션 전달 방법, 코퍼실리테이션 방법, 효과적인 피드백 제공 방법과 같은 접근법을 다루었습니다. 또한 준비 과정은 코칭, 감독 및 디브리핑 방법을 사용하여 갈등, 감정, 충족되지 않은 기대와 같은 [이점과 과제를 예측할 수 있는 기회]를 제공했습니다.40 61
The primary aims of the preparatory programmes varied. One study underscored the importance of patient educators being aware of the course goals in order to safeguard student learning outcomes.53 Others mentioned aiming to serve the needs of patients in building their confidence, providing skills training57 and providing knowledge related to the educational process.23 39 48 60 These sessions addressed approaches such as problem-based learning, how to deliver a presentation, cofacilitation methods and how to provide effective feedback. Preparation also provided opportunities for anticipating benefits and challenges such as conflicts, emotions, unmet expectations, using methods of coaching, supervision and debriefing.40 61

한 논문에서는 평가 도구로 짧은 퀴즈를 통해 환자 교육자의 준비를 마무리하고 교육을 시작하기 전에 졸업 세션을 갖는 것을 언급했습니다.28 또 다른 논문에서는 환자 교육자가 교육할 준비가 되었는지 확인하기 위해 교육 후 만족도 설문지를 사용하는 것을 설명합니다.47 대부분의 논문에서는 환자 교육자가 역할을 수행하기 전에 환자를 평가하는 것에 대해 다루지 않았습니다.
One article mentions finishing the preparation of patient educators with a short quiz as an assessment tool and having a graduation session before starting to teach.28 Another article describes the use of a post-training satisfaction questionnaire to help ensure that patient educators felt ready to teach.47 The majority of papers did not address assessing patients prior to them taking on their roles.

Towle 등은 [환자 교육자의 준비성]과 [교육의 형식과 내용의 실제성authenticity] 사이의 긴장에 대해 논의했습니다.49 이들은 [학계]와 [지역사회]라는 두 문화 사이에서 중개자 역할을 할 수 있는 지역사회 조직 대표의 중요한 역할을 강조합니다. 한 논문에서는 환자 교육자가 명시적으로 교육을 받지 않았기 때문에 학생과 환자의 만남이 가능한 한 진정성 있게 이루어질 수 있다고 설명합니다.53 또 다른 논문에서는 환자와 교육자 간의 협업을 통해 진정한 환자 관점을 잃지 않고 상호 학습이 가능하다고 설명합니다.39
Towle et al discussed the tension between preparedness of patient educators and authenticity of education in both form and content.49 They highlight the critical role of the community organisation representatives who can be brokers between the two cultures of academia and community. One article describes an intervention in which the patient educators explicitly have not received training, so the student–patient encounters would be as authentic as possible.53 Another article described that the collaboration between patients and educators allows for mutual learning without an authentic patient perspective being lost.39

의학 교육에서 환자가 맡는 역할
Roles patients take on in medical education

우리가 확인한 주요 역할 범주는 교사, 평가자, 커리큘럼 개발자 및 학생 선발자로서의 환자 영역으로 나뉩니다(표 1).
The main categories of roles that we identified are divided in the areas of a patient as a teacher, an assessor, a curriculum developer and a student selector (table 1).

 

교사로서의 환자
Patient as teacher

교사의 역할이 가장 많이 언급되었습니다. 환자 교사들은 다발성 경화증과 같은 자신의 질환에 대한 병력 청취 및 신체 검사 세션에 대한 임상 기술 실습을 진행했습니다.42 47 54 56 58 59 62 환자 교사들은 학생들에게 기술을 가르치고 즉각적인 피드백을 제공하여 추가 학습을 촉진하도록 훈련받았습니다.56 
The role of a teacher was cited most frequently. Patient teachers gave clinical skills practicals on history taking and physical examination sessions on their own condition such as MSK disorders.42 47 54 56 58 59 62 They were trained to teach students skills and deliver immediate feedback, which stimulated further learning.56

장애인 환자 교사로 활동하는 여러 장애인 환자 그룹이 의사소통 기술과 병력 청취에 대한 실습을 진행했습니다.48 53 57 HIV 감염인이 교사로 참여하여 학생들이 상담을 제공하는 모의 임상 상황에 참여했습니다.60 
Several groups of patients with disabilities acting as patient teachers with disabilities gave practicals on communication skills and history taking.48 53 57 People living with HIV participated as teachers during a simulated clinical encounter in which students provided counselling.60

환자들은 임상 기술 외에도 전반적인 치료 관리 경험과 삶의 개인적인 측면에 대해 학생들에게 가르쳤습니다. 여기에는 실제적인 신체적, 가정적 적응부터 자신과 가족에게 영향을 미치는 심리적, 사회적, 행동적 문제까지 다양한 내용이 포함되었습니다. 교육은 패널 토론과 소그룹 세션24 43 63뿐만 아니라 지역사회와 환자 가정 방문을 통해 이루어졌습니다.31 52 만성 질환을 가진 환자 교사가 멘토 역할을 하고 학생들과 정기적으로 만났습니다.27 29 환자들은 학생들에게 환자 중심주의와 전문직 간 전문성,23 24 31 38 49 지역사회 중심주의, 문화적 역량 및 윤리를 가르쳤습니다.33 64 환자들은 자신의 이야기를 들려주고 성찰을 자극하는 등 자신의 교육 방법을 선택할 수 있었습니다.38 지적 및 발달 장애가 있는 환자 그룹도 자신의 관점과 이야기를 공유하는 비디오를 통해 학습 자료 제작에 참여했습니다.65
In addition to clinical skills, patients taught students about their experiences of overall management of care, and the personal aspects of their lives. These ranged from practical physical and home adjustments, to psychological, social and behavioural issues impacting them and their family. Teaching was done through panel discussions and small group sessions24 43 63 as well as visits to the community and patients’ homes.31 52 Patient teachers with chronic conditions acted as mentors, and met regularly with students.27 29 Patients taught students patient-centredness and interprofessionalism,23 24 31 38 49 community-centredness, cultural competence and ethics.33 64 Patients could choose their own teaching method, such as telling their stories and stimulating reflection.38 A group of patients living with intellectual and developmental disabilities also participated in the creation of learning materials, through videos sharing their perspectives and stories.65

Jackson 등의 연구에 참여한 대부분의 환자는 자신을 가르치는 것이 아니라 파트너십을 맺고 질병의 특정 측면을 설명하고 공유하는 역할을 한다고 생각했습니다.52 
Most patients in the study by Jackson et al considered themselves not as teaching, but having a role of partnership, explanation and sharing certain aspects of their illness.52

학생의 역량 평가자로서의 환자
Patient as assessor of students’ competence

교육 세션 중 피드백과 같은 형성적 학생 평가 외에도 환자는 학년 말 객관적 구조화 임상시험(OSCE)과 같은 고부담 총괄 평가에 참여했습니다.39 환자는 공식 평가에 사용되는 학생 에세이에 대한 서면 피드백도 제공했습니다.39 환자는 학생 수행의 대부분 비인지 영역을 평가했습니다.35 46 Jha 등이 인터뷰한 의학교육자들은 학생들이 편안하게 느끼는지, 학생들이 올바른 질문을 했는지 평가하는 데 환자의 역할이 있다고 생각했습니다.66 Raj 등의 연구에 참여한 환자와 의학교육자들은 환자의 평가를 칭찬했지만, 학생들은 환자가 임상 기술을 신뢰할 수 있는지 또는 너무 관대할 수 있는지에 대해 우려를 표명했습니다.54
In addition to formative student assessment, such as feedback during teaching sessions, patients participated in high stakes summative assessments, such as the final year objective structured clinical examination (OSCE).39 Patients also provided written feedback to student essays, which were used for formal assessment.39 Patients assessed mostly non-cognitive domains of student performance.35 46 Medical educators interviewed by Jha et al believed there was a role for patients in assessing whether students made them feel at ease and whether students asked the right questions.66 While patients and medical educators in the study by Raj et al54 praised patients’ assessments, students expressed their concerns whether patients could reliably assess clinical skills or whether they were likely to be too lenient.54

커리큘럼 개발에서 환자의 역할
Patient role in curriculum development

커뮤니티 구성원들은 커리큘럼 개발에 참여하고자 하는 동기가 있었습니다.35 의료 전문가로 간주되지는 않았지만, 자신과 가족을 위한 최적의 의료 서비스를 보장하는 데 관심이 있었습니다.26 
Community members were motivated to participate in curriculum development.35 While they were not seen as medical experts, they did have an interest in ensuring optimal healthcare for themselves and their families.26

지역사회 구성원은 교육 프로그램의 계획, 실행 및 평가에 적극적으로 참여했습니다.46 49 환자 교사는 계획 단계부터 교육 전달 단계까지 자율성을 가졌습니다.43 67 여러 환자가 정신과 교육과정28 및 전문직 간 교육 교육과정의 운영위원회 위원으로 활동했습니다.49
Community members actively participated in the planning, implementation and evaluation of the educational programme.46 49 Patient teachers had autonomy from the stage of planning to the stage of delivery of teaching.43 67 Several patients were members of the steering committee for the psychiatry curriculum28 and the interprofessional education curriculum.49

환자들은 자신의 질병 또는 사회적 상태와 관련된 교육과정 개발에 참여했습니다.35 원주민 대표들은 원주민 건강 교육과정 개발 및 지역사회 배치에 대한 권장 사항을 제공했습니다.33 44 하와이 원주민과의 포커스 그룹 회의는 문화적 역량 및 건강 격차 교육과정을 정의하기 위해 열렸습니다.37 트랜스젠더 건강 교육과정에 대한 월드 카페 토론도 마찬가지로 열렸습니다.36 소수자 커뮤니티 회원들은 교육과정 설계, 특히 암 격차 교육과정의 내용에 대한 의견을 제공했습니다.35 
Patients were involved in the development of courses related to their illness or social conditions.35 Aboriginal delegates provided recommendations for the development of an Aboriginal health curriculum and community placement.33 44 Focus group meetings with Native Hawaiians were held to define a cultural competencies and health disparities curriculum.37 A world café discussion was similarly held to inform the curriculum on transgender health.36 Minority community members provided input on curricular design, especially on the content of the cancer disparities curriculum.35

질병 또는 역량별 교육과정 외에도 이해관계자와의 자문 회의에 참여하여 바람직한 특성, 졸업생의 역량, 지역사회 기반 학습 환경 개발을 파악했습니다.45 환자들도 교육과정의 바람직한 특성에 대해 자문을 구했습니다.68 한 의과대학에서는 포커스 그룹을 통해 신설 의과대학의 인구보건학과의 전략적 발전을 위한 의견을 구했습니다.69
Beyond the disease or competency-specific courses, patients were involved in consultative meetings with stakeholders to identify desirable attributes, competencies of graduates and development of a community-based learning environment.45 Patients were also consulted on the desired characteristics of the curriculum.68 One medical school sought input for the strategic development of the department of population health in a new medical school through focus groups.69

의과대학 학생 선발에서 환자의 역할
Patient role in selection of students to medical schools

커뮤니티 구성원은 임상의사 및 교수진과 함께 의학전문대학원 입학 프로그램에 지원하는 학생을 선발하는 패널에 초대되었습니다.32 커뮤니티 구성원은 특히 지원자의 의사소통 능력과 사회적 맥락 및 사회적 요구에 대한 민감성, 연민, 공감 능력을 평가하는 학생 선발 과정 및 팀의 일원으로 초대되었습니다.45
Community members were invited to join a panel together with clinicians and academic staff members to select students applying for the Graduate Entry Medical Program.32 Members of the community were invited to be a part of the student selection process and team, especially in assessing candidates’ communication skills as well as sensitivity, compassion and empathy towards social contexts and societal needs.45

교수진과 환자 간의 협력
Collaboration between faculty and patients

환자 교사와의 협업에서 교수진의 역할은 다양했습니다. 일부 환자 교사는 임상 프리셉터의 감독 하에 일했습니다.60 다른 세션에서는 환자가 실무자와 공동 촉진자 역할을 했습니다.23 워크샵은 환자 교사가 주도하고 교수진이 진행했지만 통제하지는 않았습니다. 교수진의 역할은 학생과 멘토 간의 직접적인 학습을 지원하는 것이었습니다.49 교수진은 회의에 항상 참석하지는 않았지만 토론을 위한 광범위한 주제 설정과 같은 배경 지원을 제공할 수 있었습니다.46 환자 교사들은 프로그램 지원이 참여에 필수적이며, 개별 메시지를 가르치는 것에서 보편적인 수업을 가르치는 것으로 전환할 수 있게 해준다고 말했습니다.43
The role of faculty members in the collaboration with patient teachers varied. Some patient teachers worked under the supervision of a clinical preceptor.60 In other sessions, patients were cofacilitators with practitioners.23 Workshops were led by patient teachers and facilitated, but not controlled, by faculty. The faculty member’s role was to support the direct learning between students and mentors.49 Faculty was not always present in meetings but could provide background support, such as setting broad topics for discussions.46 Patient teachers stated that programme support was essential for participation, allowing them to transform from teaching individual messages to teaching universal lessons.43

한 연구에 참여한 일반인 참가자들은 일반인 관점의 중요성을 인정하기 위해 커리큘럼 소유권 공유가 필요하다고 생각한 반면, 교수진 참가자들은 커리큘럼 개발의 소유권을 추정했습니다.26 Jha 등의 연구에 참여한 [교수진]은 평가 또는 코스 개발에 환자를 더 많이 참여시키는 방법에 대해 명확하지 않았고, 그렇게 하는 것이 적절하다고 확신하지도 못했습니다. 일부 교수진은 환자 평가자 및 코스 개발자와 함께 일한 경험을 토큰주의적이라고 표현했습니다.66
Lay participants of one study regarded sharing of curriculum ownership as necessary to acknowledge the importance of lay perspectives, whereas faculty participants presumed ownership of curriculum development.26 Faculty in the study by Jha et al were not clear on how to involve patients more fully in assessments or course development, nor were they convinced of the appropriateness of doing so. Some faculty members expressed their experiences of working with patient assessors and course developers as tokenistic.66

환자의 적극적인 참여를 통한 학습 목표 달성
Learning objectives pursued through active patient involvement

환자 참여의 학습 결과는 4건의 무작위 대조 실험42 47 54 62 과 2건의 추가 연구에서 MSK 검사 기술을 주제로 정량적으로 평가되었습니다.56 59 훈련된 환자 교육자가 제공한 세션과 류마티스내과 직원이 수동적으로 검사를 받는 환자와 함께 제공한 세션54 62 및 비 MSK 전문 의사와의 세션을 비교했을 때 구조화된 임상 검사(OSCE) 점수 증가에 차이가 관찰되지 않았습니다.42 Humphrey-Murto 등의 실험에서 교수진이 가르친 학생은 환자 교육자가 가르친 학생(30명 중 5명)보다 낙제한 학생이 훨씬 적었습니다(32명 중 0명).62 학생들은 환자 교육자보다 교수진 교육자를 더 높게 평가했습니다(5점 리커트 척도에서 4.13점 대 3.58점).62 
Learning outcomes of patient participation were quantitatively assessed on the subject of MSK examination skills in four randomised controlled experiments42 47 54 62 and two further studies.56 59 No difference was observed in increased structured clinical examination (OSCE) scores when comparing sessions delivered by trained patient educators with sessions delivered by rheumatology staff together with a passive patient undergoing examination54 62 and sessions with a non-MSK specialist physician.42 In the experiment by Humphrey-Murto et al, significantly fewer faculty-taught students failed (0 out of 32) than patient educator-taught students (5 out of 30).62 Students rated faculty educators higher than patient educators (4.13 vs 3.58 on a 5-point Likert scale).62

교수진이 주도하는 정규 세션 외에 환자 교사의 교육을 받은 학생은 정규 커리큘럼에 참여한 학생에 비해 OSCE 점수가 더 많이 상승했습니다.47 de Boer 등59 의 중재는 학생들에게 전임상 MSK 장애 블록에서 두 번의 비의무적 실제 환자 학습 세션에 참여할 기회를 제공했습니다.59 참여한 학생들은 블록 종료 테스트에서 훨씬 더 높은 점수를 얻었습니다 
When students were taught by a patient teacher in addition to the regular faculty-led sessions, their OSCE scores increased more compared with students participating in the regular curriculum.47 An intervention by de Boer et al59 offered students the opportunity to participate in two non-obligatory real patient learning sessions in the preclinical MSK disorders block.59 Students who participated scored significantly higher at the end-of-block test.

오스왈드 등은 MSK 신체 검사 술기를 가르칠 때 환자 교육자와 의사 교육자 간에 교육 방식이 어떻게 다른지 조사했습니다.58 비디오 녹화에 따르면 교육을 받은 환자 교육자는 모든 주요 관절을 일관되게 다룸으로써 내용과 스타일이 더 일관된 것으로 나타났습니다. Bokken 등53 은 실제 환자와 시뮬레이션 환자의 교육 효과에 대한 학생의 관점을 평가했습니다.53 전반적으로 교육 효과가 높은 것으로 나타났습니다. 학생들은 실제 환자를 더 현실감 있고 신체 검사 실습에 더 유용하다고 생각했습니다. 
Oswald et al examined how teaching was different between patient educators and physician educators when teaching MSK physical examination skills.58 Video recordings show that trained patient educators were more consistent in content and style by consistently covering all major joints. Bokken et al53 assessed student’s perspectives on instructiveness of real patients versus simulated patients.53 Overall instructiveness was marked high. Students regarded real patients as more authentic and the encounters more useful in practising physical examination.

Jaworksy 등의 중재 연구에서는 의대생이 환자 강사에게 HIV 검사 상담을 제공했습니다.60 검증된 의료진 HIV/AIDS 낙인 척도70의 중재 전 및 중재 후 점수는 유의미한 감소(68.74점 대 61.81점)를 보여주었습니다. 학생들은 HIV 관련 치료를 제공할 때 편안함이 증가했다고 보고했습니다(10.24점 대 18.06점). 마찬가지로 신체적 또는 정신적 장애를 가진 환자 교사를 대상으로 한 중재 연구에 참여한 학생들은 태도 개선,28 의사소통의 편안함 증가,57 자기 효능감과 자신감 증가,63 모든 인터뷰 스테이션에서 평균 수행 점수가 대조군에 비해 높은 것으로 나타났습니다.65 
In the intervention study by Jaworksy et al, medical students provided HIV test counselling to patient instructors.60 Preintervention and postintervention scores of the validated Health Care Provider HIV/AIDS Stigma Scale70 demonstrated a significant decrease (68.74 vs 61.81). Students reported increased comfort in providing HIV-related care (10.24 vs 18.06). Similarly, students in intervention studies with patient teachers living with physical or mental disabilities demonstrated an improved attitude,28 increased levels of comfort in communication,57 increased levels of self-efficacy and confidence,63 65 and higher mean performance scores across all interview stations when compared with a control group.65

Rees 등의 연구에 참여한 학생들은 교과서 학습에 비해 환자와의 만남이 더 동기 부여가 되었다고 설명했습니다.71
Students in the study by Rees et al described the encounters with patients as more motivating compared with textbook learning.71

이 검토에서 확인된 질적 연구에서는 환자 참여 교육의 광범위한 학습 성과가 언급되었습니다. 이러한 다양한 결과를 탐색하기 위해 캐나다 왕립 의사 및 외과의사 대학에서 개발한 CanMEDS 프레임워크에 따라 분류를 사용했습니다22(표 2).
Wide ranges of learning outcomes of education with patient participation were mentioned in the qualitative studies identified by this review. To explore this range of outcomes a categorisation is used according to the CanMEDS framework, developed by the Royal College of Physicians and Surgeons of Canada22 (table 2).

 

커뮤니케이터
Communicator

몇몇 저자는 환자 참여 교육의 주요 성과로 환자 중심 진료를 언급했습니다.23 27 29 49 67 환자 중심에는 다음이 포함되었습니다.

• 환자 멘토를 개인으로 보는 능력,27
• 치료에서 환자 자율성과 전문성의 중요성,64
• 동정적이지 않고 판단하지 않는 태도,55
• 환자의 필요를 인식하고41
• 환자를 팀의 유능한 일부로 보는 것41

Jha 등은 적극적인 환자 참여 자체가 동등한 파트너십을 보여준다고 지적했으며66 Rees 등은 이 접근법이 학생들이 의료에 대한 총체적인 시각을 개발하는 데 도움이 된다고 결론을 내렸습니다.71 
Several authors mentioned patient-centred care as the main outcome of education involving patients.23 27 29 49 67 Patient-centredness included

• the ability to see patient mentors as individuals,27 
• the importance of patient autonomy and expertise in care,64 
• adopting a non-patronising and non-judgemental attitude,55 
• recognising patients’ needs41 and
• seeing the patient as a capable part of the team.41 

Jha et al pointed out that active patient involvement by itself demonstrates an equal partnership66 and Rees et al concluded that this approach helps students to develop a holistic perspective of healthcare.71

보다 일반적으로 환자 참여는 의사소통의 중요성에 대한 이해 증가,27 29 의사소통 기술 구축 및 향상,55 71 공감, 경청 기술 및 존중과 관련이 있습니다.71
More generally, patient participation was associated with increased understanding of the importance of communication,27 29 building and improving communication skills,55 71 empathy, listening skills and respect.71

협력자
Collaborator

McKinlay 등은 학생들이 만성 질환을 앓고 있는 환자의 가정 방문을 수행하는 교육 프로그램을 설명했는데,31 학생들은 반성적 평가에서 만성 질환 관리에서 다학제간 팀에 대한 이해가 높아진 것으로 나타났습니다. 4명의 저자가 환자가 참여하는 전문가 간 교육 프로그램을 설명했습니다.23 27 44 49 
McKinlay et al described an education programme in which students undertake a home visit to a patient with a chronic condition,31 where students demonstrated increased understanding of interdisciplinary teams in management of chronic conditions in their reflective assays. Four authors described interprofessional education programmes in which patients are involved.23 27 44 49

리더
Leader

의학, 물리치료, 작업치료, 간호학, 약학 학생이 환자 멘토와 팀을 이룬 종단적 멘토 프로그램에서 학생들은 의료 시스템에 대해 더 깊이 이해했다고 보고했습니다.27 1년 동안 진행된 학생 멘토 프로그램은 학생들에게 치료의 연속성에 대한 경험과 인식을 제공했습니다.55
In a longitudinal mentor programme with medical, physical therapy, occupational therapy, nursing and pharmacy students teaming up with a patient mentor students reported a deeper understanding of the healthcare system.27 A yearlong student mentor programme gave students an experience in and appreciation of continuity of care.55

전문가
Professional

다양한 질적 연구에 따르면 환자 참여는 임상 실무의 윤리적 복잡성과 임상의 오류에 대한 환자의 관점을 다루고64 반성적 기술을 개발하는 데 기여할 수 있다고 합니다.29 48 55 역할 모델에 대한 고찰 일부 저자는 의료인의 역할에 대한 이해의 폭을 넓히고,27 개인적 이상향에 관하여 알려주는 뛰어난 임상의의 자질,64 미래의 전문직 모델55 및 전문직 정체성을 만드는 것을 언급했습니다.71 실제 환자 교육자와의 만남 경험도 불확실성, 감정 및 스트레스에 대처하는 데 도움이 될 수 있습니다.71 
Various qualitative studies suggested that patient involvement can attribute to dealing with ethical complexity in clinical practice and patients’ perspectives on clinician error64 and developing reflective skills.29 48 55 Reflecting on role models some authors referred to broadening understanding of the role of the healthcare provider,27 qualities of remarkable clinicians that inform personal ideals,64 creating a future professional model55 and professional identity.71 Experiences with real patient educator encounters could also help in coping with uncertainties, emotions and stress.71

특정 환자 또는 소수자 그룹의 환자 교육자에 대한 노출은 학생들이 만성 질환과 노인,27 31 정신 건강 문제29 또는 장애를 가진 환자에 대한 긍정적인 태도를 높이는 데 도움이 되었습니다.48 
Exposure to patient educators from within specific patient or minority groups helped students increase positive attitude towards chronic conditions and elderly,27 31 patients with mental health problems29 or disabilities.48

건강 옹호자
Health advocate

환자 멘토와의 윤리 및 전문성 모듈 경험에 대한 연구에서 학생들은 일상적인 실무에서 환자 옹호의 중요성에 대해 성찰했습니다.64 보다 구체적으로, 학생들은 취약한 상황에 처한 환자를 옹호할 수 있는 역량을 갖추게 되었습니다. 사켓쿠 등이 설명한 교육 프로그램의 목표 중 하나는 특히 장애인의 맥락에서 의사 옹호의 영향에 대한 인식을 개발하는 것이었습니다.63 사전 테스트와 사후 테스트에 따르면 이 프로그램을 통해 이러한 인식이 크게 증가한 것으로 나타났습니다. 
Students reflected on the importance of patient advocacy in day-to-day practice in a study on experiences within an ethics and professionalism module with patient mentors.64 More specifically, students were empowered to advocate for patients when they are in vulnerable situations. One of the aims of the education programme described by Saketkoo et al was to develop an awareness of the impact of physician advocacy, specifically in the context of people with disabilities.63 A pretest and post-test showed that this awareness increased significantly with the programme.

학자Scholar

학자 역량 개발의 목표를 명시적으로 설명한 프로그램은 없습니다.
No programmes have explicitly described the aim of developing the competency of scholar.

의료 전문가
Medical expert

의료 전문가의 역할은 환자 중심의 고품질의 안전한 진료를 제공하기 위해 의학 지식, 임상 기술 및 전문적 가치를 적용함으로써 다른 모든 역할을 통합하는 것입니다. 두 논문에서는 환자 참여가 의학 실습의 복잡성을 인식함으로써 학생의 학습을 지원한다고 언급했습니다.41 48 Jha 등은 환자가 실습에서 이론의 예시를 제공함으로써 학생의 이해와 기억을 향상시킨다고 설명했습니다.66 
The role of medical expert integrates all other roles by applying medical knowledge, clinical skills and professional values in the provision of high-quality and safe patient-centred care. Two articles mentioned that patient participation supports students’ learning by recognising the complexity of practising medicine.41 48 Jha et al described the patient as providing an illustration of the theory in practice, thus enhancing students’ understanding and recall.66

 

환자 참여에 대한 우려
Concerns about the involvement of patients

여러 저자들은 의학교육에 환자를 교사로 참여시킬 때 우려를 제기하기도 했습니다. 일부 교수진 교육자들은 환자의 이야기가 너무 충격적이어서 학생들이 그로 인한 감정을 다루기 위해 지원이나 디브리핑이 필요할 수 있다고 우려했습니다.66 71 질적 연구에서 학생들은 서비스 사용자가 임상의에게 물어보지 않고 정보와 조언을 요청하거나 서비스 사용자가 임상의에게 말하지 않은 정보를 학생들에게 누설할 때 '압박'을 느꼈습니다.71 학생들은 환자에게 잘못된 정보를 제공할까 봐 걱정했습니다. 
Various authors have also raised concerns when involving patients as teachers in medical education. Some faculty educators were concerned that patient stories might be so traumatic that students would require support or debriefings to deal with the resulting emotions.66 71 In a qualitative study, students felt ‘pressured’ by service users asking them for information and advice, rather than asking their clinicians, or when service users divulged information to students that they had not told their clinicians.71 Students worried about giving incorrect information to patients.

학생들은 한 사람의 관점만 보게 되어 편향된 시각을 갖게 될 수 있다는 우려를 표명했습니다.23 학생들은 또한 환자들이 좋은 퍼포먼스와 안 좋은 퍼포먼스를 구별하기 어렵고, 피드백이나 평가에 너무 관대할 수 있다는 점을 우려했습니다.54 Henriksen과 Ringsted67 의 연구에 참여한 학생들은 환자의 지식에 대해 회의적인 태도를 보였으며67 환자가 교육 환경을 계획하고 전달하는 데 자율성을 갖는 맥락에서 구조화되지 않은 체험 학습에 대해 우려를 표명했습니다.67 다른 연구에서 직원들은 동일한 환자가 동일한 프로그램에 너무 자주 참여하면 환자 경험의 영향이 감소될 수 있다는 우려를 표명했습니다.66 
Students expressed reservations that they were only getting the view of one person, which could lead to a biased perspective.23 Students were also concerned that patients might have difficulty discriminating between poor and good performance, and are likely to be too lenient in feedback or assessment.54 Students in the study by Henriksen and Ringsted67 expressed scepticism about patients’ knowledge67 and expressed concerns about unstructured experiential learning in a context where patients had autonomy in both planning and delivering the teaching encounter.67 In a different study, staff members expressed the concern that the impact of the patient experience might be reduced if the same patient was involved in the same programme too often.66

환자 참여의 영향에 대한 환자들의 견해
Patients’ views of the impact of their involvement

환자들은 환자 중심주의를 가르치고,24 72 자신의 몸과 진정성을 제공하고, 학생들의 자신감을 강화하며,72 더 넓은 지역사회에 대한 책임을 다하고,24 32 의료 시스템을 개선하기 때문에 의미 있는 기여와 개인적인 성취감을 느낀다고 설명했습니다.24 33 40
Patients described a strong sense of having a meaningful contribution and personal fulfilment, because they were teaching patient-centredness,24 72 offering their body and authenticity, bolstering students’ confidence,72 fulfilling their responsibility to the broader community24 32 and improving the healthcare system.24 33 40

환자들은 개인적 차원에서 물질적, 직업적, 개인적, 정서적 혜택을 설명했습니다. 물질적 혜택에는 선물과 같은 유형의 보상43 을 받고 전체 건강 검진을 받은 것이 포함되었습니다.40 의대생 교육에 참여한 요통 환자 교육자들은 참여로 인해 자신의 요통 관리가 개선되었고, 의사와의 상담에서 자신의 요구를 표현하는 데 자신감이 향상되었다고 말했습니다.47 일부 환자들은 교육할 때 의료 전문가로부터 더 많은 시간과 관심을 받았다고 느꼈습니다.71
On an individual level patients described material, professional, personal and emotional benefits. Material benefits included receiving tangible rewards such as gifts43 and receiving a full medical check-up.40 Patient educators with back pain involved in teaching medical students stated their participation improved the management of their own back pain, and improved confidence in voicing their needs in consultations with physicians.47 Some patients felt that they received more time and attention from their healthcare professionals when they were teaching.71

환자들은 학생 선발 과정에 참여함으로써 직업적 성장과 개인적 성취감을 느꼈다고 설명했습니다.32 하템 등은 의료 서비스 제공자를 더 찾는 것을 더 잘 하게 되었다거나, 자신의 건강 상태에 대한 지식이 증가하는 등 환자에게 실질적인 이점이 있다고 보고했습니다.43
Patients described professional growth and personal fulfilment from being involved in the selection process of students.32 Hatem et al reported practical benefits for patients including getting better at finding healthcare providers and increased knowledge of their medical condition.43

환자가 의료 교육에 참여하는 것과 관련된 단점과 위험에는 낙인찍는 가정, 자기 공개에 대한 취약성 및 자발적인 질의응답 교환에 직면하는 것이 포함됩니다. 예를 들어, HIV를 주제로 강의하는 한 환자 교육자는 한 남성이 질병에 대한 지식 부족과 무지로 인해 매우 좌절했던 경험을 설명했습니다. 환자들은 또한 예상치 못한 질병의 진행이 교육 능력에 영향을 미친다는 사실에 주목했습니다. 어떤 경우에는 이로 인해 교사로서의 헌신에서 손을 떼는 경우도 있었는데, 이는 환자 교육자들 사이에서 불가피한 손실이었습니다.43 환자들은 또한 학생들의 부정적이고 인정하지 않는 반응에 대한 취약성을 설명했습니다.40 47 멘토들은 초기에 일반적으로 자신이 공유하는 내용이 학생들에게 도움이 되는지에 대해 불안하고 확신하지 못했습니다.29 사회경제적으로 열악한 지역에서 지역사회 기반 개입에 참여한 환자의 절반은 인터뷰 전에 불안, 걱정 또는 긴장감을 표현했지만, 모든 경우에서 환자는 이것이 정상이라고 느꼈습니다.52 환자들은 '취약하다'는 단어 외에도 임상 교육 환경 내에서 서비스 이용자의 감정을 강조하기 위해 '노출', '두려움', '피곤함', '스트레스' 및 '괴로움'과 같은 용어를 사용했습니다.71 일부는 정신건강 서비스 이용자가 자신의 이야기를 반복적으로 말하는 것이 트라우마틱하다고 설명하기도 했습니다.71 
The drawbacks and risks associated with patient involvement in medical education included being confronted with stigmatising assumptions, vulnerability of self-disclosure and spontaneous question-answer exchanges. A patient educator teaching on the subject of HIV, for example, described the experience of being very frustrated with one man’s lack of knowledge and ignorance about the disease. Patients also drew attention to the fact that unanticipated disease progression had an impact on their ability to teach. In some cases, this resulted in them pulling out of their commitment as teachers, an inevitable loss among patient educators.43 Patients also described a sense of vulnerability to negative and non-appreciative reactions from students.40 47 Initially, mentors were commonly anxious and unsure about whether what they shared was of benefit to students.29 Half of the patients involved in the community-based intervention in a socioeconomic-deprived area expressed feelings of anxiety, apprehension or nervousness prior to the interview, although in all cases patients felt that this was normal.52 In addition to the word ‘vulnerable’, patients employed terms like ‘exposed’, ‘frightened’, ‘tired’, ‘stressed’ and ‘harrowing’ to emphasise service users’ feelings within the clinical education environment.71 Some even described it as traumatic for mental health service users to repeatedly tell their stories.71

의학 교육에 대한 환자 참여의 재정적 영향
Financial implications of patient involvement in medical education

19편의 논문에서 환자 비용 상환, 사례금 지급, 조직 비용 또는 비용에 대한 인식 등 개입의 재정적 측면에 대해 언급했습니다. 그러나 경제적 및 재정적 자원은 체계적으로 비교할 수 있는 방식으로 조사되지 않았습니다. 보고된 재정적 비용에는 장애 기술 워크숍에 800달러,63 신체 검사 교육에 800파운드54, 전체 환자 파트너 프로그램에 2640파운드가 포함되었습니다.47 10개의 연구에서 참여 환자에게 시간당 8유로에서 하루 350파운드43 53 54 또는 불특정 금액의 보수를 제공했습니다.28 35 39 48 50 57 4개의 연구에서 여행, 전화 또는 우편 비용과 같은 환자 비용을 환급했습니다.24 34 47 65 일부 직원은 환자가 다과나 대중교통에 지출해야 하는 현금이 참여에 장벽이 될 것을 두려워했습니다.73 
Nineteen articles commented on any financial aspect of the interventions, ranging from reimbursement of patients’ expenses, payments of honoraria, organisational costs or perceptions of cost. Economic and financial resources, however, have not been explored in a way that they can be systematically compared. Reported financial costs included $800 for a disability skills workshop,63 £800 for a physical examination training54 and £2640 for the overall Patient Partners programme.47 Ten studies offered participating patients remuneration through honoraria between €8 per hour and £350 per day43 53 54 or an unspecified amount.28 35 39 48 50 57 Four studies offered reimbursement of patient expenses such as travel, phone or mail costs.24 34 47 65 Some staff feared that cash patients needed to spend on refreshments or public transport would be a barrier for their participation.73

의학교육자들은 환자 참여가 재정적 투자와 직원 시간 모두에서 비용이 많이 드는 노력이라고 제안했습니다.71 비용 효과성에 대해 언급한 논문은 한 편뿐으로, 환자 주도 교육이 의사 주도 교육에 비해 비용 효율적인 방법이라고 언급했지만 경제적 평가는 제공하지 않았습니다.54 비용 효과성 또는 비용 편익 분석을 제공한 논문은 없었습니다. 
Medical educators suggested that patient involvement was a costly endeavour, both in financial investment as well as staff time.71 Only one article commented on cost-effectiveness, noting that patient-led teaching is a cost-effective method compared with physician-led teaching, but did not provide an economic evaluation.54 No paper provided a cost-effectiveness or cost-benefit analysis.

환자 단체의 역할
Roles of patient organisations

환자 단체와 의료진 간의 가장 많이 언급된 상호작용은 개별 환자를 지역사회 구성원 또는 질환별 지원 그룹의 구성원으로 모집하기 위해 환자 단체와 네트워크를 활용하는 것이었습니다.24 28 29 36 49 55 56 60 69 Baral 등의 논문에서는 의과대학 운영위원회가 보건과학 아카데미 교육과정 개발을 위해 농촌 지역사회 및 소비자 단체의 대표들에게 자문을 구했습니다.45 지역사회에 기반을 둔 환자 옹호 및 지원 단체의 대표들이 Towle과 Godolphin의 연구에서 중재 자문 그룹에 참여했습니다.49 이러한 환자 단체의 대표들이 모두 환자 본인이었던 것은 아닙니다. 이들은 학계와 지역사회라는 두 문화 사이의 중개자 역할을 수행했습니다. 
The most cited interaction between patient organisations and medical faculties was the use of patient organisations and their networks for the recruitment of individual patients as community members or members of condition-specific support groups.24 28 29 36 49 55 56 60 69 In the paper by Baral et al, representatives from rural communities and consumer groups were consulted by the medical school steering committee for the development of the Academy of Health Sciences curriculum.45 Representatives of community-based patient advocacy and support organisations took part in the advisory group of the intervention in the study by Towle and Godolphin.49 Not all of these representatives of patient organisations were patients themselves. They were described as brokers between two cultures of academia and community.

리즈 대학교는 자신의 경험을 바탕으로 교사와 연구자로서의 역할을 알리는 일반인들로 구성된 '환자 목소리 그룹'이라는 내부 환자 전담 그룹과 협력했습니다. 이 그룹은 형성 평가와 종합 평가에 참여했습니다. 또한 학교 내에 지속적인 지원을 제공하는 환자 및 대중 참여 관리자가 배정되었습니다.39
The University of Leeds worked with a dedicated internal patient group named ‘The Patient Voice Group’, consisting of lay people who use their experiences to inform their roles as teachers and researchers. This group was involved in formative and summative assessment. Additionally, a patient and public involvement manager who provided ongoing support was assigned within the school.39

일부 의학교육자들은 정치적인 단체와 협력하는 것에 대한 두려움 때문에 환자 단체와 협력하지 않기로 명시적으로 선택했습니다.71 그들은 토큰주의에 대한 비판을 방지하기 위해 다양한 목소리를 들을 수 있도록 여러 환자 그룹을 포함시키기로 결정했습니다. 환자들은 그룹에 참여함으로써 동료들로부터 지지와 우정을 얻을 수 있었다고 말했습니다.71
Some medical educators made the explicit choice not to collaborate with patient organisations, due to a fear of working with politicised groups.71 They did make a decision to include groups of patients to allow multiple voices to be heard in order to prevent criticisms of tokenism. Patients stated that participating in groups gave them support and companionship from their peers.71

의료 교육에 참여하고자 하는 환자 단체는 상자 1 에 설명된 몇 가지 실용적인 사항을 고려할 수 있습니다.
Patient organisations wishing to engage in medical education may wish to consider some of the practical points as described in box 1 .

---

박스 1. 의료 교육에 참여하고자 하는 환자 단체를 위한 실용적인 사항
Box 1. Practical points for patient organisations wishing to engage in medical education

환자 단체를 위한 실용적인 포인트
Practical points for patient organisations

• 회원들에게 의학교육 참여의 잠재적 이점을 강조하고 공통된 동기에 부응합니다.
  
• 의학교육에 참여하는 환자들 간에 동료 지원 네트워크를 활성화합니다.
  
• 해당 지역의 교육 기관에 환자 및 대중의 참여를 위한 기존 프레임워크가 있는지, 환자 및 대중의 참여를 명시적으로 약속했는지, 환자 및 대중의 참여를 전담하는 임원을 임명하여 협력의 시작점을 제공할 수 있는지 조사합니다.
  
• 의료진 내에 환자 위원회 또는 자문 그룹을 구성하여 교육 과정에 구조적으로 환자의 의견을 반영하고 보호할 수 있도록 요청합니다.
  
• 교육 과정의 어느 단계가 목표에 가장 적합한지 결정합니다. 학교의 사명과 비전, 학습 목표, 교육 전략, 교수법, 학습자 평가 또는 코스 평가에 노력을 집중할 수 있습니다.
  
• 모든 의미 있는 개입이 전체 교수진 수준에서 이루어져야 하는 것은 아니며, 하나의 학습 목표 또는 특정 질병 관련 코스와 같은 특정 영역에 집중할 수도 있습니다.
  
• 대학과의 성공적인 협업과 모범 사례를 더 많은 환자 및 학계 커뮤니티에 소개하세요.
• Highlight potential benefits of involvement in medical education to members and respond to common motivations.
• Facilitate peer support networks among patients involved in medical education.
• Investigate whether teaching facilities in your area have existing frameworks for patient and public involvement, have made explicit commitments to patient and public involvement and/or have appointed officers specifically assigned to patient and public involvement that could provide you with a starting point for collaboration.
• Call for the creation of a patient committee or advisory group within a medical faculty to enable and safeguard structural input into the educational process.
• Determine which step of the educational process is best suited for your goals. You might choose to focus your efforts on the mission and vision of the school, learning objectives, educational strategies, teaching, assessment of learners or the evaluation of the course.
• Not every meaningful intervention has to be at an overall faculty level, they may also be on specific areas such as one learning objective or a disease-specific course.
• Showcase successful collaborations with universities and best practices to the wider patient and academic communities.

---

환자 참여의 지속 가능성을 보장하기 위한 조치
Measures to ensure the sustainability of patient involvement

환자 참여를 유지하는 데 있어 핵심 요소로 확인된 것은

• 적절한 자원 지원 제공,
• 일반인 기여의 가치에 대한 공식적인 인정,
• 일반인 의견에 따른 변화에 대한 교수진의 명확한 약속이었습니다.26

The key factors identified in sustaining patient involvement were

• the provision of adequate resource support,
• formal acknowledgement of the value of lay contributions and
• a clear faculty commitment to change following lay input.26

환자와 지역사회 참여를 보장하기 위해 대학의 사명과 비전 선언문 또는 전략 계획에 사회적 책임 또는 환자 중심 교육과 의료를 기관 전체에 통합하는 것이 여러 논문에서 인용되었습니다. 저자들은 환자 참여 프로그램의 자원 집약도가 높기 때문에 대학이 지속 가능하려면 [환자 중심의 토대]를 중시해야 한다고 강조했습니다.26 44 45 61 커리큘럼에 지속적인 모듈로 이니셔티브를 통합하면 산발적인 환자 참여가 아닌 지속 가능한 환자 참여를 달성할 수 있습니다.53 63
Institution-wide incorporation of social accountability or patient-centred education and medicine in the university’s mission and vision statement or strategic plan was cited in several papers to ensure patient and community involvement. The authors emphasised that the resource intensity of a patient involvement programme requires the university to value its patient-centred underpinnings in order to be sustainable.26 44 45 61 The incorporation of initiatives as ongoing modules in the curriculum achieved sustainable patient involvement rather than sporadic involvement.53 63

리즈대학에서는 기관에 [상설 환자 의견 그룹]이 설립되었습니다.39 이 기관은 환자 및 대중 참여 관리자를 임명하여 지속적인 지원을 제공했습니다. 일부 이니셔티브는 기존 기관과 협력하거나, 학교 전체 수준에서 시행하거나45 관절염과 같은 한 가지 질환에 초점을 맞추었습니다.58 Gaver 등55 은 환자 참여의 지속 가능성을 위한 핵심 과제로 자원봉사 조직과 가족 간의 약속을 수립하는 과정을 확인했습니다.55 
In the University of Leeds, a permanent patient voice group was incorporated in the institution.39 The institution appointed a patient and public involvement manager to provide ongoing support. Some initiatives chose to work in partnership with existing institutions, implemented at a school-wide level45 or focused on one condition such as arthritis.58 Gaver et al55 identified the process of establishing commitment among volunteering organisations and families as a key challenge to the sustainability of patient involvement.55

의학교육자들은 환자 교육자가 급여를 받고 의과대학의 직원으로 간주된다면, 그들은 더 진지하게 역할을 수행하고 더 신뢰할 수 있을 뿐만 아니라 교육 팀의 존경받는 일부로 여겨질 수 있다고 언급했다.66
Medical educators commented that if patient educators were paid and seen as an employee of the medical school, they might take on the role more seriously and become more reliable, as well as being seen as a respected part of the educational team.66

Role of active patient involvement in undergraduate medical education: a systematic review

PMID: 32718925

PMCID: PMC7389514

DOI: 10.1136/bmjopen-2020-037217

Free PMC article

© Author(s) (or their employer(s)) 2020. Re-use permitted under CC BY. Published by BMJ.

대표성의 딜레마: 보건전문직교육의 환자참여(Acad Med, 2018)
Dilemmas of Representation: Patient Engagement in Health Professions Education
Paula Rowland, OT Reg (Ont), PhD, and Arno K. Kumagai, MD

의료 전문가에 대한 교육은 환자가 존재하지 않으면 이루어질 수 없습니다. 환자를 병상에서 학습의 대상으로 삼거나1 교실이나 강의실에서 신체 검사 결과 또는 임상 "사례"의 흥미로운 측면을 설명하기 위해 환자를 활용하는 방식으로 오랫동안 이러한 진리가 유지되어 왔습니다. 최근에는 보건의료 전문직 교육에 환자를 참여시키는 다른 방식이 인기를 얻고 있습니다.2,3 Regan de Bere와 Nunn4이 새로운 교육학이라고 부르는 [보건의료 전문직 교육에서의 환자 참여]는 현재 또는 과거 환자가 교육 연속체의 모든 단계에서 공식적인 교육을 설계하고 전달하는 데 적극적인 주체로서 참여해야 한다는 요구를 반영합니다. 여기에는 환자가 커리큘럼 계획 및 전달, 학습자 평가에 참여하고 입학 절차 및 채용 관행에서 의사 결정권을 가진 대표자로 참여하는 것이 포함됩니다. 이러한 형태의 [참여의 근간이 되는 근거]는 환자의 관점을 통합하면 환자 중심의 학습 경험에 기여하고 더 자비롭고 인본주의적인 교육생이 될 수 있다는 것입니다. 교육 사례로서의 환자, 이야기꾼으로서의 환자,5 건강 멘토로서의 환자,6 의사 결정자로서의 환자 등 다양한 형태의 환자 참여에는 각각 고유한 문헌, 근거, 효능에 대한 주장, 평가에 대한 관심사가 있습니다.4,6-9 이러한 다양한 환자 참여 방식에는 잠재적인 차이가 있지만, [환자 대표성의 딜레마]라는 공통 관심사를 공유합니다. 
The education of health professionals cannot be undertaken without the existence of patients. Long has this truism held, most often described in the construction of patients as objects of learning at the bedside1 or the use of patients in classrooms or lecture halls to demonstrate physical examination findings or interesting aspects of a clinical “case.” More recently, a different wave of patient engagement in health professions education has gained popularity.2,3 In what Regan de Bere and Nunn4 call a new pedagogy, patient engagement in health professions education reflects a demand for current or former patients to be involved as active agents in the design and delivery of formal instruction at all stages of the educational continuum. This includes having patients participating in curriculum planning and delivery, learner assessment, and as representatives with decision-making power in admission processes and hiring practices. The rationale underlying most of these forms of engagement is that incorporating patients’ perspectives will contribute to learning experiences that are more patient centered and will result in trainees who are more compassionate and humanistic. Each of the different forms of patient engagement—such as patients as teaching cases, as narrators,5 as health mentors,6 and as decision makers—has its own body of literature, rationale, argument of efficacy, and concern about evaluation.4,6–9 Despite the potential differences between these various practices of patient engagement, they each share a common concern: the dilemma of patient representation.

환자 대표성의 딜레마는 흔히 다음과 같은 질문에 비추어 설명됩니다:

• 환자 참여 프로그램에 의해 선택되는 환자들의 목소리가 현대 사회의 복잡한 문화적, 사회적, 경제적 복합성을 대표할 만큼 충분히 다양할까요?

그 대답은 '아니오'라는 우려가 커지고 있습니다. 저자들은 환자 참여 프로그램이 백인, 부유층, 노년층에 집중되는 경향을 비판해 왔습니다.10,11 그 결과, 선의의 환자 참여 프로그램이 의도하지 않은 결과를 초래할 위험이 있다는 우려가 널리 퍼져 있습니다.

• 이러한 프로그램이 일부 인구통계학적 그룹만을 대상으로 하는 경우, 특권을 누리는 소수의 관심사와 우선순위가 모든 사람의 필요를 반영하는 것으로 간주될 위험이 있습니다.
• 이러한 상황은 일반적인 모집 노력을 통해 도달하지 못한 환자들의 목소리를 침묵시키는 효과를 가져올 수 있습니다.
• 이러한 환자 참여 프로그램은 교육자와 의사 결정권자가 더 강력한 사람들의 우려를 들을 가능성이 높기 때문에 의도치 않게 의료 분야의 권력과 특권 구조를 재생산할 수 있습니다.12
• 또한, 제한된 대표성을 통해 많은 그룹을 배제함으로써 환자 참여 활동은 소외된 관점을 더욱 위임화하여 의료 수련의들의 마음속에 고정관념을 강화할 수 있으며, 이는 의료 경력 내내 변하지 않을 수 있습니다.11

대표성에 대한 이러한 비판은 종종 환자 참여의 기술적 문제, 즉 접근하기 어려운 커뮤니티에 어떻게 도달하여 환자 참여 프로그램에서 그들을 대표할 수 있는가 하는 것에 초점을 맞출 수 있습니다.
The dilemma of patient representation is often described in light of a pervading question:

• Are the voices of the patients being selected by patient engagement programs sufficiently diverse to represent the complex cultural, social, and economic complexions of contemporary society?

There is a growing worry that the answer is no. Authors have critiqued the tendency of patient engagement programs to be populated by white, affluent, older adults.10,11 As a result, there is widely held concern that well-intentioned patient engagement programs risk creating unintended effects. If such programs represent only a select demographic group, there is a risk that the concerns and priorities of only a privileged few will be taken to reflect the needs of all. This situation may have the effect of silencing the voices of those patients who are not reached through standard recruitment efforts. In doing so, these patient engagement programs may inadvertently reproduce structures of power and privilege in health care, as the concerns of the more powerful are most likely to be heard by educators and decision makers.12 Furthermore, by excluding many groups through limited representation, patient engagement activities may further delegitimize marginalized perspectives, potentially reinforcing stereotypes in the minds of medical trainees that may persist unchanged throughout their medical careers.11 Often, these critiques of representation focus on technical problems of patient engagement—for instance, how does one reach the hard-to-reach communities and represent them in patient engagement programs?

이 관점에서는 이러한 대표성의 딜레마에 대해 자세히 설명합니다. 이를 통해 환자 모집의 기술적 측면에 대한 우려를 인정하면서도 대표성 딜레마 자체의 본질에 대해서도 의문을 제기합니다. 사회학 및 정치학 문헌과 개별 환자, 가족, 환자 그룹과 협력하여 환자 참여 프로그램을 만든 경험을 바탕으로, 우리는 대표성의 딜레마의 측면이 [대표성을 어떤 개념으로 이해하가]에 기반을 두고 있다고 제안합니다. 또한 환자 참여가 어떻게 구성될 수 있는지, 이러한 구성에서 무엇이 대표되는지, 그리고 가장 중요한 것은 환자 참여가 보건 전문직 교육에 포함될 수 있는 여러 가지 이유에 대한 질문을 탐구합니다. 이 에세이의 전반적인 목표는 새로운 통찰력을 제공하고 환자 참여 노력에 영향을 미치는 기본 개념에 대한 추가 대화를 유도하는 것입니다. 
In this Perspective, we elaborate on these dilemmas of representation. We do so by acknowledging the concerns with the technical aspects of patient recruitment, but we also question the nature of the dilemma of representation itself. Drawing on literature in sociology and political science, as well as our own experiences in creating patient engagement programs in collaboration with individual patients, families, and patient groups, we suggest that aspects of the dilemma of representation are anchored in how we understand representation as a concept. We also explore questions about how patient engagement might be constructed, what is being represented in these constructions—and most important—the many reasons why patient engagement might be incorporated within health professions education at all. The overall aim of this essay is to offer emerging insights and to invite further conversation about fundamental concepts informing patient engagement efforts.

대표성의 딜레마
Dilemmas of Representation

딜레마 1: 환자 모집 방식이 참여 대상에 영향을 미침
Dilemma 1: How patients are recruited influences who participates

환자 대표성에 대한 비판은 종종 프로그램에 참여하기 위해 환자를 모집하는 방식과 프로그램 자체의 구성 방식에 근거를 두고 있습니다. 여기서는 의료 시스템이 환자들에게 불편한 시간에, 딱딱한 공간에서, 특정 관계 방식으로 사회화된 사람들과 함께 이벤트를 개최하거나 회의를 진행하는 프로그램을 만드는 많은 [환자 참여 프로그램의 조직 중심적 성격]에 이의를 제기합니다. 이러한 형태의 비판의 근간이 되는 주장은 조직 자체가 참여 관행과 관련된 부담(소요 시간, 비용, 노력 등)을 만들고 있으며, 이러한 부담이 다양한 환자에게 균등하게 분배되지 않을 수 있다는 것입니다. 이러한 참여 문제를 잘못되거나 부적절한 조직 기법의 일부로 간주할 때, 보다 포괄적인 설계와 참여 활동을 위한 보다 유연한 시간 등 [아웃리치]를 통한 해결책이 도출됩니다. 아웃리치에 대한 이러한 강조는 '모집학'13, 즉 '도달하기 어려운 사람'에게 다가가기 위한 점점 더 많은 전략을 창출하는 과학을 탄생시켰습니다."14 
Critiques of patient representation are frequently anchored in the ways in which patients are recruited to participate in programs and how the programs themselves are constructed. Here, we challenge the organization-centric nature of many patient engagement programs, where health care systems create programs that stage events or hold meetings at their sites, at inconvenient times for the patients, in imposing rooms, with hosts of people that are socialized into particular ways of relating. The argument underlying this form of critique is that the organizations themselves are creating burdens associated with the practices of engagement (including time spent, costs incurred, and effort expended) and that these burdens may not be distributed equally across a range of patients. In framing these problems of engagement as part of faulty or inadequate organizational techniques, the solutions generated become ones of outreach: more inclusive designs and more flexible times for engagement activities. This emphasis on outreach has given birth to a science of “recruitmentology”13—that is, creating more and more strategies for attempting to reach the “hard-to-reach.”14

보건 전문직 교육에서 이러한 모집 전략에 주목하는 중요한 연구가 수행되었습니다.4 추가 연구는 [잠재적 참여자]를 [참여 운동의 목표]와 일치시키려고 노력합니다. [신체 검사 기술을 가르치려는 교육 활동]은 궁극적으로 사회적으로 고착화된 형태의 [낙인을 없애기 위해 환자들이 자신의 경험을 공유]하도록 유도하는 운동과는 다른 형태의 환자 참여가 필요할 수 있다는 것은 당연한 일입니다. 윌리엄슨15이 제시한 환자 "유형"의 유형학은 교육자가 특정 종류의 참여 활동에 '적합한' 환자를 찾을 수 있는 방법을 제시합니다. 특히 윌리엄슨의 유형학15은 개인, 공통의 경험을 통해 결속된 환자 그룹 또는 특정 옹호 목표를 중심으로 활발하게 구성된 환자 그룹이 보유할 수 있는 다양한 형태의 지식에 주목합니다.
Important work has been done that attends to these strategies of recruitment in health professions education.4 Further work seeks to match potential participants to the aims of the engagement exercise. It stands to reason that an education activity that seeks to teach physical examination skills might require a different form of patient participation than an exercise that invites patients to share their experiences as a way to, ultimately, disrupt societally entrenched forms of stigma. Typologies of patient “types”—such as that offered by Williamson15—suggest ways that educators might find the “right” patient for a particular kind of engagement activity. Specifically, Williamson’s15 typology draws attention to different forms of knowledge that may be held by an individual, by patient groups that are united through common experiences, or by patient groups that are actively constructed around particular advocacy aims.

요약하면, 환자 모집의 미묘한 관행은 완전하고 의미 있는 참여를 보장하기 위해 누가, 어떤 목적으로, 어떻게 초대를 제공할 수 있는지에 따라 달라집니다. 그러나 교육자의 최선의 노력과 환자를 프로그램에 '매칭'하기 위한 신중한 시도에도 불구하고 이러한 참여 연습에 참여하는 개별 환자 지원자는 [교육생, 다른 교육자 및 프로그램 평가자에게 신뢰성을 확보]하는 데 여전히 어려움을 겪을 수 있습니다. 따라서 대표성의 딜레마는 이러한 모집 "모범 사례"를 넘어서도 지속됩니다.
In summary, nuanced practices of patient recruitment attend to who is being invited, for what purpose, and how such invitations might be offered to ensure full and meaningful participation. However, it is possible that despite the best efforts of educators and the most careful attempts at “matching” patients to programs, individual patient volunteers participating in these engagement exercises may still have difficulty establishing their credibility with trainees, other educators, and program evaluators. Thus, the dilemma of representation persists beyond these recruitment “best practices.”

딜레마 2: 여러 형태의 대표성 중에서 선택하기
Dilemma 2: Choosing among multiple forms of representation

이 섹션에서는 환자 모집 관행에 관한 실용적인 고려 사항을 제쳐두고 보다 이론적인 관점에서 환자 참여를 살펴보고, 다양한 환자 참여 프로그램에서 암묵적 및 명시적으로 대표성이 어떻게 이해되는지 탐구합니다. 이러한 이론적 탐구는 궁극적인 목표, 즉 어떻게 하면 보건 전문직 교육에서 환자 참여를 지속적으로 잘 이끌어낼 수 있을지를 밝히는 데 필요합니다. 현재 환자 참여 프로그램에서 운영되고 있는 대표성의 본질에 대한 가정을 살펴보고, 민주적, 통계적, 상징적 대표성의 세 가지 유형과 환자 참여의 맥락에서 가능한 적용에 초점을 맞춥니다. 각 유형에는 고유한 특징, 목표 및 방법이 있으며, 이는 의료 및 보건 교육 관련 활동에 포함할 '올바른' 환자 유형에 대한 이해에 기여할 수 있지만 복잡하게 만들 수도 있습니다.
In this section, we set aside practical considerations regarding practices of patient recruitment to look at patient engagement from a more theoretical perspective, to explore how representation is implicitly and explicitly understood to work in various patient engagement programs. This theoretical exploration is necessary to shed light on the ultimate aim: How might we continue to do patient engagement well in health professions education? We examine assumptions about the nature of representation that are currently operating in patient engagement programs, and focus on three different types of representation and their possible applications in the context of patient engagement: democratic, statistical, and symbolic. Each has its own features, goals, and methods that may contribute to, but may also complicate, the understanding of the “right” type of patient to include in health care and health-education-related activities.

민주적 대표성.
Democratic representation.

환자 참여 프로그램 내에서 다양한 이해관계자가 암묵적으로 갖고 있는 대표성의 이미지가 바로 민주적 대표성입니다. 환자 참여 프로그램이 민주주의의 개념에 기반할 때, 우리는 권리, 책임, 권력 공유라는 민주주의 원칙에 뿌리를 둔 참여의 근거를 듣게 됩니다. 예를 들어, 환자가 의료 전문직 교육의 궁극적인 이해관계자이므로 무엇을 누구에게 가르칠지 결정할 권리가 있기 때문에 환자 참여가 이루어져야 한다는 개념은 환자와 일반 대중의 권리에 기반을 둔 근거입니다. 이러한 근거는 참여에 대한 민주적 이해에 적합합니다.
Often, it is a democratic image of representation that is implicitly held by the various stakeholders within patient engagement programs. When patient engagement programs are predicated on notions of democracy, we hear rationales for engagement rooted in democratic principles of rights, responsibilities, and power sharing. For example, the notion that patient engagement should be done because patients are the ultimate stakeholders in health professions education—and therefore should have the right to influence what should be taught and by whom—is a rationale anchored in the rights of patients and members of the public. This rationale lends itself to a democratic understanding of engagement.

민주주의 사회에서 대표성의 원칙은 공천과 선거의 관행을 통해 충족됩니다. 따라서 이러한 종류의 프로그램에서 작동하는 암묵적 대표 모델은 특정 프로세스를 통해 달성되는 대표성을 의미합니다. 이러한 지명 및 선출 과정을 통해 개인은 다른 사람을 대신하여 발언할 권리를 부여받습니다.16 그러나 환자 참여 프로그램은 "대표자"를 선정할 때 이러한 과정을 복제할 수 없습니다. 기밀 유지의 필요성과 여러 가지 물류 문제를 고려할 때, 집단이 아닌 범주형이라고 할 수 있는 그룹에서는 지명 및 선출 절차를 유지하는 것이 불가능합니다. 즉, [의료 서비스를 필요로 하는 사람]은 모호하지 않고 일시적으로 '환자'로 분류될 수 있지만, [의료 서비스를 필요로 하는 개인들의 집단]은 본질적으로 집단주의 원칙에 따라 함께 조직된 것이 아닙니다.17 [조직화된 환자 그룹]이 있더라도 [전체 환자 그룹을 안정적으로 반영한다]고 할 수 있는 [식별 가능한 환자 집단]을 찾기는 어렵습니다. 그 결과 환자 참여 프로그램은 민주적 대표성이 약한 형태로 운영되는 것으로 추정될 수 있습니다. 
In democratic societies, principles of representation are met through practices of nomination and election. Thus, the implicit model of representation at play in these kinds of programs implies representation achieved through particular processes. It is through these processes of nomination and election that an individual is granted the right to speak on behalf of others.16 However, patient engagement programs cannot replicate this process in the selection of “representatives.” Given the need for confidentiality as well as a whole host of logistical challenges, processes of nomination and election are impossible to sustain in groups that can best be thought of as categorical, not collective. That is, a person requiring health care may be unambiguously and temporarily categorized as a “patient,” but a group of individuals who have required health care are not intrinsically organized together according to principles of collectivism.17 Even in the presence of organized patient groups, it is difficult to locate an identifiable collective of patients that could be said to reliably reflect the entire patient group. The result is that patient engagement programs may be presumed to have a weak form of democratic representation at play.

통계적 대표성.
Statistical representation.

환자 참여 프로그램 내에서 작동하는 또 다른 형태의 대표성은 통계적 대표성이라는 개념입니다. 이 형태는 증거 기반 진료 분야에 친숙하며 대규모 집단을 대상으로 한 설문조사를 통해 생성할 수 있는 지식에 의존합니다. 이는 설명적 대표성의 한 형태이며 대표할 대상의 '평균'과 유사한 것으로 간주될 수 있는 정도를 결정합니다.18 여기서 충분히 정교한 데이터 수집 도구와 충분히 큰 표본 크기를 통해 환자가 의료 시스템과 의료 전문가 교육자에게 무엇을 원하고 필요로 하는지에 대한 진정한 이해에 어느 정도 근접할 수 있다는 희망이 있습니다.
Another form of representation operating within patient engagement programs is the notion of statistical representation. This form is familiar to the field of evidence-based practice and relies on knowledge that can be generated through surveys of large groups. This is a form of descriptive representation and determines the degree to which a representative could be considered similar to the “average” of that to be represented.18 Here, the hope is that through sufficiently sophisticated data collection tools and large-enough sample sizes, we can approximate some true understanding of what patients want and need from their health care systems and from health professions educators.

그러나 이러한 형태의 대표성은 환자 참여 프로그램 내에서 다른 종류의 개념적 문제에 부딪힙니다. 통계적 대표성의 개념을 모집 관행(어떤 프로그램에 누구를 참여하도록 초대해야 하는가)으로 전환하면 다양성에 대한 까다로운 질문이 등장합니다. [어떤 종류의 다양성]이 [어떤 종류의 운동]에 중요할까요? 인종/민족 측면의 다양성? 성별? 사회경제적 지위? 질병 유형? 나이? 교육 수준? 참여하고자 하는 개인이 환자 참여자 풀의 대표성을 더하는 것으로 간주되지 않으면 참여가 배제되거나 무효화될 위험이 있습니다.11 
However, this form of representation runs into a different kind of conceptual trouble within patient engagement programs. When notions of statistical representation are translated into recruitment practices—whom we should invite to participate in what programs—thorny questions of diversity emerge. Just what kind of diversity matters for what kind of exercise? Diversity in terms of race/ethnicity? Gender? Socioeconomic status? Disease type? Age? Educational level? There is a risk that individuals who wish to participate will be excluded or invalidated if they are not considered to add to the representative complexion of the patient participant pool.11

대표성에 대한 이러한 암묵적인 개념, 즉 [한 개인이 어떻게든 대표할 대상의 '평균'을 대표할 수 있다는 생각]은 환자 참여 프로그램 내에서 또 다른 딜레마에 직면하게 됩니다. Learmonth 등19은 이를 환자 참여의 '캐치-22'라고 부릅니다: 환자 참여자는 참여 환자 그룹의 "평균" 경험을 대표할 수 있을 것이라는 암묵적인 가정 하에 프로그램에 초대됩니다. 그러나 참여 연습에 효과적으로 참여하려면 일반적으로 환자 참여자는 활동에 참여하고, 연습의 목표를 이해하고, 자신의 역할과 관련된 다양한 복잡성을 헤쳐 나갈 수 있는 [특정 기술]을 보유하고 있어야 합니다. 효과적이기 위해 필요한 기술을 보여주지 못하면 더 이상 "평균"으로 간주되지 않을 위험이 있습니다. 따라서 효과적이라는 것은 더 이상 설명적인 의미에서 대표성이 없다는 것을 의미합니다.
This implicit notion of representation—that a person can somehow represent the “average” of that to be represented—confronts another dilemma within patient engagement programs. Learmonth et al19 refer to this as the “Catch-22” of patient engagement: A patient participant is invited into a program with the implicit assumption that he or she will be able to represent the “average” experience for the involved patient group. However, to participate effectively in the engagement exercise, the patient participant must usually possess particular skills, not the least of which includes being able to participate in the activity, to understand the aims of the exercise, and to navigate the various complexities of his or her role. Upon demonstrating the skills required to be effective, he or she runs the risk of no longer being considered “average.” Thus, to be effective is to no longer be representative in the descriptive sense.

요컨대, 민주주의 원칙과 통계적 개념에 뿌리를 둔 대표성의 개념화는 각각 환자 참여의 실천에서 고유한 문제와 딜레마를 야기합니다. 그러나 고려할 수 있는 또 다른 암묵적인 대표의 틀이 있습니다. 이 세 번째 프레임은 상징적 대표성으로 간주하는 것이 가장 좋습니다.16
In short, conceptualizations of representation rooted in democratic principles and statistical notions each create their own problems and dilemmas in the practice of patient engagement. However, there is another, implicit frame of representation that is possible to consider. This third frame is best considered as symbolic representation.16

상징적 대표성.
Symbolic representation.

[민주적 대표성]은 대표자를 지정하는 데 사용되는 공식적인 절차로 이해될 수 있고, [설명적 또는 통계적 대표성]은 대표성되는 '평균적인' 대상이나 개인의 감각을 생성하는 데 사용되는 도구로 이해될 수 있지만, [상징적 대표성]은 예술이라는 은유를 통해 가장 잘 이해됩니다.16 플라톤의 미메시스 개념에 반영된 예술은 항상 무언가를 대표성하고 이전에 부재했던 것을 물리적 존재로 가져오는 기능을 해왔습니다. 그러나 특히 현대 미술에서는 이러한 대표성에 충실해야 한다는 가정이 없습니다. 추상 미술은 여전히 예술입니다. 대표되는 것은 느낌, 인상, 경험, 개념 또는 주관적인 믿음입니다. 여기에 상징적 대표성과 다른 한편으로는 환자 참여 프로그램에 암묵적으로 동기를 부여하는 것으로 보이는 다른 대표성 개념화(민주적, 통계적) 사이의 실질적인 차이가 있습니다. 예술은 관객에게 감동, 변화 또는 다른 영감을 주기 위해 대상을 통계적 또는 민주적으로, 심지어 사실적으로 대표성할 필요가 없습니다. 이러한 특성 때문에 예술이 대표성하고자 하는 것은 [민주적, 통계적, 모방적 규범에 대한 충실성]보다는 [느낌이나 경험의 진정성]입니다. [상징적 대표성]에서 대표성되는 것은 독특하고 개인적인 관점입니다. 한 환자가 들려주는 이야기가 모든 환자의 모든 이야기의 '전형'이거나 '평균'이라고 주장하지 않으며, 각 이야기는 질병과 관련된 다양한 인간 경험의 스펙트럼에서 한 환자의 한 가지 이야기를 나타냅니다. 
Whereas democratic representation may be understood in terms of formal processes used to designate representatives, and descriptive, or statistical, representation may be understood in terms of the tools used to generate a sense of the “average” object or individual being represented, symbolic representation is best understood through the metaphor of art.16 Echoed in the Platonic notion of mimesis, art has always had the function of representing something, of bringing something that was previously absent into physical presence. However, especially in modern art, there is no associated assumption of fidelity to that representation. Abstract art is still art. What is being represented is instead a feeling, an impression, an experience, a concept, or a subjective belief. Herein lies the substantive difference between symbolic representation, on the one hand, and the other conceptualizations of representation (democratic, statistical) that seem to be implicitly fueling patient engagement programs on the other. Art does not need to be statistically or democratically—or even realistically—representative of its object for the viewer to be moved, changed, or otherwise inspired. Because of this quality, it is the authenticity of feeling or experience that is to be represented, rather than fidelity to some democratic, statistical, or mimetic norm. What is represented in symbolic representation is a unique, individual perspective. No attempt is made to argue that a story told by a patient is “typical” or “average” of all stories by all patients; rather, each narrative represents one story from one patient on a spectrum of human experiences related to illness.

상징적 대표성 개념을 채택하는 교육자는 내러티브 자체의 [일반화 가능성]을 주장하지 않고, 환자의 내러티브가 [비판적 사고, 휴머니즘, 연민, 공감에 inform하는 방식]에 주의를 기울여야 합니다.20 대신 내러티브의 사용은 특정 질병에 수반될 수 있는 인간 경험의 풍부한 태피스트리, 즉 존재의 다양성과 가능성에 대해 교육생을 민감하게 하는 한 가지 방법이 될 수 있습니다. 이러한 형태의 상징적 대표성은 [내러티브 의학]의 다양한 반복에 적합합니다. 그러나 이러한 유형의 대표성이 환자 참여의 다른 대표성, 특히 커리큘럼 설계, 평가 및/또는 입학에서 고부담 의사 결정이 필요한 참여 형태에 어떻게 영향을 미칠 수 있는지는 명확하지 않습니다.
Educators who take up symbolic notions of representation are careful to draw attention to the ways in which patients’ narratives inform critical thinking, humanism, compassion, and empathy without making any claims about the generalizability of the narrative itself.20 Instead, the use of narrative becomes one way to sensitize trainees to the rich tapestry of human experience—the varieties and possibilities of being—that might accompany a particular illness. This form of symbolic representation lends itself well to various iterations of narrative medicine. However, it is less clear how this kind of representation might inform other manifestations of patient engagement—in particular, those forms of engagement that require high-stakes decision making in curriculum design, assessment, and/or admissions.

명확성의 필요성.
The need for clarity.

우리는 민주적, 통계적, 상징적 대표성의 세 가지 형태가 다양한 환자 참여 프로그램 내에서 공존한다고 주장합니다. 우리는 한 가지 형태의 대표성이 다른 형태보다 우월하다고 주장하지 않습니다. 실제로 각 형태에는 고유한 개념적, 현실적 한계가 있습니다. 그러나 이러한 다양한 대표성 방식은 서로 다른 모집 관행을 의미하며, 프로그램 성공 여부를 판단하는 기준도 달라질 수 있다고 가정합니다. 어떤 형태의 대표성이 어떤 목적으로 사용되는지 명확히 파악하면 환자 참여 프로그램을 설계, 실행 및 평가하는 데 의미 있는 정보를 얻을 수 있습니다. 
We argue that these three forms of representation—democratic, statistical, and symbolic—coexist within various patient engagement programs. We do not suggest superiority of one form of representation over the other. Indeed, each form has its own conceptual and practical limits. However, we do posit that these different forms of representation imply different practices of recruitment and invite different criteria for determining programmatic success. Generating clarity about what forms of representation are at play—and to what end—will meaningfully inform how patient engagement might be designed, enacted, and evaluated.

환자 참여 프로그램 설계: 교육자와 환자를 위한 시사점
Patient Engagement Program Design: Implications for Educators and Patients

이제 교육자의 실질적인 관심사로 돌아가서, 앞서 논의한 대표성의 개념화는 환자 참여 프로그램과 관련된 필수적인 의사 결정에 대한 추가적인 인사이트를 제공합니다. 윌리엄슨의 유형론은 다양한 형태의 환자 지식과 환자 참여 활동의 요구 사항 간의 매치메이킹 프로세스를 조언합니다. 환자 참여 프로그램에서 암시적 및 명시적 형태의 대표성에 주의를 기울이면 교육자는 선언된 목표, 모집 관행, 평가 문제 사이의 잠재적 불일치에 민감하게 반응할 수 있습니다. 
Returning now to the practical concerns of educators, the preceding discussion on conceptualizations of representation offers additional insights into the requisite decision making associated with patient engagement programs. Williamson’s15 typology advises a matchmaking process between various forms of patient knowledge and the requirements of the patient engagement activity. Attending to the implicit and explicit forms of representation at play within patient engagement programs sensitizes educators to potential misalignments between declared aims, practices of recruitment, and questions of evaluation.

다음 두 가지 시나리오를 예로 들어 보겠습니다. 환자 참여 활동 중 하나는 한 사람이 교육생 그룹에게 자신의 질병에 대한 [이야기를 들려주는 것]으로 구성될 수 있습니다. 이 내러티브의 내용이 교육생에게 의미가 있고, 따라서 학습 요구 사항과 관련이 있을 것이라는 가정이 전제됩니다. 이 시나리오에서 환자 대표자는 환자 경험을 반영하는 것으로 간주되는 무언가를 구현합니다. 여기서 사용되는 대표성의 형태는 주로 상징적입니다. 교육자는 다양한 경험을 접할 수 있는 방법으로 다양한 환자와 환자 내러티브를 초대하는 데 관심을 가질 수 있습니다. 다양성은 그 자체로 학습 연습에서 흥미롭고 중요한 부분입니다. 다양한 환자 참여자 간의 합의가 반드시 필요한 것은 아니며, 그러한 합의가 반드시 바람직한 것도 아닙니다. 
Take, for example, the two following scenarios. One patient engagement activity could consist of a person who tells his or her illness narrative to a group of trainees. The assumption is that something about this narrative will be meaningful for the trainees and, therefore, relevant to their learning needs. In this scenario, the patient representative is embodying something that is taken to be reflective of a patient experience. Here, the form of representation at play is primarily symbolic. The educator might be concerned with inviting a variety of patients and patient narratives as a way to engage with a range of experiences. The variety is in and of itself an interesting and important part of the learning exercise. Consensus across the various patient participants is not required, nor is such consensus necessarily desirable.

이와 대조적인 시나리오로, 커리큘럼 개발 위원회에 특정 환자 그룹(예: 자폐 아동의 부모)이 포함되어 있고, 위원회의 환자 대표가 어떤 식으로든 [자신의 그룹의 우선순위가 커리큘럼에 반영될 수 있도록 옹호하는 참여 활동]을 상상해 보십시오. 이 시나리오에서 교육자는 환자 그룹에 참여하여 얻은 대표성, 특정 그룹에 대한 정보를 수집하는 확립된 방법, 특정 환자 경험에 대한 상황적, 경험적, 암묵적 지식 등 다양한 형태의 대표성으로부터 학습하는 데 관심을 가질 수 있습니다. 교육자는 암묵적으로 민주적, 통계적, 상징적 대표의 세 가지 형태를 모두 찾고 있을 수 있습니다. 또한 한 명의 환자 참여자가 이러한 모든 형태의 지식을 한꺼번에 대표성하는 것은 불가능하거나 바람직하지 않을 수도 있습니다. 따라서 교육자는 의사 결정의 어느 단계에 어떤 형태의 지식이 필요한지 고려하는 것이 중요합니다. 단일하고 동질적인 환자의 목소리를 암시하는 현재의 환자 참여 담론과 달리,21 교육자는 다양한 목소리, 즉 바흐친의 대표성을 빌리자면 풍부한 '다성음'22에 대비해야 하며, 모든 같은 의견을 가지고 있지는 않을 것입니다. [환자 참여의 바람직한 목표]가 [중요한 사안에 대한 충분한 토론을 보장하는 것]이라면, 반대 의견은 환영할 만한 중요한 부분입니다. 그러나 교육자는 의견 불일치를 예상하고 상충되는 조언을 어떻게 조정할 것인지 투명하게 고려해야 합니다. 
In a contrasting scenario, imagine an engagement activity where a curriculum development committee includes someone from a particular patient group (e.g., parents of a child with autism), with the understanding that the patient representative on the committee will in some way advocate that the priorities of his or her group be reflected in the curriculum. In this scenario, the educator might be concerned with learning from multiple forms of representation: representation that is achieved through participation in patient groups; established ways of collecting information about particular groups; and situated, experiential, and possibly implicit knowledge about a particular patient experience. The educator may implicitly be looking for all three forms of representation: democratic, statistical, and symbolic. Further, it may not be possible—or even desirable—for one patient participant to represent all of these forms of knowledge at once. It becomes important for the educator to consider which form of knowledge is required to inform which stage of decision making. In contrast to current discourses of patient engagement that imply a single, homogeneous patient voice,21 educators must also be prepared for a multitude of voices—a rich “polyphonia,” in Bakhtin’s words22—not all of whom will agree. If the desired aim of patient engagement is to ensure a fulsome discussion of an important issue, such dissent is a welcome and important part of the process. However, it stands to reason that educators should anticipate disagreement and transparently consider how they will reconcile conflicting advice.

[주장되는 지식의 형태]와 이러한 [지식 주장을 알리는 대표성 관행] 간의 일치에 대한 이러한 강조는 프로그램 기획자와 환자 참여자의 공통 관심사, 즉 환자 참여자가 신뢰할 수 있고 합법적인 지식 출처로 인식되는 방법을 조명합니다. 교육자와 환자 참여자 모두 무엇을 대표하도록 요청받고 있는지 알고 있어야 합니다: 경험, 희망, 관심사, 필요, 선호도는 모두 서로 다른 대표성의 대상object입니다. 또한 이러한 [대표성의 대상object]은 항상 [대표성의 일부 주체subject], 즉 [대표되는 사람]과 관련되어 있습니다.23 
This emphasis on the alignment between forms of knowledge being claimed and the practices of representation that inform those knowledge claims sheds light on a shared concern of program planners and patient participants: how patient participants are to be perceived as credible, legitimate sources of knowledge. Educators and patient participants both need to be aware of what is being asked to be represented: Experiences, hopes, interests, needs, and preferences are all quite different objects of representation. Further, these objects of representation are always in reference to some subject of representation—the person or people being represented.23

바로 이 지점에서 환자 참여 프로그램이 다소 지저분해질 가능성이 있습니다. 환자 참여자가 자신을 대표하도록 요청받는다는 가정 하에 있는 경우, 해당 참여자는 자신의 경험에 대해 이야기해야 합니다. 이를 위해 자신의 경험을 전달할 때 신뢰할 수 있고 효과적인 것으로 간주되는 다양한 방법이 있습니다. 그러나 환자 참여 활동이 암묵적으로 민주적 대표 원칙에 따라 설계된 경우(예: 환자 대표를 의사 결정 과정에 참여시켜 의사 결정이 보다 일반적으로 환자 중심으로 이루어지도록 영향을 미치기 위해 환자 대표를 참여시키는 경우), 환자 참여자는 불편한 상황에 처하게 될 수 있습니다. 어떻게 하면 환자 대표를 환자 경험 전반에 대한 신뢰할 수 있는 지식의 출처로 제시할 수 있을까요?
This is where there is the potential for patient engagement programs to get somewhat messy. If the patient participant is under the assumption that he or she is being asked to represent himself or herself, that participant needs to speak to his or her experience. To this end, there are different ways to be considered credible and effective in relaying one’s experience. However, if the patient engagement exercise is implicitly designed using democratic principles of representation—for example, engaging a patient representative to participate in decision-making processes to somehow influence decisions to be more generally patient centered—the patient participants may find themselves in an uncomfortable misalignment. How do they present themselves as credible sources of knowledge about patients’ experiences more generally?

이 조언은 점점 더 많은 모집 기법을 통해 환자 참여의 충실도를 높이려는 다른 연구 노력과 차별화됩니다. 윌리엄슨15 등이 제안한 중매matchmaking에 관심을 기울이는 것 외에도, 다양한 형태의 대표성을 어떻게 초대하고, 제시하고, 옹호하고, 정당성을 부여하는지에 대해 비판적인 시선을 돌릴 것을 제안합니다. 이를 통해 대표성의 딜레마에 대한 우리의 이해가 더욱 정교해집니다. '적합한 환자'를 찾는 방법을 고민하는 것을 넘어, 특정 참여 목적에 맞추어 환자가 어떻게 '적합'하게 만들어지는지를  고려합니다. 이를 통해 우리는 왜 참여를 진행해야 하는지에 대한 중요한 질문을 던질 수 있습니다. 
This advice is distinct from other research efforts that try to improve the fidelity of patient engagement through more and more recruitment techniques. In addition to attending to the matchmaking suggested by Williamson15 and others, we suggest turning a critical gaze to how different forms of representation are invited, presented, defended, and given legitimacy. This elaborates our understanding of the dilemma of representation. Beyond thinking about how to find “the right patients,” we consider how patients are made to be “right” for a particular engagement purpose. In doing so, we are able to engage with the critical questions of why engagement might proceed at all.

결론적 생각: "왜"에 대한 강조
Concluding Thoughts: An Emphasis on “Why”

보건의료 전문직 교육에 대한 환자 참여는 교육 경험을 풍부하게 하는 동시에 우수성, 연민, 정의로움으로 진료하는 보건의료 전문가를 배출하는 데 도움이 되는 잠재적으로 강력한 수단입니다. 최상의 경우, 환자 참여는 중요한 문제에 대한 우리의 집단적 이해를 정교화하여 다양한 정체성, 희망, 우려를 보건의료 전문가 교육에서 "진정한 청문회"14를 통해 들을 수 있도록 보장할 수 있습니다. 이러한 의미에서 의료 교육에 환자를 참여시킴으로써, 의사와 다른 의료 전문가, 환자, 학습자 모두가, 미래 의료 전문가의 직업적 정체성과 임상 실습에 대한 인문학적 지향이 요구하는 역량을 공동-구축할 수 있습니다. 지금까지 환자 참여 프로그램의 설계 및 관리에 관여하는 교육자들은 특정 방식의 대표성 문제로 어려움을 겪어 왔습니다: 이러한 프로그램에 참여한 환자들이 의료계에서 일하면서 만나게 될 다양한 환자들을 충분히 대표할 수 있는가? 
Patient engagement in health professions education represents a potentially powerful means to enrich the educational experience while helping to produce health professionals who practice with excellence, compassion, and justice. At its best, patient engagement might elaborate our collective understanding of important issues, ensuring that a full range of identities, hopes, and concerns may gain a “genuine hearing”14 in the education of health care professionals. In this sense, engagement of patients in medical education allows for a co-construction—between doctors and other health professionals, patients, and learners—of the professional identity of future health professionals and the capacity that a humanistic orientation to clinical practice requires. To date, educators involved with design and administration of patient engagement programs have been challenged with the problem of representation in a particular way: Do the patients involved in these programs sufficiently represent the diversity of patients one will encounter throughout one’s health care career?

이러한 관점에서 우리는 환자 참여의 맥락에서 대표성의 딜레마에 대한 다양한 사고 방식을 소개했습니다. 대표성을 민주적 또는 통계적 행위 뿐만 아니라 상징적 행위로 보는 것은

• '올바른 사람을 초대하는 것'에 대해 생각할 수 있게 해줄 뿐만 아니라
• 어떻게 '올바른' 사람이 정의되는지에 대해 더 성찰할 것을 요구합니다.

[특정 환자 참여 활동]에 ['적합한' 환자]가 된다는 것은 [개인의 본질적인 특성]이 아니라 [무엇을, 어떤 목적으로, 어떤 청중에게 대표하는지]에 따라 달라집니다. 이러한 비판적 성찰은 개인의 관점과 삶의 경험이 신뢰할 수 있고 정당한 대표성으로 간주되는 방식과 환자와 환자의 이야기를 특정한 방식으로 대표하는 근본적인 동기에 대해 질문하도록 우리를 도전합니다. 
In this Perspective, we have introduced different ways of thinking about the dilemma of representation in the context of patient engagement. Viewing representation not just as a democratic or statistical exercise but also as a symbolic one

• not only allows us to think about “inviting the right people”
• but also requires us to be more reflexive about how the “right” people are defined.

To be the “right” patient for a specific patient engagement activity is not an intrinsic quality of an individual but, rather, is the function of the match between what is being represented, to what purpose, and to which audience. This critical reflection challenges us to question the ways in which individuals’ perspectives and life experiences are deemed as credible and legitimate representations and the possible underlying motives for representing patients and their stories in specific ways.

우리는 누구와 무엇을 대변할 것인가에 대한 질문에 몰두해 왔지만, 궁극적인 관심사는 애초에 왜 대표성을 시도하는가 하는 것입니다. 이전에는 왜라는 질문이 대부분 기술적인 측면에서 다루어졌습니다. 우리가 인정했듯이, 임상 기술을 가르치기 위한 참여 연습은 질병의 경험에 대해 이야기하거나 여러 가지 고착화된 형태의 낙인에 의문을 제기하기 위한 참여 경험과 분명히 다릅니다. 하지만 환자 참여를 잘하는 방법은 전적으로 기술적인 문제만은 아닙니다. 이는 또한 우리 사회가 어떤 사회인지, 우리가 집단적으로 어떤 사람이 되고자 하는지에 대한 깊은 윤리적 문제이기도 합니다. 이러한 대표성의 개념에 주의를 기울이고, 참여 운동의 의제를 설정할 기회를 가진 사람을 포함하여 우리의 관행에 대해 성찰하는 것은 모두 교육자로서 우리의 도덕적, 윤리적 의무의 일부입니다.
While we have occupied ourselves with questions of who and what is being represented, the ultimate concern is why representation is attempted at all. Previously, the question of why has most often been dealt with in a technical sense. As we have acknowledged, an engagement exercise intended to teach clinical skills is certainly different from an engagement experience intended to relate the experience of illness or to bring into question various entrenched forms of stigma. Yet, how to do patient engagement well is not entirely a technical question. It is also a deeply ethical one, one that is wrapped up in who we are as a society and who we collectively want to be. Attending to these notions of representation and being reflexive about our practices—including who has the opportunity to set the agenda for the engagement exercise—are all part of our moral and ethical obligation as educators.

의학교육에 환자와 공공의 참여를 향하여 (Med Educ, 2016)
Towards a pedagogy for patient and public involvement in medical education
Sam Regan de Bere & Suzanne Nunn

소개
Introduction

환자는 다양한 단계, 다양한 맥락, 다양한 목적을 가진 의학교육의 중심입니다. 하지만 현재 의대생과 의사 교육에 환자와 대중이 실제로 얼마나, 얼마나 효과적으로 참여하고 있으며, 앞으로는 어떻게 발전해야 할까요? 환자 및 대중 참여(PPI)가 임상의가 경력을 쌓는 동안 학습하는 방식에 실질적인 영향을 미친다는 것을 어떻게 알 수 있으며, 어떤 증거를 바탕으로 해야 할까요? 이러한 질문은 새로운 것이 아닙니다. 10여 년 전부터 교육자들은 임상 교육에 환자의 참여를 늘려야 한다고 요구해 왔습니다.1-3 이러한 요구는 2010년 Medical Education 학술지에서 강조되었는데, Towle 외.4는 보건의료 전문가 교육에서 PPI와 관련된 학술 문헌을 체계적으로 검토하여 다양한 현지화된 이니셔티브의 존재를 자세히 설명하고 '참여의 사다리'를 통해 참여를 이해하는 개념적 틀을 제공했습니다. 이 연구는 향후 이니셔티브를 구축하기 위한 명확한 이론, 스키마, 적용 또는 평가가 부족하다는 점을 강조했습니다.4 이듬해에는 보건의료 전문가 교육에서 지속 가능한 PPI 개발의 개념적, 이론적, 경험적 측면에 대한 주요 보고서5가 발간되어 보다 엄격한 연구와 실행을 위한 명확하고 설득력 있는 사례를 제시했습니다. 
Patients are central to medical education at different stages, in different contexts and for different purposes. But how far and how effectively are patients and the public now actually involved in training medical students and doctors, and how should this be developed in the future? How do we know that patient and public involvement (PPI) has any real impact on the way in which clinicians learn throughout their careers, and what evidence do we have to draw upon? These questions are not new: over 10 years ago, educators were calling for increased patient involvement in clinical education.1-3 The imperative was highlighted in Medical Education in 2010, when Towle et al.4 reported a systemic review of the academic literature pertaining to PPI in health care professionals’ education, detailing the existence of various localised initiatives and providing a conceptual framework for understanding engagement via the ‘ladder of involvement’. This work highlighted a disconcerting lack of definitive theory, schema, application or evaluation upon which to build future initiatives.4 In the following year, a major report on the conceptual, theoretical and empirical aspects of developing sustainable PPI in health care professionals’ education5 was published, stating a clear and persuasive case for more rigorous research and implementation.

그러나 5년이 지난 지금, 의학교육 전반에 걸쳐 PPI를 개발하고 평가하기 위한 명확한 전략은 여전히 부족합니다. 학술 문헌은 다양한 전문 분야 또는 커리큘럼 주제에서 다양한 수준의 환자 또는 학생에 대한 인식을 바탕으로 한 설명적인 보고서와 PPI 이니셔티브에 대한 이질적인 스냅샷이 주를 이루고 있습니다. 이론, 실무 및 결과 사이의 연관성에 대한 증거는 거의 없으며, 국제적으로 비교할 수 있는 범위도 아직 미미합니다.  
Five years later, however, a clear strategy for developing and evaluating PPI across the continuum of medical education remains lacking. The academic literature is dominated by descriptive reports and disparate snapshots of PPI initiatives, based on perceptions of patients or students involved at various levels in various specialties or curriculum topics. There remains little evidence of connection between theory, practice and outcomes, and less still any scope for international comparison.

개별적인 노력으로 '참여의 사다리'에 대한 검토를 포함하여 PPI 분류체계를 개선하고 평가를 강화하라는 Towle 등의 요구에 부응하기 위해 노력했지만,6 이 분야는 여전히 환자, 대중 및 일반인이 평생 의료 학습자의 반성적 전문적 실천에 대한 멘토링, 평가 및 지원에서 가질 수 있는 체계적이고 진보적인 역할에 대한 강력한 증거를 필요로 하고 있습니다. 이는 의대 선발부터 의과대학, 성공적인 졸업, 지속적인 전문성 개발, 규제, 그리고 잠재적으로 교정에 이르기까지 의학교육의 연속성을 거치면서 의료 전문가에 대한 경험과 지원의 일관성에 대한 의문을 제기합니다. 지적 측면과 실용적 측면 모두에서 의학교육 분야는 서로 다른 것처럼 보이는 영역 간의 경계를 넘나들며 모든 의료 전문가를 위한 공식 교육과 교육을 통한 규제를 모두 포함하는 일관되고 상황에 맞는 접근 방식을 개발함으로써 많은 것을 얻을 수 있을 것입니다. 
Although individual endeavours have sought to answer Towle et al.'s call to improve PPI taxonomies and strengthen evaluation, including a review of their ‘ladder of involvement’,6 the field is still in need of robust evidence of the systematic and progressive role patients, the public and lay representatives may have in the mentoring, assessment and support of reflexive professional practice of life-long medical learners. This raises questions over the consistency of experience and support for medical professionals as they progress through the continuum of medical education, from selection to medical school, through to successful graduation, continuing professional development, regulation and, potentially, remediation. In both intellectual and practical terms, the field of medical education could have much to gain from crossing the boundaries between those seemingly different spheres and developing a cogent, context-specific approach to embedding PPI as both formal education and education-through-regulation for all medical professionals.

이 백서는 의학교육의 전체 연속체에서 미래 PPI 전략의 개발을 진전시키기 위한 논거를 제시합니다. 특히 교육 과정 및 결과(공식적이든 그렇지 않든), 환자 중심 학습에 대한 요구를 해결할 수 있는 역량, 공유된 의사 결정 의제와 관련된 환자 참여에 대한 접근 방식으로 통합된 다양한 출처를 활용합니다. PPI에 대한 자체 연구를 참조하여, 우리는 의학교육자를 위한 3가지 핵심 우선순위를 확인했습니다.

• (i) 통합된 문헌 코퍼스를 통해 의학교육과 관련된 PPI에 대한 증거의 통합,
• (ii) 의학교육에서 PPI에 대한 공유된 정의를 통한 개념적 명확성,
• (iii) 복잡성 관리 및 PPI 이니셔티브 평가에 대한 학문적으로 엄격한 접근 등 

이러한 과제에 대한 대응책으로 활동 모델링을 분석적 휴리스틱으로 사용하여 역동적인 교육 맥락에서 상호 작용하는 여러 PPI 시스템에 대한 이해를 제공하는 방법을 설명하고, 이를 미래로 나아가는 데 있어 환자와의 파트너십 접근 방식을 촉구합니다. 
This paper presents an argument for advancing the development of future PPI strategies across the full continuum of medical education. It draws on a range of sources unified by their approach to engagement with patients that relates specifically to educational processes and outcomes (formal or otherwise), the capacity to address demands for patient-centred learning, and shared decision-making agendas. Referring to our own research into PPI, we identify three key priorities for medical educators, including:

• (i) the integration of evidence on PPI relevant to medical education, via a unifying corpus of literature;
• (ii) conceptual clarity through shared definitions of PPI in medical education, and
• (iii) an academically rigorous approach to managing complexity and the evaluation of PPI initiatives.

As a response to these challenges, we outline how activity modelling may be used as an analytical heuristic to provide an understanding of a number of PPI systems that interact within dynamic educational contexts, and call for a partnership approach with patients in taking this forward to the future.

PPI의 문제점은 무엇인가요? 점점 더 시급해지는 의학교육 의제 해결
What is the problem with PPI? Addressing an increasingly pressing agenda for medical education

의학교육에서 [PPI의 교육적 이점]은 오랫동안 논의되어 왔으며, 특히 학습의 관련성 입증, 공감 능력 배양, 의사소통을 포함한 주요 전문 기술 개발 장려를 통해 학생에게 동기를 부여하는 능력 측면에서 논의되어 왔습니다.7-10 의학교육에서 [환자의 역할]은 '의학과 외과를 전공하는 후배 학생에게는 환자를 텍스트로 하지 않는 교육은 하지 않는 것이 안전한 규칙이며, 가장 좋은 가르침은 환자가 직접 가르치는 것'이라는 오슬러의 주장이 자주 인용된 이후 극적으로 발전해 왔습니다. 11 [광범위한 사회적 및 전문적 담론], [의료기관 현대화를 위한 정치적 동인], [거버넌스 구조에 대한 대중의 참여를 통한 독립적인 '목소리'의 강조]에 힘입어, [전통적인 '가부장적' 의료 모델]에서 보다 ['환자 중심'의 의료 설계, 제공 및 실천 모델]로 상당한 전환이 이루어지고 있습니다.12-14 현재의 정치적 환경에서 이 모델에 대한 높은 가치는 이제 잘 확립되어 있으며, PPI는 종종 그 목표의 핵심으로 간주됩니다. 의료 서비스 연구 분야에서도 PPI는 한동안 의제로 다뤄져 왔습니다. 예를 들어, 영국에서는 국립보건연구원(NIHR)의 지원을 받아 국가 자문 그룹(INVOLVE)을 구성하여 NHS, 공중보건 및 사회복지 연구에 대한 대중의 참여를 지원하고 있습니다. 물론 이는 보건 서비스 연구에 PPI를 포함시켜야 할 필요성에 대한 대응입니다. 그러나 이후 이 의제는 교육 정책과 실천으로까지 이어졌습니다.15 
The educational benefits of PPI in medical education have long been debated, notably in terms of its capacity for motivating students by: demonstrating the relevance of learning; fostering empathy; and encouraging the development of key professional skills, including communication.7-10 The role of the patient in medical education has developed dramatically since Osler's oft quoted assertion that ‘for the junior student in medicine and surgery, it is a safe rule to have no teaching without a patient for a text, and the best teaching is that taught by the patient himself’.11 Informed by wider social and professional discourses, political drivers for modernising medical institutions, and an increasing emphasis on the independent ‘voice’ via public involvement in governance structures, there has been a significant shift away from the traditional ‘paternal’ medical model towards a more ‘patient-centred’ model of health care design, provision and practice.12-14 In current political climates, the high value placed on this model is now well established, and PPI is often regarded as being central to its aims. In the field of health services research, PPI has been on the agenda for some while. For example, in the UK, a national advisory group (INVOLVE) is funded by the National Institute for Health Research (NIHR) to support public involvement in NHS, public health and social care research. This is, of course, a response to the need to embed PPI in health services research. However the agenda has since filtered through to education policy and practice.15

[영국의 정책 계보]가 대표적인 사례입니다.

• 2003년, Tomorrows Doctor's12 는 영국의 학부 의학교육에 대한 요건을 제시하면서, 대학의 진료 의무와 관련하여 환자를 언급하고 학생과 환자의 상호 작용이 환자를 존중하고 관계를 발전시켜야 한다고 명시했습니다.
• 2009년 개정판인 Tomorrow's Doctors13에서는 이를 확장하여 커리큘럼의 모든 측면에 PPI를 명시적으로 포함시켰으며, 이를 '파트너십'이라는 용어로 설명했습니다.
• 이제 이 정책의 세 번째 반복을 앞두고 있는 이 자문 문서는 [의과대학의 질 보증 및 거버넌스] 외에도 [교육뿐만 아니라 평가, 학생 성과에 대한 피드백 및 코스 설계]에 환자가 적극적으로 참여할 수 있는 문화를 옹호하고 있습니다.
• 동시에 데이비드 그린어웨이 교수가 주도한 영국의 의사 교육에 대한 독립적인 검토인 The Shape of Training에서는 다음과 같이 권고했습니다:
  • '적절한 조직은 의사 교육 및 훈련에 환자를 참여시킬 수 있는 더 많은 방법을 찾아야 한다'고 권고했습니다.
• 이 리뷰는 다음과 같이 대담하게 말합니다:
  • '환자와 보호자로부터 배우는 것은 실행하기 어렵다는 것을 알고 있지만, 수련 중인 의사가 환자 중심 치료에 대한 경험을 쌓을 수 있는 가장 좋은 방법입니다. 이는 대학원 커리큘럼과 평가 시스템에 명시적으로 포함되어야 하며, 커리큘럼 검토의 일부가 되어야 합니다'라고 말합니다.14

The genealogy of policy in the UK is a case in point.

• In 2003, Tomorrows Doctor's12 set out the requirements for undergraduate medical education in the UK, referring to the patient in relation to the universities’ duties of care and the students’ interactions with patients being respectful and developing relationships with them.
• The revised edition of Tomorrow's Doctors in 200913 expanded on this to explicitly include PPI in all aspects of the curriculum, describing it in terms of a ‘partnership’.
• Now on the cusp of the third reiteration of the policy, its consultation document advocates, in addition to the quality assurance and governance of medical schools, a culture that enables active involvement of patients not only in teaching but also in assessments, feedback on student performance and course design.
• At the same time, The Shape of Training, an independent review of doctors’ training in the UK led by Professor David Greenaway, recommended that:
  • ‘Appropriate organisations should identify more ways of involving patients in educating and training doctors’.
• The review states boldly that:
  • ‘We recognise that learning from patients and carers is difficult to implement, but it is the best way for doctors in training to gain experience in patient-centred care. It must be an explicit part of postgraduate curricula and assessment systems, and should be part of a review of curricula’.14

환자 참여 확대를 위한 변화는 영국에만 국한된 것이 아닙니다. 이러한 논의는 영국에서 특히 활발하게 이루어지고 있지만, 국제 문헌, 특히 영국, 캐나다, 미국, 호주의 학자들이 참여한 연구를 통해 동일한 이슈가 분명하게 드러납니다.5, 16 이러한 변화는 의료계 안팎, 다른 보건 전문직의 교육 전략(뒤에서 살펴볼), 보건과학과 같은 관련 학문의 전략에서 모두 나타납니다.17 환자가 다양한 수준에서 의료를 제공하는 사람들의 교육에 참여하기를 원한다는 것을 시사하는 분명한 증거가 있습니다. 환자들은 PPI 포럼이나 기타 참조 그룹을 통해 다음을 원합니다.18-20

• 아이디어를 공유하고 '새로운 교육 이니셔티브 및 문서에 대해 의견을 제시하고, 
• 혁신을 권고하며, 
• 관련 학생 피드백을 살펴보고 중요한 사건에 대해 논의함으로써 환자 중심주의를 향한 진전을 모니터링

Shifts towards greater patient involvement are not limited to the UK. The debate is particularly lively in the UK, but the same issues are evident in the international literature, notably through work involving academics from the UK, Canada, the USA and Australia.5, 16 They are represented both within and outside of the profession, in the educational strategies of other health professions (to which we turn later), and in those of cognate disciplines such as health sciences.17 There is clear evidence to suggest that patients wish to be involved in the education of those who provide health care at various levels. They are keen to:

• share their ideas and ‘comment on new teaching initiatives and documents;
• recommend innovations; and
• monitor progress towards patient centeredness by looking at relevant student feedback and discussing significant events’, potentially through PPI forums or other reference groups.18-20

그러나 비평가들은 학생들이 [일반적으로 다른 의사들로부터 환자 중심주의에 대해 계속 배우기 때문에], 현대의 교육 관행이 여전히 부족하다고 주장합니다.21, 22 Bleakley & Bligh가 주장하듯이, 현재의 분위기는 '의대생과 환자가 진료실, 교실 및 병동에서 실제로 마주치는 방식에 관해서는 다소 침묵합니다'(189페이지).23 여기서 문제는 [의사가 설계한 교육과정]과 [환자의 경험을 통해 확인된 요구] 사이의 [상당한 차이를 해결해야 한다]는 것입니다:

• '기존의 커리큘럼 설계는 환자에게 중요한 핵심 영역을 놓칠 수 있습니다'.24

However, critics argue that contemporary educational practice remains wanting, as students typically continue to learn about patient-centredness from other doctors.21, 22 As Bleakley & Bligh argue, the current climate ‘falls rather silent when it comes to the ways in which medical students and patients actually encounter each other in the clinic, classroom and on the wards’ (p.189).23 The challenge here is to address the significant divergence between doctor-designed curricula and the needs identified through patients’ experiences, where:

• ‘conventional curriculum design may miss key areas that are important to patients’.24

환자 참여에 대한 이러한 ['전문가 중심'의 접근 방식]은 앞서 언급한 환자 중심 의제에 대한 대응으로서 PPI 개념에 이념적 걸림돌을 제공합니다. 따라서 의학교육의 학문 분야에서는 [현재 PPI의 개념]에 대해 그 [기원]뿐만 아니라 의료계에서 [실제로 나타나는 모습]에 대해서도 비판적으로 분석할 필요가 있습니다. 의학 문헌에서는 비판이 잘 드러나지 않지만, 사회 과학자들은 [의료 헤게모니]라는 까다로운 문제를 제기하며, PPI에 대한 많은 접근 방식이 '하향식'으로 진행되며, 환자는 의대생(수련의와 개업 의사 모두)이 [학습의 직접적인 파트너]가 아니라, [그저 정보를 얻을 수 있는 대상으로 위치]한다고 제안합니다. 이러한 비판은 PPI가 [의료 헤게모니의 요구에 복무]하고 있으며, [참여가 그들에 의해 의무화]되고, [전통적으로 가부장적 의학교육에 대한 도전을 무력화시키는 방식]으로 조직되어 있다는 점을 지적합니다.
This ‘profession-centred’ approach to engagement with patients provides an ideological stumbling block to the notion of PPI as a response to the aforementioned patient-centred agenda. Thus, within the academic field of medical education there is a need for critical analysis of current notions of PPI, not only in terms of their origins, but also as they actually manifest in the medical world. Although critique is less evident in the medical literature, social scientists raise the thorny issue of medical hegemony, suggesting that many approaches to PPI are directed ‘from the top down’, with patients positioned as objects from which medical students (trainees and practising physicians alike) can draw information, as opposed to being direct partners in learning. Such critiques point to PPI servicing the needs of the medical hierarchy, as involvement is mandated by them and organised in such a way as to negate any significant challenge to a more conventionally paternalistic medical education.

이는 [정체성 정치]와 [대표성]이라는 또 다른 정치적 문제를 제기합니다.

• [의학적 시선]으로 문제를 바라보는 경향25은 의학교육자가 [정확히 누가 참여받고 이으며, 그들은 어떻게 선택되었는지 대해 의문을 제기하지 않았다]는 것을 의미합니다.
• 더 중요한 것은, 의학교육 연구는 [참여받지 못한 환자와 대중]에게 더 많은 주의를 기울이고, 그들이 [선택되지 않는 이유]를 파악하는 데 도움이 될 수 있다는 것입니다.

현재 교육 PPI 활동에서 일어나지 않는 것을 고려해야 한다는 요구사항은 나중에 다시 다루겠지만, 여기서 중요한 것은 [PPI 자체가 문제가 있는 개념]이라는 점입니다. 그렇다고 해서 교육학으로 발전하는 것이 불가능하다는 것이 아니라, 이러한 모순을 인식하고 이를 교육학에 대한 이해의 폭을 넓히는 데 통합할 필요가 있다는 것입니다.
This in turn raises a further political issue: that of identity politics and representation.

• A tendency to view matters through a medical gaze25 means that medical educators have yet to question who, precisely, is involved, and how they are selected.
• Perhaps more importantly, research in medical education could benefit from paying more attention to the patients and public who are not involved and identifying why they are not selected.

The requirement to consider what is not occurring in current educational PPI activity is something we return to later, but the point here is to note that PPI is a problematic concept in itself. This is not to render it impossible to develop into pedagogy; rather, it is necessary to recognise and incorporate these inconsistencies into our growing understanding of it.

따라서 환자와 대중을 의학교육에 참여시킴으로써 얻을 수 있는 잠재적 이점에 대한 이해를 발전시키기 위해 문헌을 연구할 수는 있지만, 현재 PPI에 대한 종합적이고 체계적인 비평은 없습니다. 다양한 맥락에서 실제로 어떤 모습인지, 얼마나 바람직한지(실행 가능성은 말할 것도 없고), 커리큘럼이나 '주최' 기관에서 참여의 다양성과 평등이 어떻게 구조화되고 지원되어야 하는지에 대한 비판적 탐구는 거의 이루어지지 않고 있습니다. 미래의 PPI가 지속 가능하고 목적에 부합하도록 맞춤형 또는 일반적 교육법을 개발하는 데 있어 연구의 역할, 또는 실제로 그 목적이 무엇인지 정의하는 것을 포함하여 의학교육의 연속체 전반에 걸쳐 그 역할에 대한 수많은 질문에 대한 해답이 아직 제시되지 않았습니다. 
So, although we can study the literature in order to develop an understanding of the potential benefits that can be brought about by involving patients and the public in medical education, there is currently no comprehensive or systematic critique of PPI. There remains little critical exploration of what it actually looks like in its different contexts, how much is desirable (let alone practicable), and how diversity and equality in involvement should be structured and supported, either in curricula or by ‘hosting’ organisations. Numerous questions about its role across the continuum of medical education remain unanswered, including the role of research in developing either bespoke or generic pedagogies to ensure that PPI for the future is sustainable and fit for purpose – or indeed defining what that purpose might be.

이 백서에서는 이러한 문제를 차례로 다룹니다. 먼저, 우리는 출판의 이질적이고 단절된 특성을 살펴보고 그 함의를 고려합니다. 우리는 의학교육자들이 관련 지식의 전담 기관을 개발하고, 교육 및 평가 방법론에 정보를 제공하며, 연구자들이 자신의 연구 결과를 보고하고 새로운 교육학에 대해 토론할 수 있는 장을 제공하도록 도전합니다.
In this paper we address these issues in turn. First, we look to the disparate and disjointed nature of publication and consider the implications. We challenge medical educators to develop a dedicated body of relevant knowledge, to inform teaching and evaluation methodologies and to provide an arena in which researchers can report their own findings and debate emerging pedagogies.

PPI에 대해 무엇을 알고 있나요? 
의학교육과 관련된 PPI에 대한 통합된 문헌 코퍼스 개발
What do we know about PPI?
Developing a unifying corpus of literature on PPI relevant to medical education

'의학 커리큘럼'이라는 용어는 표면적으로는 광범위하지만 일반적으로 학부 교육을 지칭하는 데 사용됩니다. 대학원 교육과 지속적인 전문성 개발은 교육의 연속체에서 구성 요소로 취급되기보다는 별도의 독립체로 취급되는 경우가 많습니다. Sklar가 지적한 것처럼 

• (i) 의학교육에 대한 통일된 비전을 제시하지 못하고 있으며, 
• (ii) 교육 부문 간 전환이 거칠다'26 

이는 PPI에 시사하는 바가 있습니다. PPI가 적극적인 목표로 간주된다면, 아마도 선발 시점부터 학부 교육, 졸업, 등록 및 실습을 거쳐 은퇴에 이르기까지 전문직 경력의 [연속체 전반에 걸쳐 지속적이고 점진적인 교육적 역할을 수행해야 할 것]입니다.
The term ‘medical curriculum’, though ostensibly broad, is typically used to refer to undergraduate education. Postgraduate training and continued professional development are frequently treated as separate entities, rather than as component parts of the continuum of education. As Sklar points out:

• (i) there is a failure to create a unifying vision for medical education, and
• (ii) the transitions between the segments of education are rough’.26 

This has implications for PPI. If it is considered to be an active goal, it should presumably play a continuous and progressive educative role across the continuum of a professional career; from the point of selection through undergraduate training, graduation, registration and practice until retirement.

향후에는 [환자와 대중]이 교육 연속체를 통해 점점 더 [원활한 전환을 촉진하기 위해 통합된 초점 역할]을 할 수 있다고 제안합니다. 그러나 이를 달성하려는 정치적 의지는 보다 포괄적이고 이론적으로 발전된 문헌을 활용하여 연속체 전반에 걸쳐 정책과 실무에 정보를 제공하는 신뢰할 수 있고 체계적인 PPI 교육학에 달려 있을 것입니다. 우리는 의학교육 커뮤니티가 한 걸음 더 나아가 이 과제를 해결해야 한다고 주장합니다. PPI를 실무와 교육학 모두에서 변화의 압력에 따라 좌우되는 복잡한 활동으로 보려면 교육 실무의 모든 영역에 걸쳐 수많은 다른 영향을 고려해야 합니다. 의미 있는 정책을 수립하고 연속체 전반에 걸쳐 적절하고 효과적인 실천을 구현하려면 의학교육에서 [PPI의 다양한 역할과 현실에 대한 이론적 근거]와 [경험에 기반한 이해]가 필요합니다. 하지만 안타깝게도 의학교육의 여러 영역에서 PPI에 대한 다양한 연구를 수행하려면 맥락을 파악하기 위해 개별적이고 매우 독특한 문헌 검토가 필요했습니다. 
We suggest that, in the future, patients and the public could serve as a unifying focus to facilitate an increasingly seamless transition through the educational continuum. The political will to achieve this, however, is likely to depend on a credible and systematic pedagogy of PPI that draws on a more inclusive and theoretically developed corpus of literature to inform policy and practice across the continuum. We would argue that it is the job of the medical education community to step forward and pick up this particular gauntlet. Viewing PPI as a complex activity that is contingent on the pressure of changes in both practice and pedagogy requires us to consider a plethora of other influences throughout all spheres of educational practice. Formulation of meaningful policy and implementation of relevant and efficacious practice across the continuum will be dependent on a theoretically grounded and empirically based understanding of the multiple roles and realities of PPI in medical education. Frustratingly, though, our various research studies of PPI in different areas of medical education have required separate and quite distinctive literature reviews for context.

규제 관련 문헌에서 PPI를 서술적으로 종합한 결과27 정책 입안자(회색 문헌), 의료 교육자(학술) 대상, 환자 및 일반인(일반인 지식)을 위한 글 사이에 존재하는 분열이 드러났습니다. 인용의 매핑을 통해 [의료 및 학술 언론]에 지식이 집중되고 유통되는 것을 확인할 수 있었으며, 이는 전문 의료 이해관계자 웹사이트의 위탁 보고서 및 기타 문서로 보완되었습니다. 이러한 자료는 PPI에 대한 지식 코퍼스를 형성했지만, 그 자체의 영역에 머물렀고 그 너머로 전파되지는 않았습니다. 따라서 이 글을 쓰는 시점에서 [환자와 대중은 자신과 관련된 공식 담론과 지식으로부터 고립되어 있으며], 이는 앞서 언급한 환자 중심적 수사에도 불구하고 가부장적 태도가 지속되고 있음을 반증하는 것이라고 주장할 수 있습니다.
Our narrative synthesis of PPI in regulation-related literatures27 revealed a schism that existed between writings for policy-makers (the grey literature), medical-educator (academic) audiences, and patients and the public (lay knowledge). Mapping citations highlighted a concentration and circulation of knowledge in the medical and academic press, which was supplemented by commissioned reports and other documents from professional medical stakeholder websites. These formed a corpus of knowledge about PPI, but one that remained in its own sphere and was not disseminated beyond it. At the time of writing, patients and the public therefore remain isolated from official discourses and knowledge about their own involvement, which we could argue testifies to a continuing paternalistic attitude in spite of the patient-centred rhetoric referred to earlier.

이러한 [분열은 의학교육 문헌에도 반영]되어 있는데, PPI에 대한 이론적, 정치적 논쟁과는 분리된 상태로, 현지화된 이니셔티브에 대한 [피어 리뷰 보고서]가 강조되고 있습니다. [회색 문헌]과 [피어 리뷰 문헌] 사이의 분리는 여기에서도 명백하며, 이전 문헌과 학술 연구 및 프로그램 평가 보고서의 유용한(그러나 종종 출판되지 않고 찾기 어려운) 기여도 사이에는 고려해야 할 추가 구분이 있습니다. 또한, 많은 기본 원칙과 목적이 의학의 원칙과 일치한다는 개념에도 불구하고 관련 전문직 교육에서 PPI를 사용하는 것에 대한 가교가 거의 없습니다. 예를 들어, 간호 및 조산 교육 문헌에서는 현재 커리큘럼에서 환자 참여 그룹(PPG)의 역할에 대한 활발한 논의가 이루어지고 있으며,6 정신건강 및 지역사회사업 논문집에서는 앞서 언급한 '가부장주의'와 '의료적 시선'에 대한 의학교육자의 이론적 이해를 돕는 참여 문제에 대한 논의28를 제시하고 있습니다.
The schism is reflected in the medical education literature, where there is an emphasis on peer-reviewed reports of localised initiatives, disjointed from more theoretical and political debates around PPI. Divisions between grey and peer-reviewed literature are evident here also, and there is a further divide to be considered, between those former literatures and the useful (but often unpublished and difficult to locate) contributions of scholarly work and programme evaluation reports. Moreover, there is little bridging of the use of PPI in the education of related professions, despite the notion that many of the underlying principles, and perhaps the purposes, coincide with those of medicine. The nursing and midwifery education literatures, for example, currently host a lively conversation about the role of patient participation groups (PPGs) in curricula,6 while the corpus of mental health and community work papers presents a discussion of issues of participation28 that might well help medical educators to address more theoretical understanding of the aforementioned ‘paternalism’ and ‘medical gaze’.

[전문적이고 학제적인 '사일로 문화'] 외에도 [지식 생산의 문화적 관습]은 PPI가 점유하는 다양한 영역을 가로지르는 것을 어렵게 하며, 이는 의심할 여지없이 이 주제에 대한 포괄적이고 엄격한 이해를 발전시키는 데 어려움을 초래할 것입니다. 따라서 환자와 대중의 참여에 직접적으로 초점을 맞춘 새로운 동료 심사 저널(예: 새로운 연구 참여 및 참여29)의 개발은 환영할 만한 이니셔티브가 될 것입니다. 특히 이러한 움직임은 [지식 생산에 대한 가부장적 접근 방식]에서 벗어나 [파트너십 지향적 접근 방식]을 촉진할 수 있습니다. 우리 연구 분야는 환자와 대중의 기여를 포용하는 학문적으로 신뢰할 수 있는 '허브'가 PPI 관련 연구에 전념한다면 큰 도움이 될 수 있습니다. [가부장적인 의학교육 문화]에서는 [학자나 임상 학자]가 다른 기관을 대신해 일을 하는 경우가 많지만, [학자 및 환자와 협력하고 파트너십]을 맺는다면 [사일로 출판 상황]을 극복하는 데 도움이 될 수 있으며, 무엇보다도 [PPI 교육학의 실제 창시]에서 [더 많은 PPI의 방향]으로 우리를 이끌 수 있을 것입니다.
In addition to professional and disciplinary ‘silo-cultures’, the cultural mores of knowledge production make it difficult to traverse the different realms occupied by PPI, and this will undoubtedly represent a challenge to the development of an inclusive and rigorous understanding of the subject. The development of new peer-reviewed journals (e.g. the new Research Involvement and Engagement29), which focus directly on patient and public involvement, would therefore represent a welcome initiative. In particular, such moves could facilitate less paternalistic and more partnership-orientated approaches to knowledge production. Our field of enquiry could well benefit from the provision of academically credible ‘hubs’ dedicated specifically to PPI-related work that embrace the contributions of patients and the public. Although a paternalist medical education culture often involves academics or clinical academics doing things on behalf of other agencies, working in collaboration and partnership with academics and patients might help overcome the silo-publishing situation and, perhaps most importantly, lead us in the direction of more PPI in the actual genesis of PPI pedagogy.

이러한 논쟁을 염두에 두고, 우리는 [일관되고 포괄적이며 진보적인 말뭉치의 개발이 교육학 말뭉치 개발의 중심]이 되어야 하며, [이질적인 문헌과 집단을 통합]하여 보다 체계적인 스키마 내에서 관행을 이해할 수 있도록 해야 한다고 주장합니다. 이러한 스키마는 규범적prescriptive이어서는 안 되며, PPI의 역동적인 특성을 제약하기보다는 촉진해야 합니다. Towle 등4 의 연구로부터 5년이 지난 지금, 우리는 의학교육자들이 다음과 같이 노력해야 한다고 제안합니다: 
Mindful of these contentions, we argue that the development of a cogent, inclusive and progressive corpus must be central to the development of a pedagogic corpus, and that disparate literatures and populations should be consolidated so practices can be understood within a more systematic schema. These schemas should not be prescriptive: they should facilitate, rather than constrain, the dynamic nature of PPI. Five years on from Towle et al.4 then, we suggest that medical educators should endeavour to:

PPI는 무엇을 의미하나요? 의학교육의 개요 파악하기
What do we mean by PPI? Gaining the overview in medical education

의료 전문직 전반에 걸쳐 환자의 적극적인 참여를 조사한 Towle 등의 연구4는 환자와 대중이 교육 활동 전반에 걸쳐 다양한 수준에서 통합될 수 있는 [참여 시스템으로서 PPI]를 이해하는 데 매우 유용했습니다. 앞서 언급한 '사다리'를 통해 이해한 [내장성embeddedness의 유형학]에서 저자들은 PPI 수준 간의 명확한 차이를 모델링했습니다.

• 교육 전략 및 커리큘럼 개발(드문 경우),
• 직접 교육 및 학습(약간 더 분명한 경우),
• 연구 대상 또는 연구 목적으로서의 교육 활동 참여(대부분의 연구에서 나타나는 경우)

Towle et al.'s4 review examining the active engagement of patients across the health professions, was invaluable to understanding PPI as a system of engagement within which patients and the public may be integrated at a range of levels across educational activities. In their resulting typology of embeddedness, understood via the aforementioned ‘ladder’, the authors modelled clear differences between levels of PPI in

• educational strategy and curriculum development (which they found to be a rare occurrence),
• direct teaching and learning (which was marginally more evident), and
• participation in teaching activities as a subject or object of study (which was the case in the majority of studies).

Towle 등의 연구는 PPI의 실행 및 평가를 다루는 다른 기관에서 채택한 개념적 틀을 제공했습니다. 특히 영국의 보건의료과학위원회는 '관여 없음'에서부터 '제한적', '증가', '협력', '파트너십'에 이르는 5가지 범주 체계를 채택했습니다.17
Towle et al.'s work provided a conceptual framework that has been picked up by other agencies dealing with the implementation and evaluation of PPI. Notably, the Council of Healthcare Sciences in the UK has adopted a 5-category system, ranging from ‘no involvement’, through ‘limited’ and ‘growing’ involvement, to ‘collaboration’ and ‘partnership’.17

Towle 등이 교육에서 다양한 수준의 PPI 활동에 대한 이해를 개발하는 것과 동시에, PPI를 연구하는 국제 팀은 [PPI의 성격과 목적에 따라 추가적인 구분]을 제시했습니다. 스펜서 등5은 [환자, 일반인, 일반인 대표 역할]의 몇 가지 범주를 설명하면서 의과대학이 현지의 필요를 충족하고 가용한 전문성을 활용하기 위해 유연한 체계를 채택해야 한다고 제안했습니다. 저희는 자체 연구를 통해 의사가 국가 규제 기관인 일반의학회(GMC)에 면허를 갱신하기 위해 진료 적합성에 대한 증거를 제출해야 하는 규제 프로세스인 영국의 의료 재검증에서 PPI의 목적과 실제를 살펴봤습니다. 여기에는 제도적 차원에서는 조직에 대한 대중의 참여가, 전문적 평가 및 지속적인 개발 차원에서는 환자의 피드백이 반영의 원동력이 되었습니다.30 규제 및 교육적 장치로서 PPI의 성격, 목적 및 부가 가치 측면에서 우리 자신의 관찰 결과는 Towle 및 Spencer 연구 결과와 직접적으로 일치했습니다.1, 4 앞서 언급한 PPI의 유형에 대한 논쟁과 마찬가지로, 우리는 [환자, 일반인 및 대중]이 PPI에 적극적으로 참여하는 사람들조차 계속해서 [혼용되는 용어]라는 것을 발견했습니다.
Concurrent with Towle et al.'s development of an understanding about differential levels of PPI activity in education, an international team working on PPI provided a further set of distinctions based on the character and purpose of PPI. Spencer et al.5 outlined several categories of patient, public and lay representative roles, suggesting that medical schools should adopt flexible schemes to meet local needs and make use of available expertise. In our own research, we explored the purpose and practice of PPI in medical revalidation in the UK: the regulatory process by which doctors must now provide evidence of their fitness to practise in order to renew their licence with the national regulator, the General Medical Council (GMC). This involved, at the institutional level, public engagement in organisations and, at the level of professional appraisal and ongoing development, patient feedback as a driver for reflection.30 In terms of the character, purpose and value added by PPI as both a regulatory and educative device, our own observations were directly translatable to the findings of the Towle and Spencer studies.1, 4 In common with the aforementioned debates about typologies of PPI, we found that patients, lay persons and the public are terms that continue to be used interchangeably, even by those actively engaged in PPI themselves.

물론 이러한 역할은 [존재론적]으로 구별되며, 따라서 PPI의 본질과 목적을 이해하는 [인식론적 논쟁]에 영향을 미치기 때문에 이 점이 중요합니다. 개념적 측면에서 보면, PPI의 용어와 언어가 '대중'과 '환자'를 동화시킴으로써 고유한 존재론적 경계를 모호하게 만드는 역할을 합니다. 예를 들어,

• '환자'라는 용어는 개인과 의사 또는 소규모 의료 또는 교육 팀 간의 소규모 지역 관계를 지칭하는 반면,
• '공공'은 이해관계자 그룹으로서의 환자 집단을 포괄합니다.
• 일반인 대표성은 일반인을 의료기관의 조직적 수준과 연관시키는 거버넌스와 더 관련이 있습니다.

우리는 서로 다른 주체로서 이러한 역할은 모든 PPI 모델 내에서 서로 다른 수준의 분석의 대상이 되어야 한다고 주장합니다. 
This is important because these roles are, of course, ontologically distinct, and therefore they have implications for epistemological debate about understanding the nature and purpose of PPI. In conceptual terms, as the terminology and language of PPI assimilates ‘public’ and ‘patients’, it serves to blur the inherent ontological boundaries. For example,

• the term ‘patient’ refers to the small local relationship between individuals and their doctors or small medical or educational teams,
• whereas the ‘public’ encapsulates the collective of patients as a stakeholder group.
• Lay representation is more concerned with governance, relating lay persons to the organisational level of medical institutions.

We argue that, as different entities, these roles should be subject to different levels of analysis within any model of PPI.

이러한 경계 모호함 또는 존재론적 혼동은 널리 퍼져 있는 것으로 보입니다. 문헌에 대한 여러 주요 기여를 통해 다양한 역할이 명시되었지만,4,31 일반적으로 용어가 일관되지 않아 명확성이 결여되어 있습니다. 놀랍지 않게도, 우리의 연구27,30는 이 문제가 순전히 철학적 논쟁을 초월한다는 사실을 입증했습니다. 이는 비용 및 운영 효율성뿐만 아니라 실제로 PPI를 적용할 때 목적 적합성에 영향을 미칩니다. 이러한 범주는 [필연적으로 광범위한 범주]이며 교육과 같은 역동적인 시스템에서 볼 때 상황에 따라 달라질 수 있다는 점을 인식하고, 적절하게 맞춤화된 교육법을 개발하기 위해 다음과 같은 구분이 필수적이라는 점에 주목합니다.
This boundary blurring or ontological muddling appears to be widespread: although various roles have been articulated by several key contributions to the literature,4, 31 there is a general terminological inconsistency that sustains a frustrating lack of clarity. Perhaps unsurprisingly, our research27, 30 has demonstrated that this matter transcends purely philosophical debates. It has implications for the fitness for purpose in any application of PPI in practice, as well as for cost and operational effectiveness. Recognising that these are necessarily broad categories, and that they are subject to contextual variations when viewed in a dynamic system such as education, we note the following distinctions as imperative for the development of appropriately tailored pedagogies.

환자
Patient

[환자]는 [의사와 의료 전문가와 즉각적이고 개인적인 관계]를 맺고 있기 때문에 교육에서 고유한 역할을 담당합니다. 환자는 이를 가능하게 하는 도구가 필요하지만 특정한 기술이 필요하지 않습니다. [환자의 목소리]가 도구가 되고 [건강, 질병 및 개별화된 치료를 받은 경험]이 기술이 됩니다. '환자'라는 실체와 관련하여, 우리 모두가 언젠가는 환자일 가능성이 높지만 그렇다고 해서 우리 모두가 항상 환자라는 의미는 아니라는 점을 기억하는 것이 중요합니다.
Patients have a unique role in education, because they have an immediate and personal engagement with doctors and the health profession. Patients require tools to enable them to do this but do not need a specific skill set: their voices are their tools and their experiences of health, illness and individualised receipt of care are their skills. In regard to ‘the patient’ as an entity, it is important to remember that, although in all likelihood we are all patients at some point, that does not mean that we are all always patients.

대중
Public

[대중]은 [집단적인 '환자의 목소리' 역할]을 하며 [어떤 식으로든 모든 환자를 대표]합니다. '대중'은 개별적으로 인식되는 '공익'을 대변하는 개인으로 구성될 수도 있고, 모든 의료 서비스 소비자를 위해 행동하고 의제를 공유하는 다른 보건 네트워크와 협력하는 국제환자단체연합과 같은 조직을 통해 대변될 수도 있습니다. 대중은 지역, 국가 및 국제 수준에서, 그리고 즉각적인 맥락과 보다 장기적인 맥락 모두에서 유용한 것으로 간주됩니다.
The public acts as the collective ‘patient voice’ and is representative of all patients in some way. The ‘public’ may comprise individuals speaking on behalf of the individually perceived ‘public interest’, or they may be represented through organisations, such as those represented by the International Alliance of Patient Organizations https://iapo.org.uk/, who act for all consumers of health care services and work collaboratively with other health networks with shared agendas. The public is viewed as useful at local, national and international levels, and in both immediate and more longitudinal contexts.

일반인 대표
Lay representation

[일반인]은 비임상 또는 비전문가의 참여를 지칭하는 일반적인 용어로 사용되지만, 우리 연구에 따르면 일반인 대표는 은퇴한 임상의인 경우가 많습니다.30 일반인 대표는 환자 지위보다는 관련 기술과 속성을 보유하고 적용하는 데 더 중점을 둡니다. 우리의 연구에 따르면 일반인 대표들은 전문적인 배경을 가짐으로써 스스로 혜택을 받는다고 생각합니다.30 일반인의 의견은 [거버넌스 논의 및 의사 결정에 대한 일반인의 참여와 관련]이 있으므로, 자문보다는 [적극적인 참여자]로 분류하는 것이 대중의 참여에 더 공감을 불러일으킬 수 있습니다. 따라서 [외부의 '독립적인' 목소리를 제공]한다는 점에서 일반인과 조직 모두의 관점에서 매우 가치 있는 것으로 간주됩니다.
Lay is used as a general term of reference for the involvement of persons who are non-clinical or non-specialists, although our research highlighted that lay representatives are often retired clinicians.30 Lay representation is less about patient status and more about possessing and applying relevant skills and attributes. Our research indicates that lay representatives feel they themselves benefit from having a professional background.30 Lay input is concerned with the participation of lay persons in governance discussions and decision-making, hence our categorisation of active participant rather than consultant, which may resonate more with public involvement. As such, it is deemed to be extremely valuable from both lay and organisational perspectives as it provides an external and ‘independent’ voice.

액면 그대로 받아들이면, 이 광범위한 유형론은 매우 복잡한 주제를 단순하게 구분하는 것처럼 보일 수 있습니다. 하지만 [의사, 기타 전문가, 대중, 환자]는 모두 각기 다른 정체성을 가지고 있으며, 환자 또는 대중 그룹마다 매우 다른 의제와 관점을 가지고 있으며, 이러한 관점은 끊임없이 변화하고 광범위한 개인적, 사회적, 문화적, 정치적, 경제적 압력에 영향을 받는 역동적인 시스템 속에서 형성되고 발전한다는 점을 인정합니다. 이는 일반인 대표의 정의에서 잘 드러납니다.

• 우리의 연구는 일반인 대표들이 전문적인 배경을 필요로 하기 때문에 운영에 익숙하고 따라서 '독립적인' 목소리를 낼 수 있는 특별한 특성이 있으며, 이 모든 것이 [일반인 대표]들이 인구학적 구성 측면에서 상당히 일반적인 사회적 정체성을 공유하게 한다는 점을 강조했습니다.27
• 또한 일반인들은 참여 시간이나 수준이 증가하거나 서비스에 대한 보수를 받을 경우 ['일반인'라는 정체성을 덜 갖게 될 수 있다]는 주장도 제기되고 있습니다.
• 따라서 일반인 대표를 체계화하거나 거버넌스 구조에 다양한 그룹의 참여를 확대하려는 모든 노력은 [가변성과 맥락적 요인]에 주의를 기울여야 합니다.

Taken at face value, this admittedly broad typology may appear to offer a simplistic demarcation of a very complex topic. We do acknowledge that doctors, other professionals, the public and patients all have different identities at different times; that different patient or public groupings have very different agendas and viewpoints, and that these are shaped and nurtured in dynamic systems that are ever-changing and subject to broader individual, social, cultural, political and economic pressures. This is exemplified in our definition of lay representation:

• our research highlighted how lay representatives require professional backgrounds so there is operational familiarity and therefore a particular quality to their ‘independent’ voice, all of which leads lay representatives to share a fairly common social identity in terms of their demographic make-up.27
• Moreover, lay people arguably become less characterised by their ‘lay’ identity as their time or level of involvement increases, or if they are remunerated for their services. Any endeavour to systematise lay representation, or to widen the participation of diverse groups in governance structures, therefore requires attention to variability and contextual factors.

그러나 우리는 이러한 문제를 단순화하려는 시도보다는 [PPI의 모호성과 복잡성]이 바로 의학교육이 PPI 학문과 연구에서 [존재론적, 인식론적 문제를 더 많이 고려해야 하는 이유]라고 주장하고 싶습니다. 이것이 강력한 분석 프레임워크를 개발하는 가장 중요한 동인 중 하나라고 제안합니다. 존재론적, 인식론적 구분은 PPI를 실행하는 사람들이 PPI와 (종종 추측적으로) 연관된 다양한 결과를 이해하는 데 도움이 되는 개념적 발판을 제공합니다. 물론 이 점은 단순히 의미론의 문제로 볼 수도 있지만, 그 자체로 이론과 실제에서 PPI의 다양한 측면을 이해하는 데 또 다른 차원을 추가합니다. 그러나 '사다리' 또는 [내재성 원칙]과 함께 보면 복잡성을 포착할 수 있는 범위가 더 넓어집니다. 
Rather than attempting to simplify these matters, however, we would argue that ambiguity and complexity in PPI is precisely why medical education should demand more consideration of ontological and epistemological matters in PPI scholarship and research. We suggest that this is one of the most important drivers for developing a robust analytical framework. Ontological and epistemological distinctions offer a conceptual scaffold to help those implementing PPI to appreciate the many different outcomes with which it has been (often speculatively) associated. This point may of course be viewed as merely a matter of semantics, which, on its own, adds another dimension to understanding the many faces of PPI in theory and practice. Viewed in combination with the ‘ladder’ or embeddedness principle, however, it offers greater scope for capturing complexity.

따라서 우리는 이 두 가지 유형을 통해 [참여의 양적 측정]과 [참여의 본질에 대한 보다 질적인 탐구]를 통합함으로써 교육 과정으로서의 PPI에 대한 학문적 이해를 강화할 수 있을 것이라고 제안합니다. 의학교육 커뮤니티에 중요한 것은, 이는 보다 복잡한 이론적 발전의 토대가 될 수 있으며, 사회 및 학습 이론을 현장의 PPI 현실에 적용할 수 있는 기회를 제공할 수 있다는 점입니다. 이는 결국 의학교육의 모든 측면에서 보다 프로그램적인 접근 방식으로 이러한 다양한 수준과 유형을 가장 잘 구현할 수 있는 방법을 이해하는 데 도움이 될 수 있습니다. 따라서 [다양한 형태의 참여]와 [다양한 수준의 참여] 중 어떤 것이 의학교육에서 PPI를 구성할 수 있는지에 대한 명확하고 공유된 개념을 개발하는 것뿐만 아니라, 이러한 모든 형태의 PPI의 복잡성을 수용할 수 있는 휴리스틱이 필요합니다.
We therefore suggest that integrating quantitative measures of participation with more qualitative exploration of the nature of engagement, via these two typologies, will strengthen our academic grasp on PPI as an educational process. Importantly for the medical education community, this could provide a basis for more complex theoretical development, and an opportunity to apply social and learning theories to the reality of PPI on the ground. This could in turn help us to understand how we might best implement these different levels and types in a more programmatic approach across all aspects of medical education. As well as developing a clear and shared concept of which of the various forms and levels of engagement might constitute PPI in medical education, we are therefore in need of a heuristic that can accommodate the complexity of PPI in all these forms.

PPI는 어떻게 작동하나요? 
복잡하고 역동적인 교육 시스템으로서의 PPI 이해
How does PPI work?
Understanding PPI as complex and dynamic educational systems

PPI에 대해 발표된 연구들은 일반적으로 현지 프로젝트의 장점을 설명하는 데 그쳤으며, PPI가 실제로 어떻게 '작동'하는지에 대한 정교한 개념적 이해를 바탕으로 한 경우는 드뭅니다. 최근의 이니셔티브는 이러한 필요성을 해결하기 위해 노력했습니다. 예를 들어, 이 글을 쓰는 시점에 고등 교육 기관(HEI)에 일반적인 프레임워크를 제공하기 위해 마련된 보건의료과학위원회(Council of Healthcare Sciences)는 지침에서 다음과 같은 잠재적 평가 질문을 식별합니다.17
Published studies of PPI have typically outlined the merits of local projects, and have rarely been framed by any sophisticated conceptual understanding of how PPI actually ‘works’. More recent initiatives have sought to address this need. The Council of Healthcare Sciences, for example, which at the time of writing is set to provide a generic framework for higher education institutions (HEIs), identifies the following potential evaluation questions in its guidance:17

표준을 높이고 일관성을 보장하기 위한 이러한 유형의 이니셔티브는 우리가 이미 설명한 과제를 고려할 때 이 분야에 환영할 만한 기여를 제공합니다. 이제 필요한 것은 PPI의 개념적, 이론적 측면을 모두 운영화하여 평가 목적에 맞게 분석 프레임워크 내에 수용하는 것입니다. 다시 말해, PPI를 [능동적인 프로세스]로 이해하려면 PPI 이니셔티브를 [구성 요소로 분해]하고 [상호 작용의 고유하고 '실제적인' 복잡성]에 초점을 맞춘 분석이 필요합니다. 우리는 인간의 활동을 특정 맥락에서 활동을 통해 학습과 변화가 일어나는 시스템으로 개념화하는 활동 이론(AT)이 이러한 전제를 충족한다는 것을 발견했습니다.32
This type of initiative to drive up standards and ensure consistency provides a welcome contribution to the field given the challenges we have already outlined. What is now required is operationalisation of both the conceptual and theoretical aspects of PPI, and their accommodation within an analytical framework for evaluation purposes. In other words, understanding PPI as an active process requires some deconstruction of PPI initiatives into their component parts, with analysis focused on the inherent and ‘real life’ complexities of their interactions. We have found that activity theory (AT) fulfils this premise,32 in conceptualising human activity as a system whereby learning and change happen through activity in a specific context.33

[AT 원칙]의 역사적 발전에 대한 논의는 이 백서의 범위를 벗어나지만, 1970년대 러시아의 문화사적, 심리적 연구 전통에서 비롯되었으며, [사고와 구체적인 사회적 실천 사이의 관계]에 대한 근본적인 질문에 뿌리를 두고 있다는 점에 주목하는 것이 유용할 것입니다.34 AT는 그 개념이 정립된 이후 Engeström35 등의 연구를 통해 다양한 연구 분야에서 복잡한 활동 시스템을 모델링하는 데 사용되어 왔으며, 점차 '교육 연구 및 실천을 위한 통합 로드맵'을 제시할 수 있다는 점이 인정받게 되었습니다.36 또한, 의학 분야를 포함한 직장 및 조직 이론가37 에 의해 자주 채택되었으며,32, 35, 38 직장 환경에서의 활동에 대한 풍부한 구조적 설명을 제공합니다.37, 39
Discussion of the historical development of the principles of AT is beyond the scope of this paper, but it is perhaps useful to note that it originated from a Russian cultural-historical and psychological research tradition in the 1970s and is rooted in fundamental questions about the relationship between thinking and concrete social practices.34 Since its conception, and through the work of Engeström35 and others, AT has been used to model complex activity systems in various fields of research, and it has gradually become accepted that it can present ‘an integrated road map for educational research and practice’.36 Moreover, it has been frequently adopted by workplace and organisational theorists,37 including those in medicine,32, 35, 38 in providing a richly structured account of activity in workplace settings.37, 39

중요한 것은, AT가 PPI에 적용될 때 모든 활동 시스템의 구조를 ['복잡성을 '노이즈'로 치부하기보다는, 이해를 높이기 위해 이러한 복잡성을 중시'하는 방식]으로 복잡성을 조직화하는 원칙으로 취급한다는 점에서 다양성과 모호성을 수용하는 데 대한 우리의 우려를 해결한다는 점입니다. 40 엥게스트룀의 행동 개념에서,35 [인간 활동]은 분리할 수 없고 상호 구성적인 여섯 가지 요소의 상호 작용입니다: