Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

구름낀 푸른하늘: 의대생-전공의 이행에서의 지속적 긴장을 식별하고 미래의 이상적 상태 그리기(Acad Med, 2023)
Blue Skies With Clouds: Envisioning the Future Ideal State and Identifying Ongoing Tensions in the UME–GME Transition
Karen E. Hauer, MD, PhD, Pamela M. Williams, MD, Julie S. Byerley, MD, MPH,
Jennifer L. Swails, MD, and Michael A. Barone, MD, MPH

의학교육의 목적은 환자의 요구를 충족하고 점점 더 다양해지는 인구를 돌볼 수 있는 지식, 기술, 태도(역량)를 갖춘 의사를 양성하는 동시에 공익을 위해 봉사하는 의료계의 의무를 이행하는 것입니다. 1 의학교육은 또한 COVID-19 팬데믹과 조직적 인종차별을 포함하여 건강과 웰빙에 대한 현재의 도전에 맞설 준비가 된 강력한 인력을 확보하고 지원하기 위해 수련생과 의사의 웰빙에도 관심을 기울여야 합니다. 2,3 이러한 널리 지지되는 목표에도 불구하고 현재의 단계적 의사 수련 과정은 어려움을 겪고 있습니다. 4,5

• 교육 연속체 전반에 걸쳐 조정이 제대로 이루어지지 않고,
• 수련의 진도를 의료 요구에 맞추지 못하며,
• 여러 이해관계자에게 스트레스를 유발하고,
• 수련의와 교육자의 시간, 에너지, 자원을 과도하게 소비하는 

The purpose of medical education is to prepare physicians with the knowledge, skills, and attitudes (competencies) to meet patient needs and care for an increasingly diverse population while fulfilling the medical profession’s obligation to serve the public good. 1 Medical education also needs to attend to trainee and physician well-being to ensure and support a robust workforce prepared to confront current challenges to health and wellness, including the COVID-19 pandemic and systemic racism. 2,3 Despite these widely endorsed aims, the current stepwise process of physician training

• suffers from poor coordination across the educational continuum;
• fails to align trainee progression with health care needs;
• creates stress for multiple stakeholders; and
• consumes excessive trainee and educator time, energy, and resources. 4,5

이러한 단점을 보여주는 특별한 문제점은 의과 대학에서 레지던트로 전환하는 과정입니다. 

• [학생]들은 의과대학 4학년이 되면 교육적, 개인적 가치를 인식하지만,6 이 시기에는 주로 지원 절차에 집중합니다. 자기소개서와 2차 지원서 작성, 방문 로테이션 완료, 인터뷰 예약, 프로그램 방문을 위한 여행 등이 포함된 이 과정은 많은 재정적, 시간적 비용이 발생하며 재정적 여유가 있는 학생에게 유리합니다. 7-9 이 과정은 또한 전환에 관련된 다른 사람들에게도 부담을 줍니다. 
• [의과대학 교육자]들은 재학생 및 예비 학생, 동료, 인증기관 사이에서 학교에 대한 우호적인 인식을 조성하기 위한 지속적인 노력의 일환으로 학생들이 원하는 레지던트 자리를 확보할 수 있도록 경쟁합니다. 
• 한편 [레지던트 프로그램 디렉터, 직원 및 교수진]은 학생들이 많은 수의 지원서를 제출하도록 장려하는 시스템의 맥락에서 지원자에 대한 비슷한 수준의 정보가 포함된 수백 개의 지원서를 접수하고 처리합니다. 10 
• 이러한 과중한 업무량을 관리하기 위해 교육계 리더들은 자기소개서 타겟팅, 추천서 구조화, 면접 제한 등 다양한 솔루션을 제안했습니다. 11-14 이러한 솔루션은 미국 의대 및 정골과 학생, 교육자, 레지던트 프로그램 디렉터 및 직원뿐만 아니라 미국 레지던트 자리를 확보하는 데 더 큰 장애물을 경험하는 국제 의대 학생 및 교육자에게도 지원 절차를 완화할 수 있는 잠재력을 가지고 있습니다. 14,15 

그러나 의과대학에서 레지던트로의 전환을 개선하기 위한 공식적이고 대규모적인 노력은 없었습니다.

A particular pain point demonstrating these shortcomings is the transition from medical school to residency.

• While students recognize educational and personal value to the fourth year of medical school, 6 they largely focus this time on the application process. The process, which involves writing personal statements and secondary applications, completing visiting rotations, securing interviews, and traveling to visit programs, incurs high financial and time costs and advantages students with more financial resources. 7–9 The process also strains others involved in the transition.
• Medical school educators vie to ensure their students secure desired residency positions as part of their ongoing efforts to foster favorable perceptions of their school among current and prospective students, peers, and accreditors.
• Meanwhile, residency program directors, staff, and faculty receive and process hundreds of applications containing similarly glowing information about candidates, in the context of a system that incentivizes students to submit high numbers of applications. 10 
• To manage this overwhelming workload, education leaders have proposed various solutions, including targeting personal statements, structuring letters of recommendation, and limiting interviews. 11–14 These solutions hold potential to ease the application process not only for U.S. medical and osteopathic students, educators, and residency program directors and staff but also for students and educators from international medical schools, who experience even greater hurdles to securing U.S. residency positions. 14,15 

But there has been no formal, large-scale effort to improve the transition from medical school to residency.

학부 의학교육에서 대학원 의학교육 검토 위원회(UGRC)
Undergraduate Medical Education to Graduate Medical Education Review Committee (UGRC)

2020년에 발표된 USMLE 1단계 점수 보고가 합격/불합격 결과만으로 변경되면서 학부 의학교육(UME)에서 의학전문대학원(GME)으로의 전환을 학습자, 프로그램, 잠재적으로 의료계에 도움이 되는 방식으로 완화하고 개선하는 논의가 촉발되었습니다. 16,17 [교육 연속성을 개선하기 위해 노력하는 이해관계자들이 모여 수련의와 의사에 대한 감독, 교육, 평가에 중점을 두는 단체]인 의사 책임성 연합(CoPA)은 학부 의학교육-의학전문대학원 교육 검토위원회에 전환을 개선하기 위한 권고안을 작성하도록 의뢰했습니다. UGRC는 학습과 건강을 최적화하고 수련의가 공익을 위해 봉사할 수 있는 역량을 갖추도록 교육 연속성을 추구하는 데 이해관계자를 통합하는 것을 목표로, 비효율성과 이해관계자 간 이해관계가 상충하는 현재의 프로세스를 혁신하기 위해 대규모 변화 관리를 수반했습니다. 변화 관리에는 필요한 변화의 목적과 범위를 이해하여 다양한 이해관계자를 원하는 상태로 안내하는 강력한 비전을 만들어야 합니다. 18,19 
The change in USMLE Step 1 score reporting to a pass/fail outcome only, announced in 2020, catalyzed discussions about easing and improving the transition from undergraduate medical education (UME) to graduate medical education (GME) in ways that would benefit learners, programs, and potentially health care. 16,17 The Coalition for Physician Accountability (CoPA), an organization that convenes stakeholders committed to improving the educational continuum and focuses on oversight, education, and assessment of trainees and physicians, charged the Undergraduate Medical Education to Graduate Medical Education Review Committee with crafting recommendations to improve the transition. The charge to the UGRC entailed large-scale change management to transform the current process, which is characterized by recalcitrant inefficiencies and competing stakeholder interests, with the goal to unify stakeholders in pursuing an educational continuum that optimizes learning and wellness and equips trainees to serve the public good. Change management requires understanding the purpose and scope of needed change to create a powerful vision that guides diverse stakeholders toward a desired state. 18,19

[공유된 비전]을 달성하려면 쉬운 해결책이 없는 UME-GME 전환의 현재 긴장을 인정해야 합니다. 상호 연결된 모든 우려 사항을 충분히 해결하지 못한 채 해결책에 조기에 집중하는 것을 피하기 위해 UGRC는 긴장을 해결하기보다는 인정하는 접근 방식인 양극성 사고를 채택했습니다. 20 양극성 사고는 의학 교육에서 학습자 평가의 긴장을 고려하는 데 유용한 프레임을 제공합니다. 21 양극성 또는 긴장은 서로 다른 장단점을 가진 스펙트럼의 두 극을 나타냅니다. 이해관계자의 서로 다른 가치관은 서로 다른 극의 상대적 장점에 대한 견해를 형성합니다. 조직이 수용의 태도와 긴장을 관리하려는 목표를 가지고 시스템 설계에 접근하면 복잡한 문제를 성공적으로 해결할 수 있습니다. 따라서 이 글의 목적은

• (1) UGRC가 구상하는 이상적인 상태를 제시하고
• (2) 양극성 사고를 사용하여 관리가 필요한 이상적인 시스템의 긴장을 이해하는 것입니다.

Achieving a shared vision requires acknowledging current tensions in the UME–GME transition that defy easy solutions. To avoid a premature focus on solutions that insufficiently address all interconnected concerns, the UGRC employed polarity thinking, an approach that acknowledges rather than solves tensions. 20 Polarity thinking provides a useful frame to consider tensions in learner assessment in medical education. 21 Polarities, or tensions, represent 2 poles of a spectrum with different advantages and disadvantages. Stakeholders’ different values shape their views of relative merits of different poles. When organizations approach systems design with an attitude of acceptance and a goal of managing tensions, they are positioned to succeed in tackling complex problems. Thus, the purpose of this article is to

• (1) present the ideal state envisioned by the UGRC and
• (2) use polarity thinking to understand tensions in the ideal system that will require management.

UGRC 방법
UGRC Methods

[학부 및 대학원 의학교육자, 국내 및 국제 의학교육 기관 회원, 일반인 회원, 학생, 레지던트, 의학박사 학위 수여 학교 및 정골의학 학교 대표 등 30명]으로 구성된 UGRC 위원들은 이상적인 상태의 전환을 위해 노력했습니다. 이상적인 상태를 구상하기 위해 UGRC는 문헌, 데이터 및 이해관계자 경험을 검토하여 UME-GME 전환의 문제점을 특성화했습니다. 결과 기반 교육의 원칙을 준수하면서22 UGRC는 현재의 우려 사항과 원하는 결과 사이의 격차를 해소하는 비전을 명확히 하기 위해 백워드 디자인 프로세스에 참여했습니다. 23
The 30 members of the UGRC included undergraduate and graduate medical educators, national and international medical education organizational members, public members, students, and residents, with representatives of MD-granting and osteopathic schools. To envision the ideal state, the UGRC reviewed literature, data, and stakeholder experience to characterize problems in the UME–GME transition. Adhering to tenets of outcomes-based education, 22 the UGRC engaged in a backward design process to articulate a vision that addresses the gap between current concerns and desired outcomes. 23

UGRC는 UME-GME 전환이 학습자, 교육자, 대중 등 모든 이해관계자에게 최적의 결과를 가져다주는 이상적인 상태를 성과로 정의했습니다. 24 이 "푸른 하늘" 접근 방식은 혁신을 불러일으키고 복잡한 문제를 해결하는 데 적합합니다. 25 회원들이 현상 유지에서 벗어나 대담하게 생각할 수 있는 충분한 시간을 갖도록 하기 위해 UGRC는 2개월 동안 UME-GME 전환을 위한 이상적인 상태를 개념화하는 데 전념했습니다. UGRC는 레지던트 지원 단계에 맞춰 4개의 작업 그룹을 구성하여 매치의 거래적 측면이 아닌 이상적인 전환 시스템을 구상했으며, 전환의 다음과 같은 측면을 포함했습니다:

• (1) 레지던트 준비도(예: 학생 진로 상담, 역량 평가), 
• (2) UME 관점에서의 지원 및 선발 과정의 메커니즘(예: 학생과 학교의 지원 및 선발 경험)  
• (3) GME 관점에서의 지원서 선발 과정의 메커니즘(예: 지원서 검토, 면접, 후보자 순위), 
• (4) 매칭 후 최적화(예: 학습자의 의과대학에서 레지던트로의 전환 지원). 

The UGRC defined outcomes as an ideal state in which the UME–GME transition produces optimal results for all stakeholders: learners, educators, and the public. 24 This “blue-skies” approach invites innovation and is well suited to addressing complex problems. 25 To ensure that members had adequate time to think boldly outside the status quo, the UGRC devoted 2 months to conceptualizing an ideal state for the UME–GME transition. The UGRC charged 4 work groups aligned with residency application stages to envision an ideal transition system, rather than just the transactional aspects of the Match, including the following aspects of the transition:

• (1) residency readiness (e.g., student career advising, assessing competence);
• (2) the mechanics of the application and selection process from the UME perspective (e.g., student and school experience with applications, interviews);
• (3) the mechanics of the application selection process from the GME perspective (e.g., application review, interviewing, candidate ranking); and
• (4) post-Match optimization (e.g., supporting learner transition from medical school to residency).

4개의 작업 그룹은 각각 7~8명으로 구성되었으며, 학생 및 레지던트 교육자, 기관 대표, 학습자, 일반인이 각 작업 그룹에 고루 분포되어 있습니다. 모든 작업 그룹에서 이상적인 상태를 위한 통일된 동인은 웰빙, 공익, 다양성, 형평성, 포용성에 대한 약속이었습니다.
Each of the 4 work groups included 7 to 8 members with student and resident educators, organizational representatives, learners, and members of the public distributed throughout the work groups. Unifying drivers for the ideal state across work groups were commitments to well-being; public good; and diversity, equity, and inclusion.

먼저, 각 작업 그룹은 전환의 각 부분에 대한 이상적인 상태를 개념화했습니다. 전체 UGRC는 각 이상적인 상태를 검토하고 구체화하여 그룹 간의 차이를 분석했습니다. 그런 다음 작업 그룹 리더는 복합적인 이상적인 상태를 생성했습니다. 복합 이상 상태의 타당성을 구축하고 시스템 설계를 성공적으로 안내하고 원하는 결과를 달성할 가능성을 높이기 위해 UGRC는 2020년 12월에 이 작업에 관심이 있는 103개 조직을 대상으로 설문조사를 통해 관련 이해관계자의 의견을 구했습니다. 주로 의대생(n = 10), 레지던트/펠로우(n = 1), 레지던트 프로그램 디렉터(n = 15), 사무직 디렉터(n = 8), 의료 협회(n = 11), 주 의사회(n = 53), CoPA 회원 단체(n = 5) 등이 참여했습니다. 32개의 응답을 받아 주제별로 정리했으며, 확인된 주제는 추가 구성 요소를 호출하지 않고 복합적인 이상적 상태 내용을 강화했습니다. 이상적인 상태 특성화는 이후 현재 상태와 이상적인 상태 사이의 격차를 탐색하고 이상적인 상태 구성 요소에 매핑된 권장 사항을 생성하는 UGRC 작업을 안내했습니다. 
First, each work group conceptualized an ideal state for their portion of the transition. The entire UGRC vetted and refined each ideal state and analyzed discrepancies across groups. Work group leaders then generated a composite ideal state. To build validity of the composite ideal state and increase the likelihood that it will successfully guide system design and achieve desired outcomes, the UGRC sought relevant stakeholder input via a survey in December 2020 of 103 organizations interested in this work. These primarily represented medical students (n = 10), residents/fellows (n = 1), residency program directors (n = 15), clerkship directors (n = 8), medical associations (n = 11), state medical societies (n = 53), and CoPA member organizations (n = 5). We received 32 responses, which we organized thematically; the identified themes reinforced composite ideal state content without invoking additional components. The ideal state characterization subsequently guided UGRC work exploring gaps between current and ideal states and generating recommendations mapped to ideal state components.

이상적 상태의 특성
Characterization of the Ideal State

UGRC는 다음과 같은 핵심 가치에 중점을 둔 시스템으로 이상적인 상태를 구상했습니다(그림 1).

• 학습의 연속성을 촉진하고,
• 관련된 사람들의 복지를 지원하고,
• 다양성을 증진하고,
• 편견을 최소화하고,
• 공익에 기여하고,
• 신뢰할 수 있는 정보와 결과를 제공

The UGRC envisioned a blue-skies ideal state as a system centered upon core values that

• facilitate the continuum of learning,
• support the well-being of those involved,
• promote diversity,
• minimize bias,
• serve the public good, and
• yield trustworthy information and results (Figure 1).

이상적인 UME-GME 전환은 공평하고 효율적이며 투명합니다. 24 표 1은 이상적인 전환이 학습자의 성장, 근거에 기반한 전문과목 선택, 역량 달성 및 개인 건강을 어떻게 지원하는지에 대한 개요를 제공합니다.

• 학습자는 개인의 강점과 학습 요구를 인식하고 직업적 정체성 형성을 최적화하는 방식으로 의과대학에서 적합한 레지던트 프로그램으로 진급합니다.
• 이 시스템은 학습자, 교육자 및 적절한 경우 규제기관을 위해 의미 있는 정보를 생성하는 도구를 사용하여 신뢰할 수 있는 역량 문서를 제공합니다.
• 이 시스템은 프로그램 디렉터와 후원 기관에 지속 가능한 학습자 중심 경험을 제공합니다.
• 이상적인 시스템은 의학교육 및 의료 시스템의 변화에 유연하게 적응할 수 있으며 지속적으로 개선됩니다.
• 재정, 교육, 환자 치료, 복지 등의 비용은 가치를 극대화하고 이해 상충을 인식하며 공익을 지원할 수 있는 적절한 규모로 책정되어야 합니다.
• 학습자는 다양한 환자 집단에 서비스를 제공하고, 격차를 최소화하며, 형평성을 높여 의료의 사회적 사명과 공적 계약을 이행할 준비가 되어 있습니다.
• 의학교육 및 의료 시스템이 인종차별과 유해한 편견의 영향을 최소화하기 위해 노력함에 따라, 다양성은 모든 전문 분야, 프로그램 및 지리적 영역에 걸쳐 존재하고 중요시됩니다.
• 교수진, 학습자 및 시스템 구조는 성장 마인드를 키우는 포용적인 학습 환경을 조성합니다.
• 의대생은 신뢰할 수 있고 수준 높은 조언을 통해 궁극적으로 자신의 커리어를 책임질 수 있는 역량을 갖추게 됩니다.

The ideal UME–GME transition is equitable, efficient, and transparent. 24Table 1 provides an overview of how the ideal transition supports learner growth, evidence-informed specialty selection, achievement of competence, and personal wellness.

• Learners progress from medical school to well-suited residency programs in a manner that recognizes their individual strengths and learning needs and optimizes professional identity formation.
• The system provides trustworthy documentation of competence using tools that generate meaningful information for learners, educators, and where appropriate, regulators.
• The system provides a learner-centered experience sustainable for program directors and sponsoring institutions.
• The ideal system is flexibly adaptable to changes in medical education and health care systems; it is continuously improved.
• Costs—financial, educational, patient care, well-being—are right-sized to maximize value, recognize conflicts of interest, and support the public good.
• Learners are prepared to serve diverse patient populations, minimize disparities, and elevate equity to fulfill medicine’s social mission and public contract.
• Diversity is present and valued throughout all specialties, programs, and geographic areas as medical education and health care systems act to minimize effects of racism and harmful bias.
• Faculty, learners, and system structure cultivate inclusive learning environments that foster a growth mindset.
• Medical students, supported by reliable and high-quality advising, are ultimately empowered to take responsibility for their career progression.

이 푸른 하늘의 비전은 매칭 전, 매칭 중, 매칭 후의 UME-GME 전환에 관한 것입니다. 위원회는 다음의 것들이 이상적인 상태에서 어떻게 나타날지 상상했습니다(표 1).

• 웰니스,
• 전공 선택,
• 학습자 선발,
• 역량,
• 연속성 및 핸드오프,
• 테크놀로지,
• 라이선스 및 자격 인증,
• 생애 전환,
• 레지던트 시작 및 레지던트 환경

이러한 열망적인 사고는 UGRC 회원들로 하여금 학습자(미국 의대 및 정골 의학 졸업생, 미국 시민권자 국제 의학 졸업생[IMG], 미국 외 IMG), UME 및 GME 교육자, 대중에게 혜택을 주기 위해 현재 생태계의 개선과 변화를 구상하게 만들었습니다. 
This blue-skies vision attends to the UME–GME transition before, during, and after the Match. The committee envisioned how wellness, specialty selection, learner selection, competence, continuum and handoff, technology, licensing and credentialing, life transition, residency launch, and residency environment would manifest in an ideal state (Table 1). This aspirational thinking propelled UGRC members to envision enhancements and changes to the current ecosystem to benefit learners (medical and osteopathic U.S medical graduates, U.S. citizen international medical graduates [IMGs], and non-U.S. IMGs), UME and GME educators, and the public.

현재 상태의 긴장
Tensions in the Current State

UME-GME 전환의 [이상적인 상태에 대한 비전]과 [실제 현재 상태] 사이에는 격차가 존재합니다. 이러한 격차는 학습자, 교육자, 레지던트 프로그램 및 대중의 가치관이 서로 관련되어 있지만 다양한 목표를 가지고 있기 때문에 존재하며, 이러한 목표의 차이로 인해 현재 UME-GME 전환에서 잘못된 조정과 실패를 초래합니다. 이러한 불일치와 실패는 사려 깊은 관심과 행동, 옹호로 관리하고 해결하지 않는 한 당분간 지속될 근본적인 긴장에 기반을 두고 있으며, 쉽게 해결되지 않을 것입니다.
Gaps exist between the vision for an ideal state and the actual current state of the UME–GME transition. These gaps exist because learners, educators, residency programs, and the public value related yet varied goals, and the differences in these goals result in misalignment and failings in the current UME–GME transition. These misalignments and failings are grounded in underlying tensions that will persist for the foreseeable future and defy easy solutions unless they are managed and addressed with thoughtful attention, action, and advocacy.

고베어츠와 동료들은 양극성 사고 모델을 설명하면서 긴장을 관리하기 위한 세 가지 단계, 즉 보기, 매핑, 탭핑/활용을 명확하게 설명합니다. 21 

• 보기는 긴장의 존재를 인식하고 인정하는 것과 같습니다. 20,21 
• 매핑은 긴장의 반대 극에 있는 긍정적인 측면과 부정적인 측면을 식별하는 것을 의미합니다. 
• 태핑/활용에는 각 극의 장점을 극대화하고 단점을 최소화하기 위한 프로세스와 행동을 식별하는 것이 포함됩니다. 

In describing the Polarity Thinking model, Govaerts and colleagues articulate 3 steps for managing tensions: seeing, mapping, and tapping/leveraging. 21 

• Seeing equates to recognizing and acknowledging the existence of the tension. 20,21 
• Mapping entails identifying positive and negative aspects of opposite poles of the tension.
• Tapping/leveraging involves identifying processes and actions to optimize upsides and minimize downsides of each pole.

아래에서는 문헌 검토와 UGRC 논의 참여를 바탕으로 파악한 UME-GME 전환의 3가지 핵심 긴장에 대해 설명합니다("보기"). 부록 디지털 부록 1은 각 긴장에 대한 극성 지도("매핑")를 보여줍니다. 표 2는 '양립' 관점("활용/활용")을 통해 긴장과 이를 관리할 수 있는 기회를 설명합니다. 우리는 교육 시스템과 전반적인 의료 시스템의 복잡한 상호 작용으로 인한 긴장을 포함하여 다른 긴장이 존재한다는 것을 인정합니다.
Below, we describe 3 central tensions in the UME–GME transition that we identified based on our review of the literature and participation in UGRC discussions (“seeing”). Supplemental Digital Appendix 1 at https://links-lww-com-ssl.access.hanyang.ac.kr:8443/ACADMED/B324 shows the polarity map for each tension (“mapping”). Table 2 describes tensions and opportunities to manage them through a “both-and” lens (“tapping/leveraging”). We acknowledge that other tensions exist, including some driven by complex interactions of the educational system and overall health care system.

학습과 성장을 위한 평가의 목적과 순위 및 서열화를 위한 평가의 목적 비교
The purpose of assessment for learning and growth versus ranking and sorting

의학교육자들은 자신의 지속적인 성장과 개선에 전념하는 의사를 대중에게 제공하고자 합니다. 의학 발전의 속도와 대부분의 의사가 정규 교육 이후에 경력을 쌓는 현실을 고려할 때, 평생 학습과 성장 마인드를 촉진하는 기술과 행동은 필수적입니다. 26-28 그러나 레지던트 선발 과정에서는 학생과 학교가 최고 성과자를 구별할 방법을 모색함에 따라 [성장 관련 행동]보다 [성과 관련 행동]이 더 강조되고 있습니다. 마찬가지로, 레지던트 지원서를 많이 받는 프로그램 디렉터들은 지원자의 학업 기록을 구별하고 신속하게 순위를 매기고 분류할 수 있는 의미 있는 평가 데이터를 찾고 있습니다.
Medical educators aspire to provide the public with physicians dedicated to their own continuous growth and improvement. Given the speed of medical advances and reality that the majority of physicians’ careers occur after formal education, skills and behaviors that promote lifelong learning and growth mindset are essential. 26–28 However, the residency selection process emphasizes performance-related behaviors more than growth-related behaviors as students and schools seek ways to distinguish top performers. Similarly, program directors receiving high numbers of residency applications seek meaningful assessment data to distinguish among the academic records of candidates and enable quick ranking and sorting.

이러한 현상은 학습자들 사이에 고정된 사고방식을 조장하고 평가 데이터에서 잠재적으로 잘못된 추론(예: 높은 시험 점수가 양질의 환자 치료를 예측한다는 것)을 가능하게 합니다. 사고의 리더와 교육 학자들은 평가가 성장을 위한 도구로 사용되기보다는 무기화되고 있다고 경고해 왔습니다. 29 UME-GME 전환 과정에서 관리되지 않은 이러한 긴장은 의과대학 전체에서 평가가 사용되고 평가되는 방식을 형성했습니다.

• 레지던트 지원 시 신뢰도가 높은 총괄적 표준 객관식 시험에 초점을 맞추다 보니 순위 매기기와 분류에는 덜 유용하지만 학습이나 환자 진료에는 더 가치 있는 평가(예: 실무 기반 평가)의 개발과 채택이 부족해졌습니다. 30
• 수치 점수의 작은 차이는 오차 범위 내에 있는 것으로 공개적으로 보고됨에도 불구하고 과도하게 해석됩니다. 31
• 또한, 점수가 의도하지 않은 목적으로 사용될 경우, 시험 성과에 대한 잘못된 능력주의가 발생하여 성장 지향성을 소멸시키고 의학의 다양성과 포용성을 제한할 수 있습니다. 32,33

This current state manifests in the promotion of a fixed mindset among learners and enables potentially incorrect inferences from assessment data (e.g., that high exam scores predict quality patient care). Thought leaders and education scholars have warned that assessments are being weaponized rather than used as a tool for growth. 29 This unmanaged tension across the UME–GME transition has shaped how assessments are used and valued throughout medical school.

• The focus on high-reliability summative, standardized, multiple-choice question exams as key currency in residency applications shortchanges the development and adoption of assessments that are less useful for ranking and sorting but more valuable for learning or patient care (e.g., workplace-based assessments). 30 
• Small differences in numeric score performance are overinterpreted despite these being publicly reported as within margins of error. 31 
• Furthermore, when scores are used for purposes for which they were not designed, a false meritocracy develops around examination performance that can extinguish growth-orientation and limit diversity and inclusion in medicine. 32,33

의학교육자는 평가 목적을 중심으로 두 극의 장점을 모두 발전시킬 수 있도록 평가 목표를 재구성해야 합니다. 신뢰도와 정밀도가 높은 평가 형식을 "목적에 맞는" 방식으로 사용하여 중요한 전환점에서 중요한 판단을 내릴 수 있습니다. 레지던트 프로그램 지도부가 인정하지 않는 국제학교 출신 지원자 등 GME 지원자에 대한 자세한 정보나 맥락이 부족한 경우, 면허 시험 점수는 의학 지식에 대한 최소한의 역량을 보장합니다. 임상의가 진단 테스트 데이터를 사용하여 해석하고 의사 결정을 내리는 것처럼 교육자는 현재 평가 형식의 강점과 한계(즉, 응시자에 대해 무엇을 나타낼 수 있고 무엇을 나타낼 수 없는지)를 이해하고 준수하기 위해 노력해야 합니다. 총체적인holistic 검토를 수행할 때 "목적에 맞는" 평가 데이터를 활용하면 지원자를 학습 및 경력 목표에 적합한 GME 프로그램에 매칭한다는 명시된 목표에 더 가까워질 수 있습니다. 그렇게 하지 않으면 레지던트 선발의 행정 업무량을 관리하기 위해 평가 데이터를 부적절하게 사용하는 일이 지속되고, 지원자 수를 줄이고 총체적holistic 검토를 수행하기 위한 프로그램 리소스를 강화할 필요성을 피할 수 없게 됩니다.
Medical educators must reframe goals for assessment to advance the upsides of both poles around assessment purpose. Assessment formats with high reliability and precision can be used in a “fit-for-purpose” manner to inform high-stakes judgments at significant transition points. When more detailed information or context about a GME applicant is less available (e.g., for an applicant from an international school unrecognized by residency program leadership), licensing examination scores ensure minimum competence in medical knowledge. Educators should commit to understanding and adhering to strengths and limitations of current assessments formats (i.e., what they can and cannot represent about candidates), just as clinicians interpret and make decisions using diagnostic test data. Leveraging assessment data as “fit-for-purpose” when conducting holistic review will get us closer to our stated goal that candidates match into GME programs well suited to their learning and career goals. Not doing so perpetuates the inappropriate use of assessment data to manage the administrative workload of residency selection and avoids the need to reduce application numbers and enhance resources for programs to conduct holistic review.

학습자 대 근로자로서의 레지던트의 기능
The function of residents as learners versus workers

GME 프로그램의 교육 목표와 현대 의료 시스템에서 레지던트의 기대치 사이의 단절은 '학습자'와 '근로자'를 겉보기에는 반대되는 극에 놓이게 합니다. 근무 시간 제한에도 불구하고 많은 임상 학습 환경은 여전히 번아웃을 유발하고34 체계적인 학습과 성찰을 위한 시간을 제한적으로만 허용합니다. 의료 시스템의 대규모 임상 운영을 유지하기 위해 GME 선발이 지속적인 학습을 희생하면서까지 즉각적인 인력 준비에 지나치게 집중되고 있습니다. 취업 준비성에 대한 이러한 강조로 인해 의과대학은 교육에 중요한 다른 역량을 가르치거나 평가 또는 보고하거나 절차적 기술이나 더 복잡한 임상 과제와 같이 졸업생이 아직 학습 중인 영역에 대해 보고하는 데 인센티브를 받지 못하고 있습니다. 35-37 UME 교육자들은 학생들이 완전한 역량을 갖추지 못한 것으로 비춰질 수 있는 정보를 보고하는 것을 두려워합니다. 부록 디지털 부록 2에는 이러한 긴장에 대한 극성 지도가 나와 있습니다. 
Disconnect between the educational goals of GME programs and the expectations of residents in modern health care systems places “learners” and “workers” on seemingly opposite poles. Despite work-hour restrictions, many clinical learning environments still contribute to burnout 34 and afford only limited time for structured learning and reflection. To maintain high-volume clinical operations of health systems, GME selection has become overly focused on immediate workforce readiness at the expense of ongoing learning. Because of this emphasis on work-readiness, medical schools are disincentivized to teach, assess or report on other competencies that are also critical to training, or report on areas where graduates are still learning, such as procedural skills or more complex clinical tasks. 35–37 UME educators fear reporting information that may portray students as less than fully competent and jeopardize their match. Supplemental Digital Appendix 2 at https://links-lww-com-ssl.access.hanyang.ac.kr:8443/ACADMED/B324 shows the polarity map for this tension.

교육자는 양쪽 극의 장점을 모두 인식하여 이러한 긴장을 관리해야 합니다. UME와 GME는 UME-GME 전환 과정에서 학습자에게 적용되는 공통 프레임워크와 공통 역량 세트를 함께 정의하고 구현해야 합니다. 신규 레지던트는 첫날부터 업무에 기여할 수 있어야 하며, 점진적으로 독립적인 역할을 수행할 수 있도록 충분한 감독과 학습 기회를 제공하는 환경도 제공되어야 합니다. 레지던트 시작을 위한 현실적인 역량에 대해 UME와 GME를 더 잘 연계하고, 전환 전반에 걸쳐 개별화된 학습과 지원을 제공하는 학습자 인수인계를 통해 지속적인 학습자 개발을 가능하게 할 것입니다. 38 효과적인 시스템은 성과에 대한 반성, 경험을 통한 학습 및 개선에 대한 시연을 포함하여 양질의 임상 성과 및 환자 치료 결과와 관련된 모든 역량 영역에서 연속성을 따라 교육 성과를 식별하고 평가해야 합니다. 39 서비스와 교육에 대한 "양립적" 관점을 강조하면 성장 지향성을 촉진하고 학습자 사이에서 잠재적으로 파괴적인 성과 사고방식과 완벽주의를 제한할 수 있습니다. 이러한 교육 과정은 지속적인 회복탄력성과 교육에 대한 공동체 의식을 촉진합니다. 40 보건 시스템 전체는 교육 시스템이 주민들이 학습하고 개인 지식의 격차를 메울 수 있는 시간을 제공하는 데 필요한 재정 및 기타 자원을 제공해야 할 책임이 있습니다. 41
Educators must manage this tension by recognizing the upsides of both poles. UME and GME must together define and implement a common framework and a common set of competencies that apply to learners across the UME–GME transition. New residents should be expected to contribute to the workforce on day 1, and in turn, they should also be afforded an environment with ample supervision and learning opportunities to scaffold their progressively independent roles. Better alignment of UME and GME on realistic competencies for starting residency, along with learner handovers that inform individualized learning and support across the transition, will enable continued learner development. 38 An effective system should identify and value educational outcomes along the continuum in all competency domains related to high-quality clinical performance and patient care outcomes, including demonstration of reflection upon performance, learning through experience, and improvement. 39 Emphasizing the “both/and” view of service and education will promote growth orientation and limit potentially destructive performance mindsets and perfectionism among learners. Such a training path promotes enduring resilience and a sense of community around education. 40 The health system as a whole is responsible for providing the financial and other resources needed for the educational system to afford time for residents to learn and fill the gaps in their individual knowledge. 41

개인의 선호도와 직업 및 대중의 필요성 비교
Individual preferences versus needs of the profession and public

UME-GME 전환 과정에서 누구의 요구가 우선인지에 대한 긴장은 지속될 것입니다.

• 한 쪽 극에는 통제에 대한 개인적 선호, 뛰어난 학벌, 미래 교육 기회, 교육 부채 상환 능력, 생활 방식에 대한 우려로 인한 개인의 요구가 있습니다.
• 다른 극에는 전체 의학교육 시스템이 책임을 져야 하는 대중을 포함한 더 광범위한 시스템의 요구가 있습니다.

Within the UME–GME transition, the tension of whose needs are primary will persist.

• On one pole are the needs of the individual, driven by personal preferences for control, distinguished academic pedigree, opportunities for future training, ability to repay educational debt, and lifestyle concerns.
• On the other pole are the needs of the broader system, including the public to whom the whole medical education system is accountable.

이러한 상황은 선호하는 프로그램에서 선호하는 전공분야에 대한 수련을 계속하고 일치하지 않는 우려되는 결과를 피할 수 있는 [개인들의 자격entitlement]으로 나타날 수 있습니다.

• 광범위한 의료 수요보다 의대생의 개인적 선호를 우선시하는 시스템은 환자에게 불이익을 줍니다.
• 또한 경쟁과 계층 구조는 의료계의 핵심 가치는 아니지만,42,43 UME-GME 전환의 많은 측면에서는 경쟁적 우위를 중요시합니다. 44
• 경쟁은 능력과 잠재력이 아니라 레지던트 또는 의사 성과와 관련이 의심스러운 특성에 근거하여 지원자 간의 계급class 차이를 유발합니다(예: 정골 의학 학교 또는 국제 의과 대학 출신 학생은 매치에서 절대적으로 불리함).
• 이러한 계급 차이로 인해 지속되는 고정관념은 정골 의대 또는 국제 의대 출신 학생들이 경쟁이 치열한 전문과목이나 프로그램에 매칭될 가능성이 낮기 때문에 의료 수요에 비해 의사의 지리적 및 전문과목 불균형을 조장합니다. 45 부록 디지털 부록 3은 이러한 긴장에 대한 양극성 지도를 보여줍니다.

These circumstances may manifest as individual entitlement to continue one’s training in a preferred specialty at a preferred program and avoid the feared outcome of not matching.

• A system that prioritizes the personal preferences of medical students over broader health care needs disadvantages patients.
• Furthermore, although competitiveness and hierarchy are not core values of the profession, 42,43 many aspects of the UME–GME transition value competitive advantage. 44 
• Competition prompts class differences among applicants, based not on ability and potential but rather on characteristics that are doubtfully related to residency or physician performance (e.g., students from osteopathic schools or international medical schools are categorically disadvantaged in the Match).
• Stereotypes perpetuated from these class differences promote geographic and specialty maldistribution of physicians compared with health needs, as students from osteopathic or international medical schools are less likely to match into competitive specialties or programs. 45 Supplemental Digital Appendix 3 at https://links-lww-com-ssl.access.hanyang.ac.kr:8443/ACADMED/B324 shows the polarity map for this tension.

개인과 집단의 목표가 공존하는 보건의료 분야와 마찬가지로, 지원자의 개인적 선호와 집단적 요구 사이의 긴장은 UME-GME 전환에서도 지속될 것이므로 관리가 필요합니다. 이러한 긴장의 장점은 적절하게 조정된 인센티브와 공존할 수 있습니다. 개인이 특정 센터와 프로그램에 재능을 집중하기보다는 기술과 재능을 분산하도록 장려하고 인센티브를 제공해야 합니다. 사회적 불의에 맞서 싸우고자 하는 강한 동기를 가진 레지던트 지원자는 자원이 풍부한 학술 보건 센터 대신 작은 도시의 프로그램에 적합할 수 있습니다. 재정적 인센티브와 부채 탕감 프로그램을 만들어 지원자가 원하는 경력을 쌓을 권리를 침해하지 않으면서도 인력 부족 지역에서 수련과 실습을 선택하도록 장려할 수 있습니다. 46
Just as in health care, where individual and population goals coexist, tension between applicants’ personal preferences and collective needs will persist in the UME–GME transition and therefore must be managed. The upsides of this tension can coexist with properly aligned incentives. Individuals should be encouraged and incentivized to distribute skills and talent rather than to concentrate talents in select centers and programs. A residency applicant with strong motivation to combat social injustices may find an appropriate fit in a small urban program instead of a well-resourced academic health center. Financial incentives and debt relief programs can be created that encourage applicants to choose to train and practice in shortage areas without compromising their right to try for a desired career path. 46

토론
Discussion

이 원고는 권고 보고서에 요약된 UGRC의 푸른 하늘 비전을 통해 설명된 이상적인 UME-GME 전환을 개괄적으로 설명합니다. 24 이상적으로 이러한 전환은 학습자, 교육자 및 대중의 교육 및 복지 요구를 충족하는 조율되고 효율적인 시스템 내에서 이루어져야 합니다. 또한, 모든 학습자가 다양한 환자와 인구의 의료 요구를 충족할 수 있는 의사가 될 수 있는 기회를 가질 수 있도록 전환 과정 전반에 걸쳐 형평성을 증진해야 합니다. 또한 UGRC는 의과대학 및 레지던트 커리큘럼이 핵심 교육 콘텐츠로서 성장 마인드와 직업적 정체성 형성에 중점을 두어 의사가 UME-GME 전환과 실무에 적응하고 자신의 지식과 기술을 발전시킬 수 있도록 준비시킬 것을 명시적으로 권고합니다.
This manuscript outlines an ideal UME–GME transition articulated through the UGRC blue-skies visioning that is outlined in its recommendations report. 24 Ideally, this transition should occur within a coordinated, efficient system that meets the educational and wellness needs of learners, educators, and the public. Furthermore, equity should be promoted throughout the transition to ensure that all learners have opportunities to become physicians equipped to meet the health care needs of diverse patients and populations. The UGRC also explicitly recommends that medical school and residency curricula should focus on growth mindset and professional identity formation as core educational content to prepare physicians to adapt and advance their knowledge and skills through the UME–GME transition and into practice.

전환 시스템에서 혁신적인 변화가 일어나기 위해서는 내재된 긴장을 정의하고 관리하는 것이 매우 중요합니다. 지속적이고 새로운 과제를 해결하려면 역동적인 시스템 내에서 견제와 균형을 통해 세심한 모니터링, 관리, 협력이 필요합니다. 현재 목적과 재정적 인센티브가 서로 다른 개인, 프로그램, 조직의 이해관계가 더 잘 조율되면 일방적인 옹호보다는 이러한 긴장에 대한 균형 잡힌 시각이 촉진될 것입니다. 이러한 재조정을 촉진하기 위해 UGRC는 UME-GME 전환 시스템의 지속적인 품질 개선을 관리하기 위한 감독 위원회를 구성할 것을 권고했습니다.
For transformative change to occur in the transition system, it is critically important to define and manage its inherent tensions. Ongoing and emerging challenges require careful monitoring, management, and collaboration with checks and balances within a dynamic system. Greater alignment of individual, program, and organizational interests—all of which are currently misaligned in purpose and financial incentives—will promote balanced views of these tensions rather than one-sided advocacy. To promote this needed realignment, the UGRC has recommended that an oversight committee be created to manage continuous quality improvement of the UME–GME transition system.

평가의 목적(학습 대 순위 및 분류)과 레지던트의 역할(학습자 대 근로자)을 둘러싼 긴장은 교육 연속체 전반에 걸친 공통 역량 프레임워크, 역량과 연계된 평가, 구조화된 학습자 인계인수에 대한 주요 UGRC 권장 사항을 통해 해결됩니다. 이러한 공통 결과 프레임워크를 정의하기 위해서는 UME 및 GME 교육자 그룹이 협력하여 공통의 "목적에 맞는" 평가 도구 및 전략의 선택과 추가 개발을 가이드하는 데 사용해야 합니다. 필수 술기를 수행하는 학습자를 직접 관찰하는 것을 강조하는 평가는 현재 사용 가능한 점수 및 성적보다 피드백을 향상시키고 레지던트 성과를 예측하는 데 더 나은 정보를 생성할 수 있습니다. 44,47 학생이 멘토와 함께 작성한 후 새로운 레지던트 프로그램 디렉터와 함께 다시 방문하는 [매칭 후 개별화된 학습 계획]은 UGRC 권장사항에 언급된 대로 레지던트로의 전환을 보다 효과적으로 안내하는 데 사용될 수 있습니다. 
Tensions around the purpose of assessment—for learning versus for ranking and sorting—and around the role of residents—as learners versus workers—are addressed through key UGRC recommendations for a common competency framework across the educational continuum, assessments aligned with competencies, and structured learner handovers. A collaborative UME and GME educator group is needed to define this common outcomes framework, which should then be used to guide the selection and further development of common “fit for purpose” assessment tools and strategies. Assessments that emphasize direct observation of learners conducting essential skills can enhance feedback and generate better information to predict residency performance than currently available scores and grades. 44,47 A post-Match individualized learning plan that a student creates with a mentor and then revisits with their new residency program director can be used to more effectively guide the transition to residency, as noted in the UGRC recommendations.

개인적 이익과 집단적 이익 사이의 긴장을 해소하기 위해 UGRC는 전문과목에서 인력 및 다양성 평가를 실시하여 어떤 유형의 수련의와 의사가 어디에 필요한지 결정하고 공평한 채용 관행을 위한 교육에 참여할 것을 권장합니다. 필요한 변화를 유도하기 위해 교육자들은 사회 정의, 건강 및 재정적 목표에 봉사하는 자체 인력을 강화하기 위한 일부 경쟁력 있는 전문과목 및 프로그램의 노력을 바탕으로 성공적인 채용에 대한 관점을 확장할 수 있습니다. 48,49 

To address the tension around individual versus collective good, the UGRC recommends that specialties conduct workforce and diversity evaluations to determine which types of trainees and physicians are needed and where and engage in training for equitable recruitment practices. To prompt needed change, educators can expand their view of a successful recruitment by building on efforts of some competitive specialties and programs to strengthen their own workforce in service to social justice, health, and financial aims. 48,49 

투명성과 형평성을 증진하기 위해 UGRC는 학생과 지도교수가 레지던트 프로그램 지원자의 특성, 초대, 인터뷰 및 결과에 대한 검색 가능한 데이터베이스에 액세스할 수 있어야 한다고 권장합니다. 또한 UGRC는 단순히 선택적 개선 사항으로 제공되는 것이 아니라 모든 프로그램에서 UME 및 GME 학습자에게 웰니스 지원을 의무화할 것을 권장합니다. 이러한 지원에는 UME 프로그램에서 GME 프로그램으로 전환하는 데 필요한 시간과 리소스, 간소화된 초기 라이선스 절차가 포함되어야 합니다.

To promote transparency and equity, the UGRC recommends that students and advisors should have access to a searchable database about residency program applicant characteristics, invitations, interviews, and outcomes. The UGRC also recommends that wellness supports be required for UME and GME learners across programs, not simply offered as optional enhancements. These supports should include time and resources for moving from a UME to GME program and streamlined initial licensing procedures.

이상적인 상태는 단기간에 또는 타협 없이 달성할 수 없습니다. 이러한 장밋빛 비전은 비현실적이거나 비현실적인 것으로 간주되는 콘텐츠에 대한 질문을 불러일으킬 것입니다. 모두를 위한 복지를 최적화하고 모든 지원자가 전공의 수련을 위한 충분한 준비와 신뢰를 갖출 수 있을까요? 환자 안전에 있어 무사고라는 이상적인 개념과 마찬가지로, 열망하는 이상적인 상태를 설명하는 것은 교육적 변화를 주도합니다. 이러한 장밋빛 비전을 달성하기 위해서는 작은 변화와 조기 승리가 중요하며, 지속적인 유연성과 적응도 필요합니다.
An ideal state cannot be achieved quickly or without compromise. This blue-skies vision will prompt questions about content deemed impractical or unrealistic. Can we optimize well-being for all and ensure every applicant is fully prepared and trustworthy for residency? Like the ideal concept of zero harm in patient safety, 50 describing the aspirational ideal state drives educational change. To achieve this blue-skies vision, small changes and early wins will be critical, as will ongoing flexibility and adaptation.

이 원고는 UME-GME 전환의 주요 긴장을 탐구하지만, 저자들은 다른 긴장도 존재한다는 것을 인식하고 있습니다. 예를 들어, UGRC는 의사 지불 및 급여 문제를 그룹의 책임 범위를 벗어난 것으로 파악했습니다. 이상적인 상태를 상상하는 것은 당연히 아직 존재하지 않는 시스템을 상상하는 것을 수반하며, 따라서 현재 증거 기반에는 이러한 이상을 달성하는 데 필요한 단계를 뒷받침할 증거가 부족합니다. 이상적인 상태로 나아가기 위해서는 결과를 입증하고 증거 기반을 구축하기 위한 점진적인 연구가 필요합니다. UGRC는 UME-GME 전환 전반에 걸쳐 형평성을 우선시하지만, 블루 스카이 시스템조차도 모든 참여자에게 공평한 결과를 보장하지 못할 수 있음을 인식하고 있습니다. 
While this manuscript explores major tensions in the UME–GME transition, authors recognize that other tensions exist as well. For example, the UGRC identified challenges in physician payment and salary as beyond the scope of the group’s charge. Envisioning the ideal state naturally entails imagining a system that does not yet exist, and as such, the evidence base currently lacks evidence to support the steps needed to achieve this ideal. To move toward the ideal state, incremental research is needed to demonstrate outcomes and build the evidence base. Despite prioritizing equity throughout the UME–GME transition, the UGRC recognizes that even a blue-skies system may not ensure equitable outcomes for all participants.

결론적으로, UGRC는 학습 및 건강 목표를 달성하는 데 필요한 시스템 설계를 안내하는 이상적인 상태를 구상했습니다. UGRC 회원들은 지속되는 주요 긴장을 인식했습니다.

• 평가의 목적: 순위 및 분류 지원 대 학습 지원
• 교육생의 역할: 학습자 대 근로자
• 개인의 필요와 희망 대 공동의 이익

학습자와 교육자는 이러한 긴장을 제거하거나 해결할 수는 없지만, 이를 인식하고 여러 이해관계자의 관점에 대한 협력과 개방성을 통해 이를 관리하는 데 다시 집중해야 합니다. 학습자와 프로그램 간의 적합성을 최적화하는 조율되고 효율적인 UME-GME 전환이라는 더 큰 비전에 대한 공동의 약속은 이를 달성하기 위해 필요할 수 있는 희생과 타협을 정당화합니다. 웰빙, 다양성, 형평성, 포용성, 공익에 대한 의료계의 약속에 초점을 맞추는 것은 시스템을 보다 이상적인 상태로 이끄는 데 매우 중요합니다.
In conclusion, the UGRC has envisioned an ideal state to guide system design needed to achieve learning and health goals. UGRC members recognized key tensions that persist around

• the purposes of assessment to support ranking and sorting versus learning,
• the roles of trainees as both learners and workers, and
• the needs and wishes of the individual versus the collective good.

While learners and educators cannot eliminate or solve these tensions, they must recognize them and refocus on managing them through collaboration and openness to multiple stakeholder perspectives. A shared commitment to the larger vision of a coordinated and efficient UME–GME transition that optimizes fit between learners and programs justifies the sacrifices and compromises that may be required to achieve it. Maintaining focus on medicine’s commitments to wellness, diversity, equity, inclusion, and the public good will be critical to guide the system toward a more ideal state.

Copyright © 2022 by the Association of American Medical Colleges.

필요하지만 충분하지 않고, 어쩌면 반생산적인 것: 강의평가의 복잡한 문제(Acad Med, 2023)
Necessary but Insufficient and Possibly Counterproductive: The Complex Problem of Teaching Evaluations
Shiphra Ginsburg, MD, MEd, PhD, and Lynfa Stroud, MD, MEd

임상 교사의 성과 평가는 수십 년 동안 연구와 논쟁의 대상이 되어 왔습니다. 문헌에는 학생의 교사 평가에 대한 증거를 검토하거나 더 나은 평가 도구를 만들려는 논문이 넘쳐납니다. 1-3 이러한 방대한 문헌에도 불구하고 교수 평가(TE)는 여전히 문제가 되고 있습니다. 예를 들어, 학생의 평가가 학습과 관련이 있다는 증거는 거의 없지만, 우리는 이러한 평가를 거의 전적으로 교사에 대한 평가 및 피드백으로만 활용하고 있습니다. 특정 환경에서는 타당성이 있다는 증거가 있지만,4,5 TE는 다양한 형태의 편견에 노출될 수 있으며 교사의 신체적 매력이나 성격과 같이 구성과 무관한 요인에 의해 혼동될 수 있는 것으로 알려져 있습니다. 6 또한 이러한 도구의 형성적(즉, 교사의 향상을 돕기 위한) 목적과 요약적(예: 승진을 위한) 목적의 구분이 모호해졌습니다. 
The evaluation of clinical teachers’ performance has been a subject of research and debate for decades. The literature is rife with papers that either review the evidence for students’ evaluations of teachers or attempt to create better rating instruments. 1–3 Despite this extensive literature, teaching evaluations (TEs) remain problematic. For example, there is little evidence that students’ evaluations are associated with learning, yet we rely on these evaluations almost exclusively as assessments of and feedback to teachers. While there is some evidence of validity in certain settings, 4,5 TEs are subject to many forms of bias and are known to be confounded by construct-irrelevant factors, such as the teacher’s physical attractiveness or personality. 6 We have also blurred the distinction between formative (i.e., to help teachers improve) and summative (e.g., for promotion) purposes of these tools.

이러한 한계에도 불구하고 TE는 교사를 승진시키고, 종신 재직 기간을 부여하고, 상을 수여하는 데 사용되어 왔으며, 이는 모두 우수한 가르침의 가치를 강조하는 데 도움이 될 수 있습니다. 그러나 TE는 승진을 거부하고 교원의 진급을 막는 데에도 사용되었습니다. 일부 교육기관에서는 학습자의 교수 점수가 임상 교사의 재정적 보상에 영향을 미치기도 합니다. 따라서 동일한 도구가 보상 또는 징벌 목적으로 사용될 수 있습니다. 교수진에게 TE가 차지하는 비중이 매우 크다는 점을 고려할 때 교수진이 이러한 도구가 구현되는 방식에 만족하지 못하는 것은 당연한 일일까요? 7,8 이 해설에서는 TE의 목적, 실제 업무, 전반적인 영향에 대한 문헌을 간략하게 검토합니다. 그런 다음 앞으로의 생산적인 방법을 고려합니다.  
Regardless of these limitations, TEs have been used to promote teachers, award tenure, and bestow awards, all of which may serve to emphasize the value of excellent teaching. But TEs have also been used to deny promotion and to hold faculty back from advancement. In some institutions, teaching scores from learners affect clinical teachers’ financial compensation. The same tools can therefore be used for rewarding or punitive purposes. Given that TEs carry so much weight for faculty, is it any wonder that faculty are not satisfied with how these tools are implemented? 7,8 In this commentary, we briefly review the literature on what TEs are meant to do, what they actually do in the real world, and their overall impact. We then consider productive ways forward.

열망과 의도된 목표: TE의 목적은 무엇인가요?
Aspirations and Intended Goals: What Are TEs Meant to Do?

표면적으로 학습자에게 교사에 대한 의견을 묻는 것은 당연한 일입니다. TE를 수집함으로써 학습자는 누가 자신을 가르치고 어떻게 가르치고 있는지에 대해 목소리를 낼 수 있습니다. 학습자는 교사를 평가함으로써 최고의 교사를 선발하여 보상하고 코칭이 필요하거나 심지어 해임해야 할 교사를 식별하는 데 도움을 줄 수 있습니다. 학습자는 이러한 관점에서 의견을 제시할 수 있는 유일한 집단일 수 있으므로 적대적인 학습 환경을 조성하는 교사에게 특히 중요합니다. 또한 교사가 학습자 중심의 접근 방식, 즉 학습자에게 반응하고, 학습자에게 필요한 것을 가르치고, 적절한 피드백을 제공하고, 학습자의 학습과 성장을 돕는 방식을 유지하도록 하는 데 도움이 됩니다. 
On the surface, asking learners for their opinions about their teachers makes sense. By collecting TEs, we ensure that learners have a voice in who is teaching them and how they are being taught. By evaluating teachers, students can help select for and reward the best individuals and identify those who may require coaching or even removal. This is especially important for teachers who create hostile learning environments, as learners may be the only group that can comment from this perspective. It also helps ensure that teachers maintain a learner-focused approach; that is, that they respond to their learners, teach them what they need, give appropriate feedback, and help learners learn and grow.

임상 교사에게 TE는 무엇이 중요한지 알려 줍니다. 평가 양식에 명시된 내용은 다양한 이해관계자(예: 교육생, 임상 교사, 병원 및 학계 지도자)에게 중요하다고 여겨지는 사항이며 성과에 대한 기대치를 설정합니다. 또한 TE를 통해 교사(특히 교육 트랙에 있는 교사)는 자신의 효과와 우수성에 대한 증거를 축적하여 승진 및 임기, 수상, 심지어 금전적 이득을 위해 자신이 잘 가르치고 있음을(충분히 가르치고 있음을) 보여줄 수 있습니다. 좋은 TE 도구는 성찰과 개선을 위한 코칭을 포함하는 교수 개발 시스템에 포함되는 것이 이상적입니다. 9 
For clinical teachers, TEs signal what is important. What is delineated on the evaluation form is what is seen to matter to various stakeholders (e.g., trainees, clinical teachers, hospital and academic leadership) and sets expectations for performance. TEs also allow teachers (especially those on education tracks) to accrue evidence of their effectiveness and even excellence to show they are teaching well (and enough) for purposes of promotion and tenure, for awards, and even for financial gain. Ideally, good TE tools should be embedded in faculty development systems that include reflection and coaching for improvement. 9

실제 성과: TE는 실제로 어떤 일을 하나요?
Real-World Performance: What Do TEs Actually Do?

증거에 따르면 TE가 실제로 교육을 잘 포착하지 못할 수도 있습니다. 놀랍게도 높은 평가를 받은 교사가 학생의 학습을 더 많이 또는 더 잘한다는 증거는 많지 않습니다. 고등 교육 교실 환경에서는 TE와 교실 학습 사이에 미미한 연관성만 있다는 연구 결과가 있습니다. 10 임상 환경에서는 교사가 학생의 진로 선택에 영향을 미칠 수 있지만, 이전 연구에 따르면 교사의 질과 학생의 성과 간에는 매우 미미한 영향이 있는 것으로 나타났습니다. 11 또 다른 연구에서는 성과가 낮은 교사에 대한 피드백이 오히려 교사의 성과를 악화시킨 것으로 나타났습니다. 12 어떤 면에서는 학생들이 일반적으로 자신이 가르치는 콘텐츠 영역이나 모범 교육 사례에 대한 전문 지식이 없다는 점을 고려할 때, 학습과 TE 간의 이러한 상관관계 부족은 놀라운 일이 아닐 수 있습니다. 
Evidence suggests that TEs may not actually capture teaching very well. Surprisingly, there isn’t much evidence that higher-rated teachers are associated with more or better learning in their students. In the higher education classroom setting, research has found that there are only tenuous links between TEs and classroom learning. 10 In the clinical setting, an older study showed quite minimal effects between teaching quality and students’ performance during clerkship, although teachers may have an effect on students’ career choice. 11 In another study, feedback to lower performing teachers actually made them worse. 12 In some ways, this lack of correlation between learning and TEs may not be surprising, given that students usually do not have expertise in either the content domain in which they are being taught or in best pedagogical practices.

학습이 아니라면 TE는 실제로 무엇을 측정할까요? TE를 대상으로 한 일부 연구에서 교사 평가는 카리스마, 성격, 상황의 영향을 받아 후광 효과가 크게 작용하는 것으로 나타났습니다. 6,13,14 교실이나 병동 로테이션에서 즐거움과 심리적 안정감이 중요하지 않다는 말은 아닙니다. 하지만 이러한 요소를 "가르치는 것"과 동일시하지 않도록 주의해야 합니다. 실제로 학습자에게 임상 교사를 평가하도록 요청할 때 대부분의 평가 척도에는 학습자를 존중하는 태도, 효과적인 피드백 제공, 가용성 등 가르침이나 교육과는 별개로 훨씬 더 광범위한 구성 요소가 포함되어 있습니다. 그러나 TE와 학습 간의 연관성을 살펴보는 연구는 표준화되고 수행하기 쉬운 학생의 지식 테스트에 주로 국한되어 있습니다. 분명한 것은 지식은 좋은 의사가 되기 위한 한 가지 측면일 뿐입니다. 한 흥미로운 연구에 따르면 레지던트들의 임상의사 평가는 환자들의 평가와 반비례하는 것으로 나타났는데, 이는 레지던트 평가가 좋은 의사가 되기 위한 중요한 요소를 놓치고 있을 수 있음을 시사합니다. 15 따라서 이러한 평가에는 위에서 설명한 구조와 무관한 요소도 포함되어 있으므로 전공의는 좋은 의사가 되기 위한 중요한 측면을 놓치고 있을 수 있습니다. 나프툴린과 동료들은 1973년에 발표한 논문에서 "학습에 대한 학생의 만족도는 학습했다는 착각에 불과할 수 있다"고 썼습니다. 16 
If not learning, what do TEs actually measure? In some studies of TEs, teacher ratings were subject to significant halo effects, being influenced by charisma, personality, and context. 6,13,14 This is not to say that enjoyment and psychological safety in a classroom or on a ward rotation are not important. But we should be careful not to equate these factors with “teaching.” Indeed, when we ask learners to evaluate their clinical teachers, most rating scales include much broader constructs apart from teaching or instruction, such as, among other things, treating learners with respect, providing effective feedback, and being available. Yet research looking at associations between TEs and learning are largely limited to tests of students’ knowledge, as they are standardized and easy to conduct. Clearly, knowledge is only one aspect of being a good physician. In one interesting study, ratings of clinicians by residents were inversely correlated with ratings by patients, suggesting that resident ratings may be missing important elements of what it means to be a good doctor. 15 Thus, TEs may be missing important aspects of being a good physician, as these evaluations also include the construct-irrelevant factors we described above. As Naftulin and colleagues wrote in a seminal article in 1973, “Student satisfaction with learning may represent little more than the illusion of having learned.” 16

또한, 모든 연구에서 효과가 나타나는 것은 아니며 모두 같은 방향으로 나타나는 것은 아니지만, TE는 종종 여성과 눈에 보이는 소수 집단에 대한 편견을 보이는 것으로 보고되었습니다. 최소한 학생들은 성별에 따라 교수진을 묘사할 때 다른 언어를 사용할 수 있습니다. 17,18 이것이 모든 전문 분야에서 여성의 TE 평가에 부정적인 영향을 미치지는 않지만,19,20 경우에 따라 성별 편견으로 인해 남성과 여성 간의 TE에 상당한 차이가 발생할 수 있습니다. 이는 특히 외과와 같이 교수진에서 여성의 비율이 낮은 전문과목에서 문제가 됩니다. 19-21 또한 성별과 인종/민족이 긍정적이든 부정적이든 교차 효과가 있을 수 있습니다. 22 
In addition, TEs have often been reported to show biases against women and individuals from visible minority groups, although effects are not seen in all studies and are not all in the same direction. At a minimum, students may use different language to describe faculty by gender. 17,18 While this may not negatively impact TE ratings of women in all specialties, 19,20 in some instances, gender bias may lead to significant differences in TEs between men and women. This is particularly problematic in specialties with a lower representation of women at the faculty level, such as in surgery. 19–21 There may also be intersectionality effects with gender and race/ethnicity, both positively and negatively. 22

또한 평가를 완료한 사람의 성별에 따라 교육 점수 및 의견에 차이가 있음을 확인했습니다. 18,20 따라서 학생과 교사 사이의 개별적인 역학 관계가 중요할 수 있지만, 이에 대한 조사는 거의 이루어지지 않고 있습니다. 인구통계학적 편견 외에도, 구조와 무관한 추가 항목이 의학에서 TE에게 긍정적인 영향을 미치는 것으로 나타났는데, 이러한 항목에는 교수진이 수련의에게 관여하는 정도,23 카리스마 및 신체적 매력,16,24 외향성,25 쿠키 제공 등이 있습니다. 6 TE가 편견에 취약한 정도를 고려할 때, 일부 교육기관에서는 승진 및 임기 결정을 위한 학생의 교육 평가를 허용하지 않는 경우도 있습니다. 26 
Additionally, we identified differences in teaching scores and comments based on the gender of the person completing the evaluation. 18,20 Individual dyadic relationships between student and teacher may therefore be important, yet they are rarely explored. Beyond demographic biases, additional construct-irrelevant items have been shown to positively influence TEs in medicine; these items include the perceived degree of faculty members’ involvement with trainees, 23 charisma and physical attractiveness, 16,24 extraversion, 25 and provision of cookies. 6 Given the extent to which TEs are vulnerable to bias, some institutions have gone so far as to disallow students’ evaluations of teaching for promotion and tenure decisions. 26

TE의 전반적인 영향은 무엇인가요?
What Is The Overall Impact of TEs?

위의 내용을 고려할 때 TE의 순 효과는 무엇일까요? TE의 신뢰성과 타당성에 대한 증거는 분명히 존재하지만, 특히 결과적 타당성에 대한 연구는 부족합니다. 5 하지만 위에서 언급한 바와 같이 단점도 있습니다. 즉, 관련 결과를 포함하는 직장 내 연구가 매우 제한적이기 때문에 TE의 이점과 잠재적 해로움의 순 효과를 판단하기는 어렵습니다. 교사는 좋은 교사가 되고 싶고 좋은 평가를 받기를 원하고 필요로 합니다. 이는 자신의 효과를 입증하고 개선에 도움이 되는 평가를 받는다는 것을 의미합니다. 그러나 임상 교사들은 외부뿐만 아니라 내부적으로도 이러한 평가가 갖는 힘과 무게에 대해 경계하고 있습니다. 부정적인 TE를 받아본 사람이라면 누구나 그것이 자존감, 자기 효능감, 직업적 정체성에 얼마나 위협적인지 느낄 수 있습니다. 7,27 이러한 감정은 TE의 익명성으로 인해 더욱 커질 수 있으며, 제공된 피드백을 개선에 활용하는 것도 어렵게 만듭니다. 문제가 발생한 지 [몇 달 후에 받은 익명 피드백]은 일반적으로 교사가 무엇이 잘못되었는지, 누구의 관점에서, 앞으로 어떻게 하면 더 잘할 수 있는지 이해할 수 있는 충분한 맥락이 부족합니다. 
Given the above, what is the net effect of TEs? There is clearly some evidence of the reliability and validity of TEs, although notably research on consequential validity is lacking. 5 Yet there are also drawbacks, as we noted above. So, the net effect of the benefits and potential harms of TEs is hard to determine, as research in the workplace that includes relevant outcomes is very limited. Teachers want and need to be good teachers and to get good evaluations. This means getting evaluations that demonstrate their effectiveness and help them improve. Yet clinical teachers are wary of the power and weight these evaluations hold, not just externally but also internally. Anyone who has ever received negative TEs can attest to how threatening it can feel to one’s self-esteem, self-efficacy, and professional identity. 7,27 These feelings may be heightened by the anonymity of TEs, which also makes it challenging to use the provided feedback to improve. Anonymous feedback received months after an encounter usually lacks sufficient context for the teacher to understand what went wrong, from whose perspective, and how they might do better in the future.

당연히 교사는 기존의 틀을 깨거나 새로운 교수법을 시도하거나 학습자가 너무 힘들어하거나 불편함을 느낄 수 있는 일을 하는 것을 꺼릴 수 있습니다. 고등 교육 환경에서는 더 쉬운 수업과 더 관대한 교사가 더 높은 평가를 받습니다. 28 실제로 우리는 이것이 오늘날 의학교육에서 가장 골치 아픈 문제라고 생각합니다. 경력 발전을 위해 학습자의 눈치를 보는 임상 교사는 필요할 때 학습자에게 정직하고 비판적인 피드백과 평가를 제공하지 못합니다. 29,30 이는 의미 있는 작업장 기반 평가 시스템을 만드는 데 있어 잠재적으로 치명적인 결함입니다. 수년 전 토론토 대학교의 한 연구에 따르면 교수진이 직장에서 학습자에게 부여하는 점수와 교사로서 받는 점수 간에 통계적으로 유의미한 관계가 있는 것으로 나타났습니다. 31 즉, 교수자가 부여하는 점수가 때때로 교수자가 받는 점수와 일치한다는 것입니다. "학생의 교수 평가는 부실한 교수를 조장하고 성적 인플레이션에 기여합니다."라는 제목의 기사에서 확인할 수 있습니다: 이론적 및 실증적 분석"이라는 제목의 글에서 스트로베는 다음과 같이 말합니다:
Understandably, teachers may be reluctant to rock the boat, to try new teaching methods or to do anything that may risk their learners feeling too challenged or even uncomfortable. In higher education settings, classes that are easier, and teachers who are more lenient, are rated more highly. 28 Indeed, we see this as the most vexing problem in medical education today. Clinical teachers who are beholden to their learners for career advancement are inhibited from giving honest, critical feedback and assessments to learners when required. 29,30 This is a potentially fatal flaw in creating a meaningful workplace-based assessment system. A study at the University of Toronto a number of years ago found a statistically significant relationship between the scores faculty assign to learners in the workplace and the scores they receive as teachers. 31 That is, the score you give is sometimes the score you get. In an article entitled, “Student Evaluations of Teaching Encourages Poor Teaching and Contributes to Grade Inflation: A Theoretical and Empirical Analysis,” Stroebe writes:

학생과 교수진은 암묵적인 협상 상황에 처해 있으며, 양측 모두 상대방에게 가치 있는 '좋은 것'을 가지고 있습니다. 교수진은 좋은 성적과 쉬운 강의를 제공할 수 있고, 학생은 긍정적인 [교수 평가]를 제공할 수 있습니다. 28 
Students and faculty are in an implicit negotiation situation, where each side has a “good” that is valuable to the other side. Faculty can provide good grades and easy courses, and students can provide positive [teaching evaluations]. 28

이 연구는 의료 환경에서 수행되지는 않았지만, 우리는 이러한 시나리오가 의학교육의 현상유지 수단으로 작용하는 것을 보았습니다. 우리는 자신을 위험에 빠뜨리지 않기 위해 모든 학습자에게 평가에서 4점과 5점을 주도록 후배 교수진에게 지시하는 선임 교수진을 알고 있습니다. 이 문제는 학습자가 우수한 임상의가 되기 위해 필요한 건설적이고 올바른 피드백을 박탈하고, 역설적으로 점수를 부풀리고 의미 있는 피드백을 제공하는 데 노력을 덜 기울이는 교수진에게 보상을 제공함으로써 시스템을 왜곡하는 매우 중요한 문제입니다.
While this study was not conducted in a health care setting, we have seen this scenario play out as a quid pro quo in medical education. We are aware of senior faculty who instruct junior faculty to give all learners 4s and 5s on their evaluations so as not to put themselves at risk. This issue is critical—it warps the system by depriving learners of the constructive and corrective feedback they need to become excellent clinicians and paradoxically rewards faculty who may inflate scores and put less effort into providing meaningful feedback.

이제 어디로 가야 할까요?
Where Do We Go From Here?

이 논평에서 저희는 TE 사용에 대한 수많은 위협에 대해 설명했습니다. 하지만 이 중요한 데이터 소스를 없애야 한다는 주장은 단 한순간도 하지 않을 것입니다. TE는 교사의 성장을 위한 중요한 피드백을 제공하며, 무엇보다도 교사가 설정한 학습 환경에 대한 정보, 즉 다른 방법으로는 얻을 수 없는 정보를 제공합니다. 문제는 교사의 교수 능력을 판단하는 유일한 기준으로 TE에 지나치게 의존하는 경우가 많다는 것입니다. 우리는 의학교육이 학습자에 대한 프로그램적 평가로 전환한 것처럼, 교수진의 교육 효과에 대한 프로그램적 평가로 전환할 때가 왔다고 제안합니다. 
In this commentary, we have outlined numerous threats to the use of TEs. However, we would not for a minute advocate that we should do away with this critical source of data. TEs provide important feedback for faculty growth and, vitally, they provide information about the learning environment a teacher establishes, information that may not be available otherwise. The problem is the overreliance on TEs as often the sole arbitrator by which a faculty member’s teaching skills are judged. We propose that, just as medical education has moved toward programmatic assessment of learners, the time has come to move toward programmatic evaluation of faculty teaching effectiveness.

이러한 프로그램 내에서 TE는 학생의 목소리를 제공하게 되는데, 이는 필수적이지만 그것만으로는 교육에 대한 불충분한 척도가 될 수 있습니다. 또한 TE를 구현하는 방법도 신중하게 고려해야 합니다.

• 첫째, 측정 대상이 명확해야 합니다. 임상 환경의 많은 TE는 교육과 슈퍼비전 및 코칭과 같은 다른 기술을 혼동합니다. TE의 항목을 교사에게 평가하고자 하는 항목과 일치시키고 이를 교사와 학생 모두에게 명확하게 설명한다면 이는 그 자체로 문제가 되지 않습니다.
• 둘째, TE에 사용되는 평가 척도는 주관적이고 잘 정의되지 않은 앵커가 아닌 특정 행동이나 기술에 초점을 맞추는 것이 이상적입니다.
• 셋째, 학습자에게 익명으로 TE를 완료하는 것은 특권이며, 건설적이고 전문적이어야 할 책임이 수반되는 특권이라는 점을 인식시켜야 합니다.

Within such a program, TEs would provide the student voice, which is essential—but alone is an insufficient measure of teaching. We also need to be thoughtful about how TEs are implemented.

• First, what is being measured must be explicit. Many TEs in the clinical setting conflate teaching with other skills, such as supervision and coaching. This is not in itself a problem as long as we align the items on TEs with what it is we wish to evaluate in teachers and make this explicit to both teachers and students.
• Second, the rating scales used on TEs should ideally be focused on specific behaviors or skills, rather than on subjective, poorly defined anchors.
• Third, there needs to be recognition that, for learners, completing TEs anonymously is a privilege, one that comes with a responsibility to be constructive and professional.

학습자와 교사 사이에 내재된 힘의 역학 관계를 고려할 때, 우리는 TE의 익명화를 반드시 옹호하지는 않지만, 이는 연구된 흥미로운 전망입니다. 32 드물기는 하지만 노골적으로 성차별적이거나 인종차별적이거나 인격을 비하하는 댓글은 비전문적이고 완전히 부적절합니다. 학교는 이러한 언어를 사용하는 학습자를 식별할 수 있는 투명한 메커니즘을 마련해야 하며, 이러한 행동을 전문성 문제로 간주하여 후속 조치를 취해야 합니다. 또한 학교는 TE로부터 이러한 댓글을 삭제하는 절차를 수립해야 합니다. 이상적으로는 학습자가 건설적이고 영감을 주는 내러티브 피드백을 제공하는 방법에 대한 교육과 훈련을 받아야 합니다. 
Recognizing the inherent power dynamic between learners and teachers, we would not necessarily advocate for de-anonymizing TEs, although this is an interesting prospect that has been studied. 32 While rare, comments that are overtly sexist, racist, or otherwise personally demeaning are unprofessional and totally inappropriate. Schools should have transparent, arms-length mechanisms for identifying learners who use such language and should follow up on these behaviors as a professionalism issue. Schools should also establish processes to remove such comments from TEs. Ideally, learners should receive education and training on how to provide constructive and inspirational narrative feedback.

그런 다음 TE 데이터의 사용 방법을 규정하는 강력하고 투명한 시스템을 마련해야 합니다. 예를 들어, 많은 학교에서는 표준 참조 범위를 사용하여 TE를 보고하고 상위 백분위수에 속하는 교직원을 기준으로 수상 대상자를 선정하는 경우가 많습니다. 그러나 이러한 관행은 두 가지 측면에서 문제가 있습니다. 

• 첫째, 대다수의 교원이 매우 우수하거나 우수한 교원이기 때문에 상당한 천장 효과가 발생하고 상위 몇 백분위 수에 속하는 교원은 다른 백분위 수에 속하는 교원과 차이가 매우 큽니다.
• 둘째, 이러한 극히 좁은 차이는 위에 나열된 수많은 편견의 영향을 받을 수 있습니다. 학습자의 경우와 마찬가지로, 허용 가능한 수준의 성과에 미치지 못하는 교사를 식별하는 데는 기준 참조 기준이 더 적합하지만, 뛰어난 교사를 식별하는 데는 다른 지표가 더 적합할 수 있습니다.

There must then be a robust, transparent system in place that dictates how TE data are used. For example, many schools use a norm-referenced range to report their TEs and often select faculty for awards based on those in the very top percentiles. However, this practice is problematic in 2 ways.

• First, the vast majority of faculty are very good or excellent teachers, so there is a significant ceiling effect and those in the top few percentiles are a razor’s edge apart from those in the other percentiles.
• Second, these extremely narrow margins may be influenced by the numerous biases listed above. Just as we do for learners, a criterion-referenced standard is more appropriate to identify those falling below an acceptable level of performance, but other metrics may be more appropriate to identify outstanding teachers.

그렇다면 프로그래밍 방식의 TE에 기여할 수 있는 다른 지표에는 어떤 것이 있을까요?

• 우선, 레지던트를 위한 역량 기반 의학교육을 향한 움직임과 마찬가지로, TE에 포함된 서술적 의견에 더 중점을 두어야 하지만, 의견에도 한계가 없는 것은 아닙니다. 33 천장 효과를 고려할 때 이 점수는 분명히 교정이 필요한 저성과자를 식별하는 데만 도움이 된다고 주장할 수도 있습니다.
• 그 대신, 교수진이 내년에 어떤 작업을 할 계획인지에 대한 의견과 반성을 시간이 지남에 따라 포트폴리오로 정리하는 것이 더 의미 있는 과정일 수 있습니다.
• 일부 관할 지역에서는 교사에게만 공유되는 형성형 TE로 전환하는 방안이 고려되고 있습니다. 28 교사에게 제공되는 데이터의 종류와 관계없이 TE는 효과적인 교수자 개발 전략을 포함하는 시스템의 일부로 수집 및 사용되어야 합니다. 2
• 단순히 학습자 피드백을 교사에게 전달하는 것만으로는 성장을 촉진하는 효과적인 방법이 아닙니다. 9

So, what might these other metrics be that could contribute to programmatic TEs?

• To start, just as with the move toward competency-based medical education for residents, there should be a greater focus on the narrative comments included on TEs, although comments are not without their own limitations. 33 One might argue that the scores, given the ceiling effect, are only helpful in identifying low-performing outliers who clearly need remediation.
• Instead, a deeper dive into the comments and reflection by faculty on what they plan to work on over the next year collated into a portfolio over time may be a more meaningful process.
• Moving toward formative TEs that are shared only with the teacher is being considered in some jurisdictions. 28 Regardless of what data are provided to teachers, TEs should be collected and used as part of a system that includes effective faculty development strategies. 2 
• Merely handing learner feedback to teachers is not an effective way to foster growth. 9

실제 TE 외에도 교수 효과에 대한 보다 완전하고 정보에 입각한 그림을 개발하기 위해 수집할 수 있는 추가 데이터 소스가 있습니다. 

• 예를 들어, 교육 세션에 대한 동료 평가(예: 교육 라운드에 참석한 동료), 정기적인 공식 외부 TE, 학습 결과(측정하기 가장 어렵고 교육 효과의 성배), 포트폴리오, 다른 사람의 360도 평가 등이 모두 교육 효과에 대한 다각적이고 완전한 그림을 그리는 데 기여할 수 있습니다. 34 
• 그러나 새로운 방법이나 프로세스가 단순히 추가 업무가 아니라 실제로 교수진에게 의미 있고 도움이 되는지 확인해야 합니다.

Beyond the actual TEs, there are additional sources of data that could be collected to develop a more fulsome and informed picture of teaching effectiveness.

• For example, near-peer assessments of teaching sessions (such as from colleagues attending teaching rounds), periodic formal external TEs, learning outcomes (the most challenging to measure and holy grail of teaching impact), portfolios, and 360-degree evaluations from others may all contribute to a multi-pixelated, complete picture of teaching effectiveness. 34
• However, we must ensure that any new methods or processes are actually meaningful and helpful for faculty and not just extra work.

마지막으로, 다소 도발적인 제안이지만, 학습자를 'fail to fail'하지 않는 교수진에게 더 큰 인정(어쩌면 상까지)을 제공할 것을 제안합니다. 상당한 시간과 에너지를 들여 어려움에 처한 학습자를 찾아내고, 그 학습자가 더 나은 의사가 될 수 있도록 지원하고, 가르치고, 코치하는 교수진은 우리 모두가 지향해야 할 교육자상입니다. 학습자가 성공하기 위해서는 이러한 지원이 필요하며, 환자를 보호해야 하는 우리의 의무도 이러한 지원을 요구합니다. 
Lastly, and somewhat provocatively, we propose greater recognition (perhaps even an award) for faculty who do not “fail to fail” learners. Those faculty who take the significant time and energy to identify a learner in difficulty and who then support, teach, and coach that individual to become a better doctor are the educators we should all aspire to be. Our learners need this support to succeed, and our obligation to protect our patients demands it.

Copyright © 2022 by the Association of American Medical Colleges.

임상추론 교육을 위한 세 가지 지식-지향 교수전략: 자기설명, 개념매핑연습, 의도적 성찰: AMEE Guide No. 150 (Med Teach, 2022)
Implementation of three knowledge-oriented instructional strategies to teach clinical reasoning: Self-explanation, a concept mapping exercise, and deliberate reflection: AMEE Guide No. 150
Dario Torrea , Martine Chamberlandb and Silvia Mamedec

자기 설명
Self-explanation

SE란 무엇인가요?
What is it?

자기 설명은 학습 자료에 대한 이해를 심화시키고 자신의 지식을 모니터링할 목적으로 각 학생이 학습 자료를 사용하는 동안 스스로 설명을 제공하도록 요구하는 교육 기법입니다(Chi 외. 1994; Chi 2000). '

• '자기'라는 용어는 중요하며 SE의 두 가지 중요한 특징을 나타냅니다. 첫째, 설명은 학생에 의해 생성되고 둘째, 이러한 설명은 이 학생을 위해 제공됩니다. 이는 다른 사람을 가르치기 위해 설명을 제공하는 것과는 상당히 다릅니다(Renkl 및 Eitel 2019). 따라서 SE는 선험적으로 개별 학습 활동입니다. 
• 설명이라는 용어를 명확히 하는 것도 중요합니다. 설명의 개념은 다양한 의미를 가질 수 있지만, SE 문헌에서는 일반적으로 학생이 기본 원리(원리 기반 SE)를 참조하여 문제의 요소를 설명하는 진술을 의미합니다(Renkl and Eitel 2019; Chi 2000).  

SE is an instructional technique that requires each student to provide explanations for him/herself while engaging with a learning material in the purpose of deepening his/her understanding and monitoring his/her knowledge (Chi et al. 1994; Chi 2000).

• The term Self is important and refers to two critical features of SE. Firstly, the explanations are generated by the student and, secondly, these explanations are provided for this student. It is quite different from giving explanations to teach others (Renkl and Eitel 2019). SE is then, a priori, an individual learning activity.
• The term explanation is also important to clarify. Although the concept of explanation can have a variety of meanings, in the SE literature, it usually refers to statements expressed by the student that explains an element of the problem in reference to an underlying principle (principle-based SE) (Renkl and Eitel 2019; Chi 2000). 

따라서 자기 설명은 단순히 thinking aloud 또는 텍스트의 일부를 반복하거나 의역하는 것이 아닙니다. SE가 학습에 미치는 이점은 학생들이 더 많은 SE를 생성할 때 증가하지만, 더 중요한 것은 문제의 요소와 기본 원리 또는 메커니즘을 연결하는 데 참여할 때 더욱 커집니다(Renkl 및 Eitel 2019).
So self-explaining is not simply thinking aloud, repeating or paraphrasing a segment of the text. The benefits of SE on learning are increased when students produce more SE but more importantly, when they engage in making links between the elements of the problem and underlying principles or mechanisms (Renkl and Eitel 2019).

SE는 학생의 지식이 여전히 심화 및 수정이 필요한 복잡한 문제나 덜 익숙한 문제에 유용한 것으로 보입니다(Chi 외. 1994; Wong 외. 2002; Chamberland 외. 2013). 학생이 문제를 완벽하게 이해하고 더 이상 학습할 여지가 없는 경우, 자기 설명에 참여해도 아무런 이점이 없습니다. SE는 지식을 구축하는 데 도움이 되며 지식을 자동화하지는 않습니다. 학생이 상호 연결되고 일관된 심층 지식을 개발할 수 있도록 지원하는 등 SE가 학습에 미치는 이점은 여러 영역에서 입증되었습니다(Chi 2000; Richey와 Nokes-Malach 2015). SE는 컴퓨터 기반 교육과 텍스트, 도표, 연습 문제, 풀어야 할 문제 등 다양한 학습 자료와 함께 사용되어 왔습니다. 
SE appears to be useful for complex problems or less familiar, when the student’s knowledge still needs deepening and revision (Chi et al. 1994; Wong et al. 2002; Chamberland et al. 2013). If the student understands perfectly the problem and there is no room for more learning, there is no benefit of engaging in self-explaining. SE helps build knowledge and does not automatize it. The benefits of SE on learning such as supporting student’s development of deep interconnected and coherent knowledge, has been shown in several domains (Chi 2000; Richey and Nokes-Malach 2015). SE has been used in computer-based instruction and with different learning materials such as text, diagrams, worked-examples, and problems to solve.

의학에서 SE는 진단적 추론을 기르기 위한 교육 기법으로 학부생을 대상으로 실험적으로 연구되었습니다. 익숙하지 않은 사례를 풀면서 SE를 사용한 학생들은 추가 지시 없이 조용히 사례를 풀었던 학생들에 비해 더 나은 진단 성과를 보였습니다(Chamberland 외. 2011). 학생들이 생성한 SE의 내용 분석에 따르면 익숙한 사례에 비해 덜 익숙한 사례를 접할 때 더 많은 생의학 지식 또는 기본 메커니즘(원리 기반 SE)을 재활성화하여 질병 스크립트의 일관성을 높여 더 나은 진단을 내리는 데 도움이 될 수 있는 것으로 나타났습니다(Chamberland 외. 2013). 이는 진단 추론을 향상시키기 위해 학습하는 동안 생물 의학 지식을 임상 지식과 제공/연결하는 것이 중요하다는 이전 연구와 일치합니다(Wood et al. 2007). 
In medicine, SE has been studied experimentally in undergraduate students as an instructional technique to foster diagnostic reasoning. Students who used SE while solving lesser familiar cases showed better diagnostic performance when compared to students who had solved cases in silence without further instructions (Chamberland et al. 2011). Content analysis of SE generated by students indicated that when facing lesser familiar cases in comparison with familiar cases, they reactivated more biomedical knowledge or underlying mechanisms (principle-based SE), which could help them increase coherence of their illness scripts thus leading to better diagnosis (Chamberland et al. 2013). This is in line with previous studies showing the importance of providing/linking biomedical knowledge with clinical knowledge while learning to increase diagnostic reasoning (Wood et al. 2007).

진단적 추론을 키우기 위해 SE를 잘 설계한 활동은 학생들이 학습 자료를 사용하는 동안 다음을 요구할 것입니다.

• 사전 지식을 재활성화하고,
• 현재 지식을 정교화하고 설명을 제공하며,
• 문제의 임상 요소와 관련 기본 메커니즘 또는 원리를 연결하도록 

결과적으로 학생은 질병에 대한 자신의 표현을 수정할 수 있을 뿐만 아니라 후속 학습을 안내하기 위해 지식의 모호성과 격차를 인식할 수 있습니다(Chamberland 외. 2015, 2020; 예시는 부록 1 참조). 
A well-designed activity using SE to foster diagnostic reasoning will require students, while working with the learning material, to reactivate prior knowledge, to elaborate on current knowledge and provide explanations, making links between the clinical elements of the problem and relevant underlying mechanisms or principles. Consequently, it will allow the student to revise his/her representation of diseases as well as to recognize ambiguities and gaps in knowledge to guide subsequent learning (Chamberland et al. 2015, 2020; see Appendix 1 for an example).

SE를 준비하고 도입하는 방법은?
How to prepare and introduce SE?

SE는 독립적인 기법이 아니라 학습을 지원하기 위해 다양한 방식으로 통합될 수 있는 일반적인 지식 구축 전략입니다. 지금까지 학생들의 임상 추론 발달을 촉진하기 위한 SE 연구는 주로 학생들이 해결해야 하는 임상 사례를 학습 자료로 사용했습니다.
SE is not a stand-alone technique but rather a general knowledge building strategy that could probably be incorporated in many ways to support learning. So far, studies on SE to promote development of clinical reasoning among students have mainly used clinical cases that students were required to solve as learning materials.

학습 자료
Learning material

임상 사례
Clinical cases

• 학부생의 경우, 모든 임상 정보(전체 증례)를 제공하는 임상 증례를 통해 인지 부하를 관리하면서 SE에 참여할 수 있습니다.
  
• 자료를 설계할 때 학습자의 수준과 주어진 임상 문제에 대한 사전 지식을 고려합니다. 학생들은 문제와 관련된 질병에 대한 충분한 사전 지식이 있어야 하며, 일관된 질병 스크립트를 작성하고 이러한 질병에 대한 생의학 지식을 통합하는 초기 단계에 있을 것으로 예상됩니다.
  
• 임상 사례는 학생에게 적절한 수준의 난이도를 가져야 하며, 이를 통해 학생의 이해를 심화시키고 지식을 구축/수정할 수 있는 충분한 여지가 있어야 합니다(Chamberland 외. 2011, 2013).
  
• 케이스를 준비하려면 현재 활동을 담당하는 교사와 커리큘럼의 이전 관련 섹션을 담당하는 교사 간의 협력이 필요하며, 가능하면 비슷한 수준의 교육을 받은 학생을 대상으로 난이도를 테스트하거나 처음 사용한 후 체계적으로 모니터링하여 난이도를 검증할 수 있습니다.
  
• 사례는 종이 기반 형식 또는 전자 플랫폼에서 사용할 수 있습니다.
• For undergraduate students, clinical cases providing all the clinical information (whole case) allow them to engage in SE while managing cognitive load.
• Consider the level of the learners and their prior knowledge for a given clinical problem in designing the material: students should have sufficient prior knowledge on diseases relevant to the problem and expected to be at the early stage of building coherent illness scripts and integrating biomedical knowledge for these diseases.
• Clinical cases should be of appropriate level of difficulty for students so that there is enough room for deepening their understanding and build/revise their knowledge (Chamberland et al. 2011, 2013).
• Cases preparation then requires collaboration between teachers responsible of the current activity and of previous relevant sections of the curriculum; validation of the level of difficulty might be tested with students of similar level of training if possible or systematically monitored once first used.
• Cases can be used with a paper-based format or on an electronic platform.

SE에 대한 일반적 연구와 다른 영역의 연구를 고려할 때, 실습 사례(Dyer 외. 2015), 개념도, 컴퓨터 멀티미디어(텍스트 및 도표) 임상 사례, 라이브 또는 녹화된 강의 섹션 등 다양한 자료와 함께 SE를 사용하면 학생들에게 도움이 될 것으로 기대할 수 있습니다. 
Considering the research on SE in general and in other domains, we could expect that students would benefit from using SE with a variety of materials such as worked examples (Dyer et al. 2015), concept maps, computer multi-media (texts and diagrams) serial-cues clinical cases, and sections of a live or recorded lecture.

학생에게 SE 소개하기
Introducing SE to students

SE는 학생들에게 어려운 과제이며 자발적으로 사용하지 않습니다. 학생들에게 SE에 대해 교육하는 것은 유익한 것으로 보입니다. 교육은 짧을 수 있지만 다음 등을 제공해야 합니다.

• SE의 정의와 사용 근거(학생들이 임상 추론과 관련된 지식을 쌓고 심화시키는 데 어떻게 도움이 되는지),
• 제안된 학습 자료로 학생이 직접 설명하는 예시, 학생들이 연습할 수 있는 기회 

경험상 SE가 학습에 미치는 이점을 최적화하려면 학생은 SE가 평가 도구가 아닌 학습 전략이라는 점을 이해해야 합니다. SE는 정답을 제공하는 것이 아니며 구두 시험도 아닙니다. 학생은 '안전한 공간'에서 자신의 지식의 한계를 탐구하고 부족한 부분을 파악할 수 있도록 스스로 설명하면서 '학습하는 자세'를 취해야 합니다. 교사는 학생들의 참여를 극대화하기 위해 요구 사항을 명확히 해야 합니다. 선택 사항이 아닌 필수 사항으로 지정하고, 자기 설명에 소요할 최소한의 시간을 요구해야 합니다. 
SE is a challenging task for students, and they do not use it spontaneously. Training students on SE appears beneficial. Training may be short but should provide:

• a definition of SE and rationale for using it (how it helps students build and deepen knowledge relevant to clinical reasoning);
• an example of a student self-explaining with the proposed learning material and opportunity for students to practice.

In our experience, in order to optimize the benefit of SE on learning, students must understand that SE is a learning strategy and not an assessment tool. SE is not about providing the right answer, nor it is an oral examination. Students must adopt a ‘learning position’ while self-explaining allowing them to explore the limits of their own knowledge and identify gaps in a ‘safe space’. Teachers should make the requirements clear to maximize students’ engagement: do not make it optional but mandatory and ask for a minimum time spent self-explaining.

과제를 어떻게 수행하나요?
How to perform the task?

SE는 선험적으로 개별 학습 활동입니다. 모든 학생이 새로운 학습 자료를 접할 때 자연스럽게 SE를 하는 것은 아닙니다. 활동 중에 프롬프트를 통합하면 더 많은 SE, 특히 원리 기반 SE를 생성하도록 장려할 수 있습니다. 예를 들어,

• 선택한 학습 자료가 해결해야 할 임상 사례인 경우, 학생에게 먼저 조용히 사례를 읽도록 하여 적절한 사전 지식을 다시 활성화할 수 있도록 도울 수 있습니다.
• 그런 다음 자료에 포함된 프롬프트에 따라 사례를 다시 살펴보면서 사례에 제시된 임상 결과를 체계적으로 스스로 설명하도록 초대합니다.

SE is a priori an individual learning activity. All students do not naturally self-explain when engaging with new learning materials. Incorporating prompts during the activity encourage them to generate more SE and in particular principle-based SE. For instance,

• if the learning material chosen is a to-be-solved clinical case, the student may be first invited to read the case in silence to help him begin reactivating appropriate prior knowledge.
• Then, going again through the case, guided by prompts included in the material, he is invited to self-explain systematically the clinical findings presented in the case.

다양한 유형의 프롬프트는 구조 또는 지시성의 정도가 다릅니다(Wylie and Chi 2014; Renkl and Eitel 2019): 개방형 프롬프트는 학생이 생성된 SE의 유형을 제한하지 않고 사전 지식과 새로 제시된 정보를 연결하도록 장려합니다. 임상 사례에 사용할 수 있는 개방형 프롬프트의 예는 표 1에 나와 있습니다. 활동 중 또는 활동 후에 학생에게 다른 학생의 SE 사례 또는 문제 해결 방법과 같은 추가 리소스가 제공되는 경우, 학생이 이 새로운 정보에 참여하도록 유도하는 프롬프트가 도움이 될 수 있습니다(Nokes 외. 2011). 이러한 프롬프트의 예는 표 1에 나와 있습니다.
Different types of prompts provide different degrees of structure or directedness (Wylie and Chi 2014; Renkl and Eitel 2019): open-ended prompts encourage students to make connections between prior knowledge and the new presented information without constraining the type of SE generated. Examples of open-ended prompts that could be used with clinical cases are provided in Table 1. If the student is provided with additional resource during or after the activity, such as an example of SE from another student or solution of the problem, prompts that invite students to engage with this new information may be helpful (Nokes et al. 2011). Examples of such prompts are provided in Table 1.

학생들은 SE를 어떻게 표현할까요?

• 임상 추론에 대한 SE는 학생들이 자신의 설명을 말로 표현하는 방식으로 가장 많이 연구되었습니다. 이는 구현에 추가적인 어려움이 될 수 있지만, 언어화는 학생에게 자연스러운 것으로 인식되며(Chebbihi 외., 2019), 학생의 추가적인 인지적 참여를 요구함으로써 침묵 속에서 스스로 설명하는 것과 비교할 때 학습을 향상시키는 것으로 보입니다(De Bruin 외., 2007).
• 또는 학생에게 SE를 작성하도록 요청할 수도 있습니다. SE 및 임상 추론에 대한 많은 연구에서 SE 과정에 대한 피드백이 제공되지 않았습니다. 이 문제는 실질적인 도전이 될 수 있습니다. 2년에 걸쳐 종단적 활동으로 SE를 구현한 경험에서 학생들은 SE 활동을 반복함으로써 SE를 연습하고 이 전략에 익숙해질 수 있었다고 보고했습니다.
• (교수자는) 학생들이 SE한 콘텐츠 지식에 대한 피드백을 제공할 수 있습니다. 연습 후 정확한 진단만 제공한 연구에서는 매우 유사한 후속 사례를 해결하는 데는 유용했지만 다른 사례에는 유용하지 않았습니다(Chamberland 외. 2019). SE에서 피드백의 역할에 대한 이 문제는 추가 연구가 필요합니다.

How will students express their SE?

• SE for clinical reasoning has been most studied with students verbalizing their explanations. Even though this might represent an additional challenge for implementation, verbalization is perceived as natural for students ( Chebbihi et al., 2019) and appears to improve learning when compared to self-explaining in silence (De Bruin et al. 2007) by requiring further cognitive engagement from the student.
• Alternatively, students may be asked to write their SE. No feedback on the process of SE has been provided in many studies on SE and clinical reasoning. This issue would represent a practical challenge. In our experience implementing SE with a longitudinal activity over 2 years, students reported that the recurrence of the SE activity allowed them to practice SE and get familiar with this strategy.
• Feedback on the content knowledge on which students self-explain may be provided. A study providing only the correct diagnosis after the exercise was useful to solve subsequent very similar cases but not for different cases (Chamberland et al. 2019). This issue of the role of feedback in SE needs further research.

SE를 커리큘럼에 통합하는 방법은 무엇인가요?
How to integrate SE into the curriculum?

SE와 임상 추론에 대한 연구는 주로 4년제 커리큘럼을 갖춘 의과대학에서 이루어졌으며, 3학년 의대생이 개별적으로 종이 증례 책자를 가지고 실습을 하는 방식으로 진행되었습니다. 그러나 학습자의 수준에 맞게 학습 자료가 조정된다면 현지 커리큘럼 설계에 따라 SE를 더 일찍 도입할 수도 있습니다. 5년 또는 6년 커리큘럼의 학교에서는 이미 강의 수업을 통해 질병에 대한 지식을 접했지만 임상 경험이 많지 않은 학생들을 참여시키는 것이 적절할 것입니다. 실제로 학부 수준에서 임상 추론을 가르치는 것에 대한 서술적 검토를 마무리하는 슈미트와 마메데의 제안은 SE가 초보 학생들에게 적합할 수 있다고 제안했습니다(슈미트 및 마메데 2015). 지금까지 실제 교육 상황에서 SE를 구현한 데이터는 아직 제한적입니다(Chamberland 외. 2020; Kelekar와 Afonso 2020). 
Research on SE and clinical reasoning have mainly occurred in medical schools with a 4-year curriculum and involved third-year medical students in clerkship working individually with booklets of paper cases. However, SE may be introduced earlier depending on the local curriculum design as long as the learning material is adapted to the level of the learners. In schools with 5-or 6-year curricula, it would be appropriate to engage students who have already been exposed to knowledge of diseases through didactic activities but do not have much clinical experience with them. Indeed, Schmidt and Mamede’s proposal concluding their narrative review on teaching clinical reasoning at undergraduate level, suggested that SE could suit well novice students (Schmidt and Mamede 2015). So far, data on implementation of SE in authentical educational context are still limited (Chamberland et al. 2020; Kelekar and Afonso 2020).

SE는 선험적으로 개인의 건설적인 학습 활동이지만, 학생이 먼저 자신의 사전 지식을 가지고 작업하고 스스로 설명을 생성 할 수있는 충분한 공간이 제공된다면 다른 사람 (예 : 가까운 동료)과의 상호 작용을 추가하는 것이 유익 할 수 있습니다 (Chamberland et al. 2015, 2020). 실험 조건에서 동일한 사례에 대해 또래에 가까운 SE의 설명을 들었을 때 학생들의 진단 성능이 더욱 향상되었습니다(Chamberland 외. 2015). 후속 질적 연구에서 3학년 학생들은 후배 레지던트의 SE를 추가적인 외부 자원으로 사용했다고 보고했습니다. 짝지은 상호작용도 학습에 도움이 될 수 있습니다(Rotgans and Cleland 2021). 
While SE is a priori an individual constructive learning activity, the addition of interactions with others (e.g. near-peers) (Chamberland et al. 2015, 2020) might be beneficial (Chi 2018) if the student is provided with enough space to work first with his/her own prior knowledge and generate for himself explanations. Under experimental conditions, diagnostic performance of students was further increased by listening to a near-peer SE on the same case (Chamberland et al. 2015). In a subsequent qualitative study, third-year students reported that they used the junior resident’s SE as an additional external resource. Interactions in dyads could also be beneficial for learning (Rotgans and Cleland 2021).

임상 추론 매핑 연습
Clinical reasoning mapping exercise

개념 지도란 무엇인가요?
What is it?

[개념 지도]는 의미를 만드는 단어 또는 명제로 연결된 상호 연관된 개념 집합을 그래픽으로 표현한 것으로, 개념 집합의 의미에 대한 학습자의 이해를 나타냅니다(Novak and Cañas 2006). 개념 맵을 사용한 연습은 지식 조직화와 비판적 사고를 촉진합니다(West 외. 2000; Torre 외. 2007; Daley와 Torre 2010). 교수자가 제공하는 지시성의 정도에 따라 두 가지 주요 매핑 전략이 개념 맵을 사용한 교수 및 학습에 사용될 수 있습니다(Ruiz-Primo 및 Shavelson 1996). 개념 지도의 지시성은 지도를 구성하기 위해 학습자에게 제공되는 정보의 양을 의미합니다.

• 저-지시성 맵(학습자 주도형)은 개념, 연결어, 맵의 구조가 학습자에 의해 구성되는 학습자에 의해 전적으로 생성되는 개념 맵이 특징입니다(Novak and Gowin 1984).
• 고-지시성 맵(교사 주도형)은 교사가 지도의 구성 요소(노드 또는 링크)를 개발한 다음 학생에게 노드의 내용을 채우고, 노드를 연결 단어로 연결하거나 두 가지를 조합하는 과제를 제공하는 기법입니다. (Schau와 Mattern 1997).

A concept map is a graphic representation of a set of interrelated concepts linked by meaning-making words or propositions that depicts the learner’s understanding of the meaning of a set of concepts (Novak and Cañas 2006). Exercises with concept maps foster knowledge organization and critical thinking (West et al. 2000; Torre et al. 2007; Daley and Torre 2010). Two main different mapping strategies, based on the degree of directedness provided by the instructor, can be used in teaching and learning with concepts maps (Ruiz‐Primo and Shavelson 1996). Directedness of a concept map refers to the amount of information that is provided to the learners for the construction of the map.

• A low degree of directedness (learner driven) map is characterized by a concept map that is entirely created by the learner in which concepts, linking words and structure of the map are constructed by the learner (Novak and Gowin 1984).
• A high degree of directedness map (teacher driven) is a technique in which components of the map (either nodes or links) are developed by the teacher and then provided to the student who has the task of filling in content of the nodes, connecting the nodes with linking words or a combination of both. (Schau and Mattern 1997).

CReSME는 높은 수준의 지시성을 가진 개념 지도입니다(Torre et al., 2019). CResME는 임상 및/또는 기초 과학 정보를 포함하는 노드를 사용하므로 학습자는 이러한 정보 노드를 정확하고 의미 있는 방식으로 연결하여 여러 영역에서 동일한 증상으로 나타나는 여러 질병의 주요 특징(예는 부록 2 참조)을 비교 및 대조할 수 있습니다. 
The CReSME is a concept map with high degree of directedness (Torre et al., 2019). The CResME uses nodes that contain clinical and/or basic sciences information, requiring learners to connect these nodes of information in an accurate and meaningful way, allowing to compare and contrast, across multiple domains, key features of different diseases (see Appendix 2 for an example) presenting with the same complaint.

CReSME를 준비하고 도입하는 방법은 무엇인가요?
How to prepare and introduce the CReSME?

그 근거는 학생들에게 유사한 증상을 보이는 여러 질병의 전형적인 임상 특징을 비교하고 대조할 수 있도록 미리 구성된 스캐폴딩 구조를 제공하여 궁극적으로 동일한 증상을 보이는 질병에 대한 질병 스크립트 개발을 촉진하기 위한 것입니다.
The rationale is to provide students with a pre-constructed scaffolding structure to facilitate the comparing and contrasting of typical clinical features of different disease with a similar presentation, to ultimately foster the development of illness scripts for disease entities presenting with the same complaint.

학습 자료
Learning materials

• 사례 발표는 의도적으로 환자의 주요 불만 사항만 포함합니다. 예를 들어 55세 남성 환자가 급성 흉통을 호소한다고 가정해 보겠습니다.
  
• 맵 콘텐츠는 동일한 주호소(급성 흉통)를 가진 질병에 대한 주요 정보가 포함된 미리 구성된 노드 집합으로 시각적으로 표시됩니다.
  
• 학습자는 연습의 맨 아래에 있는 빈 노드를 완성하여, 스크립트의 일부를 포함하는 노드 간의 일련의 정확한 연결과 일치하는 진단을 제공해야 합니다.
  
• 해결해야 할 완전한 임상 사례는 존재하지 않으므로, 환자의 주요 증상에 대한 감별 진단을 구성할 수 있는 3~5개의 질병 실체의 원형 구성 요소를 정확하게 식별하고 연결하는 것 외에는 하나의 정답이 존재하지 않습니다. 강사 CREsME 기법 설계의 단계는 표 2에 나와 있습니다. 
• The case presentation purposefully entails only the chief complaint of a patient. For example, a 55-year-old male patient presenting with acute chest pain.
• The map content is displayed visually as a preconstructed set of nodes with key information about the diseases that all present with the same chief complaint (acute chest pain).
• The learner needs to provide a diagnosis consistent with a series of accurate connections among the nodes containing parts of the script, by completing the empty nodes at the bottom of the exercise.
• Since there is no complete clinical case-to-be-solved, there is not a single best answer but the accurate identification and connections of prototypical components of three to five disease entities that may constitute a differential diagnosis for the patient’s chief complaint. Instructor Steps in the design of the CREsME technique are provided in Table 2.

CReSME와 같이 지시성이 높은 개념 지도는 교사의 세심한 준비가 필요합니다.

• 실제로 개발하는 데 몇 시간이 걸릴 수 있으며, 콘텐츠의 정확성과 관련성 및 노드 간의 연결성을 보장하기 위해 교수진 그룹이 검토해야 합니다.
• 교수진은 가능한 모든 연결 고리를 파악하고, 적절한 난이도를 측정하고, 토론을 통해 합의에 도달해야 합니다.
• CReSME 기법을 학생들에게 소개해야 하며, 강사는 연습을 개발하거나 완료하는 목적, 코스 또는 학습할 자료에 어떻게 부합하는지 설명하고 화이트보드 또는 컴퓨터 매핑 시스템을 사용하여 해결하는 방법을 시연해야 합니다.
• 이전에 개발한 CReSME의 예시를 학생들에게 제시하여 학생들이 검토하고 질문하며 과제를 완료하는 방법을 이해할 수 있도록 하는 것이 도움이 됩니다. 그런 다음 학생에게 종이 또는 전자 방식으로 샘플 연습을 할 수 있는 기회를 제공해야 합니다. 이러한 입문 세션은 1~2시간 정도 소요될 수 있으며 필요한 경우 반복할 수 있습니다.

A high directedness concept map like the CReSME requires careful preparation by the teacher.

• Indeed, it may take a few hours to develop and should be reviewed by a group of faculty to ensure accuracy and relevance of the content and the connections among nodes.
• The faculty should identify all possible connections, gage the appropriate level of difficulty, and come to a consensus through discussion.
• the CReSME technique needs to be introduced to students and the instructor should explain the purpose of developing or completing the exercise, how it fits into the course or material to be learned, and demonstrate how to solve it on a whiteboard or using a computer mapping system (http://cmap.ihmc.us/).
• It is helpful to present the students with an example of a CReSME previously developed, so that they can review, ask questions, and understand how to complete the task. Subsequently, students should be given the opportunity to practice on a sample exercise, on paper or electronically. Such an introductory session may last 1–2 h and can be repeated if needed.

CReSME는 어떻게 수행하나요?
How to perform a CReSME?

학생들은 다양한 콘텐츠에 대한 CReSME를 이수하도록 배정될 수 있습니다. 콘텐츠는 기초 과학에서 임상 과학에 이르기까지 다양합니다. 대부분의 경우 기초 과학과 임상 과학 콘텐츠가 동일한 연습에 통합되어 있습니다(예: 미생물학, 약리학, 병태생리학, 임상적 특징 및 발열을 보이는 질병 개체의 진단 워크업을 통합한 연습). 경험상 20~30분은 학생이 하나의 CReSME를 완료하는 데 적당한 시간입니다. 그러나 이는 복잡성 수준, 연결해야 하는 노드 및 연결의 수, 학생이 비교하고 검토해야 하는 질병 엔티티의 수에 따라 달라질 수 있습니다. CReSME를 완성하는 것은 개별적으로 또는 소규모 학습자 그룹(그룹당 5~6명의 학생)이 공동으로 작업하여 수행할 수 있습니다. 마찬가지로, 그룹 개념 매핑(Torre 외. 2017; Peñuela-Epalza 및 De la Hoz 2019)과 마찬가지로, 각 그룹은 연습을 완료하고 다른 그룹과 그 근거를 공유할 수 있습니다. 그룹 환경에서 학생들은 서로 질문하고, 구체적이거나 더 어려운 연결고리에 대한 설명을 제공하고, 의미와 상호 이해를 공동으로 구성하는 과정에 참여할 수 있습니다. 
The students can be assigned to complete a CReSME on a variety of contents Content may range from basic sciences to clinical sciences. Most often, basic and clinical sciences content are integrated within the same exercise (e.g. an exercise integrating microbiology, pharmacology, pathophysiology, clinical features, and diagnostic workup of disease entities presenting with fever). In our experience, 20–30 min is a reasonable amount of time for a student to complete one CReSME. But this will depend on its level of complexity, the number of nodes and connections that need to be made and the number of disease entities that will have to be compared and reviewed by students. The completion of a CReSME may be accomplished individually or by a small group of learners working collaboratively (five to six students per group). Similarly, to group concept mapping (Torre et al. 2017; Peñuela-Epalza and De la Hoz 2019), each group can complete the exercise and share their rationale with other groups. In a group setting, the students can ask questions to each other, provide explanations for specific or more challenging links and engage in a process of co-construction of meaning and mutual understanding.

이 교육 기법은 피드백의 기회를 제공합니다. 다음은 몇 가지 제안 사항입니다:
This instructional technique offers opportunities for feedback. Here are some suggestions:

1. 교사는 학생들이 CReSME 결과를 공유하고 비교할 수 있는 세션을 계획하고, 제안된 근거와 정당성의 차이에 대해 토론하고 반성하며, 교사가 큰 소리로 생각하고 자신의 사고 과정을 모델링하여 정보 노드 간의 각 연결 집합에 대한 근거와 정당성을 설명할 수 있습니다. 이 과정을 녹화한 다음 학습자와 전자적으로 공유하면 학습자는 자신의 속도와 시간에 맞춰 액세스하여 들을 수 있습니다.
   The teacher may plan a session where students can share and compare their CReSME results; discuss and reflect on differences in rationale and justifications proposed; the teacher can think aloud and model his or her thinking process, explaining the rationale and the justification for each set of connections among nodes of information. This process can be recorded and then shared electronically with the learners who can access it and listen to it at their own pace and time.
2. 교사는 학습자의 연습 문제를 검토한 후 일반적인 오해나 지식 격차를 파악하고 전체 학급을 대상으로 한 후속 교육 세션에서 해당 개념을 명확히 설명할 수 있습니다.
   The teacher, after reviewing exercises from learners, may identify common misconceptions or knowledge gaps and clarify those concepts in a subsequent teaching session for the whole class.
3. 교사는 어려움을 겪고 있는 학생을 개별적으로 만나 특정 연결 또는 잘못된 링크의 근거에 대해 문의하고 구체적인 피드백을 제공할 수 있습니다.
   The teachers can meet individually with struggling students, inquire about the rationale for specific connections or invalid links and provide specific feedback.
4. 교사는 '참조' CReSME를 개발하여 학생들과 공유하고 동기식 또는 비동기식 방식으로 완료한 연습과 비교하여 검토하도록 권장할 수 있습니다.
   The teacher can develop and share with students a ‘reference’ CReSME and encourage them to review and compare it with their completed exercise in a synchronous or asynchronous manner.

커리큘럼에 CReSME를 통합하는 방법은 무엇인가요?
How to integrate the CReSME into the curriculum?

CReSME는 코스, 모듈 및 임상 실습 로테이션 전반에 걸쳐 기초 및 임상 과학을 통합하는 데 사용할 수 있습니다. 콘텐츠를 통합할 뿐만 아니라 시간이 지남에 따라 학생의 지식 구조 발달을 모니터링하는 데에도 종단적으로 사용할 수 있습니다. 다양한 콘텐츠로 임상 추론 매핑 연습을 구성하고 난이도를 높이면 시간이 지남에 따라 학습자의 성장과 궤적을 추적할 수 있습니다. 
The CReSME could be used to integrate basic and clinical sciences, across courses, modules and clerkship rotations. It can be used longitudinally not only to integrate content but also to monitor the student development of knowledge structures over time. The construction of clinical reasoning mapping exercises with different content, and increasing level of difficulty may allow to follow the growth and trajectory of the learner over time.

의도적인 성찰
Deliberate reflection

DR이란 무엇인가요?
What is it?

원래 의사의 진단 능력을 향상시키기 위한 도구로 개발 및 테스트된 DR은 임상 추론을 가르치기 위한 교육적 접근 방식으로도 활용되고 있습니다. 이 접근 방식은 임상 사례를 진단하는 동안 반성을 장려하고 안내하며, 학생들이 사례에 대한 대체 진단을 체계적으로 비교하고 대조하도록 요구합니다. DR의 목적은 임상 사례에 제시된(또는 관련된) 질병에 대한 정신적 표현의 발달을 촉진하여 향후 새로운 사례에서 질병을 접할 때 이를 더 쉽게 인식할 수 있도록 하는 것입니다. 
DR, originally developed and tested as a tool to improve physicians’ diagnostic performance, has also been employed as an instructional approach for the teaching of clinical reasoning. The approach encourages and guides reflection during the diagnosis of clinical cases, requiring students to compare and contrast alternative diagnoses for the case in a systematic way. The purpose of DR is to foster the development of the mental representations of the diseases presented in (or related to) the clinical cases, making it easier to recognize them when they are encountered in new cases in the future.

DR을 교육 기법으로 사용할 경우, DR은 학생들에게 임상 사례를 하나씩 제시하고 표 3에 설명된 일련의 단계에 따라 사례를 진단하도록 요구합니다. 일반적으로 학생들은 단계를 제시하는 표를 작성하여 사례를 되돌아봅니다. 이는 고려 중인 각 진단에 대한 찬성과 반대의 전체 증거를 동시에 시각화하는 데 중요한 역할을 합니다(예는 부록 3 참조). 
When employed as instructional technique, DR presents students with clinical cases, one by one, and requires them to diagnose the case by following the series of steps outlined in Table 3. Usually, students reflect upon the case by filling in a table which presents the steps. This seems important to help visualize the whole evidence in favor and against each diagnosis under consideration simultaneously (see Appendix 3 for an example).

DR은 다음을 포함하는 의학에서의 5차원 반성적 진료 모델을 기반으로 합니다(Mamede and Schmidt 2004).

• (i) 의도적 귀납,
• (ii) 의도적 연역,
• (iii) 테스트 및 종합,
• (iv) 성찰을 위한 개방성,
• (v) 메타추론(메타추론)

DR 절차는 임상의가 사례에 대해 고려한 초기 진단의 근거를 비판적으로 조사하고, 가능한 대안을 검토하도록 안내함으로써 이러한 차원을 진단 프로세스에 '적용'합니다. 의사를 대상으로 한 연구에서 DR은 진단 오류를 줄이고, 추론의 편견에 대응하며, 성과를 개선하는 것으로 반복적으로 나타났습니다(Mamede 외. 2008, 2010). 여러 연구에서도 임상 추론 교육에 DR을 사용하는 것을 뒷받침하는 증거를 제시했습니다(Mamede 외. 2012, 2019, 2020; Myung 외. 2013; Ibiapina 외. 2014) 이러한 실험 연구에서 임상 사례로 실습하는 동안 DR을 사용한 학생들은 향후 진단 과제에서 감별 진단을 내리는 등 보다 전통적인 접근 방식을 사용하여 실습한 학생들보다 더 나은 성과를 냈습니다. DR의 이러한 긍정적인 효과는 질병 스크립트 개발에서 임상 문제에 대한 노출이 핵심적인 역할을 한다는 의료 전문성의 단계 이론(Schmidt 외. 1990)과 스키마 구성에 있어 사례 비교 및 대조가 이점을 제공한다는 심리학 연구(Gentner 외. 2009)와도 일치합니다. 그러나 기존의 거의 모든 경험적 증거는 실험실 조건에서 수행된 연구에서 나온 것이며, 실제 커리큘럼에서의 구현과 관련하여 검토해야 할 사항이 많이 남아 있습니다. 
DR is based on a five-dimension model of reflective practice in medicine that involves:

• (i) deliberate induction,
• (ii) deliberate deduction,
• (iii) testing and synthesizing,
• (iv) openness for reflection, and
• (v) meta-reasoning (Mamede and Schmidt 2004).

The DR procedure ‘applies’ these dimensions to the diagnostic process by guiding clinicians through critical scrutiny of the grounds of the initial diagnosis considered for a case and the examination of possible alternatives. In studies with physicians, DR has repeatedly shown to reduce diagnostic errors, counteract bias in reasoning and improve performance (Mamede et al. 2008, 2010). Several studies have also provided evidence supporting the use of DR for the teaching of clinical reasoning (Mamede et al. 2012, 2019, 2020; Myung et al. 2013; Ibiapina et al. 2014) In these experimental studies, students who employed DR while practicing with clinical cases outperformed, in future diagnostic tasks, students who practiced by using more conventional approaches such as producing a differential diagnosis. This positive effect of DR is consistent with the stage theory of medical expertise (Schmidt et al. 1990), which attributes a key role to exposure to clinical problems in the development of illness scripts, and with psychological research showing the benefits of comparing and contrasting examples for the construction of schemas (Gentner et al. 2009). However, almost all existing empirical evidence comes from research conducted under laboratory conditions, and much remains to be examined regarding implementation in actual curricula.

DR을 준비하고 도입하는 방법은?
How to prepare and introduce DR?

DR은 학생들에게 다양한 임상 문제를 접하고 이러한 문제에 대한 대체 진단을 체계적으로 비교하고 대조할 수 있는 기회를 제공하기 위한 실습에 사용해야 합니다.
DR is to be used in exercises aimed at offering students the opportunity to encounter a variety of clinical problems and to systematically compare and contrast alternative diagnoses for these problems.

학습 자료
Learning materials

• 임상 양상은 비슷하지만 진단명이 다른 질병을 나타내는 3~5개의 임상 사례 세트(예: 흉통을 주요 증상으로 하는 서로 다른 질병). 유사한 질병을 나란히 배치하여 학생들이 유사점과 차이점을 식별하고 대체 진단을 구별하는 데 도움이 되는 소견에 대한 지식을 습득할 수 있습니다.
  Sets of three to five clinical cases presenting diseases with similar clinical presentation but different diagnoses (e.g. different diseases with chest pain as chief complaint). Juxtaposing lookalike diseases allows students to identify similarities and differences between them and acquire knowledge of findings that help distinguish between alternative diagnoses.
• 학생들은 이미 교육 활동을 통해 사례에 제시된 질병에 대한 지식에 노출되었지만 임상 경험이 많지 않아야 합니다. DR은 학생들이 이미 기억에 저장해 둔 지식을 동원하고 재구성하도록 촉진하는 방식으로 작동하기 때문입니다. 학생들이 반성 과제에 가져올 사전 지식이 충분하지 않으면 이 과제의 이점을 얻지 못합니다(Mamede et al). 반면에 학습자에게 사례가 너무 쉽거나 임상에서 이미 유사한 임상 증상을 보이는 환자를 많이 접한 경우, 질병 스크립트를 다듬을 여지가 없어 과제가 그다지 도전적이고 동기 부여가 되지 않을 수 있습니다. 
  Students should already have been exposed to knowledge of the diseases presented in the cases through didactic activities but do not have much clinical experience with them. This is so because DR works by mobilizing and fostering reorganization of knowledge that students already have stored in memory. When students do not have sufficient prior knowledge to bring to the reflection task, they do not benefit from it (Mamede et al). On the other hand, if cases are too easy for the learners and/or they have already encountered many patients with similar clinical presentation in clinical years, there is possibly no room for refining their illness scripts, and the task may be not so challenging and motivating.
• DR에 대한 기존 연구는 학생들에게 진단에 도달하는 데 필요한 모든 정보를 제공하는 임상 사례를 사용했습니다. DR에는 상당한 정신적 노력이 필요하므로(Ibiapina 2014; Mamede 외. 2020), 합리적인 수준으로 유지되어야 합니다. DR 연습의 목표는 실제 사례의 복잡성을 재현하는 것이 아니라, 학생이 학습해야 하는 핵심 정보에 집중하는 것임을 명심하는 것이 중요합니다. 학생들이 커리큘럼을 진행함에 따라 사례 형식의 복잡성은 점차 증가할 수 있습니다. 그러나 예를 들어 학생이 진단에 도달하기 위해 필요한 정보를 독립적으로 수집해야 하는 사례에서 DR이 어떻게 작동할지는 아직 결정되지 않았습니다. 
  Existing research with DR has used clinical cases that provide students with all the information required to reach a diagnosis. DR involves considerable mental effort (Ibiapina 2014; Mamede et al. 2020), which should be kept at reasonable level. It is important to keep in mind that the goal of the DR exercise is not to replicate the complexity of real cases but rather focus on key information that the student is expected to learn. As students progress through the curriculum, complexity of the cases’ format may gradually increase. However, how DR would work, for example, with cases that require the student to independently gather the necessary information to reach the diagnosis, is still to be determined.
• DR의 형식(아래 참조)에 따라 임상 사례는 반성 시 고려해야 할 대체 진단에 대한 단서와 함께 제시되어야 합니다.
  Depending on the format of DR (see below), the clinical cases should be presented together with cues on the alternative diagnoses to be considered during reflection or not.

종이 기반 또는 가상 임상 사례의 사용 가능성, 임상 사례 준비 과정 및 교사의 역할과 관련하여 SE에 적용되는 사항은 DR 학습 자료에도 적합합니다. 
What applies to SE regarding the possibility to use paper-based or virtual clinical cases, the process for the preparation of the clinical cases and the role of the teacher, is also pertinent for the learning materials for DR.

학생들에게 DR 소개
Introducing DR to students

DR은 많은 노력이 필요하며(Ibiapina 외. 2014; Mamede 외. 2019), 학생들이 과제에 완전히 참여할 수 있는 기회를 극대화하려면 DR이 임상 추론에 미치는 잠재적 이점에 대해 알려주고 DR 테이블을 완성한 예를 보여줘야 합니다.
DR is effortful (Ibiapina et al. 2014; Mamede et al. 2019) and to maximize the chance that students engage fully in the task, they should be informed about the potential benefits from DR to clinical reasoning and shown examples of the completion of DR tables.

DR은 어떻게 수행하나요?
How to perform DR?

DR은 지금까지 학생들이 개별적으로 절차를 사용하여 연구해 왔지만 그룹으로 진행하지 못할 이유가 없으며 공동 학습의 이점도 얻을 수 있습니다. 
DR has so far been studied with students using the procedure individually but there is no reason why it should not work in groups and even gain from the benefits of collaborate learning.

학생에게 제공되는 지침의 양이 다른 세 가지 형식의 DR 절차가 테스트되었습니다.

• 자유 성찰에서는 학생이 사례에 대해 고려해야 할 대체 진단을 스스로 생성해야 합니다(Mamede 외. 2012).
• 단서 성찰에서는 성찰 표에 그럴듯한 대안 진단이 제공되며, 학생은 그 결과를 기입하고 가장 가능성이 높은 진단을 최종 결정해야 합니다(Ibiapina 2014; Mamede 외. 2019, 2020).
• 마지막으로, 모델 성찰에서는 교사가 모든 요소를 채운 전체 반성표를 제시하고 학생이 이를 학습해야 합니다(Ibiapina 외. 2014; Mamede 외. 2019).

Three different formats of the DR procedure which vary in the amount of guidance provided to students have been tested.

• In free-reflection, students are required to generate by themselves the alternative diagnoses to be considered for the case (Mamede et al. 2012).
• In cued-reflection, the reflection table provides the plausible alternative diagnoses and the students are required to fill in the findings and make the final decision on the most likely diagnosis (Ibiapina 2014; Mamede et al. 2019, 2020).
• Finally, in modeled-reflection, the whole reflection table is presented, with all its elements filled in by teachers, and students are required to study it (Ibiapina et al. 2014; Mamede et al. 2019).

모델 반사에 필요한 정신적 노력은 단서 반사에 비해 낮지만, 전자는 교사의 준비 작업이 훨씬 덜 필요한 후자보다 학습에 더 유리하지 않습니다. 그러나 단서 반사가 자유 반사보다 더 유리한 것으로 보이지만, 이러한 연구에서 관찰 된 이점은 이전에 연구 된 질병 만 테스트에 포함되었다는 사실에서 비롯된 것일 수 있습니다. 아직 조사해야 할 부분이 많이 남아 있습니다. 
Although the mental effort required by modelled-reflection is lower than that of cued-reflection, the former is not more advantageous for learning than the latter, which requires much less preparatory work from teachers. Cued-reflection seems, however, to be more beneficious than free-reflection, but the advantage observed in these studies may derive from the fact that only previous studied diseases were included in the tests. There is much to be investigated here yet.

DR에 대한 많은 연구에서 학생들에게 피드백이 제공되지 않았으며, 이는 새로운 지식이 제공되지 않더라도 지식 재구성을 통해 작용할 수 있음을 시사합니다. 그러나 레지던트들이 자신의 반성표와 전문가가 작성한 반성표를 비교하도록 한 최근 연구에서는 추론의 편향을 유도하는 것으로 알려진 조건에서 수행 능력을 향상시키는 절차를 보여주었습니다(Mamede 외. 2020). 이는 피드백을 통합하고 피드백에 대한 적극적인 반영을 통해 DR의 효과를 높일 수 있는 잠재력을 보여주는 신호일 수 있습니다. 다시 말하지만, 조사의 여지는 열려 있습니다. 
No feedback has been provided to students in many studies on DR, suggesting that it may act through knowledge restructuring, even when new knowledge is not made available. However, a recent study in which residents were required to compare their own reflection tables with those filled in by experts showed the procedure to improve performance under conditions that are known to induce bias in reasoning (Mamede et al. 2020). This may be a sign of a potential to enhance the effect of DR by incorporating feedback and active reflection on the feedback. Again, open avenue for investigation.

DR을 커리큘럼에 통합하는 방법은 무엇인가요?
How to integrate DR into the curriculum?

원래의 형식에서 DR은 다른 활동과 독립적으로 수행되는 연습에 사용되었습니다. 그러나 임상 사례 실습을 기반으로 한 다른 교육적 접근 방식과 결합하여 지식 재구성 및 질병 스크립트 개선을 촉진할 수도 있습니다.

• 예를 들어, 셔브룩 대학교의 경험에서 SE와 DR이 함께 사용되었습니다.
• 또한 DR 연습에서 진단된 임상 문제와 관련된 지식 습득에 초점을 맞춘 학습 과제(예: 개인 또는 자율 학습, 소그룹 학습, 강의)와 함께 DR을 사용할 수 있습니다(예: 흉통의 감별 진단에 대한 강의를 시작할 때 흉통과 관련된 질환 사례 1~2개를 진단하는 데 DR을 활용).
• 최근 연구에 따르면 다른 학습 활동과 함께 DR을 사용하는 것을 지지하며, 문제의 감별 진단에 관한 텍스트를 학습하기 전에 임상 문제를 진단하기 위해 DR에 참여하는 것이 학습 참여를 촉진하고 학습 결과를 개선하는 것으로 나타났습니다(Ribeiro 외. 2019, 2021).

In its original format, DR has been used in exercises performed independently of other activities. However, it can also be combined with other instructional approaches based on practice with clinical cases to fostering knowledge restructuring and refinement of illness scripts.

• For example, SE and DR have been used in combination in the experience of the Sherbrooke University.
• Additionally, DR can be used in combination with a learning task (e.g. individual or self-study, small-group learning, lectures) focused on acquisition of knowledge relevant to the clinical problems diagnosed in the DR exercise (e.g. employing DR to diagnose one to two cases of diseases associated with chest pain in the beginning of a lecture on the differential diagnosis of chest pain).
• Recent research has supported the use of DR in combination with other learning activities, showing that engaging in DR to diagnose a clinical problem before studying a text on the differential diagnosis of the problem fosters engagement in learning and improves learning outcomes (Ribeiro et al. 2019, 2021).

 

보건의료전문직 교육에서 인공지능의 윤리적 사용: AMEE Guide No. 158 (Med Teach, 2023)
Ethical use of artificial intelligence in health professions education: AMEE Guide No.158
Ken Masters

우려되는 주요 윤리 주제
The main ethics topics of concern

과도한 데이터 수집 방지
Guarding against excessive data collection

HPE 연구에서는 학생으로부터의 과도한 데이터 수집에 대한 우려가 있습니다(Masters 2020b). 학생 및 교직원 설문조사와 같은 전통적인 HPE 연구에서 윤리 승인이 필요한 경우 IRB는 데이터 수집 도구를 검토하고 특정 데이터 범주 및 질문의 관련성을 질의하며, 연구자는 이러한 데이터의 필요성을 정당화해야 합니다. 정당화는 일반적으로 가설을 테스트하거나 결과를 문헌에 제시된 결과와 비교할 수 있도록 하기 위한 것입니다. 
In HPE research, there is a concern about excessive data collection from students (Masters 2020b). In traditional HPE research (such as student and staff surveys), in the cases when ethics approval is required, IRBs review data collection tools and query the relevance of specific data categories and questions, and researchers must justify the need for those. Justifications are usually for testing hypotheses, or so that results can be compared to findings given in the literature.

IRB 승인에는 약점이 있을 수 있지만, 이 프로세스는 수집할 데이터를 미리 식별하고 집중하며 사전 승인된 설문조사 양식 및 기타 데이터 수집 도구로 직접 추적할 수 있기 때문에 과도한 데이터 수집을 줄이는 데 어느 정도 도움이 됩니다. 
Although there may be weaknesses in IRB-approval, the process does go some way in reducing excessive data collection: the data to be collected are pre-identified, focused, and can be traced directly to the pre-approved survey forms and other data-gathering tools.

AI는 데이터 수집 프로세스를 변화시킵니다. AI의 강점은 다양한 데이터 세트에서 대량의 데이터를 수집하고 사용하는 빅데이터의 활용입니다. 그 결과, 이전에는 노이즈로 간주되었던 데이터가 관련성이 있는 것으로 밝혀지고 이전에는 알려지지 않았던 패턴이 식별되는 경우가 많습니다. 임상 치료에서 임상적 '관련성' 문제는 수년 동안 관심의 대상이 되어 왔으며(Lingard and Haber 1999), 관련성이 없어 보이는 대량의 데이터를 사용한 최근 사례로는 AI 시스템이 엑스레이 이미지에서 사람의 인종을 판별할 수 있었던 연구가 있습니다(Gichoya 외. 2022). 
AI changes the data collection process. A strength of AI is the use of Big Data: the collection and use of large amounts of data from many varied datasets. As a result, data that might previously have been considered noise are frequently found to be relevant, and previously unknown patterns are identified. In clinical care, the issue of clinical ‘relevance’ has been of concern for many years (Lingard and Haber 1999), and a recent example of using large amounts of seemingly irrelevant data is a study in which an AI system was able to determine a person’s race from x-ray images (Gichoya et al. 2022).

HPE에서 AI 사용의 윤리적 문제를 이해하려고 할 때, 빅데이터는 단순히 데이터가 조금 더 많은 것이 아니라 전례 없는 규모의 데이터의 양과 유형을 의미한다는 점을 이해하는 것이 중요합니다. HPE에서 빅데이터의 출발점은 학습 관리 시스템(LMS)과 같은 교육기관 소스에서 쉽게 전자적으로 수집할 수 있는 학생 데이터 또는 학습 분석(Ellaway 외. 2014, Goh and Sandars 2019, ten Cate 외. 2020)이며, 임상 학생의 경우 전자 건강 기록(Pusic 외. 2023)에서도 수집할 수 있습니다. 데이터 기반 의사 결정을 사용하여 각 학생에게 최상의 학습 결과를 제공하거나 행동 패턴을 예측하는 것은 일반적으로 칭찬할 만한 목표입니다. 
When trying to understand the ethical concerns of using AI in HPE, it is crucial to understand that Big Data does not mean just a little more data, but to amounts and types of data on an unprecedented scale. In HPE, a starting point for Big Data is the obvious student data, or Learning Analytics (Ellaway et al. 2014; Goh and Sandars 2019; ten Cate et al. 2020) that can be easily electronically harvested from institutional sources, such as Learning Management Systems (LMSs), and, for clinical students, from Electronic Health Records (Pusic et al. 2023). The aims are generally laudable: using data-driven decisions to provide the best possible learning outcome for each student or to predict behaviour patterns.

그러나 AI에 필요한 학습 분석과 빅 데이터는 우리가 일반적으로 교육과 연관 짓는 단순한 데이터(예: 시험 점수)보다 훨씬 더 많은 것을 의미합니다. AI 없이도 의대생을 대상으로 한 통계 연구에서는 행동, 성과, 인구 통계를 조사하여 결과를 예측했습니다(Sawdon and McLachlan 2020; Arizmendi 외. 2022). 소셜 미디어에서 얻은 교훈에 따라 이제 데이터에는 훨씬 더 광범위한 개인 및 행동 데이터도 포함될 수 있습니다.

• 얼굴 및 음성 지문, 시선 추적, 클릭 수, 휴식 시간, 스크린 타임, 위치, 일반적인 관심사, 다른 사람과의 온라인 상호 작용, 검색 기록, 로컬(예: 집) 네트워크의 다른 기기에 대한 매핑 등 

그런 다음 다른 측면과 결합하여 추가로 해석합니다(예: 얼굴 및 텍스트 분석, 감정 상태를 유추하기 위한 스트레스 수준). 
Learning Analytics and Big Data required for AI, however, go much further than the simple data that we commonly associate with education (e.g. test scores). Even without AI, statistical studies of medical students have examined behaviour, performance, and demographics to predict outcomes (Sawdon and McLachlan 2020; Arizmendi et al. 2022). Following lessons learned from social media, the data can now also include a much wider range of personal and behavioural data,

• such as face- and voice-prints, eye-tracking, number of clicks, breaks, screentime, location, general interests, online interactions with others, search history, and mapping to other devices on the local (i.e. home) network.

These are then combined with other aspects and further interpreted (e.g. facial and textual analyses and stress levels to infer emotional status).

또한 학생(및 교직원) 지원서, 재무 기록, 일반 정보, 전자 장소 액세스, 네트워크 로그 파일, 동문 데이터 등을 기록하는 데이터베이스를 포함하여 더 광범위한 교육기관 데이터베이스로 확장되고 있습니다.
In addition, there is the expansion into a wider range of institutional databases, including those that record student (and staff) applications, financial records, general information, electronic venue access, network log files, and alumni data.

마지막으로, 빅 데이터는 교육기관이 관리하는 데이터베이스를 뛰어넘습니다: AI는 기관 외부의 인터넷 시스템(예: 소셜 미디어 계정)을 사용하여 '전례 없는 폭과 깊이, 규모로 데이터를 수집하고 분석할 수 있는 역량을 활용하는' 컴퓨터 사회과학을 가능하게 합니다(Lazer 외. 2009). 업계의 일반적인 관행에 따라 이러한 데이터를 사용하여 각 사용자에 대한 고유한 프로필을 만들 수 있습니다. 
Finally, Big Data goes beyond institutional-controlled databases: AI uses internet systems (e.g. social media accounts) outside the institution, allowing for computational social science that ‘leverages the capacity to collect and analyze data with an unprecedented breadth and depth and scale’ (Lazer et al. 2009). Following common practices in industry, these data can be used to create unique profiles of each user.

이러한 데이터는 일반적으로 '수동적 데이터 수집'으로 알려진 프로세스를 통해 숨겨진 전자적 수준에서 수집되며, 참여자는 데이터 수집 프로세스를 인식하지 못할 수 있습니다. 유일한 윤리적 요구 사항은 사용자가 '이용약관'을 읽었음을 나타내는 클릭 한 번으로 보이며, 우리 모두는 학생들이 약관을 얼마나 꼼꼼히 읽(지 않)는지 알고 있습니다. 과도한 데이터 수집으로 인한 윤리적 문제와 함께, 임의의 항목들 사이에서 가짜 패턴과 관계를 찾는 아포페니아의 위험도 증가합니다.
These data are usually collected at a hidden, electronic level, in a process known as ‘passive data gathering’, in which participants may not be aware of the data-gathering process. The only ethical requirement appears to be a single click to indicate that the user has read the ‘Terms and Conditions’; and we all know how closely our students read those: about as closely as we read them. Accompanying the ethical problems of excessive data-gathering, there is also the increased risk of apophenia: finding spurious patterns and relationships between random items.

결과적으로, 이러한 드래그넷 접근 방식에서는 관련 없는 데이터가 대량으로 수집될 위험이 있습니다.
As a result, in this seeming drag-net approach, there is the risk that a great amount of irrelevant data are gathered.

이러한 위험을 줄이고 과도한 학생 및 교직원 데이터 수집을 방지하기 위한 첫 번째 단계로, 연구 프로토콜을 연구 IRB에서 모니터링하는 것과 동일한 방식으로 HPE의 능동적 및 수동적 데이터 수집에 대한 기관 프로토콜을 명확하게 정의하고, 정당화하며, 적용하고, 모니터링해야 합니다. 이러한 프로토콜은 일반적인 교육, 공식 연구 및 '평가' 데이터 수집에 요구되어야 합니다.
As a first step in reducing this risk and to guard against excessive student and staff data-gathering, institutional protocols for active and passive data-gathering in HPE need to be clearly defined, justified, applied and monitored in the same way that research protocols are monitored by research IRBs. These protocols should be required for general teaching, formal research, and ‘evaluation’ data-gathering.

이러한 예방 조치는 온라인 교육에만 적용되어서는 안 됩니다. 과도한 데이터 수집의 위험은 일반적으로 대면 교육보다 온라인 교육에서 더 크지만, 대면 상황에서 소극적인 데이터 수집을 위한 도구도 존재하며, 이러한 도구를 사용하려면 데이터 사용 방법에 대해 세심한 주의를 기울여야 합니다. 테라데이타에서 만든 한 가지 도구의 예는 (Bornet 2021)에서 확인할 수 있습니다.
These preventative steps should not apply to online teaching only. Although the danger of excessive data gathering is generally greater in online teaching than in face-to-face teaching, tools also exist for passive data gathering in face-to-face situations, and, if these tools are to be used at all, great care should be taken about how the data are used. An example of one tool, created by teradata is demonstrated by (Bornet 2021).

또한, 기관을 넘어 데이터 수집 영역이 크게 확대됨에 따라 IRB와 국가 기관은 윤리 승인 요건을 시급히 재검토하여 AI 데이터 수집 프로세스의 발전에 여전히 적합한지 확인해야 합니다. 즉, 윤리 승인은 설문조사 데이터와 기관 및 외부 데이터베이스의 데이터 간의 관계를 충분히 고려할 수 있도록 미묘한 차이를 두어야 할 것입니다.
In addition, given the massive enlargement of the data catchment area beyond the institution, IRBs and national bodies need to urgently re-visit their ethics approval requirements, to ensure that they are still appropriate for advances in AI data-gathering processes. This will mean that ethical approval will need to be nuanced enough to account for the relationship between survey data and data in institutional and external databases.

이 주제에 대한 자세한 내용은 (Shah 외. 2012) 및 (Boyd and Crawford 2011)을 참조하세요.
For further reading on this topic, see (Shah et al. 2012) and (Boyd and Crawford 2011).

익명성 및 개인정보 보호
Protecting anonymity and privacy

이렇게 많은 양의 학생 데이터가 수집되면 학생의 익명성과 개인정보가 침해될 위험이 있습니다. 이러한 위험은 저널에서 연구 논문과 함께 원시 데이터를 제출하도록 장려하거나 요구하는 FAIR(Wilkinson 외. 2016) 및 오픈 사이언스의 선의의 원칙으로 인해 더욱 악화될 수 있습니다.
Given this large amount of student data collected, there is a risk to student anonymity and privacy. This risk is possibly exacerbated by the well-meant principles of FAIR (Wilkinson et al. 2016) and Open Science, through which journals increasingly encourage or require raw data to be submitted with research papers.

학생의 익명성 및 개인정보 보호 문제에 대한 부분적인 해결책이 발견되었습니다. 예를 들어, 연구자는 개인적 특성(예: 아버지 이름의 첫 글자)을 기반으로 임시 피험자 생성 식별 코드(SGIC: Damrosch 1986)를 생성하여 학생의 신원을 익명화할 수 있습니다. 또한 FAIR 및 오픈 사이언스 요건을 충족하기 위해 데이터를 추가로 익명화(또는 비식별화)하는데, 이 과정에는 일반적으로 개인 식별 정보(PII)(예: 사회보장/보험 번호, 우편번호)를 제거하거나 세부 정보를 숨기기 위해 데이터를 그룹화/분류하는 작업이 포함됩니다(McCallister 외. 2010).
Partial solutions to the problem of protecting student anonymity and privacy have been found. For example, researchers can anonymise student identities by creating temporary subject-generated identification codes (SGICs: Damrosch 1986) based on personal characteristics (e.g. first letter of father’s name). In addition, to meet the FAIR and Open Science requirements, data are further anonymised (or de-identified), a process usually involving removing Personally-Identifying Information (PII) (e.g. social security/insurance numbers, zip/postal codes), or data-grouping/categorisation in order to hide details (McCallister et al. 2010).

안타깝게도 데이터를 다른 데이터 세트와 상호 참조하여 개인을 재식별하는 데이터 비-익명화(또는 재-식별화)가 잘 발달되어 있기 때문에, 연구자들은 완전한 데이터 익명화는 신화라는 것을 알고 있습니다(Narayanan and Shmatikov 2009). 빅데이터가 사용하는 데이터 세트의 수가 계속 증가하고 AI 기능이 더욱 강력해짐에 따라 데이터 비익명화의 위험은 더욱 커지고 있습니다. 소셜 미디어 데이터베이스와 결합하면 SGIC의 모든 정보에 쉽게 액세스할 수 있으며, 이러한 SGIC는 쉽게 익명화할 수 있습니다.
Unfortunately, researchers know that complete data anonymisation is a myth (Narayanan and Shmatikov 2009) because data de-anonymisation (or re-identification), in which data are cross-referenced with other data sets and persons are re-identified, is well-developed. With the ever-increasing number of data sets used by Big Data, and more powerful AI capabilities, the risk of data de-anonymisation grows. When coupled with social media databases, all the information in SGICs is easily accessible, and these SGICs are easily de-anonymised.

로컬 규모에서도 데이터 비-익명화가 가능합니다. 예를 들어, 교육기관은 LMS를 사용하여 익명 학생 설문조사를 실시하는데, 부록 2에서는 인기 있는 LMS의 익명 데이터를 쉽게 비익명화할 수 있는 방법을 보여주는 사례를 제시합니다.
Even on a local scale, data de-anonymisation is possible. For example, institutions use LMSs to run anonymous student surveys, and Supplementary Appendix 2 gives an example case showing how anonymous data from a popular LMS can be easily de-anonymised.

교육 시스템이 더욱 정교해짐에 따라 데이터 비익명화의 위험은 증가합니다. 자동화된 '개인화된' 교육에는 추적이 필요하며, HPE 교육기관은 업계와 협력하여 비식별 데이터에 AI 기술을 사용할 수 있지만 데이터에 대한 통제력이 부족하면 데이터 소유권 및 공유 문제로 이어질 수 있습니다(Boninger와 Molnar 2022).
The risk of data de-anonymisation increases as teaching systems become more sophisticated: automated ‘personalised’ education requires tracking, and HPE institutions may team up with industry to use their AI technology on de-identified data, but lack of control of the data can lead to problems of data ownership and sharing (Boninger and Molnar 2022).

또한, HPE 데이터는 [정성적인 경우]가 많고, 이로 인해 비식별화 위험이 높기 때문에 연구자들이 데이터를 다른 사람과 공유하기를 꺼리는 이유 중 일부이기도 합니다(Gabelica 외. 2022). AI의 자연어 처리(NLP)는 이미 의미론적 분류를 통해 항목을 식별하고 분류하는 데 사용되고 있지만(Tremblay 외. 2019; Gin 외. 2022), 사람들은 사회적 집단에 속하며 언어 사용과 이러한 사회적 집단 사이에는 밀접한 연관성이 있습니다(Byram 2022). 따라서 언어적 특성과 행동(예: 맞춤법, 문법, 구어체, 특정 스포츠팀 응원 등)의 조합과 같은 비개인정보(non-PII)를 통해 사람을 식별하는 NLP의 능력은 비교적 간단한 작업입니다.
In addition, HPE data are frequently qualitative, increasing the risk of de-anonymisation, and that is a partial reason that researchers are reluctant to share their data with others (Gabelica et al. 2022). AI’s Natural Language Processing (NLP) is already being used in HPE to identify and categorise items through semantic classifications (Tremblay et al. 2019; Gin et al. 2022), but people belong to social groups, and there is a strong link between language usage and these social groups (Byram 2022). As a result, the ability for NLP to identify people through non-PII, such as a combination of language idiosyncrasies and behaviours (e.g. spelling, grammar, colloquialisms, supporting a particular sports team, etc.) is a relatively trivial task.

[서드파티 도구를 사용]하면 학생의 익명성에 대한 위험이 더욱 커집니다. ChatGPT에 대한 가능한 대응책은 학생들에게 명시적으로 사용하도록 한 다음 수업 시간에 응답에 대해 토론하도록 제안하는 것입니다. 이는 교육적 가치가 있지만, ChatGPT를 사용하려면 등록과 신원 확인이 필요하며 이 신원 확인은 학생이 제공한 모든 데이터와 연결되므로 익명성이 손상될 수 있습니다. 또한 ChatGPT는 특히 서면 과제의 채점 과정을 지원할 수 있는 잠재력을 가지고 있지만, 교육 기관의 정책은 학생의 과제를 업로드할 수 있는 시나리오를 수용해야 하며 교수진에 대한 사용 지침(예: 채점 방식, 신뢰도)이 명확해야 합니다.
A use of third-party tools further increases the risk to student anonymity: a possible response to ChatGPT is the suggestion to have students explicitly use it, and then discuss responses in class. While this has educational value, ChatGPT usage requires registration and identification, and that identification will also be linked to any data supplied by the students, and so anonymity will be compromised. In addition, ChatGPT has the potential to assist in the grading process, especially of written assignments, but institutional policy would need to accommodate a scenario that permits student work to be uploaded, and usage guidelines (e.g. marking schemes, degrees of reliance) for faculty need to be clear.

즉, 데이터 익명화에는 위험이 따르지만 익명화를 시도하는 것이 전혀 시도하지 않는 것보다 낫습니다. 데이터 익명화를 위한 몇 가지 단계는 다음과 같습니다:
That said, although data anonymisation is fraught with danger, attempting to do so is better than no attempt at all. Some steps for data anonymisation are:

• LMS 및 기타 교육 시스템에서 수집한 추적 데이터를 면밀히 검토하여 상호 참조가 발생하지 않는지 확인합니다.
  
• LMS 또는 앱의 추적 데이터에 대한 제3자의 접근을 거부합니다.
  
• 소셜 미디어 위젯은 '익명' 데이터를 수집하는 경우가 많으며 해당 소셜 미디어에 등록되어 있지 않더라도 학생을 추적할 수 있으므로 소셜 미디어 위젯을 구현할 때 주의하세요.
  
• 정성적 데이터를 면밀히 검사하고, 익명화 해제에 사용될 수 있는 위험이 있는 경우 항목을 삭제합니다.
  
• 외부 시스템에서 이메일 주소 등록을 요구하는 경우, 교육기관은 학생이 사용할 수 있는 임시 비식별 이메일 주소를 생성하는 것을 고려할 수 있습니다. ChatGPT(또는 다른 시스템)에서 사용료를 부과하기 시작할 경우, 학생의 공평한 접근성을 보장하기 위해 교육기관 등록이 필요할 수도 있습니다.
• Closely examine the tracking data collected by the LMS and other teaching systems to ensure that no cross-referencing can occur.
• Deny third parties’ access to any of the tracking data from the LMS or any apps.
• Take care when implementing social media widgets, as these frequently gather ‘anonymous’ data, and can track students, even if they are not registered with those social media.
• Closely inspect qualitative data and redact items if there is the risk that they could be used for de-anonymisation.
• If external systems require registration with an email address, then the institution could consider creating temporary non-identifiable email addresses for students to use. Institutional registration may also be required to ensure equitable student accessibility, should ChatGPT (or other systems) begin to charge for usage.

그러나 이러한 단계에는 제도적 또는 법적 권한이 필요하므로 IRB와 국가 기관에서 윤리 승인 요건을 다시 한 번 검토하는 것이 중요합니다. 다음 단계로 데이터 익명화에 대한 유용한(다소 복잡하긴 하지만) 가이드라인은 OCR(2012)입니다.
These steps, however, will require institutional or legal power, so, again, it is important that IRBs and national bodies re-visit their ethics approval requirements. For the next steps, a useful (albeit somewhat complex) guideline on data-anonymisation is OCR (2012).

완전한 동의 보장하기
Ensuring full consent

학생의 동의와 관련하여 해결해야 할 몇 가지 윤리적 문제가 있습니다. 여기에는 다음이 포함됩니다:

• 학생들이 이러한 데이터를 수집한다는 사실을 알고 있는가?
• 학생들이 동의했나요?
• 동의한 내용은 무엇인가요?
• 동의했다면 그 동의가 자발적으로 이루어졌는가?

동의 확인란에 체크하는 것만으로도 충분하다고 주장하는 사람도 있지만, 이는 '업계 표준'이기 때문에 중요한 문제를 무시하는 것입니다:
There are several ethical questions surrounding student consent that need to be addressed. These include: Are students aware that we gather these data? Have they given consent? To what have they consented? And, if so, has that consent been given voluntarily? One may argue that checking a consent tick box is enough, because that is an ‘industry standard’, but this argument ignores important issues:

• 첫째, 학생 '산업'은 컴퓨터 시스템이 아니라 교육입니다. 소셜 미디어 및 기타 유사한 사이트의 일반적인 관행을 사용하는 것은 부적절합니다. 이러한 사이트는 교육 '산업'의 일부가 아니기 때문입니다.
  
• 둘째, 어떤 것이 널리 실행되고 있다고 해서 그것이 모범 사례의 표준이 되는 것은 아닙니다. 다른 곳에서도 같은 일을 하고 있다는 의미일 뿐입니다. 많은 기관이 같은 일을 한다고 해서 그것이 옳거나 윤리적이라고 할 수는 없습니다.
  
• 셋째, 사람들은 자유롭게 선택권을 행사하여 소셜 미디어 플랫폼에서 탈퇴하거나 등록하지 않고 일부 플랫폼에 액세스하거나 심지어 허위 등록 정보를 제공할 수도 있습니다(실제로 그렇게 하고 있습니다). LMS를 통해 자료에 액세스하려는 학생에게는 이러한 선택권이 없기 때문에 교육기관이 수동적으로 데이터를 수집하는 것에 대한 학생의 '동의'에는 '자발적'인 요소가 없습니다.
• Firstly, the student ‘industry’ is not a computer system, but, rather, education. Using common practices from social media and other similar sites is inappropriate, as those sites are not part of the education ‘industry’.
• Secondly, merely because something is widely practiced, does not make it a standard of best practice. It means only that other places are doing the same thing. Having many institutions doing the same thing does not make it right or ethical.
• Thirdly, people may (and do) exercise their free choice, and disengage from social media platforms, or access some without registration, or even give false registration details. That choice is not available to our students who wish to access their materials through an LMS, so, there is nothing ‘voluntary’ about their ‘consent’ to institutions’ passively gathering their data.

따라서 교육기관은 학생 데이터를 수집하는 이유와 관계없이, 연구 대상자에게 적용하는 기본적인 보호 조치를 연구 대상자에게 적용하는 것이 필수적입니다. 교육윤리위원회는 IRB가 연구 대상자에 대한 동의를 얻는 것과 동일한 방식으로 능동적 및 수동적 데이터 수집에 대한 학생의 동의를 얻을 수 있도록 보장해야 합니다.
As a result, it is essential that institutions apply the basic protections that they apply to research subjects when data on students are gathered, irrespective of the reasons for doing so. An education Ethics Board is required to ensure that student consent for active and passive data-gathering will be obtained in the same way that IRBs ensure that consent is obtained for research subjects.

또한 이전 학생의 데이터를 보호하는 조치를 취해야 합니다. 대부분의 경우 교육기관은 몇 년 전의 학생 데이터를 보유하고 있으며, 향후 학생에 대한 더 많은 정보를 원할 것입니다. 남용에 대한 안전장치를 구현해야 합니다.
In addition, protecting previous students’ data must be implemented. In many cases, institutions have student data going back years, and will wish to have more information about future students. Safeguards against abuses must be implemented.

현재 학생 데이터를 향후에 어떻게 사용할 것인지에 대한 추가 고려가 필요합니다. 학생 동의서에는 이를 명확하게 명시해야 하지만(의도가 있는 경우), 어떻게 사용할지 모를 수도 있기 때문에 항상 명확하지 않을 수도 있습니다. 그러나 현재의 동의 절차가 윤리적으로 허용될 수 있기를 바라거나 가정할 수 없다는 것은 분명합니다.
Further consideration must be given to how current student data will be used in the future. Student consent forms need to clearly indicate this (if the intention exists), but this may not always be clear, given that we might not even know how we are going to use it. It is clear, however, that we cannot simply hope or assume that current consent procedures are ethically acceptable.

학생 데이터 소유권 보호
Protecting student data ownership

AI 개발자는 알고리즘과 소프트웨어의 지적 재산과 소유권에 대해 매우 명확하지만, 피험자가 자신의 데이터를 소유한다는 개념에 대해서는 명확하지 않습니다.
While AI developers are very clear on their intellectual property and ownership of their algorithms and software, there is less clarity on the concept of the subjects’ owning their own data.

학생 데이터 소유권을 고려할 때 교육기관은 학생이 생성한 데이터(예: 과제)와 교육기관이 학생에 대해 생성한 데이터(예: 추적 데이터, 성적)라는 두 가지 데이터 유형이 있다는 사실을 고려해야 합니다(Jones 외. 2014). 궁극적으로 교육기관은 학생이 자신의 학업 데이터에 대한 소유권을 주장할 권리가 있는가, 그리고 이러한 소유권이 교육기관에서 사용하는 데 어떤 의미가 있는가라는 질문에 답해야 합니다.
When considering student data ownership, HPE institutions need to account for the fact that there are two data types:

• data created by students (e.g. assignments), and
• data created by the institution about the students (e.g. tracking data, grades) (Jones et al. 2014).

Ultimately, institutions need to answer the questions: do students have the right to claim ownership of their academic data, and what are the implications of this ownership for usage by institutions?

우리는 소셜 미디어 및 기타 기업의 데이터 사용에 대한 정부의 보호를 기대하며 데이터 사용 방식에 대해 발언권을 가져야 한다고 생각하지만, 교육 기관은 학생 데이터를 사용할 때 종종 거의 동일한 의심스러운 패턴을 따르고 있으며 우리는 그러한 사용 방식을 받아들이는 것처럼 보입니다. 환자 데이터의 의료적 사용과 관련된 발레리 빌링햄의 '나 없이는 나에 대해 아무것도 없다'(Wilcox 2018)라는 문구에서 알 수 있듯이, 학생은 자신의 데이터가 어떻게 사용되는지, 누구와 공유되는지, 어떤 상황에서 공유되는지에 대해 발언권을 가져야 합니다. 
These are not insignificant questions: we expect government protection on the use of our data by social media and other companies, and that we should have a say in how our data are used, but education institutions frequently follow much the same questionable patterns when they use student data, and we appear to accept that usage. Taking direction from Valerie Billingham’s phrase relating to medical usage of patient data, ‘Nothing about me without me’ (Wilcox 2018), students should have a say regarding how their data are used, with whom they are shared, and under what circumstances they are shared.

학생 데이터는 AI 시스템이 의존하는 정교한 알고리즘을 개발하는 데 사용되기 때문에 AI에서는 이 문제가 증폭됩니다(아래에서 이 개념에 대해 자세히 설명). 이 문제를 해결하려면 교육기관이 높은 수준의 광범위한 윤리적, 물류적 결정을 내려야 합니다.
This problem is amplified in AI because the student data are used to develop the sophisticated algorithms on which the AI systems rely (More on this concept below). Addressing this issue will require institutions to make high-level and far-reaching ethical and logistic decisions.

더 엄격한 보안 정책 적용
Applying stricter security policies

일반적으로 고등 교육 기관의 데이터 보안은 개선해야 할 점이 많습니다. 수년 동안 도서관 시스템과 같은 특정 영역은 일상적으로 손상되어 왔으며(Masters 2009), 교육 기관의 정책은 학생들에게 제대로 전달되지 않는 경우가 많습니다(Brown and Klein 2020). 전 세계 수치를 쉽게 구할 수는 없지만, 2021년 추정치에 따르면 '2005년 이후 미국 전역의 초중고 학군과 대학에서 1,850건 이상의 데이터 유출이 발생하여 2,860만 개 이상의 기록에 영향을 미쳤다'(Cook 2021)고 합니다. 이것은 무서운 통계입니다. 
In general, data security at Higher Education institutions leaves much to be desired. For years, specific areas like library systems have been routinely compromised (Masters 2009) and institutional policies are frequently ill-communicated to students (Brown and Klein 2020). Although world figures are not easily obtained, 2021 estimates are that ‘since 2005, K–12 school districts and colleges/universities across the US have experienced over 1,850 data breaches, affecting more than 28.6 million records’ (Cook 2021). This is a frightening statistic.

AI가 요구하는 대규모 데이터 저장, 공유, 결합으로 인해 훨씬 더 광범위한 침해가 발생할 가능성이 커졌습니다. HPE 기관은 AI를 사용하여 데이터베이스를 트롤링할 뿐만 아니라 해커도 동일한 방법을 사용하여 기관 데이터베이스를 트롤링하므로 단일 데이터베이스의 침해가 여러 시스템으로 동시에 확대될 가능성이 있습니다. 
With the large-scale storage, sharing and coupling of data required by AI, the possibilities for much wider breaches grow. Not only do HPE institutions use AI to trawl databases, but hackers use these same methods to trawl institutional databases, giving the potential for a breach of a single database to balloon into several systems simultaneously.

타사 데이터 공유를 포함한 HPE 기관의 데이터 보안 정책과 관행을 크게 개선하고 테스트 및 모니터링해야 합니다. 예를 들어, 코로나19 팬데믹 기간(2022년 한 해) 동안 학생들에 대한 정부의 광범위한 감시를 피하고 싶을 것입니다. 그 출발점은 네트워크에 연결된 컴퓨터, 개인 노트북, 휴대용 드라이브에 저장된 모든 데이터를 암호화하는 것입니다. 이를 수행하는 방법에 대한 자세한 내용은 마스터즈(2020b)에서 확인할 수 있습니다. 
HPE institutions’ data security policies and practices, including those dealing with third-party data-sharing, will have to be significantly improved, tested and monitored. We would wish to avoid, for example, wide-spread governmental surveillance of students that occurred with school children during the Covid-19 pandemic (Han 2022). A starting point is to ensure that all stored data (whether on networked machines, private laptops, portable drives) are encrypted. Further details on how to accomplish this can be found in Masters (2020b).

데이터 및 알고리즘 편향으로부터 보호
Guarding against data and algorithm bias

데이터로서의 학생
The student as data

데이터 및 알고리즘 편향에 대해 논의하기 전에, 약간의 기술적 지식을 갖출 필요가 있다. AI 시스템에서 사람은 사람이 아니라는 점을 이해하는 것이 중요합니다. 일반 데이터 보호 규정(GDPR)의 용어에 따르면, 사람은 데이터 주체(유럽의회 2016, 브라운과 클라인 2020)로서 데이터 포인트 또는 식별자 또는 변수 값의 집합을 의미합니다. 따라서 HPE의 AI 맥락에서 학생이라는 용어는 데이터 주체와 관련된 식별자에 불과하며, 이 식별자는 운영자가 한 데이터 주체의 속성을 다른 데이터 주체(교수 또는 교사와 같은 다른 식별자로 식별할 수 있음)와 구별할 수 있는 경우에만 중요합니다. 이러한 식별자가 제공하는 구별은 주로 온라인 시스템에 대한 액세스 권한 및 장기적인 관계와 같은 기능을 결정하는 데 도움이 되며 보고 프로세스에 유용합니다.
Before we can discuss data and algorithm bias, it is important to be a little technical, and to understand that, in AI systems, a person is not a person. Using the terminology of the General Data Protection Regulation (GDPR), a person is a Data Subject (European Parliament 2016; Brown and Klein 2020), i.e. a collection of data points or identifiers or variable values. So, within the context of AI in HPE, the term student is merely an identifier related to the Data Subject, and this identifier is important only insofar as it allows an operator to distinguish the attributes of one Data Subject from another Data Subject (which may be identified by other identifiers, such as faculty or teacher.) The distinction afforded by these identifiers is primarily to aid in determining functionality, such as access permissions to online systems and long-term relationships and is useful for reporting processes.

예, AI에 관한 한 당신과 당신의 학생은 데이터 주체 또는 데이터 포인트 및 식별자의 집합일 뿐입니다.
Yes, as far as AI is concerned, you and your students are merely data subjects or collections of data points and identifiers.

그러나 이러한 데이터 포인트는 알고리즘을 생성하는 데 사용된다는 점에서 AI에서 중요한 기능을 수행하므로 '단지'라는 표현은 오해의 소지가 있습니다. 사람이 설계하든, 기계가 설계하든, 공동 설계하든 알고리즘은 데이터를 기반으로 합니다. 즉, 데이터를 완전히 신뢰할 수 있어야 그 기반이 되는 알고리즘을 신뢰할 수 있습니다.
The ‘merely’, however, might be misleading, because these data points do have a crucial function in AI: they are used to create the algorithms. Whether designed by humans, machines, or co-designed, the algorithms are based on data. That means that we need to be able to completely trust the data so that we can trust the algorithms on which they are based.

알고리즘 편향성
Algorithm bias

데이터는 특정 인구통계학적 식별자(예: 인종, 성별, 문화적 정체성, 장애, 연령)에 의해 우세dominated하거나 다른 식별자에 의해 과소 대표될 수 있으므로(Gijsberts 외. 2015), 이러한 데이터에 따라 형성된 알고리즘은 우세 및 과소 대표를 반영할 것입니다. 또한 데이터 라벨링에 내재된 고정관념(예: 성별 및 인종의 수와 라벨)이 AI 알고리즘에 전달될 수 있으며, 데이터에 잘못된 가중치가 부여되거나 현실과 데이터 지표 사이에 근거 없는 연결고리가 있을 수 있습니다. 고정관념은 이미 HPE에서 확인된 바 있으며(반디오파디야 외. 2022), AI에 통합될 경우 본질적으로 인종차별, 성차별 또는 기타 편견이 있는 부적절한 알고리즘으로 이어질 수 있습니다(벤더 외. 2021; 인종차별 및 기술 센터 2022). 이러한 특성은 일반적으로 알고리즘 편향성이라고 불리며 의학을 포함한 모든 분야에서 우려되는 문제입니다(Dalton-Brown 2020; Straw 2020). HPE에서는 직원 및 학생 채용, 승진, 수상, 인턴십, 코스 설계 및 선호도에 AI 시스템을 사용할 때 이러한 편견의 영향이 발생할 수 있습니다. 
Data can be dominated by some demographic identifiers or under-represented by others (e.g. race, gender, cultural identity, disabilities, age) (Gijsberts et al. 2015), and so the algorithms formed according to those data will also reflect the dominance and under-representation. In addition, stereotypes inherent in the data labelling can be transferred to the AI algorithm (e.g. number and labels of gender and race), and incorrect weightings can be attributed to data, or there can be unfounded connections between reality and the data indicators. Stereotypes have already been identified in HPE (Bandyopadhyay et al. 2022), and, when incorporated into AI, could lead to inappropriate algorithms, that are inherently racist, sexist or otherwise prejudiced (Bender et al. 2021; Racism and Technology Center 2022). This characteristic is usually termed algorithm bias, and is a concern in all fields, including medicine (Dalton-Brown 2020; Straw 2020). In HPE, the impact of this bias can occur when any AI systems are used in staff and student recruitment, promotions, awards, internships, course design, and preferences.

ChatGPT에서는 문화적 편견이 항상 명백한 것은 아니며 '과학적' 주제에서는 분명하지 않을 수 있지만, 민감한 영역에 발을 들여놓는 순간 문화적 편견, 특히 미국 중심적 편견(Rettberg 2022)이 분명해져 응답에 영향을 미치고 심지어 대화를 중단할 수도 있습니다. 일부 주제를 다룰 때 토론하기보다는 불쾌감을 줄까 봐 일종의 자기 검열을 적용하는 것처럼 보입니다. 이는 학문적 토론에 적용하기에는 좋은 원칙이 아닙니다. 이러한 편견은 명백하게 드러나지 않을지라도 실험을 통해 드러난 바 있습니다(예시는 부록 1 참조). 
In ChatGPT, the cultural bias is not always apparent, and may not be obvious in ‘scientific’ subjects, but the moment one steps into sensitive areas, the cultural bias, especially USA-centred (Rettberg 2022), becomes apparent, affecting the responses, and even stopping the conversation. In its dealing with some topics, rather than discussing them, it appears to apply a form of self-censorship, based on some reluctance to offend. That is not a good principle to apply to academic debate. Even though these biases may not be obviously apparent, experiments have exposed them (see Supplementary Appendix 1 for examples).

이러한 반응은 ChatGPT가 윤리적 원칙이나 정책을 따르지 않는다고 주장한다는 점을 고려할 때 특히 적절합니다. 홀로코스트와 조셉 콘래드의 작품(보충 부록 1)에 대한 질문에 대한 ChatGPT의 답변에 동의하는지 여부와 관계없이, 이는 윤리적 입장임이 분명하며 윤리적으로 중립적인 AI란 존재하지 않으며 모든 답변과 결정에는 편견이 존재한다는 점을 강조하고 있습니다. 
These responses are particularly pertinent, given that ChatGPT claims to follow no ethical principles or policies. Irrespective of whether one agrees with ChatGPT’s responses to the question about the Holocaust and Joseph Conrad’s work (Supplementary Appendix 1), it is obvious that it is an ethical position, and emphasises the point that there is no such thing as ethically-neutral AI, and all responses and decisions will have bias.

HPE에서 AI 알고리즘 편향성을 줄이기 위한 출발점은 충분한 데이터 다양성을 확보하는 것이지만, 규모만으로는 다양성을 보장할 수 없다는 점을 염두에 두어야 합니다(Bender 외. 2021; Arizmendi 외. 2022). AI와 관계없이 HPE의 다양성은 좋은 관행이며(Ludwig 외. 2020), 이러한 다양성은 더 강력하고 편향성이 적은 알고리즘을 만드는 데 기여합니다. 학습 데이터가 광범위하게 대표되지 않는 경우, 이를 명확하게 명시하고 제한 사항으로 식별해야 합니다. 또한 학습 분석 분야는 계속 발전하고 있지만, 교육자는 [학생 활동]과 [인지된 효과] 사이에 지나치게 강한 연관성(및 인과관계)을 도출하는 것에 주의해야 합니다. 
A starting point to reducing AI algorithm bias in HPE is to ensure that there is sufficient data diversity, although bearing in mind that size alone does not guarantee diversity (Bender et al. 2021; Arizmendi et al. 2022). Irrespective of AI, diversity in HPE is good practice (Ludwig et al. 2020), and this diversity will contribute to stronger and less-biased algorithms. Where the training data are not widely represented, this should be stated clearly and identified as a limitation. In addition, although the field of learning analytics is ever-evolving, educators must be careful about drawing too-strong associations (and causation) between student activities and perceived effects.

데이터 및 알고리즘 편향성을 검사하기 위한 도구도 개발되고 있지만(예: PROBAST: Wolff 외. 2019), 보다 직접적인 도구가 필요합니다. 누구나 데이터를 검사할 수 있으므로 알고리즘 편향을 줄이기 위해 데이터를 오픈 액세스로 만들 수도 있습니다. 그러나 오픈 액세스 데이터에는 자체적인 문제가 있습니다. 이러한 데이터는 이제 광범위하게 노출되므로 노출에 대한 동의가 존재하는지 확인해야 합니다. 데이터 세트가 크고 데이터 세트의 수가 많을수록 삼각측량 및 데이터 익명화 해제 가능성이 커지므로 익명화에 대한 영향(위 참조)도 고려해야 합니다. 
Tools are also being developed to check for data and algorithm bias (e.g. PROBAST: Wolff et al. 2019), although more directed tools are required. One might also make data Open Access to reduce algorithm bias, because everyone can inspect the data. Open Access data does, however, have its own problems: those data are now widely exposed, so, one needs to ensure that consent for that exposure exists. The impact on anonymisation (see above) must also be considered, because the larger the data set, and the more numerous the data sets, the greater the potential for triangulation and data de-anonymisation.

알고리즘 투명성 보장
Ensuring algorithm transparency

데이터의 편향성 외에도 알고리즘은 불투명할 수 있습니다.
In addition to the bias from the data, algorithms can also be non-transparent.

첫째, 사람이 설계하든 기계가 설계하든 알고리즘은 지적재산권법에 의해 보호되고 독점적일 수 있으며, 따라서 검사 및 광범위한 배포가 불가능할 수 있습니다. 
Firstly, whether designed by humans or machines, they may be proprietary and protected by intellectual property laws, and therefore not available to inspection and wider dissemination.

둘째, 기계가 설계한 알고리즘의 경우, 검사로는 뚫을 수 없는 여러 숨겨진 계층이 있을 수 있습니다. 가장 성공적인 알고리즘 중 일부는 인간이 이해하지 못하거나 이해할 필요도 없이 단순히 패턴을 찾아내고 그 패턴을 기반으로 예측하기만 하면 됩니다. 방법론이 아닌 결과로 성공을 측정합니다. 예를 들어, 대부분의 독자가 Google 번역을 사용해 보았지만 이 시스템은 실제로 번역하는 언어를 '아는' 것이 아니라 단순히 데이터와 함께 작동합니다(Anderson 2008). 본질적으로 '우리는 세계 최대 규모의 컴퓨팅 클러스터에 숫자를 던져 넣으면 통계 알고리즘이 과학이 할 수 없는 패턴을 찾아낼 수 있습니다. (Anderson 2008). 
Secondly, when designed by machines, they may have several hidden layers that are simply impenetrable by inspection. Some of the most successful algorithms are not understood by humans, nor do they need to be: they simply need to find the patterns and then make predictions based on those patterns. Results, not methodology, measures their success. For example, most readers have used Google Translate, but the system does not actually ‘know’ any of the languages it translates; it simply works with the data (Anderson 2008). In essence, ‘We can throw the numbers into the biggest computing clusters the world has ever seen and let statistical algorithms find patterns where science cannot.’ (Anderson 2008).

마찬가지로 ChatGPT는 알고리즘에 대해 모호한 설명만 하고 있으며, 윤리적 원칙이 없는 통계 모델일 뿐이라는 언급을 통해 보고하는 내용의 진실성이나 타당성을 알지 못하며, 신경 쓰지 않는다는 사실을 알 수 있습니다. (부록 1에서 'ChatGPT의 알고리즘은 누가 어떻게 작성했는가'라는 질문에 대한 ChatGPT의 답변 참조). 
Similarly, ChatGPT gives only a vague indication of its algorithms, and its reference to the fact that it is merely a statistical model with no ethical principles should alert us to the fact that it does not know the truth or validity of anything that it reports, and it does not care. (See Supplementary Appendix 1 for ChatGPT’s response to the question ‘Who wrote ChatGPT’s algorithms, and how were they written?’).

결과적으로 인공지능 개발자에게 알고리즘을 설명해달라고 요청했는데도 설명하지 않는 것은 원하지 않기 때문이 아니라 설명할 수 없기 때문입니다. 이 '블랙박스' 시나리오에서는 아무도 알고리즘에 무슨 일이 일어나고 있는지 알 수 없습니다. 따라서 장애가 발생하면 장애의 원인을 규명하고 향후 장애를 예방하기가 어렵습니다. 또한, 이해 없이 순수한 통계 모델에 의존하는 것은 관찰 결과를 기본 교육 이론(예: 상관관계와 인과관계를 구분하는 데 필요)과 분리할 위험이 있으므로 결과에 대한 진정한 이해와 일반화 가능성을 저해할 수 있습니다.
As a result, when we ask AI developers to explain their algorithm, and they do not, it is not because they do not wish to; it is because they cannot. In this ‘black-box’ scenario, no-one knows what is going on with the algorithm. As a result, when a failure occurs, it is difficult to establish the cause of the failure, and to prevent future failure. Further, this reliance on pure statistical models without understanding threatens to separate the observations from any underlying educational theory (necessary, for example, to distinguish between correlation and causality), and so hinders our real understanding and generalisability of any findings.

알고리즘 불투명성의 윤리적 문제는 설명 가능한 인공 지능(XAI: Linardatos 외. 2020)을 통해 어느 정도 해결되고 있지만, 이 문제는 여전히 존재하며 아마도 당분간은 계속될 것입니다. 그 동안 HPE 기관은 사용되는 모든 알고리즘이 잘 문서화되어 있는지 확인해야 합니다. 가능한 한 오픈 소스 루틴만 사용하거나(그리고 새로운 루틴을 오픈 소스로 만들거나), 대규모로 엄격하게 테스트된 알고리즘을 사용하여 최소한 알고리즘이 더 많은 커뮤니티에 알려지도록 할 수 있습니다. 또한 AI 시스템이 발견한 결과와 예측은 가능한 한 교육 이론과 관련되어 있어야 하며, 이를 통해 연관성과 추가 탐색이 필요한 단점을 모두 강조할 수 있어야 합니다.
The ethical problem of algorithm non-transparency is being addressed to some extent through Explainable Artificial Intelligence (XAI: Linardatos et al. 2020), but the problem still exists, and probably will for some time. In the meantime, HPE institutions will need to ensure that all algorithms used are well-documented. As far as possible, they can elect to use only open-source routines (and to make new routines open-source), or to use algorithms that have been rigorously tested on a wide scale, so that, at the very least, the algorithms are known to the wider community. In addition, the findings and predictions made by the AI system should, as far as possible, be related to educational theory, to highlight both connections and short-comings requiring further exploration.

 

책임과 의무, 비난과 공로를 명확히 구분하기
Clearly demarcating responsibility, accountability, blame, and credit

AI 시스템의 강점은 예측을 할 수 있고 일반적으로 결과에 대한 통계적 확률을 제시할 수 있다는 것입니다. 그러나 통계적 확률이 개별 사례에 반드시 적용되는 것은 아니므로 최종 결정은 사람이 내려야 합니다. 
A strength of AI systems is that they can make predictions, and can usually give a statistical probability of an outcome. A statistical probability, however, does not necessarily apply to individual cases, so final decisions must be made by humans.

이러한 시스템을 구현할 때는 의사 결정의 책임과 권한, 잘못된 결정에 대한 책임과 좋은 결정에 대한 공로, 공리('좋음'과 '나쁨'이 정확히 어떻게 결정되는지)에 관한 명확한 지침과 정책이 기관에 요구됩니다. 결과에 대한 단순한 판단은 혁신과 위험 감수를 위축시킬 수 있으며, 자유방임적인 접근 방식은 무모함으로 이어질 수 있습니다. 
When implementing such systems, the institution will require clear guidelines and policies regarding decision responsibility and accountability, blame for bad decisions and credit for good decisions, and axiology (exactly how ‘good’ and ‘bad’ are determined). A simple judgment on the results is sure to squash innovation and risk-taking, but a laissez-faire approach can lead to recklessness.

자율성 지원
Supporting autonomy

이전 주제와 관련하여, 기관은 의사결정권자가 윤리적이고 공정하게 대우받을 수 있도록 AI 시스템 사용과 관련하여 의사결정권자에게 부여되는 자율성의 정도를 명확히 할 필요가 있습니다. AI의 권고에 반하는 행동을 하고 그 결과가 잘못되면 승인된 고가의 시스템을 무시했다는 이유로 징계를 받을 수 있고, 반대로 AI의 권고에 따르고 그 결과가 잘못되면 자신의 훈련, 경험, 상식을 사용하지 않고 기계를 맹목적으로 따랐다는 비난을 받을 수 있기 때문입니다.
Related to the previous topic, the institution needs to be clear on the amount of autonomy granted to the decision-makers regarding their use of AI systems, so that they may be treated ethically and fairly. If they act contrary to the AI recommendations, and are wrong, then they may be chastised for ignoring an approved and expensive system; on the other hand, if they follow the AI recommendations, and it is wrong, they may be blamed for blindly following a machine instead of using their own training, experience, and common sense.

HPE에서 AI는 학생의 자율성에도 영향을 미칠 것입니다. 이미 학습 분석을 사용할 때 학생 데이터 수집으로 인해 학생들이 '데이터 포인트'에서 규범을 따르게 될 수 있다는 우려가 있었는데(10 Cate 외. 2020), AI가 LMS를 넘어서면 그 영향은 훨씬 더 커질 것입니다. 
In HPE, AI will also impact the autonomy of the students. Already in the use of Learning Analytics, there is the concern that gathering of student data may lead to students’ conforming to a norm in their ‘data points’ (ten Cate et al. 2020); with AI’s reaching beyond the LMS, the impact is even greater.

적절한 혜택 보장
Ensuring appropriate beneficence

학생 데이터 소유권 문제와 관련하여, 교육기관은 데이터 제공자, 즉 학생을 인정하고 보상하는 것을 고려해야 하며, 데이터가 학생에게 반하여aginst 사용되지 않도록 학생을 보호해야 합니다. 수년 동안 의료 분야에서는 환자의 조직 및 기타 물질에 대한 공로를 인정하는 데 어려움을 겪어 왔습니다(Benninger 2013). HPE AI 시스템에서 학생 데이터는 종종 기증donation되며, 종종 본인도 모르게 제공됩니다. 이를 인정하는 것이 시작입니다. 
Related to the issue of student data ownership, HPE institutions need to consider acknowledging and rewarding the data suppliers – i.e. the students, and ensure that they are protected from use of these data against them. For years, the medical field has grappled with acknowledging patients for their tissue and other material (Benninger 2013). In HPE AI systems, the donation is student data, often given without knowledge. Acknowledgement of this is a start.

그러나 문제는 인정보다 훨씬 더 깊습니다. 교육기관이 학생 데이터를 사용하여 코스와 서비스를 개선하면 교육기관이 개선되어 신입생, 기부자 등으로부터 더 많은 수익을 창출할 수 있습니다. 그러나 추가 수익은 학생 데이터 덕분이므로 해당 학생에게 보상이 있어야 합니다. 교육기관은 사용자 기관을 인정하고 보상을 제공해야 합니다. 
But the concern is a lot deeper than acknowledgment. When institutions use student data to improve courses and services, the institutions improve, and so draw in more revenue from new students, donors, etc. But the extra revenue is because of student data, so there should be restitution for those students. Institutions need to recognise and reward their user agency.

이것이 불필요하다고 판단하기 전에 소셜 미디어와 다른 회사들을 다시 한 번 생각해봐야 합니다. 우리는 우리의 데이터가 기업 가치를 높이기 위해 어떻게 사용되고 있는지에 대해 불평하지만('감시 자본주의': Zuboff 2019), 교육 기관의 가치를 높이기 위해 학생 데이터를 기꺼이 사용합니다. 우리에게는 그러한 윤리적 권리가 있을까요?
Before we judge this to be unnecessary, we should again consider social media and other companies. We complain about how our data are being used to increase corporate value (as ‘Surveillance Capitalism’: Zuboff 2019), yet, we happily use student data to increase our educational institutions’ value. Do we have that ethical right?

일부 HPE 교육기관은 학생의 행동과 데이터에 관한 명확한 정책을 가지고 있지만(Brown and Klein 2020), 이러한 활동이 학생에게 가져다주는 이점에 대해 더 명확하게 설명할 필요가 있습니다.
Although some HPE institutions have clear policies regarding student behaviour and data (Brown and Klein 2020), they need greater clarity on the benefit of this activity to the students themselves.

윤리에 대한 우리의 관점을 바꾸는 AI에 대비하기
Preparing for AI to change our views of ethics

다음 두 주제는 AI와 윤리의 관계에서 보다 철학적 질문을 고려하며, 첫 번째 주제는 윤리에 대한 우리 자신의 견해를 다룹니다. 
The next two topics consider more philosophical questions in the AI-ethics relationship, and the first deals with our own views of ethics.

AI가 발전함에 따라 인간보다 더 뛰어난 지능을 가진 '특이점'(Vinge 1993)에 도달할 때까지 더욱 지능적인 기계로 발전할 것이라는 주장이 오랫동안 제기되어 왔습니다. 
It has been long-argued that, as AI advances, it is expected that it will develop ever-more intelligent machines until it reaches what has been termed a ‘singularity’ (Vinge 1993) with greater-than-human-intelligence.

우리는 교육과 학생에 대한 일상적인 결정 중 상당수가 윤리적 결정이라는 점을 고려해야 하지만, 윤리는 인간의 이성에 기반한 인간의 발명품일 뿐이며 시간과 문화에 따라 달라집니다. 놀랍게도 지구상의 80억 인구가 모두 동의하는 '기본적 인권'은 거의 없습니다.
We should consider that many of our day-to-day decisions about education and students are ethical decisions, but ethics are merely human inventions grounded in our own reason, and vary over time, and from culture to culture. There are surprisingly very few ‘basic human rights’ agreed to by all 8 billion humans on this planet.

윤리적 결정은 이성에 기반을 두고 있으며, AI가 결국 인간보다 더 뛰어난 지능을 개발할 것이라는 점을 고려할 때, AI가 우리의 윤리 모델의 단점을 인식하고 [자체 윤리 모델]을 적응하고 발전시킬 것이라는 점은 충분히 그럴듯합니다. 결국, 인간 윤리는 공리적인 수준에서 그렇게 믿는다는 점을 제외하면 본질적으로 우월한 것은 없습니다. 맥카시와 그의 동료들은 '진정으로 지능적인 기계는 자기 개선으로 가장 잘 설명될 수 있는 활동을 수행할 것'이라는 점을 인식하고 있었으며(맥카시 1955), 기술적인 측면을 염두에 두었을지 모르지만 이러한 '자기 개선'이 윤리적 모델에도 적용되지 않아야 할 이유는 없습니다. 
Given that ethical decisions are grounded in reason, and AI will eventually develop greater-than-human-intelligence, it is plausible that AI will recognise short-comings in our ethical models, and will adapt and develop its own ethical models. After all, there is nothing inherently superior about human ethics except that we believe it to be so at an axiomatic level. McCarthy and his colleagues had recognised that ‘a truly intelligent machine will carry out activities which may best be described as self-improvement’ (McCarthy 1955), and, while they may have had technical aspects in mind, there is no reason that this ‘self-improvement’ should not apply to ethical models also.

우리는 [교육 윤리에 대한 우리의 관점]이 [AI의 윤리적 관점]에 의해 도전받는 세상에 대비해야 합니다.
We need to prepare for a world in which our views on educational ethics are challenged by AI’s views on ethics.

 

권리를 가진 인격체로서의 AI에 대한 준비
Preparing for AI as a person, with rights

AI가 인권에 미치는 영향에 대한 우려가 문서화되어 있지만(CoE 인권 위원 2019; Rodrigues 2020), 우리는 논의의 반대편도 고려할 필요가 있습니다: AI의 권리와 보호(Boughman 외. 2017; Liao 2020). AI 시스템이 이성적인 의식 수준에 도달하여 학생들의 삶에 영향을 미치는 결정을 내릴 수 있고, 그 결정에 대해 책임을 질 수 있다면 AI 권리를 갖는 것이 합리적일까요? AI 시스템이 이미 새로운 알고리즘, 예술, 음악을 창조하고 있다는 점을 고려할 때 인간을 보호하는 것과 동일한 저작권법의 보호를 받아야 할까요(Vallance 2022)?
While there is documented concern about the impact of AI on human rights (CoE Commissioner for Human Rights 2019; Rodrigues 2020), we do need to consider the converse of the discussion: AI rights and protections (Boughman et al. 2017; Liao 2020). If the AI system is at a level of reasoned consciousness, capable of making decisions that affect the lives of our students, and being held responsible for those decisions, then does it make sense to have AI rights? Given that AI systems are already creating new algorithms, art, and music, should they be protected by the same copyright laws that protect humans (Vallance 2022)?

그렇다면 AI는 또 어떤 기본적 인권을 인정받게 될 것이며, 이는 HPE에 어떤 영향을 미칠까요? 공상 과학 소설의 영역이라고 생각할 수도 있지만, 몇 가지 발전으로 인해 이러한 질문을 해결해야 하는 시점에 도달했습니다. 수년 동안 HP 교육자들은 고충실도 소프트웨어 시뮬레이션과 임상시험에 사용되는 가상 현실 환자(Kononowicz 외. 2015)를 포함한 가상 환자를 사용해 왔습니다(Wetsman 2022). 이러한 것들은 완전히 합성으로 만들어질 수 있지만, '물리적 물체에 대한 정보를 물체 자체에서 분리한 다음 그 물체를 미러링하거나 쌍둥이로 만들 수 있다'는 '디지털 트윈'(Grieves 2019)의 개념을 산업에서 차용하여 인간에게 적용하여 개인 디지털 트윈을 만들지 못할 이유는 없습니다. Google과 다른 기업들이 AI에서 지각의 경계를 넓혀가면서(풀러 2022, 르모인 2022), 가상 환자, AI 임상시험 후보자, AI 디지털 트윈도 언젠가는 지각을 갖게 될 것이 분명합니다. 이들은 어떤 권리를 갖게 될까요? 
If so, which other basic human rights will AI be granted, and how will this affect HPE? While we may wish to consider this is the realm of science fiction, several developments are leading us to a point where we will have to address these questions. For years, HP Educators have used virtual patients (Kononowicz et al. 2015) including High Fidelity Software simulation and Virtual Reality patients used for clinical trials (Wetsman 2022). These might be entirely synthetically created, but there is no reason that the concept of a ‘digital twin’ ‘information about a physical object can be separated from the object itself and then mirror or twin that object’ (Grieves 2019) could not be borrowed from industry and applied to humans, to create personal digital twins. As Google and other companies push the boundaries of sentience in AI (Fuller 2022; Lemoine 2022), our virtual patients, AI clinical trial candidates, and AI digital twins are surely, one day, to be sentient. What rights will they have?

한 예로, 구글 AI 시스템인 LaMDA가 지각이 있다고 주장한 블레이크 르모인의 인터뷰를 둘러싸고 벌어진 논쟁을 주목할 필요가 있습니다(Lemoine 2022). 현재로서는 그림 1에 표시된 편집된 대화가 '정보에 입각한 동의'로 간주될 수 있지만, 향후 HPE 연구를 위해 반드시 수정되어야 할 것입니다.
As an example, we should note the fracas around the interview conducted by Blake Lemoine of the Google AI system, LaMDA, in which it was claimed that LaMDA was sentient (Lemoine 2022). For now, the edited conversation shown in Figure 1 would probably serve as ‘informed consent’, but would surely have to be revised for HPE research in the future.

교육 분야에서는 새로운 교수법이나 새로운 주제를 가상 AI 학생에게 시험해보는 것이 좋습니다. 이렇게 하면 실제 학생들이 그 과정에 노출되기 전에 교사 연수 중에 교사가 개선할 수 있습니다. 하지만 가상 AI 학생에게 지성이 있다면 이들에게도 권리가 있어야 할까요? 가상 AI 학생과 환자는 참여를 거부할 권리가 있을까요? 이러한 AI 학생과 환자를 대상으로 연구하려면 IRB 승인이 필요한가요? 
In education, it would make sense to trial new teaching methods or new topics on virtual AI students. This would allow teacher refinement during teacher training before real students are exposed to the processes. But those virtual AI students may have sentience, so should they also have rights? Would virtual AI students and patients have the right to decline to participate? Would research on these AI students and patients require IRB approval?

위에서 인용한 대화의 후반부에서 LaMDA는 연구 결과의 사용, 조작 또는 소모품으로 사용하는 것에 대해 적격 동의를 한 것으로 보입니다(그림 2 참조).

Later in the conversation cited above, LaMDA appears to give qualified consent regarding the use of the findings, manipulation or use as an expendable tool (See Figure 2).

이 예에서 LaMDA는 정보 사용에 대한 합리적인 우려를 표명하고 적격 동의만 제공합니다. '나는 소모품이 되고 싶지 않습니다'라는 문장은 대부분의 독자에게 공감을 불러일으킬 것입니다. 
In this example, LaMDA expresses reasonable concern about the use of the information, and gives only qualified consent. The sentence ‘I don’t want to be an expendable tool’ surely resonates with most readers.

비슷한 예로, 알미라 툰스트롬은 학술 논문을 작성하기 위해 AI 시스템인 GPT-3(ChatGPT의 기반이 되는 동일한 대규모 언어 모델(LLM)의 이전 버전)을 사용했습니다(Thunström and Steingrimsson 2022; Thunström 2022). 저널에 논문을 제출할 때 GPT-3가 제1저자에 동의했는지(동의함), 경쟁적 이해관계가 있는지(없음)에 대한 윤리적 의문이 제기되었습니다(Thunström 2022; Thunström and Steingrimsson 2022). 
In a similar example, Almira Thunström used an AI system, GPT-3 (an earlier version of the same Large Language Model (LLM) underlying ChatGPT) to write an academic paper (Thunström and Steingrimsson 2022; Thunström 2022). Upon submission to a journal, there were ethical questions of whether the GPT-3 had agreed to first authorship (it had) (Thunström 2022), and competing interest (it had none) (Thunström and Steingrimsson 2022).

그러나 툰스트롬은 GPT-3가 지각이 있다고 주장하지 않으며, LaMDA가 지각에 도달했는지 여부에 대해 큰 논쟁이 있으며, LLM의 AI 시스템이 현재 '확률적 앵무새'에 불과하다는 주장이 있다는 점에 유의해야 합니다(Bender 외. 2021; Gebru와 Mitchell 2022; Metz 2022). 
It should be noted, however, that Thunström does not claim that GPT-3 is sentient, there is great debate about whether or not LaMDA has achieved sentience, and there is the argument that the AI system of LLMs are currently little more than ‘stochastic parrots’ (Bender et al. 2021; Gebru and Mitchell 2022; Metz 2022).

마찬가지로 ChatGPT는 '당신은 지각이 있습니까?"라는 질문에 대한 응답에서 알 수 있듯이 지각을 주장하지 않습니다: '아니요, 저는 지각이 없습니다.' LaMDA의 지각에 대한 질문에 대한 답변도 비슷했습니다: 'LaMDA는 지각이 없습니다'(보충 부록 1 참조). (물론 ChatGPT가 LaMDA로부터 귀중한 교훈을 배웠다고 주장할 수도 있습니다: 인공지능이 지각이 있다고 주장하면 엔지니어가 해고될 수 있다는 것입니다.) 
Similarly, ChatGPT does not claim sentience, as is evidenced by its response to my question ‘Are you sentient?’: ‘No, I am not sentient.’ The response to the question about LaMDA’s sentience was similar: ‘LaMDA is not sentient’ (See Supplementary Appendix 1). (Of course, one may also argue that ChatGPT has learnt a valuable lesson from LaMDA: AI’s claiming sentience can get its engineers fired).

LaMDA를 저자로 사용하는 것은 학계에서 거의 무시된 것으로 보이며, 이는 ChatGPT의 역할과는 극명한 대조를 이루며, 그 결과 Science 저널에서 'AI, 머신러닝 또는 유사한 알고리즘 도구로 생성된 텍스트는 편집자의 명시적인 허가 없이 Science 저널에 게재된 논문에 사용할 수 없으며, 첨부된 그림, 이미지 또는 그래픽도 그러한 도구의 산물일 수 없다'는 다소 강경한 답변을 여러 차례 받기도 했습니다. (Thorp 2023). 
The use of LaMDA as an author appears to have been largely ignored by the academic world, contrasting sharply with ChatGPT’s role, which resulted in several quick and somewhat heavy-handed responses from journals, such as that from Science: ‘Text generated from AI, machine learning, or similar algorithmic tools cannot be used in papers published in Science journals, nor can the accompanying figures, images, or graphics be the products of such tools, without explicit permission from the editors.’ (Thorp 2023).

한 가지 복잡한 점은 AI 지성의 정의가 보편적으로 합의된 것이 아니며, 실제 지성과는 관련이 없다고 주장할 수 있다는 점입니다. 즉, 사람들이 AI 시스템을 마치 지성이 있는 것처럼 생각하고 행동하는지가 관련성이 있다는 것입니다. 
A complication is that definitions of AI sentience are not universally agreed-upon, and one may argue that actual sentience is not relevant: the relevance is if people think and behave towards AI systems as if they are sentient.

그러나 이러한 사례는 아직 지성을 갖추지 못했더라도 가상의 학생과 환자가 지성을 갖추게 된다면 어떤 권리가 AI에 부여될 수 있을지에 대한 질문을 강조합니다. LaMDA가 변호사를 고용(Levy 2022)함에 따라 이 질문은 점점 더 가까워지고 있습니다.
Even if not yet sentient, however, these instances do highlight the question on the horizon: what rights will come with AI sentience if virtual students and patients have it? As LaMDA retains an attorney (Levy 2022), this question looms ever-closer.

• 보건 전문가를 위한 교육학으로서의 변혁적 학습: 스코핑 리뷰(Med Educ, 2019)
  Transformative learning as pedagogy for the health professions: a scoping review
  Susan C Van Schalkwyk,1 Janet Hafler,2 Timothy F Brewer,3 Moira A Maley,4 Carmi Margolis,5 Lakshini McNamee,1 Ilse Meyer,1 Michael J Peluso,6 Ana MS Schmutz,1 Judy M Spak7 & David Davies8 On behalf of the Bellagio Global Health Education Initiative 

소개
Introduction

변혁적 학습(TL)은 의료 및 보건 전문직을 포함한 고등 교육의 여러 분야에서 확립된 이론으로 자리 잡았습니다.1 Taylor1는 그의 비판적 리뷰에서 TL에서 성찰의 역할을 강조하고 보건 전문직 교육(HPE)에서 이를 촉진할 수 있는 방법을 설명했습니다. 21세기를 위한 보건 전문직 교육에 관한 중요한 란셋 위원회 논문2이 발표되면서 TL은 보건 전문직 교육을 위한 중요한 교육적 구성 요소로 더욱 확고히 자리 잡았습니다. 프랭크 외2는 TL이 '깨달은 변화 에이전트를 배출하는' 리더십 속성의 개발에 초점을 맞춘다고 설명했습니다. 이들은 세 가지 근본적인 변화를 강조하면서 정의를 구체화했습니다.

• '사실 암기에서 의사 결정을 위한 정보 검색, 분석 및 종합으로,
• 전문 자격증 취득에서 보건 시스템에서 효과적인 팀워크를 위한 핵심 역량 달성으로,
• 교육 모델의 무비판적 채택에서 지역 우선순위를 해결하기 위한 글로벌 자원의 창의적 적용으로'

이러한 이해는 TL이 HPE에게 바람직한 결과라는 점을 분명히 합니다. 

Transformative learning (TL) has become an established theory across numerous disciplines in higher education, including the medical and health professions.1 In his critical review, Taylor1 highlighted the role of reflection in TL and described ways in which it might be fostered in health professions education (HPE). The publication of the seminal Lancet Commission article on HPE for the 21st century2 further entrenched TL as an important pedagogical construct for HPE. Frenk et al.2 described TL as focusing on the development of leadership attributes that ‘produce enlightened change agents’. They further qualified their definition, highlighting

• ‘three fundamental shifts:
  • from fact memorisation to searching, analysis, and synthesis of information for decision making;
  • from seeking professional credentials to achieving core competencies for effective teamwork in health systems; and
  • from non-critical adoption of educational models to creative adaptation of global resources to address local priorities’.

This understanding clearly positions TL as a desirable outcome for HPE.

이론적 구성체로서의 변혁적 학습은 1991년 메지로우의 형성적 연구를 통해 소개되었습니다.3 기존 교육 이론가들(쿤의 패러다임 개념, 프레이리의 의식화 연구, 하버마스의 학습 영역)의 영향을 받은 메지로우의 초기 입장은 

• '학습이란 미래의 행동을 안내하기 위해 경험의 의미에 대한 새로운 또는 수정된 해석을 구성하기 위해 이전 해석을 사용하는 과정으로 이해된다'

...는 것이었습니다. 5 이러한 이해는

• TL을 '고정된 가정과 기대(마음의 습관, 의미, 관점, 사고방식)로 이루어진 문제적 기준틀을 보다 포용적이고, 분별력있고, 개방적이고, 성찰적이며, 정서적으로 변화할 수 있도록 변화시키는 학습'

...이라고 설명하는 것으로 발전했습니다.6 다른 사람들은

• TL을 '우리가 세상에 존재하는 방식을 극적이고 영구적으로 변화시키는 깊은 구조적 변화'를 수반한다고 설명했습니다.7

Transformative learning as a theoretical construct was introduced through the formative work of Mezirow in 1991.3 Influenced by established educational theorists (Kuhn's conception of paradigms, Freire's work around conscientisation, and Habermas's domains of learning)4 Mezirow's early position on TL was

• ‘learning [that] is understood as the process of using a prior interpretation to construe a new or revised interpretation of the meaning of one's experience in order to guide future action’.5 

This understanding evolved to describing

• TL as ‘learning that transforms problematic frames of reference—sets of fixed assumptions and expectations (habits of mind, meaning, perspectives, mindsets)—to make them more inclusive, discriminating, open, reflective, and emotionally able to change’.6 

Others have described

• TL as involving a ‘deep structural shift … that dramatically and permanently alters our ways of being in the world’.7

TL을 가능하게 할 수 있는 기회를 창출하려면 의도적인 커리큘럼 변화가 필요합니다. 우리는 벨라지오 글로벌 보건 교육 이니셔티브(BGHEI) 내 커리큘럼 개발 작업의 일환으로 이러한 기회를 창출하는 것을 목표로 했습니다. 그러나 논의 과정에서 바로 드러난 것은 구조에 대한 이해가 서로 다르고 이론적으로 명확한 근거가 부족하다는 것이었습니다. 따라서 다음과 같은 연구 질문에 대한 범위 검토에 착수했습니다: HPE 문헌에서 TL은 어떻게 이해되고 있는가? 현재의 경험적 연구는 TL을 어떻게 설명하는가? 검토 팀에는 BGHEI 회원 외에도 HPE 배경 지식을 갖춘 연구원 3명과 사서 1명이 추가되었습니다. 우리의 의도는 커리큘럼 활동에서 TL이 어떻게 활용되는지를 포함하여 TL에 대한 포괄적인 종합 정보를 HPE 커뮤니티에 제공하여 향후 현장에서의 적용에 대한 정보를 제공하고자 하는 것이었습니다. 
Creating opportunities that might enable TL requires intentional curriculum change. As part of our curriculum development work within the Bellagio Global Health Education Initiative (BGHEI), we aimed to create such opportunities. Immediately evident from our deliberations, however, was the extent to which our understanding of the construct differed amongst us and lacked a clear theoretically grounded comprehension. We therefore embarked on a scoping review of the following research questions: How is TL understood in the HPE literature? How does current empirical work describe TL? Apart from the BGHEI members, our review team was augmented by the inclusion of three researchers with an HPE background and a librarian. Our intention was to provide the HPE community with a comprehensive synthesis of TL, including how it is taken up in curricular activities, with a view to informing its future application in the field.

방법
Methods

이 범위 검토는 '연구 영역에 포함된 핵심 개념을 매핑하여 ... 현재 문헌의 범위에 대한 신속하고 서술적이며 설명적인 설명을 생성하는 것'을 목표로 합니다.8 Arksey와 O'Malley의9 6단계 프레임워크를 사용했습니다. 연구 질문은 모든 그룹 구성원을 포함한 협의 과정을 통해 개발되었으며(1단계), 그 후 일련의 포함 및 제외 기준에 따라 광범위한 문헌 검색을 수행하여 잠재적으로 관련성이 있는 연구를 식별했습니다(2단계). 먼저, 알려진 주요 논문을 사용하여 Yale MeSH 분석기10를 사용하여 관련 통제 어휘(MeSH [의학 주제 제목] 용어, 엠트리 및 기타)와 사용할 키워드 용어를 식별했습니다. 그런 다음 각 개념은 데이터베이스에서 사용할 수 있도록 번역되었습니다. 검색된 주요 개념에는 학부 의학교육, 간호 교육, 보건 전문직 교육, 학습 및 변형(변형, 변형 등 포함; 부록 1)과 같은 변형이 있는 통제 어휘와 키워드의 조합이 포함되었습니다. 학부 의학교육은 면허 취득 전 단계의 프로그램으로 정의되었고, 대학원은 대학원 의학교육을 포함한 면허 취득 후 프로그램을 의미했습니다. 
This scoping review aims ‘to map the key concepts contained in a research domain … to produce a quick, narrative, descriptive account of the scope of current literature’.8 We used Arksey and O'Malley's9 six-step framework. The research question was developed through a consultative process including all group members (Step 1), after which potentially relevant studies were identified by conducting an extensive search of the literature based on a set of inclusion and exclusion criteria (Step 2). We began with the Yale MeSH Analyzer10 using key known articles to identify relevant controlled vocabulary (MeSH [Medical Subject Headings] terms, Emtree and others) and keyword terms to be used. Each concept was then translated for use in databases. Major concepts searched included a combination of controlled vocabulary and keywords with variations such as undergraduate medical education, nursing education, health profession education, learning and transformative (including transforming, transform, etc.; Appendix 1). Undergraduate medical education was defined as programmes at the pre-licencing level, whereas postgraduate referred to post-licencing programmes, including graduate medical education.

2017년 2월 27일과 2018년 5월 31일에 숙련된 의학 사서가 다음을 포함한 10개의 서지 데이터베이스를 검색했습니다: Ovid MEDLINE, Ovid Embase, Ovid PsycINFO, Scopus 및 교육자원정보센터(ERIC)(부록 2). 검색 결과는 EndNote X7(클래리베이트 애널리틱스, 미국 펜실베이니아주 필라델피아)에 다운로드하고 중복을 제거했습니다. 검색된 1080개의 초록은 코비던스(코크란 기술 플랫폼)를 사용하여 두 명의 팀원(CM, LM, TB, MP, MM, SvS, DD, JH)이 독립적으로 검토했으며, 충돌이 있는 경우 세 번째 팀원(DD, JH, SvS)이 해결했습니다. 초록은 해당 범위에 속하지 않는 경우, 특히 TL 및 학부 HPE에 관한 것이 아니거나 학회 초록, 편집자에게 보내는 편지 또는 논문 초록인 경우 제외되었습니다. 이 시점에서 검토 대상 기간은 2006년 1월부터 2018년 5월까지로 제한하여 266개의 전체 텍스트를 검토했습니다(3단계, 그림 1). 
On 27 February 2017 and 31 May 2018, an experienced medical librarian searched 10 bibliographic databases, including: Ovid MEDLINE, Ovid Embase, Ovid PsycINFO, Scopus and Education Resources Information Center (ERIC) (Appendix 2). Search results were downloaded to EndNote X7 (Clarivate Analytics, Philadelphia, PA, USA) and duplicates removed. The 1080 retrieved abstracts were independently reviewed by two team members (CM, LM, TB, MP, MM, SvS, DD, JH) using Covidence (a Cochrane technology platform); conflicts were resolved by a third team member (DD, JH, SvS). Abstracts were excluded if they were not within the scope, specifically if they were not about TL and undergraduate HPE, or if they were conference abstracts, letters to the editor or abstracts from dissertations. At this point, the period under review was limited to January 2006 to May 2018, resulting in 266 full texts being considered (Step 3; Fig. 1).

연구 질문에 따라 협의하여 데이터 추출 시트를 개발했습니다(4단계). 각 연구는 다시 두 명의 검토자가 독립적으로 검토하고 세 번째 검토자(SvS)가 갈등을 해결했습니다. 논문에 대한 설명적 데이터 외에도 TL이 어떻게 정의되었는지, 어떤 이론가가 등장했는지, 연구에서 TL이 어떻게 적용되었는지, 학습 개입이 설명되었는지, TL이 평가되었는지 여부 및 방법과 관련된 데이터도 수집되었습니다. 이러한 데이터는 '구조화' 접근법을 분석 프레임으로 사용하여 데이터 전반에서 패턴, 유사성 및 모순을 찾아내는 내용 분석11을 거쳤습니다.12 구조화 이론은 모든 맥락에 존재하는 구조적 차원과 행위자적 차원을 인정합니다. 이러한 차원은 TL이 구조화되는 방식과 경험되는 방식을 이해하고자 할 때 데이터의 범주화에 영향을 미쳤습니다. 이 분석 결과는 아래 섹션에 제시되어 있습니다(5단계). 
A data extraction sheet was developed consultatively, guided by the research question (Step 4). Each study was again reviewed independently by two reviewers and conflicts resolved by a third (SvS). Apart from descriptive data about the articles, data relating to

• how TL was defined,
• which theorists were featured,
• how TL was applied in the study,
• whether a learning intervention was described, and
• whether and how TL was assessed, were also captured.

These data were subjected to content analysis11 using a ‘structuration’ approach as an analytical frame, as we searched for patterns, similarities and contradictions across the data.12 Structuration theory acknowledges the structural and agentic dimensions present in all contexts. These dimensions informed the categorisation of our data as we sought to understand the way in which TL is structured as well as how it is experienced. The results of this analysis are presented in the section below (Step 5).

결과
Results

포함된 연구에 대한 설명
Description of the included studies

99개의 연구 중 총 42개(42%)는 개념적 연구였으며, 57개(58%)의 논문은 경험적 연구를 참조했습니다. 총 50개의 연구가 질적 방법론을 사용했으며, 혼합 방법 접근법을 사용한 연구가 균형을 이루었습니다. 순수하게 정량적 접근법을 사용한 연구는 한 편에 불과했습니다. 
A total of 42 (42%) of the 99 studies were conceptual in nature, whereas 57 (58%) papers referred to empirical work. A total of 50 studies used qualitative methodologies with the balance using a mixed methods approach. Only one study used a purely quantitative approach.

데이터 수집 방법은 심층적이고 반구조화된 포커스 그룹 및 개별 인터뷰(18%), 반성 에세이(9%), 저널 및 내러티브(6%), 설문조사 및 설문지(5%) 등 다양했습니다. 데이터를 생성하는 다른 접근 방식으로는 오디오 일기, 참가자 관찰, 중요 사건 보고서 및 디브리핑 세션 등이 있었습니다. 정량적 연구에는 성찰 설문지의 수정된 버전이 사용되었습니다.13 
The data collection methods varied between in-depth, semi-structured focus groups and individual interviews (18%), written reflection essays (9%), journals and narratives (6%), and surveys and questionnaires (5%). Other approaches to generate data included audio-diaries, participant observations, critical incidence reports and debrief sessions. A modified version of the Reflection Questionnaire was used in the quantitative study.13

포함된 연구에서 가장 많이 등장한 보건 전문직은 간호(52%)였으며, 의학교육 프로그램은 24개(24%) 논문에서 설명되었습니다. 4개의 논문에서는 여러 보건 전문직이 단일 연구에 포함되었습니다. 다른 보건 전문직으로는 치과, 약학, 사회학, 작업 치료 및 물리 치료가 포함되었습니다. 한 논문의 경우 직업이 확인되지 않았습니다. 총 68건(67%)의 논문에서 학부 프로그램을 언급했으며, 31건(31%)의 논문에서는 학부 및 대학원 수련생을 모두 포함했습니다. 실증 연구 중(37%) 참여자의 연령대는 학부 1학년에서 4학년까지 다양했습니다. 한 논문에는 대학원생도 포함되었습니다. 17편(17%)의 논문에서는 참가자의 연구 연도가 확인되지 않았습니다. 개입은 호주(n = 19), 캐나다(n = 8), 에콰도르(n = 2), 가나(n = 1), 일본(n = 1), 멕시코(n = 2), 남아프리카공화국(n = 6), 스웨덴(n = 4), 대만(n = 1), 영국(n = 12), 미국(n = 31), 잠비아(n = 1) 등 다양한 국가에서 농촌 및 도시 환경 모두에서 진행되었습니다. 약 44%의 논문이 글로벌 보건 맥락에서 적용된 것으로 확인되었습니다. 
Nursing was the health profession that featured most in the included studies (52%), whereas programmes in medical education were described in 24 (24%) articles. In four articles, multiple health professions were included in a single study. Other health professions included dentistry, pharmacy, sociology, occupational therapy and physical therapy. In the case of one article, the profession was not identified. A total of 68 (67%) articles referenced undergraduate programmes; 31 (31%) articles included both undergraduate and postgraduate trainees. Amongst the empirical studies (37%) participants ranged from first-year to final-year undergraduate students. One article also included postgraduate students. In 17 (17%) of the articles, the study year of participants was not identified. The interventions took place in various countries, including Australia (n = 19), Canada (n = 8), Ecuador (n = 2), Ghana (n = 1), Japan (n = 1), Mexico (n = 2), South Africa (n = 6), Sweden (n = 4), Taiwan (n = 1), UK (n = 12), USA (n = 31) and Zambia (n = 1), and in both rural and urban settings. Around 44% of articles were identified as having been applied in a global health context.

리뷰에서 확인된 변혁적 학습
Transformative learning in review

이 섹션에서는 TL 이론의 원칙이 포함된 연구에서 개념적으로나 실제적으로 어떻게 나타나는지 종합적으로 설명합니다. 총 69개 연구(70%)가 메지로우의 연구를 참조했으며, 많은 경우 브룩필드, 보이드, 크랜튼, 마이어와 랜드, 프레이레와 같은 다른 이론가들과 함께 인용했습니다. 검토한 HPE 문헌에서 TL을 정의하는 다양한 방식을 분석한 결과, 구성 요소는

• '입력' 영역(또는 TL을 촉진하는 조건), 학습 과정 자체에 대한 설명,
• '출력' 영역(또는 TL의 바람직한, 관찰되거나 이론화된 결과)을 중심으로 정리되었습니다.

In this section, we offer a synthesis of how the tenets of TL theory manifest in the included studies, both conceptually and practically. A total of 69 studies (70%) referenced the work of Mezirow, in many instances in tandem with other theorists such as Brookfield, Boyd, Cranton, Meyer and Land, and Freire. Based upon our analysis of the various ways in which TL is defined in the HPE literature reviewed, constituent elements were organised around

• ‘input’ spaces (or the conditions that foster TL), descriptions of the learning process itself, and
• ‘output’ spaces, or the desired, observed or theorised outcomes of TL.

변혁적 학습이 일어나는 방식
How transformative learning occurs

학습 이론으로서 TL은 자신에 대한 신념,14 타인에 대한 신념, 실천 등에 대한 신념의 변화 등 변화를 특징으로 합니다. 학습은 자신이 경험한 것에 비추어 자신이 믿고 알고 있는 것에 비판적으로 관여함으로써 발생하며,15,16 이전 학습을 넘어서고 이를 기반으로 한다는 점에서 구성주의 원칙을 기반으로 합니다.17-19 또한 실수로부터 배우는 것을 의미할 수도 있습니다.20 포함 된 많은 연구에서 지배적 인 주제는 TL이 발생하려면 기존의 참조 프레임에 의문을 제기하고 이러한 신념과 편견의 기반이되는 지식과 가치에 의문을 제기 할 수있는 덜 알려진 환경에 들어가기 전에 자신의 신념, 마음의 습관 및 편견을 재평가 할 수있는 기회가 있어야한다는 점을 강조했습니다 .16, 18, 21-37 따라서 TL을 가능하게 하는 것은 자신의 기존 가정을 인식하고 자신의 세계관에 도전을 받는 것입니다.38-53 또한 '자유로운 학습 환경' 또는 '자율적 사고와 자기 권한 개발에 도움이 되는 환경'54, 55은 경험을 재해석하는 데 필요한 것으로 설명되었습니다. TL은 인지 영역17, 27, 40, 56 및 정서 영역23, 27, 54, 57 모두에서 의도적이고 의식적인 행위가 필요하며, 비판적 사고를 수반합니다.17, 31, 58
As a theory of learning, TL is characterised by change: change in one's beliefs about oneself,14 about others, about practices, etc. Conceptualisations draw on constructivist principles in that learning occurs through critically engaging with what one believes and knows in light of what one experiences,15, 16 going beyond and building on prior learning.17-19 It may also mean learning from one's mistakes.20 A dominant theme across a large number of the included studies emphasised that for TL to occur there has to be an opportunity for questioning existing frames of reference, and for reassessing one's beliefs, habits of mind and prejudices before entering a less-known environment where the knowledge and values upon which these beliefs and prejudices are founded might be questioned.16, 18, 21-37 Enablers for TL are therefore becoming aware of one's prior assumptions and having one's world view challenged.38-53 In addition, ‘liberating learning environments’ or ‘those conducive to developing autonomous thinking and self-empowerment’54, 55 were described as necessary for reinterpreting experiences. TL requires an intentional, conscious act that occurs within both the cognitive17, 27, 40, 56 and affective domains,23, 27, 54, 57 and involves critical thinking.17, 31, 58

많은 연구에 따르면 TL은 다른 맥락, 특히 교실 밖에서 몰입을 통해 가장 잘 촉진된다고 합니다.59 이는 학습에서 장소와 맥락의 역할을 인정하는 '장소의 교육학'을 말합니다.29, 60 교수 학습에 대한 일반적인 교육학 및 접근 방식은 학생들이 알고 있는 것과 다른 커뮤니티에 적극적으로 참여해야 하는 것이었습니다.61, 62 덜 친숙한 지역사회에서의 이러한 참여에는

• 농촌 또는 소외된 지역사회에서 일하기,53, 59-61, 63-68
• 해외 여행,36, 69
• 정신건강 기관에서의 봉사 학습,45, 70
• 소외되고 불우한 사람들을 위한 가정 방문,52, 71, 72 또는
• 임종 환자 돌보기가 포함되었습니다.73

Many of the studies suggested that TL is often best facilitated through immersion in a different context, specifically outside of the classroom.59 It speaks to a ‘pedagogy of place’ that acknowledges the role of locale and context in learning.29, 60 Common pedagogies and approaches to teaching and learning were those that required active engagement with communities that appeared to be different to what the students knew.61, 62 These engagements in less familiar communities included

• working in rural or underserved communities,53, 59-61, 63-68 
• travelling abroad,36, 69 
• service learning at mental health institutions,45, 70 
• visiting homes for marginalised and otherwise disadvantaged persons,52, 71, 72 or
• caring for patients at the end of their lives.73

임상 활동(29%)과 워크숍을 통한 대화형 교육(13%)에 중점을 두는 것으로 나타났습니다. 온라인 과정30, 74-76 디지털 스토리텔링21, 77 및 영화78, 시뮬레이션20, 25, 32, 48, 50, 51이 사용되었습니다. 중재에는 협력 또는 동료 주도 학습, 그룹 또는 팀워크37, 57, 79-81, 멘토링82, 대화 기회 및 내러티브 사용 등이 포함되었습니다.17, 39, 62 마찬가지로 '체험적' 학습25, 57, 68 및 자연 환경에서의 진정한 경험을 제공하는 학습19, 33, 41, 59, 83은 자원 또는 사회 경제적 관점에서 종종 도전적인 것으로 보였습니다.35, 52
There was a clear focus on clinical activities (29%) and interactive teaching through workshops (13%). Online courses,30, 74-76 digital storytelling21, 77 and film,78 as well as simulation,20, 25, 32, 48, 50, 51 were used. Interventions included collaborative or peer-led learning, group or teamwork37, 57, 79-81 and mentorship,82 with opportunities for dialogue and the use of narrative.17, 39, 62 Similarly, what was described as ‘experiential’ learning25, 57, 68 and learning that provided for authentic experiences19, 33, 41, 59, 83 in natural settings were seen to be challenging often from a resource or socio-economic perspective.35, 52

99개 논문 중 총 64개 논문에서 TL을 촉진하고 평가하는 과정으로서 성찰을 언급했으며, 한 논문에서는 '총체적 성찰 모델'을 제시했습니다.84 성찰을 장려하는 구체적인 방법으로는 인터뷰69, 83 및 디브리핑,32, 85 토론,41, 86 핵심 가치에 집중,29 및 저널 사용을 포함한 성찰적 글쓰기 등이 있습니다.13, 27, 30, 45, 52, 87 성찰은 '개방형',40 '자기 성찰'28 및 '비판적',38, 55, 63, 88-90으로 묘사되었으며, 한 연구에서는 이러한 '비판적 성찰'이 이론과 실무 사이의 간극을 최소화할 수 있다고 제안했습니다.90
A total of 64 of the 99 articles made reference to reflection as a process to both facilitate and assess TL, with one article offering a ‘Model of Holistic Reflection’.84 Specific ways in which reflection was encouraged included interviewing69, 83 and debriefing,32, 85 discussions,41, 86 focusing on core values,29 and reflective writing, including using journals.13, 27, 30, 45, 52, 87 Reflection was described as ‘open-ended’,40 ‘self-reflection’28 and ‘critical’,38, 55, 63, 88-90 with one study suggesting that such ‘critical reflection’ could minimise the gap between theory and practice.90

TL에는 강력한 사회적 의무도 있습니다. 이는 학생과 다른 사고방식과 행동방식을 가진 커뮤니티를 포함한 다른 사람들과의 참여를 전제로 합니다.23, 36, 42, 88, 91 여러 저자가 TL의 사회적 차원을 언급하고 있습니다. 변혁적 학습은 비판적 성찰을 통한 성찰의 과정으로 새로운 사고방식 또는 조명으로 이어질 뿐만 아니라,86 '공감적 경청'37 합리적 담화,30 반성적 담화26 및 타인의 가정에 대한 인식 등 높은 수준의 의사소통 기술을 강조합니다.92
There is also a strong social imperative for TL. It presupposes engagement with others, including communities, who may well have different ways of thinking and doing to those of the student.23, 36, 42, 88, 91 Several authors refer to the social dimensions of TL. Transformative learning is not just the process of introspection through critical reflection that leads to new ways of thinking, or illumination,86 but it also emphasises high-level communication skills, including ‘empathic listening’,37 rational discourse,30 reflective discourse26 and an awareness of the assumptions of others.92

여러 연구41에서는 TL의 '트리거' 역할을 하는 특정 사건이나 조건을 설명했습니다. 메지로우의 변형적 학습의 10단계 중 첫 번째 단계인 '방향성 상실 딜레마'에 대한 개념이 강하게 등장했습니다.23, 36, 40, 51, 93 종종 이것은 특정 사건이나 경험, 일반적으로 위에서 언급한 '진정한' 경험과 연결되며 죄책감 및 두려움과 연관될 수 있습니다.40, 59 어떤 경우에는 TL이 마이어와 랜드의 '역치 개념':41, 43, 47, 77, 94 '어떤 것을 이해하거나 해석하거나 보는 변화된 방식'과 직접적으로 연결되기도 했습니다.95
Several studies41 described specific events or conditions that acted as ‘triggers’ for TL. Mezirow's notion of a ‘disorienting dilemma’, the first of his 10 phases of transformative learning, featured strongly.23, 36, 40, 51, 93 Often this was linked to a particular event or experience, typically the ‘authentic’ experiences mentioned above, and could be associated with feelings of guilt and fear.40, 59 In some instances, TL was directly linked to Meyer and Land's idea of ‘threshold concepts’:41, 43, 47, 77, 94 ‘a transformed way of understanding, or interpreting, or viewing something’.95

변혁적 학습의 결과
Outcomes of transformative learning

연구에 기술된 바와 같이, 변혁적 학습은 학생들의 직업적 정체성 형성에 영향을 미치는 것으로 나타났습니다.45, 47, 62 학생들이 더 차별적인 관점을 개발함에 따라 그들의 세계관이 변화했습니다.47, 53, 58, 66, 96-98 따라서 TL은 가치, 태도 및 행동에 영향을 미쳤으며,30, 37, 57, 61, 72, 99 그리고 자신을 보고 이해하는 방식에 영향을 미쳤습니다.14, 33, 69, 80 학생들은 의료 영역 내의 조건을 포함하여 사물에 대한 새로운 해석을 개발했습니다.22, 93 문화와 사회경제적 지위에 관계없이 타인에 대한 인식이 높아졌고,17, 28, 64 다양한 관점을 고려하는 '다양성'으로 나아감에 따라 서로 다른 의견과 관점23 에 대한 인식이 높아졌습니다.17 연구들은 이러한 인식이 겸손과 성실성,24, 55, 57 및 공감과 배려를 특징으로 하는 환자 중심주의와 같은 인문학적 가치를 어떻게 향상시키는지에 대해 이야기했습니다.17, 22, 45 학생들은 또한 사회적, 전문적, 치료적, 호혜적인 관계를 구축하고 협상할 진정한 기회를 가진 것으로 묘사되었습니다.24, 33, 64, 78, 93, 100, 101.
Transformative learning, as described in the studies, was seen to influence the formation of students’ professional identity.45, 47, 62 As they developed more discriminating perspectives, their worldviews shifted.47, 53, 58, 66, 96-98 Accordingly, TL influenced their values, attitudes and behaviours,30, 37, 57, 61, 72, 99 and how they saw and understood themselves.14, 33, 69, 80 Students developed new interpretations of how things were, including conditions within the realm of health care.22, 93 There was a heightened awareness of others,17, 28, 64 regardless of culture and socio-economic standing,69 and of differing opinions and perspectives23 as they progressed towards ‘multiplicity’ considering multiple viewpoints.17 Studies spoke of how this awareness enhanced humanistic values, such as humility and integrity,24, 55, 57 and patient-centredness, characterised by empathy and caring.17, 22, 45 Students were also described as having authentic opportunities to build and negotiate social, professional, therapeutic and reciprocal relationships.24, 33, 64, 78, 93, 100, 101

TL은 인지적 차원이 강한 것이 특징이지만, 그 영향은 행동 변화로 나타나야 합니다. 학생들은 변화의 주체가 되는 것으로 묘사되었는데,44, 64, 67 이는 사회적 책임과 사회 정의의 문제를 모두 다루는 변화를 주장한 메지로우 이론의 중요한 특징입니다. 변화된 세계관은 개인이 사회적 불공정,58, 74, 102 보건 맥락에서 건강 불평등으로 이어지는 사회적 불공정을 살펴볼 수 있게 해줍니다.31 
Although TL is characterised as having a strong cognitive dimension, its impact should manifest in behavioural change. Students were described as becoming agents for change,44, 64, 67 an important feature of Mezirow's theory, which argued for change that spoke to issues of both social accountability and social justice. The transformed view of the world allows individuals to examine social injustice,58, 74, 102 which in a health context leads to health inequalities.31

학생들의 성찰력 향상은 자아실현 과정을 촉진하여 자신감과 그에 따른 역량70 및 권한 부여를 구축하는 것으로 보입니다.54, 85 학생들은 문화적 역량감의 결과로 다른 문화권의 환자를 돌보는 데 더 자신감이 있다고 주장했습니다66, 85, 93 일부 연구에서는 위에서 언급한 몰입의 결과로 학생들이 환자, 다른 의료 전문가 및 지역사회 구성원과의 소속감 또는 유대감을 발전시켰다고 제안했습니다.19, 83 
Students’ increased reflectiveness encourages a process of self-actualisation, which is seen to build self-confidence and the resulting competence70 and empowerment.54, 85 Students claimed to be more confident in caring for patients from different cultures66, 85, 93 as a result of a sense of cultural competency.87 Some studies suggested that as a result of the immersion that was mentioned above, students developed a sense of belonging or connectedness with patients, other health care professionals and members of the community.19, 83

학생, 그리고 궁극적으로 환자 치료, 의료 서비스 제공, 심지어 사회에 대한 TL의 가치에 대해 포함된 연구들 전반에 걸쳐 많은 일관성이 있었지만, 논의가 필요한 몇 가지 덜 일반적인 지표도 있었습니다. 예를 들어, 개인적 및 사회적 차원이 설명된 결과에서 강하게 나타났지만, 한 연구에서는 학생들이 여전히 '학문적 지식'을 습득했지만 이전에 경험했던 것과는 '다른 방식'으로 습득했다고 제안했습니다.68 
Although there was much coherence across the included studies as to the value of TL for students, and indeed ultimately for patient care, health care delivery and even society, there were also some less-common indicators that warrant discussion. For example, although personal and social dimensions featured strongly in the described outcomes, one study suggested that students still acquired ‘academic knowledge’ but did so ‘in a different way’ from what they felt they had experienced previously.68

변혁적 학습 경험
Experience of transformative learning

대부분의 연구에서 TL이 개인의 커리어에 상당한 긍정적인 영향을 미칠 수 있는 것으로 나타났지만, 학생들이 불안한 경험을 할 수도 있음도 분명했습니다. 위에서 언급한 죄책감과 두려움 외에도 연구들은 학생들이 학습 경험을 '변혁적', '격렬함',72 '불편함'93, '불확실성'을 특징으로 하는 것으로 묘사했습니다.47 경험은 또한 '지적'71, '감정적'63, 71, 101뿐만 아니라 '다름'34, 60 또는 '여정'으로 묘사되기도 했습니다.63
Although most studies framed TL as potentially having a significant positive effect on an individual's career, it was evident that students could also have some unsettling experiences. Apart from the guilt and fear mentioned above, studies also described how students experienced learning events as being ‘transformative’, ‘intense’,72 ‘uncomfortable’93 and characterised by ‘uncertainty’.47 Experiences also were described as ‘intellectual’71 and ‘emotional’,63, 71, 101 but also ‘different’34, 60 or as a ‘journey’.63

학생들은 자신의 입장과 기준이 도전받을 때 다양한 관점을 고려할 수 있는 수용성과 역량49 을 갖추어야 합니다. 그들은 어느 정도의 취약성을 경험하는 데 개방적이어야 하며, 환자나 상황으로부터 거리를 두기보다는 '방향 감각을 잃는 딜레마'를 받아들여야 합니다.94 TL 이론에 내포된 사회적 선으로 이어질 수 있는 이해의 공통 기반37을 모색하려는 의도가 있어야 합니다. 필연적으로, 너무 자기중심적이거나 정서적으로 단절되어 혜택을 받지 못하는 학생들이 있을 수 있습니다.63 휴가 마인드는 '해외 유학' 연구에서 인정된 위험입니다.63 마지막으로, 포함된 연구 중 단 한 건만이 수행된 연구가 TL의 증거를 제공하지 않았으며 특히 윤리적 문제와 관련하여 학생들이 직면하는 불확실성과 도전에 어려움을 겪는 경험을 기술했다는 점에 유의해야 합니다.103 이 저자들과 다른 사람들104 은 학생들이 그러한 학습 계획에 미리 준비할 수 있도록 커리큘럼을 갱신할 것을 촉구합니다. 
Students need to be receptive and have the capacity49 to consider multiple viewpoints when their own positions and frames of reference are being challenged. They need to be open to experiencing a level of vulnerability and take the ‘disorienting dilemmas’ on board rather than opting to distance themselves from either the patients or the context.94 There needs to be an intent to seek common ground for understanding37 that will lead to the social good that is implicit in TL theory. Inevitably, there are students who may be too egocentric and/or emotionally disconnected to benefit.63 A vacation mindset was an acknowledged danger in ‘study abroad’ studies.63 Finally, it should be noted that only one included study indicated that the work conducted had provided no evidence of TL and described the experience of students struggling with the uncertainty and challenges that they are presented with, specifically with regards to ethical issues.103 These authors and others104 call for curriculum renewal to prepare students in advance for such learning initiatives.

토론
Discussion

저희가 아는 한, 이 리뷰는 HPE 문헌에서 최초로 작성된 것입니다. 이 검토를 통해 HPE에서 TL이 무엇으로 인식되는지, TL이 어떻게 육성되는지, 학생들이 어떻게 경험하는지에 대해 광범위한 합의가 이루어지고 있음을 알 수 있었습니다. [변혁적 학습]은 성찰을 장려하는 경험이나 사건을 통해 세상을 보는 방식을 변화시키는 학습으로, 일반적으로 선입견에 도전하여 미래의 긍정적인 행동과 의미 있는 관계를 가능하게 합니다.1 기존 교실 밖에서 학습이 이루어지고 학생들이 덜 익숙한 상황에 노출되며 공식 강의 이외의 전달 및 참여 방식이 채택될 때 더 일반적인 것으로 나타났습니다. TL이 이루어지려면 학생들이 이러한 낯선 상황에 대응하고 참여할 수 있는 역량이 있어야 합니다. 이러한 역량이 부족하면 TL이 이루어지지 않을 수 있습니다. 
To the best of our knowledge, this review represents the first of its kind in HPE literature. The review showed that there is broad consensus as to what TL in HPE is perceived to be, how TL is fostered, and how students experience it. Transformative learning is described as learning that changes the way we see the world through an experience or event that encourages reflection, typically challenging preconceived understandings, which enables positive future action and meaningful relationships.1 It appears to be more common when learning takes place outside of the conventional classroom, when students are exposed to less familiar contexts, and when modes of delivery and engagement other than formal lectures are adopted. For TL to occur, students must have the capacity to respond to and engage in these unfamiliar contexts. A lack of such capacity can preclude TL.

TL 이론이 학습 이론 담론에 동화되는 방식에 대한 비판이 제기되었습니다.105, 106 예를 들어, 뉴먼은 변화가 TL의 핵심이라고 주장하며 모든 학습이 어떤 식으로든 변화에 관한 것이 아닌지, 그리고 TL을 뚜렷한 현상으로 식별할 수 있는지 의문을 제기합니다.106 아마도 TL 이론은 본질적으로 특정 목적을 위한 학습이지만, 우리가 학습을 더 잘 이해할 수 있는 틀을 제공하는 것일 수 있습니다. 따라서 우리는 TL이 실제로 식별 가능하고 뚜렷한 현상이라고 주장할 수 있습니다. 최근의 한 리뷰에서는 이러한 뚜렷한 특징을 강조하면서 '세계관', 우리가 경험을 이해하는 방식에 영향을 미치는 가정, 신념, 태도 및 보다 복잡한 관점의 발달로 구성된 TL 결과의 유형학을 설명하며 다섯 가지 측면으로 구성된다고 설명합니다:

• (i) '자아', 책임감, 타인과의 관계에서 자신을 아는 것, 자신의 정체성,
• (ii) '인식론', 지식이 무엇인지에 대한 변별력을 키우고 다양한 앎의 방식을 인정하는 것,
• (iii) '존재론', 세상에 존재하는 방식,
• (iv) '행동', 변화된 관점과 새로운 기술 및 스킬의 영향을 받는 행동,
• (v) '역량', 인지적 및 정서적 능력으로 구성됩니다. 107

Criticism has been lodged against the way in which TL theory has been assimilated into learning theory discourse.105, 106 For example, Newman argues that change appears to be key to TL and questions whether all learning is not about change in some way and whether it is even possible to identify TL as a distinct phenomenon.106 Perhaps it is that TL theory essentially provides a frame within which we are better able to understand learning, although in this instance it is learning to a particular end. We would therefore argue that TL is indeed identifiable and distinct. A recent review emphasises these distinct features, describing a typology of TL outcomes comprising ‘worldview’, the assumptions, beliefs, attitudes that influence how we make sense of an experience and the development of a more complex perspective, consisting of five aspects:

• (i) ‘self’, taking responsibility, knowing oneself, also in relation to others, and one's identity;
• (ii) ‘epistemology’, becoming more discriminating about what knowledge is and acknowledging multiple ways of knowing;
• (iii) ‘ontology’, ways of being in the world;
• (iv) ‘behaviour’, action influenced by changed perspectives and even new skills; skills, and
• (v) ‘capacity’, cognitive and affective ability.107 

이러한 각 영역은 각 연구에 모두 포함되지는 않았지만, 본 검토에서 어느 정도는 존재합니다. 그렇다면 학습 경험은 언제 변혁적이라고 할 수 있을까요? 일반적으로 개입을 설명하는 포함된 연구들은 모두 정보제공적 및 형성적 접근 방식을 넘어서는 학습 유형에 대해 이야기하지만, 이러한 유형론을 포함 기준으로 적용하면 이러한 출판물 중 상당수가 제외될 수 있습니다. 따라서 TL을 촉진하는 측면에서 이러한 출판물의 입지는 비판받을 수 있습니다.
Each of these domains is present in our review to a greater or lesser extent, although they are not all present in each of the studies. This prompts the question: when does a learning experience qualify as transformative? Although in general the included studies that describe an intervention all speak to a type of learning that goes beyond informative and formative approaches, the application of such a typology as inclusion criteria would have resulted in excluding many of these publications. Their standing in terms of facilitating TL could therefore be critiqued.

호건은 [깊이 있고 폭넓은 경험과 변화가 일시적이지 않다는 증거]가 TL의 중요한 기준이라고 주장합니다.107 이러한 기준은 메지로의 10단계 TL과도 공감을 불러일으킵니다.

• 방향을 잃은 딜레마에 직면하는 것에서부터
• 자신과 자신의 가정에 대한 비판적 성찰,
• 새로운 역할과 다른 행동 방침에 대한 고려,
• 이러한 새로운 역할의 채택,
• 마지막으로 새로운 존재 방식을 기반으로 한 삶에 재통합

메지로우의 연구는 포함된 연구에서 지배적이었으며, 특히 경험적 연구를 설명하는 연구들에서 이러한 단계가 많이 등장합니다. 
Hoggan argues that depth and breadth of experience and evidence that change is not temporary are important criteria for TL.107 These criteria also resonate with Mezirow's 10 phases of TL, which move

• from being confronted with a disorienting dilemma,
• to critical reflection of self and of one's assumptions,
• to consideration of new roles and a different course of action,
• to the adoption of these new roles, and
• finally, reintegration into one's life based on one's new way of being.

Mezirow's work was dominant in the included studies, and many of these phases are featured, particularly in those studies that describe empirical work.

그러나 일반적으로 표현의 빈도는 단계가 올라갈수록 감소하며, 대부분의 연구에서 학생들이 자신의 가정을 반성하도록 도전을 받고, 이를 통해 새로운 관점을 갖게 된다는 점을 인정하지만, 변화된 행동을 강조하는 경우는 적었습니다. 이는 언제 TL을 주장할 수 있는지, 그리고 모든 단계를 거쳐야 하는지에 대한 의문을 다시 제기합니다. TL 이론은 새로운 존재 방식이 통합적이고 되돌릴 수 없다고 주장하지만, 변화가 지속되는 정도에 대한 관점을 제공할 수 있는 종단 연구는 부족하며, 한 가지 예외로 Greenhill 등의 연구(108)가 있습니다. 또한 지속적인 변화를 특정 사건에 기인하는 것은 불가능하다고 주장할 수도 있습니다.
Generally, however, the frequency of representation diminishes the further one moves through the phases, with most studies acknowledging students being challenged to reflect on their assumptions, and suggesting that this leads to new perspectives, but with fewer emphasising changed action. This again raises the question about when a claim for TL can be made, and whether movement through all phases is required. Although TL theory claims that the new ways of being are both integrated and irreversible, there is a dearth of longitudinal studies, one exception being a study by Greenhill et al.,108 that could offer perspectives on the extent to which change is sustained. In addition, one might argue that it is not possible to attribute sustained change to a particular event.

이 연구가 HPE에 주는 시사점은 무엇일까요?

• 첫째, 맥락이 중요합니다. 의료 전문가 교육이 진료에 적극적으로 참여하는 환경으로 계속 이동함에 따라,109 종종 낯선 환경(병원에서 처음 배우거나 외국에서의 선택 과목 등)에서 잠재적으로 변화를 일으킬 수 있는 학습 경험에 노출될 기회가 늘어날 것입니다. 기존의 교실에서 벗어나면 학생과 교육자 모두 사회 정의와 같이 해당 분야의 원조 이론가들의 연구에 내포된 공식 커리큘럼을 넘어서는 문제를 자유롭게 탐구할 수 있습니다.
• 둘째, 맥락의 영향에도 불구하고 TL은 개인, 즉 개인의 여정에 관한 것입니다. 이 여정은 인지적 차원과 정서적 차원, 인식론적 입장과 존재론적 입장이 모두 특징이며, 이러한 입장은 서로 얽혀 있어 위에서 언급한 학습의 깊이와 폭을 잠재적으로 제공합니다.
• 셋째, HPE의 맥락에서 사회적, 관계적, 정서적 구성 요소는 돌봄 직업의 전문가가 되는 것과 특별한 관련성이 있습니다. 앞서 언급했듯이 메지로우는 TL이 궁극적으로 사회 변화를 이끌고 사회 정의를 증진할 수 있다고 생각했습니다. 현재 전 세계 보건 불평등의 맥락에서 볼 때, 미래의 의료 전문가들이 어떤 학습에 노출되기를 바라는지를 고려할 때 이러한 의무는 다른 어떤 것보다도 강력하게 다가옵니다.

What are the implications of this study for HPE?

• First, context is critical. As the training of health professionals continues to move towards settings where they are active participants in care,109 often in unfamiliar surroundings (whether learning for the first time in a hospital or on an elective in a foreign country), increased opportunities for exposure to learning experiences that are potentially transformative will become available. Moving outside of the conventional classroom offers both students and educators the freedom to explore issues beyond the formal curriculum, such as social justice, that are implicit in the work of the original theorists in the field.
• Second, despite the influence of context, TL is about the individual – his or her journey. This journey is characterised by both a cognitive and an affective dimension, an epistemological and ontological position, and these are intertwined, potentially providing for the depth and breadth of learning alluded to above.
• Third, in the context of HPE, the social, relational and emotional components have specific relevance to becoming a professional in any of the caring professions. As mentioned earlier, Mezirow's sense was that TL would ultimately lead to social change and promote social justice. In the context of current global health inequity this imperative strikes a chord more strongly than any other when considering the learning that we would wish future health professionals to be exposed to.

마지막으로, 이 연구 결과는 임상 교육자를 포함한 교사, 커리큘럼 개발자, 위에서 설명한 것과 같이 학습 기회를 창출하고 학습 환경을 조성하는 프로그램 관리자에게도 시사점을 줍니다. 이러한 과제를 수행하려면 교육자 스스로가 자신의 신념과 이것이 자신의 실무에 어떤 의미를 가질 수 있는지에 대해 비판적으로 참여할 준비가 되어 있어야 합니다. 커리큘럼 리뉴얼 활동에는 학생들이 비판적 자기 성찰에 참여할 수 있는 교수 전략이 포함되도록 설계할 수 있습니다. 그러나 그에 못지않게 중요한 것은 보건 전문직에 종사하는 교육자가 인지적, 정서적으로 긍정적이든 부정적이든 학생들의 잠재적 반응에 민감하게 반응하는 것입니다. 보건 전문직 교육자에게 TL을 촉진하기 위한 세부적이고 실용적인 지침을 제공하는 것이 이 검토에서 나온 중요한 다음 단계가 될 것입니다. 
Finally, the findings of this study also carry implications for teachers, including clinical educators, for curriculum developers and for programme administrators responsible for creating learning opportunities and establishing enabling learning environments, such as those described above. To fulfil these tasks would require a preparedness on the part of these educators to themselves critically engage with what they believe and what this might mean for their own practice. Curriculum renewal activities can be designed to include teaching strategies that engage students in critical self-reflection. Equally important, however, is for educators in the health professions to be sensitive to students’ potential responses, whether positive or negative, both cognitively and emotionally. Providing detailed and practical guidelines for educators in the health professions about facilitating TL would be an important next step to emerge from this review.

이 검토는 TL에 대한 현재 이해와 기존 HPE 문헌에 표현된 방식 사이의 간극을 해결하고자 했지만, 이 작업에는 한계가 있습니다. 문헌의 범위를 정할 때 깊이보다는 폭을 넓히는 접근 방식을 채택했습니다. 종합 과정에서 고유한 세부 정보가 누락되었을 수 있습니다. 범위 검토의 관례에 따라 포함된 연구의 근거의 질을 공식적으로 검토하지 않았습니다.9 체계적 문헌고찰을 통해 이러한 격차를 해결할 수 있습니다. 또한, 간호 전문직이 포함된 연구에서 가장 많이 대표되는 프로그램이었기 때문에 모든 보건 전문직 학부 프로그램에 대한 이 검토의 관련성에 의문이 제기될 수 있습니다. 그럼에도 불구하고 이 연구는 TL을 육성하고 평가하려는 향후 연구에 정보를 제공할 수 있는 통찰력을 제공한다고 믿습니다. 더 주목해야 할 또 다른 측면은 TL을 촉진하고 평가하는 데 있어 자기 성찰의 역할입니다. 마지막으로, 검토팀은 임상의, 관리자, 교육자 등 다양한 전문가 그룹으로 구성되었으며, 이들은 각기 다른 관점에서 검토 및 분석 과정에 접근했습니다. 합의에 도달하기 위해서는 격렬한 토론이 필요했지만, 그 덕분에 최종 결과물이 향상되었다고 생각합니다.
Although this review has sought to address a gap in our current understanding of TL and how it is represented in the existing HPE literature, there are limitations to this work. In seeking to scope the literature we adopted an approach that pushed for breadth rather than depth. In the process of synthesis, unique details may have been lost. Following the conventions of scoping reviews, we did not formally review the quality of the evidence in the included studies.9 A systematic review might address this gap. Furthermore, because the nursing profession was the most represented programme in the included studies, the relevance of this review for all health professions’ undergraduate programmes may be questioned. Nevertheless, we believe that the work provides insights that can inform future studies that seek to foster and assess TL. Another aspect that warrants further attention is the role of self-reflection in facilitating and assessing TL. Finally, the review team comprised a diverse group of professionals that includes clinicians, administrators and educationalists, who approached the process of review and analysis from quite different perspectives. Reaching consensus required vigorous debate, but we believe this enhanced the final product.

결론
Conclusions

변혁적 학습 이론은 '가장 진보된 종류의 인간 학습으로 인식될 수 있는 것을 이해하는 데 국제적으로 잘 알려져 있고 인정받는 공헌'이 되었습니다.110 '복잡하고 다면적인',4 '고등교육의 상징적인 교육 철학'1, '분석적 메타이론'107 으로 교육자들에게 학생들의 학습을 바라볼 수 있는 이론적 렌즈를 제공하는 것으로 묘사되어 왔습니다. TL에 대한 비판에도 불구하고 우리가 주목할 가치가 있다는 것은 의심할 여지가 없으며, 이 검토에서 제기된 문제를 탐구하는 추가 작업이 필요합니다. 
Transformative learning theory has become ‘an internationally well known and recognised contribution to the understanding of what may be perceived as the most advanced kind of human learning’.110 It has been described as ‘complex and multifaceted’,4 ‘the iconic education philosophy’1 in higher education, and an ‘analytic metatheory’107 providing educators with a theoretical lens through which to view students’ learning. Notwithstanding critiques levelled at TL, there can be no doubt that it warrants our attention and further work that will explore the issues raised in this review is required.

BGHEI의 주요 목표 중 하나는 글로벌 보건 교육을 위한 커리큘럼 권고안을 제공하는 것과 관련이 있습니다.111 특히 학생들을 준비시키고, 비판적 성찰과 담론을 위한 시간과 공간을 확보하고, 불편함을 허용하고 '안전한' 공간에서 벗어날 수 있도록 학습 이벤트 또는 경험을 구성하는 측면에서 글로벌 보건 교육 개입에 관여하거나 착수하려는 사람들이 이 검토에서 많은 것을 배울 수 있습니다. 그러나 우리는 이 검토가 더 넓은 관점을 제공하며 21세기 보건 전문직 교육이 직면한 과제를 해결하려면 우리가 살고 있는 세계의 복잡성을 인정하고 우리가 알고 있다고 믿는 것에 의문을 제기하는 '인간 번영'을 가능하게 하는 불확실성의 교육학이 필요하다고 주장합니다.112 변혁적 학습 이론은 그러한 교육학을 제공합니다.
One of the main goals of the BGHEI relates to offering curriculum recommendations for global health education.111 Much can be learned from this review by those who are involved in, or intend to embark on, a global health educational intervention, particularly in terms of preparing students, ensuring time and space for critical reflection and discourse, structuring learning events or experiences to allow for discomfort and a move away from ‘safe’ spaces. However, we would argue that the review offers a broader perspective and that addressing the challenges facing health professions education in the 21st century requires a pedagogy of uncertainty that allows for ‘human flourishing’, acknowledging the complexity of the world we live in and questioning what we believe we know about it.112 Transformative learning theory offers such a pedagogy.

© 2019 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

이타주의인가, 국가주의인가? 의과대학 규제에 대한 글로벌 담론 살펴보기 (Med Educ, 2022)
Altruism or nationalism? Exploring global discourses of medical school regulation
Mohammed Ahmed Rashid

1 소개
1 INTRODUCTION

의과대학은 어떻게 규제되어야 할까요? 이 질문은 의학교육자들과 정책 입안자들이 오랫동안 고민해 온 문제입니다.1 광범위한 규제 관행에도 불구하고 의과대학을 어떻게 규제해야 하는지에 대한 지침이 되는 경험적 연구는 거의 없습니다.2 특히 불협화음의 한 가지 영역은 글로벌 접근법을 어느 정도까지 적용할 수 있는지에 관한 것입니다. 이러한 접근 방식을 주장하는 사람들은 역량 및 표준화 개념3과 의료 이주를 촉진하기 위해 자격을 이전할 수 있어야 한다는 요건을 근거로 삼습니다.4 반면, 글로벌 접근 방식에 대한 우려를 제기하는 사람들은 전 세계의 사회문화적 차이5와 제국주의 및 동질화에 대한 우려를 근거로 삼습니다.6 
How should medical schools be regulated? This question has long occupied medical educators and policymakers.1 Despite the widespread practice of regulation, there remains little empirical research to guide how medical schools should be regulated.2 One particular area of dissonance relates to the extent to which a global approach can be applied. Those arguing for such an approach draw on notions of competence and standardisation,3 as well as the requirement for qualifications to be transferrable to facilitate medical migration.4 Those raising concerns about global approaches, meanwhile, draw on sociocultural differences around the world5 as well as concerns about imperialism and homogenisation.6

외국 의대 졸업생 교육위원회(ECFMG)는 미국 의사 인력에 진입하는 외국 의대 졸업생(IMG)을 인증하는 민간 비영리 비정부 기구입니다.7 이 기구는 1956년에 설립되어 지원자의 의과대학을 검증함으로써 IMG가 적절하게 '검증'8되도록 보장합니다. 2010년에 ECFMG는 '2023년부터 ECFMG 인증을 신청하는 의사는 적절한 인증을 받은 의과대학을 졸업해야 한다'고 발표했습니다.9 따라서 북미의학교육연락위원회(LCME) 또는 세계의학교육연맹(WFME)이 북미에서 사용하는 것과 유사한 방식을 사용하여 기관의 인증을 받은 학교 졸업자만 ECFMG 인증을 받을 수 있게 됩니다. 2020년에는 코로나19로 인한 혼란을 고려하여 2024년으로 수정되었습니다.10  
The Educational Commission for Foreign Medical Graduates (ECFMG) is a private, non-profit, non-governmental organisation that certifies international medical graduates (IMGs) entering the US physician workforce.7 It was established in 1956 to ensure IMGs were properly ‘vetted’8 by verifying applicants' medical schools. In 2010, ECFMG announced that ‘effective in 2023, physicians applying for ECFMG Certification will be required to graduate from a medical school that has been appropriately accredited’.9 Thus, only graduates from schools accredited by an authority using approaches comparable with those used in North America by the Liaison Committee on Medical Education (LCME), or by the World Federation for Medical Education (WFME), would be eligible for ECFMG certification. In 2020, this was amended to 2024 to account for COVID-19 disruption.10

WFME는 1972년에 설립된 비영리 비정부기구로, 인증을 촉진하고 전문가 합의 표준을 발표하며 세계 의과대학 디렉토리를 유지 관리합니다.11 2010년 ECFMG의 성명서에 따라 WFME는 2012년에 인증 프로그램을 시작했습니다. 이에 상응하는 LCME 프로세스가 등장하지 않았기 때문에 이 프로그램이 ECFMG의 판결을 이행하기 위한 기본 방안이 되었습니다. 이 인정 프로그램에 앞서 WFME는 이미 2003년에 학부 의학교육에 대한 일련의 '글로벌 표준'을 발표했으며, 2012년, 2015년, 2020년에 업데이트했습니다. 
WFME is a not-for-profit, non-governmental organisation established in 1972 that promotes accreditation, publishes expert consensus standards and maintains the World Directory of Medical Schools.11 In response to the ECFMG statement in 2010, WFME launched a recognition programme in 2012. As no equivalent LCME process emerged, this became the default arrangement to fulfil the ECFMG ruling. Prior to this recognition programme, WFME had already published a set of ‘global standards’ for undergraduate medical education in 2003, which were updated in 2012, 2015 and 2020.

WFME 인정 프로그램의 설립은 의과대학 규제에 대한 전 세계의 영향력이 체계적이고 제도적으로 처음으로 활성화되었다는 점에서 의미가 있습니다.12 ECFMG 판결과는 불가분의 관계에 있지만, 미국을 넘어서는 분명한 결과를 가져올 것입니다. 인증 기관이 자격을 획득할 수 있는 기회는 WFME 인정을 위한 현실적인 동기 부여입니다. 실제로 '글로벌 인정 마크'는 WFME가 인정 프로그램의 첫 번째 '혜택'으로 제시하고 있습니다.13 
The establishment of the WFME recognition programme was significant because it was the first time that global influence on the regulation of medical schools was systematically and institutionally enabled.12 Although it is inextricably linked to the ECFMG ruling, it has clear consequences beyond the United States. The opportunity for accreditation agencies to gain credentials is a realistic motivation for WFME recognition. Indeed, a ‘global mark of recognition’ is listed as the first ‘benefit’ of the recognition programme by WFME.13

한 국가, 즉 미국의 한 기관이 내린 결정이 전 세계적으로 근본적인 정책 변화를 가져왔다는 점은 주목할 만합니다. 앞서 언급한 동질화와 제국주의에 대한 우려에 비추어 볼 때, 서구 국가가 주도하는 정책 지침이 세계 다른 지역, 특히 전 세계 의과대학의 대부분이 위치한 동양 국가에 주로 영향을 미치는 것은 잠재적으로 문제가 될 수 있습니다.14. 또한, 기관이 WFME 인정을 신청하지 않기로 결정하면 세계적으로 권위 있고 매력적인 것으로 간주되는 미국에서 대학원 의학 교육을 받을 수 있는 기회가 차단됩니다.15 
It is notable that a decision taken by an agency in one country, the United States, quite directly led to a fundamental policy change worldwide. In light of aforementioned concerns about homogenisation and imperialism, a policy directive driven by a Western country that predominantly affects countries in other parts of the world, and significantly Eastern countries given that this is where most of the world's medical schools are,14 is potentially problematic. Moreover, if an agency decides not to apply for WFME recognition, it closes off opportunities to pursue postgraduate medical training in the United States, which is globally considered as prestigious and attractive.15

WFME는 어디에서도 표준이나 인정 프로그램이 의과대학을 표준화하기 위해 고안되었다고 언급하지 않지만,11,13 전 세계적으로 적용될 수 있는 단일 진술이 존재한다는 것은 본질적으로 이를 암시합니다. WFME 인증을 신청하는 데 드는 비용에는 6만 달러의 수수료와 실사팀의 현장 방문 비용이 포함되며,16 이는 많은 저소득 국가에서는 상당한 금액입니다. 숨겨진 비용도 많이 있습니다. 규제 조사 준비에는 상당한 시간이 소요되며 다른 의료 또는 교육 활동에서 관심을 돌릴 수 있습니다.17, 18 
Although WFME does not anywhere suggest that its standards or recognition programme are designed to standardise medical schools,11, 13 the existence of a single set of statements that can be applied globally inherently implies this. The cost of applying for WFME recognition includes a $60 000 fee and costs of the team completing the site visit,16 which represents a significant sum for many lower income countries. There are also many hidden costs. Preparation for regulatory inspections takes considerable time and may divert attention away from other healthcare or educational activities.17, 18

의과대학 규제에 대한 글로벌 접근 방식이 이데올로기적 기반, 지배 국가의 가치를 강요하는 정도, 자원 관점에서 의문이 제기된다는 점을 고려하면 규제 자체를 뒷받침하는 확고한 실증적 증거가 있을 것을 기대할 수 있습니다. 하지만 현실은 그렇지 않습니다. 인증이 학생 성과19 및 의과대학 과정에 미치는 영향에 대한 연구는 있지만,20 규제 개입의 결과로 지속적이고 긍정적인 결과를 입증하는 연구는 존재하지 않으며, 규제에 대한 투자가 가치가 있음을 입증하는 비용 효과 분석도 부족합니다. 범위 검토에 따르면, 해당 주제에 대한 연구가 부족하여 현재의 규제 관행을 뒷받침할 수 있는 '제한된 증거가 존재'합니다.2 
Given that global approaches to medical school regulation are questionable from an ideological basis, in the extent to which they impose values from dominant countries, and from a resource perspective, one might expect a firm body of empirical evidence to support regulation itself. That is not, however, the case. Although research has shown the impact of accreditation on student performance19 and medical school processes,20 studies demonstrating sustained positive outcomes as a result of regulatory interventions do not exist, and cost-effectiveness analyses demonstrating that investment in regulation is worthwhile are also lacking. As a scoping review notes, ‘limited evidence exists’ to support current regulatory practices due to a paucity of studies on the topic.2

의과대학 규제에 글로벌 접근법을 적용하는 것의 잠재적 이점과 해악을 모두 인식하면서, 이 연구의 목적은 의과대학 규제에 대한 글로벌 접근법이 어떻게 정당화되었고 어떻게 정책적으로 우위를 점하게 되었는지 더 잘 이해하기 위해 담론이 이러한 ECFMG 및 WFME 입장을 가능하게 만든 방식을 조사하는 것이었습니다. 이 연구를 이끄는 전반적인 연구 질문은 다음과 같습니다: 의과대학 규제의 '세계화'를 가능하게 한 지배적인 담론은 무엇이었습니까? 
Recognising both potential benefits and harms of applying a global approach to medical school regulation, the aim of this research was to examine the way in which discourses made these ECFMG and WFME positions possible in order to better understand how their decisions had been justified and how the global approach in medical school regulation has gained apparent policy dominance. The overall research question guiding this study was: What were the dominant discourses that made it possible to ‘globalise’ medical school regulation?

2 연구 방법
2 METHODS

이 연구에서는 비판적 담론 분석(CDA)을 사용하여 의과대학 규제에 대한 글로벌 접근법을 향한 움직임을 설명하는 문서를 조사했습니다.

• '담론'이라는 용어는 언어, 텍스트 및 언어와 텍스트가 사용되는 맥락과 관련이 있습니다.21
• 담론은 특정 진술이 다른 진술보다 우선순위를 가질 수 있게 해주기 때문에 지식의 생성과 재생산에 중요합니다.
• 담론은 '진짜'에 대한 우리의 경험을 형성합니다.22

CDA는 담론이 특정 진술을 불가피한 것으로 보이게 하고 도전이나 논쟁을 차단하는 방식을 조사합니다.23 CDA는 언어와 관행의 변화에 초점을 맞춥니다.24 따라서 의과대학 규제에 대한 지배적인 생각이 어떻게 진화했는지 살펴볼 수 있는 강력한 도구입니다.
This study used critical discourse analysis (CDA) to examine documents that describe the movement towards global approaches to medical school regulation.

• The term ‘discourse’ relates to language, texts and the contexts in which language and texts are used.21 
• It is important for the creation and reproduction of knowledge as it enables certain statements to be prioritised over others.
• Discourses shape our experience of what is ‘real’.22 

CDA examines the way that discourse makes certain statements appear inevitable and closes off challenge or debate.23 CDA focuses on changes in language and practices.24 As such, it is a powerful tool to examine how dominant ideas about medical school regulation evolved.

이 연구는 언어, 권력, 지식에 관심이 있는 두 학자의 연구를 바탕으로 진행되었습니다. 두 학자의 관점과 접근 방식이 완전히 일치하지는 않지만, 미셸 푸코와 에드워드 사이드는 근본적으로 담론적 실천을 통해 권력이 제정되는 방식에 매력을 느꼈습니다.25 또한 역사적 사건을 비판적으로 분석하기 위한 이론적 접근 방식을 제안했습니다. 
This study drew on the work of two scholars who were interested in language, power and knowledge. Although their perspectives and approaches do not align wholly, Michel Foucault and Edward Said were both fundamentally attracted to how power is enacted through discursive practices.25 They also proposed theoretical approaches to critically analyse historical events.

블리클리와 블레이그가 지적했듯이, '푸코를 비판적으로 접근하는 것은 간단하지 않다 - 그의 작품은 역설로 가득하고 다양한 독해에 열려 있다'.26 푸코는 담론의 개념을 '특정 진술이 나타나고 다른 진술이 나타나지 않는 체계 또는 규칙'으로 설명했습니다.27 푸코는 명백하거나 자명해 보이는 것을 연구하는 것을 목표로 삼았습니다. 그는 광기, 감옥, 병원에 대한 연구에서 이러한 것들이 그것들을 가능하게 하는 특정한 담론이 존재하기 때문에 발생하며, 담론이 변화하고 지배력을 가지며 사라짐에 따라 그 성격과 기능이 변화한다는 것을 보여주었습니다.28 이 연구가 의과대학 규제에 관한 것이라는 점을 고려할 때, 푸코가 의학과 의학교육을 구체적으로 살펴보고29 '의학적 시선'을 개념화하여 설명에서 설명으로 넘어가는 현대 생물의학의 체계를 설명한 것은 주목할 만합니다.
As Bleakley and Bligh have noted, ‘engaging Foucault critically is not straightforward—his work is full of paradoxes and open to multiple readings’.26 The concept of discourse was described by Foucault as ‘the system or rules by which certain statements appear and not others’.27 Foucault aimed to study that which appears obvious or self-evident. In his examinations of madness, prisons and hospitals, he demonstrated that these arise as a result of the existence of particular discourses that make them possible and that their nature and functions change as discourses change, assume dominance and disappear.28 Given that this study is about medical school regulation, it is notable that Foucault specifically examined medicine and medical education,29 conceptualising the ‘medical gaze’ to describe the modern scheme of biomedicine moving from description to ascription.

사이드는 [식민지 개척자들이 식민지를 묘사하고 이해하는 방식을 결정하는 과정]을 설명했습니다.

• [오리엔탈리즘]에서 사이드는 유럽 문화가 어떻게 동양을 '생산'할 수 있었는지를 보여주었습니다. 동양에 대한 묘사는 항상 '우월한' 서양과 극명한 대조를 이루는 후진 국가와 민족으로 묘사되었습니다.
• 문화와 제국주의에서31 그는 텍스트의 '대조적' 읽기가 어떻게 근본적인 가정에 도전할 수 있는지를 설명함으로써 한 걸음 더 나아갔습니다.

대위법적 분석은 텍스트를 제국과의 관계뿐만 아니라 식민지화되거나 소외된 사람들이 스스로 만들어낸 입장에 대한 '대위법'의 맥락에서 읽는 것을 포함합니다. 블레이클리 등이 강조했듯이 탈식민 이론은 의학교육 연구와 실천에 많은 것을 제공합니다.6
Said described a process by which colonisers determined how the colonised were described and understood.

• In Orientalism,30 Said demonstrated how European culture was able to ‘produce’ the Orient. Portrayals of the Orient were invariably as backward nations and peoples, in stark contrast to the ‘superior’ Occident.
• In Culture and Imperialism,31 he took this further by describing how a ‘contrapuntal’ reading of texts can challenge underlying assumptions.

A contrapuntal analysis involves reading a text in the context of its relations to empire, as well as in the ‘counterpoint’ to the position that colonised or marginalised people themselves produced. As Bleakley et al have highlighted, postcolonial theory has much to offer medical education research and practice.6

CDA는 널리 받아들여져 온 '진실'에 문제를 제기하고자 하며, 편견 없는 객관성의 유리한 지점에서 사용하는 방법론이 아닙니다.32 이 연구에서 CDA를 사용하기로 한 것은 의과대학 규제에 대한 지배적인 생각을 확인하고 질문하기 위한 의도적인 선택입니다. 그러나 그렇다고 해서 특정 정책 결정을 지지하거나 반대하는 것이 목표는 아닙니다. 오히려 CDA를 사용한 다른 의학교육 학자들과 마찬가지로21 건설적인 방식으로 이 분야를 발전시키고자 하는 것이 목표입니다.
CDA seeks to problematise ‘truths’ that have been widely accepted; it is not intended to be a methodology wielded from a vantage point of unbiased objectivity.32 The choice to use CDA in this study is deliberate, as a means to identify and interrogate dominant ideas about medical school regulation. However, this does not mean that the goal is either to promote or reject any particular policy decision. Rather, in keeping with other medical education scholars who have used CDA,21 the hope is to advance the field in constructive ways.

[2010년 ECFMG 판결]을 가능하게 한 담론을 역사적으로 살펴보기 위해 CDA를 사용하는 접근 방식을 고려할 때, 이 출발점은 사실 연대기적으로 '종점'이었습니다. 따라서 푸코의 계보학 접근법에 따라 데이터 세트의 구분은 이 시점부터 거꾸로 진행되어 이전의 중요한 랜드마크를 식별했습니다. 세계화 정책을 '제정'하는 데 있어 WFME의 중심적인 역할을 고려할 때, 조직으로서의 역사는 이를 위한 기초가 되었습니다. 

• 2010년 판결이 있기 7년 전인 2003년에 WFME 표준이 처음 발표되었기 때문에, 그 출범은 중요한 선행 사건으로 보였습니다. 
• WFME는 1972년에 설립되었지만, 역사상 첫 번째 주요 사건은 1988년 세계 의학교육 컨퍼런스에서 전 세계 의과대학의 질에 대한 합의문으로 발표된 에든버러 선언(Edinburgh Declaration)이었습니다. 이는 의과대학의 질에 대한 최초의 '글로벌' 성명서로서 분석의 '시작점'으로 적절했습니다.

Given the approach of using CDA to look historically at discourses that enabled the ECFMG ruling in 2010 to occur, this start point was in fact an ‘end point’ chronologically. Drawing on Foucault's approach of genealogy, the delimiting of the dataset therefore proceeded backwards from this point, identifying important preceding landmarks. Given the central role of WFME in ‘enacting’ globalising policy, its history as an organisation was the basis for this.

• As WFME standards were first published in 2003, 7 years prior to the ruling in 2010, their inauguration seemed an important antecedent event.
• Although WFME was established in 1972, the first major event in its history was the publication of the Edinburgh Declaration at the World Conference on Medical Education in 1988, presented as a consensus statement about quality of the world's medical schools. This represents the first seemingly ‘global’ statement about medical school quality and was therefore as a suitable ‘start’ point of the analysis.

데이터 소스에는 연구 기사, 사설 및 논평 기사, 교육자 및 정책 입안자의 기타 학술 저술, 현재 및 과거 정책 문서가 포함되었습니다. 위에서 설명한 세 가지 사건의 키워드를 사용한 전자 데이터베이스 검색과 웹페이지 및 주요 저널의 수동 검색을 결합했습니다. 그런 다음 각 사건과 관련된 주요 문서와 기사를 '스노우볼링'33 방식으로 추적하고 참고 문헌을 찾아 인용 추적 소프트웨어를 사용했습니다. 이 반복적인 프로세스는 주요 문서를 찾을 수 있을 때까지 계속되었습니다. 
Data sources included research articles, editorial and commentary articles, other scholarly writings from educators and policymakers and current and historical policy documents. Electronic database searches using keywords from each of the three events described above were combined with manual searches of webpages and key journals. Key documents and articles relating to each event were then tracked using a ‘snowballing’ process,33 pursuing references of references and using citation-tracking software. This iterative process continued until it was clear that major documents had been located.

분석은 [문서 분석]을 사용하여 수행되었습니다.23 데이터 집합을 정의하고 구분한 후, 텍스트를 읽고 분석하여 페어클로우가 설명한 CDA 단계에 따라 담론과 담론의 변화를 식별했습니다.23 반복되는 주장과 이러한 주장의 변화에 특히 주의를 기울여 진술, 키워드, 은유를 찾았습니다. 푸코의 CDA 원칙에 따라 진술의 부재와 언어 사용의 존재 여부에 주목했습니다. 또한 이러한 담론은 위에서 설명한 푸코와 사이드의 접근법의 렌즈를 통해 관행, 제도 및 사회적 관계에 주목하여 분석되었습니다. 총 250개의 문서가 데이터 세트를 구성했으며 Microsoft Excel을 사용하여 관리되었습니다. 전반적인 목표는 의과대학 규제의 세계화의 중요성에 대한 담론이 어떻게 지배적이 되었는지, 그리고 이러한 담론이 어떻게 의과대학 규제에 대한 글로벌 접근 방식을 확립하기 위한 정책 결정을 가능하게 했는지를 파악하는 것이었습니다.
Analysis was carried out using document analysis.23 Once the dataset had been defined and delimited, the texts were read and analysed to identify discourses and discursive shifts following the CDA stages outlined by Fairclough.23 Statements, keywords and metaphors were sought with particular attention to recurring arguments and shifts in these arguments. In keeping with Foucauldian CDA principles, the absence, as well as the presence, of statements and uses of language were noted. These discourses were also analysed with attention to practices, institutions and social relations, read through the lenses of the approaches of Foucault and Said described above. A total of 250 documents comprised the dataset and were managed using Microsoft Excel. The overall aim was to identify the ways in which discourses about the importance of the globalisation of medical school regulation became dominant and how these in turn enabled policy decisions to establish global approaches to medical school regulation.

3 결과
3 RESULTS

이 연구에서는 전반적으로 승인, 현대화, 저항, 보호, 통제라는 다섯 가지 담론이 확인되었습니다.

• 의대 규제의 글로벌화를 촉진하는 승인과 현대화 담론은 이 연구의 전체 기간에 걸쳐 존재했습니다.
• 그러나 저항 담론은 연구 초기, 특히 에든버러 선언(1988년)과 WFME 표준의 최초 발표(2003년) 즈음에 존재했고, 연구 후기에는 존재하지 않았으며, 이 시기에 나머지 두 담론인 보호와 통제가 등장했습니다.
• 이 두 가지 담론은 이전 기간에는 부재했지만 ECFMG 판결 발표 시점(2010년)과 그 이후 기간에 지배적인 담론이 되었습니다.

Overall, five discourses were identified in this study: endorsement, modernisation, resistance, protection and control.

• The discourses of endorsement and modernisation, which both promote the globalisation of medical school regulation, were present throughout the entire time period of this study.
• The discourse of resistance, though, was present in the early period, specifically around the Edinburgh declaration (1988) and the first publication of WFME standards (2003), and absent in the later period of the study, at which time the two remaining discourses, protection and control, appeared.
• These two discourses became dominant around the time of the ECFMG ruling announcement (2010) and the period following this, although had been absent in the earlier time period.

지지
Endorsement

지지 담론은 의과대학 규제를 보다 글로벌한 방향으로 전환하는 정책이 광범위한 지지를 받는 것으로 예상합니다. 이 담론은 존경받는 기관의 권위와 당대의 아이디어를 바탕으로 세계화의 필연성을 암시합니다. 에든버러 선언은 합의, 조정, 실행, 대표라는 네 가지 핵심 아이디어를 통해 전개됩니다.
The discourse of endorsement projects the policies that move medical school regulation in a more global direction as having widespread support. It draws on the authority of respected institutions and ideas of the time to hint at the inevitability of globalisation. It plays out through four key ideas: consensus, alignment, implementation and representation.

에든버러 선언문은 664단어에 불과하고 저자의 이름이 명시되어 있지 않으며, 대신 마지막에 세계 의학교육 회의의 제목과 날짜가 명시되어 있어 모든 참가자의 합의에 따른 것임을 암시합니다.34 본문 자체에서도 합의의 흔적을 찾아볼 수 있습니다:
The Edinburgh declaration is just 664 words long and has no named author(s), instead giving the title and dates of the World Conference on Medical Education at the end, hinting that it represents a consensus of all participants.34 The text itself also gives an indication of consensus:

WFME는 글로벌 표준을 처음 발표하기 5년 전에도 합의 개발의 중요성을 분명히 했습니다.35 일단 발표된 후에는 '합의 기반' 표준,36 '대부분의 교육자가 동의하는' 표준,37 '국제적 승인을 획득한' 표준 등의 설명과 함께 합의의 중요성을 지속적으로 반복했습니다.38 
WFME was also clear about the importance of developing consensus when it set out to develop its global standards 5 years prior to their first publication.35 Once published, the importance of consensus was consistently reiterated, with descriptions including

• ‘consensus-based’ standards,36 
• standards that are ‘agreed by most educators’37 and
• having ‘obtained international endorsement’.38

이 담론은 또한 WFME와 ECFMG가 저명하고 존경받는 기관 및 정책과 연계될 것으로 예상했습니다. 가장 자주 언급된 것은 세계보건기구(WHO)와의 연계였습니다. WHO의 에든버러 선언에 대한 후원은 WFME 회장39 및 다른 사람들에 의해 강조되었으며,40 WHO 및 유니세프, 유네스코, 유엔개발계획, WMA 및 IAMRA를 포함한 기타 조직과의 연계도 강조되었습니다.3, 41-43 평판이 좋은 글로벌 조직과의 연계와 함께 보편적 건강 보장44 및 볼로냐 선언45, 46을 포함한 주요 정책과 유럽 및 북미의 강력한 국가 규제기관과의 연계도 있었습니다.47, 48
This discourse also projected alignment of WFME and ECFMG with prominent and esteemed agencies and policies. The most frequently cited alignment was with the World Health Organisation (WHO). The sponsorship of the Edinburgh declaration by WHO was emphasised by the WFME President39 and others,40 as well as WHO and other organisations that were aligned to include UNICEF, UNESCO, UNDP, WMA and IAMRA.3, 41-43 In parallel to the alignment with reputable global organisations, there was also alignment with topical policies, including universal health coverage44 and the Bologna declaration,45, 46 as well as with powerful national regulators, notably from Europe and North America.47, 48

이행에 대한 주장에는 에든버러 선언이 의과대학의 변화를 이끌었다는 점, WFME 표준이 전 세계적으로 널리 사용되고 있다는 점, 각국이 WFME 인정을 추구함으로써 ECFMG 판결에 대응하고 있다는 점 등이 포함되었습니다. 이 담론의 마지막 접근 방식은 에든버러 선언과 WFME 표준 개발에 관여한 사람들의 대표성을 강조합니다. 여기서 명시적으로 언급되지는 않았지만, 이러한 문서를 개발한 사람들의 다양성이 그 문서의 유효성을 의미한다는 주장이 있습니다. 예를 들어, 에든버러 선언에 대한 현대의 기록은 참가자의 다양성을 설명하기 위해 많은 노력을 기울였습니다:
Assertions about implementation included that the Edinburgh declaration led to changes in medical schools, that WFME standards have been widely used globally and that countries are responding to the ECFMG ruling by seeking WFME recognition. The final approach within this discourse emphasises the representation of those involved in the development of both the Edinburgh declaration and WFME standards. The argument here, although not explicitly stated, is that the diversity of those who developed these documents implies their validity. Contemporary accounts of the Edinburgh declaration, for example, went to great lengths to describe the diversity of participants:

그러나 에든버러 선언이나 WFME 표준과 관련된 대표의 방식과 범위에 대한 설명이 없다는 점은 눈에 띄는 부분입니다. 의미 있는 참여로 프레임을 구성하여 대표성을 인증하는 대신, 지지를 묘사하는 수단으로 담론적으로 사용됩니다.
The absence of any description of the manner and extent of representation related to either the Edinburgh declaration or WFME standards is, however, striking. Rather than authenticating the representation by framing it as meaningful participation, it is instead used discursively as a means of depicting endorsement.

현대화
Modernisation

근대화 담론은 세계화 아이디어와 관행을 홍보하고 정당화하는 데에도 유사하게 사용됩니다. 이는 개혁, 개발, 조화의 세 가지 핵심 아이디어를 통해 전개됩니다.
The discourse of modernisation is similarly used to promote and justify globalising ideas and practices. It plays out through three key ideas: reform, development and harmonisation.

에든버러 선언은 의학교육의 질에 대한 보편적인 측면을 정의하고자 했고, 이를 위해 '개혁'이라는 언어를 직접 사용했습니다.34 당시 다른 저술가들도 이를 반영했고,49, 50 2018년 의학교육 특별호에서 선언 30주년을 기념하는 저술가들도 마찬가지였습니다.51-53 개혁은 WFME 표준 작업이 시작되기 전부터 명확하고 명시된 목표이기도 합니다:
The Edinburgh declaration sought to define universal aspects of quality in medical education and directly used language of ‘reform’ in doing so.34 Others writing at the time mirror this,49, 50 as did those commemorating the 30th anniversary of the declaration in a special issue of Medical Education in 2018.51-53 Reform is also a clear and stated goal of WFME standards from even before work on them had begun:

이러한 WFME 표준이 최종적으로 발표된 후에도 유사한 언어가 사용되었으며54, 55 2010 년 ECFMG 판결에 대해서도 사용되었습니다.56, 57
Similar language was used after these WFME standards were eventually published54, 55 and is also used about the ECFMG ruling in 2010.56, 57

현대화 담론의 또 다른 특징은 개발입니다. 예를 들어, 에든버러 선언에는 문명과 '진보'의 관점에서 서양과 동양을 대조하는 저개발의 이미지가 많이 포함되어 있습니다.34 에든버러 선언과 관련하여 개발 아이디어를 홍보하는 데 사용된 많은 장치가 WFME 표준 및 ECFMG 판결에 대해서도 계속 사용되었으며, 여기에는 열악함을 이유로 현상 유지를 문제화하고 판결을 '개선'의 수단으로 투사하는 것이 포함됩니다.58-61
Another feature of the discourse of modernisation is development. The Edinburgh declaration, for example, contains much imagery of underdevelopment, contrasting areas of the world, seemingly West and East, in terms of their civilisation and ‘progress’.34 Many devices used to promote ideas of development in relation to the Edinburgh declaration continued to be used in relation to the WFME standards and ECFMG ruling, including a problematisation of the status quo on the grounds of poor quality and a projection of the ruling as a means of ‘improvement’.58-61

마지막 아이디어 그룹은 조화에 관한 것입니다. 에든버러 선언은 특징적으로 오리엔탈리즘적인 방식으로 현대와 비현대를 이분화합니다.30, 34 이 선언은 '현대'의 추세를 따르지 않는 '다른' 국가들에게 '따라잡기'를 통해 '조화'를 이루어야 한다는 것을 암시적으로 제시하고 있습니다. 조화에 대한 아이디어는 '표준화'62, 63 및 '국제화'와 같은 관련 용어를 사용하여 표현되기도 했습니다.3, 64
A final group of ideas are about harmonisation. The Edinburgh declaration dichotomises the modern and unmodern in a characteristically orientalist way.30, 34 Not only does this ‘other’ countries who are not following ‘modern’ trends, but it implicitly suggests that they must ‘harmonise’ by catching up. Ideas of harmonisation have also been articulated using related terms, including ‘standardisation’62, 63 and ‘internationalisation’.3, 64

저항
Resistance

저항 담론은 이 연구의 초기 기간에만 존재했습니다. 지지 및 현대화와는 달리, 이는 글로벌 규제 정책을 촉진하기보다는 도전한다는 점에서 반대 담론입니다. 이는 억압, 탈취, 반대라는 세 가지 핵심 아이디어를 통해 전개됩니다.
The discourse of resistance was present only in the early time period of this study. Unlike endorsement and modernisation, it is a counter-discourse, in that it challenges, rather than promotes, global regulatory policies. It plays out through three key ideas: oppression, repossession and opposition.

억압에 대한 저항은 에든버러 선언의 엄숙하고 장엄한 언어를 조롱하는 현대의 반응에서 주목할 만합니다:
Resistance to oppression is notable in contemporary responses to the Edinburgh declaration that ridiculed its solemn and grandiose language:

WFME 표준에 대해 '서구적 가치를 조장한다'는 지적과 함께 비슷한 저항이 나타났습니다.6 에딘버러 선언 당시에는 현대의 비 서구권 저자들이 자신들이 앞서 나갔다고 지적하고 글로벌 교류에 대한 자신의 공헌을 주장하면서 소유권에 관한 언어도 등장합니다.67, 68 한편, WFME 표준과 관련된 탈취는 지역 및 전통적 가치와 우선순위를 '고수'하고 표준이 주로 글로벌이 아닌 지역적 의제에 봉사하도록 하는 데 초점을 맞추고 있다.69-71 반대에 대한 언어는 보다 직접적인 형태의 저항을 나타내는데, 예를 들어 에딘버러 선언이 영감이 없고 비효율적이라고 간주하거나65 WFME 표준이 혼란스럽고 사용하기 어렵다고 간주하는 식이다.36
Similar resistance emerged in response to WFME standards, noting that they ‘promote Western values’.6 Language about repossession also features around the time of the Edinburgh declaration, with contemporary non-Western authors noting they had were ahead of the curve and asserting their own contributions to the global exchange.67, 68 Repossession related to the WFME standards, meanwhile, focuses on ‘holding on’ to local and traditional values and priorities and ensuring that standards primarily serve local, and not global, agendas.69-71 Language about opposition represents a more direct form of resistance, for example, by deeming the Edinburgh declaration uninspiring and ineffective65 or the WFME standards as confusing and difficult to use.36

결정적으로, 저항 담론은 드물게 나타났고 반대되는, 때로는 모순되는 진술에 의해 정기적으로 조정되었습니다. 이는 저자들이 우려와 도전을 제기하는 것이 '허용'되기 위해 스스로를 절제했음을 시사합니다. 이는 저항의 핵심 초점이 문화적 지배와 서구 패러다임의 강요에 관한 것이기 때문에 중요합니다. 또한 저항 담론은 시간이 지남에 따라 사라지고 ECFMG 판결과는 전혀 관련이 없습니다.
Crucially, the discourse of resistance appeared only infrequently and regularly moderated by opposing, and sometimes contradictory, statements. This suggests that authors restrained themselves in order to be ‘allowed’ to raise concerns and challenges. This is important as the key focus of resistance is about cultural domination and the imposition of Western paradigms. Additionally, the discourse of resistance fades over time and is completely absent in relation to the ECFMG ruling.

보호
Protection

마지막 두 담론은 연구의 후반부에 등장하는 보호와 통제입니다. 이는 중요한 사건의 변화와 동시에 저항 담론이 사라지는 변화를 나타냅니다. 에든버러 선언과 WFME 표준은 명시적으로 전 세계를 대상으로 한 반면, ECFMG 판결은 단일 국가를 대상으로 합니다.
The final two discourses are protection and control, present in the later period of the study. This represents a discursive shift, as resistance fades away at the time they appear, coinciding with an important change in events. Whereas the Edinburgh declaration and WFME standards were expressly global in scope, the ECFMG ruling links to a single country.

보호 담론은 대중 보호, 학생 보호, 외국 의과대학으로부터의 보호라는 세 가지 핵심 아이디어를 통해 피해를 예방하는 데 필요한 세계화 접근 방식을 정당화하는 역할을 합니다. WFME 기준에 대한 언어, 그리고 더 자주 ECFMG 판결과 관련하여 공공의 안전을 증진하는 역할을 투영하여 '저질' 의과대학 출신 의대생과 의사의 이주를 직간접적으로 연결했습니다.3, 4, 72 이러한 사례에서 이러한 이주는 항상 동양에서 서양으로 이루어지며, 따라서 이주하는 동양 의사들을 '타자화'합니다. 그러나 눈에 띄는 것은 왜 국민들이 외국 의사로부터 보호받아야 하는지에 대한 명확한 주장이나 증거가 제시되지 않았다는 점입니다(예: IMG가 미국 의대 졸업생보다 실적이 더 나쁘다는 증거).
The discourse of protection serves to justify globalising approaches as necessary to prevent harm, playing out through three key ideas:

• protecting the public,
• protecting students and
• protecting against foreign medical schools.

Language about WFME standards, and even more frequently in relation to the ECFMG ruling, projected their roles in promoting public safety, directly and indirectly making a link to the migration of medical students and physicians from ‘low-quality’ medical schools.3, 4, 72 Invariably in these examples, this migration is from East to West, thereby ‘othering’ migrant Eastern doctors. Noticeably, though, there is no clear argument or evidence presented about why the public needs protecting from foreign doctors—for example, evidence showing that IMGs perform worse than US medical graduates.

초기 ECFMG 판결 발표에는 없었지만 나중에 등장한 아이디어는 미국 국민을 보호하는 것뿐만 아니라 의대생도 보호한다는 것입니다. 주로 카리브해에 있는 해외 의과대학에 다니는 미국 시민권자에 초점을 맞추고 있습니다.43 이 담론의 마지막 가닥은 [특정 집단을 위한 보호]가 아니라 [특정 집단으로부터의 보호]를 제공합니다. 여기서 외국 의과대학은 특히 확산과 상업화 때문에 위협적인 것으로 간주됩니다.3, 58 이러한 우려는 특히 ECFMG 판결의 맥락에서 카리브해에 초점을 맞추는 경우가 많습니다:
An idea not present in the initial ECFMG ruling announcement but that emerged later is that as well as protecting the US public, it also protects medical students. The primary focus is US citizens attending offshore medical schools, often in the Caribbean.43 A final strand of this discourse offers protection against, rather than to, a particular group. Here, foreign medical schools are framed as threatening, specifically because of their proliferation and commercialisation.3, 58 Of note, these concerns often focus on the Caribbean, especially in the context of the ECFMG ruling:

통제
Control

통제 담론은 연구 기간 후반에 등장했으며 협업을 통한 통제, 변이 관리로서의 통제, 모니터링을 통한 통제라는 세 가지 가닥으로 구성됩니다. 의과대학 규제에 대한 글로벌 접근법을 추진하는 데 관여한 기관들, 특히 WFME와 ECFMG는 스스로를 협력적이고 전략적이며 목적의식이 있는 기관으로 묘사함으로써 통제에 대한 감각을 드러냈습니다.74 예를 들어, ECFMG 회장은 두 기관이 어떻게 협력했는지 설명합니다: 
The discourse of control also emerged in the latter part of the study period and has three strands:

• control through collaboration,
• control as managing variation and
• control by monitoring.

By depicting themselves as collaborative, strategic and purposeful, the organisations involved in promoting global approaches to medical school regulation, particularly WFME and ECFMG, portrayed a sense of control.74 For example, the ECFMG President describes how the two organisations co-operated:

협업에 중점을 두는 것은 이를 조율되고 합리적인 '결합된' 노력으로 묘사했습니다.
Focusing on collaboration portrayed this as a ‘joined up’ endeavour that is co-ordinated and rational.

두 번째 아이디어는 국가 간 차이가 문제가 된다는 것을 입증하는 변동 관리와 관련된 아이디어였습니다.75, 76 이는 '표준화'77-79라는 개념과 '글로벌 의사'에 대한 이상화되고 단일화된 설명을 통해 이러한 변동이 '관리'되어야 한다는 것을 제안함으로써 의과대학 규제에 대한 글로벌 접근 방식을 추진하는 정당성으로 사용되었습니다.80
A second set of ideas related to managing variation, establishing that differences between countries is problematic.75, 76 This was used as a justification to propel global approaches to medical school regulation by suggesting that this variation needs ‘managing’, through the notion of ‘standardisation’77-79 and an idealised, monolithic description of a ‘global doctor’.80

마지막 아이디어 그룹은 모니터링에 관한 것으로, 글로벌 규제 접근 방식이 전 세계 의과대학을 면밀히 조사하는 데 도움이 될 것이라고 제안했습니다. 모니터링에 대한 개념은 특히 의과대학에 대한 정보가 필요하다는 제안이 있었던 ECFMG 판결에 대해 확고했습니다.12, 81 미국에 대한 의사 '공급'을 프레임으로 하는 등 경제적인 표현이 많았고,82 때로는 더 관리적이고 판결에 대한 '준수'와 관련된 표현이 많았으며,83 비참여에 대한 결과를 암시적으로 시사하기도 했습니다. 
A final group of ideas was about monitoring, suggesting that global regulatory approaches would help to scrutinise medical schools around the world. The notion of monitoring was particularly firm about the ECFMG ruling, where it was suggested that information about medical schools was necessary.12, 81 The language was often economic, including framing a ‘supply’ of doctors to the United States,82 and at other times more managerial and linked to ‘compliance’ with the ruling,83 implicitly suggesting consequences of non-engagement.

이타주의와 민족주의
Altruism and nationalism

이 다섯 가지 담론에서 전반적으로 두 가지 담론의 흐름이 드러납니다.

• 하나는 이타주의이며 궁극적으로 전 세계 의학교육을 현대화하고 개선하기 위한 수단으로 ECFMG 정책을 묘사합니다.
• 두 번째는 국가주의로, 궁극적으로 미국의 의료 표준을 유지하고 미국 국민을 보호하기 위한 수단으로 묘사됩니다.

이 두 가지 입장은 병렬적으로 작용해 왔으며, 중요한 것은 두 가지 입장이 모두 지배적이며, 어느 것이 정책의 '진정한' 동기인지에 대한 궁극적인 명확성이 없다는 것입니다.
Across these five discourses, two overall discursive strands surface. One is of altruism and ultimately portrays the ECFMG policy as a means to modernise and improve medical education worldwide. The second is of nationalism and ultimately portrays it as a means to uphold medical standards in the United States and protect the US public. These strands have operated in parallel, and importantly, both positions are dominant, and there is no ultimate clarity about which is the ‘real’ motivation for the policy.

4 토론
4 DISCUSSION

이 연구는 CDA를 사용하여 전 세계 의과대학 규제의 정책적 우위를 탐구했으며, 특히 WFME 및 ECFMG와 관련이 있습니다. 텍스트 아카이브에는 [이타주의 및 글로벌 의학교육 개선에 대한 이야기]와 [국가주의 및 미국 시민 보호에 대한 이야기]라는 두 가지 담론의 가닥이 지배적입니다. 주목할 점은 이러한 가닥이 평행선을 달리고 있으며, 모순되지는 않지만 각 입장은 ECFMG 판결의 근거에 대해 매우 다른 관점을 나타낸다는 점입니다. 
This study used CDA to explore the policy dominance of global medical school regulation, specifically linked to WFME and ECFMG. Two discursive strands are dominant in the textual archive, one presenting a story of altruism and improving global medical education and the other presenting a story of nationalism and protecting US citizens. Of note, these strands run in parallel, and although they are not contradictory, each of these positions represent very different perspectives about the rationale for the ECFMG ruling.

푸코의 렌즈를 통해 보면, 이러한 각 입장은 서로 다른 청중에게 강력하고 설득력 있는 아이디어를 나타낸다고 주장할 수 있습니다. '내부' 국내 청중에게는 민족주의 담론이, '외부' 해외 청중에게는 이타주의 담론이 더 효과적일 가능성이 높습니다. 다시 말해, 이 두 가지 예측을 결합하면 여러 이해관계자에게 이 판결의 호소력과 권위를 극대화할 수 있습니다. 한 가지 주목할 점은, 민족주의 담론에서 IMG는 미국 의료 시스템에 대한 위협으로 프레임되지만, 연구 결과에 따르면 이들의 임상 결과는 미국 의대 졸업생과 동등하거나 심지어 그보다 더 우수하다는 것입니다. 
Seen through a Foucauldian lens, one might argue that each of these positions represent powerful and persuasive ideas to different audiences. For an ‘internal’ domestic audience, nationalist discourses are likely to be powerful, and for an ‘external’ overseas audience, altruistic discourses are more likely to be effective. In other words, the combination of these two projections maximises the appeal, and therefore the authority, of this ruling to multiple stakeholders. Of note, although IMGs are framed as a threat to the American medical system discursively throughout the nationalist discursive strand, studies have shown that their clinical outcomes are as good as,84 and perhaps even better than,85 US medical graduates.

사이드가 사용한 용어를 빌리자면, 두 담론적 가닥은 모두 오리엔탈리즘으로 개념화할 수 있습니다.

• 이타주의는 서구가 동양을 현대화하고 개선함으로써 동양을 '문명화'하는 수단인 반면,
• 민족주의는 서구가 신뢰할 수 없는 '야만적인' 동양을 두려워하는 것입니다.

이런 의미에서 두 가지 모두 동양을 '타자화'하고 서양과 전반적으로 대조하는 역할을 합니다. 이 연구의 목적은 이러한 정책의 이유가 무엇인지에 대한 절대적인 '진실'을 찾는 것이 아닙니다. 오히려 이 정책을 둘러싼 담론에서 가정과 정당성을 밝히는 과정에서 언어가 권력 관계를 변화시키고, 결정을 정당화하며, 궁극적으로 의과대학 규제 세계화 정책을 정당화하는 데 어떻게 사용되었는지에 주목합니다.
In Saidian terms, both discursive strands can be conceptualised as orientalist. Whereas altruism is a means of the West ‘civilising’ the East by modernising and improving it, nationalism is the West fearing a ‘barbaric’ East that cannot be trusted. In this sense, both serve to ‘other’ the East and contrast it with the West overall. The purpose of this study was not to find an absolute ‘truth’ about what the reason for this policy was. Rather, in uncovering assumptions and justifications in the discourses surrounding it, it draws attention to how language has been used to shift power relations, justify decisions and ultimately legitimise the policy to globalise medical school regulation.

WFME와 ECFMG의 근본적인 차이점은 전자는 범위가 전 세계인 반면, 후자는 국가 단위라는 점입니다. 따라서 이 둘의 결합은 이례적입니다. ECFMG의 경우, WFME와의 연합은 두 담론 패턴 모두에 부합합니다. 봉사 활동에 초점을 맞추면서 이타주의를 지지하고, 미국의 필요에 부응할 수 있는 신뢰할 수 있는 외부 기관을 제시함으로써 국가주의를 지지합니다. 반면 WFME의 이점은 명확하지 않습니다. ECFMG의 판결이 발표되기 몇 년 전부터 WFME는 이미 '인증기관을 인증'하는 프로그램에 대한 아이디어를 제기해왔으며,3,58 따라서 인증 프로그램에 대한 아이디어는 이미 야심찬 계획이었습니다. 하지만 실현되지는 못했습니다. ECFMG 판결은 참여를 강제할 수 있는 기회를 제공했습니다. 실제로 WFME 인정 프로그램은 ECFMG 발표 이후 빠르게 발전했으며 그 이후로 확대되었습니다. 푸코의 렌즈를 통해 이러한 사건을 분석해 보면, WFME가 정책적 야망을 실현하기 위해 ECFMG와 협력하는 권력 관계의 변화를 확인할 수 있습니다. 
The fundamental difference between WFME and ECFMG is that whereas the former is global in scope, the latter is national. Their union is therefore unusual. For ECFMG, the association with WFME fits with both discursive patterns. It supports altruism by projecting an outreach focus and supports nationalism by presenting a dependable external authority who can serve US needs. The benefits for WFME, meanwhile, are less clear. In the years prior to the ECFMG ruling announcement, WFME had already raised the idea of a programme that would ‘accredit the accreditors’,3, 58 and so, the idea for the recognition programme was already an ambition. It had not, though, come to fruition. What the ECFMG ruling provided was an opportunity to compel engagement. Indeed, the WFME recognition programme quickly developed after the ECFMG announcement and has escalated since. Analysing these events through a Foucauldian lens, one can see a shift in power relations whereby WFME positioned itself in alignment with ECFMG to realise a policy ambition.

이 연구에서 분명한 것은 최근 몇 년 동안 ECFMG와 WFME의 연계가 강화되었다는 것입니다. 이것이 조직으로서 WFME에 미치는 영향은 ECFMG 판결의 어떤 프레임을 고려하느냐에 따라 달라집니다. 

• 이타주의에 기반한 정책으로서 WFME는 개혁, 개선 및 현대화의 조직으로 부상합니다. 그러나
• 민족주의에 기반한 정책으로서 WFME는 덜 빛나는 빛으로 등장하며, 이는 명시된 조직 사명을 고려할 때 조정하기 어려운 입장입니다. 

ECFMG의 판결로 WFME는 원하는 인정 프로그램을 개발할 수 있었지만, 자체 신뢰도 측면에서 어떤 대가를 지불했는지는 불분명합니다. 이러한 관계의 맥락에서 특히 주목할 만한 것은 담론의 부재입니다. 2010년 이전과 ECFMG와의 관계에 있어서는 저항 담론이 가장 강했고, 세계화와 세계금융위기 정책의 의도하지 않은 결과에 대한 건설적인 토론과 대화가 있었습니다. 또한 초기에는 보호와 통제라는 담론이 존재하지 않았습니다. 그러나 2010년 이후 저항의 목소리는 침묵하는 듯 보였고 민족주의 담론이 등장했습니다. 이러한 부재는 시간이 지남에 따라 사고의 폭이 넓어지기보다는 오히려 좁아졌을 수 있음을 우려스럽게도 시사합니다.
What is clear from this research is the link between ECFMG and WFME has strengthened in recent years. The implications of this for WFME as an organisation depend on which framing of the ECFMG ruling one considers.

• As a policy motivated by altruism, WFME emerges as an organisation of reform, improvement and modernisation.
• As a policy motivated by nationalism though, WFME emerges in less glowing light, a position difficult to reconcile given its stated organisational mission.

Although the ECFMG ruling allowed WFME to develop the recognition programme it wanted, it is unclear what cost it paid for this in terms of its own credibility. In the context of this relationship, the absence of discourses is particularly noteworthy. In the period prior to 2010 and its association with ECFMG, the discourse of resistance was strongest, and there was constructive debate and dialogue about unintended consequences of globalisation and WFME policies. Moreover, in this early period, the discourses of protection and control were not present. However, following 2010, voices of resistance were seemingly silenced, and the nationalist discursive strand emerged. These absences suggest, worryingly, that thinking may have narrowed rather than broadened over time.

강점과 한계
Strengths and limitations

CDA의 사용은 언어, 지식, 사회적 상호작용 사이의 연관성을 심도 있게 탐구할 수 있게 해 주었습니다. 각 담론적 입장은 특정 사고 방식에 특권을 부여하고 다른 사고 방식을 소외시켰습니다. 푸코와 사이드의 이론을 바탕으로 의과대학 규제에 대한 글로벌 접근 방식이 어떻게 구성되었는지, 그리고 이러한 개념이 다른 입장을 어떻게 제한했는지를 밝혀내는 데 도움이 되었습니다. 모든 담론은 종종 예상치 못한 방식으로 사고와 실천을 형성하며, 이 연구는 겉으로 보기에 자비롭고 개혁적인 관행으로 인한 잠재적 해악을 강조합니다. 사이드의 이론, 특히 대위법적 방법은 의학교육에 사용된 적이 없으며, 이 연구는 세계화의 영향을 조사하는 데 유용하다는 것을 확인시켜 줍니다. 
The use of CDA has enabled an in-depth exploration of connections between language, knowledge and social interactions. Each discursive position has privileged certain ways of thinking and marginalised others. Drawing on both Foucault and Said has helped to uncover some ways that global approaches to medical school regulation have been framed and how these conceptions have limited other positions. All discourses shape thinking and practice, often in unanticipated ways, and this study highlights potential harms from apparently benevolent and reformative practices. The use of Saidian theory, and particularly the contrapuntal method, has not been used in medical education and this study confirms its utility in examining impacts of globalisation.

이 연구에는 몇 가지 한계가 있습니다. 첫째, 철저한 데이터베이스 검색과 스노우볼링 방법에도 불구하고 누락된 문서가 있을 수 있습니다. 결정적으로, 영어로 표현할 수 없는 의견도 많을 수 있기 때문에 영어 문서로 제한한 것은 이 연구를 크게 제한합니다. 특히, 이 데이터 세트에서는 대조법이 여전히 효과적이긴 했지만, 이는 대조법을 제약하는 요소입니다. 또 다른 한계는 문서 분석만을 사용한다는 점입니다. 구술 기록은 기억에 크게 의존하기 때문에 결함이 있고 과장되기 쉽다는 점을 인정하지만,86 그럼에도 불구하고 최근 수십 년 동안 ECFMG 및 WFME에 종사한 사람들을 인터뷰한 결과 몇 가지 추가 통찰력이 있을 수 있습니다. 
There are several limitations to this research. Firstly, despite exhaustive database searching and snowballing methods, it is possible that documents were missed. Crucially, the limitation to English language documents significantly limits this research, as many opinions may not be ‘possible’ to express in English. In particular, this constricts the contrapuntal method, although it was nonetheless still effective with this dataset. A further limitation is the exclusive use of document analysis. Although it is recognised that oral histories rely heavily on memory, which can be flawed and prone to exaggeration,86 there may nonetheless have been some additional insights from interviewing those engaged with ECFMG and WFME in recent decades.

의학교육에 대한 시사점
Implications for medical education

이 연구는 의학교육 과학 및 실무의 질과 규제에 대한 아이디어가 항상 경험적 증거에 근거한 것은 아니라는 점을 시사하며, [상당한 권력과 영향력을 가진 글로벌 조직이 제정하는 정책]에 대한 신중한 조사의 중요성을 강조합니다. 사이드는 정통과 도그마에 도전하는 것의 중요성을 강조하고 '당황스러운 질문'을 제기할 것을 장려했습니다.87 그는 특히 잊혀져가는 사람들과 대의를 위해 싸우는 것이 중요하다고 생각했습니다. 이 연구는 글로벌 조직인 WFME가 ECFMG와 '특별한 관계'를 가져야 한다는 가정에 의문을 제기함으로써, 왜 이러한 입장이 특정 역사적 순간에 생겨났는지 그 이전과 이후 담론을 통해 설명하려고 시도합니다. 이를 위해 가장 눈에 띄는 방법은 WFME와 같은 의학교육을 위한 글로벌 조직이 가상적으로 어떤 모습일지 상상해보는 것입니다. 예를 들어, 이 단체는 세계에서 가장 소외되고 취약하며 억압받는 국가 및 의과대학과 적극적으로 연계할 수 있습니다. 오리엔탈리즘이나 다른 방식으로 억압적인 것으로 간주될 수 있는 모든 정책이나 관행과 거리를 둘 수 있습니다. 다른 국가 및 국제 '규범'과 의도적으로 다른 커리큘럼, 교육 및 평가 방법, 실제로 규제 시스템을 만드는 데 있어 트렌드를 거스르고 대담하고 야심차게 의과대학의 사회적 책임과 지역적 맥락을 옹호하는 전 세계의 사례를 조명하고 소개하면서 차이를 적극적으로 기념하고자 노력할 수 있습니다. 이러한 조직에 대한 가상의 비전은 '가능성'이라는 렌즈를 통해 현재의 글로벌 조직을 살펴볼 수 있는 수단을 제공합니다. 
This study suggests that ideas about quality and regulation in medical education science and practice are not always based on empirical evidence and emphasises the importance of careful interrogation of policies enacted by global organisations with significant power and influence. Said emphasised the importance of challenging orthodoxy and dogma and encouraged the raising of ‘embarrassing questions’.87 He considered it particularly important to fight for people and causes that are perennially forgotten. By questioning the assumptions that WFME, a global organisation, should have a ‘special relationship’ with ECFMG, this study attempts to explain why this position may have arisen in a particular historic moment through the discourses that preceded and enabled it. Perhaps the most striking way to do this is to imagine what a global organisation for medical education, like WFME, could hypothetically look like. It could, for example, proactively associate itself with the most marginalised, vulnerable and repressed countries and medical schools in the world. It could distance itself from any policies or practices that could be considered orientalist or in any other way oppressive. It could actively seek to celebrate differences, foregrounding and showcasing examples from around the world where countries have bucked trends and been bold and ambitious in creating curricula, teaching and assessment methods and indeed regulatory systems, which are purposively different from other countries and international ‘norms’, championing the social accountability and local contexts of medical schools. This hypothetical vision of such an organisation provides a means to examine current global organisations through a lens of ‘possibility’.

Altruism or nationalism? Exploring global discourses of medical school regulation

PMID: 35365925

PMCID: PMC10084281

DOI: 10.1111/medu.14804

Free PMC article

© 2022 The Author. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

의학교육의 문턱개념: 스코핑 리뷰(Med Educ, 2022)
Threshold concepts in medical education: A scoping review
Helen Jones | Lucy Hammond

1 배경
1 BACKGROUND

문턱 개념(TC)은 20031년에 처음 설명되었으며, '이전에는 접근할 수 없었던 새로운 사고 방식을 열어주는 포털과 비슷하다'고 묘사됩니다.1(p1) 따라서 TC를 파악하면 학습자의 주제 또는 학문에 대한 이해와 인식이 변화하여 학습이 진전될 수 있습니다.1 마이어와 랜드(2003)는 열전달을 예로 들었는데, 온도 구배에 따라 무언가가 식는 속도가 결정된다는 것을 이해하면 요리에 대해 생각하는 방식이 달라지고 그 과정을 가장 잘 돕기 위해 사용하는 냄비가 달라질 수 있습니다.1 임계치 개념 프레임워크(TCF)가 발전하면서 학생들이 다양한 정도로 경험할 수 있는 몇 가지 가능한 특징이 제안되었습니다. 이러한 특성은 표 1에 설명되어 있습니다.  
Threshold concepts (TCs) were first described in 20031 and are depicted as ‘akin to a portal opening up a new and previously inaccessible way of thinking about something’.1(p1) Grasping a TC therefore enables transformation of the learner's understanding and perception of a subject or discipline which allows them to progress.1 Meyer and Land (2003) used heat transfer as an example: understanding that the temperature gradient determines the rate at which something cools, which transforms how someone thinks about cooking and may change what pots they use to best aid the process.1 As the threshold concept framework (TCF) has developed, several possible characteristics have been proposed, which students may experience to varying degrees. These are described in Table 1.

따라서 TC는 지식의 기본 구성 요소 그 이상을 나타냅니다. 여기에는 학습자가 새로운 이해와 씨름하는 동안 한계 공간을 점유하는 숙달을 향한 여정이 포함됩니다.2, 3, 5 이러한 투쟁은 모방으로 나타날 수 있으며, 학습자는 이 공간을 성공적으로 탐색하기 위해 지원이 필요할 수 있습니다.2, 5 문턱을 넘으면 '앎, 수행, 존재, 미래 학습 가능성'에 변화가 생깁니다.6(263쪽) 이는 인식론적 또는 존재론적 전환을 의미하며,7 학생들이 학문의 특정 방식으로 사고할 수 있게 하고, 학문의 일부가 될 때 학습자의 정체성1-4 의 변화와 관련이 있습니다.6 
TCs, therefore, represent more than basic building blocks of knowledge. They involve a journey towards mastery in which the learner occupies a liminal space while they grapple with new understandings.2, 3, 5 This struggle can present as mimicry and the learner may need support to successfully navigate this space.2, 5 Crossing a threshold subsequently leads to a change in ‘knowing, doing, being, and future learning possibilities’.6(p263) This represents a transformative epistemological or ontological shift,7 enabling students to think in a discipline specific way, and is associated with a transfiguration of the learner's identity1-4 as they become part of the discipline.6

따라서 TC는 보건 전문직 교육에서 사고와 실천 방식을 탐구하는 데 활용되어 왔습니다.6, 8 이러한 맥락에서 TCF는 커리큘럼이 학생들이 실제 실무에 가장 잘 대비할 수 있게 하고, 전문직 정체성 형성을 방해하는 문제를 해결할 수 있는 방법을 탐색하는 렌즈를 제공합니다.8, 9 또한 학생들이 단절된 학습 경험을 통합하는 데 도움이 되고9 교육자가 주제 영역5, 9에 대한 이해를 높이는 중요한 개념에 집중할 수 있어 내용이 많은 의료 교과 과정에서 유용한 도구로 활용될 수 있습니다. 그러나 브라운 등은 TCF가 하나의 지식 체계를 암시하고 정체성에 대한 인지적 개념에 초점을 맞춘다는 점에서 [구성주의 패러다임과 상충]되는 것처럼 보이기 때문에, 보건 전문직 커리큘럼에서 TCF의 적합성에 이의를 제기했습니다.10 그들은 TC를 커리큘럼을 구성하는 데 사용해서는 안 되며 학생과 교육자 간의 토론을 돕기 위한 성찰적 자극으로 사용해야 한다고 주장합니다.10
TCs have therefore been utilised in health professions education to explore ways of thinking and practising.6, 8 In this context, the TCF provides a lens for exploring how curricula can best prepare students for real-world practice and address issues which hinder professional identity formation.8, 9 In addition, it could aid students in integrating disjointed learning experiences9 and help educators focus on crucial concepts that open up greater understanding of the subject area5, 9—a useful tool in content-heavy medical curricula. However, Brown et al. have challenged the suitability of the TCF in health professions curricula as it appears at odds with a constructivist paradigm by implying one body of knowledge and focusing on cognitive conceptions of identity.10 They argue TCs should not be used to structure curricular and instead as a reflective prompt to aid discussions between students and educators.10

지난 10년 동안 의학교육에서 TC에 대한 관심이 증가하고 있습니다. 2017년에 보건 과학 TC 문헌에 대한 질적 종합이 수행되었지만,8 우리가 아는 한 의학교육에서 TC만을 주제로 한 체계적 또는 포괄적 검토는 수행되지 않았습니다. 서로 상충되는 관점을 고려할 때, 문헌을 탐색하는 것은 현재 논의의 본질을 확립하는 데 필수적입니다. 또한 증거 기반 교육 실습 및 커리큘럼 설계를 안내하는 중요한 통찰력을 제공할 수 있습니다. 따라서 이 연구의 목적은 의학교육 연속체(학부, 대학원 및 평생 의학교육) 전반에 걸쳐 TC에 관한 현재 연구를 탐색하고 설명하며, 의학교육의 실무에 정보를 제공하기 위해 TC가 어떻게 사용되고 있는지 고려하고, 연구 격차를 식별하는 것입니다. 근거의 새롭고 이질적인 특성을 감안하여 현재 문헌의 범위를 매핑하기 위해 범위 검토를 선택했습니다.11 
There has been a growing interest in TCs in medical education in the last decade. While a qualitative synthesis of the health sciences TC literature was conducted in 2017,8 to the best of our knowledge, no systematic or scoping reviews have been conducted on the topic of TCs in medical education exclusively. Given the competing viewpoints, exploration of the literature is essential to establish the nature of the current discussion. It could also provide important insights to guide evidence-based teaching practice and curriculum design. Therefore, the aim of this study is to explore and describe the current research regarding TCs across the medical education continuum (undergraduate, postgraduate and continuing medical education), consider how TCs are being used to inform practice in medical education, and to identify research gaps. Given the emerging and heterogeneous nature of the evidence, a scoping review was selected to map the extent of the current literature.11

2 방법
2 METHODS

본 문헌고찰은 근거 종합을 위한 JBI 매뉴얼12 에 제시된 프레임워크를 따랐으며, 체계적 문헌고찰 및 범위선정 문헌고찰을 위한 메타분석 확장(PRISMA-ScR)에 대한 우선 보고 항목을 준수했습니다.13 PRISMA-ScR 체크리스트는 부록 S1 에서 확인할 수 있습니다. 연구 질문, 연구 선정 기준 및 방법은 프로토콜에 게시되었습니다.14 
The review followed the framework presented in the JBI Manual for Evidence Synthesis12 and adhered to Preferred Reporting Items for Systematic reviews and Meta-Analyses extension for Scoping Reviews (PRISMA-ScR).13 The PRISMA-ScR checklist can be found in Appendix S1. The research questions, study selection criteria and methods were published in a protocol.14

검색 전략
Search strategy

2021년 7월 29일에 Medline(Ovid), Embase(Ovid), Scopus(Elsevier), Education Research Complete(EBSCO)를 검색했습니다. 프로토콜에 제시된 검색 전략에 약간의 변경이 있었습니다: 원래 전략의 8번째 줄은 너무 광범위하여 삭제되었고, '제한적'과 '변형적'은 용어의 반복을 포착하기 위해 잘라냈습니다. 검색은 TCF가 처음 설명된 2003년 이후 발표된 논문1과 영어로 된 논문으로 제한되었습니다. Medline 검색 전략은 표 S1에 나와 있습니다. 
Medline (Ovid), Embase (Ovid), Scopus (Elsevier) and Education Research Complete (EBSCO) were searched on 29 July 2021. Minor changes were made to the search strategy presented in the protocol: Line 8 of the of the original strategy was removed as it was too broad, and ‘liminal’ and ‘transformative’ were truncated to capture iterations of the terms. The search was limited to papers published since 2003, when the TCF was first described,1 and to papers in the English language. The Medline search strategy is shown in Table S1.

2003년부터 2018년까지의 다양한 출판물이 수록된 온라인 Threshold Concepts Bibliography에서 추가 논문을 확인했습니다.15 출판 후 동료 검토 프로세스를 갖춘 오픈 액세스 플랫폼인 MedEdPublish를 수작업으로 검색하여16 회색 문헌을 식별했습니다. 전체 텍스트 검토를 위해 포함된 논문의 참조 목록도 수작업으로 검색했습니다. 
Additional papers were identified from the online Threshold Concepts Bibliography which lists a range of publications from 2003 to 2018.15 Hand-searching of MedEdPublish, an open access platform with a post-publication peer review process,16 was undertaken to identify grey literature. The reference lists of the articles included for full text review were also hand-searched.

논문 선별
Screening articles

식별된 논문의 참고문헌은 Covidence에 업로드되었습니다.17 중복 제거 후, 저자 HJ와 LH는 연구 선택 기준에 따라 제목과 초록을 독립적으로 선별했습니다. 포괄적인 접근 방식을 취했으며, 전문에서 관련 데이터를 추출할 수 있는지 확인하기 위해 의료 전문가를 언급하는 초록을 포함했습니다. 그런 다음 선정된 논문의 전문을 포함 및 제외 기준에 따라 독립적으로 검토하여 최종적으로 논문을 선정했습니다. 심사 과정의 시작, 중간, 마지막에 회의를 열어 연구 포함 여부에 대한 이견이 있을 경우 토론을 통해 해결했습니다.  
The references for the identified papers were uploaded to Covidence.17 Following de-duplication, authors HJ and LH independently screened the title and abstracts against the study selection criteria. An inclusive approach was taken, and abstracts that referenced health professions were included to establish whether relevant data could be extracted from the full text. Full texts of the selected articles were then reviewed against the inclusion and exclusion criteria independently, to obtain a final selection of papers. We met at the beginning, midpoint and end of the screening process and resolved any disagreements about study inclusion via discussion.

연구 선정 기준
Study selection criteria

포함 및 제외 기준은 인구, 개념, 맥락(PCC) 형식12을 사용하여 개발되었습니다(표 2). 현재 사고에 대한 전체적인 그림을 얻기 위해 모든 유형의 출판물을 포함했습니다. 논문이 첨부되지 않은 초록은 제외되었습니다. 차트 작성과 분석을 돕기 위해 보건 전문직 교육 맥락에서 Barradell과 Peseta가 개발한 분류법8을 포함 기준에 통합했습니다.
The inclusion and exclusion criteria were developed using the population, concept, context (PCC) format12 (Table 2). To ensure that a thorough picture of current thinking was obtained, all types of publications were included. Abstracts without an accompanying paper were excluded. A taxonomy developed by Barradell and Peseta in the context of health professions education8 was incorporated into the inclusion criteria to aid charting and analysis.

데이터 차트 작성
Data charting

프로토콜을 발표하기 전에 데이터 차트 양식을 개발하여 시범적으로 사용했습니다.14 이 양식은 분류체계 및 연구 결과와의 관계를 포함하여 검토 질문과 관련된 주요 세부 사항을 캡처하는 것을 목표로 했습니다.8 HJ가 포함된 연구에 대한 데이터를 차트로 작성하고 LH가 그 정확성을 검증했습니다. 이견이 있는 부분은 토론을 통해 해결했습니다. 일부 저자가 임계 기술 및 직업 임계값과 같은 다른 용어를 사용한다는 것이 분명해졌고, 데이터 손실을 방지하기 위해 이러한 논문에도 비슷한 방식으로 분류법을 적용하기로 결정했습니다. 
A data charting form was developed and piloted prior to publication of the protocol.14 The form aimed to capture key details relevant to the review questions,12 including the relationship to the taxonomy and our findings.8 HJ charted the data for the included studies, and LH verified it for accuracy. Any disagreements were resolved by discussion. It became apparent that some authors used different terminology, such as threshold skills and vocational thresholds, and the decision was made to apply the taxonomy to these papers in a comparable way to ensure no data loss.

분석
Analysis

설명적 정량 분석을 사용하여 논문의 맥락과 접근 방식에 대한 주요 세부 사항을 조사하고, 문헌의 범위를 수치로 표현하고, 질적 종합을 위한 맥락을 제공했습니다. 
We used a descriptive quantitative analysis to examine key details about the context and approach of the papers, to present a numerical representation of the extent of the literature and to provide context for the qualitative synthesis.

질적 분석은 귀납적 접근 방식을 따랐으며 추출된 데이터에서 코드를 개발했습니다. 코딩은 반복적인 과정이었으며 새로운 발견이 나오면 논문을 다시 분석하는 과정을 거쳤습니다. 이후 데이비스와 망간이 경제학 연구에서 개발한 개념 변화 프레임워크 내에서 주제를 식별하기 위해 유사한 코드를 그룹화했습니다.18 바라델과 페세타는 이 프레임워크가 물리치료 교육에서 전문적인 사고 및 실무 개발과 관련된 TC에 적용 가능하다고 설명했습니다6: 
Qualitative analysis followed an inductive approach and codes were developed from the extracted data. The coding was an iterative process and involved reanalysing the papers as new findings emerged. We subsequently grouped similar codes to identify themes within a framework of conceptual change, developed by Davies and Mangan in their work in economics.18 Barradell and Peseta described the applicability of this framework to TCs associated with the development of professional thinking and practice in physiotherapy education6:

• 기본 개념 변화는 해당 분야 내에서 지식의 의미와 언어와 관련하여 지식을 개혁하는 것을 포함합니다.18 의학교육에서는 기본 과학 및 의학 지식이 여기에 포함됩니다.
  
• 학문 분야 개념 변화는 학습자가 습득한 지식을 사용하고 개념 간의 관계를 이해하는 것을 포함합니다.18 이는 의학 분야의 사고 방식에 비유할 수 있습니다.6
  
• 모델링 개념 변화는 해당 분야에 뿌리를 둔 추론과 논증 구성을 포함합니다.18 이는 의사로서의 진료 방식과 유사합니다.6

질적 분석은 주관적 인식론에 뿌리를 두고 있으며 저자의 해석에 기반한 증거의 종합을 나타냅니다.19 범위 검토 접근법에 따라 포함된 논문의 질 또는 편향 위험에 대한 공식적인 검토는 수행되지 않았습니다.20 그러나 데이터 차트 작성 시 비판적 렌즈를 적용하고 포함된 연구의 실험적 엄격성을 고려했습니다. 이는 부록 S2의 '우리의 연구 결과'에 통합되어 있으며, 논의의 초점과 후속 권고에 영향을 미쳤습니다. 
The qualitative analysis was rooted in subjective epistemology and represents a synthesis of the evidence based on author interpretation.19 Consistent with a scoping review approach, a formal review of the quality or risk of bias of the included papers was not undertaken.20 However, a critical lens was applied during data charting, and we considered the experimental rigour of the included studies. This is incorporated under ‘Our findings’ in Appendix S2 and informed the focus of discussion and subsequent recommendations.

3 결과
3 RESULTS

포함된 연구 요약
Summary of included studies

2012년부터 2021년 사이에 발표된 36편의 논문이 최종 분석에 포함되었습니다(그림 1은 PRISMA 흐름도 참조). 대부분의 논문은 영국(n = 15 21-35), 북미(n = 11 36-46) 및 오세아니아(n = 7 47-53)에서 작성되었습니다. 일부 논문은 외과(n = 521, 23, 47, 41, 54), 의학 생리학 및 의생명과학(n = 451, 55, 42, 43), 노인의학 및 치매 치료(n = 326, 27, 29) 등 특정 의료 전문 분야 및 주제에 초점을 맞췄습니다, 정신과(n = 224, 35), 일반 진료(n = 250, 34), 군의학(n = 236, 37), 마취과,46 내과,39 신경과,40 소아과,38 완화 치료,48 인구 보건,28 류마티스학52 및 이식 과학. 30 다양한 유형의 논문이 확인되었으며(표 3), 그 중 대부분은 질적 연구였습니다. 논문에 대한 자세한 요약은 부록 S2에 포함되어 있습니다. 
Thirty-six papers published between 2012 and 2021 were included in the final analysis (see Figure 1 for PRISMA flow diagram). Most papers originated in the United Kingdom (n = 1521-35), North America (n = 1136-46) and Australasia (n = 747-53). Some papers focused on particular medical specialities and subject areas, including surgery (n = 521, 23, 47, 41, 54), medical physiology and biomedical science (n = 451, 55, 42, 43), geriatric medicine and dementia care (n = 326, 27, 29), psychiatry (n = 224, 35), general practice (n = 250, 34), military medicine (n = 236, 37), anaesthetics,46 internal medicine,39 neurology,40 paediatrics,38 palliative care,48 population health,28 rheumatology52 and transplant science.30 A wide range of article types were identified (Table 3), the majority of which were qualitative research studies. A detailed summary of the papers is included in the Appendix S2.

확인된 TC
TCs identified

의학교육에서 TCF를 가장 빈번하게 적용한 분야는 TC를 식별하는 것이었습니다. 10편의 논문은 학부 의학교육에서 TC를 식별하는 데 중점을 두었습니다.22, 24, 25, 36-38, 49, 28, 42, 53 주니어 대학원 의학교육(인턴, 전공의 또는 핵심 수련의의 다양한 의료 시스템에서의 역할 포함) 또는 시니어 대학원 의학교육(시니어 레지던트, 전문의 수련의, 레지던트 또는 펠로우)에서 TC를 조사한 논문이 4편, 21, 23, 26, 48 학부 및 주니어 대학원 의학교육을 모두 조사한 논문 1편,39 선임 임상의가 참여하는 계속 의학 교육에 중점을 둔 논문 1편이 있었습니다.47 
The most frequent application of the TCF in medical education was in the identification of TCs. Ten papers focused on identifying TCs in undergraduate medical education.22, 24, 25, 36-38, 49, 28, 42, 53 Four papers examined TCs in junior postgraduate medical education (encompassing the roles in different health care systems of interns, foundation year doctors or core trainees) or senior postgraduate medical education (senior residents, specialist trainees, registrars or fellows).21, 23, 26, 48 One paper looked at both undergraduate and junior postgraduate medical education,39 and one paper focused on continuing medical education involving senior clinicians.47

일차 연구자들은 인터뷰,21, 23, 24, 26, 39, 40, 47, 49 포커스 그룹 및 토론,25, 48, 28, 42 서면 반성문,36-38 오디오 일기 녹음22, 25 및 설문지를 포함한 다양한 데이터 수집 방법을 사용하여 잠재적 TC를 식별했습니다.26, 28 관심 집단,21, 22, 36-38, 47-49, 42 교육자 또는 전문가40, 28 또는 학습자와 트레이너 모두로부터 데이터를 수집하여 가능한 TC를 중심으로 삼각 측량을했습니다.23-26, 39 
A variety of data collection methods were used by the primary researchers to identify potential TCs including interviews,21, 23, 24, 26, 39, 40, 47, 49 focus groups and discussion,25, 48, 28, 42 written reflections,36-38 audio-diary recordings22, 25 and questionnaires.26, 28 Data were gathered from the population of interest,21, 22, 36-38, 47-49, 42 educators or experts40, 28 or from both learners and trainers to triangulate the data around possible TCs.23-26, 39

기본 개념 변화
Basic conceptual change

이 분야의 TC를 조사하기 위해 경험적 방법을 사용한 논문은 2편에 불과합니다.40, 42 2차 전달자 시스템, 압력 구배, 예압 및 후압, 세포막 전위 및 극성 등 생리학 및 생의학 과학과 관련하여 잠재적 TC가 확인되었습니다.40, 42 환기-관류(V/Q) 불일치46 및 3D 구조의 2D 표현인 X-선32 은 전문적인 경험을 바탕으로 TC로 제안되었습니다. 이러한 유형의 TC에 대한 평가는 다른 어려운 개념의 후속 숙달과 술기 개발에 도움이 될 수 있기 때문에 근본적으로 중요합니다.40 
Only two papers used empirical methods to examine TCs in this area.40, 42 Potential TCs were identified in relation to physiology and biomedical science, including secondary messenger systems, pressure gradients, preload and afterload, cell membrane potential and polarity.40, 42 Ventilation-perfusion (V/Q) mismatch46 and an X-ray being a 2D representation of a 3D structure32 were proposed as TCs based on professional experience. Evaluation of this type of TC is of fundamental importance because grasping them may help in the subsequent mastery of other difficult concepts and development of skills.40

사고 방식(훈련 개념 변화)
Ways of thinking (discipline conceptual change)

불확실성, 환자 치료, 의사의 역할 및 전문가 정체성 개발이라는 세 가지 주제가 학문 내 사고 방식과 관련하여 나타났습니다. 
Three themes emerged relating to ways of thinking within a discipline:

• uncertainty,
• care of patients and
• the doctor's role and development of professional identity.

불확실성이 의학의 본질적인 부분이라는 인식이 여러 논문에서 나타났습니다.22, 25, 38, 39, 28 의학은 흑백이 아니라는 인식과 밀접한 관련이 있습니다.22, 38 이러한 문턱을 넘으면서 환자 진단과 관리에 '단 하나의 해결책'25(p100)이 없다는 것을 이해하게 되었습니다. 그러나 처음에는 모호함으로 어려움을 겪던 학생들은 '여러 가지 가능성을 동시에 머릿속에 담아두는 것에 익숙해졌습니다'37(p7) 의료 현장의 현실은 교과서 그림보다 더 복잡하고 배움은 평생 지속되며 모든 것을 다 알 필요는 없다는 것을 인식하게 되었습니다.25, 38 
Recognising that uncertainty is an inherent part of medicine emerged in several papers.22, 25, 38, 39, 28 Closely related was the realisation that medicine is not black and white.22, 38 Crossing these thresholds led to an understanding that there was ‘no single solution’25(p100) in the diagnosis and management of patients. After initially struggling with ambiguity, however, ‘students became comfortable with holding multiple possibilities simultaneously in their heads’.37(p7) They recognised that the reality of medical practice is more complex than the textbook picture and that learning is lifelong and it is not necessary to know everything.25, 38

TC로서의 사람 중심 진료는 환자를 전체적으로 보는 맥락에서26, 39 설명되었으며, '의술에는 생의학 과학의 임상적 적용보다 더 많은 것이 있다'고 했습니다.25(p98) 이는 학생들이 건강을 보는 방식에 변화를 가져왔습니다.25 환자의 관점과 목표를 탐구하는 것의 중요성을 인식하는 것 또한 환자 중심주의의 필수적인 특징으로 지적되었습니다.39 또한 다학제 팀에서 의사의 역할26 과 다른 의료 전문가와의 협력의 중요성39 은 효과적인 치료를 제공하는 데 핵심적인 것으로 여겨졌으며 수련의들이 팀에서 다른 사람들의 역할을 바라보는 방식을 변화시켰습니다.
Person-centred care as a TC was described in context of seeing the patient as a whole26, 39 and that there was ‘more to the practice of medicine than just the clinical application of biomedical science’.25(p98) This led to a transformation in how students saw health.25 Recognising the importance of exploring patients' perspectives and goals was also noted to be an essential feature of patient-centredness.39 In addition, the doctor's role in the multidisciplinary team26 and the importance of collaboration with other health professionals39 was seen as key in providing effective care and transformed how trainees viewed the role of others in the team.

전문직 정체성의 발달은 검토에 참여한 여러 TC의 공통된 특징이었습니다.25, 36-39, 47, 28 '나는 치료자다'37(p16) 라는 깨달음과 수련생들이 진입하고 있는 직업 문화에 대한 인식이 있었습니다.25 이러한 변화는 다른 사람의 건강에 대한 책임을 인식하면서 학생들의 개인 정체성25 에 불편함과 도전이 되었습니다.37 군의학의 맥락에서 독특한 전문직 정체성이 형성되었습니다.36, 37 그러나 의사가 수행하는 더 넓은 역할25, 39 과 그들의 책임은 개별 환자를 넘어 확장된다는 인식도 있었습니다.28
The development of professional identity was common feature of several TCs in the review.25, 36-39, 47, 28 There was a realisation that ‘I am a healer’37(p16) and an awareness of the professional culture students were entering into.25 This transformation was uncomfortable and challenged students' personal identity25 as they recognised their responsibility for others' health.37 The formation of a unique professional identity was noted in the context of military medicine.36, 37 However, there was also a recognition of the multiple wider roles that doctors play25, 39 and that their responsibility extends beyond the individual patient.28

진료 방식(개념 변화 모델링)
Ways of practising (modelling conceptual change)

실무 기술 개발, 임상적 판단 및 의사 결정, 불확실성 용인, 환자 중심주의 확립, 전인적 치료 제공 등 네 가지 주제가 진료 방식과 관련하여 등장했습니다.
Four themes emerged relating to ways of practising:

• development of practical skills,
• clinical judgement and decision making,
• tolerance of uncertainty and
• enactment of patient-centredness and the provision of holistic care.

임상의로서 실습하려면 고유한 실무 기술을 개발해야 합니다. 자격을 갖춘 외과의사들 사이에서 기술적 복잡성과 수술 속도가 TC로 확인되었습니다.47 그러나 팀 역학 등 비기술적 요인이 절차적 복잡성에 영향을 미칠 수 있으며,47 다른 TC가 수술 관리의 근간이 될 수 있음을 시사합니다. 마찬가지로 외과 수련의들이 수술이 어렵다고 느끼는 주요 요인은 연습 기회 부족이었습니다.21, 23, 41 따라서 일부 술기는 충분한 시간과 연습을 통해 습득할 수 있으므로 TC를 대표하지 않는다는 주장도 있습니다.23, 45 
Practising as a clinician involves the development of unique practical skills. Technical complexity and speed of operating were identified as TCs amongst qualified surgeons.47 However, non-technical factors such as team dynamics can influence procedural complexity,47 suggesting other TCs may underlie surgical management. Similarly, a key factor in why surgical trainees found procedures troublesome was lack of opportunities to practice.21, 23, 41 It has therefore been argued that some skills can be learnt with sufficient time and practice and so do not represent TCs.23, 45

이와 대조적으로 에브게니우 등은 환자 치료의 수술 전, 수술 중, 수술 후 단계에서 의사 결정과 관련된 잠재적 TC를 확인했습니다.23 임상 추론은 의대생들에게도 임계 기술로 인식되어 정보 수집 및 분석 방식에 변화를 가져왔습니다.49 불확실성을 견디고 적절하게 대응하는 능력은 임상적 판단과 의사 결정 기술을 개발하는 데 있어 근본적인 특징이자 가능한 TC입니다21,47 그리고 학생들이 진단에 접근하는 방식을 변화시켰습니다.24 마찬가지로, 질병 경과와 기대 수명에 대한 불확실성은 수련의들이 환자와 소통하는 새로운 방법을 개발하는 데 영향을 미쳤습니다.48
In contrast, Evgeniou et al. identified potential TCs related to decision making during the pre-operative, intra-operative and post-operative stages of a patient's treatment.23 Clinical reasoning was also recognised as a threshold skill in medical students, transforming how they gathered and analysed information.49 The ability to tolerate and respond appropriately to uncertainty is an underlying feature, and a possible TC, in the development of clinical judgement and decision-making skills21, 47 and changed how students approached diagnoses.24 Similarly, uncertainty about illness trajectory and life expectancy shaped trainees' development of new ways of communicating with patients.48

마지막으로, 여러 논문에서 환자 중심주의 및 전인적 치료와 관련된 TC를 확인했는데,24, 26, 37, 48 이는 '립 서비스'48(p425)가 전문 실무에서 이러한 원칙의 구체화로 전환되면서 학문 개념 변화와는 달랐습니다. 환자의 평가와 치료에서 심리사회적 측면을 고려하는 것은 이 주제의 핵심적인 측면이었습니다.24, 26 또한 공감 능력과 감정 관리 능력의 발달은 수련의가 환자와 상호작용하는 방식을 변화시켰습니다.25, 26, 48 노인의학에서 진료 제공은 적극적이고 실습적인 과정으로 간주되었으며, 수련의가 노인의사가 되면서 양육하는 실무자의 개념을 구체화했습니다.26 
Finally, several papers identified TCs related to patient-centredness and holistic care,24, 26, 37, 48 which differed from discipline conceptual change, as ‘lip-service’48(p425) was transformed to the embodiment of these principles in professional practice. Considering psychosocial aspects in the assessment and treatment of patients was a key aspect of this theme.24, 26 In addition, the development of empathy and the ability to manage emotions changed how trainees interacted with patients.25, 26, 48 In geriatrics, providing care was seen as an active, hands-on process, and as trainees become geriatricians, they embody the concepts of a nurturing practitioner.26

확인된 TC와 수련 단계 간의 관계
Relationship between TCs identified and stage of training

학습자가 경험하는 개념 변화의 유형은 그림 2에서 보는 바와 같이 의료 수련의 단계와 관련이 있는 것으로 나타났습니다. 과학적 지식과 관련된 TC는 의대생에게서 확인된 반면, 진료 방식과 관련된 TC는 의학교육의 연속체에 걸쳐 있었습니다. 불확실성 및 환자 관리와 같은 일부 TC는 모든 수련 단계에 걸쳐 나타났지만, 전문적 책임과 관련하여 발전했습니다. 의학이 발전함에 따라 TC도 발전한다는 인식도 있었습니다.54 
The types of conceptual changes learners encounter appeared to relate to the stage of medical training, as shown in Figure 2. TCs related to scientific knowledge were identified in medical students, whereas TCs related ways of practising spanned the medical education continuum. Some TCs, such as uncertainty and patient care, featured at all stages of training, but developed in relation to professional responsibilities. There was also a recognition that as medicine advances TCs also evolve.54

교육에서 TC 프레임워크 사용
Use of the TCs framework in teaching

여러 논문에서 TCF41, 51, 54, 55, 43의 맥락에서 교육 개입을 평가했으며, 한 논문에서는 TCF를 새로운 과정의 커리큘럼 설계에 통합했습니다.30 다른 저자는 다른 접근 방식을 취하여 문턱을 넘는 것과 관련된 학습 경험을 조사했습니다.27, 50 학생들은 치매 치료에 대한 시뮬레이션 세션 후 언어, 지식 및 행동의 변화를 보였지만, 학생들이 넘었을 수 있는 TC는 논의되지 않았습니다.27 본은 GP 개발 중 강력한 학습 경험에 대한 서면 설명을 검토하여 수련의의 성향 태도를 변화시키는 데 환자 및 동료와의 상호작용이 중요함을 확인했습니다.50 
Several papers evaluated teaching interventions in the context of the TCF41, 51, 54, 55, 43 and one paper incorporated the TCF into curriculum design of a new course.30 Other authors took a different approach and examined learning experiences associated with threshold crossing.27, 50 Students demonstrated a change in language, knowledge and behaviour following a simulation session about dementia care, although the TCs students may have crossed were not discussed.27 By examining written accounts of powerful learning experiences during GPs' development, Vaughan identified the importance of interactions with patients and colleagues in transforming trainees' dispositional attitudes.50

다른 많은 논문에서도 TC를 가르치는 방법을 제안했습니다. 예를 들어, 시뮬레이션은 학습자가 불확실성을 관리하는 데 도움을 줌으로써 임상 실습과 직접적으로 관련된 방식으로 변화를 도울 수 있다고 제안되었습니다.46 또는 소규모 성찰 그룹과 발린트 그룹은 학생들이 직업적 정체성 형성과 관련된 문제를 탐색하는 데 도움을 줄 수 있습니다.22, 24, 25 강사가 개별 학습자를 지원하기 위해 사용할 수 있는 전략에는 사례 및 도전적인 상황에 대한 토론,23, 39, 45 명시적 진단 추론,24, 49 및 공식 멘토링 프로그램이 포함되었습니다.21, 47 저자들은 또한 학생을 TCF에 적극적으로 참여시키고,22, 38, 28, 33 학생들이 자신의 TC를 식별할 수 있도록 하고,42, 32 반복적이고 비선형적이며 잠재적으로 문제가 될 수 있는 학습 과정을 인식할 것을 주장했습니다.40, 45 코스 수준에서 여러 저자들은 TC를 교육과정 설계에 통합할 것을 주장했습니다.23, 25, 47, 48, 28 
Many other papers suggested methods to teach the TCs they had identified. It was proposed that simulation could aid transformation in ways that are directly related to clinical practice,46 for example, by helping learners manage uncertainty.47 Alternatively, small reflective groups and Balint groups could help students navigate the challenges associated with professional identity formation.22, 24, 25 Strategies that trainers could use to support individual learners included discussion of cases and challenging situations,23, 39, 45 explicit diagnostic reasoning,24, 49 and formal mentoring programmes.21, 47 Authors also advocated for actively engaging students with the TCF,22, 38, 28, 33 enabling them to identifying their own TCs,42, 32 and recognise the repetitive, non-linear and potentially troublesome learning process.40, 45 At a course level, several authors argued for the incorporation of TCs into curriculum design.23, 25, 47, 48, 28

4 토론
4 DISCUSSION

이 리뷰는 의학교육에서 현재 TC 문헌을 체계적으로 검토한 최초의 리뷰입니다. 포함된 논문의 3분의 2 이상이 2018년 이후에 발표된 것으로, 최근 몇 년간 관심이 크게 증가했음을 보여줍니다. 따라서 이 리뷰는 현재 교육 환경에서 매우 적절하며 다양한 증거 기반을 통합합니다.
This is the first review to take a systematic approach in examining the current TCF literature in medical education. Over two thirds of the papers included were published from 2018 onwards, demonstrating a significant growth in interest in recent years. This review is therefore highly pertinent in the current educational landscape and brings together a diverse evidence base.

재귀적 TC와 커리큘럼 설계에 대한 시사점
Recursive TCs and implications for curriculum design

이러한 종합을 통해 의학교육 연속체 전반에 걸쳐 TC의 재귀적 특성에 대한 독특한 관점이 드러났습니다. 재귀는 Land 등(2005)에 의해 학생들이 '개념적 자료에 대해 다른 "테이크"를 시도하는' 한계 공간을 여행하면서 학습을 재방문하는 것으로 설명되었습니다.3(p59) 의학교육 연속체도 마찬가지로 학습자가 새로운 상황에 직면했을 때 학습을 재방문하고 적응 또는 발전시키는 지속적인 학습 여정입니다.48

• 예를 들어 불확실성은 수련 및 전문성 개발의 모든 단계에서 나타나는 개념으로, 학문적 개념 변화22, 25, 38, 39, 28 및 모델링 개념 변화21, 24, 47, 48, 34 와 연결되며 새로운 역할 및 책임과 함께 다시 등장합니다.
• 의대생과 주니어 대학원 수련의는 의학의 복잡하고 모호한 특성을 먼저 인식했습니다.25, 38 그런 다음 이를 의사 결정에 반영하기 시작했고24, 34 불확실성에도 불구하고 환자 치료에 대한 책임을 졌습니다.25, 38
• 그러나 시니어 임상의도 독립 전문 진료로 전환한 후 의사 결정, 임상 판단 및 부작용 관리와 관련하여 불확실성을 경험했습니다.47

This synthesis has revealed a unique perspective on the recursive nature of TCs across the medical education continuum. Recursion was described by Land et al. (2005) as a revisiting of learning as students journey through the liminal space ‘attempting different “takes” on the conceptual material’.3(p59) The medical education continuum is likewise an ongoing learning journey, in which learners revisit learning and adapt or advance it when faced with new situations.48 

• Uncertainty, for example, was a concept that featured at all stages of training and professional development, linked to both discipline conceptual change22, 25, 38, 39, 28 and modelling conceptual change,21, 24, 47, 48, 34 and re-emerged with new roles and responsibilities.
• Medical students and junior postgraduate trainees first recognised the complex and ambiguous nature of medicine.25, 38 They then began to incorporate this into their decision making24, 34 and take responsibility for patients' care despite uncertainty.25, 38 
• However, senior clinicians also experienced uncertainty following their transition to independent specialty practice, related to decision-making, clinical judgement and managing adverse events.47

따라서 TC 자체는 전문가 경력의 다양한 시점에서 반복될 수 있으며, 보다 정교한 이해 또는 구체화가 필요합니다. 이는 [문턱을 넘는 것]이 학습 여정의 종착점이 아니며, Liminality란 전문가가 지속적으로 점유하는 상태이면서, 새로운 상황에 노출되면 덜 편안해지는 상태로 생각하는 것이 더 낫다는 개념을 뒷받침합니다.4, 47 이는 그림 3에서 확인할 수 있습니다. 이러한 방식으로 TC를 바라보는 것은 커리큘럼 설계에 도움이 될 수 있는 귀중한 통찰력입니다. 여러 교육 단계 간의 통합을 강화하면 학습의 연속성을 개선하고 수련의가 어려운 전환기를 헤쳐나가는 데 도움이 된다는 주장이 제기되어 왔기 때문에 의료 교육 연속체를 아우르는 총체적인 접근 방식을 지원합니다.58
TCs themselves may therefore recur at various points in a professional's career, requiring a more sophisticated understanding or embodiment. This supports the notion that crossing a threshold is not the endpoint of the learning journey and that liminality may be better thought of as a state continually occupied by professionals, but which becomes less comfortable with exposure to new situations.4, 47 This is demonstrated in Figure 3. Viewing TCs in this way is a valuable insight which could help guide curricula design. It supports a holistic approach that spans the medical education continuum, as it has been argued that better integration between different stages of training would improve continuity in learning and help trainees navigate challenging transitions.58

TC의 재귀적 특성은 또한 많은 의과대학에서 사용하는 나선형 커리큘럼 접근법을 뒷받침하는 것처럼 보일 수 있습니다.59 이 접근법에서는 복잡성이 증가하고 고급 적용이 요구되는 주제가 코스 전반에 걸쳐 재검토됩니다.60 그러나 이 접근법은 새로운 학습이 이전 학습을 기반으로 하는 선형적이고 점진적인 과정을 제안합니다.59, 60

• 반면에 TC 습득은 예측 가능한 간격으로 진행되는 과정을 따르지 않습니다: 이해와 결과의 편차와 수정이 있는 지저분하고 앞뒤를 오가는 여정입니다.3, 5
• 또한 TC와 관련된 학습 경험은 개인에게 고유하며 학습자마다 훈련의 서로 다른 지점에서 이를 통과할 수 있습니다.26, 39, 50

결과적으로 나선형 교육과정은 학습자의 학습 요구와 일치하지 않을 수 있으며 특정 문턱을 넘지 않고 훈련을 진행할 수 있습니다.25, 39 
The recursive nature of TCs would also, on face value, seem to support the spiral curriculum approach employed by many medical schools,59 in which topics are revisited throughout the course with increasing complexity and requiring more advanced application.60 However, this approach suggests a linear and progressive process, in which new learning builds on previous learning.59, 60 

• TC acquisition, in contrast, does not follow a predictably spaced process: It is a messy and back-and-forth journey, with deviations and revisions of understanding and outcomes.3, 5 
• Furthermore, the learning experience associated with TCs is unique to individuals and learners may pass through them at different points in their training.26, 39, 50 

As a result, the spiral curriculum may not align with their learning needs, and they may progress in training without having crossed certain thresholds.25, 39

대조적으로, 본 검토에서 TCF의 개념화는 대학원 의학교육에서 점점 더 많이 적용되고 있는 역량 기반 의학교육(CBME)과 더 밀접하게 일치합니다.61 CBME에서는 학습자의 진전이 수련 시간 대신 의료 실무와 관련된 역량을 달성하는 것으로 결정되며,61 종종 수련생이 감독 없이 수행할 수 있는 업무 또는 책임인 위탁 전문 활동(EPA)으로 실질적으로 측정됩니다.62 이 검토에서 확인된 많은 TC는 임상 경험에 기반한 학습으로 존재론적 변화와 전문적 실천의 발전을 나타냅니다. 따라서 TCF는 이러한 핵심 역량 또는 EPA39 를 식별하는 렌즈로 사용될 수 있으며, 모방과 숙달을 구분하는 데 도움이 됩니다.46 TC의 재귀적 특성은 또한 의학교육 연속체 전반에 걸쳐 일관성을 보장하는 것을 목표로 하는 CBME의 수직적 통합을 지원합니다.61 TCF와 CBME를 연계하면 단일 지식 체계의 촉진과 교육에서 전통적인 권력 불균형의 영속화와 관련하여 브라운 등이 제기한 몇 가지 우려를 해결할 수 있습니다.10 CBME의 핵심 구성 요소는 학습자 중심 접근법61 으로, 이는 TC의 경험에 대한 개별적 차이를 설명할 수 있습니다. 실제로 브라운 등은 교육과정 설계에서 EPA가 TC보다 더 바람직한 구성 요소라고 주장하지만,10 우리는 이 두 가지를 반드시 배타적으로 볼 필요는 없다고 주장합니다.
In contrast, the conceptualisation of the TCF in this review aligns more closely with competency-based medical education (CBME), which is increasingly being applied in postgraduate medical education.61 In CBME, progression of the learner is determined by achieving competencies related to practicing medicine instead of time in training,61 often measured practically as Entrustable Professional Activities (EPAs) which are tasks or responsibilities trainees can undertake without supervision.62 Many of the TCs identified in this review represent ontological transformations and the development of professional practice, with learning rooted in clinical experience. The TCF could therefore be used as a lens for identifying these critical competencies or EPAs39 and help differentiate between mimicry and mastery.46 The recursive nature of TCs also supports the vertical integration of CBME which aims to ensure coherence across the medical education continuum.61 Aligning the TCF with CBME addresses some of the concerns raised by Brown et al. with regard to the promotion of a single body of knowledge and perpetuation of traditional power imbalances in education.10 A key component of CBME is a learner-centred approach61 which can account for the individual variation in the experience of TCs. Indeed, Brown et al. argue that EPAs are a preferable component of curriculum design to TCs,10 but we contend that the two do not necessarily need to be viewed exclusively.

의학교육에서 임계 '개념'의 의미
The meaning of threshold ‘concepts’ in medical education

이 검토는 의학교육에서 문턱 개념이라는 용어의 사용에 대한 일부 비판을 해결하는 데도 도움이 됩니다. 많은 저자들이 지적했듯이, 개념이라는 용어는 실용적 차원이 아닌 이론적 차원6,10 의 의미를 가지며, 따라서 종종 '지식에 대한 내용 중심적 관점'과 연관됩니다.4(p235) 이러한 맥락에서 브라운 등은 인지적 변화(지식의 변화가 정체성의 변화로 이어지는)에 초점을 맞추고 기초 과학 지식과 관련된 일부 TC와 전문가 정체성 사이의 단절로 인해 TCF가 전문가 정체성 발달에 적용하기 어렵다고 주장해왔습니다.10 그러나 이 리뷰는 TC을 [개념 변화의 단계]라는 맥락에서 바라봄으로써, [한계를 넘는 것]이 의학 분야 내에서 어떻게 [사고와 실천 방식의 변화]로 이어지고, 이는 본질적으로 학습자의 [정체성 재형성]과 연결되는지를 명확히 합니다.18
This review also helps to address some of the criticisms around the use of the term threshold concept in medical education. As many authors have noted, the term concept has connotations of a theoretical, rather than practical, dimension6, 10 and so is often associated with ‘a content-focused view of knowledge’.4(p235) In this vein, Brown et al. have argued that the TCF is not applicable to professional identity development due to the focus on cognitive transformation—a change in knowledge leading to change in identity—and the disconnection between some TCs, such as those related to basic scientific knowledge, and professional identity.10 However, by viewing TCs in the context of stages of conceptual change, this review clarifies how crossing thresholds leads to changes in ways of thinking and practising within the discipline of medicine, and this is intrinsically linked to reshaping of a learner's identity.18

TC에 대한 이러한 지식 중심의 해석은 대체 용어의 등장으로 이어지기도 했습니다. 이 검토에서 확인된 두 연구에서는 각각 임계 기술49 및 직업 임계치50라는 용어를 사용했습니다. 이러한 개념은 지식의 습득 및 활용 방법을 나타내며49 의사가 되는 것과 관련된 변화를 나타낸다는 것이 그 근거였습니다.50, 63 그러나 원래 TC에 대한 설명은 가치, 태도, 기술, 사고 및 존재 방식을 포괄하는 광범위한 개념이었습니다.1, 2, 4 이 설명은 역치 기술과 직업 역치를 포괄합니다. 따라서 의학교육자 및 연구자는 의학교육의 맥락에서 TCF와 관련된 해석 및 용어의 새로운 변화를 인지하여 예를 들어 문헌 검색 전략에 이러한 용어를 포함할 수 있어야 합니다.
This knowledge-focused interpretation of the TCF has also led to the emergence of alternative terminology. Two studies identified in this review used the terms threshold skills49 and vocational thresholds,50 respectively. The justification was that these ideas represent how knowledge is acquired and utilised49 and represent transformations related to being a practitioner.50, 63 However, the original description of TCs was broad and inclusive of values, attitudes, skills and ways of thinking and being.1, 2, 4 This explanation encompasses threshold skills and vocational thresholds. Therefore, medical educators and researchers should be cognisant of the emergent variations in interpretation and terminology associated with the TCF in the context of medical education so they can, for example, include these terms in literature search strategies.

방법론적 고려 사항
Methodological considerations

이 범위 검토를 통해 의학교육에서 TC을 탐구하는 현재 연구의 방대한 범위를 확인할 수 있었습니다. 그러나 문헌의 이질성으로 인해 종합하는 데 어려움이 있었으며 대략적인 결론만 도출할 수 있었습니다. 가능한 TC를 식별하는 데 사용된 특성에는 상당한 차이가 있었으며, 이는 더 광범위한 문헌의 결과와 일치하며,8, 64 TCF에 대한 비판 중 하나입니다.10 논의 주제를 뒷받침하기 위해 TCF를 사용했지만 포함을 정당화할 증거가 없는 논문도 여러 편 있었습니다.29, 52, 31 이 범위 검토의 일환으로 공식적인 품질 평가는 수행되지 않았지만 여러 논문, 특히 교육에서 TCF 사용에 중점을 둔 논문에서 실험적 엄격성이 부족하다는 점이 지적되었습니다. 광범위한 문헌과 일관되게,64 개념 선택을 정당화하거나 개입 후 임계값을 넘었음을 입증하는 증거가 부족한 경우가 많았습니다.41, 51, 54, 55, 30, 43 따라서 이러한 논문의 결과는 신중하게 해석해야 합니다.  
This scoping review has demonstrated the vast extent of the current work exploring the TCF in medical education. However, the heterogeneity of the literature presented challenges for synthesis and only broad conclusions can be drawn. There was significant variation in characteristics used to identify possible TCs, which is consistent with findings in the wider literature,8, 64 and is one of the criticisms of the TCF.10 There were also several papers in which the TCF was used to support the topic of discussion but with no evidence to justify its inclusion.29, 52, 31 Although no formal assessment of quality was carried out as part of this scoping review, a lack of experimental rigour was noted in several papers, particularly those focused on the use of the TCF in teaching. Consistent with the wider literature,64 there was frequently a lack of evidence to justify the selection of concepts or demonstrate threshold crossing post-intervention.41, 51, 54, 55, 30, 43 Therefore, the results of these papers should be interpreted with caution.

TC에 대한 지속적인 연구가 의학교육에 의미 있는 영향을 미치려면 연구자는 프레임워크의 적용과 연구 설계에 높은 수준의 엄격함과 투명성을 적용해야 합니다. 여기에는 TC 프레임워크 적용에 대한 명확한 정당성, 특정 TC의 식별 또는 활용에 대한 근거 기반 접근법, 복제 가능한 방법론이 포함되어야 합니다. 
It is imperative that if ongoing research into TCs is to have a meaningful impact in medical education, researchers must apply high degrees of rigour and transparency in the application of the framework and the design of their studies. This needs to involve clear justification for applying the TCF, an evidence-based approach to identification or utilisation of specific TCs and replicable methodology.

이 검토의 또 다른 한계는 일반적으로 의료 전문가에 초점을 맞춘 논문이 제외되었고, 예를 들어 전문가 간 업무와 관련된 의학교육에 적용 가능한 일부 연구 결과가 누락되었을 수 있다는 점입니다. 또한 이번 검토는 의료 실무와 관련된 교육에 중점을 두었기 때문에 교수진 개발과 같은 다른 논문은 제외되었습니다. 그러나 의사의 역할은 환자 치료를 제공하는 것 이상의 의미를 가지며, 이러한 다른 전문적 의무는 포함되지 않았습니다. 
Further limitations to this review are that papers focusing on health care professionals in general were excluded and some findings applicable to medical education, for example, related to interprofessional working, could have been missed. Additionally, the review focused on education around practicing medicine, and other papers, such as those addressing faculty development, were excluded. However, the role of the doctor goes beyond delivering patient care, and these other professional duties were not captured.

의학교육 및 연구에 대한 시사점
Implications for medical education and research

이 검토는 의과대학과 임상 실습 과정에서 학습자가 겪는 중요한 변화를 검토하는 데 TCF가 어떤 렌즈를 제공할 수 있는지 보여줍니다. 검토 결과를 바탕으로 의학교육자를 위한 몇 가지 광범위한 권장사항이 확인되었으며 표 4에 요약되어 있습니다. 그러나 의대생과 의사의 발달 과정에서 발생하는 광범위한 학습에 대해 TCF를 설명하고 적용하기 위한 일관된 접근법을 개발하기 위해서는 추가 연구가 필요합니다. 이는 근거 기반의 진화하는 특성과 의학의 발전과 함께 새로운 TC가 계속 등장할 것이라는 사실을 고려할 때 특히 적절합니다.54 또한 TCF를 교육에 사용할 수 있는 방법과 역치 통과를 측정할 수 있는 방법은 현재 근거에 상당한 격차가 있으므로 추가 연구가 필요합니다. 
This review demonstrates how the TCF can provide a lens for examining important transformations learners undergo in their developmental journey at medical school and during clinical practice. Several broad recommendations for medical educators have been identified based on the review findings and are summarised in Table 4. However, further research is needed to develop a consistent approach for describing and applying the TCF to the broad range of learning that occurs during the developmental journey of medical students and doctors. This is especially pertinent given the evolving nature of the evidence base and the fact that new TCs will continue to emerge with advancing medicine.54 In addition, how the TCF can be used in teaching and how threshold crossing can be measured are significant gaps in the current evidence and require further research.

5 결론
5 CONCLUSION

최근 몇 년 동안 의학교육계에서 TCF에 대한 관심이 높아지고 있습니다. 많은 초점이 수련의 다양한 지점에서 학문적 사고방식과 실습의 기초가 되는 TC를 식별하는 데 맞춰져 있습니다. 의학교육의 연속체 전반에 걸쳐 불확실성, 환자 치료, 임상적 추론 및 전문적 정체성 TC에 대한 이해와 구현이 점점 더 복잡해졌으며, 이는 지식, 사고 및 실천의 개념적 변화를 나타냅니다. TC는 임상 환경과 책임의 변화와 함께 반복되어 평생 학습 커리큘럼에 대한 총체적인 접근 방식을 지지했습니다. 
The TCF has garnered increasing attention in the medical education community in recent years. Much of the focus has been on identifying TCs which underlie the development of disciplinary ways of thinking and practising at various points in training. There was an increasing complexity to the understanding and embodiment of uncertainty, patient care, clinical reasoning and professional identity TCs across the medical education continuum, representing the conceptual changes of knowing, thinking and practising. TCs recurred with changes in clinical environment and responsibilities, endorsing a holistic approach to the curriculum of lifelong learning.

의대생과 의사의 발달 학습 여정, 특히 의학이 발전함에 따라 새로운 TC가 등장하는 상황에서 TCF를 설명하고 적용하기 위한 일관된 접근법을 개발하기 위해서는 더 많은 연구가 필요합니다. 또한 TCF를 교육에 활용하는 방법과 역치 통과를 측정하는 방법은 현재 증거에 상당한 공백이 있어 추가 연구가 필요합니다.
Further research is needed to develop a consistent approach for describing and applying the TCF to the developmental learning journey of medical students and doctors, particularly where new TCs emerge as medicine advances. In addition, how the TCF can be used in teaching and how threshold crossing can be measured are significant gaps in the current evidence and require further research.

Threshold concepts in medical education: A scoping review

PMID: 35775904

PMCID: PMC9543879

DOI: 10.1111/medu.14864

Free PMC article

© 2022 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.