시스템 문제로서 UME-GME 이행: 근본 원인 분석(Acad Med, 2023)

시스템 문제로서 UME-GME 이행: 근본 원인 분석(Acad Med, 2023)
The Undergraduate to Graduate Medical Education Transition as a Systems Problem: A Root Cause Analysis
Jennifer L. Swails, MD, Steven Angus, MD, Michael A. Barone, MD, MPH, Jessica Bienstock, MD, MPH, Jesse Burk-Rafel, MD, Michelle A. Roett, MD, MPH, and Karen E. Hauer, MD, PhD

 

 

환자와 의료 시스템의 요구를 충족시킬 유능한 의사를 양성하려면 의예과부터 임상 실습에 이르는 효과적인 의학교육 연속체가 필요합니다. 그러나 이 연속체는 의예과, 의과대학(학부 의학교육[UME]), 레지던트 및 펠로우십(대학원 의학교육[GME]), 무감독 임상 실습이라는 개별 단계로 구성되어 있으며, 각 단계마다 고유한 관습과 절차가 있기 때문에 수련의는 각 전환 시 학습 상황, 환경, 책임, 감독에서 갑작스러운 전환을 경험하게 됩니다. 
Training competent physicians who will meet the needs of patients and our health care system depends on an effective medical education continuum, from premedical school to clinical practice. However, this continuum is organized into discrete phases—premedical school, medical school (undergraduate medical education [UME]), residency and fellowship (graduate medical education [GME]), and unsupervised clinical practice—with trainees experiencing abrupt transitions in learning context, environment, responsibilities, and supervision at each transition, as each phase has unique customs and procedures.

학생이 환자 치료에 영향을 미치는 결정을 내릴 수 있는 의사가 되는 핵심 이정표인 UME-GME 전환은 학습자의 발전과 환자 안전에 중요한 영향을 미치는 복잡한 시스템으로 구성되며 교육 연속체 내에서 갑작스러운 변화를 나타냅니다. 현재 이러한 전환은 형평성, 비용, 복지와 관련된 역기능으로 가득 차 있으며, 학생과 레지던트 프로그램은 이 과정에 상당한 시간, 비용, 에너지를 소비해야 합니다. 레지던트 지원과 면접은 안정적인 매칭률에도 불구하고 계속해서 증가하고 있으며, 레지던트 프로그램 지원자를 선발할 때, 미션에 부합하는 총체적인 검토를 사용하기보다는, 시험 점수와 성적에 의존하고 있습니다. 4 총체적 검토는 지원자의 경험, 특성, 역량 및 지표를 균형 있게 고려하여 지원자가 기관의 미션에 어떻게 기여할 수 있는지 판단함으로써 형평성을 증진합니다. 5,6 재정적 지출7과 불안, 우울증, 소진 등 웰빙과 관련된 인적 요인으로 측정되는 비용도 동시에 증가했습니다. 8 의료계의 많은 사람들이 UME-GME 전환의 문제점을 인정하고 학습자들이 이러한 우려를 해결하기 위한 신속한 조치를 촉구하고 있지만,9 근본적인 원인은 복잡하고 쉽게 해결되지 않고 있습니다.
The UME-GME transition, a key milestone in which students become physicians able to make decisions that impact patient care, constitutes a complex system with important implications for learner progression and patient safety and represents an abrupt shift within the educational continuum. Currently, this transition is fraught with dysfunction related to equity, cost, and well-being, requiring students and residency programs to spend significant time, money, and energy on the process. Residency applications and interviews continue to rise despite stable match rates, 1–3 along with a reliance on exam scores and grades to select candidates for residency programs, rather than the use of mission-aligned holistic review. 4 Holistic review promotes equity by balancing the consideration of an applicant’s experiences, attributes, competencies, and metrics to determine how they could contribute to the mission of an institution. 5,6 Costs have increased in parallel, measured by both financial expenditures 7 and human factors related to well-being, such as anxiety, depression, and burnout. 8 Although many in the medical community acknowledge the problems with the UME-GME transition and learners have called for prompt action to address these concerns, 9 the underlying causes are complex and have defied easy fixes.

이 글에서 의사의 책임성을 위한 연합(CoPA)의 학부 의학교육-의학전문대학원 교육 검토 위원회(UGRC) 위원들은 질 개선 접근법10,11과 시스템 사고를 적용하여 UME-GME 전환의 역기능에 대한 근본적인 원인을 탐구합니다. 시스템 사고는

• "시스템을 식별 및 이해하고, 행동을 예측하고, 원하는 효과를 내기 위해 시스템을 수정하는 능력을 향상시키는 데 사용되는 일련의 시너지 분석 기술"입니다. 12

시스템적 사고를 정의하는 세 가지 측면이 있습니다(표 1). 13

• 첫째, 시스템 사고는 시스템의 구성 요소와 특성(이하 구성 요소)에 대한 인식이 필요합니다.
• 둘째, 시스템 사고는 시스템 부분 간의 연결과 상호의존성(이하 연결)을 이해하는 데 기반합니다.
• 셋째, 시스템은 공유되고 명확하며 가치 있는 시스템의 목적 또는 목표(이하 목적)가 있을 때 최적으로 작동합니다.
• 목적은 식별하고 설명하기 가장 어려운 측면이지만 시스템의 작동 방식을 이해하는 데 가장 중요한 요소입니다.

In this article, members of the Coalition for Physician Accountability’s (CoPA’s) Undergraduate Medical Education to Graduate Medical Education Review Committee (UGRC) apply a quality improvement approach 10,11 and systems thinking to explore the underlying causes of dysfunction in the UME-GME transition. Systems thinking is

• “a set of synergistic analytic skills used to improve the capability of identifying and understanding systems, predicting their behaviors, and devising modifications to them to produce desired effects.” 12 

Three aspects define systems thinking (Table 1). 13 

• First, systems thinking requires an appreciation of the components and characteristics of the system (hereafter components).
• Second, systems thinking is based on understanding the connections and interdependencies among the parts of the system (hereafter connections).
• Third, systems function optimally with a shared, clear, and valued purpose or goal of the system (hereafter purpose).
• The purpose, despite being the most difficult aspect to discern and describe, is the most important for understanding how a system functions.

UME-GME 전환과 같은 복잡한 적응 시스템에서는 환경 내에서 기능하는 자율적 개체가 예상치 못한 영향을 미칠 수 있습니다. 14 시스템적 사고의 렌즈를 통해 이러한 전환에 대한 현재 문제의 근본 원인을 파악하고 학습자, 의과대학, 레지던트 프로그램, 그리고 가장 중요한 환자에게 더 나은 서비스를 제공할 수 있는 근본 원인을 목표로 하는 개입을 만들 수 있습니다. 예를 들어, 문헌에 대한 범위 검토를 통해 지원 상한선, 선호도 신호 또는 새로운 UME 평가 절차와 같이 레지던트 지원 절차를 다루는 개입을 통해 UME-GME 전환을 개선하기 위한 시스템 수준의 제안을 분류했습니다. 15 그러나 전체 UME-GME 전환을 해결하기 위한 광범위한 시스템적 사고 접근 방식은 설명되지 않았습니다. 
In a complex adaptive system, such as the UME-GME transition, autonomous entities functioning within the environment can have unexpected effects. 14 Through a systems thinking lens, it is possible to identify root causes of the current challenges to this transition and craft interventions to target root causes that better serve learners, medical schools, residency programs and, most importantly, patients. For example, a scoping review of the literature cataloged systems-level proposals to improve the UME-GME transition through interventions addressing the residency application process, such as application caps, preference signaling, or new UME assessment procedures. 15 However, a broader systems thinking approach to address the entire UME-GME transition has not been described.

UME-GME 전환에 있어 개혁의 필요성을 인식한 CoPA를 구성하는 조직들은 이러한 지속적인 문제에 대한 해결책을 제안하기 위해 UGRC를 소집했습니다. 16 UGRC는 학생, 레지던트, 프로그램 디렉터, UME 리더, GME 리더, 일반인 대표, CoPA 대부분의 회원 기관의 조직 구성원을 포함하여 UME-GME 전환 전반에 걸친 이해관계자들로 구성되었습니다. 17 이 그룹은 레지던트 준비성 보장, 지원 절차의 메커니즘 해결, 경기 후 GME로의 전환 최적화 등 UME에서 GME로의 전환을 개선하기 위한 권고안을 마련하는 임무를 CoPA로부터 부여받았습니다. 심의에서는 다음의 세 가지 교차 주제를 강조했습니다.

• (1) 다양성, 형평성, 포용성, 공정성,
• (2) 복지,
• (3) 공익을 위한 봉사

Recognizing the need for reforms in the UME-GME transition, the organizations which comprise the CoPA convened the UGRC to propose solutions to these persistent problems. 16 The UGRC was composed of stakeholders from across the spectrum of the UME-GME transition, including students, residents, program directors, UME leaders, GME leaders, representatives from the public, and organizational members of most of the member institutions of CoPA. 17 The group was charged by CoPA with making recommendations to improve the transition from UME to GME, including ensuring residency readiness, addressing mechanics of the application process, and optimizing the post-Match transition into GME. The deliberations emphasized 3 cross-cutting themes:

• (1) diversity, equity, inclusion, and fairness;
• (2) well-being; and
• (3) serving the public good.

구성 요소, 연결, 목적이라는 시스템 사고의 원칙은 UME-GME 전환에 품질 개선 접근법을 적용하기 위한 프레임워크를 제공했습니다(표 1). 
The principles of systems thinking—components, connections, and purpose—provided a framework for applying a quality improvement approach to the UME-GME transition (Table 1).

구성 요소: 비효율적인 UME-GME 전환의 근본 원인들
Components: Root Causes of the Ineffective UME-GME Transition

프로세스
Process

UGRC는 이상적인 상태와 현재 시스템(또는 실제 상태) 사이의 격차를 드러내기 위해 UME-GME 전환의 이상적인 상태를 정의했습니다. 18 UGRC는 환자안전19 및 의학교육20,21 분야에서 잘 확립되어 있고 관찰된 문제의 근본적인 구조를 밝히는 프로세스인 근본 원인 분석(RCA)을 수행하여 각 작업 그룹으로 나누어 UME-GME 전환의 일부에 대한 문제 진술을 확인했습니다. 문제 진술은 인과관계에 의문을 제기하여 문제의 근본 원인을 심층적으로 탐구하는 반복적인 프로세스인 5가지 이유를 사용하여 조사되었습니다. 그런 다음 작업 그룹은 이시카와(또는 피쉬본) 다이어그램을 사용하여 문제의 구조를 만들고 문제의 모든 기여 요인을 시각화하여 탐색했습니다. 22,23 각 그룹은 이시카와 다이어그램을 발표하여 전체 위원회에 피드백을 제공했습니다. 24 그런 다음 UGRC는 그룹 간의 공통점을 강조하는 복합 다이어그램을 만들었습니다(그림 1). 
The UGRC defined the ideal state of the UME-GME transition to reveal gaps between the ideal and current system (or actual state). 18 The UGRC undertook root cause analysis (RCA)—a process that is well established in both patient safety 19 and medical education 20,21 and that reveals the structures underlying observed problems—by dividing into workgroups, each of which identified a problem statement for a portion of the UME-GME transition. The problem statements were investigated using the 5 whys, an iterative process of questioning causality to deeply explore the root contributors to a problem. The workgroups then used Ishikawa (or fishbone) diagrams to create structure for and to visualize and explore all contributors to the problem. 22,23 Each group presented their Ishikawa diagram for feedback to the entire committee. 24 The UGRC then created a composite diagram highlighting the commonalities across groups (Figure 1).

복합 피쉬본 다이어그램의 문제 진술은 다음과 같습니다: "현재의 UME-GME 전환은 비효율적이다." 이를 통해 문제를 광범위하게 탐색할 수 있었습니다. 모든 작업 그룹은 피쉬본 다이어그램의 도메인(즉, 큰 뼈대)을 수정하여 UME-GME 전환과 관련된 단편화된 시스템을 기반으로 근본 원인 구성 요소를 보다 논리적이고 구체적으로 그룹화할 수 있도록 했습니다. 따라서 표준화되어 있는 도메인(예: 장비, 인력)을 조정하여 UME-GME 전환 프로세스를 보다 정확하게 포괄하고 설명할 수 있도록 했습니다. 근본 원인 구성 요소는 아래 논의에서 도메인별로 그룹화되어 있습니다.
The problem statement for the composite fishbone diagram was: “The current UME-GME transition is ineffective,” which allowed a broad exploration of the problems. All workgroups modified the domains (i.e., the large bones) of the fishbone diagram to facilitate more logical and specific grouping of root cause components based on the fragmented system involved in the UME-GME transition. Therefore, the domains, which are sometimes standardized (e.g., equipment, personnel), were adjusted to encompass and describe the UME-GME transition process more precisely. The root cause components are grouped by domain in the discussion below.

비효율적인 UME-GME 전환에 대한 피쉬본 분석
Fishbone analysis of the ineffective UME-GME transition

문화.
Culture.

UME-GME 전환은 지원자, 의과대학, 레지던트 프로그램 간에 경쟁적인 분위기를 조성할 수 있으며, 이로 인해 참가자들이 전체적인 이익 대신 개별적인 결과를 우선시하게 될 수 있습니다. 지원자와 레지던트 프로그램은 특정 프로그램(학생별) 또는 지원자(프로그램별)의 선택이 레지던트 기간 동안 평가되는 미래의 성과를 예측한다는 약하고 상충되는 증거에도 불구하고,8 가능한 "최상의" 개별 결과를 정의하고 추구하기 위해 상당한 자원을 기꺼이 희생할 수 있습니다. 26,27 또한, 교수진과 학생은 이 과정에서 고정형 사고방식으로 인해 학습자의 좌절을 성장 또는 회복탄력성의 증거를 찾는 대신 숨겨야 할 실패로 간주하여 보건 전문직 교육에서 성장 마인드가 성공에 도움이 된다는 증거가 있음에도 불구하고 어려움을 겪을 수 있습니다. 28,29 이러한 요인으로 인해 학생들은 학습과 성장보다 성과에 중점을 두는 채점 시스템의 경험을 바탕으로 팀과 환자에게 기여할 수 있는 방법 대신 개인의 성과에 집중하게 될 수 있습니다. 30 지원, 원정(방문) 로테이션, 표준화된 시험 준비에 할애하는 시간을 극대화하기 위해 환자 치료를 포기할 수도 있습니다. 31 학생과 의과대학은 특정 학습 요구를 지원할 수 있는 프로그램을 찾는 대신 과거의 어려움을 숨길 수 있습니다. 프로그램은 성장 마인드, 32 다양성, 형평성, 프로그램의 사명과 학습자의 목표(예: 의사-과학자, 보건 정책 리더, 농촌 진료 제공자 되기) 간의 연계성을 우선시하는 대신 지원자 사이에서 인식되는 명성의 지표를 강조할 수 있습니다. 
The UME-GME transition may create a competitive atmosphere among applicants, medical schools, and residency programs, which can push participants to prioritize individual outcomes instead of the overall good. Applicants and residency programs may be willing to sacrifice significant resources to define (via ranking 25) and pursue the “best” possible individual outcome, 8 despite weak and conflicting evidence that the selection of particular programs (by students) or applicants (by programs) predicts future performance as assessed during residency. 26,27 Furthermore, faculty and students may suffer from a fixed mindset in this process, viewing learner setbacks as failures to be hidden instead of seeking evidence of growth or resilience, despite evidence of the benefits of a growth mindset to success in health professions education. 28,29 These factors could cause students to focus on their individual performance instead of the ways that they can contribute to teams and patients, building on the experience of grading systems that promote performance over learning and growth. 30 They may choose to forgo patient care to maximize time for applications, away (visiting) rotations, and standardized test preparation. 31 Instead of searching for programs that can support any specific learning needs, students and medical schools may hide previous struggles. Programs may emphasize markers of perceived prestige among applicants instead of prioritizing a growth mindset, 32 diversity, equity, or alignment between the program’s mission and the learners’ goals (e.g., becoming a physician-scientist, health policy leader, or rural practice provider).

비용 및 제한된 리소스.
Costs and limited resources.

UME-GME 전환의 모든 단계에서 비용이 가용 리소스를 능가합니다. 예를 들어, 신청 과정에서 신청자가 부담하는 과도한 비용은 UGRC 논의 전반에 걸쳐 변화의 주요 동인 중 하나였습니다. 지원자들은 의대 커리큘럼에서 벗어나 돈, 33 정서적 에너지, 시간 등의 형태로 자원을 소비합니다. 31 일반적으로 높은 비용은 시스템 내에서 행동을 감소시키지만, 레지던트 지원 과정의 높은 위험성으로 인해 지출이 증가함에 따라 학생들은 종종 더 많은 투자를 합니다. 9,33 많은 학생들이 레지던트 자리를 확보하지 못하면 상환이 더욱 어려워지는 상당한 학자금 대출 부채를 떠안고 있습니다. 34,35 이러한 잘못된 피드백 루프는 시스템 기능 장애의 원인이 됩니다. 어려움을 겪고 있는 레지던트를 지원하기 위한 높은 교육 자원 비용36은 레지던트 프로그램이 의과대학에서 추가 지원이 필요했던 지원자를 고려하는 것을 꺼리게 하는 원인이 될 수 있습니다. 레지던트 프로그램은 대량의 지원자를 모집하는 데 상당한 시간과 재정적 자원을 투입하는데, 37-39 이는 잠재적으로 현재 레지던트에 대한 총체적인 검토나 지원을 희생할 수 있습니다. 기능적인 시스템은 낭비(과도한 지원에 소요되는 지원자 비용 등)를 줄이고 필요한 자원(레지던트 프로그램이 총체적인 검토를 수행하기 위한 인력, 교육, 기술 등)을 강화함으로써 시스템의 효율성과 효과성을 모두 증진할 수 있습니다. 40 
Costs outpace available resources at every level of the UME-GME transition. For example, the excess cost to applicants during the application process was one of the main drivers for change throughout UGRC discussions. Applicants expend resources in the form of money, 33 emotional energy, and time away from their medical school curriculum. 31 Even though high costs typically reduce behavior within a system, students often invest more as expenditures rise due to the perceived high-stakes nature of the residency application process. 9,33 Many students shoulder significant student loan debts that will be even more difficult to repay if they do not secure a residency position. 34,35 This misaligned feedback loop contributes to system dysfunction. The high cost of educational resources to assist struggling residents 36 may contribute to reluctance by residency programs to consider applicants who have required extra assistance in medical school. Residency programs dedicate significant time and financial resources to recruiting large volumes of applicants, 37–39 potentially at the expense of holistic review or support for current residents. A functional system would promote both efficiency and efficacy of the system through reducing waste (such as applicant money spent on excessive applications) and enhancing needed resources (such as personnel, training, and technology for residency programs to conduct holistic review). 40

편견.
Bias.

불평등이 UME-GME 전환에 스며들어 있습니다. 레지던트 선발에서 중요한 지표가 되는 사무직 성적,41 아너 소사이어티 회원,42 및 표준화된 면허 시험 점수,43에는 인종 및 민족적 격차가 존재합니다. 이러한 그룹 간 차이는 실제 학습자의 능력과는 무관한 구조적 차이일 수 있으므로 구조적 편견을 나타낼 수 있습니다. 지원서 검토 과정에서도 암묵적 편견이 발생할 수 있습니다. 44 지원서 양이 증가함에 따라 미션 기반의 총체적 검토는 감소할 수 있습니다. 45 이러한 상황에서 레지던트 프로그램은 면허 시험 점수, 4개 지역 또는 의과대학을 기준으로 지원서를 검토 대상으로 선정할 수 있습니다. 46 이러한 유형의 기준에 우선순위를 두면 인종, 민족, 성별, 학위(MD 대 DO) 또는 출신 의과대학(미국 의대 졸업생 대 해외 의대 졸업생)에 따라 특정 그룹에 불균형하게 영향을 미칠 수 있습니다.
Inequity permeates the UME-GME transition. Racial and ethnic disparities exist in clerkship grading, 41 honor society membership, 42 and standardized licensing examination scores, 43 which are often valued metrics in resident selection. These group differences may be construct-irrelevant (not related to actual learner ability) and therefore represent structural bias. Implicit bias may also occur in the application review process. 44 Mission-based holistic review may decrease as the volume of applications increases. 45 In these situations, residency programs may select applications for review based on licensing examination scores, 4 geography, or medical school. 46 Prioritizing these types of criteria may disproportionately affect specific groups based on race, 47 ethnicity, gender, degree (MD vs DO), or medical school of origin (U.S. vs international medical graduate).

시스템.
Systems.

지원자가 전문 분야를 선택하고, 면접 일정을 잡고, 좁은 기간 내에 레지던트 자리를 확보해야 하는 시간적 압박을 포함하여 UME-GME 전환에 내재된 여러 제약 조건은 의학교육 커뮤니티에서 잠재적으로 수정할 수 있습니다. 프로그램과 지원자에 대한 정보를 배포하는 데 사용되는 테크놀로지 시스템은 접근, 이해, 신뢰가 어려울 수 있습니다. 48,49 이러한 제한으로 인해 학습자와 프로그램 모두 동료의 추천에 따라 과도하게 지원하거나(이러한 행동이 결과를 개선하지 못한다는 데이터에도 불구하고), 프로그램에서 세부적으로 검토할 지원자 수를 줄이는 등 편법을 택할 수 있습니다. 45 레지던트 직책에 대한 자금 지원, 전문의 보상, 병원 인력 요구, 일반 수련의 면허에 대한 법적 장벽 등 UME-GME 전환에 중대한 영향을 미치는 추가적인 시스템 문제는 UGRC의 책임 범위 밖에 있었습니다. 
Multiple constraints built into the UME-GME transition, including time pressures for applicants to select a specialty, schedule interviews, and secure a residency position within a narrow window of opportunity, are potentially modifiable by the medical education community. The technological systems used to disseminate information about both programs and applicants can be difficult to access, understand, and trust. 48,49 These limitations can cause both learners and programs to take shortcuts, such as applicants overapplying based on peer recommendations despite data that this behavior will not improve their outcomes 8 or a program decreasing the number of applications that will be reviewed in detail. 45 Additional system issues that significantly affect the UME-GME transition, such as funding for residency positions, specialty compensation, hospital staffing needs, and legal barriers to universal trainee licensure, were outside the scope of the charge to the UGRC.

표준 부족.
Lack of standards.

효과적이고 의미 있는 UME-GME 전환 시스템을 구현하기 위한 전제 조건으로 공유된 정신 모델이 절실히 필요합니다. 40 성공적인 매칭, 학습자의 레지던트 준비도, 역량 및 전문성과 같은 중요한 개념을 구성하는 요소에 대한 공유된 실행 가능한 정의가 부족하여 전환에 어려움을 겪고 있습니다. 의과대학에서 다양한 학생 평가 방법과 성과 보고 관행을 사용하는 것은 레지던트 프로그램에서 지원자를 비교하는 것을 복잡하게 만듭니다. 지원자 또는 프로그램에 대한 성공적인 매칭에 대한 정량화 가능한 정의가 없기 때문에 통합된 비전을 개발하고 UME-GME 전환 과정을 최적화하기가 어렵습니다. 13 시스템은 스펙트럼 전반에 걸쳐 다양하고 중요한 목표를 적절히 달성하는 데 어려움을 겪고 있으며, 이러한 상황은 참여자들이 서로 다른 가정하에 기능할 때 UME 및 GME 이해관계자 간의 신뢰 부족을 유발합니다. 공유된 정신 모델은 참여자들이 시스템의 목표와 프로세스에서 자신의 역할에 대한 합의를 도출하는 데 도움이 될 수 있습니다. 51 
There is an urgent need for shared mental models as prerequisites to effective and meaningful implementation of a functional UME-GME transition system. 40 The transition suffers from a lack of shared actionable definitions of important concepts, such as what constitutes a successful match, learner readiness for residency, competence, and professionalism. The use of variable student assessment methods and performance reporting practices across medical schools 50 complicates residency programs’ comparisons of applicants. The absence of a quantifiable definition of a successful match for either applicants or programs makes it difficult to develop a unified vision and optimize the UME-GME transition process. 13 The system struggles to adequately meet varied and important goals across the spectrum, a situation that prompts lack of trust among UME and GME stakeholders when participants are functioning under different presumptions. Shared mental models could help participants develop consensus on the goals of the system and on their role in the process. 51

일관성 부족.
Lack of alignment.

불연속성은 UME-GME 전환의 역기능의 핵심 원인입니다. 이 시스템은 여러 개의 독립적인 프로세스로 구성되어 있으며, 각 프로세스는 별도의 리더십, 목표, 책임 및 재무 구조를 가진 별개 조직에서 관리합니다. 따라서 전체 시스템의 최선의 이익이 관련된 개별 조직의 재정적 이익을 증진하지 못할 수도 있습니다.

• 또한, 모든 미국 졸업생을 매칭하려는 동기를 가진 UME 커뮤니티와 사용 가능한 지표를 사용하여 '최고의' 지원자를 받아들이고 레지던트 기간 동안 어려움을 겪을 수 있는 지원자를 피하려는 동기를 가진 GME 교육자 사이에는 내재적인 갈등이 존재합니다.
• 마찬가지로, 지원 절차는 지원자의 선호도를 우선시합니다. 이러한 목표는 장점이 있지만 시스템 관점에서 볼 때 이러한 설계는 자원이 부족한 전문과목 및 지리적 위치의 의사에 대한 대중의 요구에 불이익을 줄 수 있습니다. 52
• 마지막으로, 학생들이 "완벽한 지원서"를 작성하고 성장이 필요한 부분을 숨기는 연습은 의사들 사이에서 자기 주도적 학습을 촉진하는 습관과 행동을 육성하기 위해 UME와 GME 모두에서 권장하는 성장 마인드에 반하는 것입니다. 53 

Discontinuity is a core contributor to the dysfunction in the UME-GME transition. The system is organized into multiple independent processes, each managed by a different organization with separate leadership, goals, accountabilities, and financial structures. Hence, the best interest of the whole system may not promote the financial interests of the individual organizations involved.

• Additionally, there is inherent conflict between the UME community, which is motivated to match all U.S. graduates, and GME educators, who are motivated to accept the “best” applicants using the available metrics and avoid applicants who may struggle during residency.
• Similarly, the application process prioritizes applicant preferences; though this aim has merit, from a systems perspective, this design may disadvantage the public’s need for physicians in underresourced specialties and geographic locations. 52 
• Finally, the exercise for students of creating a “perfect application” and hiding areas in need of growth is antithetical to the growth mindset that is encouraged in both UME and GME to foster habits and behaviors that facilitate self-directed learning among physicians. 53

연결: 시스템 사고를 통한 결과 예측
Connections: Predicting Outcomes Through Systems Thinking

UGRC가 RCA 프로세스를 사용하여 역기능적인 UME-GME 전환의 구성 요소를 식별한 후, 구성원들은 각 요소 간의 연결을 고려했습니다. 복합 피쉬본 다이어그램의 각 뼈대는 작업 그룹 내에서 5가지 이유 운동의 결과를 나타냅니다(그림 1). 상호 작용을 주의 깊게 조사한 결과 시스템의 여러 측면이 피드백 루프와 원형archetypes으로 작동한다는 사실이 밝혀졌습니다. 시스템 사고에서 원형은 "서로 다른 환경에서 반복적으로 발생하는 공통 패턴"입니다. 54 시스템 사고는 교육자가 이러한 원형을 식별하고 분석하여 행동을 예측하고 해결책을 제안하도록 안내합니다(표 1).
After the UGRC used the RCA process to identify component parts of the dysfunctional UME-GME transition, members considered connections among the parts. Each bone of the composite fishbone diagram represents the outcomes of the 5 whys exercise within workgroups (Figure 1). Carefully investigating the interactions revealed that several aspects of the system function in feedback loops and archetypes. In systems thinking, archetypes are “common patterns … that occur repeatedly in different settings.” 54 Systems thinking guides educators to identify and analyze these archetypes to predict behavior and propose solutions (Table 1).

개념 증명: 복잡한 결과를 설명하는 아키타입
Proof of concept: Archetypes explain complex outcomes

시스템 사고의 원형은 UME-GME 전환의 문제를 직접 분석하는 데 도움이 될 수 있습니다. 예를 들어, 하나의 원형인 [실패한 수정]은 시스템 내의 증상적인 문제를 빠르게 완화하지만 근본적인 문제를 해결하지 못하여 전체적으로 문제를 악화시키는 솔루션을 설명합니다. 54 이 원형은 지원자 스트레스, 과잉 지원, 고난도 지표의 상호 작용을 설명하는 데 도움이 될 수 있습니다. 이는 합격/불합격 채점 및 점수 보고에 대한 움직임이 왜 많은 사람들이 책임을 져야 하는 다른 시스템 변화가 없는 상황에서 문제를 완화하기는커녕 악화시킬 가능성이 있는지를 명확히 해줍니다. 그림 2는 UME-GME 전환의 5가지 이유에 대한 선형 인과관계 다이어그램의 지나치게 단순화된 예를 보여줍니다.
Systems thinking archetypes can help direct analysis of problems in the UME-GME transition. For example, one archetype, fixes that fail, describes solutions that quickly alleviate symptomatic problems within the system but that do not address underlying issues, and therefore lead to worsening problems overall. 54 This archetype can help explain the interaction of applicant stress, overapplication, and high-stakes metrics. It clarifies why the movement toward pass/fail grading and score reporting has the potential to exacerbate, rather than alleviate, problems absent other systems changes for which many bear responsibility. Figure 2 demonstrates an oversimplified example of a linear cause-and-effect diagram of the 5 whys for the UME-GME transition.

 

그림 3A는 애플리케이션 수가 증가하는 양적 피드백 루프에 의해 구동되는 시스템을 괴롭힌 증폭 캐스케이드를 보다 명확하게 보여주는 강화 루프를 보여줍니다. 이 루프에 따르면 지원자가 시간, 비용, 정서적 에너지를 과도하게 소비하는 근본 원인 중 하나는 요약 평가에 중점을 두는 것입니다.

Figure 3A demonstrates a reinforcing loop, which more clearly demonstrates the amplification cascade that has plagued the system, driven by a positive feedback loop of increasing numbers of applications. Based on this loop, 1 root cause for the excessive expenditure of time, money, and emotional energy by applicants is the emphasis on summative evaluations.

그림 3B는 합격/불합격 채점으로 전환하여 이 루프를 해결하려는 시도가 학습 및 교육 문화 개선에 대한 채점 체계의 잠재적 이점에도 불구하고 지원자 지출을 증가시킬 수 있는 방법을 보여줍니다. 이는 강화 루프의 일부 구성 요소에 대한 해결책이 개별적으로 구현될 때 역설적으로 전체 시스템을 악화시키는 전형적인 fix that fails 원형에 해당합니다. 54 이 지나치게 단순화된 예에서, 애플리케이션에서 잠재적으로 문제가 될 수 있는 지표(불공평성, 정확성 또는 신뢰성 부족으로 인한 문제)가 사라지면 프로그램 책임자의 명확성이 떨어지고, 이로 인해 애플리케이션에 남아 있는 정량적 데이터에 대한 의존도가 높아져 업무가 더욱 과중해질 수 있습니다. 프로그램 디렉터들은 미국 의사 면허 시험 1단계가 합격/불합격 점수 보고로 전환되면서 이러한 우려를 표명했습니다. 55 이 사례는 UME-GME 전환을 위해 총점 보고가 필요하다는 것을 시사하는 것이 아니라 시스템 사고 도구가 복잡한 상호작용과 시스템 개선을 위한 개입의 성공 가능성을 예측하고 설명하는 데 도움이 될 수 있다는 것을 보여주기 위한 것입니다. 이는 원하는 변화를 달성하기 위해서는, 전체 시스템을 위해 작동하는 조정된 솔루션 세트가 필요하다는 것을 보여줍니다. 

Figure 3B illustrates how trying to address this loop by moving to pass/fail grading could increase applicant expenditures, despite the potential benefits of this grading scheme for learning and improving the educational culture. It constitutes a classic fix that fails archetype, in which a solution to some components of a reinforcing loop paradoxically worsens the overall system, when implemented in isolation. 54 In this oversimplified example, loss of potentially problematic metrics (problematic due to inequity and lack of accuracy or reliability) in the applications leads to less clarity for program directors, which could make them more overwhelmed and increase their reliance on whatever quantitative data remain in the application. Program directors have expressed this concern with the transition of the United States Medical Licensing Examination Step 1 to pass/fail score reporting. 55 To be clear, this example is not meant to suggest that summative grade reporting is necessary for the UME-GME transition, but rather that systems thinking tools can help predict and explain complex interactions and the likelihood of success of interventions to improve the system. It illustrates that a coordinated set of solutions that work for the entire system is needed to achieve desired changes.

 

 

앞으로의 전망: 균형 잡힌 프로세스로 시스템 안정화 가능
Looking forward: Balancing processes can stabilize the system

애플리케이션 인플레이션 프로세스와 같이 강화 루프 내에서 기하급수적인 성장을 안정화하기 위한 구체적인 개입을 제안하는 시스템 접근 방식은 그림 3C에 나와 있습니다. 밸런싱 프로세스는 시스템 내에서 피드백을 생성하여 이상적인 상태로 되돌아가도록 유도합니다. 이러한 바람직한 상태, 즉 균형 잡힌 시스템으로 작동하려면 목표에 대한 명확한 이해와 함께 시스템 내에서 실제 성능과 예상 성능 간의 격차를 모니터링하는 메커니즘이 필요합니다. 실제 기능과 이상적인 기능의 차이는 프로세스 내 이해관계자, 공식 위원회 또는 둘 다에 의해 투명하게 모니터링될 수 있습니다. 그림 3C는 UME-GME 전환을 최적화하기 위해 작동할 수 있는 균형 조정 프로세스의 간단한 예를 보여줍니다. 즉, 프로그램 디렉터가 지표 사용이 프로그램 다양성과 같은 공유되고 가치 있는 이상에 어떤 영향을 미치는지에 대한 피드백을 받으면 이 정보를 바탕으로 전체론적 검토를 강화하고 모든 지원자에 대한 검토 프로세스를 개선할 수 있습니다. 궁극적으로 다양성 데이터가 공개되면 모든 참가자의 초점이 프로그램 순위와 경쟁 문화에 기여하는 다른 요소 대신 형평성과 다양성이라는 공동의 목표로 옮겨갈 수 있습니다. 
A systems approach that suggests specific interventions to stabilize the exponential growth within reinforcing loops, such as the application inflation process, is shown in Figure 3C. A balancing process creates feedback within the system to steer it back toward its ideal state. This desired state, a balanced system that operates in equilibrium, requires a clear understanding of the goal, as well as a mechanism to monitor the gap between actual and expected performance within the system. The difference between actual and ideal function can be monitored transparently for stakeholders within the process, a formal committee, or both. Figure 3C illustrates a simple example of a balancing process that could work to optimize the UME-GME transition. That is, if program directors receive feedback on how the use of metrics is influencing a shared and valued ideal, for example, program diversity, this information may influence them to increase holistic review and improve the review process for all applicants. Eventually, if diversity data become publicly available, the focus of all participants may shift toward the mutual goals of equity and diversity instead of program rankings and other contributors to the culture of competition.

목적: 다양한 유형의 목표를 향한 구성 요소 및 연결 적용
Purpose: Applying Components and Connections Toward Different Types of Objectives

공유되고 명확하며 가치 있는 목표
Shared, clear, and valued goals

UGRC는 원형과 시스템 사고의 원칙을 적용하여 UME-GME 전환을 개선하기 위한 권장 사항을 개발했습니다. 위에서 설명한 균형 조정 과정과 같이 이상적인 상태가 이미 명확하게 정의되어 있고 이해관계자 그룹이 그 중요성에 동의한 경우도 있습니다. 이러한 경우, 현재 상태에 대한 투명성과 변화를 촉진하기 위한 자원이 결합되면 시스템 변화를 유도하기에 충분할 수 있습니다. 
The UGRC applied the principles of archetypes and systems thinking to develop recommendations to improve the UME-GME transition. In some cases, such as the balancing process described above, the ideal state had already been clearly defined and stakeholder groups have agreed on its importance. In these cases, transparency about the current state combined with resources to facilitate change may be sufficient to induce the system to change.

예를 들어, 다양성, 형평성, 포용성의 경우 UGRC는 교육 결과에 대한 투명성 및 모니터링 강화를 권고했습니다. 다음 권장 사항은 형평성 결과에 대한 데이터 수집 및 측정을 가능하게 하며, 이를 통해 교육 기관 내에서, 그리고 잠재적으로 이해관계자 그룹 사이에서 가시화될 수 있는 변화를 유도할 수 있습니다:
For example, in the case of diversity, equity, and inclusion, the UGRC recommended increased transparency and monitoring of educational outcomes. The following recommendations would allow data collection and measurement of equity outcomes, which can then drive change as they become visible within institutions and, potentially, among stakeholder groups:

• 검증 가능한 GME 프로그램/트랙 정보가 포함된 대화형 데이터베이스를 생성하여 모든 지원자, 의과대학, 레지던트 프로그램에 무료로 제공합니다. 여기에는 이전에 각 GME 프로그램/트랙에 지원하고, 면접을 보고, 순위를 매기고, 매칭된 개인의 종합적인 특성이 포함됩니다. (권장 사항 6)
  Create an interactive database with verifiable GME program/track information and make it available to all applicants, medical schools, and residency programs and at no cost to the applicants. This will include aggregate characteristics of individuals who previously applied to, interviewed at, were ranked by, and matched for each GME program/track. (Recommendation 6)
• 의과대학은 채점의 시스템적 편견을 없애기 위해 인종, 민족, 성 정체성/표현, 성적 정체성/성향, 종교, 비자 상태, 능력, 위치(예: 위성 또는 임상 현장 위치)에 따른 성적 분포 패턴을 포함하여 임상 사무직 채점에 대한 초기 및 연간 탐색적 검토를 수행해야 하며, 편견을 완화하기 위해 정기적으로 교수 개발을 수행해야 합니다. UME-GME 연속체 전반의 프로그램은 편견이 학생 및 레지던트 평가, 경기 결과, 소모, 명예 학회 선발에 미치는 영향을 조사해야 합니다. (권장 사항 10)
  To eliminate systemic biases in grading, medical schools must perform initial and annual exploratory reviews of clinical clerkship grading, including patterns of grade distribution based on race, ethnicity, gender identity/expression, sexual identity/orientation, religion, visa status, ability, and location (e.g., satellite or clinical site location), and perform regular faculty development to mitigate bias. Programs across the UME-GME continuum should explore the impact of bias on student and resident evaluations, match results, attrition, and selection to honor societies. (Recommendation 10)
• 인식을 높이고 형평성과 책임성을 촉진하는 조정을 용이하게 하기 위해 지원자의 자체 보고 인구통계학적 정보(예: 인종, 민족, 성 정체성/표현, 성적 정체성/지향, 종교, 비자 상태 또는 능력)를 측정하고 UME-GME 전환 과정에서 실시간으로 프로그램 및 의과대학을 포함한 주요 이해관계자들과 공유해야 합니다. (권고안 16) 24
  To raise awareness and facilitate adjustments that will promote equity and accountability, self-reported demographic information of applicants (e.g., race, ethnicity, gender identity/expression, sexual identity/orientation, religion, visa status, or ability) should be measured and shared with key stakeholders, including programs and medical schools, in real time throughout the UME-GME transition. (Recommendation 16) 24

이러한 개입은 형평성 목표와 실제 결과 사이의 격차를 조명함으로써 UME-GME 전환을 안정화할 수 있습니다. 격차가 벌어질수록 형평성 증진을 위한 노력이 증가하여 격차가 줄어들고 시스템이 이상적인 상태에 가까워져야 합니다.
These interventions could stabilize the UME-GME transition by shining light on the gap between equity goals and actual outcomes. As the gap widens, efforts to promote equity should increase, thereby shrinking the gap and bringing the system closer to the ideal state.

이상적인 상태에 대한 의견 불일치 영역
Areas of disagreement about the ideal state

시스템 사고와 아키타입은 실제 상태와 이상적인 상태 사이의 격차를 명확히 하고, 목표를 설정하기 어려울 때도 유용합니다.

• 공유지의 비극과 같이 일부 원형은 지속적인 평가와 감독이 필요합니다. 56 이 원형에서는 "시스템 내의 각 사람이 개인의 이익을 위해 점점 더 많은 자원을 사용함에 따라 공유 자원에 과도한 부담이 가해집니다. 결국 자원이 줄어들거나 소멸되어 관련된 모든 사람의 이익이 감소하게 됩니다." 56
• 이 원형은 지원 인플레이션 문제에도 분명히 적용 가능합니다. 학생들은 개별적으로 더 많은 지원서를 제출하고 더 많은 면접 기회를 확보함으로써 이익을 얻을 수 있지만, 검토를 위한 프로그램 리소스는 무한하지 않습니다. 많은 조직이 관여하고 매년 지원자에게 높은 수준의 피드백을 제공하는 프로세스의 특성 때문에 실시간 피드백이 내재된 개입을 설계하는 것은 어려운 일입니다.

Systems thinking and archetypes are also helpful when the gap between the actual and ideal state is not easy to clarify and target.

• Some archetypes require ongoing evaluation and even oversight, such as the tragedy of the commons. 56 In this archetype, “a shared resource becomes over-burdened as each person in the system uses more and more of the resource for individual gain. Eventually, the resource dwindles or is wiped out, resulting in lower gains for everyone involved.” 56 
• This archetype is clearly applicable to the problem of application inflation. Students may individually benefit from sending more applications and securing more interviews, but program resources for review are not infinite. Designing an intervention with inherent, real-time feedback is challenging because of the many organizations involved and the high-stakes nature of the process for the applicants each year.

UGRC는 개선된 커리어 조언과 신뢰할 수 있는 레지던트 정보 데이터베이스의 형태로 상당한 리소스를 제공할 것을 권장했지만,24 이러한 리소스만으로는 충분하지 않을 수 있습니다. UGRC는 또한 문제 해결을 위해 파일럿 개입을 권장했지만,24 파일럿에 대한 평가는 지원자를 레지던트 포지션에 배치하는 것이 어떻게 [개인의 선호도]와 [공익] 모두를 충족시킬 수 있는지라는 핵심적인 긴장의 핵심에 놓이게 될 것입니다. 이상적인 프로세스는 가능한 한 많은 지원자를 선호하는 프로그램에 매칭하는 동시에 모든 전문 분야와 지역에 의사를 고르게 배치하는 균형을 맞추는 것입니다. 이 이상적인 프로세스에서 시스템은 임상 또는 교육 기업에서 불필요하게 자원을 전용하지 않고 지원자와 의료 시스템에 적합한 비용으로 이러한 작업을 수행합니다. 18 

The UGRC recommended significant resources in the form of improved career advising and a reliable database of residency information, 24 but resources alone are unlikely to be sufficient. The UGRC also recommended pilot interventions to solve the problem, 24 but the evaluation of the pilots will sit at the crux of a key tension: how the placement of applicants into residency positions can serve both the preferences of individuals and the public good. The ideal process will balance matching as many applicants as possible into their preferred programs, while also distributing physicians across all specialties and geographic regions. In this ideal process, the system will perform these tasks at a cost that is appropriate for applicants and the health care system, without unnecessarily diverting resources from the clinical or educational enterprise. 18 

이해관계자마다 이러한 긴장의 각 측면을 다르게 평가할 것입니다. 예를 들어, 임상 리더십은 환자 치료에 미치는 영향을 줄이는 데 가장 관심이 있는 반면, 지원자와 프로그램 디렉터는 매칭률을 최적화하는 데 가장 관심이 있을 수 있습니다. 따라서 형평성, 복지, 공익에 중점을 두고 전반적인 시스템을 모니터링할 그룹을 임명하는 것이 중요합니다. 이해관계자의 요구를 신중하게 균형 있게 고려하고 시스템 내의 역동적인 변화에 적절히 유연하게 대응할 수 있는 국가 차원의 지속적인 품질 개선 위원회가 UGRC에서 UME-GME 전환의 변화를 시작하는 데 가장 중요한 촉진자로 선정한 이유도 바로 이 때문입니다:

Different stakeholders will valuate each aspect of this tension differently. For example, clinical leadership may be most concerned with reducing impact on patient care, while applicants and program directors may be most interested in optimizing match rates. Therefore, it is important to appoint a group to monitor the overall system, with an emphasis on equity, well-being, and the public good. These are the reasons that a national continuous quality improvement committee that would thoughtfully balance stakeholder needs and respond with appropriate flexibility to dynamic changes within the system was identified by the UGRC as the most important facilitator to initiating change in the UME-GME transition:

• 이행된 권고안의 의도된 영향과 의도하지 않은 영향에 대한 평가를 포함하여 UME-GME 전환의 전체 프로세스에 대한 지속적인 품질 개선을 관리하기 위해 국가 차원의 지속적인 위원회를 소집합니다. (권고안 1) 24
  Convene a national ongoing committee to manage continuous quality improvement of the entire process of the UME-GME transition, including an evaluation of the intended and unintended impact of implemented recommendations. (Recommendation 1) 24

결론
Conclusions

요약하면, UME에서 GME로의 전환은 현재 기능 장애가 악화되고 있는 더 큰 의료 시스템 내의 생태계로 구성되어 있으며 사려 깊고 조율된 시스템 차원의 개입이 필요합니다. UGRC는 시스템 사고 프레임워크를 사용하여 UME-GME 전환의 구성 요소, 연결성, 목적을 조사했습니다. RCA는 문화, 비용 및 제한된 리소스, 편견, 시스템, 표준 부족 및 조정 부족과 관련된 영역을 확인했습니다. 이러한 결과와 밝혀진 구성 요소 간의 연관성을 바탕으로 UGRC는 실제 상태와 이상적인 상태 사이의 격차를 줄이기 위해 리소스를 제공하고 균형을 맞추기 위한 초기 권장 사항을 만들었습니다. 지원자, 프로그램 및 공익에 더 나은 서비스를 제공하기 위해 개입이 프로세스를 발전시킬 수 있도록 지속적인 모니터링이 필요합니다. 이러한 모니터링을 제공하기 위한 그룹을 구성하려면 CoPA의 회원 조직 간의 지속적인 협력이 필요합니다. 
In summary, the transition from UME to GME comprises an ecosystem within the larger health care system that currently suffers worsening dysfunction and requires thoughtful, coordinated, system-level intervention. The UGRC used a systems thinking framework to investigate the components, connections, and purpose of the UME-GME transition. An RCA identified domains related to culture, costs and limited resources, bias, systems, lack of standards, and lack of alignment. Based on these findings and the connections among the revealed components, the UGRC made initial recommendations to provide resources and implement balancing forces to narrow the gap between the actual and ideal state. Sustained monitoring will be necessary to ensure interventions move the process forward to better serve applicants, programs, and the public good. Creating a group to provide this monitoring will require continued collaboration among the member organizations of the CoPA.

 

---

Acad Med. 2023 Feb 1;98(2):180-187. doi: 10.1097/ACM.0000000000005065. Epub 2023 Jan 20.

The Undergraduate to Graduate Medical Education Transition as a Systems Problem: A Root Cause Analysis

Jennifer L Swails 1, Steven Angus 2, Michael A Barone 3, Jessica Bienstock 4, Jesse Burk-Rafel 5, Michelle A Roett 6, Karen E Hauer 7

Affiliations collapse

Affiliations

1J.L. Swails is residency program director, codirector of interprofessional education, and associate professor, Department of Medicine, McGovern Medical School, University of Texas Health Science Center, Houston, Texas; ORCID: http://orcid.org/0000-0002-6102-831X .

2S. Angus is designated institutional official, vice-chair for education, and professor, Department of Medicine, University of Connecticut School of Medicine, Farmington, Connecticut.

3M.A. Barone is vice president of competency-based assessment, NBME, Philadelphia, Pennsylvania, and adjunct associate professor of pediatrics, Johns Hopkins University School of Medicine, Baltimore, Maryland.

4J. Bienstock is professor of gynecology and obstetrics, associate dean for graduate medical education, and designated institutional official, Johns Hopkins University School of Medicine, Baltimore, Maryland.

5J. Burk-Rafel is assistant professor of medicine and assistant director of UME-GME innovation, Institute for Innovations in Medical Education, NYU Grossman School of Medicine, New York, New York.

6M.A. Roett is professor and chair, Department of Family Medicine, Georgetown University Medicine Center, and clinical chief of family medicine, MedStar Georgetown University Hospital, Washington, DC.

7K.E. Hauer is associate dean for competency assessment and professional standards and professor, Department of Medicine, University of California, San Francisco School of Medicine, San Francisco, California.

PMID: 36538695

DOI: 10.1097/ACM.0000000000005065

Abstract

The transition from undergraduate medical education (UME) to graduate medical education (GME) constitutes a complex system with important implications for learner progression and patient safety. The transition is currently dysfunctional, requiring students and residency programs to spend significant time, money, and energy on the process. Applications and interviews continue to increase despite stable match rates. Although many in the medical community acknowledge the problems with the UME-GME transition and learners have called for prompt action to address these concerns, the underlying causes are complex and have defied easy fixes. This article describes the work of the Coalition for Physician Accountability's Undergraduate Medical Education to Graduate Medical Education Review Committee (UGRC) to apply a quality improvement approach and systems thinking to explore the underlying causes of dysfunction in the UME-GME transition. The UGRC performed a root cause analysis using the 5 whys and an Ishikawa (or fishbone) diagram to deeply explore problems in the UME-GME transition. The root causes of problems identified include culture, costs and limited resources, bias, systems, lack of standards, and lack of alignment. Using the principles of systems thinking (components, connections, and purpose), the UGRC considered interactions among the root causes and developed recommendations to improve the UME-GME transition. Several of the UGRC's recommendations stemming from this work are explained. Sustained monitoring will be necessary to ensure interventions move the process forward to better serve applicants, programs, and the public good.

Copyright © 2022 by the Association of American Medical Colleges.