Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

21세기의 미국 의사과학자 인력: 파이프라인 권고 (Acad Med, 2019)
U.S. Physician–Scientist Workforce in the 21st Century: Recommendations to Attract and Sustain the Pipeline
Robert A. Salata, MD, Mark W. Geraci, MD, Don C. Rockey, MD, Melvin Blanchard, MD, Nancy J. Brown, MD, Lucien J. Cardinal, MD, Maria Garcia, MD, MPH, Michael P. Madaio, MD, James D. Marsh, MD, and Robert F. Todd III, MD, PhD

미국은 현재 미국의 의사-과학자(PS) 노동력의 기여로 인해 생물의학 연구에서 세계 선두를 달리고 있다. PS는 미국 전체 의사 노동력의 1.5%에 불과한 것으로 추정된다. 그러나 PS는 국가의 생의학 연구 노력에 매우 중요하다. 그들의 훈련 때문에, PS는 "임상 관찰을 실험 가능한 연구 가설로 전환하고 연구 결과를 의학 발전으로 변환하는 데 필수적인 힘"이다. 생의학 연구를 통해 특정 질병이 없어지고, 다른 질병에 대한 치료법이 발견되고, 생명을 구하는 의료 절차와 치료법이 개발되었다. 그러한 발견들은 수명 연장, 삶의 질 향상, 그리고 전 세계적으로 공중 보건의 향상으로 이어졌다.

The United States is currently the world’s leader in biomedical research,1 in large measure because of the contributions of the nation’s physician–scientist (PS) workforce.2–5 PSs are estimated to account for only 1.5% of the nation’s total physician workforce5; however, they are invaluable to the nation’s biomedical research effort.5–13 Because of their training, PSs are a “vital force in transforming clinical observations into testable research hypotheses and translating research findings into medical advances.”10 It is through biomedical research that certain diseases have been eliminated, cures for others have been discovered, and medical procedures and therapies that save lives have been developed.1–3,14,15 Such discoveries have led to the lengthening of life spans, quality of life improvements, and the betterment of public health throughout the world.1–7,13–15

중요한 것은, 생의학 연구를 통해 지금까지 이루어진 발전은 PS 인력들이 점점 더 빠른 속도로 인간 건강 증진에 더 큰 기여를 할 수 있도록 자리를 잡았다는 것이다. 1989년에 시작된 인간 게놈 프로젝트는 연구를 수행하기 위한 환경을 변화시켰고 건강 문제를 해결하기 위해 데이터를 공유하고 다학제적 접근법을 사용하는 시대를 열었다. 또한 팀 사이언스, 빅데이터, 정밀 의학에 기반을 둔 프로젝트에 문을 열었다. 이 세 가지 이니셔티브의 결과로 PS 인력들은 뇌를 더 잘 이해하고 그 장애를 치료하기 위해 설계된 혁신적 신경기술을 통한 뇌 연구와 같은 대규모의 조정된 생의학 연구 프로그램을 구현할 수 있다. 이것의 또 다른 예는 백만 명의 지원자들을 대상으로 한 종적 연구인 정밀의학 이니셔티브 코호트 프로그램으로, 질병의 약리유전학을 더 잘 이해하기 위해 이동 건강 기술을 사용하고 참가자들에게 그들 자신의 건강을 증진시킬 것이다. 마지막 예로, 모든 종류의 암을 예방하고, 발견하고, 치료하는 능력을 가속화하기 위해 빅데이터를 사용하는 국립 암 문샷이 있다. 

Importantly, the advances made thus far through biomedical research have positioned the PS workforce to make greater contributions to the enhancement of human health at an increasingly faster pace. The Human Genome Project, which began in 1989, changed the landscape for conducting research and ushered in an era of sharing data and using multidisciplinary approaches to address health issues.16 It also opened the doors to projects based on team science, big data, and precision medicine. As a result of these three initiatives, the PS workforce is able to implement large-scale, coordinated biomedical research programs, such as the Brain Research through Advancing Innovative Neurotechnologies Initiative, which is designed to better understand the brain and treat its disorders.4,17 Another example of this is the Precision Medicine Initiative Cohort Program, a longitudinal study of one million volunteers, which will enhance understanding of microbiome science, using mobile health technologies to better understand the pharmacogenetics of disease and empowering participants to improve their own health.4,18 As a final example, there is the National Cancer Moonshot, which uses big data to accelerate the ability to prevent, detect, and treat all types of cancer.4,19

한국의 PS 노동력 유지에 대한 우려는 지난 40년 동안 정책 입안자들과 다른 사람들에 의해 공개적으로 제기되어 왔으며, 그러한 우려는 범위와 강도에 있어서 증가하고 있다. 젊은 의사들이 PS보다는 임상의나 임상의사-교육자로 경력을 쌓는 것을 선택함에 따라, 지난 몇 년 동안 PS 인력 규모가 감소해왔다. 아마도 더 큰 관심사는 현재 PS 노동력의 고령화이다. 2003~2012년 10년 동안 60세 이하 PS는 감소했고 61세 이상은 증가했습니다(그림 1 참조). 이 데이터는 놀랍습니다. 

• (1) 새로운 PS의 인력진 진입과 지속적인 참여가 전례 없이 감소하고 있음을 시사한다. 
  
• (2) 고위직원들은 은퇴를 연기했다. 

PS 파이프라인 모델의 관점에서, 유입과 유출이 모두 감소하기 때문에, 시니어 인력들이 은퇴할 때 시스템이 갑자기 붕괴되기 쉽다.

Concerns about sustaining the nation’s PS workforce have been publicly voiced by policy makers and others for the past four decades,5–13 and those concerns are growing in scope and intensity.5–13,20 The size of the PS workforce has declined over the past several years,5 as young physicians choose to focus their careers on being clinicians or clinician–educators rather than PSs. Perhaps of even greater concern is the aging of the current PS workforce. During the 10-year period between 2003 and 2012, the number of PSs aged 60 or younger declined, while the number of those aged 61 or older rose (see Figure 1).5 These data are striking;

• they suggest that (1) the entry and sustained engagement of new PSs into the workforce are in unprecedented decline, and
• (2) senior members of the workforce have postponed retirement. In terms of a PS pipeline model, the decreased inflow and outflow renders the system vulnerable to collapsing suddenly as the senior workforce retires.

2007년과 2008년 동안 의대 교수 협회(APM)와 미국 의대 협회(AAMC)는 일련의 회의를 개최하여 기금 풀을 다음과 같이 확장하기 위한 권고안을 발표 및 배포하였다.

• 젊은 PS의 경력을 유지하고 육성합니다. 
  
• 젊은 PS의 멘토링을 위한 접근 방식을 개선합니다. 
  
• 여성 PS의 발전을 촉진한다. 
  
• 미래 PS의 경력 개발을 식별하고 육성합니다. 

During 2007 and 2008, the Association of Professors of Medicine (APM) and the Association of American Medical Colleges (AAMC) held a series of conferences resulting in published and disseminated recommendations to expand the pool of funds to

• retain and foster the careers of young PSs,
• improve the approach for mentorship of young PSs,
• promote the advancement of women PSs, and
• identify and foster the career development of future PSs.12,13

PS에 대한 기존 국립 보건원(NIH) 지원에 대한 우려가 커짐에 따라, 2014년, 프랜시스 콜린스 소장은 의사-과학자 인력 워킹 그룹에 현재 커리어 서포트 메커니즘을 평가하고 개선을 위한 권고안을 제출하도록 요청했습니다. 2014년 6월, 작업 그룹은 여러 권고사항과 함께 보고서를 발표했는데, 무엇보다도 NIH에 다음과 같이 촉구했습니다.

• PS의 강력한 훈련을 지속합니다.
  
• [연방정부가 자금을 지원하는 의사 후 교육]에서 [더 많은 개인 대상 펠로우쉽을 포함]하는 쪽으로 균형을 옮깁니다.
  
• 신규 및 기성 조사원 간의 수상률award rates 격차를 지속적으로 완화한다.
  
• PS 인력의 강점을 평가하기 위해 엄격한 도구를 채택한다.5

In response to growing concerns about existing National Institutes of Health (NIH) support for PSs, in 2014, Director Francis Collins charged a Physician–Scientist Workforce Working Group to assess the current mechanisms of career support and make recommendations for improvement. In June 2014, the working group issued its report with a series of recommendations that, among other things, urged the NIH to

• sustain strong training of PSs,
• shift the balance in federally funded postdoctoral training for physicians to include more individual fellowships,
• continue to mitigate the gap in award rates between new and established investigators, and
• adopt rigorous tools to assess the strength of the PS workforce.5

이 워킹 그룹은 또한 약 14,000명의 PS의 현재 국내 인력을 유지하기 위해 "매년 약 1,000명의 개인이 파이프라인에 진입해야 할 것"이라고 추정했다. (이 계산은 "파이프라인에 진입"하는 사람들 중 절반이 성공하지 못할 것으로 가정한다.) 이는 [생의학 연구에서 세계적인 리더]로서 미국의 역할을 위협할 수 있기 때문에, 이 예측은 상당한 무게를 지니고 있다. 모세 외 연구진은 현재의 추세가 계속된다면 앞으로 10년 안에 중국이 이 역할을 맡을 것이라고 언급했다.

The working group also estimated that, to maintain the nation’s current workforce of approximately 14,000 PSs, “about 1,000 individuals will need to enter the pipeline each year.”5 (This calculation assumes that half of those who “enter the pipeline will not succeed.”)5 This projection carries with it significant weight because this could threaten the nation’s role as the global leader in biomedical research, as in 2015, Moses et al21 noted that, if current trends continue, China will assume this role within the next 10 years.

2015년 11월, 학술 내과 연합(AAIM)은 의사 조사관 인력 재검토라는 컨센서스 컨퍼런스를 개최했다. 새롭고 진화하는 연구 영역과 학술 기관의 성공 경로. AAIM은 5개의 단체로 구성된 컨소시엄이다. 
In November 2015, the Alliance for Academic Internal Medicine (AAIM) hosted a consensus conference, Re-examining the Physician Investigator Workforce: New and Evolving Areas of Research and Pathways to Success in Academic Institutions. The AAIM is a consortium of five organizations:

• the APM,
• Association of Subspecialty Professors,
• Association of Program Directors in Internal Medicine,
• Clerkship Directors in Internal Medicine, and
• Administrators of Internal Medicine.

이 컨퍼런스의 초점은 NIH 의사-과학자 인력 워킹 그룹에 주어진 것과는 달랐다. 즉, NIH 워킹 그룹의 주요 관심사는 NIH 프로그램과 정책에 영향을 미치는 문제를 다루는 것이었지만, AAIM 컨센서스 컨퍼런스의 주요 관심사는, 개개인의 경험과 관심에 기초한 커리어 초기 PS로부터의 투입으로, academic medical school에 영향을 미치는 문제를 다루는 것이었다.

The focus of this conference was different than the charge given to the NIH Physician–Scientist Workforce Working Group—that is, while the major concern of the working group was to address issues impacting NIH programs and policies, the major concern of the AAIM consensus conference was to address issues impacting academic medical schools, with input from early-career PSs based on their individual experiences and concerns.

이 컨퍼런스는 사상적 리더와 초기 경력 PS가 [생물의학 연구에 진지하게 참여할 가능성이 있는 개인을 조기에 식별하는 것과 관련이 있는 중요한 주제들]과 [이러한 개인의 커리어를 개발하기 위한 최적의 메커니즘]을 논의할 수 있는 기회를 제공했다. 또한, 이 회의의 목표 중 하나는 [PS를 유치하고 지원하는 데 있어 현재 걸림돌]을 확인하고 2016년 이후 [PS 인력을 유지하기 위한 새로운 권고안]을 개발하는 것이었다.
The conference provided an opportunity for thought leaders and early-career PSs to discuss a series of critical topics relating to the early identification of individuals with a potential for serious engagement in biomedical research, as well as optimal mechanisms for developing the careers of these individuals. Additionally, one of the goals of the conference was to identify current impediments to attracting and supporting PSs and to develop a new set of recommendations for sustaining the PS workforce in 2016 and beyond.

이 회의에는 100명 이상의 개인이 참석했으며, 학술 관리자, 학과 의장, 프로그램 책임자, 초기 경력 PS(아래 참조)와 국가 재단, NIH, 미국 국립 의학 아카데미, 제약 업계의 대표자들이 참석했다. 이 회의에는 10개의 의학 센터를 대표하는 14명의 초기 경력 PS가 참석했다. 그들 모두는 NIH 멘토링 경력 개발상 또는 보훈처 경력 개발상의 수상자였다. 모두 박사학위였고, 3명은 석사학위를 추가로 받았으며, 박사학위를 받은 사람은 없었다.
More than 100 individuals attended the conference, representing a cross-section of academic administrators, department chairs, program directors, and early-career PSs (see below), as well as representatives from national foundations, the NIH, the National Academy of Medicine, and the pharmaceutical industry. Fourteen early-career PSs attended the conference, representing 10 academic medical centers. All of them were recipients of either an NIH mentored career development award or a Department of Veterans Affairs (VA) career development award. All of them were MDs, 3 had additional master’s-level degrees, and none had a PhD.

이 회의에는 10차례의 브레이크아웃 세션 동안 집중 토의할 핵심 주제에 대한 5차례의 전체 발표가 포함되었다. 각 브레이크아웃 세션은 국가의 PS 인력을 유지하고 잠재적으로 확장하는 것을 목표로 학술적 보건 지도자와 NIH 및 기타 기금 기관을 대상으로 한 일련의 권고안을 개발했다. 그런 다음 각 브레이크아웃 세션의 권장 사항이 모든 컨퍼런스 참석자에게 제시되었습니다. 특정 권고안에 대해 회의 참석자들 사이에 약간의 의견 차이가 있었지만, 이 관점에 포함된 권고안은 회의가 만장일치에 도달한 후 AAIM 이사회에 의해 승인되었다. 이러한 권장사항은 두 가지 주요 전략으로 분류됩니다.

• (1) PS 파이프라인으로의 진입 증가 및 
  
• (2) PS 인력으로부터의 소모 감소(목록 1 참조)

The conference included five plenary presentations on key topics to focus discussion during its 10 breakout sessions. Each breakout session developed a series of recommendations targeted to academic health leaders and to the NIH and other funding agencies, with the goal of sustaining and potentially expanding the nation’s PS workforce. The recommendations from each breakout session were then presented to all of the conference attendees. Although there were slight differences of opinion among the conference participants on certain recommendations, the recommendations included in this Perspective are those on which the conference reached unanimous consensus and which were subsequently approved by the AAIM Board of Directors. These recommendations are categorized within two major strategies:

• (1) increasing entry into the PS pipeline and
• (2) reducing attrition from the PS workforce (see List 1).

목록 1 PS Workforce에 대한 학술적 내과의사 컨센서스 컨퍼런스의 권고 사항, 2015년 11월
List 1 Recommendations of the Alliance for Academic Internal Medicine Consensus Conference on the PS Workforce, November 2015

PS 파이프라인 진입 증가
Increasing entry into the PS pipeline

• 젊은이들에게 생의학 연구의 가치와 생의학 진보에서 PS가 수행하는 중요하고 독특한 역할을 홍보합니다.
  
• 역할 모델 및 멘토 네트워크에 대한 액세스를 제공하는 프로그램의 광범위한 구현을 통해 다양한 모집단의 구성원을 PS로 모집 및 보유할 수 있습니다.
  
• 국제 PS가 미국에 들어와 미국 노동력의 일원으로 남을 수 있는 기회를 강화한다.
  
• PS 교육에서 효율성과 커리큘럼 모범 사례를 홍보합니다.
  
• MD/PhD 프로그램에 입학하지 않은 교육생을 위한 학부 및 대학원 연구 교육 기회를 강화합니다.
  
  

1. Promote to young people the value of biomedical research and the important and unique role that PSs play in biomedical advances.
2. Facilitate the recruitment and retention of members from diverse populations as PSs through widescale implementation of programs that provide access to a network of role models and mentors.
3. Enhance opportunities for international PSs to enter and remain in the United States as members of the nation’s workforce.
4. Promote efficiency and curricular best practices in the training of PSs.
5. Enhance undergraduate and postgraduate research training opportunities for trainees who do not matriculate into MD/PhD programs.

PS 인력 소모 감소
Reducing attrition from the PS workforce

• "멘토 멘토링" 교육을 포함한 정형화된 멘토링 프로그램을 구현하고, 멘토링 결과에 대한 주기적인 검토를 수행합니다.
  
• [Training]에서 [독립적인 연구 커리어]로의 PS 전환을 지원하는 것을 특별히 목표로 하는 연구비 프로그램을 수립합니다.
  
• NIH 또는 VA 경력 개발 보조금을 수여받은 개인에 대한 학자금 대출 상환 기회를 확대합니다.
  
• 경력 개발 어워드로 지정된 멘토에게 급여 지원을 제공합니다.
  
• PS 간에 부서 전체의 급여 형평성을 보장합니다.
  
• 보호 시간 제공 및 필요한 경우 브리지 자금 지원을 통해 PS 교수진이 독립적인 연구자가 될 수 있는 안정적인 환경을 제공합니다.
• 생물의학 발전에 대한 PS의 기여에 대한 환경의 변화를 수용하고, P&T 의사결정 과정에 투명성을 유지하기 위해 P&T 기준을 재고한다.
  
• 산업계와의 파트너십 확대를 포함하여 연구 및 연구 자금 지원을 위한 새로운 방법을 모색합니다.
  
• PS 경력 개발 데이터 저장소를 구축합니다.

1. Implement formalized mentoring programs, including “mentoring the mentor” training, and periodic reviews of mentoring results.
2. Establish grant programs specifically targeted to supporting the PS transitioning from training to an independent research career.
3. Expand student loan repayment opportunities for individuals who are awarded an NIH or a VA career development grant.
4. Provide salary support for mentors named on career development awards.
5. Assure department-wide salary equity among PSs.
6. Provide a stable environment for PS faculty to become independent researchers through provision of protected time and, when necessary, bridge funding.
7. Reconsider criteria for P&T to accommodate the changing environment for PSs’ contributions to biomedical advances and be transparent in P&T decision-making processes.
8. Pursue new avenues for research and research funding, including expanding partnerships with industry.
9. Establish a repository for PS career development data.

약자: PS는 의사-과학자, NIH, 국립보건원, VA, 보훈처, P&T, 승진 및 재임 기간을 나타냅니다.

Abbreviations: PS indicates physician–scientist; NIH, National Institutes of Health; VA, Department of Veterans Affairs; P&T, promotion and tenure.

이 합의문의 목적상, PS는 [전문적 노력의 대부분을, (학술기관, 정부기관, 산업 및 독립연구센터와 연구소에서 수행되는), 광범위한 생물 의학 연구의 연속체 내에서 정의된 영역에 바치는 의사]로 정의되었다. (기본, 번역, 임상, 역학, 결과 및 의료 교육 연구 포함) 이 사람들 중 많은 사람들은 MD에 더하여 과학 분야에서 전문 학위를 가지고 있으며, 임상의사로서의 자격으로 환자 치료를 계속 제공하고 있다.
For the purposes of this consensus statement, PSs were defined as physicians who devote the majority of their professional effort to a defined area within the broad continuum of biomedical research (inclusive of basic, translational, clinical, epidemiological, outcomes, and medical educational research) conducted in academic institutions, government agencies, industry, and independent research centers and institutes. Many of these individuals have a professional degree in the sciences, in addition to an MD, and continue to provide patient care in their capacity as clinicians.

PS 파이프라인 진입을 늘릴 기회
Opportunities for Increasing Entry Into the PS Pipeline

미국 내 PS를 늘리기 위한 전략 개발과 실행이 필수다. 이 목표를 달성할 수 있는 기회에는 생물의학 연구의 가치를 더 잘 촉진하고 조기에 홍보하는 것, PS 인력의 다양성을 증가시키는 것, 다양성을 증가시키기 위한 역할 모델과 멘토를 사용하는 것, PS 교육 프로세스의 합리화와 연구 교육 기회의 확대가 포함된다.
Developing and implementing strategies to increase the number of PSs in the U.S. workforce is essential. Opportunities to achieve this goal include

• facilitating better and early promotion of the value of biomedical research,
• increasing the diversity of the PS workforce,
• using role models and mentors to increase diversity, and
• streamlining the PS training process and expanding research training opportunities.

생물의학 연구의 가치를 더 낫고 조기에 홍보할 수 있도록 촉진
Facilitating better and early promotion of the value of biomedical research

아이들의 두뇌가 아직 개발되고 있는 중인 초등학교 때부터 생의학 연구의 가치를 홍보하는 것이 중요하다. 과학, 기술, 공학, 그리고 수학 (STEM)에서 학생들의 기술을 향상시키기 위한 프로그램을 시행하는데 초점을 맞추고 있음에도 불구하고, 미국은 선진국들 사이에서 표준화된 시험의 과학 점수에서 상위 20위 안에 들지 못하고 있다. 앨런과 케이먼은 이 낮은 순위가 부분적으로 연구와 혁신보다 운동선수와 연예인에 더 큰 가치를 두는 국가 전체에 기인할 수 있다고 주장한다. 생물의학 연구의 가치와 기존 STEM 프로그램의 목표를 효과적으로 홍보하기 위해서는 정부 기관, 지역사회 기반 조직, 민간 부문 연구 조직 및 학교 간의 협력이 필요하다.

It is important to promote the value of biomedical research as early as elementary school—while children’s brains are still being developed. Despite a focus on implementing programs to increase students’ skills in science, technology, engineering, and mathematics (STEM), the United States is not ranked in the top 20 on science scores from standardized tests among industrialized nations.22 Allen and Kamen23 argue that this low ranking can, in part, be attributed to the nation as a whole placing greater value on its athletes and entertainers than it does on research and innovation. Collaborations between government agencies, community-based organizations, private-sector research organizations, and schools are necessary to effectively promote both the value of biomedical research and the goals of existing STEM programs.

PS 인력의 다양성 증대
Increasing the diversity of the PS workforce

AAMC가 수집한 데이터는 PS 파이프라인의 다양성 부족을 보여준다. 2015년 의과대학 입학자 중 여성은 47.8%를 차지했다. 그러나, 지난 5년 동안, 그들은 국가의 MD/PhD 프로그램에 등록한 사람들 중 37%에서 38%를 지속적으로 차지해왔다.25 MD/PhD 파이프라인에서 여성의 낮은 대표성은 [시작부터 여성 지원자의 감소]와 [여성들 사이의 더 큰 이탈attrition 수준]을 반영한다. 여성이 MD/PhD 진로를 추구할 가능성이 낮은 이유에 대해 보고한 몇 가지 요인이 있는데, 여기에는 다음이 포함된다.

• 자녀 양육 또는 다른 가족 책임에 대한 우려,
• 남성 상대자에 비해 "경쟁에서 이길 필요"가 있다는 인식을 초래하는 직장의 편견,
• 여러 면에서 PS가 되기 위한 격려의 부족
• 역할 모델의 부족

Data compiled by the AAMC demonstrate a lack of diversity in the PS pipeline. In 2015, women accounted for 47.8% of those matriculating into medical school24; however, for each of the past five years, they have consistently accounted for between 37% and 38% of those enrolled in the nation’s MD/PhD programs.25 The lower representation of women in the MD/PhD pipeline reflects both fewer female applicants to start with and greater levels of attrition among women.26–28 There are several factors reported by women as to why they are less likely to pursue the MD/PhD career path, which include

• concerns about child rearing or other family responsibilities;
• a sense of bias in the workplace resulting in the perception that there is a need to “outcompete” relative to male counterparts;
• encountering, on multiple fronts, a lack of encouragement to become a PS; and
• a lack of role models.27–31

인종/민족의 대표성이 부족한 집단을 위한 파이프라인도 확대될 필요가 있다. 2014-2015년 미국 내 MD/PhD 프로그램 졸업생 616명 중 79명(12.8%)만이 인종/민족적으로 대표성이 낮은 집단 출신이라고 보고했다.

• 26명(4.2%)이 흑인 또는 아프리카계 미국인이라고 스스로 밝혔다. 
  
• 히스패닉, 라틴계 또는 스페인계 혈통으로 12명(1.9%) 
  
• 41명(6.7%)이 다인종/다인종이었다. 

The pipeline for racial/ethnic underrepresented groups also needs to be expanded.8,32 Of the 616 graduates of MD/PhD programs in the United States during the 2014–2015 academic year, only 79 (12.8%) reported themselves as being from a racially/ethnically underrepresented group:

• 26 (4.2%) self-identified as black or African American;
• 12 (1.9%) as being of Hispanic, Latino, or Spanish origin; and
• 41 (6.7%) as multiple race/ethnicity.33

게다가, [다른 나라의 재능 있고 지망 있는 많은 수의 PS]들이 미국에서 연구 훈련에 들어가려고 시도하는 반면, 그들 중 소수만이 미국의 PS 노동력에 들어가는 데 성공하고 있다. 2015년 미국의 MD/PhD 프로그램에 입학한 626명 중 16명(2.6%)만이 미국 이외의 국가에서 왔다. 이 적은 수의 국제 대학 입학은 국가의 MD/PhD 프로그램의 절반 이하에 부과되는 자금 제한으로 부분적으로 설명될 수 있다. 즉, 연방정부에서 자금을 지원하는 의학 과학자 훈련 프로그램은 미국 시민들과 미국 영주권자들에게만 개방된다. 유학생이 미국에 입국하여 체류할 수 있는 기회를 강화하려는 노력을 포함하여 다양한 인구로부터 회원을 모집하고 유지하는 것을 촉진하는 것은 PS 인력을 늘리는 효과적인 전략이 될 수 있다.

Additionally, while large numbers of talented and aspiring PSs from other countries attempt to enter research training in the United States, only a small percentage of them are successful in entering the nation’s PS workforce.5 Of the 626 matriculates to the nation’s MD/PhD programs in 2015, only 16 (2.6%) came from countries outside the United States.34 This small number of international matriculates can be partially explained by funding restrictions imposed on slightly less than one-half of the nation’s MD/PhD programs—that is, the federally funded Medical Scientist Training Programs (MSTPs) are open only to U.S. citizens and permanent residents of the United States. Facilitating the recruitment and retention of members from diverse populations, including efforts to enhance opportunities for international students to enter and remain in the United States, could be an effective strategy for increasing the PS workforce.

역할 모델 및 멘토를 활용하여 다양성 증대
Using role models and mentors to increase diversity

롤모델과 멘토는 서로 다른 기능을 하며, 둘 다 PS 파이프라인 진입을 늘리는 데 중요합니다. Cruess 등에 따르면, [롤모델]은 "영감을 주고 모범을 보임으로써 가르칠 수 있다"고 한다. 롤모델은 예를 들어 스포츠 영웅, 연예인, PS가 될 수 있고, 다른 사람들에게 미치는 영향은 텔레비전 쇼나 그랜드 라운드 강의 동안처럼 쉽게 초등학교 교실에서 일어날 수 있다.
Role models and mentors function differently, and both are important to increasing entry into the PS pipeline. Role models, according to Cruess et al,35 can “inspire and teach by example.” Role models can be, for example, sports heroes, celebrities, or PSs, and their impact on others can occur in an elementary school classroom as easily as on a television show or during a Grand Rounds lecture.

롤모델에 대한 노출이 핵심입니다. 인종적/인종적으로 대표성이 낮은 고등학생을 대상으로 한 정성적 연구는 많은 학생들이 PS와 상호작용을 해본 적이 없다는 것을 보여주었다. 그들은 연구 경력을 고려하지 않은 근본적인 이유라고 목소리를 높였다. 더욱이, MD/PhD 의대생들을 대상으로 실시한 유사한 연구는 [일찍이 중학교 또는 고등학교의 역할 모델에 대한 노출]이 연구 커리어를 시작하려는 그들의 결정에 영향을 미친 것으로 나타났다. 학생들은 과학 과정 동안 마주친 역할 모델, 가족 내 PS에 대한 노출, 가족 건강 위기 동안 전문가에 대한 노출에 대해 말했다. 이러한 연구는 MD/PhD 파이프라인에서 인종/민족 차이를 해결하는 데 있어 롤 모델의 중요한 중요성을 강조한다.
Exposure to role models is key. Qualitative research of racially/ethnically underrepresented high school students revealed that many had never had interactions with a PS.30,36 They voiced this as an underlying reason for why they did not consider a research career. Furthermore, similar research conducted on MD/PhD medical students indicated that exposure to role models as early as middle and/or high school influenced their decisions to enter a research career.5,36 Students spoke of the role models they encountered during their science courses, exposure to PSs in their families, and exposure to professionals during a family health crisis. These studies emphasize the critical importance of role models in addressing racial/ethnic disparities in the MD/PhD pipeline.

파이체(Paice) 등에 따르면 [멘토]는 연습생이나 경험이 적은 동료와 '멘토가 명시적인explicit 쌍방향 관계를 활발히 하고 있다'는 점에서 롤모델과 다르다. 그것은 "시간이 지남에 따라 진화하고 발전하며 어느 한쪽이 종료할 수 있는 관계"이다. 국가연구멘토링네트워크(NRMN)와 같은 프로그램이 존재하여 특정 조사 영역뿐만 아니라 전문적 개발 영역에서도 멘토링을 제공한다. NRMN의 일부 프로그램은 "다양성, 멘토 관계 내에서의 포괄성 및 문화, 그리고 보다 광범위한 연구 인력 등의 혜택과 도전을 강조한다." 
Mentors differ from role models, according to Paice et al,37 in that a “mentor is actively engaged in an explicit two way relationship” with a trainee or a less-experienced colleague. It is “a relationship that evolves and develops over time and can be terminated by either party.”37 Programs such as the National Research Mentoring Network (NRMN) exist to offer mentoring not only in specific areas of inquiry but also in areas of professional development. Some of the NRMN’s programs “emphasize the benefits and challenges of diversity, inclusivity and culture within mentoring relationships, and more broadly the research workforce.”38

PS 교육 프로세스 합리화 및 연구 교육 기회 확대
Streamlining the PS training process and expanding research training opportunities

생의학 연구를 위한 준비는 10년 이상의 학부, 의과대학, 대학원 교육을 필요로 하는 긴 과정이다. 이 과정을 가속화하기 위해, 연합 MD/PhD 커리큘럼(연방정부가 지원하는 MSTP 포함)은 의과대학 동안 의학 및 연구 훈련을 더 잘 통합하고 가속화하는 아이디어로 개발되었다. 2014년 전국 설문 조사 결과에 따르면 MD/PhD 프로그램 졸업생 중 80% 이상이 연구 지향적인 직업을 추구하는 것으로 나타났다. MSTP 등록(7년 이상의 의무)에 대한 대안으로, 의대생들 중 일부는 등록자들에게 (기관 또는 외부 자금 지원으로) 1년 동안의 멘토링 연구 경험을 제공하는 공식적인 연구 계약을 이용한다. 제한된 일화 데이터는 이러한 공식 연구 계획 중 일부의 효과를 뒷받침한다. 

Preparation for a career in biomedical research is a lengthy process requiring well over a decade of undergraduate, medical school, and postgraduate training, which may include formal graduate education in a scientific discipline. To expedite this process, combined MD/PhD curricula (including federally funded MSTPs) were developed with the idea of better integrating and expediting medical and research training during medical school. The results of a national survey from 2014 show that these programs have had success with > 80% of MD/PhD program graduates pursuing research-oriented careers.39 As an alternative to MSTP enrollment (a commitment of over seven years),39 a subset of medical students take advantage of formal research tracts, which offer enrollees a one-year mentored research experience during medical school (with institutional or external funding support). Limited anecdotal data support the effectiveness of some of these formal research tracts.40,41

의과대학에서 연구 경험을 쌓은 후, 많은 졸업생들은 오랜 기간의 대학원 임상 및 연구 훈련으로 전문 교육을 이수하는 것을 선택한다. 이 과정을 가속화하기 위해, 이러한 [박사 후 경험을 간소화]하기 위한 보조 메커니즘이 개발되었습니다. 미국 내과의사회(Board of Internal Medicine)가 승인한 이러한 접근 방법 중 하나는 신속한 임상 훈련(그리고 종종 하위 전문 펠로우쉽)과 3년간의 멘토링된 박사 후 연구를 결합하는 레지던트 연구 경로이다. 짧은 임상 교육 기간(3년 대신 2년)에도 불구하고, 이러한 졸업생들의 임상 역량(보드시험 합격률로 측정)은 희생되지 않았으며, 80% 이상이 자금 지원을 받은 생물의학 연구를 계속했다. 다른 전공과목 학회(예: 소아과 및 병리학)도 유사한 간소화된 의사 후 교육 경로를 승인했다.

After gaining research experience in medical school, many graduates opt to complete their professional education with a lengthy period of postgraduate clinical and research training. To expedite this process, supplemental mechanisms have been developed to streamline this postdoctoral experience. One such approach, sanctioned by the American Board of Internal Medicine, is a residency research pathway which combines expedited clinical training (and often subspecialty fellowship) with three years of mentored postdoctoral research. Despite a shortened duration of clinical training (two years instead of three), the clinical competency (as measured by board exam pass rate) of these graduates was not sacrificed,42 and more than 80% went on to pursue funded biomedical research.43 Other medical specialty boards (e.g., pediatrics and pathology) have sanctioned similar streamlined postdoctoral training pathways.

마지막으로, 연구에 대한 새로운 관심을 가진 모든 의사들이 의과대학 이전 또는 그 동안 대학원 수준의 과학 훈련을 이수하지 않았기 때문에, 몇몇 연구집약적 의과대학은 [임상훈련의 후기 단계에 있는 의사나 주니어 교수진 중에서 엄선된 그룹에 이러한 엄격한 훈련을 제공하기 위한 공식적인 박사후 연구 훈련 프로그램](종종 MS 또는 PhD 학위까지 이어진다)을 개발했다. 

Finally, because not all physicians with a budding interest in research have completed graduate-level scientific training prior to or during medical school, several research-intensive medical schools have developed formal postdoctoral research training programs (often leading to an MS or PhD degree) to provide this rigorous training to a select group of committed physicians who are in the later stages of clinical training or who are junior faculty.44–46

PS 파이프라인 진입을 늘리기 위한 권장 사항
Recommendations Aimed at Increasing Entry Into the PS Pipeline

PS 파이프라인 진입을 늘리기 위한 AAIM 컨센서스 회의 권고안은 다음과 같았다.

• (1) 젊은이들에게 생물의학 연구의 가치와 생물의학 진보에서 PS가 수행하는 중요하고 독특한 역할을 홍보한다. 
  
• (2) 역할 모델 및 멘토 네트워크에 대한 액세스를 제공하는 프로그램의 광범위한 구현을 통해 다양한 모집단의 구성원을 PS로 모집 및 보유할 수 있습니다. 
  
• (3) 국제 PS가 미국 노동력의 일원으로 미국에 입국하여 체류할 수 있는 기회를 강화한다. 
  
• (4) PS 교육에서 효율성과 커리큘럼 모범 사례를 촉진한다. 
  
• (5) MD/PhD 프로그램에 입학하지 않는 교육생을 위한 학부 및 대학원 연구 교육 기회를 강화한다(목록 1).

The AAIM consensus conference recommendations for increasing entry into the PS pipeline were to

• (1) promote to young people the value of biomedical research and the important and unique role that PSs play in biomedical advances;
• (2) facilitate the recruitment and retention of members from diverse populations as PSs through widescale implementation of programs that provide access to a network of role models and mentors;
• (3) enhance opportunities for international PSs to enter and remain in the United States as members of the nation’s workforce;
• (4) promote efficiency and curricular best practices in the training of PSs; and
• (5) enhance undergraduate and postgraduate research training opportunities for trainees who do not matriculate into MD/PhD programs (List 1).

젊은이들에게 생물의학 연구의 가치와 생물의학 발전에 있어 PS가 수행하는 중요하고 독특한 역할을 홍보합니다.
Promote to young people the value of biomedical research and the important and unique role that PSs play in biomedical advances

과학과 수학의 풍요를 제공할 뿐만 아니라, 어린 학습자들, 특히 소외된 배경을 가진 사람들에게 지원을 제공할 수 있는 혁신적인 교육 개입이 확립되어야 한다. 이를 위해 정부 기관, 지역사회 기반 조직, 민간 부문 연구 조직 및 학교 간의 협력을 장려해야 한다.

Innovative educational interventions should be established to provide enrichment in science and math as well as to provide support for young learners, especially those from disadvantaged backgrounds. To this end, collaborations between government agencies, community-based organizations, private-sector research organizations, and schools should be encouraged.

롤모델 및 멘토 네트워크에 대한 액세스를 제공하는 프로그램의 광범위한 구현을 통해 다양한 모집단의 구성원을 PS로 모집 및 유지
Facilitate the recruitment and retention of members from diverse populations as PSs through widescale implementation of programs that provide access to a network of role models and mentors

PS와 다른 전문가들로 구성된 롤모델 네트워크를 만들어 정기적으로 K-12 및 학부 수업을 방문하면 학생들이 생물의학 연구의 가치와 직업으로서의 생존 능력에 노출되는 데 도움이 될 것이다. 마찬가지로, NRMN과 같은 프로그램은 다양한 모집단의 구성원을 모집하고 유지하기 위해 널리 사용되어야 한다.
Creating a network of role models, comprising PSs and other professionals, to routinely visit K–12 and undergraduate classes would help expose students to the value of biomedical research and its viability as a career. Similarly, programs such as the NRMN should be widely used to recruit and retain members from diverse populations as they pursue training as PSs.

국제 PS가 미국에 입국하여 미국 노동력의 일원으로 체류할 수 있는 기회를 강화합니다.
Enhance opportunities for international PSs to enter and remain in the United States as members of the nation’s workforce

연구 상금과 보조금은 거주 상태에 따라 달라지는 경우가 많다. 외국 의대 졸업생들의 박사 후학을 후원하는 대학들은 미국 영주권 신청에 도움을 주어야 한다. 또한, NIH는 다른 정부 기관과 협력하여 국가 연구 서비스상 펠로우십, 교육 보조금 및 경력 개발상의 자격 요건에 대한 정책을 수정해야 한다. 여기에는 미국 대학원 유학을 위해 입학했지만, 아직 영주권을 부여받지 못한 외국 의과대학 졸업생도 포함해야 한다.
Research awards and grants are frequently dependent on residency status. Universities sponsoring foreign medical school graduates’ postdoctoral studies should provide assistance with applications for permanent residence in the United States. Additionally, the NIH should work with other government agencies to amend policies on eligibility requirements for its National Research Service Award fellowships, training grants, and career development awards to include graduates of foreign medical schools who have been admitted to the United States for postgraduate study but who have not yet been granted permanent resident status.

PS 교육의 효율성 및 커리큘럼 모범 사례 촉진
Promote efficiency and curricular best practices in the training of PSs

연구 분야에서 진로에 대한 의지를 입증한 교육생은, 의과대학 재학 중 정식 MD/PhD 프로그램 및 전공의 수련 중 전공/세부전공 연구 경로 조정과 같이 교육 과정을 단축하고 능률화하는 교육 이니셔티브를 최대한 활용할 것을 강력히 권장해야 한다. MSTP에 대한 지속적인 NIH 자금후원이 제공되어야 한다.
Trainees who have demonstrated a commitment to careers in research should be strongly encouraged to take full advantage of educational initiatives that shorten and streamline the training process, such as formal MD/PhD programs during medical school and coordinated residency/subspecialty research pathways during postgraduate training. Continued NIH funding for MSTPs should be provided.

MD/PhD 프로그램에 입학하지 않은 교육생을 위한 학부 및 대학원 연구 교육 기회 강화
Enhance undergraduate and postgraduate research training opportunities for trainees who do not matriculate into MD/PhD programs

연구에 관심이 있지만 공식적인 MD/PhD 프로그램에 등록되지 않은 의대생은 1년 동안 멘토링된 연구 경험에 참여하는 것을 고려해야 한다. 전문 교육(예: 하위 전문 펠로십) 또는 하위 교수로서 연구를 추구하는 데 관심을 보이는 임상 교육을 받은 의사는 석사 및/또는 박사 학위를 받을 수 있는 공식적인 연구 훈련 기회에 참여하는 것을 고려해야 한다. 현재 이러한 학부 및 대학원 교육 프로그램의 효과에 대한 발표된 데이터가 제한적이므로, 이러한 대안 연구 커리큘럼에 대한 포괄적인 조사(졸업자의 내용, 지원 메커니즘 및 경력 결과 포함)는 관련 전문 기관이 수행해야 한다. 예를 들어 AAIM이나 AAMC, 프로그램 리더가 소집하고 모범 사례를 교환할 수 있는 메커니즘이 제공되어야 한다.

Medical students who have an interest in research but who are not enrolled in a formal MD/PhD program should consider participating in a one-year mentored research experience. Clinically trained physicians who develop an interest in pursuing research later in their professional education (e.g., subspecialty fellowship) or as junior faculty should consider participating in formal research training opportunities that may lead to a master’s and/or doctoral degree. Currently, there are limited published data on the effectiveness of these undergraduate and postgraduate training programs,40,41,44–46 so comprehensive surveys of these alternative research curricula (including content, mechanisms of support, and career outcomes of graduates) should be conducted by relevant professional organizations, such as the AAIM or AAMC, and a mechanism for program leaders to convene and exchange best practices should be provided.

PS 인력의 소모 감소를 위해 해결해야 할 요인
Factors to Address to Reduce Attrition From the PS Workforce

많은 PS들, 특히 그들의 경력 초기와 중간 단계에 있는 사람들은 전임 임상 실습에 들어가기 위해 생물의학 연구 기회를 추구하려는 그들의 원래 계획을 두고 떠난다. Attrition 사유는 다양하고 복잡하지만, 학계로부터 PS의 Attrition와 인과적으로 연결될 수 있는 식별 가능한 요인은 다음과 같다.

• 부적절한 멘토링, 
  
• PS로서의 성공에 대한 편협한 인식, 
  
• 외부 지원을 위한 경쟁이 치열해지고 있습니다. 
  
• 재정적 압박, 
  
• 불충분한 제도적 지원, 그리고 
  
• 일과 삶의 균형에 대한 어려움

Many PSs, especially those in the early and middle stages of their careers, leave behind their original plans to pursue biomedical research opportunities to enter full-time clinical practice. Reasons for attrition are numerous and complex; however, there are identifiable factors that can be causally linked to the attrition of PSs from academia, including

• inadequate mentoring,
• a narrow perception of success as a PS,
• increasing competition for external support,
• financial pressures,
• inadequate institutional support, and
• difficulties with work–life balance.

부적절한 멘토링
Inadequate mentoring

독립적으로 자금을 지원하는 PS로서 성공을 달성하는 것은 어려울 수 있습니다. 강력하고 적극적인 멘토링은 그 성공의 중요한 요소이다. 멘토-연수생 다이애드가 멘토십의 전통적인 모델이었지만, 몇몇 기관들은 중앙 집중식 감독, 멘토 지원 및 경력 개발을 제공하기 위해 고안된 이니셔티브를 개발했다. 확립된 연구자는 연구를 수행하는 전문 지식을 가지고 있지만, 견습생을 적극적으로 지도하는 데 필요한 기술을 개발하기 위해 추가적인 교육 지원을 요구할 수 있다. 연구 멘토 양성 프로그램이 효과가 있는 것으로 나타났다. 그러한 프로그램은 모든 의과대학에서 시행되어야 하며 진로 협상, 보조금 작성, 원고 출판, 일과 삶의 균형과 같은 분야의 공식화된 훈련을 포함해야 한다. 가정 기관, NIH 및 기타 기금 기관은 시간과 보상 측면에서 멘토에게 적절한 자원을 할당해야 한다.
Achieving success as an independently funded PS can be challenging. Strong, active mentoring is a crucial element of that success.43 While the mentor–apprentice dyad has been the traditional model of mentorship, several institutions have developed initiatives designed to provide centralized oversight, mentorship support, and career development. Established researchers, while having the expertise to perform research, may require additional educational support to develop the skill set needed to actively mentor an apprentice. Training programs for research mentors have been shown to be effective.47–49 Such programs should be implemented in all medical schools and should include formalized training in areas such as career negotiation, grant writing, publication of manuscripts, and work–life balance.47 Home institutions, the NIH, and other funding agencies should allocate adequate resources to mentors in terms of both time and compensation.

PS로서의 성공에 대한 좁은 인식
A narrow perception of success as a PS

[성공적인 PS는 NIH가 벤치 또는 초기 중개연구를 위한 PI로 자금을 지원받는다]는 인식이 많다. 하지만, 이 개념은 NIH와 다른 사람들이 가정한 [광범위한 PS의 정의]를 고려하지 않으며, 또한 다학제 연구팀이 빅데이터를 사용하고 정밀의학 이니셔티브를 발전시켜야 하는 [연구 분야 내에서의 진화]도 고려하지 않는다. 그럼에도 불구하고, 성공적인 PS를 구성하는 이러한 오래된 개념은 연구 자금과 승진 및 테뉴어(P&T)에 대한 결정에 있어서 부정적인 경력 결과를 초래할 가능성을 계속 제기한다. 따라서, 연구비 지원 기관과 AMC 모두 [PS로서 성공을 구성하는 것]에 대한 더 광범위한 기준을 개발할 필요가 있을 것이다. 
A widely held view is that a successful PS is funded by the NIH as a principal investigator for bench or early translational research.50 This notion does not take into account the broader definition of a PS as posited by the NIH and others,5 nor does it take into account the evolution occurring within the research arena that requires multidisciplinary research teams to use big data and advance precision medicine initiatives. Nonetheless, these antiquated notions of what constitutes a successful PS continue to pose the possibility of negative career consequences when it comes to decisions about research funding and promotion and tenure (P&T). Accordingly, both funding agencies and academic medical centers will need to develop broader criteria for what constitutes success as a PS.50

외부 지원 경쟁 심화
Increasing competition for external support

NIH가 지원하는 R01 보조금에 대한 PS의 최초 수상률은 2012년에 14%로 사상 최저였다. NIH로부터 보조금을 받기 위한 과정은 경쟁이 치열해졌고, 모든 연구 프로젝트 보조금에 대한 전반적인 성공률은 1997년 31%에서 2014년 18%로 떨어졌다. 자금을 성공적으로 확보하거나 지속하지 못하는 것은 흔하지만 예측할 수 없는 일이다. 그로 인해 발생하는 [다른 진로 경로와 비교했을 때에 연구자가 가지는 취약성]의 감각이 소모attrition에 기여할 수 있다. NIH가 훈련에서 독립 연구 경력으로 전환하는 동안 PS를 용이하게 하기 위해 K99/R00 Pathways to Independence Award 이니셔티브와 유사한 프로그램을 수립해야 한다는 강력한 논거를 제시한다.
The first-time award rate among PSs for an NIH-funded R01 grant was 14% in 2012, an all-time low.5 The process to receive a grant from the NIH has become more competitive, with overall success rates for all research project grants dropping from 31% in 1997 to 18% in 2014.5 The failure to successfully obtain or continue funding is a common yet unpredictable occurrence. The resulting sense of researcher vulnerability, as compared with other career pathways, can contribute to attrition. It makes a strong case for the NIH to establish a program similar to its K99/R00 Pathway to Independence Award initiative to facilitate PSs during their transition from training to an independent research career.

학술 기관들은 연방 및 주 기관, 전문 협회 및 사회, 제약 산업을 포함한 민간 부문과 같은 다른 자금 공급원과의 제휴를 고려할 필요가 있다. 빅데이터가 성장하면서 구글, 아마존과 같은 기업과 제휴할 기회도 존재한다. PS에게 이러한 다양한 자금 출처에 접근할 수 있는 지식과 도구를 제공하기 위해서는 효과적인 멘토링과 경력 개발이 필요할 것이다.

Academic institutions need to consider partnering with other sources of funding, such as federal and state agencies, professional associations and societies, and the private sector, including the pharmaceutical industry. With the growth of big data, opportunities also exist to partner with companies such as Google and Amazon. Effective mentorship and career development will be needed to provide PSs with the knowledge and tools to be able to access these diverse funding sources.

재정적 압박
Financial pressures

의대와 대학원 교육 동안, 임상 실습에서의 경력에 비해, PS 커리어를 선택할 때 따르는 재정적 디스인센티브가 있다. 즉, 교육 부채에 대한 부담이 훨씬 더 커지고 안정적인 유급 고용에 대한 자격이 상당히 지연될 가능성이 있다. 비록 MD/PhD 학생이 펠로우십을 통해 지원을 받는다고 해도, 의사 후 연구 훈련과 함께 의과대학 훈련의 상당한 기간(7년 이상)은 생물의학 연구 분야에서 가장 헌신적인 젊은 과학자를 제외한 모든 과학자들을 멀어지게 하기에 충분하다. 아무리 좋은 시나리오라도 PS는 36세에 테뉴어 트랙의 후보자가 된다. 그러나 많은 PS는 테뉴어 트랙 포지션에 대한 수요가 공급을 초과하기 때문에 몇 년 더 포스닥의 지위를 유지한다. 종종, 그들의 조교수로의 고용과 임명은 공식적으로 또는 비공식적으로 NIH의 성공적인 자금 지원(예: K 또는 R 상)에 좌우되지만, MD가 첫 R01을 받은 PS의 평균 연령은 43.8세이다. MD/PhD를 가진 사람들의 평균 연령은 44.3세이다. 많은 PS는 첫 번째 교직원 임명을 시작할 때 큰 부채 부담을 가지고 있는데, 이 상황은 상당한 재정적 압박을 유발하고 가족의 안정적인 지원을 위한 수단을 제공하지 못한다.

During both medical school and postgraduate training, there is a financial disincentive to pursue a PS career relative to a career in clinical practice—that is, there is the potential for a much greater burden of educational debt and a significant delay in eligibility for stable, paid employment.7,51,52 Even if an MD/PhD student is supported through a fellowship, the significant duration of medical school training (seven years or longer), coupled with incremental postdoctoral research training, is sufficient to sway all but the most committed young scientists away from a career in biomedical research. In a best-case scenario, a PS becomes a candidate for a tenure-track position at the age of 36.5 However, many PSs retain their postdoctoral status for several additional years because the demand for tenure-track positions exceeds the supply.52 Often, their employment and appointment as assistant professor are formally or informally contingent on successful funding from the NIH (such as a K or R award), yet the average age of PSs with an MD receiving their first R01 is 43.8 years; for those with an MD/PhD, the average age is 44.3 years.5 Many PSs have large debt burdens when beginning their first faculty appointment, a situation that creates substantial financial duress and does not provide the means for the stable support of a family.

제도적 지원 부족
Inadequate institutional support

제도적 지원은 여러 가지 형태를 취할 수 있으며 임상의사나 박사 연구자와 같은 다른 사람과 비교할 때 PS의 고유한 요구의 결과인 경우가 많다. PS는 연구에 소비하거나 연구 자금 확보에 적용할 수 있는 시간에 영향을 미치는 증가하는 양의 임상 수익을 창출해야 한다. 비슷하게, PS는 종종 임상의 동료들보다 적은 임금을 받으며 종종 외부 자금을 통해 그들의 급여와 연구팀의 다른 사람들의 급여의 많은 부분을 충당할 것으로 기대됩니다. 불행하게도, 그들이 소속된 기관은 외부 자금 부족이 발생할 때, [브리지 연구비 지원]을 제대로 제공하지 않는 경우가 많다. 마지막으로, PS에 대한 P&T 지표는 종종 시대에 뒤떨어지고 팀 과학에 대한 기여, 독립 PS로서의 경력을 확립하는 데 계속 증가하는 시간 또는 빅 데이터, 정밀 의료 및 팀 과학 분야에서 충족되어야 하는 요구를 고려하지 않는다.

Institutional support can take several forms and is often the result of the unique needs of PSs when compared with others, such as clinicians or PhD researchers. PSs are asked to generate increasing amounts of clinical revenue, which affects the time they can spend on their research or apply to securing research funding.52 Similarly, PSs are often paid less than their clinician counterparts and are often expected to obtain a large portion of their salary, and the salaries of others on their research team, through external funding. Unfortunately, their home institutions are often not optimally forthcoming with bridge funding when lapses of external funding occur.7 Finally, the metrics for P&T for PSs are often outdated and fail to take into account contributions to team science, the ever-increasing length of time needed to establish a career as an independent PS, or the demands that will need to be met within the arenas of big data, precision medicine, and team science.

일과 삶의 균형에 대한 어려움
Difficulties with work–life balance

PS는 일반적으로 그들 중 많은 수가 가정을 꾸리고 있는 시점에서 노동력으로 들어가고 있다. 일과성 비경력적 책임(예: 가족 및 건강 문제)은 종종 PS가 일시적으로 인력에서 이탈할 것을 요구할 수 있다. PS들이 소속된 기관은 직장과 가정의 경쟁적인 요구를 수용하고, 가능한 한 유연한 옵션을 제공하며, 결과적으로 PS 직원의 경력 궤적이 악영향을 받지 않도록 해야 한다. [세대 차이]는 후배들에게 매력적이지 않은 작업 환경으로 이어질 수 있다. 예를 들어, 현재 의대에 입학하는 개인과 하위 교수로 학계에 입학하는 사람들은 일과 삶의 균형을 점점 더 중요하게 생각한다. 이러한 가치 체계를 뒷받침하는 연구들은 일과 삶의 균형을 이루는 것이 스트레스, 감정적 피로, 그리고 소진을 줄일 수 있다는 것을 증명했다. 
PSs are generally entering the workforce at a time when many of them are also starting families. Episodic noncareer responsibilities (e.g., family and health issues) can often demand that PSs temporarily remove themselves from the workforce. PSs’ home institutions need to accommodate the competing demands that work and family often present, provide flexible options whenever possible, and ensure that the career trajectories of their PS faculty are not adversely affected as a result. Generational differences may lead to work environments that are unappealing to junior faculty. For example, individuals now entering medical school and those entering academia as junior faculty increasingly value a balance between work and life. Supporting this value system, studies have demonstrated that achieving a work–life balance can reduce stress, emotional exhaustion, and burnout.47,53,54

PS 인력 소모 감소를 위한 권장 사항
Recommendations Aimed at Reducing Attrition From the PS Workforce

PS 파이프라인의 소모 감소를 위한 AAIM 컨센서스 컨퍼런스 권고안은 다음과 같았다.
The AAIM consensus conference recommendations for reducing attrition from the PS pipeline were to

• (1) "멘토 양성" 교육을 포함한 정형화된 멘토링 프로그램 구현 및 멘토링 결과의 주기적인 검토
  
• (2) 교육에서 독립적 연구 경력으로의 PS 전환을 지원하는 것을 특별히 목표로 하는 보조금 프로그램을 수립한다.
  
• (3) NIH 또는 VA 경력 개발 보조금을 수여받은 개인에 대한 학자금 대출 상환 기회를 확대한다.
  
• (4) 경력개발상(Career Development Awards)에 등재된 멘토에게 급여 지원을 제공한다.
  
• (5) PS 간 부서 전체의 급여 형평성을 보장한다.
  
• (6) 보호 시간 제공 및 필요한 경우 교량 자금 지원을 통해 PS 교수진이 독립적인 연구자가 될 수 있는 안정적인 환경을 제공한다.
  
• (7) 생물의학 발전에 대한 PS의 기여에 대한 환경의 변화를 수용하고 P&T 의사결정 과정에 투명성을 유지하기 위해 P&T 기준을 재고한다.
  
• (8) 산업계와의 파트너십 확대를 포함한 연구 및 연구 자금 지원을 위한 새로운 방법을 추구한다.
  
• (9) PS 경력 개발 데이터 저장소(목록 1)를 구축한다.

• (1) implement formalized mentoring programs, including “mentoring the mentor” training, and periodic reviews of mentoring results;
• (2) establish grant programs specifically targeted to supporting the PS transitioning from training to an independent research career;
• (3) expand student loan repayment opportunities for individuals who are awarded an NIH or a VA career development grant;
• (4) provide salary support for mentors named on career development awards;
• (5) ensure department-wide salary equity among PSs;
• (6) provide a stable environment for PS faculty to become independent researchers through provision of protected time and, when necessary, bridge funding;
• (7) reconsider criteria for P&T to accommodate the changing environment for PSs’ contributions to biomedical advances and be transparent in P&T decision-making processes;
• (8) pursue new avenues for research and research funding, including expanding partnerships with industry; and
• (9) establish a repository for PS career development data (List 1).

"멘토 멘토링" 교육을 비롯한 정형화된 멘토링 프로그램 구현 및 멘토링 결과 주기적 검토
Implement formalized mentoring programs, including “mentoring the mentor” training, and periodic reviews of mentoring results

정형화된 멘토링 프로그램은 멘티 뿐만 아니라 궁극적으로 교수진의 성공을 통해 기관의 명성을 높일 수 있다. 따라서 팀 기반, 다세대, 다기관 및 다문화 멘토링 그룹은 기관의 하위 교수진에게 광범위하고 긍정적인 영향을 미칠 수 있다. 멘토링 주제는 여러 분야를 다루어야 한다. 구체적인 연구 주제 외에도, 멘토링은 연구의 책임있는 수행, 연구비 지원서 작성, 원고 출판, 리더십, 경력 협상 및 일과 삶의 균형 등에 대해 제공되어야 한다. 멘토 양성 및 멘토링 결과의 주기적인 평가는 기관의 멘토링 프로그램의 필수 구성 요소가 되어야 한다.

Formalized mentoring programs may help not only the protégé but may also ultimately enhance the reputation of the institution through the successes of its faculty. Team-based, multigenerational, multi-institutional, and multicultural mentoring groups, therefore, could have a wide-reaching and positive impact on an institution’s junior faculty members. Mentoring topics should cover several areas; in addition to specific research topics, mentoring should be provided on the responsible conduct of research, grant writing, publication of manuscripts, leadership, career negotiation, and work–life balance. Training of mentors and periodic evaluations of mentoring results should be required components of an institution’s mentoring program.

교육에서 독립적 연구 경력으로의 PS 전환을 지원하기 위한 특별 보조금 프로그램 수립
Establish grant programs specifically targeted to supporting the PS transitioning from training to an independent research career

전환 기간은 젊은 PS에게 특히 취약한 시기이며, PS가 [Training에서 독립적인 연구 커리어로 전환되는 시기]는 이탈Attrition 현상이 발생할 가능성이 더 높은 시기이다. NIH는 현재의 K99/R00 프로그램과 유사한 이 전환 단계에서 PS를 보호하기 위해 특별히 지정된 기금을 적립해야 한다. NIH 연구 섹션은 많은 예비 데이터를 수집하지 않았을 수 있는 매우 유망한 개인을 수용하기 위해 그들의 기대를 재보정할 필요가 있다.
Periods of transition are a particularly vulnerable time for young PSs, and the period when a PS is transitioning from training to an independent research career is one in which attrition may be more likely occur. The NIH must set aside funds specifically designated for PSs with the purpose of protecting them in this transition phase, similar in nature to the current K99/R00 program. NIH study sections need to recalibrate their expectations to accommodate highly promising individuals who may not have amassed a large body of preliminary data.

NIH 또는 VA 경력 개발 보조금을 받은 개인에 대한 학자금 대출 상환 기회 확대
Expand student loan repayment opportunities for individuals who are awarded an NIH or a VA career development grant

많은 PS는 많은 양의 학자금 대출 채무를 축적했는데, 이것은 학계를 떠나 더 수익성이 높은 직업을 가지기로 한 결정에 영향을 미칠 수 있다. NIH 대출 상환 프로그램은 생물의학 연구 경력을 쌓기 위해 자격을 갖춘 의료 전문가를 모집하고 유지하는 것을 돕기 위해 고안되었습니다. 이러한 대출 상환 프로그램 참여자들은 연구 경력을 더 오래 유지하고, 더 많은 연구 보조금을 신청하고 수령하며, 독립적인 조사원이 될 가능성이 더 높은 것으로 나타났다. PS에 대한 대출 상환 기회가 강화되어야 한다.

Many PSs have amassed large amounts of student loan debt, which can factor into their decision to leave academia for a more lucrative profession. NIH loan repayment programs are designed to help recruit and retain highly qualified health professionals into biomedical research careers. Participants in these loan repayment programs have been shown to remain in research careers longer, apply for and receive more research grants, and be more likely to become independent investigators.55 Loan repayment opportunities for PSs should be enhanced.

경력개발상에 선정된 멘토에 대한 급여 지원 제공
Provide salary support for mentors named on career development awards

멘토 경력 개발 상을 받은 젊은 조사원들은 주로 다른 일정이 멘토링 일정보다 우선하기 때문에, 그들은 종종 그들의 멘토들과 함께 보낸 시간을 그들의 기금 기관에 과도하게 보고한다고 지적한다. NIH와 다른 기금 기관은 멘토가 독립적인 연구 경력을 확립하려는 젊은 연구원들의 개발에 수행하는 중요하고 시간이 많이 걸리는 역할을 인식할 필요가 있다. 멘토는 자신의 시간에 대한 보상을 받아야 하며, 자신의 노력과 생산성에 대해 보고할 때 멘토링에 소요된 시간의 비율을 공식적으로 기록할 수 있어야 합니다.
Young investigators with mentored career development awards note that they often overreport the time spent with their mentors to their funding agency,5 mainly because their mentors’ other commitments sometimes take precedence over their mentoring needs. The NIH and other funding agencies need to recognize the important and time-consuming role that mentors play in the development of young investigators looking to establish independent research careers. Mentors should be compensated for their time and allowed to formally record the percentage of time spent mentoring when reporting on their levels of effort and productivity.

PS 간 부서 전체의 급여 형평성 보장
Assure department-wide salary equity among PSs

몇몇 의과대학에서 급여 형평성이 해결되지 않은 채로 남아 있다는 것은 널리 인식되고 있으며, 특히 젠더 간 불평등의 가장 높은 원인이 된다. 부서 의장은 급여 정책을 투명하게 하고, 급여 지급자에게 급여 지급을 제안할 때 급여 분배와 스타트업 패키지에 대해 논의해야 하며, 이후 정기적으로 부서 직원들에게 급여 분배를 보고해야 한다.
It is widely recognized that salary equity remains unresolved in several of the nation’s medical schools, with gender as the highest source of disparity.56,57 Department chairs should be transparent in their salary policies, discuss salary distribution and startup packages when offering a salaried position to a PS, and report salary distributions to department faculty on a periodic basis thereafter.

보호 시간 제공 및 필요한 경우 브리지 자금 지원을 통해 PS 교수진이 독립적인 연구자가 될 수 있는 안정적인 환경 제공
Provide a stable environment for PS faculty to become independent researchers through provision of protected time and, when necessary, bridge funding

PS의 경력 개발은 장기적인 투자입니다. 소득 발생은 수년 단위의 latency period 이후에야 증가한다. 부서 의장과 그 기관은 젊은 PS의 기능과 궤적에 대한 광범위한 비전을 수용하고 이러한 지연을 반영하는 장기 예산을 구성해야 한다. 여기에는 멘토링 감독, 경력 개발 프로그래밍, 보조금 검토, 동료에서 교직원으로의 전환을 위한 자금 지원 등이 포함될 수 있다. 새로운 PS 교수진들이 [연구 경력을 발전]시키면서, 동시에 [자신의 급여를 지원할 수 있을 만큼 충분한 임상 수익을 창출]할 수 있다는 기대는 비현실적이다. 또한 부서 의장은 PS 교수진의 장기적인 일과 삶의 균형을 수용할 수 있는 유연한 옵션을 제공하는 것을 적극적으로 고려해야 한다.
The career development of a PS is a long-term investment; income generation usually increases only after a latency period that is measured in years. Department chairs and their institutions must embrace a broad vision of the function and trajectory of the young PS and construct a long-term budget that reflects this delay. This may include providing mentorship oversight, career development programming, grant reviews, and funding support for the transition from fellow to faculty.58 The expectation that new PS faculty members can generate clinical revenue sufficient to support their salaries while simultaneously developing their research careers is unrealistic. Additionally, department chairs should actively consider providing flexible options to accommodate their PS faculty members’ long-term work–life balance.

생물의학 발전에 대한 PS의 기여에 대한 환경의 변화를 수용하고 P&T 의사결정 과정에 투명성을 유지하기 위해 P&T 기준을 재고한다.
Reconsider criteria for P&T to accommodate the changing environment for PSs’ contributions to biomedical advances and be transparent in P&T decision-making processes

팀 기반 연구는 P&T 심의에서 적절하게 평가되어야 한다. 전통적으로 개별 연구는 금본위제였지만, 지식의 진보가 여러 분야의 기여를 필요로 하는 시대에 팀 기반 연구는 점점 더 일반화되고 중요해지고 있다. P&T 위원회는 현재의 연구 방향을 뒷받침하기 위해 연구자의 필수 기여자로서의 지위를 인정하고 누가 주 연구원으로 지명되든 간에 성공적으로 자금을 지원받은 보조금 제안을 장학금의 증거로 간주하는 정책을 개발해야 한다. 팀 과학 연구의 모델 내에서, 논문의 1저자 자리를 위한 경쟁에 대한 강조는 없어야 한다deemphasized. 마지막으로, 승진 및 종신 재직권 수여에 추가 시간이 필요한 PS에 대한 P&T 고려사항은 패널티 없이 제공되어야 한다.
Team-based research must be valued appropriately in P&T deliberations. Traditionally, individual research has been the gold standard; however, team-based research is becoming increasingly common and more important in an era where advancement of knowledge requires the contributions of multiple disciplines. In support of the current direction of research, P&T committees must develop policies that recognize a researcher’s status as an indispensable contributor and consider a successfully funded grant proposal as evidence of scholarship regardless of who is named as the principal investigator. Within the model of team science research, competition for first-author position on a publication should be deemphasized. Finally, P&T considerations for PSs needing additional time for promotion and the award of tenure should be provided without penalty.

산업계와의 파트너십 확대를 포함한 연구 및 연구 자금 지원을 위한 새로운 방법 모색
Pursue new avenues for research and research funding, including expanding partnerships with industry

비록 NIH가 PS에 대한 대부분의 연구 지원을 제공하지만, 그것이 유일한 지원원으로 여겨져서는 안 된다. 다른 연방 및 주 정부 기관 외에도 민간 및 공공 재단, 전문 사회 및 협회, 산업 및 외국 소스도 연구에 기꺼이 자금을 대려고 한다. 빅 데이터 이니셔티브가 보편화됨에 따라 기관들은 상호 이익이 될 수 있는 파트너십을 수용할 수 있게 될 것입니다.

Although the NIH provides the majority of research support for PSs, it should not be considered the only source of support. In addition to other federal and state agencies, private and public foundations, professional societies and associations, industry, and foreign sources are often willing to fund research. As big data initiatives become more commonplace, institutions would be well served to accommodate partnerships that can be mutually beneficial.

PS 커리어 개발 데이터 저장소 구축
Establish a repository for PS career development data

PS에 대한 [연구 커리어 개발 과정의 개선을 위한 합리적인 계획을 세울 수 있는 자료]가 부족하다. 데이터 저장소는 향후 의사 결정을 위한 강력한 기반을 제공합니다. 최소한 리포지토리는 다음을 포함해야 합니다.

• (1) 사용된 훈련 경로에 대한 설명
  
• (2) 외부 연구비 지원,
  
• (3) 성공적으로 지원된 외부 연구비,
  
• (4) 모든 교육을 완료한 후 최소 5년 동안 수집된 PS에 대한 임명 및 고용 데이터.

There is a paucity of data with which to make rational plans for improvement in the research career development process for PSs. A data repository would provide a strong foundation for future decisions. At a minimum, the repository should include

• (1) a description of training pathways used,
• (2) external grant applications,
• (3) external grants successfully funded, and
• (4) appointment and employment data for PSs collected for a period of at least five years after completion of all training.

요약
Summary

PS 노동력의 적절한 평가는 생물의학 연구의 세계 리더로서의 미국의 지위를 유지하는 데 매우 중요하다. 앞으로, 학술 기관, 정부, 그리고 민간 부문은 직업 선택으로서 생물의학 연구의 일반적인 분야를 홍보하기 위해 협력해야 한다. K-12 교육 시스템의 과학 및 수학 커리큘럼의 향상과 현재 노동력에서 대표성이 부족한 다양한 그룹에 대한 직업 선택으로서의 PS의 홍보도 있어야 한다. 
The proper valuing of the PS workforce is critical to maintaining the status of the United States as the world leader in biomedical research. Moving forward, academic institutions, the government, and the private sector must work together to promote the general field of biomedical research as a career option through the enhancement of science and math curricula in the K–12 education system and the promotion of the PS as a career choice to diverse groups that are currently underrepresented in the workforce.

학문의학은 또한 팀 과학, 빅데이터, 정밀의학을 육성함으로써 생물의학 발전이 달성되는 새로운 방식을 수용해야 하며, 이러한 시책에 관여하는 연구자들이 인정받을 수 있는 메커니즘을 확립해야 한다. 강력하고 실행 가능한 멘토 프로그램을 통해 젊은 PS 교수진을 지원하고 바람직한 독립 연구 경력을 확립하는 데 필요한 지원을 제공하는 조치가 시행되어야 한다. 학계는 관심 있는 젊은 의사들이 연구 경로를 추구하도록 장려하고 모든 진로가 번창하도록 강력한 수준의 지원을 제공하는 효율적인 진로를 만들고 감독해야 한다. 마지막으로, 산업 및 기타 원천과의 새롭고 창의적인 파트너십은 생물의학 발전에 자금을 지원하는 데 도움이 될 수 있다.

Academic medicine must also embrace the new ways in which biomedical advances are achieved by fostering team science, big data, and precision medicine, and must establish mechanisms for researchers involved in these initiatives to be recognized. Measures must be implemented to support young PS faculty through strong, viable mentorship programs and the provision of the support necessary to establish desirable independent research careers. Academia must create and oversee efficient career tracks that encourage interested young physicians to pursue a research pathway and provide robust levels of support so that all career pathways will flourish. Finally, new and creative partnerships with industry and other sources could help fund biomedical advances.

U.S. Physician-Scientist Workforce in the 21st Century: Recommendations to Attract and Sustain the Pipeline

PMID: 28991849

PMCID: PMC5882605

DOI: 10.1097/ACM.0000000000001950

변화 외에는 다른 선택이 없다: COVID-19이후 의학교육의 미래 (Acad Med, 2022)
We Have No Choice but to Transform: The Future of Medical Education After the COVID-19 Pandemic
Catherine R. Lucey, MD, John A. Davis, MD, PhD, and Marianne M. Green, MD

의학교육은 [우리나라가 필요로 하는 의료 인력], 즉 [우리의 다양한 환자와 지역사회의 건강에 긍정적인 영향을 미칠 수 있도록 집단적으로 준비된 인력]을 교육하기 위해 존재한다. 코로나19 범유행의 혼란은 매년 수만 명의 잘 훈련된 의사를 졸업시키는 인력 파이프라인의 연속성을 위협했다. 그러나 기관 내 및 기관 전반에 걸친 협업 작업, 혁신적인 사고, 위기 관리는 교육 지도자들이 의료 교육의 연속성을 유지할 수 있게 해주었다. 팬데믹 위기의 종말이 다가옴에 따라, 전국의 교육자들은 팬데믹이 미국 의학 교육의 전략적 변곡점 즉, 우리 연구의 기초가 환자의 건강과 건강 관리 요구를 더 잘 해결하기 위해 바뀔 수 있고 변화해야 하는 시기를 촉진했는지 여부를 고려하고 있다. 
Medical education exists to educate the physician workforce that our nation needs: a workforce that is collectively prepared to positively impact the health of our diverse patients and communities. 1 The disruptions of the COVID-19 pandemic threatened the continuity of the workforce pipeline that graduates tens of thousands of well-trained physicians each year. Yet, collaborative work, innovative thinking, and crisis management within and across institutions enabled educational leaders to sustain the continuum of medical education. As the end of the pandemic crisis seems within reach, educators across the country are considering whether the pandemic has catalyzed a strategic inflection point for American medical education—a time when fundamentals of our work can and must change to better address the health and health care needs of our patients. 2,3

경제, 기술, 정치, 사회 규범의 변화든 간에 모든 산업의 위기는 종종 전략적 변곡점을 촉발한다.

• 위기는 일부 기존 전략의 가치를 강화하는 동시에, 현재 작업의 취약성과 누락된 요소를 조명한다.
• 위기는 현상에 대한 의존을 불가능하게 만들고, 살아남기 위해 실험과 혁신을 필요로 한다.
• 위기는 이해관계자들이 한 때 불가능하다고 여겨졌던 것이 실현 가능할 뿐만 아니라 바람직하다는 것을 깨닫게 함으로써 변화에 대한 안일함과 저항을 극복한다. 
• 본질적으로, 위기는 지도자들에게 변혁 외에는 다른 선택(실패를 빼면)을 주지 않기에 변화를 촉진한다.

Crises in all industries, whether due to changes in economics, technology, politics, or social norms, often precipitate a strategic inflection point. 4 

• These crises illuminate the vulnerabilities and missing elements of current work at the same time they reinforce the value of some existing strategies.
• They make reliance on the status quo impossible, necessitating experimentation and innovation to survive.
• They overcome complacency and resistance to change by helping stakeholders realize that what was once thought to be impossible is not only feasible but also desirable.
• In essence, crises catalyze change because they present leaders with no choice but to transform—or to fail.

2020년 3월에 선언된 COVID-19 대유행의 첫 해는 의료 교육에 대한 현재의 접근 방식에 대해 축하할 것이 많다는 것을 보여주었다. 개인과 의사팀이 한 작업은 의료교육의 핵심역량 중심의 교육의 효과를 부각시켰다. 의사 및 보건의료전문인력은 남다른 전문직업성을 보여주었다.

• 의료 자원이 부족한 지역사회로 이동을 자원했다.
• 문제를 해결하기 위해 과학적 지식을 사용하여 전염병을 예측하고, 바이러스학, 면역학 및 생리학 개념을 활용하여 새로운 치료 전략을 설계했으며, 새로운 치료제를 찾아내고 잘 설계된 임상시험에서 시험하였다.
• 제한된 자원의 배치에 대한 윤리적 접근 방식을 모색했고, 집에서 환자를 돌볼 수 있는 새로운 치료 모델을 설계하기 위해 시스템 기반 개선에 대한 지식을 사용했다.
• 전체적으로, 의사들은 모든 지역사회를 위한 교육, 홍보 및 문제 해결에 참여하기 위해 의사소통과 전문 간 팀워크에 대한 기술을 사용했다.

The first year of the COVID-19 pandemic, which was declared in March 2020, illustrated that there is much to celebrate about current approaches to medical education. The work done by individual and teams of physicians highlighted the effectiveness of education centered on medical education’s core competencies. Physicians and other health professionals exhibited extraordinary professionalism.

• They volunteered to travel to communities with limited health care resources.
• They used their scientific knowledge to solve problems, applying epidemiologic principles to predict the pandemic; leveraging concepts in virology, immunology, and physiology to design new care strategies; and identifying new therapeutic agents and testing them in well-designed clinical trials.
• They sought ethical approaches to the deployment of limited resources and used their knowledge of systems-based improvement to design new care models that enabled care of patients in their homes.
• Throughout, physicians employed skills in communication and interprofessional teamwork to engage in education, outreach, and problem solving for all communities.

의료교육 생태계의 단층선
Fault Lines in Medical Education Ecosystem

그러나, 초기의 대유행 위기는 또한 의료 시스템, 의료 교육 기관, 그리고 전문 단체들의 생태계가 우리 나라가 필요로 하는 인력을 준비하는 방법에 있어서 단층을 드러냈다. 개별 의사의 전문성과 헌신에도 불구하고, 전염병은 우리 환자들의 건강을 위협하고 있는 많은 해결되지 않은 문제들을 부각시켰다.

• 만성질환이라는 Noncommunicable epidemics은 (심장병, 당뇨병, 비만, 물질 사용 장애 등) 전염병 발병률과 사망률을 증가시켰다.
• 의사의 지리적, 전문적 분포 불량으로 인해 도시 내, 시골 지역, 그리고 아메리카 원주민의 지역사회에 의사 수와 유형이 부족하게 되었다.
• 건강 및 건강 관리 불균형의 치명적인 엔데믹endemic 상태는 유색인종 커뮤니티에서 질병과 사망률의 극적으로 다른 수준을 초래했다.
• 명백하게, 올해 우리는 심각한 건강 상태와 도전적인 사회 문제의 상호작용이 많은 지역사회에 재앙적인 결과를 초래하는 [Syndemic의 시대]에 살고 있다는 우리의 이해를 구체화했다. 

However, the initial pandemic crisis also uncovered fault lines in the ways in which the ecosystem of health care systems, medical education institutions, and professional organizations prepare the workforce our nation needs. Despite the expertise and commitment of individual physicians, the pandemic highlighted the many unsolved problems that are threatening the health of our patients

• Noncommunicable epidemics of chronic diseases, such as heart disease, diabetes, obesity, and substance use disorder, contributed to pandemic morbidity and mortality.
• Physician geographic and specialty maldistribution left communities in inner cities, rural areas, and on Native American Land with insufficient numbers and types of physicians.
• The pernicious endemic state of health and health care disparities resulted in dramatically different levels of morbidity and mortality in communities of color.
• With clarity, this year crystallized our understanding that we are living in an era of syndemic conditions, where the interaction of serious health conditions with challenging social problems leads to catastrophic outcomes for many communities. 5,6

대유행은 의학 교육의 재설계에 대한 요구가 증가하는 20년 말에서 일어났다. 이러한 권고사항 중 많은 수가 대유행 대응 및 다음과 같은 단층선과 관련된 전략을 제안했다.

• 더 큰 사회적 책무에 초점을 맞춥니다. 
  
• 사회, 행동, 인구 및 데이터 과학을 포함하는 기초 과학의 범위 확장 
  
• 핵심 임상 기술로서 시스템 개선을 채택한다. 
  
• 보다 공정하고 효과적인 평가 전략과 함께 역량 기반, 시간 변동 교육의 구현 
  
• 의사-환자 관계를 넘어선 관계를 통합하기 위한 프로페셔널리즘의 핵심 원칙의 재고 
  
• 전문직 간 교육의 중시prioritization
  
• 학부 및 대학원 의학 교육(UME 및 GME) 간 이행 재설계
  
• 교육 프로그램의 모든 측면에서 다양성, 형평성, 포함의 달성. 

The pandemic occurred at the end of 2 decades of increasing calls for redesign of medical education. 5,6 Many of these recommendations proposed strategies relevant to the pandemic response and these fault lines:

• a focus on greater social accountability;
• an expansion of the canon of basic sciences to include social, behavioral, population, and data sciences;
• adoption of systems improvement as a core clinical skill;
• implementation of competency-based, time-variable training along with more equitable and effective assessment strategies;
• reconsideration of core tenets of professionalism to incorporate relationships beyond the doctor–patient relationship;
• prioritization of interprofessional education;
• redesign of the transition between undergraduate and graduate medical education (UME and GME);
• and attainment of diversity, equity, and inclusion in all aspects of the educational program. 7–12

그러나, 변화에 대한 명확하고, 정의되고, 국가적으로 받아들여지는 긴급성 없이, 이러한 권고된 개혁 전략의 채택은 산발적이었고, 의료 교육의 변화는 점진적으로 이루어졌다. 그러한 비전이 없는 경우, 변화의 이익은 변화의 위험보다 덜 설득력 있는 것으로 간주된다.

However, without a clear, defined, nationally accepted urgency to change, the uptake of these recommended reform strategies has been sporadic and change in medical education has been incremental. In the absence of such a vision, the benefits of change are viewed as less compelling than the risks of change.

변화를 촉진하는 긴급성
Urgency Catalyzes Change

대유행은 UME와 GME의 확립된 시스템을 위협하는 희소성, 위험성 및 불확실성의 요소를 도입했다(표 1 참조). 그 결과 의료 교육에 대한 중단은 위에서 설명한 불완전하게 채택된 많은 개혁의 필요성을 검증했을 뿐만 아니라 변화 저항을 초월하는 긴급성의 힘을 보여주었다. 전체적으로, 의과대학, 레지던트 프로그램, 학술 건강 시스템, 국가 면허 및 인증 기관, 전문 기관들은 만약 그들이 바뀌지 않는다면, 수백만 명의 사람들이 죽을 것이라고 인식했다. 이러한 긴박감이 이 생태계의 모든 이해 관계자들을 변화시켰고, 그들은 함께 거의 하룻밤 사이에 환경을 변화시켰습니다. 

The pandemic introduced elements of scarcity, risk, and uncertainty that threatened the established systems of UME and GME (see Table 1). The resulting disruptions to medical education not only validated the need for many of the incompletely adopted reforms outlined above but also demonstrated the power of urgency to transcend change resistance. Collectively, medical schools, residency programs, academic health systems, national licensing and accreditation agencies, and professional organizations recognized that, if they did not change, millions of people would die. It was this sense of urgency that catalyzed all the stakeholders in this ecosystem to change, and together they transformed the landscape almost overnight. 

리더십 팀은 의료 교육의 각 단계에서 높은 기술을 가진 의사들로 구성된 코호트를 반드시 졸업시키기 위한 작업에 착수하면서도, 유행병에도 불구하고 기준을 낮추지 않았다. 그들은 주요 교육 요소를 보호하기 위해 전략을 세웠고 확립된 전략을 더 이상 사용할 수 없을 때 작업을 지속할 수 있는 새로운 접근 방식을 설계하도록 혁신했다(표 2 참조).  

Leadership teams embarked on work to graduate a cohort of highly skilled physicians from each phase of medical education, without fail and without lowering standards despite the pandemic disruptions. They strategized to protect key educational elements and innovated to design novel approaches to sustain their work when established strategies were no longer available (see Table 2). 13

전염병에도 불구하고, 학생과 교육생의 수업을 졸업할 수 있는 프로그램의 능력을 유지하기 위해 사용된 실험은, [교실과 임상 교육에 대한 다양한 접근 방식을 사용하여 성공할 수 있다는 것]을 보여주었다. [질병의 분자적 기반]뿐만 아니라, [환자와 지역사회가 건강과 질병을 경험하는 맥락]도 다루어야 하는 필요성이 명확했기에, [의사가 Syndemic 조건을 인식하고 협력할 수 있도록 준비하는 교육 전략]의 중요성을 조명했다. 아마도 가장 중요한 것은 [바이러스가 지역사회, 주 경계, 국경을 넘어 대혼란을 일으킨 것]처럼, 모든 사람으로 하여금 [의료 교육 전략과 개혁도 제도적 및 프로그램 경계를 넘어야 한다는 것]을 상기시켰다는 점이다.
The experimentation that was employed to sustain programs’ ability to graduate classes of students and trainees despite the pandemic showed that success can be achieved using many different approaches to classroom and clinical education. The clarity of the need to address not only the molecular basis of disease but also the context in which patients and their communities experience health and illness illuminated the importance of an educational strategy that prepares physicians to recognize and collaborate to tackle syndemic conditions. Perhaps most importantly, a virus that wreaked havoc across communities, state lines, and national borders reminded all that medical education strategies and reform must also cross institutional and program borders.

의료 교육의 미래에 대한 비전은 [재난과 위기관리 과정]과 함께, 다음 유행병에 대비하기 위한 의사 인력 준비의 필요성에 초점을 맞출 수 있다. 그러나 [성공적인 의학교육 전략의 스트레스 테스트]는 [위기가 닥쳐서 개인, 기관, 조직에 의한 짧은 기간 동안 특별한 일을 해내기를 요구할 때조차 Workforce가 최상의 기능을 하게 만드는 방법]이 되어서는 안 된다. 그보다, [의학교육이 환자와 지역사회를 위해 최적의 인력을 생산했는지에 대한 스트레스 테스트]는 우리가 권력과 특권에 상관없이 매일, 모든 지역사회에서, 모든 환자에게 고품질의, 공평한, 환자 중심의 치료를 얼마나 안정적으로 제공하는가 하는 것이다.
Visioning for the future of medical education could focus simply on the need to prepare the physician workforce to be ready for the next pandemic, with coursework in disaster and crisis management. But the stress test of a successful medical education strategy should not be how the workforce functions at its best, when a crisis calls for a short period of extraordinary work by individuals, institutions, and organizations. Instead, the stress test of whether medical education has produced the optimum workforce for our patients and communities is how reliably we deliver high-quality, equitable, patient-centered care every day, in every community, to every patient, regardless of power or privilege.

대유행의 종말이 다가옴에 따라, 사람들은 대유행 기간 동안 의료 교육의 변화를 주도했던 긴박감이 사라졌다고 생각할 수 있다. 만약 우리가 [만성 질환의 신데믹 상황, 부정적인 사회적 건강결정요인, 건강 관리의 차이에서 기인하는 지속적인 질병과 사망률]에 초점을 맞춘다면 지금의 긴박성은 계속될 수 있다. 만약 우리가 이러한 죽음을 막기를 원한다면, 우리는 의료 교육 생태계 전반에 걸쳐 변화할 수밖에 없습니다.

As the end of the pandemic looms, one might assume that the sense of urgency that drove transformational change in medical education during the pandemic is lost. That urgency can continue if we focus on the ongoing morbidity and mortality attributable to the syndemic conditions of chronic diseases, adverse social determinants of health, health care disparities, and more. If we hope to prevent these deaths, we have no choice but to transform—throughout the ecosystem of medical education.

미국 의학교육의 변혁적 비전
A Transformative Vision for Medical Education in the United States

변혁은 aspirational하고 inspirational한 의학교육의 미래에 대한 비전을 필요로 한다. 즉, 의학교육뿐만 아니라 직업과 더 넓은 사회에서 이해 관계자들을 고무시킬 수 있는 개인을 위한 문샷이다. 우리는 다음과 같은 비전과 약속을 제안합니다.
Transformation requires a vision for the future of medical education that is aspirational and inspirational: a moonshot on behalf of personkind that can galvanize stakeholders not only in medical education but also in the profession and broader society. We propose the following vision and promise.

우리의 비전
Our vision

2020년 COVID-19 대유행의 여파로, 미국의 의료 교육 생태계는 모든 공동체의 모든 사람들이, 그들이 필요로 하는 시스템에서, 그들이 원하는 의사들에게 접근할 수 있도록 보장하여, 그들이 예방 가능한 질병과 죽음으로부터 자유롭고, 건강하고, 충실한 삶을 살 수 있도록 하기 위해 노력할 것을 약속한다.
In the wake of the 2020 COVID-19 pandemic, the U.S. medical education ecosystem commits to working to ensure that every person in every community has access to the physicians that they want in the systems they need so that they may live long, healthy, and fulfilling lives, free of preventable illness and death.

우리의 약속
Our promise

우리는 [의학교육의 연속적 변혁]의 10년을 시작할 것입니다.

• 의료 교육 및 프로그램이 존재하는 지역사회에 대한 모든 이해당사자의 지원을 받고 관여한다. 
  
• 우수성, 사회적 책임, 사회적 정의, 지속적인 개선 및 학습자 복지의 원칙에 의해 인도됩니다.

We will embark on a decade of transformation of the continuum of medical education;

• supported by and involving all stakeholders in medical education as well as the communities in which our programs exist; and
• guided by principles of excellence, social accountability, social justice, continuous improvement, and learner well-being.

혁신을 위한 10년 만기 10개 시점 플랫폼
A 10-Year, 10-Point Platform for Transformation

이 비전을 실현하기 위해, 우리는 향후 10년 내에 달성해야 하는 의료 교육의 연속성에 대한 10가지 목표를 제안한다(목록 1 참조). 이러한 목표는 전염병에 대응하기 위해 교육자가 수행한 실험에 의해 정보를 얻고, 의료 교육의 효과적인 전략에 대한 확립된 문헌에 의해 뒷받침된, 변혁적 비전transformative vision을 달성할 인력을 구축하는 우리의 능력을 강화한다. 성공을 위해서는, [의료 교육의 연속체에 걸쳐 동기화되고 시너지 효과를 발휘하는 행동]이 필요할 뿐만 아니라, 개별 프로그램과 학교에서부터 의료 교육과 의료계를 대표하는 국가 조직에 이르는 [통제 지점control points에서의 조정된 노력]이 필요하다. 각 업무 영역에는 일반적으로 성공적인 전략 계획에서 발견되는 모든 요소, 즉 거버넌스, 책임 구조, 메트릭스, 리소스, 커뮤니케이션 전략 및 이해관계자 입력과 같은 포괄적인 접근 방식이 필요합니다.

To realize this vision, we propose 10 goals for the continuum of medical education that must be accomplished in the next decade (see List 1). These goals strengthen our ability to build the workforce that will achieve the transformational vision, informed by experiments conducted by educators to respond to the pandemic and bolstered by the established literature on effective strategies for medical education. Success will require synchronized and synergistic action across the continuum of medical education, as well as coordinated efforts at control points that range from individual programs and schools to national organizations representing medical education and the medical profession. Each area of work requires a comprehensive approach, with all elements typically found in successful strategic plans: governance, accountability structures, metrics, resources, communication strategies, and stakeholder input.

목표 1: 전국의 모든 지역사회에서 보건 및 의료 개선을 위해 헌신하는 성공적인 노동력을 위한 국가적 비전 채택
Goal 1: Adopt a national vision for the successful workforce, committed to improving health and health care in all communities across the country

원칙:
Principle:

현재와 미래의 의료진은 국가 및 세계 보건 위협이 생물학, 행동, 사회 시스템 및 환경 조건의 복잡한 상호 작용에서 비롯된다는 것을 이해하도록 교육해야 한다. 그들은 만성적인 증후군 문제를 해결하고 주기적인 유행병에 대응하기 위해 우리의 다양한 지역사회를 지원하기 위해 집단적으로 일하는 데 필요한 지식, 성향 및 기술을 준비해야 한다. 
The current and future physician workforces should be educated to understand that national and global health threats result from a complex interplay of biology, behavior, social systems, and environmental conditions. They must be prepared with the knowledge, dispositions, and skills needed to work collectively in support of our diverse communities to solve chronic syndemic problems as well as to respond to periodic pandemics. 5

건강에 대한 이러한 복잡한 도전에 대한 해결책을 이해, 제안 및 제정하기 위해, 의사 인력들은 다양한 과학 및 학술 분야의 엄청난 발전을 사용하고 기여할 준비가 되어 있어야 한다. 지적으로, 그들은 충실함과 동정심을 가지고 오늘날의 지식을 적용할 수 있을 뿐만 아니라, 떠오르는 애매한 문제들을 통해 빠르게 추론할 수 있어야 한다. 그들은 너무 복잡하고 너무 큰 것으로 오랫동안 무시되어 온 건강 관리 격차와 같은 사악한 문제를 찾고 해결해야 하는 필요성을 받아들여야 한다.
To make sense of, propose, and enact solutions to these complex challenges to health, the physician workforce must be prepared to use and contribute to the tremendous advances in a diverse set of scientific and scholarly disciplines. Intellectually, they must be capable not only of applying today’s knowledge with fidelity and compassion but also of rapidly reasoning through emerging ambiguous problems. They must accept the imperative to seek out and address the wicked problems, like health care disparities, that have long been neglected as too complex and too large.

학생부터 전공의, 교수진, 의사까지, 이상적인 유행 후 노동력은 모든 정체성과 관련하여 다양해야 하며 문화적 겸손을 가지고 자신과 다른 사람들에게 접근하는 데 능숙해야 한다. 노동력은 사람과 인구의 건강을 개선하기 위해 필요한 작업에 참여할 수 있는 특정한 마음 습관을 배양하도록 교육되어야 한다(표 3 참조). 그들은 다면적인 원인에 대해 이해하고 다면적인 해결책을 제안하고 실험하기 위해 보건의료전문가들 사이에서 집단적으로 일할 수 있어야 한다. 그들은 기꺼이 사회 정의, 엄격한 과학, 그리고 건강, 의료 서비스 전달 및 의료 교육을 위한 강력하고 신뢰할 수 있는 공평한 시스템의 재정, 설계 및 지속적인 개선을 옹호해야 한다. 마지막으로, 그들은 우리의 일상 업무에 존재하며 위기 상황에서 증폭될 수 있는 의무에 대한 요구를 수용하는 데 동의해야 한다.

The ideal postpandemic workforce, from students to residents to faculty and practicing physicians, must be diverse with regard to all identities and skilled at approaching people different than themselves with cultural humility. That workforce must be educated to cultivate specific habits of mind that enable them to engage in the needed work to improve health for people and populations (see Table 3). They must be able to work collectively within and across health professions to understand multifaceted causes as well as propose and experiment with multifaceted solutions. They must be willing to advocate for social justice; rigorous science; and the financing, design, and continuous improvement of robust and reliably equitable systems for health, health care delivery, and medical education. Finally, they must agree to accept the call to duty that exists in our everyday work and may be amplified in times of crisis.

의사들이 개별적으로 그리고 집단적으로 팬데믹 위기를 해결하기 위해 가정하고 신데믹 컨디션을 해결하기 위해 가정해야 하는 역할의 범위는 CanMEDs 역량에 의해 잘 요약된다.  모든 의사가 모든 의료 분야에서 기본 역량을 개발하고 특정 분야의 전문지식을 개발하듯이, 모든 의사는 일부에 대한 전문지식을 갖춘 이러한 모든 역할에 대한 기본 전문지식을 개발해야 한다. 의사-과학자의 경로는 강화되고 다양화되어야 한다. 의사-공공보건 전문가, 의사-커뮤니티 파트너십 전문가, 의사-반인종주의 전문가가 문제를 분석하고 해결할 수 있도록 유사한 번역 역할을 고안할 수 있다. 보건 및 의료 문제에 대한 보다 통합적이고 체계적인 해결책에 기여하는 비생의학 과학 분야에 대한 깊은 이해를 통합한다.

The breadth of roles that physicians individually and collectively assumed to address the pandemic crisis and must assume to address syndemic conditions is well summarized by the CanMEDS competencies. 14 Just as all physicians develop a basic competency in all medical fields and expertise in specific disciplines, all physicians must develop basic expertise in all of these roles with expertise in some. The physician–scientist pathway must be strengthened and diversified. 15,16 Similar translational roles could be devised for physician–public health experts, physician–community partnership experts, or physician–antiracism experts to analyze and solve problems incorporating deep understanding of nonbiomedical science disciplines that contribute to more integrative and systematic solutions to health and health care challenges.

[미래의 의사가 누구인가에 대한 명확한 비전]과 함께, 우리는 또한 [현재 의사 인력이 차세대 의사를 이 비전의 일부로 교육할 준비가 되어 있는지]를 확실히 해야 하며, 그렇게 하기 위해서는, [현재의 의사 인력]이 이러한 중요한 노력에 대비하기 위해 [지속적인 교육과 개발을 받을 수 있도록] 해야 한다. 나머지 목표 각각에서, 우리는 의료 교육 프로그램의 교육 우선 순위뿐만 아니라 우리의 개업 의사와 건강 관리 시스템에서 이러한 기술의 육성을 고려하는 것이 필수적이다. 그리고 교육을 통해 아래 필요한 변화를 이끌어내기 위해 그들이 필요로 하는 기술을 배양하기 위해 우리가 취해야 할 조치입니다. 

In conjunction with this clear vision of who the physician of tomorrow should be, we are likewise called to ensure that our current physician workforce is ready to educate the next generation of physicians as part of this vision, and to do so, that they receive ongoing education and development to prepare them for this critical endeavor. In each of the remaining goals, it is imperative that we consider not simply the educational priorities of our medical education programs but also the fostering of these skills in our practicing physicians and health care systems, and the steps we must take to cultivate the skills they need to bring about the transformation needed below through education.

목표 2: 의료 및 의료 교육에서 [구조적 인종차별의 결과 및 징후]를 적극적으로 찾고 제거함으로써 의료 교육 및 의료 보건 분야에서 사회적 정의를 실현합니다.
Goal 2: Achieve social justice in medical education and health care across the country by actively seeking out and eliminating the consequences and manifestations of structural racism in medicine and medical education

원칙:
Principle:

의료계는 모든 지역사회의 모든 환자들이 다음과 같은 확신을 가질 수 있도록 소외된 지역사회의 건강과 건강관리를 위협하는 구조적, 대인관계적 인종차별을 다룰 도덕적, 전문적인 책임이 있다.

• 의료 시스템은 [의료 격차를 찾아 제거]하도록 설계된다.
  
• 모든 의사는 의료 및 의료 교육에서 [구조적 인종차별을 다루도록 설계된 커리큘럼을 교육]을 받았으며, [문화적 겸손함]으로 의사-환자 관계에 전념한다.
  
• 의과대학은 [다양한 모집단이 번영할 수 있는 기회를 증가시키는 전략]을 사용하여, 의사가 기여하는 [모든 임무 영역과 모든 전문 분야를 다양의 다양성을 높이는] 데 전념하고 있다.

The medical profession has a moral and professional responsibility to address the structural and interpersonal racism that threatens the health and health care of marginalized communities with the same rigor and commitment that it has addressed patient safety and quality so that all patients in all communities have confidence that:

• health systems are designed to seek out and eliminate health care disparities;
• all physicians have been educated in a curriculum designed to address structural racism in medicine and medical education and are committed to engaging in doctor-patient relationships with cultural humility; and
• medical schools recognize the imperative of and are committed to diversifying all mission areas and all specialties in which physicians contribute, using strategies that increase the opportunity for diverse populations to thrive.

지금까지 문헌에는 [구조적 인종차별]이 열악한 건강과 건강 관리 성과에 영향을 미치며, 소수 공동체 학생들이 의과대학에서의 기회가 어떻게 제한되는지를 조심스럽게 문서화했다. 

The literature has carefully documented the many ways in which structural racism contributes to poor health and health care outcomes and limits the opportunity for students from minority communities to enter, thrive once within, and successfully pursue the most competitive careers following medical school. 17–19

[사회 정의를 달성하는 데 필요한 계획의 포괄성]은 Frye 외 연구진에 의해 요약된다. "인종차별을 없애기 위해서는 사고, 믿음, 행동, 그리고 존재의 혁명만이 문제를 해결할 것입니다."  유색인종에 대한 의료 착취와 실험의 역사, 생물학적인 구조로서의 인종에 대한 잘못된 가르침, 유색인종을 의료계에서 배제함으로써 초래된 피해를 공개적으로 인정하고 복구하는 데 전념해야 한다.

The comprehensiveness of the plan needed to achieve social justice is summarized by Frye et al: “To eliminate racism, nothing short of a revolution in thinking, believing, acting, and being will solve the problem.” 20 The profession must publicly acknowledge and commit to repairing the damage that has been done by the history of medical exploitation and experimentation on people of color, false teachings about race as a biological construct, and exclusion of people of color from the medical profession.

이 목표를 달성하기 위해서는 [의료 교육 생태계 전반에 걸친 포괄적인 전략]이 필요하며, 여기에는 문화 변화가 필수적이다. (보건의료 분야에서 일하고, 배우고, 돌보고, 발견하는) 모든 사람들은 [최고의 과학, 의학, 교육으로 우리 공동체를 위해 봉사하는 능력]은 [사회 정의를 성취하기 위해서는 헌신하는 다양한 노동력]을 필요로 한다는 것을 받아들여야 한다. 의료 시스템과 의료 교육의 모든 정책과 절차는 역사적으로 의학에 의해 소외된 집단의 사람들에게 미치는 차등적 영향을 검사해야 한다. 미국 의과대학의 문화와 관행을 정하는 의과대학 입학전략, 레지던트 후보자의 선발과 랭킹, 교수채용이 재설계돼야 다양성 달성이 가속화될 수 있다. 학생과 전공의에 대한 모든 평가 프로세스, 교직원을 위한 승진 프로세스, 리더십 선발 프로세스도 마찬가지로 편향에 대해 평가되어야 하며, 형평성과 다양성에 최적화되어야 한다. 

Achieving this goal requires a comprehensive strategy across the entirety of the medical education ecosystem with culture change as an essential element. All people who work, learn, care, and discover in the health professions must accept that our ability to serve our communities with the best science, medicine, and education demands a diverse workforce, with all committed to achieving social justice. All policies and procedures in health care systems and medical education must be examined for differential impact on people from groups that have been historically marginalized by medicine. Admissions strategies to medical school, selection and ranking of residency candidates, and selection of faculty who set the culture and practices of U.S. medical schools must be redesigned to accelerate achievement of diversity. All assessment processes for students and residents, advancement processes for faculty, and selection processes for leadership must be similarly evaluated for bias and optimized for equity and diversity.

교육 연속체에 걸쳐, 커리큘럼은 단지 유색인종만이 아니라, 모든 의사가 의료에서의 인종차별의 역사와 보건과 의료에 대한 구조적 인종차별의 파괴적인 결과를 이해하고 구조적 역량과 반인종차별에 대한 기술로 준비하도록 보장하는 내용을 통합해야 한다. 교수진은 신데믹의 개념을 통합하기 위해 기존 강의를 재설계하고, 생물학적 구인으로서 인종을 제거하며, 모든 인구에게 존중되는 언어와 사례를 채택하도록 교육되어야 한다. 국가 차원에서 인가 기관에는 책임 전략이 포함되어야 한다. 또한, 의과대학은 우수성의 핵심 척도로서 [형평성과 포용의 달성을 우선시]하지 않는다면 [어떤 전국적 종합 랭킹 전략에 참여하는 것을 거부]해야 한다.

Curricula across the education continuum must incorporate content that ensures that all physicians, not just those of color, understand the history of racism in medicine and the devastating consequences of structural racism on health and health care and are prepared with skills in structural competency and antiracism. Faculty must be educated to redesign existing lectures to incorporate the concept of syndemics, to eliminate race as a biological construct, and to employ language and cases that are respectful to all populations. At the national level, accountability strategies must be imbedded in accreditation agencies. Furthermore, medical schools should decline to participate in any national summative ranking strategy that does not prioritize achievement of equity and inclusion as a core measure of excellence.

목표 3: 현재와 미래의 모든 의료진이 질병과 질병으로 고통받는 현상의 원인을 해결하는 데 필요한 다양한 역할과 책임을 수용하도록 커리큘럼을 설계합니다.
Goal 3: Design curricula to prepare all in the physician workforce, present and future, to embrace the breadth of roles and responsibilities needed to address syndemic causes of suffering from illness and disease

원칙:
Principle:

의학교육의 근간을 이루는 기초과학과 임상기술의 규범은 [의사가 해결해야 할 문제의 유형]과, 그들이 [사용할 수 있어야 하는 도구]에 기초하여 재정의되어야 한다.
The canon of basic sciences and clinical skills that form the backbone of medical education must be redefined based on the types of problems physicians will be called upon to solve and the tools that they must be able to use.

대유행은 모든 의사들이 전통적인 생물의학 과학을 넘어서는 복잡한 질병의 메커니즘을 이해할 수 있어야 한다는 것을 보여주었다. 이를 위해서는 학교와 프로그램이 더 광범위한 학문 분야를 포함하기 위해 필요한 "기초과학"을 재인식해야 한다(표 4 참조). 사실을 가르치고 평가하는 것에서 벗어나, [각 분야의 문턱 개념]으로 초점을 이동하면 커리큘럼의 공간 부족에 대한 우려를 최소화할 수 있다. 모든 의사에게 요구되는 기준 역량은 각기 다른 과학 분야가 자신의 작업과 관련된 새로운 발견을 읽고 비판적으로 평가할 수 있도록 질문을 조사하는 방법을 이해하는 데 필요한 역량으로 정의할 수 있다. 다양한 영역에서 보다 발전된 역량은 번역 및 발견 기반 의사의 역할과 일치합니다. 국가 면허 시험은, 검색 가능한 사실보다는, [현대의 문제를 해결하고 개념 숙달을 테스트]하는 데 필요한 지식체에 우선 순위를 부여하는 내용으로 레거시 문제를 재설계할 준비를 해야 한다.

The pandemic illustrated that all physicians must be able to understand complex mechanisms of disease that extend beyond traditional biomedical sciences. This requires schools and programs to reconceptualize the required “basic sciences” to include a broader set of scholarly disciplines (see Table 4). Shifting a focus away from teaching and assessing facts and toward a focus on threshold concepts of each of these disciplines can minimize concerns about lack of space in the curriculum. Baseline competency required of all physicians can be defined as the competency needed to understand how different scientific disciplines investigate questions so that they can read and critically evaluate new discoveries relevant to their work. More advanced competencies in different areas fit with the role of translational and discovery-based physicians. National licensing exams must be prepared to redesign legacy questions with content that gives equal priority to the bodies of knowledge needed to address contemporary problems and tests mastery of concepts rather than searchable facts.

전염병 대란은 또한 임상 기술 훈련이 어떻게 진화해야 하는지에 대한 통찰력을 제공했다. =원격 의료와 원격 전자 모니터링]의 빠른 보급은 [모든 의사에게 일상화되어야 하는 새로운 기술 세트]와 [구현의 잠재적 함정]을 드러내었다. 생물학적 구성체로서 인종을 부적절하게 사용하는 방법이 팬데믹에서 볼 수 있는 건강 관리 격차의 유형에 기여할 수 있는 방법의 노출은 인종, 인종 차별 및 불리한 사회적 요인이 임상 프레젠테이션, 임상 추론 연습에 적절하게 통합되는 방법을 재설계해야 할 것이다. 환자 중심의 진료기록카드입니다.

The pandemic disruptions also provided insights into how clinical skills training must evolve. The rapid uptake of telemedicine and remote electronic monitoring introduces a new set of skills that should become routine for all physicians as well as potential pitfalls in their implementation. 21,22 The exposure of ways in which the inappropriate use of race as a biological construct can contribute to the types of health care disparities seen in the pandemic will require redesign of the way race, racism, and adverse social factors are respectfully incorporated into clinical presentations, clinical reasoning exercises, and the patient-oriented medical record. 23 

[컴퓨터 보조 진단 추론]의 유망한 미래를 충족시키려면, 의사들은 이러한 시스템이 해결책을 제안하는 방법과 컴퓨터 생성 편향 요소가 어디에서 어떻게 나타날 수 있는지 가르쳐야 한다. 마지막으로, "모든 사람의 일손을 모을 필요"를 요구하는 전염병은, 훈련의 각 단계에서, 모든 의사에게 임상 기술 지침의 핵심 측면으로서, 전문 간 협업 관리와 팀 기반 시스템 개선의 중요성을 입증했다. 

To fulfill the promise of computer-assisted diagnostic reasoning, physicians must be taught how these systems propose solutions and where and how elements of computer-generated bias may appear. Finally, the pandemic, with its “all hands on deck” needs, demonstrated the importance of interprofessional collaborative care and team-based systems improvement as core aspects of clinical skills instruction for all physicians at each stage of training. 7,24,25

목표 4: 의료 교육 프로그램을 지역 사회 및 정부와 협력하여 이러한 문제에 교육 프로그램을 집중함으로써 전국 지역사회에서 질병과 사망의 가장 긴급한 원인을 식별하고 해결한다.
Goal 4: Identify and address the most pressing causes of morbidity and mortality in communities across the nation by challenging medical education programs to partner with local communities and governments to focus educational programs on these issues

원칙:
Principle:

각 의과대학과 레지던트 프로그램은 [커리큘럼과 학습 경험을 설계하는 데 있어 가지고 있는 자유도latitude]를 사용하여, 그들 자신이 속한 지역의 건강 및 건강 관리 과제와 관련된 내용을 우선시하고 또한 그들 기관의 고유한 사명을 발전시켜야 한다.
Each medical school and residency program should use the latitude they have in designing curricula and learning experiences to prioritize content that is relevant to the health and health care challenges in their communities, while also advancing the unique mission of their institution.

감염의 곡선을 평평하게 만들어야 하는 공중 보건 위기 상황에서, 학술 보건 시스템은 의료 및 사회적으로 서비스가 부족한 지역사회에 의료 서비스를 제공하기 위해 교수진, 학생 자원봉사자, 지역사회 지도자들과 함께 열심히 일했다. 의료 교육에 대한 새로운 비전에서, 개별 기관은 유행병 준비의 필요성뿐만 아니라, [지역사회 내에서 진행 중인 질병과 사망률의 미해결 원인]을 해결하기 위해, [커리큘럼과 학생 학습 경험을 설계할 책임]을 수락할 것이다. 그렇게 하려면 단방향 참여 활동에서 상호적이고 존중적인 파트너십으로 이동하기 위해 지역사회 서비스 학습 경험에 대한 의과대학 접근방식을 재설계해야 한다.  

In the setting of a public health crisis that required flattening the curve of infections, academic health systems worked intensely with faculty and student volunteers and community leaders to bring health care to medically and socially underserved communities. In the new vision for medical education, individual institutions would accept the responsibility to design their curricula and student learning experiences to address the need for pandemic preparation as well as the ongoing, unsolved causes of morbidity and mortality within its community. Doing so would require redesigning medical school approaches to community service-learning experiences to move from unidirectional engagement activities to reciprocal and respectful partnerships. 26

목표 5: 의료 교육 전반에 걸쳐 프로그램 평가 전략의 표준을 채택하여 성장 마인드셋을 촉진하고 평생 학습 의사를 지원하며 학습 환경의 형평성을 촉진합니다.
Goal 5: Facilitate growth mindsets and support lifelong learning physicians—and promote equity in learning environments—by adopting a standard of programmatic assessment strategies across the continuum of medical education

원칙:
Principle:

평가의 형평성은 학습자가 평가되는 학습 환경과 학습자가 접하는 교수와의 상호작용이 [경쟁보다는 성장을 촉진하도록 설계]되고, 모든 학습자가 [형평성에 초점을 맞춘 전략]에 기초하여 평가되고, 점수를 받고, 진급하며, [미래 성공을 예측하는 성취에 대한 입증]에 기반하여 인정받고 진입할 수 있는 기회를 의미한다. 
Equity in assessment means that the learning environments in which our learners are assessed and the faculty interactions that learners have are designed to foster growth rather than competitiveness; that all learners are assessed, graded, and advanced based on strategies that focus on equity; and that the opportunity to be recognized and to enter into desirable careers is based on a learner’s demonstration of achievements that predict future success in the field of medicine. 27

평가는 다음과 같이 사용됩니다.

• 학습을 가이드하고,
  
• 학습자를 더 발전된 역량에 맞게 코치하고,
  
• 주어진 학습자가 환자 치료와 학습에서 더 많은 독립성을 가질 준비가 되었을 때를 결정하고,
  
• 장래의 직업을 위해 졸업생을 선발할 때

학습자는 여러 기관에 걸쳐 이동하기에, [공정하고, 성장에 초점을 맞춘 평가 전략]은 [경계를 초월해야] 하며, 따라서 의학교육 생태계의 병혁을 위해서는 [평가에 대한 국가적 접근법]이 필수적이다.

Assessment is used to

• guide learning,
• coach learners to more advanced competencies,
• decide on when a given learner is ready for more independence in patient care and learning, and
• select graduates for future careers.

With the movement of learners across many different institutions, equitable and growth-focused assessment strategies must transcend boundaries and thus, a national approach to assessment is essential to a transformed medical education ecosystem.

GME, CME, MOC는 현재 기준 기반 합격/불합격 평가 전략이 사용됩니다. 그럼에도 불구하고 UME 기관들은 규범적 평가 전략(예: 최고 등급)을 고수하고 더 세분화된 등급(예: 우등, 합격, 불합격)을 사용한다. 이러한 등급 매김과 순위 매김은 학습자들 사이의 [성장 사고방식]보다는, 성과 양성, 학습자 스트레스 증가, 팀워크 감소, 교육 및 직업 기회의 불평등 등 몇 가지 부정적인 결과와 관련이 있다. 팬데믹은 [일부 학생에게서 우수성을 식별하는 것]보다 [모든 의사에서 역량을 식별discerning하는 것에 초점을 맞추는 것]의 중요성을 강조했고, 세분화된 등급 전략 유지의 장애물이 되었다. 이러한 통찰력과 혼란은 순위에 대한 평가로 인해 야기되는 해악과 한계를 인식하고 대신 야심차고 실무적인 의사들의 평가를 위한 국가 접근 방식으로 프로그램 평가를 채택할 수 있는 기회를 제공한다.

Current practices in GME, Continuing Medical Education, and maintenance of certification employ criterion-based, pass/fail assessment strategies. Despite this, UME institutions have remained adherent to normative assessment strategies (e.g., top of the class) and use more granular grades (e.g., honors, pass, fail). This grading and ranking approach has been associated with several adverse consequences: fostering a performance rather than growth mindset among learners, increasing learner stress, decreasing teamwork, and inequities in educational and career opportunities. 28–30 The pandemic simultaneously emphasized the importance of focusing on discerning competency in all physicians rather than identifying excellence in some and presented barriers to sustaining granular grading strategies. These insights and disruptions present an opportunity to recognize the limitations of and harm caused by assessment for ranking and instead adopt programmatic assessment as the national approach for assessment of aspiring and practicing physicians.

프로그램적 평가는 규범적 결정이 아닌 기준 기반 결정을 지원하기 위해 많은 출처로부터 정성적 및 정량적 데이터를 수집한다. 이러한 데이터를 활용하여 학습자에게 빈번한 피드백을 제공하므로, 고부담 총괄 사건(학습의 평가)에 앞서 개선(학습을 위한 평가)을 위한 코칭이 가능하다. 

프로그램 평가는 단일 교수진이 역량을 결정하거나 해당 역량을 문서화하는 단일 평가 도구에 의존하지 않습니다. 대신, 학습자의 실제 능력에 대한 그림을 제공하기 위해 평가가 수행된 상황에 대한 여러 스냅샷 (예: 보건 전문가 팀의 모든 구성원의 의견, 필기 작업, 시험 점수, 동료 평가 검토)을 통합합니다.  

Programmatic assessment collects qualitative and quantitative data from many sources to support criterion-based rather than normative decisions. It uses these data to provide frequent feedback to learners, enabling coaching for improvement (assessment for learning) before the high-stakes summative event (assessment of learning). 31 

Programmatic assessment does not rely on a single faculty member to decide on competency or a single assessment tool to document that competency. Instead, it aggregates multiple snapshots of performance (e.g., input from all members of the health professions team; review of written work, exam scores, peer evaluations) and a description of the context in which the assessment took place to provide a picture of the learner’s true abilities 

프로그램 평가에는 많은 이점이 있습니다. 고부담의 총괄적 피드백에 앞서, 여러 가지의 형성적 피드백을 제공하는 평가 전략은, 피드백을 찾고 사용하고자 하는 학습자의 의지를 높이고, Grading에 대한 불안감을 감소시킨다. 여러 평가자의 피드백의 여러 인스턴스를 사용하면 개별 또는 특정 평가 도구의 개별 학습자에 대한 편견이 미치는 영향을 최소화할 수 있다. Normative한 전략보다는 Crietrion 전략, 더 세분화된 등급보다는 Pass/Fail이 [관찰된 성능의 작은 차이가 획득 보상의 큰 차이로 이어질 때 발생하는 불평등]을 완화할 것이다.  마지막으로, 포괄적인 데이터 합성을 통해 모든 이해 관계자가 평가에 대해 더 큰 확신을 가질 수 있습니다.  
Programmatic assessment has many benefits. Assessment strategies that provide multiple elements of formative feedback before high-stakes summative feedback increase the willingness of learners to seek and use feedback and decrease anxiety about grading. The use of multiple instances of feedback from multiple evaluators can minimize the impact of bias on individual learners from an individual or a particular assessment instrument. 32,33 Criterion rather than normative strategies and pass/fail rather than more granular grading mitigate the inequity that results when small differences in observed performance translate into larger differences in earned rewards. 34 Finally, comprehensive data synthesis enables all stakeholders to have greater confidence in their assessment. 31

학습 및 역량 평가에 대한 프로그램 평가 및 평가의 이점에 대한 증거는 명확합니다. 그러나 경쟁적 프로그램에서 [전공의 선발의 용이성을 위해 의대생의 순위를 매기는 것]에 대한 확고한 견해를 감안할 때, 평가가 수행되는 방식과 그러한 평가의 결과를 재설계하라는 국가적인 지시National directive가 성공적일 것이다.
The evidence on the benefits of programmatic assessment and assessment for learning and competency evaluation is clear. However, given entrenched views on the imperative for ranking medical students for ease of residency selection in competitive programs, nothing short of a national directive to redesign the ways in which assessments are conducted, and the results of those assessments are used, will be successful.

목표 6: 역량 기반 교육 구현을 통한 교육 효율성 향상과 함께 환자 안전 보호
Goal 6: Protect patient safety while improving the efficiency of training by implementing competency-based training

원칙:
Principle:

의학교육의 연속체에 걸친 학습자들은 다음 번 시도에서 성공하는 데 필요한 폭넓은 역량을 성공적으로 입증했을 때에만 다른 교육의 기회로 발전할 수 있는 능력을 가져야 한다.
Learners across the continuum of medical education should have the ability to advance to another educational opportunity only when, but as soon as, they have successfully demonstrated the breadth of competencies needed to succeed in that next endeavor.

[대부분의 의료 교육 프로그램, 면허 기관, 인가 기관 및 인증 위원회]는 역사적으로 [프로그램의 일부 시간 조합, 특정 순환 또는 최소 사례 수]를 역량의 대리지표로 의존해 왔다. 35 임상 훈련 기회의 팬데믹 관련 희소성 환경에서 그리고 정부 관계자들이 의사 인력을 보강하기 위해 학생들의 조기 졸업을 요청함에 따라, 이러한 [전통적인 요구사항]이 완화되었고, 그 결과 의사 인력 파이프라인은 줄어들지 않고 계속 유지될 수 있었다.
Most medical education programs, licensing agencies, accreditation organizations, and certifying boards have historically relied on some combination of time in program, on specific rotations, or case volume minimums as proxies for competence. 35 In the setting of pandemic-related scarcity of clinical training opportunities and as government officials requested early graduation of students to bolster the physician workforce, these traditional requirements were relaxed, allowing the physician workforce pipeline to continue unabated.

역량 기반 시간 변동(CBTV) 교육은 중요한 역량이 부족한 의사로부터 환자를 보호하면서 의료교육 프로그램의 유연성을 높일 수 있는 전략이다.  CBTV는 교육의 다음 단계 또는 단계로 발전하기 위한 명확한 기준을 설명하며, 능력에 대한 시간적 제약 대신 각 개인의 입증된 능력에 의존한다. CBTV는 모든 필수 영역에서 역량을 입증한 학습자가 조기에 진출하여 가정 기관 내에서 또는 지정된 거주지에서 또는 유행병 대응 팀에서 새로운 역할을 맡을 수 있는 기회를 제공할 수 있다.

Competency-based, time-variable (CBTV) education is a strategy that can increase the flexibility of the medical education program while protecting patients from physicians with critical competency deficiencies. 36 CBTV describes clear criteria for advancement to the next phase or stage of education, relying on the demonstrated abilities of each individual rather than the time-bound proxies for competence. CBTV can provide the opportunity for learners who have demonstrated competency in all required domains to advance early and assume a new role within their home institution or at a designated residency, or on a pandemic response team.

또는 새로운 기술을 추가하는 데 집중할 수도 있습니다. CBTV는 일부 학습자가 예상 능력을 달성하는데 더 많은 시간이 필요하다는 것을 허용한다. 이러한 상황에서 CBTV는 학습자가 안전할 때까지 진행하지 않도록 보장하는 중요한 안전망을 제공합니다. 경험적 데이터는 역량 기반 교육이 매우 효과적일 수 있음을 뒷받침한다. 그러나, CBTV의 완전한 도입은 [임상 작업량을 관리하기 위해 일정 수의 전공의에게 의존하는 내부 시스템]과 [매년 의과대학과 레지던트 사이의 단일 전환 시점과 같은 외부 시스템]에 의해 제한된다. 캐나다는 모든 레지던시 프로그램을 역량 기반 접근으로 옮기기 위한 야심찬 프로그램에 착수했다.  
Alternatively, they may choose to focus on adding new skills. CBTV allows that some learners need more time to achieve expected competency. In this circumstance, CBTV provides an important safety net for ensuring that learners do not progress until it is safe that they do so. Empiric data support that competency-based training can be highly effective. Its full benefits are constrained, however, by internal systems that rely on a certain number of residents to manage the clinical workload and external systems, such as a single transition point between medical school and residency each year. Canada has embarked on an ambitious program to move all residency programs to a competency-based approach. 37

CBTV는 또한 교육 환경의 효율성을 증가시킬 수 있다. 한 학생이 훈련의 한 측면에서 더 빠르게 발전한 경우, 기본 역량을 달성하는 데 더 많은 시간이 필요한 동료에게 귀중한 임상 학습 경험을 부여할 수 있습니다. CBTV는 또한 질병이나 가족 구성 활동으로 인해 훈련이 변경된 개인에게 개인과 직업의 균형을 지원할 수 있다.
CBTV can also increase efficiency in the educational environment. If one student has progressed more rapidly in one aspect of their training, they can cede valuable clinical learning experiences to peers who need more time to achieve baseline competency. CBTV can also support personal–professional balance in individuals whose training is altered because of illness or family building activities.

목표 7: 국가 시스템을 재설계하고 [국가 기술 플랫폼]에 투자하여 선발 프로세스의 공정성, 경제성, 효율성 향상
Goal 7: Increase equity, affordability, effectiveness, and efficiency of selection processes by redesigning national systems and investing in national technology platforms

원칙:
Principle:

의과대학 입학 및 GME 교육을 위한 선발을 위한 정책과 운영 절차는 전환 비전을 달성하기 위해 조정되어야 하며 최적의 결과를 지원하도록 설계되어야 하며 또한 학생과 프로그램의 [nonvalue-added 작업을 최소화]해야 한다.
Policies and operational procedures for admission into medical school and selection for GME training should be aligned to achieve the transformational vision and designed to support optimal outcomes, while also minimizing nonvalue-added work for students and programs.

의과대학과 레지던트 지원 과정이 전염병으로 인하여 [All-virtual]로 전환되면서 인해 학습자들은 일반적인 면접 시즌에 요구되는 수천 달러의 여행 비용 없이 프로그램을 탐색하고 자신의 능력을 증명할 수 있었다. 이것은 더 큰 부를 가진 사람들에게 더 이상 혜택을 주지 않음으로써 입학 절차에서 감당할 수 있을 뿐만 아니라 형평성을 증가시켰다. 그러나 대유행은 국가 전공의 매칭 프로그램(NRMP), 전자 전공의 지원 절차(ERAS) 및 프로그램별 선택 및 순위 결정 관행의 기존 관행이 프로세스의 형평성과 효율성을 개선하고 불필요한 학습자 스트레스를 줄이기 위해 재설계할 가치가 있는 영역을 강조하였다.

The pandemic-related move to all-virtual medical school and residency application processes allowed learners across the continuum to explore programs and demonstrate their abilities without the thousands of dollars in travel expenses that the typical interview season demands. This not only increased affordability but also equity in the admission processes by not further advantaging those with greater wealth. However, the pandemic highlighted areas where the legacy practices of the National Residency Matching Program (NRMP), the Electronic Residency Application Process (ERAS), and program-specific selection and ranking practices merit redesign to improve the equity and efficiency of the process and decrease unnecessary learner stress.

[의료 교육의 연속체 전체에 걸쳐 학습자를 추적]할 수 있는 [보다 표준화되고 강력한 성과 데이터베이스의 개발과 광범위한 채택]은 프로그램으로 하여금 [전공의 및 그 이상의 성공에 필요한 광범위한 역량]에 관한 학습자 성장 궤적은 물론, 현재 성과 수준을 평가할 수 있게 할 것이다.  인공지능 전략은 학점 평균과 고부담 시험의 점수보다 더 넓은 데이터 세트를 사용하여 다양한 유형의 학습자를 식별할 수 있게 함으로써 입학 절차를 간소화할 수 있는 가능성을 가지고 있다. (상대평가normative가 아니라) 준거Criterion 기반의 표준 평가서를 설계, 채택하면 프로그램과 학교 교수진 사이의 은밀한 사이드바 대화에서 종종 논의되는 중요한 문제의 유형을 강조할 수 있다. [각 레지던트 프로그램을 성공적으로 이수할thrive 개인의 유형에 대한 투명하고 접근 가능한 정보]는 학습자가 지원하는 프로그램의 수를 줄이고, 프로그램이 임의 선별 지표를 사용하여 심층적으로 검토하는 지원 프로그램의 수를 줄이도록 유도하는 지원 프로그램의 홍수를 최소화할 수 있다.  

The development and widespread adoption of a more standardized and robust performance database that could track learners across the continuum of medical education would enable programs to evaluate learner growth trajectories as well as their current performance levels in the broad set of competencies needed to succeed in residency and beyond. 11 Artificial intelligence strategies hold promise for streamlining admissions processes by enabling the identification of different types of learners, using a wider dataset than grade point averages and scores from high-stakes exams. 38 Design and adoption of criterion-based (rather than normative) standardized letters of evaluation could highlight the types of critical issues that often are discussed in surreptitious sidebar conversations between programs and school faculty. Transparent and accessible information about the type of individual who will thrive in each residency program could decrease the number of programs that learners apply to and minimize the flood of applications that prompt programs to use arbitrary screening metrics to cut down on the number of applications they review in depth. 39

미국 의료 면허 시험 1단계에 대한 합격/불합격 보고로 이행이 임박함에 따라 많은 사람들이 NRMP 및 ERAS 프로세스의 실질적인 재설계를 제안하게 되었다. 제안에는 다음이 포함되었습니다. 

• 지원에 대한 전공-특이적, 증거 기반 상한선
• 인터뷰 시 프로그램 선호도 순위, 
• 다단계 매칭 

NRMP 프로세스의 보다 근본적인 재설계는 다음을 포함할 수 있다. 

• 팬데믹이 필요한 시기에 인력진입이 용이하도록 연 2회 경기 사이클 
  
• CBTV 교육 환경에서 학습자와 프로그램을 위한 유연성 향상 
  
• 가임, 육아 또는 질병 관련 휴직을 가진 학습자에게 필요한 경우 변경된 교육 궤적에 대한 지원 
  
• 의사-과학자를 비롯하여, 학생집단을 위하여 독립에 필요한 교육 부채와 시간을 줄인다.

The impending move to a pass/fail reporting on the U.S. Medical Licensing Examination Step 1, along with the current pressures faced by programs dealing with high volumes of applications and applicants struggling with a maldistribution of interview slots, has prompted many to propose substantial redesign of the NRMP and ERAS processes. Proposals have included

• specialty-specific, evidence-based caps on applications;
• student preference ranking of programs at the time of interviews; and
• a multistaged match. 40–43 

More fundamental redesign of the NRMP processes might include

• a twice-a-year match cycle to facilitate entry into the workforce during times of pandemic need;
• increased flexibility for learners and programs in an environment of CBTV education;
• support for altered educational trajectories as often required for learners with childbearing, child-rearing, or illness-related leaves of absence; and
• decrease educational debt of and time to independence for populations of students, including but not limited to physician–scientists.

목표 8: 학습자와 의사의 웰빙을 우선시하여 인력 보호
Goal 8: Protect the workforce by prioritizing learner and physician well-being

원칙:
Principle:

미래와 현재의 의사들은 그들의 복지가 보호되는 환경에서 배우고 일할 수 있어야 하며, 그래야 그들은 개인 생활뿐만 아니라 직업 생활에서도 번창할 수 있다.
Aspiring and practicing physicians should be able to learn and work in environments in which their well-being is safeguarded so that they can thrive in their personal as well as professional lives.

언론의 이야기는 대유행 기간 동안 개인 의료 서비스 제공자들이 짊어진 엄청난 부담을 보여주었고, 종종 다른 가족의 사랑하는 사람들을 돌보면서 그들의 건강을 보호하기 위해 그들 자신의 가족을 남겨두었다. 전국적으로 보건 시스템은 이러한 특별한 시기에 건강 관리를 제공하는 신체적, 사회적, 정서적 부담을 해결하는 것을 돕기 위해 지원을 제공하는 새로운 전략을 신속하게 시행했다.  의료 기관, 산업 및 사회 단체에 의해 COVID-19 환자를 돌보는 일선 제공자들에게 식사, 새로운 정신 건강 지원 방법, 예배 서비스 및 호텔 숙박이 제공되었다. 그러나 교육생을 포함한 다른 일선 의료 서비스 제공자들은 노인/의존 의료, 육아, 그리고 지속 가능한 K-12 교육 프로그램의 부재로 인해 그들의 전문적인 책임을 지속하기 위해 고군분투했다.
Stories in the media showcased the extraordinary burden that individual health care providers shouldered during the pandemic, often leaving their own families to safeguard their health, while caring for the loved ones of other families. Across the nation, health systems quickly put in place new strategies to provide support to help address the physical, social, and emotional burden of providing health care during these extraordinary times. 44 Meals, novel methods of mental health support, chaplaincy services, and hotel accommodations were offered to frontline providers caring for patients with COVID-19 by health care institutions, industries, and social organizations. However, other frontline care providers, including trainees, struggled to sustain their professional responsibilities because of the absence of elder/dependent care, childcare, and sustainable K-12 education programs.

직업 생활과 개인 생활의 균형을 맞추는 스트레스는 전염병 이후 지속될 것이다. 많은 문헌에서 의학에 종사하기 시작한 사람들이 또래들보다 지치고, 우울하며, 자살 충동을 겪을 가능성이 더 높다는 것을 암시한다. 의료와 과학 분야의 여성들은 간호 책임을 관리하는 어려움 때문에 직업을 떠날 가능성이 더 높으며, 이것은 전염병으로 인해 악화되는 현상이다.  

The stresses of balancing professional and personal lives will endure following the pandemic. Ample literature suggests that those who embark on careers in medicine are more likely than peers to suffer from burnout, depression, and suicidal ideation. Women in medicine and science are more likely to leave the profession because of challenges managing caregiving responsibilities, a phenomenon exacerbated by the pandemic. 45

대유행의 와중에 [의료제공자를 케어하기 위하여 업무 책임을 변경하고 더 큰 사회적 지원을 제공할 수 있는 능력]은 재난이 발생할 때 이러한 유형의 개입이 가능하다는 증거를 제공한다. 현재와 미래의 의료 인력의 건강과 복지를 유지하기 위해, 의료 대학과 의료 시스템은

• [부가가치가 없는 문서 작업에 대한 요구를 영구적으로 제거]하고,
• [쉽게 접근할 수 있는 강력한 웰빙 및 정신 건강 지원 시스템]을 구축하며,
• 다른 조직과 협력하여 저렴하고 고품질이며 쉽게 접근할 수 있는 돌봄 시스템을 확장하여 working families를 지원해야 한다.

The ability to alter work responsibilities and provide greater social support to care for the caregivers in the midst of a pandemic provides evidence that these types of interventions are feasible when disaster strikes. To sustain the health and well-being of our current and future health care workforces, medical schools and health systems should

• advocate with payers to permanently remove requirements for nonvalue-added documentation work;
• build robust systems with easily accessible well-being and mental health support; and
• collaborate with other organizations to expand affordable, high-quality, and easily accessible caregiving systems to support working families.

의과대학과 레지던트 프로그램은

• 유연하고 잠재적으로 단축된 훈련 시간을 지원하기 위해 역량 기반 훈련을 수용해야 한다. 
  
• 불필요한 스트레스를 증가시키는 임의적이고 경쟁적인 평가 전략과 같은 관행을 제거한다. 
  
• 전공의와 동료들에게 적절한 유급 출산 및 육아 휴가를 보장한다.  

Medical schools and residency programs should

• embrace competency-based training to support flexible and potentially shortened training times;
• eliminate practices, such as arbitrary and competitive assessment strategies that increase unnecessary stress; and
• guarantee adequate amounts of paid childbearing and child-rearing leave for residents and fellows. 46

목표 9: 혁신적인 파트너십을 통해 전국 과소 서비스 지역사회의 의료 접근 문제 해결
Goal 9: Address health care access issues for underserved communities across the nation through innovative partnerships

원칙:
Principle:

모든 환자들은 건강한 공동체의 중요한 구성 요소로서 급성, 만성, 생명을 위협하는 질병에 대한 예방 및 치료 관리에 즉시 접근할 자격이 있다.
All patients deserve ready access to preventive and therapeutic care for acute, chronic, and life-threatening illnesses as a critical component of a healthy community.

이 전염병은 전국의 지역사회에서 의사들과 의료 시스템의 지리적 분포가 잘못되었다는 점에 관심을 갖게 만들었다. 의료 전문가들로 구성된 방문 팀은 자원이 부족한 지역사회에 절실히 필요한 지원을 제공했다. 재해 대응의 매우 중요한 요소이긴 하지만, 이러한 팀들은 어느 시점에서 건강에 대한 지속적인 위협과 관련하여 이러한 커뮤니티를 여전히 미비한 상태로 남겨 두어야 합니다. 
The pandemic drew attention to the geographic maldistribution of physicians and health care systems in communities across the nation. Visiting teams of health professionals provided desperately needed support to underresourced communities. While a critically important element of disaster response, those teams must leave at some point leaving those communities still underserved with respect to the ongoing threats to health. 

모든 커뮤니티가 필요한 의사에게 접근할 수 있도록 하는 혁신적 비전을 달성하는 것은 매우 복잡한 과제이며, 학술적 보건 시스템과의 긴밀한 협업이 필요하며, 또한 모든 지역사회에서 교육 및 의료에 자금을 대기 위한 정책과 절차를 고안할 수 있는 지역, 주 및 연방 기관과의 협력도 필요하다. 지리적 또는 인구학적 접근 문제를 해결하기 위한 전략이 존재한다. 대학과 의과대학은 소수민족 봉사기관 및 소외된 지역사회에 있는 고등학교와 지역사회 및 주립대학과의 강력한 파이프라인 프로그램을 구축하기 위해 협력할 수 있다. 이러한 파이프라인 프로그램은 의료 교육 및 인력 전문가가 설계하고 지속 가능한 방법으로 학습자를 주의 깊게 의과대학에 입학시키고 이를 통해 레지던트 프로그램으로 육성해야 한다. 전국의 의과대학들은 또한 학생들이 출신 지역 사회에 가까이 다가갈 수 있도록 하기 위해 의료 서비스가 부족한 지역에 지역 캠퍼스를 건설할 수 있으며, 지역 캠퍼스가 이 지역들에 대한 장기적인 헌신 가능성을 높이도록 뿌리내리게 할 수 있다. 지역사회에 남아 있는 것에 대한 허용 가능한 보상을 보장하거나, 이러한 지역사회로 돌아가는 학생들의 부채 탕감은 지속 가능한 노동력의 가능성을 더욱 증가시킬 것이다.

Achieving a transformational vision to ensure that all communities have access to the physicians they need is a tremendously complex undertaking, requiring close collaboration not only with academic health systems but also with local, state, and federal agencies that can devise policy and procedures to fund education and health care in all communities. Strategies exist to address geographic or demographic access issues. Universities and medical schools can collaborate to establish robust pipeline programs from minority-serving institutions and with high schools and community and state colleges in underserved communities. These pipeline programs must be designed by medical education and workforce experts and resourced in a sustainable way to carefully nurture learners into and through medical school into residency programs. Medical schools across the nation could also build regional campuses in medically underserved areas to allow students to be close to their communities of origin, enabling them to put down roots that increase the likelihood of a long-term commitment to those regions. Debt cancelation for students who return to these communities, along with guarantee of an acceptable compensation for remaining in the communities would further increase the likelihood of a sustainable workforce.

보다 야심찬 프로그램은 [지리적으로 서비스가 부족한 지역의 의사 수를 빠르게 증가]시키거나, [의료계의 모든 구성원들로 하여금 어려움에 처한 지역사회를 지원할 의무가 있다는 기대를 확립]할 수 있다. 예를 들어, 연방정부는 모든 의과대학 졸업생들이 의과대학 등록금, 등록금 및 생활비를 연방 인수하는 대가로 1차 이사회 인증에 따른 국가 복무 기간에 동의하도록 요구할 수 있다. 이것은 매년 몇 주 또는 주말 근무가 필요한 헌신적인 연간 근무 또는 주 방위군 전략과 동등한 형태를 취할 수 있다. 
More ambitious programs could quickly increase the number of physicians in geographically underserved regions and establish an expectation that all members of the medical profession have an obligation to support communities in need. For example, the federal government could require all medical school graduates to agree to a period of national service following first board certification in exchange for federal underwriting of medical school tuition, fees, and living expenses. This could take the form of dedicated years of work or of the equivalent of the National Guard strategy, with weeks or weekends of work required each year.

목표 10: 보건 및 웰빙을 지원하는 의료계, 공공, 주 및 연방 정부 간의 사회 계약 강화 및 공포
Goal 10: Strengthen and promulgate the social contract between the medical profession, the public, and state and federal governments in support of health and well-being

원칙:
Principle:

의료 전문직업성의 원칙은 의사가 환자를 돌보고 우리 지역 사회의 건강을 향상시키기 위한 일에서, [의료계와 개별 의사가 착수하기를 기대할 수 있는 일을 사회에 선언]한다. 그 선언은 또한 사회가 최고의 결과를 얻기 위해 의사와 직업과 협력하여 해야 하는 일에 대해서도 분명해야 한다.
The tenets of medical professionalism proclaim to society the work that they can expect the medical profession and individual physicians to embark upon as they care for patients and work to improve the health of our communities. That proclamation must also be clear about the work that society needs to do in partnership with physicians and the profession to achieve the best outcomes.

의료 전문직업성의 바탕이 되는 [사회 계약]은, 의사들이 자기에 대한 위험과 상관없이 아프고 다친 사람들을 돌보는 의무에 응답하기를 암묵적으로 기대한다. 그 대가로, 전문직에는 자율규제의 권리가 주어진다.  대유행 기간 동안 의사들(및 다른 의료 전문가들)은 치명적인 바이러스로 고통 받는 환자들을 돌보는 데 대응했고, 어떤 상황에서는 기관 및 국가 차원의 시스템 장애와 공공 보건에 대한 불충분한 투자로 인해 적절한 지원이나 보호 없이 그렇게 했다.

The social contract on which medical professionalism is based implicitly expects physicians to respond to a call to duty to care for the sick and injured, regardless of the risk to self. In exchange, the profession is afforded the right to self-regulation. 47 During the pandemic, physicians (and other health professionals) did respond to care for patients suffering from a deadly virus and, in some circumstances, did so without adequate support or protection because of failures of systems at the institutional and national level and inadequate investment in public health.

대유행의 교훈은 의료 전문성에 관한 의사 헌장에 명시된 [환자 복지, 환자 자율성, 사회 정의의 기본 원칙의 건전성]을 강화한다. 그러나 정부 관료와 사회의 영향을 받지 않은 구성원들이 내린 결정과는, 대조적으로 대유행 기간 동안 의사와 환자가 견뎌내야 했던 경험lived experience은 [상호 기대와 책임에 대한 명확한 사회 계약의 재설계가 늦었음]을 시사한다. 의료계의 사회계약을 재설계할 때에는 [신데믹에 준비된 의사의 확장된 책임 세트를 수용하겠다는 서약]이 포함될 수 있다. 여기에는 본 비전에 요약된 일련의 영향력 있는 약속들이 포함된다. 

• 공중위생을 지지하는 사회적 조건을 강력하고 신속하게 옹호한다. 
  
• 의료 및 의료 교육에서 구조적 억압의 결과를 뒤집는다. 
  
• 의료 분야의 의료 격차, 차별 및 성 희롱을 제거한다. 
  
• 의료 서비스를 제공하기 위해 일하는 모든 사람들의 복지를 촉진하는 시스템을 구축해야 합니다.

The lessons from the pandemic reinforce the soundness of the fundamental principles of primacy of patient welfare, patient autonomy, and social justice outlined in the Physician Charter on Medical Professionalism. 47 However, the lived experience endured by physicians and patients during the pandemic in contrast to decisions made by government officials and unimpacted members of the society suggests that a redesign of the social contract with clarity about mutual expectations and responsibilities is overdue. 48 A redesign of the social contract from the medical profession might include a pledge to embrace an expanded set of responsibilities for the syndemically prepared physician. Those include the set of impactful commitments outlined in this vision to

• forcefully and expeditiously advocate for social conditions that support public health;
• reverse the consequences of structural oppression in health care and medical education;
• eliminate health care disparities, discrimination, and gender harassment in medicine; and
• build systems that foster well-being for all of those who work to provide health care.

이러한 책임은 정책 영역에서 Workforce가 [냉정하고 중립적인 관찰자로서의 전문적 정체성]을 벗어나, [더 큰 영향력과 옹호자 역할]을 하도록 바꿔놓는다. 이 [수정된 역할]을 받아들이면서, 의사들과 보건 전문직의 다른 구성원들은 모든 수준의 정부와 광범위한 대중이 인구에 대한 건강을 최적화하는 결정을 내릴 수 있도록 지도하기 위해 의무와 이타주의에 대한 그들의 헌신을 활용할 수 있다. (예: 빈곤 제거, 의료 접근성 개선, 기후 변화 및 환경 독소 해결)  또한 의료 전문가에 대한 불필요한 위험을 제거합니다. (예: 제대로 이행되지 않은 공중 보건 지침, 불충분한 보호 장비, 소모 및 도덕적 고통을 유발하는 시스템 및 정책)

These responsibilities move the workforce away from a professional identity as dispassionate and neutral observers in the policy realm to one of greater influence and advocacy. 49 In accepting this revised role, physicians and other members of the health professions can leverage their commitment to duty and altruism to guide governments at all levels and the broader public to make decisions that both optimize health for populations (e.g., eliminating poverty, improving access to health care, addressing climate change and environmental toxins) and eliminate unnecessary risks to health care professional (e.g., from poorly implemented public health directives, inadequate protective equipment, systems and policies that precipitate burnout and moral distress).

결론들
Conclusions

의학교육은 대학, 보건 시스템, 인증 기관, 규제 기관, 면허 기관, 전문 조직 및 인증 위원회를 포함하는 복잡한 생태계 내에 존재한다. 의대를 비롯한 학술기관은 과학 혁신과 코스워크, 채점, 승진 및 종신 재직권 등 핵심 과정의 안정성을 위해 설계된다. 생태계의 복잡성, 안정성의 편안함, 기존 관행에 대한 교수진의 자신감, 새로운 아이디어의 위험과 실현 가능성에 대한 우려가 결합되어, 중대한 변화를 "변형하는 것 외에는 다른 방법이 없을 때까지" 어려운 일이거나 선택해도 되는 일로 남겨둔다. .

Medical education exists within a complicated ecosystem that includes universities, health systems, accrediting bodies, regulatory agencies, licensing bureaucracies, specialty organizations, and certifying boards. Academic institutions, including medical schools, are designed for innovation in science and stability in core processes such as coursework, grading, and promotion and tenure. The complexity of the ecosystem, the comfort of stability, the confidence of faculty about existing practices, and the concerns about risk and feasibility of new ideas combine to make significant change challenging and optional—until there is no option but to transform.

결과적으로, [혁신의 시급성]을 포착하기 위해서는 [협력적이고 전략적으로 설계된 조치]가 필요할 것이다. 국가 지도력은 변화를 향한 진전을 문제 해결뿐만 아니라 거버넌스 전략을 수립하고, 시스템을 구축하고, 측정 기준을 설정하고, 책임 구조를 설계하기 위해 필요할 것이다. 국립 의학 아카데미는 전문가들을 소집하여 중요한 문제와 변화를 뒷받침할 수 있는 잠재적 해결책에 대한 증거를 수립, 종합 및 전파하는 신뢰할 수 있는 기관으로 자리매김했다. [의사 책무성 연합]은 조직들의 조직으로서, 전염병 동안 리더십을 보여주었고, 현재 UME에서 GME로의 전환을 개선하기 위해 노력하고 있다.  
Consequently, seizing the urgency to transform will require collaborative and strategically engineered action. National leadership will be needed to establish governance strategies, build systems, establish metrics, and design accountability structures for, as well as troubleshoot progress toward transformation. The National Academy of Medicine has established itself as a trusted body to convene experts to establish, synthesize, and disseminate evidence on critical problems and potential solutions to support change. The Coalition for Physician Accountability, as an organization of organizations, has demonstrated leadership during the pandemic and is currently working to improve the UME-to-GME transition.

변혁에 성공하기 위해서는, 이 노력에 학계 보건 시스템의 지도자로서 미국 의과 대학 [학장 협의회]와 [교육 병원 협의회]가 참여해야 한다. 이들은 교육과 의료가 만나는 최전선에서 이 작업을 감독하는 데 필요한 신뢰도, 전문 지식의 폭 및 권한의 범위를 가진 사람들이다. 보건의료 전문직교육은 양질의 헬스케어가 시작되는 곳이기 때문에, 국립보건원이 효과적인 교육전략에 대한 연구에 자금을 지원하는 기관을 출범시켜야 할 시점이다.

To succeed in transformation, they should be joined by the Association of American Medical Colleges Council of Deans and Council of Teaching Hospitals, as convened leaders of academic health systems, who have the necessary credibility, breadth of expertise, and scope of authority to oversee this work at the frontlines, where education and health care meet. Since health professions education is where high-quality health care begins, it is time for the National Institutes of Health to launch an institute that funds research into effective educational strategies.

코로나19 범유행과 관련 인종 불안은 우리가 환자와 사회의 요구를 완전히 충족시키기 위해 미국의 건강 관리 및 의료 교육 시스템을 재설계하기 위한 다년간의 이니셔티브를 시작하도록 용기를 북돋워야 하는 변화된 힘이다. 의료 교육을 주도하고 규제하는 사람들이 대유행에서 얻은 교훈을 분석하고 적용한다면 2020년은 전략적 변곡점으로 볼 것이다. [다음 유행병] 뿐만 아니라, [환자와 커뮤니티의 미해결 의료 요구]를 해결하기 위해 의사 인력 준비를 최적화하려면

• 의료 교육 프로그램의 목표에 대한 관심 
  
• 개별 의사의 역량 및 역할 
  
• 의료진의 구성, 배치 및 책임 
  
• 의학교육의 연속성을 감독하는 시스템의 설계가 필요합니다. 

The COVID-19 pandemic and associated racial unrest are once in a generation, transformational forces that should embolden us to embark upon a multiyear initiative to redesign the American health care and medical education systems to fully meet the needs of patients and society. The year 2020 will be viewed as a strategic inflection point if those who lead and regulate medical education analyze and apply lessons learned from the pandemic. Optimizing the preparation of the physician workforce to address the next pandemic as well as the unsolved health care needs of our patients and communities will require

• attention to the goals of medical education programs;
• the competencies and roles of individual physicians;
• the composition, deployment, and responsibilities of the physician workforce; and
• the design of systems that oversee the continuum of medical education.

잘 훈련된 의사들의 건강 관리 요구를 충족시킬 수 있는 강력한 파이프라인으로 기대되고 자격이 있는 사회를 대표하여 이러한 위기 및 미래의 위기를 성공적으로 헤쳐나가려면 생태계 내의 모든 사람이 변혁을 선택할 수 있도록 해야 합니다.

Successfully navigating this and future crises on behalf of a society that expects and deserves a robust pipeline of well-trained physicians to meet their health care needs requires a commitment from all within the ecosystem to make the choice to transform.

목록 1 의료 교육 혁신을 위한 10개 시점, 10년 플랫폼

• 전국의 모든 지역사회에서 보건 및 건강 관리 개선에 초점을 맞춘 성공적인 노동력에 대한 국가 비전을 채택한다.
  
• 의료·의료교육에서 구조적 인종차별의 결과와 징후를 적극적으로 발굴하고 제거함으로써 의료교육과 보건의료에 있어 사회적 정의를 실현한다.
  
• 질병과 질병으로 고통받는 현상의 원인을 해결하는 데 필요한 광범위한 역할과 책임을 수용하기 위해 현재와 미래의 모든 의사 인력을 준비하는 커리큘럼을 설계한다.
• 의료 교육 프로그램을 지역 사회 및 정부와 협력하여 이러한 문제에 교육 프로그램을 집중함으로써 전국 지역사회에서 질병과 사망의 가장 긴급한 원인을 식별하고 해결한다.
  
• 의료 교육 전반에 걸쳐 프로그램 평가 전략의 표준을 채택하여 미래의 의사들에게 성장 마인드를 촉진하고 평생 학습을 지원하며 학습 환경의 형평성을 촉진합니다.
  
• 역량 기반 교육을 구현하여 교육 효율성을 향상시키면서 환자 안전을 보호합니다.
  
• 국가 시스템을 재설계하고 국가 기술 플랫폼에 투자하여 선택 프로세스의 공정성, 경제성, 효율성 및 효율성을 높입니다.
  
• 학습자와 의사의 복지를 우선시하여 인력을 보호하십시오.
  
• 혁신적인 파트너십을 통해 전국의 과소 서비스 지역사회에 대한 의료 접근 문제를 해결합니다.
  
• 의료계, 공공계, 주정부 및 연방정부 간의 건강 및 웰빙을 지지하는 사회적 계약을 강화하고 공포한다.

List 1 A 10-Point, 10-Year Platform for Medical Education Transformation

1. Adopt a national vision of the successful workforce focused on committing to improving health and health care in all communities across the country.
2. Achieve social justice in medical education and health care across the country by actively seeking out and eliminating the consequences and manifestations of structural racism in medicine and medical education.
3. Design curricula to prepare all in the physician workforce, present and future, to embrace the breadth of roles and responsibilities needed to address syndemic causes of suffering from illness and disease.
4. Identify and address the most pressing causes of morbidity and mortality in communities across the nation by challenging medical education programs to partner with local communities and governments to focus educational programs on these issues.
5. Facilitate growth mindsets and support lifelong learning in future physicians—and promote equity in learning environments—by adopting a standard of programmatic assessment strategies across the continuum of medical education.
6. Protect patient safety while improving efficiency of training by implementing competency-based training.
7. Increase equity, affordability, effectiveness, and efficiency of selection processes by redesigning national systems and investing in national technology platforms.
8. Protect the workforce by prioritizing learner and physician well-being.
9. Address health care access issues for underserved communities across the nation through innovative partnerships.
10. Strengthen and promulgate the social contract between the medical profession, the public, and state and federal governments in support of health and well-being.

We Have No Choice but to Transform: The Future of Medical Education After the COVID-19 Pandemic

PMID: 34789658

PMCID: PMC8855762

DOI: 10.1097/ACM.0000000000004526

Free PMC article

Copyright © 2021 by the Association of American Medical Colleges.

의학교육의 고약한 문제: 학습자 평가에서 형평 달성하기(Acad Med, 2020)
Medical Education’s Wicked Problem: Achieving Equity in Assessment for Medical Learners
Catherine R. Lucey, MD, Karen E. Hauer, MD, PhD, Dowin Boatright, MD, and Alicia Fernandez, MD

의료 및 기타 보건 분야의 다양성이 증가하면 소수민족minority populations에게 제공되는 의료의 질과 접근성이 향상되고, 소수민족과 다수 학생 모두의 교육 환경이 개선되며, 팀 기반 문제 해결이 최적화되고, 의료 연구의 집중과 관련성이 확장된다. 부분적으로 인증 기준과 국가 기관에 의해 추진된 많은 의과대학과 레지던트 프로그램은 그들의 수업의 다양성을 증가시키기 위해 전인적holistic 입학 전략을 성공적으로 사용했다. 그러나, 비슷한 다양성의 증가는 명예 사회honor soceity, 전공의 선발 프로그램, 그리고 의학 전문 분야에서 그리고 미국 의과대학의 교수진들 사이에서 실현되지 않았다. 경쟁이 심한 커리어나 프로그램에 진입하는 것은 종종 학생들의 성적과 학업 수상에 의존하기 때문에, 이러한 관찰은 의과대학의 평가 관행이 [구조적이고 대인관계적인 편향]을 받는지에 대한 우려를 불러일으켰다.

Increasing diversity in medicine and other health professions improves access and the quality of care provided to minority populations, enhances the educational environment for both minority and majority students, optimizes team-based problem solving, and expands the focus and relevance of medical research.1–4 Driven in part by accreditation standards and national organizations,5–8 many medical schools and residency programs have successfully used holistic admissions strategies to increase the diversity of their classes. However, similar increases in diversity have not been realized in honor societies, selective residency programs, and medical specialties, and among faculty in U.S. medical schools.9 Because entry into competitive careers and programs is often dependent on student grades and academic awards, these observations have prompted concerns about whether the assessment practices of medical schools may be subject to structural and interpersonal bias.

의과대학은 평가의 형평성에 대한 이러한 우려에 대응할 [도덕적 책임]이 있다. 평가는 학습을 안내하고, 학생의 진보를 가능하게 하며, 직업 선택과 기회에 영향을 미치며, 또한 졸업생들의 역량을 이해 관계자들에게 보장한다. 의학교육의 불평등한 평가는 의약분야에서 과소대표된 그룹(underrepresented in medicine, UIM)의 학습자에게 진급 및 진로기회에 대한 장벽을 영구화한다. 비록 근거가 없더라도, [불평등한 평가의 가능성에 대한 우려] 그 자체로 UIM 학습자에게 부담을 줄 뿐만 아니라, 그들의 수행perform을 기대하는 학습 환경을 더 어렵게 만든다.
Medical schools have a moral responsibility to respond to these concerns about equity in assessment. Assessment guides learning, enables student progress, and impacts career choice and opportunity while also assuring stakeholders of graduates’ competence. Inequitable assessments in medical education perpetuate barriers to advancement and career opportunities for learners from groups underrepresented in medicine (UIM). Even if unfounded, concerns about the possibility of inequitable assessments burden UIM learners and add to the challenging nature of the learning environments in which they are expected to perform.

평가의 형평성은 [사악한 문제]의 정의를 충족시킨다.10 [사악한 문제]는 갈등, 불확실성, 역동적 긴장, 맥락적 영향에 대한 취약성이 특징이다.

• 많은 교수진들은 학생들을 가르치고 평가하는 우리의 현재 접근 방식이 방어가능하고, 보람 있는 공로와 열심히 일하는 것이라고 믿는다.
• 한편, 어떤 사람들은 그것이 역사적으로 의대생, 전공의, 그리고 교수진의 대다수를 구성했던 사람들에게 [교육의 기회와 직업 특권의 상태를 영속적으로 유지해온 동일한 구조적 인종차별]에 의해 더럽혀졌다고 믿는다.

평가에서 형평성 문제를 탐구하는 문헌은 문제의 복잡성에 대한 더 큰 명확성을 제공하고 있지만, 평가에서 [형평성의 본질]에 대한 근본적인 질문을 해결하거나, 관찰된 차이에 대한 해결책을 제안하지 못했다.
Equity in assessment meets the definition of a wicked problem.10 Wicked problems are characterized by conflicts, uncertainty, dynamic tensions, and susceptibility to contextual influences.

• Many faculty believe that our current approach to teaching and assessing students is defensible, rewarding merit and hard work.
• Increasingly, others believe that it has been tainted by the same structural racism that has perpetuated a state of educational opportunity and career privilege for populations that have historically constituted the majority of medical students, residents, and faculty.

The literature that explores issues of equity in assessment is providing greater clarity into the complexity of the problem but has yet to resolve the fundamental questions about the nature of equity in assessment or propose solutions to observed differences.

이 [사악한 문제]를 해결하기 위해서는, 모든 의과대학과 레지던트 프로그램에서 교육자들의 일치된 노력이 필요할 것이다. 이 작업을 촉매하는 데 도움이 되도록, 우리는 평가에서 형평성의 공유 정신 모델을 확립하기 위한 핵심 개념을 정의함으로써 본 논문을 시작한다. 우리는 문헌에 대한 검토를 계속하고, 의료 교육 평가의 형평성에 대한 우려를 탐구하며, 조직 우수 분야의 작업을 모델링한 제안된 프레임워크를 따른다. 마지막으로, 우리는 향후 연구가 탐구해야 할 도전과 논쟁에 대해 설명한다.

Addressing this wicked problem will require concerted work by educators in all medical schools and residency programs. To help catalyze this work, we begin this paper by defining key concepts to establish a shared mental model of equity in assessment.11 We continue with a review of the literature, exploring concerns about equity in assessment in medical education, and follow with a proposed framework modeled on work in the field of organizational excellence. Finally, we describe challenges and controversies that future research should explore.

평가에서 형평성이란 무엇인가?
What Is Equity in Assessment?

[형평성]은 [공정함]과 [사회적 정의]가 실현된 상태이다. 따라서 [형평한equitable 평가 시스템]은 미래의 교육 및 직업 기회를 촉진한다. 평가의 형평성은 모든 학생들이 의학 분야에서 미래의 성공을 예측하는 성취의 시연에 기초하여 학습, 평가, 지도, 등급, 고급, 졸업 및 후속 기회를 위해 선택될 수 있는 공정하고, 불편부당한impartial 기회를 가질 때 존재한다. 그리고 [학습 경험이나 평가]가 모두 [학습자나 평가자의 개인적 또는 사회적 특성]과 관련된 [구조적 또는 대인적 편견에 부정적인 영향]을 받지 않아야 한다. [공평한 평가 시스템]은 다수 학습자와 소수 학습자 모두가 더 많이 배우고 더 잘 배울 수 있도록 해야 한다. 
Equity is the state of being fair and achieving social justice.12,13 An equitable assessment system thereby facilitates future educational and career opportunities. Equity in assessment is present when all students have fair and impartial opportunities to learn, be evaluated, coached, graded, advanced, graduated, and selected for subsequent opportunities based on their demonstration of achievements that predict future success in the field of medicine, and that neither learning experiences nor assessments are negatively influenced by structural or interpersonal bias related to personal or social characteristics of learners or assessors. An equitable assessment system should enable both majority and minority learners to learn more and learn better.14

평가 자본의 구성 요소
Components of equity in assessment

평가에서 형평에는 내재적 형평, 맥락적 형평, 도구적 형평의 세 가지 요소가 있다(그림 1 참조). 

There are 3 components to equity in assessment: intrinsic equity, contextual equity, and instrumental equity (see Figure 1).

[내재적 형평성]은 평가 프로그램 및 사용된 평가 도구의 설계가 [역사적으로 의료계에서 소외된 그룹에 대한 편견을 최소화함]을 의미한다. [확립된 준거]는 고품질의 평가 전략을 정의하고 또한 평가의 형평성을 달성하기 위한 노력에 inform한다. 이러한 준거에는 다음이 포함됩니다.

Intrinsic equity means that the design of the program of assessment and the assessment tools used minimize bias against groups historically marginalized by the medical profession. Established criteria define high-quality assessment strategies and also inform efforts to achieve equity in assessment. These criteria include:

• (1) 타당성 또는 일관성,
  
• (2) 재현성 또는 일관성,
  
• (3) 등가성,
  
• (4) 실현 가능성,
  
• (5) 교육적 효과,
  
• (6) 촉매 효과, 그리고
  
• (7) 수용 가능성
• (1) validity or coherence,
• (2) reproducibility or consistency,
• (3) equivalence,
• (4) feasibility,
• (5) educational effect,
• (6) catalytic effect, and
• (7) acceptability.15 

이러한 준거를 준수하여야, 교육자들이 [커리큘럼과 평가를 얼라인]하고, [가치 있는 것을 반영하여 측정]하며, [학습을 가이드]하고, [환자와 대중에게 시스템의 책임성을 보장]할 수 있다. 이러한 준거가 충족되지 않을 경우 평가의 불평등inequity이 발생할 수 있습니다. 표 1은 이러한 기준에 대한 정의를 요약하고 이를 충족하지 못하는 것이 평가의 불평등을 가능하게 하는 방법의 예를 제공한다.

Adhering to these criteria guides educators to align curriculum and assessment and to ensure that what is measured reflects what is valued, guides learning, and ensures accountability of the system to patients and the public. When these criteria are not met, inequity in assessment may result. Table 1 summarizes definitions for these criteria and provides an example of how failing to meet them can enable inequity in assessment.

[맥락적 형평성]은 [학습 경험과 평가 전략이 구현되는 환경의 공정성]을 의미한다. 맥락적 형평성에는 다음에 대한 형평성이 포함된다.

• 해당 환경 내에 할당된 환경과 과제, 
• 학습 환경 내부 및 외부에서 가용한 지원 및 사회 구조, 
• 평가 절차를 구현하는 감독자의 준비

이러한 요인들은 학습자들이 경험하는 환경에 영향을 미치므로, 학습자들이 최고의 능력에서 수행하고 평가되어야 하는 기회입니다.

Contextual equity refers to fairness in the learning experience and the environment in which assessment strategies are implemented. Contextual equity includes fairness in:

• assigned environments and tasks within those environments,
• support and social structures available within and outside the learning environments, and
• the preparation of supervisors who implement assessment procedures.

These factors impact the climate experienced by learners and, thus, the opportunity learners have to perform and be assessed at their peak abilities.

의료 교육에서 평가의 형평성은 또한 [도구적 형평성]에 대한 주의를 필요로 한다. 이는 사회적 계층이나 개인적 특성에 관계없이 모든 사람에게 공평한 기회를 창출하기 위해 이해관계자와 평가 프로세스의 결과를 공유하고 사용하는 방법을 의미한다. [도구적 형평성]은 평가가 설계된 맥락에서 [후속 성과를 과대 또는 과소 예측하지 않는 방식으로 결과를 공유하고 사용]할 때 존재한다(표 2 참조).

Equity in assessment in medical education also requires attention to instrumental equity: How results of assessment processes are shared with and used by stakeholders to create equitable opportunities for all, regardless of their social class or personal characteristics. Instrumental equity is present when the results are shared and used in a manner that neither over- nor underpredicts subsequent performance in the context for which assessment was designed (see Table 2).

[내재적, 맥락적, 도구적 형평성]은 평가의 [성과에 대한 형평성]에 집합적으로 기여하는 [프로세스 형평성 가치]이다.
이 때 'outcomes'란 평가 결과에 따라 달라지는 개인(예: 인기 많은 전공의 프로그램 선발) 또는 인구집단(예: AHS 내 교수진의 다양성)에게 제공되는 기회를 의미한다.
Intrinsic, contextual, and instrumental equity are process equity values that collectively contribute to equity in assessment outcomes: the opportunities afforded to individuals (such as selection for a prestigious residency) or populations (such as diversity of faculty in academic health systems) based on the consequences of assessment.

심리 측정의 엄격성에 초점을 맞추면 임상 학습 환경에서 평가의 형평성이 짧아지는 이유
Why a focus on psychometric rigor shortchanges equity in assessment in the clinical learning environment

[맥락적 형평성(평가가 이루어지는 학습 환경의 공정성)]은 그 정의상 복잡한 임상 환경에서 본질적으로 성취하기 어렵다. 학습자는 다양한 환자, 임상 조건, 팀 역학, 시간 제약, 감독자 기술 및 기타 요소를 경험합니다. 이러한 [변동성]으로 인해 평가 조건도 마찬가지로 변동적이며, [고부담 시험]에서 추구하는 [엄격한, 통제되고, 재현 가능한 조건]이라는 기대와 충돌한다. 예를 들어, 고위험 국가 면허 및 인증 시험 환경에서 [심리측정적 엄격성(흔히 "객관적"으로 선전되는 재현 가능하고 신뢰할 수 있는 결과)]을 추구하는 것은 전적으로 실현 가능하다. 그러나 이러한 시험은 의사 수행과 관련된 역량의 일부 측면만 측정하므로, 이러한 시험만 사용할 경우 향후 환자 치료에 대한 미미한 예측 능력만 있을 뿐이다. 

The definition of contextual equity—fairness in the learning environment in which assessment occurs—is inherently challenging in the complex clinical environment. Learners experience different patients, clinical conditions, team dynamics, time constraints, supervisor skill, and other factors. This variability makes the conditions for assessment similarly variable, and in conflict with traditional expectations for tightly controlled, reproducible conditions sought for high-stakes testing. For example, it is entirely feasible to pursue psychometric rigor—reproducible, reliable results that are often touted as “objective”—in the environments of high-stakes national licensing and certification examinations. However, these examinations only measure some aspects of the competencies relevant to physician performance and thus, used alone, have only modest predictive ability for future patient care.16–20 For most competencies other than knowledge, patient care skills are an essential component of the valid and equitable assessment of learner performance.

지식을 제외한 대부분의 역량의 경우, patient care skill은 학습자 수행의 유효하고 공평한 평가의 필수적인 구성요소이다. [임상 기술의 공평한 평가equitable assessment를 위한 조건을 만드는 것]은 지금까지 의료 교육자들에게 어려운 일이었다. 평가의 심리측정학 시대에, [WBA의 신뢰성 또는 재현성]에 주로 초점을 두는 것은 [평가자들이 서로 다른 수준의 학습자 수행의 유사한 등급을 제공하도록 충분히 훈련될 경우 공정성을 얻을 수 있을 것이라는 가정]을 부채질했다. 그러나 임상 수행능력 평가는 [매우 신뢰도가 높은 평정]이라는 비전에는 크게 미치지 못했다. 사실, 더 최근의 문헌은 우리가 학습자들이 접하는 임상 과제, 맥락, 그리고 다른 지도자들의 복잡성을 의미 있는 반영으로 등급의 가변성을 수용한다고 주장한다. 이 가이드는 [맥락적 형평성의 중요성]을 인정한다. 맥락적 형평성을 고려하지 않으면, 아래에 설명된 것처럼 [불평등한inequitable 평가 관행]이 영속될 것이다.

Creating the conditions for equitable assessment of clinical skills has thus far been challenging for medical educators. In the psychometric era of assessment, the major focus on reliability or reproducibility of workplace assessments fueled an assumption that fairness would result if raters were sufficiently trained to provide similar ratings of different levels of learner performance. However, assessment of clinical performance has fallen grossly short of this vision of highly reliable ratings. In fact, more recent literature advocates that we embrace the variability in ratings as a meaningful reflection of the complexity of clinical tasks, contexts, and different supervisors whom learners encounter.21–24 This guidance embraces the importance of contextual equity; failure to consider contextual equity perpetuates inequitable assessment practices, as described below.

기존 문헌: 의료 교육 평가의 형평성에 대한 우려는 보장된다.
Existing Literature: Concerns About Equity in Assessment in Medical Education Are Warranted

평가의 형평성 문제에 대한 탐구는 의대 입학, 진도 및 졸업에 사용되는 평가의 편향, 공정성, 차이, 차등 달성 등의 개념과 레지던스 프로그램과 교수진 경력을 위한 성공적인 경쟁에 초점을 맞춘 여러 연구로 시작되었다. 이러한 연구는 UIM과 WRIM 학생과 전공의 사이의 표준화된 시험, 임상 평가, 등급 및 학술상에서의 모집단 그룹 차이를 일관되게 문서화하며, 이는 사실상 항상 WRIM 학습자에게 유리하다. 게다가, 연구들은 또한 평가 결과의 사소한 차이가 레지던트 및 직업 기회에 강력한 영향을 미칠 수 있다는 것을 문서화했다. 
Exploration into the question of equity in assessment has begun with multiple studies focused on concepts such as bias, fairness, differences, and differential attainment in assessments used for entry to, progress through, and graduation from medical school and successful competition for residency programs and faculty careers.25–35 These studies consistently document population group differences in standardized examinations, clinical assessments, grading, and academic awards between UIM and well-represented in medicine (WRIM) students and residents, differences that virtually always favor WRIM learners. Furthermore, studies have also documented that minor differences in assessment outcomes can have a powerful impact on residency and career opportunities.9,30

고위험 표준화 시험에서 모집단 그룹 차이가 존재함
Population group differences exist in high-stakes standardized exams

국가 고위험 표준 시험은 종종 의과대학에 입학할 학생들을 선발하고 가장 경쟁력 있는 특기, 레지던트 프로그램, 그리고 진로에 들어가기 위해 사용된다. 불행하게도, 이러한 많은 시험들에서, 백인 이외의 동료들보다 백인 지원자들을 선호하고 여성들보다 남성 지원자들에게 호의적favor인 인구집단 간 차이가 존재한다.

• 의과대학 입학시험(MCAT)은 의과대학 입학사정관이 어떤 지원자에게 의과대학 면접과 합격을 제안할지를 결정하기 위해 사용하는 가장 중요한 선발 기준 중 하나이다. 비록 개별 여성과 UIM 학생들이 MCAT 점수의 범위에 걸쳐 점수를 매기지만, MCAT 점수에 집단 간 차이가 존재하며, 평균적으로 흑인 및 히스패닉 학생들은 백인 동료들보다 낮은 점수를 받는다.
• 마찬가지로, 미국 의료 면허 시험(USMLE) 1단계 시험은 거주자 선택에 중요한 역할을 했다. 유사한 모집단 그룹 차이는 USMLE 1단계에서 입증되었다. 연구에 따르면 흑인, 히스패닉, 아시아계 의대생들은 백인 학생들보다 평균 USMLE 1단계 점수가 낮고, 여성들은 평균적으로 남성들보다 낮은 점수를 받는 것으로 일관되게 나타났다. USMLE 1단계 점수의 이러한 그룹 차이는 학생들의 이전 학업 성취도에 의해 설명되지 않으며, 학생들의 총 성적 평균과 MCAT 점수를 감안한 후에도 지속된다.

National high-stakes standardized exams are often used to select students for entry into medical school and into the most competitive specialties, residency programs, and careers. Unfortunately, in many of these exams, population group differences exist that consistently favor White applicants over their non-White peers and men applicants over women.

• The Medical College Admission Test (MCAT) is one of the most important selection criteria used by medical school admissions officers to determine which applicants are offered medical school interviews and acceptance.36 Although individual women and UIM students score across the range of MCAT scores, population group differences exist in MCAT scores, with Black and Hispanic students, on average, scoring lower than their White peers.35,37,38 
• Similarly, the United States Medical Licensing Exam (USMLE) Step 1 exam has played an important role in residency selection.39 Similar population group differences have been demonstrated on the USMLE Step 1. Studies have consistently shown that Black, Hispanic, and Asian medical students, on average, have lower USMLE Step 1 scores than White students and women, on average, score lower than men.40–42 These group differences in USMLE Step 1 scores are not explained by students’ prior academic achievement, and they persist even after accounting for students’ total grade point average and MCAT scores.43

의과대학 학생들의 미래 성과에 대한 MCAT의 예측 능력과 미래의 면허 시험 수행에 대한 USMLE 1단계 시험에 대한 심리측정학 분석에 따르면 [시험의 본질적instrinsic 편향의 증거는 없다]. MCAT, USMLE 및 기타 고위험 표준 시험의 모집단 차이를 설명하는 일반적인 이론은 [UIM 학생들에게 제공되는 교육 기회에 대한 구조적 인종차별의 결과]에서 차이가 발생한다는 것이다. 최근 USMLE 1단계 시험에 대한 합격/불합격 채점 변경은 면허를 위한 의료 지식에서 최소한의 역량 보장을 유지하면서 불평등을 해결하기 위한 유망한 전략을 나타낸다.
Psychometric analysis of the predictive ability of the MCAT on future performance of students in medical school and the USMLE Step 1 exam on performance on future licensing exams shows no evidence of intrinsic bias of the exams.35 The prevailing theory explaining population group differences in the MCAT, the USMLE, and other high-stakes standardized exams is that the differences result from consequences of structural racism on educational opportunities afforded to UIM students.35,38 The recent change to pass/fail scoring for the USMLE Step 1 examination represents a promising strategy to address inequity while maintaining assurance of minimal competence in medical knowledge for licensure.

MCAT와 USMLE 시험의 경우, 광범위한 점수를 가진 학생들은 의과대학, 레지던트 및 의사 실습에서 미래에 성공할 수 있다. 그러나 많은 의과대학(MCAT)과 레지던트 프로그램(USMLE)은 면접과 입학을 위해 고려하는 지원자를 가장 높은 점수를 받은 지원자로 제한하는 것을 선택한다. 그들은 이런 이유를 댄다.

• 많은 수의 지원자들을 효율적으로 심사할 필요성에 대한 우려,
• 점수의 작은 차이가 갖는 예측 능력에 대한 잘못된 믿음,
• U.S. News & World Report에 따르면 기관 순위를 높이기 위해, 신입생이 가장 높은 시험 지표를 갖게 하라는 지도부의 압력.

이러한 시험에서 입증된 모집단 차이를 감안할 때, 최고 점수자에게만 기회를 제한하는 것은 UIM 학생들에게 시스템적 불이익을 주는 것이며, 의과대학 수업과 레지던트 프로그램을 다양화하는 데 장벽을 제공한다. 

For both the MCAT and USMLE examinations, students with a broad range of scores are capable of future success in medical school, residency, and physician practice. However, many medical schools (for the MCAT) and residency programs (for the USMLE) choose to restrict the candidates they consider for interviews and admission to those with the highest scores.38,44 They cite

• concerns about need to efficiently screen large numbers of applicants,
• false beliefs about the predictive ability of minor differences in scores, and
• pressure from leadership to craft a class with the highest exam metrics to increase institutional rankings according to U.S. News & World Report.

Given the demonstrated population group differences on these exams, this restriction of opportunity to the highest scorers systematically disadvantages UIM students and presents a barrier to diversifying medical school classes and residency programs.37,45,46

서술적 평가, 성적, 상에는 모집단 그룹 차이가 존재한다.
Population group differences exist in narrative evaluations, grades, and awards

[서술적 평가]와 [의과대학 성적]은 전공의, 펠로우, 개업의로서 미래의 성공에 필요한 역량에 대한 보다 총체적인 관점을 제공하는 것으로 생각된다. 교직원과 관리자에 의한 학생에 대한 부서별 및 기관별 평가에서도 모집단의 차이가 존재한다. 서술적 평가와 추천서에서 교수진이 사용하는 의대생에 대한 설명은 성별, 성별, 인종, 민족성에 따라 다양하다. 이러한 차이는 (백인이 아닌 학생보다) [백인 학생에게 유리]하다.
Narrative evaluations and medical school grades are thought to provide a more holistic view of the competencies needed for future success as a medical resident, fellow, or practicing physician. Population group differences also exist in departmental and institutional assessments of students by faculty and administrators. Descriptions of medical students used by faculty in narrative evaluations and letters of recommendation vary by sex, gender, race, and ethnicity. These differences favor White students over non-White students.

의학생 수행평가(MSPE)는 레지던트 선발을 목적으로 의과대학에서 학생 성과를 요약하기 위해 작성한 서류다. 최근 MSPE에 대한 연구에서 백인 학생들은 백인 이외의 또래에 비해 "최고", "우수", "우수"와 같은 "뛰어난" 단어로 묘사될 가능성이 더 높았다. 게다가, 여학생들은 남학생들보다 "자상하고" "연민"으로 묘사될 가능성이 더 높았고, [지능과 능력을 나타내는 단어]로 묘사될 가능성이 더 낮았다. 핵심 임상실습 평가에서 언어에 대한 또 다른 최근 연구는 평가자들이 그들의 단어 선택을 통해 성 고정관념을 강화한다는 것을 발견했다. 예를 들어, 여성은 남성보다 "사랑스러운" 것으로 묘사될 가능성이 더 높았고, 남성은 "과학적인" 것으로 묘사될 가능성이 더 높았다.
Medical student performance evaluations (MSPEs) are the documents prepared by medical schools to summarize student performance for the purpose of residency selection. In a recent study of MSPEs, White students were more likely to be described with “standout” words such as “best,” “excellent,” and “outstanding” compared with their non-White peers.32 Further, female students were more likely than males to be described as “caring” and “compassionate” and less likely to be described with words that denote intelligence and competence. Another recent study of language in core clerkship evaluations found that evaluators reinforce gender stereotypes through their choice of words. For example, women were more likely than men to be described as “lovely,” while men were more likely to be described as “scientific.”3

연구들은 또한 수여된 성적에서 인종과 민족적 차이를 보여주었다. 한 학술 의료 센터는 최근 역사적으로 UIM(흑인 또는 아프리카계 미국인, 히스패닉, 미국 인디언/알래스카 원주민 또는 하와이/태평양 원주민) 학생들이 백인 학생들에 비해 모든 임상실습에서 절반의 "Honors" 점수를 받았다는 것을 발견했다. 응급의학(EM) 프로그램에 지원하는 2,884명의 의대생들의 순위를 매기기 위해 사용된 표준 평가서의 수치적 글로벌 평가 순위를 조사한 결과, 흑인 지원자들이 여러 영역에서 백인 지원자들보다 낮은 등급을 받았으며, 여기에는 응급의학과에서 미래의 성공 평정, 순위 목록 예측, 전체 지원자 순위 등이 포함된다.

Studies have also demonstrated racial and ethnic differences in awarded grades. A single academic medical center recently found that students historically UIM (Black or African American, Hispanic, American Indian/Alaska Native, or Native Hawaiian/Pacific Islander) received half as many “honors” grades across all clerkships compared with White students.9 An examination of numeric global assessment rankings in the Standard Letters of Evaluation used to rank 2,884 medical students applying to emergency medicine (EM) programs found that Black applicants were rated lower than White applicants across several domains, including ratings on future success in EM, rank list prediction, and overall applicant ranking.47

[알파 오메가 알파 아너 소사이어티(AOA)]의 회원 자격을 위한 학생 선발에서도 집단 차이가 발생한다. AOA 회원 자격은 미래의 의학에서의 성공을 예측하고 있으며, 회원 자격은 종종 학생들이 가장 경쟁력 있는 레지던트 자리를 얻는 데 유리하다. 최근의 연구는 아시아 의대생들이 백인 학생들보다 AOA에 선발될 확률이 약 50% 낮다는 것을 보여주며, 사회 구성원의 인종과 민족적 불균형을 드러낸다. USMLE 1단계와 2단계 점수, 이중 학위, 연구 생산성, 리더십 활동 및 지역사회 봉사에 전념하는 시간 등 수많은 학업 성취도를 감안하더라도, 흑인 의대생이 백인 학생보다 AOA에 선출될 가능성이 거의 80% 낮다. 이러한 차이는 인종과 소수민족 의대생들이 동등한 성취에 대해 차등적으로 보상을 받는다는 것을 암시한다. 일부 기관들은 이러한 관측 때문에 AOA 회원 자격을 정지하기로 결정했다.

Population group differences also arise in selection of students for membership in the Alpha Omega Alpha Honor Society (AOA). AOA membership is predictive of future success in academic medicine, and membership often advantages students in obtaining the most competitive residency positions.39,48,49 Recent studies reveal racial and ethnic disparities in society membership, with Asian medical students being approximately 50% less likely than White students to be selected into AOA. Black medical students are nearly 80% less likely than White students to be elected into AOA, even when accounting for numerous measures of academic achievement including USMLE Step 1 and 2 scores, dual degrees, research productivity, and hours dedicated to leadership activities and community service.30 This disparity suggests that racial and ethnic minority medical students are differentially rewarded for comparable achievement. Some institutions have chosen to suspend membership in AOA because of these concerning observations.50

서술적 평가, 사무원 직급, 추천서, 명예회원의 이러한 차이는 개인과 직업 모두에게 지속적이고 부정적인 결과를 준다. 2005~2015년 미국 의대 졸업생들을 분석한 결과, 흑인 또는 아프리카계 미국인, 히스패닉계, 아시아계, 미국 인디언/알래스카 원주민 졸업생들은 모두 USMLE 1단계 점수를 감안하더라도 백인 졸업생들보다 GME에서 연수 자리를 확보할 가능성이 낮았다. 게다가, 의대 졸업 후 GME에 배치되지 않은 흑인 및 히스패닉 졸업생들의 수는 연구 내내 증가했다. GME 교육은 의료 면허 취득을 위해 필요하기 때문에, 의과대학 졸업 후 입학을 연기하거나 레지던트 프로그램에 들어갈 수 없는 것은 상당한 학생 부채를 가지고 있는 학생들에게 상당한 경제적 결과를 초래한다. 직업 다양화를 위한 목표에 대한 결과는 분명하다.
These differences in narrative assessments, clerkship grades, letters of recommendation, and honor society membership impart sustained, negative consequences for both individuals and the profession. In an analysis of U.S. medical school graduates from 2005 to 2015, Black or African American, Hispanic, Asian, and American Indian/Alaskan Native graduates were all less likely than White graduates to secure training positions in graduate medical education (GME), even after accounting for USMLE Step 1 scores.51 Moreover, the number of Black and Hispanic graduates unplaced in GME after medical school graduation increased throughout the study. Because GME training is requisite for medical licensure, delayed entry or inability to enter a residency program after medical school has substantial economic consequences for students who may also have considerable student debt. The consequences on goals to diversify the profession are clear.

의료교육 평가에서 모집단 차이의 잠재적 원인
Potential causes of population group differences in assessment in medical education

인구 집단 차이는 소수 인종, 민족, 성 소수자 사이의 의료 교육 평가에서 존재한다. 이 문제에 대한 간단한 설명을 찾는 것은 유혹적이다. 일부에서는 평가에서 모집단 차이의 존재만으로도 평가 과정에서 명백한 편견과 차별을 확인한다고 주장해왔다. 확실히, 일부 평가는 잘못 설계될 수 있고, 일부 평가자는 일관되게 편향될 수 있다. 다른 사람들은 집단 차이가 영향을 받는 집단 내의 다른 적성을 반영한다고 주장한다. 실제로, 의과대학 내에서, 많은 다른 사회 집단과 정체성의 다른 학생들은 다양한 전공에 대한 다른 적성과 관심을 보여준다. 만약 이 문제의 원인이 [개별 학습자 또는 평가자 수행]에 있다면, 우리는 [서로 다른 평가 방법]을 가진 [서로 다른 기관]에서 수행된 연구에서, [동일한 결과]를 볼 것으로 기대하지 않을 것이다. WRIM 학생을 유리하게 하는 차이의 [보편성과 일관성]은 체계적 힘이 작동하고 있을 가능성이 있음을 시사한다.
Population group differences exist in medical education assessments between majority and racial, ethnic, and gender minorities; they constrain individuals’ opportunities and contribute to challenges in diversifying the profession. It is tempting to seek a simple explanation to this problem. Some have argued that the mere existence of population group differences in assessment confirms overt bias and discrimination in the assessment process. Certainly, some assessments may be poorly designed, and some assessors may be consistently biased. Others have posited that population group differences reflect differential aptitude within affected populations. Indeed, within any medical school, different students from many different social groups and identities demonstrate different aptitudes for and interest in various specialties. If the origins of this problem resided with individual learner or assessor performance, we would not expect to see the same results in studies done at different institutions with different assessment methods. The universality and consistency of differences advantaging those from groups WRIM suggest that systematic forces are likely operational.

다른 사악한 문제와 마찬가지로, 평가의 불평등 문제를 해결하기 위해서는 가능한 원인과 잠재적인 해결책에 대한 더 넓은 시각이 필요하다. 공공 보건에 사용되는 [사회-생태학적 모델]은 개인의 결과가 더 광범위한 조직 및 사회 시스템의 맥락에서 고려되어야 한다는 것을 인식한다. 평가에서 형평성 문제에 이 모델을 적용하면 관찰된 모집단 차이의 가능한 원인에 대한 통찰력을 제공하고 여러 수준에서 개입을 계획할 필요성을 보여준다(그림 2 참조).

As with other wicked problems, solving the problem of inequity in assessment requires a broader view of possible causes and potential solutions. The social–ecological model used in public health recognizes that individual outcomes must be considered in the context of broader organizational and social systems.52 Applying this model to the issue of equity in assessment provides insights into possible causes of observed population group differences and illustrates the need to plan interventions at multiple levels (see Figure 2).

평가의 형평성에 대한 우리의 작업 정의는 평가의 불평등에 대한 그들의 잠재적 기여에 대한 제도적 시스템을 테스트하는 데 사용될 수 있다. 평가의 형평성은 학생들이 다음을 할 수 있는 공평한 기회를 가질 때 존재한다. 

• 학습(맥락적 형평성); 
  
• 평가, 코칭(학습을 위한 평가) 
  
• 성적, 진급, 졸업(학습의 평가) 
  
• 입증한 성과에 기초한 후속 기회에 선발. 이 때 입증한 성과는
  • 미래의 성공을 예측해야 하고(도구적, 순위를 위한 평가)
  • 학습 경험이나 평가가 학습자, 평가자 또는 환경의 개인적 또는 사회적 특성과 관련된 [구조적 또는 대인적 편견에 의해 영향을 받지 않아야] 한다.

Our working definition of equity in assessment can be used to test institutional systems for their potential contributions to inequity in assessment. Equity in assessment is present when students have equitable opportunities to:

• learn (contextual equity);
• be evaluated, coached (assessment for learning);
• be graded, advanced, graduated (assessment of learning); and
• be selected for subsequent opportunities based on demonstrated achievements
  • that predict future success in medicine (instrumental, assessment for ranking) and
  • that neither learning experiences nor assessments are influenced by structural or interpersonal bias related to personal or social characteristics of the learner, assessor, or context of the assessment. 

이러한 조건이 충족되지 않으면 평가의 불평등이 존재한다. 

Inequity in assessment exists if these conditions are not met. Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/B18 summarizes examples of inequity in each of these domains relevant to assessment.

프로그래밍 평가 전략을 설계하는 교육자의 직접적인 통제 하에 있지 않을 수도 있지만 [맥락적 형평성]을 고려하는 것은 필수적이다. [특정 모집단에 체계적으로 불이익을 주는 학습 환경의 과제]를 해결하지 않고, [내재적 및 도구적 평가 절차와 정책에서 형평성]만을 최적화하는 작업이 수행된다면, 평가 결과의 불평등은 유지될 것이다. 
It is vital to consider contextual equity, even though it may not be under the direct control of educators who design programmatic assessment strategies. If work is done to optimize equity in intrinsic and instrumental assessment procedures and policies without addressing challenges in the learning environment that systematically disadvantage one population and not others, then inequity in assessment outcomes will remain. Case studies outlined in Supplemental Digital Appendix 2 at https://links.lww.com/ACADMED/B18 illustrate how the elements of inequity impact learners in the clinical learning environment.

모집단 그룹 차이는 불평등이나 편견이 아닌 다른 이유로 발생할 수 있습니다. [특정 모집단이 평가 프로세스에 의해 평가되고 측정된 특성을 일관되게 보여줄 가능성]이 더 높기 때문에 모집단 그룹 차이가 존재할 수도 있다. 위제세케라와 동료들은 공감과 환자 중심성을 강조하는 기준으로 여성이 남성보다 2배 이상 골드 휴머니즘 아너 소사이어티(GHHS)에 가입할 가능성이 높다고 확인했다. 평가에서 형평성에 대한 우리의 [작업 정의working definition]는 [특정 모집단이나 그룹이 가치 있는 특성을 일관되게 보여줄 가능성이 더 높은지] 또는 [선택 과정이 불평등한지] 여부에 대한 질문을 탐구하기 위한 렌즈이다.

• 여성이 남성보다 공감과 환자 중심성이 더 뛰어난가(개인의 적성과 성취도)? 
  
• 남성이 공감과 환자 중심성을 보여주는 방법이 평가자 및/또는 평가 방법에 의해 동등하게 포착되었는가(내재적 형평성)? 
  
• 남성과 여성은 이러한 특성을 입증하기 위해 예상되는 방법으로 코칭을 받을 수 있는 기회가 동등한가? ('학습을 위한' 맥락과 평가)
  
• 평가 맥락은 남성과 여성이 이러한 특성을 입증할 수 있는 동등한 기회를 허용하는가? ('학습의' 맥락과 행동)
  
• 마지막으로, 조직적 가치 설명: 
  
  • 이러한 특성이 미래의 의사들에게 측정되고 개인을 구별하는 데 사용될 만큼 충분히 중요한가? (본질적 및 도구적 형평성) 

Population group differences may occur for reasons other than inequity or bias. Population group differences may exist because one population is consistently more likely to demonstrate the characteristics valued and measured by the assessment process. Wijesekera and colleagues identified that women were more than twice as likely as men to be inducted into the Gold Humanism Honor Society (GHHS), with criteria emphasizing empathy and patient centeredness.53 Our working definition of equity in assessment is a lens to explore the question of whether one population group is consistently more likely to demonstrate the characteristics valued or whether the selection process is inequitable.

• Do women have more empathy and patient centeredness than men (individual aptitude and achievement)?
• Are the ways that men demonstrate empathy and patient centeredness equally captured by assessors and/or by the assessment method (intrinsic equity)?
• Do men and women have equal opportunity to receive coaching (context and assessment for learning) in the expected ways to demonstrate these traits?
• Does the assessment context allow men and women equal opportunities to demonstrate these traits (context and conduct of learning)?
• And finally, an organizational value statement:
  • Are these traits important enough to future physicians to be measured and used to differentiate among individuals (intrinsic and instrumental equity)?

이 예는 남성과 여성 학생을 다르게 형성하는 선행 기관, 문화 및 경험의 중요성을 강조하며, 평가 전략에 대한 유효한 질문을 제기하는 동시에 이러한 특징의 입증에 진정한 차이를 초래할 수 있다. GHHS가 이러한 발견에 어떻게 반응하는지는 제도적 가치를 반영하고 구체화하며 궁극적으로 촉진할 것이다.

This example both highlights the importance of antecedent institutions, cultures, and experiences that shape men and women students differently and may lead to true differences in demonstration of these traits while also raising valid questions about assessment strategies. How the GHHS responds to these findings will reflect, embody, and ultimately promote institutional values.

의료교육의 공정성 평가체계
A Framework for Equitable Assessment in Medical Education

의료 교육 평가의 형평성과 공정성에 대한 문헌의 통찰, 의료 교육 평가에서 평가의 차이가 존재하는 이유에 대한 가설, 고품질 평가를 지원하는 이론을 바탕으로 [평가의 형평성을 고려하기 위한 프레임워크]를 제안한다. 이 프레임워크는 효과적인 조직이 목적 중심적이고 원칙적인 플랫폼에서 개선 작업을 시작한 후 문화를 형성하고 시스템을 구축하며 이러한 원칙을 반영하는 결과를 달성할 수 있는 도구를 선택하는 것을 인식하는 조직 우수성을 위한 Shingo 모델을 기반으로 합니다. 목록 1은 [평가의 형평성을 위한 Shingo 모델] 적용을 가이드하는 원칙을 요약한 것이다.
Drawing on insights from the literature on equity and fairness in medical education assessments, hypotheses for why disparities in assessment exist in medical education assessment, and theories supporting high-quality assessment, we propose a framework for considering equity in assessment. This framework is based on the Shingo model for organizational excellence, which recognizes that effective organizations begin their improvement work from a purpose-driven and principled platform and then move to shape the culture, build the systems, and select the tools that can achieve the results that reflect those principles.54 List 1 outlines principles that guide application of the Shingo model to equity in assessment.

가이드 원칙
Guiding principles

특정 기관의 평가 결과는 여러 기관 및 조직(전공의 및 펠로우십 프로그램, 면허 및 인증 위원회, 병원 자격 부여 부서, 전문 사회 및 정부 당국)에 의해 사용될 것이기 때문에, 의학교육에서의 [평가의 형평성에 대한 모델]은 [프로그램 및 의료 기관의 경계를 평등을 초월]해야 한다. 따라서 의료 교육에서 평가에서 형평성을 성공적으로 달성하려면 의료 및 의료 교육에서 우리의 업무에서 필수적인 요소로서 형평성을 발전시키기 위한 [전국적인 집단적 약속]이 필요하다.
Because results of assessments at any given institution will be used by multiple institutions and organizations (residency and fellowship programs, licensing and certifying boards, hospital credentialing units, professional societies, and governmental authorities), a model for equity in assessment in medical education must transcend program and institutional borders. Thus, successfully achieving equity in assessment in medical education requires a nationwide, collective commitment to advance equity as an essential element in our work in health care and medical education.

의학교육에서 모든 평가의 목적은 [모든 졸업생]이 [모든 환자]에게 [고품질의 환자 중심적이고 공평한 치료]를 제공하는 데 [필요한 역량]을 입증하는 것이다. 이러한 목적은 의료 및 의료 교육 문화의 설계, 구현 및 지속적인 개선, 학습자를 평가, 평가, 승진, 졸업 및 인증하기 위해 사용하는 시스템과 전략, 그리고 전략을 구현하기 위해 선택하는 도구를 추진해야 합니다.

The aim of all assessment in medical education is to ensure that every graduate of schools and training programs has demonstrated the competencies needed to provide high-quality, patient-centered, equitable care for all patients. This purpose must drive the design, implementation, and continuous improvement of the culture of medicine and medical education; the systems and strategies we use to assess, grade, promote, graduate, and certify learners; and the tools we select to implement our strategies.

문화
Culture

문화는 조직의 규범, 기대, 신념, 가치를 나타냅니다. 문화적 규범은 명시적이고 암묵적이며 조직 내 개인들이 보여주고 보상하는 행동에 반영된다. 분위기climate는 [문화의 개별적인 경험]이다.
Culture represents an organization’s norms, expectations, beliefs, and values. Cultural norms are both explicit and tacit and are reflected in the behaviors exhibited and rewarded by individuals in the organization. Climate is the individual experience of culture.

형평성과 포용을 지지하는 문화를 달성하려면 우리가 의학에서 수월성을 정의하고, 개발하고, 인식하는 방법에 대한 오랜 믿음의 재보정이 필요하다. 21세기에는 복잡한 만성질환 환자를 돌보기 위해 필요한 팀 기반 전달 모델이 모든 팀원이 우수해야 한다. 그러므로 우리 환자와 공동체의 건강에 중요한 것은 [최고의 의사가 얼마나 훌륭한가]가 아니라, [모든 의사가 얼마나 훌륭한가]이다. 이 견해는 평가의 형평성과 잘 맞아떨어진다. 우리의 평가 문화는 모든 학습자들이 이러한 성장을 지원하기 위해 헌신하는 시스템과 다른 전문가들의 도움을 받아 의료 경력을 통해 성장하고 발전해야 한다는 믿음을 수용해야 한다. 우리의 초점은 [졸업반 중 상위 10%를 식별하는 것]이 아니라, [모든 졸업생이 안전하고 질 높은 환자 치료에 필요한 역량 임계값을 초과하는지 확인하는 평가를 설계하는 것]이어야 한다.
Achieving a culture that supports equity and inclusion requires recalibration of long-standing beliefs about how we define, develop, and recognize excellence in medicine. In the 21st century, the team-based delivery model needed to provide care for patients with complex chronic diseases requires that all team members be excellent. Therefore, what matters to the health of our patients and communities is not how good the very best physician is, but how good every physician is. This view aligns well with equity in assessment. Our culture of assessment must embrace the belief that all learners can and must grow and develop throughout their medical careers, aided by systems and other professionals committed to supporting this growth. Our focus must be to design assessments to ensure every graduate exceeds the competency thresholds necessary for safe, high-quality patient care, rather than to identify the top 10% of a graduating class.

평가 시스템
Systems of assessment

시스템은 평가에서 내재적 형평성을 지원하도록 설계되어야 한다.
Systems must be designed to support intrinsic equity in assessment.

교육자는 다음과 같은 시스템을 설계해야 한다.

• 평가 기준을 명시적으로 밝히고,
• 학습 기회를 균등화하고,
• 모든 학습자에게 형성적 피드백을 제공하고,
• 개별 평가자의 무의식적 편견이 학습자의 성적에 미치는 해로운 영향을 최소화하고,
• 성과 사고방식보다는 성장형 사고방식을 인식하고 보상

Educators must engineer systems that

• explicitly articulate criteria for assessment,
• equalize the learning opportunities,
• provide formative feedback for all learners,
• minimize the deleterious impact of unconscious bias of any individual evaluator on a learner’s grades, and
• recognize and reward growth rather than performance mindset.

경험적 데이터가 공평한 평가 프로그램의 설계를 안내하는 것은 거의 없지만, 평가를 위한 두 가지 현재 프레임워크는 형평한 평가 프로그램의 개발을 지원할 수 있다:competency-based medical education (CBME) and programmatic assessment focused on equity. 이러한 접근법은 평가 및 평가 결과의 불평등에 기여하는 개인과 그룹의 무의식적 편견을 최소화할 수 있는 잠재력을 가지고 있다.

While little empirical data guide the design of equitable programs of assessment, 2 current frameworks for assessment align with and can support development of equitable programs of assessment: competency-based medical education (CBME) and programmatic assessment focused on equity. These approaches have the potential to minimize unconscious bias in individuals and groups that contribute to inequities in assessment and assessment outcomes.

[CBME]는 의학교육의 기대 성과를 정의하고 이정표를 사용하여 역량 달성 예상 궤적을 요약한다. CBME의 평가는 의과대학에서 독립적인 실습으로 이어지는 연속체에 있는 모든 개인들이 계속해서 배우고 성장하고 있다는 믿음에 기초한다. 이와는 대조적으로, [전통적인 평가 방식]은 [성장을 지원하는 것]이 아니라, [단점이 있는 학습자를 식별]하는 데 초점을 맞추고 있습니다. 이러한 [결핍deficit 접근법]은 불균형적으로 UIM 학습자에게 불리하며, 모든 학습자의 성장 마인드를 배양하기 위해 평가 정보를 사용할 기회를 놓친다. 학습의 관점에서, [고군분투하는 학습자를 식별하는 데 초점을 맞추는 것]은 전형적으로 [모든 학습자가 개발이 필요한 영역을 가지고 있고 지속적으로 학습하고 성장하는 것으로 가정되는 발달 초점developmental focus]과 배치된다. 철저한 의예과 교육을 받지 못하는 것은, UIM 학습자에게 불균형적으로 영향을 미치는 흔한 시나리오로, 이렇게 [고군분투하는 학습자]로 분류될 수 있다. 일단 이 딱지가 붙으면, 학습자는 개인적으로나 직업적으로나 그 결과에 시달리게 된다.
CBME defines desired outcomes of medical education and outlines the expected trajectory of competency achievement using milestones.55–57 Assessment in CBME is based on the belief that all individuals on the continuum of medical school into independent practice are continuing to learn and grow.58 In contrast, traditional approaches to assessment focus not on supporting growth but on identifying learners with shortcomings.59–62 This deficit approach disproportionately disadvantages UIM learners and misses the opportunity to use assessment information to foster a growth mindset in all learners. From a learning perspective, a focus on identifying struggling learners typically contradicts a developmental focus in which all learners are assumed to have areas in need of development and to be continuously learning and growing.63 Any learner with less exposure or less rigorous premedical training, scenarios that disproportionately affect UIM learners, is particularly vulnerable to being labeled a struggling learner. Once this label is applied, the learner suffers the consequences, both personally and professionally.

[형평성에 초점을 맞춘 프로그램 평가]는 개별 학습자와 학습자의 궤적에 대한 [총체적이고 균형 잡힌 관점]을 위해 노력합니다. 이 목표는 여러 가지 다른 맥락에서 학습자의 작업의 많은 샘플을 수집하고 분석함으로써 달성된다. 정량적 데이터 외에도 수행에 대한 [내러티브 설명자]와 같은 [정성적 평가]는 학습자 개선을 안내하고 학습자 역량에 대한 엄격한 결정에 기여할 수 있는 수행의 뉘앙스에 대한 정보를 제공한다.64

Programmatic assessment focused on equity strives for a holistic, well-rounded view of individual learners and their trajectory. This aim is achieved by collecting and analyzing many samples of learners’ work in multiple different contexts. In addition to quantitative data, qualitative assessments, such as narrative descriptors of performance, provide information about the nuances of performance that can guide learner improvement and contribute to rigorous decisions about learner competence.64

형평성을 더욱 서포트하기 위하여, [프로그램 평가]에는 진급과 졸업에 대한 높은 이해와 종합적 결정을 하기 위해 개인이 아닌 [위원회에 의존하는 시스템]이 포함된다. 형평성을 높이기 위한 최적의 위원회 구조와 기능의 세 가지 핵심 요소가 있다.

• 그룹 구성원 자격
• 데이터 관리
• 의사 결정 절차가 .

For further support of equity, programmatic assessment includes systems that rely on committees rather than individuals to make high-stakes, summative decisions about advancement and graduation.65,66 Three critical elements of optimal committee structure and function can advance equity:

• group membership,
• data management, and
• decision-making procedures.

• [그룹]은 [많은 데이터 포인트]로 무장하여, ["군중의 지혜"가 충분히 고려된 결정]을 내리기 위해 다양한 의견을 끌어낼 수 있는 기회를 만든다. 구성원들이 의사결정의 질을 강화하기 때문에 [다양한 집단]이 개인이나 동질적 집단보다 낫다. [흔한 편견에 대한 교육]은 공정한 평가를 위하여, [인지적 지름길에 대한 인간의 취약성]이나 [학습자의 기회를 단축시킬 수 있는 개인적 선호]를 인식하게 한다.
• [이용 가능한 양질의 데이터]와 [잘 조직된 정보에 대한 접근 용이성]은 그룹 의사 결정을 강화합니다. 여러 출처의 균형 잡힌 데이터가 없을 경우, 그룹 구성원은 인상이나 제한된 데이터에 기초한 결정을 내릴 수 없으며, 이는 다시 편향의 위험을 초래하는 과정이다.
• 마지막으로, [데이터 검토 및 그룹 토론을 위한 구조화된 절차]는 모든 학습자가 사용 가능한 정보의 총체를 기반으로 평가되도록 합니다.
• A group invites opportunity for the “wisdom of the crowd,” armed with a large number of data points, to draw on a diversity of opinions to make well-considered decisions. Diverse groups outperform individuals or homogeneous groups because members strengthen the quality of decisions made.67 Training about common biases brings awareness of the human vulnerability for cognitive shortcuts and personal preferences that can shortchange every learner’s opportunity for fair assessment.68 
• The quality of data available and ease of accessing well-organized information strengthen group decision making. Absent well-rounded data from multiple sources, group members may default to making decisions based on impressions or limited data, a process that again introduces risk for bias.
• Finally, structured procedures for data review and group discussions help ensure that all learners are evaluated based on the totality of information available.

시스템은 상황별 형평성을 해결하도록 설계되어야 합니다.
Systems must be designed to address contextual equity.

평가 결과에서 형평성을 달성하려면 [맥락적 형평성]에 대한 주의가 필요합니다. 평가의 커리큘럼과 프로그램은 모두 다른 제도 시스템, 특히 교수-학습을 위하여 [환자 진료와 교수 지원을 조정하는 시스템]에 크게 의존한다. 평가 시스템을 설계하는 교육자들은 소수자 학습자들을 위한 학습 환경을 최적화하기 위해 학업 건강 시스템의 다른 지도자들과 협력해야 한다.
Achieving equity in assessment outcomes requires attention to contextual equity. Both curricula and programs of assessment are highly dependent on other institutional systems, specifically those that orchestrate patient care and faculty support for teaching and learning. Educators who design systems of assessment must work with other leaders in academic health systems to optimize the learning environment for minority learners.

시스템은 평가 결과에서 도구적 형평성과 형평성을 다루도록 설계되어야 한다.
Systems must be designed to address instrumental equity and equity in assessment outcomes.

인가자(의료교육 및 대학원 의료교육 인가위원회)와 평가 데이터를 수집 및 사용하는 조직의 리더(전국 거주자 일치 프로그램, 인증 위원회)는 [형평성 원칙에 부합하는 데이터 프레젠테이션 시스템]을 설계하여 평가의 형평성을 지원할 수 있다. 교육 기관 및 리더가 [평가 데이터를 의도된 목적으로만 사용할 책임]을 갖게 해야 한다.
Accreditors (Liaison Committee on Medical Education and Accreditation Council for Graduate Medical Education) and leaders of organizations that collect and use assessment data (National Resident Match Program, certifying boards) can support equity in assessment by designing systems of data presentation that align with principles of equity and by holding educational institutions and leaders accountable for using assessment data only for intended purposes.

도구들
Tools

[도구]는 시스템 내에서 원하는 결과를 얻기 위해 개인이 사용하는 기술, 프로세스, 인센티브 및 디스인센티브를 말합니다. 공평한 평가에 사용되는 도구를 선택하여 시스템 우선 순위를 지원하고 운영합니다. 도구에는 다음이 포함된다.

• 증거 찾기 도구(환자, 임상 추론 및 필기 작업 제품과의 상호작용에 대한 학습자의 직접 관찰 및 토론),
• 데이터 표시 도구,
• 데이터 분석 도구,
• 교수 개발 도구
• 커뮤니케이션 도구

Tools are the technologies, processes, incentives, and disincentives employed by individuals within the system to achieve desired results. Tools used in equitable assessment are selected to support and operationalize system priorities. Tools include

• evidence-seeking tools (direct observation of and discussion with learners about interactions with patients, clinical reasoning, and written work products),
• data display tools,
• data analytic tools,
• faculty development tools, and
• communication tools.

결과.
Results

[결과]는 평가 모델의 가이드 원칙을 보여주고, 확인하게 해주는 측정 가능한 결과입니다. 결과는 원하는 결과를 달성하기 위해 설계된 도구와 시스템을 다듬는 데 필수적인 [피드백 메커니즘]을 제공합니다. 결과는 기관, 조직 또는 전문 의료 교육 커뮤니티의 문화를 강화합니다.
Results are the measurable outcomes that demonstrate and affirm the assessment model’s guiding principles. Outcomes serve an essential feedback mechanism for refining the tools and systems engineered to achieve the desired results. Results reinforce the culture of the institution, organization, or professional medical education community.

의료 서비스 제공과 의료 교육에 있어 형평성을 증진하기 위한 우리의 약속을 이행하기 위해 개인, 기관 및 국가 조직은 목록 1에 설명된 결과를 위해 노력해야 한다. [평가를 위한 형평성 원칙]과 [증거 기반 전략]을 고수한다고 해서, 특정 기관이 class마다 존재하는 모든 인구 집단 차이를 피할 것이라는 보장은 없다. 주어진 class의 크기가 작거나, 해마다 학생들의 흥미와 포부가 다양하기에, 모든 차이도 제거하는 것이 불가능할 수 있다. 대신, 의료 교육에서 평가의 형평성이 달성되었다는 [더 나은 지표]는 [역사적으로 URM이거나 의학에 의해 소외된 그룹의 학습자 모집단]에 대해서 [국가 수준의 차이가 없다는 것]이다.

To fulfill our commitment to advancing equity in health care delivery and in medical education, individuals, institutions, and national organizations must commit to striving for the results outlined in List 1. Adhering to equity principles and evidence-based strategies for assessment does not guarantee that any given institution will avoid all population group differences in their classes. The small sample size of a given class and variability of student interest and aspirations from year to year may make a goal of eliminating any differences unfeasible. Instead, a better indicator that equity in assessment in medical education has been achieved will be the absence of national-level disparities for populations of learners from groups that are historically URM or that have been marginalized by medicine.

연구 의제
Research Agenda

위에서 제안한 평가의 형평성 모델은 의료 교육 시스템에 만연해 있는 불평등을 해결하기 위한 약속을 요구한다. 편견과 차별의 감소를 입증하는 필요한 증거 수집을 안내하는 강력한 연구 의제는 아래에 요약되어 있다.
The above proposed model for equity in assessment demands commitment to addressing inequities that have pervaded the medical education system. A robust research agenda to guide the collection of needed evidence demonstrating reduction in bias and discrimination is outlined below.

평가에서 [내재적 형평성]에 대한 연구
Research into intrinsic equity in assessment

학습자 평가: UIM 학습자의 성공에 대한 장애물과 장벽에 대해 많이 쓰여졌지만, [반-결핍antideficit 렌즈]는 UIM 학습자를 성공을 위해 포지셔닝하는 강점과 특성에 초점을 두는 다른 접근 방식을 취한다. 하퍼의 엄격한 작업은 대학 교육을 준비하고 추구하는 [흑인 남성의 (단점보다는) 성공에 기여한 요소들을 묘사하기 위해 반-결핍 렌즈를 사용]했다. 이 접근법은 UIM 학습자들이 성공을 거두도록 하는 동기, 성과 특징, 개인 및 제도적 특성을 연구하는 모델 역할을 할 수 있다. 

Learner assessment: While much has been written about obstacles and barriers to success for UIM learners, the antideficit lens takes a different approach by drawing focus to the strengths and characteristics that position UIM learners for success. Harper’s rigorous work used an antideficit lens to describe the factors that contributed to success rather than the shortcomings of Black men preparing for and pursuing college education. This approach can serve as a model for studying the motivations, performance features, and individual and institutional characteristics that set UIM learners up for success.69

교육자들은 실제의 성공을 예측하는 학습자 궤적의 특성을 설명하는 엄격한 연구로부터 이익을 얻을 것이다. 그런 다음 교육자는 바람직한 학습자 궤적에 대한 유효한 데이터를 캡처할 수 있는 평가 방법을 결정하여 표준 평가 방법에서 초점을 이동할 수 있다.

Educators will benefit from rigorous studies that explicate the characteristics of learner trajectories that predict success in practice. Educators can then determine which assessment methods can capture valid data about favorable learner trajectories and, thus, shift focus away from normative assessment methods.

[맥락적 형평성] 평가 연구
Research into contextual equity in assessment

학습자 경험: UIM 학습자를 위한 학습 환경의 영향력 있는 측면을 이해하면 연구자들은 환경, 학습자 만족도 및 성취도 사이의 관계를 조사하여, [UIM 학습자의 성취를 최대화할 기회를 방해하는 구조적 장벽을 해결하는 개선 사항]을 알릴 수 있다. 학습 환경의 개인, 사회적, 물리적 및 조직적 요소에 초점을 맞춘 또 다른 접근 방식은 UIM 학습자의 고유한 경험을 평가하고 성장에 역행하는 경험을 해결하기 위한 솔루션을 제안할 수 있는 잠재력을 가진 그룹펜의 프레임워크이다. 

Learner experience: Understanding the influential aspects of the learning environment for UIM learners empowers researchers to examine relationships between the environment, learner satisfaction, and achievement to inform improvements that address any structural barriers impeding UIM learners’ opportunities to maximize their achievement.70 Another approach, with a focus on person, social, physical, and organizational elements of the learning environment, is Gruppen’s framework, which holds potential for evaluating unique experiences of UIM learners and proposing solutions to address experiences that are counter to growth.71

교육과 환자 관리를 모두 최적화하기 위한 이중 목표를 가진 현재 임상 학습 환경은, 해결책을 찾기 위해 조사할 가치가 있는 긴장을 조성한다. 순환형 의학교육 모델에서 학습자와 감독자, 특히 다른 배경이나 정체성을 가질 수 있는 감독자 사이의 [의미 있는 관계와 신뢰를 배양하는 시스템과 구조]에 대한 추가 연구가 필요하다. 이 작업에는 조직 문화와 분위기를 최적화하는 데 중점을 두어야 합니다. 조직은 다양성과 포괄성을 지지하지만, 고위 구성원의 오랜 이데올로기를 바꾸거나 미시적 공격을 최소화하기 위해 고군분투할 수 있다. 이러한 문제에 개입하기 위한 증거 기반 전략이 필요하다.

The current configuration of the clinical learning environment, with dual aims to optimize both education and patient care, creates tensions that deserve investigation to find solutions. Further research is needed into systems and structures that foster meaningful relationships and trust between learners and supervisors, particularly those who may be of different backgrounds or identities, in a rotational model of medication education. This work must include a focus on optimizing organizational culture and climate. An organization may espouse diversity and inclusivity, but struggle to change long-standing ideologies of senior members or minimize microaggressions; evidence-based strategies for intervening on these problems are needed.

평가의 [도구적 형평성]에 관한 연구
Research on instrumental equity in assessment

[교육 프로그램에서 선발]은 의사 결정에 영향을 미칠 수 있는 의식적 또는 무의식적 편향의 가능성이 있기에, 추가 연구를 수행할 가치가 있는 학습자 평가의 또 다른 측면이다. 보건 직업 훈련 프로그램에 대한 입학을 조사하는 현재의 증거는 주로 단일 기관 연구로 구성되어 있지만, 일반적으로 개입이 계층 구성을 다양화하는 데 효과적이라는 것을 고무적으로 보여준다. UIM을 비롯한 다양한 학습자들이 보건 직업 분야에서 성공을 거둘 수 있도록, 선발 뿐만 아니라 학업적 지원에 대한 효과적인 접근 방식을 입증하기 위해 멀티센터, 종적 연구를 통한 추가 연구가 필요하다. 연구 노력은 평가의 긴장을 인정해야 한다. 예를 들어, [학습을 위한 평가] 대 [순위를 위한 평가와 선발] 사이의 긴장은 평가의 형평성에 관한 논의에서 중심적인 것으로 남아있다.

Selection of learners for positions in training programs is another aspect of learner assessment deserving of further research due to potential for conscious or unconscious bias to influence decision making. Current evidence examining admissions to health professions training programs comprises mainly single-institution studies but encouragingly shows that, in general, interventions are effective at diversifying class composition.72 Further research is needed through multicenter, longitudinal studies to demonstrate effective approaches to not only selection but also academic support to ensure that UIM and other diverse learners achieve success in health professions careers. Research efforts must acknowledge tensions in assessment.73 For example, the tension between assessment for learning vs assessment for ranking and selection remains central in discussions regarding equity in assessment.

평가의 형평성을 지원하는 [교수의 역할]에 관한 연구
Research on preparation of faculty for their roles supporting equity in assessment

교수 개발: 연구에 따르면 의사의 암묵적 편견이 환자에게 미치는 부정적인 영향이 있다. 의학 학습자의 평가에도 유사한 편견이 존재한다. 편중 위험을 최소화하는 고품질 평가를 수행하기 위해 교직원 육성의 편익을 어떻게 개입하고 측정할 수 있는지 이해하기 위한 연구가 필요하다.

Faculty development: Studies demonstrate the negative effects of physicians’ implicit bias on their patients74; similar bias exists in evaluation of medical learners.9,30 Research is needed to understand how to intervene and measure the benefits of faculty development to conduct high-quality assessment that minimizes the risks of bias.

[평가 결과]의 형평성에 대한 연구
Research into equity in assessment outcomes

[공정한 평가 실천]이 [학습자 및 학습자가 복무할 환자에게 더 나은 결과를 제공하는지 여부와 방법]을 확인하기 위해 증거가 필요하다. 예를 들어, [제공자의 문화적 역량을 강화하기 위한 개입]은, 선의는 있지만, 모두 원하는 결과를 달성하지는 못한다. 어떤 평가 접근법이 학업적 커리어 뿐만 아니라, 모든 전공 분야와 환경에서 UIM 학습자의 진로 추구를 최적화하는지를 검토하기 위한 연구가 필요하다.

Evidence is needed to confirm whether and how equitable assessment practices produce better outcomes for learners and the patients they serve. For example, interventions to enhance providers’ cultural competency, though well-intentioned, do not all achieve desired outcomes.75 Research is needed to examine what approaches to assessment optimize UIM learners’ pursuit of careers in any and all specialties and settings as well as in academic careers.

[프로그램 평가]를 위한 평가 연구
Research into assessment for program evaluation

평가에서 불평등과 편향에 대응하려면, 프로그램 평가에 세심한 주의를 기울이는 프로그램 접근법이 필요하다. 프로그램 평가에 대한 [현실주의적 접근]은 어떤 개입이 효과가 있는지, 효과가 없는지를 묻는 것뿐만 아니라 개입의 맥락을 고려함으로써 이러한 요구를 충족시킨다. 간단히 말해서, 현실주의 평가는 다음과 같이 묻습니다. "어떤 상황에서 누구에게 효과가 있고, 왜 효과가 있는가?" 맥락을 이해하면 다른 프로그램들이 그들 자신의 문맥에 대한 개입의 타당성과 적용 가능성을 고려할 수 있다.

Counteracting inequity and bias in assessment requires a programmatic approach with careful attention to program evaluation. A realist approach to program evaluation meets these needs not only by asking what interventions work or don’t work but also by considering the context of the interventions. Put simply, realist evaluation asks: “What works for whom in what circumstances, and why?”76 Understanding the context allows other programs to consider the feasibility and applicability of interventions to their own context.

과제 및 의도하지 않은 결과
Challenges and Unintended Consequences

형평성에 대한 논의는 많은 사람들에게 불안감을 주고, 능력(주의)의 개념에 직면한다. 미국 사회의 "근본적 신화"라고 불리는 능력merit은 개인의 재산, 그의 (심리학) 직업윤리와 본질적인 재능으로 여겨진다. 이 때 능력은 오로지 자수성가에 의한 것으로, 사회적 집단이나 부모의 유산이 아니다. 예를 들어, 리베라의 연구는 문화적 자본이 어떻게 엘리트의 아이들이 다음을 할 수 있게 하는지를 설명한다.

• 면접을 더 잘 수행하고 면접 전에 더 많은 코칭을 받고,
• 의사 결정권자와의 유대감과 미러링을 가능하게 하는 어린 시절의 경험을 쌓고,
• 실수의 부정적 여파를 최소화하고 (실수가 고정관념으로 연결되는 학생에 비해),
• 또는 매우 경쟁력 있는 직업을 확보하는 데 필요한 적합성, 추진력, 기술 및 재능을 발휘합니다. 

Any discussion of equity assessment creates unease for many and confronts the notion of merit. Termed “the foundational myth” of U.S. society, merit is thought to be a property of the individual, his (sic) work ethic and intrinsic talents.77 Merit is Horatio Alger’s alone—not a property of a social group or a parental legacy. Rivera’s research, for example, describes how cultural capital enables children of the elite to:

• perform better in interviews and receive more coaching before interviews;
• have childhood experiences that allow for more bonding and mirroring with decision makers;
• have mistakes discounted (vs students for whom mistakes confirm stereotypes); and
• otherwise exhibit the fit, drive, skills, and talents necessary to secure a highly competitive job.78 

[진정한 능력주의의 존재에 도전하는 것]은 힘든 싸움으로 남아있다.
Challenging the existence of a true meritocracy remains an uphill battle.

형평성 평가에 대한 논의에 대한 또 다른 도전은 편견과의 연결이다; 많은 교육자들은 무의식적인 편견의 개념을 거부한다. 평가의 형평성은 모든 학습자가 환자를 돌보는 데 필요한 기술, 지식 및 역량을 평가하도록 보장하는 것입니다. 마지막으로, 어떤 평가 시스템도 사회적 불평등으로 인한 집단 차이를 없애지 못할 것이다. 부분적으로, 그것은 엘리트들이 적응하기 때문이다. SAT 시험은 엘리트 대학에 재능 있는 청소년 기회를 제공하기 위해 개발되었다. 개발자들은 시험 준비 서비스가 뒤따를 것이라고는 꿈에도 생각하지 못했다. 평가의 형평성 추진은 학습의 형평성과 사회적 불평등에서 파생되는 기회와 연결되기 때문에 지속적인 품질 개선의 과정이어야 한다.

Another challenge to discussions of equity assessment is the link to bias; many educators reject the notion of unconscious bias. Equity in assessment is about ensuring that we assess all learners for the skills, knowledge, and competencies required to care for their patients. Finally, no system of assessment will do away with group differences due to social inequities. In part, that is because elites adapt. The SAT test was developed to offer talented youth opportunities to elite colleges. Its developers never dreamed that test prep services would follow. Because the drive for equity in assessment is linked to equity in learning and opportunities that derive from social inequities, it must be a process of continuous quality improvement.

결론
Conclusion

우리는 다양한 형태의 평가와 불평등의 다양한 측면을 구별하면서 평가의 형평성 문제를 조사했다. 평가의 불평등에 기초한 증거에 의해 통보된 이 원고는, [형평성을 달성하기 위해 평가를 최적화하기 위한 프레임워크]를 제시한다. 형평성 논의의 근저에 있는 핵심 이슈는 궁극적으로 환자의 건강을 개선할 평가의 형평성을 달성하기 위해 지속적으로 필요한 연구와 관행 개선을 위한 의제로 작용한다. 개별 의과대학은 우리의 학습과 환자 치료 생태계를 설계하고 지속적으로 개선하기 위해 지역적으로 일하고 보건 직업 교육의 형평성을 국가 인력 우선 과제로 만들기 위해 함께 노력함으로써 평가에서 형평성의 사악한 문제에 대한 해결책을 찾기 시작할 수 있다.

We have surveyed issues of equity in assessment, distinguishing various forms of assessment and various aspects of inequity. Informed by the evidence base on inequity in assessment, this manuscript puts forth a framework for optimizing assessment to achieve equity. Key issues underlying debates on equity serve as the agenda for ongoing needed research and practice improvement to achieve equity in assessment that will ultimately improve patients’ health. Individual medical schools can begin seeking solutions to the wicked problem of equity in assessment by working locally to design and continuously improve our learning and patient care ecosystems and by joining together to make equity in health professions education a national workforce priority.

List 1 평가의 형평성 달성 : Shingo의 조직 수월성 모델을 기반으로 한 모델
List 1 Achieving Equity in Assessment: A Model Based on the Shingo Model of Organizational Excellence

지침:
Guiding principles:

• [의학교육의 목적]은 점점 더 다양해지는 환자와 지역사회에, 고품질의 안전하고 공정한 치료를 제공할 수 있고, 그렇게 하는데 헌신할 의사 인력을 준비하는 것입니다.
• [의학교육 평가의 목적]은 학교나 연수 프로그램을 졸업한 모든 사람이 모든 환자에게 우수하고 공평한 치료를 제공하는 데 필요한 역량을 갖추도록 함으로써 의료교육이 우리의 사회적 계약을 이행하도록 보장하는 것이다.
• The purpose of medical education is to prepare a physician workforce capable of and committed to providing high-quality, safe, and equitable care to our increasingly diverse patients and communities.
• The purpose of assessment in medical education is to ensure that medical education fulfills our social contract by ensuring that all who graduate from a school or training program have the competencies needed to provide excellent and equitable care to all patients.

평가 가치의 형평성에 전념하는 문화:
A culture committed to equity in assessment values:

• 다양성, 형평성, 포함Diversity, equity, and inclusion: 고품질 의료 시스템의 원동력
  
• 형평성: 고기능 학습 및 평가 시스템의 필수 특성
  
• 모든 개인과 팀의 수월성: 고품질의 환자 치료를 제공하는 데 필요한 종합적인 역량 집합의 달성에 따라 정의됨
  
• 성장 및 발전에 대한 헌신: 경력 전반에 걸쳐 지속적으로 우수성을 유지하기 위한 필수 요건입니다
• Diversity, equity, and inclusion as drivers of a high-quality health care system.
• Equity as an essential characteristic of high-functioning learning and assessment systems.
• Excellence in all individuals and teams as defined by achievements in the comprehensive set of competencies that are required to provide high-quality patient care.
• A commitment to growth and improvement as an essential requirement for sustained excellence over the course of a career.

공평한 학습 및 평가 시스템 및 프로그램:
Equitable systems and programs of learning and assessment:

• 평가 및 학습에 대한 현대 이론을 사용하여, 공정성의 증거를 중앙에서 설계하고 지속적으로 모니터링합니다.
• Are centrally designed and continuously monitored for evidence of equity, using contemporary theories of assessment and learning.

• [학습을 위한 평가]에서, [개인과 그룹이 무의식적 편향의 영향을 완화]하여, [내재적 형평성]을 최적화하는 구조와 프로세스에 초점을 맞춥니다.
  • 명시적 기준: 규범적normative 기준에 의존하지 않고 성과를 평가할 수 있도록
  • 다양한 평가 전략 및 측정 기준: 의사가 우수한 치료를 제공하는 데 필요한 여러 역량을 효과적으로 평가할 수 있도록
  • 학습자와 학습자를 평가하는 모든 감독자의 준비: 평가 절차와 원하는 역량 달성 기준을 명확하게 이해할 수 있도록 
    
  • [모든 학생이 종합적이고 높은 수준의 결정을 내리기 전에 빈번하고, 실행 가능하고, 형성적인 평가]를 받도록 보장하는 전략

• Focus on structures and processes that optimize intrinsic equity by mitigating the impact of unconscious bias by individuals and groups in assessment for learning, including:
  • explicit criteria by which achievements are assessed, rather than relying on normative criteria
  • a diversity of assessment strategies and metrics to validly assess the breadth of competencies needed for physicians to provide excellent care
  • preparation of all supervisors who assess learners and the learners themselves to have a clear understanding of assessment procedures and desired competency attainment criteria
  • strategies that ensure that all students receive frequent, actionable, formative assessment before summative, high-stakes decisions are made
• [학습의 평가]에 있어, [개인과 집단이 무의식적인 편견이 미치는 영향을 완화]하여, [내재적 형평성]을 최적화하는 구조와 프로세스에 초점을 맞춥니다.
  • [역량 달성에 대한 종합적 결정]은 [다양한 환자와 함께, 광범위한 임상적 맥락에서, 학습자와 상호 작용하는 여러 관찰자로부터 수집된 증거를 기반]으로 한다.
  • [역량 달성에 대한 종합적 결정]은 [다양한 개인, 평가 절차 및 데이터 분석 전문가로 구성된 위원회]에 의해 이루어지며, 위원회는 [무의식적인 편견과 고장난 집단 사고의 영향]에 대해 교육받는다.
• Focus on structures and processes that optimize intrinsic equity by mitigating the impact of unconscious bias by individuals and groups in assessment of learning, including:
  • Summative decisions about competency achievement are based on evidence collected from multiple observers who interact with the learner in a wide range of clinical contexts, with a diversity of patients.
  • Summative decisions about competency achievement are made by committees of diverse individuals, expert in assessment procedures and data analysis, and educated about the ramifications of unconscious bias and dysfunctional group think.
• [맥락적 형평성]을 최적화하는 구조 및 프로세스에 초점을 맞춥니다.
  • 교육과정 환경: [모든 학습자]가 [다양한 복잡성의 임상 상황에 참여]하여, [성과를 극대화할 수 있는 기회]를 최적화
  • 학습 환경: 편향, 고정관념 위협, 측정되지 않은 작업량 등 [불평등한 평가에 기여하는 다양한 불평등한 학습의 원인]을 해결하도록 설계되고 모니터링
  • 교수 업무 할당 및 승진 기준: 학습을 위한 평가를 최적화하는 데 필요한 시간과 노력을  할애할 수 있도록 하고, 인센티브를 제공
• Focus on structures and processes that optimize contextual equity, including:
  • Curricular environments that afford all learners with the opportunity to learn while participating in clinical situations of varying complexity to optimize their chance of maximizing their achievements.
  • Learning environments designed and monitored to address bias, stereotype threat, unmeasured workload, and other causes of inequitable learning that contribute to inequitable assessment.
  • Faculty work assignments and promotion criteria that enable and incentivize them to dedicate the time and effort needed to optimize assessment for learning.
• [도구적 형평성]과 [평가 결과의 형평성]을 지원하는 구조와 프로세스를 옹호합니다
• Advocate for structures and processes that support instrumental equity and equity in assessment outcomes.

평가에서 형평성을 촉진하는 [도구]는 다음과 같다.
Tools that facilitate equity in assessment include:

• 준거-기반 역량 기술
• [평가 전략]: [수집이나 해석의 용이성]이 아니라, [의사로서의 미래 성과를 예측하는 능력]에 따라 선택된 정성적 및 정량적 데이터를 통합
• [교수 개발 및 적시 도구]: 교수진과 학습자가 학습 및 평가에서 역할과 기대를 이해하고 수용하도록 지원
• [워크플로우, 작업 할당, 테르콜로지 전략]: 감독자가 (환자와 함께, 라운드 중, 차트 검토 중) 학습자 성과에 대한 직접적인 관찰을 사용하여 증거를 수집하고, 주어진 학습자의 역량에 대한 형성적 판단을 내릴 수 있도록 지원하고 보상
• [코칭 전략]: 피드백에 대한 학습자의 이해 및 피드백-기반 행동 능력을 향상시키기 위함
• [학습자 진행 상황에 대한 데이터를 수집하고 표시하기 위한 전략 및 테크놀로지]: 학습자 및 코칭스태프와 감독자가 사용할 수 있도록 
• Criterion-based competency descriptions.
• Assessment strategies that incorporate qualitative and quantitative data selected for their ability to predict future performance as a physician, rather than on ease of collection or interpretation.
• Faculty development and just-in-time tools that allow faculty and learners to understand and embrace roles and expectations in learning and assessment.
• Workflow, work assignment, and technologic strategies that support and reward supervisors to use direct observation of learner performance (with patients, on rounds, during chart review) to gather evidence and make formative judgments about competency of a given learner.
• Coaching strategies to enhance a learner’s ability to understand and act upon feedback.
• Strategies and technologies to collect and display data on learner progress for use by learners and their coaches and supervisors.

평가에서 [형평성을 나타내는 결과]는 다음과 같은 증거를 포함한다.
Results that indicate equity in assessment include evidence that:

프로세스 표시기:Process indicators:

• [평가 절차]는 [향후 성과 예측에 가지는 편익과 한계에 대한 명확히 이해]를 바탕으로 [완전히 정렬]된다.
• [평가 전략]은 모든 학습자에게 교육 및 직업 기회를 증가시키기 위해 사용되며, 엄격함이 의심되지 않을 때에만 이러한 기회를 예방하는 기능을 한다.
• [평가 데이터]는 목적대로 사용되며 관련성이 입증되지 않은 상황에서는 사용되지 않습니다.
• [프로그램]은 평가 프로그램의 타당성, 공정성, 형평성 문제를 [정기적으로 조사]하고, 특정 그룹에 부당하게 불이익을 주는 [모집단 차이를 최소화]하기 위해 노력한다.
• Assessment procedures are fully aligned with a clear understanding of their benefits and limitations in predicting future performance.
• Assessment strategies are employed to increase educational and career opportunities for all learners and only function to prevent these opportunities when their rigor is unquestioned.
• Assessment data are used as intended and not for situations for which their relevance is unproven.
• Programs routinely investigate issues of validity, fairness, and equity in their programs of assessment and work to minimize population group differences that unfairly disadvantage any particular group.

결과 표시기:Outcome indicators:

• 의학계에서 [대표성이 낮은 집단]에 대한 [교육 및 직업 기회의 집단 차이]가 제거된다
• Population group differences in educational and career opportunities for groups underrepresented in medicine are eliminated.

Acad Med. 2020 Dec;95(12S Addressing Harmful Bias and Eliminating Discrimination in Health Professions Learning Environments):S98-S108. doi: 10.1097/ACM.0000000000003717.

Medical Education's Wicked Problem: Achieving Equity in Assessment for Medical Learners

PMID: 32889943

DOI: 10.1097/ACM.0000000000003717

학술의학에서 여성의 동등함 추구: 역사적 관점(Acad Med, 2020)
Seeking Parity for Women in Academic Medicine: A Historical Perspective
Kenneth M. Ludmerer, MD

역사적으로, 미국의 여성들은 의사가 되기 위해 많은 장애물에 부딪쳤다. 19세기 전반에는 동성애자, 절충주의자, 톰슨인과 같은 대체의학자alternative 신분에서 여성을 찾아볼 수 있었지만, 어떤 Allopathic 의사신분에서도 찾아볼 수 없었다. 1849년 1월, 엘리자베스 블랙웰은 제네바 의과대학에서 MD 학위를 받았고, 이로써 이 나라에서 그렇게 한 최초의 여성이 되었다. 그 후, 20세기 초반의 3분의 2 동안 여성 의사의 수는 평균 약 6%로 약간 증가했다. 이는 다른 직업의 여성 비율(예: 법학 2%, 공학 1% 미만)과 비교했을 때보다는 조금 낫다. 그러나 미국의 여성 의사 비율은 여전히 유럽 국가들의 여성 의사 비율에 뒤지고 있다. 독일에서는 1960년대에 의사의 30%가 여성이었고, 네덜란드는 20%, 영국은 25%, 소련은 75%였다.
Historically, women in the United States have encountered many obstacles to becoming doctors. During the first half of the 19th century, women could be found among the ranks of “alternative” healers such as homeopaths, eclectics, and Thomsonians but not among the ranks of allopathic physicians. In January 1849, Elizabeth Blackwell received the MD degree from Geneva Medical College, thereby becoming the first woman in this country to do so. Subsequently, the number of women physicians grew modestly, averaging around 6% of the medical workforce for the first two-thirds of the 20th century. This compared favorably with the percentage of women in other professions—for example, 2% in law and less than 1% in engineering. The percentage of women doctors in the United States still trailed the percentage of women doctors in European countries, however. In Germany, 30% of physicians were women in the 1960s, while the proportion was 20% in the Netherlands, 25% in Great Britain, and 75% in the Soviet Union.1 Clearly, the opportunities for women to enter medicine reflected cultural norms.

미국 의학계에서 여성의 비율이 역사적으로 낮은 이유를 설명하기 위해 많은 설명이 제시되었다. 초기 연구에서 메리 월시는 의과대학에 입학하는 여성 의사의 수를 제한하기 위해 의료기관이 만든 명백한 장벽에 기인한다고 말했다. 많은 학교들이 여성을 입학시키지 않았고, 어떤 학교에서는 엄격한 쿼터를 설정했다. 이 주장은 그녀의 책 제목에 구체화되어 있다. [의사 구함: 여성은 지원할 필요 없음]

Many explanations have been offered to account for the historically low representation of women in the U.S. medical profession. In an important early study, Mary Walsh attributed this to explicit barriers created by the medical establishment to limit the number of women physicians admitted to medical school. Many schools would not admit women; others established rigid quotas. This argument is embodied in her book’s title: Doctors Wanted: No Women Need Apply.2

하지만, 여성들은 [입학에서의 명백한 차별] 뿐만 아니라 추가적인 장애에 직면했다. Carol Lopate와 Regina Markell Morantz-Sanchez가 보여주었듯이, 모든 직업에 여성의 진입에 대한 사회적 기대는 완화되었다. 전형적인 여성의 역할은 주부와 주부였다. 여성들은 종종 교사, 어드바이저, 친구, 또는 가족 구성원들로부터 힘든 커리어를 추구하라는 격려를 거의 받지 못했다. 그 결과, 상대적으로 소수의 여성만이 의학 분야에서 커리어를 추구했다. 
However, women encountered obstacles in addition to overt discrimination in admissions. As Carol Lopate and Regina Markell Morantz-Sanchez have shown, societal expectations mitigated against the entry of women into medicine, as they did for the entry of women into all professions. The stereotypical woman’s role was that of housewife and homemaker. Women often received little encouragement from teachers, advisers, friends, or family members to enter demanding careers. The result was that relatively few women sought careers in medicine.1,3

1960년대 후반부터 페미니스트 운동의 부활이 탄력을 받으면서, 의학에 종사하는 여성의 수가 급격히 증가했다. 1980년까지 의대생들의 거의 30%가 여성이었고, 1990년에는 그 비율이 약 40%였으며, 2000년에는 거의 50%가 되었다. 

Beginning in the late 1960s, as the revival of the feminist movement gained momentum, the number of women entering medicine rapidly grew. By 1980, nearly 30% of incoming medical students were women; by 1990, the proportion was roughly 40%; and by 2000, it was nearly 50%.4,5

그러나 의학 분야에서 경력을 쌓고자 하는 여성 의사들은 계속해서 많은 장애물에 부딪혔다. 의과대학의 여성들은 항상 어려움을 겪어왔기 때문에 이것은 새로운 것은 아니었다. 대부분의 기관들은 종종 여성들을 강사나 조교수로 임명했지만, 인지도와 승진은 매우 느렸고, 여성 교수진의 급여는 비슷한 지위와 연공서열의 남성들에 비해 관습적으로 낮았다. 직업의학 분야의 창시자이자 그녀의 학장에 의해 그 분야에서 "어떤 남자보다 매우 우월하다"고 여겨지는 사람인 [앨리스 해밀턴]의 경우를 생각해 보자. 그녀는 하버드 의과대학의 유일한 여성 교수이자 임시직 이상의 어떤 것도 그녀에게 제공하는 것을 거부한 것에 대해 개인적으로 (비록 공개적으로는 아니었더라도) 좌절했다. 그녀는 1935년 조교수로 은퇴했고, 그녀의 기관 밖에서는 높은 영예를 얻었지만 그 안에는 없었다.6 세계 2차 세계 대전 이전에 여성 학장을 임명했던 미국의 유일한 의과대학은 펜실베이니아 여성 의과대학이었다.
However, women physicians aspiring to careers in academic medicine continued to encounter many obstacles. This represented nothing new, for women at medical schools had always experienced difficulties. Most institutions frequently appointed women as instructors or assistant professors, but recognition and advancement came very slowly, and salaries for women faculty were customarily lower than those for men of comparable rank and seniority. Consider the case of Alice Hamilton, the founder of the field of occupational medicine and a person considered by her dean as “greatly superior to any man” in the field. She was privately (though not publicly) frustrated at being Harvard Medical School’s only woman faculty member and at the school’s refusal to offer her anything more than a succession of temporary appointments. She retired in 1935 as an assistant professor, highly honored outside her institution but not within it.6 Before World War II, the only medical school in the nation that had appointed a woman dean was Woman’s Medical College of Pennsylvania.7

1970년 이후, 여성들은 내과, 소아과, 정신과, 산부인과, 가정의학과에 더 많은 비율을 차지하면서, Academic medicine에 진입하기 시작했다. 그러나 초기 경력 교수진 수준에서는 여성이 더 높게 나타났다. 1980년에는 전체 교수의 10% 미만이 여성이었고 학과장의 4%만이 여성이었다. 많은 사람들은 이것이 대부분의 여성 의사들이 아직 매우 어리고 고위 학문적, 행정적 임명이 일반적으로 나이든 개인들에게 돌아간다는 사실에 기인한다고 말했다. 그러나 1995년에는 여성인 정교수와 학과장의 비율이 1980년과 변함이 없었고 2015년에는 그 수가 약간 더 높을 뿐이었다. 여성 학장의 수도 비슷하게 낮았다. 여성들은 사업계, 법조계, 그리고 다른 분야뿐만 아니라 다른 과학 및 학문 분야에서 지도적 지위를 얻는 데 있어 유사한 장애에 직면했다. 
After 1970, women began to enter academic medicine in large numbers, with greater proportions entering internal medicine, pediatrics, psychiatry, obstetrics and gynecology, and family medicine. However, women were more highly represented at the early-career faculty level. In 1980, less than 10% of full professors and only 4% of department chairs were women. Many attributed this to the fact that most women physicians were still very young and that senior academic and administrative appointments generally went to older individuals. However, in 1995, the percentage of full professors and department chairs who were women was unchanged from 1980, and in 2015, the numbers were only slightly higher. The number of women deans was similarly low.8–12 Women encountered similar obstacles to obtaining leadership positions in other scientific and academic fields as well as in business, law, and other areas.13–15

여성 의대생, 전공의, 그리고 주니어 교수진의 파이프라인이 남성들과 동등해진 지 한참 후까지도, Academic medicine에서 고위직에 여성들이 현저하게 과소대표되는 것을 설명하는 것은 무엇인가? 설명의 일부는 1970년대 초의 페미니스트 학계에서 생겨난 개념인 "미시적 불평등microinequities"의 존재에 있다. 이 용어는 [고통스럽고 파괴적이며 여성 의사들의 전문적인 발전을 방해하는, 때로는 분명하지 않지만 실질적인 경시slight]를 가리킨다. 예로는 여성을 비하하는 성적 유머, 여성의 직업적 특성을 과소평가하는 동안 여성의 외모에 초점을 맞추는 것, 여성의 생각을 남성에게 돌리는 것, 남성의 경우 "힘있음" 또는 "강력함"으로 여겨질 행동에 대해 여성 의사는 "과다 공격적"으로 분류하는 것 등이 있다. 이러한 예들은 미시적 불평등의 만연에 비추어 볼 때, 의학 문화가 모든 여성들에게 그저 지지하지 않는다는 것을 암시한다. 그러나 다른 요인들도 지도적 역할에서 여성의 대표성을 과소평가하는 데 기여한다. 문헌에는 다음과 같은 여성 교수진이 직면하는 추가적인 문제의 예들로 가득하다.

• 상급 교수들이 여성 후배들에게 제공하는 멘토링과 후원의 부족,
  
• 다른 사람들이 여성 강사의 일에 대해 공로를 뺏으려는 경향,
  
• 경력 개발에 도움이 되지 않는 시간이 많이 걸리는 행정 업무 또는 교수 업무를 수행하도록 요청받는 것
  
• (의식적이든 무의식적이든) 여성에게서 제도적 자원과 협력의 기회를 주지 않는 것

What accounts for the significant underrepresentation of women in senior positions in academic medicine long after the pipeline of women medical students, residents, and junior faculty reached parity with men? Part of the explanation lies in the presence in medicine of “microinequities,” a concept arising from feminist scholarship of the early 1970s. This term refers to sometimes unapparent but real slights that are painful and destructive and that interfere with the professional development of women physicians.8 Examples include sexual humor disparaging to women, focusing on a woman’s appearance while downplaying her professional attributes, attributing a woman’s ideas to a man, and labeling women physicians as “overly aggressive” for behavior that in a man would be considered “forceful” or “strong.” These examples suggest that, given the prevalence of microinequities, the culture of medicine is simply unsupportive for all women. Other factors contribute to the underrepresentation of women in leadership roles, however. The literature is replete with examples of additional problems encountered by women faculty, including

• the lack of mentoring and sponsorship provided to junior women faculty by senior professors,
• the tendency of others to take credit for the work of women instructors,
• the frequency with which women faculty are asked to do time-consuming administrative or teaching tasks that do not directly advance their career, and
• the withholding from women (consciously or unconsciously) of institutional resources and opportunities for collaboration.

여성 교수진의 전문적 진보를 가로막는 훨씬 더 큰 장벽은 의과대학의 구조적인 조직, 즉 연구에 우선 순위를 두는 것에서 비롯되었다. 처음부터, 미국의 의과대학(미국 연구 대학)에서는 연구가 승진, 교수직, 지도직 임명에 대한 주요 결정요인으로 작용했다. 미국의 의과대학과 연구대학이 모두 독일 대학 시스템에 뿌리를 두고 있다는 점을 감안할 때 이것은 놀라운 일이 아니었다. 그것은 모든 교수들, 남성들뿐만 아니라 여성들, 그리고 의대 지도자들에게는 "출판 아니면 멸망"이었고, 교수의 가정적 책임에 대해 거의 관심을 보이지 않았다.
An even greater barrier to the professional advancement of women faculty arose from the structural organization of medical schools: the priority placed on research. From the beginning, at the U.S. medical school—as at the U.S. research university—research served as the primary determinant of promotion, faculty rank, and appointment to leadership positions. This was hardly a surprise, given that both the U.S. medical school and research university had their roots in the German university system.16 It was “publish or perish” for all faculty, women as well as men, and medical school leaders showed little concern for a professor’s home responsibilities.

승진, 테뉴어, 리더십에서 연구가 중심에 있다는 점이 여성을 남성보다 훨씬 불리한 위치에 놓이게 했다. 학문적 성공은 [자신의 프로젝트에 대한 단호한 헌신]에 달려 있었고, 일주일에 60시간 또는 70시간의 노동이 필요했다. 기혼 남성들은 종종 그들의 배우자와 동등하게 육아와 가사일에 참여하지 않음으로써 일에 대한 그러한 일편단심적인 헌신을 할 수 있었다. 이와는 대조적으로 기혼 여성들은 일반적으로 집에 도착하자마자 그들의 "제2의 교대 근무"를 맡아야 했다. 충분한 육아휴직, 현장 육아, 또는 테뉴어 시계 일시정지의 선택권을 제공함으로써 여성 교수진을 수용하는 의대가 거의 없다는 사실은 문제를 더욱 복잡하게 만들었다. 또한 영감과 지도력을 얻기 위해 지도적인 역할을 하고자 하는 여성 후배 교수진을 위한 여성 역할 모델이 부족했다. 반면 자녀가 없는 기혼여성 교수진은 남성만큼 자주 발표됐고, 남성 동료들과 견줄 만한 비율로 학계 서열까지 올랐다. 

The centrality of research to promotion, tenure, and leadership placed women at a great disadvantage relative to men. Academic success depended on a single-minded dedication to one’s projects and required 60- or 70-hour work weeks. Married men could often afford such single-minded devotion to work by virtue of not participating equally with their spouses in child-rearing and household chores. Married women, in contrast, typically had to assume their “second shift” of work on arriving home.9,17,18 The fact that few medical schools accommodated women faculty by providing sufficient parental leave, on-site child care, or the option of pausing the tenure clock only compounded the problem. So did a dearth of female role models for women junior faculty members aspiring to leadership roles to turn to for inspiration and guidance. In contrast, married women faculty without children published as frequently as men and rose through the academic ranks at rates comparable to their male colleagues.9,19,20

물론, 많은 여성 의사들은 모성애를 학문적인 의학 분야에서 충실한 경력과 결합하는 데 성공했다. 그러나 성공은 종종 쉽게 이루어지지 않았고, 종종 남성보다 시간이 더 걸렸다. 저명한 여성 교수진들은 그들의 힘든 여정을 묘사했는데, 밤늦게 원고를 쓰고, 그들의 전문적인 시야를 향상시켰을 수도 있는 여행을 최소화하여, 아픈 아이를 돌보기 위해서 예기치 않게 실험실을 떠나야 했을 수도 있다. [보조금과 출판물을 통해 일찍부터 과학적 "생산성"을 입증해야 할 필요성이 높은 중요한 시기]가 [출산을 하게 되는 시기]와 겹친다는 점에서, 최초 교수 발령 직후의 시간이 가장 취약한 시기였다. 
Many women physicians, of course, did succeed in combining motherhood with a fulfilling career in academic medicine. However, success often did not come easily and frequently took longer than for their male counterparts.9,10 Prominent women faculty members have described their difficult journey—writing manuscripts late at night, minimizing travel that might have enhanced their professional visibility, leaving the laboratory unexpectedly to tend to a sick child.10 The time following an initial academic appointment was the most vulnerable period, given that the need to demonstrate scientific “productivity” early on through grants and publications coincided with important childbearing years.17

최근 몇 년 동안 많은 의과대학과 교육병원이 여성 연수생과 내과의사들에게 기회와 만족도를 높이기 위해 노력하고 있다. 예를 들면 다음과 같다.

• 관리자와 고위 교직원을 위한 성 감성에 대한 교육,
  
• 성희롱을 단속하고,
  
• 보다 공평한 급여와 자원의 분배를 제공하는 것,
  
• 여성들을 위한 멘토링 프로그램을 만들고,
  
• 사회적, 직업적 관계를 장려하기 위한 여성 조직을 설립하고,
  
• 성차별을 없애고 여성을 위한 건강하고 양육적인 직장 환경을 개발하기 위한 전략을 홍보하는 것

In recent years, many medical schools and teaching hospitals have made efforts to improve opportunities and satisfaction for women trainees and physicians. Examples include

• training in gender sensitivity for administrators and senior faculty,
• clamping down on sexual harassment,
• providing more equitable pay and distribution of resources,
• creating mentoring programs for women,
• establishing women’s organizations to encourage social and professional relationships, and
• promoting strategies to eliminate gender discrimination and develop a healthy and nurturing work environment for women.

특히 주목할 만한 것은 전문가와 개인 및 가족의 책임을 조화시키는 문제를 해결하기 위한 노력이다. 많은 의과대학들은 이 방향으로 중요한 조치를 취해왔다.

• 육아휴직과 관련된 보다 자유주의적인 정책을 시행하고,
• 현장 육아 제공,
• 시간외 회의 제거,
• 시간제 커리어 트랙 생성,
• 가족 책임 때문에 추가 시간이 필요한 교수진의 종신 재직 기간 연장 

Particularly notable are the efforts to address the challenge of reconciling professional with personal and family responsibilities. Many medical schools have taken important steps in this direction, such as

• implementing more liberal policies pertaining to parental leave,
• providing on-site childcare,
• eliminating after-hours meetings,
• creating part-time career tracks, and
• lengthening the tenure clock for faculty needing additional time because of family responsibilities.

지난 100년 동안 의학계에서 여성의 지위는 극적으로 변화했다. 한 세기 전, 여성들은 심지어 투표하는 것조차 허락되지 않았다. 여성들이 의과대학에 입학하고, 의대 교수에 임용되는 데까지는 50년이 더 걸렸다. 과거의 공공연한 차별은 사라졌고, 미시적 불평등은, 여전히 존재하지만, 더 이상 쉽게 간과되거나 용서되지 않는다. 그러나 여성의 의과대학 입학이 남성과 본질적으로 동일했음에도 불구하고 지도적 지위의 평등은 아직 일어나지 않았다. 이 상황을 바로잡는 것은 사회 정의의 관점에서뿐만 아니라, 그 직업이 노동력의 모든 사람들에게 충실한 경력을 제공할 때만이 가장 강해질 수 있기 때문에 매우 중요한 문제이다. 다양성은 학술 보건소를 포함한 모든 조직이나 직업의 성과에 긍정적인 영향을 미친다.
Over the past 100 years, the position of women in medicine has changed dramatically. A century ago, women were not even permitted to vote. It took another 50 years for women to gain admission to medical school and appointments to medical faculties in non-token numbers. The overt discrimination of the past has disappeared, and microinequities, though still present, are no longer so easily overlooked or forgiven. Parity in leadership positions has yet to occur, however, even though the matriculation of women to medical school has long been essentially equal to that of men.9,21 Correcting this situation is a matter of great importance—not only from the perspective of social justice but also because the profession can be at its strongest only if it offers fulfilling careers to everyone in the workforce. Diversity has a positive impact on the performance of any organization or profession, including academic health centers.

의학 분야에서 여성들에게 가장 중요한 도전은 [직업적인 성공]과 [개인적인 성취]를 모두 달성하는 것이다. 이 도전은 모든 교수진에 영향을 미친다. 오늘날, 남성 의사들 또한 업무 과부하 문제와 그로 인한 개인적, 가족적 관계에 대한 부담에 대해 점점 더 목소리를 높여가고 있다. 남녀 의사 모두 보다 예측 가능한 일정으로 '라이프스타일' 분야에 관심을 표명했으며, 많은 남성 의사들도 육아에 적극적으로 참여하고 개인의 관심사에 더 많은 시간을 할애할 계획이다. 연구가 학문적 의학의 화폐가 되는 것을 멈출 것 같지 않고 바람직하지 않지만, 의학계도 모든 직업과 마찬가지로 그것이 존재하는 사회의 관습mores와 가치에 절묘하게 민감하다. 더 나은 일과 삶의 균형을 이루기 위한 운동이 더 일반화될 경우, 학문적 의학 분야의 커리어 패스도 재구성될 가능성이 있다. 여성과 남성 모두가, 높은 학문적 기준을 확고히 유지하면서 테뉴어 및 승진 달성을 위한 유연한 시간프레임을 보편적으로 이용하는 미래를 상상하는 것은 그럴듯하다. 만약 이것이 일어난다면, 그것은 의학 분야에서 여성들에게 깊은 유산을 나타낼 것이다. 그들의 전문적인 희생과 더 공평한 문화에 대한 옹호 세대는 그것의 문화를 바꿀 것이기 때문이다.

The central challenge to women in academic medicine remains: achieving both professional success and personal fulfillment.22 This challenge affects all faculty. Today, male physicians have also become increasingly vocal about the problem of work overload and the resultant strains on personal and family relationships. Physicians of both genders have declared their interest in “lifestyle” fields with more predictable schedules, and many male physicians plan to participate actively in child-rearing and devote more time to personal interests. Although it is unlikely and undesirable that research will ever cease to be the currency of academic medicine, the medical profession, like all professions, is exquisitely sensitive to the mores and values of the society in which it exists. Should the drive to achieve better work–life balance become more generalized, it is possible that career paths in academic medicine might be restructured. It is plausible to imagine a future in which flexible time frames to achieve tenure and promotion are universally available to both women and men, with high scholarly standards firmly maintained. If this occurs, it will represent a profound legacy for women in academic medicine, for their generations of professional sacrifice and advocacy for a more equitable culture will have changed its culture.

임상 교수자의 교육개발 참여의 모순: 활동이론 분석(Adv Health Sci Educ Theory Pract. 2019)
Contradictions in clinical teachers’ engagement in educational development: an activity theory analysis
Agnes Elmberger1 · Erik Björck2,3 · Matilda Liljedahl1,4 · Juha Nieminen1 · Klara Bolander Laksov1,5

서론
Introduction

보건 전문 교육(HPE) 내에서 전문화된 교육을 실시해야 한다는 요구가 반복적으로 제기됨에 따라, 많은 의과대학은 임상의의 교육 역할을 지원하기 위한 교육 개발 활동을 제공하고 있습니다. 연구는 그러한 활동의 배치, 범위 및 효과와 개별 임상 교사가 이러한 프로그램에 참여하는 이유에 초점을 맞추고 있다. 그러나 임상교사의 [교육개발 참여에 대한 시스템적 영향]에 대해서는 충분히 알려져 있지 않다.

Due to recurrent calls to professionalise teaching practice within health professions education (HPE) (Mclean et al. 2008), many medical universities offer educational development activities to support clinicians in their teaching role. Research has focused on the arrangement, scope and effectiveness of such activities (De Rijdt et al. 2013; Leslie et al. 2013; Steinert et al. 2016; Stes et al. 2010), as well as the reasons why individual clinical teachers participate in these programs (Steinert et al. 2010). However, not enough is known about systemic influences on clinical teachers’ engagement in educational development.

[교육 개발]은 "교수진 자체 또는 교직원과 함께 일하는 다른 사람에 의해 계획되고 실행되는 행동"을 기술한다. 고등교육교사의 이러한 교육개발 참여에 대한 이전의 연구는 [내재적 요소]와 [직업적 동기]의 중요성을 보여주었다. 또한, 의학 교육자들 사이에서 개인, 그룹 및 기관 차원에서 교육 발전의 장벽과 기회를 조사하기 위한 노력이 있었다.
Educational development describes “actions, planned and undertaken by faculty members themselves or by others working with faculty, aimed at enhancing teaching” (Amundsen and Wilson 2012, p. 90). Previous research into higher education teachers’ participation in such educational development has shown the importance of both intrinsic factors and professional motives (Knight et al. 2006). Also, there have been efforts to investigate barriers to and opportunities for educational development at individual, group and institutional levels among medical educators (Stenfors-Hayes et al. 2010).

임상 환경에 있는 교사에 초점을 맞추어, 현재의 문헌은, 개인 및 전문적 개발, 같은 생각을 가진 동료와 만날 기회 등, 교육 개발에 참가하기 위한 [시간 관련 장벽]과 [개인의 동기 요소]에 대한 통찰력을 제공합니다. 단, 주로 [임상 교사 개개인에 중점]을 두고 있지만, 교수자가 소속된 복잡한 임상 환경을 인식하고, 교육 개발에 참여하는 데 있어 [시스템적 관점]을 포함하는 것이 중요하다.
Focusing on teachers situated in clinical environments, the current literature offers insights into time-related barriers and individual motivation factors to participate in educational development, including personal and professional development and opportunities to meet like-minded colleagues (Sorinola et al. 2013; Steinert et al. 2009, 2010; Zibrowski et al. 2008). However, the emphasis has primarily been on individual clinical teachers, while it would be valuable to include a systemic perspective on their engagement in educational development, recognising the complex clinical environment of which they are part (Amundsen and Wilson 2012; O’Sullivan and Irby 2011; Steinert et al. 2006).

[개인과 시스템 사이의 상호작용]에 주목하는 한 이론은 [활동 이론]이다. HPE의 복잡한 문제를 연구하기 위한 도구로 제안되었으며, 이전에는 직장 학습의 다양한 측면을 다루기 위해 적용되었다.
One theory that pays attention to interactions between the individual and the system is activity theory (Engeström et al. 1999; Engeström 1987; Virkkunen and Newnham 2013). It has been proposed as a tool for studying complex issues in HPE (Varpio et al. 2017) and has previously been applied to address different aspects of workplace learning (Reid et al. 2015; de Feijter et al. 2011; Larsen et al. 2017) and group interactions (Kent et al. 2016).

[활동체계(그림1)]는 분석의 기본단위로 간주된다. 이 시스템은 [인간 활동의 객체 지향적인 본질]을 주제로 묘사하고 있습니다. 즉, 분석의 관점으로 선택된 개인 또는 집단이 성과를 도출하는 대상에 대해 작업하는 것이다. 활동의 대상object은 활동을 향한 동기(예: 환자 치료)이지만, 그 결과outcome는 활동의 산물(예: 건강 개선)이다. 그 대상object은 개인적인 동기 부여와 연결된 [개인 수준], 즉 '특정 물체the specific object' 또는 사회적 의미와 연결된 [시스템 수준], 즉 '일반화된 물체the generalized object'에 존재할 수 있습니다.

The activity system (Fig. 1) is seen as the basic unit of analysis. It depicts the object-oriented nature of human activity with a subject, i.e. the individual or group whose viewpoint is chosen as the perspective of analysis, working on an object resulting in outcomes (Engeström and Sannino 2010; Leont’ev 1978; Vygotskij and Cole 1978). While the object of an activity is the motive directing it, e.g. patient care, the outcome is the product of the activity, e g. improved health. The object can be present at the individual level where it is connected to personal motivation, called ‘the specific object’, or at the system level connected to societal meaning, referred to as ‘the generalized object’ (Engeström and Sannino 2010).

 

활동 시스템은 또한 [주체와 객체subject and object 사이의 상호작용]을 위한 [중재 도구]의 사용, 즉 [객체object의 달성을 위해 도구tool가 어떻게 주체의 작업을 중재mediate하는지]를 묘사합니다. 이러한 도구는 우리의 문화 역사 및 사회 환경에서 비롯되었으며, 일정과 같은 구체적이거나 언어 및 개념과 같은 추상적일 수 있습니다(Nicolini 2012). 이 주체subject는 [규칙이 활동을 규제하고, 분업division of labour이 공동체 내에서 어떻게 일을 분배하는지를 지정]하는 사회 문화 공동체의 일부이다. 모든 요소는 상호 연결되고 함께 주체의 목적 달성을 중재하거나 방해합니다.
The activity system also depicts the use of mediating tools for the interaction between subject and object, or in other words, how tools mediate the subject’s work towards achieving the object (Engeström and Sannino 2010; Leont’ev 1978; Vygotskij and Cole 1978). Such tools originate from our cultural history and social environment and can be concrete, such as a schedule, or abstract, such as language and concepts (Nicolini 2012). The subject is part of a social and cultural community in which rules regulate the activity and where a division of labour specifies how work is divided within the community. All elements interconnect and together mediate, or hinder, the subject’s ability to achieve the object (Engeström and Sannino 2010).

활동 시스템은 다양한 견해, 전통 및 문화를 구성하며, 잘못 정렬되면 인접 활동 시스템 내부 및 사이에 [모순]을 일으킨다. [모순]은 역사적, 시스템적 긴장이며, 이는 활동의 방해로 나타난다. 그것들은 경험적 연구에서 포착하기 어렵지만, 그들의 징후는 개인의 설명과 말과 행동의 구성에서 인식될 수 있다.
Activity systems comprise a multiplicity of views, traditions and cultures which, when misaligned, give rise to contradictions within and between neighbouring activity systems (Engeström 1987). Contradictions are historic and systemic tensions, which manifest as disturbances in the activity. They are challenging to capture in empirical studies, however, their manifestations can be recognised in individuals’ accounts and constructs of words and actions (Engeström and Sannino 2011).

활동 이론은 개인과 시스템 간의 복잡한 상호작용을 이해하기 위한 도구를 제공하며 교육 개발에 참여하는 시스템성의 일부에 대처하는 데 도움을 줄 수 있습니다. 따라서 본 연구의 목적은 활동 이론의 관점을 채택하여 임상 교사가 교육 개발에 참여하는 것이 어떻게 그들이 행동하는 시스템에 의해 영향을 받는지를 탐구하는 것이었다. 구체적인 조사 질문은 다음과 같습니다.

• (1) 임상 교사는 어떤 시스템에 속하며 이러한 시스템의 모순은 무엇입니까? 그리고. 
  
• (2) 교육 시스템에서 모순은 어떻게 드러납니까?

Activity theory affords a tool for understanding complex interactions between individuals and systems and can aid in addressing parts of the systemness of engaging in educational development. Thus, the aim of this study was to employ an activity theory perspective to explore how clinical teachers’ engagement in educational development is affected by the systems they act within. Our specific research questions were:

• (1) what systems are clinical teachers part of and what are the contradictions in these systems? and
• (2) how do the contradictions manifest in the system of education?

결과.
Results

학술병원 활동체계: 환자진료, 연구 및 교육
Activity systems of the academic hospital: patient care, research and education

활동 이론에 따라 학술 병원의 활동을 환자 진료, 연구 및 교육 대상이 각각 지시하는 [세 가지 활동 시스템]으로 나누었다(표 1). 이러한 활동은 학술병원이 원하는 "건강의 향상"이라는 결과를 얻기 위해 결합된다. 임상 교사는 이 세 가지 시스템 중 몇 가지 또는 모두 대상이었지만 역할과 책임은 달랐다. 이하에서는, 이러한 시스템간의 모순에 대해, 그 모순과 중재자가 교육 활동에 어떻게 나타나는지에 대해 논의한다.

In keeping with activity theory, we divided the activity of the academic hospital into three activity systems directed by the objects of patient care, research and education respectively (Table 1). These activities join together in the desired outcome of the academic hospital: improved health. The clinical teachers were subjects in several or all of these three systems, yet with different roles and responsibilities. In the section below, the contradictions between these systems will be described followed by a discussion of how the contradictions, as well as mediators, manifested in the activity of education.

학술병원 시스템 간의 모순되는 대상
Contradicting objects between the systems of the academic hospital

세 가지 활동 시스템은, 학술 병원의 성과를 달성하기 위해 함께 협력해야 했기 때문에, 밀접하게 상호 연결되었지만, 환자 치료, 연구 및 교육의 대상이 일치하지 않음에 따라 시스템 간에 모순이 발생한 것이 분명했다(그림 2, 1행 #1). 시간이 끊임없이 부족했기 때문에, 일부 활동이 다른 활동보다 우선시되었고, 시스템 간의 모순을 드러내었으며, 여러 활동이 학술 병원의 업무에서 지니는 가치가 얼마나 불평등한지를 반영하였다.

The three activity systems were closely interconnected as they had to work together to achieve the outcome of the academic hospital, however it was evident that contradictions arose between the systems as their objects of patient care, research and education were not aligned (Fig. 2, line #1). As time was constantly scarce, some activities were prioritized over others, manifesting the contradiction between the systems and reflecting how activities held unequal value in the work of an academic hospital.

 

우리 과는 스트레스를 받고 압박이 가해지면 바로 교육을 중단합니다. (참가자1, 초점그룹3)
Our department drops education as soon as it gets stressed and the pressure is on, then it’s the patient first and education last. (Participant 1, Focus group 3)

이러한 모순으로 인해 개별 교사는 [여러 활동 시스템의 일부]가 되는 데 어려움을 겪었습니다. 활동들 사이에 시간이 나뉘어야 했습니다. 그래서 교사들은 서로 다른 역할과 정체성 사이에서 고민하고 있었습니다. 교육에 종사하는 것과 동료이자 임상의가 되는 것, 그리고 때로는 연구원이 되는 것 사이에서 협상을 해야 했습니다.
This contradiction left the individual teacher struggling with being part of several activity systems where time had to be divided between activities. Hence, the teachers were torn between conflicting roles and identities where they had to negotiate between engaging in education and being a colleague and clinician, and sometimes also a researcher.

우리는 동료들이 교육 업무에 시간을 들여야 할 때 그들이 필요로 하는 지원을 받지 못하기 때문에 부담을 느낍니다. 만약 우리가 거기에 착륙해서 우리가 필요로 하는 며칠 반의 시간을 가질 수 있다면, 우리는 지금과 같은 부담 없이 교육 업무를 더 잘 추진할 수 있을 것입니다. […] 교육 업무를 위해 하루를 예약한 경우, 누군가 일정과 함께 앉아 있는 경우: 

"아니, 교육 업무 때문에 하루 종일 필요하니?" "한나절 클리닉을 할 수 있니?" "적어도 몇 시간 정도는 일할 수 있니?" 
그리고 나서 너무 분명해져서 내가 스스로 자수하려고 노력하지 않으면 내 동료들은 많은 환자와 높은 처리량을 가진 거대한 일을 하게 될 거야. […] 시스템에 공간이 거의 없는 것이 가장 번거롭습니다.(P5, FG 3)
We feel pressured because our colleagues don’t get the back-up they need when we need to take time for educational work and if we could just land in that and be able to take those days and half days that we need to take, then we could pursue the educational work even better, without feeling pressured like we are now. […] If you have reserved a day for educational work and someone is sitting with the schedule:

‘No, do you need the whole day for educational work?’ ‘Can you do clinic half a day?’ ‘Can you at least work some hours?’ and then it becomes so clear that if I don’t try to turn myself inside out, my colleagues will have a huge job with lots of patients and a high throughput. […] That’s the most troublesome, that there is hardly any space in the system at all. (P5, FG 3)

 

이러한 대학병원의 활동간의 끊임없는 교섭에 의해, 교사는 일반적인 교육 업무에 거의 시간을 할애할 수 없게 되어, 결과적으로, 교육 활동과 본질적으로 연계된 활동인 교육 개발educational development에도 거의 시간을 할애할 수 없게 되었다.
This constant negotiation between the activities of the academic hospital left the teachers with little time for educational work in general, and consequently also little time for educational development which was an activity intrinsically interconnected to the activity of education.

교육 개발 작업을 할 여유는 없고, 가능한 한 좋은 품질로 해야 할 최소한의 일에 집중합니다. 그러나 당신은 교육을 더 발전시키고 싶기 때문에 여가 시간에 하지 않으면 그럴 시간이 없습니다.(P2, FG 3)
There is no extra time to carry out educational development work, and instead, you focus on the minimum that needs to be done with as good quality as possible. But you would like to develop the education further, and you don’t have the time for that if you don’t do it in your spare time. (P2, FG 3)

 

교육 활동 시스템의 모순과 중재자의 표현
Manifestations of contradictions and mediators in the activity system of education

 

교육의 가치관과 제정된 가치관의 불일치
Misalignment between espoused and enacted values of education

대학병원의 상반된 대상들 사이의 모순은 교육활동에서 여러 가지 방법으로 나타나서 활동과 그 요소들을 형성하였다. 이러한 표현들 중 하나는 학술병원이 [지지하는espoused 가치들(병원이 주장하는 가치들)]과 [집행되는enacted 가치들(병원이 실제로 하는 일을 통해 암시하는 가치들)] 사이의 불일치에 관한 것이었다.

The contradiction between the conflicting objects of the academic hospital manifested in the activity of education in several ways, thus shaping the activity and its elements. One of these manifestations concerned the misalignment between the espoused values of the academic hospital (what the hospital says it values) and its enacted values (what the hospital implies it values through what it actually does).

중시하는 가치:학술병원에서 일하는 데 필수적인 교육
Espoused values: education as an integral part of working in an academic hospital

학원에서 일하는 데 있어서 공식적인 의무이자 필수적인 부분으로서 교육에 대한 가치관과 규범이 있는 것 같았고, 단지 교육적인 역할을 하는 사람들에게만 국한된 책임이 아니었다. 또한, 참가자들은 교육에 대한 경영진의 접근법이 의료계의 교육에 대한 일반적인 접근법에 어떻게 영향을 미칠 수 있는지 설명했으며, 일부 참가자들은 명확한 교육 초점을 가진 경영진을 묘사했다.

There seemed to be espoused values and norms about education as an official obligation and integral part of working in an academic hospital and not just a responsibility limited to those with an appointed educational role. Further, the participants described how management’s approach towards education could impact the general approach towards education in the clinical community where some participants described having a management with an articulated educational focus.

그것 [경영]은 큰 영향을 끼친다. 이것은 교육이 공간을 차지할 수 있다는 것을 보여주는 하나의 방법입니다. 그들이 말하는 것처럼, 뿐만 아니라, 뭔가 일어나고 있다는 것을 의미하기도 합니다. 그들이 교육과 함께 일하고 싶어한다는 것입니다. 그래서 경영진은 이해관계가 있는지 없는지, 무관심하다는 의사를 전달하고, 이를 직원들 사이에서 반영하고 있다고 생각합니다.(P4, FG 2)
It [management] has a huge impact. It’s a way of signalling that education is allowed to take space, not only as they say, but also that something happens, that they want to work with it [education]. So I think that management communicates either that they have an interest or that they don’t care, and this is reflected [among the staff]. (P4, FG 2)

 

 

집행된 가치관: 교육에 대한 지원과 공식적인 인식 부족
Enacted values: lacking support and formal acknowledgment for education

이러한 [지지된 가치]들이 병원의 [집행된 가치]들과 맞지 않는 것처럼 보였다. 예를 들면, 교육 업무에 대한 경영진의 지원이나 참여buy-in의 결여에 반영되어 교육 활동을 규제하는 룰을 형성하고 있다(그림 2의 2행).
These espoused values seemed to misalign with the enacted values of the hospital. For example, the misalignment was reflected in the lack of support and buy-in from management for educational work and as such, this misalignment shaped the rules that regulated the activity of education (Fig. 2, line #2).

제가 원하던 피드백을 받지 못했습니다. 그들은 학생 병동wards를 원하고, 우리가 감독하기를 원하지만, 그에 대한 자원을 얻지 못하기 때문에 어렵다. 물론 힘든 싸움을 하는 것과 같죠. 대학에서는 임상학과와 계약하기를 원하지만, (학과장 책상에) 아직 계약하지 않고 있습니다.[…] 물론 긍정적인 응원은 있지만, 때로는 매우 소모적인 때가 있습니다. (P6, FG 1)
I haven’t really gotten the feedback that I wanted. It’s difficult because at the same time as they say that they want student wards and want us to supervise, we don’t get the resources for it. It’s like fighting an uphill battle, of course. The university wants us to sign a contract with the clinical department, which I have done, but it’s still lying there [at the department head’s desk], I haven’t got it signed […] But of course, there is positive cheering, but sometimes it’s backbreaking. (P6, FG 1)

또, 일부의 참가자는, 학과 이사회에 교육 대표가 없거나, 경영진이 교육 논의에 거의 참가하지 않았다고 이야기했다. 한 가지 경우, 경영진은 교육 문제에 대한 [책임을 임상 교사에게 완전히 위임한 것]으로 묘사되었다. 이는 경영진의 지원과 참여buy-in 부족이 강조되었으며, 환자 관리, 연구 및 교육 간의 노동 분담이 교육에 대한 책임을 교육적 역할을 가진 사람들에게 전가한 반면, 교육적 대표자는 결정이 내려진 포럼 밖에 남겨둔 것을 반영했다.

Further, some participants related that educational representatives were missing from the department’s board of directors or that management rarely took part in educational discussions. In one case, management was described as having delegated the responsibility for educational matters fully to the clinical teachers. This highlighted the lack of support and buy-in from management and reflected how the division of labour between patient care, research and education had shifted the responsibility for education to those with educational roles, while leaving educational representatives outside the forums in which decisions were made.

P1: 음, 만약 당신이 임시 교사와 몇몇 임상 교사를 가지고 있다면, 당신은 관리자로서 교육에 대해 신경 쓸 필요가 없다는 것이 항상 느껴져 왔다. […] 그러면 담당자가 있기 때문입니다. […] 그래서 저는 (매니저들이) 그들도 이 일에 관여해야 한다는 것을 이해하려고 노력했다고 생각합니다.
P1: Well, the feeling has always been that if you have an adjunct teacher and some clinical teachers then you as a manager don’t need to care about education. […] Because then you have people that are supposed to take care of it. […] And that’s where I feel I might have struggled a bit, trying to get them [the managers] to understand that they must also be involved in it.

인터뷰 담당자: 당신은 그들이 어떻게 관여해야 한다고 생각합니까?
Interviewer: How do you think they should be involved?

P1: 음, 당신은 학생들이 있다는 것을 알아야 합니다. 아니요, 하지만 우리는 이것에 대해 많은 시간을 가지고 이야기했습니다. 그래서 누군가는 학생 기간 동안 스케줄을 짜고 학생과 가르치는 데 실제로 얼마나 많은 시간이 걸리는지 이해합니다. 이제 임상 일을 하면서 회복하려고 노력해야 해
P1: Well, you should know that you have students [laughs]. No, but we’ve talked a lot about this with time, so who does the scheduling during the student period and understands how much time it actually takes with students and teaching. Now you have to try to pull through while doing your clinical job at the same time.

P5: 네, 좋은 설명이었습니다. 예를 들어, 교육은 항상 환자가 먼저이기 때문에 시간을 끌 수 없습니다.
P5: Yes that was a good description. Like, [education] cannot take any time because it’s always the patient first.

P1: 그리고 그건 그들이 (관리자들이) 그게 뭔지 모르기 때문이라고 생각해요. […] 매니저들은 '그건 네가 알아서 할 거야'라고 말합니다.(FG3)
P1: And I think it’s because they [the managers] don’t understand how it is. […] They [the managers] have like ‘well you’ll take care of that’. (FG3)

또 다른 가치관과 제정된 가치관의 불일치의 징후는 많은 교사들이 [교육 업무에 대한 공식적인 인정이 부족하다는 것]을 경험했다는 것이다. 이러한 공식적인 인정의 부족은 예를 들어 교육에 종사하는 임상의에 대한 강의의 부족을 포함하였고, 이러한 인정의 부족이 어떻게 교육자의 진로를 이탈하게 되었는지에 대해 논의하였다.

Another manifestation of the misalignment between the espoused and enacted values was that many teachers experienced a lack of formal acknowledgment for educational work, despite the espoused values of education as integral to academic hospitals. This lack of formal acknowledgment included for example the lack of lectureships for clinicians engaged in education and some discussed how this lack of formal acknowledgment might have led to others leaving the educator career path.

 

임상 작업장에서 교육에 대한 공식적인 논의를 확립하는 데 어려움
Difficulties establishing formal discussions on education in the clinical workplace

참가자들은 [교육에 종사하는 동료들과의 교육 토론]이 어떻게 그들의 참여를 촉진하고 그들의 교육 역할을 지원함으로써 교육 활동 시스템의 도구 역할을 수행했는지에 대해 설명했다. 이러한 논의는 부분적으로 [비공식적인 장소]에서 이루어졌으며, 여기서 교사와 동료들은 근무일 동안 교육적인 대화를 나누었다. 이러한 비공식 모임에서 실제로 모이는 것은 일정이나 점심 습관 등의 일상과 시설, 교육에 관심이 있는 동료가 근처에 있고, 이러한 논의가 이루어질 수 있는 장소에 접근할 수 있는 것에 의해 중재mediate되었다(그림 2, 3a).
The participants described how educational discussions with peers also engaged in education nurtured their engagement and supported them in their teaching role, thus acting as a tool in the education activity system. These discussions partly occurred in informal arenas, where teachers and peers had educational conversations during the working day. The actual coming together in these informal gatherings was mediated by routines and facilities such as schedules and lunch habits, having educationally interested peers nearby as well as having access to meeting places where these discussions could take place (Fig. 2, line #3a).

만약 이 사람들이 교육에도 관심이 있다는 것을 안다면, 여러분 자신이 있는 상황에서 소규모 그룹에 속해 있는 것이 매우 고무적이라고 생각합니다. 교육 개발 코스는 기초를 형성하지만 그 후에 시행되어야 하고, 그리고 나서 여러분은 영감을 주고, 지원하고, 함께 발전시킬 수 있는 팀을 만들기 위해 '지금 여기서 우리가 어떻게 나아갈 수 있을까?'라고 함께 생각하는 몇몇 친구들이 필요합니다.(P4, FG 2)

I find it very inspiring to be in smaller groups if you know that these people are also interested in education, in a context where you yourself are situated. Educational development courses form a base but then it’s supposed to be implemented, and then you need some friends who think together ‘how can we proceed here and now?’ so that you have a team where you can inspire and support and develop together. (P4, FG 2)

 

또한, 교육적 논의는 [교육에 할당된 일정일scheduled day] 등 [공식적인 장소에 대한 접근]으로 중재되었다. 여기서 임상 교사는 병원의 다른 교사들과 만나 교육 문제를 논의한다. 그러나, 이러한 공식 경기장은 종종 외부로 나가 대학에 의해 시작되었으며, 매우 드물었다(보통 1년에 한두 번). 일부 사업장에서는 교육계의 챔피언이 부문 차원의 교육 논의를 공식화하기 위한 노력을 기울였다(그림2 3b). 다른 경우, 참가자들은 [임상 커뮤니티에서 공식 또는 체계적인 교육 토론의 기회를 거의 또는 전혀 경험하지 못했으며], 교육은 학술 병원에서 커뮤니티의 공통 의제에서 누락되었다(그림 2, 3c행). 이는 직장 내 특정 토론을 다른 커뮤니티가 허용하거나 허용하지 않는 방법을 나타내어 교사들이 교육에 대해 논의하기 위해 모이는 방식을 형성했다.
Further, educational discussions were also mediated by access to formal arenas such as scheduled days assigned for education, where clinical teachers would meet with other teachers in the hospital as well as with representatives from the university to discuss educational matters. However, these formal arenas were often off-site and initiated by the university, as well as being quite infrequent (usually one or two times a year). In some workplaces, champions in the educator community had made efforts to formalize educational discussions at a departmental level (Fig. 2, line #3b). In other cases, participants experienced few or no opportunities for formal or structured educational discussions in the clinical community, with education apparently missing from the common agenda of the community in the academic hospital (Fig. 2, line #3c). This indicated how different communities either allowed or disallowed certain discussions in the workplace and thus shaped the way in which teachers gathered to discuss education.

직장에서 다른 일을 하려고 하는 것은 주로 나와 교수[전임상교사]이다. 
실제로 회의의 구조나 정례는 없습니다. 한 학기에 한 번이지만, 뭐랄까, 명확한 계획이 없습니다.(P4, FG2)
In the workplace, then it’s mostly me and the professor [the former clinical teacher] that tries to carry out different things and we don’t have any real structure or regularity for meetings actually, it’s once a semester but without, what shall I say, any clear plan. (P4, FG2)

 

임시 교육 임용으로 교육 업무에 지장을 초래하다
Transient educational appointments hinder educational work

대학병원의 [분업division of labour]은 [교육활동의 규칙]을 형성해, 교사의 교육목표를 향한 업무에 방해가 되는 것 같다(그림2의 4행). 부분적으로, 이것은 [교육적 역할의 직원 배치 방식]과 관련이 있었다. 일부 참가자들은 특별히 교사직에 지원했지만, 그들 중 [다수는 커리어 궤적에서 의도적으로 교사직을 추구하지 않았다]. 대신, 임상 교사의 임명은 종종 임상 커뮤니티의 구성원들에게 [교육적 역할을 할당함]으로써 수행되었다. 예를 들어, 한 부서는 레지던트 프로그램의 일환으로 [레지던트들을 임상 교사로 로테이션 시킬 것]을 계획했습니다.
The division of labour in the academic hospital shaped the rules of the activity of education, and appeared to impede teachers in their work towards their object of education (Fig. 2, line #4). Partly, this had to do with how educational roles were staffed. While some participants had specifically applied for a teaching position, many of them had not intentionally sought the teaching position as part of a career trajectory. Instead, the appointment of clinical teachers was often carried out by allocating educational roles to members of the clinical community. As an example of this, one department was planning for residents to rotate as clinical teacher as part of their residency.

제가 부탁받았거나 교수님과 학과장이 제게 임상 선생님이 되는 것에 관심이 있냐고 물었고, 그 때쯤에는 뭐가 수반되는지는 몰랐습니다만, 그 느낌이나, 재미있었던 것 같습니다. 그리고 생각해볼 틈도 없이 '네'라고 대답했기 때문에 교육에도 관심을 갖게 된 것은 그 과정에서였습니다.(P1, FG1)
I was asked to do it, or our professor and our head of department asked me if I was interested in being a clinical teacher […] and by then I didn’t know what it entailed, but it felt, or it sounded fun. And I said yes without having had the time to reflect on it so it was during the process that I also became interested in education. (P1, FG 1)

게다가, 교사로서의 고용은 종종 1년 또는 2년으로 제한되었고, 이것은 (교육적) 역할이 종종 개인들 사이에서 순환한다는 것을 의미했다. 이는 [지속성을 저해]하기 때문에 장기적인 관점에서 교육 업무와 교육 발전의 기회를 제한하는 것으로 경험되었다.

Moreover, the employment as teacher was often limited to one or two years which meant that the role often shifted between individuals. This was experienced as limiting the opportunities for educational work and educational development in a longer-term perspective as it hindered continuity.

P3: 2년간 과제가 있고, 이직률이 상당히 높기 때문에 (교사로서) 교육을 받지 않았기 때문에 이 직책을 익히려면 시간이 좀 걸리고, 그리고 나서 정말로 그만둘 때가 되었습니다.
P3: We have our assignments for two years, and it’s a pretty high turnover, and as we don’t have any education [as teachers], it takes some time to acquaint oneself with the position, and then it’s time to quit really.

P4: 교육적인 개발 작업을 하고 싶은 경우는 곤란합니다. 그러면 갑자기 새로운 동료가 소개되어야 하기 때문입니다.(FG 3)
P4: And that makes it difficult if you want to carry out some [educational] development work because then, all of a sudden, there’s a new co-worker who needs to be introduced. (FG 3)

 

교사 정체성 개발 방해
Impeding the development of a teacher identity

참가자들은 공식적인 교육훈련과 교육지식이 부족했기 때문에 [교육자로서의 역할에 완전히 공감하지 못하는 듯] 보였다.
The participants did not seem to identify fully with the role as educator as they lacked formal training and knowledge within education.

하지만 교육훈련이 없기 때문에 내가 알고 있는 아주 작은 것 이상의 것이 있다는 것을 깨달았을 뿐이다. 우리는 교사teacher가 아니다.(P3, FG 3)
But you just realise that there is much more than the tiny, tiny bit that I know because we don’t have any educational training; we’re not teachers. (P3, FG 3)

이와 같이, 교육 제도의 룰이나 규범 중 하나가, 교육자 커뮤니티의 적법한 멤버가 되어, 교육자의 역할과 자신을 동일시하기 위해서, 정식적인 교육 훈련이 필요하다고 생각되었다(그림 2의 5a행). 그 때문에, 참가자는, 정식 연수를 실시하는 툴로서 교육 개발 활동을 일부 요구하고 있어, 교육 개발은 교사로서의 정체성의 확립과 교육자의 커뮤니티에의 소속감을 중개할 수 있다(그림 2 제5 b항).
As such, it seemed as if one of the rules or norms of the education system was that formal training in education was required to become a legitimate member of the educator community and to identify oneself with the educator role (Fig. 2, line #5a). Therefore, the participants partly sought out educational development activities as a tool offering formal training and thus, educational development could mediate the establishment of an identity as teacher and the sense of belonging to the community of educators (Fig. 2, line #5b).

저는 실제로 변화를 주러 온 것이 아닙니다. 모든 것에 익숙하지 않기 때문에 배우러 온 것입니다. 교수-학습은 새로운 것입니다.그러므로, 이 [교육 개발 프로그램]은 과학이나 여러분이 다루는 것으로서 [교육]에 들어가는 방법입니다. (P2, FG 1 )
I’m not really here to change so much, I’m here to learn because I’m so new in everything, teaching and learning is new […] So this [the educational development program] is a way of entering it [education] as a science or something you work with. (P2, FG 1)

 

교육은 임상 업무에서 창조적인 공간을 매개한다.
Education mediates a creative space in routinized clinical work

교육이 [시스템 수준]에서 [일반화된 대상generalized object]이었던 교육 활동 시스템은, 참가자들에게 [개별 수준]에서 몇 가지 [잠재적 결과]를 제공했다. 부분적으로 이러한 성과는 교육이 개인 및 전문적 개발을 매개하는 교육에 대한 개인적인 관심에 관한 것이다(그림2의 6행). 또한, 많은 선생님들은 [환자 진료 활동의 창의성을 위한 공간]에 만족하지 못했고 [일상화된 임상 작업]에 충분히 자극을 받지 못했다. 따라서, [교육적 역할]은 manoeuvre을 하고, 자기주도할 수 있는 자유로, 창조적인 공간을 [매개]하고, 기존의 임상 업무와는 질적으로 다른 작업 방식을 수반하는 것으로 끌렸다.

The activity system of education, in which education was the generalized object on the system level, provided the participants with several potential outcomes on an individual level. Partly, these outcomes related to a personal interest in teaching where education mediated personal and professional development (Fig. 2, line #6). Also, many of the teachers were unsatisfied with the space for creativity within the activity of patient care and felt insufficiently stimulated by clinical work which had become routine. Therefore, the educational role attracted as it mediated a creative space with a freedom to manoeuvre and to be self-directed, and entailed a qualitatively different way of working than traditional clinical work.

그것은 자유입니다. 대학병원에는 많은 것들이 통제되고 있습니다. 그리고 이 역할에서는, 제 모든 아이디어의 배출구가 생깁니다.[…] 그러니까, 즐겁고, 일이 일어나기 때문에, 제 자유는 거기에 있습니다. (P3, FG 3)
It’s the freedom. There is so much that is controlled in an academic hospital, and in this role, I get an outlet for all my ideas, […] I mean, it’s fun, things happen, so it’s where my freedom is. (P3, FG 3)

 

활동 보완 - 교육 레버 리서치
Complementing activities—education levers research

위에서 설명한 바와 같이, 교사들은 교육 업무에 대한 공식적인 인정의 부족을 경험했다. 그러나 일부 부서에서는 예를 들어 연구에 시간과 자금을 제공하는 등 교사들의 작업에 대한 보상을 하려는 노력이 있었다.
As described above, the teachers experienced a lack of formal acknowledgement for educational work. However, there were efforts in some departments to remunerate teachers for their work, for example by offering time and funding for research.

임상교사는 자신의 시간의 33%를 교육용으로 남겨두고 있다. […] 저희 부서에서는 교직이 연구에 33%의 시간을 더 벌어들이고 있습니다[…] 예산은 이 33%의 연구비를 지원하는 특정 예산에서 나옵니다.(P1, FG 1)
The clinical teacher has 33% of his or her time reserved for education. […] In our department, the teaching role generates an additional 33% time for research […] money comes from a specific budget that funds this 33% [time] for research. (P1, FG 1)

또, 교육은 아카데믹 커리어 내의 자격으로서 인식되고 있기 때문에, 교육에 임하는 것은 연구 활동에 한층 더 지렛대를 제공한다(그림 2의 7행).
Also, as education was perceived as a qualification within an academic career, engaging in education offered further leverage in the activity of research (Fig. 2, line #7).

우리 과에서 가르치고 싶은 의욕을 갖게 하는 또 다른 점은 연구가 많다는 것입니다. 그리고 특히 임상 교사로서 의대생들을 가르치는 것은 연구에 매우 가치가 있습니다. 그래서 그 때문에 가르치려는 많은 사람들이 있습니다. (P1, FG 1)
Another thing that makes people motivated to teach in our department is that we have a lot of research. And teaching, especially on that level [as clinical teacher], teaching medical students, is very meriting in research, so there are lots of people [in the department] who want to teach because of that. (P1, FG 1)

Contradictions in clinical teachers' engagement in educational development: an activity theory analysis

PMID: 30284068

PMCID: PMC6373255

DOI: 10.1007/s10459-018-9853-y

Free PMC article

임상추론 평가방법: 스코핑 리뷰와 실용적 가이드(Acad Med, 2019)
Clinical Reasoning Assessment Methods: A Scoping Review and Practical Guidance

Michelle Daniel, MD, MHPE, Joseph Rencic, MD, Steven J. Durning, MD, PhD, Eric Holmboe, MD, Sally A. Santen, MD, PhD, Valerie Lang, MD, MHPE, Temple Ratcliffe, MD, David Gordon, MD, Brian Heist, MD, MSc, Stuart Lubarsky, MD, MHPE, Carlos A. Estrada, MD, MS, Tiffany Ballard, MD, Anthony R. Artino Jr, PhD, Ana Sergio Da Silva, PhD, Timothy Cleary, PhD, Jennifer Stojan, MD, MHPE, and Larry D. Gruppen, PhD 

임상적 추론의 정의는 매우 다양하다.1 이 논문의 목적상 [임상 추론]은 '임상 의사가 환자를 진단하고 치료하기 위해 데이터를 관찰, 수집 및 해석하는 기술, 프로세스 또는 결과로 정의]된다. 임상 추론은 맥락적 요소와 상호작용하는 [의식적 및 무의식적 인지 작업]을 모두 수반한다. 맥락적 요인에는 [환자의 고유한 상황과 선호도, 그리고 진료 환경의 특성이 포함]되며 이 밖에도 많은 것들이 있다. 임상 추론의 여러 구성 요소를 식별할 수 있다1:

• 정보 수집, 
• 가설 생성, 
• 문제 표현 형성, 
• 감별 진단 생성,
• 우선적 또는 작업 진단 선택,
• 진단 정당성 제공,
• 관리 또는 치료 계획 개발.

Definitions of clinical reasoning vary widely.1 For the purposes of this paper, clinical reasoning is defined as a skill, process, or outcome wherein clinicians observe, collect, and interpret data to diagnose and treat patients.2,3 Clinical reasoning entails both conscious and unconscious cognitive operations interacting with contextual factors.4,5 Contextual factors include, but are not limited to, the patient’s unique circumstances and preferences and the characteristics of the practice environment. Multiple components of clinical reasoning can be identified1:

• information gathering,
• hypothesis generation,
• forming a problem representation,
• generating a differential diagnosis,
• selecting a leading or working diagnosis,
• providing a diagnostic justification, and
• developing a management or treatment plan.6 

다양한 분야(예: 인지 심리학, 사회학, 교육)의 많은 이론(예: 스크립트, 이중 과정 및 인지 부하 이론)이 임상 추론에 대한 연구를 제공한다. 이러한 임상 추론의 정의와 이러한 다중 이론은 현재 연구의 기초를 제공한다.

A number of theories (e.g., script, dual process, and cognitive load theories) from diverse fields (e.g., cognitive psychology, sociology, education) inform research on clinical reasoning.7,8 This definition of clinical reasoning and these multiple theories provide the foundation for the current work.

효과적인 임상 추론은 임상 역량의 핵심이다. 대학원 의학 교육 인증 위원회, 9개의 CanMED 프레임워크 및 유럽의 조정 프로젝트(의학)는 모두 임상 추론을 핵심 역량으로 설명한다. 의료 교육 연속체에 걸쳐 임상 역량(임상 추론 포함)의 개발을 보장하려면 평가에 대한 증거 기반 접근법이 필요하다. 현재 임상추론에 대한 광범위한 평가가 있으며, 이러한 도구의 기반이 되는 문헌은 광범위하게 분산되어 있으며, 다양한 분야와 여러 의학 전문 분야를 넘나들고 있어서 [특정한 목표, 요구 및 자원에 맞는 평가를 선택 및 구현]하려는 교수자를 어렵게 만든다. 또한 여러 평가들이 서로 다른 맥락(예: 직장 기반 및 비직장 기반 환경)에서 사용하도록 설계된다. 임상추론 평가방법은 수와 다양성이 많아서 목적에 적합한 평가를 선택하는 데 어려움이 있고, 임상추론 평가가 진보하려면 현재 근거의 통합이 필요하다.

Effective clinical reasoning is central to clinical competence. The Accreditation Council for Graduate Medical Education,9 the CanMEDS framework,10 and the Tuning Project (Medicine) in Europe11 all describe clinical reasoning as a core competency. Ensuring the development of clinical competence (including clinical reasoning) across the medical education continuum requires an evidence-based approach to assessment. There is currently a wide array of clinical reasoning assessments, and the literature on which these tools are based is widely dispersed, crossing different fields and multiple medical specialties, which presents a challenge for medical educators attempting to select and implement assessments aligned with their particular goals, needs, and resources. These assessments are often designed for use in different contexts (e.g., workplace- and non-workplace-based environments).12 The sheer number and diversity of clinical reasoning assessment methods create challenges for selecting assessments fit for the purpose, so a synthesis of the current evidence is needed to advance assessment practices for this core competency.

우리의 목표는 의료 교육자에게 참고가 되는 평가 방법의 실용적인 개요를 만드는 것이었다. 임상 추리 평가 문헌의 풍부함과 복잡성을 고려하여 다음 질문을 탐구하기 위해 범위 검토를 수행하기로 결정했다. 어떤 임상적 추론 평가 방법을 사용할 수 있습니까? 이러한 평가 방법의 정의 기능은 무엇이며, 일반적으로 어떻게 사용됩니까? 각 방법에 대한 타당성 고려사항(내용, 대응 프로세스, 내부 구조, 다른 변수와의 관계, 임상 실무 성과에 대한 결과 또는 결과)은 무엇입니까? 각 방법의 실현 가능성 문제, 장점 및 단점은 무엇입니까? 각 방법의 상대적 강점과 약점을 임상 추론 평가 프로그램을 구축하는 데 어떻게 사용할 수 있는가?

Our aim was to create a practical compendium of assessment methods to serve as a reference for medical educators. Given the richness and complexity of the clinical reasoning assessment literature, we chose to perform a scoping review to explore the following questions: What clinical reasoning assessment methods are available? What are the defining features of these assessment methods, and how are they typically used? What are the validity considerations (content, response process, internal structure, relationships to other variables, and consequences or outcomes on clinical practice performance) for each method? What are the feasibility issues, advantages, and disadvantages of each method? How might the relative strengths and weaknesses of each method be used to construct a clinical reasoning assessment program?

방법
Method

방법론 검토
Review methodology

우리는 이 검토를 수행함에 있어 구성주의적 연구 패러다임을 채택했다. 우리는 우리의 질문이 탐색적이었고 예비 검색에서 복잡하고 이질적인 문학의 본체가 밝혀졌기 때문에 scoping methodology 을 선택했다. 우리는 임상 추리 평가 방법의 광범위한 분야를 설명하기를 원했지만, 의학 교육자에 대한 관련성을 보장하기 위해 실용적인 적용에 초점을 맞추고 싶었다. 우리는 가장 일반적으로 사용되는 방법에 대해 보고하지만, 모든 것을 망라하려고 하지는 않습니다. 이 검토는 STORES(Structured Approach to Reporting in Healthcare Education of Previdence Compositation) 스테이트먼트에 따라 제시된다. 
We adopted a constructivist research paradigm in conducting this review. We chose a scoping methodology because our questions were exploratory and because preliminary searches had revealed a complex and heterogeneous body of literature.13 We wanted to describe the broad field of clinical reasoning assessment methods,14 yet remain focused on practical applications to ensure relevance for medical educators. We report on the most commonly used methods, but we do not seek to be exhaustive. This review is presented in accordance with the STORIES (Structured Approach to the Reporting in Healthcare Education of Evidence Synthesis) statement.15

검색 전략
Search strategy

초기 검색 및 기사 선택 프로세스에서 확립된 PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-Analyses) 가이드라인을 따랐습니다. 경험이 풍부한 연구 사서가 검색 전략을 설계하는 데 도움을 주었습니다(보조 디지털 부록 1 참조). 임상 추론을 위한 수많은 동의어는 잘 알려진 임상 추리 평가 방법뿐만 아니라 광범위한 평가 용어와 결합되었다. 검색일로부터 2016년 2월 29일까지 Ovid MEDLINE, CINAHL, ERIC, PsycINFO, Scopus, Google Scholar, New York Academy of Medicine Grey Literature Report에서 검색을 실행했습니다. 검색된 인용문은 체계적인 검토를 수행하기 위한 온라인 데이터 관리 시스템인 DistillerSR(캐나다 온타리오주 오타와)에 업로드되었습니다.

We followed established PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) guidelines16 for our initial search and article selection process. An experienced research librarian helped design the search strategy (see Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/A631). Numerous synonyms for clinical reasoning were combined with a broad range of assessment terms, as well as well-known clinical reasoning assessment methods. We ran the search in Ovid MEDLINE, CINAHL, ERIC, PsycINFO, Scopus, Google Scholar, and the New York Academy of Medicine Grey Literature Report from each database’s inception through February 29, 2016, the date of our search. Retrieved citations were uploaded in DistillerSR (Evidence Partners, Ottawa, Ontario, Canada), an online data management system for performing systematic reviews.

기사 심사 및 리뷰
Screening and review of articles

임상 추론 평가 문헌의 초기 탐구를 위한 광범위한 포함 기준에서 시작했다.

• (1) 훈련 또는 실습의 모든 단계에서 건강 전문직(예: 의학, 간호, 치과, 물리 또는 직업 치료), 
• (2) 모든 연구 설계 유형, 
• (3) 임상 추론 평가 방법(또는 도구)을 명시적으로 연구한 모든 기사 (또는 동의어(예: 임상, 진단, 치료, 예후 의사결정 또는 문제 해결). 보충 디지털 부록 1 참조).

We began with broad inclusion criteria for our initial exploration of the clinical reasoning assessment literature:

• (1) any health profession (e.g., medicine, nursing, dentistry, physical or occupational therapy) at any stage of training or practice;
• (2) all study design types; and
• (3) any article that explicitly studied a method (or tool) of clinical reasoning assessment (or synonymous terms—e.g., clinical, diagnostic, therapeutic, or prognostic decision making or problem solving; see Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/A631).

영어로 된 기사가 아닌 경우, 의사결정을 임상 추론의 더 큰 인지 과정 대신 특정 임상 문제(예: 심방 세동의 경우)에만 적용한 경우 또는 기사가 연구를 구성하지 않는 논문 또는 해설인 경우 기사는 제외되었다. 리뷰 기사는 데이터 추출에서 제외되었지만 눈덩이 확대를 통해 추가 기사를 식별하는 데 사용되었다. 최종 합성에 앞서, 우리는 의대생, 레지던트 또는 의사에 관한 연구에 초점을 맞추기로 결정했고, 검토를 위한 총 기사 수를 줄이고, 임상 추론에 초점을 맞추도록 다른 보건 직업에 대한 강조를 제거하기로 했다. (또한 비판적 사고와 같은 다른 건강 직업의 관련성이 있는 것이 아니라 별개의 구조에 대해서도 마찬가지입니다.)

Articles were excluded if they were not in English, if decision making was applied only to a specific clinical problem (e.g., a case of atrial fibrillation) instead of the larger cognitive processes of clinical reasoning, or if the article was an essay or commentary that did not constitute research. Review articles were excluded from data extraction but were used to identify additional articles via snowballing. Prior to the final synthesis, we decided to focus on medical student, resident, or physician studies and de-emphasized the other health professions to both reduce the total number of articles for review and ensure that the focus was on clinical reasoning (and not on related but distinct constructs in the other health professions, such as critical thinking).17

다양한 작가 조합이 여러 단계로 기사를 검토했다. 잠재적으로 관련된 제목과 요약은 작가 쌍에 의해 선별되었다. 전문 기사는 포함 및 제외 기준에 따라 다양한 작가 쌍에 의해 적격성을 평가받았다. 적격성 평가를 위한 전문 기사의 평가에 앞서, 우리는 우리 팀의 요약과 집합적 전문지식에 대한 예비 분석을 바탕으로 평가 방법별로 그것들을 분류했습니다. 우리는 염두에 두고 있었다.

• 오래된 방법이 출판된 기사(예: 객관식 질문[MCQ])에 더 자주 표시될 수 있다.
  
• 일반적인 교육 관행은 자주 작성되지 않을 수 있다(예: 구술 사례 프레젠테이션(OCP)).
  
• 실현 가능성이 구현 및 사용에 영향을 미칠 수 있다(예: fMRI).

Different combinations of authors (M.D., J.R., S.J.D., E.H., S.A.S., V.L., T.R., D.G., B.H., S.L., C.A.E., T.B., A.R.A., A.S.D.S., T.C., J.S., L.D.G.) reviewed the articles in multiple stages. Potentially relevant titles and abstracts were screened by pairs of authors. Full-text articles were then assessed by different pairs of authors for eligibility based on the inclusion and exclusion criteria. Prior to the assessment of full-text articles for eligibility, we sorted them by assessment methods based on our preliminary analyses of the abstracts and the collective expertise of our team. We were mindful

• that older methods may be more frequently represented in published articles (e.g., multiple-choice questions [MCQs]),
• that common educational practices may not necessarily be written about often (e.g., oral case presentations [OCPs]), and
• that feasibility may affect implementation and use (e.g., functional magnetic resonance imaging).

각 평가 방법은 해당 기사를 추가로 검토하고 합성한 두 명의 저자에게 할당되었다. 어느 단계에서든 의견 불일치는 논의를 통해 해결되었으며, 필요한 경우 제3의 저자가 참여하였다. 데이터 추출 수준에서 코헨 카파 통계량을 사용하여 기준 간 합의를 평가했다.

Each assessment method was assigned to a pair of authors who further reviewed and synthesized those articles. Disagreements at any stage were resolved through discussion to reach consensus, with involvement of a third author if needed. Interrater agreement was assessed using Cohen kappa statistic at the data extraction level.

데이터 추출 양식을 사용하여 다음을 포함한 평가 방법의 특성에 대한 정보를 수집했다.

• 자극(예: 서면 Vignette, 표준화된 환자(SP), 실제 환자)
  
• 응답 형식(예: 선택된 응답, 작성된 자유 텍스트, 성능)
  
• 채점(예: 고정 답안, 체크리스트, 글로벌 등급 척도)
  
• 일반적인 용도(예: 낮은, 중간, 높은 수준의 의사결정)

A data extraction form (see Supplemental Digital Appendix 2 at https://links.lww.com/ACADMED/A632) was used to capture information on the characteristics of assessment methods, including

• the stimulus (e.g., written vignette, standardized patients [SPs], real patients);
• response format (e.g., selected response, constructed free text, performance);
• scoring (e.g., fixed answer, checklist, global rating scale); and
• common uses (e.g., low-, medium-, or high-stakes decisions).

이 양식은 도구의 타당성 및 타당성뿐만 아니라 방법과 관련된 주제(예: 맥락의 영향)에 관한 정보도 포착했다. 이 검토의 목적상, 우리는 타당성을 복수의 근거 소스(예: 내용, 대응 프로세스)가 있는 통합된 구성으로 보았다.18 이것은 scoping review였기 때문에 article의 품질은 공식적으로 평가되지 않았다. 추출은 평가 방법에 대한 모든 기사를 완전히 검토하거나 새로운 평가 통찰력을 제공하지 않을 때까지 진행되었습니다.

The form also captured information regarding a tool’s feasibility and validity, as well as any themes (e.g., the influence of context) related to the method. For the purposes of this review, we viewed validity as a unified construct with multiple sources of evidence (e.g., content, response process).18 Because this was a scoping review, the quality of articles was not formally assessed. Extraction proceeded until all articles for an assessment method had been fully reviewed or no new assessment insights were forthcoming.

Data 합성
Data synthesis

추출된 데이터를 사용하여 각 평가 방법을 요약하고 일반적인 자극, 대응 형식, 점수, 일반적인 용도, 타당성 고려 사항, 타당성 문제, 장점 및 단점을 설명하는 설명적 부록을 구성했다. 타당성 고려사항은 교육 및 심리 테스트 표준에 설명된 메시의 5개 영역에 따라 제시된다. 이 부록에는 텍스트를 뒷받침하는 참고문헌이 몇 가지 나열되어 있지만, 일부 방법에서는 60개가 넘는 기사가 있었기 때문에 검토한 기사 전체 목록은 포함되어 있지 않습니다. 일부 경우, 우리는 이러한 부록과 결과의 핵심 사항을 뒷받침하기 위해 (검토에 포함된 목록 외의) 추가적인 seminal references 자료를 사용했다. 이러한 참고 자료는 포함 기준을 충족하지 못했기 때문에 검토에 포함되지 않았다.
We used the extracted data to construct descriptive appendixes that summarize each assessment method, describing common stimuli, response formats, scoring, typical uses, validity considerations, feasibility issues, advantages, and disadvantages. Validity considerations are presented according to Messick’s five domains as described in Standards for Educational and Psychological Testing.19 These appendixes list some references to support the text, but they do not include the full list of the articles reviewed because, for some methods, there were over 60 articles. In some cases, we used additional seminal references (outside of those included in the review) to support key points in these appendixes and in the Results below; these references were not included in the review because they did not meet the inclusion criteria.

검토 과정에서 특정 평가 방법이 임상 추론의 다른 구성 요소를 측정하는 데 다른 방법보다 더 적합하다는 것이 명백해졌다(위 참조). [임상추론 평가 방법 선택을 위한 실용적 가이드 제작]을 목표로 했기 때문에, 우리는 집단적 판단을 사용하여, 임상추론의 다양한 구성 요소를 측정할 수 있는 평가 방법을 식별했다. 

Over the course of the review, it became apparent that certain assessment methods were better suited than others to measure different components of clinical reasoning (see above). Because we aimed to produce a practical guide for medical educators to select clinical reasoning assessment methods, we used our collective judgments to identify assessment methods more or less capable of measuring the different components of clinical reasoning.

우선, 각 컴포넌트의 작업 정의에 합의했습니다(표 1). 다음으로 Qualtrics(2018년 버전, Qualtrics, Provo, Utah, Provo)를 통해 전체 작성자 그룹에 설문조사를 보내 각 평가 방법을 다양한 구성 요소를 평가할 수 있는 능력 측면에서 평가하도록 요청했습니다. (0 = 주소 미지정, 1 = 2차 또는 주변기기, 2 = 1차 초점, NA = 응답 불가). 결과의 평균을 산출하여 다음과 같은 척도로 보고했습니다. 0.0~0.5 = 불량, 0.6~1.0 = 평균, 1.1~1.5 = 양호, 1.6~2.0 = 매우 양호.

First, we agreed on working definitions for each of the different components (Table 1). Next, we sent a survey via Qualtrics (version from 2018, Qualtrics, Provo, Utah) to the full author group, asking them to rate each assessment method in terms of its ability to assess the different components (0 = not addressed, 1 = secondary or peripheral, 2 = primary focus, NA = cannot answer). We averaged the results and reported them on the following scale: 0.0–0.5 = poor, 0.6–1.0 = average, 1.1–1.5 = good, and 1.6–2.0 = very good.

표 1 임상 추론의 다양한 구성 요소에 대한 작업 정의
Table 1 Working Definitions for the Different Components of Clinical Reasoning

정보 수집 Information gathering72,73

• 가설을 생성하거나 구체화하는 데 필요한 데이터를 얻는 과정입니다. 이 과정은 일반적으로 기록 작성, 물리적 수행, 실험실 또는 방사선 데이터 획득, 의료 기록 검토 등을 포함하는 능동적active 프로세스이지만, (관찰을 통한 것처럼) 암묵적일 수도 있습니다. 수집할 정보의 선택은 질병의 지식 표현(예: 스크립트, 스키마)에 의해 결정됩니다.
• The process of acquiring the data needed to generate or refine hypotheses. This is usually an active process that includes taking a history, performing a physical, acquiring lab or radiographic data, reviewing the medical record, etc., but may be implicit (through observation) as well. The selection of information to gather is driven by knowledge representations of disease (i.e., scripts, schema).

가설 생성 Hypothesis generation74,75

• 의사가 환자의 임상 소견을 설명할 수 있는 질병을 찾는 초기 비분석적 또는 분석적 과정입니다. 가설 생성은 정보 수집을 피드백하는 반복 프로세스에서 질병의 지식 표현을 활성화하는 것을 포함한다(예: 가설 생성은 더 많은 정보 수집으로 이어지고, 더 많은 가설 생성 및/또는 개선으로 이어진다).
• An early nonanalytic or analytic process by which a physician tries to find diseases that can explain a patient’s clinical findings. Hypothesis generation involves activation of knowledge representations of disease in an iterative process that feeds back on information gathering and vice versa (e.g., hypothesis generation leads to more information gathering, which leads to more hypothesis generation and/or refinement).

문제 표현 Problem representation74,76

• [의미적 한정자]와 [주요 발견]을 포함하는 요약으로 전달될 수 있는, 사례의 모든 관련 측면(환자의 임상 소견, 생체 심리학적 차원 등)의 역동적 정신적 표현.
• A dynamic mental representation of all the relevant aspects of the case (including the patient’s clinical findings, biopsychosocial dimensions, etc.) that can be communicated in a summary that includes semantic qualifiers and key findings.

감별 진단 Differential diagnosis77,78

• 문제 표현의 최선의 요약 범주를 나타내는 진단 가설의 목록(참고: 전공이 달라지면 감별진단의 우선 순위가 달라질 수 있다. 예를 들어, EM에서는 생명을 위협하는 질병이 먼저 나열되는 경우가 많은 반면 IM에서는 일반적으로 가장 가능성이 높은 질병이 먼저 나열된다.) [자신감의 강도]와 [표현에 대한 증거가 변화함]에 따라 우선적 진단leading diagnosis이 나타난다.
• A list of diagnostic hypotheses that represent the best summary categorizations of the problem representation (Note: Different specialties may have different priorities when it comes to ordering the differential; e.g., in EM, life-threatening diseases are often listed first, whereas in IM, the most likely diseases are usually listed first). As the strength of confidence and evidence for these representations change, a leading diagnosis emerges.

선행 진단 또는 실제 진단 Leading or working diagnosis79

• 비록 확정적이지 않더라도, 추가 검사를 진행하거나 치료를 시작하기 위해, 특정 질병일 확률이 의사 자신의 임계값을 초과한 진단입니다
• A diagnosis for which a physician’s probability of a given disease has crossed his or her threshold to pursue additional testing or to initiate treatment, even if the diagnosis is not definitive.

진단의 정당성 Diagnostic justification77,80

• 정보 수집의 증거(핵심 임상 소견)를 사용하여, 가능한 한 하나 이상의 진단을 선택하고, 다른 가능한 진단을 비교 및 대조하면서 그 선택을 옹호하려는 시도. 정당화는 사회적으로 필요할 때 의사소통(구술 또는 서면)을 수반하는 경우가 많으며, 선행 임상 추론 과정의 일부가 아닐 수도 있습니다.
• The attempt to use the evidence (key clinical findings) from information gathering to choose one or more diagnoses as most likely and to defend that choice, comparing and contrasting other possible diagnoses. Justification often involves communication (orally or in writing) when socially required and may not be part of the a priori clinical reasoning process.

관리 및 치료 
Management and treatment79,81

• 임상추론 뒤에 따라오는 행동으로서, 예측, 관리, 치료, 예방 전략, 증상완화(삶의 질 향상 포함) 및 그러한 행동의 정당화를 포함한다.
• The actions that follow the clinical reasoning process, including prognostication, management, treatment, prevention strategies, and palliation of symptoms (including improvement of quality of life) and justification for such actions.

결과.
Results

초기 데이터베이스 검색과 눈덩이 확장으로 14,709개의 레코드가 생성되었습니다. 중복으로 1,849장을 삭제하고, 12,860장의 레코드는 제목과 추상별로 심사했습니다. 이 심사 후, 11,421개의 기사는 임상 추론의 평가와 관련이 없다는 이유로 제외되었다. 나머지 1,439개 기사는 포함 및 제외 기준에 따라 전문 평가를 받았다. 이 단계에서 901개 기사는 분석에서 제외되었으며, 주된 이유는 임상 추론 평가 방법을 명시적으로 연구하지 않았기 때문이다. 결국, 검토 대상에는 538개 조항(1966년부터 2016년까지)이 포함되었다(그림 1 및 보충 디지털 부록 3 참조). 이 기사들 중 161개는 다른 건강 직업에 초점을 맞췄다. 최종 종합에서는 의대생, 레지던트, 의사 관련 기사 377건만을 중점적으로 다루었다. 이 방법에 대해 계산된 측정기 간 합치도 0.83에서 0.86 사이의 범위에서 높았다.

The initial database search and snowballing yielded 14,709 records. We removed 1,849 as duplicates, leaving 12,860 records to be screened by title and abstract. After this screening, 11,421 articles were excluded because they did not pertain to the assessment of clinical reasoning. The 1,439 remaining articles underwent full-text evaluation based on inclusion and exclusion criteria. At this stage, 901 articles were excluded from the analysis, with the main reason being that they did not explicitly study a clinical reasoning assessment method. In the end, 538 articles (from 1966 to 2016) were included in the review (see Figure 1 and Supplemental Digital Appendix 3 at https://links.lww.com/ACADMED/A633). Of these articles, 161 focused on other health professions. In the final synthesis, we focused exclusively on the 377 articles related to medical students, residents, and physicians. The interrater agreement calculated for the methods was high, ranging from 0.83 to 0.86.

포함된 기사에는 임상 전 의대생부터 임상 의대생, 레지던트 및 개업의에 이르기까지 광범위한 학습자가 포함되었습니다. 기사에 실린 작품들은 많은 다른 나라들에서 나왔지만, 대부분은 미국, 유럽, 캐나다에서 왔다. 우리는 기사를 20개의 다른 평가 방법(실험적 또는 참신한 범주 및 19가지 방법)으로 묶었다.

• 일부 방법에는 다수의 기사가 있었다(예: 스크립트 일치 테스트 및 기술 강화 시뮬레이션 각각 60개 이상).
• 일부 방법들은 매우 적은 수의 논문만이 검색되었다(예: 임상 또는 종합 통합 퍼즐(CIPs)과 차트 자극 리콜(CSR)은 각각 3개였다.)

보충 디지털 부록 4는 공통 자극, 대응 형식, 점수 매기기, 일반적인 사용, 타당성 고려사항, 타당성 문제, 장점 및 단점을 포함하여 각 평가 방법을 요약하는 설명 부록을 제공하고 있으며, 이를 뒷받침하는 참고 자료를 제공한다.

The included articles encompassed a broad array of learners from preclinical medical students to clinical medical students, residents, and practicing physicians. The work in the articles came from many different countries; however, the majority came from the United States, Europe, and Canada. We clustered the articles into 20 different assessment methods (an experimental or novel category and 19 methods; see below).

• Some methods had a large number of articles (e.g., script concordance testing and technology-enhanced simulation each had over 60).
• Others had very small numbers of articles (e.g., clinical or comprehensive integrative puzzles [CIPs] and chart-stimulated recall [CSR] each had 3).

Supplemental Digital Appendix 4 (at https://links.lww.com/ACADMED/A634) shows the descriptive appendixes we constructed that summarize each assessment method, including common stimuli, response formats, scoring, typical uses, validity considerations, feasibility issues, advantages, and disadvantages, as well as supporting references.

방법은 매우 이질적이었지만, 우리는 신뢰성의 연속체를 따라 세 가지 광범위한 범주를 식별했다. 

• 비작업장 기반 평가(Non-WBAs),
• 시뮬레이션 임상 환경 평가
• 작업장 기반 평가(WBAs)

Although the methods were quite heterogeneous, we identified three broad categories, along a continuum of authenticity:

• non-workplace-based assessments (non-WBAs),
• assessments in simulated clinical environments, and
• workplace-based assessments (WBAs).

우리는 이러한 범주에 예외가 있으며 일부 방법이 현실적으로 여러 범주에 배치될 수 있다는 것을 인식한다(예: 자체 조절 학습 미세 분석(SRL-M)). 독특하거나 참신하거나 탐색적인 평가는 실험적이거나 참신한 방법 그룹에 배치되었다. 중요한 방법들이 결국 이 작업 본체에서 나올 수 있지만, 이러한 방법들에 대해 상세히 보고하는 것은 가능하지 않았으며, 이러한 방법들은 보충 디지털 부록 4에서만 다루어진다.

We recognize that these categories have exceptions and that some methods could realistically be placed in multiple categories (e.g., self-regulated learning microanalysis [SRL-M]). Assessments that were unique, novel, or exploratory were placed into an experimental or novel methods group. Although important methods may ultimately emerge from this body of work, it was not feasible to report on all of these methods in depth, and they are only addressed in Supplemental Digital Appendix 4 (at https://links.lww.com/ACADMED/A634).

비WBA
Non-WBAs

우리는 주로 "교실" 평가 또는 비 WBA에 초점을 맞춘 10가지 방법을 식별했다.
We identified 10 methods that largely focused on “classroom” assessments or non-WBAs.

MCQ는 최대 5개의 잠재적 답변 또는 대안이 뒤따르는 임상적 답변으로 구성되며, 단일 최선의 답변, 대안 조합, 각 대안에 대한 참 또는 거짓 또는 매칭을 요구하도록 구성될 수 있다. 

1. MCQs consist of a clinical vignette followed by up to five potential answers or alternatives and may be structured as to require a single best answer, a combination of alternatives, true or false for each alternative, or matching.20

확장 매칭 질문(EMQ)은 대안 목록에서 선택된 단일 최선의 답변과 함께 임상적 질문을 사용하는 MCQ와 유사하지만, 여러 질문에 적용되는 더 긴 잠재적 답변 목록(5개 이상)을 포함하고 있다. 

1. Extended matching questions (EMQs) resemble MCQs in their use of a clinical vignette with a single best answer selected from a list of alternatives, but they contain longer lists of potential answers (more than five) that are applied to multiple questions.21,22

단답형 또는 장답형(메세지) 질문은 임상적 질문에 이어 몇 단어에서 여러 문장에 이르는 길이의 구성된 자유 텍스트 응답을 사용하여 하나 이상의 질문에 답하는 방법을 설명한다. 

1. Short- or long-answer (essay) questions describe a method wherein a clinical vignette is followed by one or more questions answered using constructed free-text responses that range in length from a few words to several sentences.23,24

변형에세이문제(MEQ)은 사례의 일련 정보를 시간순으로 제공하는 방법입니다. 한 문항이 제시되면, 학습자는 작성된 자유 텍스트(에세이) 형식으로 결정을 문서화해야, 그 다음 문항을 볼 수 있습니다.

1. Modified essay questions (MEQs) are a method wherein serial information is provided about a case chronologically.25,26 After each item, learners must document a decision in a constructed free-text (essay) format before they can view subsequent items.

환자 관리 문제(PMP)는 진단 및 관리에 특정 리소스를 사용할 수 있는 컨텍스트가 풍부한 임상 시나리오로 구성됩니다. 학습자는 조치를 위한 여러 대안 중에서 선택해야 하며, 사례를 계속 진행하면서 그러한 조치의 결과(예: 심전도[ECG] 결과)가 제공됩니다.

1. Patient management problems (PMPs) consist of context-rich clinical scenarios, where specific resources are available for diagnosis and management.27,28 The learner must select among multiple alternatives for action, and the results of those actions are then provided (e.g., electrocardiogram [ECG] findings) as they continue working through the case.

주요 기능 검사(KFE)에는 임상 의사 결정의 중요한 단계에 초점을 맞춘 2~3개의 질문이 뒤따른다. 주요 특징은 사례별로 다르다(예: 벼락 두통은 지주막하 출혈 진단의 핵심 특징이다).

1. Key feature examinations (KFEs) contain clinical vignettes followed by two to three questions focused on the critical steps in clinical decision making.29,30 Key features are case specific (e.g., a thunderclap headache is a key feature in the diagnosis of subarachnoid hemorrhage).

스크립트 일치 테스트(SCT)는 임상 추론 중에 새로운 정보가 처리되는 방법을 나타내도록 설계된 불확실성과 관련된 짧은 임상 시나리오로 구성된다. 학습자는 일련의 질문에 답해야 합니다(예: X를 고려하고 있었는데, Y를 찾은 경우, 이 답은 가능성이 더 높아지거나 가능성이 낮아지거나 변경되지 않습니다). 응답은 "전문가"의 참조 패널에서 얻은 응답과 비교되며, 이는 임상 상황에 따라 임상의의 응답의 가변성을 설명한다.

1. Script concordance tests (SCTs) comprise short clinical scenarios associated with uncertainty that are designed to represent the way new information is processed during clinical reasoning.31,32 Learners must answer a series of questions (e.g., if you were thinking X and then you found Y, this answer would become more likely, less likely, or no change). Responses are compared with those acquired from a reference panel of “experts,” accounting for the variability of clinicians’ responses in different clinical situations.

CIP는 그리드 형태를 취하며, 종종 확장된 매칭 크로스워드 퍼즐과 유사합니다. 많은 발견이 컬럼(예: 이력, 물리, 심전도, 실험실, 병태생리학, 약리학)에 배치되고 관련 진단은 행에 배치된다(예: 심근경색, 폐색전증, 대동맥 박리). 학습자는 열 내 항목과 행 간 항목(소견에 가장 적합한 "일치" 선택)을 비교 및 대조하여 각 진단에 대한 기본적인 질병 스크립트를 작성하도록 요청받습니다.

1. CIPs take the form of a grid, often analogized to an extended matching crossword puzzle.33,34 A number of findings are placed in columns (e.g., history, physical, ECG, labs, pathophysiology, pharmacology), and related diagnoses are placed in rows (e.g., myocardial infarction, pulmonary embolism, aortic dissection). The learner is asked to compare and contrast items within a column as well as across the rows (selecting the best “match” for the finding), building basic illness scripts for each diagnosis.

개념 지도는 학습자가 그래픽 일러스트를 작성함으로써 영역에 대한 지식 및 지식의 구성을 나타내는 개략적인 평가 방법입니다. 맵은 자유 형식 또는 위계형일 수 있으며, 개념과 개념 간의 관계를 모두 나타냅니다.

1. Concept maps are a schematic assessment method wherein learners represent their knowledge of a domain, as well as the organization of that knowledge, by creating a graphical illustration.35,36 Maps may be free-form or hierarchical, outlining both concepts and the relationships between the concepts.

구술시험은 한 명 이상의 교직원이 임상적 추론 및 의사결정 능력 및 직업적 가치를 평가하기 위해, 대본이 없거나 반대본semiscripted 방식으로 실시하는 구두평가입니다. 

1. Oral examinations are verbal assessments conducted by one or more faculty member in either an unscripted or semiscripted fashion to assess clinical reasoning and decision-making abilities, as well as professional values.37,38

영상, 비디오 및 기타 형식은 서면 시험 자료를 보완하거나 보완하는 데 사용될 수 있지만, 대부분의 비 WBA는 [서면] 임상 실험 자료, 또는 [시나리오]를 [자극]으로 사용한다. 비 WBA 방법 중 하나만 언어 자극(구강 검사)을 사용합니다.

The majority of non-WBAs use written clinical vignettes or scenarios as the stimuli, though images, videos, and other formats may be used to supplement or complement the written testing materials. Only one non-WBA method uses a verbal stimulus (oral examinations).

[응답 형식]은 주로 '쓰기written'이지만, 유형(예: 선택된 답변, 구성된 자유 텍스트)은 다양합니다.

The response formats are predominately written, though there is variability in type (e.g., selected answers, constructed free text).

[스코어링 프로세스]는 다양합니다. [단일 정답, 합계 방식]이 일반적입니다(MCQ, EMQ, PMP, KFE 등). 채점은 가중치 부여(즉, 특정 항목이 다른 항목보다 많이 반영됨) 또는 가중치 부여되지 않음(즉, 모든 항목이 동등하게 계산됨), 보상적(즉, 일부 백분율을 틀리고도 합격할 수 있음) 또는 비보상적(즉, 합격하려면 100% 점수가 필요함)될 수 있다. 문항별 채점 또는 전반적 등급 척도는 [단문형 또는 장문형 주관식 응답 및 MEQ]에 사용되며, [규범-기준 또는 준거-기준]으로 채점할 수 있다. CIP 그리드 및 컨셉 맵에는 보다 복잡한 스코어링 시스템이 있습니다. SCT 응답은 "골드 스탠다드"(즉, 전문가 패널의 응답)와 적합성을 비교하여, 그 응답을 선택한 전문가 패널의 비율에 따라 각 항목에 대해 부분적 또는 완전한 점수를 받는다.

Scoring processes vary. Aggregated, fixed-answer responses are common (e.g., MCQs, EMQs, PMPs, KFEs). Scoring can be weighted (i.e., certain items count more than others) or unweighted (i.e., all items count equally) and compensatory (i.e., can get some percentage wrong and still pass) or noncompensatory (i.e., a score of 100% is required to pass). Itemized and global rating scales are used for short- or long-answer constructed free-text responses and MEQs, and they can be norm- or criterion-referenced. CIP grids and concept maps have more complex scoring systems. SCT responses are compared for fit to a “gold standard” (i.e., the expert panel’s responses), and the examinee receives partial to full credit for each item depending on the proportion of the expert panel that chose that response.

중부담 및 고부담 시험에서는 여러 가지 비 WBA 방법이 사용된다(예: MCQ와 KFE는 종합 과정 종료 평가 및 의료 면허 검사에 일반적으로 사용된다). 다른 방법(예: CIP, 개념도)은 충분히 조사되지 않았으며 현재 형성적 평가 또는 연구에 가장 적합하다.

Several non-WBA methods are used for medium- to high-stakes examinations (e.g., MCQs and KFEs are commonly used for summative end-of-course assessments and medical licensing examinations). Other methods (e.g., CIPs, concept maps) are less well explored and are currently most suitable for formative assessments or research.

타당성 고려사항, 실현가능성 문제, 장점 및 단점은 각 방법마다 매우 고유하다. 보충 디지털 부록 4에서는 이러한 차이점에 대해 자세히 설명하지만, WBA 이외를 위한 몇 가지 테마는 여기에서 언급됩니다.

• MCQ, EMQ 및 KFE는 가장 자주 사용되는 비WBA이며, 맥락 특이성을 최소화하는 광범위한 샘플링의 이점을 가지고 있습니다.
• 이러한 방법은 높은 내적 일관성을 제공할 수 있는 최고의 기회를 제공하므로, 고부담 평가에 가장 큰 효용성이 있습니다.
• 전문가 합의 및 블루프린트 덕분에 이러한 방법은 내용 타당성 증거가 강력할 수 있습니다. 이러한 방법은 내용의 통제와 일관성이라는 이점도 있으며, 각 문제에 대한 "정답"이 있다. "정답"이 있다는 것은 WBA에서 항상 가능한 것은 아닙니다.

Validity considerations, feasibility issues, advantages, and disadvantages are highly specific to each method. Supplemental Digital Appendix 4 (at https://links.lww.com/ACADMED/A634) details these differences, but a few themes for non-WBAs warrant mention here.

• MCQs, EMQs, and KFEs are the most frequently used non-WBAs, and they have the advantage of broad sampling that helps minimize context specificity.
• They offer the best chance of high internal consistency and thus have the greatest utility for high-stakes assessments.
• Content validity evidence for these methods can be strong because of expert consensus and blueprinting. These methods also offer the advantage of content control and consistency; there is a “right” answer to each problem, a feature not always possible in WBAs, which allows a measurement of accuracy.

또한, 모든 비 WBA 방법은 표준화된 일련의 문제에 걸쳐 학생을 평가할 수 있습니다. 이는 WBA에서는 불가능한 것입니다. 비 WBA 방법에 대한 가장 큰 타당성 문제는 [응답 프로세스 증거]에 있다. 많은 가능성에서 정답을 선택하거나 지식 조직의 그래픽 표현을 개발하거나 사전 정의된 목록에서 정보를 선택하는 것은 일반적으로 실제 임상 추론 활동을 대표하지 않습니다. 이러한 방법의 대부분은 [전체 태스크 평가]보다 [파트 태스크 평가]에 중점을 두고 있습니다. 
(즉, WBA 방법보다 임상 추론의 구성 요소를 더 적게 측정한다. 그림 1 참조). 

Further, all non-WBA methods allow students to be assessed across a standardized set of problems, something that is not possible in the workplace. The greatest validity challenge for non-WBA methods is in response process evidence. Selecting a correct answer from a number of possibilities, developing a graphic representation of knowledge organization, or even selecting information from a predefined list are not generally representative of authentic clinical reasoning activities in practice. Many of these methods emphasize part-task, rather than whole-task assessment (i.e., they measure fewer components of clinical reasoning than WBA methods; see Chart 1).

부분 과제 평가는 임상 실습으로 기술을 성공적으로 이전할 수 없기 때문에 임상 추론 역량을 결정하기 위해 비 WBA에 크게 의존하는 [방어가능성]에 의문이 있다. 이러한 방법 중 일부는 [내부 구조 증거]뿐만 아니라 [다른 변수와의 관계에 대한 증거]를 광범위하게 가지고 있지만, 다른 방법은 이러한 형태의 타당성 증거가 부족하다. 비 WBA는 [종종 면허, 인증 및 자격 증명 결정뿐만 아니라 총괄적 합격 또는 불합격 판단]을 내리는 데 사용되기 때문에 임상 실무 성과에 대한 결과 또는 결과는 중요하다. 학습에 대한 형성 평가는 비 WBA가 진행 테스트 및 임상 추론의 개발에 미치는 영향을 위해 사용될 때 발생할 수 있다(예: 인지 네트워크 개발에 도움이 되는 개념도 사용).

The defensibility of relying heavily on non-WBAs to determine clinical reasoning competence is questionable because part-task assessments cannot ensure successful transfer of skills into clinical practice. Several of these methods have extensive evidence of their relationship to other variables, as well as internal structure evidence, but others lack these forms of validity evidence. Consequences or outcomes on clinical practice performance are significant because non-WBAs are often used to make summative pass or fail judgments as well as licensing, certification, and credentialing decisions. Formative assessment for learning can occur when non-WBAs are used as progress tests and for the effect they have on the development of clinical reasoning (e.g., using concept maps to help develop cognitive networks).

시뮬레이션된 임상 환경에서의 평가
Assessments in simulated clinical environments

시뮬레이션된 임상 환경에서 발생하는 두 가지 방법이 확인되었다.
Two methods were identified that occur in simulated clinical environments.

객관적 구조화 임상검사(OSCE)는 임상추론을 포함하여 학생의 임상능력에 대한 성과 기반 평가입니다. OSCE는 종합 평가를 제공하기 위해 SP, 관찰자 등급, 서면 노트 및 기타 방법을 포함하는 다양한 임상 태스크를 수험자가 실행하는 여러 스테이션으로 구성됩니다.

1. Objective structured clinical examinations (OSCEs) are performance-based evaluations of students’ clinical skills including, but not exclusively focused on, clinical reasoning.39,40 OSCEs comprise multiple stations where examinees execute different clinical tasks, incorporating SPs, observer ratings, written notes, and other methods, to provide a comprehensive assessment.

기술 강화 시뮬레이션은 학습자가 임상 치료를 모방하는 도구 또는 장치와 물리적으로 상호작용하는 다양한 평가 방법을 설명합니다. 여기에는 학습자 입력에 따라 변경될 수 있는 정적 고충실도 마네킹에서 가상 현실 환자 아바타까지 다양한 계측기가 포함될 수 있습니다.

1. Technology-enhanced simulation describes a variety of assessment methods wherein learners physically interact with a tool or device that mimics clinical care.41,42 These can encompass a range of instruments from static high-fidelity mannequins to virtual reality patient avatars that can change in response to learner input.

• 시뮬레이션 임상 환경에서 평가는 일반적으로 SP, 고충실도 마네킹 또는 가상 환자 아바타를 [자극]으로 사용한다.
• OSCE 및 기술 강화 시뮬레이션의 [응답 형식]은 일반적으로 작업 수행 또는 구성된 구두 또는 서면 응답입니다.
• [채점]은 종종 이분법적(즉, 완료 여부) 또는 행동적으로 고정된 항목별 체크리스트를 통해 이루어집니다. 글로벌 평가 척도가 흔하다.
• [용도]를 보면, OSCE는 형성적 평가와 높은 단계의 종합 평가에 모두 사용됩니다. (예: 미국 의료 면허 시험 2단계 임상 기술 및 캐나다 의료 위원회 자격 시험 파트 2) 반면 기술 혁신 시뮬레이션은 주로 조형 평가에 사용된다.

• Assessments in simulated clinical environments typically use SPs, high-fidelity mannequins, or virtual patient avatars as stimuli.
• The response format for OSCEs and technology-enhanced simulations is usually task performance or constructed verbal or written responses.
• Scoring is often via itemized checklists that may be dichotomous (i.e., done or not done) or behaviorally anchored. Global rating scales are also common.
• OSCEs are used for both formative and high-stakes summative assessments (e.g., the United States Medical Licensing Examination Step 2 Clinical Skills and the Medical Council of Canada’s Qualifying Examination Part 2), whereas technology-enhanced simulations are mainly used for formative assessments.

타당성 고려 사항, 실현 가능성 문제, 장점 및 단점은 보충 디지털 부록 4에 자세히 설명되어 있지만, 몇 가지 주제는 강조되어야 합니다. [내용 타당성] 측면에서 이러한 방법을 블루프린트 할 수 있으며, 이럴 경우 임상 실무와의 연계가 합리적이다(이러한 평가의 authenticity는 대부분의 비 WBA보다는 높지만, 실제 WBA보다는 낮다). 고도로 구성되고 표준화된 재현 가능한 스테이션은 SP 및 평가자 교육에 주의를 기울여야 합니다. 이러한 표준화된 환경에서는 실제 임상 실습 중에 발생하는 평가보다 [맥락적 요인을 제어할 수 있는 능력]이 더 크다. 평가의 블루프린트는 내용특이성을 고려하여 합격에 필요한 필수적 기능feature을 식별해야 합니다(글로벌 평가 척도의 명확한 앵커 포함). 다른 평가 척도(즉, 비 WBA 및/또는 WBA)와의 성과 상관관계는 낮은 수준부터 중간 수준까지이며, 이는 형성 평가에는 허용되지만 높은 단계의 최종 결정에는 바람직하지 않다. 시뮬레이션 환경에서 평가는 여러 임상 추론 구성 요소를 측정하는 능력(그림 1)으로 평가되지만, 실제적인 주요 문제는 [개발 및 관리]가 자원 집약적이라는 것이다.

Validity considerations, feasibility issues, advantages, and disadvantages are detailed in Supplemental Digital Appendix 4 (at https://links.lww.com/ACADMED/A634), but a few themes warrant highlighting. In terms of content validity, these methods can be blueprinted, and their alignment with clinical practice is reasonable (higher than most non-WBAs, yet less authentic than true WBAs). Highly organized, standardized, reproducible stations require attention to SP and rater training. There is greater ability to control contextual factors in these standardized environments than in assessments that occur during actual clinical practice. Blueprinting for these assessments must attend to content specificity and distinguish what essential features are required to pass (with clear anchors for global rating scales). Performance correlations with other assessment measures (i.e., non-WBAs and/or WBAs) are only low to moderate, which is acceptable for formative assessments but is less than desirable for high-stakes summative decisions. Assessments in simulated environments are valued for their ability to measure multiple clinical reasoning components (Chart 1), but a major practical problem is that they are resource-intensive to both develop and administer.

WBA
WBAs

인증된 임상 환경 또는 WBA의 평가에 초점을 맞춘 7가지 방법이 확인되었다.
Seven methods were identified that focus on assessments in authentic clinical environments or WBAs.

직접 관찰(direct observation)은 성능 또는 임상 관찰이라고도 하며, 실제 임상 상황에서 학습자에 대한 데이터를 수집하는 관찰자(일반적으로 교수진)의 존재를 나타냅니다. 다양한 평가 도구가 직접 관찰을 위해 사용되었지만(예: 미니 임상 평가 연습[mini-CEX]) 임상 추론을 평가하도록 명시적으로 설계된 것은 아니다.

1. Direct observation, also known as performance or clinical observation, describes the presence of an observer (typically a faculty member) who collects data about learners in authentic clinical contexts.43 A variety of assessment tools have been used for direct observation43 (e.g., the mini-clinical evaluation exercise [mini-CEX]),44 though they are not all explicitly designed to assess clinical reasoning.

글로벌 평가는 교직원 평가 양식의 공통 컴포넌트입니다. 직접 또는 간접 관찰에 기초한 임상 추론 성과에 대한 개별 판단 또는 게슈탈트 교사를 포착합니다.

1. Global assessments are common components of faculty evaluation forms.45,46 They capture individual judgments or preceptor gestalt about clinical reasoning performance based on direct or indirect observations.

OCP는 임상 사례에 대한 체계적인 구두 보고입니다. 학습자가 무엇을 포함하거나 제외할 것인지, 데이터 구성, 평가와 계획의 구조와 내용에 대해 신중하게 선택할 때 학습자의 진단 및 치료 추론의 증거가 평가된다. 평가자는 학습자의 이해와 추가 정보를 탐색할 수 있습니다.

1. OCPs are structured verbal reports of clinical cases.47,48 Evidence of a learner’s diagnostic and therapeutic reasoning is assessed as the learner makes deliberate choices about what to include or exclude, data organization, and the structure and content of the assessment and plan. Raters can probe learners for understanding and additional information.

서면 메모는 사례에 대한 임상 정보를 체계적인 방식으로 전달하는 또 다른 수단이다. 이 경우 서면 보고서를 통해. 다양한 도구 중 하나(예: 사후 메모, IDEA[해석 요약, 차등 진단, 추론 설명 및 대안] 평가 도구51)를 사용하여 평가할 수 있다. OCP와 마찬가지로 임상 추론은 메모의 여러 특징, 특히 요약문(주요 특징과 의미 한정자를 포함하는 사례의 캡슐화), 문제 목록, 차등 진단의 우선순위 부여, 정당성 및 관리 계획에서 평가할 수 있다.

1. Written notes are another means of communicating clinical information about a case in a structured way—in this case, via a written report.49 They may be assessed by using one of a variety of tools (e.g., postencounter notes,50 the IDEA [interpretive summary, differential diagnosis, explanation of reasoning, and alternatives] assessment tool51). Similar to OCPs, clinical reasoning may be assessed from multiple features of a note, particularly the summary statement (an encapsulation of the case containing key features and semantic qualifiers), problem list, prioritization of the differential diagnosis, justification, and management plan.

CSR은 실제 임상 조우로부터의 [임상 문서 검토], 평가자가 근본적인 사고 과정을 조사하는 [구두 검사], 향후 진단 의사 결정을 개선하기 위한 [행동 계획]을 포함한 [피드백]으로 구성된 하이브리드 형식입니다. 

1. CSR is a hybrid format consisting of clinical documentation review from an actual clinical encounter, an oral examination where an evaluator probes underlying thought processes, and feedback that may include action plans to improve future diagnostic decision making.52,53

Think aloud(TA)는 학습자에게 개별 과제를 부여하고 작업을 수행하는 동안 자신이 가졌거나 가졌던 여과되지 않은 생각을 음성으로 표현하도록 하는 기술입니다. TA는 일반적으로 작업을 완료하는 동안(동시) 관리되지만, 작업 완료 직후(지연) 수행될 수도 있습니다.

1. Think aloud (TA) is a technique where learners are given a discrete task and asked to voice the unfiltered thoughts they have or had while performing the work.54,55 TAs are typically administered while completing the task (simultaneous) but may also be performed immediately following task completion (delayed).

SRL-M은 학습자가 [시작, 중간, 끝이 있는 임상 활동]에 [접근, 수행, 성찰]할 때, 학습자의 [생각, 행동, 느낌]에 대한 즉각적인 [태스크 수준 정보를 수집]하도록 설계된, [구조화된 인터뷰 프로토콜]이다. TA의 특징과 조합하여 메타인식을 평가할 수 있습니다.

1. SRL-M describes a structured interview protocol designed to gather in-the-moment, task-level information about learners’ thoughts, actions, and feelings as they approach, perform, and reflect on a clinical activity that has a beginning, middle, and end.56,57 Combined with features of the TA, it can assess metacognition.

WBA 방법은 실제 환자를 [자극]으로 의존한다. 이러한 방법의 [응답 형식]에는 환자와의 임상 성과(직접 관찰, 글로벌 평가) 또는 작성된 구두 또는 서면 자유 텍스트(OCP, 서면 노트, CSR, TA, SRL-M)가 포함된다. [채점] 메커니즘은 매우 다양하며 다양한 유형의 항목별 또는 글로벌 등급 척도를 포함한다 (표준 참조, 기준 참조, 위탁 척도, 감독 척도), 체크리스트 등. WBA는 임상 사무직 및 레지던트 기간 동안 형성 평가에 가장 일반적으로 [사용]됩니다. 이러한 정보를 총괄적 의사결정에 사용할 경우, 일반적으로 [다수의 관측값 또는 글로벌 평가]를 합산한다. 일반적으로 사용되는 WBA는 [형성 평가에 사용되는 직접 관찰(예: 미니 CEX)]과 [임상 사무직 및 레지던트 로테이션 종료 총괄 평가에 사용되는 글로벌 평가]이다. 구두 발표와 서면 메모는 교수진의 최종 글로벌 평가에 영향을 미칠 수 있지만 고부담 평가에는 거의 사용되지 않습니다. TA와 SRL-M은 일반적으로 연구 맥락에 더 많이 관여하지만 어려움을 겪고 있는 학습자의 교정조치에 사용되어 왔다. 

WBA methods rely on real patients as stimuli. Response formats for these methods include clinical performance with patients (direct observation, global assessment) or constructed verbal or written free text (OCPs, written notes, CSR, TA, SRL-M). Scoring mechanisms vary widely and include itemized or global rating scales of various types (norm referenced, criterion referenced, entrustment scales, supervision scales), as well as checklists, etc. WBAs are most commonly used for formative assessment during clinical clerkships and residency. When they are used to make summative decisions, multiple observations or global assessments are typically aggregated. The workhorses of WBAs are direct observation (e.g., mini-CEX), which is typically used for formative assessments; and global assessments, which are typically used for end-of-rotation summative assessments during clinical clerkships and residency rotations. Oral presentations and written notes may influence a faculty rater’s final global assessment but are infrequently used for high-stakes assessments. TA and SRL-M are typically more involved in research contexts but have been used for the remediation of struggling learners.58,59

WBA 방법의 타당성 고려 사항, 실현 가능성 문제, 장점 및 단점에 대한 자세한 내용은 보충 디지털 부록 4에 요약되어 있지만, 여기서는 몇 가지 주제를 강조합니다. WBA의 큰 강점은 [임상 추론의 여러 구성 요소를 측정하는 능력]이다(그림 1). 이러한 방법은 실제 임상 환경에서 이뤄지므로 [내용 타당도 증거]와 [응답 프로세스 타당성 증거]가 합당하다. 그러나 임상 실무의 비체계적 성격은 [특정 임상 문제의 내용 적용 범위와 과다 또는 과소 표현]과 관련하여 문제를 제기할 수 있다. [내부 구조 증거(예: 항목 분석 데이터, 점수 척도 신뢰성, 표준 측정 오류)]는 이러한 방법 중 많은 수가 복잡한 행동의 관찰을 소수의 평가 결과로 정량화할 관찰자(시설 구성원)를 필요로 한다는 점에서 문제가 있다. 판단 과정에 편견과 불일치가 내재되어 있다. 이러한 타당도 위협을 줄이기 위한 핵심 전략은 [여러 평가자에 의한 다양한 임상 문제 집합에 대한 적절한 수의 관찰을 시간 경과에 따라 보장하는 것]이다. 일반화 이론의 관점에서 판단을 위해 허용 가능한 신뢰성에 도달하기 위해 12 - 14개의 미니 CEX가 필요하기 때문에, 이 정도가 되지 않는다면 WBAs를 사용하는 방어가능성에 의문이 있다. WBA의 도입에는 시간, 교수개발, 책무성, 평가에 참여하는 교수에 대한 인정 등이 과제가 되고 있습니다. 이는 임상환경이 [수련생의 감독이나 평가]보다 [생산성]을 중시하는 경우가 많기 때문입니다.

The details of validity considerations, feasibility issues, advantages, and disadvantages of WBA methods are summarized in Supplemental Digital Appendix 4 (at https://links.lww.com/ACADMED/A634), but we will highlight a few themes here. A great strength of WBAs is their ability to measure multiple components of clinical reasoning (Chart 1). Because these methods are embedded in authentic clinical environments, there is reasonable content and response process validity evidence. The nonsystematic nature of clinical practice, however, can present challenges with regard to content coverage and over- or underrepresentation of certain clinical problems. Internal structure evidence (e.g., item analysis data, score scale reliability, standard errors of measurement) is problematic in that many of these methods require an observer (faculty member) to quantify their observation of a complex behavior into a small number of assessment outcomes. Biases and inconsistencies are inherent in this judgment process.60–62 A key strategy to reduce these threats to validity is to ensure an adequate number of observations across a diverse set of clinical problems by multiple raters over time. The defensibility of using WBAs for summative pass/fail and remediation decisions is questionable without this because, from a generalizability theory perspective, 12 to 14 mini-CEXs are needed to reach acceptable reliability for judgments. Challenges to implementing WBAs include time, faculty development, accountability, and recognition for faculty who engage in these assessments, as clinical environments often value productivity over the supervision and evaluation of trainees.

논의
Discussion

이 검토는 현재 이용 가능한 임상 추론 평가 방법의 메뉴를 요약하고 타당성 고려사항, 타당성 문제, 장점 및 단점을 각각 강조한다. 특히 차트 1과 보충 디지털 부록 4는 평가 프로그램의 구축에 도움이 됩니다. 교육자는 각기 다른 타당성 고려사항을 가진 서로 다르지만 상호 보완적인 여러 임상 추론 평가 방법 중에서 선택할 수 있다. 조사 결과에 근거한 실용적인 가이던스는 리스트 1에 기재되어 있습니다.
This review summarizes the currently available menu of clinical reasoning assessment methods and highlights validity considerations, feasibility issues, advantages, and disadvantages for each. Chart 1 and Supplemental Digital Appendix 4 (at https://links.lww.com/ACADMED/A634) in particular can help inform the construction of programs of assessment.63 Educators can select from a number of different but complementary clinical reasoning assessment methods, each with different validity considerations. Practical guidance based on our findings is given in List 1.

임상 추론 평가 방법의 기존 메뉴의 가치는 역량 기반 교육의 렌즈를 통해 가장 잘 이해할 수 있다. 의학 교육자가 학습자가 임상 추론의 역량을 ensure하려면 임상 추론의 모든 구성요소에 대한 강력한 평가를 제공해야 한다12(표 1 참조). 또한 적절한 샘플링을 준비해야 한다. 이는 여러 평가 방법을 사용해야만 달성할 수 있습니다. 
The value of the existing menu of clinical reasoning assessment methods can perhaps best be understood through the lens of competency-based education. If medical educators want to ensure that learners are competent in clinical reasoning, they must provide robust assessment of all components of clinical reasoning12 (see Table 1). Further, they must also arrange for adequate sampling. This can only be accomplished by employing multiple assessment methods.63

차트 1을 자세히 살펴보면 일반적으로 사용되는 [많은 형태(MCQ, EMQ, KFE, SCT)의 비 WBA]는 [정보 수집, 가설 생성 및 문제 표현 평가]에서 [평균에 불과하다]는 것을 알 수 있습니다. 이들의 강점은 감별 진단 평가, 선도 진단, 관리 및 치료에 있습니다. 시뮬레이션된 임상 환경과 WBA에서의 평가는 정보 수집을 평가하는 데 더 우수하며, 직접 관찰과 OSCE가 이 영역에서 가장 강력하다. SRL-M 및 TA 전략은 학습자가 추론 과정에서 숨겨진 이러한 단계를 명확하게 설명하도록 하기 때문에 가설 생성 및 문제 표현을 측정하기 위한 효과적인 도구입니다. 교육자는 임상 추론의 다양한 구성요소를 평가하는 데 강한 전략을 신중하게 조합함으로써(예를 들어 MCQ + SRL-M + OSCE) 더 큰 역량의 모든 구성요소에 대한 평가를 확실하게 시작할 수 있습니다.
A close look at Chart 1 demonstrates that many forms of non-WBAs in common use (MCQs, EMQs, KFEs, SCTs) are only poor to average at assessing information gathering, hypothesis generation, and problem representation. Their strengths lie more in assessing differential diagnosis, leading diagnosis, and management and treatment. Assessments in simulated clinical environments and WBAs are better at assessing information gathering, with direct observation and OSCEs being the strongest in this domain. SRL-M and TA strategies are effective tools for measuring hypothesis generation and problem representation because they force learners to articulate these otherwise hidden steps in the reasoning process.64 By carefully combining strategies that are strong at assessing the different components of clinical reasoning (e.g., MCQs + SRL-M + OSCEs), educators can begin to ensure assessment of all components of the larger competency.

물론 "전체"로서의 임상적 추론 능력은 "부분"의 합보다 더 크다. 평가 프로그램을 구성할 때 [임상 추론의 모든 구성 요소를 평가하는 것]은 필요하지만 충분하지는 않다. 학습자가 기술을 임상 실습으로 이전할 수 있도록 보장하기 위해 전체 작업 평가(즉, 전체 임상 추론을 다루는 평가)가 필요하며, 광범위한 표본 추출을 위해 부분 작업 평가가 필요하다. 전체 및 파트 태스크 평가(예: 직접 관찰, OSCE 및 MCQ, KFE 및 EMQ와 결합된 글로벌 평가)의 조합은 평가 프로그램의 기초를 형성할 수 있다.
Of course, clinical reasoning competence as a “whole” is more than the sum of its “parts.”65 When constructing an assessment program, it is necessary, but not sufficient, to ensure assessment of all components of clinical reasoning. Whole-task assessments (i.e., those that cover the full range of clinical reasoning) are needed to ensure that learners can transfer skills into clinical practice,66 while part-task assessments are needed to achieve broad sampling. Combinations of whole- and part-task assessments (e.g., direct observations, OSCEs, and global assessments combined with MCQs, KFEs, and EMQs) can form a foundation for a program of assessment.

교육자는 또한 방법 중에서 선택할 때 평가의 [타당성, 사용가능성, 방어가능성]을 고려해야 합니다. 차트 1을 보면, 평가자가 주로 WBA를 사용하는 경우, 실제 임상 환경에서 임상 추론의 모든 구성 요소에 대한 강력한 적용 범위를 확보하고 학습자가 유능하다고 쉽게 간주할 수 있다고 결론지을 수 있다. WBA는 매우 중요하며 현재의 역량 기반 교육 프로그램에서 더욱 강조할 가치가 있지만, 실현 가능성과 비용(교직원의 시간과 비용에 관한)이 종종 [표본으로 삼을 수 있는 사례의 수와 다양성을 제한]하기 때문에, 임상 추론을 평가하기 위하여 배타적으로 WBA만 사용하게 되면 내용특이성과 맥락특이성에 의해 제약을 받을 것이다. 이러한 관점에서 볼 때, 비 WBA(예: MCQ, EMQ, KFE)를 활용하여 맥락특이성의 문제를 줄이고, [블루프린트, 통제, 일관성 및 정확성]을 확보하는 동시에, 광범위한 표본을 확보함으로써, 임상 추론 평가 프로그램에 중요한 가치를 더할 수 있다. 따라서 타당성과 실현가능성을 모두 고려한다면, 모든 평가 프로그램에서는 [비 WBA, 시뮬레이션 환경의 평가, WBA의 균형]을 유지하는 것이 중요하다.

Educators must also consider the validity, feasibility, and defensibility of assessments when choosing among methods. Looking at Chart 1, one might conclude that if assessors predominately used WBAs, they would obtain robust coverage of all components of clinical reasoning in authentic clinical environments and easily be able to deem a learner competent. Although WBAs are critically important and deserve greater emphasis in current competency-based educational programs,67,68 the limitations of an exclusively WBA approach to assessing clinical reasoning rest in the problem of content and context specificity because feasibility and cost (with regard to faculty time and money) often limit the number and variety of cases that can be sampled. Seen in this light, non-WBAs (e.g., MCQs, EMQs, KFEs) add important value to a program of clinical reasoning assessment by ensuring broad sampling, while lessening issues of context specificity and providing opportunities for blueprinting, control, consistency, and accuracy. Thus, for validity and feasibility reasons, it is critical to have a balance of non-WBAs, assessments in simulated clinical environments, and WBAs in any assessment program.

이러한 균형을 잡는 것이 교육적 맥락에 따라 어려울 수 있습니다. 예를 들어,

• [학부 의학교육 프로그램]은 종종 MCQ, OSCE, 글로벌 평가, 구두 발표 및 서면 메모의 조합을 사용하여 추론을 평가합니다. 이러한 프로그램은 [직접 관찰]과 같은 특정 방법의 사용을 개선하는 동시에 현재 충분히 평가되지 않을 수 있는 임상 추론의 구성 요소를 얻기 위해 TA 또는 SRL-M과 같은 새로운 방법을 통합하기를 원할 수 있다.
• [졸업후 의학 교육]에서 학습과 평가의 대부분은 임상 환경에서 이루어지며, 종종 MCQ로 구성된 기술 강화 시뮬레이션과 훈련 중인 검사를 통해 강화된다. 광범위한 평가 방법을 통합하고, 현재 사용 중인 평가 방법을 개선하며, 바쁜 임상 환경에서 도구에 대한 평가자를 교육하는 것은 쉽지 않을 것입니다.

WBA가 개선되면, 이러한 보다 전체적인holistic 평가가 우세할 수 있으며, 비 WBA는 주로 [불확실성과 재교육 상황]에서 주로 사용될 수 있다. 그러나 이러한 전환을 효과적으로 하기 위해서는 여전히 많은 연구가 필요하다.

Creating such a balance can be challenging depending on the educational context.

• For example, undergraduate medical education programs often use a combination of MCQs, OSCEs, global assessments, oral presentations, and written notes to assess reasoning. These programs may wish to improve the use of certain methods, such as direct observation, while also incorporating novel methods, such as TA or SRL-M to get at components of clinical reasoning that may be currently underassessed.
• In graduate medical education, the bulk of learning and assessment happens in the clinical environment, augmented occasionally by technology-enhanced simulation and in-training examinations, which are largely comprised of MCQs. Incorporating a wider range of assessment methods, improving on assessment methods currently in use, and training raters on tools in busy clinical settings will be daunting.

As WBAs improve, it may be possible that these more holistic assessments can predominate, and non-WBAs can be used largely for situations of uncertainty and remediation; however, much research is still needed to make this transition effectively.

궁극적으로, 기관은 평가 프로그램이 임상 추론의 구성요소에 대한 완전한 적용 범위를 제공하는지 확인해야 한다(표 1과 차트 1). 프로그램은 [전체 태스크 방법]과 [부분 태스크 방법]을 모두 사용할 필요가 있을 뿐만 아니라, [타당성]에 대한 다양한 위협과 관련하여 방법에 대한 균형 잡힌 표현을 제공해야 한다(보조 디지털 부록 4 참조). 임상 추론을 위한 프로그램적 평가는 여전히 많은 기관에서 초기 개념이지만, 이 리뷰는 이 분야가 미래에 이동해야 한다는 것을 시사한다. 의료기관은 임상 추론의 빈번한 평가를 수행하여 여러 출처에서 여러 방법을 사용하여 다양한 맥락 또는 환경에 걸쳐 세로 방향으로 정보를 수집해야 한다. 이는 시간과 교직원 육성의 필요성 때문에 현실에서 어려운 일이지만, 높은 수준의 종합적 결정이나 역량 결정을 내릴 때 평가 프로그램의 방어성에 매우 중요합니다. 또한 환자 안전을 보장하는 것도 중요하다.69 현재 평가 관행이 비 WBA, 시뮬레이션 임상 환경의 평가 및 WBA의 적절한 균형을 이루는지 여부는 논란의 여지가 있지만 이 검토의 범위를 완전히 벗어나 있다.
Ultimately, institutions must ensure that their programs of assessment offer complete coverage of the components of clinical reasoning (Table 1 and Chart 1). Programs will need to use both whole- and part-task methods as well as provide a balanced representation of methods with regard to various threats to validity (see Supplemental Digital Appendix 4 at https://links.lww.com/ACADMED/A634). Programmatic assessment for clinical reasoning is still a nascent concept at many institutions, yet this is where this review suggests the field needs to move in the future. Institutions need to conduct frequent assessments of clinical reasoning, gathering information longitudinally from multiple sources, using multiple methods, across various contexts or settings. This is challenging in the real world because of time and the necessity of faculty development, yet it is critical for the defensibility of an assessment program when making high-stakes summative decisions or competency determinations. It is also critical to ensure patient safety.69 Whether our current assessment practices strike the right balance of non-WBAs, assessments in simulated clinical environments, and WBAs is debatable but beyond the scope of this review to fully address.

우리의 논의는 주로 임상추론역량과 [학습의 평가AoL]에 초점을 맞췄지만, [학습을 위한 평가AfL]를 고려하는 것도 중요하다. 많은 동일한 원칙이 적용되지만, 학습을 위한 평가는 보다 형성적이며, 임상 추론 과정을 학습하고 가르치는 데 높은 가치가 있기 때문에, [다른 범위의 타당성 증거]를 사용할 수 있다(즉, 방법이 목적에 적합해야 한다). 예를 들어, CIP와 개념 지도는 학생들이 질병 스크립트를 개발하고 연결을 형성하도록 돕는다는 점에서 학습에 큰 효용을 가지고 있으며, 진단 전문지식의 기초라고 생각되는 코딩 및 검색 네트워크의 개발을 촉진한다. 직접 관찰 및 기술 강화 시뮬레이션과 같은 전체 작업 임상추론 평가는 다수의 관찰 없이 총괄적 판단을 하는 데 적합하지 않더라도 형성적 피드백을 얻는 데 필수적인 수단이다.

Although our discussion has largely focused on determining clinical reasoning competency and assessment of learning, it is also important to consider assessment for learning. While many of the same principles apply, assessment for learning is more formative and may employ methods that have a different range of validity evidence because of their high value for learning and teaching the clinical reasoning process (i.e., the method is fit for the purpose). For example, CIPs and concept maps have great utility for learning in that they help students develop illness scripts and form connections, facilitating the development of coding and retrieval networks, which are thought to be the basis of diagnostic expertise.70,71 Whole-task clinical reasoning assessments, such as direct observations and technology-enhanced simulations, are essential means of obtaining formative feedback, even if they are not well suited for making summative judgments without large numbers of observations. 

의사의 역량으로서의 임상 추론의 중요성은 평가의 엄격함과 혁신을 요구한다. 이 검토는 임상 추론 평가 방법에 상당한 혁신이 있었음을 보여주지만, 아직 해야 할 일이 많이 남아 있다. 우리는 이 집계된 자료가 교육자들이 임상 추론 평가 방법의 기존 메뉴와 그 중에서 선택하는 방법에 대해 더 잘 알 수 있도록 돕기를 바란다. 우리는 이 방법들의 개선을 이끌기 위해 지속적이고 엄격한 타당성 증거 수집의 필요성을 강조한다. 의대, 레지던트 프로그램 및 면허 위원회가 학습자의 역량을 자신 있게 결정할 수 있도록 다양한 방법을 임상 추리 평가의 유효한 프로그램에 가장 잘 결합하는 방법을 결정하기 위한 미래 연구도 필요하다.

The importance of clinical reasoning as a physician competency mandates rigor and innovation in the assessment of it. This review demonstrates that there has been considerable innovation in clinical reasoning assessment methods, but there remains much work to be done. We hope this collated resource will help educators become more aware of the existing menu of clinical reasoning assessment methods and how to choose among them. We emphasize the need for ongoing and rigorous gathering of validity evidence to guide improvements in each of these methods. Future research is also needed to determine how to best combine various methods into valid programs of clinical reasoning assessment to allow medical schools, residency programs, and licensing boards to confidently determine the competence of their learners.

List 1 2016년 임상추론평가방법 범위 검토의 임상추론평가를 위한 실무지침
List 1 Practical Guidance for Clinical Reasoning Assessment From a 2016 Scoping Review of Clinical Reasoning Assessment Methods

• 임상 추론 평가 프로그램의 일부로 다양한 평가 방법(즉, 비 WBA, 시뮬레이션 임상 환경의 평가 및 WBA)을 사용해야 한다.
  
• Multiple assessment methods (i.e., non-WBAs, assessments in simulated clinical environments, and WBAs) should be used as part of a clinical reasoning assessment program.
• 많은 개별 평가 방법은 적절한 항목 또는 사례의 수, 광범위한 표본 추출 및 충분한 시험 시간으로 높은 단계 평가( 0 >= 0.8)에 대한 적절한 [신뢰성]을 얻을 수 있다.
  
• Many individual assessment methods can obtain adequate reliability for high-stakes assessment (≥ 0.8) with an adequate number of items or cases, broad sampling, and sufficient testing time.
• 역량을 확신ensure하려면, 내용 및 상황 특이성을 수용하기 위한 다양한 환경에서 다양한 임상 문제를 다루는 많은 평가가 종적으로 필요하다.
  
• To ensure competence, a large number of assessments are needed, administered longitudinally, that cover a variety of clinical problems in diverse settings to accommodate content and context specificity.
• 평가방법은 임상 추론, 타당성, 실현가능성, 방어가능성, 목적적합성 등 다양한 구성 요소의 적용범위에 기초하여 선택해야 한다.
  
• Methods should be chosen based on coverage of the different components of clinical reasoning, validity, feasibility, defensibility, and fit for the purpose of the assessment.
• 전체작업평가 및 부분작업평가 방법을 함께 사용하면(즉, 임상 추론의 모든 구성 요소와 일부 구성 요소를 포괄하는 방법)은 전체 구조의 측정과 적절한 표본 추출을 보장할 수 있다.
  
• Whole- and part-task assessment methods (i.e., those that cover all versus a few components of clinical reasoning) used together can ensure measurement of the whole construct and adequate sampling.
• 비 WBA(예: MCQ, EMQ, KFE)는 광범위한 샘플링, 블루프린팅, 통제, 일관성이라는 장점이 있다. 정확성도 평가할 수 있습니다.
  
• Non-WBAs (e.g., MCQs, EMQs, KFEs) have the advantage of broad sampling, blueprinting, control, and consistency. They can also assess accuracy.
• MCQ와 KFE는 [내용, 내부 구조, 임상 수행능력에 대한 성과 또는 후과]에 관한 최선의 타당성 증거를 가지고 있다. 그러나 [응답 프로세스]에 관한 경우, 그들은 중요한 문제를 안고 있다.
  
• MCQs and KFEs have the best validity evidence regarding content, internal structure, and consequences or outcomes on clinical practice performance; however, they have significant issues with cueing when it comes to response process.
• [비 WBA]는 [전체 과제를 더 많이 측정하는 경향이 있는 시뮬레이션과 WBA]에 비해, 임상 추론의 구성요소의 수가 더 제한적이다.
  
• Non-WBAs measure a more limited number of components of clinical reasoning compared with simulations and WBAs, which tend to measure more of the whole task.
• WBA는 실제 임상 프랙티스에 포함되기에, [내용 및 응답 프로세스의 타당성]에 대한 신뢰성을 제공합니다.단, 내용 커버리지가 체계적이지 않습니다.
  
• WBAs are embedded in actual clinical practice, lending authenticity to content and response process validity; however, content coverage is not systematic.
• 일반화 이론의 관점에서 판단의 허용 가능한 신뢰성에 도달하기 위해서는 다수의 측정이 필요하기 때문에 요약 의사결정에 WBA를 사용하는 것의 방어가능성은 의문을 갖게 만들 수 있다. WBA의 경우 [장기간에 걸쳐 복수의 평가자에 의한 평가]가 필수적입니다.
  
• The defensibility of using WBAs for summative decisions is questionable because, from a generalizability theory perspective, a large number of measurements are needed to reach acceptable reliability for judgments. Ensuring evaluation by multiple raters over time is also essential for WBAs.
• [전체 과제 임상 추론 평가](즉, 정보 수집에서 차등 진단, 관리 및 치료까지 모든 작업을 포괄하는 평가)는 형성적 피드백과 학습을 위한 평가에 필수적이다.
  
• Whole-task clinical reasoning assessments (i.e., those that cover the full range of tasks from information gathering to differential diagnosis to management and treatment) are essential for formative feedback and assessment for learning.
• [시뮬레이션된 임상 환경과 WBA의 평가]는 학습자가 개발 및 관리에 시간과 자원이 많이 소요되지만 전체 과제에 대해 평가되도록 하기 때문에 모든 포괄적인 평가 전략의 필수적인 부분이다.
• Assessments in simulated clinical environments and WBAs are essential parts of any comprehensive assessment strategy because they ensure that learners are assessed on the whole task, though they are time- and resource-intensive to develop and administer.

Abbreviations: WBAs indicates workplace-based assessments; MCQs, multiple-choice questions; EMQs, extended matching questions; KFEs, key feature examinations.

​Acad Med. 2019 Jun;94(6):902-912.  doi: 10.1097/ACM.0000000000002618.

왜 이 학생이 시험을 잘 못 볼까요? 자기조절학습을 활용한 문제 진단 및 해결 (Acad Med, 2018)
Why Does This Learner Perform Poorly on Tests? Using Self-Regulated Learning Theory to Diagnose the Problem and Implement Solutions 
Mary A. Andrews, MD, MPH, William F. Kelly, MD, and Kent J. DeZee, MD, MPH

문제
Problem

많은 의학 학습자는 객관식 임상시험에 의한 지식테스트에 어려움을 겪고 있으며, 이러한 학습자의 교정에는 리소스가 많이 소요됩니다.1 재교육 방법remediation은 시험기법과 연습문제 작성의 강조에서 의학지식과 임상추론을 개선하기 위한 포괄적인 노력까지 다양합니다. 그러나 최근 검토 결과 그러한 개입의 효과에 대한 근거는 미약했다. 더욱이 교정조치는 종종 교육 이론의 의미 있는 근거 없이 개발되고 구현된다. 여기에서는, 자기조절학습(SRL) 이론에 근거하는, 즉석에서 사용할 수 있는 새로운 테스트 응시 평가 및 교정 프레임워크를 소개하고, 센터에서의 구현을 설명하며, 영속적인 문제에 대한 이 유망한 솔루션의 대규모 연구의 기반을 마련한다.
Many medical learners struggle on multiple-choice, clinical-vignette-based knowledge tests, and remediating these learners is resource intensive.1 Remediation methods range from emphasizing test-taking techniques and completing practice questions, to comprehensive efforts to improve medical knowledge and clinical reasoning.1–3 However, recent reviews found only weak evidence of the effectiveness of such interventions.4,5 Furthermore, remediation methods are often developed and implemented without meaningful basis in educational theory.4 Here we introduce a novel, ready-to-use test-taking assessment and remediation framework based on self-regulated learning (SRL) theory; describe implementation at our center; and lay the foundation for a large-scale study of this promising solution to a perennial problem.

SRL 이론은 많은 분야에서 성과를 향상시키기 위해 성공적으로 사용되어 온 교육 평가 프레임워크입니다. 6,7 SRL은 "개인 목표 달성에 계획되고, 순환적으로 적응되는, 자기 생성적 생각, 감정 및 행동"으로 정의되어 있습니다. SRL 하위 프로세스는 세 가지 태스크 중심 범주로 나눌 수 있습니다: 사전 생각, 퍼포먼스, 그리고 자기 성찰입니다. 이전 연구에서는 SRL 하위 프로세스와 의과대학 성과 간의 상관관계를 보여 왔다. 예를 들어 의과대학 입학시험 점수 조정 후 의과대학 2학년 학생들의 전략적 계획이 미국 의학면허시험 1단계 점수와 유의하게 관련되어 있었다. 시험 성적에 대한 SRL 기반 평가는 어려움을 겪고 있는 수험생을 진단하고 교정하는 데 유용한 수단이라고 가정했습니다.

SRL theory is an educational assessment framework that has been successfully used to improve performance in many disciplines.6,7 SRL has been defined as “self-generated thoughts, feelings, and actions that are planned and cyclically adapted to the attainment of personal goals.”8 SRL subprocesses can be divided into three task-centered categories: forethought, performance, and self-reflection.7 Prior research has shown correlations between SRL subprocesses and medical school performance; for example, strategic planning by second-year medical students was significantly associated with United States Medical Licensing Examination Step 1 scores after adjusting for Medical College Admission Test scores.9 We postulated that an SRL-based assessment of test-taking performance would be a useful means of diagnosing and remediating struggling test takers.

접근
Approach

이 방법은 정의된 교육 과제 동안 학습자에게 다른 지점에서 질문을 함으로써 자기 규제 프로세스의 동적, 컨텍스트별 특성을 포착하는 자기조절학습 마이크로 분석 및 훈련(SRL-MAT)의 형태로 설계되었다. 이 방법은 2012년 초 한 저자(K.J.D)에 의해 개발되었으며, 공동 저자에 의해 다듬어졌으며, 클리어리 등이 설명한 5단계 SRL 미세 분석 프로토콜 개발 프로세스와 유사하지만 유사하다. 이 프로젝트는 품질 개선 이니셔티브로 수행되었으며 기관 검토 위원회는 연구가 아니라고 판단했습니다.
This method was designed as a form of Self-Regulated Learning Microanalytic Assessment and Training (SRL-MAT), which captures the dynamic, context-specific nature of self-regulatory processes by posing questions to the learner at different points during a defined educational task.7 The method was developed by one author (K.J.D.) in early 2012, refined by the coauthors, and predates but closely resembles the five-step SRL microanalytic protocol development process described by Cleary et al.6 This project was undertaken as a quality improvement initiative and the institutional review board determined that it was not research.

우리는 라이센스, 인증 및 훈련 중인 시험(ITE)에서 일반적으로 발생하는 유형의 객관식 임상 비그넷 테스트 질문에 답하는 특정 과제를 선택했고, [과제 전략, 자가 평가, 인과 관계 귀인, 적응적 추론]을 위한 대상 SRL 하위 프로세스를 식별했다. 테스트 질문에 올바르게 대답하는 작업에 특화된 SRL 미세 분석 질문을 개발했다(표 1). 과제 전략 질문을 설계하여 훈련자가 잘 개발된 질병 스크립트를 사용하여 올바른 진단에 도달하는 정도를 평가하였습니다. 이는 어려움을 겪는struggling 수험생과 임상 추론 연구에 대한 과거 경험에서 효과적인 전략임을 알 수 있기 때문입니다. 

We selected the specific task of answering a multiple-choice, clinical vignette test question of the type commonly encountered on licensing, certification, and in-training examinations (ITEs) and identified target SRL subprocesses for this task: task strategies, self-evaluation, causal attributions, and adaptive inferences.7,8 We developed SRL microanalytic questions specific to the task of answering test questions correctly (Table 1). We designed the task strategy questions to assess the extent to which the trainee uses well-developed disease scripts to arrive at the correct diagnosis, as past experience with struggling test takers and clinical reasoning research have shown this to be an effective strategy.10 

우리는 학습자가 다음의 활동을 하는 동안 시행될administered 과업수행전략 질문을 설계함으로써 SRL 하위 프로세스를 작업의 시간적 차원에 연결했다: 시험 문제 풀기, 문제풀기-정답고르기 과정 중 특정 지점에서의 자기평가 질문, 선택한 답이 맞는지 학습자에게 알려준 후 인과 관계 귀인, 적응적 추론 문제를 해결하기. [학습자 수행능력의 과거 특징]과 [특정 미세 분석 질문에 대한 학습자의 답변]을 바탕으로 SRL 결함을 식별하는 분류 시스템을 개발했다. 이는 클리어리 등이 추천한 개방형 질문의 완전한 전사 및 독립적 코딩과는 다르지만, 실용성과 사용 편의성을 위해 이 분류 체계를 선택했다. 이 방법은 교사와 학습자가 1시간 세션에서 일대일로 사용하고 학습자의 자기 평가와 연습을 위해 고안되었습니다.

We linked SRL subprocesses to the temporal dimensions of the task by designing the task strategy questions to be administered while the learner works through the test question, self-evaluation questions at specified points during the question–answering process, and causal attribution and adaptive inference questions after the learner was informed whether the selected answer was correct. We developed a categorization system that identified the SRL deficiency based on historical features of the learner’s performance and on the learner’s answers to specific microanalytic questions. This differs from the full transcription and independent coding of open-ended questions recommended by Cleary et al,6 but we chose this categorization scheme for practicality and ease of use. This method was designed for one-on-one use by a teacher and learner in a one-hour session, and for learner self-assessment and practice.

미세 분석 질문은 질문 검토 양식(QRF, 부록 1 참조)으로 통합되었습니다. 이 양식을 사용할 때, 교사는 먼저 학습자에게 ITE, 의사면허시험의 Step들, NBME의 과목시험 등을 포함한 객관식 임상시험 기반의 의학지식 테스트에 대한 이전 성과가 어땠는지를 기술하도록 요구한다. 그런 다음, 교수자는 [학습자의 교육 수준에 적합한 임상 실습 질문]을 학습자에게 제시하고, [이 문제를 실제 테스트 문제인 것처럼 풀도록] 요청합니다. 유일한 차이점은 학습자가 큰 소리로 읽고 생각해야 한다는 것입니다. 

The microanalytic questions were combined into a Question Review Form (QRF; see Appendix 1). When using the form, the teacher first asks the learner to describe prior performance on multiple-choice, clinical-vignette-based medical knowledge tests, including ITEs, steps of licensing examinations, National Board of Medical Examiners subject matter examinations, etc. The teacher then presents the learner with a clinical-vignette-based practice question appropriate to the learner’s training level and asks the learner to engage the question as if it were an actual test question, with the only difference being that the learner should read and think out loud.

이 첫 번째 테스트 질문의 경우, 교수자는 학습자를 중단시키지 않고, 미세 분석 질문을 하지 않고, 문제풀기를 쭉 진행합니다. 교사는 학습자의 시험문제에 대한 참여engagement 수준을 아래의 범위로 기록한다. 

• 매우 피상적인 참여(예: 내부 주석이나 정보에 대한 해석 없이 문제 전체를 큰 소리로 읽는 것)에서
• 매우 적극적인 참여(예: 임상 정보의 우선 순위와 해석, 문항줄기를 읽는 동안 감별진단을 생성 및 수정)까지

For this first test question, the learner proceeds through the question without interruption from the teacher or administration of any microanalytic questions. The teacher notes the learner’s level of engagement with the test question, which can range from

• very superficial (e.g., reading the entirety of the question out loud without any interior commentary or interpretation of the information) to
• highly engaged (e.g., actively prioritizing and interpreting the clinical information and generating and refining a differential diagnosis while reading the stem).

이러한 초기 중단 없는 Think-aloud 연습은 임상 비게트에 제시된 정보에 쉽게 관여하지 않는 학습자의 미발달 질병 스크립트와 같은 특정 시험 응시 결함을 시사할 수 있다.

This initial uninterrupted think-aloud exercise may suggest a particular test-taking deficiency, such as underdeveloped disease scripts in the learner who does not readily engage with the information presented in the clinical vignette.

그런 다음 교사는 QRF와 함께 두 번째 시험 문제를 제시합니다. 선생님은 시험문제의 마지막 문장(예: "진단 내용은 무엇입니까?")을 다룹니다. 또는 "관리에서 차선책은 무엇입니까?"라고 말한 후 학습자에게 QRF 항목 1~6에 답하도록 합니다. 

• 항목 1~4는 임상 계통에서 질병 스크립트를 식별하는 전략을 사용하는 학습자의 기술을 평가한다. 항목 2 - 4는 학습자의 질병 스크립트의 특수성(즉, 학습자가 질병의 다양한 하위 유형을 얼마나 잘 인식할 수 있는지)을 평가한다. 
  
• 항목 5 - 6은 질문-답변 과정의 정의된 지점에서 자가 평가 시 학습자의 기술을 평가하는 자신감 척도이다. 항목 6을 완료한 후 교사는 질문(예를 들어 "관리에서 다음 최선의 단계는 무엇입니까?")을 풀지만 정답은 풀지 않습니다. 
  

The teacher then presents a second test question along with the QRF. The teacher covers the last sentence (e.g., “What is the diagnosis?” or “What is the next best step in management?”) and asks the learner to answer QRF Items 1 through 6 after thinking aloud through the clinical vignette.

• Items 1 through 4 assess the learner’s skill in using the strategy of identifying the disease script in the clinical stem. Items 2 through 4 assess the specificity of the learner’s disease scripts (i.e., how well the learner can recognize different subtypes of disease).
• Items 5 through 6 are confidence scales which assess the learner’s skill at self-evaluation at defined points in the question–answering process. After completing Item 6, the teacher uncovers the question (e.g., “What is the next best step in management?”) but not the answers.

• 학습자는 질문에 대한 답을 예측하고 해당 답변에 대한 자신감을 평가합니다(항목 7-8). 
• 그런 다음, 교사는 정답 선택지를 공개하고, 학습자는 선택지를 본 후 예상 답안(또는 유사한 답안)에 대한 자신감을 평가하며(9~11번 항목) 또는 답안 변경 여부를 결정한다(12번 항목). 
• 그런 다음, 교사가 정답을 밝히고, 학습자는 인과적 속성과 적응적 추론(항목 14~15)을 평가하는 문제에 답합니다. 이 방법은 교사가 다음 섹션에서 설명하는 시험 문제 중 하나를 식별하기에 충분한 증거를 축적할 때까지 새로운 시험 문제에서 반복된다. 각 문제는 SRL 하위 프로세스 부족에 해당한다.

• The learner predicts the answer to the question and rates his or her confidence in that answer (Items 7–8).
• Then the teacher reveals the answer choices and the learner rates his or her confidence in his or her predicted answer (or similar answer) after seeing the choices (Items 9–11), and decides if he or she wants to change his or her answer (Item 12).
• The teacher then reveals the correct answer, and the learner answers the questions assessing causal attributions and adaptive inferences (Items 14–15). The method is repeated with new test questions until the teacher has accumulated enough evidence to identify one of the test-taking problems outlined in the following section, each of which corresponds to an SRL subprocess deficiency.

이 평가 도구는 내과 레지던트 내의 품질 개선 이니셔티브로서 2012-2013학년도 중 2학년 내과 레지던트 16명에게 1명의 교직원이 관리했습니다. 평가방법의 이론적 근거를 설명하고, 방법의 관리방법을 검토하며, 역할극을 통해 교수진의 연습을 허용하는 90분짜리 워크숍도 개발되었습니다.
As a quality improvement initiative within the internal medicine residency, this assessment tool was administered by one faculty member to 16 second-year internal medicine residents during academic year 2012–2013. A 90-minute workshop, which describes the theoretical basis for the assessment method, reviews how to administer the method, and allows for faculty practice with the method via role-play, was developed as well.

결과
Outcomes

약 20명의 고군분투하는 학습자에게 이 방법을 사용한 결과, 대부분의 시험 문제를 다음과 같이 분류할 수 있었다.

• 스크립트 인식 부족,
• 스크립트 특이성 부족,
• 조기 종결,
• 자신감 부족,
• 부적응적 인과 귀인
• 부적절한 적응적 추론

이러한 테스트의 결함에 대해서는, 이하에 간단하게 설명합니다.비디오의 예와 각 타입의 식별과 수정에 관한 상세한 것에 대하여는, 보충 디지털 부록 1을 참조해 주세요.
After using this method with approximately 20 struggling learners, we found that most test-taking problems could be categorized as follows:

• lack of script recognition,
• lack of script specificity,
• premature closure,
• underconfidence,
• maladaptive causal attributions, and
• inappropriate adaptive inferences.

These test-taking deficiencies are briefly described below; video examples and more details about identifying and remediating each type are available in Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/A389.

첫 번째 시험풀이 결함은 [스크립트 인식 부족]이며, 이는 진단 추론을 위한 질병 스크립트의 작업 전략을 부적절하거나 비효율적으로 사용하는 것을 뜻한다. 이러한 학습자는 임상 스템을 읽는 동안 임상 데이터를 전혀 또는 사실적으로 잘못 해석할 수 없으며 QRF 항목 1 - 4에 답변할 수 없습니다.
The first test-taking deficiency is lack of script recognition, which reflects inappropriate or ineffective use of the task strategy of disease scripts for diagnostic reasoning. These learners offer no or factually incorrect interpretations of clinical data while reading the clinical stem, and they cannot answer QRF Items 1 through 4.

두 번째 유형의 시험풀이 결함은 [스크립트 특이성 부족]이며, 이것도 [과제수행전략]의 문제입니다. 이 결핍을 가진 학습자는 일반적인 질병 범주(우울증 등)를 인식함으로써 두 가지 선택지로 답을 좁히지만, 질병의 특정 임상 하위 유형이나 심각도(노인의 우울증 등)와 그 하위 유형과 관련된 진단 전략, 치료 또는 예후 차이를 인식하지 못한다. 이러한 학습자는 QRF 항목 2 ~ 4에 대해 불완전하거나 부정확한 답을 제시합니다.
The second type of test-taking deficiency is lack of script specificity, which is also a task strategy problem. Learners with this deficiency narrow down the answer to two choices by recognizing a general disease category (such as depression), but do not recognize the specific clinical subtype or severity of disease (such as depression in the elderly) and the differences in diagnostic strategy, therapy, or prognosis related to that subtype. These learners will give incomplete or inaccurate answers to QRF Items 2 through 4.

세 번째 테스트 부족은 [메타인지 모니터링 단계]의 문제인 [조기 종결]입니다. 이러한 결함을 보이는 학습자는 진단을 조기에 결정하고 진단과 일치하지 않는 정보를 무시하거나 과소평가하며 선택한 진단과 일치하지 않는 사실을 QRF 항목 4에 나열하거나(그러나 진단 변경을 거부함) 불일치를 단순히 인식하지 못할 수 있습니다.
The third test-taking deficiency is premature closure, a metacognitive monitoring problem. Learners who exhibit this deficiency make an early decision on the diagnosis, ignore or downplay information inconsistent with the diagnosis, and may list facts that are inconsistent with the chosen diagnosis in QRF Item 4 (yet refuse to change the diagnosis) or simply fail to note the inconsistencies.

네 번째 시험결과는 [메타인지 모니터링과 자기평가 단계]의 문제인 [자신감 부족]이다. 이 결함이 있는 학습자는 여러 번의 시험에 불합격한 전력이 있을 수 있으며, 이로 인해 심지어는 정확한 추론을 하고서도, 자기자신의 임상추론을 믿지 않게 된다. SRL 평가 과정에서 이러한 학습자는 올바른 진단을 식별하고 정답을 예측한 경우에도 중간에서 낮은 절반까지의 등급(QRF 항목 5~6,8)에 대한 자신감을 평가합니다.

The fourth test-taking deficiency is underconfidence, which is a metacognitive monitoring and self-evaluation problem. Learners with this deficiency may have a history of several examination failures and have consequently learned to distrust their clinical reasoning, even when it may be correct. During the SRL assessment, these learners rate their confidence on the middle to lower half of the scale (QRF Items 5–6, 8) even when they have identified the correct diagnosis and predicted the correct answer.

다섯 번째 시험풀이시 결함은 SRL의 [자기 성찰 단계]의 결함인 [부적절한 인과 귀인]이다. 이러한 결함은 정답이 맞고, 오답이 틀린 이유에 대한 피상적 또는 잘못된 설명에서 명확하게 드러난다 (QRF 항목 14).
The fifth test-taking deficiency is inappropriate causal attributions, which is a deficiency in the self-reflection phase of SRL. This deficiency is evident from superficial or incorrect explanations of why the right answer is correct and the wrong answer is incorrect (QRF Item 14).

마지막 시험결과는 [부적절한 적응적 추론]이며, 이는 자기성찰의 문제이기도 하다. 이 결함이 있는 학습자는 실습 질문에 답한 후 지식 격차를 식별할 수 있지만 효과적인 학습 계획(QRF 항목 15)을 명확하게 설명할 수는 없습니다.
The last test-taking deficiency is inappropriate adaptive inferences, which is also a self-reflection deficiency. Learners with this deficiency may be able to identify knowledge gaps after answering a practice question, but are unable to articulate an effective learning plan (QRF Item 15).

이 방법을 사용하여 시험 미비점을 식별하고 개선 전략을 제안함으로써 소수의 학습자만이 과거 제어를 사용하지만 시험 성과가 향상되었음을 알 수 있습니다. 이 내과 레지던트에서의 과거 6년간의 평균 ITE 성적 향상은 3년째에 4.6점이었다. 이 평가를 받은 주민의 2013년 ITE 점수는 2년차부터 3년차까지 평균 9.3점(표준편차: 7.7)으로, 과거 데이터에 근거해 예상되는 개선점의 약 2배였다.
In using this method to identify test-taking deficiencies and suggest strategies for improvement, we have found improved test performance, albeit in a small number of learners and using historical controls. Over the previous six years in this internal medicine residency, the average second-year ITE score improvement was 4.6 points in the third year. The average improvement in 2013 ITE score from second year to third year for the residents who underwent this assessment was 9.3 points (standard deviation: 7.7), which is about twice the expected improvement based on historical data.

다음 단계
Next Steps

테스트 성적이 낮은 학습자의 공통적이지만 어려운 문제에 SRL 미세 분석의 새로운 응용 프로그램을 도입했습니다.7 이 방법은 SRL 이론의 견고한 기반, 개별화된 치료 계획 및 상대적 구현 용이성을 포함하여 기존 시험 응시 교정 방법보다 장점이 있다. 적은 수, 동시적 통제집단의 부족, 평균으로의 회귀 가능성에 의해 제한되기는 하지만, 단일 센터 구현의 결과는 유망하다. 이 방법을 사용하기 위해 교직원이 훈련하는 데 필요한 시간은 다를 수 있지만, 우리는 90분짜리 워크숍 형식으로 비디오 예시와 롤 플레이를 사용하고 있습니다.

We have introduced a novel application of SRL microanalysis to the common yet challenging problem of learners who underperform on tests.7 This method has advantages over existing methods of test-taking remediation, including solid foundation in SRL theory, individualized treatment plans, and relative ease of implementation. Although limited by small numbers, lack of contemporary control group, and the possibility of regression towards the mean, the results of our single-center implementation are promising. While the time needed to train faculty to use this method may vary, we have used a 90-minute workshop format with video examples and role-play (Supplemental Digital Appendix 1, https://links.lww.com/ACADMED/A389) at our institution and others.

실현 가능성과 효과성에 대한 대규모 연구에 의해 교육 개입이 뒷받침되어야 하기에, 다음 단계는 대규모 무작위 대조 시험의 설계와 수행이다. 이 연구에는 과목시험이나 면허시험에 불합격한 학생, ITE 점수가 낮은 학생 등 다양한 프로그램 및 훈련 수준의 학습자가 참여해야 하며, 이 방법의 어떤 측면이 개선에 가장 큰 도움이 되는지 평가해야 합니다. 위에서 설명한 분류 시스템은 역사적 특징과 SRL 평가에 의존하며 단일 기관에서 쉽게 구현되어 왔지만, 이 시스템의 신뢰성과 타당성은 더 넓은 환경에서 연구되어야 한다.
Recognizing the need for educational interventions to be supported by large-scale studies of feasibility and effectiveness, the next steps for this method are the design and conduct of a large randomized controlled trial.4,5 This study should include learners from different programs and training levels, such as students who fail a subject matter examination or licensing exam and trainees with low ITE scores, and should assess which aspects of the method contribute the most to improvement. While the categorization system outlined above, which relies on historical features plus SRL assessment, has been easily implemented at a single institution, the reliability and validity of this system should be studied in broader settings.

객관식 임상시험에 기초한 의학지식시험에서 저조한 성적을 보이는 학습자는 어디에나 있으며, 저조한 시험성적은 심각한 직업적 결과를 초래할 수 있다. 시험에서 고군분투하는 학습자를 지원하기 위해 이론적으로 건전하지만 즉시 실행할 수 있는 개입이 부족하기 때문에, 이 개입과 다른 개입의 효과를 전파하고 조사할 필요가 가장 중요하다.

Learners who underperform on multiple-choice, clinical-vignette-based medical knowledge tests are ubiquitous, and poor test performance can have serious professional consequences. Given the paucity of theoretically sound yet ready-to-implement interventions for assisting learners who struggle on tests, the need to disseminate and investigate the effectiveness of this and other interventions is paramount.4,5

의학교육에서 동료지원학습(PAL): 체계적 문헌고찰과 메타분석(Med Educ, 2021)
Peer-assisted learning in medical education: A systematic review and meta-analysis
Clarissa Brierley BSc MSc1 | Leila Ellis BSc MBChB2 | Emily Roisin Reid BA MA1

1 도입
1 INTRODUCTION

동료 지원 학습(PAL)은 '전문 교사가 아닌 유사한 사회 집단의 사람들이, 서로 돕고 가르침을 통해, 스스로 학습하는 것'으로 정의되며, 의과대학에서 종종 시행되는 보충 교육의 한 형태이다. PAL은 고학년 학생들이 저학년 학생들을 가르치는 '니어 피어 티칭'과 같은 수준의 학생들이 교습과 튜터의 역할을 번갈아 맡는 '피아 투 피어 티칭'을 포함한 다양한 교육 방법을 포괄하는 용어이다. PAL은 의대생에게 졸업 시 GMC(General Medical Council)가 요구하는 교육 기술을 개발할 기회를 제공할 뿐만 아니라 선행학습 강화와 학업성취도 향상시킵니다. 또, 연구 결과, 커리큘럼내의 PAL은 스탭의 시간을 최적화해, 전체적인 자원의 가용성을 높이는 것으로 나타났습니다. PAL은 교직원과 학생 사이의 접촉 기회를 줄인다는 비판을 받아왔으며, PAL 학생들은 문제 기반 학습(PBL)의 맥락에서 문제를 독립적으로 분석하는 데 어려움을 겪고 있다. 따라서 PAL이 가장 큰 가치가 있는 맥락은 의학 교육에서 추가적인 관심 분야이다.

Peer-assisted learning (PAL), defined as ‘people from similar social groupings who are not professional teachers helping each other to learn and learning themselves by teaching’, is a form of supplemental teaching often implemented in medical schools.1, 2 PAL is an umbrella term encompassing a range of teaching methods, which include ‘near-peer teaching’, where students of a higher year teach students of a lower year, and ‘peer-to-peer teaching’, where students at the same level interchangeably take on the roles of tutors and tutees.3-5 PAL not only provides the opportunity for medical students to develop the teaching skills required by the General Medical Council (GMC) on graduating but also additionally helps reinforce their prior learning and improves their own academic performances.6, 7 Research has also shown that intra-curricular PAL increases overall resource availability by optimising staff time.8, 9 PAL has been criticised for reducing opportunity for contact between faculty and students, and in the context of problem-based learning (PBL), PAL students have reported difficulties in independently analysing problems.10 The context in which PAL is of greatest value is therefore an additional research area of interest within medical education.

PAL은 수십 년 동안 고등교육에 편입되어 왔으며, 영국 의과대학에서 채택되기 전에는 미국에서 시험 성적과 긍정적인 상관관계가 나타났다. 2010년 미국의 한 조사에 따르면, 응답한 의과대학 중 76%가 의학 교육 중에 어떤 형태로든 학생이 PAL에 참여하였다. PAL은 처음에는 저성취 학생을 대상으로 한 튜토리얼 프로그램 또는 이미 확립된 교육에 학생 교사를 포함시키는 프로그램의 형태를 취했습니다. 
PAL has been incorporated into tertiary education for decades, and a positive correlation with exam performance was shown in the United States before it was adopted by medical schools in the United Kingdom.11-13 A 2010 survey in the United States indicated that 76% of responding medical schools had students who engaged in some form of PAL during their medical education.14 PAL initially took the form of tutorial programmes targeted at low achieving students, or programmes that incorporated student teachers into already established teaching.12, 15-19

PAL은 1990년대 초반부터 학부 교육에서 실시되어 왔지만, PAL이 학생에게 미치는 영향에 대한 연구는 질적 연구 및 추적 기간이 짧은 학생에 대한 연구 형태로 이루어져 왔다. 이들은 학생들의 능력에 대한 인식 향상뿐만 아니라 학생들의 자기 보고 자신감 향상, 학생들의 기술과 지식의 개발도 보고했다. 2016년 체계적인 검토는 동료 교습을 통해 가르친  성과와 교직원이 가르친 성과를 비교했다. 그룹 간에 유의하게 다른 결과가 식별되지는 않았지만, PAL은 PAL의 혜택이 다를 수 있는 [다양한 교육 맥락에서 PAL 전달의 이질성]을 반영하려는 시도 없이, (마치 모든 PAL이) 단일하고 균일한 것처럼 취급되었다. 
Although PAL has been implemented in undergraduate education since the early 1990s, research into PAL's impact on students has been in the form of qualitative studies and those with short follow-up durations.8, 20-23 These reported an improvement in students' self-reported confidence, the development of students' skills and knowledge, as well as improved perception of students' abilities.8, 20-23 A systematic review in 2016 compared outcomes for undergraduate medical students taught through peer teaching with those taught by faculty.24 Although no significantly different outcomes between groups were identified, PAL was treated as a single, uniform entity, with no attempt to reflect the heterogeneity of PAL delivery in varying educational contexts, where the benefit of PAL may differ.24

본 연구는 의대생을 대상으로 실시한 PAL의 모든 무작위 연구를 체계적으로 검토했다. PAL의 효과를 확립하는 것이 주된 목적이었고, 그 대신 학업성취도를 선택했다. 두 번째 목표는 PAL이 가치를 부가할 수 있는 특정 의료 교육 환경을 식별하는 데 초점을 맞춘다. 우리는 중장기적으로 평가했을 때 임상 전과 학생의 성과, 절차적 기술 또는 이론적 지식의 가르침, 그룹 간 PAL이 학업 성취도에 미치는 영향 사이의 차이를 식별하기 시작했다.

This study systematically reviewed all randomised studies of PAL conducted using medical students as subjects. The principal aim was to establish the effectiveness of PAL, choosing academic performance as a proxy measure. The secondary aims focus on identifying the specific medical education setting where PAL may add value. We set out to identify any differences between the performance of preclinical and clinical students, the teaching of procedural skills or theoretical knowledge, and the impact of PAL on academic achievement between groups when assessed in the medium to longer term.

2 방법
2 METHODS

2.1 프로토콜 및 등록
2.1 Protocol and registration

이 검토는 체계적 검토 및 메타 분석을 위한 선호 보고 항목(PRISMA)과 증거 합성 보고 교육(STORYS) 진술에 대한 STructured approach를 준수했다. 윤리적 승인이 필요하지 않았다.
This review conformed to the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) and STructured apprOach to the Reporting In healthcare education of Evidence Synthesis (STORIES) statements.25, 26 No ethical approval was required.

2.2 검색 전략
2.2 Search strategy

4개의 전자 데이터베이스(MEDLINE, Ovid Embase, Web of Science and Education Research Complete)에 대한 문헌 검색은 2020년 4월에 C. B.에 의해 수행되었고 2021년 7월에 업데이트되었다. PAL에 대한 다양한 변형이 의료 교육 내에서 시행되고 있으며, 이 용어는 종종 서로 바꿔서 사용됩니다.4 이 다양성은 가능한 많은 관련 연구를 얻기 위해 사용된 검색어에 반영되었다. 각 데이터베이스에 대한 전자 검색 전략에는 의료 주제 제목(MeSH) 용어, 부울 조합 및 20개 키워드의 잘라내기 사용이 포함되었다. 검색어 개발 중에 대상 사서에게 상담했습니다. Embase 검색 전략은 표 S1에 요약되어 있습니다.
A literature search of four electronic databases (MEDLINE, Ovid Embase, Web of Science and Education Research Complete) was conducted by C. B. in April 2020 and updated in July 2021. Many different variations on PAL are being practised within healthcare education, and the terminology is often used interchangeably.4 This variety was reflected within the search terms used in order to obtain as many relevant studies as possible. The electronic search strategy for each database included the use of Medical Subject Headings (MeSH) terms, Boolean combinations and truncations of 20 keywords. A subject librarian was consulted during search term development. Our Embase search strategy is summarised in Table S1.

검색은 저널 기사를 포함했고 제목, 추상, 인간 연구 및 영어로 된 기사들로 제한되었다. 회색 문헌은 포함되지 않았다. 출판 시기에 대한 제한은 없었다. 검토에 포함된 모든 논문의 참조 목록에서 관련 기사를 검색했습니다. 모든 레퍼런스에 대해 전방 인용 검색을 실시했습니다. 모든 원본 연구 기사는 검토를 위해 검색되었으며, 참고 문헌 관리 프로그램인 ENDNOTE X9.2를 사용하여 검색 라이브러리를 만들었습니다.

The search incorporated journal articles and was limited to titles, abstracts, human studies and those in the English language. No grey literature was included. No limits were imposed on the time of publication. The reference lists of all papers included in the review were searched for relevant articles. We performed forwards citation searching for all references. All original research articles were retrieved for examination, and a search library was created using ENDNOTE X9.2, a bibliography management program.

2.3 연구의 선택
2.3 Study selection

기사 제목과 요약은 표 1의 포함 및 제외 기준에 따라 한 명의 검토자(C. B)가 체계적인 검토를 위해 선별 및 선정하였다.

Article titles and abstracts were screened and selected for systematic review by one reviewer (C. B.) based on the inclusion and exclusion criteria in Table 1.

학생의 학습에 영향을 주는 변수의 수를 최소한으로 억제하고, 리모트 또는 온라인 교습을 포함함으로써 발생하는 추가 편견을 피하고 싶기 때문에, 교습이 직접 행해진 연구만을 포함했습니다. 전문 스크리닝은 두 명의 저자(C. B.와 L. E.)가 수행했으며, 합의 수준은 96.4%였다. 갈등은 토론과 합의에 의해 해결되었다.

We only included studies where teaching had occurred face to face as we wished to minimise the number of variables influencing student's learning and avoid the additional biases caused by including remote or online teaching. Full-text screening was performed by two authors (C. B. and L. E.), with the agreement level being 96.4%. Conflicts were resolved by discussion and consensus.

연구는 모든 무작위 연구 암에 대해 평가에서 얻은 전체 평균 및 표준 편차 또는 표준 오차/신뢰 구간(CI)의 보고에 기초해 메타 분석에 포함되도록 선택되었다.

Studies were selected for inclusion in the meta-analysis based on the reporting of, at a minimum, the overall mean and standard deviation or standard error/confidence interval (CI) obtained at assessment for all randomised study arms.

2.4 데이터 수집
2.4 Data collection

적격 연구의 데이터 추출은 두 명의 독립 검토자(C. B.와 L. E.)에 의해 수행되었고, 이후 데이터를 교차 검사했다. 데이터 추출 양식은 학습 설계, 설정, 사용된 용어, 학생 교사와 학습자의 수와 특성, 학습 포함/제외 기준 및 1차 및 2차 결과와 같은 개별 학습 요소를 기록하기 위해 구성되었다. 개입 구분, 제공된 동료 교사 훈련, 제공된 교육의 빈도, 기간 및 세부 사항이 기록되었습니다. 연구 결과는 기록되었고, 가능한 경우 평균, 표준 편차, p 값, 표준 오차, 시험 점수 및 최대 가능 점수로 제한되었다. 피어 티칭 상호작용의 영향은 '커크패트릭의 학습 수준'의 수정된 모델을 사용하여 분류되었다. 데이터가 누락되거나 보고되지 않은 경우 해당 작성자에게 연락하여 응답이 없는 경우 2차 연락하여 4개월의 시간을 부여하였다. 개인이 포함된 연구의 품질은 Cochrane Risk of Biases Tool을 사용하여 평가되었다. 
Data extraction of eligible studies was conducted by two independent reviewers (C. B. and L. E.) who subsequently cross-checked data. A data extraction form was constructed to record individual study elements, such as study design, setting, terminology used, numbers and characteristics of student teachers and learners, study inclusion/exclusion criteria as well as the primary and secondary outcomes. Details of intervention arms, any peer teacher training provided, as well as the frequency, duration and details of teaching provided were recorded. Study outcomes were recorded and, where available, were limited to mean, standard deviation, p value, standard error, test score and the maximum possible score. The impact of peer-teaching interaction was classified using modified models of ‘Kirkpatrick's levels of learning’.27 In the event of missing or unreported data, corresponding authors were contacted and, where there was no response, contacted a second time and given 4 months to respond. The quality of the individual included studies was assessed using the Cochrane Risk of Bias Tool.28

2.5 데이터 분석
2.5 Data analysis

연구에 보고된 개입 후 평가 점수는 교육 방법의 효과성에 대한 객관적인 척도로 사용되었다. 객관식 설문지(MCQ)와 객관식 구조 임상 검사(OSCE)를 통해 학생을 평가한 경우, 가르친 자료를 검토했다. 교육에 포함된 자료가 이론적인 경우 필기 시험 결과를 연구의 주요 결과로 선택한 반면, 실용적이라면 OSCE 결과를 보고했습니다. 연속 데이터를 추출할 수 있는 경우, 95% CI의 표준화 평균 차이(SMD)가 각 연구 비교에 대해 계산되었다. 평균 또는 SD 결과가 보고되지 않은 경우 저자에게 요청하거나, 가능한 경우 답변이 없는 경우 Wan 등의 공식을 사용하여 계산했다. 
Postintervention assessment scores reported in the studies were used as an objective measure of teaching method effectiveness. Where students were assessed by both a multiple-choice questionnaire (MCQ) and an objective structured clinical examination (OSCE), the material taught was reviewed. If the material covered in teaching was theoretical, the written exam outcome was chosen as the primary outcome of the study, whereas, if practical, then the OSCE outcome was reported.29-34 Where continuous data could be extracted, the standardised mean differences (SMDs) with 95% CI were calculated for each study comparison. Where the mean or SD results were not reported, these were requested from the authors or, where possible and in the absence of a reply, calculated using the formula of Wan et al.35

적절한 데이터를 추출할 수 없고, 해당 저자에게 연락하여 자료를 구할 수 없어, 메타분석에 포함되지 않은 기사는 6건이었다. 포함된 연구 사이의 이질성을 설명하기 위해 무작위 효과 모델을 사용했다. 연구 간의 이질성은 I2 테스트를 통해 평가되었다. 통계 분석은 검토 관리자에 대해 수행되었다. Stata를 사용하여 깔때기 그림을 만들었습니다. 

Six articles were not included in the meta-analysis as the appropriate data could not be extracted and could not be sourced by contacting the respective corresponding authors.36-41 We used a random-effect model to account for the heterogeneity amongst the included studies. The heterogeneity between studies was assessed with the I2 test. Statistical analyses were performed on Review Manager.42 The funnel plot was created using Stata.43

두 명의 검토자는 교육 개입의 결과를 평가하는 데 널리 사용되는 방법인 커크패트릭 프레임워크의 수정된 버전을 사용하여 각 연구의 교육적 영향을 독립적으로 평가했다. 참가자의 학습경험에 대한 인식(레벨 1), 참가자의 개입에 대한 인식 수정(레벨 2a)과 그들의 지식 및/또는 기술(레벨 2b), 직장으로의 학습 이전(레벨 3), 조직 관행의 변화(레벨 4a) 및 파티의 이익에 따른 연구를 분류한다.(레벨 4b)27 PRISMA가 권장한 선택, 성능, 소모, 검출 및/또는 보고 편향의 위험에 대한 연구도 분석되었다. 

Two reviewers independently assessed each study for their educational impact using the modified version of the Kirkpatrick framework, a widely used method of appraising the outcome of educational interventions.27, 44 It classifies studies according to the inclusion of

• participants' perceptions of the learning experience (Level 1),
• modification of participants' perceptions of the intervention (Level 2a) and
• their knowledge and/or skills (Level 2b),
• transfer of learning to the workplace (Level 3),
• change in organisational practice (Level 4a) and
• benefits to patients (Level 4b).27 

Studies were also analysed for risk of selection, performance, attrition, detection and/or reporting bias, as recommended by PRISMA.25

3 결과
3 RESULTS

3.1 연구의 선택
3.1 Study selection

전자 데이터베이스 검색에서 4731개의 기록을 확인했다(그림 1). 중복 제거 후, 3098개의 기록이 제목과 요약별로 선별되었고, 3033개는 포함 기준을 충족하지 못해 제외되었다. 포함된 연구의 참조 목록을 수동으로 검토한 결과 포함 대상인 다른 두 개의 연구가 확인되었다. 총 65개의 전문 기사가 적격성을 평가받았고, 38개는 제외되었다. 제외 사유는 그림 1과 같다. 체계적 검토와 정성 분석에 총 27개의 연구가 포함되었다. 이 중 21개 연구는 메타 분석에 포함하기에 충분한 데이터(각 코호트에 대해 보고된 평균 점수, SD 및 참가자 수)를 포함했다.

The electronic database search identified 4731 records (Figure 1). After removal of duplicates, 3098 records were screened by title and abstract, and 3033 were excluded for failure to meet inclusion criteria. Manual review of reference lists of included studies identified another two studies for inclusion.29, 32 A total of 65 full-text articles were assessed for eligibility, and 38 were excluded. Reasons for exclusion are shown in Figure 1. In total, 27 studies were included in the systematic review and qualitative analysis. Of these, 21 studies contained sufficient data (mean scores, SD and number of participants reported for each cohort) to be included in the meta-analysis.

3.2 연구특성
3.2 Study characteristics

포함할 수 있는 27개 기사는 표 S2에 요약되어 있다. 학생 2656명, 교사 225명(8개 기사 포함) 27개 연구 중 13개 연구는 임상 전 학생을 대상으로 한 반면 14개 연구는 임상 학생을 대상으로 했다. 프로그램을 설명하는 데 사용되는 용어는 매우 다양했으며 피어 트레이닝, 피어 튜터링, 피어 티칭, 니어 피어 티칭, 피어 주도 티칭, PAL 및 피어 어시스트 티칭이 포함되었습니다. 

The 27 articles eligible for inclusion are summarised in Table S2. A total of 2656 students and 225 student teachers (eight articles did not report the number of student teachers included30, 34, 38, 40, 41, 45-47). Of the 27 studies, 13 involved preclinical students as subjects, whereas 14 studies involved clinical students. Terminology used to describe the programmes varied greatly and included peer training,36, 45 peer tutoring,29, 39, 47 peer teaching,31, 32, 48-50 near-peer teaching,37 peer-led teaching,38 PAL31, 33, 34, 40, 41, 46, 51-57 and peer-assisted teaching.30, 58, 59

OSCE 결과 데이터는 17개 연구에서 사용되었고 MCQ 결과는 4개 연구에서 사용되었습니다. 13개의 연구에서, 참가자들은 여러 스터디 세션이 아닌 단일 학습 이벤트에 노출되었고, 주로 절차적 실무 기술을 가르쳤다. 지시의 빈도는 가변적이었다.

OSCE results data were used in 17 studies30-34, 37, 45-48, 50, 52, 53, 55, 57-59 and MCQ results for four studies.29, 49, 52, 56 In 13 studies, participants were exposed to a single learning event,32-34, 38, 40, 46-50, 53, 55, 59 rather than multiple study sessions, and it was primarily procedural practical skills that were taught. The frequency of instruction was variable.

3.3 편견의 위험
3.3 Risk of bias

포함된 연구의 편향 위험은 그림 2에 요약되어 있다. 12개 연구는 무작위화 방법을 보고하지 않았으며, 24개 연구는 배분이 은폐되었는지 여부를 명확하게 기록하지 못했다. 실험 참가자들의 눈을 멀게 하는 연구는 없었다. 9개의 연구에서 블라인딩에 대한 불충분한 정보가 제공되었지만, 검토된 대부분의 연구에서 검출 편향이 여전히 낮았다. 과반수는 모든 결과 데이터를 보고했고, 따라서 낮은 소모attrition 편향을 보였으며, 4개의 연구는 최종 분석에서 참가자가 제외되었기 때문에 보고 편향이 높았다. 그림 3에서 볼 수 있는 SMD의 깔때기 그림은 유의한 비대칭을 나타내며, 이는 연구가 결합된 효과 크기에 대해 대칭적으로 분포되지 않기 때문에 출판 편향을 시사한다.

The risk of bias of the included studies is summarised in Figure 2; 12 studies did not report the methods of randomisation, and 24 failed to clearly record if allocation was concealed. No studies overtly blinded participants. In nine studies, insufficient information was provided on blinding; however, detection bias remains low in the majority of studies reviewed. The majority16 reported all their outcome data and therefore had low attrition bias, and four studies had high reporting bias due to participants being excluded from the final analysis.32, 45 The funnel plots for SMD seen in Figure 3 show significant asymmetry, suggesting publication bias as the studies are not distributed symmetrically about the combined effect size.

3.4 결과의 종합
3.4 Synthesis of results

자격 기준을 충족하는 27개 연구 중 6개는 전체 코호트에 대한 적절한 측정 가능 결과의 보고 부족으로 인해 메타 분석에 포함될 수 없었다. 메타 분석에 포함된 모든 연구의 결과는 그림 4의 숲 그림에 요약되어 있다. 

Of the 27 studies meeting eligibility criteria, six could not be included in the meta-analysis due to a lack of reporting of appropriate measurable outcomes for the entire cohort. Results of all studies included in the meta-analysis are summarised in the forest plot in Figure 4.29-34, 37, 45-53, 55-59

메타 분석에 포함될 수 있는 연구 내에서 PAL에 참여하는 의대생은 비 PAL 수단으로 학습한 학생에 비해 중재 후 평가 결과가 개선되었다(SMD = 0.52 [95% CI 0.18 - 0.85]; 21개 연구, n = 2267; I2 = 93%) (그림 4). 5개의 연구에서 PAL 교습을 경험한 학생들의 중재 후 테스트 점수가 유의하게 향상되었음을 보여주었고, 15개의 연구는 유의미한 차이를 보여주지 않았으며, 1개의 연구에서는 (PAL보다) [PAL이 아닌 것이 더 나음]을 보여주었다. Z 점수는 3.02였고, 전체 p 값은 .003이었습니다. [초판 후 2020년 11월 8일 수정 추가] 이 항의 데이터 값은 이 버전에서 수정되었습니다.]

Within the studies eligible for inclusion in the meta-analysis, the medical students participating in PAL had improved results in their postintervention assessment compared with those who were taught by non-PAL means (SMD = 0.52 [95% CI 0.18 to 0.85]; 21 studies, n = 2267; I2 = 93%) (Figure 4). Five studies demonstrated significantly improved postintervention test scores for those students who had experienced PAL teaching, 15 studies showed no significant difference and one study showed that non-PAL was better than PAL. Z score was 3.02, with an overall p value of .003. [Correction added on 8 November 2020 after first publication. The data values in this paragraph have been corrected in this version.]

3.5 임상전 의대생 동료교육의 효과
3.5 Effect of peer teaching in preclinical versus clinical medical students

그림 S1A에서 볼 수 있듯이, PAL 교육은

• [임상 학생]의 개입 후 평가 점수를 크게 향상시켰다. (SMD = 0.63 [95% CI 0.12 - 1.14]) 11개 연구, n = 1516, I2 = 95%, p 값 = 0.02, Z 점수 = 2.42)입니다. 
• [임상 전 학생]에 대한 영향은 유의하지 않았다(SMD = 0.39[95% CI -0.04 - 0.82]; 10개 연구, n = 751, I2 = 87%, p 값 = 0.08, Z 점수 = 1.77)입니다. 

As shown in Figure S1A, PAL teaching led to a significant improvement in postintervention assessment scores of clinical students (SMD = 0.63 [95% CI 0.12 to 1.14]; 11 studies, n = 1516; I2 = 95%; p value = .02; Z score = 2.42). The impact on preclinical students was not significant (SMD = 0.39 [95% CI −0.04 to 0.82]; 10 studies, n = 751; I2 = 87%; p value = .08; Z score = 1.77). [Correction added on 8 November 2020 after first publication. The data values in the last sentence have been corrected in this version.]

3.6 동료 교습이 실제 기술 교습에 미치는 영향 대 이론적 지식
3.6 Effect of peer teaching on teaching practical skills versus theoretical knowledge

그림 S1B에서 볼 수 있듯이, PAL 교육은

• 술기를 가르친 학생들의 중재 후 평가 점수를 크게 향상시켰다(SMD = 0.69 [95% CI 0.28 ~ 1.10]; 17개 연구, n = 1758, I2 = 94%, p 값 = .001, Z 점수 = 3.27)입니다.
• 이론을 가르친 학생에 대한 영향은 크지 않았다(SMD = -0.11 [95% CI -0.29 - 0.06]; 
  네 가지 연구, n = 509, I2 = 0%, p 값 = .21, Z 점수 = 1.27)입니다.

As shown in Figure S1B, PAL teaching led to a significant improvement in postintervention assessment scores of students taught practical skills (SMD = 0.69 [95% CI 0.28 to 1.10]; 17 studies, n = 1758; I2 = 94%; p value = .001; Z score = 3.27). The impact on students taught theory was not significant (SMD = −0.11 [95% CI −0.29 to 0.06]; four studies, n = 509; I2 = 0%; p value = .21; Z score = 1.27).

3.7 동료교육이 단기 및 중기 지식 보유에 미치는 영향
3.7 Effect of peer teaching on short-term versus medium-term knowledge retention

중간값과 범위 학습 시점 평가는 각각 6주, 4~8주였습니다. 그림 S1C에서 보듯이,

• 과정 완료 후 4주 이후에 테스트한 학생들은 PAL 방법(SMD = 1.20 [95% CI 0.07 ~ 2.34)으로 학습한 경우 훨씬 더 좋은 성과를 보였다. 5가지 연구, n = 659, I2 = 97%, p 값 = 0.04, Z 점수 = 2.08)입니다. 
• 과정 이수 후 4주 이내에 평가된 학생들은 PAL 방법과 비 PAL 방법으로 학습한 경우(SMD = 0.12[95% CI -0.10 - 0.33]) 큰 차이를 보이지 않았다. 13개 연구, n = 1309, I2 = 71%, p 값 =.28, Z 점수 = 1.09)

The median and range time to point of study assessment was 6 weeks and 4 to 8 weeks, respectively. As shown in Figure S1C,

• students tested over 4 weeks after course completion performed significantly better if they had been taught by PAL methods (SMD = 1.20 [95% CI 0.07 to 2.34]; five studies, n = 659; I2 = 97%; p value = .04; Z score = 2.08).
• Students assessed within 4 weeks of course completion did not perform significantly differently if taught by PAL versus non-PAL methods (SMD = 0.12 [95% CI −0.10 to 0.33]; 13 studies, n = 1309; I2 = 71%; p value = .28; Z score = 1.09).

각 연구의 광범위한 교육적 영향을 평가하기 위해 수정된 커크패트릭 모델을 사용하여, 17개의 연구는 개입에 대한 참가자들의 반응을 보고했다(레벨 1), 15개의 태도 변화(레벨 2A), 26개의 기술 지식 수정(레벨 2B). 2명은 행동 변화(레벨 3), 1명은 조직 관행의 변화(레벨 4A), 그리고 참가자의 학생이나 동료의 변화(레벨 4B)에 주목했다. 리뷰에서 발견된 가장 높은 영향은 레벨 4A였다. 이는 저자들이 신체검사를 1학년까지 가르칠 때 4학년 지도교사만을 교사로 삼는 계획이 진행 중이라고 보고한 것에 의해 달성되었다. 그들은 그들의 연구에서처럼 신체검사가 성공할 것으로 예상했기 때문이다. 표 S2는 검토한 각 기사에 의해 달성된 영향 수준을 요약한다.

Using the modified Kirkpatrick model to evaluate the wider educational impact of each study,

• 17 studies reported the reactions of participants to the intervention (Level 1),
• 15 a change in attitude (Level 2A) and
• 26 a modification of knowledge of skills (Level 2B).
• Two noted a change in behaviour (Level 3),
• one a change in the organisation practice (Level 4A) and
• none a change amongst the participants' students or colleagues (Level 4B).

The highest impact found in the review was Level 4A. This was achieved by the authors reporting that plans were underway to only use fourth-year student preceptors as teachers when teaching physical examination to first years as they anticipated it being as successful as in their study.28 Table S2 summarises the impact levels achieved by each article reviewed.

4 토론
4 DISCUSSION

4.1 전체적인 결과
4.1 Overall outcome

이 체계적 검토의 주요 결과는 [동료들의 참여가 의대생들의 학업 성취도를 크게 향상시킨다는 것]이다. 이 연구는 21개의 PAL 프로그램을 객관적으로 평가하기 위한 정량적 척도를 배치하고, 의료 교육 내 PAL 사용 증가를 뒷받침하는 문헌에 기여한다. 
The principal finding of this systematic review is that peer involvement significantly improves medical students' academic performance. This study deploys quantitative measures to objectively assess 21 PAL programmes and contributes to the literature supporting the increased use of PAL within medical education.11, 13, 24, 60-62

2차 결과는 의대생 코호트와 PAL이 가장 유익한 맥락을 식별하려고 했다. 리뷰는 PAL이 교육의 [임상 단계에서 학생들에게 특히 유용하다]는 것을 확인했다. 학생들은 일반적으로 이 단계에서 더 독립적이며, 임상 환경에서 기술을 습득하는 데 더 많은 시간을 할애하고 교육 세션에서 더 적은 시간을 보낸다. 이러한 맥락에서 PAL의 성공은 PAL이 독립적인 학생 학습을 지원하는 데 적합한 도구라는 것을 의미합니다.
The secondary outcomes sought to identify the medical student cohorts and the context in which PAL is most beneficial. The review identified that PAL is particularly useful to students in the clinical stages of their education. Students are generally more independent at this stage, spending more time acquiring skills in clinical settings and less time at didactic teaching sessions. The success of PAL in this context implies that it is a suitable tool to support independent student learning.

또한, 연구결과는 PAL이 [practical and procedural 임상기술 교육]에 가장 적합하며, [이론적인 지식]만으로 평가한 학생에 비해, 실제 평가 결과가 크게 향상된다는 것을 보여준다. 이러한 [기술을 습득하는 것]은 의대생을 후배 의사로 만드는 데 매우 중요합니다. 분명히, [임상 과제clinical tasks]는 소그룹의 동료 보조 교육이 도움이 되며, 여기서 학생들은 그들의 기술을 연습하고 연마하면서 튜터와 동료 모두로부터 배울 수 있다. 이러한 중요한 발견을 고려할 때, 의과대학 커리큘럼은 의대생을 가까운 또래의 교육에 공식적으로 통합하는 것을 고려해야 한다. 주니어 닥터에 대한 수요가 의대생 졸업생 수를 계속 앞지르고 있고, 코호트 규모가 클수록 학교의 교육 능력 증가가 요구된다는 점을 고려하면 특히 가치가 있을 수 있다.63,64 이러한 증가된 역량은 학생들이 필요한 교육 기술을 배울 수 있도록 지원하는 한편 PAL 프로그램의 확대에 의해 제공될 수 있다. 졸업과 동시에 모든 참가자가 학습을 강화할 수 있도록 합니다.

Furthermore, findings demonstrate that PAL lends itself best to the teaching of practical and procedural clinical skills, resulting in a significant improvement in practical assessment outcomes when compared with students assessed on theoretical knowledge alone. The acquisition of these skills is critical in shaping medical students into junior doctors. Evidently, clinical tasks lend themselves to small-group, peer-assisted teaching, where students can learn both from the tutor and each other while practising and honing their techniques. Given this significant finding, medical school curricula should consider formally integrating medical students in the teaching of their near peers. This may be particularly of value given that demand for junior doctors continues to outstrip medical student graduate numbers, and larger cohort sizes demand increased teaching capacity of the schools.63, 64 This increased capacity could be delivered by the expansion of PAL programmes, while supporting students to learn teaching skills required of them upon graduating and allowing all participants to fortify their learning.6

이 리뷰는 또한 PAL이 학생의 성적에 [더 오랫동안 영향을 미친다는] 것을 확인했다. PAL에 참여하는 학생들은 수업 종료 후 [1개월 이상 경과한 후 평가]했을 때 비참가자보다 훨씬 나은 성과를 보였지만, [피어티칭 발생 직후 평가했을 때]는 개입 간에 큰 차이가 없었다. 포함된 연구는 장기적인 결과를 보고하지 않았지만, 이러한 중간 시점에서도 볼 수 있는 차이는 관심 대상이다. 정성적 연구에 따르면 PAL의 실제 경험에 영향을 미치는 [상황적 요인]이 학습 과정의 핵심이다. 이것들은 정량적으로 평가하기에는 복잡하지만, [학습에 대한 PAL의 영향]이 [중기-장기] 차원에서 확인된다는 연구의 관찰을 설명할 가능성이 높다. 
This review also identified that PAL has a longer lasting impact on student performance. Students participating in PAL performed significantly better than non-participants when assessed more than 1 month after the teaching ended, whereas there was no significant difference between the interventions when students were assessed shortly after teaching occurred. No included studies reported long-term outcomes, yet the difference seen even at these medium-term time points is of interest. Qualitative studies have suggested that contextual factors impacting on the lived experience of PAL are core to the learning process.65, 66 These are complex to evaluate quantitatively but likely account for our study's observation that PAL's effect on learning is seen in the medium to long term.

중기-장기 차원에서 PAL의 효과가 확인된다는 것과 연관된 사실은 다음이 있다.. 

• 덜 공식적인 PAL 교육 환경이 뒷받침될 때 학생들의 신뢰수준이 시간이 지남에 따라 높아진다. 
  
• PAL 환경의 역동적이고 상호작용적인 특성이 기억 형성에 도움이 된다.  
  
• 각 학생이 질문 형성과 질문에 참여할 때, 다른 또래의 학습 과정에 노출되면 상호 이해도가 높아집니다.

PAL 프로그램이 이 실습에 참여하는 의대생들의 단기 및 장기 학업 성과에 미치는 긍정적 및 부정적 영향을 규명하기 위해 여러 연구가 이전에 모색되었다. 그들은 또한 의과대학에서 동료 교사의 장기적인 효과에 대해 어떠한 결론도 도출할 수 없다고 결정했다.

They include the fact

• that student confidence levels increase over time when supported by the less formal PAL teaching setting,
• that the dynamic and interactive nature of the PAL environment aids with memory formation and
• that the exposure to other peers' learning processes as each student participates in question forming and asking leads to greater mutual understanding.67, 68 

Several studies have previously sought to establish the positive and negative effects that PAL programmes have on the short- and long-term academic outcomes of the medical students engaged in this practice.16, 60, 69-73 They also determined that it was not possible to draw any conclusions about the long-term effects of peer teaching during medical school.61, 62

주관적인 학생 평가를 이 검토의 범위를 벗어난 것으로 간주하여, 이러한 결과는 커크패트릭 프레임워크를 사용하여 각 연구에서 PAL의 교육적 영향을 분류할 때 통합되었다. 이전의 연구에 따라, 이러한 보건 교육 개입은 더 넓은 조직에 대한 영향이 없다는 점에서 더 높은 커크패트릭 수준(3과 4)에서 영향을 보여주지 못했다. 
Having regarded the subjective student assessments as beyond the scope of this review, those findings were incorporated when categorising the educational impact of PAL in each study using the Kirkpatrick framework.74 In line with previous research, these health education interventions failed to show impact at the higher Kirkpatrick levels (3 and 4) in that there was no impact demonstrated on the wider organisation.27, 75, 76

여기에 보고된 예비 조사 결과는 PAL 프로그램을 지원하고 장기적인 학업 성과를 지속적으로 평가하는 것의 중요성을 더욱 강조한다.

The preliminary findings reported here further underscore the importance of supporting PAL programmes and continuing to assess long-term academic outcomes.

4.2 연구의 강점 
4.2 Study strengths

이 검토의 주요 강점은 의과대학 환경에서 PAL의 영향을 객관적으로 평가한 고품질 연구에 대한 포괄적인 평가라는 것이다. PAL에 발표된 무작위 연구의 대부분에 대해 객관적 결과 측정이 보고된다. 평균과 SD를 사용할 수 없는 경우 SMD를 계산하고 데이터 집합을 극대화하기 위해 원시 데이터에 대해 작성자에게 직접 연락했다. 이를 통해 메타 분석에 11%(3/27)의 연구가 추가되었다. 또한, 이 검토는 PAL이 의료 교육을 강화할 수 있는 특정 환경에 새로운 초점을 두고 PAL의 영향을 평가하는 가장 포괄적인 체계적 검토이다.

The principal strength of this review is that it is a comprehensive assessment of high-quality studies, which have objectively assessed the impact of PAL in the medical school setting. Objective outcome measures are reported for the majority of randomised studies published in PAL. Where the mean and SD was not available, authors were contacted directly for the raw data to allow the computation of the SMD and maximise the dataset. In doing so, an additional 11% (3/27) of studies were added to the meta-analysis. Furthermore, this review is the most comprehensive systematic review evaluating the impact of PAL with a novel focus on the specific settings in which PAL may enhance medical education.

4.3 연구의 한계와 향후 연구 방법
4.3 Study limitations and future avenues of research

이 검토에는 몇 가지 본질적인 한계가 있다. 깔때기 그림(그림 3)은 연구의 유의한 출판 편향을 보여준다. 이들은 인구, 통제 그룹, 교육 환경 및 방법론이 서로 다른 고도로 이질적이었다. 추가적인 편견은 교육 시험이 그 성격상 임상시험만큼 정확하게 통제될 수 없다는 사실에서 비롯되며, 긍정적 결과 발표만을 선호하는 편향은 덜 바람직한 효과를 보이는 연구의 부재를 설명할 수 있다. 마찬가지로, 표준 오차(SE)에 대해 표시된 SMD의 깔때기 그림은 왜곡되기 쉬우며, 이는 출판 편향의 존재와 정도를 과대평가할 수 있다. 따라서 이 또한 근본적인 원인으로 배제할 수 없다.77.
This review has several intrinsic limitations. The funnel plot (Figure 3) shows the significant publication bias of the studies. They were highly heterogeneous, with different populations, control groups, educational settings and methodologies. Further bias stems from the fact that educational trials by their very nature cannot be controlled as precisely as clinical trials, and the bias in favour of publishing positive results may explain the absence of studies showing a less favourable effect. Equally, it has been found that funnel plots of the SMD plotted against the standard error (SE) are susceptible to distortion, which may lead to an overestimation of the existence and extent of publication bias—this therefore also cannot be excluded as the underlying cause.77

추가적인 한계는, 많은 연구에서 자원자를 사용했다는 것이고, 이는 높은 자기 선택 편향으로 이어졌을 수 있다. 이상적으로는, 장래의 연구에는, PAL의 개입을 실시하거나 받는 학생의 랜덤 배정이 포함됩니다.
An additional limitation is the use of volunteers in many of the studies, which may have led to a high self-selection bias. Ideally, future studies would include the random allocation of students to both deliver and receive the PAL intervention.

이 리뷰는 또한 PAL 프로그램에서 가르칠 학생으로 선택된 [의대생들에게 요구되는 교육 역량]에 대해서도 다루지 않았다. 교육 역량은 어떤 연구에서도 진정으로 통제되지 않았으며, 이에 대해 평가하거나 보고한 연구는 거의 없었습니다. 이것은 자주 연구되지 않는 PAL의 또 다른 측면과 관련되어 있습니다. PAL이 학생 교사에게 미치는 영향은 무엇입니까? PAL에 종사하는 172명의 최종 학년 시험에 대한 2014년 소급 분석에서는 이 학생들이 동시대 학생들보다 1-3% 더 우수한 것으로 확인되었으며, 12명의 해부학 PAL 튜터를 대상으로 한 2018년 비교 연구에서도 이러한 연구 결과가 뒷받침되었습니다. 이러한 연구결과는 PAL의 튜터로 하여금 주요 스킬을 강화하고 지식 통합을 강화해주기에, 튜티학생에게만 PAL의 교육적 영향이 있는 것이 아님을 시사한다. 관찰된 낮은 Kirkpatrick 수준에 반영되어 있는 이 문제를 다루는 빈약한 증거 기반에 접근하는 한 가지 가능한 방법은 학생 교사가 되는 학생들의 성과를 종방향으로 연구하는 것일 수 있다.

This review also did not address what teaching competencies are required of those medical students who choose to teach on PAL programmes. Teaching competency was not truly controlled for in any studies, and few studies assessed or reported on them. This relates to a further aspect of PAL, which is not often researched; what is the impact of PAL on the student teachers? A 2014 retrospective analysis of final-year examinations of 172 students engaged in PAL did establish that those students outperformed their contemporaries by 1–3%, and a 2018 comparative study of 12 anatomy PAL tutors supported these findings.7, 78 These findings point towards the educational impact of PAL being further reaching than on the tutees alone, with the delivery of PAL reinforcing key skillsets and enhancing consolidation of knowledge in the peer tutor. One potential means of approaching the poor evidence base addressing this question (as reflected in the low Kirkpatrick levels observed) may be to longitudinally study the performance of students progressing to student teachers.

메타 분석 결과를 해석할 때 고려해야 할 마지막 고려사항은 포함된 모든 연구의 커리큘럼, 학습 주제 및 그룹 크기에서 유의미한 이질성이다. 이는 표 S2에 표시된 데이터에서 명확하다. 의학 교육을 표준화하고 종합하는 것은 분명 어렵기 때문에 이러한 결과를 바탕으로 취해야 할 조치를 마련하는 것이 더욱 어려워진다. 우리의 2차 결과는 PAL이 가치가 있는 정확한 시나리오를 제시함으로써 이 복잡성을 인정하고 설명하려고 노력했고, 따라서 데이터의 본질적인 이질성을 감소시켰다.
A final consideration that must be taken into account when interpreting the results of our meta-analysis is the significant heterogeneity in the curricula, topics taught and group sizes of all included studies, which are clear from our data displayed in Table S2. It is clearly hard to standardise and synthesise medical education and thus also makes it more challenging to formulate actions to be taken based on these results. Our secondary outcomes sought to acknowledge and account for this complexity by teasing out the exact scenarios where PAL is of value, thus decreasing the intrinsic heterogeneity in the data.

5 결론
5 CONCLUSIONS

이 체계적인 검토는 PAL이 PAL에 참여하는 의대생들의 학업 성취에 큰 영향을 미친다는 것을 뒷받침하는 강력한 데이터를 제공한다. 이는 비 PAL 개입에 비해 의대생이 PAL 개입 후 더 나은 성과를 보였으며, 그 효과는 실제 임상 기술을 습득하는 동안 임상 연도의 학생에서 가장 두드러졌다. 이 효과는 중기적으로 유지되었다. 궁극적으로, 이 연구는 의대생 커리큘럼에 PAL의 공식 통합이 교육 능력의 개발을 지원하고 중장기적으로 유지되는 특히 임상 능력의 측정 가능한 향상을 보장한다는 고무적인 증거를 제공한다.

This systematic review provides robust data to support that PAL has a significant effect on the academic achievements of medical students who engage in it. It demonstrates that medical students performed better after PAL interventions compared with non-PAL interventions, with the effect being most pronounced in students in the clinical years of training during the acquisition of practical clinical skills. This effect was maintained in the medium term. Ultimately, the study provides encouraging evidence to suggest that the formal integration of PAL in medical student curricula supports both the development of teaching skills and confers a measurable improvement in academic performance, particularly in clinical skills, which are maintained in the medium to long term.

© 2021 Association for the Study of Medical Education and John Wiley & Sons Ltd.

수행능력저하를 믿지 않는 것에서 실패를 인식하기까지: 티핑 포인트 모델(Med Educ, 2021)
The shift from disbelieving underperformance to recognising failure: A tipping point model
Andrea Gingerich1 | Stefanie S. Sebok-Syer2 | Lorelei Lingard3 | Christopher J. Watling3

1 도입
1 INTRODUCTION

[Fail해야하는 수련생을 만나는 것]은 많은 감독관들에게 엄중한 시험이다. 슈퍼바이저가 테스트에 어떻게 반응하는지는 훈련생에게 매우 중요하며 치명적일 수 있습니다. 또, 업무량이나 감정에 미치는 영향을 생각하면, Fail을 보고하는 감독관에게도 영향이 크다. 부정적인 후폭풍을 먼저 고려한다면, 수습생의 실적 실패를 보고하지 않는 것은 평가 프로세스에 참여하는 것을 꺼리는(또는 원치 않는) 것으로 간주됩니다. 이에 대응하기 위한 방법으로 양식을 수정하는 것부터, 시스템을 재구성하는 것에 이르기까지 다양한 변화들이 평가 디자인에 통합되었다.

• [평가 양식 수준의 대응책]으로는 부정적인 평가 판단을 기록하는 더 힘든 작업을 피하기 위해 [감독관이 실습생에게 제공한 면밀한 감독을 기록하도록 하는 것]이 포함된다. 예를 들어, 감독자는 O-SCORE(Ottawa 수술 능력 수술실 평가) 척도의 '설득' 등급을 선택하는 것을 Mini-CEX(Mini Clinical Evaluation eXercise) 척도의 '불만족' 등급을 지정하는 것보다 덜 꺼릴 수 있습니다.
• [평가 시스템 수준의 대응책]은 평가 데이터 제공자 및 진행 의사결정자로서 동시에 기능해야 하는 압박을 완화하기 위해 [평가 순간을 의사결정 순간과 분리하는 프로그램적 평가 접근법]을 포함한다. 예를 들어, 감독자는 다른 많은 평가와 결합되어 진행 결정을 내리기 위해 다른 이해관계자가 사용하는 저부담 평가에 대해 추가적인 개선이 필요한 영역을 덜 꺼릴 수 있으며, 훈련 중인 평가 보고서 하나를 제출하여 수습자의 진행을 중단시키는 것보다 덜 꺼릴 수 있다.

Coming face to face with a trainee who needs to be failed is a stern test for many supervisors. How supervisors respond to the test is highly consequential, and potentially catastrophic, for the trainee. It can also be consequential for the supervisor, many of whom report workload and emotional repercussions that interfere with assessment demands.1-6 When negative repercussions are prioritised, not reporting a trainee's failing performance becomes framed as reluctance1, 6-19 (or even unwillingness)20, 21 to engage in the assessment process. In response, countermeasures to reluctance have been incorporated into assessment designs with changes that range from revised forms through to reconfigured systems.

• Countermeasures on assessment forms include having supervisors record the close supervision they provided for a trainee during a task to avoid the more daunting task of recording negative evaluative judgements.22 For example, supervisors may be less reluctant to select the ‘talk them through’ rating on an O-SCORE (Ottawa Surgical Competency Operating Room Evaluation) scale23 than to assign an ‘unsatisfactory’ rating on a Mini-CEX (Mini Clinical Evaluation eXercise) scale.24 
• Countermeasures in assessment systems include the programmatic assessment approach of separating assessment moments from decision moments to relieve the pressure of simultaneously functioning as the assessment data provider and the progression decision maker.25 For example, supervisors may be less reluctant to note domains requiring further improvement on a low stakes assessment that is combined with many other assessments and used by other stakeholders to make progress decisions,26 than to stop a trainee's progression by submitting a single ‘unsatisfactory’ in-training evaluation report.27 

그러나 이러한 대응책은 여전히 개별 감독관이 평가 데이터와 유사한 개인으로 구성된 위원회가 교정조치 의무화, 진행 변경 또는 프로그램 연습생 퇴출에 큰 위험을 수반하는 결정을 내릴 때 중요한 의견을 제공한다. 다양한 대책을 시도한 것의 증거는 긍정적이지만, 여전히 [관습적 tick-boxing]이나 [토큰 코멘트]가 확인되고, 이는 중요한 평가 정보가 항상 제공되지는 않을 수 있음을 시사한다. 

However, these countermeasures still rely on individual supervisors to provide critical comments as assessment data and committees composed of similar individuals to make high stakes decisions to mandate remediation, alter progression, or remove a trainee from a programme. Although early evidence from the implementation of various countermeasures is promising,28-30 findings of bureaucratic tick-boxing and token comments suggest that important assessment information may not always be provided.28, 30-32

[수련생을 fail시키는 것에 대한 감독관의 거부감]을 탐색하는 이전 작업은 감독관에 의해 보류된 평가 정보를 수집하기 위한 해결책을 찾는 데 도움이 됩니다.

• [프로세스의 초기 단계]는 실패가 감지되고, 특징지어지고, 확인되는 중요한 순간이지만, 여기에 대한 관심은 적습니다.
• 최근의 작업에서는, 상사가 어떻게 실적이 저조한 연수생을 인식하는지를 보다 잘 이해하려고 노력했습니다.또, 상사가 예기치 않은 실적 저하의 징후에 직면했을 때에, 불신하는 시기phase of disbelief을 특정했습니다.
  • 이러한 불신disbelief은 수행능력이 저조한 훈련생을 만났을 때의 놀라움이나 당혹감과 관련이 있다.
  • 수행능력이 저조한 간호대생에 대해 간호교사가 경험하는 불안하고 불편한 직감과 현저하게 유사했다.
  • 감독관은 수련생을 의심하기도 하지만, 흔히 그렇듯이, 그들은 또한 그들이 목격한 것을 이해하기 위해 추가적인 관찰을 수집하는 경향도 있었다.
• [불신하는 것]에서 [수행능력 저하를 인정하는 것]으로의 이행은 수련생(또는 수련생의 부족한 영역)이 교육에 얼마나 반응하는지에 따라 결정되며, 동시에 계속적이고 강화된 감독 노력이 무의미할 것이라는 깨달음과 일치한다.
• 그러나, [수행능력 저하의 불신]에서 [실패의 인정]으로의 전환은 충분히 탐색되지 않았다.

Previous work exploring supervisors' reluctance to fail trainees helpfully invites solutions for gleaning assessment information withheld by supervisors.1, 2, 16, 19, 20, 33, 34 Less attention has been directed to earlier phases of process—those critical moments where failure is noticed, characterised and confirmed. In recent work, we sought to better understand how supervisors recognise trainees who are underperforming and we identified a phase of disbelief as supervisors encountered unexpected signs of underperformance.35 This disbelief was related to surprise or bewilderment at encountering an underperforming trainee and was strikingly similar to the unsettling and uncomfortable gut feelings experienced by nursing instructors while interacting with underperforming nursing students.36 Although supervisors tended to give the trainee the benefit of the doubt, as is common,6, 8, 12, 16, 37, 38 they were also inclined to gather additional observations to make sense of what they were seeing.35, 36 The shift from disbelieving to recognising underperformance hinged on perceiving how responsive the trainees (and the deficits) were to teaching and coincided with a realisation that continued, intensified supervisory efforts would likely be futile.35 However, the shift from disbelieving underperformance to recognising failure has been underexplored.

이러한 변화는 결국 [실패의 증거를 보고할 것인지에 대한 의사결정]을 초래하는 더 큰 과정 내에 존재하는 특정한 측면이지만, 평가 프로세스에 대한 참여를 개선하기 위해서는 이해하는 것이 매우 중요합니다. 실패는 드문 일이기는 하지만 실제로 일어났을 때는 매우 중요하며, 발생했어야 했지만 발생하지 않았을 때는 더욱 중요하기 때문에 신중한 연구가 필요합니다. 따라서 본 연구에서는 다음과 같은 질문을 합니다. 슈퍼바이저는 Failure를 어떻게 인정하게 되는가? 특히, [수행능력 저하의 초기 징후를 믿지 않는 것]으로부터 [수련생의 실패를 인정하는 것]으로의 이행에 대해 검토하기 위해서, 가장 역량이 저조한 수련생과 협업한 경험을 설명하도록 감독자를 초대했다.
Although this shift is a specific aspect within the larger process that eventually results in decisions about reporting evidence of failure, it is a critical aspect to understand in order to improve engagement in assessment processes. While failure is admittedly rare, it is so consequential when it does occur—and perhaps even more so when it should have occurred but does not—that it demands careful study. Therefore, in this study we ask the question: How do supervisors recognise failure? In particular, we invited supervisors to describe their experiences working with the least competent trainees to examine the shift from disbelieving early signs of underperformance to recognising failure.

2 방법
2 METHODS

2.1 개요
2.1 Overview

이 연구는 감독관들이 [무역량incompetence을 보여주는 훈련생들을 어떻게 평가하는지]를 조사하는 연구 프로그램 내에 위치하고 있다. 우리의 초기 연구는 특별히 실패를 인식하는 데 초점을 맞추지 않았다. 그러나 우리는 장기간의 교정조치 및 프로그램에서 해고되는 동안 심각한 underperformance을 인식하는 것과 관련된 몇 가지 주제를 식별했다. 그 후 목적적이고 이론적인 표본 추출을 사용하여 의사 상사의 추가 모집과 함께 이러한 연구되지 않은 주제를 조사했다. 이와 같이, 이 연구는 감독관이 저조한 성과를 인식하는 방법을 탐색하기 위해 이전에 수집된 데이터와 새로운 데이터를 결합하여, underperforming 훈련생이 진급하도록 둬서는 안 되며, 유급시킬 필요가 있다는 것을 어떻게 인식하는지 더 잘 탐색한다. 실적 저하의 불신의 징후에서 실패를 인식하는 것으로의 이행에 초점을 맞추고 있는 것은, 상사가 다른 사람과 교류하면서 어떻게 생각하는지를 연구하는 것입니다. 우리는 구성주의 기반 이론 방법론(CGT)을 사용하여 개별 감독자가 사회적 맥락의 규칙과 기대에 따라 다른 감독자와 상호작용할 때의 경험에 초점을 맞추도록 데이터 수집과 분석을 안내했다. 이 프로젝트는 Northern British Columbia 대학의 연구 윤리 심사 위원회로부터 승인을 받았습니다.

This study is situated within a programme of research investigating how supervisors assess trainees who demonstrate incompetence. Our earlier study was not focused specifically on recognising failure; however, we identified some themes related to recognising profound underperformance during prolonged remediation and dismissals from programmes. We subsequently investigated these underexplored themes with additional recruitment of physician supervisors using purposive and theoretical sampling. As such, this study combines data collected previously to explore how supervisors recognised underperformance with new data collected to better explore how they recognised that an underperforming trainee should not be allowed to progress and needed to be failed. Our focus on the shift from disbelieving signs of underperformance to recognising failure involves studying how supervisors think while interacting with others. We used constructivist grounded theory39 methodology (CGT) to guide data collection and analysis to focus on the experiences of individual supervisors as they interact with others according to the rules and expectations of social contexts. This project received approval (E2018.0613.065) through the University of Northern British Columbia's research ethics review board.

2.2 참가자 및 모집
2.2 Participants and recruitment

2018-2019년에 캐나다 브리티시 컬럼비아의 비수술 전문 분야 의사 22명을 인터뷰한 결과, 학습에 관여할 수 없거나 학습에 관여하지 않아 불안정한 진행이 정체된 것으로 나타났다. 앞에서 기술한 바와 같이, 우리는 추가적인 데이터 수집에 관여함으로써, 감독관이 현저하게 실적이 저조한 훈련생과 어떻게 작업하고 있는지, 그리고 훈련생의 성과가 실패했을 때 어떻게 그들이 인지하게 되는지에 대한 이해를 깊게 하기로 결정했다. 원참가자 대부분이 여성이고 모두 비외과 전문직이었기 때문에, 우리는 남성참가자와 외과 및 시술 우위의 전문직 종사자를 대상으로 신규 모집 노력을 집중했다. 우리는 주요 정보 제공자와 눈덩이 표본을 사용하여 4년제 의과대학 프로그램 또는 대학원 레지던트 프로그램 중 하나에서 임상 환경에서 훈련생에게 실패하거나 교정한 경험이 있는 의사를 식별하고 초대했다. 우리는 다양한 전문성, 임상 환경 및 관점의 변화를 극대화하기 위해 주 전역에 분산된 수많은 브리티시컬럼비아 대학(UBC) 의학부 사이트에서 감독에 대한 다양한 수준의 경험을 가진 참가자를 찾았다. 

In 2018–2019, we interviewed 22 physicians from non-surgical specialties in British Columbia, Canada, and characterised underperformance as stalled progression due to the inability to engage in learning or precarious progression due to unwillingness to engage in learning.35 As noted previously, we decided to deepen our understanding of how supervisors experience working with markedly underperforming trainees and how they come to recognise when a trainee's performance merits failure, by engaging in additional data collection. Since the majority of the original participants were female and all were from non-surgical specialties, we concentrated new recruitment efforts on male participants and those from surgical and procedurally dominant specialties. We used key informants and snowball sampling to identify and invite physicians with experience failing or remediating trainees in the clinical setting, in either the 4-year medical school programme or in one of the postgraduate residency programmes. We sought participants with varying levels of experience with supervision from diverse specialties, clinical settings and numerous University of British Columbia (UBC) Faculty of Medicine sites distributed across the province to maximise variation in perspectives.

2019년 5월부터 2020년 1월 사이에 20명의 의사(남성 7명)를 추가로 모집하고 면접했으며, 이 중 13명이 외과 또는 프로시져 중심의 전공 출신이었다. 따라서 최종 참가자 샘플은 17개 전문분야를 대표하는 42명(남성 11명)의 참가자로 구성되었다. 총 28명의 참가자는 의료 전문 분야(예: 가정의학, 내과, 정신의학, 종양학)였고, 14명의 참가자는 외과 또는 시술 지배적 전문 분야(예: 정형외과, 산부인과 및 산부인과 및 응급의학)였다. 농촌, 북부, 원격 지역사회에서 실습한 참가자(20명)  또는 캐나다 브리티시컬럼비아주의 대도시(22명)에서. 임상 감독관 역할의 모든 경험을 공유했습니다.또한 17명의 참가자가 리더 역할의 경험을 공유했습니다. 리더십 역할의 경험에는, 큰 리스크의 진행에 관한 의사결정에 공헌했습니다. 대다수의 사람들은 그들의 리더 역할을 'programme director'라고 명명했고, 우리는 그들의 정체성을 보호하기 위해 이 용어를 모든 리더 역할을 지칭하는 데 사용합니다.

Between May 2019 and January 2020, we recruited and interviewed an additional 20 physicians (7 male) of whom 13 were from surgical or procedure-dominant specialties. The final participant sample thus consisted of 42 participants (11 male) representing 17 specialities/subspecialties. A total of 28 participants were from medical specialities (e.g. family medicine, internal medicine, psychiatry, medical oncology), and 14 participants were from surgical or procedure-dominant specialties (e.g. orthopaedics, obstetrics and gynaecology and emergency medicine). Participants practised in rural, northern and/or remote communities (20); or in large metropolitan cities (22) in the province of British Columbia, Canada. All shared experiences from a clinical supervisor role; 17 participants also shared experiences from a leadership role that involved contributing to high stakes progression decisions. The majority named their leadership role ‘programme director’, and to protect their identity, we use this term to refer to all of the leadership roles.

2.3 데이터 수집
2.3 Data collection

CGT 방법론에 따라 인터뷰 프로세스에 대해 반복적인 접근법을 취했습니다. 처음 22번의 인터뷰에서는 임상 작업장에서 실적이 부진한 연수생을 감독한 경험을 모집하는 것으로 시작했습니다. 'incompetent'과 'incompetence'라는 용어의 사용에 대한 부정적인 반응으로 인해, 우리는 다양한 용어를 시도하고, 성과가 낮은 훈련생에 대한 대화를 이끌어내기 위해 촉구했습니다. 고군분투하는 훈련생과 저조한 훈련생에 대한 충분한 데이터가 있었기 때문에, 후자의 20개의 인터뷰는 실패를 고려해야 할 상황을 가장 많이 나타낼 가능성이 있는 극단적인 성과 저하의 사례에 초점을 맞췄습니다. 인터뷰 질문은 참가자들을 초청하여 의대생과 레지던트들을 감독한 경험을 공유하도록 했다. 이들은 상당히 성과가 저조하고 광범위한 교정조치가 필요했으며 징계조치를 발동했거나 프로그램 탈퇴를 요구받았어야 했다.

Following CGT methodology, we took an iterative approach to the interview process. We began by inviting experiences with supervising underperforming trainees in the clinical workplace in the first 22 interviews. Due to negative reactions to our use of the terms ‘incompetent’ and ‘incompetence’,35 we tried various terms and prompts to elicit conversation on underperforming trainees. As we had sufficient data describing struggling and underperforming trainees, the latter 20 interviews focused on the more extreme cases of underperformance that had the most potential to be indicative of situations where failure should be considered. Interview questions invited participants to share their experiences supervising medical students and residents who profoundly underperformed, required extensive remediation, invoked disciplinary actions or were asked (or should have been asked) to leave the programme.

분석은 반복적 사이클을 통해 데이터 수집에 정보를 제공하였다. 부록 1에서 설명한 바와 같이, 반구조적인 인터뷰 가이드의 4회 반복은 매우 성과가 없는 훈련생에 대한 풍부한 설명을 도출하는 데 초점을 맞추고 있습니다. 

• 슈퍼바이저에게 미치는 실질적인 영향에 대한 대화를 강조하기 위해 
  
• 불합격 훈련생에 대한 경험을 말로 표현하도록 감독관에게 장려하고 
  
• 불합격 또는 불합격하지 않은 훈련생에 대한 설명을 초대합니다. 

인터뷰는 평균 51분(37~68분 범위)을 전화 또는 직접 실시했으며, 음성녹음, 전문 전사자에 의해 기록되고 분석 전에 비식별되었다. 

Analysis informed data collection through iterative cycles. As depicted in Appendix 1, the four iterations of the semi-structured interview guide evolved from a focus on eliciting rich descriptions of profoundly underperforming trainees,

• to emphasising conversation about the substantial impacts on the supervisor,
• to encouraging supervisors to put their experiences with failing trainees into words and
• through to inviting descriptions of failing, or not failing, underperforming trainees.

Interviews averaged 51 min in duration (ranging from 37–68 min) were conducted by telephone or in-person, audio-recorded, transcribed by a professional transcriptionist and de-identified prior to analysis.

2.4 데이터 분석
2.4 Data analysis

• 불합격 훈련생과 관련된 최초 22개 면접에서 식별된 예비 코드는 후속 면접을 위한 데이터 수집에 사용되었습니다.
  
• 주요 주제와 개념에 라벨을 붙인 초점focused 코드를 식별하기 위해 분석된 3~6개의 인터뷰 사이클마다 후속 20개의 인터뷰 분석이 반복되었다.
  
• 전체 연구팀은 매 주기 후에 만나 인터뷰 데이터에 대해 논의하고, 테마를 식별하며, 감독관의 Failure 인식과 인식된 failure에 대한 대응에 라벨을 붙인 진화하는 코드를 수정했다.
  
• CGT에 따르면, 우리는 참가자가 공유한 콘텐츠, 사용하는 언어, 그리고 그 정보를 공유하는 방법에 주의를 기울임으로써 발전된 참가자의 관점에 대한 우리의 이해에 라벨을 붙임으로써 데이터에서 무슨 일이 일어나고 있는지를 정의하기 위해 코드를 사용했다.40 
  
• 상세한 언어 분석을 완료하지는 않았지만, 우리는 문자록의 두드러진 언어적 특징을 코드화하고, 음성으로 볼륨, 망설임, 감정을 코드화하기 위해 녹음을 들었다.
  
• 42개의 스크립트 세트 전체에 걸쳐 지속적인 비교를 사용하여 코드를 재방문, 확장 및 개선했습니다.
  
• 코딩 프레임워크는 인터뷰 38회 이후 데이터를 충분히 요약하였고, 마지막 4개의 인터뷰는 식별된 개념을 보강, 상세화, 명확화하는 데 사용하였다. 
  
• 그런 다음 이론 코드를 식별하기 위해 집중된 코드로 나타나는 링크와 패턴을 논의했다. 이론 코드는 데이터를 넘어서도 여전히 기초가 되는 해석을 나타냅니다.40
• The preliminary codes identified in the first 22 interviews that pertained to failing trainees were used to inform data collection for the subsequent interviews.
• Analysis of the subsequent 20 interviews continued iteratively with each cycle of 3–6 interviews analysed to identify focused codes that labelled the major themes and concepts.
• The full research team met after each cycle to discuss the interview data, identify themes and modify the evolving codes that labelled supervisors' recognition of failure and responses to recognised failure.
• As per CGT, we used the codes to define what was happening in the data by labelling our understanding of the participants' perspectives that was developed by attending to the content that they shared, the language they used and how they shared that information.40 
• Although we did not complete a detailed linguistic analysis, we did code for salient linguistic features41 in the transcripts and listened to the recordings to code for volume, hesitation and emotion in the spoken words.
• We used constant comparison across the entire set of 42 transcripts to revisit, expand and refine the codes.
• The coding framework sufficiently summarised the data after 38 interviews with the last 4 interviews reinforcing, elaborating and clarifying the identified concepts.
• We then discussed the links and patterns represented by the focused codes to identify theoretical codes. The theoretical codes represent an interpretation that extends beyond, and yet is still grounded in, the data.40

CGT에서, 의미는 연구자들의 다양한 관점과 참여자 및 데이터와의 상호작용을 통해 구성된다. 따라서, 우리 팀은, 지도·임상 학습 상황(AG, CW, LL), 평가·평가자(AG, SS-S), 사회인지(AG), 언어학(LL), 대학원장(CW)으로서 연수생을 감독하고, 감독자를 감독하는 생활 경험(생계)에 의한 전문지식 분석을 실시했습니다.

In CGT, meaning is constructed through the differing perspectives of the researchers and through their interaction with the participants and the data.40 As such, our team engaged with analysis drawing on their expertise with studying supervision and clinical learning contexts (AG, CW, LL), assessment and raters (AG, SS-S), social cognition (AG), linguistics (LL) and lived experience supervising trainees and overseeing supervisors as postgraduate dean (CW).

토론에서는 각 연구자의 관점이 데이터 해석에 어떻게 기여했는지에 대한 성찰성reflexivity이 포함되었다. 예를 들어, 팀의 한 구성원은 처음에 학습자로서, 그 다음에는 감독자로서, 그 다음에는 리더로서 의학 교육을 경험했습니다. 그는 학습자로서는 실패나 교정을 경험하지 않았지만, 감독자로서, 그리고 교육 프로그램의 감독 책임을 지는 리더로서도 경험했습니다. 그는 자신의 경험을 연구팀과 공유했고, 우리는 학습자를 지원하는 교육 책임과 안전한 경우에만 학습자가 진보할 수 있도록 하는 사회적 책임 사이의 긴장에 대해 정기적으로 성찰했다. 팀의 비임상사들은 이러한 긴장감을 더욱 맥락화하기 위해 환자와 환자의 가족으로서의 기대와 교육자로서의 경험을 성찰했다.

Discussions included reflexivity on how each researcher's perspective contributed to interpretation of the data. For example, one member of team has experienced medical training first as a learner, then as a supervisor and then as a leader. While he did not experience failure or remediation as a learner, he did as a supervisor and even more so as a leader with responsibility for oversight of training programmes. He shared his experiences with the research team, and we reflected regularly on the tension between the educational responsibility to support learners and the social responsibility to ensure that learners only progress if it is safe for them to do so. The non-clinicians on the team reflected on their expectations as patients and as family members of patients, as well as on their experiences as educators, to further contextualise this tension.

성찰성 토론은 집행된 연구 방법에 대해서도 정밀히 조사했다. 예를 들어, 우리는 음성 인터뷰 질문이 참가자들이 특정 언어를 사용하거나 특정 반응을 이끌어내지 않았는지 확인하기 위해 녹취록을 검토했다. 메모는 데이터 수집에 관한 결정을 기록하고 감사 추적 역할을 하기 위해 사용되었습니다. 분석 과정 동안 데이터에 대한 우리의 진화된 이해를 기록하기 위해 메모를 사용했습니다. 데이터 관리 및 코딩에는 NVivo 소프트웨어 버전 11(QSR International Pty Ltd, Chadstone, Victoria, Australia)을 사용했습니다.

Reflexivity also included scrutiny of the enacted research methods. For example, we reviewed transcripts to verify that the spoken interview questions did not lead participants to use particular language or elicit specific reactions. We used notes to record decisions regarding data collection and to serve as an audit trail. We used memos to record our evolving understanding of the data during the analytic process. We used NVivo software version 11 (QSR International Pty Ltd, Chadstone, Victoria, Australia) for data management and coding.

참가자는 전문을 내과계열의 경우 'M' 또는 외과계열 또는 시술중심 계열의 경우 'S'로 표기하고, 그 뒤에 면담 순서를 나타내는 번호를 붙인다.

Participants are referred to by a letter to indicate their specialty as ‘M’ for medical or ‘S’ for surgical or procedure-dominant followed by a number to indicate their interview sequence.

3 결과
3 RESULTS

상사의 경험에 따르면, 실패를 인식하는 것은 실패를 나타내는 '의심할 수 없는' 직장에서의 성과 실패 패턴을 감지함으로써 '의심의 이점'을 극복하는 것이다. 우리는 우리의 조사와 관련된 세 가지 측면에 대한 조사 결과를 제시한다.

• 먼저, 실패를 나타내는 연습생의 performance 패턴patterns 을 기술함으로써 실패로 인식되는 것을 제시한다.
  
• 그런 다음, 성적 부진한 훈련생과 함께 작업한 경험과 실패를 인식하면서 감독관들이 어떻게 감정을 표현하는지express emotion  제시한다.
• 마지막으로, 실패에 대한 인식이 슈퍼바이저와 슈퍼바이저-트레이닝의 관계를 넘어 동료와의 검증 및 합의 구축building consensus 에 어떻게 영향을 미치는지 제시합니다.

According to supervisors' experiences, recognising failure involves overcoming the ‘benefit of the doubt’ by detecting patterns of failing performance in the workplace that are ‘beyond a doubt’ indicative of failure. We present the findings for three interrelated aspects of our inquiry:

First, we present what is recognised as failure by describing the patterns of trainee performance indicative of failure.

Then, we present how supervisors express emotion while recounting their experiences of working with underperforming trainees and recognising failure.

Finally, we present how recognition of failure extends beyond the supervisor and supervisor-trainee relationship to involve verifying and building consensus with colleagues.

3.1 패턴 식별
3.1 Identifying patterns

의료 및 외과 전문 분야의 감독자들은 성적이 저조한 훈련생들을 처음 접했을 때, "기본적인" 기술인 "최소한의 일"을 할 수 없는 고년자 레지던트들을 "이해할 수 없었다"고 불신하는 단계를 묘사했다(S35). 프로그램 디렉터는 감독관이 "교대 2일째"에, 예를 들어 레지던트 프로그램에 전념하고 있는 지적으로 여겨지는 훈련생이 실적이 저조하다는 것을 알게 되었을 때 "믿을 수 없다"고 말할 것이라고 말했습니다(M26). 
나는 앉아서 환자들에게 그녀의 설명을 들었다. 나는 부정확한 정보에 놀랐다. 정보의 전달 방법에 놀랐다(S30). 그들은 이 단계에서 훈련생에게 의심을 품게 되었지만, 그들이 보고 있는 것을 이해하려고 노력했기 때문에 관찰 내용을 문서화하는 것을 거부했습니다.

Supervisors across medical and surgical specialties described a phase of disbelief when first encountering underperforming trainees: ‘it's just baffling to me’ when upper year residents cannot do ‘some bare minimum things’ that are ‘basic’ skills (S35). Programme directors shared that supervisors called them “on day two of the rotation and they will say ‘I just can't believe this’” (M26) when they discovered, for example, that a trainee who was considered to be intelligent and dedicated to the residency programme was underperforming: ‘I sat down and listened to her explanation to the patients. I was surprised with the inaccuracy of information. I was surprised with the way the information was delivered’ (S30). They gave the trainee the benefit of doubt during this phase and resisted documenting observations as they were trying to make sense of what they were seeing:

'제가 말씀드렸듯이, 그가 과도기를 거치고 적응하는 것을 제가 좀 더 일찍 제안했던 적이 있습니다. 왜냐하면 저는 그것이 제가 공식적인 평가를 해야 할 기준을 충족시키지 못한다고 느꼈기 때문입니다. 우리는 항상 그 후에 이야기했지만, 그 상호작용을 꼭 문서화하지는 않았다.' (S42)
‘There were some times early on where I kind of put it up to, as I say, him going through that transition phase and kind of settling in, if you will, because I just felt like it didn't quite meet the bar that I needed to trigger a formal assessment. We always talked about things afterwards but not to necessarily write it down on paper with those interactions.’ (S42).

[underperformance를 불신하게 하는 징후]에서 [실패를 인식하는 것]으로의 전환하는 과정에는 반드시 [실패를 보여주는 underperformance의 식별]을 감독관이 수행해야 하는 필요성이 포함된다. 이들은 사고 발생 빈도, 일관성 및 규모를 수치화하여 고장을 특징지었다. 
「내가 몇번이나 보여주려고 했던 방식대로 하지 않는 것을 반복한다」(S35). 프로그램 디렉터는 피드백을 받았음에도 불구하고 여러 감독관의 보고서를 통해 실패를 수량화함으로써, 종종 서로 다른 맥락으로 다른 사건을 기술함으로써 유사한 특징을 보였다. 즉, '반복적인 순환이 그와 함께 어려움을 겪고 있다'(S28), '나는 사람들이 [프로그램으로 보고한 모든 구두 불만을 정리했다.이 10쪽짜리 편지를 썼어' (M29) 그 때문에, 「패턴을 찾을 수 없었다」(S25)는 「실패는 한 번만 일어난 것이 아니다」(S25)와 함께, 「어떤 이유에서는 말할 수 없다」(S30), 「감독이 불가능하다」(M36), 「완전히 이해할 수 없다」(M6), 「배우는 능력이 없다」(S34), 「절대로 배우지 못할 것이다」(10)라고 판단한다.

The shift from disbelieving signs of underperformance to recognising failure necessarily includes the need for supervisors to identify underperformance that is representative of failure. They characterised failure by quantifying its frequency, consistency and magnitude across incidents: ‘repeatedly not doing something the way that I tried to show them numerous times how to do it’ (S35). Programme directors similarly characterised failure by quantifying it through reports from multiple supervisors, often in different contexts, describing different incidents, over time, despite receiving feedback: ‘repeated rotations having difficulty with him’ (S28) and ‘I compiled all the verbal complaints that people had [reported to me as program director] and wrote him this 10 page letter’ (M29). Therefore, recognising failure hinged on finding ‘a pattern, it didn't just happen once’ (S25) along with a determination that the trainee is ‘for some reason unteachable’ (S30), ‘unsupervisable’ (M36) and ‘completely unfixable’ (M6) because ‘they just couldn't do it’ (S34) and ‘just couldn't learn’ (M10) ‘so they're not going to learn it’ (M13).

실패가 어떻게 인식되는지에 대한 설명에서 압도적인 증거, 엄청난 오류 및 외부인으로부터 얻은 통찰이라는 세 가지 패턴을 식별했다. 

We identified three patterns within the descriptions of how failure was recognised: overwhelming evidence, egregious error and outsider's insight.

[압도적인 증거 패턴]은, 「지속적인 곤란」과 「부적절한」기술의 반복 시연(S24)을 특징으로 하고, 「그때까지 빵과 버터의 아이템으로서 익혔어야 했다」(M10). 패턴은 특정 도메인으로 제한되거나 글로벌할 수 있습니다. 
「전면, 준비중도 아니고, 관여중도 아니고, 기술력도 없다」(S35). 이것은 감독관과 프로그램의 압도적인 증거의 패턴이었다: '나와 모든 사람들이 그와 그의 능력에 대해 매우 우려할 정도로 그의 일을 정말로 하기에는 다면적인 실패가 있었다.' (S34).

The overwhelming evidence pattern features ‘persistent difficulty’ and ‘repeated demonstration of inadequate’ skills (S24) that the trainee ‘should've learned by then as a bread and butter item’ (M10). The pattern could be restricted to particular domains or be global: ‘it's the whole picture, it's not being prepared, it's not being engaged, it's not having any technical skills’ (S35). This was a pattern of overwhelming evidence compelling action from the supervisor and the programme: ‘there was a multifaceted failure on his part to really do the job to the point where I and everyone was very concerned about him and his abilities [… he was] the one we failed.’ (S34).

[심각한 오류 패턴]에서는 failure 인식은 당황스러운 오류 또는 누락의 발견으로 촉발되었습니다. 핵심 기술을 수반하는 대규모 사고 하나만으로도 이전에 성적이 저조하다고 분류되지 않은 훈련생에게도 실패를 나타내는 데 충분할 수 있습니다. 
「긴급하게도, 실제로는 나쁜 오퍼레이터는 아니고, 매우 좋은 사람이었습니다만, 나에게 있어서 너무나 명백하고 괴상한 것을 빠뜨린 것은, 큰 레드 플래그가 되어 난데없이 나타난 것입니다」(S37). 마찬가지로, 몇 가지 작고 용서할 수 있는 실수 뒤에 일어난 한 번의 터무니 없는 실수는 실패를 의미했다. 왜냐하면 그것은 환자의 안전을 위태롭게 하는 그들의 지식, 기술 또는 이해의 상당한 차이를 드러냈기 때문이다. '커리어-데미징' 세부사항(S37)이 훈련생들을 식별할 수 있기 때문에 여기에 구체적인 예를 포함할 수는 없지만, 이 감독관은 당신의 전문이 비행기 재건에 관한 것일 때 날개가 없다는 것을 깨닫지 못한 채 '본질적으로 날개 없는 비행기를 만드는 것과 같다'고 계속해서 설명했다. 훈련생이 자신의 행동의 중요성을 인식하지 못하는 것 같았을 때 실패를 문서화할 필요성이 증가하였다. 
"당신이 수술을 하려고 할 때 출혈을 일으켰을 때, 그는 '오야, 하지만 그건 정상이야'라고 말할 것입니다."(S39). 마찬가지로, 감독관들은 실수에 대해 적절한 후회나 후회를 보이지 않을 때 훈련생을 낙제시키는 과정에 더 관여하는 경향이 있다고 설명했습니다.
"[절대 이벤트에 대한] 피드백을 받는 것은 경솔한 성격이었기 때문에 "오 마이 갓, 내가 그렇게 했다는 것을 믿을 수 없어, 정말 미안해" (S25)가 아니었다." 하지만, 인식 부족과 반성의 부족은 드물고 예상치 못한 것으로 묘사되었다.

In the egregious error pattern, recognising failure was triggered by the discovery of a disconcerting error or omission. A lone incident of great magnitude that involved a core skill could be sufficient in indicating failure, even for a trainee who had not been previously classified as underperforming: ‘surgically, they were actually not a bad operator, and they were actually a very nice person, but missing something so obvious and egregious to me was a huge red flag and came out of nowhere’ (S37). Similarly, a single egregious blunder that followed several smaller and excusable mistakes signalled a failure, because it too revealed a substantial gap in their knowledge, skills or understanding that risked patient safety. Specific examples cannot be included here because the ‘career damaging’ details (S37) could identify the trainees, but this supervisor went on to explain that ‘essentially it's the same as building an airplane without wings’ without realising that it does not have wings when your speciality is all about rebuilding airplanes. The necessity to document failure was increased when the trainee seemed not to recognise the significance of their actions: “‘remember when you got into [iatrogenic] bleeding when you were trying to do the operations' and he would be like ‘oh ya, but that's normal’” (S39). Similarly, supervisors described being more inclined to engage in the process of failing a trainee when they did not show appropriate regret or remorse for the mistake: “it was this flippant nature to getting the feedback [on a never-event] so it wasn't like ‘oh my goodness I can't believe I did that, I'm so sorry’” (S25). However, lack of recognition and lack of remorse were both described as rare and unexpected.

세 번째 패턴은 다른 부서의 동료나 연수생 등 [외부인이 상사에게 귀찮은 경험을 털어놓음으로써 생겨난 인식]이며, 상사는 자신이 '미처 몰라보았던' 결손에 불을 붙였다(S42). 외부인의 통찰력은 레지던트가 겪고 있는 특별한 어려움에 관심을 끌었다. '[누락]은 주치의들에게 매우 걱정거리였다. 특히 내가 참석한 것은 아니었다.- '그거 알아, 이 남자는 그의 행동 때문에 안전하지 않다'고 말한 것은 가정의사였다(S38). 직접 경험해 본 사람이 즉흥적으로 한 말은 이전에 간과되었던 패턴을 제자리걸음을 하게 하고 조치가 필요하다는 것을 확인하는 듯했다. 
"이것은 우리에게 약간의 스펙트럼을 보여주는데 큰 도움이 되었고, 그가 더 많은 피드백과 지원을 필요로 하는 영역을 실제로 가지고 있다는 것을 인식시켰다."(S42)
The third pattern involved recognition sparked by having an outsider, like a colleague from another department or a trainee, divulge a troublesome experience to the supervisor that illuminated a deficit that they had been ‘a little bit blind to’ (S42). The outsider's insight drew attention to a particular difficulty the resident was grappling with: ‘[the omission] was so concerning to the attendings—it wasn't me [an obstetrics attending] specifically—it was a family doctor that said ‘you know what—this guy is unsafe’ because of his behaviour’ (S38). The off-the-cuff comment from someone with first-hand experience seemed to cause the previously overlooked pattern to click into place and to confirm that action needed to be taken: ‘it really helped show us a little bit of the spectrum and recognise that we really did have an area that he needed increased feedback and support’ (S42).

3.2 감정의 표현
3.2 Expressing emotion

우리가 감독관에게 그들이 처음 깨달은 것이 실패라는 것을 깨달았을 때, 그들은 그것을 정확히 지적할 수 없었고 말로 표현할 수 없었다: '완전히 기억할 수 없다. 잠깐... 하지만, 한 순간은 완전히 기억나지 않아요, 음... 그리고, 제 말은..." (M36) 예를 들어, 고객이 현재 인식하고 있는 것이 문제가 되어, 향후의 대처가 필요하게 될 가능성이 있다고 생각하는 방향으로의 전환의 힌트가 포함되어 있습니다.
When we pressed supervisors to go back to the moment when they first realised that what they were noticing was failure, they could not pinpoint it and could not put it into words: ‘I can't totally remember. One moment … but, you know, I can't totally remember one moment, ummm … and, you know, I mean …’ (M36). There were examples that contained hints of a shift towards thinking that something that they were noticing now may become problematic and need to be dealt with in the future:

'… 휴무일이나 산발적인 일회성 문제라기보다는, 개인적인 문제점에 가까웠기 때문에 계속 진행 중인 일이 아닐까 걱정했어요. 그래서 모르겠어요. 그녀는 이런 종류의 것들이 그녀의 길을 따라 올라오고 적응하면서 보상하고 배울 수 있을지도 모른다. 아니면, 더 좋은 용어가 없기 때문에, 기본적으로 사람들을 화나게 하고, 결국엔 부정적인 피드백과 프로그램에 의해 뭔가 더 큰 조치가 취해진다는 의견을 충분히 얻을 수도 있습니다.' (M13)
‘… with her I would worry that it's going to be something ongoing because it seemed more of a personality source of the problem than just an off-day or a sporadic one-time kind of thing. So, I don't know. She might be able to compensate and learn from these type of things as they come up and adjust in her way through. Or she might, you know, for lack of a better term basically piss people off all the way through and eventually gets enough negative feedback and comments that something—some bigger measure—is taken by the program.’(M13)

위의 인용문에 포함된 문구는 유일한 용도가 아닙니다. 「이 때문에 일을 망친 사람의 예」(M15)는, 「정말 좌우를 망쳤다」(S30)와 같이, 지극히 성적이 나쁜 훈련생의 묘사를 부드럽게 강조했다. 또, 「내가 왜 더 이상 이 일을 하고 있는지」(M27) 등, 「그것이 얼마나 화가 났는지」(M41) 등, 낙제하는 연습생을 감독하는 것에 대한 반응을 나타내는 데도 사용되었습니다. 일부는 갑자기 말을 끊고 어조와 단어 선택에 대해 사과했다. 
'… 그는 정말 심한 설사를 하고 있었습니다. 미안합니다만, 너무 심한 것 같습니다만, 그는 단지 입을 다물고 싶지 않을 뿐입니다」(M29) 또, 참가자는, 불합격의 연수생에 대한 경험을 이야기하면서, 목소리를 높였다. 예를 들어, 어떻게 연습생이 부정직하다고 판단했는지에 대해 이야기하면서, 「대부분의 경우는 거짓말을 계속하고 있을 뿐이고, 이것은 어려운 일입니다.」라고 하는 것은, 내가 바로 여기 있는 것 같기 때문에, 내가 모른다고 생각하는 것입니까(S39). 그들은 기만과 조작을 묘사할 때 목소리를 높였다. "저는 그들이 어디에 있는지, 글쎄요, 그들은 그저 독약처럼 병적인 존재라고 생각할 수 있습니다." 성격은 "오 마이 갓, 어떻게 당신은 의학에 들어갔나요?"와 똑같습니다." (M14) 또, 「감시」(M41)을 포함한 생생한 이미지를 사용해, 실적이 현저하게 저하하는 연수생이 자신에게 미칠 수 있는 영향을 전달했습니다.

The expletive in the above quote was not an isolated usage. Mild swearing accentuated the descriptions of profoundly underperforming trainees: ‘an example of somebody who has screwed up because of this’ (M15) as in ‘really screwing up left and right’ (S30). It was also used in expressing their reaction to supervising a failing trainee including: ‘wondering why the hell am I doing this anymore’ (M27) because of ‘how much that pissed me off’ (M41). Some abruptly stopped midsentence to apologise for their tone and choice of words: ‘… he had this very loquacious diarrhoea that would just—sorry, I'm sounding really awful, aren't I—but, he would just like not shut up …’ (M29). In addition, participants raised their voices while describing their experiences with failing trainees. For example, while sharing how they determined that a trainee was being dishonest: ‘most of the time they just keep lying—and this is the hard thing—and I find this so hard myself because I'm like I'M RIGHT HERE, DO YOU THINK I DON'T KNOW?’ (S39). They raised their voices when describing deception and manipulation: ‘I can think of 2, maybe 3 trainees, where they're—I don't know, pathological, like they're just poison—the personality is just like ‘OH MY GOD, HOW DID YOU GET INTO MEDICINE’ kind of thing’ (M14). They also used vivid imagery including allusions of being ‘persecuted’ (M41) to convey the impact that profoundly underperforming trainees could have on them:

'제가 선고받은 형량을 말씀드리죠. 직장에서 누군가를 지켜보고, 내내 움츠리고, 누군가 제 환자를 괴롭히는 것처럼 느껴지고, 말을 걸면 화가 나죠.' 이것이 제가 가장 두려워하는 것입니다. 그에게 6개월 동안 가르쳤다면 아마 정맥을 열었을 것입니다.'(36).
‘I'll tell you what I'm sentenced to—a six month period of time where in my workplace I'm watching someone, cringing the whole time, feeling as though someone is bullying my patients and if I talk to them they get angry with me—this is my worst fear […] and I would've probably opened a vein if I had to teach him for six months.’ (M36)

실패를 인식하는 구체적인 경험을 공유하면서, 가장 흔히 언급되는 감정은 좌절감이었다. 
'잘못된 결정을 내린 연습생에게 미안하지 않다'임상적 판단은 시간이 따라오는 것 같아요자신의 잘못을 깨닫고 아픈 환자에게 도움을 청할 수 있는 능력이 없는 것에 실망했다고 생각합니다.(M7) 실패하는 훈련생을 감독하는 것이 어떤 것인지 직접 물었더니 좌절감이 다시 일반적인 대답으로 나타났습니다. 
'답답하다, 좀 뜬다' (M18). 가벼운 욕설과 그 경험을 떠올릴 때 사용하는 언성이 합쳐진 것은 분노를 나타낸다는 것이 우리의 해석이었다.
The emotion that was most commonly named while sharing specific experiences of recognising failure was frustration: ‘I don't begrudge the trainee for making the wrong decision—I think clinical judgement, that comes with time—I think I was frustrated that they didn't have the ability to see the error in their ways and to call for help for a sick patient’ (M7). When we asked directly what it was like to supervise trainees who were failing, frustration again appeared as a common response: ‘it's frustrating, it's kind of eye-opening’ (M18). Our interpretation was that the combination of mild swearing and raised voices used while recalling those experiences was indicative of anger.

참가자들이 그들의 경험을 공유하는 또 다른 측면은 그들이 사용하는 언어의 뚜렷한 변화였다. 감독관은 현재의 확실한 상태에서 불합격하는 훈련생을 거칠고 분명한 말로 묘사하는 경향이 있었습니다. 
「재해였다」(M2) 「재해다」(M26) 「위험했다」(S28), 「전혀 부적절했다」(S30). 우리의 분석 결과, 그들이 자주 선택한 표현에는 부스터를 사용하는 것이 포함되어 있는 것으로 확인되었습니다. Hyland에 따르면, 부스터는 발언에 대한 확신, 자신감 및 헌신을 표현하기 위해 사용되는 커뮤니케이션 전략이며, 특정 가정이나 결론에 대한 지지를 설득력 있게 요청하기 위해 사용될 수 있다. 우리는 이 단락에서 제시된 인용문에 사용된 부스터의 예에 밑줄을 그었다. 감독관들은 '이 때문에 내가 소송을 당할까 봐' 고심했습니다. (M20) 정말 큰 실수였고 저는 정말 화가 났습니다.

Another aspect of how participants shared their experiences was a distinct change in the language that they used. Supervisors tended to describe failing trainees from a current state of certainty using harsh, unequivocal language: ‘It was a disaster’ (M2) ‘he's a disaster’ (M26) ‘he was dangerous’ (S28) and ‘entirely inappropriate’ (S30). Our analysis identified that their choice of phrasing frequently included the use of boosters. According to Hyland, boosters are a communicative strategy used to express conviction, confidence and commitment to a statement and may be used to persuasively solicit support for particular assumptions or conclusions.41 We have underlined examples of the boosters used within the quotes presented in this paragraph. Supervisors grappled with ‘fearing that I'm going to get sued because of this [omission by the resident …] was a really big miss and I was really upset by it’ (M20).

드물게 수습생의 행동이 감독자를 법적 절차에 참여시키는 '대형 소송'(M29)을 초래하기도 했다. 그러나, 그들은 수습생을 결정하는 것이 '환자 안전의 표준을 충족하지 못하고, 실제로 해를 끼치고 있다'고 강조하였다(S25). 실패에 대한 문서화가 필요했다. 
'환자에게 완전히 위험한 사람은 지나칠 수 없다'(M14). 그리고 환자와 직업에 해를 끼치지 않기 위해 실패를 보고하는 것이 그들의 의무가 되었다: '그것은 나의 의무이다. 즉, 해야 합니다. 그렇지 않으면 저는 학생을 실망시키고 public을 실망시키는 것입니다.(M16) 왜냐하면 '환자의 안전에 관한 우리의 책임은 명백하기 때문입니다'(M41) 변경 후, 유일하게 적절한 옵션은 드물고 어려운 옵션임에도 불구하고 '이 옵션에는 플래그를 붙여야 한다'(M31)였다. 
'내 커리어에서 나는 한 사람을 유급시켰으며, 그들은 정말 유급해야 한다고 생각한다.' (M36)

In rare cases, the actions of a trainee ‘prompted a huge lawsuit’ (M29) that involved the supervisor in legal proceedings. However, they emphasised that determining a trainee was ‘not meeting a standard of patient safety—it's actually causing harm’ (S25) necessitated documentation of failure: ‘I can't pass someone if they're downright dangerous to the patient’ (M14). It then became their obligation to report failure to prevent harm to patients and the profession: ‘that is my duty. That is, I have to. That's—otherwise I am letting down the student and I am letting down the public’ (M16) because ‘it's obviously our responsibility in terms of the safety of our patients’ (M41). After making the shift, the only appropriate option was ‘this one had to be flagged’ (M31), even though it was a rare and difficult option: ‘in my career I think I've failed one person and they really needed to be failed’ (M36). Such conviction may have been needed because reporting failure, and even underperformance, could come at a cost, such as having the trainee file ‘a complaint’ (M17) against them.

이러한 확신은 보고의 실패나 실적 저하는 수습생에게 '고발'(M17)을 하게 하는 등의 대가를 치르게 될 수 있기 때문에 필요했을 수 있다. 훈련생이 수행능력이 저조할 수 있다는 것을 처음 발견한 것에 대한 의구심을 채운 것과 대조적으로, 훈련생이 프로그램을 진행해서는 안 된다는 것을 인식한 것에 대한 설명은 확실성, 확고한 언어, 강렬한 감정, 그리고 잠재적인 피해를 방지해야 한다는 의무감으로 가득 차 있었다. 예측 가능한 비용에도 불구하고 조치를 취해야 합니다.
In contrast to the benefit of the doubt that filled their descriptions of first discovering that a trainee might be underperforming, the descriptions of having recognised that a trainee should not progress in the programme were filled with certainty, firm language, intense emotion and a sense of duty to prevent harm that held the potential to mobilise action despite foreseeable costs.

4 컨센서스 구축
4 BUILDING CONSENSUS

지금까지 우리는 상사에게 초점을 맞추어 실패에 대한 인식을 개인의 마음에서 주로 일어나는 것으로 제시해 왔지만 실패에 대한 인식에는 동료와의 사회적 상호작용도 포함되어 있었다. 특히 실패를 인식하기 위해서는 슈퍼바이저가 본 내용을 다른 사람과 논의하여 그 해석을 이해하고 검증해야 합니다. 그 후 실패가 인정되어 연수생의 다음 단계로 넘어가는 과정이 변경되었기 때문에 감독관, 부서 또는 위원회의 그룹 내에서 여러 사람의 합의가 필요했다. 이제 실패를 인식하는 [집합적 경험]에 초점을 맞춥니다. 프로그램 디렉터는, 「우리는 그것을 용인하지 않는다」(기간, 완전 정지)라고 하는 결정을 내린 시점(S34)에 이르렀다고 설명했습니다.왜냐하면, 「충분한 병리학적 문제가 될 것 같다」라고 하는 경우에는, 통상, 연수생을 포함한 모든 사람이 졸업하는 것보다, 그것들을 삭제하는 것이, 실제로 도움이 되기 때문입니다(S37).. 다만, 복수의 슈퍼 바이저로부터의 합의와 문서화가 필요했습니다.
Up until this point we have focused on the supervisor and presented recognition of failure as something that occurs mostly in the minds of individuals but recognising failure also included social interactions with colleagues. In particular, recognising failure involved supervisors discussing what they were seeing with others to make sense of it and to verify their interpretations. After that, having failure become recognised, so that a trainee's progression to the next phase was altered, required consensus across multiple people within a group of supervisors, department or committee. We now turn our focus to the collective experience of recognising failure. Programme directors described departments and committees reaching a point where they had decided ‘we're not going to tolerate it—period—full stop’ (S34) because when it is ‘pathological enough it's going to be a serious issue then it usually is actually better served for everybody, including the trainee, to remove them than to graduate them’ (S37). However, it required agreement and documentation from multiple supervisors:

'위험한 환자 치료를 제공할 수 있을 것 같은 정말 배신적인 훈련생에게 우리 모두는 책임감을 가지고 있고 종종 단결해서 그렇게 한다.' 즉, 우리는 의사 그룹 사이의 합의를 구한다는 것입니다. 그래서 '이 사람이 이 일을 했다'고 말하는 것은 단지 하나의 스승이 아닙니다. '너도 일주일 동안 그런 일이 있었니?' '응, 나도 그랬고 다른 동료도 그랬다.' 그래서 우리 셋이서 다 같이 하면 숫자에 있어서 강점이니까, 사실 의문을 가질 수가 없어. 만약 그것이 단지 어떤 것의 일회성이라면, 그것은 확실히 밝히기 어려울 것입니다.(S40)

‘For the truly treacherous trainee that I think would provide dangerous patient care, we all have that responsibility to stand forward and we often do that united. Meaning we look for consensus among our physician group so it's not just one preceptor saying ‘this one did this.’ It's a ‘did you have something like that in your week?’ ‘Yes, I had something too and so did one of my other colleagues', okay, so the three of us if we put it all down together, it's a strength in numbers, we can't really be questioned. If it's just a one-off of something, then it could be really hard to pin down.’ (S40)

이러한 실패에 대한 집단적 인식은 보다 면밀한 관찰이 필요한 훈련생에게 주의를 환기시키는 데 도움이 되었다. 그러나 '모두가 눈치채고 있었다'(M41)는 연수생의 평판이 감독 및 평가 방식에 영향을 미칠 수 있음을 인정하였다. 성적 부진한 연수생들은 감독 강화를 위해 감독자들 사이에서 논의되었다. 이것은 동료가 '교사와 토론하고 다른 교사들에게 이것이 일회성이 아니며 이 사람이 잠재적으로 위험하다는 것을 확실히 하기 위해'를 시작했을 때 비공식적으로 행해졌다(M12). 또한 심각한 사건에 대한 대응으로 프로그램 내에서 공식적으로 발생하였습니다. 
'누군가가 그 오류를 발견해 저지하지 않았다면 환자에게 나쁜 일이 일어날 수 있었기 때문에 훈련위원회와 어텐딩과의 큰 논의가 될 수 있었다.'(M5) 

This collective recognition of failure was helpful in bringing attention to a trainee who needed closer observation. However, when it was the case that ‘everybody was noticing’ (M41), it was acknowledged that the trainee's reputation could affect how they were supervised and assessed. Underperforming trainees were discussed among supervisors in order to provide increased supervision. This was done informally when a colleague initiated ‘discussing with the preceptors and making sure the other preceptors know this isn't just a one-off or that this person is potentially dangerous’ (M12). It also happened formally within the programme in response to a serious incident: ‘had someone not picked up that error and stopped it, something bad could've happened to the patient and so it became a big discussion within our training committee and with the attendings’ (M5).

감독관들은 특별한 주의가 필요한 시기를 논의했다. '현미경을 가지고 있으면 흔들기가 매우 어렵다'가끔은 정당하다고 생각한다.(M14). 연습생이 각별한 주의를 '부당한 대우'로 인식하는 것이 명확해진 사례도 있었지만(S22), 감독자와 프로그램은 이를 필요한 감독 및 적절한 피드백으로 해석하였다. 이러한 의견 차이는 일반적으로 훈련생이 피드백에 저항하고 있다는 인식과 관련이 있었습니다. 예를 들어, 프로그램 책임자와 토론할 때, 의대생은 '왜 실제로 그가 한 일이 옳은 일이었는지, [선입자들이] 잘못 해석했거나 이해하지 못했는지, 또는 그들이 틀렸고 그가 옳았다'고 설명할 것이다(S22). 이러한 행동은 '모든 사람이 실제로 능력 문제를 인식하지 않고 […] 나를 이해하려고 하는[…] 통찰력 부족에 기인하는 경향이 있습니다(S25).

Supervisors discussed times when the extra attention was deserved: ‘once you have a microscope on you it's very hard to shake the microscope—I think sometimes it's justified’ (M14). There were examples where it had become clear that the trainee perceived the extra attention as ‘being mistreated’ (S22), but the supervisors and programme interpreted it as necessary supervision and appropriate feedback. This difference of opinion commonly involved the perception that the trainee was being resistant to feedback. For example, when in a discussion with the programme director, a medical student would ‘explain why actually what he had done was the right thing to do and that [preceptors] had misinterpreted or they didn't understand or that they were wrong and he was right’ (S22). This behaviour tended to be attributed to ‘lack of insight [… with thinking] everybody is out to get me […] instead of actually recognising, no, there are some actual competency issues’ (S25).

또한 이러한 집단적인 관심으로 인해 훈련생이 개선을 쉽게 입증할 수 없는 상황이 발생할 수 있다. 감독관들은 '한번 실수하면 현미경 아래 있다가 갑자기 모든 것을 훨씬 더 가까이서 검사한다'(M19)고 인정했고, 이 특별한 주의는 훈련생들에게 스트레스를 주고 학습에 지장을 주었다. 이들은 '프리셉터와 레지던트 사이에 인격적 충돌이 있고 poor한 레지던트가 제대로 된 일을 할 수 없으며 모든 것이 문서화되어 있다'와 같이 특별한 관심이 정당화되지 않았다고 느끼는 사례를 공유했다(M2). 레지던트 프로그램 책임자는 자신이 처한 싱크홀로부터 벗어날 수 없다.소규모 학습 커뮤니티 내에서 '매우 무서운 사건'(S39)에 관여한다는 평판을 가진 전공의를 관리하는 것이 얼마나 어려웠는지 언급했다. 그것은 '이력을 모르는 사람들로부터 그들의 수술 능력에 대한 공정한 평가를 받기 위해 지방 밖으로 그들을 보내는' 등의 전략을 요구할 수 있다(S39)
The collective attention could also create situations where the trainee could not readily demonstrate improvement. Supervisors acknowledged that ‘once you've made a mistake, you're under a microscope and suddenly everything you do is examined that much closer’ (M19), and this extra attention caused stress for the trainee and interfered with their learning. They shared examples where they felt the extra attention was not justified, such as when there was a ‘personality conflict between the preceptor and the resident and that poor resident can't do anything right—and everything's documented—but this person can't emerge from the sinkhole that they've gotten into’ (M2). Residency programme directors discussed how difficult it was to manage residents with reputations for being involved with ‘very scary events’ (S39) within their small learning communities. It could require strategies like sending them ‘out of province to get a fair assessment of their operative skills from people that didn't know their history’ (S39).

심각한 성과 저하의 보증 실패에 대한 광범위한 인식에도 불구하고, 일부 훈련생은 로테이션에 실패하지 않았거나 프로그램에서 해고되지 않은 것으로 보고되었다. 불충분한 서류나 무력한 평가 과정이 그러한 교육생들을 졸업하게 하는 경우, 프로그램 디렉터는 "[… 이 전공의]가 합격하여 대중에게 공개되는 것에 대한 도덕적 고통"을 겪게 될 것이다(M29) 그러나 이는 '전공의가 심각한 문제라는 반박할 수 없는 증거가 있더라도 이들을 프로그램에서 완전히 빼내는 것은 매우 어려운 일이다(S37). 실패한 훈련생에 대한 경험은 정책, 커리큘럼 또는 평가에 대한 목표적이고 실질적인 변경을 통해 프로그램에 큰 영향을 미쳤다.
Despite widespread recognition of profound underperformance warranting failure, it was reported that some of the trainees did not fail the rotation or were not dismissed from the programme. When insufficient documentation or impotent assessment processes allowed such trainees to graduate, programme directors would experience ‘moral distress over [… this resident] passing and being released to the public’ (M29). But it happened because ‘even when there's irrefutable evidence that a resident is a serious, serious problem, getting them out of the program entirely is very, very difficult to do’ (S37). Experiences with failing trainees profoundly impacted programmes through targeted and substantial changes to policies, curricula or assessment.

5 토론
5 DISCUSSION

수련생을 낙제시키는 것은 쉽지 않다. '실패실패failure to fail' 현상에 대한 문헌은 감독관이 역할의 기대를 충족시키는 것을 꺼리는 것을 강조하는 경향이 있지만, 우리의 작업은 복잡하고 종종 힘든 집합적 프로세스에 상당한 깊이의 이해를 더합니다. 신뢰할 수 없는 저성능에서 실패를 인식하는 것으로의 전환에는 지속적이거나 교정되지 않는 수행능력 저하non-rectifiable underperformance의 패턴을 통해 그 규모 또는 확산성을 수량화함으로써 실패를 검증하는 프로세스가 수반된다는 것을 발견했다. 식별된 패턴에는 훈련생이 상당한 학습 격차를 드러내는 '터무니없는' 실수를 저질렀다는 것을 발견하고, 훈련생의 행동이 부적절하고 더 이상 무시할 수 없다는 것을 증명하는 공정한 동료로부터 보고서를 받고, 훈련생이 기대대로 행동할 수 없다는 것을 반복적으로 확인하는 것, 하면 안 될 것을 계속 하는 것이 포함된다. 모든 패턴은 훈련생이 감독이 있음에도 위험한 환자 치료를 제공할 위험이 있음을 나타냅니다. 그 시점에서, 감독자와 프로그램 디렉터는 환자와 직업에 대한 피해를 방지하기 위한 자신들의 의무를 견지하기 위해 훈련생이 실패하는 과정에 관여해야 한다고 느꼈다. 성과가 저조하다는 초기 징후를 믿지 않는 것에서 훈련생은 실패해야 한다는 인식으로 전환하는 과정을 더 자세히 설명하면 추가적인 통찰력을 얻을 수 있습니다.
Failing a trainee is not easy. While the literature on the ‘failure to fail’ phenomenon tends to emphasise supervisors' reluctance to fulfil the expectations of their roles, our work adds considerable depth of understanding to a collective process that is complex and often arduous. We found that the shift from disbelieving underperformance to recognising failure involves a process of verifying failure by quantifying its magnitude or pervasiveness through patterns of persistent or notorious and non-rectifiable underperformance. The identified patterns include discovering that a trainee had committed an ‘egregious’ blunder that reveals a substantial learning gap, receiving a report from an impartial colleague that verifies a trainee's behaviour is inappropriate and can no longer be ignored and repeatedly seeing that a trainee cannot do what was expected of them and/or continues to do what was not expected of them. All patterns signalled that the trainee was at risk of providing dangerous patient care, even with supervision. At that point, supervisors and programme directors felt compelled to engage in the process to fail a trainee to uphold their duty to prevent harm to patients and the profession.5, 6, 9, 10, 12, 16, 33 Additional insights can be gained by further elaborating the shift from not believing early signs of underperformance to recognising that the trainee should be failed.

5.1 고장 인식의 티핑 포인트 모델
5.1 A tipping point model of recognising failure

본 연구의 주요 기여는 patterns of failure이 비정상적인 소음이 아닌, 신뢰할 수 있는 신호credible signal로 어떻게 인식되는지를 조사하는 것이다. [믿을 수 없는 저성능]에서 [실패를 인식하는 것]으로의 전환은 [임계치를 넘은 것]과 비슷하며 티핑 포인트의 심리적 과정을 연상시킨다. [티핑 포인트]에 대한 연구는 [사회적 정보의 작은 변화도 어떤 사람을 한 범주에서 다른 범주로 전환하는 인상 업데이트에 혼합compound될 수 있다는 것]에 초점을 둔다. 티핑 포인트는 누군가의 행동을 상황적 요인으로 돌리는 것에서 그 사람의 선호도, 성격, 도덕성, 그리고 그 사람의 다른 특징에 기인하는 것으로의 변화를 나타낼 수 있다. 단순히 변화가 일어났다는 것을 진단하는diagnose 것이 아니라, 언제 변화가 일어났는지를 진단하는 능동적인 과정이다. 실패한 연수생을 티핑 포인트로 인식하는 과정을 개념화함으로써, 우리는 그 문헌을 참고하여 그 과정을 더 탐구할 수 있다.
A key contribution of our work is examining how patterns of failure are recognised as credible signal rather than anomalous noise. The shift from disbelieving underperformance to recognising failure seems akin to a threshold being crossed and is reminiscent of the psychological process of a tipping point.42, 43 Research on tipping points focuses on how small changes from new social information compound into impression updating that shifts the corresponding person from one category into another.43 Tipping points can mark the shift from attributing someone's behaviour to situational factors to attributing it to their preferences, personality, morality and other characteristics of the person.44 It is an active process where people diagnose when a change has been made rather than just note that a change has occurred.43 By conceptualising the process of recognising a failing trainee as a tipping point, we can draw on that literature to further explore the process.

[티핑 포인트]는 [식별된 변화에 대응하여 행동할 가능성이 높아지는 방향으로의 전환]을 의미합니다. 티핑 포인트의 행동을 유도하는 측면은 [실패를 인식하는 것]이 프로그램을 동원하여 수행능력이 [저조한 훈련생을 반드시 현미경 아래 둘 필요가 있다]는 참가자들의 기억과 공감을 불러일으킨다. 그러나 참가자들은 또한 현미경의 초점을 훈련생에게 맞추면 더 이상 그럴 자격이 없을 때에도 현미경을 흔드는 데 어려움을 겪을 수 있다고 우려했다. 티핑 포인트의 비대칭성이 이를 설명하는 데 도움이 됩니다. 티핑 포인트 연구는 사람들이 [개선과 같은 변화]의 속도보다 [감소하는 속도]를 더 빨리 진단하고, [개선의 징후를 행운의 징조로 무시하는 경향]이 있음을 보여준다. 또한, [티핑 포인트]는 [사람들이 예상하는 것보다 더 빨리 발생]하고, [증거는 적기 때문]에, 훈련생 평가와 관련된 사람들은 실패가 정당하다고 판단하는 데 얼마나 부지런한지 과대평가할 수 있습니다. 도덕적 티핑 포인트에서도 유사한 비대칭성이 있어서, 도덕적 쇠퇴(즉, 나쁜 행동을 저지르는 것)에 따른 처벌이 동일한 도덕적 개선(즉, 좋은 행동을 저지르는 것)에 대한 보상보다 더 기꺼이 발생함을 보여준다. [실패 실패 현상]에 대처하기 위한 노력은 수행능력 저하의 문서화를 꺼리는 것을 완화하는 데 초점이 맞춰져 있지만, 티핑 포인트 연구는 수행능력 저하를 확인한 후에도 프로세스가 어떻게 잘못될 수 있는지를 보여 줍니다. 우리는 훈련생에게 [유급이라는 섣부른 라벨]을 붙이는 것을 막아내는데 도움이 되는 행동 패턴을 찾기 위해 상관의 초기 불신과 시간을 재구성하고 싶을지도 모른다. 우리의 연구결과는 슈퍼바이저가 성적이 낮은 훈련생들을 적절히 낙제시키는 데 도움이 되는 새로운 대화를 시작합니다.

Tipping points imply a shift towards becoming more likely to act in response to identifying change.42, 43 The action inducing aspects of a tipping point resonate with our participants' recollections that recognising failure can mobilise the programme to put an underperforming trainee under a much needed microscope. However, participants were also concerned, once the microscope was focused on a trainee, that they could have difficulty shaking it, even when it was no longer deserved. The asymmetry of tipping points helps to explain this. Tipping point research shows that people more quickly diagnose a trend as declining than the same rate of change as improving and have a tendency to dismiss possible signs of improvement as lucky flukes.42, 43 Furthermore, tipping points happen faster and with less evidence than people estimate,45 which implies that those involved with assessing trainees may overestimate how diligent they are in determining that failure is warranted. A similar asymmetry in moral tipping points shows that moral decline (i.e. committing bad behaviours) is more willingly punished than identical moral improvement is rewarded (i.e. committing good behaviours).44 Although efforts to address the failure to fail phenomenon have focused on alleviating reluctance to document underperformance, tipping point research highlights how the process can go awry with a disinclination to see improvement after underperformance has been verified. We may want to reframe supervisors' initial disbelief and time spent searching for patterns of behaviour as helpful in fending off premature labelling of a trainee as failing. Our findings open a new conversation on helping supervisors to appropriately fail underperforming trainees.

티핑 포인트에 대한 연구는 감정의 영향에 많은 관심을 기울이지 않고 인지적인 측면에 집중하는 경향이 있다. 우리의 연구는 실패를 인식하는 방향으로의 전환이 있을 때 [분노]가 함께 발생하는 것으로 파악한다. 상급자에 대한 감정과 감정적 영향은 [훈련생들에게 유급을 주는 것에 대한 거부감]을 부추기는 것으로 확인되었습니다. 우리는 그것이 다른 역할을 할 수도 있다고 제안합니다. 분노는 실패를 인식하는 촉매 역할을 할 수도 있고, 어쩌면 그 부산물일 수도 있다. 우리의 방법론은 정확한 역할을 결정하는 것을 허락하지 않지만, 인터뷰를 통해 분노를 표출하고 묘사할 수 있게 했다. (불경스러운 말을 포함한) 분노의 반응이 실패-실패 연구에 보고된 경우는 거의 없기 때문에, 주목할 만하다고 생각되었다. 
Research into tipping points has tended to focus on its cognitive aspects, without much attention given to the influence of emotions. Our work identifies anger as co-occurring with the shift towards recognising failure. Emotions and emotional repercussions for supervisors have been identified as fuelling reluctance to fail trainees.3, 7, 8, 11, 13, 16, 46 We suggest that it may also play another role. Anger may be functioning as a catalyst in, or perhaps is a by-product of, recognising failure. Our methodology does not allow its precise role to be determined, but it did allow anger to be expressed and described in interviews. It struck us as remarkable, since angry reactions (including profanity) have rarely been reported in failure to fail research.4 

그러나 그것은 [무능하다는 증거]가 [경멸]을 불러일으키는 심리학 연구와 일치한다. 사람들이 화가 났을 때, 그들은 부정적인 평가가 수반될 것으로 예상되는 평가 작업을 수행할 가능성이 더 높은 것으로 밝혀졌다.48 [분노]는 잘못 인식된 결과를 바로잡기 위한 목표로 잘못에 대한 다른 사람의 책임을 평가하는 것을 수반하는 도덕적 감정이다. 가치관과 도덕적 신념이 위협받았을 때 사람들이 경험하는 감정이다. 그것은 호혜성, 정직성, 공정성, 타인에 대한 관심과 같은 상호작용을 이끄는 사회적 규칙을 위반함으로써 위계적이고 공동체의 의무에 관한 사회적 규범이 위반되었을 때 경험된다. 분노는 통제되어야 하는 부정적인 감정으로 보여지는 경향이 있지만, '정당한 분노는 사람들을 이익과 가치를 지키도록 동원하는 데 도움을 줄 수 있다.' 분노의 행동 경향은 상사가 학습자의 실패를 인정하고, 불신을 극복하도록 유도하는 데 도움이 될 수 있습니다.

But it is consistent with psychology research where demonstrations of incompetence have elicited contempt.47 When people are angry, they have been found to be more likely to perform an evaluative task that is expected to involve a negative evaluation.48 Anger is a moral emotion49 that involves appraising another person's responsibility for wrongdoing with the goal to correct the resulting perceived wrong.50 It is an emotion that people experience when their values and moral convictions have been threatened.50, 51 It is experienced when social norms regarding hierarchical and communal obligations have been violated52 through the breaking of social rules that guide interactions like reciprocity, honesty, fairness and concern for others.50, 53 Although anger tends to be seen as a negative emotion that needs to be controlled, ‘justifiable anger can help mobilise people to defend their interests and values’.54 It may be that the action tendencies of anger help to prompt supervisors to overcome disbelief in order to recognise failure.

그러나 분노는 때때로 행동에 위험한 촉매가 될 수 있다. 분노는 차이를 인식하고 다른 사람의 관점에 대해 추론하는 것과 같은 관점을 감소시킬 수 있습니다. 현재의 견해를 재검토해봐야 하는 새로운 정보에 대한 검토를 방해할 수 있다. 분노는 [반대되는 증거와 주장]을 경시하고, 자신의 견해만을 뒷받침할 증거를 확인해서, 상대를 공격할 정보를 찾게 만드는 [편향된 검색]을 자극할 수 있다. 분노는 적대적이고 징벌적인 감정과 연관된 타인에 대한 비난other condemning  감정이다. 화해의 기회를 줄인다. 중요한 것은, 그것은 임상 직장에서 괴롭힘 또는 따돌림에 선행할 수 있다는 것이다. 분노의 동원적인 측면은 훈련생 실패에 대한 거부감을 극복하는 데 도움이 될 수 있지만, 그러한 측면은 이후의 정보 탐색과 의사결정을 왜곡시킬 수 있다. 평가 시스템은 수행능력 저하에 대한 슈퍼바이저의 감정적인 반응을 전략적으로 이용하는 것으로부터 이익을 얻을 수 있을지는 모르지만, 관련된 왜곡을 상쇄하기 위한 대응책을 도입할 필요가 있습니다.

Anger, however, may sometimes be a dangerous catalyst for action. Anger can reduce perspective-taking, such as recognising differences and making inferences about someone else's point of view.55 It can impede consideration of new information that might prompt a reconsideration of currently held views.54 It can fuel a biassed search for information to attack the violator56 along with confirming evidence to bolsters one's views while downplaying opposing evidence and arguments.54 Anger is an other condemning emotion49 associated with feelings of being antagonistic and punitive.57, 58 It lessens chances for reconciliation.47 Importantly, it can be antecedent to harassment, bullying or mobbing in the clinical workplace.59, 60 The mobilising aspects of anger may help supervisors to overcome reluctance in failing a trainee, but there is the possibility for those aspects to distort subsequent information seeking and decision making. Our assessment systems may be able to benefit from strategically capitalising on supervisors' emotional responses to underperformance, but they must ensure that countermeasures are incorporated to offset any associated distortions.

[요약하면, 실패를 인식하기 위한 티핑 포인트 모델의 개요를 설명했다].

• 성과가 저조하다는 징후에 직면했을 때, 상사는 우선은 불신감을 느끼고, 자신이 관찰하는 수련생을 이해하기 위해 감독을 강화하여 추가 증거를 찾으면서, ['의심으로부터의 이득']을 얻을 수 있다.
• 수련생의 진행이 정체되고, 강화된 감독에도 반응이 없을 경우, [수행능력이 저조하다고 식별]된다.
• 엄청난 오류가 발견되거나, 외부인의 통찰력이 간과했던 징후를 입증하거나, 수행능력 저하가 지속되고 있다는 압도적인 증거가 뒤따른다면 [실패를 인정]하게 될 수 있다.
• 분노, 그리고 연습생에게 해를 끼치지 않도록 해야 한다는 의무감과 함께, 유급시킬지 말지에 대한 '의심을 넘어', 실패를 인정하면, 티핑포인트의 문턱을 넘는다.
• 인정의 확실성에 대한 힌트를 얻은 후, 평가 프로세스 참여를 통한 불합격 보고가 이뤄질 수 있지만, progression의 복원 및 개선의 징후를 제대로 보지 못하고 놓칠 수도 있다.

In summary, we outline a tipping point model for recognising failure.

• Upon being confronted by signs of underperformance, supervisors may experience disbelief and give the trainee the ‘benefit of the doubt’ as they seek additional evidence through increased supervision to make sense of what they are observing.
• When the trainee's progression remains stalled and unresponsive to intensified supervision, underperformance is identified.
• If an egregious error is discovered, or an outsider's insight substantiates overlooked signs, or a pattern of overwhelming evidence of continued underperformance follows, failure becomes recognisable.
• Together with anger and a sense of duty to prevent the trainee from causing harm, the threshold of the tipping point is crossed with recognition ‘beyond a doubt’ that the trainee should fail.
• Having tipped into the certainty of recognition, reporting of failure through engagement in assessment processes may be mobilised but discerning signs of restored progression and improvement may be obscured.

5.2 평가에 미치는 영향
5.2 Implications for assessment

우리의 연구는 평가 설계에 대한 잠재적 영향을 조사하지는 않았지만, 우리는 티핑 포인트 모델과 감독관이 추가적인 반성을 위해 질문을 제기하지 않는 실패를 인식하는 방법에 대한 개선된 이해를 사용할 것이다. 티핑 포인트 모델은 티핑 포인트 전 및 후 단계를 제공합니다.

Although our study did not investigate potential impacts on assessment designs, we will use the tipping point model and our improved understanding of how supervisors recognise failure to pose questions for further reflection. A tipping point model offers a pre- and post-tipping point phase.

[티핑 시점 전 단계]에서는 관찰된 내용에 대한 불신과 불확실성이 있을 수 있으며, 따라서 이러한 불완전한 이해를 문서화하는 것을 꺼릴 수 있습니다.

• 우리의 WBA는 트레이너와 충분한 시간 동안 협력하여 슈퍼바이저가 불신을 극복하고 검증된 정보를 보고할 수 있도록 하고 있는가?
• 이것이 불가능할 경우, 우리의 평가는 시스템이 평가 정보로 효과적으로 활용할 수 있도록 불완전하게 이해된 관찰과 경험을 감독자가 문서화하는 것을 지원하고 있는가?

평가 프로세스는 프로그램 디렉터와 역량 위원회가 접근할 수 있지만, 슈퍼바이저는 접근할 수 없는 여러 측면의 평가 데이터 내에 평가를 적절히 배치할 수 있는 경우, 감독관이 관찰 및 피드백과 함께 의문을 기록하도록 장려할 수 있다. 그 후 [역량 위원회]는 [상호 작용 시간이 제한된 개별 슈퍼바이저]가 수행할 수 없는 [수행능력 저하의 패턴]을 조기에 식별하는 데 초점을 맞출 수 있습니다.

In the pre-tipping point phase, there may be disbelief and uncertainty in what is being observed and therefore reluctance to document those incomplete understandings.

• Are our workplace-based assessments based on a sufficient period of time working with trainees to allow supervisors to move through any disbelief and report substantiated information?
• If this is not possible, do our assessments support supervisors in documenting incompletely understood observations and experiences in ways that the system can effectively use as assessment information?

Assessment processes could encourage supervisors to record their doubts along with their observations and feedback if programme directors and competence committees could appropriately situate the assessments within the longitudinal and multifaceted array of assessment data that they have access to but the supervisor does not. Competency committees could then focus on the early identification of patterns of underperformance that individual supervisors with limited interaction time cannot.

[티핑 포인트 후 단계]에서는 실패에 대한 인식을 동원하는 분노, 확실성 및 의무감이 있을 수 있습니다.

• 교육생 성과에 대한 낮은 위험 평가를 기록하기 위한 신호로서 감독관이 좌절감을 사용하도록 장려한 경우, 건설적인 평가 코멘트의 문서화가 증가할 수 있는가?
• 한편, 고장 후에 제공된 정보가 지나치게 감소에 집중되어 있을 가능성에 대처하고, 의사결정자가 개선의 증거를 이용할 수 있도록 하기 위한 대응책을 마련하고 있는가.

상급자가 일단 훈련생이 실패했다는 것을 인식하면, [개선의 징후를 발견하는 것]이 더 어렵다는 것을 알 수 있으며, 훈련생이 지속적으로 어려움을 겪고 있는 측면과 함께 [훈련생이 잘하고 있는(또는 더 나은) 측면]을 주목하도록 장려할 수 있습니다. 이와 유사하게, 프로그램 디렉터와 역량위원회는 사전에 예상되는 개선 패턴을 명시하는 것을 우선시할 수 있다.

In the post-tipping point phase, there may be anger, certainty and a sense of duty that mobilises recognition of failure.

• If supervisors were encouraged to use feelings of frustration as a signal to document low stakes assessments of trainee performance, could documentation of constructive assessment comments be increased?
• On the other hand, do our systems have countermeasures in place to combat the possibility that information provided after failure has been recognised may be overly focussed on decline and to ensure that evidence of improvement is accessible to decision-makers?

Supervisors could be informed that it is more difficult to see signs of improvement once they have recognised a trainee is failing and be encouraged to note aspects that the trainee is doing well (or better) along with the aspects that they continue to struggle with. Similarly, programme directors and competency committees could prioritise specifying expected patterns of improvement in advance61 with their noted absence indicative of failure.

5.3 제한사항 및 향후 연구
5.3 Limitations and future research

우리의 방법론은 참가자가 과거의 감독 경험을 상기시키는 것에 의존했기 때문에, 우리는 그들이 설명한 훈련생의 성과가 저조했다는 것을 검증할 수도 없고, 유급시키고자 판단했던 것의 적절성을 판단할 수도 없다. 우리의 방법에는 언어 요소 코딩, 언어 표현 및 음성 음량의 변화가 포함되었지만, 우리의 감정 해석은 여전히 주관적이다. 우리는 또한 인터뷰 중 경험을 떠올리며 표출되고 보고된 분노는 실패를 인식하면서 경험했던 분노를 나타내는 것이라고 추론한다. 
Since our methodology relied on participants recalling past supervisory experiences, we cannot verify that the trainees they described were underperforming nor determine the appropriateness of wanting to stop their progression in the programme. Although our methods included coding linguistic elements, expressions of speech and changes in spoken volume along with discussing our interpretations within the research team, our interpretation of emotions remains subjective. We also infer that the anger expressed and reported while recalling experiences during interviews is indicative of anger experienced while recognising failure.

이 민감한 주제에 대한 논의를 장려하기 위해 인터뷰 중에 다양한 질문 기법을 사용해야 했습니다. '능력 없는 훈련생'이나 '가장 걱정을 많이 일으킨 훈련생'과 같은 질문을 사용한 [리드인 질문]은 실패 사례가 적은 극단적인 사례에 대한 논의를 불러일으켰을 수 있습니다. 우리는 대조적인 사례를 공유하도록 요청했고, 참가자들이 이 제한을 해결하기 위한 방법으로서 추가 사례를 논의할 시간을 허용했다. 

We needed to use various questioning techniques during interviews to encourage discussion on this sensitive topic. Our lead-in questions using prompts like ‘least competent trainees' or ‘trainees who caused the most worry’ may have generated discussion on extreme cases at the expense of less obvious cases of failure. We did invite contrasting examples to be shared and allowed time for participants to discuss additional examples as ways to address this limitation.

우리의 분석은 [성과가 저조하다고 믿지 않는 초기 징후]에서 [훈련생은 실패해야 한다는 인식으로의 전환]에 초점을 맞췄다. 이 과정을 면밀히 검토함으로써 티핑포인트 조사와의 연계를 도출하고 이를 활용해 공정을 이해할 수 있었다. 그러나 [티핑 포인트] 개념은 데이터 수집 완료 후 분석 중에 도입되었기 때문에 분석을 지시하는 sensitising concept은 아니었다. 향후 연구에서 민감한 개념으로 사용하면 인터뷰의 내용과 형식을 형성하여 티핑 포인트의 개념의 중심을 잡을 수 있다. 

Our analysis focused on the shift from disbelieving early signs of underperformance to recognising that a trainee should be failed. By closely examining this link in the process, we were able to draw connections to tipping point research and use it to gain understanding of the process. However, the tipping point concept was not a sensitising concept that directed our analysis, as it was introduced during analysis that followed the completion of data collection. Its use as a sensitising concept in future studies could shape the content and format of interviews to centre the concept of the tipping point.

또, 수행능력 저하 인식 후의 순서에 대해서는 분석을 실시하지 않았습니다. 실패 기록, 프로그램 수강생 퇴출, 역량 기반 교육 및 프로그램 평가 시스템 내 호소에 대한 대응 등 감독관이 프로세스의 후속 단계에 어떻게 관여하는지를 계속 검토하기 위해서는 추가 연구가 필요하다. 우리는, 개선의 인식의 저하나 그 외의 불완전한 평가 증거의 수정과 함께, 저실적의 조기 특정과 실패의 보고의 증대를 서포트하기 위해서, 평가 시스템을 어떻게 개선할 수 있는지에 대한 조사를 장려한다.

In addition, we did not focus our analysis on the steps following recognition of failure. Further research is needed to continue examining how supervisors engage with subsequent steps in the process such as documenting failure, removing a trainee from a programme and responding to appeals within competency-based education and programmatic assessment systems. We encourage investigation into how our assessment systems can be refined to support earlier identification of underperformance and increased reporting of failure while also correcting for decreased recognition of improvement and other imperfect assessment evidence.

6 결론
6 CONCLUSION

[실패를 인정하는 것]은 쉬운 일이 아니며, [실패 패턴에 대응하는 방법을 결정하는 것] 역시도 복잡하다는 것을 증명했습니다. 실패가 티핑포인트로 인식되고, 분노가 티핑포인트와 공존한다는 것은, 감정이라는 것이 실패를 인정하는 장벽뿐만 아니라 실패를 인정하는 원동력이 될 가능성을 높인다. 티핑 포인트 모델은 티핑 포인트에 도달하기 전에 실적 저하의 우려가 있는 것을 슈퍼바이저가 보고할 수 있도록 지원하기 위한 재구성을 제공합니다.이를 통해 훈련생과 슈퍼바이저를 조기에 지원할 수 있습니다. 하지만, [분노]와 [피해를 방지해야 한다는 의무감]이 동반된 상태로 [티핑 포인트의 문턱]을 넘으면 [훈련생을 유급시켜야 한다는 확신감을 경직시킬 위험]이 있다고 경고한다. 따라서, 일단 Failure가 확인되면 평가 시스템 내에서 [개선을 감지]하는 데 어려움을 겪을 수 있기에, 여기에 대한 대응책을 확실하게 보완해야 함을 의미한다. [실패는 드문 사건]이며, 많은 관련자들에게는 고통으로 남을 가능성이 높지만, 실패가 어떻게 인식, 문서화 및 감시되는지에 대한 이해는 평가 시스템의 지속적인 개선을 알려줄 수 있다.

We have shown that recognising failure is no easy feat, and deciding how to respond to patterns of failure is equally complex. Our model of the shift from disbelieved to recognised failure as a tipping point and our identification that anger co-occurs with the tipping point raises the possibility for emotions to be a driver of, and not only a barrier to, recognising failure. The tipping point model offers a reframing to support supervisors in reporting suspected underperformance before the tipping point has been reached so that early support for the trainee, and the supervisor, can be initiated by decision-makers. But it also warns that crossing the threshold of the tipping point, with accompanied anger and a sense of duty to prevent harm, risks ossifying the sense of certainty that a trainee needs to fail. Thus, it offers the impetus to ensure countermeasures within our assessment systems compensate for difficulties in detecting improvement once failure has been verified. Failure is a rare event and likely to remain distressing for many involved but enhanced understanding of how it is recognised, documented and monitored can inform continued improvements to assessment systems.

© 2021 Association for the Study of Medical Education and John Wiley & Sons Ltd.