의학교육의 고약한 문제: 학습자 평가에서 형평 달성하기(Acad Med, 2020)

의학교육의 고약한 문제: 학습자 평가에서 형평 달성하기(Acad Med, 2020)
Medical Education’s Wicked Problem: Achieving Equity in Assessment for Medical Learners
Catherine R. Lucey, MD, Karen E. Hauer, MD, PhD, Dowin Boatright, MD, and Alicia Fernandez, MD

 

 

의료 및 기타 보건 분야의 다양성이 증가하면 소수민족minority populations에게 제공되는 의료의 질과 접근성이 향상되고, 소수민족과 다수 학생 모두의 교육 환경이 개선되며, 팀 기반 문제 해결이 최적화되고, 의료 연구의 집중과 관련성이 확장된다. 부분적으로 인증 기준과 국가 기관에 의해 추진된 많은 의과대학과 레지던트 프로그램은 그들의 수업의 다양성을 증가시키기 위해 전인적holistic 입학 전략을 성공적으로 사용했다. 그러나, 비슷한 다양성의 증가는 명예 사회honor soceity, 전공의 선발 프로그램, 그리고 의학 전문 분야에서 그리고 미국 의과대학의 교수진들 사이에서 실현되지 않았다. 경쟁이 심한 커리어나 프로그램에 진입하는 것은 종종 학생들의 성적과 학업 수상에 의존하기 때문에, 이러한 관찰은 의과대학의 평가 관행이 [구조적이고 대인관계적인 편향]을 받는지에 대한 우려를 불러일으켰다.

Increasing diversity in medicine and other health professions improves access and the quality of care provided to minority populations, enhances the educational environment for both minority and majority students, optimizes team-based problem solving, and expands the focus and relevance of medical research.1–4 Driven in part by accreditation standards and national organizations,5–8 many medical schools and residency programs have successfully used holistic admissions strategies to increase the diversity of their classes. However, similar increases in diversity have not been realized in honor societies, selective residency programs, and medical specialties, and among faculty in U.S. medical schools.9 Because entry into competitive careers and programs is often dependent on student grades and academic awards, these observations have prompted concerns about whether the assessment practices of medical schools may be subject to structural and interpersonal bias.

의과대학은 평가의 형평성에 대한 이러한 우려에 대응할 [도덕적 책임]이 있다. 평가는 학습을 안내하고, 학생의 진보를 가능하게 하며, 직업 선택과 기회에 영향을 미치며, 또한 졸업생들의 역량을 이해 관계자들에게 보장한다. 의학교육의 불평등한 평가는 의약분야에서 과소대표된 그룹(underrepresented in medicine, UIM)의 학습자에게 진급 및 진로기회에 대한 장벽을 영구화한다. 비록 근거가 없더라도, [불평등한 평가의 가능성에 대한 우려] 그 자체로 UIM 학습자에게 부담을 줄 뿐만 아니라, 그들의 수행perform을 기대하는 학습 환경을 더 어렵게 만든다.
Medical schools have a moral responsibility to respond to these concerns about equity in assessment. Assessment guides learning, enables student progress, and impacts career choice and opportunity while also assuring stakeholders of graduates’ competence. Inequitable assessments in medical education perpetuate barriers to advancement and career opportunities for learners from groups underrepresented in medicine (UIM). Even if unfounded, concerns about the possibility of inequitable assessments burden UIM learners and add to the challenging nature of the learning environments in which they are expected to perform.

평가의 형평성은 [사악한 문제]의 정의를 충족시킨다.10 [사악한 문제]는 갈등, 불확실성, 역동적 긴장, 맥락적 영향에 대한 취약성이 특징이다.

• 많은 교수진들은 학생들을 가르치고 평가하는 우리의 현재 접근 방식이 방어가능하고, 보람 있는 공로와 열심히 일하는 것이라고 믿는다.
• 한편, 어떤 사람들은 그것이 역사적으로 의대생, 전공의, 그리고 교수진의 대다수를 구성했던 사람들에게 [교육의 기회와 직업 특권의 상태를 영속적으로 유지해온 동일한 구조적 인종차별]에 의해 더럽혀졌다고 믿는다.

평가에서 형평성 문제를 탐구하는 문헌은 문제의 복잡성에 대한 더 큰 명확성을 제공하고 있지만, 평가에서 [형평성의 본질]에 대한 근본적인 질문을 해결하거나, 관찰된 차이에 대한 해결책을 제안하지 못했다.
Equity in assessment meets the definition of a wicked problem.10 Wicked problems are characterized by conflicts, uncertainty, dynamic tensions, and susceptibility to contextual influences.

• Many faculty believe that our current approach to teaching and assessing students is defensible, rewarding merit and hard work.
• Increasingly, others believe that it has been tainted by the same structural racism that has perpetuated a state of educational opportunity and career privilege for populations that have historically constituted the majority of medical students, residents, and faculty.

The literature that explores issues of equity in assessment is providing greater clarity into the complexity of the problem but has yet to resolve the fundamental questions about the nature of equity in assessment or propose solutions to observed differences.

이 [사악한 문제]를 해결하기 위해서는, 모든 의과대학과 레지던트 프로그램에서 교육자들의 일치된 노력이 필요할 것이다. 이 작업을 촉매하는 데 도움이 되도록, 우리는 평가에서 형평성의 공유 정신 모델을 확립하기 위한 핵심 개념을 정의함으로써 본 논문을 시작한다. 우리는 문헌에 대한 검토를 계속하고, 의료 교육 평가의 형평성에 대한 우려를 탐구하며, 조직 우수 분야의 작업을 모델링한 제안된 프레임워크를 따른다. 마지막으로, 우리는 향후 연구가 탐구해야 할 도전과 논쟁에 대해 설명한다.

Addressing this wicked problem will require concerted work by educators in all medical schools and residency programs. To help catalyze this work, we begin this paper by defining key concepts to establish a shared mental model of equity in assessment.11 We continue with a review of the literature, exploring concerns about equity in assessment in medical education, and follow with a proposed framework modeled on work in the field of organizational excellence. Finally, we describe challenges and controversies that future research should explore.

평가에서 형평성이란 무엇인가?
What Is Equity in Assessment?

[형평성]은 [공정함]과 [사회적 정의]가 실현된 상태이다. 따라서 [형평한equitable 평가 시스템]은 미래의 교육 및 직업 기회를 촉진한다. 평가의 형평성은 모든 학생들이 의학 분야에서 미래의 성공을 예측하는 성취의 시연에 기초하여 학습, 평가, 지도, 등급, 고급, 졸업 및 후속 기회를 위해 선택될 수 있는 공정하고, 불편부당한impartial 기회를 가질 때 존재한다. 그리고 [학습 경험이나 평가]가 모두 [학습자나 평가자의 개인적 또는 사회적 특성]과 관련된 [구조적 또는 대인적 편견에 부정적인 영향]을 받지 않아야 한다. [공평한 평가 시스템]은 다수 학습자와 소수 학습자 모두가 더 많이 배우고 더 잘 배울 수 있도록 해야 한다. 
Equity is the state of being fair and achieving social justice.12,13 An equitable assessment system thereby facilitates future educational and career opportunities. Equity in assessment is present when all students have fair and impartial opportunities to learn, be evaluated, coached, graded, advanced, graduated, and selected for subsequent opportunities based on their demonstration of achievements that predict future success in the field of medicine, and that neither learning experiences nor assessments are negatively influenced by structural or interpersonal bias related to personal or social characteristics of learners or assessors. An equitable assessment system should enable both majority and minority learners to learn more and learn better.14

평가 자본의 구성 요소
Components of equity in assessment

평가에서 형평에는 내재적 형평, 맥락적 형평, 도구적 형평의 세 가지 요소가 있다(그림 1 참조). 

There are 3 components to equity in assessment: intrinsic equity, contextual equity, and instrumental equity (see Figure 1).

[내재적 형평성]은 평가 프로그램 및 사용된 평가 도구의 설계가 [역사적으로 의료계에서 소외된 그룹에 대한 편견을 최소화함]을 의미한다. [확립된 준거]는 고품질의 평가 전략을 정의하고 또한 평가의 형평성을 달성하기 위한 노력에 inform한다. 이러한 준거에는 다음이 포함됩니다.

Intrinsic equity means that the design of the program of assessment and the assessment tools used minimize bias against groups historically marginalized by the medical profession. Established criteria define high-quality assessment strategies and also inform efforts to achieve equity in assessment. These criteria include:

• (1) 타당성 또는 일관성,
  
• (2) 재현성 또는 일관성,
  
• (3) 등가성,
  
• (4) 실현 가능성,
  
• (5) 교육적 효과,
  
• (6) 촉매 효과, 그리고
  
• (7) 수용 가능성
• (1) validity or coherence,
• (2) reproducibility or consistency,
• (3) equivalence,
• (4) feasibility,
• (5) educational effect,
• (6) catalytic effect, and
• (7) acceptability.15 

이러한 준거를 준수하여야, 교육자들이 [커리큘럼과 평가를 얼라인]하고, [가치 있는 것을 반영하여 측정]하며, [학습을 가이드]하고, [환자와 대중에게 시스템의 책임성을 보장]할 수 있다. 이러한 준거가 충족되지 않을 경우 평가의 불평등inequity이 발생할 수 있습니다. 표 1은 이러한 기준에 대한 정의를 요약하고 이를 충족하지 못하는 것이 평가의 불평등을 가능하게 하는 방법의 예를 제공한다.

Adhering to these criteria guides educators to align curriculum and assessment and to ensure that what is measured reflects what is valued, guides learning, and ensures accountability of the system to patients and the public. When these criteria are not met, inequity in assessment may result. Table 1 summarizes definitions for these criteria and provides an example of how failing to meet them can enable inequity in assessment.

 

[맥락적 형평성]은 [학습 경험과 평가 전략이 구현되는 환경의 공정성]을 의미한다. 맥락적 형평성에는 다음에 대한 형평성이 포함된다.

• 해당 환경 내에 할당된 환경과 과제, 
• 학습 환경 내부 및 외부에서 가용한 지원 및 사회 구조, 
• 평가 절차를 구현하는 감독자의 준비

이러한 요인들은 학습자들이 경험하는 환경에 영향을 미치므로, 학습자들이 최고의 능력에서 수행하고 평가되어야 하는 기회입니다.

Contextual equity refers to fairness in the learning experience and the environment in which assessment strategies are implemented. Contextual equity includes fairness in:

• assigned environments and tasks within those environments,
• support and social structures available within and outside the learning environments, and
• the preparation of supervisors who implement assessment procedures.

These factors impact the climate experienced by learners and, thus, the opportunity learners have to perform and be assessed at their peak abilities.

의료 교육에서 평가의 형평성은 또한 [도구적 형평성]에 대한 주의를 필요로 한다. 이는 사회적 계층이나 개인적 특성에 관계없이 모든 사람에게 공평한 기회를 창출하기 위해 이해관계자와 평가 프로세스의 결과를 공유하고 사용하는 방법을 의미한다. [도구적 형평성]은 평가가 설계된 맥락에서 [후속 성과를 과대 또는 과소 예측하지 않는 방식으로 결과를 공유하고 사용]할 때 존재한다(표 2 참조).

Equity in assessment in medical education also requires attention to instrumental equity: How results of assessment processes are shared with and used by stakeholders to create equitable opportunities for all, regardless of their social class or personal characteristics. Instrumental equity is present when the results are shared and used in a manner that neither over- nor underpredicts subsequent performance in the context for which assessment was designed (see Table 2).

 

[내재적, 맥락적, 도구적 형평성]은 평가의 [성과에 대한 형평성]에 집합적으로 기여하는 [프로세스 형평성 가치]이다.
이 때 'outcomes'란 평가 결과에 따라 달라지는 개인(예: 인기 많은 전공의 프로그램 선발) 또는 인구집단(예: AHS 내 교수진의 다양성)에게 제공되는 기회를 의미한다.
Intrinsic, contextual, and instrumental equity are process equity values that collectively contribute to equity in assessment outcomes: the opportunities afforded to individuals (such as selection for a prestigious residency) or populations (such as diversity of faculty in academic health systems) based on the consequences of assessment.

 

심리 측정의 엄격성에 초점을 맞추면 임상 학습 환경에서 평가의 형평성이 짧아지는 이유
Why a focus on psychometric rigor shortchanges equity in assessment in the clinical learning environment

[맥락적 형평성(평가가 이루어지는 학습 환경의 공정성)]은 그 정의상 복잡한 임상 환경에서 본질적으로 성취하기 어렵다. 학습자는 다양한 환자, 임상 조건, 팀 역학, 시간 제약, 감독자 기술 및 기타 요소를 경험합니다. 이러한 [변동성]으로 인해 평가 조건도 마찬가지로 변동적이며, [고부담 시험]에서 추구하는 [엄격한, 통제되고, 재현 가능한 조건]이라는 기대와 충돌한다. 예를 들어, 고위험 국가 면허 및 인증 시험 환경에서 [심리측정적 엄격성(흔히 "객관적"으로 선전되는 재현 가능하고 신뢰할 수 있는 결과)]을 추구하는 것은 전적으로 실현 가능하다. 그러나 이러한 시험은 의사 수행과 관련된 역량의 일부 측면만 측정하므로, 이러한 시험만 사용할 경우 향후 환자 치료에 대한 미미한 예측 능력만 있을 뿐이다. 

The definition of contextual equity—fairness in the learning environment in which assessment occurs—is inherently challenging in the complex clinical environment. Learners experience different patients, clinical conditions, team dynamics, time constraints, supervisor skill, and other factors. This variability makes the conditions for assessment similarly variable, and in conflict with traditional expectations for tightly controlled, reproducible conditions sought for high-stakes testing. For example, it is entirely feasible to pursue psychometric rigor—reproducible, reliable results that are often touted as “objective”—in the environments of high-stakes national licensing and certification examinations. However, these examinations only measure some aspects of the competencies relevant to physician performance and thus, used alone, have only modest predictive ability for future patient care.16–20 For most competencies other than knowledge, patient care skills are an essential component of the valid and equitable assessment of learner performance.

지식을 제외한 대부분의 역량의 경우, patient care skill은 학습자 수행의 유효하고 공평한 평가의 필수적인 구성요소이다. [임상 기술의 공평한 평가equitable assessment를 위한 조건을 만드는 것]은 지금까지 의료 교육자들에게 어려운 일이었다. 평가의 심리측정학 시대에, [WBA의 신뢰성 또는 재현성]에 주로 초점을 두는 것은 [평가자들이 서로 다른 수준의 학습자 수행의 유사한 등급을 제공하도록 충분히 훈련될 경우 공정성을 얻을 수 있을 것이라는 가정]을 부채질했다. 그러나 임상 수행능력 평가는 [매우 신뢰도가 높은 평정]이라는 비전에는 크게 미치지 못했다. 사실, 더 최근의 문헌은 우리가 학습자들이 접하는 임상 과제, 맥락, 그리고 다른 지도자들의 복잡성을 의미 있는 반영으로 등급의 가변성을 수용한다고 주장한다. 이 가이드는 [맥락적 형평성의 중요성]을 인정한다. 맥락적 형평성을 고려하지 않으면, 아래에 설명된 것처럼 [불평등한inequitable 평가 관행]이 영속될 것이다.

Creating the conditions for equitable assessment of clinical skills has thus far been challenging for medical educators. In the psychometric era of assessment, the major focus on reliability or reproducibility of workplace assessments fueled an assumption that fairness would result if raters were sufficiently trained to provide similar ratings of different levels of learner performance. However, assessment of clinical performance has fallen grossly short of this vision of highly reliable ratings. In fact, more recent literature advocates that we embrace the variability in ratings as a meaningful reflection of the complexity of clinical tasks, contexts, and different supervisors whom learners encounter.21–24 This guidance embraces the importance of contextual equity; failure to consider contextual equity perpetuates inequitable assessment practices, as described below.

기존 문헌: 의료 교육 평가의 형평성에 대한 우려는 보장된다.
Existing Literature: Concerns About Equity in Assessment in Medical Education Are Warranted

평가의 형평성 문제에 대한 탐구는 의대 입학, 진도 및 졸업에 사용되는 평가의 편향, 공정성, 차이, 차등 달성 등의 개념과 레지던스 프로그램과 교수진 경력을 위한 성공적인 경쟁에 초점을 맞춘 여러 연구로 시작되었다. 이러한 연구는 UIM과 WRIM 학생과 전공의 사이의 표준화된 시험, 임상 평가, 등급 및 학술상에서의 모집단 그룹 차이를 일관되게 문서화하며, 이는 사실상 항상 WRIM 학습자에게 유리하다. 게다가, 연구들은 또한 평가 결과의 사소한 차이가 레지던트 및 직업 기회에 강력한 영향을 미칠 수 있다는 것을 문서화했다. 
Exploration into the question of equity in assessment has begun with multiple studies focused on concepts such as bias, fairness, differences, and differential attainment in assessments used for entry to, progress through, and graduation from medical school and successful competition for residency programs and faculty careers.25–35 These studies consistently document population group differences in standardized examinations, clinical assessments, grading, and academic awards between UIM and well-represented in medicine (WRIM) students and residents, differences that virtually always favor WRIM learners. Furthermore, studies have also documented that minor differences in assessment outcomes can have a powerful impact on residency and career opportunities.9,30

고위험 표준화 시험에서 모집단 그룹 차이가 존재함
Population group differences exist in high-stakes standardized exams

국가 고위험 표준 시험은 종종 의과대학에 입학할 학생들을 선발하고 가장 경쟁력 있는 특기, 레지던트 프로그램, 그리고 진로에 들어가기 위해 사용된다. 불행하게도, 이러한 많은 시험들에서, 백인 이외의 동료들보다 백인 지원자들을 선호하고 여성들보다 남성 지원자들에게 호의적favor인 인구집단 간 차이가 존재한다.

• 의과대학 입학시험(MCAT)은 의과대학 입학사정관이 어떤 지원자에게 의과대학 면접과 합격을 제안할지를 결정하기 위해 사용하는 가장 중요한 선발 기준 중 하나이다. 비록 개별 여성과 UIM 학생들이 MCAT 점수의 범위에 걸쳐 점수를 매기지만, MCAT 점수에 집단 간 차이가 존재하며, 평균적으로 흑인 및 히스패닉 학생들은 백인 동료들보다 낮은 점수를 받는다.
• 마찬가지로, 미국 의료 면허 시험(USMLE) 1단계 시험은 거주자 선택에 중요한 역할을 했다. 유사한 모집단 그룹 차이는 USMLE 1단계에서 입증되었다. 연구에 따르면 흑인, 히스패닉, 아시아계 의대생들은 백인 학생들보다 평균 USMLE 1단계 점수가 낮고, 여성들은 평균적으로 남성들보다 낮은 점수를 받는 것으로 일관되게 나타났다. USMLE 1단계 점수의 이러한 그룹 차이는 학생들의 이전 학업 성취도에 의해 설명되지 않으며, 학생들의 총 성적 평균과 MCAT 점수를 감안한 후에도 지속된다.

National high-stakes standardized exams are often used to select students for entry into medical school and into the most competitive specialties, residency programs, and careers. Unfortunately, in many of these exams, population group differences exist that consistently favor White applicants over their non-White peers and men applicants over women.

• The Medical College Admission Test (MCAT) is one of the most important selection criteria used by medical school admissions officers to determine which applicants are offered medical school interviews and acceptance.36 Although individual women and UIM students score across the range of MCAT scores, population group differences exist in MCAT scores, with Black and Hispanic students, on average, scoring lower than their White peers.35,37,38 
• Similarly, the United States Medical Licensing Exam (USMLE) Step 1 exam has played an important role in residency selection.39 Similar population group differences have been demonstrated on the USMLE Step 1. Studies have consistently shown that Black, Hispanic, and Asian medical students, on average, have lower USMLE Step 1 scores than White students and women, on average, score lower than men.40–42 These group differences in USMLE Step 1 scores are not explained by students’ prior academic achievement, and they persist even after accounting for students’ total grade point average and MCAT scores.43

의과대학 학생들의 미래 성과에 대한 MCAT의 예측 능력과 미래의 면허 시험 수행에 대한 USMLE 1단계 시험에 대한 심리측정학 분석에 따르면 [시험의 본질적instrinsic 편향의 증거는 없다]. MCAT, USMLE 및 기타 고위험 표준 시험의 모집단 차이를 설명하는 일반적인 이론은 [UIM 학생들에게 제공되는 교육 기회에 대한 구조적 인종차별의 결과]에서 차이가 발생한다는 것이다. 최근 USMLE 1단계 시험에 대한 합격/불합격 채점 변경은 면허를 위한 의료 지식에서 최소한의 역량 보장을 유지하면서 불평등을 해결하기 위한 유망한 전략을 나타낸다.
Psychometric analysis of the predictive ability of the MCAT on future performance of students in medical school and the USMLE Step 1 exam on performance on future licensing exams shows no evidence of intrinsic bias of the exams.35 The prevailing theory explaining population group differences in the MCAT, the USMLE, and other high-stakes standardized exams is that the differences result from consequences of structural racism on educational opportunities afforded to UIM students.35,38 The recent change to pass/fail scoring for the USMLE Step 1 examination represents a promising strategy to address inequity while maintaining assurance of minimal competence in medical knowledge for licensure.

MCAT와 USMLE 시험의 경우, 광범위한 점수를 가진 학생들은 의과대학, 레지던트 및 의사 실습에서 미래에 성공할 수 있다. 그러나 많은 의과대학(MCAT)과 레지던트 프로그램(USMLE)은 면접과 입학을 위해 고려하는 지원자를 가장 높은 점수를 받은 지원자로 제한하는 것을 선택한다. 그들은 이런 이유를 댄다.

• 많은 수의 지원자들을 효율적으로 심사할 필요성에 대한 우려,
• 점수의 작은 차이가 갖는 예측 능력에 대한 잘못된 믿음,
• U.S. News & World Report에 따르면 기관 순위를 높이기 위해, 신입생이 가장 높은 시험 지표를 갖게 하라는 지도부의 압력.

이러한 시험에서 입증된 모집단 차이를 감안할 때, 최고 점수자에게만 기회를 제한하는 것은 UIM 학생들에게 시스템적 불이익을 주는 것이며, 의과대학 수업과 레지던트 프로그램을 다양화하는 데 장벽을 제공한다. 

For both the MCAT and USMLE examinations, students with a broad range of scores are capable of future success in medical school, residency, and physician practice. However, many medical schools (for the MCAT) and residency programs (for the USMLE) choose to restrict the candidates they consider for interviews and admission to those with the highest scores.38,44 They cite

• concerns about need to efficiently screen large numbers of applicants,
• false beliefs about the predictive ability of minor differences in scores, and
• pressure from leadership to craft a class with the highest exam metrics to increase institutional rankings according to U.S. News & World Report.

Given the demonstrated population group differences on these exams, this restriction of opportunity to the highest scorers systematically disadvantages UIM students and presents a barrier to diversifying medical school classes and residency programs.37,45,46

 

서술적 평가, 성적, 상에는 모집단 그룹 차이가 존재한다.
Population group differences exist in narrative evaluations, grades, and awards

[서술적 평가]와 [의과대학 성적]은 전공의, 펠로우, 개업의로서 미래의 성공에 필요한 역량에 대한 보다 총체적인 관점을 제공하는 것으로 생각된다. 교직원과 관리자에 의한 학생에 대한 부서별 및 기관별 평가에서도 모집단의 차이가 존재한다. 서술적 평가와 추천서에서 교수진이 사용하는 의대생에 대한 설명은 성별, 성별, 인종, 민족성에 따라 다양하다. 이러한 차이는 (백인이 아닌 학생보다) [백인 학생에게 유리]하다.
Narrative evaluations and medical school grades are thought to provide a more holistic view of the competencies needed for future success as a medical resident, fellow, or practicing physician. Population group differences also exist in departmental and institutional assessments of students by faculty and administrators. Descriptions of medical students used by faculty in narrative evaluations and letters of recommendation vary by sex, gender, race, and ethnicity. These differences favor White students over non-White students.

의학생 수행평가(MSPE)는 레지던트 선발을 목적으로 의과대학에서 학생 성과를 요약하기 위해 작성한 서류다. 최근 MSPE에 대한 연구에서 백인 학생들은 백인 이외의 또래에 비해 "최고", "우수", "우수"와 같은 "뛰어난" 단어로 묘사될 가능성이 더 높았다. 게다가, 여학생들은 남학생들보다 "자상하고" "연민"으로 묘사될 가능성이 더 높았고, [지능과 능력을 나타내는 단어]로 묘사될 가능성이 더 낮았다. 핵심 임상실습 평가에서 언어에 대한 또 다른 최근 연구는 평가자들이 그들의 단어 선택을 통해 성 고정관념을 강화한다는 것을 발견했다. 예를 들어, 여성은 남성보다 "사랑스러운" 것으로 묘사될 가능성이 더 높았고, 남성은 "과학적인" 것으로 묘사될 가능성이 더 높았다.
Medical student performance evaluations (MSPEs) are the documents prepared by medical schools to summarize student performance for the purpose of residency selection. In a recent study of MSPEs, White students were more likely to be described with “standout” words such as “best,” “excellent,” and “outstanding” compared with their non-White peers.32 Further, female students were more likely than males to be described as “caring” and “compassionate” and less likely to be described with words that denote intelligence and competence. Another recent study of language in core clerkship evaluations found that evaluators reinforce gender stereotypes through their choice of words. For example, women were more likely than men to be described as “lovely,” while men were more likely to be described as “scientific.”3

연구들은 또한 수여된 성적에서 인종과 민족적 차이를 보여주었다. 한 학술 의료 센터는 최근 역사적으로 UIM(흑인 또는 아프리카계 미국인, 히스패닉, 미국 인디언/알래스카 원주민 또는 하와이/태평양 원주민) 학생들이 백인 학생들에 비해 모든 임상실습에서 절반의 "Honors" 점수를 받았다는 것을 발견했다. 응급의학(EM) 프로그램에 지원하는 2,884명의 의대생들의 순위를 매기기 위해 사용된 표준 평가서의 수치적 글로벌 평가 순위를 조사한 결과, 흑인 지원자들이 여러 영역에서 백인 지원자들보다 낮은 등급을 받았으며, 여기에는 응급의학과에서 미래의 성공 평정, 순위 목록 예측, 전체 지원자 순위 등이 포함된다.

Studies have also demonstrated racial and ethnic differences in awarded grades. A single academic medical center recently found that students historically UIM (Black or African American, Hispanic, American Indian/Alaska Native, or Native Hawaiian/Pacific Islander) received half as many “honors” grades across all clerkships compared with White students.9 An examination of numeric global assessment rankings in the Standard Letters of Evaluation used to rank 2,884 medical students applying to emergency medicine (EM) programs found that Black applicants were rated lower than White applicants across several domains, including ratings on future success in EM, rank list prediction, and overall applicant ranking.47

[알파 오메가 알파 아너 소사이어티(AOA)]의 회원 자격을 위한 학생 선발에서도 집단 차이가 발생한다. AOA 회원 자격은 미래의 의학에서의 성공을 예측하고 있으며, 회원 자격은 종종 학생들이 가장 경쟁력 있는 레지던트 자리를 얻는 데 유리하다. 최근의 연구는 아시아 의대생들이 백인 학생들보다 AOA에 선발될 확률이 약 50% 낮다는 것을 보여주며, 사회 구성원의 인종과 민족적 불균형을 드러낸다. USMLE 1단계와 2단계 점수, 이중 학위, 연구 생산성, 리더십 활동 및 지역사회 봉사에 전념하는 시간 등 수많은 학업 성취도를 감안하더라도, 흑인 의대생이 백인 학생보다 AOA에 선출될 가능성이 거의 80% 낮다. 이러한 차이는 인종과 소수민족 의대생들이 동등한 성취에 대해 차등적으로 보상을 받는다는 것을 암시한다. 일부 기관들은 이러한 관측 때문에 AOA 회원 자격을 정지하기로 결정했다.

Population group differences also arise in selection of students for membership in the Alpha Omega Alpha Honor Society (AOA). AOA membership is predictive of future success in academic medicine, and membership often advantages students in obtaining the most competitive residency positions.39,48,49 Recent studies reveal racial and ethnic disparities in society membership, with Asian medical students being approximately 50% less likely than White students to be selected into AOA. Black medical students are nearly 80% less likely than White students to be elected into AOA, even when accounting for numerous measures of academic achievement including USMLE Step 1 and 2 scores, dual degrees, research productivity, and hours dedicated to leadership activities and community service.30 This disparity suggests that racial and ethnic minority medical students are differentially rewarded for comparable achievement. Some institutions have chosen to suspend membership in AOA because of these concerning observations.50

서술적 평가, 사무원 직급, 추천서, 명예회원의 이러한 차이는 개인과 직업 모두에게 지속적이고 부정적인 결과를 준다. 2005~2015년 미국 의대 졸업생들을 분석한 결과, 흑인 또는 아프리카계 미국인, 히스패닉계, 아시아계, 미국 인디언/알래스카 원주민 졸업생들은 모두 USMLE 1단계 점수를 감안하더라도 백인 졸업생들보다 GME에서 연수 자리를 확보할 가능성이 낮았다. 게다가, 의대 졸업 후 GME에 배치되지 않은 흑인 및 히스패닉 졸업생들의 수는 연구 내내 증가했다. GME 교육은 의료 면허 취득을 위해 필요하기 때문에, 의과대학 졸업 후 입학을 연기하거나 레지던트 프로그램에 들어갈 수 없는 것은 상당한 학생 부채를 가지고 있는 학생들에게 상당한 경제적 결과를 초래한다. 직업 다양화를 위한 목표에 대한 결과는 분명하다.
These differences in narrative assessments, clerkship grades, letters of recommendation, and honor society membership impart sustained, negative consequences for both individuals and the profession. In an analysis of U.S. medical school graduates from 2005 to 2015, Black or African American, Hispanic, Asian, and American Indian/Alaskan Native graduates were all less likely than White graduates to secure training positions in graduate medical education (GME), even after accounting for USMLE Step 1 scores.51 Moreover, the number of Black and Hispanic graduates unplaced in GME after medical school graduation increased throughout the study. Because GME training is requisite for medical licensure, delayed entry or inability to enter a residency program after medical school has substantial economic consequences for students who may also have considerable student debt. The consequences on goals to diversify the profession are clear.

 

의료교육 평가에서 모집단 차이의 잠재적 원인
Potential causes of population group differences in assessment in medical education

인구 집단 차이는 소수 인종, 민족, 성 소수자 사이의 의료 교육 평가에서 존재한다. 이 문제에 대한 간단한 설명을 찾는 것은 유혹적이다. 일부에서는 평가에서 모집단 차이의 존재만으로도 평가 과정에서 명백한 편견과 차별을 확인한다고 주장해왔다. 확실히, 일부 평가는 잘못 설계될 수 있고, 일부 평가자는 일관되게 편향될 수 있다. 다른 사람들은 집단 차이가 영향을 받는 집단 내의 다른 적성을 반영한다고 주장한다. 실제로, 의과대학 내에서, 많은 다른 사회 집단과 정체성의 다른 학생들은 다양한 전공에 대한 다른 적성과 관심을 보여준다. 만약 이 문제의 원인이 [개별 학습자 또는 평가자 수행]에 있다면, 우리는 [서로 다른 평가 방법]을 가진 [서로 다른 기관]에서 수행된 연구에서, [동일한 결과]를 볼 것으로 기대하지 않을 것이다. WRIM 학생을 유리하게 하는 차이의 [보편성과 일관성]은 체계적 힘이 작동하고 있을 가능성이 있음을 시사한다.
Population group differences exist in medical education assessments between majority and racial, ethnic, and gender minorities; they constrain individuals’ opportunities and contribute to challenges in diversifying the profession. It is tempting to seek a simple explanation to this problem. Some have argued that the mere existence of population group differences in assessment confirms overt bias and discrimination in the assessment process. Certainly, some assessments may be poorly designed, and some assessors may be consistently biased. Others have posited that population group differences reflect differential aptitude within affected populations. Indeed, within any medical school, different students from many different social groups and identities demonstrate different aptitudes for and interest in various specialties. If the origins of this problem resided with individual learner or assessor performance, we would not expect to see the same results in studies done at different institutions with different assessment methods. The universality and consistency of differences advantaging those from groups WRIM suggest that systematic forces are likely operational.

다른 사악한 문제와 마찬가지로, 평가의 불평등 문제를 해결하기 위해서는 가능한 원인과 잠재적인 해결책에 대한 더 넓은 시각이 필요하다. 공공 보건에 사용되는 [사회-생태학적 모델]은 개인의 결과가 더 광범위한 조직 및 사회 시스템의 맥락에서 고려되어야 한다는 것을 인식한다. 평가에서 형평성 문제에 이 모델을 적용하면 관찰된 모집단 차이의 가능한 원인에 대한 통찰력을 제공하고 여러 수준에서 개입을 계획할 필요성을 보여준다(그림 2 참조).

As with other wicked problems, solving the problem of inequity in assessment requires a broader view of possible causes and potential solutions. The social–ecological model used in public health recognizes that individual outcomes must be considered in the context of broader organizational and social systems.52 Applying this model to the issue of equity in assessment provides insights into possible causes of observed population group differences and illustrates the need to plan interventions at multiple levels (see Figure 2).

 

평가의 형평성에 대한 우리의 작업 정의는 평가의 불평등에 대한 그들의 잠재적 기여에 대한 제도적 시스템을 테스트하는 데 사용될 수 있다. 평가의 형평성은 학생들이 다음을 할 수 있는 공평한 기회를 가질 때 존재한다. 

• 학습(맥락적 형평성); 
  
• 평가, 코칭(학습을 위한 평가) 
  
• 성적, 진급, 졸업(학습의 평가) 
  
• 입증한 성과에 기초한 후속 기회에 선발. 이 때 입증한 성과는
  • 미래의 성공을 예측해야 하고(도구적, 순위를 위한 평가)
  • 학습 경험이나 평가가 학습자, 평가자 또는 환경의 개인적 또는 사회적 특성과 관련된 [구조적 또는 대인적 편견에 의해 영향을 받지 않아야] 한다.

Our working definition of equity in assessment can be used to test institutional systems for their potential contributions to inequity in assessment. Equity in assessment is present when students have equitable opportunities to:

• learn (contextual equity);
• be evaluated, coached (assessment for learning);
• be graded, advanced, graduated (assessment of learning); and
• be selected for subsequent opportunities based on demonstrated achievements
  • that predict future success in medicine (instrumental, assessment for ranking) and
  • that neither learning experiences nor assessments are influenced by structural or interpersonal bias related to personal or social characteristics of the learner, assessor, or context of the assessment. 

이러한 조건이 충족되지 않으면 평가의 불평등이 존재한다. 

Inequity in assessment exists if these conditions are not met. Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/B18 summarizes examples of inequity in each of these domains relevant to assessment.

프로그래밍 평가 전략을 설계하는 교육자의 직접적인 통제 하에 있지 않을 수도 있지만 [맥락적 형평성]을 고려하는 것은 필수적이다. [특정 모집단에 체계적으로 불이익을 주는 학습 환경의 과제]를 해결하지 않고, [내재적 및 도구적 평가 절차와 정책에서 형평성]만을 최적화하는 작업이 수행된다면, 평가 결과의 불평등은 유지될 것이다. 
It is vital to consider contextual equity, even though it may not be under the direct control of educators who design programmatic assessment strategies. If work is done to optimize equity in intrinsic and instrumental assessment procedures and policies without addressing challenges in the learning environment that systematically disadvantage one population and not others, then inequity in assessment outcomes will remain. Case studies outlined in Supplemental Digital Appendix 2 at https://links.lww.com/ACADMED/B18 illustrate how the elements of inequity impact learners in the clinical learning environment.

모집단 그룹 차이는 불평등이나 편견이 아닌 다른 이유로 발생할 수 있습니다. [특정 모집단이 평가 프로세스에 의해 평가되고 측정된 특성을 일관되게 보여줄 가능성]이 더 높기 때문에 모집단 그룹 차이가 존재할 수도 있다. 위제세케라와 동료들은 공감과 환자 중심성을 강조하는 기준으로 여성이 남성보다 2배 이상 골드 휴머니즘 아너 소사이어티(GHHS)에 가입할 가능성이 높다고 확인했다. 평가에서 형평성에 대한 우리의 [작업 정의working definition]는 [특정 모집단이나 그룹이 가치 있는 특성을 일관되게 보여줄 가능성이 더 높은지] 또는 [선택 과정이 불평등한지] 여부에 대한 질문을 탐구하기 위한 렌즈이다.

• 여성이 남성보다 공감과 환자 중심성이 더 뛰어난가(개인의 적성과 성취도)? 
  
• 남성이 공감과 환자 중심성을 보여주는 방법이 평가자 및/또는 평가 방법에 의해 동등하게 포착되었는가(내재적 형평성)? 
  
• 남성과 여성은 이러한 특성을 입증하기 위해 예상되는 방법으로 코칭을 받을 수 있는 기회가 동등한가? ('학습을 위한' 맥락과 평가)
  
• 평가 맥락은 남성과 여성이 이러한 특성을 입증할 수 있는 동등한 기회를 허용하는가? ('학습의' 맥락과 행동)
  
• 마지막으로, 조직적 가치 설명: 
  
  • 이러한 특성이 미래의 의사들에게 측정되고 개인을 구별하는 데 사용될 만큼 충분히 중요한가? (본질적 및 도구적 형평성) 

Population group differences may occur for reasons other than inequity or bias. Population group differences may exist because one population is consistently more likely to demonstrate the characteristics valued and measured by the assessment process. Wijesekera and colleagues identified that women were more than twice as likely as men to be inducted into the Gold Humanism Honor Society (GHHS), with criteria emphasizing empathy and patient centeredness.53 Our working definition of equity in assessment is a lens to explore the question of whether one population group is consistently more likely to demonstrate the characteristics valued or whether the selection process is inequitable.

• Do women have more empathy and patient centeredness than men (individual aptitude and achievement)?
• Are the ways that men demonstrate empathy and patient centeredness equally captured by assessors and/or by the assessment method (intrinsic equity)?
• Do men and women have equal opportunity to receive coaching (context and assessment for learning) in the expected ways to demonstrate these traits?
• Does the assessment context allow men and women equal opportunities to demonstrate these traits (context and conduct of learning)?
• And finally, an organizational value statement:
  • Are these traits important enough to future physicians to be measured and used to differentiate among individuals (intrinsic and instrumental equity)?

이 예는 남성과 여성 학생을 다르게 형성하는 선행 기관, 문화 및 경험의 중요성을 강조하며, 평가 전략에 대한 유효한 질문을 제기하는 동시에 이러한 특징의 입증에 진정한 차이를 초래할 수 있다. GHHS가 이러한 발견에 어떻게 반응하는지는 제도적 가치를 반영하고 구체화하며 궁극적으로 촉진할 것이다.

This example both highlights the importance of antecedent institutions, cultures, and experiences that shape men and women students differently and may lead to true differences in demonstration of these traits while also raising valid questions about assessment strategies. How the GHHS responds to these findings will reflect, embody, and ultimately promote institutional values.

의료교육의 공정성 평가체계
A Framework for Equitable Assessment in Medical Education

의료 교육 평가의 형평성과 공정성에 대한 문헌의 통찰, 의료 교육 평가에서 평가의 차이가 존재하는 이유에 대한 가설, 고품질 평가를 지원하는 이론을 바탕으로 [평가의 형평성을 고려하기 위한 프레임워크]를 제안한다. 이 프레임워크는 효과적인 조직이 목적 중심적이고 원칙적인 플랫폼에서 개선 작업을 시작한 후 문화를 형성하고 시스템을 구축하며 이러한 원칙을 반영하는 결과를 달성할 수 있는 도구를 선택하는 것을 인식하는 조직 우수성을 위한 Shingo 모델을 기반으로 합니다. 목록 1은 [평가의 형평성을 위한 Shingo 모델] 적용을 가이드하는 원칙을 요약한 것이다.
Drawing on insights from the literature on equity and fairness in medical education assessments, hypotheses for why disparities in assessment exist in medical education assessment, and theories supporting high-quality assessment, we propose a framework for considering equity in assessment. This framework is based on the Shingo model for organizational excellence, which recognizes that effective organizations begin their improvement work from a purpose-driven and principled platform and then move to shape the culture, build the systems, and select the tools that can achieve the results that reflect those principles.54 List 1 outlines principles that guide application of the Shingo model to equity in assessment.

가이드 원칙
Guiding principles

특정 기관의 평가 결과는 여러 기관 및 조직(전공의 및 펠로우십 프로그램, 면허 및 인증 위원회, 병원 자격 부여 부서, 전문 사회 및 정부 당국)에 의해 사용될 것이기 때문에, 의학교육에서의 [평가의 형평성에 대한 모델]은 [프로그램 및 의료 기관의 경계를 평등을 초월]해야 한다. 따라서 의료 교육에서 평가에서 형평성을 성공적으로 달성하려면 의료 및 의료 교육에서 우리의 업무에서 필수적인 요소로서 형평성을 발전시키기 위한 [전국적인 집단적 약속]이 필요하다.
Because results of assessments at any given institution will be used by multiple institutions and organizations (residency and fellowship programs, licensing and certifying boards, hospital credentialing units, professional societies, and governmental authorities), a model for equity in assessment in medical education must transcend program and institutional borders. Thus, successfully achieving equity in assessment in medical education requires a nationwide, collective commitment to advance equity as an essential element in our work in health care and medical education.

의학교육에서 모든 평가의 목적은 [모든 졸업생]이 [모든 환자]에게 [고품질의 환자 중심적이고 공평한 치료]를 제공하는 데 [필요한 역량]을 입증하는 것이다. 이러한 목적은 의료 및 의료 교육 문화의 설계, 구현 및 지속적인 개선, 학습자를 평가, 평가, 승진, 졸업 및 인증하기 위해 사용하는 시스템과 전략, 그리고 전략을 구현하기 위해 선택하는 도구를 추진해야 합니다.

The aim of all assessment in medical education is to ensure that every graduate of schools and training programs has demonstrated the competencies needed to provide high-quality, patient-centered, equitable care for all patients. This purpose must drive the design, implementation, and continuous improvement of the culture of medicine and medical education; the systems and strategies we use to assess, grade, promote, graduate, and certify learners; and the tools we select to implement our strategies.

문화
Culture

문화는 조직의 규범, 기대, 신념, 가치를 나타냅니다. 문화적 규범은 명시적이고 암묵적이며 조직 내 개인들이 보여주고 보상하는 행동에 반영된다. 분위기climate는 [문화의 개별적인 경험]이다.
Culture represents an organization’s norms, expectations, beliefs, and values. Cultural norms are both explicit and tacit and are reflected in the behaviors exhibited and rewarded by individuals in the organization. Climate is the individual experience of culture.

형평성과 포용을 지지하는 문화를 달성하려면 우리가 의학에서 수월성을 정의하고, 개발하고, 인식하는 방법에 대한 오랜 믿음의 재보정이 필요하다. 21세기에는 복잡한 만성질환 환자를 돌보기 위해 필요한 팀 기반 전달 모델이 모든 팀원이 우수해야 한다. 그러므로 우리 환자와 공동체의 건강에 중요한 것은 [최고의 의사가 얼마나 훌륭한가]가 아니라, [모든 의사가 얼마나 훌륭한가]이다. 이 견해는 평가의 형평성과 잘 맞아떨어진다. 우리의 평가 문화는 모든 학습자들이 이러한 성장을 지원하기 위해 헌신하는 시스템과 다른 전문가들의 도움을 받아 의료 경력을 통해 성장하고 발전해야 한다는 믿음을 수용해야 한다. 우리의 초점은 [졸업반 중 상위 10%를 식별하는 것]이 아니라, [모든 졸업생이 안전하고 질 높은 환자 치료에 필요한 역량 임계값을 초과하는지 확인하는 평가를 설계하는 것]이어야 한다.
Achieving a culture that supports equity and inclusion requires recalibration of long-standing beliefs about how we define, develop, and recognize excellence in medicine. In the 21st century, the team-based delivery model needed to provide care for patients with complex chronic diseases requires that all team members be excellent. Therefore, what matters to the health of our patients and communities is not how good the very best physician is, but how good every physician is. This view aligns well with equity in assessment. Our culture of assessment must embrace the belief that all learners can and must grow and develop throughout their medical careers, aided by systems and other professionals committed to supporting this growth. Our focus must be to design assessments to ensure every graduate exceeds the competency thresholds necessary for safe, high-quality patient care, rather than to identify the top 10% of a graduating class.

평가 시스템
Systems of assessment

시스템은 평가에서 내재적 형평성을 지원하도록 설계되어야 한다.
Systems must be designed to support intrinsic equity in assessment.

교육자는 다음과 같은 시스템을 설계해야 한다.

• 평가 기준을 명시적으로 밝히고,
• 학습 기회를 균등화하고,
• 모든 학습자에게 형성적 피드백을 제공하고,
• 개별 평가자의 무의식적 편견이 학습자의 성적에 미치는 해로운 영향을 최소화하고,
• 성과 사고방식보다는 성장형 사고방식을 인식하고 보상

Educators must engineer systems that

• explicitly articulate criteria for assessment,
• equalize the learning opportunities,
• provide formative feedback for all learners,
• minimize the deleterious impact of unconscious bias of any individual evaluator on a learner’s grades, and
• recognize and reward growth rather than performance mindset.

경험적 데이터가 공평한 평가 프로그램의 설계를 안내하는 것은 거의 없지만, 평가를 위한 두 가지 현재 프레임워크는 형평한 평가 프로그램의 개발을 지원할 수 있다:competency-based medical education (CBME) and programmatic assessment focused on equity. 이러한 접근법은 평가 및 평가 결과의 불평등에 기여하는 개인과 그룹의 무의식적 편견을 최소화할 수 있는 잠재력을 가지고 있다.

While little empirical data guide the design of equitable programs of assessment, 2 current frameworks for assessment align with and can support development of equitable programs of assessment: competency-based medical education (CBME) and programmatic assessment focused on equity. These approaches have the potential to minimize unconscious bias in individuals and groups that contribute to inequities in assessment and assessment outcomes.

[CBME]는 의학교육의 기대 성과를 정의하고 이정표를 사용하여 역량 달성 예상 궤적을 요약한다. CBME의 평가는 의과대학에서 독립적인 실습으로 이어지는 연속체에 있는 모든 개인들이 계속해서 배우고 성장하고 있다는 믿음에 기초한다. 이와는 대조적으로, [전통적인 평가 방식]은 [성장을 지원하는 것]이 아니라, [단점이 있는 학습자를 식별]하는 데 초점을 맞추고 있습니다. 이러한 [결핍deficit 접근법]은 불균형적으로 UIM 학습자에게 불리하며, 모든 학습자의 성장 마인드를 배양하기 위해 평가 정보를 사용할 기회를 놓친다. 학습의 관점에서, [고군분투하는 학습자를 식별하는 데 초점을 맞추는 것]은 전형적으로 [모든 학습자가 개발이 필요한 영역을 가지고 있고 지속적으로 학습하고 성장하는 것으로 가정되는 발달 초점developmental focus]과 배치된다. 철저한 의예과 교육을 받지 못하는 것은, UIM 학습자에게 불균형적으로 영향을 미치는 흔한 시나리오로, 이렇게 [고군분투하는 학습자]로 분류될 수 있다. 일단 이 딱지가 붙으면, 학습자는 개인적으로나 직업적으로나 그 결과에 시달리게 된다.
CBME defines desired outcomes of medical education and outlines the expected trajectory of competency achievement using milestones.55–57 Assessment in CBME is based on the belief that all individuals on the continuum of medical school into independent practice are continuing to learn and grow.58 In contrast, traditional approaches to assessment focus not on supporting growth but on identifying learners with shortcomings.59–62 This deficit approach disproportionately disadvantages UIM learners and misses the opportunity to use assessment information to foster a growth mindset in all learners. From a learning perspective, a focus on identifying struggling learners typically contradicts a developmental focus in which all learners are assumed to have areas in need of development and to be continuously learning and growing.63 Any learner with less exposure or less rigorous premedical training, scenarios that disproportionately affect UIM learners, is particularly vulnerable to being labeled a struggling learner. Once this label is applied, the learner suffers the consequences, both personally and professionally.

[형평성에 초점을 맞춘 프로그램 평가]는 개별 학습자와 학습자의 궤적에 대한 [총체적이고 균형 잡힌 관점]을 위해 노력합니다. 이 목표는 여러 가지 다른 맥락에서 학습자의 작업의 많은 샘플을 수집하고 분석함으로써 달성된다. 정량적 데이터 외에도 수행에 대한 [내러티브 설명자]와 같은 [정성적 평가]는 학습자 개선을 안내하고 학습자 역량에 대한 엄격한 결정에 기여할 수 있는 수행의 뉘앙스에 대한 정보를 제공한다.64

Programmatic assessment focused on equity strives for a holistic, well-rounded view of individual learners and their trajectory. This aim is achieved by collecting and analyzing many samples of learners’ work in multiple different contexts. In addition to quantitative data, qualitative assessments, such as narrative descriptors of performance, provide information about the nuances of performance that can guide learner improvement and contribute to rigorous decisions about learner competence.64

형평성을 더욱 서포트하기 위하여, [프로그램 평가]에는 진급과 졸업에 대한 높은 이해와 종합적 결정을 하기 위해 개인이 아닌 [위원회에 의존하는 시스템]이 포함된다. 형평성을 높이기 위한 최적의 위원회 구조와 기능의 세 가지 핵심 요소가 있다.

• 그룹 구성원 자격
• 데이터 관리
• 의사 결정 절차가 .

For further support of equity, programmatic assessment includes systems that rely on committees rather than individuals to make high-stakes, summative decisions about advancement and graduation.65,66 Three critical elements of optimal committee structure and function can advance equity:

• group membership,
• data management, and
• decision-making procedures.

 

• [그룹]은 [많은 데이터 포인트]로 무장하여, ["군중의 지혜"가 충분히 고려된 결정]을 내리기 위해 다양한 의견을 끌어낼 수 있는 기회를 만든다. 구성원들이 의사결정의 질을 강화하기 때문에 [다양한 집단]이 개인이나 동질적 집단보다 낫다. [흔한 편견에 대한 교육]은 공정한 평가를 위하여, [인지적 지름길에 대한 인간의 취약성]이나 [학습자의 기회를 단축시킬 수 있는 개인적 선호]를 인식하게 한다.
• [이용 가능한 양질의 데이터]와 [잘 조직된 정보에 대한 접근 용이성]은 그룹 의사 결정을 강화합니다. 여러 출처의 균형 잡힌 데이터가 없을 경우, 그룹 구성원은 인상이나 제한된 데이터에 기초한 결정을 내릴 수 없으며, 이는 다시 편향의 위험을 초래하는 과정이다.
• 마지막으로, [데이터 검토 및 그룹 토론을 위한 구조화된 절차]는 모든 학습자가 사용 가능한 정보의 총체를 기반으로 평가되도록 합니다.
• A group invites opportunity for the “wisdom of the crowd,” armed with a large number of data points, to draw on a diversity of opinions to make well-considered decisions. Diverse groups outperform individuals or homogeneous groups because members strengthen the quality of decisions made.67 Training about common biases brings awareness of the human vulnerability for cognitive shortcuts and personal preferences that can shortchange every learner’s opportunity for fair assessment.68 
• The quality of data available and ease of accessing well-organized information strengthen group decision making. Absent well-rounded data from multiple sources, group members may default to making decisions based on impressions or limited data, a process that again introduces risk for bias.
• Finally, structured procedures for data review and group discussions help ensure that all learners are evaluated based on the totality of information available.

시스템은 상황별 형평성을 해결하도록 설계되어야 합니다.
Systems must be designed to address contextual equity.

평가 결과에서 형평성을 달성하려면 [맥락적 형평성]에 대한 주의가 필요합니다. 평가의 커리큘럼과 프로그램은 모두 다른 제도 시스템, 특히 교수-학습을 위하여 [환자 진료와 교수 지원을 조정하는 시스템]에 크게 의존한다. 평가 시스템을 설계하는 교육자들은 소수자 학습자들을 위한 학습 환경을 최적화하기 위해 학업 건강 시스템의 다른 지도자들과 협력해야 한다.
Achieving equity in assessment outcomes requires attention to contextual equity. Both curricula and programs of assessment are highly dependent on other institutional systems, specifically those that orchestrate patient care and faculty support for teaching and learning. Educators who design systems of assessment must work with other leaders in academic health systems to optimize the learning environment for minority learners.

시스템은 평가 결과에서 도구적 형평성과 형평성을 다루도록 설계되어야 한다.
Systems must be designed to address instrumental equity and equity in assessment outcomes.

인가자(의료교육 및 대학원 의료교육 인가위원회)와 평가 데이터를 수집 및 사용하는 조직의 리더(전국 거주자 일치 프로그램, 인증 위원회)는 [형평성 원칙에 부합하는 데이터 프레젠테이션 시스템]을 설계하여 평가의 형평성을 지원할 수 있다. 교육 기관 및 리더가 [평가 데이터를 의도된 목적으로만 사용할 책임]을 갖게 해야 한다.
Accreditors (Liaison Committee on Medical Education and Accreditation Council for Graduate Medical Education) and leaders of organizations that collect and use assessment data (National Resident Match Program, certifying boards) can support equity in assessment by designing systems of data presentation that align with principles of equity and by holding educational institutions and leaders accountable for using assessment data only for intended purposes.

도구들
Tools

[도구]는 시스템 내에서 원하는 결과를 얻기 위해 개인이 사용하는 기술, 프로세스, 인센티브 및 디스인센티브를 말합니다. 공평한 평가에 사용되는 도구를 선택하여 시스템 우선 순위를 지원하고 운영합니다. 도구에는 다음이 포함된다.

• 증거 찾기 도구(환자, 임상 추론 및 필기 작업 제품과의 상호작용에 대한 학습자의 직접 관찰 및 토론),
• 데이터 표시 도구,
• 데이터 분석 도구,
• 교수 개발 도구
• 커뮤니케이션 도구

Tools are the technologies, processes, incentives, and disincentives employed by individuals within the system to achieve desired results. Tools used in equitable assessment are selected to support and operationalize system priorities. Tools include

• evidence-seeking tools (direct observation of and discussion with learners about interactions with patients, clinical reasoning, and written work products),
• data display tools,
• data analytic tools,
• faculty development tools, and
• communication tools.

결과.
Results

[결과]는 평가 모델의 가이드 원칙을 보여주고, 확인하게 해주는 측정 가능한 결과입니다. 결과는 원하는 결과를 달성하기 위해 설계된 도구와 시스템을 다듬는 데 필수적인 [피드백 메커니즘]을 제공합니다. 결과는 기관, 조직 또는 전문 의료 교육 커뮤니티의 문화를 강화합니다.
Results are the measurable outcomes that demonstrate and affirm the assessment model’s guiding principles. Outcomes serve an essential feedback mechanism for refining the tools and systems engineered to achieve the desired results. Results reinforce the culture of the institution, organization, or professional medical education community.

의료 서비스 제공과 의료 교육에 있어 형평성을 증진하기 위한 우리의 약속을 이행하기 위해 개인, 기관 및 국가 조직은 목록 1에 설명된 결과를 위해 노력해야 한다. [평가를 위한 형평성 원칙]과 [증거 기반 전략]을 고수한다고 해서, 특정 기관이 class마다 존재하는 모든 인구 집단 차이를 피할 것이라는 보장은 없다. 주어진 class의 크기가 작거나, 해마다 학생들의 흥미와 포부가 다양하기에, 모든 차이도 제거하는 것이 불가능할 수 있다. 대신, 의료 교육에서 평가의 형평성이 달성되었다는 [더 나은 지표]는 [역사적으로 URM이거나 의학에 의해 소외된 그룹의 학습자 모집단]에 대해서 [국가 수준의 차이가 없다는 것]이다.

To fulfill our commitment to advancing equity in health care delivery and in medical education, individuals, institutions, and national organizations must commit to striving for the results outlined in List 1. Adhering to equity principles and evidence-based strategies for assessment does not guarantee that any given institution will avoid all population group differences in their classes. The small sample size of a given class and variability of student interest and aspirations from year to year may make a goal of eliminating any differences unfeasible. Instead, a better indicator that equity in assessment in medical education has been achieved will be the absence of national-level disparities for populations of learners from groups that are historically URM or that have been marginalized by medicine.

연구 의제
Research Agenda

위에서 제안한 평가의 형평성 모델은 의료 교육 시스템에 만연해 있는 불평등을 해결하기 위한 약속을 요구한다. 편견과 차별의 감소를 입증하는 필요한 증거 수집을 안내하는 강력한 연구 의제는 아래에 요약되어 있다.
The above proposed model for equity in assessment demands commitment to addressing inequities that have pervaded the medical education system. A robust research agenda to guide the collection of needed evidence demonstrating reduction in bias and discrimination is outlined below.

평가에서 [내재적 형평성]에 대한 연구
Research into intrinsic equity in assessment

학습자 평가: UIM 학습자의 성공에 대한 장애물과 장벽에 대해 많이 쓰여졌지만, [반-결핍antideficit 렌즈]는 UIM 학습자를 성공을 위해 포지셔닝하는 강점과 특성에 초점을 두는 다른 접근 방식을 취한다. 하퍼의 엄격한 작업은 대학 교육을 준비하고 추구하는 [흑인 남성의 (단점보다는) 성공에 기여한 요소들을 묘사하기 위해 반-결핍 렌즈를 사용]했다. 이 접근법은 UIM 학습자들이 성공을 거두도록 하는 동기, 성과 특징, 개인 및 제도적 특성을 연구하는 모델 역할을 할 수 있다. 

Learner assessment: While much has been written about obstacles and barriers to success for UIM learners, the antideficit lens takes a different approach by drawing focus to the strengths and characteristics that position UIM learners for success. Harper’s rigorous work used an antideficit lens to describe the factors that contributed to success rather than the shortcomings of Black men preparing for and pursuing college education. This approach can serve as a model for studying the motivations, performance features, and individual and institutional characteristics that set UIM learners up for success.69

교육자들은 실제의 성공을 예측하는 학습자 궤적의 특성을 설명하는 엄격한 연구로부터 이익을 얻을 것이다. 그런 다음 교육자는 바람직한 학습자 궤적에 대한 유효한 데이터를 캡처할 수 있는 평가 방법을 결정하여 표준 평가 방법에서 초점을 이동할 수 있다.

Educators will benefit from rigorous studies that explicate the characteristics of learner trajectories that predict success in practice. Educators can then determine which assessment methods can capture valid data about favorable learner trajectories and, thus, shift focus away from normative assessment methods.

[맥락적 형평성] 평가 연구
Research into contextual equity in assessment

학습자 경험: UIM 학습자를 위한 학습 환경의 영향력 있는 측면을 이해하면 연구자들은 환경, 학습자 만족도 및 성취도 사이의 관계를 조사하여, [UIM 학습자의 성취를 최대화할 기회를 방해하는 구조적 장벽을 해결하는 개선 사항]을 알릴 수 있다. 학습 환경의 개인, 사회적, 물리적 및 조직적 요소에 초점을 맞춘 또 다른 접근 방식은 UIM 학습자의 고유한 경험을 평가하고 성장에 역행하는 경험을 해결하기 위한 솔루션을 제안할 수 있는 잠재력을 가진 그룹펜의 프레임워크이다. 

Learner experience: Understanding the influential aspects of the learning environment for UIM learners empowers researchers to examine relationships between the environment, learner satisfaction, and achievement to inform improvements that address any structural barriers impeding UIM learners’ opportunities to maximize their achievement.70 Another approach, with a focus on person, social, physical, and organizational elements of the learning environment, is Gruppen’s framework, which holds potential for evaluating unique experiences of UIM learners and proposing solutions to address experiences that are counter to growth.71

교육과 환자 관리를 모두 최적화하기 위한 이중 목표를 가진 현재 임상 학습 환경은, 해결책을 찾기 위해 조사할 가치가 있는 긴장을 조성한다. 순환형 의학교육 모델에서 학습자와 감독자, 특히 다른 배경이나 정체성을 가질 수 있는 감독자 사이의 [의미 있는 관계와 신뢰를 배양하는 시스템과 구조]에 대한 추가 연구가 필요하다. 이 작업에는 조직 문화와 분위기를 최적화하는 데 중점을 두어야 합니다. 조직은 다양성과 포괄성을 지지하지만, 고위 구성원의 오랜 이데올로기를 바꾸거나 미시적 공격을 최소화하기 위해 고군분투할 수 있다. 이러한 문제에 개입하기 위한 증거 기반 전략이 필요하다.

The current configuration of the clinical learning environment, with dual aims to optimize both education and patient care, creates tensions that deserve investigation to find solutions. Further research is needed into systems and structures that foster meaningful relationships and trust between learners and supervisors, particularly those who may be of different backgrounds or identities, in a rotational model of medication education. This work must include a focus on optimizing organizational culture and climate. An organization may espouse diversity and inclusivity, but struggle to change long-standing ideologies of senior members or minimize microaggressions; evidence-based strategies for intervening on these problems are needed.

평가의 [도구적 형평성]에 관한 연구
Research on instrumental equity in assessment

[교육 프로그램에서 선발]은 의사 결정에 영향을 미칠 수 있는 의식적 또는 무의식적 편향의 가능성이 있기에, 추가 연구를 수행할 가치가 있는 학습자 평가의 또 다른 측면이다. 보건 직업 훈련 프로그램에 대한 입학을 조사하는 현재의 증거는 주로 단일 기관 연구로 구성되어 있지만, 일반적으로 개입이 계층 구성을 다양화하는 데 효과적이라는 것을 고무적으로 보여준다. UIM을 비롯한 다양한 학습자들이 보건 직업 분야에서 성공을 거둘 수 있도록, 선발 뿐만 아니라 학업적 지원에 대한 효과적인 접근 방식을 입증하기 위해 멀티센터, 종적 연구를 통한 추가 연구가 필요하다. 연구 노력은 평가의 긴장을 인정해야 한다. 예를 들어, [학습을 위한 평가] 대 [순위를 위한 평가와 선발] 사이의 긴장은 평가의 형평성에 관한 논의에서 중심적인 것으로 남아있다.

Selection of learners for positions in training programs is another aspect of learner assessment deserving of further research due to potential for conscious or unconscious bias to influence decision making. Current evidence examining admissions to health professions training programs comprises mainly single-institution studies but encouragingly shows that, in general, interventions are effective at diversifying class composition.72 Further research is needed through multicenter, longitudinal studies to demonstrate effective approaches to not only selection but also academic support to ensure that UIM and other diverse learners achieve success in health professions careers. Research efforts must acknowledge tensions in assessment.73 For example, the tension between assessment for learning vs assessment for ranking and selection remains central in discussions regarding equity in assessment.

평가의 형평성을 지원하는 [교수의 역할]에 관한 연구
Research on preparation of faculty for their roles supporting equity in assessment

교수 개발: 연구에 따르면 의사의 암묵적 편견이 환자에게 미치는 부정적인 영향이 있다. 의학 학습자의 평가에도 유사한 편견이 존재한다. 편중 위험을 최소화하는 고품질 평가를 수행하기 위해 교직원 육성의 편익을 어떻게 개입하고 측정할 수 있는지 이해하기 위한 연구가 필요하다.

Faculty development: Studies demonstrate the negative effects of physicians’ implicit bias on their patients74; similar bias exists in evaluation of medical learners.9,30 Research is needed to understand how to intervene and measure the benefits of faculty development to conduct high-quality assessment that minimizes the risks of bias.

[평가 결과]의 형평성에 대한 연구
Research into equity in assessment outcomes

[공정한 평가 실천]이 [학습자 및 학습자가 복무할 환자에게 더 나은 결과를 제공하는지 여부와 방법]을 확인하기 위해 증거가 필요하다. 예를 들어, [제공자의 문화적 역량을 강화하기 위한 개입]은, 선의는 있지만, 모두 원하는 결과를 달성하지는 못한다. 어떤 평가 접근법이 학업적 커리어 뿐만 아니라, 모든 전공 분야와 환경에서 UIM 학습자의 진로 추구를 최적화하는지를 검토하기 위한 연구가 필요하다.

Evidence is needed to confirm whether and how equitable assessment practices produce better outcomes for learners and the patients they serve. For example, interventions to enhance providers’ cultural competency, though well-intentioned, do not all achieve desired outcomes.75 Research is needed to examine what approaches to assessment optimize UIM learners’ pursuit of careers in any and all specialties and settings as well as in academic careers.

[프로그램 평가]를 위한 평가 연구
Research into assessment for program evaluation

평가에서 불평등과 편향에 대응하려면, 프로그램 평가에 세심한 주의를 기울이는 프로그램 접근법이 필요하다. 프로그램 평가에 대한 [현실주의적 접근]은 어떤 개입이 효과가 있는지, 효과가 없는지를 묻는 것뿐만 아니라 개입의 맥락을 고려함으로써 이러한 요구를 충족시킨다. 간단히 말해서, 현실주의 평가는 다음과 같이 묻습니다. "어떤 상황에서 누구에게 효과가 있고, 왜 효과가 있는가?" 맥락을 이해하면 다른 프로그램들이 그들 자신의 문맥에 대한 개입의 타당성과 적용 가능성을 고려할 수 있다.

Counteracting inequity and bias in assessment requires a programmatic approach with careful attention to program evaluation. A realist approach to program evaluation meets these needs not only by asking what interventions work or don’t work but also by considering the context of the interventions. Put simply, realist evaluation asks: “What works for whom in what circumstances, and why?”76 Understanding the context allows other programs to consider the feasibility and applicability of interventions to their own context.

과제 및 의도하지 않은 결과
Challenges and Unintended Consequences

형평성에 대한 논의는 많은 사람들에게 불안감을 주고, 능력(주의)의 개념에 직면한다. 미국 사회의 "근본적 신화"라고 불리는 능력merit은 개인의 재산, 그의 (심리학) 직업윤리와 본질적인 재능으로 여겨진다. 이 때 능력은 오로지 자수성가에 의한 것으로, 사회적 집단이나 부모의 유산이 아니다. 예를 들어, 리베라의 연구는 문화적 자본이 어떻게 엘리트의 아이들이 다음을 할 수 있게 하는지를 설명한다.

• 면접을 더 잘 수행하고 면접 전에 더 많은 코칭을 받고,
• 의사 결정권자와의 유대감과 미러링을 가능하게 하는 어린 시절의 경험을 쌓고,
• 실수의 부정적 여파를 최소화하고 (실수가 고정관념으로 연결되는 학생에 비해),
• 또는 매우 경쟁력 있는 직업을 확보하는 데 필요한 적합성, 추진력, 기술 및 재능을 발휘합니다. 

Any discussion of equity assessment creates unease for many and confronts the notion of merit. Termed “the foundational myth” of U.S. society, merit is thought to be a property of the individual, his (sic) work ethic and intrinsic talents.77 Merit is Horatio Alger’s alone—not a property of a social group or a parental legacy. Rivera’s research, for example, describes how cultural capital enables children of the elite to:

• perform better in interviews and receive more coaching before interviews;
• have childhood experiences that allow for more bonding and mirroring with decision makers;
• have mistakes discounted (vs students for whom mistakes confirm stereotypes); and
• otherwise exhibit the fit, drive, skills, and talents necessary to secure a highly competitive job.78 

[진정한 능력주의의 존재에 도전하는 것]은 힘든 싸움으로 남아있다.
Challenging the existence of a true meritocracy remains an uphill battle.

형평성 평가에 대한 논의에 대한 또 다른 도전은 편견과의 연결이다; 많은 교육자들은 무의식적인 편견의 개념을 거부한다. 평가의 형평성은 모든 학습자가 환자를 돌보는 데 필요한 기술, 지식 및 역량을 평가하도록 보장하는 것입니다. 마지막으로, 어떤 평가 시스템도 사회적 불평등으로 인한 집단 차이를 없애지 못할 것이다. 부분적으로, 그것은 엘리트들이 적응하기 때문이다. SAT 시험은 엘리트 대학에 재능 있는 청소년 기회를 제공하기 위해 개발되었다. 개발자들은 시험 준비 서비스가 뒤따를 것이라고는 꿈에도 생각하지 못했다. 평가의 형평성 추진은 학습의 형평성과 사회적 불평등에서 파생되는 기회와 연결되기 때문에 지속적인 품질 개선의 과정이어야 한다.

Another challenge to discussions of equity assessment is the link to bias; many educators reject the notion of unconscious bias. Equity in assessment is about ensuring that we assess all learners for the skills, knowledge, and competencies required to care for their patients. Finally, no system of assessment will do away with group differences due to social inequities. In part, that is because elites adapt. The SAT test was developed to offer talented youth opportunities to elite colleges. Its developers never dreamed that test prep services would follow. Because the drive for equity in assessment is linked to equity in learning and opportunities that derive from social inequities, it must be a process of continuous quality improvement.

결론
Conclusion

우리는 다양한 형태의 평가와 불평등의 다양한 측면을 구별하면서 평가의 형평성 문제를 조사했다. 평가의 불평등에 기초한 증거에 의해 통보된 이 원고는, [형평성을 달성하기 위해 평가를 최적화하기 위한 프레임워크]를 제시한다. 형평성 논의의 근저에 있는 핵심 이슈는 궁극적으로 환자의 건강을 개선할 평가의 형평성을 달성하기 위해 지속적으로 필요한 연구와 관행 개선을 위한 의제로 작용한다. 개별 의과대학은 우리의 학습과 환자 치료 생태계를 설계하고 지속적으로 개선하기 위해 지역적으로 일하고 보건 직업 교육의 형평성을 국가 인력 우선 과제로 만들기 위해 함께 노력함으로써 평가에서 형평성의 사악한 문제에 대한 해결책을 찾기 시작할 수 있다.

We have surveyed issues of equity in assessment, distinguishing various forms of assessment and various aspects of inequity. Informed by the evidence base on inequity in assessment, this manuscript puts forth a framework for optimizing assessment to achieve equity. Key issues underlying debates on equity serve as the agenda for ongoing needed research and practice improvement to achieve equity in assessment that will ultimately improve patients’ health. Individual medical schools can begin seeking solutions to the wicked problem of equity in assessment by working locally to design and continuously improve our learning and patient care ecosystems and by joining together to make equity in health professions education a national workforce priority.

 

List 1 평가의 형평성 달성 : Shingo의 조직 수월성 모델을 기반으로 한 모델
List 1 Achieving Equity in Assessment: A Model Based on the Shingo Model of Organizational Excellence

지침:
Guiding principles:

• [의학교육의 목적]은 점점 더 다양해지는 환자와 지역사회에, 고품질의 안전하고 공정한 치료를 제공할 수 있고, 그렇게 하는데 헌신할 의사 인력을 준비하는 것입니다.
• [의학교육 평가의 목적]은 학교나 연수 프로그램을 졸업한 모든 사람이 모든 환자에게 우수하고 공평한 치료를 제공하는 데 필요한 역량을 갖추도록 함으로써 의료교육이 우리의 사회적 계약을 이행하도록 보장하는 것이다.
• The purpose of medical education is to prepare a physician workforce capable of and committed to providing high-quality, safe, and equitable care to our increasingly diverse patients and communities.
• The purpose of assessment in medical education is to ensure that medical education fulfills our social contract by ensuring that all who graduate from a school or training program have the competencies needed to provide excellent and equitable care to all patients.

평가 가치의 형평성에 전념하는 문화:
A culture committed to equity in assessment values:

• 다양성, 형평성, 포함Diversity, equity, and inclusion: 고품질 의료 시스템의 원동력
  
• 형평성: 고기능 학습 및 평가 시스템의 필수 특성
  
• 모든 개인과 팀의 수월성: 고품질의 환자 치료를 제공하는 데 필요한 종합적인 역량 집합의 달성에 따라 정의됨
  
• 성장 및 발전에 대한 헌신: 경력 전반에 걸쳐 지속적으로 우수성을 유지하기 위한 필수 요건입니다
• Diversity, equity, and inclusion as drivers of a high-quality health care system.
• Equity as an essential characteristic of high-functioning learning and assessment systems.
• Excellence in all individuals and teams as defined by achievements in the comprehensive set of competencies that are required to provide high-quality patient care.
• A commitment to growth and improvement as an essential requirement for sustained excellence over the course of a career.

공평한 학습 및 평가 시스템 및 프로그램:
Equitable systems and programs of learning and assessment:

• 평가 및 학습에 대한 현대 이론을 사용하여, 공정성의 증거를 중앙에서 설계하고 지속적으로 모니터링합니다.
• Are centrally designed and continuously monitored for evidence of equity, using contemporary theories of assessment and learning.

 

• [학습을 위한 평가]에서, [개인과 그룹이 무의식적 편향의 영향을 완화]하여, [내재적 형평성]을 최적화하는 구조와 프로세스에 초점을 맞춥니다.
  • 명시적 기준: 규범적normative 기준에 의존하지 않고 성과를 평가할 수 있도록
  • 다양한 평가 전략 및 측정 기준: 의사가 우수한 치료를 제공하는 데 필요한 여러 역량을 효과적으로 평가할 수 있도록
  • 학습자와 학습자를 평가하는 모든 감독자의 준비: 평가 절차와 원하는 역량 달성 기준을 명확하게 이해할 수 있도록 
    
  • [모든 학생이 종합적이고 높은 수준의 결정을 내리기 전에 빈번하고, 실행 가능하고, 형성적인 평가]를 받도록 보장하는 전략

• Focus on structures and processes that optimize intrinsic equity by mitigating the impact of unconscious bias by individuals and groups in assessment for learning, including:
  • explicit criteria by which achievements are assessed, rather than relying on normative criteria
  • a diversity of assessment strategies and metrics to validly assess the breadth of competencies needed for physicians to provide excellent care
  • preparation of all supervisors who assess learners and the learners themselves to have a clear understanding of assessment procedures and desired competency attainment criteria
  • strategies that ensure that all students receive frequent, actionable, formative assessment before summative, high-stakes decisions are made
• [학습의 평가]에 있어, [개인과 집단이 무의식적인 편견이 미치는 영향을 완화]하여, [내재적 형평성]을 최적화하는 구조와 프로세스에 초점을 맞춥니다.
  • [역량 달성에 대한 종합적 결정]은 [다양한 환자와 함께, 광범위한 임상적 맥락에서, 학습자와 상호 작용하는 여러 관찰자로부터 수집된 증거를 기반]으로 한다.
  • [역량 달성에 대한 종합적 결정]은 [다양한 개인, 평가 절차 및 데이터 분석 전문가로 구성된 위원회]에 의해 이루어지며, 위원회는 [무의식적인 편견과 고장난 집단 사고의 영향]에 대해 교육받는다.
• Focus on structures and processes that optimize intrinsic equity by mitigating the impact of unconscious bias by individuals and groups in assessment of learning, including:
  • Summative decisions about competency achievement are based on evidence collected from multiple observers who interact with the learner in a wide range of clinical contexts, with a diversity of patients.
  • Summative decisions about competency achievement are made by committees of diverse individuals, expert in assessment procedures and data analysis, and educated about the ramifications of unconscious bias and dysfunctional group think.
• [맥락적 형평성]을 최적화하는 구조 및 프로세스에 초점을 맞춥니다.
  • 교육과정 환경: [모든 학습자]가 [다양한 복잡성의 임상 상황에 참여]하여, [성과를 극대화할 수 있는 기회]를 최적화
  • 학습 환경: 편향, 고정관념 위협, 측정되지 않은 작업량 등 [불평등한 평가에 기여하는 다양한 불평등한 학습의 원인]을 해결하도록 설계되고 모니터링
  • 교수 업무 할당 및 승진 기준: 학습을 위한 평가를 최적화하는 데 필요한 시간과 노력을  할애할 수 있도록 하고, 인센티브를 제공
• Focus on structures and processes that optimize contextual equity, including:
  • Curricular environments that afford all learners with the opportunity to learn while participating in clinical situations of varying complexity to optimize their chance of maximizing their achievements.
  • Learning environments designed and monitored to address bias, stereotype threat, unmeasured workload, and other causes of inequitable learning that contribute to inequitable assessment.
  • Faculty work assignments and promotion criteria that enable and incentivize them to dedicate the time and effort needed to optimize assessment for learning.
• [도구적 형평성]과 [평가 결과의 형평성]을 지원하는 구조와 프로세스를 옹호합니다
• Advocate for structures and processes that support instrumental equity and equity in assessment outcomes.

평가에서 형평성을 촉진하는 [도구]는 다음과 같다.
Tools that facilitate equity in assessment include:

• 준거-기반 역량 기술
• [평가 전략]: [수집이나 해석의 용이성]이 아니라, [의사로서의 미래 성과를 예측하는 능력]에 따라 선택된 정성적 및 정량적 데이터를 통합
• [교수 개발 및 적시 도구]: 교수진과 학습자가 학습 및 평가에서 역할과 기대를 이해하고 수용하도록 지원
• [워크플로우, 작업 할당, 테르콜로지 전략]: 감독자가 (환자와 함께, 라운드 중, 차트 검토 중) 학습자 성과에 대한 직접적인 관찰을 사용하여 증거를 수집하고, 주어진 학습자의 역량에 대한 형성적 판단을 내릴 수 있도록 지원하고 보상
• [코칭 전략]: 피드백에 대한 학습자의 이해 및 피드백-기반 행동 능력을 향상시키기 위함
• [학습자 진행 상황에 대한 데이터를 수집하고 표시하기 위한 전략 및 테크놀로지]: 학습자 및 코칭스태프와 감독자가 사용할 수 있도록 
• Criterion-based competency descriptions.
• Assessment strategies that incorporate qualitative and quantitative data selected for their ability to predict future performance as a physician, rather than on ease of collection or interpretation.
• Faculty development and just-in-time tools that allow faculty and learners to understand and embrace roles and expectations in learning and assessment.
• Workflow, work assignment, and technologic strategies that support and reward supervisors to use direct observation of learner performance (with patients, on rounds, during chart review) to gather evidence and make formative judgments about competency of a given learner.
• Coaching strategies to enhance a learner’s ability to understand and act upon feedback.
• Strategies and technologies to collect and display data on learner progress for use by learners and their coaches and supervisors.

평가에서 [형평성을 나타내는 결과]는 다음과 같은 증거를 포함한다.
Results that indicate equity in assessment include evidence that:

프로세스 표시기:Process indicators:

• [평가 절차]는 [향후 성과 예측에 가지는 편익과 한계에 대한 명확히 이해]를 바탕으로 [완전히 정렬]된다.
• [평가 전략]은 모든 학습자에게 교육 및 직업 기회를 증가시키기 위해 사용되며, 엄격함이 의심되지 않을 때에만 이러한 기회를 예방하는 기능을 한다.
• [평가 데이터]는 목적대로 사용되며 관련성이 입증되지 않은 상황에서는 사용되지 않습니다.
• [프로그램]은 평가 프로그램의 타당성, 공정성, 형평성 문제를 [정기적으로 조사]하고, 특정 그룹에 부당하게 불이익을 주는 [모집단 차이를 최소화]하기 위해 노력한다.
• Assessment procedures are fully aligned with a clear understanding of their benefits and limitations in predicting future performance.
• Assessment strategies are employed to increase educational and career opportunities for all learners and only function to prevent these opportunities when their rigor is unquestioned.
• Assessment data are used as intended and not for situations for which their relevance is unproven.
• Programs routinely investigate issues of validity, fairness, and equity in their programs of assessment and work to minimize population group differences that unfairly disadvantage any particular group.

결과 표시기:Outcome indicators:

• 의학계에서 [대표성이 낮은 집단]에 대한 [교육 및 직업 기회의 집단 차이]가 제거된다
• Population group differences in educational and career opportunities for groups underrepresented in medicine are eliminated.

 

---

 

 

 

Acad Med. 2020 Dec;95(12S Addressing Harmful Bias and Eliminating Discrimination in Health Professions Learning Environments):S98-S108. doi: 10.1097/ACM.0000000000003717.

 

Medical Education's Wicked Problem: Achieving Equity in Assessment for Medical Learners

Catherine R Lucey 1, Karen E Hauer 2, Dowin Boatright 3, Alicia Fernandez 4

Affiliations collapse

Affiliations

1C.R. Lucey is executive vice dean/vice dean for education and professor of medicine, University of California, San Francisco, School of Medicine, San Francisco, California.

2K.E. Hauer is professor of medicine, University of California, San Francisco, School of Medicine, San Francisco, California.

3D. Boatright is assistant professor of emergency medicine, Yale University School of Medicine, New Haven, Connecticut.

4A. Fernandez is professor of medicine, University of California, San Francisco, School of Medicine, San Francisco, California.

PMID: 32889943

DOI: 10.1097/ACM.0000000000003717

 

Abstract

Despite a lack of intent to discriminate, physicians educated in U.S. medical schools and residency programs often take actions that systematically disadvantage minority patients. The approach to assessment of learner performance in medical education can similarly disadvantage minority learners. The adoption of holistic admissions strategies to increase the diversity of medical training programs has not been accompanied by increases in diversity in honor societies, selective residency programs, medical specialties, and medical school faculty. These observations prompt justified concerns about structural and interpersonal bias in assessment. This manuscript characterizes equity in assessment as a "wicked problem" with inherent conflicts, uncertainty, dynamic tensions, and susceptibility to contextual influences. The authors review the underlying individual and structural causes of inequity in assessment. Using an organizational model, they propose strategies to achieve equity in assessment and drive institutional and systemic improvement based on clearly articulated principles. This model addresses the culture, systems, and assessment tools necessary to achieve equitable results that reflect stated principles. Three components of equity in assessment that can be measured and evaluated to confirm success include intrinsic equity (selection and design of assessment tools), contextual equity (the learning environment in which assessment occurs), and instrumental equity (uses of assessment data for learner advancement and selection and program evaluation). A research agenda to address these challenges and controversies and demonstrate reduction in bias and discrimination in medical education is presented.