MSPE의 현재: 투명성 향상 또는 여전히 혼란? (Acad Med, 2016)

MSPE의 현재: 투명성 향상 또는 여전히 혼란? (Acad Med, 2016)

The State of Medical Student Performance Evaluations: Improved Transparency or Continued Obfuscation?

Jason Hom, MD, Ilana Richman, MD, Philip Hall, MD, Neera Ahuja, MD,

Stephanie Harman, MD, Robert Harrington, MD, MA, and Ronald Witteles, MD

미국 의과 대학 출신의 2 만 5 천 명 이상의 졸업생이 매년 전국의 레지던트 교육 프로그램에 지원합니다. 레지던시 프로그램에 제출 된 각 신청서에는 일반적으로 "학장의 서신"이라고하는 의학적 학생 성과 평가 (MSPE)가 포함됩니다. MSPE는 지원자를 대신하여 의과 대학 교수가 작성한 서신으로 학업 성적을 요약 한 것입니다. 일반적으로 학생의 학문적 배경과 전임상 및 임상 설정에서의 성적에 대한 데이터를 포함합니다. 대부분의 경우, 학생의 순위 또는 의대생으로서 전체적인 수행 능력을 요약 한 "핵심 단어"가 포함됩니다. MSPE는 의과대학생의 레지던트 신청서의 중요한 구성 요소이며, 신청자를 평가할 때 레지던시 프로그램 디렉터에게 종종 중요하게 여겨지는 자료이다.

Over 25,000 graduating students from U.S. medical schools apply to residency training programs across the country each year.1 Each application submitted to a residency program includes a medical student performance evaluation (MSPE), commonly referred to as the “dean’s letter.” The MSPE is a letter written by medical school faculty on behalf of the applicant, summarizing his or her academic performance. It typically contains data on the student’s academic background as well as his or her performance in preclinical and clinical settings. In most cases, it includes a “key word” which encapsulates the student’s rank or overall performance as a medical student. The MSPE is a critical component of a medical student’s residency application, and the information it contains is often weighed heavily by residency program directors when ranking applicants.2

이러한 노력에도 불구하고 MSPE의 단점은 지속됩니다. 2005 년부터 MSPE를 체계적이고 양적으로 검토 한 결과, 의대 중 45 %만이 전반적인 학생 성적에 대한 비교 자료를 제공 한 것으로 나타났습니다. 다른 학자들은 

• 핵심 단어 (예 : "좋음"또는 "우수함")가 학교마다 사용되는 방식의 다양함, 

• 학교 간의 임상실습 grading의 변동성, 

• Grade 인플레이션에 대한 우려 

...등 다양한 MSPE 해석의 어려움을 강조했습니다.

Despite these efforts, the shortcomings of the MSPE persist.4–6 A systematic, quantitative review examining MSPEs from 2005 demonstrated that only 45% of medical schools provided comparative data on overall student performance.7 Other authors have highlighted additional difficulties with interpreting the MSPE, including 

• variability in how key words (such as “good” or “excellent”) are used by different schools,8,9 

• variability in core clerkship grading between schools,10 and 

• concerns regarding grade inflation.11

1989 년부터 MSPE의 표준화 및 개선을위한 공식적인 노력이 검토되었습니다.

Formal efforts to standardize and improve the MSPE have been considered since 1989,

2002 년에 AAMC는 MSPE에 대한 가이드 라인을 개정하고, 의대가 핵심 임상실습 수행 및 전반적인 학업 성과에 대해 쉽게 해석 할 수있는 비교 데이터를 포함하도록 권장했습니다.

In 2002, the AAMC revised its guidelines for MSPEs and recommended that medical schools include easily interpretable comparative data on core clerkship performance and overall academic performance.3

방법

Method

연구 설계 및 자료 수집

Study design and data collection

This study was conducted at Stanford University School of Medicine during April–July 2014 and was deemed exempt from review by the Stanford University institutional review board as it did not qualify as human subjects research.

This study was a cross-sectional analysis of MSPEs designed to describe the completeness of information contained in MSPEs. Our unit of analysis was the MSPE. We used a sample of 117 MSPEs received by the Stanford University internal medicine residency training program during the 2013–2014 application cycle, analyzing one randomly selected MSPE from every Liaison Committee on Medical Education (LCME)–accredited U.S. medical school from which at least one student applied. Because the portions of the MSPE describing each school’s grading and ranking schemes do not differ between MSPEs from a given medical school, it was not necessary to review more than one MSPE per school.

Data analysis

결과

Results

우리의 연구 샘플에는 131 개의 LCME 인증 미국 의대 중 117 개 (89 %)의 MSPE가 포함되었습니다. 우리 샘플의 학교 중 14 개 (12 %)는 핵심 단어 나 순위 시스템을 사용하지 않았습니다. 또 다른 20 명 (17 %)은 "우수"또는 "우수"와 같이 주요 단어로 자주 사용되지만 가능한 주요 단어를 해석하는 방법에 대한 주요 단어 또는 정보의 전체 목록을 제공하지 않은 요약 설명에 설명자를 포함했습니다. 사용 된 핵심 단어의 전체 목록을 제공 한 83 개 학교 (71 %) 중 12 개 (10 %)는 핵심 단어에 대한 완전한 분포 데이터를 제공하지 않았습니다. 나머지 71 개 학교 (61 %)는 전체 목록 및 배포 데이터와 함께 완전한 키워드 데이터를 제공했습니다.

Our study sample included MSPEs from 117 (89%) of 131 LCME-accredited U.S. medical schools. Of the schools in our sample, 14 (12%) did not use key words or any ranking system. Another 20 (17%) included descriptors in the summative comments that are often used as key words, such as “excellent” or “outstanding,” but did not provide a complete list of key words or information about how to interpret possible key words. Of the 83 schools (71%) that provided a full list of key words used, 12 (10%) did not provide complete distribution data for the key words. The remaining 71 schools (61%) provided complete key word data, with both a full list and distribution data.

핵심 단어를 할당 한 83 개 의과 대학의 대부분은 전반적인 학생 성과 (그림 1A)를 설명하기 위해 4 개 (n = 36, 43 %) 또는 5 개 (n = 29; 35 %)의 키워드를 사용했습니다. 사용되는 핵심어에는 엄청난 다양성이있었습니다. 전체 범주를 보면 총 72개의 서로 다른 핵심어들이 사용되었으며, 27가지의 핵심 단어가 상위 범주의 performer를 설명하는 데 사용되었습니다 (그림 2).

Most of the 83 medical schools that assigned key words used 4 (n = 36; 43%) or 5 (n = 29; 35%) key words to describe overall student performance (Figure 1A). There was tremendous variability in the key words used across schools. A total of 72 distinct key words were used across all categories of performance, and 27 key words were used to describe the top category of performers (Figure 2).

(MSPE에서) Top 키워드를 할당 한 의대 학생의 평균 비율은 24 % (범위 : 1 % -60 %)였습니다.

The median percentage of medical students assigned the top key word was 24% (range: 1%–60%).

임상실습 grade 데이터는 일반적으로 핵심어 데이터보다 더 완전합니다. 우리 샘플의 117 개 의과 대학 중 116 개 (99 %)는 임상실습 사용 된 grading scheme에 대한 정보를 최소한 제공했으며, 96 개 (82 %)는 각 직책에 배정 된 성적에 대한 완전한 배포 데이터를 제공했습니다. 사용 된 grade의 총 수는 2에서 10 사이이며, 두 학교는 0-100 숫자 척도 (그림 3A)를 사용했습니다.

Data for clerkship grades were generally more complete than data for key words. Of the 117 medical schools in our sample, 116 (99%) provided at least some information on the grading scheme used for clerkships, and 96 (82%) provided complete distribution data for grades assigned in each clerkship. The total number of grades used ranged from 2 to 10, and two schools used a 0–100 numeric scale (Figure 3A).

(임상실습에서) Top grade를 받는 학생의 비율의 중간값은 29%였고, 96 학교 중 24(25 %) 학교에서 39%이상의 학생에게 top grade를 주었으며, 10(10%)개 학교는 50%이상의 학생에게 top grade를 부여했다.

The median percentage of students receiving the top grade was 29% (interquartile range: 23%–39%; range: 2%–90%), though there was marked variability: 24 (25%) of the 96 schools awarded the top grade to ≥ 39% of students, and 10 (10%) awarded the top grade to ≥ 50% of students.

고찰

Discussion

AAMC는 MSPE가 의대생 성과에 대한 투명하고 포괄적인 비교 자료를 일률적으로 포함해야한다고 권고하는 초기 지침을 발표 한 지 25 년이되었습니다. 지원자 선택의 근거가 될 수있는 최상의 정보를 레지던시 프로그램 디렉터와 선발위원회에게 제공해야 하기 위해서이다. 

It has been a quarter of a century since the AAMC3 put forth its initial guidelines recommending that MSPEs should uniformly include transparent and comprehensive comparative data on medical student performance in order to provide residency program directors and selection committees with the best possible information on which to base their selection of applicants.

우리의 연구는 불완전하고 해석하기 어려운 데이터가 여전히 MSPE에 보급되어 있음을 강조하며, 과반수가 조금 넘는 학교들만이 임상실습 및 전반적인 성과에 대한 완벽한 비교 데이터를 제공합니다.

Our study highlights that incomplete and difficult-to-interpret data still pervade MSPEs, with a scant majority of schools now providing complete comparative data on clerkship and overall performance.

앞으로도 긍정적 인 변화가 계속되기를 기대하지만, AAMC 권고안 준수는 자발적이며 의과대학들은 좋은 레지던트 프로그램에 학생을 보내야 한다는 대한 지속적인 압력이 있기 때문에 여전히 어느 정도 불완전하고 해석하기 어려운 데이터가 지속될 가능성이 높습니다. 또한 미국의 의대 졸업생 및 국제 지원자 수가 미국 내 거주자 슬롯 수보다 빠르게 증가 할 것으로 예상되므로 이러한 압박이 커질 수 있습니다.

Although we are hopeful that positive changes will continue in the coming years, it is likely that some degree of incomplete and difficult-to-interpret data will persist, both because compliance with the AAMC recommendations3 is voluntary and because there are continued pressures on medical schools to ensure good residency placements for their students. Moreover, such pressures may be increasing, as the number of U.S. medical school graduates and international applicants is expected to grow faster than the number of U.S. residency slots available.13

불행히도, MSPE의 비교 데이터가 없는 것 때문에 치러야하는 비용은 상당하다. 이러한 관행은 평균 이하의 학생들에게 도움이 될 수 있지만, 평균 이상의 학생들에게는 열의를 꺾을 수 있습니다. 학생들은 자신의 업적에 대해 인정받지 못할 수 있습니다. 또한 비-비교 접근법에는 미묘한 단점이 있습니다. 최근 설문 조사에 따르면 레지던트 디렉터는 학급 및 직급 등급을 포함 해 MSPE의 "객관적인"구성 요소를 더 중요시했다. 이와는 대조적으로, 레지던트 디렉터들은 descriptive 코멘트는 덜 도움이된다고 느꼈다.

Unfortunately, excluding comparative data from the MSPE comes at a high cost. Although this practice may help below-average students, it may also temper enthusiasm for above-average students, who may not be recognized for their achievements. There are also more subtle drawbacks to a noncomparative approach. A recent survey reported that residency directors heavily weigh the more “objective” components of the MSPE, including class rank and clerkship grades.2 The descriptive comments, by contrast, were perceived by residency directors as less helpful.

지원자를 평가할 때 프로그램 디렉터들은 USMLE 1 단계 점수와 같이 다른 객관적인 데이터에 더 큰 비중을 둘 수 있습니다. 왜냐하면 Match를 위해서는 지원자들간에 순위를 매겨야 하기 때문이다. 이것은 학생들의 미래의 훈련 기회가 그들의 의대 학교 성과의 총체가 아니라 단 한 번의 필기 시험의 성과에 의해 부당하게 영향을받을 가능성을 제기합니다.

when evaluating applicants program directors may by necessity attribute greater weight to other objective data, such as United States Medical Licensing Examination Step 1 scores, because the residency Match requires programs to rank applicants versus one another.14 This raises the potential for students’ future training opportunities to be unduly influenced by their performance on a single written test rather than by the totality of their medical school performance.

레지던트 프로그램 선발위원회의 입장에서, grading 정책 및 학교 간 reporting의 의 비일관성은 지원자의 상대적인 강점과 약점에 대해 정보에 근거한 결정을 내리는 데 혼동과 어려움을 야기 할 수 있습니다.

From the vantage point of residency program selection committees, inconsistencies in grading policies and reporting among schools can cause confusion and difficulty in making informed decisions about the relative strengths and weaknesses of applicants.

핵심 단어에 대한 상황도 마찬가지로 혼란 스럽습니다. 표본의 한 학교는 최상위 3 분위에 대부분의 학생을 나타내는 "우수"라는 키워드를 사용하는 반면, 다른 학교는이 순위를 7 개 그룹의 학생 중 5 번째 순위에 배정했습니다. 심지어 겉으로는 잘 정의 된것 같은 수학적 용어조차도 해석의 어려움에 직면한다. 한 학교는 "상위 4 분위수"에 33 %의 학생을 포함했지만 "하단 4 분위수"에는 8 %의 학생 만 포함했습니다.

The situation for key words is similarly confusing. One school in our sample used the key word “excellent” to represent most students in the top tertile, whereas another school assigned this key word to the fifth-highest of seven groups of students in its ranking system . Even seemingly well-definedmathematic terms are not immune to interpretation difficulties; one school included 33% of students in its “top quartile” but only 8% of students in its “bottom quartile.”

현재 MSPE의 상태가 충분히 자격이 있는 학생들에게서 수련받기를 원하는 기관에서 제공될 수도 있었던 인터뷰 기회를 박탈하지는 않는지 고려하는 것이 중요합니다. 프로그램 디렉터들이 MSPE에 대한 비교 데이터를 제공하지 않는 학교의 학생들에 대해서 priority를 낮추는 것을 상상해 볼 수도 있다. 또한 프로그램 디렉터가 MSPE에서 제공되는 자료가 너무 적은 경우 학생의 퍼포먼스에 대해서 지나치게 과도하거나 지나치게 적은 credit을 주는 경우를 상상해 볼 수도 있다.

It is important to consider whether the current state of MSPEs effectively precludes certain deserving students from receiving limited interview slots at institutions where they may wish to train. We can envision scenarios in which program directors would give low priority to students from schools that do not provide comparative data in MSPEs because they are not willing to “take a chance” without having more objective data available. We can also envision scenarios in which program directors would give students too much or too little credit for their performance because of the lack of information, or even the frankly misleading information, provided in the MSPE.

3 Association of American Medical Colleges. A guide to the preparation of the Medical Student Performance Evaluation. 2002. http://www.aamc.org/ linkableblob/64496-6/data/mspeguide-data. pdf. Accessed October 8, 2015.

---

Acad Med. 2016 Nov;91(11):1534-1539.

The State of Medical Student Performance Evaluations: Improved Transparency or ContinuedObfuscation?

Hom J1, Richman I, Hall P, Ahuja N, Harman S, Harrington R, Witteles R.

Author information

1

J. Hom is clinical instructor, Department of Medicine, Stanford University School of Medicine, Stanford, California. I. Richman is a health services research fellow, Center for Health Policy/Primary Care and Outcomes Research, Stanford University, Stanford, California. P. Hall is a fellow in cardiovascular medicine, University of California, San Francisco, San Francisco, California. N. Ahuja is clinical associate professor, Department of Medicine, Stanford University School of Medicine, Stanford, California. S. Harman is clinical assistant professor, Department of Medicine, Stanford University School of Medicine, Stanford, California. R. Harrington is Arthur Bloomfield Professor of Medicine and chair, Department of Medicine, Stanford University School of Medicine, Stanford, California. R. Witteles is associate professor, Department of Medicine, and program director, Internal Medicine Residency Training Program, Stanford University School of Medicine, Stanford, California.

Abstract

PURPOSE:

The medical student performance evaluation (MSPE), a letter summarizing academic performance, is included in each medical student's residency application. The extent to which medical schools follow Association of American Medical Colleges (AAMC) recommendations for comparative and transparent data is not known. This study's purpose was to describe the content, interpretability, and transparency of MSPEs.

METHOD:

This cross-sectional study examined one randomly selected MSPE from every Liaison Committee on Medical Education-accredited U.S. medical school from which at least one student applied to the Stanford University internal medical residency program during the 2013-2014 application cycle. The authors described the number, distribution, and range of key words and clerkship grades used in the MSPEs and the proportions of schools with missing or incomplete data.

RESULTS:

The sample included MSPEs from 117 (89%) of 131 medical schools. Sixty schools (51%) provided complete information about clerkship grade and key word distributions. Ninety-six (82%) provided comparative data for clerkship grades, and 71 (61%) provided complete key word data. Key words describing overall performance were extremely heterogeneous, with a total of 72 used and great variation in the assignment of the top designation (median: 24% of students; range: 1%-60%). There was also great variation in the proportion of students awarded the top internal medicine clerkship grade (median: 29%; range: 2%-90%).

CONCLUSIONS:

The MSPE is a critical component of residency applications, yet data contained within MSPEs are incomplete and variable. Approximately half of U.S. medical schools do not follow AAMC guidelines for MSPEs.

Comment in

• Improving the Medical Student Performance Evaluation to Facilitate Resident Selection. [Acad Med. 2016]

PMID:

 

26703411

 

DOI:

 

10.1097/ACM.0000000000001034