레지던트 선발에서 USMLE Step 1 점수의 역할 재평가 권유(Acad Med, 2016)

레지던트 선발에서 USMLE Step 1 점수의 역할 재평가 권유(Acad Med, 2016)

A Plea to Reassess the Role of United States Medical Licensing Examination Step 1 Scores in Residency Selection

Charles G. Prober, MD, Joseph C. Kolars, MD, Lewis R. First, MD, and Donald E. Melnick, MD

National Board of Medical Examiners와 State Medical Boards는 "개별 면허 기관 ... 의료 면허를위한 공통 평가 제도"를 제공하기 위해 USMLE (미국 의료 면허 시험) 3 단계를 개발했습니다.

The National Board of Medical Examiners and the Federation of State Medical Boards developed the three-step United States Medical Licensing Examination (USMLE) to provide “individual medical licensing authorities … a common evaluation system for medical licensure.”1 

1 일 객관식 시험 인 USMLE 1 단계 구성 요소는 "현대 의학을 안전하고 유능하게 실천하기 위한 기초를 제공하고, 평생 학습을 통해 역량의 유지에 필요한 과학적 원리를 제공하기 위해서" 이루어진다.

The USMLE Step 1 component, a one-day multiple-choice examination, is designed to ensure “mastery of the sciences that provide a foundation for the safe and competent practice of medicine in the present, as well as the scientific principles required for maintenance of competence through lifelong learning.”1

시험 결과는 바이너리입니다. 일련의 시험에 합격 한 응시자는 주 면허증을받을 수 있습니다. 실패한 사람들은 그렇지 않습니다.

The primary consequence of the test result is binary. Candidates who pass the series of examinations are eligible for state licensure; those who fail are not.

USMLE 모델은 커다란 "전국 의학부 (National Faculty of Medicine)"에서 핵심 의학 교육 내용에 대한 국가적 합의를 이끌어 내도록 설계되었습니다. 2

The USMLE model, is designed to harvest a national consensus about core medical education content from a large “national faculty of medicine.”2 

미국의 의학 교육 및 의학 면허를 광범위하게 대표할 수 있는 기초의학자, 임상 교수 및 의사가 선정됩니다.

Basic scientists, clinical faculty, and practicing doctors are selected to be broadly representative of medical education and medical licensure in the United States;

면허 자격 요건을 결정하는 것 외에도 USMLE 시험 결과, 특히 1 단계 점수는 레지던트 지원자를 스크리닝하는 데 자주 사용됩니다 .8 비록 USMLE 단계의 점수는 서로 관련이 있고 USMLE 1 단계의 낮은 점수는 여러 전문과목에서 다음 단계의 실패와 관련이 있는 것으로 보고되나, 1단계 시험은 레지던트의 성공 가능성에 대한 주요 결정요인으로서 고안되지 않았습니다.

In addition to determining qualification for licensure, USMLE test results, particularly Step 1 scores, are often used in screening applicants for residency.8 Although scores on the USMLE steps correlate with one another and low scores on USMLE Step 1 correlate with failure on subsequent in-training and certification exams in many specialties,9 Step 1 was not designed to be a primary determinant of the likelihood of success in residency.

작업을위한 도구 부족

An Insufficient Tool for the Job

의도 된 목적에도 불구하고, 많은 레지던트 프로그램 디렉터들은 계속해서 인터뷰 대상 후보자를 선택하기위한 단독 또는 기본 필터로 신청자의 USMLE 1 단계 점수를 사용합니다.

Despite its intended purpose, many residency program directors continue to use applicants’ USMLE Step 1 scores as a sole or primary filter for selecting candidates to interview,10

일반적으로 레지던트 분야 (예 : 정형 외과 수술, 방사선 종양학, 피부과, 안과 및 이비인후과)의 경쟁력이 높을수록 필터를 통과해야하는 USMLE 1 단계 점수가 높아집니다.

In general, the more competitive the residency discipline (e.g., orthopedic surgery, radiation oncology, dermatology, ophthalmology, and otolaryngology), the higher the USMLE Step 1 score needed to pass through the filter.

USMLE 합격 점수는 부적절한 지식을 가진 사람들로부터 충분한 지식을 가진 사람들을 구별하여 시험 응시자 간의 지식 차이를 추론하기위한 것이 아닙니다. 그러나 USMLE 1 단계의 점수는 많은 레지던트 교육 프로그램에서 인터뷰 제공의 주요 요인으로 채택되었는데, 종종 프로그램 디렉터가 커리큘럼 및 평가의 차이로 인해 다른 의과 대학의 학생들을 비교하기가 어려워 보였기 때문입니다. 표준화 된 USMLE 1 단계 점수는 이러한 필요를 충족시키는 것으로 인식됩니다.

The USMLE pass score is intended to segregate those with adequate knowledge from those with inadequate knowledge, not to infer substantial differences in knowledge between test takers. Yet, scores from USMLE Step 1 have been adopted by many residency training programs as a major factor in offering interviews, often because program directors find it difficult to compare students from different medical schools because of variations in curricula and assessments. The standardized USMLE Step 1 score is perceived to meet this need.

그러나 레지던트 선발의 1차 스크리닝에 1단계 점수를 사용하는 것은, 충분한 증거에 의해 뒷받침되지 않으며, 그러한 목적으로 설계되지 않은 시험에 의거하여 의대 졸업생에 대한 중요한 career-changing 결정을 내리는 것이다.

programs may make careerchanging decisions about medical school graduates based on overweighting a screening test in a manner not supported by strong evidence and for which the test was not specifically designed.

의도하지 않은 결과

Unintended Consequences

레지던트 선발의 스크리닝으로 Absolute USMLE 점수를 부적절하게 사용하는 것에 대한 우려 외에도, 지원자의 USMLE 점수에 너무 많은 중점을 두는 것에 의도하지 않은 결과가 추가로 발생합니다. 우리는 늘상 특정 전문 영역에 지원하려는 계획을 포기하기로 결정한 학생들을 알아 봅니다. 왜냐하면 USMLE 점수가 중간 정도에 불과해서 자신이 초기에 탈락할 것이라 생각하기 때문입니다. 반대로 높은 점수를 가진 다른 학생들은 더 경쟁적인 전공에 지원할 것으로 권유되는데, 왜냐면 그렇지 않을 경우 "지능을 낭비한다"고 여겨지기 때문이다!

Beyond concerns about inappropriately using the absolute USMLE score as a sole screen for residency applicants, there are additional unintended consequences to placing so much emphasis on applicants’ USMLE scores. We regularly learn of students who have decided to abandon their plans to apply to certain specialty areas because they believe that their application will be not be considered in the initial screening process because of a USMLE score around the median. Other students who have high scores are encouraged to pursue the more competitive specialties because they might otherwise “waste their intelligence” in the pursuit of a less demanding discipline!

학생들은 USMLE의 높은 stakes을 인식하기 때문에 사전 학습 과정에서 시험에 중요하다고 생각하는 것만을 우선 학습합니다. 그들은 시험에 필요한 것과 환자를 돌보고 평생 학습을 준비하기 위해 알아야 할 것들 사이에서 불일치를 발견하면서 정신적으로 스트레스를 받는다.

Because students recognize the high stakes of USMLE, they prioritize learning what they believe to be important for the test during their preclerkship courses. They are emotionally stressed about perceived disconnects between what they need to learn for the test and what they need to know to care for their patients and prepare for lifelong learning.

스탠포드 대학 의과 대학 학생들은 교과 내용이 USMLE 시험에 도움되는 것과 일치하지 않는다는 우려를 표명했습니다. 이 우려와 일과 삶의 균형에 대한 도전은 가장 흔한 스트레스의 근원으로 연결되었습니다. 우리는 USMLE 1 단계에 대한 과도한 강조가 수련 선택 심사의 공통적 인 역할에 힘 입어 불필요하게 이 스트레스에 기여한다고 생각합니다.

Stanford medical students expressed concern that curricular content did not match what they were expected to know to perform well on the USMLE test; This concern and the challenges of work/life balance were tied as the most common sources of stress. We believe that undue emphasis on USMLE Step 1, driven by its common role in screening for residency selection, contributes unnecessarily to this stress.

USMLE 프로그램은 의학 교육의 변화와 병행하여 발전했지만, 특히 1 단계의 시험에 대한 과도한 강조는 무엇이 중요한가에 대한 학생들의 인식을 왜곡시킬 위험이 있습니다. 교과 과정 개혁은 의학 교육의 질적 향상에 중요한 부분으로, testable한 fact의 습득을 강조하는 것에서 벗어나야 한다. USMLE는 지식만을 평가하는 것에서 임상 적으로 관련된 문제를 해결하는 데 필요한 것을 평가하는 방향으로 발전했지만, USMLE의 진화에 대한 오인식은 바람직한 교육과정 변경을 방해 할 수 있습니다.

While the USMLE program has evolved in parallel with changes in medical education15 , overemphasis onthe exams, particularly on Step 1, risks distorting students’ perception of what is important. Curricular reform, a critical part of quality improvement in medical education, must move away from a focus on the acquisitionof testable facts. Although USMLE has evolved from testing knowledge to applying knowledge in solving clinically relevant problems, misperceptions about this evolution of USMLE could inhibit desirable curricular change. 

마지막으로, 어떤 사람들은 "1 단계 광기"라고 언급 한 것에 대한 교육적 및 재정적 결과가 있습니다. 우리는 학습이 가치 있다는 아이디어에 대해 반대하지 않습니다.

Finally, there are educational and fiscal consequences attendant to what some have referred to as “Step 1 madness.” We do not dispute the idea that study is valuable. And

의과 대학 학장은 대부분의 미국 의과 대학의 학생들은 USMLE 1 단계에서 풀 타임으로 공부하기 위해 4 주에서 9 주 (평균 6 주) 동안 격리합니다. 매년 약 2 만 명의 미국 의대 의과 대학 학생이 매년 시험에 응시하는 경우 그것을 공부하기 위해 6 주를 바친다. 공부에 전념 한 총 시간은 2,000 인년이다. 그것은 상당한 기회 비용입니다!

Medical school deans of education tell us that students at most U.S. medical schools sequester themselves for four to nine (average six) weeks to study full-time for USMLE Step 1. If each of the approximately 20,000 U.S. medical students who take the examination each year devotes six weeks to studying for it, the total amount of time dedicated to studying is more than 2,000 personyears. That is quite the opportunity cost!

명백히, 많은 학생들은 학교별 강의 또는 표준 의학 교과서로 공부하지 않습니다.

Apparently, many students do not study from their school-specific syllabi or standard medical textbooks;

가장 보편적으로 사용되는 자료는 USMLE World의 1 단계 qBank와 Pathoma 인 USMLE 1 단계 (Amazon에서 가장 많이 판매되는 의료 테스트 준비 텍스트)입니다. 아마존에서 이러한 자원의 현재 가격을 기준으로 미국의 모든 학생이 세 가지 자원을 모두 구입할 경우 총 비용이 750 만 달러를 초과 할 것으로 예상됩니다.

The three most commonly used resources as reported byour students are First Aid USMLE Step 1 (the top-selling medical test preparation text on Amazon), Step 1 qBank from USMLE World, and Pathoma. Based on current pricing of these resources on Amazon, if every student in the United States were to purchase all three resources, we estimate that the total cost would exceed $7.5 million. 

레지던트 선발에 대한 보다 합리적인 접근법

A More Rational Approach to Selecting Residency Applicants

레지던트 지원자 심사에서 USMLE 1 단계 점수에 대한 지나치게 의존하는 결과를 완화하기 위해 할 수있는 일은 무엇입니까? 우리는 시험을 포기해야한다고 생각하지 않습니다. 그럼에도 불구하고 우리는 USMLE 1 단계 점수가 계속해서 전공의 선발에서 면접대상자 선정에 있어 중요한 결정 요인이 되어야 한다고 생각하지 않습니다. 숫자를 필터로 사용하는 것이 많은 수의 응용 프로그램을 검사하는 편리한 방법이기는하지만 USMLE 1 단계 점수는 레지던트 교육 중 지원자의 잠재적 성과와 관련성이있는 속성의 totality를 반영하는 데에는 적절하지 못합니다.

What can be done to mitigate the unintended consequences of overreliance on USMLE Step 1 scores in screening residency applicants? We do not believe that the examinations need to be abandoned. Nonetheless, we do not believe that USMLE Step 1 scores should continue to be the major determining factor in the selection of graduating medical students for interview for graduate medical education positions. Although using numbers as a filter is a convenient way to screen large numbers of applications, USMLE Step 1 scores do not come close to reflecting the totality of attributes critically relevant to a candidate’s potential performance during residency training.

레지던트 지원자 선별에 보다 합리적인 접근 방법은 임상 추론, 환자 치료, 전문성 및 의료 팀 구성원으로서의 기능과 같은 다른 중요한 특성에 더 큰 관심을 기울이는 것입니다. 후보자에 대한 전체 론적 검토의 다른 구성 요소도 국가적으로 표준화되어야합니다. 여기에는 연구 경험과 성취, 지역 사회 참여, 리더십 역할, 독특한 개인적 특성 및 다양성이 포함될 수 있습니다.

A more rational approach to selecting among residency applicants would give greater attention to other important qualities, such as clinical reasoning, patient care, professionalism, and ability to function as a member of a health care team. Other components of a holistic review of candidates should be nationally normed as well; these might include research experience and accomplishments, community engagement, leadership roles, unique personal attributes, and diversity. 

임상 로테이션 동안의 성과와 임상 교수, 거주자, 다른 보건 전문가, 환자 및 동료로부터의 권고로부터 얻은 측정치는 기관 전반에 걸쳐 더 일반화되고 해석 가능해야합니다. 그리고 이 자료들은 다수의 지원자를 선별하기위한 예측 방정식에 사용할 수있는 형태로 디지털 형식으로 표현되어야합니다.

Measures derived from performance during clinical rotations and recommendations from clinical faculty, residents, other health professionals, patients, and peers must be more generalizable and interpretable across institutions, and they need to be represented digitally in a form that can be used in a prediction equation for screening large numbers of applicants.

우리는 또한 specialty training 후보자의 상대적인 장점을 평가할 때, 어떤 specialty에서의 성과를 예측하기 위해 경험적으로 제시 한 요소에 상당한 중요성을 부여해야 한다고 권고합니다. 이 성과에는 다음이 포함될 수 있습니다.

• 필수 임상실습 중 평가,

• 전문 분야별 서브인턴십 및 선택 과목 동안의 성과

• 신청자가 수행 한 추가 특수 활동 (예 : 연구).

We further recommend that substantial weight in evaluating the relative merit of candidates for specialty training should be given to factors shown empirically to predict performance in the relevant specialty. This performance might include 

• evaluation during the core clerkship, 

• performance during specialty specific subinternships and electives, and 

• any additional specialty-specific activities (e.g., research) that the applicant may have conducted.

---

Acad Med. 2016 Jan;91(1):12-5. doi: 10.1097/ACM.0000000000000855.

A Plea to Reassess the Role of United States Medical Licensing Examination Step 1 Scores in Residency Selection.

Prober CG1, Kolars JC, First LR, Melnick DE.

Author information

1

C.G. Prober is senior associate dean for medical education and professor of pediatrics, Microbiology and Immunology, Stanford School of Medicine, Stanford, California. J.C. Kolars is senior associate dean for education and global initiatives, University of Michigan Medical School, Ann Arbor, Michigan. L.R. First is professor and chair, Department of Pediatrics, University of Vermont College of Medicine, Burlington, Vermont, and past chair, National Board of Medical Examiners, Philadelphia, Pennsylvania. D.E. Melnick is president and chief executive officer, National Board of Medical Examiners, Philadelphia, Pennsylvania.

Abstract

The three-step United States Medical Licensing Examination (USMLE) was developed by the National Board of Medical Examiners and the Federation of State Medical Boards to provide medical licensing authorities a uniform evaluation system on which to base licensure. The test results appear to be a good measure of content knowledge and a reasonable predictor of performance on subsequent in-training and certification exams. Nonetheless, it is disconcerting that the test preoccupies so much of students' attention with attendant substantial costs (in time and money) and mental and emotional anguish. There is an increasingly pervasive practice of using the USMLE score, especially the Step 1 component, to screen applicants for residency. This is despite the fact that the test was not designed to be a primary determinant of the likelihood of success in residency. Further, relying on Step 1 scores to filter large numbers of applications has unintended consequences for students and undergraduate medical education curricula. There are many other factors likely to be equally or more predictable of performance during residency. The authors strongly recommend a move away from using test scores alone in the applicant screening process and toward a more holistic evaluation of the skills, attributes, and behaviors sought in future health care providers. They urge more rigorous study of the characteristics of students that predict success in residency, better assessment tools for competencies beyond those assessed by Step 1 that are relevant to success, and nationally comparable measures from those assessments that are easy to interpret and apply.

PMID:

 

26244259

 

DOI:

 

10.1097/ACM.0000000000000855

[Indexed for MEDLINE]