USMLE 시험의 점수화 평가 vs Pass/Fail평가 : 의과대학 학생들과 레지던트는 무엇을, 왜 원하는가?

USMLE 시험의 점수화 평가 vs Pass/Fail평가 : 의과대학 학생들과 레지던트는 무엇을, 왜 원하는가?

Numerical Versus Pass/Fail Scoring on the USMLE: What Do Medical Students and Residents Want and Why?

Catherine E. Lewis, MD, Jonathan R. Hiatt, MD, LuAnn Wilkerson, EdD, Areti Tillou, MD, Neil H. Parker, MD, O. Joe Hines, MD

배경 

USMLE시험의 일차 목적은 면허발급을 위한 평가이지만, USMLE점수는 종종 다른 목적으로도 사용되며, 그 중 하나가 레지던트 선발이다. USMLE프로그램 평가를 위한 위원회는 현재 몇 가지 큰 변화를 고려중에 있고, 그 중 하나가 Pass/Fail system으로의 변화이다.

모델

3학년과 4학년 의과대학 학생과 레지던트를 대상으로 USMLE의 Pass/Fail system에 대하여 설문하였다.

결과

응답률은 59%였다. 26%의 응답자만이 Step 1 시험이 Pass/Fail로 바뀌는 것에 동의하였고, Step 2 시험에 대해서는 38%가 동의하였다. Step1 시험을 Pass/Fail이 아닌 점수화하여 평가하는 것에 대해 동의하는 응답자들은 (1)시험을 통해 지식 수준을 정확히 측정할 수 있다고 생각했으며 (2) 점수가 240점 이상이었고 (3) Pass/Fail로 바뀔 경우 지식 습득이 줄어들 것이라 생각하였다.

Step 2 CK에 대해서 점수화 평가를 선호하는 사람들은 (1) 시험을 준비하며 얻은 지식이 많다고 생각했고 (2) 240점 이상 받았으며 (3) Pass/Fail로 바뀌면 지식 습득이 줄어들 것이라 생각하였고 (4) 레지던트 지원시에 Step 2 CK점수가 중요하게 작용한다고 생각했다.

결론

학생과 레지던트들은 점수화 평가(numerical scoring)을 계속 하는 것을 더 선호했고, 그 이유로 그것이 레지던트 선발에 중요하고, 레지던트 지원시에 점수에 따라 advantage가 있으며, 의학지식을 복습하고 강화하는데 시험점수가 크게 작용하기 때문이라 생각하는 것으로 나타났다.

---

J Grad Med Educ. 2011 Mar;3(1):59-66. doi: 10.4300/JGME-D-10-00121.1.

Numerical Versus Pass/Fail Scoring on the USMLE: What Do Medical Students and Residents Want and Why?

Lewis CE, Hiatt JR, Wilkerson L, Tillou A, Parker NH, Hines OJ.

Abstract

BACKGROUND:

Although the primary purpose of the US Medical Licensing Examination (USMLE) is assessment for licensure, USMLE scores often are used for other purposes, more prominently resident selection. The Committee to Evaluate the USMLE Program currently is considering a number of substantial changes, including conversion to pass/fail scoring.

METHODS:

A survey was administered to third-year (MS3) and fourth-year (MS4) medical students and residents at a single institution to evaluate opinions regarding pass/fail scoring on the USMLE.

RESULTS:

Response rate was 59% (n  =  732 of 1249). Reported score distribution for Step 1 was 30% for <220, 38% for 220-240, and 32% for >240, with no difference between MS3s, MS4s, and residents (P  =  .89). Score distribution for Step 2 Clinical Knowledge (CK) was similar. Only 26% of respondents agreed that Step 1 should be pass/fail; 38% agreed with pass/fail scoring for Step 2 CK. Numerical scoring on Step 1 was preferred by respondents who: (1) agreed that the examination gave an accurate estimate of knowledge (odds ratio [OR], 4.23; confidence interval [CI], 2.41-7.43; P < .001); (2) scored >240 (OR, 4.0; CI, 1.92-8.33; P < .001); and (3) felt that acquisition of knowledge might decrease if the examination werepass/fail (OR, 10.15; CI, 3.32-31.02; P < .001). For Step 2 CK, numerical scoring was preferred by respondents who: (1) believed they gained a large amount of knowledge preparing for the examination (OR, 2.63; CI, 1.52-4.76; P < .001); (2) scored >240 (OR, 4.76; CI, 2.86-8.33; P < .001); (3) felt that the amount of knowledge acquired might decrease if it were pass/fail (OR, 28.16; CI, 7.31-108.43; P < .001); and (4) believed their Step 2 CK score was important when applying for residency (OR, 2.37; CI, 1.47-3.84; P < .001).

CONCLUSIONS:

Students and residents prefer the ongoing use of numerical scoring because they believe that scores are important in residency selection, that residency applicants are advantaged by examination scores, and that scores provide an important impetus to review and solidifymedical knowledge.