레지던트 선발 전략과 의사로서의 능력 : 메타분석

레지던트 선발 전략과 의사로서의 능력 : 메타분석

Associations between residency selection strategies and doctor performance: a meta-analysis

Stephanie Kenny, Matthew McInnes & Vivek Singh

목적

본 연구의 목적은 메타분석을 통해서 레지던트선발과 관련된 어떤 정보가 레지던트나 의사로서의 수행능력과 연관이 있는가를 알아보고자 하였다.

방법

다양한 전자 데이터베이스를 조사하였다. 두 명의 리뷰어가 독립적으로 기준에 맞는 연구를 골라서 중복된 것은 제하고, 의견이 다른 것은 합의를 보았다. 평가 중에 생길 수 있는 Bias에 대한 위험은 customised bias 평가 툴을 이용하여 평가하였다. 연관성의 척도는 common effect size (Hedges' g)로 변환되었다. 각각의 레지던트 선택 전략과 그에 따른 결과를 pooling하지 않고 random-effect model로 메타분석을 수행하였다. 각각의 선발전략-결과 쌍은 effect size를 pooling하여 Sensitivity analysis를 수행하였다.

결과

총 41704명의 지원자에 대한 80개의 연구 논문이 메타분석에 포함되었다. 17가지의 서로 다른 선발 전략과 17가지의 outcome을 평가하였다. 가장 강력한 양의 연관성은 USMLE step1과 같은 시험 기반 선발전략과 in-training exam과 같은 시험 기반 결과였다. 의과대학 성적과 시험기반/주관적 결과 사이에는 중등도의 양의 연관성이 있었다. 면접이나 추천서 등과 같은 선발전략은 매우 작거나 거의 연관성이 없었다.

결론

표준화된 시험의 점수나 의과대학의 성적은 현재 의사의 performance를 측정하는 방식과 가장 강력한 연관성을 보였다. 추천서나 면접은 연관성이 약했다. 현재의 평가 시스템에서는 객관적인 선발 전략이 더 강력해보인다. 하지만 장기적인 측면에서 의사의 수행능력을 다룬 연구는 부족한 실정이다.

---

ed Educ. 2013 Aug;47(8):790-800. doi: 10.1111/medu.12234.

Associations between residency selection strategies and doctor performance: a meta-analysis.

Kenny S, McInnes M, Singh V.

Source

Department of Medical Imaging, Ottawa Hospital, University of Ottawa, Ottawa, Ontario, Canada.

Abstract

OBJECTIVES:

The purpose of this study was to use meta-analysis to establish which of the information available to the resident selection committee is associated with resident or doctor performance.

METHODS:

Multiple electronic databases were searched to 4 September 2012. Two reviewers independently selected studies that met the present inclusion criteria and extracted data in duplicate; disagreement was resolved by consensus. Risk for bias was assessed using a customised bias assessment tool. Measures of association were converted to a common effect size (Hedges' g). Meta-analysis was performed using the random-effects model for each selection strategy and all outcomes without pooling. Sensitivity analysis for each selection strategy-outcome pair was performed with pooling of effect size.

RESULTS:

Eighty studies involving a total of 41 704 participants were included in the meta-analysis. Seventeen different selection strategies and 17 outcomes were assessed across these studies. The strongest positive associations referred to examination-based selection strategies, such as the US Medical Licensing Examination (USMLE) Step 1, and examination-based outcomes, such as scores on in-training examinations. Moderate positive associations were present for medical school marks and both examination-based and subjective outcomes. Minimal or no associations were seen for the selection tools represented by interviews, reference letters and deans' letters.

CONCLUSIONS:

Standardised examination performance and medical school grades show the strongest associations with current measures ofdoctor performance. Deans' letters, reference letters and interviews all show a lower than expected strength of association given the relative value often assigned to them during resident doctor selection. Objective selection strategies are potentially the most useful to residency selectioncommittees based on current evaluative methods. However, reports in the literature of validated long-term doctor performance outcomes are scant.

© 2013 John Wiley & Sons Ltd.