지난 25년간의 의과대학 입학과 관련된 연구와 실제(Teach Learn Med, 2013) ●

지난 25년간의 의과대학 입학과 관련된 연구와 실제(Teach Learn Med, 2013)

A Perspective on Medical School Admission Research and Practice Over the Last 25 Years

Clarence D. Kreiter and Rick D. Axelson

Department of Family Medicine, University of Iowa Carver College of Medicine, Iowa City, Iowa, USA

다양한 관점에도 불구하고 입학 프로그램은 상당히 보수적인 편이다. 실제로 지난 25년간 북미 의과대학의 학생선발 과정을 보면 거의 변한게 없다.

Despite a wide diversity of viewpoints, admission programs tend to be quiteconservative and to perpetuate the professional status quo. Infact, a comparison between current admission practices at North American medical schools and those used 25 years ago suggest that procedures have changed very little.1–4

한 가지 가능한 설명은 개념적 장벽, 그리고 기관 차원의 장벽이다.

A more likely explanation is that conceptual and organizational barriers have slowed evidence-based progress.

연구 결과 활용의 장애요인

BARRIERS TO THE USE OF RESEARCH FINDINGS

우리가 보는 관점에서, 발전을 저해하는 가장 중요한 요소는 공통의 의제와 개념 토대의 부족이다.

In our view, what has most slowed progress has been the lack of a shared agenda and conceptual foundation for guiding scholarship on admission issues.

발전을 저해하는 첫 번째 개념적 문제는 의과대학이 지원자에서 어떤 부분을 평가하고자 하는 것에 대한 모호함이다. 여러 의과대학에서 평가하는 인적 특성의 다양성은 의과대학 지원자에게 바라는 바람직한 특성에 대한 합의가 적음을 뜻한다.

The primary conceptual problem hindering admission pro- cess refinement has been ambiguity regarding what medical schools are looking for in candidates. The wide range of per- sonal qualities that are purportedly being assessed by different colleges indicate that there is little agreement regarding the desired attributes.7

AAMC의 COA는 ILWG의 결과물에 네 개의 추론과 두 개의 핵심 과학 역량을 더했다.

The AAMC’s Committee on Admissions, building upon the work of the Innovation Lab Working Group, specified four reasoning and two science core competencies 

이 역량 목록에 대한 동의를 만드는 것이 이 문제를 해결하고 지원자에게 요구되는 바람직한 특성과 관련된 여러 이슈들을 해결하는데 도움이 될 것이다.

Agreement on this list of competencies will likely be an important step toward resolution of this matter and other issues conflated with the debate over desired candidate qualities.

보다 덜한 장애요인 중 하나는 학생선발의 목적이 복잡하다는 것에 있다. 다양한 목적들이 있으며, 이는 서로 상충하기도 하고, 각각은 다시 다양한 하부 이슈로 구성되어 있어서 학생 선발에 관한 의사결정 환경은 다면적인 특성을 지닌다. 이 복잡성은 과연 validity에 대한 근거가 선발 절차에 적용되기는 하는가에 대한 의구심을 낳는다. 비록 validity theory는 한 프로그램이 어떤 목적을 가지고 있느냐에 대해서는 중립적이지만, 변화에 대한 보수적인 관점과 새로운 근거기반 방법론을 지지하는 사람간의 관점 차이는 그 사람이 psychometric validity가 특정 목적이나 목표를 향해서 편향되어있는지 여부에 어떻게 생각하느냐에 달려있다.

A less recognized obstacle to evidence-based progress relates to the complexity of admission goals. The broad and often competing concerns for social justice, educational quality, and healthcare outcomes each contain numerous subsidiary issues that ultimately create a multifaceted and complex decision environment.This complexity has led some to question whether validity evidence even applies to selection procedures. Although validity theory is neutral regarding what goals are set for a program,often the difference between a conservative viewpoint toward change and one that advocates new evidence-based methods hinges upon whether one believes that psychometric validity is inherently biased in favor of a particular goal or objective. 

근거기반 방법론을 활용하는데 관련된 또 하나의 장애는 증가하는 정치적, 법적 압박이다. 비록 학생선발 절차가 그러한 압력에 반응해야 하는 것은 맞지만, 우리는 과학적 타당도 근거가 법적/정치적 영역에서도 공정성과 효율성을 정의하는 것의 핵심이 되어야 한다고 생각한다.

A related obstacle for utilizing evidence-based methods stems from the increasingly strong political and legal pressures placed on medical schools. Although it is clear that the admissions process must respond to such pressures, we believe that scientific validity evidence should be instrumental in defining fairness and efficiency in both the legal and political arenas.

마지막으로, 인간의 판단의 역할을 객관적으로 보는 것에 대한 거부감이 있다. 타당도에 대한 근거가 인간의 판단을 평가하는데 무관하다는 것, 그리고 양적 방법론이 개개인의 판단력에 위협을 가한다는 인식이 중요한 연구 결과를 무시하게끔 만들어왔다.

Lastly, there has been a reluctance to objectively evaluate therole of human judgment. The perception that validity evidenceis irrelevant in evaluating human judgments and that quantita-tive methods threaten the individual’s decision-making powerhas led to important research findings being ignored.

다섯개 영역에 대한 관점

A PERSPECTIVE ON THE FIVE AREAS OF INQUIRY 

입학절차는 미국 의학교육에 큰 영향을 미쳐왔다. 효과적인 교육적 개입은 고작해야 효과크기 0.20혹은 그 이하 정도의 이득에 그치나, 근거중심 선발의 효과는 훨씬 더 강하다. 실제로 잘 설계된 선발 절차는 수행능력을 1 SD 이상 향상시킬 수 있다.

Admission procedures have had a profound impact on North American medical education. Although effective educational interventions typically produce only small gains in learning, usually with effect sizes of .20 or less, evidence-based selec- tion is comparatively far more powerful. In fact, when well de- signed, selection procedures in medical education can achieve performance gains easily exceeding 1 standard deviation.14–16

1. 인터뷰와 관련 기술들

1. The Interview and Related Techniques

어떤 도구의 타당도도 그 신뢰도의 SQRT값을 초과할 수 없기 때문에, 입학 전 면접 성적의 재현가능성은 타당도의 필요조건이다.

Because the maximum validity displayed by any measure cannot exceed the square root of its reliability, establishing the reproducibility of the preadmission interview score is a nec- essary precondition for validity.

완벽한 시험-재시험 방식의 신뢰도가 면접의 유용성을 결정하는데 가장 관련이 높기 때문에, 다면화된 일반화가능도 분석을 통해 도출한 G 계수가 - 평가자간, 평가자내 일관성 지표보다 - 가장 이론적으로 면접의 타당성을 잘 보여준다.

Because a comprehensive test–retest type of reliability is the most relevant for determining the utility of the interview, a G coefficient from a multifaceted generaliz- ability analysis, rather than an interrater or internal consistency index, has the most theoretical relevance for establishing the validity of the interview.

연구 결과를 살펴보면, 전통적인 방식의 입학면접 점수는 전반적으로 재현가능성이 매우 낮으며, 이 낮은 신뢰도로부터의 타당도 역시 면접이 중요한 성과들을 예측하는데 효과가 없음을 보여주고 있다. 이러한 결과는 입학면접을 매우 강조하는 대부분의 북미 의과대학에 시사하는 바가 크다. 명백하게, 전통적인 면접은 선발에서 중요한 요소가 되어서는 안된다. 그리고 면접 점수를 최종 결정에 활용하는 것은 공정하고 타당한 평가가 이루어질 것이라는 지원자의 기대에 반하는 것이다.

Research suggests that the overall re- producibility of the traditional preadmission interview score is very low, and the validity implication of this lowreliability have been confirmed by studies demonstrating that the interviewis in- effective in predicting important outcomes.18–22 These findings have significance for the majority of North American medical schools as they continue to maintaining a strong emphasis on the preadmission interview.1,2 Clearly, the traditional interview should not be an influential component in selection, and the use of an interview score to make the final decision may violate an applicant’s expectation of fair and valid assessment practice.9

MMI는 면접에서 가장 중요한 혁신인데, OSCE 형식의 시험을 활용한 것이다. 다수의 독립된 평가자의 결과를 종합하는 이 평가방식은 신뢰도와 타당도 측면에서 일관된 결과를 보여주고 있다. MMI가 널리 활용되고 있지는 않지만, 이는 아마도 그 절차의 복잡성 때문이며, 비학업적 평가에 있어서 신뢰도 있는 결과를 내놓다는 것은 확실하다. 다수의 독립된 평가가 필요하다는 것은 명백하나, 어떤 행동을 관찰할 것이고 평가할 것인가에 대해서는 의견이 상반된다.

The MMI has as its most important innovation, the use of objectivelystructuredclinical examination–style mea- surement techniques.23 This well-examined assessment method, using multiple independently rated samples of behavior, has consistently produced summary measures displaying accept- able reliability and promising validity evidence.24–28 Although the MMI has not been widely adopted, perhaps due to the com- plexity of the measurement process, it does demonstrate the fea- sibility of generating a reliable nonacademic assessment from an interview-like procedure. Although it is clear that multi- ple independent measures of performance are needed, there are competing concepts regarding which behaviors should be ob- served and rated.19,26 

 

2. 입학 시험

2. Admission Tests

가장 높은 예측력에도 불구하고 입학시험을 활용하는 것의 타당도에 대해서는 의견이 갈린다. 예컨대 MCAT이 어떤 임상기술이나 의과대학 후반/전공의/진료의 성취 결과를 예측하는데 비효과적이라는 결과로부터 어떤 사람들은 MCAT이 선발에서 제한적으로만 활용되어야 한다고 주장한다.

Despite generating the highest predictive coefficients, there have been conflicting views regarding the validity of using an aptitude/achievement test for selecting applicants to study medicine. For example, because the MCAT has been reported to be ineffective in predicting certain clinical skill and achieve- ment outcome measures fromthe later years of medical school, residency, and practice, some have maintained that the MCAT is of limited use in selection.31–35

메타분석을 해보면, 타당도에 대한 일반화 연구로부터 MCAT의 예측력이 비교적 의과대학 전 학년에 걸쳐서 일관되게 나타나며 MCAT이 시험점수로 나타나는 학업성취 뿐 아니라 임상기술 예측도 잘 하는 것을 보여준다.

Using meta-analytic techniques, validity generalization research has convincingly demonstrated that the predictive power of the MCAT remains relatively consistent across the medical school years and beyond and that the MCAT tends to predict clinical skills almost as well as written test-based academic achievement outcomes.15

입학시험은, 그 이름을 뭐라고 부르든, 일반적인 지능 및 추론 능력과 매우 높은 상관이 있다. 이는 입학시험을 바탕으로 한 선발은 지능을 바탕으로 한 선발이라는 의미이기도 하다.

Admission tests, whether labeled as aptitude or achievementassessments, are highly correlated with general intelligence andthe ability to reason.38,39 This implies that selection based onadmission testing also selects on general intelligence. 

다른 학생선발 맥락과 비교해보면, 의학교육에서 선발을 하는 사람들은 대른 분야에 비해서 고도로 동기부여가 되어있고 똑똑한 학생 중에서 산발하는 것이다. 이런 이유로 informed selection 방법은 겨우 의과대학 지원요건/면허취득요건을 충족한 지원자를 찾는 것보다 훨씬 더 능력 있는 지원자를 선발하는 것이다.

Compared to other selection contexts, medical education ad- mission professionals are in the enviable position of being able to select from a large pool of highly motivated and intelligent applicants. For this reason, informed selection methods are ca- pable of achieving far more than identifying applicants who will merely pass the requirements of medical school and the associated licensure and certification examinations.42

Section 4에서 논의할 것과 마찬가지로, 이 결론의 함의는 다양한 입학 프로그램의 목적을 달성하고자 할 때, 가장 타당한 모델은 MCAT 평균점수를 최대화하되, 다른 유형의 목표에 의해서 제한되도록 하는 것이다.

As we discuss in Section 4, the practical implication of this conclusion is that when attempting to achieve diverse admission programobjectives, the most valid models are those that maximize the average MCAT within the constraints imposed by other class composition goals.43,44

MCAT과 관련된 중요한 이슈 중 하나는 uGPA와 높은 상관이 있다는 점이다. 두 척도간에는 다중공선성이 높아 MCAT이 의과대학 성적이나 USMLE 점수를 예측하는데 약간정도만 기여하게 된다. 따라서 MCAT을 배제하고 uGPA만 사용하는 것이 타당해 보일 수 있으나, MCAT을 유지해야 하는 이유가 있다. 하나는 대학 성적의 의미는 대학이 어디인지 전공이 무엇인지 따라서 매우 다르다는 것이다. 또한 이러한 이유로 uGPA만 활용하는 것은 불공정하고 교육 절차를 훼손시킬 수 있다. MCAT은 uGPA를 여러 대학간 동질화시키는 효과적인 수단이다.

An additional and important interpretive issue concerning MCAT research relates to the fact that admission test scores correlate highly with undergraduate grade point average (uGPA). Multicollinearity between the two measures results in the MCAT contributing only modestly to the incremental vari- ance explained in medical school grades and USMLE scores.14 Althoughit might therefore seemreasonable tosimplyuse uGPAwithout MCAT, there are compelling reasons to retain MCATin the selection process. One of the primary shortcomings ofcollege grades relates to the fact that the meaning of uGPAvaries dramatically across undergraduate institutions and ma-jors.45 The variability in standards across institutions suggeststhat it is unfair and likely damaging to the educational process,to use uGPA in isolation. Because MCAT is an effective meansof equating uGPA across institutions, it also serves a vital rolein maintaining the integrity of our educational metrics.46 

3. 개인 역량에 대한 다른 척도들

3. Other Measures of Personal Competencies

보통 의과대학 입학에는 추천서가 필요하다. 2012년 봄, 미국 의과대학들은 personal competency가 널리 평가되고 있고 의과대학 선발에서 중요하다는 것을 확인했다. 설문에 응한 99명의 학장은 모두 추천서를 활용하고 있다고 했으며, '중요한' 정보원으로 평가했다. 그럼에도 불구하고 추천서에 기록된 정보는 여전히 우려의 대상인데, 그 정보의 질은 작성자에게 제공되는 형식의 구조화 정도에 영향을 받는 것으로 보인다.

Letters of reference/evaluation for candidates are generally required for medical school admission. A spring 2012 sur- vey of U.S. medical school admission deans confirmed their widespread use and importance in admission processes for as- sessing personal competencies.47 All 99 deans responding to the survey (70%of the 142 medical schools) reported using let- ters of evaluation in their admissions processes and, on average, rated them as “important” sources of information for deciding whom to interview and admit. Nevertheless, the quality of the information provided in letters is a source of ongoing concern. The information quality appears to vary substantially depending upon the degree of structure provided to letter writers.

표준화되지 않은 추천서는 낮은 평가자간 신뢰도, 낮은 예측타당도를 보여준다. 결과적으로 구조화된 형태에 대한 관심이 모아지고 있다. 또한 핵심 역량을 설명하기 위해서 척도와 사례 기술을 활용하고자 하고 있다.

Nonstandardized letters of reference have generally been found to have lowinterrater reliability and little predictive valid- ity.21,48 Consequently, there is considerable interest (75%of the aforementioned medical school admission dean respondents) in moving toward a structured format employing more detailed letter writing instructions and/or the use of ratings and narrative descriptions to address a set of core competencies. The AAMC’s Admission Initiative has provided a sample set of guidelines to support such efforts.49

인적특성 평가 도구는 또 다른 방법이다.

Personality tests/inventories are another method used for gathering information about candidates’ personal competen- cies.

비록 평균적인 예측타당도는 매우 낮지만 Tett와 Christiansen은 잘 구조화된 인적특성 측정 도구는 적절한 환경에서 사용하면 쓸만한 수준으로 예측타당도를 보여줌을 말한다. 이러한 목적에 따르면, 문제는 적절한 검사와 검사 조건이 무엇인가 하는 것이다.

Although their average predictive validity appears to be quite low, Tett and Christiansen50 argued that when well-constructed personality tests are used under the proper conditions, they can achieve useful levels of predictive validity. For our purposes, the issue then becomes whether the proper test(s) and conditions can be developed for selecting medical school applicants with sufficient predictive validity. 

이러한 조건이 의과대학 선발과정에 가능하냐는 우려가 있다. Bardes 등은 비인지적 척도와 의과대학 수행능력의 상관관계에 일부 근거가 있지만, 이는 의과대학생을 대상으로 한 것이며 지원자를 대상으로 한 것이 아니라고 지적했다. 선발 과정이 high stake 성격을 가지므로, 지원자들이 솔직하게 대답하기보다는 '바람직한' 답을 쓸 수도 있다.

There is considerable skepticism regarding whether theseconditions can be attained in medical student selection pro-cesses. As Bardes et al.52 noted, although there is some ev-idence of links between noncognitive measures and medicalstudent performance, these studies were based on medical stu-dents rather than applicants. Given the high stakes nature of theselection process, there is strong incentive for applicants to givethe answers desired by an admissions committee rather than an-swering questions candidly

자기소개서는 세 번째 방법

Autobiographical essays are a third method for collective information about nonacademic attributes. 

의과대학이 이 정보를 수집하고 점수를 매기는 방법은 매우 다양하며 멕마스터대학에서의 연구에 따르면 평가자간 신뢰도가 낮아서 성과 척도와 낮은 상관관계만을 보여준다. 

There appears to be much variation in how medical schools collect and score this information. Re- search conducted at McMaster University suggests that scores on the essays have little correlation with outcome measures, at least in part, because of their low interrater reliability.22 Subse- quent research found that the reliability and predictive potential for these scores was improved by administering the essays in an onsite, proctored, time-controlled environment and by rating the resulting essays using a horizontal scoring method.53

따라서 위의 세 가지 중에서는 현재로는 지침에 따라 작성하는 표준화된 추천서가 personal competency를 평가하는 가장 좋은 방법으로보인다.

Thus at present, standardized letters of recommendation guided by instructions such as those developed by the AAMC’s Admission Initiative appear to be the most promising of these three methods for gathering reliable and valid information about candidates’ personal competencies through admission processes.

SJT와 Sternberg's successful intelligence test도 있다.

Situational judgment tests (mentioned earlier) and Sternberg’s successful intelligence test54 are two examples of ability-based tests that might capture additional information about applicants’ personal competencies. Successful intelli- gence includes creative and practical skills that enable individuals to envision, evaluate, and implement practical solutions to problems. Using a sample of 793 college students, Sternberg54 showed that such measures substantially improved the predic- tion of students’ college GPA.

4. 합격자 결정 과정

4. The Decision Process

궁극적으로, 최종 결정의 integrity가 선발 과정의 성패를 결정한다. 의학교육을 위해 고안된 평가 기준에서 알 수 있든, 결정 과정의 타당도가 매우 중요하다. 그러나 타당도 근거에 대한 인식은 매우 낮다.

Ultimately, the integrity of the final decision is what defines the success of the selection process. As recognized by assess- ment standards created specifically for medical education, the validity of the decision procedure is every bit as important as the validity of the evaluative measures used to describe the ap- plicant.55 Yet, as discussed in the introduction, there has been little recognition of validity evidence in designing the admission process that ultimately generates the final decision.

이 결정은 지원자의 정보가 인간의 판단과 결합되어야 하며, 혹은 수학 공식과 결합되어야 한다. 국가 수준에서 전인적 기법을 사용하려는 시도가 지난 십년간 있어왔고 북미 의과대학 중 다수에서는 입학위원회에서 최종 결정을 내린다. 그러나 이러한 방식에 대한 근거는 없으며, 연구를 살펴보면 고도로 노동집약적인 입학위원회의 절차는 오히려 신뢰도과 타당도를 떨어뜨린다. holistic 방법을 사용하는 것은 입학을 비밀스럽게 만든다. 투명성, 타당성, 신뢰성을 높이려면 연구 근거에 따르면 actuarial model을 활용해야 한다. 

The final decision requires that applicant information be com- bined using either human judges (i.e., holistic, clinical methods) or a mathematical formula (i.e., statistical, actuarial methods). Over the last decade there has been an effort at the national level to promote the use of holistic techniques, and the admissions committee is currently used by the vast majority of North Amer- ican medical schools to make the final admission decision.4,56 Unfortunately, there is little evidence to support these practices, and the research evidence suggests that labor-intensive admis- sion committee procedures may ultimately compromise both the reliability and validity of the admission process.57 The use of holistic methods might also contribute to admissions being characterized as “secretive” at many institutions.58 For promot- ing transparency, validity, and reliability, the research evidence clearly supports the use of actuarial models over holistic meth- ods.59 Actuarial models can take many forms and can be tailored to meet the specific goals of the college. A recently introduced actuarial model that uses constrained optimization methods has been shown to be efficient and flexible in responding to unique and varied admission goals and may be capable of enhancing diversity.43,44

5. 척도 정의와 측정

5. Defining and Measuring the Criterion

안타깝게도, 지난 25년간 성과 척도를 개발하는데 거의 자원이 투입되지 않았다. 많은 연구들이 성공적인 학생 똔느 의사를 만드는데는 많은 요소가 필요함을 인정하지만, 정확상과 편의성을 이유로 성적/면허시험점수/증명서 등에 안주하고 있다.

Regrettably, over the last 25 years, there have been fewresourcesallocated toward the development of outcome measures. Moststudies acknowledge that there are many elements that define a successful student or physician, but for reasons of measurement precision and convenience, settle for grades, licensure scores, and/or successful certification.

사용가능한 다양한, 하지만 불완전한 지표들을 합하여 척도를 만드는 것이 지금까지 간과되어 온 방법이다. 통계적인 insight에 따르면, 척도가 다양하더라도 우리가 성공적인 의사라고 정의한 그 방향을 모두 일관되게 향하고 있다면 그것들을 합함으로써 신뢰도와 타당도 높은 결과를 얻을 수있다.

One overlooked method for building an index that could pos- sibly reflect physician success might be found in a composite measure constructed from a large set of available but imperfect indicators. Statistical insights suggest that if the components of a composite measure all vary in the same direction as what we are trying to define/predict (a successful physician), a reli- able and valid composite is likely to evolve.

어떤 사람은 어떻게 이렇게 다양한 요소들을 - 각각이 기여하는 정도가 어느 정도인지도 모르고서 - 합할 수 있느냐고 무렁볼 수 있는데, 통계 연구를 살펴보면, 비록 어떤 요소들이 더 중요하고 더 신뢰도가 높을 수있지만, 표준화된 점수를 합하는 것 만으로도 가중치가 적용된 점수와 거의 완벽하게 상관관계를 가진다.

One might wonder howweights for such diverse components could possibly be generated when we have so little knowledge about each indicator’s relative contribution in defining the con- struct. Fortunately, statistical research demonstrates that this problem is easily solved. Although it is reasonable to regard some of these component indicators as more important and re- liable than others, statistical evidence clearly indicates that a sum of standardized scores (simple unit weighting) will gener- ate a composite almost perfectly correlated with any optimally weighted composite we might derive with more complete information.60

19. Axelson RD, Kreiter CD. Rater and occasion impacts on expected pread- mission interview reliability. Medical Education 2009;43:1198–202.

26. Ziv A, Rubin O, Moshinsky A, Gafni N, Kotler M, Dagan Y, et al. MOR: A simulation-based assessment centre for evaluating the personal and interpersonal qualities of medical school candidates. Medical Education 2008;42:991–8.

43. Kreiter CD. The use of constrained optimization to facilitate admission decisions. Academic Medicine 2002;77:148–51. 44. Kreiter CD, Stansfield B, James PA, Solow C. A model for diversity in admissions: Areviewof issues and methods and an experimental approach. Teaching and Learning in Medicine 2003;15:116–22.

48. Siu E, Reiter H. Overview: What’s worked and what hasn’t as a guide to- wards predictive admissions tool development. Advances inHealthSciences Education 2009;14:759–75.

49. Association of American Medical Colleges. Guideline for writing letter of evaluation for a medical school applicant. 2011. Available at: https://www. aamc.org/initiatives/admissionsinitiative/letters./ Accessed July 15, 2013.

54. Sternberg RJ. Assessing students for medical school admissions: Is it time for a new approach?. Academic Medicine 2008;83(Suppl 10):S105–10.

59. McGaghie WC, Kreiter CD. Holistic versus actuarial student selection. Teaching and Learning in Medicine 2005;17:89–91.

---

Teach Learn Med. 2013;25 Suppl 1:S50-6. doi: 10.1080/10401334.2013.842910.

A perspective on medical school admission research and practice over the last 25 years.

Kreiter CD1, Axelson RD.

Author information

• 1a Department of Family Medicine , University of Iowa Carver College of Medicine , Iowa City , Iowa , USA.

Abstract

Over the last 25 years a large body of research has investigated how best to select applicants to study medicine. Although these studies have inspired little actual change in admission practice, the implications of this research are substantial. Five areas of inquiry are discussed: (1) the interview and related techniques, (2) admission tests, (3) other measures of personal competencies, (4) the decision process, and (5) defining and measuring the criterion. In each of these areas we summarize consequential developments and discuss their implication for improving practice. (1) The traditional interview has been shown to lack both reliability and validity. Alternatives have been developed that display promising measurement characteristics. (2) Admission test scores have been shown to predict academic and clinical performance and are generally the most useful measures obtained about an applicant. (3) Due to the high-stakes nature of the admission decision, it is difficult to support a logical validity argument for the use of personality tests. Although standardized letters of recommendation appear to offer some promise, more research is needed. (4) The methods used to make the selection decision should be responsive to validity research on how best to utilize applicant information. (5) Few resources have been invested in obtaining valid criterion measures. Future research might profitably focus on composite score as a method for generating a measure of a physician's career success. There are a number of social and organization factors that resist evidence-based change. However, research over the last 25 years does present important findings that could be used to improve the admission process.

PMID:

 

24246107

 

[PubMed - indexed for MEDLINE]