Dropout Rates in Medical Students at One School Before and After the Installation of Admission Tests in Austria

Gilbert Reibnegger, DSc, Hans-Christian Caluba, Daniel Ithaler, Simone Manhal, Heide Maria Neges, and Josef Smolle, MD

2002-2003학년도에 오스트리아의 의학교육에는 근본적 변화가 생겼다. 전통적인, 학문 중심의 교육 프로그램이 근대적인(modern), 주제별(theme-based), 학위수여(diploma-granting) 교육과정으로 변한 것이다. 오스트리아에 있는 모든 세 개의 공립 의과대학이 이 변화를 수용했으나, 각각의 대학은 세부적인 사항에 대해서는 학교별 강점과 선호에 따라 자율적으로 조정하였다.

In academic year 2002–2003, medical education in Austria changed in a fundamental way. The traditional, discipline-oriented study program was transformed into a modern, theme-based, diploma-granting curriculum with a timely, module-track structure. Although all three public medical universities in Austria (Medical University of Vienna, Innsbruck Medical University, and Medical University of Graz) adopted this reform in general, each university was free in establishing the details of its curriculum according to its specific strengths and preferences.

Background

Graz의과대학 교육과정

The Medical University of Graz curriculum

Graz의과대학의 교육과정은 처음부터 전임상 주제와 임상 주제를 통합하는 형태였으며, 조기에 환자 경험을 쌓는 것은 사회적, 의사소통 능력 뿐만 아니라 신체검진 능력 향상에도 도움이 된다. 또한 과학적 연구에 대한 교육도 강화했으며, 새롭게 설계된 'clinical year'가 역시 교육과정의 특징이다.

The reformed curriculum at the Medical University of Graz 1 integrates preclinical and clinical topics from the beginning. Early patient contact strongly enhances training in physical examination skills as well as social and communication skills. In addition, better education in scientific research matters and a newly designed “clinical year” are the hallmarks of the new program. The curriculum is designed to be completed in six years.

처음의 두 학기는 "첫 부분"으로서 의학 맥락 속에서 기초과학을 주로 배우게 된다. "두 번째 부분"은 2학년부터 5학년까지로, 의학지식의 기초, 정상과 병리상태, 형태학, 다양한 의학/임상 학문 등등을 배우게 된다. 첫 번재와 두 번째 부분은 주제별로 5주간 진행되는 형태이다. 30개 모듈 중에서 25개 모듈은 의무이며, 5개 모듈은 선택할 수 있다.

The initial two study semesters, the “first part of study,” are dominated by the basics of natural sciences in a medical context. The “second part of study,” years 2 through 5, is devoted to the fundamentals of medical knowledge, including normal as well as pathological function and morphology and the various medical and clinical disciplines. The first and second parts of study are organized in theme-centered modules lasting five weeks each. The modules are accompanied by vertical “tracks.” In tracks, specific knowledge and skills are taught during consecutive study years. Students choose 5 out of the required 30 modules from a broad offering of elective modules; 25 modules are obligatory for all students.

6학년에는 학생들은 다양한 임상 현장에서 임상현장의 일상에 참여하게 되며, 전문적인 임상 교사(expert clinical teacher)에 의해서 관리감독을 받게 된다.  또한 6학년 기간에 5주는 general practitioner의 office에서 보내게 된다.

In year 6, students participate in the daily clinical routine at different training sites and are constantly guided and supervised by expert clinical teachers. Additionally, during the course of year 6, students also spend five weeks in a general practitioner's office.

오스트리아의 의과대학 입학

Medical school admissions in Austria

일반적으로 오스트리아 대학은 'open admission'을 따라왔다. 즉, 고등학교를 성공적으로 마친 학생은 누구나 자신이 원하는 어떤 대학에든 입학할 수 있다는 것이다. 그러나 의과대학에 있어서 이러한 '개방입학(open admission)'은 상당히 만족스럽지 못한 결과를 가져왔다. 예컨대, Graz의과대학의 경우 의과대학 신입생은 600~800명으로 매년 다르며, 이 숫자는 교수 뿐만 아니라 시설 측면에서 학교의 수용능력을 넘어서는 것이다. 따라서 학습 환경이 좋지 못하고, 의욕이 꺾인 학생과 교수들은 소규모 학습 따위는 거의 하지 않으며 대부분의 수업이 대형 강의로 진행된다. Bedside teaching도 거의 없다. 학생들은 의과대학이 6년제 교육과정임에도 평균적으로 50%(3년) 이상을 추가적으로 학교를 다니고 있으며, 약 절반의 학생은 졸업하기 전에 탈락(dropped out) 한다.

In Austria, open admission to university studies has been the rule: Everyone successfully finishing secondary school education is generally entitled to be admitted to whatever university study she or he wants. In medicine, open admission led to particularly unsatisfactory consequences. For example, at the Medical University of Graz, the average number of new medical students varied between 600 and 800 per year, substantially exceeding capacities in terms of staff as well as infrastructure. Thus, study conditions were poor. Frustrated students and faculty made do with little or no small-group lecturing, a predominance of mass lectures, and little bedside teaching, among other limitations. On average, students exceeded the scheduled study time of six years by 50% or more, and approximately half of the students dropped out before reaching graduation.

오스트리아 의과대학은 또한 오스트리아 외 국가에서도 학생을 받아왔는데, 역사적으로 오스트리아의 대학에 입학하는 다른나라의 학생들(EU 국가 포함)은 자신의 국가에서도 동등하게 대학에 입학하였다는 것을 입증하여야 한다. 그러나 유럽법(European law)에 따르면 EU국가의 모든 시민들은 오스트리아 대학에 지원할 때 오스트리아 국민과 동등한 대우를 받아야 하고, 2005년 7월 European court는 오스트리아의 외국 학생에 대한 정책이 위법이라는 판결을 내렸다. 

Austrian medical universities also admitted students from outside Austria. Historically, students from other countries—including member states of the European Union (EU)—were admitted to an Austrian university only after they proved they had also been admitted to the same course of study in their country of origin. According to European law, however, citizens from all EU member states must be treated in the same way as Austrians when applying to Austrian universities. In July 2005, the European Court ruled that Austria's policy of foreign student admission to university studies violated European law.2 

이러한 결정은 의과대학에 특히 결정적이었다. 독일은 오스트리아의 인접국이면서, 오스트리아와 같은 언어를 사용하는데, 독일에서는 30000명의 의과대학 지원자 중 8000명~10000명만 의과대학에 입학할 수 있었던 것이다. European Court의 판결 이후 세 개의 오스트리아 의과대학이 독일 학생들로 꽉꽉 찰 것이라는 우려가 상당했다. 이에 대한 대책으로서 오스트리아 법이 즉각적으로 개정되었는데, 대부분의 대학 입학에 대해서는 여전히 개방입학(open admission)으로 남겨놓았지만, 일부 학과에 대해서는 입학 시험을 도입하는 것으로 바뀌었고, 이러한 학과에는 의학과 치의학 학위 프로그램이 포함되었다. 또한 European Commission은 2007년부터 5년간 오스트리아로 하여금 학생의 정원을 통제할 수 있도록 하였으며, 대부분의 의과대학 정원은 오스트리아 국민에게 가도록 하였다. 전체 정원중 75%는 오스트리아 자국민에게 할당되었으며, 20%는 다른 EU국가, 5%는 그 외 다른 국가에게 분배되었다.

This decision was particularly important for medical universities because of circumstances in Austria's neighboring country, Germany, which shares the same language as Austria. In Germany, only 8,000 to 10,000 of the approximately 30,000 applicants for the study of medicine are admitted each year. Therefore, after the court's decision, it was feared that the three Austrian medical universities would be overwhelmed by German students. To avoid this, Austrian law was changed immediately: While admission to most university study programs remained open for all applicants having completed secondary education, admission tests were introduced to regulate access for selected studies. Among the regulated studies were the diploma programs in human medicine and dentistry. Additionally, the European Commission issued a five-year moratorium in 2007,3 entitling Austria to regulate quotas of students until 2012 to ensure that the majority of openings are reserved for Austrian citizens. Seventy-five percent of openings are reserved for applicants who completed their secondary education at an Austrian school, 20% for citizens from other EU states, and 5% for applicants of other nationalities.

Graz의과대학의 선발

Medical University of Graz admissions

2005년, Graz의과대학은 난관에 봉착했는데, 이 전 년도의 개방입학에서 지나치게 많은 학생들이 입학한 것이다. 또한 2002-2003학년도에 도입된 새로운 교육과정은 이 전 교육과정에 비해서 더 많은 자원이 투입되어야 했다. 이러한 상황에서 '첫 파트'를 성공적으로 이수한 학생들도 즉각적으로 '두 번째 파트'로 진학하지 못하는 문제가 생겼다.

In 2005, the Medical University of Graz faced an unfortunate state of affairs. Because of the open admission policy of previous years, there was an inordinate number of students enrolled in the diploma of human medicine program. Further, the new curriculum implemented in 2002–2003 required significantly more resources than the previous program. Under these circumstances, students who had successfully completed the first part of study could not immediately proceed with the second part because of a lack of resources.

이러한 상황을 해결하기 위해서, 의과대학에서는 두 가지 당시의 법적 상황을 활용하여서 새롭게 입학하는 학생의 숫자를 조절하였다. 이에 따라 2005-2006학년도에는 107명의 학생만이 새롭게 입학하였고, 그 다음 해에는 154명, 그 다음 해에는 282명으로 서서히 그 수가 증가하였다. 이러한 방식으로 Graz의과대학은 성공적으로 학생이 누적되는 문제를 해결하였다. 2008-2009학년도 이후에는 약 350명의 학생이 입학하고 있으며, 이것이 거의 상한선에 해당한다. 

To resolve this situation, the university used the new legal situation to manage the numbers of new students entering the university very efficiently. Thus, in academic year 2005–2006, only 107 new students were admitted. In the two following years, the numbers were raised incrementally (154 in 2006–2007, and 282 in 2007–2008). By this measure, we successfully eliminated the backlog of students waiting to continue their studies. Since 2008–2009, 340 to 350 students have been admitted per year, representing the upper limit of capacity. This upper limit was consensually defined with the Federal Ministry of Science and Research on the basis of previous experience.

입학 과정을 개선하기 위해서 두 가지 과정이 진행되었는데, 첫 번째로 2005-2006학년도에 1000명이 넘는 모든 지원자를 모두 임시합격시켜서 첫 학기를 이수하게 하였으며, 이 때애는 거의 인터넷을 활용한 원거리학습을 사용하였다. 첫 학기의 세 개 모듈은 모두 전자문서형태로 변환되었고, 'Graz의과대학가상캠퍼스'를 통해서만 제공되었다. 이는 종합적, 웹기반 학습 플랫폼으로 Graz의과대학에서 이전에 개발된 것이다. 2006년 1월에 임시 합격한 모든 지원자는 2일간의 선발 절차를 통과해야 하는데, 제1일에는 세 모듈에 대한 다지선다형 필기시험을 치르며, 제2일이에는 추가적은 다지선다형 시험을 통해서 생물, 화학, 물리, 수학에 대한 고등학교 수준의 지식을 평가한다. 최종 합격은 성적순으로 107명을 선발하며, 이 학생들이 최종입학하여 향후 의과대학 수업을 받게 된다. 다른 모든 학생들은 탈락된다.

Two different procedures were applied in our efforts to reform the admission process. First, in academic year 2005–2006, all applicants (more than 1,000) were preliminarily accepted for an initial semester, which entailed exclusively distance learning via the Internet. The contents of the three modules of the first study semester were transformed into electronic documents and were offered to students online by means of the Virtual Medical Campus Graz. This is a comprehensive, Web-based learning platform which had been developed previously at the Medical University of Graz 4–6 to support teaching and learning. In January 2006, all preliminarily accepted students had to pass a two-day selection procedure. On day 1, there was a written assessment in multiple-choice (MC) format based on the students' knowledge of the three modules. On day 2, the students took an additional MC test further assessing their knowledge of biology, chemistry, physics, and mathematics on the secondary school level. The available admission openings were awarded to the 107 applicants ranking highest after both assessments. These applicants then were fully admitted to further study. All other applicants were excluded from continuing their study.

두 번째 단계는 2006-2007학년도에 도입된 것으로서, 지금까지도 계속되고 있는데, Graz의과대학은 지원자의 수행능력을 기반으로 한 선발 과정을 치른다. 이 시험은 앞에서 제2일에 시행한 시험을 기반으로 만들어졌으며, 주로 고등학교 수준의 생물, 화학, 물리, 수학 시험을 보고, 과학교과에 대한 지원자의 이해능력을 평가한다. 자연과학 부분에 초점을 둔 이러한 시험을 도입한 주 근거는 오스트리아 고등학교 교육과정이 워낙 다양해서 의과대학에 입학한 많은 학생이 고전한다는 오래된 관찰 결과에 기반한 것이다. 

The second process was implemented for academic year 2006–2007, and it continues today. The Medical University of Graz employs a selection procedure based on an applicant's performance on a required MC test prior to admission. This test was built on the basis of the test used on day 2 of the previous admission test. It is based mainly on secondary-school-level knowledge of biology, chemistry, physics, and mathematics and further includes assessment of the applicant's comprehension of scientific texts. A major rationale for using an admission test focusing mainly on the natural sciences was the long-standing observation that, because of strong heterogeneities in Austrian secondary school education, many medical students faced massive difficulties—and hence, the largest risk to fail and to drop out of study—during the initial study semesters, which are dominated by these scientific disciplines.

경험이 풍부한 대학 교수가 시험을 출제하며, 시험은 매년 7월 치러지고 성적이 좋은 지원자만이 의과대학에 입학할 수 있다. 현재, Graz에서 사용하고 있는 입학 시험은 일부 독일 의과대학에서 사용하는 입학 과정과 유사하며, 이들 대학과 향후 더 협력할 계획을 가지고 있다.

Experienced university faculty produce the test items. The admission test takes place in July each year during the holiday season of schools and universities. Those applicants who rank best on the admission test are admitted to study. Presently, the admission test is used only at the Medical University of Graz, but there are similar admission procedures at some German medical faculties (e.g., University Medical Center Hamburg–Eppendorf), and we are considering cooperating more closely with these faculties in the future.

Studying the effects

우리가 기대하는 것은 학생들의 수학기간(6년 교육과정임에도 9년간 공부하는)의 단축, 그리고 탈락률(50%이상)이 감소하는 두 가지 이다.

In summary, starting with academic year 2005–2006, a fundamental change in Austria's admission practice for medical studies caused leaders at the Medical University of Graz to implement sweeping reforms to their own admissions practices. Not only was the threat of becoming overwhelmed by German students removed, the university was for the first time able to adjust the number of fresh medical students according to the capacities available. Two major research hypotheses—and indeed hopes—accompanied the introduction of selective admission procedures: We expected that students' overlong study times (approximately nine years instead of six years as scheduled) as well as the absurdly high study dropout rates (50% or more) would be efficiently reduced.

We addressed the first of these research questions, namely, the effect of the change in admission practice on study progress rates, in a previous analysis.7 In the present investigation, we investigate the second important question mentioned above: Is there a measurable effect on dropout rate of the change in admission practice from open admission to active selection of students? How large is the putative effect? Do demographic variables such as students' nationality, age, and sex significantly modulate the putative effect?

Method

Participants

We included in the study all new students routinely enrolled in the new diploma human medicine program during the academic years 2002–2003 to 2008–2009. We excluded from the investigation students being admitted by any other route (e.g., students with prior credits from medical studies at the Medical University of Graz or elsewhere).

총 2860명의 학생

In total, we included 2,860 students for statistical analyses. Of these, 1,971 (68.9%) were openly admitted during academic years 2002–2003 to 2004–2005; 889 (31.1%) were admitted after passing an admission procedure during years 2005–2006 to 2008–2009.

코호트별로 observation period가 다름

Data on study progress were accumulated from academic year 2002–2003 until the end of the winter semester in academic year 2009–2010 (February 28, 2010). Thus, the observation period varies among cohorts from the investigated academic years. Whereas students who were enrolled in 2002 and 2003 were observed for more than six years and thus were able to reach graduation during the observation time, the observation period for students who were enrolled in 2004 and later was shorter than the scheduled six years of the curriculum.

남성 여성, 연령. 연령은 3분위수를 이용하여 20.89세를 기준으로 이분화함. 1~3분위는 매우 숫자가 가까웠음. 그래서 나머지를 '나이든' 그룹으로 묶음.

The study included 1,230 men (43.0%) and 1,630 (57.0%) women. Age range was from 17.51 to 50.03 years (median: 19.69 years; first quartile: 18.92 years; third quartile: 20.89 years). As in our previous investigation,7 for subsequent analysis we arbitrarily dichotomized the variable “age at study entry” at the third quartile of 20.89 years. There was no other motivation for the dichotomization just at this age other than to compare younger and older participants; because the first, second, and third quartile are very close, the third was taken to ensure a reasonable number of participants in the “older” group. Finally, 2,481 of the students (86.7%) were Austrians, 226 (7.9%) were Germans, and 153 (5.4%) came from other nations.

학생을 선별할 수 없도록 데이터를 수집하였음. 

We gathered the deidentified data from information that is routinely collected about medical students' admission, dropout, and graduation dates and examination history, as required by the Austrian Federal Ministry of Science and Research. Because the data were anonymous and no data beyond those required by law were collected for this study, the Medical University of Graz's ethical approval committee did not require approval for this study.

통계

Statistical methods

탈락하는 학생에 대해서 학생이 탈락하고 말고 뿐만 아니라, 어느 단계에서 탈락하느냐도 중요함. 

Phenomena such as students prematurely dropping out of a program are intrinsically time-dependent: Besides the question of whether or not a student drops out, it also matters when in the course of study this event occurs. Proper analysis of dropout, therefore, must include the time elapsing between a defined starting event (in our analysis, this is the date of enrollment) and the terminating event under consideration (the date of dropout) as a central variable. 

ANOVA나 회귀분석 같은 방법은 적절하지 않음. 학생마다 모두 학습이 달라서 모든 학생이 탈락하거나 모든 학생이 졸업할 때까지 기다릴 수 없음. 

Application of ordinary statistical methods, such as analyses of variance or regression techniques, frequently are not suitable in investigations of this type. First, study progress of participants may vary considerably, and one might be interested in drawing sound conclusions without waiting until all participants have either dropped out or reached graduation. Under reasonable circumstances, only a fraction of participants will experience the terminating event “dropout” within a given observation time, and—at least in principle—other participants may get lost from the observation for reasons other than dropout (e.g., graduation). This latter phenomenon is called censoring. Participants experiencing the defined termination event during the observation period carry full information for statistical analysis (“they have experienced the terminating event after a well-defined time interval”). Participants who do not drop out of study during the observation period nevertheless contribute important information, at least for the time period under observation (“they have not experienced the terminating event during a well-defined time interval”) but not thereafter.

이러한 경우에 의학에서는 생존분석을 하게 됨. 입학 전형 또는 인구학적 특성에 따라서 탈락율 차이를 분석함.

In medicine, we meet situations of this type very commonly in survival studies. In these cases, the starting point very frequently is the date of diagnosis of, for example, a malignant tumor, and the terminating event might be the date of detection of tumor recurrence or metastasis or even death. Consequently, we analyzed the effects of open admission versus active admission procedure as well as of some selected demographic variables on dropout rates by statistical methods from the field of survival analysis.8

Here, we distinguish between nonparametric, semiparametric, and parametric methods. The product-limit approach by Kaplan and Meier 9 does not make any assumption concerning the underlying hazard function (“baseline hazard”) for the terminating event under scrutiny but estimates the cumulative probabilities of “survival” (for our purpose, this corresponds to “retention in study”) merely from the empirical data at hand. Thus, it is a nonparametric method. The proportional hazards method by Cox 10 also does not make any assumption about the baseline hazard; the effect of covariates, however, is modeled by a parameterized analytic expression. The model parameters are estimated from the data and allow, in a multivariate fashion, quantification of the relative predictive strengths of the variables included with regard to the terminating event. The Cox method is thus a semiempiric one. Finally, there are a host of parametric models which provide explicit mathematical models for the baseline hazard as well as covariate effects. These models assume one of several possible distribution models for the baseline hazard (e.g., exponential distribution, Weibull distribution, Gompertz distribution, and others) with adjustable parameters. If appropriate, such models allow the estimation of cumulative probabilities as a function of time by means of an explicit analytic expression.

We used the nonparametric product limit technique by Kaplan and Meier to compute the cumulative probabilities for retention in the course of study for student categories defined on the basis of several variables: mode of admission (open admission versus selection), sex, age, and nationality. Such cumulative probabilities are usually represented graphically by typical step functions decreasing from 1.0 to smaller values, as observation time progresses. We tested differences of cumulative retention probabilities among different categories by the generalized likelihood ratio method (Breslow [chi]2 statistic).11 To visualize the time-dependent risk of experiencing dropout for students in defined categories, we computed smoothed hazard functions for dropout according to Muller and Wang.12 These smoothed hazard functions give the instantaneous probabilities that a participant will experience a terminating event at time “t.” Roughly, they represent the negative first derivative with respect to time of the cumulative retention probabilities. We employed the semiparametric proportional hazards model by Cox in order to study the combined effects of potential predictor variables in a multivariate manner and to identify the relative strength of each individual predictor variable in the context of all other variables.

All statistical evaluations, including basic statistics for comparison of mean values and frequencies among different groups of students, were done using commercially available software (Stata Statistical Software: Release 11; StataCorp, 2009, College Station, Texas).

Results

Cumulative probability of dropout was significantly reduced in students selected by active admission procedure versus those admitted openly (P < .0001). Relative hazard ratio of selected versus openly admitted students was only 0.145 (95% CI, 0.106–0.198). 

Among openly admitted students, but not for selected ones, the cumulative probabilities for dropout were higher for females (P < .0001) and for older students (P < .0001). Generally, dropout hazard is highest during the second year of study.

Conclusions

The introduction of admission testing significantly decreased the cumulative probability for dropout. In openly admitted students a significantly higher risk for dropout was found in female students and in older students, whereas no such effects can be detected after admission testing. Future research should focus on the sex dependence, with the aim of improving success rates among female applicants on the admission tests

Dropout rates in medical students at one school before and after the installation of admission tests in Austria.

An analysis of the German university admissions system

Alexander Westkamp

독일 법에 따르면 Arbitur (secondary school을 성공적으로 마침)을 획득한 학생이라면 누구나, 어떤 학과든, 어떤 공립대학에서 수학할 자격이 주어진다. 

According to German legislation, every student who obtains the Abitur (i.e., successfully finishes secondary school) or some equivalent qualification is entitled to study any subject at any public university. Given capacity constraints at educational institutions and the ensuing need to reject some applicants, this principle has long been reinterpreted as meaning that everyone should have a chance of being admitted into the program of his or her choice. In order to implement this requirement, places in those fields of study that are most prone to overdemand have been allocated by a centralized nationwide assignment procedure for over 25 years. 

In the first part of this paper, I analyze the most recent version of this procedure that is currently used to allocate places for medicine and three specialities (dentistry, pharmacy, and veterinary medicine). In the winter term 2010/2011, more than 56,000 students applied for one of the less than 13,000 places available in these four subjects, meaning that ultimately three in four applicants had to be rejected. What sets this part of my study apart from previous investigations of real-life centralized clearinghouses is the sequential nature of the German admissions procedure: In the first step, the well-known Boston mechanism is used to allocate up to 40 % of the total capacity of each university among special applicant groups, consisting of applicants who have either obtained excellent school grades or have had to wait a long time since finishing school. 

About one month later, all remaining places—this includes in particular all places that could have been but were not allocated to special student groups—are assigned among remaining applicants according to criteria chosen by the universities using the college (university) proposing deferred acceptance algorithm (CDA). Applicants belonging to special student groups, who were not assigned one of the seats initially reserved for them, have another chance of obtaining a seat in this part of the procedure. 

Westkamp, A. (2013). An analysis of the German university admissions system.Economic Theory, 53(3), 561-589.

Abstract This paper analyzes the sequential admissions procedure for medical subjects at public universities in Germany. Complete information equilibrium outcomes are shown to be characterized by a stability condition that is adapted to the institutional constraints of the German system. I introduce matching problems with complex constraints and the notion of procedural stability. Two simple assumptions guarantee existence of a student optimal procedurally stable matching mechanism that is strategyproof for students. In the context of the German admissions problem, this mechanism weakly Pareto dominates all equilibrium outcomes of the currently employed procedure. Applications to school choice with affirmative action are also discussed.

Keywords University admissions · Matching · Stability · Strategyproofness · Complex constraints

Cutting costs of multiple mini-interviews – changes in reliability and efficiency of the Hamburg medical school admission test between two applications

Johanna C Hissbach1, Susanne Sehner2, Sigrid Harendza3 and Wolfgang Hampe1*

BMC Med Educ. 2014 Mar 19;14:54. doi: 10.1186/1472-6920-14-54.

Cutting costs of multiple mini-interviews - changes in reliability and efficiency of the Hamburg medical schooladmission test between two applications.

출신 고등학교 유형에 따른 의과대학생의 교과목별 학업성취도

을지의과대학교 산부인과학교실, 을지의과대학교 교육개발연구센터1, 한국방송통신대학교 교육과2

박원일․전수경1․정민승2

한국의학교육 : 제 19 권 제 2 호 2007 

서 론

입학 당시 학생의 특성이 향후 학업성취도에 미치는 영향을 예측하는 것은 학생지도에 중요한 부분이다. 국내 의과대학의 신입생 선발은 최근 의학전문대학원으로의 학제 변경에 따라 많은 대학이 의학전문대학원으로 전환하고 있지만 기존의 의예과(premedical)-본과 과정을 고수하여 고등학교 졸업생을 신입생으로 선발하는 대학도 많다. 국내 고등학교는 크게 일반고와 과학고, 외국어고로 대표되는 특수목적 고등학교로 나눌 수 있다. 국내 의과대학 입학생 중 특수목적 고등학교 졸업생이 많은 부분을 차지하기에 이들이 일반고 졸업생과 비교하여 의과대학에서 학업성취도에 어떤 차이가 있는가를 분석하는 것은 상당한 의미를 가진다고 할 수 있다. 그러나 국내에서 고등학교 유형별로 출신학생의 의과대학에서의 학업성취도를 과목별로 비교한 문헌은 발표되지 않았다.

특수목적 고등학교 중 특히 과학고의 경우는 과학과목의 경우 고등학교 수준에서는 선행학습이라 할 수 있는 교육이 이루어지며 이는 의과대학 교과과정, 특히 의예과와 전임상과정 (preclinical)의 일부 교과목에 대한 선행학습이라 할 수 있다. 초, 중등교육과는 달리 의학교육에서 선행학습의 효과는 아직 미지수이다. 

미국의 경우에는 의학대학원 제도이므로 학부시절에 자연과학을 전공한 학생과 인문사회과학을 전공한 학생의 의학대학에서의 학업성취도와의 관련성에 대한 연구가 많이 발표되어 왔다 (Dickman et al., 1980, Koenig, 1992). 

또 학부시절 생화학, 유전학 등 의학대학에서 배우는 과목을 이미 이수한 경우, 이수하지 않은 학생들과 비교하여 해당과목의 성적이 어떠한지를 비교한 연구도 발표되었으며 (Canaday & Lancaster, 1985), 

의과대학 입학 전에 이수한 예비학교의 성격을 가진 과정(postbaccalaureate course)에서 역시 의과대학에서 이수할 과목에 대한 선행학습이 이루어진 학생들의 의과대학에서의 학업성취도를 확인하는 연구도 여러 편 발표되었다 (Hojat et al., 1990, Smith, 1998).

유럽과 호주의 경우에는 한국의 학제와 유사하게 고등학교 졸업 후 6년간 의과대학에 다니는 제도를 가지고 있는데, 특수목적 고등학교가 거의 없기에 고등학교에서 의과대학 이수과목에 대한 선행학습의 효과를 연구한 문헌은 없으나, 고등학교 때의 학과목 성적, 대학입학시험 성적과 의과대학에서의 학업성취도와의 관계에 대한 연구가 소수 발표되었다(Lipton et al., 1988; Frischenschlager et al., 2005).

지금까지 발표된 외국의 연구결과를 종합해보면, 1980년대 이전에는 학부에서의 선행학습과 의과대학의 학업성취도 사이에 상관관계가 있다는 보고와 상관이 없다는 보고가 혼재되어 있어 결론을 내리기 어려웠다 (Hamberg et al., 1971; Thomae-Forgues et al., 1980). 그러나 1980년 이후의 문헌에서는 학부에서의 의과대학 이수과목 선행 학습여부, 해당과목의 성적 등은 의과대학 초반에는 약간의 상관관계를 보이거나 전혀 보이지 않으며, 의과대학 후기에는 상관관계가 전혀 없다는 결론이 지배적이었다 (Canaday & Lancaster, 1985; Hojat et al., 1990; Koenig, 1992; Smith, 1998).

대상 및 방법

학업 성취도는 최종 취득 학점을 4.3만점으로 수량화하였다. 의과대학은 학년제로 운영되어 한 과목만 F학점을 받아도 유급되므로 유급생의 경우는 유급을 했던 학년의 성적을 적용하였다. 평균 점수는 평균±표준편차로 표시하였다. 통계 분석은 일반고, 과학고, 외국어고의 3군을 비교하기 위해 분산 분석(ANOVA) 검정과 다중 비교 방법인 Duncan post-hoc test를 적용하였다. 분석 이전에 K-S test로 정규 분포 여부를 확인하였으며 모든 변수는 정규분포를 이루었다.

결 과

가. 일반적 사항

나. 의예과 및 전임상 과정의 교과목별 학업성취도 비교

다. 임상과목에서 강의 및 실습의 학업성취도의 비교

라. 성별, 나이, 고등학교의 유형이 유전학, 정신과 실습의 성적에 미치는 영향

고 찰

가. 고등학교에서의 학습과 의과대학 학업성취도

외국의 경우 고등학교의 유형에 따른 학업성취도를 비교한 연구는 없지만 고등학교 성적과 의과대학에서의 성적과의 상관관계를 조사한 문헌은 몇 개가 발표되었다 (Frischenschlager et al., 2005; Lipton et al., 1988). 이에 따르면 고등학교 성적과 의과대학성적에는 관련이 깊다는 주장과 그렇지 않다는 주장이 나뉘는데 이는 각 나라의 의과대학 신입생 전형 방법, 신입생의 인종적, 학문적 다양성의 정도, 의과대학의 위상 등이 매우 상이하기 때문에 다른 결과가 나타나는 것이 당연하다고 생각된다

나. 의예과 및 전임상 과정의 교과목별 학업성취도 비교

미국의 경우 이전에는 뚜렷한 연구 결과 없이 막연히 자연과학 특히 생물학이나 화학계열을 전공한 학생이 의과대학 수업에 유리할 것이라는 추측에 근거하여 많은 의과대학이 자연과학을 전공한 신입생을 선호하였고 이런 추세는 지금도 계속되고 있다. 1968년 Korman 등은 의과대학은 학부에서 자연과학을 전공한 학생만을 선발하는 것은 바람직하지 않으며 다양한 배경의 학생을 선발할 것을 최초로 주장하였다 (Korman et al., 1968). 그 후 Gough는 의과대학 입학생의 과학 과목의 대학 시절 성적과 의과대학 입학자격시험의 성적을 의과대학 성적과 비교한 연구 결과를 발표하였다 (Gough, 1978). 예상외로 과학 과목의 성적은 의과대학 1, 2학년의 성적과는 어느 정도 상관관계를 보였으나 3, 4학년의 성적과는 아무 관련이 없었다. 또 1980년 이후의 몇몇 연구결과에 의하면 학부시절에 생화학, 해부학, 발생학, 조직학 등 의과대학의 전임상 과목과 매우 유사한 과목을 이수한 학생의 학업성취도는 이런 과목을 이수하지 않은 학생에 비해 아무런 차이가 없었다 (Canaday & Lancaster, 1985). 이에 대한 설명으로는 학생들이 실제로 자연과학 계열의 과목에 흥미나 특기가 있어서 선택을 한 것이라기보다는 의과대학에 진학하기 위하여 선택한 경우가 많고 또 의과대학에 진학한 후 자신이 학부에서 경험한 과목에 대해서는 학습을 소홀히 하기 때문이라고 주장하였다. 이러한 설명은 본 연구의 결과에도 동일하게 적용될 수 있다고 생각된다.

연구에 의하면 의과대학에서의 학업성취도에 고등학교 성적이 영향을 미치는 부분은 12~14%에 불과하였다 (Lipton et al., 1988). 의학대학원의 경우는 학부과목의 성적이 미치는 영향은 23%라는 보고도 있다 (Ferguson et al., 2002). 이는 학업성취도의 대부분은 학문적 배경보다는 의과대학에서의 학습에 따라 좌우된다는 뜻이 된다. 또 의과대학에서 한 과목의 성적이 우수한 경우 다른 과목의 성적도 우수할 확률도 별로 높지 않았다. 즉 공통적 중요사항(common core)이 의과대학의 여러 과목 사이에 별로 많지 않다는 연구 결과이다. 따라서 고등학교 시절 과학이나 영어의 능력이 의과대학의 수많은 과목의 학습에 도움을 줄 수 있는 부분이 많지 않다고 생각할 수 있다.

본 연구의 결과에서도 비교적 고등학교 졸업 직후라고 할 수 있는 의예과 1, 2학년에서 졸업한 고등학교의 유형과 과목 성적 사이에는 거의 상관관계가 없었다. 한 예로 자연과학 계열인 정보전산의 경우 차이는 매우 작지만 오히려 외국어고 졸업생이 약간 점수가 높았다. 전임상과정에서도 사회과학적 성격이 강한 예방의학의 성적이 과학고 졸업생에서 더 높았다. 그리고 의예과 및 전임상 과정의 7개 과목 중 유일하게 통계적으로 의미 있는 차이를 보인 유전학의 경우도 외국어고의 선행학습과는 전혀 관계없는 과목이라 할 수 있으며 이러한 차이는 우연한 결과로밖에는 설명할 수 없다고 생각된다. 전체적으로는 출신 고등학교에서의 이수과목 혹은 이수시간의 차이는 의과대학에서의 유사한 과목의 학업성취도와는 상관관계가 없다고 결론지을 수 있다.

국내 연구로서 본 연구 결과와 상반된 보고가 발표되었는데 이 연구에서는 의예과 과목만을 분석한 결과 의예과 1학년의 경우 과학고 학생의 성적이 일반고 보다 더 높았으며 특히 과학 분야 과목의 성적이 높았으나 예과 2학년에서는 출신 고등학교에 따른 차이는 없었다 (Kim et al., 2002). 기존 연구와 본 연구 모두 일개 의과대학의 결과이므로 학생의 입학성적, 교과과정, 평가방법 등의 차이가 다른 결과의 원인이 될 수 있을 것이다. 실제로 기존의 국내연구에는 수학, 물리, 화학, 생물 등의 과목이 포함되었으나 본교의 교과과정에는 수학은 없으며 물리학 대신 생물리학을 가르치므로 교과과정의 차이가 가장 큰 원인일 것으로 추측한다.

다. 임상과목에서 강의 및 실습의 학업성취도의 비교

연구 가설과 다른 연구 결과로는 정신과의 임상실습에서의 학업성취도가 과학고 출신에 비해 외국어고 출신 학생이 높다는 것이다. 분석한 13개 과목의 평균은 과학고와 외국어고의 차이가 전혀 없지만 (2.99 대 2.98) 통계적으로 유의한 차이가 있는 유전학과 정신과 실습 성적은 외국어고의 성적이 높았다. 이에 대한 설명은 우선 과학고출신의 대부분이 남학생이라는 점을 들 수 있다. 분석 결과 유전학의 경우는 출신학교 이외에 성별 변인도 성적에 영향을 미친 것으로 나타났으므로 이런 설명이 가능하다. 국내 의과대학의 경우 일반적으로 여학생들의 성적이 높으며 학사경고, 유급 등 성적 불량학생의 대부분이 남학생인 경우가 많다 (Ahn et al., 2000; Kim et al., 2002). 그러나 정신과 실습의 경우에는 성별과 나이는 성적과 무관하고 출신 고등학교만이 영향을 주었다. 본 연구에서 예상과 다른 가장 중요한 결과는 임상과목의 경우 외국어고 졸업생이 강의에서는 낮은 성적을 나타냈지만 같은 과목의 임상 실습에서는 높은 성취도를 보인다는 것이다. 이는 고등학교에서의 특정 학문을 많이 이수한 것은 의과대학의 학업성취도와는 무관하다는 근간의 여러 연구 결과와 대치되는 것이라고 할 수 있다.

결론적으로 고등학교에서의 특정학문 (과학, 외국어)을 보통학생보다 많이 이수했다고 해서 의과대학에 진학한 후 유사한 과목의 학업 성취도가 높아지지는 않는다. 또 의과대학 교과목 중 실제 의사의 직무와 가장 유사한 임상 실습에서는 외국어고 졸업생이 과학고 졸업생보다 오히려 우수한 학업성취도를 나타내었다. 따라서 외국어고 졸업생은 인문, 사회 계열의 대학에 진학하는 것이 바람직하다는 사회 일부의 주장은 근거가 약하다고 할 수 있다. 본 연구에서는 대상자의 수가 너무 적고, 또 일개 의과대학만을 대상으로 한 연구 결과이므로 명확한 결론을 내리기는 어렵다. 향후 많은 수의 특목고 졸업생을 포함한 유사한 연구를 진행할 필요가 있다고 생각된다.

지원동기가 의과대학 적응에 미치는 영향

성균관대학교 의과대학 의학교육실

김지영․손희정․김태진․최윤호․김호중․기창원․김주희․홍경표

한국의학교육 : 제 16 권 제 2 호 2004 

서 론

특정 직업이나 전공분야에 대한 선호는 인적자원의 배분에 영향을 미치는 사회적인 현상이다. 그렇기 때문에, 지금까지 우리나라에서 이루어진 의과대학 지원동기에 대한 여러 연구들은 주로 시대에 따라 의과대학 지원동기의 양상이 어떻게 나타나며 변화하는지에 초점을 맞추어 왔다.

우리나라에서 이루어진 의과대학 지원동기에 대한 체계적인 연구의 효시로는, 이근태 등 (1985)이 1983년 전국 의대생들을 대상으로 수행한 조사연구를 들 수 있다. 이후, 특정 지역 (강복수 등, 1994)이나 특정 대학 (유희정 등, 1998)의 의대생들을 대상으로 한 조사연구가 주로 수행되었으며, 1997년에는 다시 전국 규모의 조사연구 (박정한 등, 1999)가 수행되었다. 최근에는 졸업 후의 진로선택에 영향을 미치는 요인의 하나로 의과대학 지원동기를 조사한 연구들이 수행되었다 (권성준, 2001; 김형준 등, 2003). 

이러한 연구들은 주로 의과대학 지원동기를 인술, 사회적 지위, 수입 등 몇 가지 항목으로 제시하고 학생들에게 가장 주요한 동기를 선택하게 하는 형태로 이루어졌다. 이 연구들의 결과들을 살펴보면, 시대가 지날수록 본인의 의지로 의과대학을 선택하는 비율이 늘어나고, 이와 함께 경제적 요인에 의해 의대를 선택하는 비율 또한 증가하는 경향이 나타났다 (박정한 등, 1999).

2000년대에 들어와서는 우리나라 의과대학생들의 지원동기의 일반적인 경향을 알 수 있는 전국규모의 연구는 이루어지지 않았다. 그러나 우리나라의 경제불황과 청년실업의 증가현상을 고려해볼 때, 수입이나 사회적인 안정을 위해 진학하는 학생이 늘어나는 현상은 더욱 심화되었을 것이라고 추정할 수 있다.

본 연구에서는 지원동기를 Marcia의 자아정체감수준 이론에 근거하여 유형화함으로써, 이러한 문제점을 보완하고자 한다. 자아정체감이란 자신이 누구이고, 무엇을 할 수 있으며, 어떻게 살아가야 하는지를 알려주는 심리적인 상태이다 (박아청, 1984). 자아정체감의 개념을 처음으로 주창한 Erikson (1963)은 자아정체감을 ‘자신의 자아가 연속성과 동일성을 갖는 것으로 경험하고, 또한 그렇게 행동하도록 하는 능력’이라고 규정하였다.

대상 및 방법

나. 조사방법

2004년 3월 16일부터 4월 3일까지 3주에 걸쳐, 51명 학생 전원을 대상으로 개별면접을 실시하였다. 면접은 연구자 2인이 학생을 분담하여, 연구자와 학생이 일대일로 대화하면서 축어록을 작성하는 형태로 이루어졌다. 면접은 사전에 제작된 면접지를 활용하여 이루어졌고, 개인배경변인과 지원동기, 학교생활에 대한 만족도, 학생이 지각한 학업 및 생활상의 어려움, 남은 대학생활에 대한 기대와 걱정 등을 중심으로 이루어졌다

결 과

가. 지원동기 분석

축어록 분석과정을 통해, 우발적 (偶發的) 선택, 사회적 안정, 도전의식, 가족의 강권 (强勸), 소명의식, 모델링, 학문탐구 등 7가지 지원동기가 확인되었다. 각각의 정의와 전형적인 반응은 다음과 같다.

나. 지원동기 유형 분류

이 일곱 가지 지원동기를 Marcia (1966, 1980)의 자아정체감수준이론에 근거하여, 네 가지 유형으로 구분하였다 (Table Ⅱ). 지금까지 Marcia의 이론에 기초한 면접지나 질문지는 대개 일반적인 미국 대학생을 대상으로 개발되었기 때문에, 대학생 시기의 주요한 발달과업인 직업탐색에 초점을 맞추고 있으며, 미국적 상황을 반영하는 가치관과 종교적 신념과 관련된 내용이 포괄되어 있다. 그렇기 때문에 이를 다른 문화권이나 다른 집단에 적용하는 것이 적절한지에 대한 의문이 제기되어 왔다 (김정규, 1983;박아청, 1994).

학생특성에 의한 지원동기 유형의 차이에 대한 Fisher의 정확검정을 실시한 결과, 성차만 유의미하게 나타났고, 고등학교 계열과 입학전형 형태에 따른 차이는 나타나지 않았다 (Table Ⅲ).

다. 적응도 분류

적응도 수준은 적응의 의미에서 도출된 다음과 같은 세 가지 준거에 기초하여 분류되었다. 

첫 번째 준거는 스스로 지각하는 적응상의 문제가 있는가 하는 것이다. ‘지난 2년간 학교생활을 해본 소감이 어떤가?’하는 질문에 대해, ‘잘 지낸 편은 아니죠.’ 또는 ‘뭐하고 살았나 싶어요.’ 등 자신이 생각해도 문제가 있다고 표현하는 경우에는 적응상의 문제가 있는 것으로 분류되었다. 

두 번째 준거는 이러한 문제로 인하여 심리적인 고통을 겪고 있는가 하는 것이다. ‘학교생활하면서 특별히 힘들거나 어려웠던 점은 없었는가?’하는 질문에 대해, ‘사실 힘들어요.’ 또는 ‘계속 이렇게 살아야 한다고 생각하면 우울해요.’ 등으로 심리적인 어려움을 겪고 있다고 표현한 경우에는 심리적인 고통이 있는 것으로 분류했다.

세 번째 준거는 의과대학 생활에 대한 만족감과 기대를 표명하고 있는가 하는 것이다. ‘의과대학 생활에 대해 어떻게 생각하는가?’ 하는 질문에 대해, ‘우리학교 학생들은 정말 많은 기회를 가지고 있다고 생각해요.’ 또는 ‘앞으로 경험할 일들을 생각하면 무척 설렙니다.’ 등으로 현재 생활에 대한 만족과 미래 생활에 대한 기대를 표명하는 경우에는 만족감과 기대가 있는 것으로 분류했다.

라. 지원동기와 적응도의 관계

지원동기 유형에 따른 적응문제 유형의 분포를 살펴본 결과, 타율형에서는 문제가 나타난 4명의 학생 중 3명이 학업부적응을 나타냈고, 목표혼란형에서는 문제가 나타난 13명의 학생 중 8명이 학업부적응을 나타냈다 (Fig. 2).

마. 지원동기와 학업성취도의 관계

지원동기가 학업성취도에 미치는 영향을 확인하기 위해, 지원동기 유형에 따라 직전학년에 이수한 생명과학입문 과목 성적의 평균에 차이가 나타나는지를 살펴보았다.

고 찰

본 연구는 의과대학 학생들의 지원동기를 확인하고, 지원동기가 학업성취도를 포함한 의과대학 적응도에 미치는 영향을 탐색하기 위한 것이다. 축어록분석을 통해 확인된 7가지 지원동기는 Marcia의 자아정체감 수준이론에 근거하여 4가지 유형으로 구분되었다. 적응도는 문제의 유무와 심각도에 따라 4가지 수준으로 구분되었고, 적응상의 문제는 학업부적응과 사회적 부적응으로 분류되었다.

본 연구의 결과를 통해 얻을 수 있는 의과대학 교육을 위한 시사점은 다음과 같다.

첫째는 의과대학 학생선발 정책의 변화가 필요하다는 점이다. 그동안 의과대학 학생선발 정책은 고등학교 시절의 학업성취도가 우수한 학생들을 확보하는데 초점이 맞추어져 왔다. 그러다 보니, 의과대학에서 제공하는 입시정보들은 장학제도나 학교시설, 졸업 후의 진로보장 등 홍보성 내용에 집중되어, 의학분야에 필요한 자질과 의사가 되기 위한 학습과정에 대한 정보는 얻기 힘들었다.

이와 관련하여 생각해보아야 할 점이 입시제도의 변화가 학생들의 지원동기의 양상에 미치는 영향이다. 우리나라의 대학입시제도가 변화함에 따라, 의과대학 입시제도도 많은 변화를 겪어왔다. 교차지원 제도와 수시입학전형 등 6년제 의과대학의 틀 안에서의 변화가 이미 시작되었고, 의학전문대학원제도라는 전혀 새로운 의과대학 입시제도가 도입될 예정이다. 이러한 입시제도의 변화에 의해 의과대학 지원자들의 특성 또한 변화하게 될 것이다. 이러한 변화를 예측하고, 이에 대응하기 위한 보다 심도 깊은 논의가 진행되어야 한다.

둘째는 의과대학생을 위한 진로교육이 본격화되어야 한다는 것이다. 지금도 많은 의과대학생들이 자신의 선택이 잘못되지 않았는지 고민하고 있다. 이들 중 소수는 졸업 전에 의과대학을 떠나 다른 길을 선택하지만, 많은 경우는 주변의 기대나 새로운 진로개척에 대한 두려움 때문에 의과대학에 남아방황을 계속한다.

본 연구의 결과를 통해, 의과대학 생활을 통해 얻고자 하는 바가 명확한 경우, 즉 목표지향형과 성취지향형에서는 자아정체감의 혼란이나 이로 인한 적응상의 문제가 발생하지 않음을 알 수 있다. 목표지향형과 성취지향형 학생들의 경우, 학습에 대해서도 충분히 동기화되어 있고, 의과대학 생활에 대한 기대도 강하다. 반면에, 타율형과 목표혼란형 학생들의 경우에는 의과대학 생활을 통해 얻고자 하는 것이 불명확하기 때문에, 학습동기도 약하고 의과대학 생활에 대한 기대도 표명하지 않는다.

의학전문대학원 신입생 선발에서의 Multiple Mini-Interview

강원대학교 의학전문대학원 1외과학교실, 2약리학교실, 3가정의학교실, 4해부학교실, 5미생물학교실, 6내과학교실, 7진료능력개발센터

노혜린1,7, 이희제2, 박승배1, 양정희3,7, 김대중4, 김상현5, 이승준6, 채기봉1

서론

좋은 학생을 선발하는 것이 좋은 의사를 선발하는 시작이기에 의학전문대학원의 선발면접은 매우 중요하다[1].

의학과 학생 선발면접에서는 불명예스러운 전문인이 될 가능성이 있는 사람을 걸러내는 작용도 크다[2]. 이를 통해 대학은 사회에 대한 공정성의 책임을 다하게 된다[3]. 선발면접은 의사가 되기를 원하는 다양한 그룹의 응시자에게도 모두 공정한 평가의 기회를 제공해야 한다[3].

우리나라에서 주로 사용하는 의학과 학생 선발면접 형태는 다수의 면접관이 한 명 또는 다수의 응시자를 10분 내외의 짧은 시간 동안 구술 면접하는 방식이다.

이러한 면접 형태는 평가의 신뢰도를 확보하기 어렵다는 것이 단점이다. 

• 평가가 짧은 시간에 이루어지며 면접관이 사전에 충분히 면접 문항을 볼 시간이 부족하기 때문이다. 
• 면접관은 면접문항의 평가목적을 제대로 파악하지 못하고 면접을 시작할 수도 있다. 
• 또한 명확한 채점 기준이 없어 같은 응시자에 대한 점수가 면접관마다 다를 수 있다. 
• 면접관이 질문하는 형태에 따라 질문의 의미가 달라질 수도 있다. 
• 응시자마다 면접관이 달라지거나 평가문항이 달라져 형평성이 문제될 수 있다. 

따라서 이러한 면접에서는 면접관 간의 점수 차이를 줄이기 어렵고 평가의 신뢰도, 더 나아가 면접의 필요성까지 의심받게 된다. 

면접 평가의 주된 오차 요인 중 하나는 면접관에서 나온다. 

특히 면접의 결과가 선발, 배치의 기능 등 중요한 교육적 의사결정에 사용될 경우 평가자와 관련된 신뢰도는 반드시 고려해야 할 대상이 된다[4].

최근 객관구조화진료시험과 비슷한 형태로 진행되는 면접시험인 Multiple Mini-Interview (MMI)가 개발되었다[5]. 객관구조화진료시험에서 학생들은 주어진 시간 내에 여러 개의 시험방을 차례로 돌면서 부여된 진료 과제를 수행하게 된다[6]. MMI 역시 여러 개의 면접방을 차례로 돌면서 면접관과 함께 부여된 과제에 대해 면접하게 된다[7,8]. Eva et al.[5]은 MMI를 통해 0.65의 신뢰도를 확보할 수 있었다고 보고하였다.

대상 및 방법

1. 대상

2. 면접방과 면접관 배치

본교 입학전형회의에서 정한 가장 중요한 원칙은 기밀 유지였다. 이 원칙에 따라 모든 면접을 하루 내에 끝낼 것, 사례개발교수와 면접문항개발위원이 중심이 되어 기밀을 유지하며 사례를 개발할 것, 기밀 유지를 철저히 하기 위해 사례의 영역 선정이나 보완 등을 위한 자문패널 동원은 피할 것, 면접교수와 면접사례는 면접 전날 결정할 것, 실험적 연구는 면접 전날 저녁에 시행할 것, 모든 면접관은 교수로 할 것, 표준화환자는 활용하지 말 것 등의 세부 원칙을 결정하였다.

3. 평가 영역과 주제 선정

4. 사례 및 채점표 개발

의학적 상황에 익숙하지 않은 학생들을 고려하여, 쉬운 의학적 상황이나 비의학적 상황으로 제시하였다. 미리 준비된 답변보다는 본인이 가지고 있는 본연의 생각과 모습이 드러날 수 있도록 사례와 질문을 구성하였다. 암기된 전문지식을 회상하여 답하기 보다는 활성 지식을 논리적 사고를 바탕으로 이끌어내는 데 주력하였다. 남녀의 차이, 나이, 전공에 따라 더 유리하거나 불리하지 않도록 상황을 만들었다.

이와 함께 면접관들이 추가로 질문할 구조화된 탐색 질문을 사례별로 개발하였다. 핵심 질문이 상황에 대한 질문(situational question)인데 비해, 탐색 질문에는 구체적인 자신의 경험에서의 성과를 묻는 질문(accomplishment question)을 위주로 작성하였다[9].

5. 면접 진행방법

6. 면접 훈련

7. 실험적 연구

각 영역에 개발된 사례들 중 각각 1개씩이 면접 전날 선택되었다. 이 사례들로 면접 전날 실험적 연구(pilot study)를 거쳤다. 2007년 당시 자원한 2학년 학생 8명을 대상으로 하였다.

8. 자료처리 및 분석

신뢰도는 McMaster 대학에서 개발한 urGENOVA의 Windows 프로그램인 g string 4.1.0 (http://www.mcmaster.ca/perd/download)을 이용하여 일반화가능도계수로 구하였다. 오차 요인은 면접방(Station, S), 면접관(Rater, R), 채점항목의 종류(이분법적 채점 또는 총괄채점)(Group, G), 문항(Item, I) 등 4가지로 하였다.

결과

1. 전체 및 영역별 점수

2. 입학전형에 활용된 다른 성적과의 상관관계

3. 면접 영역 간의 상관관계 

면접 총점은 모든 면접 영역의 점수와 보통 수준의 상관관계(0.6~0.7)를 보였다.

4. MMI의 신뢰도

MMI의 신뢰도(Generalizability coefficient)는 0.791이었다. 면접관, 면접관과 문항간의 상호작용, 면접관과 응시자, 그리고 문항형태와의 상호작용 등의 분산성분은 0.0000이었다.

5. 학생들의 반응

1) 5점 척도 설문 결과

학생들은 MMI 형태의 시험에 만족한다(4.21±0.69)고 답하였다. 학생들은 이러한 평가방식이 약간 낯설었으며(3.35±1.03), 다른 면접에 비해 약간 더 긴장하였다(3.35±1.03)고 하였다.

2) 서술식 답변

6. 면접관들의 반응

1) MMI에 대한 면접관들의 5점 척도 설문 결과

면접관들은 면접시간은 적절하였으며(4.50±0.52), 사례는 응시자 수준에 적절하였다(4.14±0.66)고 답하였다.

2) MMI에 대한 면접관들의 서술식 답변

고찰

면접은 면접관과 응시자가 서로 대화를 통해서 얻고자 하는 자료나 정보를 수집하여 평가하는 방법이다[4]. 따라서 면접에 의한 평가는 면접관의 선입견이나, 응시자의 특성과 의사소통능력 등에 의해 좌우될 수 있다[5,10]. 주관적 판단에 의하지 않은, 신뢰 있는 평가가 되기 위해서는 별도의 노력이 필요하다. 모든 응시자에게 표준화된, 똑같은 질문을 하고, 질문에 대한 견본 답변을 제공하며, 면접관을 훈련하고, 다수의 면접관을 사용하는 구조화 면접이 신뢰도를 향상시킨다고 여러 연구에서 보고하고 있다[8,10,11].

MMI는 모든 응시자에게 표준화된, 똑같은 사례를 주고 질문에 대한 견본 답변을 제공하며, 다수의 면접관을 사용하는 구조화 면접의 일종이다. MMI는 기존의 구조화 면접에서 더 나아가 짧은 시간 다수의 사례를 사용함으로써 신뢰도를 더 높인 것이다.

Calgary 의과대학의 경우 9개의 8분짜리 면접방에서 MMI를 시행하였으며, 5개의 평가문항에서 10점 척도로 평가하였다[12]. 일반화가능도 이론에 의한 연구결과, 1개의 면접방에 12명의 면접관이 한꺼번에 들어가는 경우, 신뢰도는 0.55에 그치지만, 12개의 면접방에 각각 1인의 면접관이 들어가는 경우 신뢰도는 0.85였다. 사례를 많이 사용하고 각 사례당 채점자 수를 제한하는 것이 사례를 적게 하고 채점자를 많이 동원하는 것보다 신뢰도가 좋다는 것이다. Eva et al.[5]은 신뢰도를 높이기 위해 사례가 다른 면접방의 수를 늘릴 것을 제안하였다.

MMI의 장점은 응시자의 능력을 다각도에서 평가할 수 있으며, 응시자가 한 방에서 면접관에게 실수를 하였더라도 다른 방에서 만회할 기회가 있다는 것 등이다[5]. 그 외에도 응시자가 면접 받는 시간이 증가한다는 것, 그에 비해 면접관이 면접하는 시간의 증가는 없다는 것, 면접관이 다른 면접관의 영향을 받지 않고 독립적이고 주도적인 평가가 가능하다는 것, 이를 통해 면접관 또한 시간의 부담을 줄이면서도, 신뢰 있고 공정한 평가가 가능해진다는 것 등이 MMI의 장점이다.

중요한 당락이 결정되는 평가의 경우 0.90 이상의 신뢰도가 필요하다[13]. 

나이, 인종 등의 응시자의 특성이 면접 당락에 영향을 미칠 수 있다고 보고되고 있다[14]. 본 연구결과, MMI의 전체 점수는 나이, 전공, 거주지 등에 따른 차이를 보이지 않았다.

MMI 총점은 여자 응시자에서 약간 더 높았다

MMI 점수는 학사과정성적, 공인영어성적, 의학교육입문검사점수와 상관관계가 없었다. 이 결과는 MMI가 성적에 의한 후광효과를 배제하는 데 일조하였음을 알려준다. 응시자의 성적을 면접관에게 공개한 경우 면접관들이 인성 영역 평가에 영향을 받았다고 보고되고 있다[14,15]. 공정한 평가를 위해 면접관에게는 응시자에 대한 어떠한 정보도 주어서는 안 된다[12].

면접의 신뢰도가 높기 위해서는, 채점기준에 표준화된 일관성 있는 면접관의 채점이 필요하다. 기존 연구에서 구조화 면접의 경우 면접관의 일치도가 높다고 보고되고 있다[1,10,11].

면접에서의 평가자들이 자신의 평가에 확신을 갖기가 쉽지 않다. 연구에 따르면 평가에 대한 주관적 확신은 전체 면접시간에 비례하였다[10]. 평가자는 30분 이하의 면접에서는 평가 결과에 확신을 갖지 못하였다. Pendleton & Wakeford[10]는 면접에 최소한 1시간은 필요하다고 하였으며 1시간을 여러 명 이상의 평가자가나누어 써도 된다고 하였다.

외국 사례에서는 교수나 의사, 보건의료종사자, 지역사회인사, 학생 등 다양한 배경의 면접관을 활용하여 면접을 시행하고 있다[7,11].

그동안 면접의 중요성에 비해 면접의 필요성에 대한 믿음은 뚜렷하지 않았다[17]. 기존 연구에서는 면접 점수가 다른 입학전형 영역의 점수와 낮거나 보통의 상관관계를 보였다[5]. 본 연구결과에서 MMI 점수와 학사과정성적, 공인영어성적, 의학교육입문검사점수와 상관관계가 없었는데, 이는 MMI가 면접 이외의 영역에서는 평가하지 못하는 영역을 평가하고 있음을 의미한다.

면접에서는 의학전문대학원에서 가르쳐질 수 없는 영역을 평가해야한다는 인식이 많다[15]. 

• Bullimore[18]는 정직성 등의 인적 특성은 18세까지 형성되므로, 의학전문대학원 선발면접에서 중요하게 평가해야한다고 하였다.
• Lowe et al.[19]은 윤리적 지식이나 도덕적 추론, 윤리적 주제에 대한 신념 등은 의학전문대학원 교육과정을 통해 얼마든지 배울 수 있는 것들이므로, 굳이 평가할 필요는 없다고 하였다. 반면, 윤리적 이슈에 대한 태도나 윤리적 민감성은 타고난 것이며, 잘 변하지 않기에 타당성 있는 검사를 통해 평가되는 것이 바람직하다고 하였다.

본 MMI에서는 의사소통 영역을 평가하기 위해 앞에 가상의 인물이 있다고 가정하고 이야기해보도록 하였다. 외국 사례에서는 의사소통 영역을 평가하기 위해 표준화환자를 사용하기도 한다[5].

MMI에 대한 응시자들의 반응은 매우 긍정적이었다. 특히 이들은 면접 진행이나 면접 과정에서의 진행요원과 면접관의, 친절하고 응시자를 존중하는 태도를 보고 긴장감이 누그러졌으며, 학교에 대한 호감도 가지게 되었다고 하였다.

Reiter et al.[20]은 MMI를 시행하기 2주 전에 MMI에 대한 정보를 접한 응시자와 그렇지 않은 응시자 간에 평가 결과의 차이가 없었다며, 사례가 미리 공개되어도 평가에는 영향을 주지 않았다고 결론지었다. 이러한 연구 결과가 우리나라에서도 일반화될 수 있을지에 대해서는 의문의 여지가 있다.

Multiple Mini-Interview in Selecting Medical Students

HyeRin Roh,1,7 Hee Jae Lee,2 Sung Bae Park,1 Jeong Hee Yang,3,7 Dae-Joong Kim,4 Sang Hyun Kim,5Seung-Joon Lee,6 and Gibong Chae1

1Department of Surgery, School of Medicine, Kangwon National University, Chuncheon, Korea.

2Department of Pharmacology, School of Medicine, Kangwon National University, Chuncheon, Korea.

3Department of Family Medicine, School of Medicine, Kangwon National University, Chuncheon, Korea.

4Department of Anatomy, School of Medicine, Kangwon National University, Chuncheon, Korea.

5Department of Microbiology, School of Medicine, Kangwon National University, Chuncheon, Korea.

6Department of Internal Medicine, School of Medicine, Kangwon National University, Chuncheon, Korea.

7Clinical Performance Center, School of Medicine, Kangwon National University, Chuncheon, Korea.

Corresponding Author: HyeRin Roh, Gibong Chae. Department of Surgery, Kangwon National University Hospital 17-1 Hyoja-3-dong, Chuncheon 200-701, Korea. TEL) 033-258-2306, CELL) 011-372-3621, FAX) 033-258-2169, Email: hyerinr@kangwon.ac.kr

보건의료전문직 선발시 평가방법 : 오타와 2010컨퍼런스에서의 컨센서스와 제언

Assessment for selection for the health care professions and specialty training: Consensus statement and recommendations from the Ottawa 2010 Conference

DAVID PRIDEAUX1, CHRIS ROBERTS2, KEVIN EVA3, ANGEL CENTENO4, PETER MCCRORIE5,

CHRIS MCMANUS6, FIONA PATTERSON7, DAVID POWIS8, ARA TEKIAN9 & DAVID WILKINSON10

의학 및 보건의료 전문직에 있어 선발을 위한 평가는 선발 후 교육과정에서 이루어지는 평과와 동일한 수준의 질이 확보되어야 한다. 선발에 대한 논문들은 확고한 이론이나 개념에 의해 뒷받침되지 못하고 제한적이다. 

우선 필기시험에 대해서는, MCAT이 의과대학과 면허시험에서의 수행능력에 대해 예측타당도를 갖는다는 근거들이 있다.

GPA의 예측타당도에 대한 근거도 있는데, 특히 MCAT과 결합해서 사용했을 때 예측타당도가 높다는 것이 (북미 North America의) 의학전문대학원(graduate entry) 체제에서 많은 연구가 되어 있다. 반면 호주/영국 등에서의 졸업시학점(school leaver score)의 예측타당도에 대한 근거는 적다.

여러 연구에서 MMI가 좋은 예측타당도와 신뢰도를 갖는다는 결과가 보고되어 있다. 선발에 사용되는 여러 방법들 중 인성(personality)시험에 대해서만이 관심이 높아지고 있으며, 미래에도 많은 연구가 될 것으로 생각된다. 

의과대학과 보건의료직에 대한 문호를 넓히는(widening access) 문제는 보건의료전문직의 사회적 책무성 문제와 연관되어 점차 관심이 높아지고 있다. 전통적인 선발 방식은 많은 인구집단을 배제하게 되는 특징이 있는데, 그렇다고 해서 새로이 등장하는 비전통적인 방법이 여러 집단에게 '문호를 넓힌다'는 근거가 있는 것도 아니다. 사전준비(preperation)프로그램과 지역사회지원(outreach)프로그램 정도가 효과가 있을 것으로 기대된다.

요약하자면 선발시 평가에 대한 지금까지의 컨센서스 영역은 넓지 않다. 좋은 평가원칙을 적용하여 교과과정과 잘 맞는 방법을 적용하고, 다양한 방식을 활용한 프로그램적 접근법(programmatic approach)를 사용하며, 다학문적 관점에서 정교한 측정모델을 활용해야 한다. 사회적 책무성을 다하기 위해서는 다양한 계층을 포용하여 노동력(배치) 문제, 문호를 넓히는 문제 등이 선발 원칙에 적용되어야 할 것이다.

여타 High-stake assessment에 적용되는 것과 동일한 기전이 작동해야 함.

By conceptualising selection as ‘assessment for selection’, the well-developed quality assurance mechanisms associated with high-stakes assessment can be applied to the selection process. These include:

선발에 대한 확실한 청사진.

Psychometric연구의 근거, 이론적 배경

선발, 교육과정, 평가의 일치성

확고한 기준, 의사결정 과정

선발의 영향력에 초점

. proceeding from a clear blueprint of the content for selection;

. using evidence from psychometric studies and a theory base to inform the selection process;

. developing congruity between selection, curriculum and assessment;

. using clear standard-setting and decision-making procedures; 

. providing a focus on the impact of selection (a variant of the adage that assessment drives learning).

The current position: Written tests

MCAT이 완벽한 예측인자는 아니며, 근면성, 동기부여, 의사소통 능력 등의 변수가 있다.

The study concluded that MCAT was not a perfect predictor and other variables such as ‘diligence’, ‘motivation’ and ‘communication skills’ need further investigation.

MCAT과 GPA는 의과대학에서의 성공과 상관관계가 있긴 하나, 고위험군(at risk)학생들에 대해서는 잘 예측하지 못한다.

MCAT and prior GPA scores were correlated with success in medical schools but did not have sufficient ability to define or differentiate the success or failure of students considered ‘at risk’.

The current position: Achievement ratings

과학과목 GPA가 비과학과복 GPA에 비해서 더 유용하다는 근거는 없다. 

Didier등은 기관 간 GPA를 맞추는 방법을 보고했다.

There is no clear evidence about the relative merits of GPA in science compared to non-science subjects. Didier et al. (2006) reported on a method to adjust GPA to equate for differences between institutions

McManus 는 영국 학교에서 A레벨성적이 의과대학에서 과 선택에서 예측인자였지만, 일반지능은 그렇지 않았다.

McManus et al. (2003) found that A level grades for UK schools were predictive of medical career choice but the results of a general intelligence test were not.

The current position: Interviews

많이 사용되긴 하나, psychometric 특징을 정의한 연구는 없다. 

Despite its ubiquity, there are very few studies defining its psychometric properties. Those that do exist do not indicate that the interview is a robust selection measure.

일반적인 면접의 신뢰도를 뒷받침해주는 근거가 불충분하다.

They concluded that there was not sufficient evidence to establish the reliability of interviews

면접 형태에 따라 면접관 간 차이가 크다.

In their review of the assessment of personal qualities for selection for medicine, Albanese et al. (2003) reached a similar conclusion. They described the results of reliability and validity studies as ‘equivocal’. Furthermore, they indicated a high degree of variability amongst interview formats, particularly the characteristics that they purport to measure

Stansfield와 Kreiter는 면접의 신뢰도를 높이는 방법으로 5점 스케일 대신 3점 스케일을 사용하는 것이 낫다고 주장한다.

Stansfield and Kreiter (2007) have indicated at least one way to improve reliability. In their study in one medical school, they found higher reliability for ratings at the high or low ends of a rating scale rather than middle levels. As a result, they argue that a three-point ranking scale may be as useful as the commonly used five-point scale.

The current position: MMIs

OSCE와 마찬가지로 MMI는 시험-재시험 신뢰도의 문제와 한 상황에서 적용할 수 있는 특징을 다른 상황에서 적용하지 못하는 상황특수성(context specificity)을 극복해냈다. 시험-재시험 신뢰도는 평가자간 신뢰도보다 더 나은 지표이다.

Eva et al. (2004a) indicate that, like the OSCE, the MMI overcomes the problem of poor test– retest reliability and context specificity where the measurement of an attribute in one context does not necessarily transfer to another. Test–retest reliability provides a better indication of the quality of a test than inter-rater reliability because it focuses on the overall test not just a component of its operation.

MMI가 예측타당도와 신뢰도가 높다는 것은 많은 연구에서 발혀진 바 있다.

Good predictive validity and reliability of the MMI have been established in studies by Eva et al. (2004a, b, 2009), LeMay (2007), Reiter et al. (2007) and Roberts et al. (2009). Eva et al. (2009)

MMI의 다른 특징으로는 '스테이션의 수를 늘리는 것이 면접관의 수를 늘리는 것보다 더 효과있다' 라는 것, '8~5분정도 면접시간을 줄이는 것은 신뢰도에 별로 영향을 주지 않는다'는 것, '보안이 뚫려도 MMI의 결과에는 영향을 받지 않는다는 것' 등이 있다. 

Kumar등은 어떻게 면접관이 결론에 도달하는지, 그리고 어떤 편견에 빠지기 쉬운지에 대한 이론적 근거를 제시했다. 

또한 면접관과 응시자의 지원(interviewer and candidate support)에 대한 근거도 있으며 MMI가 공간은 더 많이 필요하지만 준비시간은 더 적다는 연구도 있다.

Further studies have demonstrated other attributes of the MMI. The Eva et al. (2004a) study demonstrated that increasing the number of stations had a greater impact on reliability than increasing interviewers. Dodson et al. (2009) demonstrated that reducing station length from 8–5 min had little impact on reliability and it has also been shown the results of MMI appear not to be affected by security violations (Reiter et al. 2006). Kumar et al. (2009) have provided some theoretical insights into how judges arrive at their decisions and the biases to which they are subject. There is also evidence for both interviewer and candidate support of the process (Kumar et al. 2009; Razack et al. 2009) and that, while the MMI may require more physical space, it requires fewer planning hours (Rosenfeld et al. 2008).

The current position: Other measures

자기소개서, 추천서 등이 있지만 신뢰도가 높거나 예측타당도가 높다는 근거가 있는 것들은 없다.

Other measures used in the selection process include personal statements, autobiographical statements or letters of recommendation. However, there is no evidence that they are necessarily reliable or have predictive validity. In the Albanese et al’s (2003) review of personal qualities in selection, no research papers could be located on such measures nor could any evidence be found that they measured anything different from interviews

인성 검사에 대한 관심도 높아지고 있다. Price 등이 제시한 성공적인 의사의 87가지 특징이 있고, Big Five라 불리는 특징(openness, conscientiousness, extrovertness, agreeableness and neuroticism)이 있지만 실제 사용된 시도는 거의 없다.

There is also growing interest in the application of personality testing used in business or commerce careers for selection. Albanese et al.’s (2003) review points to one of the difficulties with this approach. They point to Price et al.’s (1971) study indicating 87 qualities of successful doctors. There is great variability in the qualities currently assessed through interviews, MMIs and other non-cognitive measures. The psychology literature has shown some acceptance of the ‘big five’ personality characteristics: openness, conscientiousness, extrovertness, agreeableness and neuroticism but there have been few attempts to apply this to selection for the medical and health professions.

Assessment for selection for the health care professions and specialty training: consensus statement andrecommendations from the Ottawa 2010 Conference.

Assessment for selection in medicine and the health professions should follow the same quality assurance processes as in-course assessment. The literature on selection is limited and is not strongly theoretical or conceptual. For written testing, there is evidence of the predictive validity of Medical College Admission Test (MCAT) for medical school and licensing examination performance. There is also evidence for the predictive validity of grade point average, particularly in combination with MCAT for graduate entry but little evidence about the predictive validity of school leaver scores. Interviews have not been shown to be robust selection measures. Studies of multiple mini-interviews have indicated good predictive validity and reliability. Of other measures used in selection, only the growing interest in personality testing appears to warrant future work. Widening access to medical and health professional programmes is an increasing priority and relates to the social accountability mandate of medical and healthprofessional schools. While traditional selection measures do discriminate against various population groups, there is little evidence on the effect of non-traditional measures in widening access. Preparation and outreach programmes show most promise. In summary, the areas of consensus forassessment for selection are small in number. Recommendations for future action focus on the adoption of principles of good assessment and curriculum alignment, use of multi-method programmatic approaches, development of interdisciplinary frameworks and utilisation of sophisticated measurement models. The social accountability mandate of medical and health professional schools demands that social inclusion, workforce issues and widening of access are embedded in the principles of good assessment for selection.

보건의료전문직 선발시 평가방법 : 오타와 2010컨퍼런스에서의 컨센서스와 제언

Assessment for selection for the health care professions and specialty training: Consensus statement and recommendations from the Ottawa 2010 Conference

DAVID PRIDEAUX1, CHRIS ROBERTS2, KEVIN EVA3, ANGEL CENTENO4, PETER MCCRORIE5,

CHRIS MCMANUS6, FIONA PATTERSON7, DAVID POWIS8, ARA TEKIAN9 & DAVID WILKINSON10

의학 및 보건의료 전문직에 있어 선발을 위한 평가는 선발 후 교육과정에서 이루어지는 평과와 동일한 수준의 질이 확보되어야 한다. 선발에 대한 논문들은 확고한 이론이나 개념에 의해 뒷받침되지 못하고 제한적이다. 

우선 필기시험에 대해서는, MCAT이 의과대학과 면허시험에서의 수행능력에 대해 예측타당도를 갖는다는 근거들이 있다.

GPA의 예측타당도에 대한 근거도 있는데, 특히 MCAT과 결합해서 사용했을 때 예측타당도가 높다는 것이 (북미 North America의) 의학전문대학원(graduate entry) 체제에서 많은 연구가 되어 있다. 반면 호주/영국 등에서의 졸업시학점(school leaver score)의 예측타당도에 대한 근거는 적다.

여러 연구에서 MMI가 좋은 예측타당도와 신뢰도를 갖는다는 결과가 보고되어 있다. 선발에 사용되는 여러 방법들 중 인성(personality)시험에 대해서만이 관심이 높아지고 있으며, 미래에도 많은 연구가 될 것으로 생각된다. 

의과대학과 보건의료직에 대한 문호를 넓히는(widening access) 문제는 보건의료전문직의 사회적 책무성 문제와 연관되어 점차 관심이 높아지고 있다. 전통적인 선발 방식은 많은 인구집단을 배제하게 되는 특징이 있는데, 그렇다고 해서 새로이 등장하는 비전통적인 방법이 여러 집단에게 '문호를 넓힌다'는 근거가 있는 것도 아니다. 사전준비(preperation)프로그램과 지역사회지원(outreach)프로그램 정도가 효과가 있을 것으로 기대된다.

요약하자면 선발시 평가에 대한 지금까지의 컨센서스 영역은 넓지 않다. 좋은 평가원칙을 적용하여 교과과정과 잘 맞는 방법을 적용하고, 다양한 방식을 활용한 프로그램적 접근법(programmatic approach)를 사용하며, 다학문적 관점에서 정교한 측정모델을 활용해야 한다. 사회적 책무성을 다하기 위해서는 다양한 계층을 포용하여 노동력(배치) 문제, 문호를 넓히는 문제 등이 선발 원칙에 적용되어야 할 것이다.

The current situation: Widening access

지방 출신 학생들이 더 지방에서 자리를 잡는다는 것은 잘 알려져 있다.

It is acknowledged that rural students are more likely to practise in rural locations after graduation. A common approach has been to institute quotas for such groups

Consensus and conclusion

Regehr가 제시한 programmatic research로 돌아가볼 필요가 있다. van der Wleuten과 Schuwirth는 'programmatic assessment'를 이야기한다.

It may be useful to take a step backwards from the pursuit of unifying theory to consider Regehr’s (2004) concept of programmatic research where ‘communities’ of researchers work together towards an eventual goal of consensus

van der Vleuten and Schuwirth (2005) have argued that thinking about assessment should be moved from a consideration of methods to programmes; another use of the term ‘programmatic’ this time in programmatic assessment. Programmatic assessment concentrates on the overall programme of assessment with a combination of methods, each with their differing psychometric properties, to make decisions about student performance.

Recommendations

(1) Admissions committees and all who have an interest in selection processes should adopt the principles of good assessment in defining the purpose of selection; 

blueprinting of assessable domains and attributes, 

selecting appropriate formats, 

employing transparent standard setting and decision making, 

and including an evaluation cycle in a programmatic manner.

(2) An integrative approach should apply the principles of good assessment and curriculum alignment along the education and training pathway including the progression hurdles between health professional degrees, prevocational practice and basic and advanced speciality training.

(3) There should be a focus on multi-method programmatic approaches in collecting, analysing, interpreting and reporting data from a range of selection instruments, which are fit for purpose

(4) There needs to be an emphasis on developing interdisciplinary theoretical frameworks that underpin development of both policy and the research agenda.

(5) There is an urgent need for the development of sophisticated measurement models from the family of regression methods which will require application to multi-site high-quality data sets, for increasing the sophistication of predictive validity studies using a range of attributes from selection blueprints, and for a focus on test–retest reliability.

(6) The social accountability of universities demands that social inclusion, workforce issues, consumer choice and widening of access to students of promise are embedded in the principles of good assessment for selection with recognition that there are political (and non-universal) issues that need to be considered in the definition of optimal decisions.

(7) Outreach, targeting strategies, preparation programmes and conditional selection should be considered as core strategies for medical and health professional schools to achieve their widening access missions.

Assessment for selection for the health care professions and specialty training: consensus statement andrecommendations from the Ottawa 2010 Conference.

Assessment for selection in medicine and the health professions should follow the same quality assurance processes as in-course assessment. The literature on selection is limited and is not strongly theoretical or conceptual. For written testing, there is evidence of the predictive validity of Medical College Admission Test (MCAT) for medical school and licensing examination performance. There is also evidence for the predictive validity of grade point average, particularly in combination with MCAT for graduate entry but little evidence about the predictive validity of school leaver scores. Interviews have not been shown to be robust selection measures. Studies of multiple mini-interviews have indicated good predictive validity and reliability. Of other measures used in selection, only the growing interest in personality testing appears to warrant future work. Widening access to medical and health professional programmes is an increasing priority and relates to the social accountability mandate of medical and healthprofessional schools. While traditional selection measures do discriminate against various population groups, there is little evidence on the effect of non-traditional measures in widening access. Preparation and outreach programmes show most promise. In summary, the areas of consensus forassessment for selection are small in number. Recommendations for future action focus on the adoption of principles of good assessment and curriculum alignment, use of multi-method programmatic approaches, development of interdisciplinary frameworks and utilisation of sophisticated measurement models. The social accountability mandate of medical and health professional schools demands that social inclusion, workforce issues and widening of access are embedded in the principles of good assessment for selection.

미래의 의사로서, 전문직으로서 수행능력을 예측하는데 성공한 입학요소는 무엇이고, 실패한 입학요소는 무엇인가?

Overview: what’s worked and what hasn’t as a guide towards predictive admissions tool development

Eric Siu, Harold I. Reiter

전 세계의 입학 위원회 및 연구자들은 미래의 의사로서, 전문직으로서 수행능력을 예측할 수 있는 방법을 개발, 도입하려고 근면성실하게, 상상력을 발휘하여 매진해왔다. 그러나 대부분의 학계에서 미래의 직업 수행능력을 예측하는데 성공했던 것들도 고도로 경쟁적인 의과대학 지원자의 세계에서는 통하지 않았다. 의과대학에 들어오고자 하는 매우 높은, 그리고 좁은 범위의 사람들 중에서 선발을 하고자 할 때는 가장 신뢰할 수 있는 평가도구만을 적용할 필요가 있다. 

미래의 수행능력에 예측타당도를 보여준 도구로는 GPA, MCAT과 같은 aptitude test, 그리고 MMI와 같은 비인지적 시험(non-cognitive testing) 이 있다.

반면, 이러한 예측력을 충족시키지 못한 도구들은 훨씬 더 많은데, 개인면접, 자기소개서, 추천서, 성격검사, 감성지능, 그리고 (적어도 지금까지는) 상황판단시험이 있다. 

예측타당도의 관점에서 본다면, 이러한 측정도구들이 예측에 성공하거나 변화하는 양상은 미래에 다른 측정도구 개발에 중요한 통찰을 제시해준다. 

Overview: what's worked and what hasn't as a guide towards predictive admissions tool development.

의과대학 중퇴에 미치는 영향 - 입학시 보는 시험 vs 전적대학 성적 

Medical school dropout - testing at admission versus selection by highest grades as predictors

Lotte O’Neill,1,2,3 Jan Hartvigsen,1,2,4 Birgitta Wallstedt,3 Lars Korsholm1 & Berit Eika5

배경

의과대학 중퇴자에 대한 입학시험(admission test)의 효과를 다룬 연구는 매우 극소수이다. 이 연구의 주 목적은 비성적기준 입학시험(non-grade based admission testing)과 성적 기준 입학(grade-based admission)이 차후 의과대학 중퇴자와 어떤 관계가 있는지 알아보고자 하는 것이다.

방법

이번 전향적 코호트 연구는 University of Southern Denmark에서 2002–2007년에 입학한 총 1544명으로 구성된 6개의 코호트를 대상으로 하였다. 절반의 입학생은 이전 학업 성적 성과(prior achivement of highest grades)로 입학하였으며 (전형 1), 나머지 반은 비성적기준 시험(non-grade-based admission test)를 통과해야 했다.(전형 2)

학생들에 대한 사회적 예측 변인들 (부모 중 의사가 있는지, 출신지, 부모 특성, 부모와 같이 사는지, 부모의 교육 수준은 어떠한지)도 같이 조사되었다. 최종적으로 보고자 하는 것은 학생이 입학 2년 후에 어느 정도나 중퇴를 하게 되는가였다. Multivariate logistic regression analysis를 사용하였다.

결과

'전형 2' 학생들이 2년 내에 중퇴할 상대위험(relative risk)이 더 낮았다(odds ratio 0.56, 95% confidence interval 0.39–0.80). 입학 전형과 Qualifying examination의 종류, 그리고 프로그램에 대한 우선순위가 최종 모델에 유의미하게 기여한 요인들이었다. 사회적 예측 변인들은 중퇴자 뿐만 아니라 전형 2 입학시험 점수도 예측하지 못했다.

결론

입학시험을 통해서 학생을 선발하는 것은 중퇴자에 대한 독립적, 보호적 효과가 있다.

Powis 등의 연구에 따르면 21개의 서로 다른 입학 면접의 subscale과 subscore를 의과대학 중퇴의 예측인자로 놓고 case-control study를 했을 때, 이 중 단 하나만이 중퇴와 상관관계가 있었다. (number of negative comments assigned by interviewers to the subscale for supportive and encouraging behaviour)

Powis et al. examined 21 different admission interview subscales and subscores as predictors of dropout in a case–control study, and found only one of these to be significantly associated with dropout.2 The number of negative comments assigned by interviewers to the subscale for supportive and encouraging behaviour was found to be associated with dropout (OR = 1.65, 95% confidence interval [CI] 1.01–2.70).2

반대로 Urlings-Strop 등은 비성적기준 입학시험(non-grade based admission test)에 대한 조금 더 긍정적인 사례를 보고했는데, 선발된(selected) 학생들이 추첨(lottery-admitted)으로 입학한 학생들보다 학교에 남을 가능성이(relative risk가) 2배 높았다. 이 연구는 또한 전적대학의 우수한 GPA로 입학한 세 번째 그룹(direct access)에 대한 언급도 했지만 direct access그룹과 선발된(selected) 그룹을 비교하지는 않았다.

By contrast, Urlings-Strop et al. presented a more optimistic case for the protective effect of non-grade-based admission tests on student dropout.3 They found that selected students were more than twice as likely as lottery-admitted control subjects to remain in school (relative risk [RR] 2.58, 95% CI 1.59–4.17; p = 0.000).3 This study also referred to a third admission group (‘direct access’) consisting of students with the highest pre-university grade point averages (GPAs), but did not report a comparison of dropout rates between the ‘direct access’ and ‘selected’ groups.3

Analysis

Descriptions of all variables delivered by the USD Admission Office and Statistics Denmark were scrutinised to check for changes in data collection methods. The variables set forth in the research protocol were either prepared for analysis (educational ⁄USD data) or generated by merging various datasets (social ⁄ Statistics Denmark variables). Missing data for the social variables generated from Statistics Denmark data were categorised with the nonevent ⁄ reference category and summary tables were produced.

Variables were then examined for co-linearity and zero cells before analyses, by inspection of matrix graph plots, 2 · 2 tables and boxplots. 

Individual predictors of dropout were then examined with univariate logistic regression analyses, and variables with p < 0.1 were eventually included in the multivariate models. 

Multivariate logistic regression was used to analyse the dichotomous outcome of dropout ⁄ non-dropout. Post-estimation diagnostics of models consisted mainly of checking linearity assumptions and influential data points. 

Additivity was assumed because we did not want to risk overfitting models by including interactions , due to the relatively large number of potential predictors and the modest number of dropouts. 

The linearity of the age variable was checked by inspecting LOWESS (locally weighted scatterplot smoothing) smoothed plots, with the logit transformed probability of dropout on the y-axis against age on the x-axis. 

Influential cases or cases for which the model fitted poorly were identified by inspection of deviance residuals, leverage and Pregibon’s delta-beta influence statistic.5 Influential cases were inspected to establish whether they were outliers on any of the predictor variablesin order to assess whether or not they should be removed from analysis.

Key findings

The aim of this study was to examine whether admission strategy was independently associated with dropout while controlling for relevant educational and socio-demographic variables. 

Participation in an admission test, general gymnasium exam and being enrolled on a first-priority programme were all independently associated with a reduced risk of dropout. 

By contrast, socio-demographic variables had little or no independent influence on dropout (Tables 2 and 3). This study is, to the best of our knowledge, the first published study to compare admission testing and pure grade-based admission on the outcome of dropout in medical education.

Medical school dropout--testing at admission versus selection by highest grades as predictors.

의과대학에서의 수행능력 예측에 있어서 UMAT점수와 GPA의 비교

Comparison of UMAT scores and GPA in prediction of performance in medical school: a national study

Phillippa Poole,1 Boaz Shulruf,2 Joy Rudland3 & Tim Wilkinson4

배경

의과대학들은 의학을 공부하고, 훈련받고, 행하기에 가장 적합한 특성을 가진 학생을 선발하기 위한 노력을 지속하고 있다. 인지적 능력을 측정하는 시험과 지난 학업성적 등등을 조합한 방법을 사용하고 있으나 그 예측타당도(predictive validity)는 알려진바가 없다. 이 연구에서는 Undergraduate Medicine and Health Sciences Admission Test (UMAT) 점수, GPA, 혹은 이 둘의 조합의 예측타당도를 비교해보았다.

방법

뉴질랜드에서 UMAT점수로 선발된 2003년 이후의 학생들(1346명)을 대상으로 하였다. 회귀분석 모델에는 인구학적 데이터, UMAT점수, 입학시 GPA와 일상적 평가에서의 수행능력을 포함시켰다.

결과

두 기관간 UMAT에 준 가중치가 다르고, 학생들의 인구학적 구성과 프로그램의 작은 차이들이 있었지만, 결과는 비슷하였다. 입학시 GPA(admission GPA)의 예측력은 2학년, 5학년, 6학년 프로그램에서 가장 뛰어났고, 전체 분산의 17-35%를 설명하였다. 반면 UMAT점수는 분산의 10%이내만을 설명하였다. UMAT점수가 가장 높은 예측력을 보여준 것은 5학년의 필기시험에서 9.9%를 설명한 것이었다. UMAT과 GPA를 합한 것은 대부분의 결과에 걸쳐서 약간의 설명력을 증가시켜줬다. 학년군(grading bands)이나 수가 더 적었음에도 UMAT점수나 GPA모두 인턴 수련을 마친 시점에서의 결과를 예측하지는 못하였다. 

결론

일반적인 인지능력 검사인 UMAT이 의과대학 프로그램에서의 성적을 설명해내는 부분은 GPA의 그것에 비해서 더 적었다. 하지만 UMAT은 GPA와 결합해서 사용할 시에 약간의 설명력을 높여주었다. UMAT점수는 이번 연구에서 다루지 않은 결과를 예측해줄지도 모르기 때문에 추가의 연구가 필요해 보인다.

Analyses

Separate analyses were conducted for each programme. Each analysis used regression models to measure the predictive association between UMAT score, admission GPA or combined GPA and UMAT score, and the outcomes listed in Table 1 when background factors were controlled for (age, ethnicity, graduate, rural pathway). For students at the University of Auckland, the interview score was included among the background factors.

An R2 multiple linear regression model was used when the dependent variable consisted of continuous scores; a Nagelkerke pseudo R2 ordinal regression model was used when the dependent variable was categorical (Distinction, Pass, Fail). Seven regression models were established for each outcome in each programme; an example is given in Table 2. One of these models included the background variables alone. The remaining models included background variables with admission GPA, UMAT score, admission GPA and UMAT score combined, or one of the UMAT sections. 

Thus, for each outcome in each year and university, it was possible to quantify the net predictive effect of the UMAT score (overall score or any section score), admission GPA, or both, on outcomes over and above other information available at selection. This was calculated by extracting the percentage of variance explained by the background factors from the total variance explained by the model.

Interactions among the independent variables were not measured because the outcome of interest was the predictive power of these variables. 

Multi-collinearity among the admission GPA and scores on the UMAT sections was measured by the variance inflation factor (VIF). This was < 1.4 for each regression, well below the unacceptable level of 10. There are no published data on the reliability of the UMAT. Although reliability data are calculated for many of the assessment outcomes that contribute to an overall year result, the reliability of the overall result cannot be determined.

Comparison of UMAT scores and GPA in prediction of performance in medical school: a national study.

면접의 평등 : 개인적인 특징(인종, 성별, 사회경제적 지위)이 면접 점수에 영향을 줄까?

Equity in interviews: do personal characteristics impact on admission interview scores?

Andrew B Lumb,1 Matthew Homer1 & Amy Miller2

배경 

일부 사회 계층이 의대 선발 시스템상 불이익을 받고 있다는 연구결과가 있다. 선발의 각 단계 중 어느 단계에서 이런 일이 벌어지는지는 알 수 없지만, 서로 면대 면으로 만나게 되는 면접 상황에서는 이러한 사회적 비뚤림(bias)가 생길 수 있다.

방법

우리는 영국 의과대학의 한 해의 입학에서 이뤄진 면접에 대한 자세한 조사를 하였다. 면접관과 응시자에 대한 개인적인 성향을 조사하여 이들 중 어떤 요인이 면접관-응시자 매칭에 따라서 면접 점수에 영향을 주는가를 보았다.

결과

총 320명의 면접관이 734명의 응시자를 평가하였고, 2007년의 면접관-응시자 상호작용에 대한 자료를 분석하였다. 일반화 이론(generalizability theory)에 따른 면접의 신뢰도는 0.82-0.87이었다. 면접관과 응시자 모두에서 성별, 인종, 사회경제적상태, 학적에 따라서 받은 점수와 준 점수의 차이는 없었다. 스텝면접관과 학생면접관의 점수간에도 유의미한 차이가 있지 않았다. 각각의 스텝면접관 그룹은 그 수가 너무 작아서 통계적 분석을 할 수 없었지만, 서로 다른 전공을 가진 면접관 또는 서로 다른 면접경험을 가진 면접관 사이에 유의미한 차이는 없었다.

결론

이 연구결과로부터 '면접' 단계가 일부 사회적 그룹이 의과대학 선발에서 불이익을 받는 단계는 아닌 것으로 나타났다. 이러한 결과는 또한 시니어 의과대학 학생을 면접에 참여시키는 것을 지지해준다. 면접 점수가 미래의 학업적, 임상적 성공을 예측하는데 유용하다는 근거는 부족하지만 대부분의 의과대학은 면접을 선발 과정에서 중요하게 활용하고 있다. 우리의 연구는 면접이 선발 과정에 사회적 bias를 증가시키는 것은 아님을 보여주었다. 

At interview, the candidates are assessed in five separate areas covering: 

insight into a career in medicine; 

responsibility; 

social and cultural awareness; 

non-academic achievements, 

interpersonal skills. 

These five areas are designed to cover the personal qualities of applicants that are regarded by the admissions committee as desirable characteristics in future doctors 

(see http://www.leeds.ac.uk/medicine/admissions/personal.html for further details). 

The constructs explored in these areas have been evolved over several years through continuous development and monitoring by the admissions committee of the medical school.

The reliability of the interviewing process was calculated using variance components MINQUE methods in SPSS Version 15 (SPSS, Inc., Chicago, IL, USA), treating interview scores as the dependent variable and both interviewee and interviewer as random effects in a mixed-effects linear model.7 This allows a generalisability coefficient to be calculated as the proportion of the variance in the interview scores that can be properly attributed to the interviewees, with all non-interviewee variance treated as error. 

Data analysis was carried out in three separate parts: 

(i) analysis of interviewee performance; 

(ii) analysis of interviewer performance, and 

(iii) analysis of interviewee–interviewer interactions. 

In all three parts, the potential effect of dependency in the data (interview scores are partially nested within candidates and interviewers) has been ignored in order to simplify the statistical analysis. It is therefore possible that any effects that appear to be statistically significant are (slightly) overstated in our findings. However, the substantive nature of the main findings is not affected.

Analysis of interviewee performance

Potential determinants of performance by interviewees were analysed using univariate general linear models 

with total interview score as the outcome variable, 

gender, ethnicity (White ⁄non-White), school type (independent ⁄ state selective ⁄ state nonselective [as the reference group]) as fixed effects, 

and socio-economic classification and date of birth as covariate dependent variables.

A main effects-only model indicated that no predictors were playing a significant role in determining the marks awarded to interviewees and explained < 1% of the variation in the data. 

The full factorial model (all main effects and their interactions) was still relatively poor, explaining only approximately 2% of the variation in the interview total mark. 

Thus, most of the variation in the marks was not accounted for by the available predictors. In this model, no main effects were statistically significant and the largest interaction effect was for school type (state selective versus ethnicity; F1,609 = 9.352, p = 0.002, effect size 2%), whereby non-White students from selective schools tended to be awarded slightly lower marks than their White counterparts. The difference lay in the opposite direction for applicants who did not come from such schools

Analysis of interviewer performance

The potential determinants of marks awarded by interviewers were also analysed using univariate general linear models, 

with mean interview score awarded by the interviewer as the outcome variable, 

gender, ethnicity (White ⁄non-White), staff or student and school type as fixed effects, 

and socio-economic classification as the covariate dependent variable.

A simple model including only main effects found no predictors playing a significant role and explained almost none of the variance in the data. 

The full factorial model, including predictors and all interactions and explaining 4.8% of the variation in mean marks, found a small but significant gender main effect, whereby male interviewers awarded slightly higher marks than females (estimated marginal means 11.1 and 10.7, respectively; F1,280 = 3.999, p = 0.047, effect size 1%). There was also evidence in this model of small interaction effects, including school type (independent) with ethnicity: those from independent schools tended to give slightly higher marks to non-White candidates, whereas those not from independent schools tended to give higher marks to White candidates (F1,280 = 9.569, p = 0.002, effect size 3%).

A separate analysis pertaining to staff interviewers only was carried out with interviewer experience included in the model as a covariate. However, this variable did not play a significant role in influencing interview scores.

Equity in interviews: do personal characteristics impact on admission interview scores?

신뢰도 추정 : 의과대학 입학에서 행동평가 스테이션과 설문지

Reliability estimates: behavioural stations and questionnaires in medical school admissions

Naomi Gafni,1 Avital Moshinsky,1 Orit Eisenberg,1 David Zeigler1 & Amitai Ziv2

배경

의과대학 지원자의 비인지적 특질을 평가하는 센터는 보고자 하는 특질을 정확하게 반영하는 측정점수를 얻을 수 있어야 한다. 지금까지 이들 센터들의 신뢰도 계수(reliability coefficients)는 제한된 숫자의 샘플과 개인적인 집행(administration)에 의해서만 이뤄졌고 반복시험 및 다수 센터에서 동일한 특질을 평가할 때 생기는 에러에 대한 레퍼런스 없이 이뤄져왔다.

방법

이스라엘의 The National Institute for Testing and Evaluation는 두 평가센터를 만들었다. MOR은 두 개의 의과대학과 하나의 치의과대학, MIRKAM은 다른 의과대학에 의해서 사용되었다. 각 센터는 8~9개의 행동평가 스테이션(behavioral stations)로 이뤄져있고, 표준화된 문항과 평가자, 그리고 의사결정 설문지(decision making questionnaire)로 되어있다. 우리는 각 센터의 8~9개의 스테이션에 대해 각 해의 일반화 계수(generalizability coefficient)를 계산하여 평가 센터 전체에 대한 신뢰도 계수(reliability coefficient)로 종합하고, 시험-재시험 상관관계, 센터간 상관관계를 구하였다.

결과

2006년과 2009년 사이에 2662명과 2003명의 응시자가 각각 MOR과 MIRKAM에서 시험을 보았다. 1479명은 두 개 모두에서 시험을 보았다. 평균적인 일반화 계수는 0.69, 0.67(각각의 센터에 대해)였다. composite reliability coefficient는 0.79, 0.76이었다. 재시험에 대한 상관관계는 0.59, 0.43이었고, 전체 평가에 대해서는 0.72와 0.65였다. MOR와 MIRKAM 스테이션간 상관관계는 0.56이었다.

결론

high-stakes decision making에 필요한 최소한의 신뢰도(0.80)은 14~15개의 스테이션을 시행했을 때만이 가능하다. 그럼에도 불구하고 여기서 얻어진 값들은 한 번의 면접에서 얻어지는 신뢰도보다는 훨씬 높다. Questionnaire는 평가의 정확성에 큰 기여를 하며, reliability 는 validity의 상한선(upper threshold)를 구성한다.

Med Educ. 2012 Mar;46(3):277-88. doi: 10.1111/j.1365-2923.2011.04155.x.

Reliability estimates: behavioural stations and questionnaires in medical school admissions.

MCAT 언어추론 점수 : 영어가 모국어가 아닌 학생에서 의과대학 성적 예측이 떨어짐.

MCAT Verbal Reasoning score: less predictive of medical school performance for English language learners

Babbi Winegarden,1 Dale Glaser,2 Alan Schwartz3 & Carolyn Kelly4

배경

MCAT점수는 의과대학 입학생 선발 기준에 널리 사용된다. 영어를 외국어로 배운 학생은 모국어가 아닌 언어로 시험을 보는 것에 있어서 불이익이 있을 수 있다. English language learners(ELL), 즉 영어를 11세 이후에 배운 학생과 그렇지 않은 학생간 MCAT의 언어추론(verbal reasoning, VR) 점수에서 유의미한 차이를 보인다는 연구결과가 있다. 이번 연구의 목적은 VR 점수와 의과대학에서의 성적간 관계가 ELL과 non-ELL에서 서로 다른 경향을 보이는지를 보고자 하는 것이다.

방법

University of California San Diego School of Medicine admissions files and the Association of American Medical Colleges database로부터 MCAT VR시험과 학생의 의과대학 성적(평점, 시험점수 등)을 1998년~2005년 입학생(2002년~2009년 졸업생) 924명의 학생으로부터 얻었다. 회귀분석 모델을 활용하여 MCAT VR시험점수가 의과대학 성적을 비슷하게 예측하는지를 비교하였다.

결과

ELL여부에 따라 임상실습 전 성적, 학업 우수성, USMLE Stpe 2 CK점수, 두 개의 임상실습 shelf examination 등등을 비롯한 몇 가지 결과에 대해서 VR점수의 예측 정도가 크게 차이가 있었다. ELL학생보다 non-ELL학생에서 VR점수와 의과대학 수행능력간의 높은 상관관계가 나타났다.

결론

MCAT VR점수는 의과대학에서 ELL지원자를 평가할 때 좀 더 신중하게 사용되어야 할 것이다.

Data analysis

A hierarchical approach was used for testing a moderated multiple regression model. For each outcome variable, we first entered ELL status (ELL or non-ELL) and MCAT VR scores as predictors, and then, in a second step, entered the interaction between the two predictors into the model. Scores on the VR sub-test were centred in order to minimise non-essential collinearity.10,11

Linear regressions were performed when outcomes were continuous and expected to be normally distributed. When the outcome variable was binary (e.g. pass ⁄ fail), multiple logistic regression was conducted. These analyses were conducted using SPSS Version 18.0.2 (SPSS, Inc., Chicago, IL, USA). When outcomes were counts of unusual events (e.g. number of failed courses), zero-inflated Poisson regression was performed using Mplus Version 6.1 (Muthe´n &Muthe´n, Los Angeles, CA, USA).

In these models, the key test for the differential predictive ability of the VR sub-test on medical school outcomes for ELLs and non-ELLs is whether the interaction term is significant. In the coding of our data, a significant negative interaction would be interpreted as a finding that the relationship between VR score and outcome is stronger for non-ELLs than for ELLs. When interactions were significant, we examined the associations between VR score and outcome within each group.

MCAT Verbal Reasoning score: less predictive of medical school performance for English language learners.

의과/치의과 학생 선발에 있어서 인터넷 기반 MMI의 활용

Internet-based multiple mini-interviews for candidate selection for graduate entry programmes

David Tiller, Deborah O’Mara, Imogene Rothnie, Stewart Dunn, Lily Lee & Chris Roberts

배경

2006년 이래로 The University of Sydney graduate medical and dental programmes에서는 Multiple Mini Interviews (MMI)를 활용해왔다. 2011년에는 국제 지원자(international candidates)를 대상으로 Skype를 이용한 (internet based MMI, iMMI)를 시행하였으며, 국내 지원자는 직접 MMI를 수행하였다. 우리는 이 두 가지 방법의 MMI에서 나온 점수가 서로 동등한지를 살펴보았다. 또한 iMMI의 실현가능성, 비용-효과성, 수용가능성 등을 살펴보고자 하였다.

방법

2011 국제 지원자의 iMMI결과를 2009 국제 지원자의 MMI점수 및 2011년의 국내 지원자 MMI점수와 비교하였다. ANOVA를 사용하여 두 가지 형식의 MMI를 비교하였다. 이 과정의 수용가능성(acceptability)에 대한 정보는 피면접자와 면접자의 피드백을 통해서 얻었으며, 비용 절감(cost savings)를 추산하였다.

결과

2011 iMMI점수와 2009년의 MMI점수에는 유의미한 차이가 없었다. 또한 국내 지원자와 국제 지원자간 2011년에 점수의 차이는 없었다. 국제 지원자의 MMI점수는 variation이 더 컸다. 일반화가능성 이론(generalizability theory)를 이용했을 때 9개의 iMMI 문항의 신뢰도는 0.76이었고, MMI는 0.70이었다. iMMI 상황의 전달은 원활히 이루어졌으며 면접자와 면접관은 형식과 전달에 대한 피드백을 주었다. 비용절감은 50,000호주달러였으며, 84%의 절감효과가 있었다.

결론

우리는 이 연구가 High stake interview에 있어서 최초의 인터넷 기반 MMI에 대한 보고라고 생각한다. 여기서 면접관들은 iMMI를 통해서 타당하고 신뢰성 있는 결정을 내릴 수 있음을 보여주었고, 그 과정은 참여자도 수용할 수 있었고, 비용은 절감하면서도 직접 하는 MMI와 동등한 결과를 보여줬다. iMMI에서 분산이 조금 더 큰 것에 대한 향후 연구가 필요할 것이다.

Equivalence of MMI and iMMI scores

Two separate one-way analyses of variance (ANOVAs) were used to investigate the equivalence of the two formats by exploring whether the medium of interviewing resulted in significantly different mean scores for the in-person MMI and the internet-based iMMI. 

In the first analysis, the iMMI scores for international candidates in 2011 were compared with the in-person MMI scores for international candidates in 2009. To ensure that differences in mean scores were not attributable to the different application process for the two time periods and differences in the MMI questions, a comparison was also made for both cohorts for 2011. Thus, the scores for the iMMI for international candidates in 2011 were compared with the scores for the in-person MMI for local candidates in 2011. In accordance with the assumptions for ANOVA, the homogeneity of variance between each comparison was tested according to Levene’s statistic. Where the two groups were shown to have unequal variance, the non-parametric Brown–Forsythe median test was used to assess the difference between the average scores. Eta squared was used to examine the proportion of variance associated with the main effects assessed in the ANOVA.

The equality of the two formats was also investigated through a variance components analysis using a minimum norm quadratic unbiased estimation in order to compare effects for the 2011 iMMI candidates and the in-person MMI. We assumed that all effects were random given the unbalanced design. We estimated the variance due to ‘candidate’, ‘question’, ‘interviewer’ and ‘question X interviewer’. Interviewers varied in the number of circuits they participated in, ranging from one to 15 for both formats, with an average of four circuits for the iMMI and three for the MMI. However, the interaction of ‘candidate X interviewer’ and ‘candidate X question’ could not be separated from each other because interviewers were confounded with MMI questions within each candidate and, thus, remained in the error term. There were insufficient candidates per circuit of individual questions to include ‘circuit’ as a variable in the analysis.

Reliability of the iMMI

A generalisability coefficient was calculated to provide the estimate of reliability for the iMMI and the MMI. The formula to determine the generalisability coefficient has been published elsewhere.4

(4 Roberts C, Walton M, Rothnie I, Crossley J, Lyon P, Kumar K, Tiller D. Factors affecting the utility of the multiple mini-interview in selecting candidates for graduate-entry medical school. Med Educ 2008;42 (4):396–404.)

Internet-based multiple mini-interviews for candidate selection for graduate entry programmes.

의과대학 입학 전형 요소들의 4년 후 레지던트 성적 예측성

Effectiveness of medical school admissions criteria in predicting residency ranking four years later

Christopher Peskun, Allan Detsky & Maureen Shandling

배경

캐나다의 의과대학들은 우수한 지원자 풀에서 학생을 선발하기 위해서 많은 노력을 기울이고 있다. 의학을 행하는데(practice of medicine) 있어서 기본적으로 중요한 비인지적 평가 대부분의 학교에서 이뤄지고 있다. 우리는 University of Toronto의 학업적, 비학업적 입학 평가요소를 분석하여 내과와 가정의학과 레지던트 프로그램에서의 을 예측하고자 하였다.

방법

연구 대상은 University of Toronto에 1994년부터 1998년 사이에 입학한 학생들 중, 캐나다 레지던트 매칭 프로그램을 통해 졸업시 University of Toronto의 내과나 가정의학과에 매칭된 학생들이다. 입학 요소들이 의과대학 기간, 또는 레지던트 기간의 수행능력에 미치는 영향을 보았다.

결과

내과 레지던트의 랭킹은 학부의 학점평균, 그리고 입학시의 비인지적

평가요소와 유의한 상관관계를 보였다. 또한 2학년의 OSCE점수, 내과 임상실습 점수, 의과대학 최종 성적과도 연관성을 보였다. 

가정의학과 레지던트의 랭킹은 입학시 면접 점수, 2학년의 OSCE점수, 가정의학과 임상실습 점수, 내과병동 임상실습 점수, 그리고 의과대학 최종 성적과 연관성을 보였다.

결론

의과대학 입학시 평가하는 인지적 요소와 비인지적 요소 모두 졸업후의 성공수준을 예측하는데 중요하게 작용했다. 비인지적 평가요소들은 레지던트 프로그램에서의 랭킹을 예측함으로서 입학전형 요소로서의 유용성을 보여줬다.

KEYWORDS *school admission criteria; *schools, medical; Ontario; internship and residency ⁄ *standards; clinical competence ⁄ *standards; education, medical, undergraduate ⁄ *standards.

Statistical techniques

Using both univariate and multivariate techniques the analyses described above were completed. The numerical rankings of candidates applying to Internal Medicine were collapsed into 3 approximately equal categories: rank 1–40, 41–90 or >90. These categories were chosen based on the fact that those in the top category had a very high likelihood of acceptance, whereas those in the lowest category were certain not to be accepted. As a result of this categorical designation, a logistic regression model based on binary collapse was utilised during analysis.

Because there was less predictability in the matching process in Family Medicine, ranking was weighted equally from highest to lowest and was treated as a continuous variable. A linear regression model was therefore used in the analysis involving Family Medicine residency rank as the outcome variable.

The results are expressed in terms of slope of the regression line. As a result of these differences in data and statistical analysis, results for Internal Medicine are expressed throughout in terms of odds ratios, while those for Family Medicine are expressed in terms of slope. The units of the odds ratios for Internal Medicine results and the slopes for Family Medicine results were standardised for 1 standard deviation (SD) of the variable of interest. 

Through this standardisation, comparison of the results between both programmes is possible. A small proportion of candidates had applied for postgraduate training in both Internal Medicine and Family Medicine. Due to the blinded nature of the residency application process, these applicants had the ability to be ranked equally and independently by each residency programme and as such were considered to be independent members of both cohorts.

For all analyses involving the continuous outcome variables of OSCE score and final grade in medical school the results were expressed in terms of slope. The units of slopes in these cases were once again standardised for 1 SD of the variable of interest.

Med Educ. 2007 Jan;41(1):57-64.

Effectiveness of medical school admissions criteria in predicting residency ranking four years later.

무시험 입학 학생과 시험을 보고 입학한 학생의 진전(progress) 비교

Progress of medical students after open admission or admission based on knowledge tests

Gilbert Reibnegger, Hans-Christian Caluba, Daniel Ithaler, Simone Manhal, Heide Maria Neges & Josef Smolle

배경

오스트리아에서 일반적으로 대학 입학은 고등학교를 마친 사람이라면 누구에게나 열려있으나, 일부 과(의학과 치의학 포함)에서는 몇 가지 추가적인 입학기준을 적용하는 것이 2005년 European Court의 결정에 따라 가능해졌다. 우리는 의과대학 학생들의 성취도 변화의 차이를 시간에 따라 보고자 하였다.

방법

2002/03부터 2007/08 년까지 Medical University of Graz의 Human medicine programme에 입학한 모든 2532명의 입학생을 대상으로 하였다.  Non-parametric, 그리고 semiparametric 생존분석 기술을 사용해서 admission test도입 전/후에 대해 첫 번째 두 학기를 마치는데까지 걸리는 시간을 비교하였다. 이 목표(첫 번째 두 학기를 마치는 것)를 도달하지 못하고 유급하게 되는 학생들의 시간적 패턴도 살펴보았다. 성별, 연령, 국적을 교란변수로서 고려하였다.

결과

학생들이 성공적으로 학업을 마치는 것에 대한 누적확률이 무시험으로 입학한(admitted openly) 학생보다 selected student에서 훨씬 더 높았다. 무시험으로 입학한 학생들 중 20.1~26.4%의 학생만이 첫 두 학기를 1년에 마친데 비해서, 입학시험을 치르고 들어온 학생에서는 75.6~91.9%의 학생이 그 목표에 도달했다.

결론

이 분석으로 의과대학에 있어 open admission에 비해서 performance-based 선발이 학습 성취를 크게 향상시킨다는 것을 확인할 수 있었다. 추가적으로, 유급의 비율이 크게 감소하였다. 입학시험은 학생의 시간이라는 측면과 공공의 자원이라는 측면에서 비용을 크게 절감시킨다고 할 수 있다.

Statistical methods

We decided to measure the effects of different modes of student admission on study progress by identifying the length of time that elapsed between a defined starting point (i.e. the start of term in the year of enrolment) and a defined endpoint (i.e. the time of successful completion of the first part of the study programme). 

When analysing such ‘waiting time’ data, the application of ordinary statistical methods is frequently hindered by the presence of so-called censored data: students differ substantially in their individual study progress; some of them succeed within the expected time, but others, for quite diverse reasons, need more time to achieve the same goal. 

In addition, a certain proportion of students ‘disappear’ from study: they change to another programme or university, or they drop out of study altogether. These individuals who do not reach the defined endpoint within the period of investigation contribute information to the study for a certain amount of time but not thereafter and are hence referred to as ‘censored’ observations. Commonly used multivariate techniques such as linear or logistic regression analysis cannot handle censored data and, thus, typically are not adequate for analysing waiting times properly. 

Consequently, for our investigation into data on study progress, we adopted statistical methods from the field of survival analysis.6 The non-parametric product limit technique by Kaplan and Meier7 was used to compute the cumulative probabilities for the study success of defined categories of students. 

In ‘normal’ survival studies, the results of Kaplan–Meier calculations are usually represented by depicting the cumulative probability of survival as a step function decreasing from 100% to smaller percentages, as observation time progresses. In such studies, the endpoint is usually a negative event, such as death. As the endpoint in our study is a desirable event, namely, the successful completion of the first part of the study programme, by contrast with conventional survival curves we decided to represent the results as ‘one minus survival’ curves (i.e. cumulative probabilities of success start at 0% and increase with observation time). 

Differences of these cumulative probabilities among different categories were tested by the generalised likelihood ratio method (Breslow chi-squared statistic). The semi-parametric proportional hazards model of Cox8 was then employed in order to study the effect of potential predictor variables in a multivariate manner and to identify the relative strength of each individual predictor variable in the context of all other variables.

The ‘hazard’ can be described as the instantaneous probability that an individual will experience an event at time t while this individual is at risk for an event.

In survival analysis, we generally distinguish between non-parametric, semi-parametric and parametric methods. 

For example, the Kaplan–Meier product limit method does not make any assumption about the underlying hazard function (‘baseline hazard’), but in a completely empirical way computes the cumulative probabilities of the terminating events merely from the data at hand: it is a non-parametric approach. 

Likewise, the Cox model does not make assumptions about the baseline hazard, but the effect of covariates is modelled in a parameterised fashion. The parameters are estimated from the data and allow quantification of the relative strength of the respective covariate (predictor variable). Therefore, the Cox technique is called a semi-parametric approach. 

A parametric model provides an explicit mathematical model for the baseline hazard assuming one of several possible distribution models (exponential distribution, Weibull distribution, Gompertz distribution and others) with adjustable parameters and, if appropriate, allows not only the estimation of the relative strengths of predictor variables, but also the prediction of the cumulative probabilities as a function of time by means of an analytic expression.

Progress of medical students after open admission or admission based on knowledge tests.

Multiple Mini-Interviews(MMI)가 임상실습과 의사면허시험에서의 수행능력을 예측한다.

Multiple mini-interviews predict clerkship and licensing examination performance

Harold I Reiter,1 Kevin W Eva,2 Jack Rosenfeld3 & Geoffrey R Norman2

목적

Multiple Mini-Interview (MMI)가 초기의 의과대학 성적과 정(positive)의 상관관계가 있다는 것이 보여진바 있다. 이제 그 데이터들은 임상실습에서의 성적이나 의사면허시험에서의 성적과 비교해볼 수 있을 정도로까지 성숙되었다.

방법

Michael G DeGroote School of Medicine at McMaster University에 지원한 117명의 지원자 중에서 45명이 입학하였고 임상실습 평가를 거쳐 MCCQE의 Part I시험까지 치뤘다. 이 117명에 대해서는  MMI점수, 전통적인 비인지적 능력 평가점수, 학부 학점(uGPA)의 데이터가 있다. 임상실습의 평가는 임상실습 총괄평가, OSCE평가, 과정평가(progress test score)로 구성되어 있다. MCCQE시험은 전문과와 관련된 하부 영역들이 포함되어 있으며, 광범위한 법적, 윤리적 문제들을 다루는 시험(CLEO/PHELO)가 포함된다.

결과 

MMI는 OSCE점수, 임상실습카드(clerkship encounter cards), 임상실습 수행능력 점수를 잘 예측했다. MCCQE Part I에 대해서 MMI는 CLEO/PHELO점수, 그리고 임상의사결정(clinical decision making, CDM) 점수를 잘 예측했다. 이들 중 어떤 것도 다른 비인지 능력 평가방법이나 uGPA로 예측되지 않았고, uGPA는 과정평가(progress test)점수와 MCCQE Part I의 다지선다형 전공별 하부영역 점수를 예측했다.

결론

MMI는 기존의 임상실습의 결과나 캐나다 의사면허국가시험 점수를 예측하는데 있어서 기존의 방법(pre-admission cognitive measures)를 보완할 수 있다.

KEYWORDS clinical clerkship ⁄ *standards; clinical competence ⁄ *standards; *licensure, medical; Ontario; school admission criteria; schools, medical

Analysis

We examined the correlation between admissions measures, in-course measures, and the MCCQE Part I using Pearson’s correlation coefficients. 

Regression analyses were then performed to determine which admissions tools were statistically predictive of each outcome when scores on the other admissions tools were taken into account (i.e. to determine the independent predictability of each admissions tool).

Multiple mini-interviews predict clerkship and licensing examination performance.

의과대학 학생선발 방식 조정 : 상황판단시험을 활용하여 대인관계능력 평가하기

Adjusting medical school admission: assessing interpersonal skills using situational judgement tests

Filip Lievens

배경

의과대학의 교육과정은 인지적 능력과, 비인지적 능력을 모두 필요로 함에도 불구하고, 현재의 의과대학 입학 시스템은 종종 인지적 능력을 평가하는 시험(cognitively oriented test)만 포함하곤 한다. 상황판단시험(Situational judgement tests, SJT)는 의과대학 학생선말 과정에서 대인관계 능력을 평가할 수 있는 새로운 접근방법이 될 수 있다. 이 연구에서는 비디오 기반 SJT(video based SJT)가 대인관계 능력 평가에 타당성을 갖는지 다양한 측정결과와의 비교를 통해 알아보고자 하였다.

방법

이 연구는 종단적, 다중 코호트 디자인을 활용하여 익명화된 입학시험 결과와 의과대학에서의 결과를 조사하였다. 1999년부터 2002년까지 Flemish 의과대학의 데이터를 활용하였으며, 의과대학 입학시험을 치룬 5444명이 그 대상이 되었다. 1학년의 GPA, 대인관계 커뮤니케어션 과목의 GPA, 비대인관계 과정의 GPA, 학부 GPA, 석사 GPA, 최종GPA(7년 후)등이 비교대상이 되었다. 일반의(general practice)를 하고자 하는 학생에 대해서는 추가적으로 입학 9년 후 supervisor의 평가와 OSCE, 일반 진료 지식검사와 사례 기반 인터뷰 점수를 분석하였다.

결과

SJT를 활용해 평가한 대인관계 기술은 대인관계 커뮤니케이션 과목의 GPA, 의사로서의 수행능력, OSCE에서의 수행능력, 사례 기반 인터뷰에서의 점수를 예측하는데 상당한 기여를 하였다. 반면 다른 점수들에 대해서는 인지적 능력 평가시험(cognitive test)가 더 나은 예측력을 보여줬다. 여학생들은 남학생들에 비해서 SJT에서 훨씬 더 우수한 결과를 보였다. 대인관계 SJT 점수는 인지능력 시험점수보다 업무능력과 더 관계가 있었다.

결론

비디오 기반 SJT는 대인관계 행동에 관한 절차적 지식(procedural knowledge)를 평가하는 수단이 될 수 있으며, 인지능력 시험점수를 보완할 수 있다는 것을 보여줬다. 의과대학에서 의사소통기술을 훈련시킬 수 있다고 해서, 학생을 선발할 때 의사소통기술을 볼 필요가 없는 것은 아니다. 그러나 다른 문화나 학생 집단에서 SJT의 활용을 더 조사해볼 필요가 있다.

Adjusting medical school admission: assessing interpersonal skills using situational judgement tests.

의과대학의 입학기준과 다양성

Admission criteria and diversity in medical school

Lotte O’Neill,1 Maria C Vonsild,2 Birgitta Wallstedt2 & Tim Dornan3

배경

의과대학에서 낮은 사회경제적 배경의 학생을 과소평가(under-representation)하는 것은 중요한 사회적 이슈이다. 현재까지는 입학 전형을 변화시키는 것이 의과대학 학생의 다양성을 높인다는 근거가 적다. 덴마크는 '자질중심(attribute-based)'이라는 입학전형을 만들어서 '성적중심(grade-based)' 입학전형에서는 입학이 어려운 학생들을 학문적 역량보다 '자질'을 갖춘 학생들을 선발하고자 했다. 이 연구의 목적은 각각의 입학전형을 통해서 들어온 학생들의 사회적 구성의 차이를 보고자 하는 것이다.

방법 

이 전향적 코호트 연구는 2002년부터 2007년까지 입학한 1074명의 학생을 대상으로 하였다. 이 중 454명은 성적중심 입학전형으로, 620명은 자질중심 입학전형으로 들어온 학생들이다. 각각의 입학전형에서 사회적 구성의 혼합정도를 평가하기 위해서 덴마크에서 학업성취와 관련이 되있다고 알려진 사회적 요인들에 대한 정보를 수집하였다(인종, 아버지의 직업, 어머니의 교육, Parenthood, 부모와 동거, 부모의 사회이득(social benefit))

결과

선발 전략은 의과대학 구성의 차이에 통계적으로 유의미한 차이를 주지 않았다.

결론

입학전형의 선택은 의과대학에 대한 접근성이나 사회적 다양성을 높이는데 그다지 중요하게 작용하지 않았다. 다양한 지원자 풀을 확보하는 것이 학생 구성의 다양성을 높이는데 더 좋은 전략으로 보인다.

Admission criteria and diversity in medical school.

레지던트 선발 전략과 의사로서의 능력 : 메타분석

Associations between residency selection strategies and doctor performance: a meta-analysis

Stephanie Kenny, Matthew McInnes & Vivek Singh

목적

본 연구의 목적은 메타분석을 통해서 레지던트선발과 관련된 어떤 정보가 레지던트나 의사로서의 수행능력과 연관이 있는가를 알아보고자 하였다.

방법

다양한 전자 데이터베이스를 조사하였다. 두 명의 리뷰어가 독립적으로 기준에 맞는 연구를 골라서 중복된 것은 제하고, 의견이 다른 것은 합의를 보았다. 평가 중에 생길 수 있는 Bias에 대한 위험은 customised bias 평가 툴을 이용하여 평가하였다. 연관성의 척도는 common effect size (Hedges' g)로 변환되었다. 각각의 레지던트 선택 전략과 그에 따른 결과를 pooling하지 않고 random-effect model로 메타분석을 수행하였다. 각각의 선발전략-결과 쌍은 effect size를 pooling하여 Sensitivity analysis를 수행하였다.

결과

총 41704명의 지원자에 대한 80개의 연구 논문이 메타분석에 포함되었다. 17가지의 서로 다른 선발 전략과 17가지의 outcome을 평가하였다. 가장 강력한 양의 연관성은 USMLE step1과 같은 시험 기반 선발전략과 in-training exam과 같은 시험 기반 결과였다. 의과대학 성적과 시험기반/주관적 결과 사이에는 중등도의 양의 연관성이 있었다. 면접이나 추천서 등과 같은 선발전략은 매우 작거나 거의 연관성이 없었다.

결론

표준화된 시험의 점수나 의과대학의 성적은 현재 의사의 performance를 측정하는 방식과 가장 강력한 연관성을 보였다. 추천서나 면접은 연관성이 약했다. 현재의 평가 시스템에서는 객관적인 선발 전략이 더 강력해보인다. 하지만 장기적인 측면에서 의사의 수행능력을 다룬 연구는 부족한 실정이다.

Associations between residency selection strategies and doctor performance: a meta-analysis.

© 2013 John Wiley & Sons Ltd.

(출처 : http://admissions.berkeley.edu/selectsstudents)

지난 수십년간, 각 의과대학은 AAMC의 지원을 받아 

의과대학 지원자를 평가하는 기준틀을 확장시키는 작업을 해왔다. 

이러한 노력의 결과로 "holistic review"라는 이름으로 2003년 미국 대법원의 배서를 받았다. 

"고도로 개인화된, 개개 지원자의 파일을 전인적으로 평가함으로써 

지원자가 다양한 교육적 환경 속에서 어떠한 기여를 할 것인가를 판단할 수 있다."

이러한 접근법 하에서 의과대학은 

"각 지원자가 나름의 강점, 성과, 특징을 가지고 눈에 띄는 기여를 할 수 있을 것인가를 평가한다"

학부GPA, MCAT점수, 봉사단체에서 리더십 역할 등과 같은 각각의 요소들은 

지원자의 전체적인 포트폴리오/지원자 정보의 맥락에서 평가된다.

2003년 holistic review를 도입한 BUSM은 구조화된 면접, 

교수와 스텦 교육, 데이터의 체계화된 분석 등을 활용하여 

인식하고 있는, 그리고 인지하지 못하고 있는 편견을 최소화시킨다.

이렇게 선발된 학생들은, 문화적/언어적/인종적/민족적으로 이전에 그렇게 선발되지 않은 학번보다 더 다양했으며,

 GPA와 MCAT점수를 기준으로 봤을 때, 학업적으로도 동등한 수준으로 준비되어 있었다.

Modern medicine has been characterized by rapid and accelerating progress in biomedical sciences as the foundation for clinical practice. In 1910, the Flexner Report established these sciences as the core of medical education.1 

Admissions committees at U.S. medical schools have, for the past century, focused their attention largely on predictors of success in the foundational science curriculum, relying heavily on academic performance in the biologic and physical sciences and scores on the Medical College Admission Test (MCAT) in selecting applicants for medical school

Over the past decade, individual medical schools, supported by the Association of American Medical Colleges (AAMC), have been working to expand the frame of reference for evaluating applicants for medical school. These efforts have come together under the “holistic review” rubric endorsed by the U.S. Supreme Court in 2003: “highly individualized, holistic review of each applicant’s file, giving serious consideration to all the ways an applicant might contribute to a diverse educational environment.” Under such an approach, a school “seriously considers each ‘applicant’s promise of making a notable contribution to the class by way of a particular strength, attainment, or characteristic — e.g., an unusual intellectual achievement, employment experience, nonacademic performance, or personal background.’”3

The AAMC Holistic Review Project has defined holistic review in medical school admissions as “a flexible, individualized way of assessing an applicant’s capabilities by which balanced consideration is given to experiences, attributes, and academic metrics . . . and, when considered in combination, how the individual might contribute value as a medical student and future physician.” 4

Each factor, be it the undergraduate grade-point average (GPA), the MCAT score, or the leadership roles assumed in volunteer service organizations, is evaluated in the context of the complete portfolio of information available about the applicant. That is, a given level of accomplishment for one applicant may look very different in the context of another applicant with a different life story.

In 2003, the Boston University School of Medicine (BUSM) became one of a number of U.S. medical schools to launch a systematic transition from a traditional admissions model based largely on the review of academic metrics to a comprehensive, holistic review process. It was a slow and deliberative transition, but by 2008, changes in the BUSM admissions program were clear and substantial, and the effects were evident in the entering class of 2009.

The table shows one such tool: a list of desirable traits for physicians matched with the elements of applicant data that reveal or predict those traits. Direct measures of these traits are often unavailable, so proxies are used. Holistic review is an information-hungry process;

The BUSM program uses structured interviewing, rigorous training of participating faculty and staff, and systematic evaluation of data elements, all of which minimize the influence of conscious and unconscious bias. 

Since BUSM became engaged in holistic review, the profile of its entering class has changed dramatically 

Students are culturally, linguistically, racially, ethnically, and demographically more diverse than previous classes, and according to the standard measures of undergraduate GPA and MCAT score, they are at least as well prepared academically

Holistic review--shaping the medical profession one applicant at a time.

PMID:

 

23574032

 

[PubMed - indexed for MEDLINE] 

Free full text

(출처 : http://www.nytimes.com/2011/07/18/opinion/l18docs.html?_r=0)

Introduction

의과대학의 학생 선발에 있어서 학업적 성취도와 더불어 비인지적(non-cognitive), 또는 비학업적(non-academic)한 특성이 중요하다는 것은 잘 알려져 있다. 2004년 맥마스터 대학에서 개발된 이후, Dundee 대학은 multiple mini interview (MMI)를 주요한 전입학(pre-admission) 평가법으로 사용해왔다.

It is widely accepted that so-called ‘non-cognitive’ or ‘non-academic’ attributes (such as interpersonal skills and moral reasoning) are important for medical school selection in addition to academic achievement. 1 Developed and introduced at McMaster in 2004, Dundee has since adopted the multiple miniinterview (MMI) as the primary pre-admissions measure

for this purpose. Other schools in the UK are increasingly following suit.

MMI는 OSCE와 같은 형태로 여러 방에서 순차적으로 면접을 보면서, 지원자를 다양한 측면에서 바라보면서(multiple snapshots) 다양한 인성적 특성을 평가하기 위한 목적으로 쓰인다. 이러한 종류의 면접은 Eva 등에 의해서 psychometric 특성의 측정을 위해서 처음 개발되었다.

MMIs aim to assess a broad array of candidates’ personal characteristics through ratings from multiple snapshots of behaviour in an objective structured clinical examination (OSCE)-like rotational approach. This type of interview was first introduced by Eva et al.2 because of the need for an interview process with robust psychometric properties, unlike most traditional interviews.

많은 내용으로 많은 면접자들을 평가한 결과 MMI는 지원자의 행동특성에 대한 정확한 그림을 얻는데 효과적임이 밝혀졌다. 미국, 호주, 영국에서 많은 연구결과가 있었고 MMI는 점차 전세계적으로 확산중에 있다.

By testing a larger content sample with multiple independent interviewers, MMIs have demonstrated that they can offer a more accurate picture of a candidate’s behaviour.3 With compelling evidence on reliability and other satisfactory psychometric properties from the USA, Australia and the UK,2,4–8 MMIs continue to be adopted across medical and dental schools worldwide.

이제 관심은 MMI가 의과대학과 의과대학 졸업 이후에까지의 예측력을 가지는가에 대한 것에 쏠리고 있다. 많은 연구를 통해 MMI의 결과가 미래의 수행능력과 통계적으로 유의미하면서 실용적인 관계를 보인다는 것이 확인되었다.

Attention has now shifted to the ability of MMIs to predict performance in medical school and beyond. A number of studies have demonstrated that they show statistically significant and practically relevant relationships with future performance.9–11

비록 이러한 연구들이 높은 예측타당도를 보여줬지만, 대부분의 연구가 소수의 캐나다 중심의 코호트로 수행되었다는 한계가 있다.

Although these studies have successfully demonstrated predictive validity, it is clear that more research is needed as the majority of this work was based on the same small Canadian cohort

따라서 북아메리카 이외의 지역에서, 그리고 더 많은 수의 코호트에서 MMI의 예측타당도를 검증해볼 필요가 있다.

Therefore, the body of evidence examining the predictive validity of MMIs would benefit from an analysis of different and larger cohorts and from outside of North America

MMI를 활용하는 것의 효용성은 이미 확실해졌지만, 다른 입학 기준에 대해서도 같은 기대를 가질 수 있다. 따라서 MMI가 다른 기준들보다 더 예측력이 뛰어난가는 확인해 볼 필요가 있다.

Although it is certainly beneficial to consider the usefulness of MMIs, the same expectation should be set for all admissions measures.9 It is therefore important to consider the predictive ability of MMIs relative to other pre-admissions measures

Ferguson 등과 Siu와 Reiter는 의과대학에서의 성공 예측에 있어서 자기소개서는 아무런 예측력이 없음을 밝혔다. Wright와 Bradley는 자기소개서를 평가한 점수가 의과대학에서의 수행능력을 예측하지 못하는 것은 물론이고, 오히려 사회경제적 배경에  따라 특정 지원자에게 더 이득을 주는 식의 비뚤림(bias)만 가지고 있다고 밝혔다.

Ferguson et al.13 and Siu and Reiter14 reviewed predictors of success in medical school and found that there was a lack of evidence that personal statements or references have any predictive value in subsequent achievement. Wright and Bradley15 also found that not only did scores derived from the personal statement fail to predict medical school examination performance, but they were also biased towards those from more advantaged socio-economic backgrounds.

UKCAT은 지식 검사로서 의과대학과 치과대학에서 필요한 다양한 범위의 정신적 능력(mental abilities)를 평가하기 위한 시험이다.

The UKCAT (http://www.ukcat.ac.uk) is an intelligence test used to ‘assesses a range of mental abilities identified by university medical and dental schools as important’.16

여러 문헌에서 MCAT, GAMSAT, BMAT이 모두 일부 미래의 수행능력을 예측할 수 있음이 밝혀졌지만, UKCAT에서 같은 종류의 연구결과가 나온 적은 없다.

Though the literature suggests that the MCAT, GAMSAT and BMAT each have some success at predicting future performance, level of success has not been replicated so far with the UKCAT

Statistical Analysis

Correlations were adjusted for range restriction and are referred to in this study as ‘unrestricted’ correlations. Statistical significance was determined prior to correcting the correlations. This adjustment is common in predictive validity studies and is carried out to counter correlation underestimates when the observed sample is not representative of the population of interest.21,22

The strengths of correlations were compared using Cohen’s effect size interpretations (small 0.10, medium 0.30, large 0.50)24 and the US Department of Labour, Employment Training and Administration’s guidelines for interpreting correlation coefficients in predictive validity studies (‘unlikely to be useful’ < 0.11; ‘dependent on circumstances’, 0.11–0.20; ‘likely to be useful’ 0.21– 0.35; ‘very beneficial’ > 0.35).25