15년간의 비-성적기반 의과대학 선발경험의 교훈(Med Educ, 2018)

15년간의 비-성적기반 의과대학 선발경험의 교훈(Med Educ, 2018)

Lessons learned from 15 years of non-grades-based selection for medical school

Karen M Stegers-Jager

도입

INTRODUCTION

1988 년 에딘버러 선언 (Edinburgh Declaration)에 따르면 의학 교육의 목표는 '모든 사람의 건강을 증진시킬 의사를 양성하는 것'입니다. 그때 그 목표는 많은 곳에서 실현되지 못했습니다 .1 불행히도, 오늘날까지 우리는 여전히 그 목표를 실현하지 못했습니다. 2006 년 Betancourt는 진행중인 인종적, 민족적 불평등을 제거하기 위해 보건 의료 인력의 소외된 소수 민족 비율을 높이는 것에 대한 의과 대학의 역할에 대해 설명했습니다 .2 의료 혜택 조항 개선, 특히 소수 민족에 대한 의료 제공 향상은 현재의 widening access initiative에 대한 논거 중 하나이다 .3,4 이러한 이니셔티브, 특히 미국과 영국에서 소수 민족 및 1 세대 대학생과 같은 비 전통적인 학생들은 여전히 의과대학에서 과소-대표되고 있다. 그럼에도 불구하고 의과 대학에서 취한 조치로 인한 진전이있었습니다. 에딘버러 선언에서 제시 한 행동 중 하나는 '지적 능력과 학업 성취를 뛰어 넘어 개인적 특성 평가를 포함하는 의대생 선발 방법 채택'이었습니다.

According to the 1988 Edinburgh Declaration,1 the aim of medical education is ‘to produce doctors who will promote the health of all people’. At that time, that aim was not being realised in many places.1 Unfortunately, until today, we have still not realised that aim. In 2006, Betancourt described the role medical schools had to play in increasing the proportion of underrepresented minorities in the health care workforce in order to eliminate the on-going racial and ethnic disparities.2 The promise of improved health care provision, in particular for minority populations, is also one of the arguments for current widening access initiatives.3,4 Despite these initiatives, in particular in the USA and the UK, non-traditional students, such as ethnic minority and first-generation university students, are still under-represented in medical schools.3,5 Nevertheless, there has been progress, probably because of actions taken by medical schools. One of the actions suggested by the Edinburgh Declaration was to ‘Employ selection methods for medical students which go beyond intellectual ability and academic achievement to include evaluation of personal qualities’.

의과대학 선발에서 인성에 대한 평가를 확대하는 첫 번째 근거는 이것이 학업 척도로만 선발되는 사람들보다 의사로서 더 잘 수행 할 학생들의 선택으로 이어진다는 것입니다.

A first rationale behind extending medical school selection procedures with the evaluation of personal qualities is that this will lead to the selection of students who will perform better as a doctor than those who are selected on the basis of academic measures only.

지금까지 선발에서 개인적 자질을 측정하려는 시도는 윤리적 의사 결정, 의사 소통 및 협동 기술과 같은 기술에 초점을 맞추어왔다.

So far, attempts to measure personal qualities in selection have been focused on skills such as ethical decision making, communication and collaboration skills.4,7,8

최근에는 의대 선정 기준으로 창의력과 혁신의 잠재력을 포함 할 것을 촉구했다.

Recently, there have been calls to also include potential for creativity and innovation as a selection criterion for medical school.12

현재의 증거에 따르면, 맥락화 된 MMI7 또는 SJT4,8을 사용하여 비 학업 기술을 측정하려는 시도는 자기보고 설문지를 사용하여 바람직한 특성을 측정하려는 시도보다 더 효과적이다.

Current evidence shows that attempts to measure nonacademic skills using the contextualised MMIs7 or SJTs4,8 are more effective than attempts to measure desirable traits using self-report questionnaires.16,17

성적 이외의 기준을 포함하는 두 번째 근거는 인구집단을 대표하는 보건 인력을 확보하는 것인데, 이는 특히 소수 집단의 의료 서비스 개선으로 이어질 것이기 때문이다.

A second rationale for the inclusion of criteria other than grades is to ensure a representative health workforce, as this will lead to improved health care provision, in particular for minority populations.3,4

불행히도, 비-성적 기반 선발기준의 도입은 학생의 다양성과 관련하여 혼재된 결과를 보여주었습니다. 3,4,18-20

Unfortunately, the introduction of nongrades-based selection criteria has shown mixed results with respect to student diversity.3,4,18–20

최선의 (미래) 의사를 선발하고 대표 의료 인력을 확보하려는 목표는 다음과 같은 미해결 문제로 인해 더욱 복잡해집니다.

The aims of selecting the best (future) doctors and ensuring a representative health care workforce are further complicated by the following unresolved issues.

선발의 목표는 의료 훈련에 성공할 사람과 궁극적으로 유능한 의사가 될 사람을 확인하는 것입니다. 이것은 자체적으로 이미 의과 대학에 대한 첫 번째 딜레마를 제시합니다 : 

선발의 초점은 최고의 학생에 맞춰져야 하는가 최고의 의사에 맞춰져야 하는가? 

달리 말하자면, 예측하고자하는 성과는 무엇인가?

the goal of selection is to identify those who will be successful in medical training and who will ultimately become competent doctors. This in itself already presents a first dilemma for medical schools: should the focus be on selecting the best students or the best doctors? Put differently, which outcomes do we want to predict?

만약 '최고의 의사'에 초점을 맞추고 싶다면 다른 딜레마에 직면하게됩니다. 좋은 의사의 정의는 무엇입니까? 우리가 필요로 하는 의사는 한 가지 종류인가 혹은 다양한 종류인가? 관련 어려움은 선택 과정에서 평가 된 개인적 특성과 관련 될 수있는 미래의 실행에서 신뢰할 수있는 성과 측정 방법을 찾는 방법입니다.

If we would like to focus on the best doctors, we are confronted with another dilemma: What is the definition of a good doctor? Do we need one type of doctor or different types? A related difficulty is how to find credible measures of performance in future practice that can be related to the personal qualities assessed during selection.

그럼에도 불구하고 수년 후에 훌륭한 의사가 될 사람이 누구인지를 입학시에 예측하는 것은 극히 어렵습니다.

Nevertheless, it remains extremely difficult to predict at the time of admission to medical school who will be a good doctor many years later.

최고의 학생들을 선택하는 데 중점을 둔다면 추가적인 질문이 제기됩니다. 최고의 학생이 누구인지는 어떤 퍼포먼스를 기준으로 삼느냐에 따라 다르다. Lievens와 동료는 대인 관계 기술을 측정하는 선택 도구가 대인 관계 과정을 포함하는 커리큘럼에 대한 인지 기반 측정보다 단지 incremental한 validity만을 보여 주었다.

A focus on selecting the best students raises additional questions. Who will be the bestperforming students depends on the kind of performance you are looking for. Lievens and colleagues,26 found that a selection tool measuring interpersonal skills only showed incremental validity over cognitively oriented measures for curricula that included interpersonal courses.

또 다른 문제는 [개인의 자질이나 기술을 기반으로 학생을 선발하는 것]과 [의대에서 이러한 자질이나 기술을 가르치고 개발하는 것] 중 무엇이 더 효과적 일지 여부입니다. 증거에 따르면 적어도 일부 자질은 훈련 할 수있는 것으로 나타 났지만, 사람들은 높은 학업 능력 외에도 특정한 기술과 자질을 처음부터 갖춰야 할 필요가 있다고 주장한다.

Another issue is whether it would be more effective to select students based on personal qualities or skills or to teach and develop these qualities or skills at medical school. Although evidence shows that at least some qualities are trainable,27 others argue that specific skills and qualities, next to high academic ability, may need to be present from the start.17

개인적 자질 평가를 포함하는 선정 절차에 대한 요청은 소위인지 (또는 학술 또는 지적) 및 비인지 (또는 비 학문 또는 비 지적) 테스트 또는 기준 간의 구분을 이끌어 냈습니다. 

• 그러나 비인지 도구는 인지적 구성 요소를 포함 할 가능성이 매우 높다. 

• 또한 대학 예비 점수 (pu-GPA)와 같은인지 척도는 효율적인 학습 전략과 시간 관리와 같은 인성 특성을 반영 할 수있다. 

• 비 학업 및 학문적 자질은 독립적 인 것이 아닙니다. 

• 학업 성취에 대한 성공은 학업 기준에서 성공할 수 있으며, 그 반대도 마찬가지입니다. 

따라서 '입학 준거의 확대'가 더 적절한 이야기일 수 있습니다 지적 능력과 pu-GPA의 전통적인 척도를 뛰어 넘습니다.

The call for selection procedures that also include the evaluation of personal qualities has led to a divide between so-called cognitive (or academic or intellectual) and non-cognitive (or non-academic or non-intellectual) tests or criteria. However, noncognitive instruments are very likely to also include cognitive components,29 and cognitive measures like pre-university grade point average (pu-GPA) might also reflect personal qualities such as efficient study strategies and time management.30 Additionally, several studies have shown that non-academic and academic qualities are not independent: success on non-academic criteria enables success on academic criteria and vice versa.7,31,32 Hence it might be more appropriate to speak about ‘broadened admission criteria’,21 referring to criteria beyond traditional measures of intellectual ability and pu-GPA.

네덜란드에서 비-성적-기반 선발

NON-GRADES-BASED SELECTION IN THE NETHERLANDS

네덜란드에서는 2000 년 이래로 아주 최근까지 학생들은 대학 진학을 위해 weighted 전국단위 추첨 시스템 또는 의과 대학 특정 선발 절차에 의거하여 의과 대학에 진학했습니다. 의대가 자체적으로 선발 기준을 결정할 수는 있지만, pre-university 성적은 사용할 수 없었다. 전국 추첨 시스템 옆에 학교-특이적 절차가 도입 됨으로써 자연 실험의 기회가 만들어졌습니다. 또한, 처음부터 의과 대학은 성적 이외의 기준을 고려해야했습니다. 학교-특이적 절차를 통해 입학 한 학생의 비율은 2000 년의 최대 50 %에서 현재 100 %로 꾸준히 증가했습니다. 2017-2018 학년부터는 전국단위 추첨 제도가 폐지되었습니다. 이 폐지와 함께 네덜란드 의과 대학은 현재 학교-특이적 절차에 pu성적을 포함시킬 수 있습니다.

In the Netherlands, since 2000 until very recently, students were selected for medical school either on the basis of a national lottery system that was weighted for pre-university grades or on medical school-specific selection procedures. The medical schools themselves could decide on their selection criteria, but were not allowed to use pre-university grades. The introduction of these school-specific procedures next to the national lottery system created opportunities for natural experimentation. Additionally, right from the start, medical schools had to consider criteria other than grades. The percentage of students who are admitted via the school-specific procedures has steadily increased from a maximum of 50% in 2000 to currently 100%. Starting from the academic year 2017–2018, the national lottery system was abolished. With this abolishment Dutch medical schools are now permitted to include pre-university grades in their school-specific procedures.

관련된 질문은 초점이 (부적절한) 개인적 자질에 근거하여 select in 해야하는지 select out 해야하는지이다.

A related question is whether the focus should be on ‘selecting in’ or on ‘selecting out’ on the basis of (unsuitable) personal qualities.28

참가 효과?

A participation effect?

아주 최근까지, 자발적인 학교-특이적 선발 절차 중 하나에서 떨어진 학생들은 같은 해 추첨 시스템을 통해 입학 할 기회를 얻었습니다.

Until very recently, students who were initially rejected in one of the voluntary school-specific selection procedures still had a chance of admission via the lottery system in the same year.

이러한 2단계 선발 과정에서, 학교-특이적 선발에 참여하지 않은 학생에 비해 참여한 학생이 유의하게 더 낮은 탈락율을 보였다. 한 가지 설명은 선발 과정에서의 자기-선발이었다. 또 다른 설명은 선발 과정에 참여하는 것이 의과 대학에 진학하려는 더 높은 동기 부여와 관련이 있으며, 이것이 의과대학에 진학 할 추가 기회를 파악하는 방식으로 반영된다는 것이다.

One of the studies by our group showed a significant lower dropout rate for participants than for non-participants in our two-phase selection procedure.33 An explanation was self-selection instigated by the selection procedure. An alternative explanation is that participation in the selection procedure is associated with a higher motivation to become a medical doctor, reflected in grasping this additional chance to enter medical school.33

덴마크와 네덜란드의 다른 연구들도 소위 참여 효과를 나타냈다. 명백히, 학업 성과를 예측할 때, 시간 소모적 인 자발적 선발 절차에 참여하는 것이 단순 합격보다 더 중요하다 .31,33,37

Other studies, from Denmark and the Netherlands, also revealed this so-called participation effect: Apparently, in predicting academic performance, participation in a time-consuming voluntary selection procedure is more important than acceptance.31,33,37

불행하게도, 후속 다중 현장 연구에서, 참여 효과는 교육과정과 선발 절차에서 제도적 차이에 의해 매개되는 것으로 결론 지었다.

Unfortunately, in a follow-up multi-site study , the conclusion was that participation effects seem to be mediated by institutional differences in curricula and in selection procedures.38

입학 전 교과외활동 평가

Assessing pre-university extracurricular activities

우리 대학을 포함한 여러 네덜란드 의과 대학은 예비 대학 교육 (pueca) 동안 지원자의 교과외 활동을 통해서 비-학업적 스킬을 평가했습니다 .31,33이 방법은 단일 테스트를 기반으로 한 것이 아니라 장기간에 걸친 학생들의 발달을 반영하기 때문에 authenticity가 증가한다는 장점이 있습니다. 

Several Dutch medical schools, including our own, have operationalised non-academic skills by examining applicants’ extracurricular activities during pre-university education (puECAs).31,33 This method has the advantage of an increased authenticity, because it reflects students’ development over the last couple of years instead of being based on a ‘single’ test administration.

비록 puECAs를 자기소개서의 한 형태로 볼 수는 있지만, 적어도 네덜란드 의과 대학에서의 pu-ECA 평가는 자유로운 형식으로 기술된 자기소개서를 분석하는 것과는 다르다 . 고도로 구조화 된 지원서를 고도로 구조화 된 평가서식과 함께 사용하면 평가자의 판단을 높은 수준으로 구조화할 수 있다. 이는 취업 면접이 구조화 정도가 높아지면 긍정적으로 작용하는 것과 같은 방식으로, 준거-관련 타당도에 긍정적으로 작용할 수 있다. 결과적으로 pu-ECAs는 판단 과정이 충분히 구조화되어 있으면 선택 도구로 성공적으로 사용될 수있다.

It is good to note that although puECAs can be seen as a form of personal statements,17 their assessment, at least in the Dutch medical schools, is different from analysing the content of free response personal statements, as for example described by Ferguson et al.42 The use of a highly structured application form in combination with a highly structured rating form provides a high degree of structure to the raters’ judgements. This may positively affect the criterion-related validity, in the same way as job interviews are positively affected by the degree of structure.43 Consequently, puECAs may be used successfully as a selection tool provided that the judgement process is sufficiently structured.

활동 표본

Work samples

인사 선택에서 널리 활용된 work sample의 사용은 미래에 기대되는 행동의 표본이 곧 미래에 직장에서의 성공의 예측인자로 간주되는 상황을 의미한다.44 Sign 대신 Sample에 초점을 맞춘다는 점에서 의학 교육에서 사용되는 전통적인 선택 방법과 구별된다 .45 이러한 접근 방식의 논리는 행동의 일관성 개념에 따라 predictor와 criterion이 비슷할수록 예측 타당도가 높아진다는 사실이다 . 의과대학 초반의 퍼포먼스가 미래 성적의 가장 좋은 예측 지표인 것과 같이, 대학에 입학해서 처음 이수할 과정과 유사한 입학 시험을 개발하는 것은 제법 가능성이 있는 듯 하다.

The use of work samples, well known in personnel selection, refers to a situation where a sample of future expected behaviour is taken as a predictor of future success in the job.44 The focus on samples instead of signs (i.e. distinguishable constructs, traits or skills) distinguishes them from traditional selection methods used in medical education.45 The reasoning behind this approach is that, following the notion of behavioural consistency,44 the more the predictor and criterion are alike, the higher the predictive validity will be.21 As early performance is the best predictor of future (medical school) performance,46–48 developing an admission test similar to the first course in the university programme sounds promising.

예를 들어 지원자는 비디오 촬영 강연을 보거나 집에서 독립적으로 입문 수준의 특정 자료를 조사한 다음 대학에서 하는 것과 비슷하게 대학에서 시험을 치러야했습니다. 이러한 방식은 대규모 집단에 대한 효율적 것으로 나타났는데, 그 이유는 이러한 방식으로 설계한 교육 프로그램에서의 표본 행동sampled behavior의 대표성이 높기 때문이다. 실제로 암스테르담, 로테르담,그로닝겐에서 적용되는 선정 절차에는 '강의 시험'을 포함하고 있다.

 In all the above studies, applicants were required to watch a videotaped lecture or study introductory domain-specific material independently at home, followed by an examination at the university, just like the reality at university. Positive findings for this efficient method for large groups49 are explained by the high representativeness of the sampled behaviour for the educational programme it was designed for.51 Actually, the selection procedures applied in  Amsterdam, Rotterdam and Groningen also contain ‘lecture tests’.34,35

남은 질문은, 샘플-기반 테스트로 측정되는 것이 정확히 무엇이며, 그 결과를 학업적 척도로 봐야하는지 비학업적 척도로 봐야하는지 여부이다. De Visser 등은 이와 같은 curriculum sample 접근법은 학업 기반의 선발이라고 하지만, 그럼에도 불구하고 인지적 능력, 동기 부여, 학습 시간, 전략적 지식의 혼합치를 측정한다고 말했다.

The question of course is, what exactly is measured by sample-based tests, and whether such tests should be considered academic or non-academic measures. De Visser et al.49 describe their curriculum sample approach as selection on an academic basis, although it could also be argued that the samplebased approaches described above measure a mixture of cognitive ability, motivation, time spent studying, and tactic knowledge.21

또 하나의 중요한 점은, 이 방식은 '최고의 의사'보다 '최고의 학생'을 선택하는 데 중점을 둔다는 점이다.

It is important to note that the examples mentioned here are focused on selecting the best students rather than the best doctors.

SJT

Situational judgement tests

SJT는 성실성, 공감, 팀워크와 같은 의사에게 중요한 다양한 개인적 자질을 평가할 수있는 신뢰할 수 있고 타당한 방법으로 꾸준히 보급되었습니다 .17 이러한 긍정적 발견 덕분에 네덜란드 의과 대학에서는 학교 특정 선택 절차의 한 요소로 SJT 사용을 시작했습니다 

SJTs have consistently been shown to be a reliable and valid method to assess various personal qualities that are important to medical doctors, such as integrity, empathy and teamwork.17 Thanks to these positive findings, Dutch medical schools have started using (or piloting) SJTs as part of their school-specific selection procedures.

Erasmus MC Medical School에서는 영국에서 개발 된 integrity-based의 SJT (네덜란드어로 번역 된 53)를 파일럿 테스트했습니다. 우리는이 노력에서 두 가지 중요한 교훈을 배웠습니다. 

• 첫째, 해외에서 개발 된 특정 상황에 적합한 SJT를 사용할 때에는 신중해야합니다. 원래 영국 점수 키와 네덜란드 전문가를 사용하여 개발 한 점수 키 간에는 상당한 차이가있었습니다. 또한 네덜란드 참가자들은 모든 문항이 네덜란드 맥락에 적절하다고 간주하지는 않았습니다. 

• 마지막으로, 영국 맥락에서와 동일한 채점 방법을 사용하여 내부 일관성 신뢰성이 낮았다. 이러한 결과에 이어 우리는 28가지의 대안 점수 방법을 탐구하기로 결정했습니다 .54 이것은 두 번째 중요한 교훈을 선사합니다 : 의과 대학 선발 과정에서 SJT를 사용하게 된다면 반드시 채점 방법을 철저히 검토해야 한다. 우리는 적용된 채점 방법이 SJT 점수의 내부 일관성 신뢰도와 불리한 영향에 강한 영향을 준다는 것을 발견했다.

At Erasmus MC Medical School we first pilot-tested an integrity-based SJT developed in the UK,53 which was translated into Dutch. We learned two important lessons from this endeavour. 

• First, one should be cautious in using SJTs developed abroad and tailored to the specific contexts. There were substantial differences between the original UK scoring key and the scoring key we developed using Dutch experts. Additionally, not all items were considered relevant or appropriate to the Dutch context by our participants.

• Finally, using the same scoring method as in the UK context revealed a low internal consistency reliability. Following on from these findings we decided to explore 28 (!) alternative scoring methods.54 This revealed a second important lesson: the increased use of SJTs in medical school selection must be accompanied by a thorough examination of the scoring method to be used. We found that the applied scoring method has a strong influence on the internal consistency reliability and adverse impact of an SJT score.54

예비적 연구 결과들을 살펴보면, 딜레마 상황에서 "무엇을 해야하는지"가 아니라 "무엇을 해서는 안되는지"를 인식하는 능력에 기초하여 SJT를 채점하면 convergent validity가 향상되었다.

Preliminary findings suggest that scoring an SJT based on the ability to recognise what one should not do as opposed to the ability to recognise what one should do in a challenging situation strengthens the convergent validity of that SJT (unpublished results).

예상치 못했던 것은, integrity 관련 측면을 선발 절차에 포함하는 것에 대해 네덜란드에서 논란이 있었습니다. 이에 반대하는 사람들은 integrity 문제에 대해 학생을 판단하는 것이 공정한 것인지 의심스럽고, 이러한 행동은 가르 칠 수 있다고 제안합니다. 따라서 integrity에 대해 점수가 낮은 지원자를 불합격시키기보다, 이들에게 '경고red-flag'를 하고, 추가 교육을 제공하는 것이 옳다고 주장한다. 심지어 어떤 사람들은 integrity 척도에 대한 지원자의 점수를 의대에 보고하는 것이 비윤리적인 것으로 말하기도 한다. 이들은 그러한 점수는 지원자에게만 제공되어야 한다고 주장한다. 이것은 Patterson et al.17의 성격 평가가 지원자 자신을 위한 자료로 사용되어야지, 그 자체가 선발도구로 사용되어서는 안된다는 발언과 관련이있다.

Unexpectedly, our intention to include integrityrelated aspects in our selection procedure has caused some controversy in the Netherlands. Adversaries doubt whether it is fair to judge young adults on integrity-related issues and propose that these behaviours are teachable. Therefore, it might be better to ‘red-flag’ applicants with low scores on integrity-related measures and offer them (additional) training instead of rejecting them. Others even go so far as to say that it is unethical to report applicants’ scores on integrity-related measures to the client (the medical school), and state that such scores should only be reported to the applicants themselves, who then can decide whether or not to continue with their application.55,56 This is related to the remark made by Patterson et al.17 that personality assessments should not be used as a selection method on their own, but rather as input for selection interviews.

그러나 integrity 기반의 SJT는 성격 특성 (행동 방법)보다는 지식 및 기술 (행동 방법)을 측정하기위한 것입니다. 우리의 의견으로는 challenging한 상황에 적절하거나 부적절한 반응을 구분하는 능력은 미래의 의사에게 필수적입니다.

However, our integrity-based SJT is intended to measure knowledge and skills (how one should act) rather than personality traits (how you would act). In our opinion, a certain ability to identify appropriate and inappropriate reactions to challenging situations is essential for our future medical doctors.

변화하는 교육과정의 영향

Effect of changing circumstances

지금까지 네덜란드의 연구 결과는 긍정적인 효과 (즉, 추첨된 학생과 비교했을 때 선발된 학생의 실적이 더 좋음)와 특히 최근의 연구에서 거의 효과가 없다고보고 한 몇 가지 증거가 서로 상충되는 모습을 보였습니다. 한 가지 가능한 설명은 선발을 통해 입학한 학생의 비율이 증가한 것입니다 (50 %에서 100 %까지). 또한, 학교-특이적 선발 절차를 사용하는 의과 대학의 수가 이제 모든 학교로 증가했습니다.

So far, studies from the Netherlands have reported conflicting evidence, with some reporting positive effects (i.e. better performance for selected students compared with lottery-admitted students) and some, especially more recent studies, reporting little or no effect. A possible explanation is the increased proportion of students admitted through selection (from 50% to 100%). Moreover, the number of medical schools using school-specific selection procedures increased from only a few to currently all.

모든 의대생을 추첨으로 선발했던 당시의 자료에 따르면 네덜란드의 모든 의과 대학의 졸업률은 약 85 % 였고, 높은 기본 요율base rate을 의미한다. 이 높은 base rate의 가장 큰 이유는 네덜란드의 의과 대학 지원자가 매우 동질적이라는 사실입니다 .40 중등 학교를 가장 높은 수준으로 졸업 한 학생 (pre-university 수준)과 의학에 필요한 6 과목을 지원한 학생만이 의과대학에 지원할 수 있고 이는 모든 고등학생의 10 % 미만이다.

Data from the time when all medical students were admitted via lottery show that for all Dutch medical schools the graduation rate was about 85%,58 suggesting a high base rate. A main reason for this high base rate is the fact that medical school applicants in the Netherlands form a very homogenous group.40 Only students who completed the highest level of secondary school (equals pre-university level) and took the six subjects required for medical school are allowed to apply (less than 10% of all high school students).

히긴스 (Higgins)의 규제 초점 이론 (regulatory focus theory)에 따르면, 입학을 위한 pu-ECA 참여가 필요하다는 사실이 보다 투명해졌을 때, 신청자는 의대에 진학 할 기회가 있기 위해 이것을해야한다고 느꼈기 때문에 pu-ECAs에 참여하기로 선택했다고 볼 수 있다. 그들이 그것을 '원했기'때문에 한 것이 아니다.

following Higgins’ regulatory focus theory,59,60 when the requirement of puECA participation for admission became more transparent, applicants mayhave chosen to participate in puECAs because they felt they ‘had to’ do this to have a chance to get into medical school, and not because they ‘wanted to’. 

보다 일반적인 교훈은 각 의대는 선발절차가 지원자 행동에 영향을 미친다는 사실을 알고 있어야한다는 것입니다. 이것은 신청자가 커리큘럼보다 선발 과정에서 더 많은 의대를 선택하도록하는 경우 특히 중요합니다.

The more general lesson from this is that medical schools should be aware of the possible effects of selection procedures on applicants’ behaviour. This is especially important as applicants have been shown to base their choice of a medical school more often on the selection procedure than on the curriculum.61

부정적 영향

ADVERSE IMPACT

첫째, 선발도구 사용의 효과로 발생하는 학생들의 다양성에 미치는 영향은 주어진 선발도구의 가중치와 선발 비율에 달려 있습니다.

First, the effect of using an instrument with reduced or no adverse impact on student diversity depends on the weight given to the instrument and the selection ratio.

둘째로, 서로 다른 선택 기준이 동시에 사용되어야한다 .32 이렇게 함으로써 학점 요건이 충족되었을 때만 개인적 자질을 고려함으로써 다양성을 제한하게 되는 효과를 방지한다 .20,62 또한 다양성을 증가시키기 위해서는 (모든 선발준거에서 높은 점수를 받아야 하는 비보상적 방법보다) 보상적 방법(한 영역의 낮은 점수가 다른 영역의 높은 점수로 보상되는)을 사용해야 한다. 현재 Erasmus MC 의과 대학에서는 보상 시스템이 사용됩니다. 선택 절차의 세 가지 요소 (학업 및 비 학업 기준의 혼합)에 대한 점수는 z 스코어로 변환되며, 지원자는 평균 z- 점수에 따라 순위가 결정됩니다.

Second, different selection criteria should be used concurrently.32 This prevents the diversity-limiting effect of considering personal qualities only once grade requirements have been met.20,62 Additionally, to increase diversity it might be better to allow applicants to make up for lower scores on some criteria with high scores on others (compensatory) instead of expecting them to score highly on all selection criteria (noncompensatory).32 Currently, at the Erasmus MC medical school a compensatory system is used. Scores on the three different elements of our selection procedure (a mixture of academic and non-academic criteria) are transformed into zscores, and applicants are ranked according to their average z-score.

셋째, 선발 과정에서 비학업적 기준을 포함하는 것은 의대생의 다양성을 증가시키는 데 도움이된다. 그러나 이전에이 논문에서 옹호 한 바와 같이 선발 절차는 비 학업적 기준에만 의존해서는 안되며 학업적 기준도 포함해야 한다 .33,40

Third, including non-academic criteria in the selection procedures does help to increase the diversity of medical student populations.32 However, as advocated previously in this paper, selection procedures should not rely on non-academic criteria alone, but should also include academic criteria.33,40

넷째, 비 전통적인 지원자에게는 자기 선택 (self-selection) (즉, 선발에 지원하지 않음)이 생길 수 있음을 인식해야합니다. 우리가 앞서 논한 바와 같이, 비 전형적 배경을 가진 지원자의 경우에 선발절차에 의해 선동된instigated 자기선발의 효과가 더 강력하다는 것을 배제 할 수 없다.

Fourth, one should be aware of self-selection (i.e. resulting in not applying) in non-traditional applicants. As we have argued previously,32 it cannot be ruled out that self-selection instigated by selection procedures is stronger in applicants from non-traditional backgrounds.

마지막으로, 선발절차는 또한 학생 인구의 성별 구성에 영향을 미칠 수 있습니다. SJT와 같은 비 학문적 성격을 측정하는 도구는 여학생을 선호하는 것으로 나타 났지만 적성 검사는 남성을 선호하는 것으로 나타났습니다 (남성 지원자는 여성 지원자보다 적성 검사에 입학 할 가능성이 높음)

Finally, the choice of selection procedure may also influence the gender composition of the student population. Aptitude tests were found to favour men (i.e. male applicants had a higher chance of being admitted based on aptitude tests than female applicants),64 whereas instruments measuring nonacademic qualities such as SJTs seem to favour female students.4

결론

CONCLUSION

첫째, 자발적 선발 절차에 참여한 학생들이 참여하지 않은 학생보다 의대에서 더 나은 성적을 냈다는 점에서 참여 효과가있는 것으로 보인다. 그러나 그 효과의 정도는 의대의 커리큘럼과 선발 과정에 달려 있습니다.

First, there appears to be a participation effect, in that students who participated in voluntary selection procedures performed better at medical school than nonparticipants. However, the magnitude of the effect depends on the curriculum and the selection procedure of the medical school.

둘째, 대학 진학을 위한 교과외 활동을 의과 대학 선발에서 사용하는 것은 판단 과정이 충분히 구조화되어있는 한, 탈락률이 낮아지고 전임상 및 임상 성적이 향상되는 것으로 보인다.

Second, using pre-university extracurricular activities for selection to medical school seems to lead to lower dropout rates and better preclinical and clinical performance, provided that the judgement process is sufficiently structured.

셋째, 특히 커리큘럼에서 가장 잘 수행 할 학생들을 선발하기 위해 커리큘럼 샘플을 사용하는 것이 유망한 선택 방법입니다.

Third, the use of curriculum samples is another promising selection method, particularly when the aim is to select those students who will perform best in your curriculum.

넷째, SJT와 같은 맥락화 된 도구는 지역 맥락에 맞게 조정되어야하며 사용되는 채점 방법에 대해 면밀히 조사해야한다.

Fourth, contextualised instruments such as SJTs should really be tailored to the local context and should be accompanied by a careful examination of the scoring method to be used.

다섯째, 선정 절차에서 (특정) 개인적 자질에 대한 평가를 포함시킬 때 논란의 가능성을 인식해야합니다.

Fifth, one should be aware of the possibility of controversy when including the assessment of (certain) personal qualities in selection procedures.

여섯째, 상황이 변화하면(선발 비율을 높이거나, 선발 기준에 맞춘 지원자의 적응적 행동 등) 선발 방법의 예측 타당성을 감소시킬 수있다.

Sixth, changing circumstances, such as higher selection ratios or applicants’ adapting behaviour to meet the selection criteria, may decrease the predictive validity of selection methods.

마지막으로, 악영향과 관련하여 의과 대학의 주요 권고안은 타당성과 다양성에 모두 부합 할 수 있도록 학업적 및 비학업적 선택 도구의 조합과 중요성에 대해 주의 깊게 생각하는 것입니다 .4,17,32 , 65

Finally, with respect to adverse impact the main recommendation for medical schools would be to carefully think about a combination and weighting of academic as well as non-academic selection instruments that would fit both the needs of validity and of diversity.4,17,32,65

12 Patterson F, Zibarras L. Selecting for creativity and innovation potential: implications for practice in healthcare education. Adv Health Sci Educ 2017;22:417–28.

30 Schripsema NR, van Trigt AM, Borleffs JCC, CohenSchotanus J. Underlying factors in medical school admissions. Med Educ 2015;49 (6):639–40.

47 Stegers-Jager KM, Themmen APN, Cohen-Schotanus J, Steyerberg EW. Predicting performance: relative importance of students’ background and past performance. Med Educ 2015;49 (9):933–45.

49 De Visser M, Fluit C, Fransen J, Latijnhouwers M, Cohen-Schotanus J, Laan R. The effect of curriculum sample selection for medical school. Adv Health Sci Educ 2017;22:43–56.

---

Med Educ. 2018 Jan;52(1):86-95. doi: 10.1111/medu.13462. Epub 2017 Oct 6.

Lessons learned from 15 years of non-grades-based selection for medical school.

Stegers-Jager KM1.

Author information

1

Institute of Medical Education Research Rotterdam, Erasmus MC, University Medical Centre Rotterdam, Rotterdam, The Netherlands.

Abstract

CONTEXT:

Thirty years ago, it was suggested in the Edinburgh Declaration that medical school applicants should be selected not only on academic, but also on non-academic, attributes. The main rationale behind extending medical school selection procedures with the evaluation of (non-academic) personal qualities is that this will lead to the selection of students who will perform better as a doctor than those who are selected on the basis of academic measures only. A second rationale is the expectation that this will lead to a representative health workforce as a result of reduced adverse impact. The aims of this paper are (i) to describe what can be learned about the use of selectioncriteria other than grades from over 15 years of Dutch experience and (ii) to summarise current knowledge on the issue of adverse impact in relation to non-grades-based selection.

METHODS:

A narrative review was undertaken of the (published) evidence that has resulted from non-grades-based school-specific selectionprocedures in the Netherlands and from recent explorations of the effect of the use of non-grades-based selection criteria on student diversity.

RESULTS:

The Dutch evidence is grouped into five key themes: the effect of participation in voluntary selection procedures, the assessment of pre-university extracurricular activities, the use of work samples, Dutch experiences with situational judgement tests and the effects of changing circumstances. This is followed by several lessons learned for medical schools that aim to increase their student diversity.

CONCLUSION:

Over the last 30 years, important steps towards reliable and valid methods for measuring non-academic abilities have been taken. The current paper describes several lessons that can be learned from the steps taken in the Dutch context. The importance of sharing evidence gathered around the globe and building on this evidence to reach our goal of predicting who will be a good doctor is acknowledged.

© 2017 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

Comment in

• Selecting medical students: considering qualities other than academic ability. [Med Educ. 2018]

PMID:

 

28984374

 

PMCID:

 

PMC5765503

 

DOI:

 

10.1111/medu.13462