의학교육 수련생 선발을 위한 추첨 활용의 논리적 근거: 수십년의 네덜란드 경험(J Grad Med Educ. 2021)

의학교육 수련생 선발을 위한 추첨 활용의 논리적 근거: 수십년의 네덜란드 경험(J Grad Med Educ. 2021)
Rationales for a Lottery Among the Qualified to Select Medical Trainees: Decades of Dutch Experience
Olle ten Cate, PhD

 

많은 수의 한정된 자리를 두고, 후보 중 '최고의' 지원자를 뽑아야 한다는 대학원 의학교육의 강박관념은 답답하고 시간이 많이 걸리는 채용 과정을 만들어냈다. 이 과정에서 많은 지원자나 프로그램이 실망할 수밖에 없어 보인다. 의과대학과 레지던트 프로그램 또한 엄청난 시간과 노력을 들인다. 대체로 동등한 후보들 사이에서 타당하고 합리적인 선택을 할 수 없을 때, 무작위 선택인 추첨이 나타납니다. USMLE(U.S. Medical Licensing Examination) 1단계 점수가 2022년부터 통과/실패로만 보고됨으로써 미국 레지던트 프로그램 선발이 더 이상 여기에 의존할 수 없는 상황에서, 추첨 시스템의 논리는 고려해볼 가치가 있을 것이다.

Graduate medical education's obsession with choosing the “best” applicants, among many candidates for a finite number of positions, has produced a frustrating and time-consuming recruitment process. That many applicants or programs may be disappointed by this process seems unavoidable. Medical schools and residency programs expend enormous amounts of time and effort as well. When no valid, rational choice among roughly equal candidates can be made, a random choice—a lottery—emerges. At a time when the selection for US residency programs can no longer rely on United States Medical Licensing Examination (USMLE) Step 1 scores as a filter—from 2022 they will only be reported pass/fail1–4—it may be worth considering the rationales for a lottery system.

메트릭과 메리트의 폭압
Tyrannies of Metrics and Merit

첫째, Jerry Z. Muller의 The Tyranny of Metrics와 마이클 샌델의 The Tyranny of Merit를 읽은 교육자라면 의대생과 레지던트 선발 과정에 대해 다시 생각해 볼 수도 있다.5.6

• 역사학자 뮬러(Muller)는 성과 측정이 [중요한 것]에서 [측정 가능한 것]으로의 전환되는 것이 어떠한 방식으로 "메트릭 고정matrix fixation"으로 이어지는지를 설명한다. 
• 하버드대 철학자 샌델은 능력merit에 대한 보편적인 집착fixation이 인생의 성공과 실패는 모두 자신의 노력과 재능, 또는 그 실패에 기인할 수 있다는 환상을 어떻게 먹여 살리는지를 자세히 설명한다. 이러한 장점 집착은 기회, 행운, 그리고 집안 배경이 어떻게 성공을 형성하는지 무시한다. 성공하지 못한 자들이 굴욕감과 원망감을 갖고, 사회적 파장을 초래하는 잘못된 행태다. 

First, educators who read The Tyranny of Metrics by Jerry Z. Muller and The Tyranny of Merit by Michael J. Sandel may rethink medical student and resident selection processes.5,6  

• Historian Muller explains how the measurement of performance frequently leads to “metric fixation,” a shift from what is important to what is measurable, with the unintended consequence of metrics-based rewards that no longer serve the intended purpose of the performance.
• Harvard philosopher Sandel elaborates on how the universal fixation on merit feeds the illusion that success and failure in life can all be attributed to one's own efforts and talents, or failures thereof. This merit fixation disregards how opportunities, luck, and family background also shape success. It wrongly leaves those who do not succeed with a sense of humiliation and resentment, with far-reaching societal consequences.

두 저자는 이러한 고정관념이 [의료와 교육을 포함한 전문적이고 사회적인 구조]에 얼만큼의 파괴적 영향을 갖는지 예를 논의한다. 두 저자들은 개인과 기관이 고등교육에 들어가고 완성하기 위해 절차와 기준을 어떻게 "게임"하는지를 [개인의 능력]이나 [우월한 제도 메트릭스]를 통해 보여준다. 이 때문에 샌델은 하버드, 스탠퍼드 등 명문대 선발절차로 [자격을 갖춘 사람 중 추첨]을 제안하게 됐다. 

Both authors discuss examples of the disruptive effects of these fixations on professional and societal structures, including medicine and education. Both authors show how individuals and institutions tend to “game” procedures and standards in order to enter and complete higher education, through pretended individual merit or superior institutional metrics when these may not be warranted. This leads Sandel to propose a lottery among the qualified as a selection procedure for prestigious universities such as Harvard and Stanford.7 

네덜란드 의대 선정 복권
The Dutch Lottery for Medical School Selection

의과대학이나 레지던트에 입학할 사람을 결정하는 방법으로서 추첨은 많은 사람들에게 터무니없는 제안으로 들릴 수 있다. 추첨은 동기부여를 떨어뜨리고, 높은 노력과 재능을 무시하며, 직업 선택의 자유를 무작위로 차단하는 것으로 보인다. 그러나, 네덜란드는 이 방법에 대한 수십 년의 경험을 가지고 있다. 네덜란드 정부는 1972년에 모든 의과대학에 입학하기 위해 전국적으로 추첨제를 적용했다. 이 제도는 지난 2017년 상고심 끝에 폐기됐으나 2023년 학생 선발을 위한 적법한 절차로 재설치될 예정이다.
A lottery, as a method to determine who will be admitted to medical school or residency, may sound an absurd proposition to many. A lottery appears to devalue motivation, disregard high effort and talent, and randomly block freedom of career choice. However, The Netherlands has decades of experience with this method. The Dutch government applied a lottery system nationally for admission to all medical schools in 1972. This system was abandoned in 2017 after an appeal but will now be reinstalled in 2023 as a legitimate procedure for the selection of students.

1972년까지, 선행 학사학위를 필요로 하지 않는 [6년 과정의 네덜란드 의과대학 입학]은 적절한 중등교육(네덜란드 정부가 대부분의 의학교육비를 부담함)을 받은 지원자라면 자유롭게 접근할 수 있었다. 지원자의 수가 증가하고 비용이 상당해지자, 네덜란드 정부는 고정 정원numerus fixus를 도입하였다. 이 정원은 미래의 의사들의 필요성에 대한 예측을 바탕으로 얼만큼의 입학생 자리를 둘 것인가를 제한하였다. 

Until 1972, the admission to Dutch medical schools, which have a 6-year program not preceded by baccalaureate education, was freely accessible for applicants with the proper secondary schooling (note that the Dutch government pays for most of medical education). When applicants increased in number and their costs became substantial, the Dutch government introduced a numerus fixus, a restricted total number of positions, derived from predictions of future physician need.

수년간의 논쟁 끝에 정치인들은 입학을 위한 "가중추첨" 제도를 결정했다. 국가 최종 2차 시험의 평균 점수가 가중치를 결정했다. 뛰어난 점수를 받은 학생들은 합격선 수준의 점수를 받은 학생들에 비해 세 배의 기회를 얻게 될 것이다. 추첨에서 탈락한 지원자는 이후 2년간 추첨에 재지원할 수 있다.

• 수십 년 동안 학교와 대중은 일반적으로 네덜란드 의과대학에 자리가 있는 모든 지원자의 3분의 1을 이 절차로 결정하는 것에 만족했다. 추첨 절차는 1996년까지 정부 기관에 의해 순조롭게 진행되었다.
• 그러나 1996년, 어느 한 뛰어난 고등학교 졸업생이 3번이나 추첨에서 떨어졌고 그 결정에 항소했다. 정치적, 사회적 분노가 일었고, 처음에는 [지역적 질적 선발 과정]을 [전국 가중 추첨]과 병행하면서 추첨은 점차적으로 대체되었다.
• 20년 만에 국가 추첨 제도는 완전히 폐지되었고, 2017년 현재 의과대학은 추첨 사용을 금지하고 있다.
• 놀랍게도, 2020년에 의회 과반수가 학교의 추첨 시스템 사용을 허용하기로 투표했고, 그래서 합법적인 선발 방법으로 추첨 절차를 재설치했다. 이 법은 2023.8년부터 시행됩니다. 

After years of debate, politicians settled on a “weighted lottery” system for admissions. The average score on a national final secondary examination determined the weighting. Students with an outstanding score would triple their chances compared to those with a just-pass score. Declined candidates could reenter the lottery for 2 subsequent years.

• For decades schools and the public were generally satisfied with this procedure to determine the one-third of all applicants (on average across decades) for whom there was space at a Dutch medical school. The lottery procedure was smoothly conducted by a government agency, until 1996.
• That year an outstanding high school graduate was turned down 3 times and appealed the decision. Political and societal anger arose and led to a gradual replacement of the lottery, initially with a local qualitative selection process in parallel with a national weighted lottery.
• In 2 decades, the national lottery system was abandoned altogether; legislation prohibited medical schools from using a lottery as of 2017.
• Surprisingly, in 2020, a parliamentary majority voted to allow schools to use a lottery system, and thus reinstalled lottery processes as a legitimate method of selection. The law is effective in 2023.8 

 

추첨 제도의 Rationale
Rationales for Lottery Systems

1996년 네덜란드에서의 논쟁은 학생, 학부모, 정치인, 기관들 사이에서 [의대 입학에서 추첨을 사용하는 것에 대한 혐오]를 보여주었다. 이것은 개인화의 역사적, 문화적, 사회적 발전을 반영할 수 있다: 높은 동기 부여와 적절한 능력을 가진 사람이라면 누구나 진로가 가능해야 한다.

The 1996 Dutch debate demonstrated an aversion among students, parents, politicians, and institutions against a lottery for medical school admission. This may reflect a historical, cultural, and societal development of individualization: any career path should be possible for anyone with high motivation and adequate abilities.

대조적으로, 존경 받는 네덜란드의 심리학자이자 선택 전문가인, 왕립 네덜란드 예술 과학 아카데미와 모든 유럽 아카데미의 전 회장인 피터르 렌스는 정기적으로 보다 합리적인 주장을 했다. 즉, 정량적인 이유만으로 선발이 필요할 때, 그리고 대부분의 또는 모든 지원자들이 요구되는 기준을 충족한다고 했을 때, 추첨은 진지하게 선발방식으로 남아있어야 한다. 공정하게 측정하고 적용하기 어려운 질적 기준의 단점에 대응하기 위해 추첨 선발이 필요하다. 실제로, 추첨 시스템을 선호하는 몇 가지 주장들이 있으며, 다섯 가지 조건들은 다음과 같다.

In contrast, a respected Dutch psychometrician and selection expert, Pieter Drenth, former president of the Royal Netherlands Academy of Arts and Sciences and of All European Academies, regularly voiced the more rational argument that, when selection is needed only because of quantitative reasons, and most or all applicants meet the required criteria, a lottery must remain a serious option. The lottery option is needed to counter the disadvantages of qualitative criteria,9,10  which are both difficult to measure and apply in an unbiased manner. Indeed, there are several arguments that favor a lottery system,11  and 5 conditions may shape how we consider these arguments.

1. 지원자 간의 차이가 겉으로만 그럴듯할 때
1. When Differences Between Applicants Are Spurious

지원자 집단이 모두 고도로 선별적인 사전 교육에서 높은 성취도를 보인 경우, 지원자 내에서 신뢰할 수 있고 정당화된 구별을 하는 것은, 전혀 불가능하다. 이것은 대부분의 네덜란드 의대 지원자들에게 적용된다. 길고 어려운 교육 궤적을 모두 이수한 의대 졸업생이 대거 레지던트 프로그램에 지원할 경우 이들을 차별화할 수 있는 프로그램의 역량도 제한된다. 학생들 사이의 차이는 종종 의심스럽거나 관련이 없다. 그렇다면 선발 프로세스에서 [이 프로그램에 가장 적합한 학생]과 [기준을 충족시키지 못하는 학생]을 서로 비교해서 결정할 수 있다는 것은 윤리적으로도 의심스러울 수 있다. 정해진 개수의 공간을 채워야 하는 경우 [지원자의 퀄리티]가 아니라 [선발할 숫자와 지원자의 숫자]에 따라 입학에 사용되는 기준이 결정됩니다.
Making reliable and justified distinctions within a pool of applicants who have all been successful in highly selective prior education is hardly, if at all, possible. This holds true for most Dutch medical school applicants. When medical graduates, all of whom have completed a long and difficult educational trajectory, apply in massive numbers to residency programs, the ability of programs to differentiate among them is also limited. Differences among students are often spurious or irrelevant. Then suggesting that selection processes can determine which students are most suitable for the program vs those who fail to meet standards may even be ethically questionable. When a fixed number of spaces must be filled, the number rather than the quality of applicants determines the criterion used for admission.

역량 기반 의료 교육의 시대에, [모든 의대 졸업생들이 높은 수준을 달성하게끔 만들려는 노력]이 [졸업생들 사이의 차이를 강조하는 것]보다 더 유익할 것이다. 12 시간 가변적이고 개인화된 커리큘럼은 높은 퀄리티의 졸업생과 높은 퀄리티의 보건의료를 서포트하려는 목적이 있다. 네덜란드의 의료인력은 시간 변동성이 높은 커리큘럼에서 가중 추첨을 통해 의과대학에 입학했다. 다른 입학선발 절차가 더 나은 의료인력으로 이어질 수 있었는지는 알 수 없지만, 네덜란드 의료는 국제 비교에서 미국보다 높은 점수를 받는다.15,16 
In an era of competency-based medical education, efforts to bring all medical school graduates to meet high standards may prove more beneficial than highlighting differences among graduates.12  A time-variable, individualized curriculum might support high quality of graduates and health care more than an institutionalized “failure to fail” students who do not meet highest standards.13,14  The current Dutch medical workforce has nearly all been admitted to medical school through a weighted lottery in a more time-variable curricula. While we cannot know whether a different admission procedure would have led to a better workforce, Dutch health care scores highly, including higher than the United States, in international comparisons.15,16 

2. 신청자 간의 형평성이 우선시되는 경우
2. When Equity Among Applicants Is a Priority

선발 위원회는 보통 모든 지원자들에게 공평하고 동등한 기회를 제공하는 것을 목표로 하지만, 모든 절차는 특정 기준을 사용하는 한 특정 집단이 다른 집단보다 이익을 보게 되며, 흔히 불이익을 받는 집단은 underrepresented group이다. 선발기준에 시험성적과 같이 준비에 영향을 받을 수 있는 영역(예: 고가의 과외, 부유층의 부담)이 포함되어 있다면, 일부 지원자들은 다른 지원자들보다 더 많은 혜택을 받게 된다. 네덜란드 정부는 고등교육을 받은 학생들 사이에 다양성의 부족에 대한 우려 때문에 추첨을 다시 설치하는 것을 정당화했다.
While selection committees usually aim to provide fair and equal chances for all candidates, any procedure that uses specific criteria benefits some groups over others and often disadvantages underrepresented groups. If selection criteria include areas, such as test scores, that may be affected by preparation (eg, expensive tutoring, more affordable by the wealthy), some candidates benefit more than others. The Dutch government justified reinstalling a lottery because of concerns over a lack of diversity among admitted higher education students.

3. 다양한 인력이 중요한 경우
3. When a Diverse Workforce Is a Priority

의료인력의 구성이 [사회의 성별과 민족 구성을 반영하지 못한다]는 '지원자에 대한 공정성'보다 '추첨'의 손을 들어주는 또 다른 이유이다. 게다가, 의료 인력 자체는 동질적이지 않다. 사회는 가정 의사, 소아과 의사, 방사선 전문의, 마취과 의사, 신경외과 의사, 바이러스학자가 필요하다. 획일적인 기준으로 의대를 선발하는 것은 사회가 매우 다양한 의사가 아닌 단지 한 종의 의사만을 필요로 한다는 것을 시사한다. 일부 졸업생은 일반 전공으로 남아있을 수 있고, 다른 졸업생들은 하위 전공 훈련을 계속할 수 있으며, 다른 졸업생들은 다양한 규모의 지역사회에서 실습할 것이다.
Concerns that the medical workforce does not reflect society's gender and ethnic composition adds to the fairness-for-applicants argument in favor of a lottery. In addition, the medical workforce itself is not homogeneous. Society needs family doctors, pediatricians, radiologists, anesthesiologists, neurosurgeons, and virologists, to name a few. Selection for medical school based on uniform criteria suggests that society needs just one species of doctors, rather than a wide variety. A need for variety is no different within medical specialties: some graduates may remain in a general specialty while others continue to subspecialty training, and some will practice in academic environments while others practice in communities of varying sizes.

4. 공공연한 협업 메시지가 숨겨진 경쟁 문화와 충돌할 때
4. When the Overt Message of Collaboration Collides With a Hidden Culture of Competition

[수월성을 위해 노력하는 것]은 학생들과 교수진들 사이에서 바람직한 것으로 여겨지지만, 종종 [미리 정해진 측정 기준에서 다른 학생들을 능가하기 위한 경쟁]으로 해석된다. 이러한 경쟁적 성취는 CV와 지원서에 사용됩니다. 한편, 협업을 위한 태도와 기술은 의료 및 레지던트 커리큘럼 전체에 걸쳐 학습 목표에서 두드러지게 나타난다. 경쟁 지표에 집착하는 동시에 숨겨진 문화는 경쟁과 협업의 혼합된 메시지를 전달합니다. 의대생과 레지던트들 사이에 스트레스와 과열이 만연해 있고, [전문직업적 발달이 저해될 수 있는 심각한 위험을 안고 있는 것]은 [협업을 희생]하는 댓가로 다른 사람보다의 비교우위를 추구하게끔 순위ranking와 CV 구축에 지속적으로 초점을 맞추고 있기 때문일 수 있다.17 
Striving for excellence is regarded as desirable among students and faculty, but it is often translated into competing to outperform other students on prespecified metrics. These competitive achievements are then used in curriculum vitae (CVs) and application letters. Meanwhile, attitudes and skills to collaborate feature prominently in learning objectives throughout medical and residency curricula. A simultaneous hidden culture of fixation on competitive metrics sends mixed messages of competition versus collaboration. The high prevalence of stress and burnout among medical students and residents, with serious risks of hampered professional development, may well be caused by a continuous focus on rankings and CV building to excel in comparison with others, at the cost of collaboration.17 

5. 질적 요인에 대한 선정을 뒷받침할 수 있는 설득력 있는 증거가 없는 경우
5. When There Is No Convincing Evidence to Support Selection on Qualitative Factors

네덜란드 학자들은 다양한 의과대학 선발 절차를 가중복권과 비교했다. 2016년부터 2020년까지 완성된 5편의 박사학위 논문(대부분 정부 보조 연구)과 수많은 출판물이 엇갈린 결과를 보이고 있다. 비록 선발 기준을 통해 입학하기로 선택한 학생들이 추첨을 통해 입학한 학생들보다 의과대학에서 조금 더 우수한 성적을 거두었다는 증거가 있지만, 그 결과는 일반적인 결론에 이르지 못한다inconclusive. 의과대학 졸업 후 학생들 간의 차이는 보고되지 않았다.
Dutch scholars have compared various medical school selection procedures with a weighted lottery. Five doctoral dissertations completed from 2016 to 2020 (most by government-subsidized researchers) and numerous publications show mixed results.18–22  Although there is some indication that students who chose to be admitted through selection criteria performed somewhat better in medical school than those admitted through a lottery, the results are generally inconclusive. No differences among students after graduation from medical school have been reported.

마무리 생각
Concluding Thoughts

의과대학과 레지던트 지원자들은 일반적으로 추첨제보다 선발 기준을 선호하며, 자신이 통제할 수 없다고 느끼는 불합격은 받아들이기 어렵다. 다만 '정말로 원한다면 의대에 진학할 수 있다'는 건 선발인원보다 지원자가 많은 상황에서 현실을 부정하는 것이다. 예를 들어, 네덜란드는 지난 35년 동안 1:3의 경쟁률을 보였다. 추첨을 통해 입학한 대다수의 네덜란드 학생들이 고품질의 보건의료를 제공하는 의사가 된 것처럼, 많은 불합격 신청자들은 의심할 여지 없이 훌륭한 의사였을 것이다. 정교한 선택 절차를 적용하는 국가들이 더 나은 의료 시스템을 구축했다는 징후는 없다.
Applicants for medical school and residency generally prefer selection criteria over a lottery system and find rejections that feel beyond their control difficult to accept. However, the suggestion that “if you really want to, you can get into medical school” denies reality, when there are more applicants than positions. For example, the Netherlands has had a 1:3 acceptance ratio over 35 years of admissions. Many rejected applicants would have undoubtedly been excellent physicians, just as the vast majority of Dutch students admitted through a lottery have become doctors providing high-quality health care. There is no indication that countries applying elaborate selection procedures have built better health care systems.

모든 지원자가 증명된 역량을 통해 자격을 얻었을 때, 자격을 갖춘 사람들 중 샌델의 복권은 방어할 수 있습니다. 추첨을 통해 입학하든, 주민선발위원회나 수행평가에서 선발되든, 선발되지 못한 것은 여전히 고통스러운 일이다. 그러나 학생들은 또한 모든 기회가 항상 이용 가능한 것은 아니며, 삶의 방향 전환은 경쟁자들과의 지속적인 싸움보다 더 많은 즐거움과 만족감을 가져다 줄 수 있다는 것을 받아들여야 한다.
When all applicants qualify through demonstrated competence, Sandel's lottery among the qualified is defensible. Whether admitted through lottery or chosen by a residency selection committee or performance test, not being selected remains painful. But students must also accept that not all opportunities are always available, and a redirection of life may bring more joy and satisfaction than a continuous battle against competitors.

본 사설은 학습자 간의 차이를 최소화하거나 개인의 고유한 장점을 무시하라는 간청이 아닙니다. 반대로, 모든 학습자들은 개개인이 독특한 방법으로 뛰어나도록 자극을 받아야 합니다. 진짜로 문제가 되는 것은 [개인들이 의료의 질이나 환자에게 진정으로 중요한 역량과는 정작 별 상관관계가 없는 제한된 기준에 순응하고, 이 기준에 맞춰 다른 사람과 경쟁해야 한다]는 사실이다.

This editorial is not a plea to minimize differences among learners or to disregard unique strengths of individuals. On the contrary, every learner should be stimulated to excel in unique ways. What is problematic is when individuals are forced to conform and compete with others on limited criteria that do not correlate well with the competencies that really matter, to health care quality and to patients.

 

---

 

J Grad Med Educ. 2021 Oct;13(5):612-615.

 doi: 10.4300/JGME-D-21-00789.1. Epub 2021 Oct 15.

 

Rationales for a Lottery Among the Qualified to Select Medical Trainees: Decades of Dutch Experience

Olle Ten Cate 1

Affiliations collapse

Affiliation

1is Professor of Medical Education and Senior Scientist, Utrecht Center for Research and Development of Health Professions Education, University Medical Center Utrecht, Utrecht, the Netherlands.

PMID: 34721786

PMCID: PMC8527950 (available on 2022-10-01)

DOI: 10.4300/JGME-D-21-00789.1

No abstract available