의학교육 수련생 선발을 위한 추첨 활용의 논리적 근거: 수십년의 네덜란드 경험(J Grad Med Educ. 2021)
Rationales for a Lottery Among the Qualified to Select Medical Trainees: Decades of Dutch Experience
Olle ten Cate, PhD

 


많은 수의 한정된 자리를 두고, 후보 중 '최고의' 지원자를 뽑아야 한다는 대학원 의학교육의 강박관념은 답답하고 시간이 많이 걸리는 채용 과정을 만들어냈다. 이 과정에서 많은 지원자나 프로그램이 실망할 수밖에 없어 보인다. 의과대학과 레지던트 프로그램 또한 엄청난 시간과 노력을 들인다. 대체로 동등한 후보들 사이에서 타당하고 합리적인 선택을 할 수 없을 때, 무작위 선택인 추첨이 나타납니다. USMLE(U.S. Medical Licensing Examination) 1단계 점수가 2022년부터 통과/실패로만 보고됨으로써 미국 레지던트 프로그램 선발이 더 이상 여기에 의존할 수 없는 상황에서, 추첨 시스템의 논리는 고려해볼 가치가 있을 것이다.

Graduate medical education's obsession with choosing the “best” applicants, among many candidates for a finite number of positions, has produced a frustrating and time-consuming recruitment process. That many applicants or programs may be disappointed by this process seems unavoidable. Medical schools and residency programs expend enormous amounts of time and effort as well. When no valid, rational choice among roughly equal candidates can be made, a random choice—a lottery—emerges. At a time when the selection for US residency programs can no longer rely on United States Medical Licensing Examination (USMLE) Step 1 scores as a filter—from 2022 they will only be reported pass/fail1–4—it may be worth considering the rationales for a lottery system.

메트릭과 메리트의 폭압
Tyrannies of Metrics and Merit

첫째, Jerry Z. Muller의 The Tyranny of Metrics와 마이클 샌델의 The Tyranny of Merit를 읽은 교육자라면 의대생과 레지던트 선발 과정에 대해 다시 생각해 볼 수도 있다.5.6

  • 역사학자 뮬러(Muller)는 성과 측정이 [중요한 것]에서 [측정 가능한 것]으로의 전환되는 것이 어떠한 방식으로 "메트릭 고정matrix fixation"으로 이어지는지를 설명한다. 
  • 하버드대 철학자 샌델은 능력merit에 대한 보편적인 집착fixation이 인생의 성공과 실패는 모두 자신의 노력과 재능, 또는 그 실패에 기인할 수 있다는 환상을 어떻게 먹여 살리는지를 자세히 설명한다. 이러한 장점 집착은 기회, 행운, 그리고 집안 배경이 어떻게 성공을 형성하는지 무시한다. 성공하지 못한 자들이 굴욕감과 원망감을 갖고, 사회적 파장을 초래하는 잘못된 행태다. 

First, educators who read The Tyranny of Metrics by Jerry Z. Muller and The Tyranny of Merit by Michael J. Sandel may rethink medical student and resident selection processes.5,6  

  • Historian Muller explains how the measurement of performance frequently leads to “metric fixation,” a shift from what is important to what is measurable, with the unintended consequence of metrics-based rewards that no longer serve the intended purpose of the performance.
  • Harvard philosopher Sandel elaborates on how the universal fixation on merit feeds the illusion that success and failure in life can all be attributed to one's own efforts and talents, or failures thereof. This merit fixation disregards how opportunities, luck, and family background also shape success. It wrongly leaves those who do not succeed with a sense of humiliation and resentment, with far-reaching societal consequences.

두 저자는 이러한 고정관념이 [의료와 교육을 포함한 전문적이고 사회적인 구조]에 얼만큼의 파괴적 영향을 갖는지 예를 논의한다. 두 저자들은 개인과 기관이 고등교육에 들어가고 완성하기 위해 절차와 기준을 어떻게 "게임"하는지를 [개인의 능력]이나 [우월한 제도 메트릭스]를 통해 보여준다. 이 때문에 샌델은 하버드, 스탠퍼드 등 명문대 선발절차로 [자격을 갖춘 사람 중 추첨]을 제안하게 됐다. 

Both authors discuss examples of the disruptive effects of these fixations on professional and societal structures, including medicine and education. Both authors show how individuals and institutions tend to “game” procedures and standards in order to enter and complete higher education, through pretended individual merit or superior institutional metrics when these may not be warranted. This leads Sandel to propose a lottery among the qualified as a selection procedure for prestigious universities such as Harvard and Stanford.7 

네덜란드 의대 선정 복권
The Dutch Lottery for Medical School Selection

의과대학이나 레지던트에 입학할 사람을 결정하는 방법으로서 추첨은 많은 사람들에게 터무니없는 제안으로 들릴 수 있다. 추첨은 동기부여를 떨어뜨리고, 높은 노력과 재능을 무시하며, 직업 선택의 자유를 무작위로 차단하는 것으로 보인다. 그러나, 네덜란드는 이 방법에 대한 수십 년의 경험을 가지고 있다. 네덜란드 정부는 1972년에 모든 의과대학에 입학하기 위해 전국적으로 추첨제를 적용했다. 이 제도는 지난 2017년 상고심 끝에 폐기됐으나 2023년 학생 선발을 위한 적법한 절차로 재설치될 예정이다.
A lottery, as a method to determine who will be admitted to medical school or residency, may sound an absurd proposition to many. A lottery appears to devalue motivation, disregard high effort and talent, and randomly block freedom of career choice. However, The Netherlands has decades of experience with this method. The Dutch government applied a lottery system nationally for admission to all medical schools in 1972. This system was abandoned in 2017 after an appeal but will now be reinstalled in 2023 as a legitimate procedure for the selection of students.

1972년까지, 선행 학사학위를 필요로 하지 않는 [6년 과정의 네덜란드 의과대학 입학]은 적절한 중등교육(네덜란드 정부가 대부분의 의학교육비를 부담함)을 받은 지원자라면 자유롭게 접근할 수 있었다. 지원자의 수가 증가하고 비용이 상당해지자, 네덜란드 정부는 고정 정원numerus fixus를 도입하였다. 이 정원은 미래의 의사들의 필요성에 대한 예측을 바탕으로 얼만큼의 입학생 자리를 둘 것인가를 제한하였다. 

Until 1972, the admission to Dutch medical schools, which have a 6-year program not preceded by baccalaureate education, was freely accessible for applicants with the proper secondary schooling (note that the Dutch government pays for most of medical education). When applicants increased in number and their costs became substantial, the Dutch government introduced a numerus fixus, a restricted total number of positions, derived from predictions of future physician need.

수년간의 논쟁 끝에 정치인들은 입학을 위한 "가중추첨" 제도를 결정했다. 국가 최종 2차 시험의 평균 점수가 가중치를 결정했다. 뛰어난 점수를 받은 학생들은 합격선 수준의 점수를 받은 학생들에 비해 세 배의 기회를 얻게 될 것이다. 추첨에서 탈락한 지원자는 이후 2년간 추첨에 재지원할 수 있다.

  • 수십 년 동안 학교와 대중은 일반적으로 네덜란드 의과대학에 자리가 있는 모든 지원자의 3분의 1을 이 절차로 결정하는 것에 만족했다. 추첨 절차는 1996년까지 정부 기관에 의해 순조롭게 진행되었다.
  • 그러나 1996년, 어느 한 뛰어난 고등학교 졸업생이 3번이나 추첨에서 떨어졌고 그 결정에 항소했다. 정치적, 사회적 분노가 일었고, 처음에는 [지역적 질적 선발 과정]을 [전국 가중 추첨]과 병행하면서 추첨은 점차적으로 대체되었다.
  • 20년 만에 국가 추첨 제도는 완전히 폐지되었고, 2017년 현재 의과대학은 추첨 사용을 금지하고 있다.
  • 놀랍게도, 2020년에 의회 과반수가 학교의 추첨 시스템 사용을 허용하기로 투표했고, 그래서 합법적인 선발 방법으로 추첨 절차를 재설치했다. 이 법은 2023.8년부터 시행됩니다. 

After years of debate, politicians settled on a “weighted lottery” system for admissions. The average score on a national final secondary examination determined the weighting. Students with an outstanding score would triple their chances compared to those with a just-pass score. Declined candidates could reenter the lottery for 2 subsequent years.

  • For decades schools and the public were generally satisfied with this procedure to determine the one-third of all applicants (on average across decades) for whom there was space at a Dutch medical school. The lottery procedure was smoothly conducted by a government agency, until 1996.
  • That year an outstanding high school graduate was turned down 3 times and appealed the decision. Political and societal anger arose and led to a gradual replacement of the lottery, initially with a local qualitative selection process in parallel with a national weighted lottery.
  • In 2 decades, the national lottery system was abandoned altogether; legislation prohibited medical schools from using a lottery as of 2017.
  • Surprisingly, in 2020, a parliamentary majority voted to allow schools to use a lottery system, and thus reinstalled lottery processes as a legitimate method of selection. The law is effective in 2023.8 

 

추첨 제도의 Rationale
Rationales for Lottery Systems

1996년 네덜란드에서의 논쟁은 학생, 학부모, 정치인, 기관들 사이에서 [의대 입학에서 추첨을 사용하는 것에 대한 혐오]를 보여주었다. 이것은 개인화의 역사적, 문화적, 사회적 발전을 반영할 수 있다: 높은 동기 부여와 적절한 능력을 가진 사람이라면 누구나 진로가 가능해야 한다.

The 1996 Dutch debate demonstrated an aversion among students, parents, politicians, and institutions against a lottery for medical school admission. This may reflect a historical, cultural, and societal development of individualization: any career path should be possible for anyone with high motivation and adequate abilities.

대조적으로, 존경 받는 네덜란드의 심리학자이자 선택 전문가인, 왕립 네덜란드 예술 과학 아카데미와 모든 유럽 아카데미의 전 회장인 피터르 렌스는 정기적으로 보다 합리적인 주장을 했다. 즉, 정량적인 이유만으로 선발이 필요할 때, 그리고 대부분의 또는 모든 지원자들이 요구되는 기준을 충족한다고 했을 때, 추첨은 진지하게 선발방식으로 남아있어야 한다. 공정하게 측정하고 적용하기 어려운 질적 기준의 단점에 대응하기 위해 추첨 선발이 필요하다. 실제로, 추첨 시스템을 선호하는 몇 가지 주장들이 있으며, 다섯 가지 조건들은 다음과 같다.


In contrast, a respected Dutch psychometrician and selection expert, Pieter Drenth, former president of the Royal Netherlands Academy of Arts and Sciences and of All European Academies, regularly voiced the more rational argument that, when selection is needed only because of quantitative reasons, and most or all applicants meet the required criteria, a lottery must remain a serious option. The lottery option is needed to counter the disadvantages of qualitative criteria,9,10  which are both difficult to measure and apply in an unbiased manner. Indeed, there are several arguments that favor a lottery system,11  and 5 conditions may shape how we consider these arguments.

1. 지원자 간의 차이가 겉으로만 그럴듯할 때
1. When Differences Between Applicants Are Spurious

지원자 집단이 모두 고도로 선별적인 사전 교육에서 높은 성취도를 보인 경우, 지원자 내에서 신뢰할 수 있고 정당화된 구별을 하는 것은, 전혀 불가능하다. 이것은 대부분의 네덜란드 의대 지원자들에게 적용된다. 길고 어려운 교육 궤적을 모두 이수한 의대 졸업생이 대거 레지던트 프로그램에 지원할 경우 이들을 차별화할 수 있는 프로그램의 역량도 제한된다. 학생들 사이의 차이는 종종 의심스럽거나 관련이 없다. 그렇다면 선발 프로세스에서 [이 프로그램에 가장 적합한 학생]과 [기준을 충족시키지 못하는 학생]을 서로 비교해서 결정할 수 있다는 것은 윤리적으로도 의심스러울 수 있다. 정해진 개수의 공간을 채워야 하는 경우 [지원자의 퀄리티]가 아니라 [선발할 숫자와 지원자의 숫자]에 따라 입학에 사용되는 기준이 결정됩니다.
Making reliable and justified distinctions within a pool of applicants who have all been successful in highly selective prior education is hardly, if at all, possible. This holds true for most Dutch medical school applicants. When medical graduates, all of whom have completed a long and difficult educational trajectory, apply in massive numbers to residency programs, the ability of programs to differentiate among them is also limited. Differences among students are often spurious or irrelevant. Then suggesting that selection processes can determine which students are most suitable for the program vs those who fail to meet standards may even be ethically questionable. When a fixed number of spaces must be filled, the number rather than the quality of applicants determines the criterion used for admission.

역량 기반 의료 교육의 시대에, [모든 의대 졸업생들이 높은 수준을 달성하게끔 만들려는 노력]이 [졸업생들 사이의 차이를 강조하는 것]보다 더 유익할 것이다. 12 시간 가변적이고 개인화된 커리큘럼은 높은 퀄리티의 졸업생과 높은 퀄리티의 보건의료를 서포트하려는 목적이 있다. 네덜란드의 의료인력은 시간 변동성이 높은 커리큘럼에서 가중 추첨을 통해 의과대학에 입학했다. 다른 입학선발 절차가 더 나은 의료인력으로 이어질 수 있었는지는 알 수 없지만, 네덜란드 의료는 국제 비교에서 미국보다 높은 점수를 받는다.15,16 
In an era of competency-based medical education, efforts to bring all medical school graduates to meet high standards may prove more beneficial than highlighting differences among graduates.12  A time-variable, individualized curriculum might support high quality of graduates and health care more than an institutionalized “failure to fail” students who do not meet highest standards.13,14  The current Dutch medical workforce has nearly all been admitted to medical school through a weighted lottery in a more time-variable curricula. While we cannot know whether a different admission procedure would have led to a better workforce, Dutch health care scores highly, including higher than the United States, in international comparisons.15,16 

2. 신청자 간의 형평성이 우선시되는 경우
2. When Equity Among Applicants Is a Priority

선발 위원회는 보통 모든 지원자들에게 공평하고 동등한 기회를 제공하는 것을 목표로 하지만, 모든 절차는 특정 기준을 사용하는 한 특정 집단이 다른 집단보다 이익을 보게 되며, 흔히 불이익을 받는 집단은 underrepresented group이다. 선발기준에 시험성적과 같이 준비에 영향을 받을 수 있는 영역(예: 고가의 과외, 부유층의 부담)이 포함되어 있다면, 일부 지원자들은 다른 지원자들보다 더 많은 혜택을 받게 된다. 네덜란드 정부는 고등교육을 받은 학생들 사이에 다양성의 부족에 대한 우려 때문에 추첨을 다시 설치하는 것을 정당화했다.
While selection committees usually aim to provide fair and equal chances for all candidates, any procedure that uses specific criteria benefits some groups over others and often disadvantages underrepresented groups. If selection criteria include areas, such as test scores, that may be affected by preparation (eg, expensive tutoring, more affordable by the wealthy), some candidates benefit more than others. The Dutch government justified reinstalling a lottery because of concerns over a lack of diversity among admitted higher education students.

3. 다양한 인력이 중요한 경우
3. When a Diverse Workforce Is a Priority

의료인력의 구성이 [사회의 성별과 민족 구성을 반영하지 못한다]는 '지원자에 대한 공정성'보다 '추첨'의 손을 들어주는 또 다른 이유이다. 게다가, 의료 인력 자체는 동질적이지 않다. 사회는 가정 의사, 소아과 의사, 방사선 전문의, 마취과 의사, 신경외과 의사, 바이러스학자가 필요하다. 획일적인 기준으로 의대를 선발하는 것은 사회가 매우 다양한 의사가 아닌 단지 한 종의 의사만을 필요로 한다는 것을 시사한다. 일부 졸업생은 일반 전공으로 남아있을 수 있고, 다른 졸업생들은 하위 전공 훈련을 계속할 수 있으며, 다른 졸업생들은 다양한 규모의 지역사회에서 실습할 것이다.
Concerns that the medical workforce does not reflect society's gender and ethnic composition adds to the fairness-for-applicants argument in favor of a lottery. In addition, the medical workforce itself is not homogeneous. Society needs family doctors, pediatricians, radiologists, anesthesiologists, neurosurgeons, and virologists, to name a few. Selection for medical school based on uniform criteria suggests that society needs just one species of doctors, rather than a wide variety. A need for variety is no different within medical specialties: some graduates may remain in a general specialty while others continue to subspecialty training, and some will practice in academic environments while others practice in communities of varying sizes.

4. 공공연한 협업 메시지가 숨겨진 경쟁 문화와 충돌할 때
4. When the Overt Message of Collaboration Collides With a Hidden Culture of Competition

[수월성을 위해 노력하는 것]은 학생들과 교수진들 사이에서 바람직한 것으로 여겨지지만, 종종 [미리 정해진 측정 기준에서 다른 학생들을 능가하기 위한 경쟁]으로 해석된다. 이러한 경쟁적 성취는 CV와 지원서에 사용됩니다. 한편, 협업을 위한 태도와 기술은 의료 및 레지던트 커리큘럼 전체에 걸쳐 학습 목표에서 두드러지게 나타난다. 경쟁 지표에 집착하는 동시에 숨겨진 문화는 경쟁과 협업의 혼합된 메시지를 전달합니다. 의대생과 레지던트들 사이에 스트레스와 과열이 만연해 있고, [전문직업적 발달이 저해될 수 있는 심각한 위험을 안고 있는 것]은 [협업을 희생]하는 댓가로 다른 사람보다의 비교우위를 추구하게끔 순위ranking와 CV 구축에 지속적으로 초점을 맞추고 있기 때문일 수 있다.17 
Striving for excellence is regarded as desirable among students and faculty, but it is often translated into competing to outperform other students on prespecified metrics. These competitive achievements are then used in curriculum vitae (CVs) and application letters. Meanwhile, attitudes and skills to collaborate feature prominently in learning objectives throughout medical and residency curricula. A simultaneous hidden culture of fixation on competitive metrics sends mixed messages of competition versus collaboration. The high prevalence of stress and burnout among medical students and residents, with serious risks of hampered professional development, may well be caused by a continuous focus on rankings and CV building to excel in comparison with others, at the cost of collaboration.17 

5. 질적 요인에 대한 선정을 뒷받침할 수 있는 설득력 있는 증거가 없는 경우
5. When There Is No Convincing Evidence to Support Selection on Qualitative Factors

네덜란드 학자들은 다양한 의과대학 선발 절차를 가중복권과 비교했다. 2016년부터 2020년까지 완성된 5편의 박사학위 논문(대부분 정부 보조 연구)과 수많은 출판물이 엇갈린 결과를 보이고 있다. 비록 선발 기준을 통해 입학하기로 선택한 학생들이 추첨을 통해 입학한 학생들보다 의과대학에서 조금 더 우수한 성적을 거두었다는 증거가 있지만, 그 결과는 일반적인 결론에 이르지 못한다inconclusive. 의과대학 졸업 후 학생들 간의 차이는 보고되지 않았다.
Dutch scholars have compared various medical school selection procedures with a weighted lottery. Five doctoral dissertations completed from 2016 to 2020 (most by government-subsidized researchers) and numerous publications show mixed results.1822  Although there is some indication that students who chose to be admitted through selection criteria performed somewhat better in medical school than those admitted through a lottery, the results are generally inconclusive. No differences among students after graduation from medical school have been reported.

마무리 생각
Concluding Thoughts

의과대학과 레지던트 지원자들은 일반적으로 추첨제보다 선발 기준을 선호하며, 자신이 통제할 수 없다고 느끼는 불합격은 받아들이기 어렵다. 다만 '정말로 원한다면 의대에 진학할 수 있다'는 건 선발인원보다 지원자가 많은 상황에서 현실을 부정하는 것이다. 예를 들어, 네덜란드는 지난 35년 동안 1:3의 경쟁률을 보였다. 추첨을 통해 입학한 대다수의 네덜란드 학생들이 고품질의 보건의료를 제공하는 의사가 된 것처럼, 많은 불합격 신청자들은 의심할 여지 없이 훌륭한 의사였을 것이다. 정교한 선택 절차를 적용하는 국가들이 더 나은 의료 시스템을 구축했다는 징후는 없다.
Applicants for medical school and residency generally prefer selection criteria over a lottery system and find rejections that feel beyond their control difficult to accept. However, the suggestion that “if you really want to, you can get into medical school” denies reality, when there are more applicants than positions. For example, the Netherlands has had a 1:3 acceptance ratio over 35 years of admissions. Many rejected applicants would have undoubtedly been excellent physicians, just as the vast majority of Dutch students admitted through a lottery have become doctors providing high-quality health care. There is no indication that countries applying elaborate selection procedures have built better health care systems.

모든 지원자가 증명된 역량을 통해 자격을 얻었을 때, 자격을 갖춘 사람들 중 샌델의 복권은 방어할 수 있습니다. 추첨을 통해 입학하든, 주민선발위원회나 수행평가에서 선발되든, 선발되지 못한 것은 여전히 고통스러운 일이다. 그러나 학생들은 또한 모든 기회가 항상 이용 가능한 것은 아니며, 삶의 방향 전환은 경쟁자들과의 지속적인 싸움보다 더 많은 즐거움과 만족감을 가져다 줄 수 있다는 것을 받아들여야 한다.
When all applicants qualify through demonstrated competence, Sandel's lottery among the qualified is defensible. Whether admitted through lottery or chosen by a residency selection committee or performance test, not being selected remains painful. But students must also accept that not all opportunities are always available, and a redirection of life may bring more joy and satisfaction than a continuous battle against competitors.

본 사설은 학습자 간의 차이를 최소화하거나 개인의 고유한 장점을 무시하라는 간청이 아닙니다. 반대로, 모든 학습자들은 개개인이 독특한 방법으로 뛰어나도록 자극을 받아야 합니다. 진짜로 문제가 되는 것은 [개인들이 의료의 질이나 환자에게 진정으로 중요한 역량과는 정작 별 상관관계가 없는 제한된 기준에 순응하고, 이 기준에 맞춰 다른 사람과 경쟁해야 한다]는 사실이다.

This editorial is not a plea to minimize differences among learners or to disregard unique strengths of individuals. On the contrary, every learner should be stimulated to excel in unique ways. What is problematic is when individuals are forced to conform and compete with others on limited criteria that do not correlate well with the competencies that really matter, to health care quality and to patients.

 


 

J Grad Med Educ. 2021 Oct;13(5):612-615.

 doi: 10.4300/JGME-D-21-00789.1. Epub 2021 Oct 15.

 

Rationales for a Lottery Among the Qualified to Select Medical Trainees: Decades of Dutch Experience

Affiliations collapse

Affiliation

1is Professor of Medical Education and Senior Scientist, Utrecht Center for Research and Development of Health Professions Education, University Medical Center Utrecht, Utrecht, the Netherlands.

PMID: 34721786

PMCID: PMC8527950 (available on 2022-10-01)

DOI: 10.4300/JGME-D-21-00789.1

No abstract available

여자지원자가 남자지원자보다 MMI 점수가 더 높은가? 캘거리 대학 결과(Acad Med, 2017)
Are Female Applicants Rated Higher Than Males on the Multiple Mini-Interview? Findings From the University of Calgary 
Marshall Ross, MD, Ian Walker, MD, Lara Cooke, MD, MSc, Maitreyi Raman, MD, MSc, Pietro Ravani, MD, PhD, Sylvain Coderre, MD, MSc, and Kevin McLaughlin, MBChB, PhD 

 

 

의대에 입학하는 학생의 약 95%가 궁극적으로 졸업하기 때문에, 의대 입학 과정은 많은 사람들에게 의대 진로를 위한 "이상적인" 지원자를 선택할 수 있는 최선의 (그리고 아마도 유일한) 기회로 여겨진다.1,2 지원자들에게 면접 과정은 삶의 결정적 순간일 수 있으며, 이는 주어진 지원자가 동료들보다 CanMED-proficient한 의사로 성숙할 가능성이 더 높은지 예측하는 것이기 때문에 선발 과정에 참여하는 우리 중 누구에게나 큰 부담이 될 수 있습니다. 그러한 예측은 어렵고 부정확하기로 악명 높지만, 사회가 의사를 필요로 하기 때문에 (또한 의과대학에 지원한 지원자가 채용 가능한 숫자보다 훨씬 많기에) 우리는 의사 선발 과정이 필요하며 가능한 한 신뢰할 수 있고 타당하며 "공정"하게 만들기 위해 노력해야 합니다. 

Since approximately 95% of students entering medical school will ultimately graduate, the medical school admissions process is considered by many as our best (and perhaps only) opportunity to select the “ideal” candidates for a career in medicine.1,2 For applicants, the interview process may be a life-defining moment, a fact that weighs heavily on those of us involved in the selection process as we try to predict whether a given applicant is more likely to mature into a CanMEDS- proficient physician than his or her peers.3 Such predictions are notoriously difficult and inaccurate,4,5 but because society needs physicians—and there are many more applicants to medical school than positions available—we need a selection process and must strive to make this as reliable, valid, and “fair” as possible. 

대부분의 의과대학은 이전의 학업성취도 및 비학업적 특성의 지표를 평가하는 shor-listing 과정 외에도, 미래의 의사와 관련이 있을 수 있는 다른 속성을 평가하기 위한 형태의 인터뷰도 사용한다. 과거에는, 각 후보자에 대해 단일 인터뷰를 실시하는 선정 위원회가 필요했으며, 그 구체적인 방법(위원회의 구성, 논의되는 내용, 인터뷰의 구조화 정도, 최종 합격자를 뽑는 과정)에는 여러 기관 내 및 여러 기관 간 상당한 차이가 있었습니다. 그리고 이러한 접근방식은 편리했지만, 단일 면접의 제한된 범위와 면접관에 기인하는 점수차이의 비율을 고려할 때 이 과정의 [공정성에 대한 우려]가 제기되었다.

In addition to a short-listing process that rates indicators of prior academic performance and nonacademic attributes, most medical schools also use some form of interview to assess other attributes that may be relevant for future physicians. Historically, this involved a selection committee conducting a single interview of each candidate, and there was often significant variation—both within and between centers—in the makeup of committees, the content discussed, the degree of structure of the interviews, and the process of selecting the best candidates.6,7 And, although this approach was convenient, concerns arose about the fairness of this process given the limited scope of a single interview and the proportion of variance in scores attributable to the interviewers.8,9 

의대 입학 과정에 MMI를 포함함으로써 지원자들은 기존의 면접 형식보다 더 신뢰성이 높고, 더 수용 가능하며, 덜 의존적이며, 미래 성과를 더 예측하는 것으로 보이는 선발 과정이 이루어졌다. MMI의 타당성과 차원성에 대한 지속적인 우려에도 불구하고, 이러한 인상적인 연구 결과는 북미, 유럽 및 호주의 많은 의과대학에서 MMI를 선발 과정에 포함시키는 것을 촉진했습니다. 그러나 모든 변화는 [의료계의 인구학적 특성을 바꾸는 것]과 같은 의도하지 않은 결과의 가능성을 수반한다. 
The inclusion of the MMI to the medical school admissions process has resulted in a selection process that appears to be more reliable,10,14–16 more acceptable to applicants,13,14 less rater dependent,10 and more predictive of future performance than the traditional interview format.14,15,17,18 Despite ongoing concerns regarding the validity and dimensionality of the MMI,14,19 these impressive findings have fomented the incorporation of the MMI into the selection process in many medical schools in North America, Europe, and Australia.11–13 Yet every change carries the possibility of unintended outcomes, such as changing the demographic characteristics of the medical profession. 

예를 들어, 이 기술을 신뢰성 있게 평가할 수 있는 순간, 일반적으로 여성이 남성보다 높은 평가를 받기 때문에, 의사소통이 수반되는 업무에 대한 지원자의 성과를 평가할 때마다 여성이 남성보다 더 높은 성과를 낼 것이라고 예측할 수 있다. McMaster에서 MMI를 처음 시험했을 때 이 초기 연구의 표본 크기가 상대적으로 작았지만(n = 117) 신청자 성별과 MMI 등급 사이에는 유의한 연관성이 없었다. 후속 연구에서도 여성 지원자와 남성 지원자의 등급 차이는 없다고 보고했지만, 다시 한 번 이러한 연구의 표본 크기는 작았고, 남성 지원자도 30명 미만인 경우가 많았다. 
For example, because females are typically rated higher than males in communication as soon as this skill can be reliably assessed,20 one might predict that females would outperform males whenever we assess the performance of applicants on tasks that involve communication.21,22 When the MMI was first piloted at McMaster there was no significant association between applicant gender and MMI ratings, although the sample size in this initial study was relatively small (n = 117).10 Subsequent studies also reported no difference in ratings of female and male applicants,23–26 although, once again, the sample size in these studies was small, with studies often including fewer than 30 male applicants.24–26

캘거리 커밍 의과대학에서 MMI를 소개할 때, 브라우넬과 동료는 지원자와 면접관 모두의 의견으로 MMI가 "성 편견이 없었다"고 보고했고, 이후 연구에서도 이러한 결론이 도출되었다. 흥미롭게도 스코틀랜드의 한 센터에서 실시한 보다 최근의 연구에서 10개 스테이션 MMI가 신뢰할 수 있는 것으로 보고되었으며, 이 과정은 "모든 당사자가 수용할 수 있다" (후보와 평가자의 90% 이상이 공정성 진술에 동의하거나 강력하게 동의)고 하였다.

 When introducing the MMI at the University of Calgary Cumming School of Medicine, Brownell and colleagues11 reported that, in the opinion of both applicants and interviewers, “the MMI was free of gender bias,” and this conclusion was also drawn in subsequent studies.15,16,25 Interestingly, in a more recent study from a single center in Scotland, a 10-station MMI was reported as reliable, and the process was “acceptable to all parties” (more than 90% of candidates and raters agreed or strongly agreed with a fairness statement).13  

여기서는 여성 및 남성 지원자의 MMI 등급을 의과대학과 비교하고 MMI 등급이 지원자 순위에 미치는 영향을 탐색한 두 가지 연구를 설명합니다. 

Here we describe two studies in which we compared MMI ratings for female and male applicants to our medical school, and explored the impact of MMI ratings on the ranking of applicants. 


연구 1 Study 1

방법 Method

참여자 Participants.

재료 Materials.

절차 Procedures.

통계뿐석 Statistical analysis.

우리는 평균과 SD를 표준화된 평균 차이로 변환하고 효과 크기 계산을 위해 Hedges g를 사용했습니다.28 그런 다음 STATA 버전 11 통계 소프트웨어(STATA Corporation, College Station, 텍사스)를 사용하여 랜덤 효과 모델을 사용한 누적 메타 분석을 수행했다. 

We converted means and SDs into standardized mean differences and used Hedges g for our effect size calculation.28 We then performed cumulative meta-analysis using the random-effect model, using STATA version 11 statistical software (STATA Corporation, College Station, Texas). 

연구결과 Results of Study 1

고찰 Discussion of Study 1

우리의 연구 결과는 MMI에서 여성이 남성보다 높은 평가를 받고 있음을 시사한다. 시간이 지남에 따라 [표준화된 평균 차이]가 변한다는 것은 2012년에 이러한 결론을 도출하기에 충분한 데이터가 있었다는 것을 의미하며 후속 데이터를 추가하면 이러한 결과를 더 정확하게 확인할 수 있다는 것을 의미한다. 
Our findings suggest that at our medical school, females are rated higher than males on the MMI. The change in the standardized mean difference over time implies that there were sufficient data to draw this conclusion in 2012 and that the addition of subsequent data simply confirms this finding with greater precision. 



연구 2 Study 2

방법 Method

참여자 Participants.

재료 Materials.

본 연구에 사용된 데이터는 본 의과대학의 입학 전형 과정의 일환으로 전진적으로 수집되었습니다. 이러한 데이터에는 지원자 파일의 등급과 후속 MMI 등급이 포함되었습니다. 지원자의 파일 데이터에는 이력서, 학력(학부 성적 평균[GPA]), 적성 시험 성적(MCAT]), 추천서 등이 포함되어 있었다. 또한 지원자의 성별과 나이를 기록했으며, 각 MMI 방송국별로 면접관의 성별과, 면접관이 수습생인지 여부를 기록했습니다. MMI의 12개 스테이션 각각에 대해 우리가 평가하고자 하는 단일 속성이 있었으며, 대상 속성의 전체 목록은 다음과 같았다.

  • 갈등 관리/통신
  • 학습에 대한 태도
  • 피드백에 대한 반응성.
  • 의사결정 능력/데이터 해석
  • 연구 윤리
  • 의사소통 기술,
  • 문화적 역량
  • 공감;
  • 시각적 관찰 및 창의적 사고
  • 자원 관리/프로젝트 계획;
  • 정직과 진실,
  • 오류 공개

The data used for this study were collected prospectively as part of our admissions selection process. These data included ratings of applicants’ files and subsequent MMI ratings. Applicants’ file data included their curriculum vitae, academic record (undergraduate grade point average [GPA]), performance on an aptitude test (Medical College Admission Test [MCAT]), and letters of reference. We also noted the gender and age of applicants, and for each MMI station we noted the gender of the interviewer and whether the interviewer was a trainee. For each of the 12 stations on the MMI there was a single attribute that we intended to assess, and the complete list of target attributes was as follows:

  • conflict management/communication;
  • attitude towards learning;
  • responsiveness to feedback;
  • decision-making ability/data interpretation;
  • research ethics;
  • communication skills;
  • cultural competency;
  • empathy;
  • visual observation and creative thinking;
  • resource management/project planning;
  • honesty and integrity; and
  • disclosure of error.

MMI에 대한 성과는 체크리스트와 전지구적인 평가 척도를 조합하여 평가되었으며, 이는 주어진 관측소에 대한 최종 평가에도 동일하게 기여하였다.
Performance on the MMI was rated using a combination of a checklist and a global rating scale, which then contributed equally to the final rating for a given station. 

절차 Procedures.

각 지원자의 파일은 7개 CanMED 역량을 나타내려는 7개 영역에 대해 주관적인 점수를 제공한 60명의 패널로부터 4명의 독립 검토자에 의해 검토되었다.3 예를 들어, 학업 성적은 전문가 역할의 일부로 평가되었고, 관리자 역할을 평가할 때 리더십 경험이 고려되었습니다. 그런 다음, 파일 검토 점수는 다음과 같은 가중치를 사용하여 작성되었다: 7개의 CanMED 역량을 나타내는 각 도메인에 대해 10%, GPA에 대해 20%, MCAT의 구두 추론 구성요소에 대해 10%이다. 평균 파일 검토 점수를 기준으로 지원자의 순위를 매기고 상위 526명의 지원자를 MMI에 초대했습니다. MMI 스테이션은 7분이며 단일 면접관이 평가했습니다.
Each applicant’s file was reviewed by 4 independent reviewers, from a panel of 60, who provided subjective scores for seven domains that were intended to represent the seven CanMEDS competencies.3 For example, academic record was rated as part of the Expert Role, and leadership experience was considered when rating the Manager Role. The file review scores were then compiled using the following weighting: 10% for each of the domains representing the seven CanMEDS competencies, 20% for GPA, and 10% for the verbal reasoning component of the MCAT. We ranked applicants based on mean file review scores and invited the top 526 applicants to attend our MMI. Our MMI stations were seven minutes long and were rated by a single interviewer. 

통계 분석
Statistical analysis.

여성 및 남성 지원자에 대한 MMI 등급을 비교하기 위해 Cohen d와 함께 독립 표본 t 검정을 효과 크기 측정값으로 사용했습니다. 다른 잠재적 설명 변수에 대한 조정 후 신청자 성별과 MMI 등급 간의 연관성을 연구하기 위해 다중 선형 회귀 분석을 수행했다.

  • 지원자의 나이,
  • 내신,
  • MCAT 점수(언어 추론, 물리, 생물)
  • 면접관의 성별, 그리고
  • 면접관이 훈련생(의대생 또는 레지던트)이었는지 여부.

To compare MMI ratings for female and male applicants, we used an independent-sample t test with Cohen d as our measure of effect size. We performed multiple linear regression to study the association between applicant gender and MMI ratings after adjustment for other potential explanatory variables:

  • applicant’s age,
  • GPA,
  • MCAT score (for verbal reasoning, physical sciences, and biological sciences),
  • interviewer’s gender, and
  • whether the interviewer was a trainee (medical student or resident).

우리는 회귀 모형에 지원자와 면접관 변수 간의 교호작용을 포함시키고 교호작용 항부터 시작하여 유의하지 않은 설명 변수를 제거하기 위해 후진 제거를 수행했습니다.

We included interactions between applicant and interviewer variables in our regression model and performed backward elimination to remove nonsignificant explanatory variables, beginning with interaction terms. 

MMI 등급에 부여된 가중치가 의과대학원 직책을 제안받을 확률에 미치는 영향을 조사하기 위해, 각 지원자에 대한 파일 검토 점수와 MMI 등급을 결합한 민감도 분석을 수행했다. 
To explore the impact of the weighting given to the MMI rating on the odds of female applicants being offered a medical school position, we performed a sensitivity analysis where we combined file review scores and MMI ratings for each applicant. 

결과 Results of Study 2

여성 신청자와 남성 신청자에 대한 평균 MMI 등급은 각각 6.60 (SD 1.75)과 6.34 (SD 1.88)이었다 (P = 0.01, d = 0.14). 지원자와 면접관의 성별(P =.94) 간의 상호작용을 포함하여 우리의 회귀 모델에서 상호작용은 없었지만, 지원자의 성별, 지원자의 나이, 면접관의 지위(연수생 대 비훈련생), 언어 추론 및 생물 과학에 대한 MCAT 점수는 MMI 등급과 관련이 있었다. 다른 변수에 대해 조정한 후에도 여성 신청자와 MMI 등급 사이에는 유의한 양의 연관성이 있었습니다(회귀 계수 0.23, 95% CI [0.14, 0.33, P < 0.001]). 이러한 데이터는 표 1에 나와 있습니다. 
The mean MMI rating for female and male applicants was 6.60 (SD 1.75) and 6.34 (SD 1.88), respectively (P < .01, d = 0.14). There were no interactions in our regression model, including no interaction between gender of applicant and interviewer (P = .94), but applicant’s gender, applicant’s age, interviewer’s status (trainee vs. nontrainee), and MCAT scores for verbal reasoning and biological science were associated with MMI rating. After adjusting for other variables, there was still a significant positive association between being a female applicant and MMI rating (regression coefficient 0.23, 95% CI [0.14, 0.33], P < .001). These data are shown in Table 1. 

민감도 분석에서, 서류점수 검토만을 기반으로 한 상위 150명의 지원자의 성별 구분(즉, MMI 등급이 전체 지원자 점수에 기여하지 않은 경우)이 원래 지원자 코호트의 성별 구분과 크게 다르지 않다는 것을 발견했다. (지원자가 여성이었던 비율 1.32; 95% CI[0.92, 1.91] P =.11) MMI 등급에 부여된 가중치를 변화시킬 때, MMI 등급이 전체 점수의 10% 이상을 기여할 때마다, 여성 지원자가 남성 지원자보다 상위 150명 안에 들 확률이 상당히 높았다. 이러한 데이터는 그림 2에 나와 있습니다. 

In our sensitivity analysis, we found that the gender breakdown of the top 150 applicants based solely on file review scores (i.e., when MMI rating did not contribute to overall applicant score) was not significantly different from that of the original application cohort (odds ratio of an applicant being female was 1.32; 95% CI [0.92, 1.91], P = .11). When varying the weight given to MMI rating, we found that whenever the MMI rating contributed 10% or more of the overall score, the odds of a female applicant being ranked in the top 150 students were significantly higher than for male applicants. These data are shown in Figure 2. 




고찰 Discussion of Studies 1 and 2

만약 MMI에서 여성이 남성보다 높은 평가를 받는다면, 우리는 그 이유를 이해하려고 노력해야 한다. 우리는 MMI의 타당성에 대해 서로 다른 의미를 갖는 두 가지 가능한 설명을 제안할 것이다. 첫 번째는 MMI가 포착하려는 속성을 여성들이 더 잘 보여줄 가능성이 높다는 것이다. 일반적으로, 남성과 비교했을 때, 여성이 더 나은 의사소통 기술을 보일 때, 20-22는 비판적 사고의 특정 측면(예: 열린 마음, 성숙도)에서 더 높은 평가를 받고, 18,29 그리고 더 많은 윤리적 결정을 내린다.30,31 
If females are rated higher than males on the MMI, then we should try to understand why. We would propose two possible explanations that have divergent implications for the validity of the MMI. The first is that females are more likely to demonstrate the attributes that the MMI is intended to capture. In general, when compared with males, females typically demonstrate better communication skills,20–22 are rated higher on certain aspects of critical thinking (such as open-mindedness and maturity),18,29 and make more ethical decisions.30,31

이러한 업무에서 여성이 남성보다 높은 성과를 낼 것으로 예상하기 때문에, MMI에서 여성이 남성보다 높은 등급을 받는다는 사실이 [MMI의 타당성 원천]이라고 주장할 수 있다. 그러나 또 다른 설명으로 가능한 것은 여성이 의사소통, 비판적 사고, 윤리적인 모습을 [더 잘할 것으로 기대하기 때문에] MMI에서 더 높은 평가를 받는다는 것이다. 만약에 후자의 경우라면, 여성은 MMI 점수의 타당성을 감소시키는 편견의 일종인 [관찰자 기대]의 결과로 더 높은 등급을 받은 것이다.

Because we expect females to outperform males on these tasks, one could argue that the fact that females are rated higher than males on the MMI is a source of validity for the MMI.32 However, the alternative explanation is that females are rated higher on the MMI because we expect them to be better at communication, critical thinking, and ethical decision making. In this scenario, females are rated higher as a result of observer expectancy, a type of bias that would reduce the validity of MMI ratings.

[관찰자 기대] 또는 [확증 편향(또는 "자기 충족 예언"33)]은 기존의 신념이 이러한 기존 신념을 뒷받침하는 방식으로 데이터의 해석에 무의식적으로 영향을 미치는 과정을 말하며, 심리학 문헌에는 관찰자 기대 편향의 예가 많다.36

  • 예를 들어, 근지구력 과제에서 남성과 여성의 성과를 평가해 달라고 요청했을 때, 남녀 대학생 모두 남성의 성과를 과대평가하고 여성의 성과를 과소평가하는 경향이 있었다.
  • 동영상에서 남성과 여성의 웃는 정도를 평가해 달라는 질문에 심리학과 학생들은 남성에 비해 여성의 웃는 모습을 과대평가했다. 

Observer expectancy or confirmation bias (also referred to as “self-fulfilling prophecy”33) refers to a process where preexisting beliefs subconsciously influence interpretation of data in a way that supports these preexisting beliefs,34,35 and there are many examples of observer expectancy bias in the psychology literature.36

  • For example, when asked to rate the performance of males and females on a muscular endurance task, both male and female college students tended to overestimate the performance of males and underestimate the performance of females,37
  • whereas when asked to rate the amount of smiling of males and females on video clips, psychology students overestimated smiling of females relative to males.38

이러한 성별 기반 고정관념은 자동으로 생성되며 컴퓨터의 음성 출력이나 가상 인간의 인식된 성별과 같은 미묘한 조작에 의해 유발될 수 있습니다. [관찰자의 기대]는 대체로 잠재의식 수준에 존재하는 것이므로, 감지하기 어렵고 마찬가지로 억제하기도 어려울 수 있습니다. —특히 관측자에게 8분 MMI 관측소와 같이, 노출이 제한된 상황에서, ill-defined 구인에 대한 평정을 해야 하는 경우 그렇다.

These gender-based stereotypes are generated automatically and can be triggered by subtle manipulations, such as altering the voice output of computers or perceived gender of virtual humans.39,40 Being largely subconscious, observer expectancy may be difficult to detect and equally difficult to suppress—especially when observers are asked to rate ill- defined constructs based upon limited exposure, such as an eight-minute MMI station.41–43 

MMI(또는 다른 데이터 출처)의 포함이 의대 입학에서 성비 불균형을 야기하는지 우려해야 하는가? 이 질문에 대한 답은 취해진 관점에 따라 달라지며, 우리는 의과대학 입학 과정에 변화가 미치는 영향을 판단할 수 있는 가장 의미 있는 방법으로 [환자 중심의 결과]를 제안할 것이다. 선발 과정의 변화를 통해서 양질의 의료 서비스를 제공하는 인력이 양성된다면, 성별 불균형이 허용될 수 있다. 심지어는 의료 서비스 제공 개선을 위하여 필요할 수도 있습니다. 
Should we be concerned if the inclusion of the MMI (or any other source of data) creates a gender imbalance in medical school admissions? The answer to this question depends on the perspective taken, and we would propose patient-centered outcomes as the most meaningful way to judge the impact of any change to the medical school admissions process. If changes to the selection process produce a workforce that delivers higher-quality health care, a gender imbalance may be acceptable— and may even be necessary to improve health care delivery.

그러나 동등하거나 더 나쁜 의료 결과로 성비 불균형을 초래하는 입학 과정은 용납될 수 없다. 이전의 연구들은 여성 의사들이 환자와 상호작용할 때 일반적으로 남성보다 더 큰 공감을 보이고 더 많은 긍정적인 진술을 사용하며, 이러한 유형의 의사소통은 더 나은 과거 데이터를 제공하고, 더 나은 만족도와 정신건강을 보고하고, 덜 사용하는 환자와 관련이 있다고 제안했다. 45–48 그러나 이러한 유형의 데이터는 어떤 유형의 입학 절차를 지원하는 직접적인 증거를 제공하지 않는다. 

But an admissions process that creates a gender imbalance with equal or worse health care outcomes is unacceptable. Previous studies have suggested that female physicians typically demonstrate greater empathy and use more positive statements than males when interacting with their patients21,44 and that this type of communication is associated with patients providing better historical data, reporting enhanced satisfaction and psychosocial health, and using less health care resources.45–48 However, these types of data do not provide direct evidence in support of any type of admissions process. 

그렇다면 선발 프로세스가 의료 결과에 미치는 영향을 어떻게 입증할 수 있는가? 의료 성과 개선을 목적으로 설계된 인터벤션은 지속적으로 도입되고 있으므로 선택 프로세스의 사전/사후 비교는 다른 개입으로 인하여 confound될 수 있다. 두 가지의 성발 과정을 종단적으로 추적하여 무작위 비교하는 것이 이상적이지만, 이러한 유형의 다중 센터 연구는 많은 의과대학에서 수용되거나 가능하지 않을 수 있다. 

So, how can we demonstrate the impact of the selection process on health care outcomes? Interventions designed to improve health care outcomes are being implemented continuously, so a pre/post comparison of selection processes would be confounded by other interventions. A randomized comparison of different selection processes with longitudinal follow-up would be ideal, but this type of multicenter study may not be acceptable or feasible for many medical schools. 

분명히 우리는 입학 과정이 측정 가능하고 의미 있는 결과에 미치는 영향을 입증하는 데 있어 중대한 도전에 직면해 있습니다.5 MMI가 보건의료 성과에 미치는 영향을 알지 못하면 MMI 등급의 성별 차이가 허용 가능한지 여부를 말할 수 없다. — 그러나 우리는 의과대학 입학에서 성 불균형의 기원을 MMI의 역사보다 훨씬 더 거슬러 올라갈 수 있다는 것을 알고 있다. 미국에서는 남성이 지속적으로 여성 졸업생 수를 앞섰다.49 1993-1994년(MMI가 나오기 10년 전) 이후, 캐나다에서는 지난 22년 동안 2년을 제외한 모든 기간에서 여학생이 남학생보다 많았다. 그 전 22년동안에는 반대로 여성은 늘 상대적으로 소수였다 50 이러한 성별 불균형의 이유와 의료 제공에 미치는 영향은 알려지지 않았지만, 추가 탐구할 가치가 있다.

Clearly, we face significant challenges in demonstrating the impact of the admissions process on outcomes that are both measurable and meaningful.5 Without knowing the impact of the MMI on health care outcomes, we cannot say whether gender differences in MMI ratings are acceptable or unacceptable— but we do know that the origins of gender imbalance in medical school admissions can be traced back much further than the history of the MMI. In the United States, males have consistently outnumbered female graduates.49 Since 1993–1994 (10 years before the description of the MMI), in Canada female students have outnumbered males in all but 2 years— after being consistently in the minority in the preceding 22 years.50 The reason for these gender imbalances and their impact on health care delivery are unknown, but are also worthy of further exploration. 

결론 Conclusions

우리는 이것이 먼저 확인되고 설명되어야 할 중요한 발견이라고 생각합니다. 특히 MMI에서는 커뮤니케이션, 비판적 사고, 윤리적 의사결정 능력이 향상되어 여성 지원자를 선발하는 것인지, 아니면 추가 설명이 필요한 대안적 설명 때문에 여성 지원자를 더 높게 평가하는 것인지 알 필요가 있다.

We feel that this is an important finding that needs first to be confirmed and then explained. In particular, we need to know if we are selecting female applicants because during the MMI we observe better communication, critical thinking, and ethical decision-making skills, or if we rate female applicants higher because of alternative explanations that need to be further elucidated. 

 

 

 

 


Acad Med. 2017 Jun;92(6):841-846.

 doi: 10.1097/ACM.0000000000001466.

Are Female Applicants Rated Higher Than Males on the Multiple Mini-Interview? Findings From the University of Calgary

Marshall Ross 1Ian WalkerLara CookeMaitreyi RamanPietro RavaniSylvain CoderreKevin McLaughlin

Affiliations collapse

Affiliation

  • 1M. Ross is a resident, Department of Emergency Medicine, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. I. Walker is clinical associate professor, Department of Emergency Medicine, and director of admissions, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. L. Cooke is associate professor, Department of Clinical Neurosciences, and associate dean of continuing medical education, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. M. Raman is clinical associate professor, Department of Medicine, and associate director of admissions, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. P. Ravani is professor, Department of Medicine, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. S. Coderre is professor, Department of Medicine, and associate dean of undergraduate medical education, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. K. McLaughlin is professor, Department of Medicine, and assistant dean of undergraduate medical education, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada.
  • PMID: 28557950
  • DOI: 10.1097/ACM.0000000000001466Abstract
  • Purpose: The multiple mini-interview (MMI) improves reliability and validity of medical school interviews, and many schools have introduced this in an attempt to select individuals more skilled in communication, critical thinking, and ethical decision making. But every change in the admissions process may produce unintended consequences, such as changing intake demographics. In this article, two studies exploring gender differences in MMI ratings are reported.Results: Females were rated higher than male applicants (standardized mean difference 0.21, 95% CI [0.11, 0.30], P < .001). After adjusting for other explanatory variables, there was a positive association between female applicant and MMI rating (regression coefficient 0.23 [0.14, 0.33], P < .001). Increasing weight assigned to MMI ratings was associated with increased odds of females being ranked in the top 150 applicants.
  • Conclusions: In this single-center study, females were rated higher than males on the MMI, and the odds of a female applicant being offered a position increased as more weight was given to MMI ratings. Further studies are needed to confirm and explain gender differences in MMI ratings.
  • Method: Cumulative meta-analysis was used to compare MMI ratings for female and male applicants to the University of Calgary Cumming School of Medicine between 2010 and 2014. Multiple linear regression was then performed to explore gender differences in MMI ratings after adjusting for other variables, followed by a sensitivity analysis of the impact of varying the weight given to MMI ratings on the odds of females being ranked in the top 150 applicants for 2014.

성격, 직업, 선발의 미래: 신화와 오해와 측정과 제안(Adv in Health Sci Educ, 2017)

Future directions in personality, occupational and medical selection: myths, misunderstandings, measurement, and suggestions

Eamonn Ferguson1 • Filip Lievens2




도입

Introduction


의학 선택에서 인성에 대한 전통적인 접근법은 보통, 

  • (1) 미래 결과를 예측하는 능력에 기초하여 특성을 식별하고 

  • (2) 이러한 특성에 대해 사람을 선택하는 것으로, 일반적으로 더 높은 점수를 선발한다(Ferguson et al. 2002). 

그러나, 최근의 성격 이론의 발전은 의학에서의 선발 관행에 대한 분명한 함축적 의미를 지닌 이 전통의 타당성에 의문을 제기한다.

the traditional approach to personality in medical selection. That is: 

  • (1) to identify traits based on their ability to predict a future outcome and 

  • (2) to select people on these traits, usually selecting higher scores (Ferguson et al. 2002). 

However, recent advances in personality theory question the validity of this tradition with clear implications for medical selection practices.


인격의 개념화 발전

Developments in the conceptualization of personality


신화/오해 1: 안정적인 결정론적 예측 변수로서의 특성

Myth/misunderstanding 1: traits as stable deterministic predictors


특성이 행동의 안정적인 결정론적 예측 변수라는 것이 널리 알려진 믿음인 반면(개요는 로버츠 2009, 개요는 로버츠 참조), 생태학(Dingemanse et al. 2010), 경제학(Fergusson et al. 2011), 성격 심리학(Roberts and Jackson 2008)은 그 반대 의견을 제시한다(=즉, 특성trait은 행동의 안정적 결정론적 예측인자가 아니다). 특성은 맥락 및 생물학과 역동적으로 연결되어, 여러 맥락에 걸친 행동(trait expression)의 표현에 영향을 줄 뿐 아니라 변화할 수 있도록 한다.

Whereas it is a widely held belief that traits are stable deterministic predictors of behaviour (see Roberts 2009, for an overview), current thinking from ecology (Dingemanse et al. 2010), economics (Ferguson et al. 2011) and personality psychology (Roberts and Jackson 2008) suggests the opposite. Traits are conceived as dynamically linked to context and biology, allowing for traits not only to change but also to influence the expression of behaviour (trait expression) across contexts.


변화와 안정성

Change and stability


근거에 따르면, 시간적으로 가까운 사건 뿐만 아니라 (Twenge 2000, 2009) 세대와 라이프 코스에 따라서도 특성이 변화한다는 것을 증명한다. 

        • (1) 대학, 직장, 실업과 같은 환경 노출 (Ludtke et al. 2011; Robins et al. 2005; Roberts et al. 2013; Boyce et al. 2015), 

        • (2) 훈련 (Jackson et al. 2012) 및 

        • (3) 변화를 촉진하기 위한 치료적, 심리적 개입(Tang et al. 2009; 허드슨과 프랄리 2015). 

Evidence demonstrates that traits change across generations (Twenge 2000, 2009), and the life course (Roberts et al. 2006; Caspi et al. 2005; Roberts and Mroczek 2008 for reviews) as well as a function of proximal events: 

        • (1) environmental exposure such as university, work, unemployment (Ludtke et al. 2011; Robins et al. 2005; Roberts et al. 2013; Boyce et al. 2015), 

        • (2) training (Jackson et al. 2012), and 

        • (3) therapeutic and psychological interventions to promote change (Tang et al. 2009; Hudson and Fraley 2015). 

이러한 변화의 규모는 상당할 수 있다. 그것은 소득과 부와 같은 변화의 경제 지표의 크기와 같다(Boyce et al. 2013). 성격변화의 정도는 그 자체로 개인의 차이(Ludtke et al. 2011)를 따르며 신념의 영향을 받는다(예: 성격변화의 가능성에 관한 것, Robins et al. 2005).

The size of these changes can be substantial. It is of the same magnitude of economic markers of change like income and wealth (Boyce et al. 2013). The degree of personality change is itself subject to individual differences (Ludtke et al. 2011) and influenced by beliefs (e.g., about the changeability of personality, Robins et al. 2005).


인간 성격의 사회유전적 모델과 같은 모델은 [생물학, 환경, 상태(감정, 인지, 신념)]와 [특성] 사이의 역동적인 상호작용을 강조함으로써 세대 내 성격 변화를 설명하는 것을 목표로 한다. 이 모델에 따르면, 성격 변화는 다음의 두 가지 모두에 영향을 받는다.

(1) 생물체의 생물학에 대한 환경뿐만 아니라 

(2) [생물학과 특성 변화] 사이의 관계를 중재하기 위해 행동하는 상태 

Models such as the socio-genomic model of human personality aim to explain personality change within generations by highlighting the dynamic interaction between biology, environment, states (emotions, cognition, and beliefs), and traits (Roberts and Jackson 2008). According to this model, personality change is brought about by the influence of both 

(1) the environment on the organism’s biology as well as 

(2) states acting to mediate the link between biology and trait change.


마찬가지로, evo-devo 모델(진화 및 발달 생물학의 합성, 경우에 따라 표현형의 적응적 품질: Laland et al. 2011, 페이지 1514 및 Toth and Robinson 2007 참조)과 Niche 건설 이론(생물이 '생태공학자'로 활동하며 그러한 환경에서 적응하고 환경을 변화시킨다. 진화적 이득이 전달되는 방법: Odling-Smee et al. 2013 참조)는 특성이 세대 내에서, 그리고 여러 세대에 걸쳐 모두 변화한다는 것을 나타낸다(Laland et al. 2011). 이 모델들은 특성이 환경을 변화시키거나 변형시킬 뿐만 아니라, 한 유기체로 하여금 특정한 환경을 선택하게 한다는 것을 시사한다. 이 모든 것이 특성 변화를 이끈다.

Similarly, both evo-devo models (a synthesis of evolutionary and developmental biology, whereby in some cases developmental ‘biases’ the adaptive quality of a phenotype: see Laland et al. 2011, p. 1514 and Toth and Robinson 2007) and niche construction theories (whereby organisms act as ‘ecoengineers’ and adapt and change their environments in such a way that the evolutionary gains are passed on: see Odling-Smee et al. 2013) indicate that traits change both within and across generations (Laland et al. 2011). These models suggest that traits lead organisms to both select environments to operate in as well as to change/shape these environments. All of which leads to trait change.


또한 [특정 환경을 선택하게 유도하는 특성은, 그렇게 선택된 환경으로부터 가장 많이 변하는 특성]이라는 '상응 원리corresponsive principle'에 대한 증거도 있다(Roberts et al. 2013). 카스피 등은 다음과 같이 간결하게 표현하였다.

…인격발달에 대한 인생경험의 가장 가능성이 높은 효과는 애초에 사람들을 그러한 경험으로 이끄는 특성을 심화시키는 것이다. 예를 들어, 만약 사람들이 지배적이기 때문에 더 많은 지도자 자리를 차지한다면, 그들은 지도자로서의 경험을 통해 더 지배적이 될 것이다.

There is also evidence for the ‘‘corresponsive principle’’, whereby the trait that drives selection into an environment is the trait that changes the most from the selected environment (Roberts et al. 2013). As Caspi et al. (2005) succinctly put it 

‘‘…the most likely effect of life experience on personality development is to deepen the characteristics that lead people to those experiences in the first place …For example, if people assume more leadership positions because they are more dominant, then they will become more dominant through their experience as leaders.’’ (p. 470).


이러한 접근법을 결합한 하이브리드 모델(그림 1)은 '특성'이 생물학적으로 환경에 의해 영향을 받을 뿐만 아니라 발달 기간 전반에 걸쳐 환경에도 영향을 미친다는 것을 나타낸다. 즉, 우리는 우리가 운영하는 환경을 선택하고, 환경을 변화시키며, 결과적으로 이러한 경험의 함수로 우리의 특성은 변화한다. 건강을 증진시키는 특정한 특성 변화는 다음 세대를 위해 선택되고 살아남을 수 있다.

A hybrid model, combining these approaches (Fig. 1), indicates that traits, as well as being influenced by the environment via biology, also influence environments across developmental time—we choose the environments we operate in, change them and our traits consequently change as a function of these experiences. Certain trait changes that increase fitness may be selected for and survive to the next generation.



컨텍스트별 예측

Context specific prediction


위의 발전은 수명에 걸쳐, 세대에 걸쳐 그리고 여러 맥락에 걸쳐 사람들의 성격 특성의 변화를 다루는 반면에, 다른 발전은 특성(trait expression)과 관련된 행동의 표현이 상황에 따라 [개인 내에서] 어떻게 변화하는지 강조한다. 로버츠(2009)는 특성이 특정 맥락에서 주어진 특정 방식으로 행동할 확률을 결정하는 함수를 나타낸다고 제안한다. 이는 생태학에서 개성을 개념화하는 데 사용되는 행동 반응 규범(BRN)과 공명한다(Dingemanse et al. 2010). BRN은 등급화된 매개변수(예: 스트레스: 상황별 그라데이션)에 따라 변화하는 상황에 걸쳐 여러 시점에서 특성 관련 행동을 평가한다. 여러 맥락에 걸친 평균값은 유기체가 전형적으로 어떻게 행동하는지(성격)를 보여주고, 문맥에 걸친 분산/공분산은 유기체가 어떻게 적응하고 변화하는지(가소성)를 나타낸다.1

Whereas the developments above deal with changes in people’s personality traits across the life span, within generations and to context, other developments emphasize how the expression of behaviours associated with traits (trait expression) changes within individuals across situations. Roberts (2009) suggests that traits represent a function that determines the probability that a person will act in a particular way given a particular context. This resonates with behavioural reaction norms (BRNs) used to conceptualize personality in ecology (Dingemanse et al. 2010). A BRN assesses trait relevant behaviours at multiple time points across a context that varies along some graded parameter (e.g., stress: contextual gradient). The mean value across context indicates how the organism typically behaves (personality) and variance/covariance across context denotes how the organism adapts and changes (plasticity).1


Fleeson 외 연구진(Fleeson 2004; Fleeson and Law 2015 참조)은 인간의 성격에 유사한 접근방식인 밀도 분포 접근법을 적용했다. 여기서 특성 관련 행동(예: '성실성: 지난 30분 동안, 얼마나 열심히 일했는가?')에 대한 여러 평가가 여러 맥락에 걸쳐 수집된다. 성격과 가소성이 모두 관찰되었다(그림 2 참조). 또한, 1일차의 일반적인 행동은 다음 날의 전형적인 행동을 예측하였다(안정성). 전통적인 성격 척도와의 평가와 관련하여, Fleeson 등은 표준 성격 척도(-1 SD)에서 낮은 점수(-1 SD)에 비해 높은 점수(+1 SD)를 획득한 사람에 대해 분포가 오른쪽으로 이동한다는 것을 보여주었다(그림 3 참조). 그래서 예를 들어, 높은 성실성을 지닌 사람들도 여전히 때때로 낮은 성실성을 보일 것이다.

Fleeson et al. (see Fleeson 2004; Fleeson and Law 2015) applied a similar approach to human personality: the density-distribution approach. Here multiple assessments of trait relevant behaviours (e.g., for conscientiousness: ‘During the last half hour, how hardworking have you been?) are collected across contexts. Both personality and plasticity were observed (see Fig. 2). Furthermore, typical behaviour on 1 day predicted typical behaviour the next day (stability). In relation to assessment with traditional personality scales, Fleeson et al. showed that the distribution shifts to the right for those who score high (?1 SD), compared to low (-1 SD), on a standard personality scale (see Fig. 3). So, for example, high conscientious people will still express some low conscientiousness at times.


요컨대, 성격은 여러 맥락에 걸친 전형적인 행동, 안정성과 가소성을 모두 반영하는데, 전통적인 성격자료는 가소성이 아닌 전형적인 행동적 경향만을 취한다.

In sum, personality reflects both typical behaviour, stability and plasticity across contexts, and traditional personality inventories pick up only typical behavioural tendencies but not plasticity.




의료 선택 연구에 대한 시사점

Implications for medical selection research


현재 의료훈련의 기능으로서 인성이 어떻게 변하는지 등에 대한 자료는 없다. 이러한 검사는 의대생과 내과의사의 의학적 직업에 대한 적응성을 예측하는 데 중요하다. 예를 들어 의료 훈련이 성실성 수준을 변화시킨다면, 그것은 훈련병/의사들을 더 성실하게 만들 것인가 아니면 덜 성실하게 만들 것인가?

At present, there are no data on how personality changes as a function of medical training. Such an examination is important for predicting adaptability of medical students and physicians to a career in medicine. If medical training changes levels of conscientiousness for example, does it make the trainee/physician more or less conscientious?


전통적인 접근방식은 성격 변화를 고려하지 않지만(퍼거슨 2013), 성격 변화가 예측 모델의 일부가 될 필요가 있다는 것은 분명하다.

The traditional approach does not consider personality change (Ferguson 2013), but it is clear that personality change needs to be part of any predictive model.


특성 표현과 특징으로부터의 맥락별 예측은 또한 맥락에 따라 - 성실성과 같은 특징이 높은 사람들이, 그러한 행동을 표현하기 더 쉽거나 덜 가능성이 있다는 것을 암시한다.

Trait expression and the context specific prediction from traits also implies that depending on context—people high on a trait, such as conscientiousness, may be more or less likely to express that behaviour.


따라서 trait의 예측 타당성은 맥락에 따라 달라지며, 우리는 의료 경력 전반에 걸친 차이 예측뿐만 아니라 이것이 성격 변화에 어떻게 영향을 미치고 영향을 받는지 알 필요가 있다.

Thus, the predictive validity of the trait is context dependent and we need to not only know about differential prediction across the medical career but also how this influences and is influenced by personality change.


신화/오해 2: 어둡고 밝은 면

Myth/misunderstanding 2: the dark and bright sides


어떤 특성은 '좋은'(양심적인) 것이고, 어떤 특성은 '나쁜'(신경학적)이라는 가정이 있다. 그러나 최근의 연구 결과는 '좋은' 특성도 '어두운 측면'을, '나쁜' 특성도 ''밝은 측면'''을 가지고 있다는 것을 보여준다(Boyce et al. 2010; Ferguson et al. 2014). 예를 들어, 신경증에는 불안감이 그 측면의 하나로서, 위험에 대한 경계심 강화라는 측면에서 이익을 가져오지만, 비용: 스트레스에 대한 부정적인 반응(진화적 설명은 쐐기 2006 참조)이 수반된다.

There is an assumption that some traits are ‘‘good’’ (conscientiousness) and others are ‘‘bad’’ (neuroticism). However, recent findings show that ‘‘good’’ traits have a ‘‘dark-side’’ and ‘‘bad’’ traits a ‘‘bright-side’’ (Boyce et al. 2010; Ferguson et al. 2014). For example, neuroticism has anxiety as a one of its facets, which brings benefits in terms of increased vigilance to danger, but carries a cost: negative reactions to stress (see Nettle 2006 for an evolutionary explanation).


위디거와 멀린스위트(2008)는 이 아이디어를 더 발전시키면서 빅5 특성은 적응력이 부족하거나 정상적인 행동과 관련이 있을 수 있으며, 이러한 특성은 높은high 행동과 낮은low 행동으로 더 세분화되어야 한다고 제안한다. 따라서 

      • 부적응적 높은 성실성(근본적이고, 단일한 마음), 

      • 부적응적 낮은 성실성(관심 없고, 엉성하고), 

      • 정상적인 낮은 성실성(구체적이고, 지략적인)은 모두 좋은 성과를 억제하는 반면, 

      • 정상적인 높은 성실성(조직적이고, 지략적인)은 성과를 높일 것이다.

Developing this idea further, Widiger and Mullins-Sweatt (2008) suggest the Big 5 traits may be related to behaviours that are associated with being either maladaptive or normal, with these further divided into high and low. Thus, 

      • maladaptive high conscientiousness (ridged, single minded), 

      • maladaptive low conscientiousness (careless, sloppy) and 

      • normal low conscientiousness (disorganized) would all hinder good performance, 

      • whereas normal high conscientiousness (organized, resourceful) would enhance it.


이는 곡선 함수가 특성을 성과와 연결한다는 것을 시사한다. 예를 들어, 너무 적은 성실함과 너무 많은 성실함은 문제가 될 수 있는 반면, 단지 충분한 양의 양심('골디락스의 가설')이 최적의 해결책이다(Martin and Keyes 2015).

This suggests that a curvilinear function links the trait to performance. For example, too little conscientiousness and too much conscientiousness may be problematic, whereas just enough conscientiousness (the ‘‘Goldilocks’ hypothesis’’) is the optimal solution (Martin and Keyes 2015).


의료 선택 연구에 대한 시사점

Implications for medical selection research


그 의미는, 의학에서 전형적으로 선발의 핵심으로 여겨지는 "좋은" 특성들이, 성실성과 마찬가지로, 어두운 면을 지니고 있을지도 모른다는 것이다. 실제로 의료 분야에서는 이에 대한 증거가 있다(Ferguson et al. 2003, 2014). 퍼거슨 외 연구진(2014년)은 양심성이 임상 지식의 부정적인 예측 변수지만 약간의 불안이 임상 기술 발달에 도움이 된다는 것을 보여주었다. 이러한 생각은 공감과 같은 특징으로 확장될 수 있다. 다만, 정신질환에 대한 민감성, 통증 문턱 감소, 정신이상학 측면에서 공감과 관련된 비용이 있다(퍼거슨 2016 참조).

The implication is that ‘‘good’’ traits that are typically seen as key to select in medicine, like conscientiousness, may carry a dark-side. Indeed, there is evidence for this in medicine (Ferguson et al. 2003, 2014). Ferguson et al. (2014) showed that conscientiousness was a negative predictor of clinical knowledge, but that a little anxiety aided clinical skills development. This idea can be extended to a trait like empathy, However, there are costs associated with empathy in terms of susceptibility to psychological illness, reduced pain thresholds, and psychopathology (see Ferguson 2016).


그러므로 의심할 여지 없이 미덕과 가치는 돌봄적caring 의료 시스템의 핵심이지만, 공감의 잠재적인 어두운 면을 고려하거나 테스트를 하지 않고, 무조건적으로 그러한 '좋은' 특성을 선택하는 것은 너무 단순하고 심지어 역효과적일 수도 있다. 실제로 최근의 증거는 보호자에 대한 감정이입이 비용을 수반할 수 있다는 것을 보여준다(Manczak et al. 2016 참조). 게다가 골디락스의 가설은 선택이 최적의 특성 수준에 초점을 맞춰야 한다는 것을 암시한다. 문제는 그 최적의 수준을 어떻게 식별하느냐 하는 것이다.2

Thus, while undoubtedly virtue and values, are key to a caring medical system, without considering the potential dark-side of empathy, and testing for it, selecting such a ‘good’ trait may be too simplistic and even counterproductive. Indeed, recent evidence shows that empathy in carers may carry costs (see Manczak et al. 2016). Furthermore, the Goldilocks’ hypothesis suggests that selection should focus on the optimal level of trait. The issue is how to identify that optimal level.2


성격 측정의 발전: 의료 선택 관행을 위한 몇 가지 해결책

Developments in personality measurement: some solutions for medical selection practice


위와 같은 우리의 검토는 성격평가가 '맥락적 민감성' 또는 '특성 표현trait expression'에 대한 일부 평가에 대해 최소한 허용해야 한다는 것을 시사한다. 또한 성격적 특성의 밝고 어두운 면에 모두 주의를 기울여야 한다.

Our review above suggests that personality assessment should allow at the very least for some assessment of ‘contextual sensitivities’ or ‘trait expression’. In addition, there should be attention to both bright and dark sides of personality traits.


맥락화된 성격 측정

Contextualized measures of personality


맥락화된 성격측정 도구는 일반적으로 기존의 일반 품목에 '태그'를 추가한다. 그러한 태그의 예는 "직장에서" 또는 "학교에서"이다(Lievens et al. 2008). 고용 영역의 최근 메타 분석(Shaffer and Postlethwaite 2012)은 이러한 단순한 태그를 일반적인 성격 척도에 추가하는 것이 직무 성과 예측을 위한 성격 점수의 타당도를 실질적으로 높인다고 밝혔다.

Contextualized personality inventories typically add a tag to existing generic items. Examples of such tags are ‘‘at-work’’ or ‘‘at-school’’ (Lievens et al. 2008). A recent metaanalysis in the employment domain (Shaffer and Postlethwaite 2012) revealed that adding such simple tags to a generic personality scale substantially raised the validity of the personality scores for predicting job performance.


또 다른 접근방식은 특성과 연관된 맥락특이적 동기에 초점을 맞추는 것이다. 맥락화에 대한 이러한 접근방식은 '5가지 개별 반응 규범'에 의해 예시되는데, 이 규범에서는 재고(FIRNI)가 5-요인 모델 치수를 한정된 등급의 환경 자극에 대한 사람들의 동기적 반응에서 안정적인 개인 차이로 개념화한다."(Denissen과 Penke 2008: 페이지 1297).

Another approach is to focus on context specific motivations linked to a trait. This approach to contextualization is exemplified by the Five Individual Reaction Norms ‘‘…which Inventory (FIRNI) conceptualizes the Five-Factor Model dimensions as stable individual differences in people’s motivational reactions to circumscribed classes of environmental stimuli’’ (Denissen and Penke 2008: p. 1297).


예를 들어 FIRNI 항목 

    • '내가 계획을 실행할 때 나는 단기적인 필요에 의해 쉽게 내 자신을 흐트러뜨리지 않는다'는 것을 

    • '환자들을 대할 때 나는 단기적인 필요에 의해 쉽게 내 자신을 흐트러뜨리지 않을 것이다'라고 다시 쓸 수 있다.

For example the FIRNI item 

    • ‘‘When I am acting on a plan I do not easily let myself be distracted by short-term needs’’ could be re-written as 

    • ‘‘When dealing with patients I would not easily let myself be distracted by short-term needs.’’


의료 선택 연구에 대한 시사점

Implications for medical selection research


성실성과 같은 특징에 "환자를 대할 때"와 같은 맥락화된 태그를 추가하는 것은 간단해 보일 수 있다(Jackson et al. 2010). 그러나 이러한 태그는 신중하게 고려할 필요가 있다. 예를 들어, 

      • 어떤 맥락을 태그로 달아야 하는가? 

      • 또한 지원자들은 (다양한 업무 경험을 가지고 있지 않은 한) 그러한 맥락에서 그들이 전형적으로 어떻게 반응할 것인지 말할 수 없을 것이다('환자들을 대할 때 나는 매우 유능한 사람이다'). 

      • 마지막으로, 사용된 태그의 특수성은 아마도 예측하고자 하는 결과 측정치를 반영해야 한다는 점에 유의해야 한다. 즉, 일반적 general 결과 측정(생활만족도, 웰빙)은 전통적인 일반적 성격 재고를 통해 가장 잘 예측되는 반면, 보다 좁고 세분화된 narrow and fine-grained 결과 측정은 그 반대다.

It may seem straightforward to add contextualized tags such as ‘‘when dealing with patients’’ to traits like conscientiousness (Jackson et al. 2010). However, these tags need to be carefully considered. For example, 

      • what contexts should be tagged? 

      • Also applicants (unless having had extensive work experience) would not be able to say how they would typically react in such a context (‘‘When dealing with patients I am a very competent person’’). 

      • Last, it should be noted that the specificity of the tags used should probably mirror the outcome measures that one wants to predict. That is, general outcome measures (life satisfaction, well-being) are best predicted with traditional generic personality inventories, whereas the opposite is true for more narrow and fine-grained outcome measures.


특성표현

Trait expression


상황판단시험(SJT)은 상황과 관련하여 성격을 측정할 수 있는 훨씬 더 많은 가능성을 제공한다.

Situational judgment tests (SJTs) offer even more possibilities for measuring personality in relation to situations.


새로운 개발은 사람들의 성격에 대한 지위를 유추하도록 설계된 SJT를 사용하는 것으로 구성된다(Motowidlo et al. 2006; Lievens and Motowidlo 2015). 그러한 SJT는 특정 성격 특성(예: 원만성)을 활성화한 다음, 그 만족도 면에서 다른 대응 옵션을 나열하는 상황을 제시한다. SJT의 기본 논리는 원만성에 높은 점수를 받은 사람일수록 주어진 상황에서 효과적인 (원만성) 반응이 무엇인지에 대해 보다 정확한 믿음(묵시적 특성 정책, Motowidlo et al. 2006)을 가지고 있기 때문에 다양한 옵션을 더 잘 구별할 수 있을 것이라는 것이다. 그러므로 암묵적 특성 정책은 그 맥락에서 효과적일 특성과 연결된 행동에 대한 절차적 지식을 포착한다.

A new development consists of using SJTs designed to infer people’s standing on personality (Motowidlo et al. 2006; Lievens and Motowidlo 2015). Such SJTs present a situation that activates a specific personality trait (e.g., agreeableness) and then lists response options that differ in terms of their level of agreeableness. The underlying logic is that people who score high on agreeableness will be better able to discriminate between the different options because they posses more accurate beliefs (referred to as implicit trait policies, Motowidlo et al. 2006), of what an effective agreeable reaction is in that given situation. Thus, implicit trait policies capture procedural knowledge about the behaviour linked to the trait that would be effective in that context.


의료 선택 연구에 대한 시사점

Implications for medical selection research


성격에 대한 타인-보고 및 암시적 성격 측정

Other-reports and implicit personality measures


다양한 상황에 걸쳐 목표물에 잘 아는 사람에 의해 누군가의 성격에 대한 타인의 보고들은 누군가의 명성을 밝혀준다. (호건과 셸턴 1998) 타인의 성격 보고는 일반적으로 자체 보고와 동일한 인벤토리를 통해서 얻어지며, 두 개의 메타 분석은 타인의 성격 보고가 유효하며 자기 보고의 예측 타당성를 실질적으로 더 높여준다는 것을 보여주었다(Connelly and Ones 2010; Oh et al. 2011). 위에서 검토한 증거는 스스로 보고된 성격이 환경적 우발상황과 사건에 대응하여 변할 수 있다는 것을 보여준다. 만약 개인의 자기 보고된 성격이 환경적 요인(예: 인생 사건, 시험 스트레스)과 관련하여 변화한다면, 문제는 잘 아는 동료들이 이것을 포착하여 목표 성격에 유사한 변화를 나타낼 수 있는지 또는 관찰자들에게 반드시 명백하지 않은 변화인지에 관한 것이다. 어떤 사람들은 그들의 성격과 관련된 행동의 변화를 관리할 수 있기 때문에 지인들은 그것을 이해하지 못하는 반면 다른 사람들은 그렇지 않을 수도 있다. 변화와 관련하여 개인에 대한 동료와 자기 보고 사이의 차이는 평판 및/또는 인상 관리 지표를 제공할 수 있다.

Other-reports of someone’s personality, by a person well acquainted to the target across a diversity of situations, sheds light on someone’s reputation (Hogan and Shelton 1998). Other-reports are typically obtained with the same inventories as self-reports and two meta-analyses showed that other-reports of personality are valid and substantially add incremental predictive validity over self-reports (Connelly and Ones 2010; Oh et al. 2011). The evidence reviewed above shows that self-reported personality can change in response to environmental contingencies and events. If an individual’s self-reported personality changes with respect to environmental factors (e.g., life events, exam stress), the question is whether their well acquainted peers are able to pick this up and indicate similar changes in the targets personality, or is the change not necessarily apparent to observers. It may be that some people are able to manage their expression of personality relevant behaviour change so acquaintances do not pick it up whereas others do not. Difference between peer and self-reports of personality, with respect to change, may provide an index of reputation and/or impression management.


성격에 대한 암묵적 척도와 명시적 척도의 중요한 차이점은 명시적 척도의 검사도구(예: NEO-PI)는 자신의 성격을 직접적으로 설명하도록 요구하는 반면, 전자는 누군가의 성격을 유추한다는 것이다. 예를 들어, 사람들은 연관성을 만들거나 문장을 완성하거나 그림을 배열하도록 요구 받고, 그들의 반응은 그들의 성격을 추론하는 데 사용된다(Uhlmann et al. 2012). 이중 시스템 프레임워크 내에서, 암묵적 측정은 직관적이고 빠른 처리를 하는 반면, 전통적인 명시적 측정은 느리고 숙의적인 처리를 평가한다(Strack and Deutsch 2004). 이처럼 암묵적·명확한 인성 대책이 서로 다른 과정을 두드리고 있다. 실제로 빅5의 암묵적 조치와 명시적 조치 사이의 연관성은 낮지만 일반적으로 신경증, 외향적 조치, 성실성 조치에 대해서는 가장 강력하다(그림과 폰 콜라니 2007; 슈무클 외 2008; 스테펜스와 코닉 2006; 비아넬로 외 2013 참조). 암묵적 성격 측정은 명시적 성격 측정치 이상에 추가적인 정보를 제공할 가능성이 있고, 자발적인 행동을 예측하며, 꾸며진 좋은 모습에 덜 취약하다.

The key difference between implicit and explicit measures of personality is that the latter inventories (e.g., NEO-PI) ask someone directly to describe their personality, whereas the former infer someone’s personality. For example, people are asked to make associations, complete sentences or arrange pictures and their responses are used to infer their personality (Uhlmann et al. 2012). Within a dual-system framework, implicit measures tap intuitive and fast processing, whereas traditional explicit measures assess slow and deliberative processing (Strack and Deutsch 2004). As such, implicit and explicit personality measures are tapping different processes. Indeed, the association between implicit and explicit measures of the Big 5 are low, but generally strongest for neuroticism, extraversion, and conscientiousness (see Grimm and von Collani 2007; Schmukle et al. 2008; Steffens and Konig 2006; Vianello et al. 2013). Implicit personality measurement has the potential to add extra information over and above explicit personality measures (Back et al. 2007; Lang et al. 2012; Uhlmann et al. 2012), predict spontaneous behaviours (Steffens and Konig 2006), and are less susceptible to faking good (Vecchione et al. 2014).


의료 선택 연구에 대한 시사점

Implications for medical selection research


의료 선택에서, 5-요인 모델 재고에 기초한 타인 성격 보고는 사용되지 않았다. 단, 성격 5요소 모델에 기초하여 구성된 참고 자료와 추천서를 통해 운영될 수 있다(예: 인사 선발에서 테일러 외 참조). 2004).

In medical selection, other-reports based on Five-Factor Model inventories have not been used. Yet, they could be operationalized through references and letters of recommendation that are structured based on the Five-Factor Model of personality (for an example in personnel selection, see Taylor et al. 2004).


조건부 추론 시험은 다음과 같다. 

conditional reasoning tests,


여기 수험생들에게 상황들과 가능한 반응들이 제시되어 있는데, 이것은 전통적인 추리 항목과 결합되어 있다. 상황으로부터 가장 논리적으로 적절한 대응을 선택하라는 것이다. 예를 들어, 공격성에 대한 조건부 추론 시험에서, 네 가지 반응은 서로 다른 정당성 메커니즘을 언급하는데, 이들 중 일부는 그러한 대응 옵션에 대한 반복적인 지지와 함께 공격성을 나타낸다. 리뷰에 따르면 공격성에 대한 조건부 추론 테스트의 예측 타당성은 자기 보고 성격 측정의 하나(베리 외 2010)와 유사하다. 또한 피검사자에게 이 검사가 (조건부 추론이 아니라) 공격성을 측정한다는 말을 해주지 않는 한, faking good에 취약하지 않다(Lebreton 외 2007).

Here test-takers are presented with situations and possible responses, which are interwoven with traditional reasoning items. They are asked to select the response that follows most logically from the situation. In a conditional reasoning test of aggression, for instance, the four responses refer to different justification mechanisms, with some of them indicating more aggressive tendencies of the endorser, with repeated endorsements of such response options indicative of aggressiveness. Reviews show that the predictive validity of conditional reasoning tests of aggression is similar to the one of self-report personality measures (Berry et al. 2010) and that they are not susceptible to faking good unless people are told that the test measures aggressiveness instead of conditional reasoning (LeBreton et al. 2007).


예측 유효성 문제 및 특성 변화

Predictive validity issues and trait change


그림 4. 따라서 유효 계수 예측은 (tn)과 (tn?1) (이러한 계수는 초기 수준과 잔차 변화에 대한 제어에 사용될 수 있다) 이전 훈련을 위한 제어로 표현될 수 있다. 따라서 우리는 다음과 같은 질문을 할 수 있다. 

(1) 선발(tn) 시 특성 점수는 훈련 백본 전체에 걸쳐 균등하게 예측하는가?(추정 예측 타당성), 강도 또는 방향이 변경화하는가? 

(2) 근위부 평가(tn+1)가 원위부 평가보다 강한 예측력을 가지는가?

(3) 중요한 것은 성격의 변화 정도인가? (그렇다면 변화의 예측 변수를 식별하는 것이 중요해진다).

Fig. 4. Thus, predictive the validity coefficients can be expressed as (tn) and (tn?1) (these can be used to control for initial levels and residual change) controlling for previous training. Thus we can ask if 

  • (1) trait scores at selection (tn) predict across the training backbone equally (generalized predictive validity), or if the strength or direction changes, 

  • (2) if proximal assessments (tn+1) have stronger predictive power than distal ones or 

  • (3) if it is the degree of trait change that matters (if so it becomes important to identify predictors of change).


에필로그

Epilogue


현재 의학에서의 선발에 대해 성격에 관한 문헌에는 세 가지 큰 gap이 있다. 

(1) 성격 변화와 의료 전문가의 건강 및 성과에 미치는 영향에 대한 데이터 부족 

(2) 특성 표현 및 맥락적 민감도의 평가 결여 및 

(3) '밝고'와 '어두운' 성격의 면과 의료 전문가의 성과에 대한 의미를 제대로 인식하지 못한다. 

There are three big gaps at this time in the literature of medical selection with respect to personality: 

(1) lack of data on personality change and its implications for healthcare professional’s health and performance, 

(2) the lack of assessment of trait expression and context sensitivity, and 

(3) no real recognition of the ‘bright’ and ‘dark’ sides of personality and again its implications for healthcare professionals’ performance. 


의료 훈련의 강도와 성질은 성격 변화를 초래할 가능성이 매우 높다(Ludtke et al. 2011), 또한 의료 훈련 맥락의 변화는 특성의 '어두운 측면'과 '밝은 측면'이 훈련의 특정 측면과 관련하여 특정한 역할을 하게 된다는 것을 의미한다(Fergusson et al. 2014).

The intensity and nature of medical training is very likely to result in personality change (Ludtke et al. 2011), also the changing medical training context is going to mean that ‘dark-side’ and ‘bright-side’ aspects of traits will have particular roles to play with respect to specific aspects of training (Ferguson et al. 2014).


전체적인 함축적 의미는 '전반적으로 긍정적인 예측 타당성을 갖는 특성을 선택한다'는 전통적인 모델 자체가 [역동적 특성 변화와 특성 표현의 맥락 특이성]에 직면하면 타당적이 제한된다는 것이다. 최소한 전통적 접근법을 사용하는 경우, 그 특성이 선발의 맥락에서 '어두운 부분'이 있는지 탐구하기 위해 분석을 실시해야 한다. 우리는 또한 이러한 맥락에서 특성이 어떻게 변하는지 알 필요가 있다. '변화'가 예측 모델에 고려되지 않으면 이러한 모델은 타당성 계수를 인위적으로 과소 추정하거나 과대 추정할 수 있다. 또한, 어떤 특성이 변화하고 누구를 위해 변화하는지 파악함으로써 우리는 훨씬 더 강하고 더 정확한 예측 모델을 개발할 수 있는 위치에 있게 될 것이다. 

The overall implication is that the traditional model of ‘‘selecting on a trait that has overall positive predictive validity’’ is itself of limited validity in the face of dynamic trait change and context specificity of trait expression. At a minimum, if the traditional approach is used, then analyses should be conducted to explore if the trait has any ‘darksides’ in the context of medical selection. We also need to know how traits change in this context. If change is not factored into the predictive models, then these models may well artificially under-or over-estimate validity coefficients. Also, by knowing which traits change and for whom we will be in a position to develop much stronger and more precise predictive models. 


예를 들어, 우리는 가장 작은 변화지만 예측력에 있어 가장 높은 가치를 보여주는 특성 수준을 선택할 수 있다. 아니면 우리는 특성 변화가 가장 크게 일어날 가능성이 있는 사람들을 식별할 수 있을 것이다. 이러한 변화가 도움이 될 경우(예: 인성 변화와 관리를 의료 교육의 일부로 다루는 것, Jackson et al. 2012; Hudson and Fraley 2015) 도움이 될 수 있다.

For example, we might select the level of the trait that shows the least change but the highest overall predictive value. Or we might identify those for whom greatest trait change is likely. If this change is likely to be detrimental interventions to help can be put into place (e.g., treating personality change and management as part of medical education as well as selection, Jackson et al. 2012; Hudson and Fraley 2015).


Ferguson, E. (2016). Empathy: The good, the bad and the ugly. In A. Wood & J. Johnson (Eds.), Positive clinical psychology: An integrative approach to studying and improving well-being (pp. 103–125). London: Wiley.


Ferguson, E., Semper, H., Yates, J., Fitzgerald, J. E., Skatova, A., & James, D. (2014). The ‘dark side’ and ‘bright side’ of personality: When too much conscientiousness and too little anxiety are detrimental to the acquisition of medical knowledge and skill. PLoS ONE, 9(2), e8860. doi:10.1371/journal.pone. 0088606.











. 2017 May;22(2):387-399.
 doi: 10.1007/s10459-016-9751-0. Epub 2017 Feb 20.

Future directions in personality, occupational and medical selection: myths, misunderstandings, measurement, and suggestions

Affiliations 

Affiliations

  • 1School of Psychology, University of Nottingham, Nottingham, NG7 2RD, UK. eamonn.ferguson@nottingham.ac.uk.
  • 2Department of Personnel Management and Work and Organizational Psychology, Ghent University, Ghent, Belgium.

Abstract

This paper has two objectives: (1) presenting recent advances in personality theory whereby personality traits are conceptualized within a framework that focuses on the dynamic interactions of behaviour, biology, context, and states, and (2) discussing the implications of these developments for measurement and medical selection. We start by presenting evidence that traits are no longer regarded as stable deterministic predictors of behaviour. Instead, traits are found to change across generations, the life span, and in response to environmental contingencies. Thus, there is an urgent need to explore how traits change as function of medical education. Second, drawing on recent theory and research (behavioural reaction norms and the density distribution model) we highlight evidence to show how the expression of trait relevant behaviour is dependent on context, and is distributed with an average (typical behaviour or personality) and a variance (plasticity or adaptability), with traditional personality measure associated with typical responding. Third, we demystify that some traits are better than others showing that so-called "good" traits have a dark-side. Fourth, we show how these developments impact on how personality might be assessed, thereby presenting recent evidence on the use of contextualized personality measures, situational judgment tests, other reports, and implicit measures. Throughout the paper, we outline the key implications of these developments for medical selection practices.

Keywords: Behavioural reaction norms; Contextualization; Five Factor Model; Health; Implicit measures; Medical selection; Personality; Personality change; Situational judgement tests.


능력(When I say ... ) (Med Educ, 2019)

When I say . . . merit

Chante De Freitas,1,2 Lawrence Grierson1,2,3 & Meredith Vanstone1,2,3




메리토크라시는 의학 교육에 깊이 뿌리박고 있는 이상이다: 능력에 대한 대화는 의과대학의 거의 모든 입학, 평가, 교정 과정에 스며들어 있다. 의대 입시와 관련된 질문을 고려하기 위해 '사회적 책임 렌즈'를 사용하는 연구자들로서, 우리는 그것이 종종 입학업무의 지침원리guiding principle로서 떠오르기 때문에 흥미로운 개념을 얻을 가치가 있다고 생각한다.

Meritocracy is an ideal rooted deeply in medical education: conversations about merit permeate almost every admissions, assessment and remediation process in medical school. As researchers using a social accountability lens through which to consider questions relevant to medical school admissions, we find merit an intriguing concept because it is often evoked as a guiding principle in admissions work.


Merit에는 변증적 의미와 함축적 의미 둘 다 있지만 분야 내에서 권위 있는 개념화가 부족하다. 의학 교육에서 장점이 무엇을 의미하는지 이해하기 위해, 우리는 옥스포드 영어 사전조차도 장점을 개인적 속성('표창할 수 있는 품질, 우수성, 좋은 점')과 보상에 대한 요구('뭔가를 받을 자격이 있는 품질 또는 보상이나 감사받을 자격이 있는 것') 등 다양한 정의를 제공하고 있다는 점에 주목한다.').1 이러한 정의를 바탕으로 볼 때, 능력은 [사회적 정의social justice]와 [부가적 가치added value] 모두의 문제로 볼 수 있다.

Merit has multiple meanings, both denotative and connotative, but lacks an authoritative conceptualisation within the field. Towards an understanding of what merit means in medical education, we note that even the Oxford English Dictionary offers multiple definitions, describing merit as both a personal attribute (‘a commendable quality, an excellence, a good point’) and as a claim for reward (‘the quality of deserving well, or of being entitled to a reward or gratitude’).1 Based on these definitions, merit can be seen as a matter of both social justice and added value.


의대 입시에 사용되는 능력 지표는 [의사의 훌륭한 자질]을 입증하는 자가 [의사가 될 자격이 있는 자]임을 보장해야 한다는 아이디어라고 볼 수 있다.

The idea is that the indicators of merit used for medical school admissions should ensure that those who demonstrate the commendable qualities of physicians are those who are entitled to be physicians.


의학교육은 능력주의, 즉 자신의 강점과 노력에 의해 위계 내 자신의 위치가 결정되는 사회제도라고 자부한다.2,3 그 결과 의대입학 과정이 조직되어 개별 지원자에게 입학허가를 보상한다. 이런 유형의 능력주의는 학점 평균과 의과대학 입학시험(MCAT) 점수와 같은 성적 척도가 각 입학 주기에 수천 명의 지원자를 더 쉽게 분류할 수 있도록 한다는 점에서 유용하다. (이런 능력주의는) 모든 신청자가 자신의 칭찬할 만한 자질을 입증하거나 향상시킬 수 있는 기회를 똑같이 이용할 수 있는 것은 아니라는 현실을 흐리게 한다는 점에서 부족하다. 즉, 신청자가 협소한 관련 업적목록을 통해 자신의 장점을 발휘할 수 있는 기회는 사회적, 경제적, 정치적 맥락에 의해 크게 영향을 받는다.

As a field, medical education prides itself on being a meritocracy, or a social system in which one’s place in the hierarchy is determined by one’s own strengths and efforts.2,3 As a result, medical school admissions processes are organised to reward individual applicants with an admission offer. This type of meritocracy is useful in that measures of merit, such as grade point average and Medical College Admission Test (MCAT) scores, make it easier for admissions committees to sort through thousands of applicants each admissions cycle. It falls short in that it obscures the reality that not every applicant has the same access to opportunities to demonstrate or enhance his or her commendable qualities. That is, the chance for applicants to exhibit their merit through a narrow list of relevant achievements is affected strongly by their social, economic and political contexts.


대부분의 사람들은 우리가 의학 교육에서 자의적인 차별을 최소화해야 한다는 것에 동의한다. 그러나 이러한 입학 시스템은 지원자의 [medical career에 대한 접근을 제한하는 힘]을 고려하지 않는 '능력'의 이상적 모습을 뒷받침한다. 궁극적으로 이 체계는 의학에서 [적절한 대표성의 문제]로 해석된다.

Most agree that we should minimise arbitrary discrimination in medical education. However, these admissions systems uphold an ideal of merit that does not consider the forces that limit an applicant’s access to a medical career. Ultimately, this system translates into a problem of appropriate representation in medicine.


예를 들어, 캐나다의 경우, 50%의 가구가 매년 Can$70 336 이하의 소득을 가지고 있다.4 그러나 캐나다 의대생의 28% 미만만이 이 소득계층에 속하는 가구에서 온다.5 캐나다 인구의 인종적 구성과 의료 연수생의 인종적 구성 간에 유사한 불일치가 보인다.5

For example, in Canada, 50% of households have an income below Can$70 336 per year.4 However, less than 28% of Canadian medical students come from households in this income bracket.5 Similar discrepancies are seen between the ethnic makeup of the Canadian population and that of medical trainees.5


이러한 불평등을 해결하기 위해, 소수 의대 출신 학생들을 위한 긍정 조치affirmative action, 원주민과 아프리카계 미국인 학생들을 위한 전용 입학처, 그리고 고등학교 학생들을 위한 파이프라인과 멘토링 프로그램 같은 정책들이 일부 의대에 의해 채택되었다.

To address this inequity, policies such as affirmative action, dedicated admissions streams for Indigenous and African-American students, and pipeline and mentorship programmes for high school students from under-represented groups have been adopted by some medical schools


능력에 대한 보다 개념화는 넓히는 것은 사회 정의의 문제일 뿐만 아니라 가능한 한 최고의 의료 품질을 제공하는 것과도 관련된다. 모든 환자에 대한 개선된 관리를 추구하면서, 많은 의과대학들은 개별 환자와 지역사회 모두의 건강 관리 요구를 충족할 수 있는 의사 훈련의 중요성을 강조하는 사회적 책임 규정을 채택했다.6 이런 점에서, 우리 사회가 필요로 하는 의사들을 훈련시키기 위해서는, underrepresented 배경을 가진 학생들을 격려하는 것이 필수적이다. 

  • (의료서비스의 관점에서) 의대생의 다양성을 증가시킨다는 것은 [부족한 영역에 대한 관리를 제공할 가능성이 높은 의사 수를 증가시키는 것]을 의미하며7 [지역사회에서 환자들을 진료할 때 더 큰 만족을 이끌어낼 가능성]이 있다.8 

  • (교육의 관점에서) 다양한 코호트에서 학습의 몇 가지 교육적 이점을 보고한다.9 다양한 배경의 사람들과 함께 일할 수 있는 능력 향상, 대안적인 관점 고려, 인종 갈등에 직면한 상황에서 자기성찰, 그리고 의료 문제에 대한 사회적 부당성 인식 등 

A broader conceptualisation of merit is not only a matter of social justice, but also one of providing the highest possible quality of care. In pursuing improved care for all patients, many medical schools have adopted social accountability mandates that emphasise the importance of training physicians who can meet the health care needs of both individual patients and communities.6 In this regard, encouraging qualified students from underrepresented backgrounds is essential in order to train the physicians our societies need. 

  • Increasing the diversity of medical students means increasing the number of physicians likely to provide care to underserved areas7 and likely to elicit greater satisfaction when serving patients from their community.8 

  • In the classroom, students report several educational benefits of learning in a diverse cohort, including improved abilities to work with people of different backgrounds, consider alternative points of view, self-reflect in the face of racial conflict, and recognise social injustice in health care matters.9


상황 판단과 개인적 특성은 의과대학에 의해 고려되었다.11,12 그러나 이러한 새로운 접근법을 확립할 때, 우리는 가치 담론이 포기되는 것이 아니라, 단지 모든 동일한 관심사에 대한 잠재력을 가진 새로운 기준에 따라 재편성된다는 것을 인식해야 한다. 따라서, 우리는 새로운 개념의 '능력'은 선별된 소수의 특권을 계속 재확립하는 것이 아니라, 기회의 불평등에 맞서서 잠재력을 인정할 수 있는 재량을 가진 프로그램에게 힘을 실어주어야empower 한다.

situational judgement and personal characteristics have been considered by medical schools.11,12 However, in establishing these new approaches, we must recognise that merit discourses are not abandoned, but only reorganised around new criteria with the potential for all of the same concerns. Thus, we must be diligent in ensuring that new conceptualisations of merit do not continue to reify privilege for a select few, but, rather, empower programmes with the leeway to acknowledge potential in the face of inequity of opportunity.








. 2019 Sep;53(9):858-860.
 doi: 10.1111/medu.13894. Epub 2019 May 10.

When I say … merit

Affiliations 

Affiliations

  • 1Health Sciences Education Graduate Programme, Faculty of Health Sciences, McMaster University, Hamilton, Ontario, Canada.
  • 2McMaster FHS Programme for Education Research, Innovation and Theory (MERIT), Faculty of Health Sciences, McMaster University, Hamilton, Ontario, Canada.
  • 3Department of Family Medicine, Faculty of Health Sciences, McMaster University, Hamilton, Ontario, Canada.


의학적 능력주의의 문화적 신화를 넘어(Med Educ, 2020)

Beyond the cultural myth of medical meritocracy

Saleem Razack1 | Torsten Risør2 | Brian Hodges3 | Yvonne Steinert4






1. 도입

1 | INTRODUCTION


이 논문에서는 문화적 신화를 살펴볼 것이다: 필요한 지적, 도덕성, 경험을 가진 사람이 의학이라는 천직으로 호출된다. 그 지위에 오르기를 원하는 사람들은 그들의 결단력과 능력을 보여줄 필요가 있을 뿐이며, 그들은 인정을 받을 것이다. '가장 뛰어나고 명석한 사람'이 과업task에 배정되면, 사회에 대한 전문직의 의무가 충족돼어, 전문직과 사회 사이의 사회적 계약을 지지할 것이다.

This is the cultural myth examined in this paper: persons with the requisite intellect, moral character and experiences are called to the vocation that is medicine. Those who wish to rise within its ranks need only demonstrate their determination and ability, and they will achieve recognition. When the “best and the brightest” are assigned to tasks, the profession's obligations to society are met, underpinning the social contract between the profession and society.


독자들은 왜 의학에 있어서의 능력주의 개념이 '신화'로 여겨져야 하는지에 대해 물을지도 모른다. 기술, 속성, 동기 등의 조합을 통해 특정 업무(예: "의학의 실천" 또는 "의학 내의 지도력")에서 성공할 가능성이 더 높은 개체가 있으며, 이러한 성공 가능성은 잘 짜여진 접근법을 통해 평가할 수 있다는 개념에 대해서는 문제를 제기하지 않는다. 우리는 관찰된 성과, 개인적 속성 및 동기에서 "수월성"이 어떻게 구성되는지, 그리고 이 "측정된 것"에 대한 문제를 제기할 것이다.

The reader might ask why the concept of the meritocracy in medicine should be considered a “myth”. We have no issue with the notion that there are some individuals who—through a combination of skills, attributes and motivations—are more likely to succeed at particular tasks (such as “the practice of medicine” or “leadership within medicine”), and that this likelihood to succeed can be assessed through well-designed approaches. We do have issues with how “excellence” in observed performance, personal attributes and motivations is constructed, and from this “measured”.


예를 들어, 우리는 "심폐소생 시나리오 내 리더십"의 속성에 대해 "6" 또는 "7"점을 선택해야 하는 상황에서, [성과 평가 시트에 리커트 척도 평가 점수]와 [관찰된 행동의 사회적 판단을 통해 평가자가 학습자의 인격("인성", 리더십)을 어떻게 파악하는지] 사이의 연결을 그릴 수 있는 조건을 제시하기를 희망한다. 

To give an illustrative example, we hope to set the conditions by which the reader might be able to draw a link between a Likertscale assessment on a performance evaluation sheet, where a choice is made to give a “6” or a “7”, say, for the attribute of “leadership within a resuscitation scenario”, and how the learner's personhood (his or her “leadership”) is apprehended by the assessor through the social judgement of observed behaviours.


그렇다면 여기서 myth라는 용어를 사용하는 것은 [능력을 평가하는 것]이 신화라고 진술하는 것이 아니라, 그 내러티브가 우리의 담론과 의사결정 과정에서 우수성이 어떻게 구성되는가를 안내하는 것이라고 가정하는 것이다. 내러티브 렌즈를 통해 그러한 구조를 분석하는 것은 탁월함에 대한 더 나은 그리고 더 포괄적인 이해를 만드는 데 도움이 될 수 있다.

The use of the term “myth” here, then, is not to state that assessing merit is a myth, but rather to postulate that narratives guide how excellence is constructed in our discourse and decisionmaking processes. Analysing such constructs through the lens of a narrative can be helpful in creating better and more inclusive understandings of excellence.


만약 능력주의가 평가와 선발의 공정성에 달려있다면, 공정성은 "타당성", 특히 "심리측정적 타당성"의 개념에 달려 있다. "타당성"이란 무엇인가?

If the meritocracy depends upon fairness within assessment and selection, then fairness depends upon the notion of “validity”, in particular “psychometric validity”. What is “validity”?


  • 타당성을 단순히 시험의 특성으로 이해된다면, "시험"은 내용과 맥락에 독립적이다. 

  • 타당성을 일련의 해석의 근거사슬로 본다면, 타당성은 특정 맥락 내에서의 과정에 더 가깝다. 

  • 타당성을 사회적 의무사항imperative으로 간주된다면, 평가 과정의 타당성에 있어서 '성과를 둘러싼 의사결정에 수반되는 결과'가 중요해진다. 

저자들은 역량 기반 교육 내에서 위탁성 척도와 같은 새로운 형태의 평가는 사회적 판단을 활용하여 결정을 내리는 복잡한 구조로 학습자에게 긍정적이거나 부정적인 결과를 초래한다고 지적한다.

  • If validity is understood simply as a test characteristic, then “tests” are content and context independent. 

  • Conversely, if validity is seen as part of an evidentiary chain of interpretation, then validity is more of a process within a particular context. 

  • Finally, if validity is seen as a social imperative, then the consequences of decision making around performance also become important in the assessment processes’ validity. 

The authors point out that newer forms of assessment, such as entrustability scales within competency-based education, are complex constructs that utilise social judgement to make decisions, with positive or negative consequences for the learner.



보건직에서 수행평가 내에서 사회적 판단은 어떻게 작용하는가? Gingerich et al2,3는 사회적 인식 이론을 사용하여 건강 직업의 평가자 기반 평가를 "사회적 판단"으로 분석하였다.

How does social judgement operate within performance assessment in the health professions? Gingerich et al2,3 have analysed rater-based assessments in the health professions as “social judgements”, using social cognition theory.


저자들은 백그라운드 노이즈로서 평가자 간 차이의 상당 부분이 [사회적 인식 차이]와 [참가자 자신의 주관성]으로 설명될 수 있다는 것을 보여주었다.

The authors showed that much of the background noise of interrater differences could be explained through social cognition differences and the rater's own subjectivity.


[성과 기반 평가]에서 "우수함" 또는 "능력"을 판정하기 위하여 [사회적 판단]이 작용한다면, 그렇다면 "능력"이란 것은 또한 [복잡한 사회적 방법으로 구성될 가능성]이 높다. 사회적 구성으로서, "능력"의 형태는 평가자가 속한 집단에 기초하여 배제적 결정(exclusionary practices)에 영향을 받기 쉽다(인종, 민족, 성별 등).


If social judgement operates within performance-based assessment for the assignation of “excellence” or “merit”, then it is quite likely that merit is also constructed in complex social ways. As social constructs, forms of merit are then susceptible to exclusionary practices based upon the group the assessee belongs to (race, ethnicity, gender and the like).


모든 문화 시스템에는 신화가 있다: 신화는 선택과 상호작용을 가이드하는 뿌리깊은 상징적 서술이다. 의학에서, 능력주의 신화는 의학이 "최고로 명석한 사람"을 위한 직업이라고 암시한다. 6 "능력"은 성취를 뜻하지만, 그 성취에 대해 칭찬할 가치가 있다는 의미도 있다.

All cultural systems have myths: deep symbolic narratives that guide choices and interactions. In medicine, the meritocracy myth suggests that medicine is a profession for “the best and the brightest”. 6 “Merit” means achievement, but it also means to be worthy of praise for that achievement.


위 자킨테의 이야기는 태스크포스(TF)의 구성원을 뽑는 일상적인 행동에서 '능력주의'와 같은 상징적 내러티브가 어떻게 나타날manifest 수 있는지를 잘 보여준다. 부서장은 태스크포스를 구성할 때, 높은 인지도를 가진 사람을 중심으로, 태스크포스 구성원을 선정하는데 "객관적인" 능력 기준을 사용해야 한다고 강조하였다. 이러한 기준은 어떻게, 그리고 누구에 의해 결정될 것인가?

Jacinthe's story above serves to illustrate how a symbolic narrative such as “meritocracy” can manifest itself in the mundane action of selecting members of a task force. The department chair has underlined that the task force will be high profile and that “objective” merit criteria should be used to select task force members. How will these criteria be determined, and by whom?


능력에 대한 기준을 개발하는 것은 무엇이 우수성인지 이름을 붙이고, 그 이름을 추상적이고 사회적으로 구성하여 측정할 수 있는 "무엇"으로 구체화하는 힘을 발휘하는 것이다. 이 우수성이 명명되고 있는 것처럼 교차점(백인 또는 남성)은 어떻게 힘을 나타냅니까? 우수성의 구조를 결정하는 데 있어서 사회적 네트워크와 사회적 자본, 즉 논의될 수도 있고 논의되지 않을 수도 있는 만남의 역할은 무엇인가?

To develop merit criteria is to exert the power to name excellence and to reify it from that which is abstract and socially constructed into a measurable “thing”. How do intersectionalities (being white or male) manifest power as this excellence is being named? What is the role of social networks and social capital—meetings where one might or might not be talked over—in determining constructs of excellence?


2. 방법

2 | METHODS


3 | 사일러스: "능력주의" 내의 특권을 표시하는 독자

3 | SILAS: MARKING THE PRIVILEGE WITHIN THE “MERITOCRACY”


사일라스는 의대 복도를 둘러보고 있었는데, 그들 모두가 얼마나 비슷한지, 그의 반에 새로 들어온 의대생들, 즉 젊고, 밝고, 착하고, 건강한, 백인, 그리고 (나중에 배운) 교육을 잘 받은 중상류층 부모의 아들과 딸들이 모두 얼마나 비슷한지 새삼스럽게 생각되었다. 그들은 모두 높은 점수로 고등학교를 졸업했고 모두 자연과학을 좋아했다. 뭐, 거의 다.

Silas was looking around the hallway of the medical school and it struck him how similar they all were, all the new medical students in his class: young, bright, nice, fit, white and (he later learned) sons and daughters of well-educated upper-middle-class parents. They all graduated from high school with high marks and they all liked natural science. Well, almost all.


학생들이 의대에 입학하면 의학이라는 문화적 시스템의 일부가 된다.7-9 사일라와 그의 급우들은 고등학교와 대학에서 높은 성적을 거두었다. 이것은 많은 일이 필요했지만, 그는 부모님의 지원(숙제 도움 포함)이 있었고, 공부하기에 좋은 조건(자신의 방, 컴퓨터, 방과후 근무할 필요 없음 등)이 있었기 때문에 그것을 성취했다. 평등주의적인 스칸디나비아 국가에서도 중산층 이상의 상위 계층의 아이는 노동자 계층의 아이보다 의대에 진학할 확률이 30배 이상 높다.11,11 사일라와 그의 또래들은 스스로의 노력을 통해 능력을 성취하지만, 동시에 의대에 들어오기에 아주 유리한 위치에 있기도 했다well positioned for.

When students enter medical school, they become part of the cultural system of medicine.7-9 Silas and his classmates have achieved high grades in high school and college. This has taken much work, but he achieved it because he had the support of his parents (including help with homework), and he had good conditions for studying (his own room, computer, no need to work after school, etc.). Even in an egalitarian Scandinavian nation state, a child from upper middle class is more than 30 times more likely to go to medical school than a child from the working class.10,11 Silas and his peers achieve merit through their work, but they are also well positioned for it.


봉사활동과 같은 과외활동이 의대생 입학기준에 포함되는 경우가 많다. 본질적으로, 자원봉사는 이타적 능력의 대리 표시로 사용된다. 그러나 기계적으로 보면, 봉사활동은 계급에 기반을 둔 것으로 보여진다: 누군가가 봉사활동을 할 수 있다는 것은, 유급 근로의 기회를 포기할 수 있는 수단이 있어야 함을 의미한다. 이는 의과대학생 선발에서 관찰되는 계급 편향의 메커니즘이다.

Extracurricular activities, such as volunteering, are often included in medical student admission criteria. Essentially, volunteering (community or international work to give examples) is used as a proxy marker for altruistic capacity. Mechanistically, volunteer activities have been shown, however, to be class based:12 one can only volunteer if one has the means to relinquish paid work opportunities, providing a mechanism for an observed class bias in medical student selection.


능력의 메커니즘은 종종 명시적으로 선언되지 않는다. 이것은 능력을 가진 사람에게 능력이란 자연스럽고 타고난 것처럼 보이게 하는 "능력에 대한 객관성"의 아우라를 촉진시킨다. 그러나 이는 다양한 "평가"에서 뛰어난 모습을 보이게끔 하는 개인의 능력에 계급과 같은 사회구조가 기여하는 바는 덮어두는obscuring 방식으로 이뤄진다.


Mechanisms of merit are not often declared explicitly. This facilitates an aura of objectivity about merit that makes it look natural and innate to the person holding it, when obscuring the contribution of social structures such as class to an individual's ability to be perceived as performing well in various “assessments”.


4 | 루이즈: 성별과 누가 영웅이 되는가

4 | LOUISE: GENDER AND WHO GETS TO BE A HERO


루이스는 내과에서 저녁 근무조의 인턴이었다. 그녀는 환자를 위해 실험실 결과를 검토하며 병동에 있었는데, 그녀의 남자 동료가 도착하여 간호사들에게 새로운 환자의 오더와 치료 계획을 재빨리 설명했다. 그리고는 급히 가버렸다. 그가 떠나자 간호사들은 그녀에게 고개를 돌려 새 환자에게 해야 할 모든 관찰에 대해 불평했다: '이것은 네가 처리해야 한다. 우리는 이것을 지지하지 않을 것이다. 그래서 그녀는 그렇게 했다. 다 처리했어.

Louise was an intern on evening shift in the Department of Internal Medicine. She was on the ward going through laboratory results for a patient, when her male colleague arrived and quickly explained the orders and treatment plan for a new patient to the nurses. He then rushed off. When he left, the nurses turned to her and complained about all the observations they had to perform on the new patient: ‘You have to take care of this. We will not stand for this’. And so she did. Took care of it all.


루이즈의 경험은 독특하지 않다. 의료 교육 및 실습에서의 성별 차이에 대한 연구는 [여성이 더 적은 도움을 받음에도, 더 넓은 범위의 업무와 문제를 처리할 것으로 기대된다는 것]을 일관되게 보여준다. 여성들이 남성들이 하지 않는 일을 하기에, 상대 남성들은 더 많은 이점을 얻고, 의료라는 계층에서 직업과 발전에 도움이 되는 활동에 자유롭게 참여할 수 있다. 따라서, 비록 여성들이 의과대학에 입학생의 대다수를 차지하지만, 그들이 더 높은 수준의 교수직, 지도적 지위, 그리고 외과 전문 분야에서 낮은 대표성을 유지하고 있다는 것은 놀라운 일이 아니다.13

Louise's experience is not unique. Studies of gender differences in medical education and practice show consistently that women are expected to take care of a wider spectrum of tasks and problems, when getting less help to do so. When women do the things men do not, their male counterparts are free to engage with activities that gain more merit and benefit their career and advancement in the medical hierarchy. Thus, it is not surprising that although women make up the majority of those entering medical classes, they remain underrepresented at higher levels of professorial rank, in leadership positions and in surgical specialties.13


일task 분배와 성취에서 관찰되는 성별 간 차이는 의료 능력주의 신화에 대한 도전장을 내민다. 의학의 장점이 그들이 열심히 그리고 잘 일해야 한다는 것을 받아들이는 모든 사람들에게 본질적으로 얻어질 수 있다면, 여성들은 남성들보다 더 높은 순위를 차지할 것이다. 연구들은 여성 의사들이 더 열심히 일하고 더 오래 일한다는 것을 보여주었고, 14명의 더 넓은 범위의 건강 문제를 관리했다.15 여성들은 더 많이 듣고 더 많은 시간을 환자와 함께 보낸다.13 여성들이 최신의 의학 연구 결과를 더 잘 활용한다는 것을 보여주는 연구들이 있다. 여성들은 진단 도구를 정확하게 사용하고 언제 더 잘해야 할지 더 잘 결정한다는 것을 보여준다. 또한, 그들은 팀에서 더 잘 일하고 복잡한 문제들을 더 효율적으로 관리한다.15 의학의 모든 중요한 척도로, 그들은 더 높은 장점을 얻어야 한다.

Observed gender differences in task distribution and attainment represent a challenge to the myth of medical meritocracy: if merit in medicine was essentially obtainable to all who accept that they have to work hard and well, women would outrank men. Studies have shown that female doctors work harder and longer,14 managing a wider spectrum of health problems.15 Women listen more and spend more time with patients.13 There are studies showing that women are better at making use of updated medical research findings,16 better at using diagnostic tools correctly17 and better at deciding when to operate on a patient.18 In addition, they work better in teams19 and manage complex problems more efficiently.15 By all important yardsticks in medicine, they should attain higher merit.


어떤 사람들은 성별의 차이를 출산과 양육에 대한 암묵적인 "세금" 때문으로 보고 있는데, 이것은 여성들에게 불균형적으로 부담이 된다. 그러나 최근 학계에서의 커리어를 상세히 기술한 연구는 다음과 같은 사실을 보여주었다: 자녀가 있는 남자라면 자녀가 없는 남자보다 교수 직급이 높을 가능성이 높다. 자녀가 없는 여자는 그 뒤를 따르며, 그리고 나서, 가장 뒤쪽에, 자녀가 있는 여자가 있다. 여기에는 분명, 임신, 출산, 양육이라는 세금 외에 그 이상의 무언가가 있음을 보여준다. 그렇지 않다면 여기서 순서가 달라졌어야 한다.

Some ascribe observed gender differences to an implicit “tax”20 on childbearing and rearing, the burden of which disproportionately falls on women, but a recent study detailing career paths for academics showed the following: if you are a man with children, you are more likely to hold higher professorial rank than a man without children, followed by a woman without children, and then, at the rear, by women with children.21 Clearly, something more is at play here than childbearing and rearing tax or else the group order in terms of academic success would have been different.


일부 질병과 특정 의학 전문분야에서 일하는 것에 따라오는 높은 명망higher prestige이 있으며, 반대로 다른 질병과 전문분야의 명망이 낮은 경우도 있다.

There is higher prestige in working with some diseases and within certain medical specialties, and correspondingly low prestige in other diseases and specialties.


이러한 "명망"의 위계는 [영웅의 여정과 일맥상통하는 임상적 일화와 이야기를 통해서] 시니어에서 주니어로 전달transfer된다. 

The prestige hierarchy is transferred from senior to junior doctors through the telling of clinical anecdotes and stories that have a basic structure that aligns with the trope of the hero's journey


루이스의 경험을 이해할 수 있다: 의사들은 성별이 남성과 여성에 대해 서로 다른 기대와 규범을 설정하는 사회적 지표로 어떻게 사용되는지 알지 못할 수도 있다. 능력주의 신화 아래에는 영웅의 여정 이야기가 있으며, 이 영웅은 남자로 의인화personified되고, 질병과 전공의 위신/명망의 위계 지탱하는 내러티브로부터 지속적으로 영양을 공급받고 있다.

Louise's experience now makes more sense: doctors may not be aware of how gender is used as a social marker that sets up different expectations and norms for men and women. Beneath the myth of meritocracy is the story of a hero's journey, personified in the male doctor, continually nourished from the narratives that sustain the prestige hierarchies of diseases and specialties.


5 | IMTIAZ: 문화적 모호성 속에서 번창할 수 있는 능력을 보여주는 경험에 가치를 두는 독자

5 | IMTIAZ: VALUING EXPERIENCES THAT SHOW THE ABILITY TO THRIVE IN CULTURAL AMBIGUITY


임티아즈는 파키스탄에서 자랐지만 10대 때 어머니와 함께 스칸디나비아로 이주했다. 어떻게 하면 두 나라의 아이가 될 수 있을까, 어떻게 하면 어울릴 정체성을 만들어낼 수 있을까에 대한 그의 성찰은 매혹적이었지만, 대학에서 차로 한 시간 거리 내에 도시적 환경에서 자라난 나머지 우리들에게도 이질적이었다. 그는 의약과 전통적인 동양의료 체계 사이의 격차를 해소하는 것을 꿈꿨다. '거기에는 우리가 그리워하는 것이 있다. 하지만 어쩌면 우리는 그곳에 가기 위해 우리의 생각 중 일부를 포기해야 할지도 모른다'고 그는 말했다. 특히 힘든 일련의 시험이 끝난 뒤에야 그가 의과대학을 떠났다는 사실이 밝혀졌다.

Imtiaz grew up in Pakistan but moved to Scandinavia with his mother as a teenager. His reflections about how to be a child of two countries and how to create an identity to match were fascinating, but also alien to the rest of us, who had grown up in urban settings within an hour's drive from the university. He dreamed of bridging the gap between biomedicine and traditional Eastern health care systems. ‘There is something there that we miss. But maybe we have to give up some of our ideas to get there’ he said. It was only after a particularly tough series of examinations that it was discovered that he had left medicine.


서로 다른 사회 집단(성별, 인종, 민족 등)에서 온 사람들 사이에서 발생하는 차이differential attainment는 일반적으로 의학, 학술 의학 및 학계에 잘 문서화되어 있다.30-33 이것은 주로 두 가지 주요 구성 요소로 제시된다: 

  • 과소대표된 집단이 경험하는 결여사항deficiencies과 장벽을 해결함 (지원자에게 초점이 맞춰져 있다면, 지원자는 다양한 형태의 우수성을 입증해야 "능력있음meritorious"으로 보일 수 있다.) 

  • 선발 단계에서의 편견에 직면함 (선발자의 선발 방법에 초점이 맞춰져 있는 경우).

Differential attainment for persons from different social groups (gender, race, ethnicity and the like) is well documented within medicine, academic medicine and academia in general.30-33 This is usually presented in two dominant constructs: 

  • addressing deficiencies and barriers experienced by underrepresented groups (if the focus is on the applicants, who must demonstrate various forms of excellence in order to be seen as “meritorious”) and 

  • confronting biases in selection (if the focus is on how the selectors select).


문화 역량은 지난 20년간 의료 커리큘럼에서 어느 정도 주목을 받았지만, 다음의 것들에 대한 의지보다는 실력이나 지식으로 제시되는 경우가 많다는 지적이 있다.

  • 문화적 모호성을 안고 살아가려는 의지

  • 양립할 수 없어 보이는 관점을 통합하려는 의지 

  • 반대 쪽 끝에 대해 호기심을 가지려는 의지 

문화는 의학 지식의 추가된 무엇인가가 아니라, 건설적인 모호성의 프레임워크로서 중요하다.

Cultural competence has received some attention in medical curricula in the last two decades, but critics point out that it is often presented as a skill or knowledge pool rather than—what Imtiaz represents—a willingness to live with a cultural ambiguity, to integrate seemingly incompatible perspectives, and to be able to stay curious about the other end of a relationship. Culture is important not as an addition to, but as a framework of constructive ambiguity for, medical knowledge.


의료행위는 매우 다른 인식론적 토대를 가진 다른 종류의 지식의 합성을 창조하는 것으로 구성된다. 모든 임상적 만남은 [실천적 통합practical synthesis]을 창조하는 것에 관한 것이다.

Medical practice consists of creating a synthesis of different kinds of knowledge with very different epistemological underpinnings. Every clinical encounter is about creating a practical synthesis,


관점을 바꾸는 능력은 어른이 되어 자신과 매우 비슷한 사람들과 함께 공부하면 얻기 어렵다. 의료계에서 능력merit 에 대한 구체적인 사고방식에 대한 의문이 던져지지 않는 경우에도 어렵다. '능력'에 대한 서열이 있다면, 그것은 쉽게 문화의 서열이 되며, 의사(최고 공로, 가장 진실된 지식, 최고의 문화를 가진)와 환자(도움을 찾아 우러러보는 사람) 사이에서 끊임없이 스스로를 재생산하는 가부장적 관계가 된다.

The ability to change perspective is difficult to attain if one grows up and studies with people very much like oneself. It is also difficult if a specific mindset about merit in medicine goes unquestioned. If there is a hierarchy of merit, it easily becomes a hierarchy of culture as well as a continually self-reproducing patriarchal relationship between the doctor (with the highest merit, the truest knowledge and the best culture) and the patient (who looks up for help).


6 | 클라라: 관찰된 양적 차이에서 그 이유로의 전환

6 | CLARA: MOVING FROM THE OBSERVED QUANTITATIVE DIFFERENCES IN ATTAINMENT TO WHY


클라라는 키가 그리 크지는 않았지만 눈에 띄었다. 아주 세심하고 대화에서 최고를 이끌어내는 데 아주 능숙하다. 그래서 모두가 그녀와 이야기를 나누고 싶어했고, 그녀는 모임을 조직하고, 볼만한 좋은 연극을 주창하고, 공원에서의 소풍을 제안하는 등. '나는 해부학보다 철학이 더 도움이 된다고 생각한다'고 그녀는 말했고, 그녀는 음악을 사랑했다. 의대를 시작한 지 1년이 지난 지금, 그녀는 갑자기 더 이상 그곳에 없었다. 만약 다른 누군가가 떠난다면 클라라는 그에게 전화를 했을 것이다. 나는 아무도 그녀를 불렀다고 생각하지 않는다.

Clara was not very tall, but she stood out. Very attentive and very good at bringing out the best in a conversation. So, everyone wanted to talk to her, and she was the one who organised meetings, advocated the good play to see, suggested the picnic in the park, etc. ‘I think philosophy is more helpful than anatomy, really’ she said, and she loved music. A year after starting medical school, she was suddenly not there anymore. If it had been anyone else leaving, Clara would have called him or her. I do not think anyone called her.


세상을 보는 방법을 형성할 때, 능력주의 신화의 권위authoritativeness 세상을 볼 수 있는 다른 가능한 방법들을 흐리게 한다. 클라라의 이야기는 그러한 다른 방법들 중 몇 가지를 시사한다: 그녀는 인간으로서 그리고 균형 잡힌 전문가로서 의사들에게 분명히 중요한 자질들의 대표자다. 이러한 자질은 오늘날 많은 의과대학에서 전문적 발전의 학습 흐름의 일부분이지만, 커리큘럼에 상당히 새로운 추가로서 조직 구조나 교직원의 의사 결정에서 거의 보이지 않는다. 이것은 이러한 자질들을 의학적인 문제에 관여하기 위한 역동적인 사고방식보다는 의학 지식과 기술 풀에 취약한 부가물로 만든다. 핵심 코스 리더들이 대학을 떠나면 이런 자질은 줄어든다.

When creating the way to see the world, the authoritativeness of the meritocracy myth also obscures other possible ways to see the world. Clara's story suggests some of those other ways: she is an exponent of qualities that are clearly important for doctors as human beings and as balanced professionals. These qualities are part of learning streams of professional development in many medical schools today, but as a fairly new addition to the curriculum and rarely visible in the organisational structure or in faculty members’ decision making. This makes these qualities a vulnerable addition to the medical knowledge and skill pool, rather than a dynamic mindset from which to engage with medical problems. If key course leaders leave the university, these qualities are diminished.


클라라의 선택은 그녀가 가르치는 의대생들에게 영향을 미친다. 이미 많은 특성을 공유하고 있는 그들은 지속적인 선택과 사회화 과정을 통해 훨씬 더 동질적이 된다. 균질 집단도 몇 가지 이점을 가질 수 있지만, 이질적 집단이 의사결정, 생산성, 적응성 및 집단지성에 있어서 종종 우위에 있다, 35-37 그러나 집단 내에 효과적인 집단 내 의사소통을 촉진하는 사람이 있는 경우에만, 클라라를 잃음으로써, 그 집단은 이러한 특성들 중 일부를 잃을 위험이 있다.

Clara's choice has an impact on the medical students she teaches. Already sharing many characteristics, they become even more homogenous through the continuing process of selection and socialisation. A homogenous group may have some advantages, but a heterogenous group is often superior in decision making, productivity, adaptability and collective intelligence,35-37 but only if there are persons within the group who facilitate effective in-group communication.38,39 By losing Clara, the class risks losing some of these qualities.


더 깊은 차원에서, 클라라는 왜 대학을 떠났을까? 문헌에서, 우리는 "진리"의 이해를 가능하게 하는 지식-권력 관계를 규제하는 담론을 보는 작품을 보게 되는데, 이것은 클라라의 이탈에 잠재적으로 기여하는 구조적 문제를 이해하는 데 도움이 될 수 있다. 교수진들의 기여도를 평가하는 담론의 '진리truth'의 한 예는 [기초과학자이면서 유전학을 가르치는 교수]가 [의료인문학에 관심이 있고 연구를 하는 교수]보다 의대생 교육에 본질적으로 더 가치 있는 기여를 한다는 것일 수 있다.

At the deeper level, why did Clara leave the university? In the literature, we see work that looks at the discourses regulating the knowledge–power relationships that enable understandings of “truth”, which may be helpful in understanding the structural issues potentially contributing to Clara's departure. An example of a “truth” in the discourses of valuing faculty members’ contributions might be that a member who is a basic scientist and teaches genomics has an inherently more valuable contribution to medical students’ education than one whose interests and scholarship lie within the medical humanities.


7 | 능력에 대한 비판: 우수성 기준을 사회적 결과와 직접 연계할 수 있는 용기 개발

7 | CRITIQUING MERIT: DEVELOPING THE COURAGE TO DIRECTLY LINK EXCELLENCE CRITERIA TO SOCIETAL OUTCOMES


수월성excellence의 기준들이 사회적으로 구성되고, 평가자와 평가자 모두가 의미 있고, 경험하는 것처럼, 그것들은 물리적 세계와 연결된다. 의사 직업에는 잘 하는 사람과 덜 잘 하는 사람이 있다. [물리적 세계에서 우수성]은 [우수성의 사회적 구성]과 어떤 연관성이 있는가? 핵심은 이러한 구조contruct들을 관련된 사회적 결과와 일치시키는 것이다. 이것을 말하기는 쉽지만, 성취하기는 훨씬 어렵다

Even as excellence criteria are socially constructed, made meaningful and experienced by both the assessor and the person assessed, they are linked to the physical world. In the job of doctoring, there are persons who do it well and those who do it less well. What is the link between the social construction of excellence and excellence in the physical world? The key is alignment of these constructs with relevant societal outcomes. To say this is easy, to accomplish it much harder.


예를 들어, 의과대학과 관련된 사회적 결과가 제너럴리스트적 실천에 더 초점을 맞추고, 우리는 제너럴리스트적 실천에 집중하는 사람들이 사회성과 학업성취도 면에서 더 균형잡힌 경향이 있다는 것을 알고 있지만, 경쟁이 치열한 의과대학 응용 프로그램 코호트 내에서 반드시 학업성취도가 최고는 아닐 수 있다. 그렇다면 왜 평균 점수를 기준으로 후보 순위를 매기는가?

To give an example, if a relevant societal outcome for a medical school is greater focus on generalist practice, and we know that those focusing on generalist practice tend to be more wellrounded in social skills and academic performance, but may not necessarily be the top academic achievers within highly competitive medical school application cohorts, then why rank candidates based upon grade point average?


논리적으로, 이것은 더 많은 신청자 파일이 더 높은 정밀도를 받을 자격이 있고 비용이 많이 들 수 있다. 초점을 "가장 우수하고 뛰어난"에서 벗어나 "학문의 문턱threshold을 달성한 사람들"로 바꾸는 것은 [수월성의 construct에 담론적 불협화음을 발생시킬 수도 있고, 이는 위협적으로 느껴질 수도 있다. 그러나 그러한 대화들은 정책 입안자들과 평가 대상자들에게 높은 수준의 비판적 반사성을 개발하도록 요구하지만, 그러한 담론적 긴장을 유지하는 것은 중요하다.

Logistically, this might result in many more applicant files deserving higher scrutiny, which could be costly. To change the focus from “the best and the brightest” to “those that have achieved an academic threshold” might also introduce a discursive dissonance into the construction of excellence that may be experienced as threatening. However, working through such discursive tension is important, even though such conversations require the development of a high degree of critical reflexivity in policymakers and the people who assess.


우리는 모든 성취가 본질적으로 구조적인 것이라고 말하는 것이 아니라, 개인의 행위자성agency에만 의존하는 것이 아니라, 우수성이 어떻게 구성되고 있으며 그러한 관념이 어떻게 다양한 형태의 우수성에 대한 우리의 감상을 구속할 수 있는지를 비판하는 습관을 길러야 한다고 제안하고 있다.

We are not suggesting that all accomplishment is structural in nature, never depending on an individuals’ agency, but rather that we must develop the habit of critiquing how excellence is being constructed and how such notions might constrain our appreciation of diverse forms of excellence.


8 | 다양성 대 장점 또는 다양성과 장점?

8 | DIVERSITY VERSUS MERIT OR DIVERSITY AND MERIT?


능력과 수월성의 구인에 대한 인식론의 바로 밑바탕에는 "인구집단population"라는 개념이 있다. 인구집단은 그 집단이 공유하는 것에 의해 정의된다: 경제적 이유로 여름 휴가 동안 자원봉사를 할 수 없었던 구속력 있는 경험을 공유하는 인구는 의과대학에 계속 지원한다는 것이 하나의 예다. 한 집단의 다양성을 간단히 말하면, 그 집단의 구성원들이 공유하지 않는 다른 특성들이다.

At the very basis of epistemologies of merit and constructs of excellence lie notions of “populations”. Populations are defined by what they share: the population that shares the constraining experience of not being able to volunteer over summer holidays for economic reasons is an example, to continue with our thread of applications to medical school. A population's diversity is simply the different qualities that members within it do not share


이러한 개인차이의 가치는 무엇인가?

What is the value of these individual differences?


첫 번째 주장은, 많은 다른 맥락에서, 사회적으로 다양한 집단이 다양한 업무를 더 잘 수행한다는 것이 증명되었다.

The first argument, in many different contexts, it has been demonstrated that socially diverse groups are better at accomplishing various tasks.41,42


직업의 「내부」가 「외부」에 조금 더 가까워 보일 수 있다는 「표현」의 가치도 텔레그래피적으로 존재한다. 여기에 그려질 문헌의 말뭉치는 시골 출신이나 under-represented 배경을 가진 사람들이 (의학에서) 소외된 농촌 또는 under-represented 인구집단에 봉사할 가능성이 있다는 것을 더 높음을 보여주는 자료를 포함한다.

There is also the value teleologically of “representation”, that the “inside” of the profession might look a little more like the “outside”. The corpus of literature to draw on here includes data showing that persons from rural or under-represented backgrounds are more likely to serve underserved rural or under-represented populations (in medicine).44,45


두 번째 주장은 [권력의 개념]과 [knowing과 무엇이 known인지]와 권력 사이의 관계에 근거를 두고 있다. 우수성이 공적으로 평가되는 몇 가지 다른 맥락에서, 평가자의 사회적 다양성을 증대시키는 것이 입학, 승진 및 채용에서 더 큰 다양성으로 이어진다는 것이 증명되었다.46,47 이것이 일어나고 있는 메커니즘은 무엇인가? 다양한 위원회 멤버쉽에 대한 사회적 관점의 차이는 다른 결정으로 귀결된다.

The second argument is rooted in notions of power and its relationship to ways of knowing and what can be known. In several different contexts in which excellence is assessed for merit , it has been demonstrated that augmenting the social diversity of the assessors leads to greater diversity in admission, promotion and hiring.46,47 What is the mechanism by which this is occurring? clearly the differing social perspectives of diverse committee membership result in different decisions being made.


세 번째 주장은 [우수성을 정의하기 위해 사용되는 구성의 포괄성]에 대한 심층적인 의문을 추구하며, 이러한 구성들이 필요하지 않을 때 사회 집단 규범(예: 행동에 대한 절제된 기대치)에 의해 관련 없이 교차되는지를 묻는다. 예를 들어 리더십 문헌에서는, 효과적인 리더들이 주장성과 (종종 경멸적인 의미로 쓰이는) "부드러운 기술"(소통 기술, 대인관계 인식, 공감 등)이라고 일컫는 두 가지 모두를 보여주어야 한다는 것을 보여주었다. 강한 주장성assertiveness은 종종 남성적으로 보여지는 반면, "부드러운 기술soft skill"은 여성적으로 보여지는 경우가 많다. 리더 선정을 위한 수행평가 루브릭이 주장성 측면을 강조하고 대인관계 능력 측면을 덜 강조하는 것은, 효과적인 리더가 되기 위해 필요한 것의 반을 날려버림으로써 편향성을 도입할 위험을 무릅쓰는 것과 같다.48,49

The third argument seeks a deeper questioning of the inclusiveness of the constructs being used to define excellence and asks if these constructs are intersected extraneously by social group norms (such as gendered expectations of behaviour) when they need not be. In the leadership literature, for example, it has been shown that effective leaders are required to demonstrate both assertiveness and those skills often somewhat pejoratively referred to as “soft skills” (communication skills, interpersonal awareness, empathy, etc.). Assertiveness is often seen as male, whereas “soft skills” are often seen as female. If the performance evaluation rubric for selecting a leader emphasises the assertiveness side and de-emphasises the interpersonal skills side, then the construct is missing one half of what it takes to be an effective leader and runs the risk of introducing bias.48,49


9 | 포용적 리더십을 통한 포괄적 가치관 개발

9 | DEVELOPING INCLUSIVE NOTIONS OF MERIT THROUGH INCLUSIVE LEADERSHIP


위에 제시된 의사들과 의사들의 이야기로부터 우리는 무엇을 얻을 수 있을까? 아마도 의학용어를 쓰자면 그럴듯한 진단일 것이다. 의학적 성과주의 신화로 성장한 영웅의 여정 이야기는 과거에는 유용한 지침이 되었겠지만, 이제는 해결책의 일부라기보다는 문제의 일부가 되어가고 있다. 이제 "치유"를 목표로 하는 것은 유혹적이다.

What can we gain from the stories of the doctors and wouldbe doctors presented above? Maybe, to use a medical term, a plausible diagnosis. The hero's journey story that grew into a myth of medical meritocracy may have been a useful guide in the past, but it is now becoming part of the problem rather than part of the solution. It is tempting now to aim for a “cure”.


우리는 잠시 멈추고, "미분differential"을 기억해야 하며, 의학 문화 시스템에서 가능한 "co-morbitities와 multi-morbidities"를 고려해야 한다. 이를 복잡한 문제로 이해해야 하며, 복잡한 문제는 고치기fixing보다는 관여와 탐색management and probing을 통해 관리하는 것이 최선이다.50

we must pause, remember “the differential” and consider possible “co-and multi-morbidities” in the cultural system of medicine. We need to understand this as a complex problem, and complex problems are best managed through engagement and probing rather than fixing.50


[현재의 과정이 충분히 잘 작동하는 것으로 보는지]는 한 사람의 사회적 위치에 달려 있다고 생각한다. 우리가 의학적 및 의학적 수명 주기의 서로 다른 단계에서 의학의 우수성 버전 전체에 있어서 뛰어난 개인을 인정하고, 졸업시키고, 장려하는 것은 사실이다. 이런 관점에서 변화의 필요성이 무엇인지 물을 수 있다. 하지만, 이것은 이야기의 절반을 놓친다. 성과에 대한 논의에서 마찬가지로 중요한 것은 [누구의 우수성이 담론에서 배제되고], [누가 성과에 기반한 형태의 경쟁에 참여하지 못하게 제지되고 있는가] 하는 것뿐만 아니라, 그들의 [우수성이 인정된다면 직업 내에서 누가 빛날 것인가] 하는 것이다.

We posit that viewing current processes as working well enough is dependent on one's social positioning. It is true that we admit, graduate and promote exceptional individuals in medicine and throughout its versions of excellence at different stages of the physician life cycle. From this perspective one could ask what the need for change is. However, this misses half of the story. Equally important in the discussion of merit is whose excellence gets excluded from the discourse and who is being held back from participating in meritbased forms of competition, as well as who would shine within the profession if their excellence were appreciated.


리더십은 조직적 작업이다.51 쇼어 외 연구진은 조직적 행동과 관련하여 포함의 두 가지 주요 축을 정의했다.52 포괄적 조직은 첫 번째 축(개별 구성원의 고유성 인식)과 두 번째 축(모든 개인에 대한 소속감 증진)을 능숙하게 협상한다.52

Leadership is organisational work.51 Shore et al have defined two major axes of inclusion with respect to organisational behaviour.52 Inclusive organisations skillfully negotiate the first axis (recognition of individual members’ uniqueness) and the second axis (promotion of a sense of belongingness for all individuals).52


구체적으로, 우리는 우수성 평가의 모든 능력 기반 프로세스에서 다음과 같은 주요 조치를 제안할 것이다.

Concretely, we would suggest the following key actions in all meritbased processes of excellence assessment.


  • 1. 사회적 판단과 평가자의 주관성이 평가 과정에 내재되어 있음을 인식하고, 사회적으로 다양한 개인이 우수성 기준의 개발 및 평가에 참여한다. 그렇게 하는 것은 예를 들어, 회원 풀을 다양화하기 위해 검색 위원회에 더 많은 후배가 참여하거나 학년 외적인 참여를 하는 등 프로세스를 변경하려는 의지를 수반한다.

1. Participation of socially diverse individuals in the development and assessment of excellence criteria, recognising that social judgements and assessor's subjectivities are inherent in the process of assessment. Doing so involves a willingness to change processes; for instance, having greater junior or outside-of-discipline participation on search committees, in order to diversify the member pool.


  • 2.우수성 평가의 모든 프로세스에 대해 "평등도 검사"를 내장시킨다. 구체적으로, 이것은 특정한 기준이 다양한 개인들의 우수성 평가에 어떻게 영향을 미치는지에 대한 선험적인 논의를 의미할 것이다. 예를 들어, 의과대학생 선발에서 배의 선장 역할을 맡아야 하는 시뮬레이션을 사용하여 리더십 기술을 평가하는 것이 포함된다. 이러한 상황은 계급적 편견을 내재하고 있을 수 있다.

2. A built-in “equity check” for all processes of excellence assessment. Specifically, this would mean explicit a priori discussion of how criteria affect the appreciation of excellence in diverse individuals. An example includes assessing leadership skills for entry into medicine using a simulation where the candidate must take on the role of a captain of a sailing ship, which may contain inherent class biases.


  • 3. 특정 용도에 대해 우수성과 공적이 어떻게 구성되고 있는지에 대한 기초 가치와 가정에 대한 명시적 논의가 필요하다. 예를 들어, 특정 과의 과장을 평가함에 있어서, 과장은 임상 및 교육 임무에서도 비전적 기술을 발휘함에도 불구하고, 임상 또는 교육적 리더십에 대한 언급이 없고, 그저 우수한 연구자여야 하는 것은 적절하지 않다. 

3. Explicit discussion of the underpinning values and assumptions behind how excellence and merit are being constructed for specific uses. An example here might include clinical department chair excellence criteria where the ideal candidate must be a lauded researcher, with no reference to clinical or educational leadership, even though the department chair must display visionary skills in clinical and educational missions as well.


그러나 진정한 변혁적 결과는 능력적 성과meritorious work나 행동이 어떻게 인식되고 가치 있게 평가되고 있는가의 근간이 되는 스토리에 대해 질문을 제기할 수 있는 공간이 만들어져야만 일어날 것이다. 만약 우리가 모든 형태의 우수성 평가에서 원하는 사회적 성과에 대한 공로 기준을 의도적으로 일치시키려 한다면, 우리는 여러 다양한 영웅들을 포함하는 이야기를 개발하는 데 먼 길을 갈 것이다.

True transformative outcomes, however, will only occur if space is made for the questioning of the stories underlying how meritorious work or behaviour is being perceived and valued. We would go a long way in developing stories inclusive of multiple diverse heroes if we were to seek the deliberate alignment of merit criteria to desired societal outcomes in all forms of excellence assessment.


그 해답은 빛나는 창을 가진 한 명의 영웅이 아니라, 의학계의 지저분한 문제들과 씨름하기 위한 집단적인 노력에서 나올 것이다. 해결책이 나올 수 있을 만큼 서로를 강하게 만들 때 올 것이다.

The answer will not come from single heroes with shining lancets, but from a collective striving to grapple with the messy issues in medicine. It will come when we make each other strong enough for solutions to emerge.


2. Gingerich A, Regehr G, Eva KW. Rater-based assessments as social judgments: rethinking the etiology of rater errors. Acad Med. 2011;86(10 Suppl):S1-S7.


44. O'Connell T, Ham S, Hart T, Curlin F, Yoon J. A national longitudinal survey of medical students’ intentions to practice among the underserved. Acad Med. 2018;93 (1):90-97.







. 2020 Jan;54(1):46-53.
 doi: 10.1111/medu.13871. Epub 2019 Aug 29.

Beyond the cultural myth of medical meritocracy

Affiliations 

Affiliations

  • 1Department of Pediatrics and Centre for Medical Education, McGill University, Montreal, Quebec, Canada.
  • 2Department of Community Medicine, Faculty of Health Sciences, UiT The Arctic University of Norway, and Norwegian Centre for E-health Research, Tromso, Norway.
  • 3Department of Psychiatry, Faculties of Medicine and the Ontario Institute for Studies in Education, University of Toronto, Toronto, Ontario,, Canada.
  • 4Family Medicine, Centre for Medical Education, McGill University, Montreal, Quebec, Canada.

Abstract

Background: We examine the cultural myth of the medical meritocracy, whereby the "best and the brightest" are admitted and promoted within the profession. We explore how this narrative guides medical practice in ways that may no longer be adequate in the contexts of practice today.

Methods: Narrative analysis of medical students' and physicians' stories.

Results: Hierarchies of privilege within medicine are linked to meritocracy and the trope of the "hero's story" in literature. Gender and other forms of difference are generally excluded from narratives of excellence, which suggests operative mechanisms that may be contributory to observed differences in attainment. We discuss how the notion of diversity is formulated in medicine as a "problem" to be accommodated within merit, and posit that medical practice today requires a reformulation of the notion of merit in medicine, valorising a diversity of life experience and skills, rather than "retrofitting" diversity concerns as problems to be accommodated within current constructs of merit.

Conclusions: Three main action-oriented outcomes for a better formulation of merit relevant to medical practice today are suggested: (a) development of assessors' critical consciousness regarding the structural issues in merit assignment; (b) alignment of merit criteria with relevant societal outcomes, and (c) developing inclusive leadership to accommodate the greater diversity of excellence needed in today's context of medical practice. A reformulation of the stories through which medical practitioners and educators communicate and validate aspects of medical practice will be required in order for the profession to continue to have relevance to the diverse societies it serves.

학업능력 외 자질로 의과대학생 선발(Med Educ, 2018)

Selecting medical students: considering qualities other than academic ability

Barbara Griffin




1988년 에든버러 선언 이후 의대생 선발에는 학문적 능력 이외의 개인적 자질을 고려하도록 권고하고 있으며,1 그러한 자질을 측정하는 데 많은 시간과 관심이 투자되어 왔다.

Since the 1988 Edinburgh Declaration recommending that personal qualities other than academic ability be considered in the selection of medical students,1 much time and attention have been invested in the measurement of such qualities.


비록 우리가 기업 세계에서 선발에 관한 많은 연구를 해야 하지만, 의대생 선발은 몇 가지 독특한 측면을 가지고 있다.

Although we should draw on the large body of research on selection in the corporate world, medical student selection has some unique aspects


Stegers-Jager의 연구 결과, 7은 비학문적/비인식적 특성은 [일반적으로 지식의 습득보다는 임상적 기술 습득에 더 초점을 맞춰져 있고], 의과대학 초기보다는 후기 성과를 예측하는 것으로 보인다는 것을 시사한다. 그래서 그녀는 우리가 [좋은 의대생]이 되어야 하는 자질을 바탕으로 지원자를 선발해야 하는지 아니면 [좋은 의사]가 되어야 하는지에 대한 의문을 제기한다.7

Stegers-Jager’s findings,7 which support those of others,8,9 suggest that non-academic/non-cognitive qualities appear to be better at predicting students’ performance later rather than earlier in their medical studies, when typically the focus turns more to clinical skill acquisition than to the learning of knowledge. She thus raises the question of whether we should be selecting applicants based on qualities that are required to be a good medical student or those required to be a good doctor.7


그러나, 이러한 자질들이 실질적으로 다를 것 같은가? 철저한 직무 분석이 필요하지만 바람직한 자질 목록에는 상당한 중복이 있을 것으로 본다. 그 차이들은 그들의 상대적 중요성에 달려있을 수 있다.

However, are these qualities likely to differ substantially? Thorough job analyses are necessary, but I suspect there will be significant overlap in the lists of desirable qualities. The differences may rest in their relative importance


그럼에도 불구하고 우리가 예측 타당성을 평가하는 기준은 서로 다르다. 또한 의과대학에서 측정한 결과는 일반적으로 의사로서 좋은 성과를 나타내는 지표와 연관된 강한 인지적 구성요소('할 수 있다')에 초점을 두지만, 그보다 비인지적 구성요소("할 의지가 있다")가 더 중요할 가능성이 있다.2

Despite this, the criteria with which we assess predictive validity do differ and the outcomes measured in medical school generally have a strong cognitive ‘can do’ component compared with the indicators of good performance as a doctor, which are likely to have a stronger non-cognitive ‘will do’ component.2


대부분의 경우처럼 스테거스-자거7은 선택 지점에서 평가되어야 할 중요한 비인지적 특성을 논할 때 팀워크 능력, 공감력, 탄력성 등 긍정적인 특성과 기술에 거의 전적으로 초점을 맞추고 있다.7 그러나 내가 교수들에게 의과대 학생들이 소유하기를 원하는 구체적인 자질을 기술해 달라고 요청할 때, 교수들은 매우 자주 '긍정적 특성'보다 '절대로 원하지 않는 뚜렷하게 부정적인 것들'을 언급한다. 예를 들어 '특권의식'이나 '정신병적인' 특징과 같은 것들이다.

Like most, Stegers-Jager7 focuses almost exclusively on positive traits and skills, such as teamwork skills, empathy and resilience, when discussing important non-cognitive qualities to be assessed at the point of selection.7 However, when I ask faculty members to describe the specific qualities they want their medical students to possess, they more often than not first mention the distinctly negative things they don’t want, such as ‘a sense of entitlement’ or ‘psychopathic’ traits.


아마도 이것은 교육자의 대부분의 시간을 잡아먹는 것은 difficult student이며, 전형적으로 대중의 이목을 집중시키는 것은 의사의 긍정적인 행동보다 의사들이 범하는 경범죄라는 사실을 반영하고 있다.

Perhaps this reflects the fact that it is difficult students who occupy the majority of one’s time as an educator, and it is doctors’ misdemeanours, more than their positive behaviours, that typically attract public scrutiny.


그렇다면 최근 소위 '어두운 면'과 인간의 행동에 대한 연구들의 기하급수적인 증가를 고려할 필요가 있다. 이러한 '어두운 면'의 특징은 dysfunctional하지만 아직 임상적인 문제가 되는 단계까지는 아닌 특징들이다.10

It would be interesting then to consider the recent and exponential rise in studies on the so-called ‘dark side’ of personality and human behaviour, aspects that are subclinical, albeit dysfunctional.10


Dark triad가 있다.

Particular attention has been given to the dark triad of 

  • 나르시시시즘(자기강화, 우월감, 타인에 대한 관심 부족) 

  • 마키아벨리주의(비관습적인 도덕관으로 교묘해지고 있음) 

  • 정신병(공감이 낮고 적대적이며 양심이 부족하다).10

  • narcissism(a tendency to self-enhancement, superiority and lack of interest in others), 

  • Machiavellianism(being manipulative with an unconventional view of morality), and 

  • psychopathy (having low empathy, being antagonistic and lacking conscience).10


선발 맥락에서 이러한 어두운 품질을 평가하는 것은 측정 문제와 입법 제한의 결과로 문제가 될 가능성이 있다. 그럼에도 불구하고, 우리는 부적합한 특성을 가진 지원자들을 선발하고, 바람직한 특성을 가진 사람들을 선발하는 것의 함축적 의미를 더 잘 이해할 필요가 있다.

Assessing these dark qualities in selection contexts is likely to be problematic as a result of measurement issues and legislative restrictions. Nevertheless, we need greater understanding of the implications of selecting out those applicants with unsuitable traits and selecting in those with desirable traits.


에든버러 선언1에 의해 의대생 선발에서 평가하기 위해 중요한 자질들은 반드시 개인의 안정적이거나 오래 지속되는 측면은 아니며, 맥락과 무관하게 활성화되지도 않는다.13 선발은 최종게임endgame이 아니다. 개인들은 시간이 지남에 따라 환경과 상호 작용하고 영향을 받는다.

the qualities identified by the Edinburgh Declaration1 as important to assess in the selection of medical students are not necessarily stable or enduring aspects of an individual and neither are they activated regardless of context.13 Selection is not the endgame – individuals interact with and are affected by their environments over time.


심리학, 생물학, 신경과학 분야 전반에서, 증가하는 근거를 살펴보면, 한 사람에게 주어진 맥락이 긍정적인 것과 부정적인 것 모두를 강화시킬 수 있거나 심지어 그것들을 변화시킬 수 있다는 것을 나타낸다.13

Across the fields of psychology, biology and neuroscience, a growing body of evidence indicates that a person’s context can strengthen both positive and negative qualities, or even change them.13


호주의 대표적인 정신과 의사이자 국립 정신건강 담당자인 이안 히키 교수는 학생 개개인의 회복탄력성에 초점을 맞추면서, '하급 의사가 받는 유해한 의료계 문화와 위험한 작업 환경'을 무시한다고 경고한다.12

As leading Australian psychiatrist and National Mental Health Commissioner Professor Ian Hickie warns, focusing on a student’s resilience ignores ‘the deleterious culture of medicine and dangerous working conditions to which junior doctors [are] subjected’.12


13 Ferguson E, Lievens F. Future directions in personality, occupational and medical selection: myths, misunderstandings, measurement, and suggestions. Adv Health Sci Educ Theory Pract 2017;22 (2):387–99.






 2018 Jan;52(1):9-11. doi: 10.1111/medu.13450.

Selecting medical studentsconsidering qualities other than academic ability.

Author information

1
Sydney, New South Wales, Australia.
PMID:
 
29265520
 
DOI:
 
10.1111/medu.13450


의과대학 선발에 대한 이해관계자의 관점: 체계적 문헌고찰(BMC Med Educ, 2018)

A systematic review of stakeholder views of selection methods for medical schools admission

M. E. Kelly1* , F. Patterson3, S. O’Flynn2, J. Mulligan1 and A. W. Murphy1



배경

Background


의학은 국제적으로 매우 인기 있는 직업 선택이다.

Medicine is a highly popular career choice internationally.


의학교육은 이탈률이 매우 낮고 대부분의 학생이 졸업하기 때문에 미래의 의료 인력의 구성과 교정은 의대생을 선발하는 데 사용되는 방법에 크게 좌우된다[2–4].

As attrition rates in medical education are very low and most students graduate, the composition and calibre of the future medical workforce is significantly dependent on the methods used to select medical students [2–4].


선발 방법의 설계, 개발 및 지속적 사용에 대한 모범 사례는 이해관계자의 정기적인 피드백이 제공하는 반복적인 과정이어야 한다[5]. 정치적 타당성이라는 용어는 이해관계자 관점의 중심을 포착하며, "특정 선발도구에 대해서 다양한 이해관계자와 이해관계자 그룹이 적절하고 수용가능하다고 느끼는 정도"로 정의된다[6, 7]. 정치적 타당성은 의과대학에 대한 접근 확대에 있어 중요한 고려사항으로 인식된다[8, 9].

Best practice in the design, development and continued use of selection methods should be an iterative process informed by regular feedback fromstakeholders [5]. The term political validity captures the centrality of stakeholder views and, is defined as “the extent to which various stakeholders and stakeholder groups consider the tool(s) to be appropriate and acceptable for use in selection” [6, 7]. Political validity is recognised as an important consideration in widening access to medical schools [8, 9].


이해관계자의 인식을 이해하는 것은 다른 여러 가지 이유로 중요하다. 불공평하다고 인식되는 선발 방법은 잠재적인 의대생들에게 적용하지 못하게 될 수 있으며, 이는 심각한 부정적인 결과를 가져올 것이다[9]. 의학에서 하위 사회-경제적 및 소수 집단을 과소표시하는 것은 다요소적이지만, 이러한 집단은 선발과 관련된 부정적 인식의 결과에 특히 취약하다[14]. 

Understanding stakeholder perceptions is important for a number of other reasons. Selection methods that are perceived as unfair may deter potential medical students from applying which would be considered a profoundly negative consequential effect [9]. Under-representation of lower socio-economic and minority groups in medicine is multifactorial but arguably these groups are particularly vulnerable to the consequences of negative perceptions regarding selection [14]. 


또한, 일부 상황에서는 이해관계자 관점과 예측 타당성 및 신뢰성과 같은 선택 도구의 적합성을 평가하는 데 사용되는 기타 기준 사이에 절충이 있는 것으로 보인다. 예를 들어 자기소개서, 추천서, 전통적인 인터뷰는 예측 타당성이 제한되고 편향 가능성이 있다는 증거에도 불구하고 계속 널리 사용되고 있다[15–19]. 이것은 부분적으로 [이해관계자의 수용과 승인]을 얻는다는 점에서 정치적 아젠다에 부합하기 때문으로 설명될 수 있다고 주장되어 왔다[9].

Additionally, in some situations, there appears to be a trade-off between stakeholder views and other criteria used to evaluate the appropriateness of selection tools, such as predictive validity and reliability. For example personal statements, letters of reference and traditional interviews continue to enjoy widespread use, despite evidence of limited predictive validity and susceptibility to bias [15–19]. It has been argued that this can in part be explained by these tools serving some other political agenda for which they achieve stakeholder acceptance and approval [9].


마지막으로 이해관계자의 관점에 대한 기초를 철저히 이해하면 선발자들은 아마도 인기는 낮지만 좀 더 심리측정적으로 강력한 선택 도구들을 뒷받침하는 근거를 더 잘 설명할 수 있을 것이다.

Finally a thorough understanding of the basis for stakeholders’ views will better enable selectors to explain the rationale supporting some, perhaps less popular, but more psychometrically robust selection tools.



이해관계자의 관점: 이론적 프레임워크 

Stakeholder views: a theoretical framework


지난 50년 동안 조직 정의 이론은 선택을 포함한 조직 프로세스의 공정성에 대한 인식을 설명하기 위해 개발되었다[20–22]. Patterson 등 및 Kelly는 조직적 정의 이론이 의학의 선택과 관련이 있으며 이해당사자들의 관점에 대한 깊은 통찰력을 제공하는 데 사용될 수 있다고 확립했다[7, 23].

Over the past fifty years, organisational justice theories have been developed to describe perceptions of fairness in organisational processes, including selection [20–22]. Patterson et al. and Kelly have established that organisational justice theories are relevant to selection in medicine and that they can be used to provide deeper insights into and appreciation of the views of stakeholders [7, 23].


이러한 정의 이론은 분배, 절차, 상호 작용으로 분류될 수 있다[24]. 

These justice theories can be categorised as distributive, procedural and interactional [24]. 


  • 선택의 맥락에서 분배적 정의[동등한 기회와 형평성 측면]에서 의과대학 같은 선발 결과의 공정성과 관련이 있다[7]. 분배적 정의의 관점에서 모든 사람이 동일한 기회를 받을 때 선택은 공정하다고 본다[25].

In the context of selection distributive justice relates to the fairness of selection outcomes such as medical school places, in terms of equal opportunity and equity [7]. From a distributive justice perspective selection is viewed to be fair when everyone receives the same opportunities [25].


  • 선발에서 절차적 정의는 직무 관련성과 시험의 특성 측면에서 선택 도구의 [인식된 공정성]과 관련이 있다[7]. 절차적 정의의 관점에서 볼 때, 선발방법이 직무와 연관되어 있을 때와 그 방법의 목적이 설명될 때 선택권은 보다 긍정적으로 본다[22, 26].

Procedural justice in selection is concerned with the perceived fairness of the selection tool in terms of job relevance and characteristics of the test [7]. From a procedural justice perspective selection is viewed more positively when the methods are connected with the job and when the purpose of the method is explained [22, 26].


  • 상호작용적 정의선발 과정에서 신청자가 어떻게 충족met되는지를 의미하며, 어떤 정보가 전달되는지 뿐만 아니라 그 방식도 포함한다[27, 28]. [의사소통의 공정성]은 상호작용적 정의가 어떻게 인식되는가에 대한 매우 영향력 있는 결정 요인이다[28, 29].

While the interactional justice of selection methods refers to how applicants are met during the selection process and includes the information applicants are given as well as the manner in which it is conveyed [27, 28]. The fairness of the communication is a very influential determinant of how interactional justice is perceived [28, 29].



방법

Methods


Search strategy



결과

Results


Study selection and data extraction


Figure 1 illustrates the steps from initial identification of records, to identifying those included and excluded.




Quality assessment strategy


Quality assessment and evidence synthesis


Risk of Bias


Study designs


Synthesis of results



지원자의 관점

The views of applicants


MMI를 포함한 면접

Interviews including multiple mini interviews (MMIs)


지원자들은 MMI를 전적으로 지지한다. 그들은 일반적으로 공평하고, 상대적으로 성별이나 문화적 편견이 없으며, 능력과 장점을 제시할 수 있는 적절한 기회를 제공하고, 사전 정보의 질과 지침의 명확성이 좋다는 것을 인지한다 [45, 48, 50, 55, 65, 61, 63, 72, 99]. 신청자는 전통적인 인터뷰보다 MMI를 선호함을 나타낸다[45, 48, 60, 72, 89, 96]. 한 논문은 소수의 탈락한 지원자들의 견해를 포함하고 있었으며, 대다수가 여전히 MMI에 대해 긍정적으로 논평하고 있다는 것을 발견했다[50]. 신청자는 면접관의 독립성과 MMI의 신뢰성을 중시한다[39, 45, 96]. 특히 지원자들이 능력을 입증할 수 있는 여러 가지 기회는 긍정적인 반응에 영향을 미치는 것으로 보인다[39, 55, 61, 63, 99]. MMI가 스스로 "신뢰redeem"할 수 있는 기회는 긍정적으로 검토되었다[39].

Applicants are on the whole supportive of MMIs. They perceive that they are generally fair, relatively free of gender or cultural bias, provide adequate opportunity to present their abilities and strengths and that the quality of advance information and clarity of instructions are good [45, 48, 50, 55, 61, 63, 72, 99]. Applicants indicate a preference for MMIs over traditional interviews [45, 48, 60, 72, 89, 96]. One paper included the views of a small number of unsuccessful applicants, and found that the majority still commented positively on MMIs [50]. Applicants value the perceived independence of interviewers and the authenticity of MMIs [39, 45, 96]. In particular the multiple opportunities for applicants to demonstrate abilities appears influential on positive reactions [39, 55, 61, 63, 99]. The chance provided by MMIs to “redeem” oneself has been positively noted [39].


지원자들은 MMI에 관한 일부 부정적 느낌을 보고하였다. 일부 지원자들은 MMI가 표준화된 인터뷰보다 더 어렵고 스트레스 받는[61]를 많이 받는다고 생각하는 반면, 다른 지원자들은 MMI가 높은 의사소통 지원자를 선호한다고 우려하였다[39]. MMI의 다른 측면의 등급에 비해 할당된 시간에 대한 지원자의 만족도는 약간 낮았다[39, 55, 60, 63, 99].

Applicants’ reported some misgivings with respect to MMIs. Some applicants found MMIs more difficult [89], and more stressful [61], than standardised interviews, while others were concerned that MMIs favour highly communicative applicants [39]. When compared to ratings of other aspects of the MMIs, applicant satisfaction with allotted time was slightly lower [39, 55, 60, 63, 99].


다른 인터뷰 기법에 대한 신청자들의 견해도 긍정적이었다. 한 소규모 연구에서 대다수의 참여자들이 인터뷰를 포함하지 않는 선택 과정은 수용가능하지 않다고 믿었다[85]. 한 캐나다 의과대학의 지원자들은 표준화된 인터뷰를 긍정적으로 받아들였다[68]. 기술적 진보는 웹 기반 면접을 가능케 했으며, 두 연구는 이 접근방식에 대한 지원자의 긍정적인 반응을 보고한다[57, 98]. 신청자들은 또한 면접을 자신이 적용하고 있는 학교나 프로그램의 가치와 윤리에 대한 귀중한 정보를 얻을 수 있는 기회로 인식한다[56, 78, 85]. 한 연구는 그룹 인터뷰에 대한 높은 수준의 만족도를 보고했지만, 국제 지원자들은 지역 후보들과 비교함으로써 면접관들에게 깊은 인상을 주기 위해 애쓸 것이라고 생각했다(n=77, 응답률 37.8, p = 0.004) [91]. 패널 인터뷰에 대한 신청자의 부정적 반응을 보고한 논문은 단 한 개뿐이며, 본 논문에서 비판은 주로 부적절한 인터뷰 후 피드백 수준과 관련이 있다[74].

Applicants’ views of other interview techniques were also positive; with one small study reporting that the majority of participants (93%, n = 53) believed that any selection process which did not include interviews would be unacceptable [85]. Standardised interviews have been positively received by applicants in one Canadian medical school [68]. Technological advances have made web based interviewing a possibility and two studies report positive applicant reactions to this approach [57, 98]. Applicants also perceive interviews as an opportunity to glean valuable information about the values and ethos of the school or programme to which they are applying [56, 78, 85]. One study reported favourable levels of applicant satisfaction with group interviews, however international applicants felt they would struggle to impress interviewers by comparison with local candidates (n=77, responserate 37.8, p = 0.004) [91]. Only one paper was identified that reported negative applicant reaction to panel interviews, and in this paper criticisms related mostly to inadequate levels of post interviews feedback [74].


선발자의 관점: 면접관, 교수, 입학위원회

The views of selectors: interviewers, faculty and admissions committee members


MMI 등 면접

Interviews including MMIs


면접은 의대 선발자에 의해 확고부동한 것으로 간주된다[87]. 마찬가지로, 호주 의과대학에 대한 이해관계자의 선택방법에 대한 견해를 조사하는 대규모 연구에서, 인터뷰는 전체적으로 가장 유효한 선택방법으로 간주되었다[54].

Interviews are considered a stalwart by selectors to medical schools [87]. Similarly, in a large study examining stakeholders’ views of selection methods to Australian medical schools, interviews were viewed as the most valid selection method overall [54].


많은 연구들이 MMI와 관련하여 선택자의 선입견을 평가하였다. 인터뷰 진행자들은 공정성에 대한 인식 측면에서 MMI를 높게 평가했다[45, 48,50, 61, 72, 99]. 중요한 것은, 면접관이 MMI가 지원자를 정확하게 평가할 수 있게 해주었고, 채점 메커니즘이 지원자를 적절하게 구별할 수 있게 해 주었다는 점이다[45, 48, 55, 60, 63, 77, 99].후보자에게 제공되는 복수의 평가 기회와 다차원적 평가관 관점은 면접관이 자신의 의사결정에 대해 훨씬 덜 불안해한다는 것을 의미했다[39]. Razack 등은 시청자들이 가정 및 국제 지원자들과 함께 사용하기에 적합한 MMI를 발견했다고 보고했다[50]. 면접관이 전통적인 면접보다 MMI를 선호할 수 있다는 몇 가지 증거가 있다[45, 72]. 

A large number of studies have evaluated selectors’opinions with respect to MMIs. Interviewers ranked MMIs highly in terms of perceptions of fairness [45, 48,50, 61, 72, 99]. Importantly, interviewers felt that MMIs allowed them to accurately evaluate applicants and that the scoring mechanisms allowed them to adequately differentiate between candidates [45, 48, 55, 60, 63, 77, 99].The multiple assessment opportunities afforded to candidates and the multidimensional assessor view meant that interviewers felt much less anxious about their own decision making [39]. Razack et al. report that inter-viewers found MMIs appropriate for use with home and international applicants [50]. There is some evidence that interviewers may favour MMIs over traditional interview [45, 72]. 


MMI에 대한 면접자의 우려는 다음과 같다: 

    • 주로 의사소통 능력을 측정하는 것일 수 있다는 우려[39], 

    • 지원자의 문화, 성격 또는 언어를 포함한 문제가 성과에 부정적인 영향을 미칠 수 있다는 우려[38, 50], 

    • 면접관이 동료에게 부여한 점수를 벤치마킹할 기회 부족[39], 

    • 교정할 시간 부족.e [48] 

    • 추가 교육 필요[61] 

    • MMI는 다소 비인간적인impersonal 프로세스가 될 수 있다[84].

Interviewers’ concerns regarding MMIs include: a fear that it might be primarily measuring communication skills [39]; that issues including applicants’ culture, personality or language may negatively impact on performance [38, 50]; the lack of opportunity for interviewers to benchmark the scores they assign against their peers [39]; insufficient time for calibration [48], the requirement for additional training [61] and that MMIs can be a somewhat impersonal process [84].


의과대학생의 관점

The views of medical students


MMI 등 인터뷰

Interviews including multiple mini interviews


두 개의 기록은 학생들이 인지 테스트보다 인터뷰를 더 선호한다는 것을 암시했다[51, 77]. 국제 학생들은 면접을 지원할 가능성이 훨씬 더 높다(p <0.01>[51]. 학생들은 MMI를 선택 시 적절하고 사용하기에 적합하다고 설명하면서, 지원자와 동일한 측면에서 MMI를 높이 평가한다. 한 소규모 연구는 선발의 역할 면접에서 확대된 접근 경로를 통해 입학한 학생들의 견해를 조사했다[95]. 흥미롭게도 임상 초기 학생들은 전통적인 인터뷰를 지지했고, 4학년 학생들은 MMI가 더 적절하다고 느꼈다. 다른 곳에서 성숙한 학생들은 자신의 정체성과 미래의 의과대학과의 적합성에 대한 인터뷰의 중요성을 강조하였다[40].

Two records suggested that students prefer interviews to cognitive testing [51, 77]. International students are even more likely to support interviews (p <0.01)[51]. Students appreciate the same aspects of MMIs as applicants do, describing it as relevant and suitable for use in selection [77]. One small study examined the views of students admitted through a widening access route, on the role interviews for selection [95]. Interestingly students in their early clinical years supported traditional interviews while students in the senior years felt that MMIs were more appropriate. Elsewhere mature students highlighted the importance of interviews to their sense of identity and fit with prospective medical schools [40].



고찰

Discussion


이 연구에서는 크게 세 개의 주요 이해관계자 그룹, 즉 a) 지원자, b) 선발자, c) 의대생들의 견해를 탐구한다는 것을 확인했다.

It identified that the research largely explores the views of three main stakeholder groups: a) applicants; b) selectors and c) medical students.


이 검토의 결과는 특히 절차적 정의와 분배적 정의 이론의 구성과 일치한다. 전체 이해관계자는 선택 중인 인터뷰(특히 MMI), SC 및 SJT를 지원한다. 선발 도구의 인식된 공정성의 가장 영향력 있는 결정요인 중 하나이며, 이러한 방법은 자연적으로 정당하다고 보기 때문에 이해관계자가 수용할 수 있다고 주장할 수 있다. 이전의 연구는 선발 도구가 직무와 관련된 것으로 간주되는 정도가 절차적 정의의 인식에 가장 큰 영향을 미친다는 것을 보여주었다[9, 21]. 이 검토는 MMI가 신청자, 선택자 및 학생에 의해 임상 실습과 즉시 관련성이 높은 매우 진실한 것으로 간주된다는 것을 입증한다.

The findings of this review resonate with the constructs of organisational justice theoriesin particular with both procedural and distributive justice. On the whole stakeholders are supportive of interviews (in particular MMIs), SCs and SJTs in selection. Procedural justice is one of the most influential determinants of perceived fairness of selection tools and it can be argued that these methods are acceptable to stakeholders because they are viewed as procedurally just. Prior research has shown that the extent to which a selection tool is viewed as job related exerts the greatest influence on perceptions of procedural justice [9, 21]. This review establishes that MMIs are considered by applicants, selectors and students, as highly authentic with immediate relevance to clinical practice.


절차적 정의의 또 다른 측면은 "목소리"의 개념이다[20,21]. "보이스"는 지원자에게 스스로에 대해서 make a case할 수 있는 적절한 기회와 시간을 준다[107].

Another aspect of procedural justice is the concept of “voice” [20,21]. “Voice” describes adequate opportunity for the applicant to perform, to make a case for themselves as well as sufficient time to do so [107].


적성 검사의 수용가능도는 일반적으로 이해관계자마다 다르다. 약자 및 소수 의대 지원자들은 이를 장벽으로 보고 있으며, 다른 지원자와 의대생들은 이들의 공정성, 얼굴 및 예측 타당성에 의문을 제기하고 있다. 일부 항목 형식의 직무 관련성은 비언어적 추리 질문과 같은 특정 추상적 추리 시험 항목에 대해 질문한다. 이는 유사한 도구를 사용하는 의료 이외의 경험을 반영하며, 인지 시험 설계에 절차적 정의를 통합하는 한 가지 방법은 비교적 구체적인 항목 유형을 사용하는 것다[108].

Aptitude tests generally receive mixed stakeholder acceptability. Underrepresented and minority medical school applicants view them as barriers, while other applicants and medical students question their fairness, face and predictive validity. The job relatedness of some of the item formats is questioned in particular abstract reasoning test items, such as non-verbal reasoning questions. This reflects the experience outside of medicine with similar tools and it is recommended that one way to incorporate procedural justice into the design of cognitive tests is to use comparatively concrete itemtypes [108].


학생들과 선발자들에게 우려되는 것은 적성 시험이 코칭에 취약할 수 있다는 인식과 이것이 경제적 편견을 초래할 수 있다는 관련 두려움이다.

Of concern to students and selectors is the perception that aptitude tests may be susceptible to coaching, and the associated fear that this may lead to economic bias.


상업적인 코칭이 불공평한 우위로 이어질 수 있다는 우려는 기회균등이라는 분배적 정의 원칙을 위반하는 것이다. 연구에 따르면, 정의justice 규칙이 (충족되기 보다는) 위반되었을 때, 그 규칙이 더 큰 영향력을 미칠 수 있고, 수용가능성에 대해서 전반적으로 더 큰 영향을 미친다[21, 24]. 실무적 관점에서, 이는 선택 도구가 많은 다른 정의 영역에서 잘 수행될 것으로 예상되더라도, 한 가지 측면에서라도 부족하다고 인식될 경우 이해당사자들이 여전히 수용할 수 없는 것으로 느낄 수 있다는 것을 의미할 수 있다.

Concerns regarding the possibility that commercial coaching could lead to unfair advantage represent a breach of the distributive justice principle of equal opportunity. Research has shown that justice rules can be more influential, and weigh more heavily on overall estimation of acceptability, when they are violated rather than when they are satisfied [21, 24]. In practical terms, this could mean that even in a situation where a selection tool is considered to perform well across a number of other justice domains – it may still prove unacceptable to stakeholders if it is perceived to fall short in one regard.


추천서, 에세이, 개인 진술서 등 다른 방법의 이해관계자 관점을 탐구하는 기록은 거의 없었지만, 그런 연구 결과에 따르면 내용의 진실성에 대해 다소 유보적인 입장을 표명하였다. 이러한 방법의 예측 타당성 역시 제한적인 것으로 알려져 있으며, 이는 이해관계자의 수용성 저하와 함께 선정 과정에서 그들의 역할에 도전한다(6, 109).

There were very few records that explored stakeholder views of other methods such as letters of recommendation, essays and personal statements, but those that did expressed some reservation about the veracity of content. The predictive validity of these methods is also known to be limited, and this coupled with poor stakeholder acceptability, challenges their role in the selection process) [6, 109].


이 검토의 두 번째 주요 제한은 선택 방법 자체의 이질성과 관련이 있다. 예를 들어, 모든 MMI가 동일한 것은 아니며, 어떤 두 MMI도 동일하지 않다[110]. 마찬가지로 적성 시험 사이에는 결정화crystalised 대 유체fluid 지능을 측정하도록 설계된 정도와 같은 중요한 차이가 있다[6]. 전체적인 이해관계자의 관점을 요약하고 일반화하려는 이 같은 체계적인 검토는 이러한 중요한 맥락적 차이를 피할 수 없을 것이다.

A second major limitation of this review relates to the heterogeneity of the selection methods themselves. For instance not all MMIs are the same, in fact no two MMIs are thesame[110]. Similarly there are important differences between aptitude tests, such as the degree to which they are designed to measure crystallised versus fluid intelligence [6]. A systematic review such as this one, that seeks to summarise and generalise overall stakeholders’ views, will inevitably mask these important contextual differences.


Conclusions


의대생 선발의 이해관계자들은 잠재적으로 다른 견해를 가진 다양한 그룹들의 집합이다. 공정하고 방어 가능한 선택 과정의 운영에 있어서 우리가 그들이 가지고 있는 견해의 범위와 깊이를 이해하고 감사하는 것이 중요하다. 모든 이해관계자가 정확한 정보를 사용할 수 있고 의과대학의 '자리'를 할당하는 데 사용되는 각 선택 방법의 목적과 목적에 대해 명확성을 보장하는 것은 선택 과정에 참여하는 모든 사람에게 의무적이다. 

Stakeholders in medical student selection are a collection of diverse groups with potentially differing views. It is critical to the operation of fair and defensible selection processes that we understand and appreciate the range and depth of views that they hold. It is incumbent upon all involved in the selection process to ensure that accurate information is available to all stakeholders and that there is clarity regarding the objectives and purpose of each selection method used to allocate a place in medicine. 


이 검토는 특히 지원자와 관련하여 이 분야에서 중요한 작업이 수행되고 있음을 보여준다. 그러나, 그것은 더 나은 표준과 더 적절한 방법론의 필요성을 강조한다; 미래 연구에 포함된 이해관계자 그룹의 범위를 넓히기 위해서. 마지막으로 우리는 이 검토가 심지어 같은 그룹의 이해관계자들이 반드시 동질적이지 않다는 인식을 강화하기를 바란다. 이해관계자의 인식은 선발의 책임이 있는 사람들에 의해 유포된 정보뿐만 아니라 다양한 문화적, 환경적 요인에 의해 크게 영향을 받는다.

This review demonstrates that there is important work being done in this field, especially in respect to applicants. However, it highlights the need for better standards and more appropriate methodologies; for broadening the scope of the stakeholder groups included in future research. Finally we hope this review reinforces recognition that stakeholders even fromthe same group are not necessarily homogenous. Their perceptions are significantly influenced by a range of cultural and environmental factors as well as information disseminated by those responsible for selection.







 2018 Jun 15;18(1):139. doi: 10.1186/s12909-018-1235-x.

systematic review of stakeholder views of selection methods for medical schools admission.

Author information

1
Discipline of General Practice, Clinical Science Institute, National University of Ireland, Galway, Ireland. maureen.kelly@nuigalway.ie.
2
Work Psychology Group, Derby, UK.
3
University College Cork, Cork, Ireland.
4
Discipline of General Practice, Clinical Science Institute, National University of Ireland, Galway, Ireland.

Abstract

BACKGROUND:

The purpose of this paper is to systematically review the literature with respect to stakeholder views of selection methods for medical school admissions.

METHODS:

An electronic search of nine databases was conducted between January 2000-July 2014. Two reviewers independently assessed all titles (n = 1017) and retained abstracts (n = 233) for relevance. Methodological quality of quantitative papers was assessed using the MERSQI instrument. The overall quality of evidence in this field was low. Evidence was synthesised in a narrative review.

RESULTS:

Applicants support interviews, and multiple mini interviews (MMIs). There is emerging evidence that situational judgement tests (SJTs) and selection centres (SCs) are also well regarded, but aptitude tests less so. Selectors endorse the use of interviews in general and in particular MMIs judging them to be fair, relevant and appropriate, with emerging evidence of similarly positive reactions to SCs. Aptitude tests and academic records were valued in decisions of whom to call to interview. Medical students prefer interviews based selection to cognitive aptitude tests. They are unconvinced about the transparency and veracity of written applications. Perceptions of organisational justice, which describe views of fairness in organisational processes, appear to be highly influential on stakeholders' views of the acceptability of selection methods. In particular procedural justice (perceived fairness of selection tools in terms of job relevance and characteristics of the test) and distributive justice (perceived fairness of selection outcomes in terms of equal opportunity and equity), appear to be important considerations when deciding on acceptability of selection methods. There were significant gaps with respect to both key stakeholder groups and the range of selection tools assessed.

CONCLUSIONS:

Notwithstanding the observed limitations in the quality of research in this field, there appears to be broad concordance of views on the various selection methods, across the diverse stakeholders groups. This review highlights the need for better standards, more appropriate methodologies and for broadening the scope of stakeholder research.

KEYWORDS:

Medical schools; Organisational justice; Stakeholders; Views

PMID:
 
29907112
 
PMCID:
 
PMC6002997
 
DOI:
 
10.1186/s12909-018-1235-x


기관 내/기관 간 전통적 면접과 MMI의 신뢰도 비교: 다섯개 캘리포니아 의과대학(BMC Med Educ, 2017)

Reliability of Multiple Mini-Interviews and traditional interviews within and between institutions: a study of five California medical schools

Anthony Jerant1*, Mark C. Henderson2, Erin Griffin3, Julie A. Rainwater4, Theodore R. Hall5, Carolyn J. Kelly6,

Ellena M. Peterson7, David Wofsy8 and Peter Franks1




배경

Background


비구조화되었거나 최소한만 구조화된 일대일 전통적인 인터뷰(TI)는 의과대학 입학에 오랫동안 채용되어 왔다[1].

Unstructured or minimally structured one-on-one traditional interviews (TIs) have long been employed in medical school admissions [1].


부분적으로 면접관간 신뢰성에 대한 우려 때문에, 많은 학교들은 신청자들이 각각 다른 훈련된 평가관이 참여하는 일련의 간략한 반구조적 평가 스테이션을 통해 일하는 다중 미니 인터뷰(MMI)로 TI를 대체했다[3, 11].

Partly due to concerns about inter-interviewer reliability, many schools have replaced TIs with Multiple MiniInterviews (MMIs), in which applicants work through a series of brief, semi-structured assessment stations, each attended by a different trained rater [3, 11].


전술한 연구에 근거하여 일부 저자는 MMI가 TI에 비해 우수한 레이터 간 신뢰성을 가지고 있다고 결론지었다[2–6, 12, 17]. 그러나 이전의 MMI(및 TI) 연구는 각각 이러한 인터뷰 유형 중 하나만 채택하는 단일 기관에서 수행되었다.

Based on the foregoing studies, some authors have concluded that MMIs have superior inter-rater reliability as compared with TIs [2–6, 12, 17]. However, prior MMI (and TI) studies have been conducted at single institutions, each employing only one of these interview types.


중요한 것은, 두 가지 면접 유형을 모두 완료한 공통의 지원자 풀을 조사하여 TI보다 교수간 신뢰도가 높은지 여부를 동시에 테스트한 연구는 없다는 점이다. 더욱이 MMI 또는 TI의 학교 간 신뢰성을 조사한 연구는 없다.

Importantly, no studies have concurrently tested whether inter-rater reliability is higher for MMIs than for TIs by examining a common pool of applicants completing both interview types. Furthermore, no studies have examined the between-school reliabilities of MMIs or TIs.


5개의 캘리포니아 종방향 입학 평가(CA-LEAP) 컨소시엄 의과대학의 데이터를 사용하여 MMI와 TI의 내적 및 베트웨덴스쿨 신뢰성을 조사했다.

Using data from the five California Longitudinal Evaluation of Admission Practices (CA-LEAP) consortium medical schools, we examined the within and between school reliabilities of MMIs and TIs.


방법

Methods


연구대상

Study population



면접절차

Interview processes


두 학교(MMI1과 MMI2)는 MMI를 사용했으며, 각각 10분 스테이션과 7개 스테이션이 개별적으로 점수를 매겨 상업적으로 시판된 콘텐츠에서 채택되었다. [19] 두 학교 모두, 모든 스테이션은 다차원적이었다. 모든 스테이션에서 하나 이상의 추가 역량(예: 무결성/윤리, 전문성, 다양성/문화 인식, 팀워크, 스트레스 처리 능력, 문제 해결)과 함께 대인 커뮤니케이션 능력을 체계적인 평가 양식을 사용하여 평가하였다.

Two schools (MMI1 and MMI2) used MMIs, with 10 and 7 individually scored 10-min stations, respectively, generally adapted from commercially marketed content. [19] At both schools, all stations were multidimensional. Interpersonal communication ability was considered at every station, along with one or more additional competencies (e.g., integrity/ethics, professionalism, diversity/ cultural awareness, teamwork, ability to handle stress, problem solving), rated using a structured rating form.


3개 학교(TI1, TI2, TI3)는 TI를 사용했다. 각 학교에서 지원자들은 두 번의 30-60분짜리 구조화되지 않은 면접을 마쳤다. 하나는 교직원이고 하나는 의대생이나 교직원이었다.

Three schools (TI1, TI2, and TI3) used TIs. At each school, applicants completed two 30–60 min unstructured interviews, one with a faculty member and one with a medical student or faculty member.


TI1과 TI3 학교 모두에서 채택된 척도는 달랐지만 인터뷰 진행자는 단일 총괄 점수을 할당했다. 학교 TI2에서 면접관은 응시자를 4개의 개별 영역(생각/지식, 의사소통/행동, 에너지/인니티, 공감/동감)으로 1~5점 척도로 평가하였고, 그 후 도메인 점수를 합산하여 면접 점수(범위 4-20)를 산출하였다).

At both schools TI1 and TI3, interviewers assigned a single global interview rating, though the scales employed differed (

    • exceptional, above average, average, below average, unacceptable at TI1; 

    • unreserved enthusiasm, moderate enthusiasm, or substantial reservations at TI3). 

At school TI2, interviewers rated candidates on a 1– 5 point scale in four separate domains (thinking/knowledge, communication/behavior, energy/initiative, and empathy/compassion), and the domain scores were then summed to yield a total interview score (range 4–20).



Measures


Analyses



결과

Results


Within schools, correlations between interviewer ratings generally were qualitatively lower for TI1 (r 0.07, α 0.13), TI2 (r 0.29, α 0.40), and TI3 (r 0.44, α 0.61) than for MMI1 and MMI2 (α 0.68 and 0.60, respectively).




고찰

Discussion


우리는 일반적으로 TI보다 MMI가 학교 내 및 학교 간 신뢰성이 질적으로 더 높다는 것을 발견했다.

We generally found qualitatively higher within-school and between-school reliabilities for MMIs than for TIs.


본 연구에서 MMI의 질적으로 우수한 학교간 신뢰도에도 불구하고, 학교간 TI 신뢰성은 지배적인 견해를 바탕으로 우리가 예상했던 것보다 더 좋았다[2–6, 12, 17]. 이러한 연구 결과는 일부(전부는 아니지만) 이전의 단일 학교 연구에서 TI에 대해 관측된 낮은 인터뷰어 간 신뢰성이 TI 접근에 내재된 제한보다는 학교별 차이(예: 면접자 교육, 프로세스 표준화 정도)를 반영할 수 있음을 시사한다.

Despite the qualitatively superior between-school reliability of the MMI in our study, the between-school TI reliabilities were better than we had anticipated based on prevailing views [2–6, 12, 17]. These findings suggest that the low inter-interviewer reliability observed for TIs in some (but not all) prior single-school studies may reflect school-specific differences (e.g., interviewer training, degree of process standardization), rather than limitations inherent to the TI approach.


Conclusions


결론적으로, 5개의 캘리포니아 의과대학에 대한 공통 지원자 풀의 데이터를 분석한 결과, TI보다 MMI가 학교 내 및 학교 간 신뢰도가 정성적으로 높았다. 그럼에도 불구하고, TI의 학교 내 및 학교 간 신뢰성은 이전 문헌에 근거하여 일반적으로 예상보다 높았으며, 특히 특정 기관에서 사용하는 데 다른 요인이 유리할 경우 신뢰성에 대한 우려 때문에 TI를 포기할 필요가 없을 수 있음을 시사하였다.

In conclusion, in analyses of data from a common pool of applicants to five California medical schools, we found qualitatively higher within- and between-school reliabilities for MMIs than for TIs. Nonetheless, the within- and between-school reliabilities of TIs were generally higher than anticipated based on prior literature, suggesting that perhaps TIs need not be abandoned for the sake of reliability concerns, especially if other factors favor their use at a particular institution.








 2017 Nov 6;17(1):190. doi: 10.1186/s12909-017-1030-0.

Reliability of Multiple Mini-Interviews and traditional interviews within and between institutions: a study of five California medical schools.

Author information

1
Department of Family and Community Medicine, University of California, Davis, School of Medicine, 4860 Y Street, Suite 2300, Sacramento, California, 95817, USA. afjerant@ucdavis.edu.
2
Office of the Vice Chancellor and Dean, University of California, Davis, School of Medicine, 4610 X Street, Suite 3101, Sacramento, California, 95817, USA.
3
Research and Evaluation Outcomes Unit, University of California, Davis, School of Medicine, 4610 X Street, Sacramento, California, 95817, USA.
4
Clinical and Translational Science Center, University of California, Davis, Health System, 2921 Stockton Boulevard, Suite 1400, Sacramento, California, 95817, USA.
5
Office of Admissions, David Geffen School of Medicine at University of California, Los Angeles, 885 Tiverton Drive Suite B27, California, Los Angeles, 90095, USA.
6
Division of Medical Education, University of California, San Diego, School of Medicine, 9500 Gilman Drive, mail code 0606, La Jolla, California, 92093, USA.
7
Office of Admissions, University of California, Irvine, School of Medicine, Medical Education Building, 836 Health Sciences Road, Irvine, California, 92697-4089, USA.
8
Office of Admissions, University of California, San Francisco, School of Medicine, Box 0408, 533, Parnassus Avenue, Room U-426, San Francisco, California, 94143, USA.
9
Department of Family and Community Medicine, University of California, Davis, School of Medicine, 4860 Y Street, Suite 2300, Sacramento, California, 95817, USA.

Abstract

BACKGROUND:

Many medical schools use admissions Multiple Mini-Interviews (MMIs) rather than traditional interviews (TIs), partly because MMIs are thought to be more reliable. Yet prior studies examined single-school samples of candidates completing either an MMI or TI (not both). Using data from five California public medical schools, the authors examined the within- and between-school reliabilities of TIs and MMIs.

METHODS:

The analyses included applicants interviewing at ≥1 of the five schools during 2011-2013. Three schools employed TIs (TI1, TI2, TI3) and two employed MMIs (MMI1, MMI2). Mixed linear models accounting for nesting of observations within applicants examined standardized TI and MMI scores (mean = 0, SD = 1), adjusting for applicant socio-demographics, academic metrics, year, number of interviews, and interview date.

RESULTS:

A total of 4993 individuals (completing 7516 interviews [TI = 4137, MMI = 3379]) interviewed at ≥1 school; 428 (14.5%) interviewed at both MMI schools and 687 (20.2%) at more than one TI school. Within schools, inter-interviewer consistency was generally qualitatively lower for TI1, TI2, and TI3 (Pearson's r 0.07, 0.13, and 0.29, and Cronbach's α, 0.40, 0.44, and 0.61, respectively) than for MMI1 and MMI 2 (Cronbach's α 0.68 and 0.60, respectively). Between schools, the adjusted intraclass correlation coefficient was 0.27 (95% CI 0.20-0.35) for TIs and 0.47 (95% CI 0.41-0.54) for MMIs.

CONCLUSIONS:

Within and between-school reliability was qualitatively higher for MMIs than for TIs. Nonetheless, TI reliabilities were higher than anticipated from prior literature, suggesting TIs may not need to be abandoned on reliability grounds if other factors favor their use.

KEYWORDS:

Interview as topic; Multiple mini-interview; Reproducibility of results; School admission criteria; Schoolsmedical

PMID:
 
29110662
 
PMCID:
 
PMC5674866
 
DOI:
 
10.1186/s12909-017-1030-0


창의성과 혁신의 잠재력: 보건의료 교육 실천을 위한 함의(Adv in Health Sci Educ, 2017)

Selecting for creativity and innovation potential: implications for practice in healthcare education 
Fiona Patterson1,2  • Lara Dawn Zibarras2,3




도입

Introduction 

경제적으로, 혁신 능력이란 조직이 '더 적은 리소스로 더 많은 일을 하는' 방법을 배우는데 있어 능동적일 수 있는 몇 가지 전략적인 방법 중 하나이다(Anderson et al. 2014). 이러한 긴급한 필요에도 불구하고, 의료 분야의 선발 시스템은 혁신 가능성을 우선시하는 경우가 거의 없으며, 한 가지 어려움은 개인의 창의성과 혁신을 어떻게 신뢰성 있게 측정할 것인가이다. 

Economically, the ability to innovate is one of the few strategic ways organizations can be proactive in learning how to ‘do more with less’ (Anderson et al. 2014). Despite this pressing need, few selection systems in healthcare prioritise the potential to innovate, and one challenge is how to reliably measure individual creativity and innovation. 


광범위한 선발 연구에서, 성실성은 많은 직업(예:)에 걸친 직무 수행의 단일 최고의 예측자임을 보여준다.슈미트와 헌터 1998). 그러나 이것은 겉보기에는 역설적인데, 성실성은 창조성과 혁신에 부정적으로 관련되어 있는 것으로 나타난 반면에, 창의성이 경험에 대한 개방성과는 긍정적으로 연관되어 있는 것으로 나타나기 때문이다(예: Hammond et al. 2011). 

In broader selection research, Conscientiousness is shown to be the single best predictor of job performance across many occupations (e.g.Schmidt and Hunter 1998). Yet this is seemingly paradoxical because Conscientiousness has been shown to be negatively related to creativity and innovation, whilst Openness to Experience is shown to be positively related (e.g. Hammond et al. 2011). 


놀랍게도 의료 서비스 선택 내에서 창의성과 혁신을 탐구한 연구는 거의 없다. 

Surprisingly little research has explored creativity and innovation within healthcare selection 


창의성과 혁신

Defining creativity and innovation 

창의성과 혁신의 개념은 수년 동안 논의되었다(Anderson et al. 2014; King 1992). Anderson 등(2014년)에 명시된 바와 같이: 

The concepts of creativity and innovation have been debated over the years (Anderson et al. 2014; King 1992); although it is nowgenerally agreed that the two constructs overlap. As Anderson et al. (2014) state: 


'직장에서 창조성과 혁신이란 일을 하는 새롭고 개선된 방법을 개발하고 도입하려는 시도의 과정, 결과, 산물이다. 이 과정의 

      1. 창조적 단계는 아이디어 창출을 말하며, 

      2. 혁신은 더 나은 절차, 관행 또는 제품을 지향하는 아이디어를 구현하는 후속 단계를 말한다. 

창의성과 혁신은 개인, 작업팀, 조직의 수준에서 발생할 수 있으며, 또는 이러한 수준 중 하나 이상의 조합에서 발생할 수 있지만, 언제나 이러한 분석 수준 중 하나 이상에서 식별 가능한 편익을 얻을 것이다." 

‘‘Creativity and innovation at work are the process, outcomes, and products of attempts to develop and introduce new and improved ways of doing things. The creativity stage of this process refers to idea generation, and innovation refers to the subsequent stage of implementing ideas toward better procedures, practices, or products. Creativity and innovation can occur at the level of the individual, work team, organization, or at more than one of these levels combined but will invariably result in identifiable benefits at one or more of these levels of analysis.’’ 


창의성과 혁신을 위한 선발

Selecting for creativity and innovation 

수십 년 동안 연구는 창의성과 혁신과 관련된 핵심 성격 특성(예: Hammond et al. 2011)을 파악하는 데 초점을 맞추는 경향이 있었다. 

Over several decades, research has tended to focus on identifying a core set of personality traits associated with creativity and innovation (e.g. Hammond et al. 2011), such as flexibility and openness to abstract ideas. 


빅 파이브 인성 모델(골드버그 1990; McCrae and Costa 1996) 중 연구는 창의성과 혁신에 긍정적으로 관련되는 개방성을 일관되게 보여준다(McCrae 1987; Batey and Furnham 2006; Feist 1998; Hammond et al. 2011; King et al. 1996; Gwang and Rodradigues 2002). 연구는 또한 창의성과 혁신이 외향성과 긍정적으로 연관되어 있다는 것을 보여준다. 반대로, 성실성과 원만성은 창의성과 혁신과 부정적으로 연관되어 있다(예: Feist 1999; King et al. 1996; Gwang and Rodrigues 2002). 그럼에도 불구하고, 성실성과 원만성은 모두 의료 역할에서 교육, 훈련 및 고용에 들어가는 개인에게 특히 가치 있는 것으로 볼 수 있다. 정서적 안정성과 관련하여, 일부 연구자들이 아무런 관계도 찾지 못하는 가운데(AguilarAlonso 1996; King et al. 1996) 다른 연구자들은 정서적 안정성과 창의성과 혁신 사이의 부정적인 연관성을 발견한다(Feist 1998;Go ̈z 1979; Mohan and Tiwana 1987). 이처럼 지금까지 연구결과의 일관성이 부족하여, 높은 수준의 환자 관리가 필요한 안전 중요 환경인 의료 교육에서 이러한 발견이 복제되는 범위를 식별할 필요성을 강조한다. 

Of the Big Five model of personality (Goldberg 1990; McCrae and Costa 1996) research consistently shows Openness to Experience to relate positively to creativity and innovation (McCrae 1987; Batey and Furnham 2006; Feist 1998; Hammond et al. 2011; King et al. 1996; Kwang and Rodrigues 2002). Research has also shows Extroversion (King et al. 1996; Kwang and Rodrigues 2002; Martindale and Dailey 1996) to be positively associated with creativity and innovation. Conversely, Conscientiousness and Agreeableness are negatively associated with creativity and innovation (e.g. Feist 1999; King et al. 1996; Kwang and Rodrigues 2002), and yet, both Conscientiousness and Agreeableness could be seen as especially valuable for individuals entering education, training and employment in a healthcare role. In relation to Emotional Stability, there are inconsistent research findings, with some researchers finding no relationship (AguilarAlonso 1996; King et al. 1996) yet others finding a negative association between Emotional Stability and creativity and innovation (Feist 1998;Go¨tz 1979; Mohan and Tiwana 1987). Inconsistent results highlight the need to identify the extent to which these findings replicate in healthcare education, a safety critical environment which requires high standards of patient care. 


앞에서 설명한 성실성과 창의성 그리고 혁신 사이의 부정적인 연관성은 이전 연구가 다양한 직업에 걸쳐 성실성과 훈련 성공training success과 직업 수행의 다양한 지수 사이의 긍정적인 연관성을 일관되게 보여왔기 때문에 흥미로운 딜레마를 야기한다(Barrick et al. 2001; Bar 참조).Rick and Mount 1991; Schmidt et al. 2008). 퍼거슨 외 연구진(2002년)은 의과대학의 성공과 사전 임상 평가의 핵심 예측자로 성실성을 발견함으로써 의학교육 환경에서도 기존의 발견을 반복했다. McLachlan과 동료들 (Kelly et al. 2012; McLachlan 2010) 또한 의학생의 성공을 위해 성실성이 중요하다고 생각한다. 그러나 퍼거슨 외 연구진(2002년)은 일단 학생들이 임상 실습에 들어가자 성실성은 후속 수행에 대한 부정적인 예측자임을 발견했다. 

The negative association described above between Conscientiousness and creativity and innovation raises an interesting dilemma since previous research has consistently shown a positive association between Conscientiousness and various indices of training success and job performance, across a diverse range of occupations (see Barrick et al. 2001; Barrick and Mount 1991; Schmidt et al. 2008). This finding has been replicated in healthcare education settings, where Ferguson et al. (2002)found Conscientiousness to be a key predictor of medical school success and preclinical assessments for students. McLachlan and colleagues (Kelly et al. 2012; McLachlan 2010) also find Conscientiousness to be important for medical student success. However, Ferguson et al. (2002) found Conscientiousness to be a negative predictor of subsequent performance once students entered clinical practice. 


성실성을 둘러싼 이러한 차이점들은 그것이 넓은 "대역폭"을 가진 다면적인 구인이라는 사실과 관련이 있을 수 있다. 왜냐하면 그것은 충실성/신뢰성 및 역량/성취 노력(Costa와 McCrae 1992; Moon 2001)의 면으로 구성되어 있기 때문이다. 또한, 연구 결과, 

      • 창의성과 혁신에 긍정적으로 관련되기 위한 성취 노력과 지속성이 입증되었다(Busse and Mansfield 1984; Sternberg and Lubart 1999). 반면 

      • 체계적이고 신뢰할 수 있는 것은 부정적으로 연관되어 있다(Patterson 1999). 


These differential findings surrounding Conscientiousness may relate to the fact it is a multi-faceted construct with a broad ‘band-width’ since it comprises facets of 

      • dutifulness/dependability and also 

      • competence/achievement striving (Costa and McCrae 1992; Moon 2001). 

Further, research shows achievement striving and persistence to be positively related to creativity and innovation (Busse and Mansfield 1984; Sternberg and Lubart 1999) whereas being systematic and dependable is negatively associated (Patterson 1999). 


조직 맥락

Organisational context 


본 연구는 영국 GP(General Practice)에서 교육과 훈련을 신청하는 대학원 연수생 견본에 초점을 맞추고 있다. 

Our study focuses on a sample of postgraduate trainees applying for education and training in UK General Practice (GP). 


1. 구인타당도: 창의성과 혁신은 어느 정도까지 인성의 빅 5 요소와 관련이 있는가? 

1. Construct validity: To what extent are creativity and innovation related to Big Five Factors of personality? 

2. 구인타당도: 창의성과 혁신과 성실성의 facets의 관계는 무엇인가? 

2. Construct validity: What is the relationship between creativity and innovation and the facets of Conscientiousness? 


3. 예측타당도: 창조성과 혁신의 특성 기반 측정은 선택 중 평가된 창조적 문제를 해결하는 행동을 예측하는 데 있어 빅 5 차원보다 더 큰 이점을 제공하는가?

3. Predictive validity: Does a trait-based measure of creativity and innovation offer any advantage over the Big Five dimensions of personality in predicting creative problemsolving behaviour assessed during selection?


방법

Method 


지원자와 절차

Participants and procedure 

참가자들은 감정, 창조적 문제 해결 행동, 전문적 무결성, 압박과 임상 전문가와의 코핑 등 5가지 성과 차원을 목표로 하는 선발 센터에 참석하고 있었다. 이 중 창조적 문제해결 행태는 개념적으로 사고와 같은 지표를 측정하고, 비판적 분석을 사용하여 문제를 생각하고 해결책을 형성하며, 다른 사람의 아이디어와 제안에 개방되기 때문에 창조성과 혁신과 가장 밀접한 관련이 있다고 판단되었다.

Participants were attending a selection centre which targeted five performance dimensions including; 

    • Empathy, 

    • Creative Problem-Solving Behaviour; 

    • Professional Integrity; 

    • Coping with Pressure and 

    • Clinical Expertise. 


Of these, 

Creative Problem-Solving Behaviour 

was judged to be most closely related to creativity and innovation because it measured indicators such as thinks conceptually; uses critical analysis to think around issues and formulate solutions; open to ideas and suggestions from others. 



척도

Measures 

Innovation potential indicator (IPI) 

IPI는 4차원(변화에 대한 동기, 도전적 행동, 작업 스타일의 일관성 및 적응)으로 구성된 개인의 창조적이고 혁신적인 행동에 대한 30개 항목 특성 기반 척도다. 선택과 개발을 위해 조직에서 사용되어 왔으며(Patterson 1999; Burch et al. 2008) 그 효용은 의료 이외의 분야에서 확립되었다(Zibarras et al. 2008; Burch et al. 2008). 그 항목들은 선호하는 작업 스타일에 대해 묻는 일련의 행동 진술이다. 의견제출자들은 1(강력하게 동의하지 않음)부터 5(강력하게 동의함)까지 5가지 척도로 항목에 동의하는 정도를 나타낸다. IPI 치수 및 예제 항목은 표 1에 개략적으로 설명되어 있다(Zibarras et al. 2008; Burch et al. 2008 참조). 


The IPI is an established 30-item trait-based measure of an individual’s creative and innovative behaviour comprising four dimensions (Motivation to Change, Challenging Behaviour, Consistency of Work Style and Adaptation). It has been used in organisations for selection and development (Patterson 1999; Burch et al. 2008) and its utility has been established in sectors other than healthcare (Zibarras et al. 2008; Burch et al. 2008). 


The items are a set of behavioural statements asking about preferred style of working. Respondents indicate the extent to which they agree with items along a five-point scale, ranging from 1 (strongly disagree) to 5 (strongly agree). 


The IPI dimensions and example items are outlined in Table 1 (see Zibarras et al. 2008; Burch et al. 2008). 


NEO PI-R 

결과

Results 

IPI 척도와 빅 5 치수 사이의 설명 및 상관관계는 표 2에 제시되어 있다. 

The descriptives and correlations between the IPI scales with the Big Five dimensions are presented in Table 2. 


1. 창의성/혁신적 특성은 성격상의 빅5 요소와 어느 정도까지 관련이 있는가? 

1. To what extent are the creativity/innovation traits related to Big Five Factors of personality? 


2. 창의성과 혁신과 성실성의 facet은 어떤 관계인가? 

2. What is the relationship between creativity and innovation and the facets of Conscientiousness? 


3. 창조성과 혁신의 특성 기반 측정은 선택 중에 평가된 창조적 문제 해결 행동을 예측하는 데 있어 빅 5 차원보다 더 큰 이점을 제공하는가? 

3. Does a trait-based measure of creativity and innovation offer any advantage over the Big Five dimensions of personality in predicting creative problem-solving behaviour assessed during selection? 


표 3은 1단계에서 빅 5 도메인의 추가가 창조적 문제 해결 행동을 예측했음을 보여준다. 

Table 3 shows that the addition of the Big Five domains in Step 1 predicted Creative Problem-Solving Behaviour; 



고찰

Discussion 

우리의 연구 결과는 [그 사람의 "현재 기술"을 역할에 맞추기 위한 전통적인 선발 과정]식의 접근법에 의문을 제기한다 (코즈라와 아슈워스 2013). 진로 패턴의 변화와 변화 속도를 고려할 때, 예를 들어, 이 접근 방식보다는 "미래의 학습 잠재력"을 평가하는 기법을 찾는 것이 현명할 것이다. 

Our findings might question the approach adopted by traditional selection processes that are aimed at fitting the person’s current skill set to the role (Koczwara and Ashworth 2013). Given the pace of change and shift in career patterns, perhaps it would be wise to re-visit this approach and move towards techniques that assess learning potential, for example. 


이전의 연구(Batey and Furnham 2006; Feist 1999; King et al. 1996; McCrae and Costa 1996)에 따라, 개방성이 창의성 및 혁신 결과와 긍정적인 상관관계가 있음을 보여준다. 변화 동기는 외부 변화(긍정적 관계)와 신경증(부정적 관계) 사이의 연관성이 있었고, 문헌의 다른 곳에서도 유사한 발견을 복제한다(예: 킹 등, 1996; 맥크레이와 코스타 1996; 마르카티 외 2008). 실제로 정서적 안정(저신경증)은 여러 직종에서 작업 성능을 예측한다(예: Barrick et al. 2001), 우리의 발견은 또한 혁신에 대한 정서적 안정성의 필요성을 반영할 수 있다. 원만성은 창의성 및 혁신 특성과의 관계는 발견되지 않았다. 

In line with earlier research (Batey and Furnham 2006; Feist 1999; King et al. 1996; McCrae and Costa 1996), results show Openness to Experience to be positively correlated with creativity and innovation outcomes. Associations were found between Motivation to Change and both Extraversion (positive relationship) and Neuroticism (negative relationship), replicating similar findings elsewhere in the literature (e.g. King et al. 1996; McCrae and Costa 1996; Marcati et al. 2008); indeed, given that Emotional Stability (that is, low Neuroticism) predicts work performance across occupations (e.g. Barrick et al. 2001), our findings may also reflect the need for Emotional Stability to innovate. No relationship was found between Agreeableness and the creativity and innovation traits. 


성실성은 IPI 척도 중 두 가지(작업 스타일의 변화와 일관성에 대한 동기)와 긍정적으로 상관되었지만, 도전적 행동과 부정적으로 관련되었다. 이전의 연구는 혁신과 성실성 사이의 부정적인 관계를 보고했으며(예: 킹 외 1996), 실제로 많은 실천자들은 낮은 성실성이 혁신자들에게 중요하다고 가정한다(아마도 낮은 성실성이 유연성과 연관되기 때문이다). 그러나 빅 5 성격 체계에서 성실성은 창의성과 혁신 행동과 같은 기준을 예측하기에는 너무 광범위할 수 있다(Hough 1992) 이것은 우리가 facet 수준에서 성실성에 대한 조사를 통해 드러난다. 

Conscientiousness was positively correlated with two of the IPI scales (Motivation to Change and Consistency of Work Styles), but negatively related to Challenging Behaviour. Previous research has reported a negative relationship between innovation and Conscientiousness (e.g. King et al. 1996), and indeed many practitioners assume that low Conscientiousness is important for innovators (perhaps because low Conscientiousness is associated with flexibility). However, the Big Five personality framework may be too broad to predict criteria such as creativity and innovation behaviour (Hough 1992); thus our examination of Conscientiousness at the facet level is revealing. 


셋째로, 우리의 결과는 창의성과 혁신에서 동기의 중요한 역할을 확인시켜 준다. 실제로, IPI의 예측 타당성을 탐구할 때, 변화에 대한 동기부여는 유일하게 성격적 특성에 추가적으로 창조적 문제 해결을 예측해주는 변수다. 

Thirdly, our results confirm the important role of motivation in creativity and innovation. Indeed, when exploring the predictive validity of the IPI, Motivation to Change is the only significant predictor of creative problem solving, over and above personality traits. 


근거에 따르면 감독자가 창의성/혁신 동기에 (긍정적이든 부정적이든) 영향을 미칠 수 있고, 따라서 개인 관리자와의 관계는 창의성과 혁신을 촉진하거나 억제할 수 있다는 것을 보여준다. 이러한 이유로 감독자들은 혁신과 창의성을 위한 중요한 '게이트키퍼'로 묘사되어 왔다(Patterson et al. 2012). 

Evidence suggests that supervisors may influence (either positively or negatively) an individual’s motivation towards creativity/innovation (Patterson et al. 2012) and thus the individualsupervisor relationship can either facilitate or inhibit creativity and innovation. This is why supervisors have been described as important ‘‘gatekeepers’’ for innovation and creativity (Patterson et al. 2012). 


실제적 함의

Practical implications 

실제로 본 연구는 창의성과 혁신이 핵심 요구사항인지에 여부에 따라 선발 과정에서 성실성이 서로 다르게 취급될 필요가 있을 수 있다는 점에서 선발의 핵심 과제를 강조한다. 

Indeed, this research highlights a key challenge for selection given that Conscientiousness may need to be differentially treated in a selection process depending on whether creativity and innovation are key requirements. 


임상 실천에서 혁신을 구현하기 위한 개인의 노력은 조직 및 팀 문화, 혁신을 위해 그들이 받는 지원에 달려 있다(Anderson et al. 2014; Hammond et al. 2011).

individual’s efforts to implement innovations in their clinical practice is contingent on organizational and team culture, and the support they receive for innovating (Anderson et al. 2014; Hammond et al. 2011). 

Patterson, F., Knight, A., Dowell, J., Nicholson, S., Cousans, F., & Cleleand, J. (2015). How effective are selection methods in medical eduction and training? Evidence from a systematic review. Medical Education 






Adv Health Sci Educ Theory Pract. 2017 May;22(2):417-428. doi: 10.1007/s10459-016-9731-4. Epub 2017 Jan 6.

Selecting for creativity and innovation potential: implications for practice in healthcare education.

Patterson F1,2, Zibarras LD3,4.

Author information

1Department of Psychology, University of Cambridge, Cambridge, UK. f.patterson@workpsychologygroup.com.2Work Psychology Group, 27 Brunel Parkway, Pride Park, Derby, Derbyshire, UK. f.patterson@workpsychologygroup.com.3Work Psychology Group, 27 Brunel Parkway, Pride Park, Derby, Derbyshire, UK.4Department of Psychology, City University London, London, UK.

Abstract

The ability to innovate is an important requirement in many organisations. Despite this pressing need, few selection systems in healthcarefocus on identifying the potential for creativity and innovation and so this area has been vastly under-researched. As a first step towards understanding how we might select for creativity and innovation, this paper explores the use of a trait-based measure of creativity and innovation potential, and evaluates its efficacy for use in selection for healthcare education. This study uses a sample of 188 postgraduate physicians applying for education and training in UK General Practice. Participants completed two questionnaires (a trait-based measure of creativity and innovation, and a measure of the Big Five personality dimensions) and were also rated by assessors on creative problem solving measured during a selection centre. In exploring the construct validity of the trait-based measure of creativity and innovation, our research clarifies the associations between personality, and creativity and innovation. In particular, our study highlights the importance of motivation in the creativity and innovation process. Results also suggest that Openness to Experience is positively related to creativity and innovation whereas some aspects of Conscientiousness are negatively associated with creativity and innovation. Results broadly support the utility of using a trait-based measure of creativity and innovation in healthcare selection processes, although practically this may be best delivered as part of an interview process, rather than as a screening tool. Findings are discussed in relation to broader implications for placing more priority on creativity and innovation as selection criteria within healthcare education and training in future.

KEYWORDS:

Creativity; Healthcare education selection; Innovation potential; Predictive validity

PMID: 28062926 DOI: 10.1007/s10459-016-9731-4

의과대학 선발에서 전인적 검토: 사회적 요구 변화에 따른 전략적, 사명-기반 대응(Acad Med, 2016)

Holistic Review in Medical School Admissions and Selection: A Strategic, Mission-Driven Response to Shifting Societal Needs

Sarah S. Conrad, MS, Amy N. Addams, and Geoffrey H. Young, PhD




의과대학과 레지던트 프로그램은 항상 교육, 연구, 임상 치료 분야에서 우수성을 추구해왔다. 그러나 이러한 추구는 진공 속에서 이루어지는 것이 아니라 사회, 문화, 정치, 법률 및 경제력에 의해 지속적으로 그리고 필연적으로 영향을 받는다.

Medical schools and residency programs have always sought excellence in the areas of education, research, and clinical care. However, these pursuits are not accomplished within a vacuum—rather, they are continually and necessarily influenced by social, cultural, political, legal, and economic forces.


의사, 연구원 및/또는 교수로서 의료 교육 및 직업에 접근할 수 있는 선정은 과학만큼이나 예술이다. 높은 경쟁률과 제한된 리소스를 고려할 때 특히 그렇다.

Selection—who gains access to a medical education and to a career as a physician, researcher, and/or faculty member—is as much art as science. This is particularly true now, given high application-to-seat ratios and limited resources.


지원자에 대한 정량적 평가는 값지고 겉보기에는 객관적 정보를 제공하지만, 맥락을 전달하거나 지원자의 전체 이야기와 자신이 취했던 길을 말할 수는 없다.

Quantitative assessments of applicants yield valuable, seemingly objective information, but they cannot convey context or tell the full story of an applicant and the paths they have taken.


전인적 검토는 전략적으로 설계되고, 증거 중심적이며, 사명 기반이고, 다양성을 인식하는 프로세스의 사용을 촉진함에 있어, 각각이 가져오는 고유한 가치를 희생하지 않고 과학과 예술을 결합하는 개념적이고 실용적인 틀을 제공한다.

Holistic review, in promoting the use of strategically designed, evidence-driven, mission-based, diversity-aware processes, provides a conceptual and practical framework for marrying the art with the science without sacrificing the unique value that each brings.


의대 입학·선정 : 간략한 역사

Medical School Admission and Selection: A Brief History


학문적 성취는 성공적인 의사의 유일한 요구사항이 아니며 아마도 가장 중요한 요구사항도 아닐 것이라는 것은 오랫동안 이해되어 왔다. 1950년대 초에, 전국의 많은 입학 위원회 위원들은 지적 능력보다 의학생과 의사에게 더 중요한 인격과 청렴함integrity을 열거했다.1

It has long been understood that academic achievement is not the only requirement of a successful physician, and perhaps is not even the most important one. As early as the 1950s, many admissions committee members across the nation listed character and integrity as being more important for medical students and physicians than intellectual ability.1


10년 후, 이러한 필수적 자질들을 평가하기 위한 방법을 찾으려고 시도하면서, 의과대학들은 또한 후보자들을 고려할 때 인종과 민족성을 더 면밀하게 고려하기 시작했다. 인종과 민족성에 대한 이러한 초점은 변화하는 문화적 규범과 사회적 불의의 문제를 해결하고 모든 개인에게 동등한 교육을 제공하고자 하는 증가하는 욕구를 나타낸다. 이러한 초기의 노력은 의도는 좋았지만, 주로 구성적 다양성에 초점을 맞추었으며, 그러한 다양성을 뒷받침하는 제도적 역량에 거의 중점을 두지 않았다. 그 결과 다양성의 약속은 실현되지 못했고, 따라서 그것은 종종 다른 기관의 지향점와 구별되는 것으로 보여졌고, 때로는 충돌하는 것으로 여겨졌다.2

A decade later, while attempting to identify ways to assess these essential if difficult-to-determine qualities, medical schools also began to more closely consider race and ethnicity when admitting candidates. This focus on race and ethnicity represented shifting cultural norms and a growing desire to address issues of social injustice and ensure equal access to education for all individuals. These early efforts, were well intentioned but focused primarily on compositional diversity, with little emphasis given to institutional capacity to support that diversity. As a result, the promise of diversity failed to materialize, and it was therefore often viewed as being distinct from, and at times in conflict with, other institutional pursuits.2


생각은 꾸준히 진화했고, 연구는 다양성이 학습 환경에 미치는 유익한 영향을 밝히기 시작했다.

Thinking steadily evolved, and research began illuminating the beneficial effects of diversity on the learning environment.


이러한 혜택은 1978년 캘리포니아 대학교의 Regenses에서 Powell 판사가 인정한 것이다.3 Powell은 지원자에 대한 전체적 평가를 학업 지표 외에 인구통계학적 특성을 고려하는 것을 승인했으며, "의대생들은 학생체의 훈련을 풍부하게 하고 졸업생들이 인간성에 대한 그들의 중요한 봉사를 이해하도록 더 잘 준비시키는 의학 경험, 전망, 아이디어의 전문 학교에 데려올 수 있다."3

These benefits were recognized by Justice Powell in the Supreme Court’s 1978 Regents of the University of California v. Bakke decision.3 Powell approved a holistic evaluation of applicants, including the consideration of demographic characteristics in addition to academic metrics, explaining that a medical student “may bring to a professional school of medicine experiences, outlooks, and ideas that enrich the training of its student body and better equip its graduates to render with understanding their vital service to humanity.”3


지난 수십 년 동안 다양성의 이점(그리고 그 중요하지만 뚜렷한 동반자인 포함inclusion)에 대한 지식은 계속 확장되어 왔다.

Over the past several decades, knowledge of the benefits of diversity—and its critical but distinct companion, inclusion—has continued to expand.


선발에서 전체적 검토: 잠재적 해결책

Holistic Review in Selection: A Potential Solution


의과대학 입학처장과 위원회는 개인의 특성, 속성, 경험 및 학업 준비도와 그들 기관의 고유한 교육, 연구 및/또는 임상적 필요성의 균형을 신중하게 맞추는 위압적인 과제에 직면해 있다. 게다가, 그들은 그들의 공동체나 국가의 필요를 망각하지 않고 이것을 해야 한다.

Medical school admissions deans and committees are faced with the laudable though daunting task of carefully balancing individual characteristics, attributes, experiences, and academic readiness with the unique educational, research, and/or clinical needs of their institution. Furthermore, they must do this without losing sight of the needs of their community or nation.


AAMC는 전체론적 검토를 다음과 같이 정의한다.

the AAMC defines holistic review as


경험, 속성 및 학업 지표에 대해 균형있게 고려하는 방식으로 지원자의 능력을 평가하는 유연하고 개별화된 방법이다. 이런 것들을 결합하여 고려했을 때 개인이 의대생과 의사로서 가치에 어떻게 기여할 수 있는지 평가하는 방법이다.6

a flexible, individualized way of assessing an applicant’s capabilities by which balanced consideration is given to experiences, attributes, and academic metrics and, when considered in combination, how the individual might contribute value as a medical student and physician.6


이 정의는 학점이나 표준화된 시험 점수와 같은 학업적 지표 역시 몇 가지 중요한 기준 중 하나이며 지원자의 의료 교육 경로 맥락에서 고려되어야 한다는 것을 인정한다.

This definition acknowledges that academic metrics such as grades and standardized test scores should be considered as one of several important criteria and in the context of an applicant’s pathway to medical education.


또한 AAMC는 전체론적 검토를 모호한 개념에서 실행 가능한 과정으로 전환하는 유연한 프레임워크를 개발했다. 전체론적 검토는 임무에 기반하고, 증거에 의해 주도되며, 모든 선택 과정의 모든 단계에 통합되고, 모든 지원자들에게 공평하게 적용되며, 다양성이 우수성을 달성하는 데 핵심임을 인식한다.

The AAMC has also developed a flexible framework shifting holistic review from a vague concept to an actionable process: Holistic review is 

  • mission based, 

  • evidence driven, 

  • integrated into all stages of the selection process, and 

  • applied equitably across all applicants, and it 

  • recognizes diversity broadly defined as central to achieving excellence.


중요한 것은, 그리고 이 프레임워크는 지원자들을 보는 렌즈를 확장하고 의사 결정자들이 지원자를 미래의 의대생이나 레지던트뿐만 아니라 미래의 의사로도 고려하도록 장려한다.

Importantly, and in support of Dr. Kirch’s proposal to transform admissions, this framework expands the lens through which applicants are viewed and encourages decision makers to consider the applicant not only as a future medical student or resident but also as a future physician.


전인적 검토는 현재 의과대학 입학에서 표준 어휘의 일부분이다.

Holistic review is now part of the standard lexicon in medical school admissions,


다양한 고등교육기관과 전문학교들은 전인적 검토와 기관적 목표 달성의 연관성을 강조했다. 전인적 검토를 통해 그러한 연계가 명확하게 설정되면, 기관의 사명과 목표는 입학 및 선발 기준의 기초가 된다.8

A variety of institutions of higher education and professional schools emphasized the link between holistic review and achievement of institutional goals. When that link is clearly established through holistic review, an institution’s or program’s mission and goals then become the foundation for admissions and selection criteria.8


취업에 대한 법적 파라미터는 대학 입학과는 다르지만, 전인적 검토의 기본 원칙은 레지던트 선발과 교수 채용 등 다른 선발 과정에도 적용될 수 있다. 2015년 프로버와 동료의 논평9에서 레지던트 지원자 선정에 있어 미국의 의사면허시험 1단계 점수에 대한 과도한 의존도를 비판하면서, 저자들은 "커뮤니티 참여, 리더십 역할, 독특한 개인적 속성"을 포함할 수 있는 레지던트 선택에 대한 "더 합리적이고 전체적인" 접근방식을 주장했다. "다양성"은 전문성, 환자 관리, 학제 간 팀의 일부로서 기능할 수 있는 능력과 같은 역량에 추가된다.

Though the legal parameters for employment are different from those in admissions, the basic principles of holistic review are transferrable to other selection processes including residency selection and faculty hiring. In a 2015 Commentary by Prober and colleagues9 critiquing the overreliance on United States Medical Licensing Examination Step 1 scores in selecting residency applicants, the authors advocated for a “more rational” and holistic approach to residency selection that may include “community engagement, leadership roles, unique personal attributes, and diversity” in addition to competencies such as professionalism, patient care, and ability to function as part of an interdisciplinary team.


전인적 검토의 발전

Advancing Holistic Review


전인적 검토와 기타 다양성 관련 노력은 꾸준히 진화하고 있다. 점점 더 많은 연구에서 기관들은 목표를 달성하기 위해 이러한 노력을 의학 교육의 연속에 걸쳐 맞추는 것의 중요성을 보여준다.11

Holistic review and other diversity- related efforts are steadily evolving. A growing body of research illustrates the importance of aligning these efforts across the continuum of medical education in order to achieve goals.11


이 정렬alignment은 기관의 미션에서 시작하는데, 기관의 미션이란 잠재적 지원자들과 지역사회에 전달하는 메시지이기 때문이다. 그런 다음 모집 전략, 커리큘럼 및 교육, 학생 지원 서비스 및 교수 개발에 대한 고려가 이루어져야 한다. 마찬가지로 레지던트 프로그램에서 공식적인 전인적 검토 프로세스의 구현을 고려한다면, 교육 과정과 레지던트가 학습할 임상 학습 환경에도 주의를 기울여야 한다.

This alignment begins with institutional mission and the message that mission conveys to potential applicants and to the community. Consideration should then be given to enrollment strategies, curriculum and pedagogy, student support services, and faculty development. Similarly, as residency programs consider implementing more formal holistic review processes, attention should be paid to the pedagogies used and clinical learning environments in which residents learn.


이러한 증거 기반 선발 관행에 대한 강조는 전인적 검토와 건전한 법률 및 교육 정책의 핵심 원칙이다. 평가는 법률 시스템을 포함한 주요 이해당사자에게 다양성에 대한 기관 또는 프로그램의 특정 요구를 방어하기 위해 필요한 데이터와 증거를 제공한다.13

This emphasis on evidence-based selection practices is at once a core principle of holistic review and sound legal and educational policy. Evaluation provides the data and evidence necessary to defend an institution’s or program’s specific need for diversity to key stakeholders, including the legal system.13


마지막으로, 선택 과정과 일반적인 대학의학은 다른 이해관계자 그룹들 간의 집단적이고 투명한 의사소통과 협업을 통해서만 최적화할 수 있다. 전인적 검토는 지원자에 대한 광범위한 정보에 의존하며, 그 성공 여부는 신청자와 학교, 또는 그들의 [사명과 목표]가 [정책과 실천]에 부합하는지 여부를 정보에 입각하여 결정할 수 있느냐에 달려있다. 

Finally, the selection process, and academic medicine in general, can only be optimized through collegial, transparent communication and collaboration among different stakeholder groups. Holistic review depends on a wide range of information about the applicant, and its success depends on applicants and schools or programs being able to make well-informed decisions about whether their mission and goals are aligned with policies and practices.


또한, 의과대학과 레지던트 프로그램이 지원자들에게서 그들이 추구하는 자질, 경험, 그리고 학문적 측정지표와 학교나 프로그램의 성공과 관련된 요소들을 좀 더 명확하게 광고하도록 추진되고 있다.15

Additionally, there is a push for medical schools and residency programs to more clearly advertise the qualities, experiences, and academic metrics they seek in applicants and, where appropriate, factors associated with success in their schools or programs.15


결론

Conclusion


미국의 인구통계학적 구성은 10년 전과 확연히 다르며, 인종, 종교, 성 정체성의 차원에 따른 지속적인 건강과 사회적 불평등의 현실은, 특히 학문의학 자체와 병자들을 돌보는 그것의 역할에 대해 현저하게 도전해 왔다. 이러한 도전은 대학의학계만으로는 건설적으로 해결할 수 없다.

The demographic composition of the United States is markedly different than it was a decade ago, and the reality of persistent health and societal inequities along dimensions of race, religion, and gender identity, among others, has significantly challenged how academic medicine views itself and its role of caring for the sick. These challenges cannot be constructively addressed by the academic medicine community alone.



 2016 Nov;91(11):1472-1474.

Holistic Review in Medical School Admissions and Selection: A StrategicMission-DrivenResponse to Shifting Societal Needs.

Author information

1
S.S. Conrad is director, Advancing Holistic Review Initiative, Association of American Medical Colleges, Washington, DC. A.N. Addams is director, Student Affairs, Strategy & Alignment, Association of American Medical Colleges, Washington, DC. G.H. Young is senior director, Student Affairs and Programs, Association of American Medical Colleges, Washington, DC.

Abstract

Medical schools and residency programs have always sought excellence in the areas of education, research, and clinical care. However, these pursuits are not accomplished within a vacuum-rather, they are continually and necessarily influenced by social, cultural, political, legal, and economic forces. Persistent demographic inequalities coupled with rapidly evolving biomedical research and a complex legal landscape heighten our collective awareness and emphasize the continued need to consider medicine's social contract when selecting, educating, and developing physicians and physician-scientists.Selection-who gains access to a medical education and to a career as a physician, researcher, and/or faculty member-is as much art as science. Quantitative assessments of applicants yield valuable information but fail to convey the full story of an applicant and the paths they have taken. Human judgment and evidence-based practice remain critical parts of implementing selection processes that yield the desired outcomes. Holistic review, in promoting the use of strategically designed, evidence-driven, mission-based, diversity-aware processes, provides a conceptual and practical framework for marrying the art with the science without sacrificing the unique value that each brings.In this Commentary, the authors situate medical student selection as both responsive to and informed by broader social context, health and health care needs, educational research and evidence, and state and federal law and policy. They propose that holistic review is a strategicmission-driven, evidence-based process that recognizes diversity as critical to excellence, offers a flexible framework for selecting future physicians, and facilitates achieving institutional mission and addressing societalneeds.

PMID:
 
27627631
 
DOI:
 
10.1097/ACM.0000000000001403


긍정적 응답왜곡: 의과대학 지원자의 자기고양(Med Educ, 2012)

Faking good: self-enhancement in medical school applicants

Barbara Griffin1 & Ian G Wilson2




도입

INTRODUCTION


최근 의학 교육에서 인성의 잠재적인 역할에 관심이 쏠리고 있으며 초기 연구에 따르면 일부 인성 요인(예: 양심)은 특히 상당한 임상 구성요소를 포함하는 과정들에서 학업 성적의 중요한 예측 변수라고 한다.12

attention has recently turned to the potential role of personality in medical education and early research suggests that some personality factors (e.g. conscientiousness) are significant predictors of academic grades, especially in courses that contain a substantial clinical component.1,2


비의료적인 맥락에서, 선발에서의 성격 테스트의 사용은 널리 퍼져 있으며, 성격이 직무 수행을 예측할 뿐만 아니라, 특히 수행의 친사회적 측면에 대한 인지 능력의 예측 효과에 대한 점진적인 차이를 설명한다는 것을 보여주는 많은 문헌에 기초하고 있다.3 또한, 선발 시 성격 테스트를 포함하면 학업 및 인지 능력의 측정이 소수 또는 불리한 집단에 미치는 악영향을 감소시킨다.3

In non-medical contexts, the use of personality testing for selection is widespread and is based on a large body of literature showing that personality not only predicts job performance, but explains incremental variance over the predictive effect of cognitive ability, especially for the prosocial aspects of performance.3 Furthermore, including personality tests in selection reduces the adverse impact that measures of academic and cognitive ability have on minority or disadvantaged groups.3


 그럼에도 불구하고, 인성의 사용은 대부분 자기 보고 조치에 의존해 왔으며, 따라서 구직자들이 그들의 반응을 왜곡할 수 있는 가능성은 많은 관심을 불러일으키는 논쟁의 대상이 되어 왔다. 전형적으로 '긍정적 응답왜곡'라는 용어를 사용하여 조사되었다(그리고 덜 흔하게 '응답 왜곡', '자기 강화', '분열화'라고 불림), 이 현상은 '인성 항목에 대한 반응을 조작하기 위한 의식적인 노력'으로 정의되었다.6 일부 관찰자-78은 'faking good'가 지원자들 사이에 널리 퍼지지 않는다고 확신하고 있지만 다른 사람들은 지원자들이 성격 테스트를 마칠 때 그들의 응답을 왜곡할 수 있다고 주장한다. 

 Nevertheless, the use of personality has largely relied on self-report measures and therefore the potential for job applicants to distort their responses has been the subject of much concern andongoing debate. Typically investigated using the term‘faking good’ (and less commonly called ‘response distortion’, ‘self-enhancement’ and ‘dissimulation’), the phenomenon has been defined as: ‘a conscious effort to manipulate responses to personality items tomake a positive impression.’6 Although some observ-ers7,8 are convinced that faking good is not prevalentamong applicant populations, others9 argue that applicants can and do distort their responses when completing tests of personality. 


선발 면접 당시(즉, 지원자로서) IPIP

the International Personality Item Pool (IPIP),10 at the time of their selection interview (i.e. as applicants),


IPIP는 널리 받아들여지는 5가지 인성 이론의 유효한 척도로, 인성은 양심, 외향, 동질, 신경증, 경험에 대한 개방 등 다섯 가지 상위 요소로 이루어져 있다고 단언한다.11

The IPIP is a valid measure of the widely accepted five-factor theory of personality, which posits that personality consists of five higher-order factors: conscientiousness; extroversion; agreeableness; neuroticism, and openness to experience.11


과거의 연구 결과에 따르면, 한 개인의 선의 조작 능력과 성향은 많은 요인에 의해 좌우되며, 그 중 많은 요인들은 의과대학에 입학하는 맥락과 관련이 있다. 예를 들어, 높은 의욕의 사람들은 특히 경쟁률이 높을 때 응답을 왜곡하며, 이는 의과대학 선발의 고부담 수준을 분명하게 반영한다. 또한, 사람들이 자신이 지원하는 직업군에 대한 긍정적인 고정관념에 일치하는 방향으로, 그리고 특정한 직업에 중요하다고 생각되는 특정 자질에 대해 어떻게 인식하느냐에 따라 성격 시험에 대한 그들의 반응을 왜곡할 것이라는 것을 발견했다.13,14

Past research indicates that a person’s ability and propensity to engage in faking good depends on a number of factors, many of which are relevant to the context of selection into medical school. For example, highly motivated people are likely to dissimulate, especially when the selection ratio (proportion of successful applicants to number of total applicants) is small,12 which clearly reflects the high-stakes context of medical school selection. In addition, studies have found that people will distort their responses to a personality test in line with positive stereotypes of incumbents in the job for which they are applying or according to their perceptions of the importance of certain qualities for a particular job.13,14


또한, 인지 능력이 높은 사람들은 시험 항목이 무엇을 측정하는지 더 쉽게 이해할 수 있기 때문에 그들의 반응을 왜곡할 수 있다고 생각된다.15 의과 지원자들의 높은 능력을 고려할 때, 성격 테스트에 대한 불임 발생률이 높을 것으로 예상할 수 있다. 이와는 대조적으로 맥파랜드와 라이언16은 신경증에서 낮은 점수를 받고 성실성과 양심성에 높은 점수를 받은 사람들은 dissimulation의 정도가 낮다는 것을 보여주었다.

In addition, those with high levels of cognitive ability are thought to be more able to distort their responses because they can more readily understand what the test items are measuring.15 Given the high ability of medical school applicants, one might expect to see a high incidence of dissimulation on personality tests. By contrast, McFarland and Ryan16 showed that those who scored lower on neuroticism and higher on integrity and conscientiousness dissimulated to a lesser extent.


방법

METHODS


연구참여자와 연구 설계

Participants and study design


초기 (시간 1) 설문지는 응답이 위조될 가능성이 더 높은 사전 선택 버전을 나타낸다. 참가자들이 일단 프로그램에 자리를 잡으면 자신을 과대평가할 이유가 적었기 때문에, Time 2 설문지가 완성된 것은 '정직한' 버전으로 여겨진다.

The initial (Time 1) questionnaire represents the pre-selection version to which responses would be more likely to be faked. The Time 2 questionnaire completed post-selection is considered the ‘honest’ version as there was less obvious reason for participants to over-represent themselves once they had gained a place on the programme.


척도

Measures


결과

RESULTS


이러한 결과는, 평균적으로 참가자들이 그들의 반응을 '긍정적인' 방향으로 조작했다는 것을 보여준다. 예를 들어, 데이터에 대한 검사 결과, 77.1%의 학생들이 타임 2보다 타임 1에서 더 높은 외향 점수를 받았다고 한다.

These results show that, on average, participants had falsified their responses in a ‘positive’ direction. An inspection of the data shows, for example, that 77.1% of students obtained a higher extroversion score at Time 1 than at Time 2.


우리는 각 학생이 좋은 척도를 조작한 척도 수를 합산했고(95% CI를 벗어난 점수 사용) 표본의 62.7%가 5가지 성격 척도 중 적어도 하나에서 분리되었지만, 오직 4.8%만이 5가지 척도 모두에서 자가 강화되었다는 것을 알아냈다.

We summed the number of scales on which each student had faked good (using scores outside the 95% CI) and found that 62.7% of the sample had dissimulated on at least one of the five personality scales, but only 4.8% had self-enhanced on all five scales.



고찰

DISCUSSION


본 연구의 연구 결과는 의과대학에 지원한 사람들이 자기 보고 테스트를 완료할 때 자신의 성격에 대한 오해의 소지가 있거나 기만적인 정보를 제공할 수 있다는 것을 보여준다.

The findings of this study indicate that those applying for entry into a medical degree may well present misleading or deceptive information about their personalities when completing self-report tests.


표본의 거의 3분의 2가 적어도 5대 인성 요인 중 하나를 조작한 것으로 보인다. 이러한 dissimulation 징후는 모든 지원자들이 자신의 성격 테스트 결과가 선택에 사용되지 않을 것이라는 확신을 가지고 있었음에도 불구하고 발생했으며 우리는 성격 테스트가 선택 과정의 공식적인 부분이었다면 dissimulation 수준이 훨씬 더 높았을 것이라고 제안한다.

nearly two-thirds of the sample appeared to have faked good on at least one of the Big Five factors of personality. This indication of dissimulation occurred despite the fact that all applicants had been assured that their personality test results would not be used for selection and we suggest that the level of dissimulation might have been even greater if personality testing had been a formal part of the selection process.


비록 우리의 결과가 상당한 비율의 지원자들이 그들의 점수를 바꿨다는 것을 보여주지만, 이 변화는 결코 보편적인 것이 아니었고 따라서 일부 지원자들, 특히 매우 정직한 지원자들에게 불리할 가능성이 있다.

Although our results show that a significant proportion of applicants changed their scores, this change was by no means universal and would thus potentially disadvantage some applicants, particularly very honest ones.


위조 효과에 관한 두 번째 주요 논쟁은 가짜 점수가 중요한 성과 결과를 예측하기 위한 타당성을 유지하는지 여부와 관련이 있다.

The second major debate regarding the effect of faking relates to whether or not faked scores maintain validity for predicting important performance outcomes.


세 번째 고려해야 할 문제는 dissimulation가 실제로 완전히 부정적인 행동인지 여부다. 대안적인 관점은 그것이 합법적이고 적응적일 수 있는 신청자의 한 부분에 자기보존의 형태를 나타낸다는 것이다.24 불행히도, 이러한 위조 관점을 채택하는 것은 결국 신청자가 코칭에 착수하는 정도를 증가시킬 수 있으며, 이는 원하는 방향으로 점수에 영향을 미치는 것으로 보여진다.25 

The third issue to consider is whether or not dissimulation is actually a completely negative behaviour. An alternative view is that it represents a form of self-preservation on the part of the applicantthat may well be legitimate and adaptive.24 Unfortunately, adopting this perspective of faking may ultimately increase the extent to which applicants undertake coaching, which has been shown to influence scores in the desired direction.25 


이러한 유보에도 불구하고, 선발 연구자들 사이에서는, dissimulation 문제는 성격 자체의 구성의 문제라기 보다는 시험의 속성이라는 것에 대한 일반적인 동의가 있다.

Despite these reservations, there is general agreement among selection researchers that the problem of dissimulation is a property of the tests rather than a problem of the constructs of personality themselves.


연구 결과에 따르면 dissimulation이 통제될 수 있다고 한다. 

  • 테스트에 거짓을 탐지할 항목이 포함되어 있고 응답이 검증될 수 있다는 경고를 줌으로써,26 

  • 19,27 그리고 더 미묘한 아이템을 개발함으로써 

  • 응답 지연 시간 측정함으로써26 

그러나 의대생 선발과 같은 고부담의 맥락에서 자율보고의 사용은 문제를 일으킬 가능성이 높기 때문에 대학 입학처는 인격을 측정하는 대안적 방법을 고려해야 한다.

Research suggests that dissimulation can be controlled by giving warnings that the tests contain items to detect faking and that responses may be verified,26 by developing more subtle items,19,27 and by measuring response latency times.26 However, in a highstakes context such as medical student selection, the use of self-reports is likely to present a problem and therefore university admissions departments should consider alternative ways of measuring personality.


이 연구의 한계는 실패한 지원자들에게 타임 2 데이터를 수집할 수 없다는 것을 의미한다.

A limitation of this research refers to our inability to collect Time 2 data for unsuccessful applicants.


성격의 안정성과 의대생으로서의 우리 응답자들의 경험의 간결함을 고려할 때(1개월) 그들의 공부 환경에서 스트레스 요인에 대한 대응으로 변화가 일어났을 가능성도 낮다. 비의료적 맥락에서의 지원자 성격 테스트에 대한 많은 연구 기관의 결과와의 연구 결과의 유사성은 다른 직책에 대한 지원자처럼, 의과대학에 지원한 사람들이 성격에 대해 대답할 때 부정적인 자질을 부정하고 긍정적인 자질을 과대평가하는 경향을 보여준다는 결론을 어느 정도 뒷받침해 준다. st

Given the stability of personality3 and the brevity of our respondents’ experience as medical students (1 month), it is also unlikely that the changes occurred in response to stressors in their study environment. The similarity of our findings with outcomes in a large body of research on applicant personality testing in non-medical contexts6,9 gives some support to the conclusion that, like applicants to other positions, applicants to medical school demonstrate a tendency to deny negative qualities and overstate positive qualities when answering personality tests. 




 2012 May;46(5):485-90. doi: 10.1111/j.1365-2923.2011.04208.x.

Faking goodself-enhancement in medical school applicants.

Author information

1
Department of Psychology, Macquarie University, Sydney, New South Wales, Australia Department of Medical Education, School of Medicine, University of Western Sydney, Sydney, New South Wales, Australia.

Abstract

OBJECTIVES:

The problem of dissimulation by applicants when self-report tests of personality are used for job selection has received considerable attention in non-medical contexts. Personality testing is not yet widely used in medical student selection, but this may change in the light of recent research demonstrating significant relationships between personality and performance in medical school. This study therefore aimed to assess the extent of self-enhancement in a sample of medical school applicants.

METHODS:

A within-subjects design compared personality test scores collected in 2007 for 83 newly enrolled medical students with scores for the same students obtained on the same personality test administered during the selection process 4 months previously. Five factors of personality were measured using the International Personality Item Pool and mean differences in scores were assessed using paired t-tests.

RESULTS:

At the time of selection, the personality scores of successful applicants were similar to those of candidates who were not accepted (n=271). Once selected, the medical students achieved significantly lower scores on four of the five personality factors (conscientiousness, extroversion, openness to experience, agreeableness) and higher scores on the fifth factor (neuroticism). Of the selected students, 62.7% appeared to have 'faked good' on at least one of the five factors measured.

CONCLUSIONS:

Applicants to medical school are likely to dissimulate when completing self-report tests of personality used for selection. The authors review the evidence as to whether such dissimulation reduces construct and predictive validity and summarise methods used to reduce self-enhancement in applicant samples.

PMID:
 
22515756
 
DOI:
 
10.1111/j.1365-2923.2011.04208.x


학업적 뼈대: 중등교육부터 전문의까지 종단적 연속성(BMC Medicine, 2013)

The Academic Backbone: longitudinal continuities in educational achievement from secondary school and medical school to MRCP(UK) and the specialist register in UK medical students and doctors

IC McManus1,2*, Katherine Woolf1, Jane Dacre1, Elisabeth Paice3 and Chris Dewberry4




배경

Background


삶의 후반부의 교육적, 직업적 성취는 종종 삶의 초기에 교육적, 전문적 성취에 달려있다. 이 원칙은 오래 전에 교육의 맥락에서 인정되었는데, 인디애나 대학 교육대학 게시판에는 이렇게 써있다 "'미래 성취의 가장 좋은 예측자는 예측 당시 달성한 성취의 수준이다. 초등학교에서 좋은 독자는 중학교와 고등학교 내내 계속해서 좋은 독자가 된다. [다른 기술의 범위]에서도 마찬가지다."

Educational and professional achievements later in life often depend on educational and professional attainments earlier in life. This principle was recognized long ago in the context of education, with a 1924 article in the Bulletin of the School of Education of Indiana University saying: ‘the best predictor of future achievement is the level of achievement attained at the time of the prediction. The good reader in the elementary school continues to be a good reader throughout junior and high school; the same is true for [a range of other skills]’ [1].


그 원칙은 종종 '미래 행동의 가장 좋은 예측자는 과거의 행동이다'라고 언급된다. 이 구절의 초기 사용은 Berdie et al.에 의한 연구에 있었다. [2], 그는 이렇게 말했다: '미래 행동의 가장 좋은 예측자는 과거의 행동이다. 보통 고등학교에서 잘한 학생은 대학에서 잘 할 것이다. 고등학교와 대학 평균 사이의 상관관계는 약 0.50'이다.

The principle is now often stated as: ‘the best predictor of future behaviour is past behaviour’. An early use of the phrase was in the study by Berdie et al. [2], who said that: ‘the best predictor of future behavior is past behavior. Usually the pupil who has done well in high school will do well in college. Correlations between high school and college grade averages are about .50’.


의학 교육의 맥락에서 우리는 이 원리를 '학업적 뼈대'이라고 언급할 것이다. 의학과 의학 내에서 우리는 호흡기 질환에 대한 대학원생들의 이해는, 말하자면 임상 학생으로서 습득한 지식, 경험, 이해에 기초하고, 그 자체가 기초 의학에서 습득한 폐 생리학에 대한 이해에 기초하고 있다고 믿을 만한 충분한 이유가 있다고 믿는다. 이는 다시 고등학교 수준(A-level) 생물학 및 화학에서 습득한 보다 기본적인 생물학적 지식을 기반으로 하며, 이 지식은 또다시 중등교육 일반 자격증/보통 수준(GCSE/O-level)과, 그리고 더 나아가 산수나 읽고 쓰기 같은 등과 같은 그 이전 단계와 연관될 것이다.

In the context of medical education, we will refer to this principle as the ‘Academic Backbone’. Within medicine and medical science, we believe there is good reason to believe that the post-graduate understanding of, say, respiratory disease, is built upon knowledge, experience, and understanding acquired as a clinical student, which is itself built upon an understanding of pulmonary physiology acquired in the basic medical sciences, which in turn is built upon more basic biological knowledge acquired in Advanced level (A-level) Biology and Chemistry, which has its foundations in science learned at General Certificate of Secondary Education/ Ordinary level (GCSE/O-level) and earlier, with those concepts based on earlier educational achievements in the form of being able to read, write, do arithmetic, and so on.


우리의 아카데믹 백본의 은유적인 사용은 두 가지 기원을 가지고 있다. 

Our metaphorical use of Academic Backbone has two origins. 


첫째, 인간의 머리가 똑바로 서 있는 것은 단지 척추에 의해 제공되는 골격 지지대 때문만이 아니며, 그 주위에 위치한 근육과 힘줄의 동적 긴장 때문에 수직적이고 안정적으로 지상에 위치한다. 마찬가지로 따라서 고급 대학원 지식은 훈련 중에 이전에 습득한 임상 지식, 실습 기술 및 이론적 이해의 연동 세트에서 개발되고 유지된다. 즉 전문 분야 그 자체뿐만 아니라 의료 과학의 지적 토대를 함께 제공하는 다양한 인지적 분야와 기술로 인해서 유지될 수 있는 것이다.

Firstly, just as the human head stands erect, vertical and stably situated above the ground not merely because of the skeletal support provided by the vertebrae, but also because of the dynamic tensions of the muscles and tendons positioned around it, so advanced postgraduate knowledge is developed from and maintained by the interlocking sets of clinical knowledge, practical skills, and theoretical understanding acquired previously during training, not only in the specialist area itself but also in a range of cognate disciplines and skills that together provide the intellectual underpinnings of medical science.


둘째로, 우리가 '등뼈'라는 용어를 사용하는 것은 해부학적 은유일 뿐만 아니라, 구조 방정식 모델링에서 종종 발견되는 도표에서 영감을 얻었는데, 이 도표들은 나중에 우리가 사용하게 될 것이고, 여기서 왼쪽에서 오른쪽으로 일련의 측정들이 나란히 놓여지고, 각각의 측정들은 오른쪽에서 왼쪽으로 움직이게 되고, 다른 요인들이 위치한 주위로도 상상할 수 있는 것. 백본의 통계적 상관관계는 기술적으로 시간에 걸친 단순한 상관관계라고 불리는 것으로, 사실상 현재가 과거에 기초하고 있으며, 미래에 대한 기초를 제공한다고 한다.

Secondly, our use of the term ‘backbone’ is not only an anatomical metaphor, but also is inspired by the diagrams often found in structural equation modeling, which we will use later in these analyses, whereby a series of measures are laid side by side, from left to right, each causing the ones to its right, and being caused by the ones to its left, in what can also be envisaged as a backbone around which other factors are located. The statistical correlate of the backbone is what technically is called a simplex of correlations across time, in effect saying that the present is built upon the past, and provides the foundations for the future.


학문의 백본이 있다면, 학문의 성취가 의대생 선발의 주요 기반이 되어야 한다는 것이 이론적이고 실용적인 핵심이다.

If there is an Academic Backbone, then a key theoretical and practical corollary is that academic attainment should be a major basis for the selection of medical students.


문헌에 그러한 조치의 체계적인 예가 비교적 적음에도 불구하고, 학부 및 대학원 달성 조치의 내부와 사이의 상관관계는 계산하기에 비교적 간단하다.

Correlations within and between undergraduate and post-graduate attainment measures are relatively straightforward to calculate, even though there are relatively few systematic examples of such measures in the literature.


경험적으로, 자료의 수집과 상관관계의 계산은 어렵지 않지만, 그러한 상관관계는 종종 그들이 선택할 가치 있는 근거를 제공하지 못하는 것처럼 보일 정도로 실망스러울 정도로 작은 것처럼 보인다. 이는 명문 학술지에서도 발견되는 바와 같이 A-수준 등급과 같은 측정치가 대학 성취도를 예측하는 데 실제로 거의 가치가 없다는 진술을 하게 되었다[4]. 그러나 이것은 순진한 해석일 것이다. 정신측정학에서는 선발시험의 성과와 선발된 학생의 성과 사이의 낮은 상관관계의 문제가 잘 알려져 있다. 1943년 버트[5]에서는 'scholarship examination의 효율성을 선발 수단으로 판단하는 time-honoured 오류'를 지적했다. 이 오류에서 효율성은 선발된 그룹 내의 능력merit의 순서를 예측하는 수단으로 판단된다'

Empirically, the collection of the data and the calculation of the correlations is not difficult, but such correlations often seem to be disappointingly small, to the extent that they do not seem to provide a worthwhile basis for selection. This has resulted in statements, found even in prestigious journals, that measures such as A-level grades are actually of little value in predicting university attainment [4]. This would, however, be a naive interpretation. Within psychometrics, the problem of low correlation between performance on a selection test and outcome performance in those selected, is well known. Burt in 1943 [5] referred to the, ‘time-honoured fallacy of judging the efficiency of a scholarship examination as a means of selection by stating its efficiency as a means of predicting the order of merit within the selected group’ (p.2).


선발에 대한 연구에 있어서 가장 근본적인 문제는 시험에 기초해서 선발되지 못한 사람들은 필연적으로 그 시험의 낮은lower 수행자들이며, 우리는 선발 후 시험에서 그들이 어떻게 했을지 거의 측정할 수 없다는 것이다. A급 성적 등 선발 대책을 검증하기 위해서는 선발된 사람만이 아니라 전체 지원자 풀의 상관관계를 파악할 필요가 있다.

The most fundamental problem in studying selection is that those who fail to be selected on the basis of a test are by necessity lower performers on that test, and we can rarely, if ever, measure how they might have done in post-selection tests. In order to validate selection measures such as A-level grades, we need to know about the correlations in the entire pool of applicants, not just in those who have been selected.


이 범위 제한은 다음을 의미한다. 선발된 그룹(의과대학에 입학한 그룹)에서 선발 척도(예: A-수준)와 성과 척도(예: 의대 1학년)의 상관관계는 (만약 모든 의과 대학 지원자들에 대해 분석했을 때보다) 반드시 약할 것이다는 점이다. 

This restriction of range means that in the selected group (those who enter medical school) the correlation of the selection measure (for example, A-levels) with the outcome measure (for example, first year medical school examinations) will necessarily be weaker than would be the case if performance were to have been assessed across the whole range of medical school applicants.


이 상황을 평가할 수 있는 유일한 방법은, 입학자가 모든 수준의 성취도에 대한 모든 지원자의 풀에서 무작위적이고 대표적인 표본이 되는 것이다. 범위 제한 문제에 대한 통계적 해결책은 수 십 년 동안 연구되어 왔으며 [5] 현재 그 문제는 통계적으로 추적가능하기 때문에 전체 선택에 대한 유효성 계수를 계산할 수 있다(이하 'construct validity'이라 한다).

That situation could only be assessed empirically if entrants were to be a random, representative sample from the pool of all applicants, with A-level grades at all levels of achievement. Statistical solutions to the problem of range restriction have been explored for many decades [5] and the problem is now statistically tractable [6,7], so that validity coefficients for selection as a whole (so-called ‘construct validity’) can therefore be calculated.


여기서 우리는 학업적 뼈대가 의과대학 이전, 의과대학 중, 의과대학 후의 수행 척도 사이에 어느 정도로 유의한 상관관계를 보여주며, 실질적 의미가 있는지에 초점을 맞출 것이다.

Here, we will concentrate on the extent to which the Academic Backbone has empirical substance, manifesting as significant correlations between earlier and later measures of performance, before, within, and after medical school.


의술에 사용되는 선발척도는 크게 성취(또는 달성) 척도와 적성(또는 능력) 척도로 나눌 수 있다[3]. 

  • 영국의 GCSE와 A-수준이 예가 될 수 있는 달성/성공 시험은 전형적으로 공식적인 중등교육 동안 습득한 지식과 기술을 평가하며, 은 성과는 아마도 지적 능력뿐만 아니라 동기부여와 일반적인 학습 능력을 필요로 할 것이다[9]. 

  • 이와는 대조적으로, 영국의 UKCAT(United Clinical Aptitude Test)와 바이오메디컬 입학 시험(BMAT)과 같은 적성/능력 시험 '사고와 추론을 위한 지적 능력, 특히 논리적이고 분석적인 추론 능력'을 강조한다[10]. 그것들은 잠재력의 척도가 되고 형식적인 학교교육과는 무관하다고 느끼고 있으며, 여러 가지 면에서 기본적인 정신능력이나 지능의 척도와 겹치는 것으로 볼 수 있다. 

  • 미국의 의대생을 선발하는 데 사용되는 의대 입학시험(MCAT)과 같은 시험[11]은 생물학, 화학, 물리학에서 나온 물질 범위에 대한 실질적인 학문적 이해를 측정하며, 따라서 적성보다는 주로 성취도 측정이 된다.

Selection measures used in medicine can be broadly divided into measures of attainment (or achievement) and measures of aptitude (or ability) [3]. 

  • Attainment/ achievement tests, of which GCSEs and A-levels in the UK would be examples, typically assess the knowledge and skills that have been acquired during formal secondary education, and high achievement probably requires not only intellectual ability but also motivation and generic study skills [9]. 

  • By contrast, aptitude/ability tests, such as the UK Clinical Aptitude Test (UKCAT) and BioMedical Admissions Test (BMAT) in the UK, emphasize ‘intellectual capabilities for thinking and reasoning, particularly logical and analytical reasoning abilities’ [10]. They are felt to be measures of potential and to be independent of formal schooling, and in many ways can be regarded as overlapping with measures of basic mental ability or intelligence. 

  • Tests such as the Medical College Admission Test (MCAT), used to select medical students in the USA [11], measure substantive academic understanding of a range of material from biology, chemistry, and physics, and are therefore primarily measures of attainment rather than of aptitude.


적성에 근거한 선택과 성취 대책의 주요한 차이점은 적성시험은 일반적인 사고와 추론 기술이 의과대학 수행의 주요한 예측인자라고 보는 반면, 성취시험은 생물학이나 화학의 사실, 이론, 아이디어와 같은 실질적인 지식이 중요하다고 가정한다는 것이다. 그 자체가 일반적인 기술 이외에 의과대학의 성과의 예측자이며, 과거에 치러진 성취 시험에서 이룬 우수한 성과는 동기, 지적 능력 및 인성의 일부 조합을 나타내는 간접적인 지표라고 할 수 있다[12].

The major difference between selection based on aptitude and on attainment measures is that the use of aptitude tests assumes that generic thinking and reasoning skills are the major predictors of medical school performance, whereas the use of attainment tests assumes that substantive knowledge, such as of the facts, theories and ideas of biology or chemistry, are themselves predictors of medical school performance in addition to general skills, and that previous good performance on attainment tests is an indirect indicator of some combination of motivation, intellectual ability, and personality [12].




결과의 예측자로서의 성별과 민족

Sex and ethnicity as predictors of outcome


의학 교육에 대한 지속적인 관심의 두 가지 인구학적 요인은 성별과 민족성이다. 백인 이외의 영국 의대생들은 MRCP(영국)를 포함하여 의대 시험[14,15]과 대학원 시험[15]에서 성적이 떨어진다. 또한 남성과 여성은 MRCP(영국)에서 다르게 수행하며, 남성과 여성은 똑같이 제1부에 합격할 가능성이 높지만, 여성은 제2부와 임상시험 스킬(PACES)의 실기 평가에 합격할 가능성이 더 높다 [16]. 또한 남성은 Fitness to Practise에 대한 우려처럼 GMC에 의해 조사되고 제재를 받을 가능성이 훨씬 더 높다[17,18]. 대학원 시험에서 다른 성과를 해석하는 것은 의사들이 MRCP(영국)와 같은 시험을 볼지 말지를 선택하고, 시험을 볼지를 선택하는 사람들이 의대를 졸업하는 사람들의 무작위 하위집합은 아닐 수도 있다는 사실 때문에 복잡하다.

Two demographic factors of continuing interest in medical education are sex and ethnicity. Non-white UK medical students perform less well both in medical school examinations [14,15] and in post-graduate examinations [15], including the MRCP(UK) [16]. Men and women also perform differently on the MRCP(UK), men and women being equally likely to pass Part 1, but women being more likely to pass Part 2 and the Practical Assessment of Clinical Examination Skills (PACES) [16]. Men are also far more likely to be investigated and sanctioned by the GMC for Fitness to Practise concerns [17,18]. Interpreting differential performance in postgraduate examinations is complicated by the fact that doctors choose whether or not to take examinations such as MRCP(UK), and those choosing to take an examination may not be a random subset of those graduating from medical school.


데이터 세트

Overview of the datasets



통계적 문제

Statistical issues


오른쪽 치우침

Right-censoring of measures


영국의 의료 교육자들에게 점점 더 큰 문제는 GCSE와 A레벨 시험에서 모두 등급 인플레이션이 발생했다는 것이다. 이 시험은 영국 의대에 지원하는 대다수의 응시자에게 발생한다. 대부분의 지원자들은 2010년까지 A = 10, B = 8, C = 6, D = 4, E = 2로 점수가 매겨진 3개의 A-수준 점수에 대해 최대 점수는 30점이며, 매년 증가하는 학생 비율은 AAA 점수와 함께 '상한에' 있다[19]. 통계적 'right-censored'에서 상위권에는 더 높은 등급이 존재하지 않는다. 즉, 많은 응시자들이 더 어렵고, 더 늘며, 더 연장된 평가로 차별화되더라도 여전히 최상위 등급에 속하게 된다. 따라서 A-수준 및 GCSE 등급은 왼쪽으로 치우쳐져 있고 첨도가 되어 표준 편차(SD)와 겉보기 평균을 감소시키며, 또한 다른 변수와의 상관관계의 크기를 인위적으로 감소시킨다.

A growing problem for medical educators in the UK is that there has been grade inflation in both GCSE and Alevel examinations, which are taken by the majority of candidates applying to UK medical school. Most applicants take three or more A-levels, which until 2010 were scored as A = 10, B = 8, C = 6, D = 4, E = 2, other = 0. For the best three A-level grades attained, the maximum score is 30, and a growing proportion of students each year are ‘at ceiling’ with AAA grades [19]. In statistical ‘right-censored’, terms, A-level grades are with the absence of higher grades meaning that many candidates are forced into the top category, even though they would be differentiated with a harder, more stretching and extending assessment. A-level and GCSE grades are therefore skewed to the left and are kurtotic, reducing the standard deviation (SD) and the apparent mean, and also artifactually reducing the size of the correlation with other variables.


척도 그룹핑

Grouping of measures


The Markov Chain Monte Carlo method for calculating correlations


Methods



Results


The UCLMS Cohort Study

The 1990 Cohort Study

The 1985 Cohort Study

The 1980 Cohort Study

The Westminster Cohort Study


고찰

Discussion


모든 코호트에서, 거의 모든 성취 단계에서, 초기 단계에서 성취하기 위한 인과관계가 있다는 것은 분명하다. 이와 유사한 결과는 레지던트 결과의 예측 변수로서 미국 의과대학의 성취도를 최근 메타분석한 결과에서 발견되었다. 전체 연구, 레지던트에서의 성과(NBME(National Board of Medical Examiners, NBME) 3, 교육 과정 및 면허 시험) 상관 관계는 의과대학(NBME 2 및 미국 의료면허시험 2(USMLE2)에서 임상실적을 측정)과 0.596(가중평균)의 관계를 가지며, BMS 성과 측정값(NBME 1 및 USMLE 1)과는 0.515(가중 상관 관계)의 상관관계를 가져서[43], 의과대학부터 레지던트까지 학술 백본의 성격을 확인해준다.

In all the cohorts, it is clear that at almost every stage of attainment, there are causal links back to attainment at earlier stages. A similar result to this was found in a recent meta-analysis of US medical school attainment as a predictor of residency outcome. Averaging across studies, performance at residency (National Board of Medical Examiners (NBME) 3, in-training examinations and Licensing examinations) correlated at 0.596 (weighted mean) with measures of clinical performance in medical school (NBME 2 and United States Medical Licensing Examination 2 (USMLE2)), and 0.515 (weighted correlation) with measures of BMS performance (NBME 1 and USMLE 1) [43], confirming the nature of the Academic Backbone from medical school through to residency.


의학교육의 후단계에서 초기 단계와의 수행의 상관관계는 의과대학 자체에서만 일어나는 것이 아니라, 의과대학(그 이상)에서의 후발 성취의 증거와 함께 A-수준 결과뿐만 아니라 GCSE/O-수준과도 상관관계가 있어서 일찍 시작된다. USMLE 1, 2, 3 검사가 의대 입학 전에 실시된 의대 입학 시험(MCAT)의 성과에 의해 예측되는 미국에서도 비슷한 결과가 발견되었다(각각 메타 분석 상관 관계: 0.60, 0.38, 0.43).

The correlation of performance at later stages in medical training with earlier stages does not just take place in medical school itself, but begins earlier than that, with evidence of later achievement in medical school (and beyond) correlating not only with A-level results, but also with GCSE/O-levels. Equivalent results have been found in the USA, where USMLE 1, 2, and 3 examinations are predicted by performance on the Medical College Admission Test (MCAT), which is taken prior to entry into medical school (meta-analytic correlations: 0.60, 0.38, and 0.43, respectively) [44].


이 연구에서 특히 관심 있는 것은 A-수준과의 상관 관계들이다. right-censoring을 위해 교정된 것조차도 입학자 안에 있고 일반적으로 신청자 안에 있지 않다는 것을 고려한다면, A레벨은 평균 0.24로 MRCP(영국) 결과를 예측하고, 평균 상관관계는 0.21로 약간 낮은 MRCP(영국) 결과를 예측하고, Specialist Register에 있는 것을 예측한다.그것은 평균 0.15의 상관관계를 가진다. 다른 곳에서, 우리는 이 다섯 가지 연구에서 교육적 성취도 측정에 대한 건설 타당성을 추정했고, 첫 번째 BMS 연도[8]의 성과에 대한 훨씬 더 큰 UKCAT-12 연구를 통해 건설 타당성이 단순한 상관 관계보다 상당히 높았고, BMS 첫 해 성과에서 최대 65%의 차이를 설명하였다[8].

Of particular interest in the present study are correlations with A-levels. Remembering that correlations, even those corrected for right-censoring, are within entrants and not within applicants in general, it is clear that Alevels 

  • predict medical school performance with an average correlation of 0.24, 

  • predict MRCP(UK) results with a slightly lower average correlation of 0.21, and 

  • predict being on the Specialist Register with an average correlation of 0.15. 

Elsewhere, we estimated construct validities for the measures of educational attainment in these five studies and the much larger UKCAT-12 study of performance in the first BMS year [8], and found that construct validities were substantially higher than simple correlations, explaining up to 65% of the variance in BMS first year performance [8].


더 나은 해석은 사람들이 평가 1에서 특정한 수준에서 수행을 할 수 있게 하는 것이 지식의 구조라는 것이며, 초기의 지식 구조는 2단계에서 보다 정교한 지식 구조가 구축되는 플랫폼이며, 그 자체가 평가 2단계에서 성취할 수 있는 기반을 제공한다는 것이다. 

A better interpretation is that it is the structure of knowledge that enables people to perform at a particular level in assessment 1, and that earlier structure of knowledge is the platform on which a more sophisticated structure of knowledge is built at stage 2, and itself provides a platform for achieving in assessment 2. 


또한 백본이 단지 학습된 정보의 고립된 덩어리('사실체'라고 불리는 것)에 관한 것이라고 해석되어서는 안 된다. 하지만 대신에 그것은 정보의 시스템, 지식의 범주, 은유, 패턴과 관계, 획득된 상호연결된 이미지와 생각들, 이 모든 것이 밑거름이 되게 한다. 그리고 새로운 정보를 기존 아이디어와 통합하고, 메모리에 위치시켜서 그것이 쉽게 접근하고 올바른 환경에서 촉발될 수 있도록 한다. 최종 결과는 일반적으로 '인지적 자본'이라고 부를 수 있는 것의 축적이거나, 보다 구체적으로는 현 상황에서 '의학적 자본'으로 묘사될 수 있는 것, 즉 성공적인 의료행위를 구성하는 지식, 이론, 경험, 이해 및 기술의 집합이다.

Neither should it be construed that the backbone is about isolated nuggets of information (‘factoids’ as they have been called) that are merely learned, but instead it is systems of information, categories of knowledge, metaphors, patterns and relationships, interconnected images and ideas that are acquired, all of which make it possible to understand new information, integrate it with existing ideas, and position it in memory in a way that it can then be accessed easily and triggered in the right circumstances. The end result is the accumulation of what in general can be referred to as ‘cognitive capital’, or more specifically in the present context can be described as ‘medical capital’; that set of knowledge, theories, experience, understanding and skills that comprise successful medical practice.




실제로 그러한 측정된 변수 중 많은 수가 다른 기초변수의 지표로, 잠재적 변수의 지표로, 그림 6은 개연성 있는 상호관계에 대한 보다 포괄적인 모델을 보여준다. 직사각형 상자는 그림 1, 2, 3, 4, 5와 동일한 측정 변수를 나타내며, 타원은 여기서 측정되지 않았지만 원칙적으로 측정할 수 있는 변수를 보여준다. 주요 백본은 이제 초등학교를 시작으로 하는 교육자본으로, 읽기, 쓰기, 산술, 기타 기초기술 등을 배우는 동안 일반적인 인지자본(표시되지 않음)을 습득한다. 

In reality, many of those measured variables are indicators of other, underlying, latent variables, and Figure 6 shows a more comprehensive model of the probable inter-relations. The rectangular boxes show the same measured variables as in Figures 1, 2, 3, 4, and 5, while the ellipses show variables that have not been measured here, but in principle could be measured. The main backbone is now of educational capital, starting at primary school, where generic cognitive capital (not shown) is acquired during the learning of reading, writing, arithmetic, and other basic skills. 


중등교육에 의해, 역사, 지리, 언어, 과학, 예술과 같은 과목에서, 특히 특정 교육에 의해 도움을 받고, 모든 과목들은 GCSE에 의해 평가된다. [일반 지식 자본]은 그 후 A레벨로 평가되는 화학과 생물학 같은 과목들을 통해 보다 구체적인 [과학 자본]의 밑거름이 된다. . 의과대학에서 [BMS 자본]는 다시 교육의 도움으로 취득되고, A급에서 연구된 과학 자본의 기초 위에 세워진다. 

By secondary education, a wide range of ‘general knowledge capital’ is acquired, helped particularly by specific teaching, in subjects such as history, geography, languages, sciences, and art, all of which are then assessed by GCSEs. The general knowledge capital is then the underpinning for more specific ‘science capital’, through subjects such as chemistry and biology, which are assessed by A-levels. At medical school, ‘BMS capital’ is acquired, again with the help of teaching, and built on the foundations of the science capital studied at A-level. 


의과대학의 임상학기에 [의학적 자본]이 획득되기 시작하고, 다시 한번 교육에 의해 도움을 받지만, 또한 임상 검사의 형태로 평가되어 환자와 환자 치료의 경험으로부터 도움을 받기 시작한다. 의학자본은 대학원 연수 중에도 계속 취득하고 있지만, 지금은 아직 가르침은 있지만, 의학적 자본의 취득을 돕는 광범위한 임상실무도 있어, 의학적 자본은 이후의 임상행위의 질을 향상시킨다. 의학적 자본은 의료 훈련 기간 동안만 성장할 뿐만 아니라 자연적인 붕괴와 망각을 통해, 또는 시대에 뒤떨어진 지식을 통해 감소할 수 있으므로 자본 성장의 궤적이 항상 순탄하지는 않다[45].

In the clinical years of medical school, ‘medical capital’ proper begins to be acquired, aided once again by teaching, but also assisted by experience of patients and patient care, with assessment in the form of clinical examinations. Medical capital continues to be acquired during post-graduate training, but now, although there is still teaching, there is also extensive clinical practice, which aids the acquisition of medical capital while the medical capital improves the quality of subsequent clinical practice. Medical capital not only grows during medical training but can also diminish, through spontaneous decay and forgetting, or through earlier knowledge becoming out of date, so that the trajectory of capital growth is not always smooth [45].


순수 지적 적성 시험(왼쪽 상단에 표시)은 주로 지능의 지표로, 그림 6의 하단에 나타난 바와 같이, 그러한 지능은 적성 시험(그리고 아마도 일반 지식 자본)에 의해 평가된다. 적성 테스트는 또한 과학 지식을 평가할 수 있는데, 이 경우 과학 자본의 영향도 받는다(그림 6에 나와 있지 않은 링크). 그림 6의 경로 모델은 상단 행(직사각형 상자)에 있는 모든 측정 사이에 긍정적인 상관관계가 있을 것으로 예측한다.

Pure intellectual aptitude tests (shown at the top left) are indicators primarily of intelligence, as shown at the bottom of Figure 6, with intelligence as such being assessed by aptitude tests (and perhaps also general knowledge capital). Aptitude tests can also assess science knowledge, in which case they are also influenced by science capital (link not shown in Figure 6). The path model of Figure 6 predicts that there will be positive correlations between all of the measures in the top row (in rectangular boxes).


중요한 것은 단지 직전 단계의 성취가 중요한 것이 아니라, 경로 도표에서 알 수 있듯이, 많은 초기 단계에서도 성취가 중요하다는 것이다. 시험을 통과했더라도, 그 전에 있었던 학습이 지워지는 것은 아니며 다음 단계가 고립되어 다뤄지는 것도 아니다. 이전의 검사에서 수행에 기여한 학문의 각인이 남아 있으며, 이것은 몇 년이 지난 후에도 종종 유용할 수도 있는 의학적 자본의 형태로 계속적으로 이어지는 것에 대한 빌딩블록과 비계를 제공한다. 그것은 아마도 중요한 시험에 합격하는 것만이 아니라 얼마나 잘 통과되는지에 대한 이유일 것이다. 국경선에 있는 사람들은 이후 더 높은 수준에서 시험에 합격한 사람들보다 더 큰 어려움을 겪는다[26].

Of importance is that it is not merely achievement at an immediately previous stage that matters, but, as the path diagrams show, achievement also at many earlier stages. Once an examination is passed, then the learning that preceded that examination is not erased and the next stage is not coped with in isolation. An imprint remains of the learning that contributed to the performance in that earlier examination, and this continues to provide building blocks and scaffolding for what is to follow, in the form of medical capital, which often may be of utility many years later. That is presumably the reason why it is not merely passing an examination which matters, but how well it is passed, with those on the borderline subsequently having greater difficulties than those who passed an examination at a higher level [26].


영국 의대생 선발에서 A-수준의 역할은 오랫동안 논의되어 왔으며, A-수준에서의 높은 성취는 후속 의학 달성을 위한 예측적 가치가 거의 없거나 전혀 없다는 많은 주장이 있다. 백본 연구는 그것이 사실이 아님을 분명히 보여준다. A-수준은, 등급 인플레이션과 천장 효과로 인해 점점 더 좁혀지는 점수 범위에도 불구하고, 의과대학 전체에서, 그리고 종종 대학 졸업 후 시험에 대한 현저한 성과를 계속해서 예측하고 있다. 따라서 A레벨에서 높은 성취도가 결과와 거의 차이가 없는 단순한 '임계값'은 없다. 오히려, 표본 크기가 훨씬 더 큰 다른 연구자들에 의한 또 다른 교육적 맥락에서 도달한 결론은 항상 더 낫다[46].

The role of A-levels in UK medical student selection has long been debated, with there being many claims that high achievement at A-level has little or no predictive value for subsequent medical attainment. The backbone studies clearly show that is not the case. A-levels, despite an ever-narrowing range of marks due to grade inflation and ceiling effects, continue to predict performance significantly throughout medical school, and often onto post-graduate examinations. There is therefore no simple ‘threshold’ above which higher attainment at Alevel makes little difference to outcome. Rather, higher is always better, a conclusion reached in another educational context by other researchers, with much larger sample sizes [46].


코호트 연구 중 4개(UCLMS, 1990, 1985, 1980년)는 GCSE 및/또는 O-수준 등급을 포함했으며, 각 사례에서 일반적으로 15세에서 16세의 나이에 실시된 이러한 검사들은 A 수준의 달성을 예측하고 예측하기 때문에 선택 시 유용할 수 있다. 또한 이 뿐만 아니라 4개의 모든 연구에서 BMS(특히 임상 단계)와 심지어 1990년 코호트 연구에서도 MRCP(영국)의 서면written 및 임상 검사의 성과를 예측하기 때문이다.

Four of the cohort studies (UCLMS, 1990, 1985, and 1980) included GCSE and/or O-level grades, and in each case it is apparent that these examinations, typically taken at the age of 15 to 16 years, may be useful in selection not only because they anticipate and predict Alevel attainment, but because in all the four studies they are predictive of medical school performance, both in BMS (but particularly at the clinical stages), and even, in the 1990 Cohort Study, performance in both the written and clinical examinations in MRCP(UK).


학생 선발에서 논란이 되는 주제는 UKCAT, BMAT 및 대학원 입학시험(GAMSAT)과 같은 적성검사의 역할이다[3].

A controversial topic in student selection is the role of aptitude tests such as UKCAT, BMAT, and Graduate Medical School Admissions Test (GAMSAT) [3].


학술 백본의 대책은 대부분 교육 및 전문적 성취도의 척도로서, 따라서 시험이다. 선발과 전문직업적 발달을 위해 시험을 사용하는 것에 대한 일반적인 비판은 시험을 잘 보는 능력이 이후에 시험을 잘 보는 능력만을 예측한다는 것이다. 그러나 그 주장은 의대와 전문 검사의 내용을 무시한다.

Most of the measures in the Academic Backbone are measures of educational and professional attainment, and thus are examinations. A common criticism of the use of examinations in selection and for professional progression is that being good at examinations only predicts the ability to be good at further examinations. However, that argument ignores the content of medical school and professional examinations.


검사의 세심한 청사진과 그 분명한 안면타당도를 고려할 때(그리고 MRCP(영국) 질문의 예는 이전 연구[47] 참조), 우리는 여기에서 논한 것과 같은 시험의 합격은 좋은 의사가 되기 위해 중요하며, 그러한 임상 지식을 얻는 데 어려움을 겪는 사람들은 아마도 덜 좋은 의사가 될 것이라고 제안한다.s. 지식은 일반적으로 무지보다 선호되고, 임상 지식은 임상 행동을 뒷받침한다.

Given the careful blueprinting of examinations and their obvious face validity (and for examples of MRCP(UK) questions see a previous study [47]), we suggest that passing examinations such as those discussed here is important for being a good doctor, and those who have difficulty in attaining such clinical knowledge will probably be less good doctors. Knowledge is generally preferable to ignorance, and clinical knowledge underpins clinical practice.


성적의 성 차이는 모든 연구에서 발견되었는데, 남성들은 GCSE/O 레벨에서 낮은 성능을 보이고, A 레벨에서 다소 높은 성능을 보인 다음, 의과대학 시험에서 한 번 더 낮은 성능을 보이는 경향이 있었다. 비록 결과가 코호트 전체에 걸쳐 완전히 일치하지는 않지만, 남성의 저성능은 매우 큰 UKCAT-12 연구에서도 나타났다[48].

Sex differences in performance were found in all of the studies, with males tending to underperform at GCSEs/O-levels, to overperform somewhat at A-levels, and then to underperform once more in medical school examinations. Although the results are not entirely consistent across the cohorts, the male underperformance was also shown in the very large UKCAT-12 study [48].


아마도 가장 놀라운 것은 거의 모든 연구에서, 이전의 학부 및 대학원 성적과는 상관없이, 남성들이 스페셜리스트 레지스터에 더 많이 등록될 가능성이 높다는 것이다. 전문의가 좀 더 학문적인 경향이 있지만, 이것은 남성 우위에 대해 설명할 것 같지 않다. 그 대신에 동기부여나 직업적 성공을 위한 추진력 중 하나와 다른 요소들을 고려할 필요가 있으며, 또는 사회학적, 가족적, 개인적 이유의 다양한 조합을 고려해야 한다. 이는 평균적으로 여성 의사들이 더 엄격하고 덜 유연한 병원 practice의 테두리에 들어가지 않을 수 있으며, 대신 general practice에 들어갈 수 있다[49].

Perhaps most striking is that in almost all of the studies, men were more likely to be on the Specialist Register, irrespective of earlier undergraduate and postgraduate performance. Although specialist practice does tend to be more academic, this is unlikely to explain the male predominance, and instead it is probably necessary to consider either factors differentially related to motivation or a drive for career success, or a host of sociological, familial, and personal reasons that mean female doctors may not enter the stricter, less flexible confines of hospital practice, and instead would enter general practice [49].


결론

Conclusions


학술 백본은 지식의 보다 정교한 기초 구조인 '인식 자본'과 '의학적 자본'의 개발이라는 관점에서 개념화할 수 있으며, 후자는 교육 중, 그리고 환자와의 임상 경험을 통해 습득될 수 있다. 아카데믹 백본은 학생 선발에서 A레벨과 같은 교육적 성취도의 척도를 사용할 수 있도록 강력한 지원을 제공한다.

The Academic Backbone can be conceptualized in terms of the development of the development of ever more sophisticated underlying structures of knowledge, ‘cognitive capital,’ and ‘medical capital’, with the latter being acquired during education, and through clinical experience with patients. The Academic Backbone provides strong support for using measures of educational attainment, such as A-levels, in student selection.




 2013 Nov 14;11:242. doi: 10.1186/1741-7015-11-242.

The Academic Backbonelongitudinal continuities in educational achievement from secondaryschool and medical school to MRCP(UK) and the specialist register in UK medical students and doctors.

Author information

1
UCL Medical School, University College London, Gower Street, London WC1E 6BT, UK. i.mcmanus@ucl.ac.uk.

Abstract

BACKGROUND:

Selection of medical students in the UK is still largely based on prior academic achievement, although doubts have been expressed as to whether performance in earlier life is predictive of outcomes later in medical school or post-graduate education. This study analyses data from five longitudinal studies of UK medical students and doctors from the early 1970s until the early 2000s. Two of the studies used the AH5, a group test of general intelligence (that is, intellectual aptitude). Sex and ethnic differences were also analyzed in light of the changing demographics of medical students over the past decades.

METHODS:

Data from five cohort studies were available: the Westminster Study (began clinical studies from 1975 to 1982), the 1980, 1985, and 1990 cohort studies (entered medical school in 1981, 1986, and 1991), and the University College London Medical School (UCLMS) Cohort Study (entered clinical studies in 2005 and 2006). Different studies had different outcome measures, but most had performance on basic medical sciences and clinical examinations at medical school, performance in Membership of the Royal Colleges of Physicians (MRCP(UK)) examinations, and being on the General Medical Council Specialist Register.

RESULTS:

Correlation matrices and path analyses are presented. There were robust correlations across different years at medical school, and medical school performance also predicted MRCP(UK) performance and being on the GMC Specialist Register. A-levels correlated somewhat less with undergraduate and post-graduate performance, but there was restriction of range in entrants. General Certificate of Secondary Education (GCSE)/O-level results also predicted undergraduate and post-graduate outcomes, but less so than did A-level results, but there may be incremental validity for clinical and post-graduate performance. The AH5 had some significant correlations with outcome, but they were inconsistent. Sex and ethnicity also had predictive effects on measures of educational attainment, undergraduate, and post-graduate performance. Women performed better in assessments but were less likely to be on the Specialist Register. Non-white participants generally underperformed in undergraduate and post-graduate assessments, but were equally likely to be on the Specialist Register. There was a suggestion of smaller ethnicity effects in earlier studies.

CONCLUSIONS:

The existence of the Academic Backbone concept is strongly supported, with attainment at secondary school predicting performance in undergraduate and post-graduate medical assessments, and the effects spanning many years. The Academic Backbone is conceptualized in terms of the development of more sophisticated underlying structures of knowledge ('cognitive capital' and 'medicalcapital'). The Academic Backbone provides strong support for using measures of educational attainment, particularly A-levels, in student selection.

Comment in

PMID:
 
24229333
 
PMCID:
 
PMC3827330
 
DOI:
 
10.1186/1741-7015-11-242


보건전문직 선발과 모집에 관한 2018 오타와 합의문(Med Teach, 2018)

2018 Ottawa consensus statement: Selection and recruitment to the healthcare professions

F. Pattersona , C. Robertsb , M. D. Hansonc, W. Hamped, K. Evae , G. Ponnamperumaf ,

M. Magzoubg, A. Tekianh and J. Clelandi




도입

Introduction


당시의 상황을 반영하여, 앞의 합의(Pridaux et al. 2011)는 평가 체계로서의 선발의 특징에 대한 합의, 그리고 서로 다른 선발 방법의 품질에 집중하였다.

Reflecting the state of the science at the time, the previous consensus (Prideaux et al. 2011) characterized selection as an assessment system and focused on the quality of different selection methods.


(1) 선발 철학과 정책

(1) Selection philosophy and policies

개별 교육훈련기관은 자신의 선발철학을 정의하고 국가 또는 국가기반 규정, 자체 역사, 사명 및 목표, 이해관계자 조직의 맥락 안에서 선발정책(또는 정책)을 고유하게 제정한다.

Individual education and training institutions define their selection philosophy and uniquely enact a selection policy (or policies) within the context of their national- or state- based regulations, their own history, mission and goals, and stakeholder organizations.


입학 정책이 의사들의 국가적 요구에 따라 훈련된 학생 수와 일치하도록 보장하라는 세계 의학 교육 연맹의 오랜 정책 지침이 있어왔다("에든버러 선언" 1988). 그러나, 최근의 시놉시스는 많은 필요한 경험적 증거가 기다리고 있지만, 선발정책은 이용 가능한 최상의 건강 결과와 바람직한 career uptake 데이터를 고려하지 않고 있다고 제안했다(Gorman 2018).

there has been a longstanding policy directive of the World Federation of Medical Education to ensure admission policies match the numbers of students trained with national needs for doctors (“The Edinburgh Declaration” 1988). Yet, a recent synopsis suggested that while much needed empirical evidence is awaited, selection policies are not taking account of the best available health outcomes and desirable career uptake data (Gorman 2018).


어떤 사람들은 정책 입법의 주요 장벽은 선발에 정치적 관심을 갖는 다양한 이해관계자들(예: 정부, 규제 기관 및 노동조합)이라고 제안한다.

Some suggest that a major barrier to policy enactment is various stakeholders having a political interest in selection (e.g. government, the regulators, and trade unions).


적어도 세 가지 접근법이 있다.

There are at least three approaches


[개개인에 초점을 둔 프로세스]에서, 학문적 성공을 위한 능력은 전형적으로 전 세계의 의대 및 전문 선발 시스템의 대다수에서의 선발의 기초가 된다. 학문적 성공에 초점을 맞춘 것은 Flexner 보고서(Finnerty et al. 2010; Flexner et al. 1910)의 후속편이며, 미국 의과대학 입학시험(MCAT)의 전조다. 이 적성검사는 지원자의 의학교육준비도를 평가하기 위해 실시되었다(McGaggie 2002). MCAT는 더 넓은 사회적 요소보다 개별 지원자의 장점(가장 일반적으로 학문적 성과로 정의됨)을 우선시한다(Razack et al. 2015). 최근에는 "학술 준비 상태"에 대한 local한 지리적 정의에 따라 (UKCAT)와 호주 대학원 입학 시험(GAMSAT)과 같이 다양한 표준화된 시험 방법이 개발되고 맞춤화되었다.

In individually focused processes, the capacity for academic success is typically the basis for selection in the majority of medical school and specialty selection systems globally. The focus on academic success is a sequelae of the Flexner Report (Finnerty et al. 2010; Flexner et al. 1910) and a precursor for the United States Medical College Admission Test (MCAT). This aptitude test was implemented to assess applicants’ academic readiness for medical education (McGaghie 2002). MCAT prioritizes the merit (defined most commonly as academic achievement) of individual applicants over broader social factors (Razack et al. 2015). Recently, a range of standardized testing methods have been developed and tailored to local geographic definitions of “academic readiness” (e.g. UK Clinical Aptitude Test (UKCAT) and the Graduate Australian Medical School Admissions Test (GAMSAT)).


의과대학 입학에서, 국제적으로 선발의 주류는 학문적 qualification에 계속 의존하고 있지만, 이것은 선발 목적으로 특별히 고안된 것이 아니다.

In medical school admissions, the mainstay of selection internationally continues to rely on academic qualifications which again are not designed specifically for selection purposes.


개인 속성을 포함하도록 선택의 폭을 넓히기 위해, 역량기반 프레임워크(Ferguson et al. 2002; Mahon et al. 2013)는 의료 전문가 또는 학생으로서 성공을 나타내는 것으로 생각되는 바람직한 행동과 태도 분류 체계를 기반으로 구축되었다(Patterson et al. 2016b). 이것은 역량 기반 의학교육의 원칙과 유사하다(Frank and Danoff 2007). 입학시의 선발 기준은 다중 소스 다중 방법 직무 분석 연구를 통해 도출되는 경우가 많다.

To broaden selection to encompass personal attributes, competency-based frameworks (Ferguson et al. 2002; Mahon et al. 2013) are built on a taxonomy of desirable behaviors and attitudes that are thought to indicate success as a healthcare practitioner or student (Patterson et al. 2016b), and bear some resemblance to the tenets of competencybased medical education (Frank and Danoff 2007). Entry-level selection criteria are often derived through multi-source, multi-method job analysis studies.


이어지는 다중 방법 선발 프로세스에는 학업성취도 지표 외에 구조화된 인터뷰/다중 미니인터뷰(MMI)와 상황 판단 시험(SJT)이 포함될 수 있다.

The subsequent multi-method selection processes may include structured interviews/multiple miniinterviews (MMI) and situational judgment testing (SJT) in addition to metrics of academic success.


개인 속성에 대해서 다양하면서도 일치된 프레임워크를 채택하는 이러한 이니셔티브의 결합은 국제적으로 선발과정에서 [지원자의 학업 준비도]와 [의학교육에 대한 인성적 준비 상태]를 평가하는 쪽으로의 변화를 가져왔다(Kirch 2012; Niessen and Meijer 2017). 나중에 논의하듯이 두 가지 유형의 조치는 모두 사회문화적으로 구속되어 있다. 

This confluence of initiatives which adapt varying but congruent frameworks of personal attributes has seen an international shift toward the assessment of both applicants’ academic readiness and their personal readiness for medical education (Kirch 2012; Niessen and Meijer 2017). As we discuss later, both types of measure aresocio-culturally bound. 


세 번째 선발 철학은 [어느 정도의 학업 능력]을 요구하지만, 동시에 [개인의 능력과 집단 사회적 기대 사이의 역동적인 상호작용]을 다루려고 시도한다. 이는 국제적으로 학생 다양성, 사회적 책임, 인력 계획 및 참여 확대를 포함한 다양한 지정 하에서 나타난다. 이전에 의료 및 보건 전문가 교육에 있어 대표성이 낮은 학생 인구의 참여를 늘리려는 노력은 동일한 학업성취에 대한 제도적 또는 사회적으로 결정된 장벽의 영향을 완화하는 것으로 생각된다.

The third selection philosophy assumes some level of academic capability but attempts to address a dynamic interplay between individual personal competencies and collective societal expectations, appearing globally under a range of designations including student diversity, social accountability, workforce planning, and widening participation. Efforts to increase participation of previously underrepresented student populations in medical and health professional education are thought to mitigate the impact of institutionally or societally determined barriers to their achieving the same academic success.




(2) 각각의 선발 방법은 얼마나 효과적인가?

(2) How effective are selection methods?


The research evidence for eight different selection methods is summarized in Table 1.


Table 1. Summary of the evidence and implications for different selection methods (Patterson et al. 2016a; Roberts et al. 2018).

1. 학업성취도 
1. Academic achievement 
예측 타당성에 대해서는 공감대가 높지만 고교 1등급을 달성하는 학생이 늘어나면서 차별력이 떨어지고 있다는 우려도 나온다. 게다가, 다른 유형의 학교와 학교 시스템 간의 비교가능성에 대해 자주 의문이 제기된다. 학교 시스템이 사회적으로 선택적이라면 학업성적표가 접근 확대에 부정적인 영향을 미칠 수 있다.
There is a high level of consensus regarding predictive validity, but concerns that the discriminatory power is diminishing as increasing numbers of students achieve top high-school grades. Moreover, comparability across different types of schools and school systems is frequently questioned. Academic records can negatively impact widening access if school systems are socially selective

2. 적성 검사
2. Aptitude tests 
여러 적성검사들은 [순수한 능력]과 [순수한 지식] 테스트 사이의 연속체에 위치한다. 신뢰성은 호의적인 경향이 있다. 특히 자연과학에서의 지식 부분은 학업 성과를 예측한다. 적성검사의 공정성, 특히 예측 타당성에 관한 증거가 뒤섞여 있으므로 각 도구는 자체적인 평가를 필요로 한다. 지식 테스트는 또한 종종 대학원 선택에 사용되며, 이러한 맥락에서 바람직한 신뢰성과 타당성을 입증한다.
Different tests are located on a continuum between pure ability and pure knowledge tests. Reliability tends to be favorable. The knowledge parts especially in the natural sciences predict study performance. Evidence is mixed on the fairness of aptitude tests, specifically regarding predictive validity, so each tool requires evaluation in its own right. Knowledge tests are also often used for postgraduate selection and demonstrate in this context favorable reliability and validity

3. 자기소개서
3. Personal statements & CVs 
지원자의 수용도는 높지만 코칭과 표절의 가능성 역시 높다. 예측 타당성에 대한 증거는 거의 없다. 대학원 모집의 경우 CV가 면접의 일부로 사용되는 경우가 많지만, 일반적으로 표준화되지 않은 형식으로 사용됨 
Candidate acceptability is high, but susceptibility to coaching and plagiarism is also high. There is very little evidence for predictive validity. For postgraduate recruitment CVs are often used as part of an interview but usually in a nonstandardized format 

4. 추천서
4. References & Letters of recommendation
타당성이나 신뢰성을 뒷받침하는 연구가 희소하고, 채점에 비용이 많이 든다. 그러나 추천서 사용은 여전히 널리 퍼져있고 지원자 반응은 긍정적이다. 추천서는 문제가 있는 지원자를 표시하기 위해 사용될 수 있다.
Little research supporting validity or reliability and high costs for scoring. However, use of references remains widespread and candidate reactions are positive. References might be used to flag problematic applicants.

5. SJT
5. SJTs 
비학업적 특성(예: 성격 테스트)을 위한 다른 대량 선택 도구에 비해 타당도가 향상되었으며 조직의 가치에 매핑할 수 있다. SJT는 설계에 상대적으로 비용이 많이 들 수 있지만 기계에 표시하여 온라인으로 배송할 수 있으므로 대량 선택 시 비용 절감 효과를 얻을 수 있다. 텍스트 기반에서 멀티미디어 항목 프레젠테이션에 이르기까지 포맷의 유연성 적절한 설계를 통해 코칭의 신뢰성을 최소화할 수 있음
Improved validity over other high-volume selection tools for nonacademic characteristics (e.g. personality tests) and can be mapped to organizational values. Although SJTs can be relatively costly to design, they can be machine-marked and delivered online, producing cost savings in high-volume selection. Flexibility in format from text-based to multi-media item presentations. Susceptibility to coaching can be minimized through appropriate design

6. 성격 검사
6. Personality assessment 
어떤 성격적 특성은 비록 사용된 성격 도구에 따라 그 증거가 혼합되어 있기는 하지만 훈련 중 성과와 연관되어 있다. 조작이나 코칭에 취약성이 높은 경우, 성격검사를 사용하여 인터뷰 시(검증없는 독립 실행형 도구로서가 아니라) 보다 집중적인 질문을 유도할 수 있다.
Some personality traits have been linked to in-training performance although depending on the personality tool used the evidence is mixed. Where there is a high risk for susceptibility to faking or coaching, personality assessment might be used to drive more focused questioning at interviews (rather than as a standalone instrument without verification)

7. 면접
7. Interviews/MMIs 
기존의 비구조화 면접은 낮은 성능을 발휘하는 반면, 역할 분석을 기반으로 한 구조화된 면접은 표준화된 질문, 훈련된 면접관 및 적절한 점수를 통해 신뢰할 수 있고 유효한 방법이 될 수 있다. MMI는 가장 체계적인 인터뷰 유형이다. 그들은 일반적으로 6개 이상의 인터뷰 스테이션으로 구성되어 있으며, 이는 신뢰도를 높이기 위해 성능 샘플링을 넓힌다. MMI는 설계와 구현에 상대적으로 비용이 많이 들지만, 좋은 유효성과 긍정적인 후보 반응을 제공할 수 있다. 모든 유형의 면접은 지원자와의 실시간 상호작용의 기회를 만들어 제공하지만, 지원자와 프로그램 간의 보다 개인적인 연결을 가능하게 하는 것과 같은 다른 이점을 제공한다. 후보들은 다른 방법보다 인터뷰를 선호한다.
Traditional unstructured interviews perform poorly, whereas structured interviews based on a role analysis, with standardized questions, trained interviewers, and appropriate scoring, can be reliable and valid methods. MMIs are the most structured type of interviews. They typically comprise six or more interview stations, which broadens the sampling of performance to enhance reliability. MMIs are relatively expensive to design and implement but can offer favorable validity and positive candidate reactions. All types of interviews create the opportunity for a live interaction with applicants which makes them resource-intensive to deliver, but offers other advantages such as enabling a more personal connection between applicant and program. Candidates prefer interviews to other methods

8. 선발 센터
8. Selection centers (SCs) using work samples & simulations
다중 스테이션 SC는 광범위한 시뮬레이션(예: 그룹 연습, 진행 중인 작업, 프레젠테이션, 역할 참여자와의 대화형 연습)을 수반하기 때문에 설계 및 구현에 상대적으로 비용이 많이 든다. MMI와 유사한 다중 샘플링 접근법을 제공한다. SC는 대학원 선택에 사용되었으며, 학부 의료 선택에서 SC의 예측 유효성에 대한 추가 증거가 필요하다.
Multi-station SCs are relatively expensive to design and implement as they involve a range of simulations (e.g. group exercises, in-tray tasks, presentations, interactive exercises with role players). They offer a similar multisampling approach as MMIs. SCs have been used in postgraduate selection and further evidence of the predictive validity of SCs in undergraduate medical selection is required

앞의 진술에서와 같이, 후보자들의 사전 학업 성취는 국제적으로 선발 정책의 보편적인 특징으로 남아있고, 이에 대한 증거의 강점은 여전히 강하다. 기관과 프로그램 간의 비교 가능성에 대한 지속적인 우려와 성적 인플레이션에 대한 우려에도 불구하고, 이전 등급은 미래의 교육 성과에 대한 강력한 예측자로 남아 있다(Ferguson et al. 2002; Siu and Reiter 2009).

As in the previous statement, prior academic attainment of candidates remains a universal feature of selection policies internationally and the strength of evidence for this remains strong. Despite ongoing concerns about comparability across institutions and programs, and concerns about grade inflation, prior grades remain a robust predictor of future educational achievements (Ferguson et al. 2002; Siu and Reiter 2009).


적성 검사에서는 주로 사용 가능한 많은 종류의 적성 검사가 있어서 그림이 덜 명확하다. 

  • 일반 인지 능력 테스트(예: UKCAT)

  • 과학적 지식 테스트까지 포함하는 것(예: UMAT(의료 및 보건 과학 감도 테스트) 

  • 두 가지 유형의 혼합물(예: MCAT 2015). 

The picture remains less clear for aptitude tests mainly due to the large number of different aptitude tests available, ranging from 

  • tests of general cognitive ability (e.g. UKCAT) versus 

  • those that also comprise tests of scientific knowledge (e.g. Undergraduate Medical and Health Sciences Aptitude Test (UMAT)) versus 

  • hybrids of the two types (e.g. the MCAT 2015). 


적성검사에 대한 성과는 커리큘럼의 초기 및 의대 종료 시 시험 성과와 같은 주로 중간점 또는 끝점 훈련 결과 측정과 비교되었다(McManus et al. 2013). 적성검사가 특정 유형의 후보를 선호하거나 선호하지 않을 수 있다는 모호한 증거가 있으며, 이는 의학교육에 대한 공정성과 접근 확대에 영향을 미칠 수 있다(Tiffin et al. 2012; Livens et al. 2016; Kumar et al. 2018).

Performance on aptitude tests has been compared to mainly midpoint or endpoint training outcome measures, such as exam performance early in the curriculum (McManus et al. 2013) and at the end of medical school (Tiffin et al. 2016). There is equivocal evidence that aptitude tests may or may not favor certain types of candidates, which may have implications for fairness and widening access to medicine (Tiffin et al. 2012; Lievens et al. 2016; Kumar et al. 2018).


마찬가지로 일부 성격 특성이 훈련 중인 성과와 연계되어 있지만(예: 리벤스 등, 2009), 성격 평가가 선택에 유용한 정도에 관한 증거는 기껏해야 혼합되어 있다(Patterson et al. 2016a; Roberts et al. 2018 참조). 최근의 증거는 또한 성격 특성이 더 이상 행동의 안정된 결정론적 예측 인자로 간주되지 않고 대신 오랜 삶에 걸쳐 변화하며 그리고 환경적 우발성에 대응하여 변화되는 것으로 확인된다는 것을 시사한다(퍼거슨과 리븐스 2017). 이는 [성격의 역동적 특성]과 [성격 표현의 맥락 특이성]을 고려할 때 특정 성격의 선택에 초점을 맞추는 접근방식이 제한된 유효성을 가질 수 있음을 암시한다.

Similarly, although some personality traits have been linked to in-training performance (e.g. Lievens et al. 2009), the evidence regarding the extent to which personality assessment is useful in selection is mixed, at best (see Patterson et al. 2016a; Roberts et al. 2018). Recent evidence also suggests that personality traits are no longer regarded as stable deterministic predictors of behavior and are instead found to change across life span and in response to environmental contingencies (Ferguson and Lievens 2017). This implies that approaches focusing on selecting out for specific traits might be of limited validity given the dynamic nature of traits and the context specificity of trait expression,


이전의 합의문(Pridau et al. 2011) 이후 MMI와 SJT가 자기소개서, 추천서보다 의사소통 능력, 윤리적 추론, 공감 및 무결성과 같은 개인간 속성과 개인 내 속성의 보다 유효한 예측자임을 입증하는 연구가 더 많이 등장했다(Patterson et al. 2016a). MMI와 SJT는 상호 보완적이며 선택 과정의 다른 단계에서 가장 일반적으로 사용된다.

Since the previous consensus statement (Prideaux et al. 2011), more research has emerged demonstrating MMIs and SJTs to be more valid predictors of inter- and intra- personal attributes such as communication skills, ethical reasoning, empathy and integrity than personal statements, letters of recommendation or references (Patterson et al. 2016a). MMIs and SJTs are complementary and most commonly used at different stages of selection processes.


많은 항목을 포함하는 SJT의 능력은 보다 광범위한 구인의 실현 가능한 측정을 제공할 수 있으며, 더 많은 수의 지원자가 컴퓨터로 배송되고 기계 표시가 가능하기 때문에 사용할 수 있다. 이와 같이 SJT는 면접에 초대받은 사람을 심사할 목적으로 자주 사용된다.

SJTs’ capacity to include many items can offer feasible measurement of a broader range of constructs and can be used for larger numbers of applicants as they can be computer-delivered and the machine-marked. As such, SJTs are often used for purpose of screening who is invited to an interview.


반면 MMI는 미리 선정된 지원자들의 관점을 좀 더 심도 있게 조사할 수 있는 대면조회를 제공한다. 대면은 선택 방법의 심리학적 특성과 무관한 추가적인 이득을 제공할 수 있다. 예를 들어, 그것은 해당 기관이 개인적 연결personal connection을 가치있게 생각한다는 것을 보여주며, 지원자가 자신과 학습 환경 사이의 적합성fit을 평가하는 데 도움이 되는 의료 학교 또는 [전문 교육 환경을 방문한다는 것]을 나타낸다(Burgess e).t al. 2014).

On the other hand, MMIs offer a face-to-face encounter allowing the perspectives of a preselected group of applicants to be probed in more depth. Face-to-face encounters may offer additional gains unrelated to the psychometric properties of the selection method: for example, they indicate institutional valuing of personal connections and visiting the medical school or specialty training setting which help applicants to assess the fit between themselves and the learning environment (Burgess et al. 2014).


SJT와 MMI는 모두 측정 방법론이며, 각 설계 매개변수는 모집 기관의 목적에 따라 크게 달라질 수 있다(Knorr 및 Hissbach 2014). 구성 요소가 기관의 요구에 완벽하게 부합하는 사용 가능한 형식이 있을 수 있지만, 목적과 맥락에 따라서 특정한 설계를 요구할 수 있다(Reiter and Roberts 2018).

both SJTs and MMIs are measurement methodologies and the design parameters for each can vary significantly depending on the purpose of the recruiting institution (Knorr and Hissbach 2014). While there might be an available format whose components perfectly align with an institution’s needs, the purpose and context might require a specific design (Reiter and Roberts 2018).


이러한 모든 선택 방법은 [선택 목적과 특정 맥락에 의해 결정되는 다양한 설계 매개변수들]로 구성된다. 여러가지 선발방법의 명명은 어떻게 구현되어야 하는가에 대한 명확한 추론을 보여주는 것이 아니라 [선발에 필요한 데이터를 수집할 수 있는 방법의 범주]를 나타낸다. 결과적으로, 어떤 방법의 특정 버전의 타당성과 품질에 대한 보편적인 주장은 신중하게 판단되어야 한다. 

All these selection methods comprise a multitude of different design parameters, which are informed by the purpose of selection and the particular context. The labeling of differing methods indicates the categories of ways in which data can be collected to support selection rather than allowing definitive inferences to be drawn regarding how the methods were implemented. As a result, universal claims of validity and quality of any specific version of a method should be judged cautiously. 


예를 들어, 면접이나 필기시험의 형식이 다른 서로 다른 맥락에서 MMI와 SJT를 평가할 때, 시험의 효과성(Reiter 및 Eva 2018)과 다른 선택 맥락에 대한 일반성에 대한 결론을 도출하기 전에) 각 시험은 개별적으로 평가되어야 한다. 대규모 및 메타 분석 연구의 결과는 다양한 선발방법의 품질을 일반적인 관점에서 보여주지만, 특정 선발 프로세스의 효과를 결정하기 위해서는 국지적인 검증 연구가 필요하다.

For example, when evaluating MMIs and SJTs in differing contexts with differing formats of an interview or written test, each test must be evaluated individually before reaching conclusions about both its effectiveness (Reiter and Eva 2018), and generalizability to other selection contexts. Although results from large-scale and meta-analytic studies can indicate the quality of different selection methods in general, local validation studies are required to determine the effectiveness of any given selection process.


다양한 선택 방법의 품질을 판단하는 데 있어 일관된 문제는 소위 기준 문제와 관련이 있다. 즉, 어떤 결과를 예측하려고 하는가? 예측 타당성 연구는 일반적으로 합의된 "골드 스탠더드"가 필요하지만, 보건 전문가의 성과를 측정하는 데 [이론의 여지가 없는 단일 골드 표준]이란 존재하지 않는다(Patterson et al. 2017; Roberts et al. 2018).

A consistent problem in judging the quality of different selection methods relates to the so-called criterion-problem; that is, what outcomes are we trying to predict? Predictive validity studies require a generally agreed-upon “gold standard,” but there is no single undisputed gold standard that measures the performance of a practicing health professional (Patterson et al. 2017; Roberts et al. 2018).


가중치를 어떻게 부여하느냐에 따라 선택된 모집단의 측면에서 다른 결과가 초래될 것이라는 증거가 명백하다(예: 페르난도 외 2008; 티핀 외 2012; 그리핀 및 후 2015).

evidence is clearly identifies that diverse ways of weighting different methods will lead to different outcomes in terms of the population selected (e.g. Fernando et al. 2008; Tiffin et al. 2012; Griffin and Hu 2015).


선발 방법을 평가하기 위해 사용되는 결과 측정은 흔히 직무 역할에서 임상 실습 및 [일반적인(일상) 성과]와 관련된 지표보다는 성취도와 [최대 성과](예: 의대 성과, 면허 시험에서의 성과)에 초점을 맞춘다. 이용할 수 있는 (제한된) 종방향 예측 유효성 연구 중, 목표 결과 변수와 그 해석을 명확히 하기 위해 추가적인 명확성이 필요하다.

Outcome measures used to evaluate selection methods often focus on indicators of attainment and maximal performance (e.g. medical school achievements, performance in licensure exams) rather than indicators relating to clinical practice and typical (day-to-day) performance in the job role. Of the (few) longitudinal predictive validity studies available, additional clarity is needed to articulate the target outcome variables and their interpretation.


(3) 다양성과 세계화 문제

(3) Diversity and globalization issues


경제적으로 불리한 배경, 시골 배경 또는 특정 민족과 문화 그룹과 같은 특정 그룹의 사람들은 전 세계적으로 의학 부문에서 낮은 평가를 받고 있다(Bowes et al. 2013). Razack 등(2015년)은 배타적 프로세스에서 포괄성을 가능케 하기 위해 고려할 수 있는 다중 우수성을 분석한 결과, 권력 역학이 직업과 한계 그룹 사이에 어떻게 개입하는지를 입증하는 데 도움이 된다. 여기에는 역사적으로 주목받지 못한 일부 사회 집단의 앞에 놓인 상류 장애물을 보는 것도 포함된다.

People from certain groups, such as those from economically disadvantaged backgrounds, rural backgrounds, or certain ethnic and cultural groups remain under-represented in medicine worldwide (Bowes et al. 2013). Razack et al.’s (2015) analysis of the multiple excellences that might need to be considered to enable inclusiveness in an exclusive process helps to demonstrate how power dynamics intervene between the professions and marginalized groups. This includes looking upstream at impediments put before some social groups that have not historically been noticed.


예를 들어 얼마 전까지만 해도 영국의 입학 자료에는 의과대학에서 가장 과대평가된 사회반과 가장 과소평가된 사회반 사이에 600배의 차이가 있음을 알 수 있었다(힐튼과 루이스 2004; 세얀 외 2004). 민족성과 관련하여, 아프로-카리베인 노동계급 남성들은 영국에서 의학에도 적용하지 않는 경향이 있으며(Kumwenda et al. 2018), 이와 유사하게 터키 소수 집단은 독일에서의 의료 교육에서 현저하게 미흡하다. 이러한 경향은 시간이 지남에 따라 안정적이며(Mathers et al. 2016) 거의 모든 지역에서 관찰되었다(Edwards et al. 2000; Crosby et al. 2003; Frazer 2005; Young et al. 2012; Gale and Parker 2013).

For example, not so long ago, the UK admissions data indicated that there was a 600-fold difference between the most over-represented and most under-represented social classes in medical school (Hilton and Lewis 2004; Seyan et al. 2004). Regarding ethnicity, Afro-Caribbean workingclass males tend not to even apply to medicine in the UK (Kumwenda et al. 2018), and similarly, Turkish minority groups are significantly underrepresented in medical education in Germany. These trends have been stable over time (Mathers et al. 2016) and observed in almost all parts of the world (Edwards et al. 2000; Crosby et al. 2003; Frazer 2005; Young et al. 2012; Gale and Parker 2013).


엘리트로서의 의학 교육의 재생산적 성격은 영구적으로 유지된다. 덜 advantaged 사회 집단의 젊은이들이 성공을 입증하는 데 겪는 장애물로는 

  • 교육 과정 내내 낮은 수준의 학업 성취 달성(Gorard et al. 2006) 

  • 자신감 결여(Greenhalgh 등, 2006) 

  • 의료 경력과 동일하지 않음(Mathers and Parry 2009; Southgate et al. 2015) 

  • 의대(Nicholson 및 Cleland 2017)에 성공적으로 지원 및 진행하기 위해 정보 및 자원과 협상할 수 없음 

  • 의료 교육 비용과 돈을 벌어야 하는 필요성에 민감함(Sianou-Kyrgiou 및 Tsiplakides 2011) 

  • 대학 교육 이력이 없는 가정 출신(Rob et al. 2007; Southgate et al. 2015) 

  • 의학을 열망할 동기를 부여하거나 지지하지 않는 중등(고등) 학교에 다니는 것(McHarg 등, 2007).

The reproductive nature of medical education as elite is perpetually maintained. Barriers in demonstrating success for young people from less advantaged social groups include routinely 

  • achieving lower levels of academic achievement throughout their schooling (Gorard et al. 2006); 

  • lack of self-confidence (Greenhalgh et al. 2006); 

  • not identifying with a medical career (Mathers and Parry 2009; Southgate et al. 2015); 

  • being unable to negotiate to information and resources to successfully apply to, and progress through, medical school (Nicholson and Cleland 2017); 

  • being sensitive to the cost of medical education versus the need to earn money (Sianou-Kyrgiou and Tsiplakides 2011); 

  • coming from a family without a history of university education (Robb et al. 2007; Southgate et al. 2015); and 

  • attending secondary (high) schools that do not motivate or support students to aspire to medicine (McHarg et al. 2007).


많은 국가에서 주요 정책상의 의무는 특정 집단(사회-경제적 지위가 낮은 그룹, 특정 민족 배경, 외딴 지역과 시골 지역에서 유래한 지역 및/또는 토착 인구 포함)의 대표성을 높이기 위한 정부 투자의 지원을 받아 의학교육에 대한 접근 확대를 촉진한다.

In many countries, major policy imperatives promote widening access into medicine, backed by governmental investment to increase the representation of certain groups (including those from lower socio-economic status (SES), certain ethnic backgrounds, originating from remote and rural locations, and/or indigenous populations).


이에 대한 근거는 두 가지다. 

  • 첫째, 사회 정의와 사회 이동성의 사회적 이슈를 모든 배경의 사람들을 고등교육으로 장려하는 관점에서 다루기 위해서입니다출생이 사람의 사회적, 경제적 결과를 좌우하는 것이어서는 안된다(Nicholson and Cleland 2015). 

  • 둘째, 의료 인력의 다양성은 자신이 봉사하는 지역사회의 맥락과 문화를 이해하는 잘 훈련된 의사의 공급을 보장함으로써 건강관리 품질을 개선하는 데 필수적인 것으로 간주된다(Xu et al. 1997; Whitla et al. 2003; Saha et al. 2008).

The rationale for this is twofold. 

  • First, to address societal issues of social justice and social mobility in terms of encouraging people from all backgrounds into higher education rather than birth dictating one’s social and economic outcomes in life (Nicholson and Cleland 2015). 

  • Second, a diverse healthcare workforce is considered essential to improving healthcare quality by ensuring a supply of well-trained doctors who understand the context and culture of the communities they serve (Xu et al. 1997; Whitla et al. 2003; Saha et al. 2008).


역설적으로, 학업 성취도에 대한 의존에서 [역량기반 모델]로 이동하려는 노력은 입학 위원회에서 종종 지원자의"개인적 준비"의 지표로 취급하는 많은 활동에 참여할 기회에 대한 장벽을 증폭시킬 위험을 초래할 수 있다. 2018).

Paradoxically, efforts to move away from a reliance on academic achievement toward competency-based models can run the risk of amplifying these barriers as only the privileged can be expected to have opportunities to participate in many of the activities that admissions committee often treat as indicators of applicants’“personal readiness” (Wouters 2018).


접근의 확대에 대한 접근방식은 철학과 맥락에 따라 크게 달라지며, [지원자의 개인적 권리]와 [그들이 봉사할serve 사람들의 집단적 권리] 사이에 문제가 제기된다

  • 한쪽에서, 동등한 능력을 가진 지원자는 어떤 인구통계학적 그룹 출신이라는 이유로 차별받아서는 안 된다(Woolf et al. 2011; Roberts et al. 2018). 

  • 한편, 지원자를 인구학적 프로파일에 분류할 때 쿼터 같은 차별적 행동 정책이 유사한 인구학적 프로파일을 가진 지리적 지역에서 보건 전문가로 활동할 확률을 높일 것이라는 가정도 있다. 인구통계에 기초한 접근 확대가 다양한 인력 제공의 목적을 충족시킬 수 있는지에 대한 비판적 성찰과 경험적 증거가 필요하다.

The approach to widening access varies widely by philosophy and context, raising a conundrum, between the individual rights of an applicant and the collective rights of the people they will serve. 

  • On one side, no applicant of equal ability should be discriminated against by virtue of which demographic group they come from (Woolf et al. 2011; Roberts et al. 2018). 

  • On the other side, the assumption that affirmative action policies such as quotas in classifying applicants on their demographic profile will increase the probability of them practicing as a health professional in geographical areas with a similar demographic profile. There needs to be critical reflection and empirical evidence as to whether widening access on the basis of demographics can meet the purpose of providing a diverse workforce.


일부 국가는 쿼터제를 사용하여 대상 그룹으로부터 지원자를 위한 장소를 보호하는데, 이는 별로 대표되지 않은 지원자가 쿼터제 때문에 입학을 획득한 스테이그마를 만드는 데 문제가 있을 수 있다.

Some countries use quota-based systems to protect places for applicants from target groups which may be problematic in creating stigmas that under-represented problematic in creating stigmas that under-represented applicants gained entry only because of the quota system.


  • 유럽에서는 프랑스가 의과대학에 입학할 때는 거의 선발이 없지만, 교육과정의 초기에 시험에 근거해 학생 수를 대폭 줄여서 SES가 선발에 미치는 영향을 줄일 수 있다. 

  • 독일에서, 의학에 대한 자유로운 선택을 위한 헌법상의 권리는 중등학교 졸업 후 가장 오래 기다린 지원자들에게 주어지는 20%의 할당제를 낳았다. 그러나 이들 학생들의 중퇴율은 높으며 최근 헌법 재판소는 이 정원을 없앨 수 있다고 결정했다. 

  • 반면, 미국에서 선발시 인종적 고려를 금지하는 법은 의료계의 의료 불평등을 해결하기 위한 심각한 장애물을 내포하고 있다(Garces and Micki-Pabello 2015).

  • In Europe, France has little selection at entry into medical school but drastically reduces the number of students based on examinations early in the curriculum, which might reduce the impact of SES on selection. 

  • In Germany, the constitutional right for a free choice into medicine gave rise to a 20% quota of study places that are given to those applicants who have waited the longest from graduation from secondary school. However, the dropout rates among these students are high and the constitutional court recently decided that this quota can be eliminated. 

  • By contrast in the United States, state-wide laws banning the consideration of ethnicity in selection pose serious obstacles for the medical profession to address inequities in care (Garces and Mickey-Pabello 2015).


네덜란드에서는 후보자들이 더 높은 SES나 사회적 자본의 지원자를 선호하기 때문에 다양성이 결여될 수 있는 선발 시스템을 "전략적으로 게임"하기 위해 사용할 수 있는 수단을 사용할 것이라는 인식이 있다(Wouters et al. 2017; Stegers-Jager 2018). 일부 사람들은 전국 복권이 이러한 문제를 피할 수 있다고 주장한다(Hofstee 1983; Wouters et al. 2017). 그러나 다른 이들은, 만약 학문적 성공이 복권의 수를 결정한다면, 공정성을 가정할 수 없다고 말한다(Griffin과 Hu). 그러나 네덜란드의 중등교육 시스템은 모두 공공 자금으로 지원되며 계층화tiered 되어 있는데, 이는 (학업적으로) 상위 계층의 학생들만이 대학에 지원할 수 있고, 중등학교 기간 동안 최하위 계층에 입학한 학생들은 올라갈 수 있다는 것을 의미한다. 이것은 SES의 영향을 부분적으로만 받는다.

In the Netherlands, some perceive that candidates will use means available to them to “strategically game” the selection system which may create a lack of diversity as it favors applicants of higher SES or social capital (Wouters et al. 2017; Stegers-Jager 2018). Some argue that a national lottery may avoid these problems (Hofstee 1983; Wouters et al. 2017). Others state, however, that one cannot assume fairness if incoming academic success determines the number of lottery tickets one receives (Griffin and Hu 2015). The secondary school system in the Netherlands is all publicly funded and tiered however, which means that only students from the top tier – academically – can apply for university, and during the secondary school period students who have entered in the lowest tier can move up. This is only partly influenced by SES.


전반적으로, 의학의 다양성을 증가시키는 다양한 접근방식에 관한 효과의 증거는 모호하다. 긍정적인 관점에서, 새로운 선택 도구는 신청자 모집단의 다른 부분에 대한 중립성을 시험하는 것이 관례다(Moreau et al. 2006; Reiter et al. 2012; Livens et al. 2016). 좀 더 신중한deliberate 선택 기법을 사용하는 것으로의 전환은 더 나은 학생 성과 결과를 산출하는 것으로 보인다(Stegers-Jager 2018). 더 광범위한 역량 기반 선택 모델을 향한 움직임은 (예를 들어 호주에서와 같이) 일부 맥락에서 학문적 성과에만 의존하는 해로운 영향을 상쇄(어느 정도)하는 것으로 보인다(Griffin 및 Hu 2015). 조건화된 입학 절차들은 덜 준비된 배경의 지원자들이 의대에서 더 쉽게 통합되고 성공할 수 있도록 하는 것으로 나타났다. (Girotti et al. 2015)

Overall, the evidence of effectiveness regarding various approaches to increasing diversity in medicine is equivocal. On a positive note, it is customary for newer selection tools to be tested for their neutrality toward different sections of the applicant population (Moreau et al. 2006; Reiter et al. 2012; Lievens et al. 2016). The transition toward using more deliberate selection techniques appear to be yielding better student performance outcomes (Stegers-Jager 2018). The movement toward broader competency-based models of selection appear to offset (to some degree) the deleterious effects of relying solely on academic achievement in some contexts, for example, in Australia (Griffin and Hu 2015). Conditionalized admissions processes have been shown to successfully enable less prepared applicants from under-represented backgrounds to more readily integrate and succeed in medical school (Girotti et al. 2015).


"표준화된 입원비"를 생성하여 접근 확대에 대처할 수 있는 기술 솔루션(다른 사회 부문으로부터 의학을 공부하도록 인정된 비율이 모집단 비율과 일치) 또는 "제한된 최적화" 모델(Kreiter 2002)은 의과대학에서 채택하지 않았다. 반면에, 의대에 입학하기 전 또는 의과대학의 초기 단계(Girotti et al. 2015)이든, 적절한 학업 훈련을 받을 수 있는 덜 혜택 받지 못한 그룹의 학생들을 장려하기 위한 조건부 입학 및 융성 프로그램에 의해 보여지는 유망한 결과들이 있다. 

Technical solutions, which may address widening access by generating “standardized admission ratios” (where the proportion admitted to study medicine from different social segments is matched with their population proportion: McManus 2002; Seyan et al. 2004) or “constrained optimization” models (Kreiter 2002) have not been embraced by medical schools. On the other hand, there is promising results shown by conditional admissions and enrichment programs aimed toward promoting students from less advantaged groups who can receive the proper academic training, either prior to entry into medical school or early on in their medical school (Girotti et al. 2015).


선발 영역에는 두 가지 특정 영역이 있는데, 여기서 실무와 정책은 시장 힘에 의해 강하게 영향을 받는다. 많은 지역에서, 선발 도구는 "제품화"되었고, 지원자(예: 구매식 입시 대비 과정)와 학교(예: 선정 시스템에 포함될 수 있는 "사외" 제품/테스트)에 상업적으로 판매되었다. 코칭 제품이 반드시 지원자의 성공을 향상시키는 것은 아니라는 연구 결과가 일부 있다(예: Griffin et al. 2008; 리뷰는 Griffin (2018) 참조).

There are two particular areas of selection where practice and policy are strongly influenced by market forces. In many locations, selection tools have been “productized” and commercially marketed to applicants (e.g. fee-payable preparatory courses) and schools (e.g. “off-the-shelf” products/tests that can be included in the selection system). There is some research suggesting that coaching products do not necessarily improve application success (e.g. Griffin et al. 2008; see Griffin (2018) for a review).


세계화된 경제에서 의료 이주는 증가하는 이슈다. 아프리카와 중동과 같은 많은 개발도상국에서는 높은 이주율과 이주 의향이 있다(Bailey et al. 2012; Suciu et al. 2017). 이러한 의도는 일시적일 수 있다(예: 전문과 훈련을 위해 해외로 나갔다가 출신지에서 다시 일하게 된다; Tekian and Boulet 2015) 또는 영구적일 수 있다. 해외 연수 의사를 적극적으로 채용할 수 있도록 하고 장려하는 정책, 규제, 입법은 가난한 나라에서 부유한 나라로 이주하는 의료 종사자의 '두뇌 유출'을 전파할 수 있다(smith 2008). 예를 들어 사하라 사막 이남 아프리카는 (세계 질병의) 24%의 부담을 가지고 있지만, 의료 종사자의 경우는 3%에 불과하다(세계보건기구 보고서 2006). 규제 기관이 21세기 의료 마이그레이션 흐름을 조정된 글로벌 수준에서 고려할 수 있는 민첩성을 가지고 있는지 여부를 질문할 필요가 있다(Hawthorne 2015).

In a globalized economy, medical migration is an increasing issue. In many developing countries, such as in Africa and the Middle East, there are high rates of migration and intention to migrate (Bailey et al. 2012; Suciu et al. 2017). These intentions may be transient (e.g. going abroad for specialty training and then returning to work in the country of origin; Tekian and Boulet 2015) or permanent. Policy, regulations, and legislation that enable and encourage active recruitment of overseas-trained doctors can propagate the “brain drain” of health workers migrating from poor to wealthy countries (Smith 2008). For example, Sub-Saharan Africa has 24% of the burden (of global disease) but only 3% of health workers (World Health Organization Report 2006). The question needs to be asked whether regulatory bodies have the agility to consider twenty-first century medical migration flows at a coordinated, global level (Hawthorne 2015).



(4) 이론과 평가

(4) Theory and evaluation


보건 분야 종사자 선발에 관한 문헌이 급속히 증가하고 있다고 평가함에 있어서, 현장에서의 토론을 알리기 위해 "과학적 방법"을 채택한다고 주장하는 사람들의 주된 의제는 정신측정학(즉, 선택 관행에서 예측 가능한 타당성과 신뢰성을 달성하는 최선의 방법)이었다.

In appraising the rapidly increasing literature on selection into the health professions, the dominant agenda for those claiming to adopt “scientific methods” to inform the debates in the field has been psychometric (i.e. how best to achieve predictive validity and reliability in selection practices).


학습 분석을 사용하는 빅데이터 접근방식은 훈련 중인 성능 및 잠재적으로 건강 결과 데이터와 관련된 선택도 보장한다(Ellaway et al. 2014). 그러한 분석의 학제간 성격을 고려할 때, 우리는 보다 정교한 예측 타당성 연구를 예상해야 하며, 선발 관행의 맥락과 내용에 차이를 고려하는 다기관 고품질 데이터 세트에 적용해야 한다.

Big data approaches using learning analytics also bear promise in relating selection to in-training performance and potentially health outcomes data (Ellaway et al. 2014). Given the interdisciplinary nature of such analysis, we should expect more sophisticated predictive validity studies, applied to multi-site highquality data sets that take differences in context and content of selection practices into account.


선택은 (심리측정적) 진공에서 일어나지 않는다. 이를 조사하기 위한 적절한 이론적 프레임워크와 적절한 방법론을 개발하기 위해 혼합된 방법 접근법이 더 적절할 수 있다. 선발 철학, 정책 및 결과는 고정된 것이 아니라, 의료 교육의 글로벌 및 국가, 사회, 정치적 동인에 근거하여 변화한다(Cooke et al. 2010; Frenk et al. 2010; Hodges and Ringard 2012). 선발을 뒷받침하는 광범위한 사회적 세력들이 수월성을 정의하는 특정한 방법에 따라 충돌할 수 있으며, 학생이나 수습 기관의 다양성을 증가시키기 위해 노력하는 일부 의과대학과 전문 선발 위원회에 불편한 긴장을 야기할 수 있다. 이는 입학 환자, 의자, 기관 직원, 지원자, 보건 제공자, 규제자, 기금가, 대학, 사회를 포함한 행위자와 이해당사자들 사이의 다중적이고 복잡한 제도적 요구와 협상을 반영하여 서로 다른 건강 전문 기관이 다른 선택 목적과 목표를 가지도록 유도한다(클리랜드). 등, 2015; Razack 등, 2015; Alexander 등, 2017). 

Selection does not occur in a (psychometric) vacuum. To develop the appropriate theoretical frameworks and appropriate methodologies to investigate this, mixed methods approaches may be more appropriate. The philosophies, policies, and outcomes of selection are not static, rather they shift on the basis of global and national, societal, and political drivers of medical education (Cooke et al. 2010; Frenk et al. 2010; Hodges and Lingard 2012). Broadly social forces underpinning selection may conflict as particular ways of defining excellence may lead to uncomfortable tensions for some medical schools and specialty selection boards that strive to increase the diversity of its student or trainee body. This reflects multiple and complex institutional demands and negotiations among actors and stakeholders including admissions patients, chairs, institutional staff, applicants, health providers, regulators, funders, universities, and society, leading different health professional institutions to have different selection aims and objectives (Cleland et al. 2015; Razack et al. 2015; Alexander et al. 2017). 


건강 전문 교육 문헌에서 문맥에 중요한 인식이 증가하고 있다. 이는 비단 전통적인 맥락 특이성 측면에서만 그런 것이 아니라(다른 특성의 문제에 대한 성능 간의 낮은 상관관계) 또한 교육적 개입이 구현되는 환경의 차이에 의해 야기되는 거시적 가변성 측면에서도 그러하다(Bates and Elaway 2016).

There is a growing awareness in the health professional education literature that context matters, not only in the traditional sense of context specificity (poor relationships between performance on problems of different characteristics) but also in the macro sense of variability induced by differences in the environment in which educational interventions are implemented (Bates and Ellaway 2016).


우리는 선발에 관심이 있는 사람들이 보건전문직 선발을 형성하는 힘에 대한 탐구와 배려를 회피하기 보다는 포용할 것을 촉구한다. 그렇게 하기 위해서는 "측정"에 초점을 맞춘 연구를 보완하기 위해 그 분야에서 더 많은 질적 연구가 필요하다.

We urge those with interest in selection to shift their thinking, to embrace, rather than avoid, the exploration and consideration of forces that shape health professional selection. To do so requires more qualitative studies in the area to complement those focused on “measurement.”


예를 들어, 많은 졸업생들이 이주할 것이라는 이해를 가지고 과잉생산하는 국가의 의과대학의 선정 목표와 목표는 [의료 학교의 수는 국가 인력 계획 예측에 근거하여 정부에 의해 통제되는] 영국과 같은 나라의 의과대학과 매우 다를 것 같다(Bailey et al. 2012; Kizito et al. 2015; Suciu et al. 2017) 

For example, the selection aims and objectives of a medical school in a country over-producing doctors with the understanding that many graduates will migrate (Bailey et al. 2012; Kizito et al. 2015; Suciu et al. 2017) are likely to be very different from those of a medical school in a country such as the UK where the number of medical schools are controlled by government on the basis of national workforce planning forecasts.


도어와 동료(도어 외 2017)는 선발과정의 프로세스와 효과를 평가하기 위해 프로그램 로직 모델을 사용할 것을 제안한다. 이 접근방식은 종종 명시적으로 언급되지 않은 프로세스의 중요 구성 요소를 강조한다.

Dore and colleagues (Dore et al. 2017) suggest the use of program logic models to evaluate the process and effectiveness of selection processes. This approach highlights the critical components of a process that are often not explicitly stated


로직 모델에는 입력과 활동이 결과, 출력 및 영향에 어떻게 영향을 미치는지에 대한 가정, 편견 및 기대감으로 구성된 여러 구성 요소가 있다(Cooksy et al. 2001).

Logic models have multiple components which are comprised of assumptions, biases, and expectations of how the inputs and activities (of, in this case, selection) will influence the outcome, output, and impact (of a selection process; Cooksy et al. 2001).


우리의 두 번째 예는 과학적 사실주의 철학에 기초한 일련의 현실주의 접근방식에서 도출될 수 있는 반복적인 설명-구축 과정으로 정의되는 현실주의 평가다(Wong et al. 2012). 여기에는 "증거 합성 및 개입이 효과가 있을 수 있거나 없을 수 있는 이유에 대한 설명(프로그램 이론) 제공"으로서의 현실주의적 합성이 포함된다(Kehoe et al. 2016). 원래 Pawson과 Tilley(1997년)에 의해 제안된 현실주의적 평가의 주된 관심사는 컨텍스트-기전-결과(CMO) 구성을 통해 "무엇이, 누구에게, 어떤 상황에서, 어떻게 작동하는지"의 문제를 다루는 것이다(Dalkin et al. 2015). 메커니즘은 특정 상황에서 작동하여 관심의 결과를 생성하는 기본 실체, 프로세스 또는 구조로 볼 수 있다(Dalkin et al. 2015). 현실주의적 평가는 CMO 구성을 서로 다른 맥락에서 비교하는 데 유용하게 사용될 수 있으며, 한 선택 접근방식이 한 맥락 또는 국가에서 작동하지만 다른 상황에서는 작동하지 않는 이유에 대한 통찰력을 제공할 수 있다.

Our second example is realist evaluation, defined as an iterative explanation-building process, that might draw from a suite of realist approaches based on the philosophy of scientific realism (Wong et al. 2012). This includes realist synthesis as a “strategy for synthesizing evidence and providing explanations (program theories) on why interventions may, or may not, work” (Kehoe et al. 2016). Originally proposed by Pawson and Tilley (1997), the principal concern of realist evaluation is to address, through a context-mechanism-outcome (CMO) configuration, the question of “what works, for whom, under what circumstances, and how” (Dalkin et al. 2015). Mechanisms can be viewed as the underlying entities, processes, or structures that operate in particular contexts to generate outcomes of interest (Dalkin et al. 2015). Realist evaluation could usefully be used to compare CMO configurations in different contexts, to provide insight into why one selection approach works in one context or country, and yet may not work in another.


마지막으로 클렐런드 외 연구진(2018년)은 선발을  "고약한 문제"(리텔과 웨버 1973년)로 볼 수 있고 연구자가 선발과정의 복잡성을 인정할 수 있는 렌즈를 제공할 것을 제안한다. 그것은 단일한 모호하고elusive 객관적인 진리를 추구하는 것에서, 건강 전문가 선발에는 복잡성이 불가피하다는 것을 인식하고, 불확실성을 관리하고, 더 생산적으로 선택과 관련된 "문제"를 고려하는 것으로 사고와 행동을 전환한다. 의료선택을 "위키드"라고 표기하는 것은 단순하거나 선형적이거나 결정론적인 경우와는 다른 대응의 필요성을 예견하고, 선택의 개념화를 변화시킬 수 있는 문을 연다.

Finally, Cleland et al. (2018) propose that selection can be viewed as a “wicked problem” (Rittel and Webber 1973) and offer a lens through which researchers can acknowledge the complexity of selection processes. It shifts thinking and action from seeking one elusive, objective truth, to recognizing that complexity is inevitable in health professional selection, managing uncertainty, and questioning and considering “issues” associated with selection more productively. Labeling medical selection as “wicked” foregrounds the need for different responses than would be the case if it was simple, linear, or deterministic, and opens the door to shifting conceptualizations of selection.


마찬가지로, Jorm과 Roberts(2018)는 복잡성 모델과 관련 개념 내에서 프레임 의과대학 평가를 제안했다. 그들은 의료 교육자들이 자신의 환경에서 이러한 평가 접근법을 적용할 수 있도록 돕기 위한 sense-making 도구를 제안한다. 선발에만 사용되는 것은 아니지만, 복잡한 신경망 안에 위치한 신경 세포로서 의과대학을 은유하는 것은 의학 교육자들이 선택 과정과 그 결과의 평가에 대해 생각하는 방식을 재구성할 수 있게 해줄 수 있다.

Similarly, Jorm and Roberts (2018) have proposed framing medical school evaluations within a complexity model and associated concepts. They suggest the tool of sense-making to help medical educators apply this evaluation approach in their own settings. While not specific to selection, their metaphor of the medical school as a neuron situated within a complex neural network may enable medical educators to reframe the way they think about evaluating selection processes, and their outcomes.




요약, 향후 방향 및 권장 사항

Summary, future directions, and recommendations


선택 방법을 둘러싼 증거에 대한 우리의 이해는 현저하게 발전했다. 이는 실무에 반영된다. 현재 많은 기관이 영국, 네덜란드, 독일 및 호주와 같은 선택 절차에 더 많은 "증거 기반" 접근법을 사용하고 있다. 그러나 세계의 많은 지역에서는 이를 뒷받침하는 연구 증거가 거의 없거나 전혀 없는 선택 방법(예: 개인 진술, 참고문헌)을 주요 기준으로 계속 사용하고 있으며/또는 선행학문 달성에 의존하고 있다. 따라서, 기존의 연구 결과를 실천으로 옮기기 위해서는 더 많은 작업이 필요하며, 그러한 격차가 지속되는 이유를 이해하기 위해서는 더 많은 작업이 필요할 것으로 보인다.

Our understanding of the evidence surrounding selection methods has developed significantly. This is reflected in practice – many institutions are now using more “evidence-based” approaches in their selection procedures in for example the UK, Netherlands, Germany, and Australia. However, many parts of the world continue to use selection methods that have little or no research evidence supporting them (e.g. personal statements, references) and/or rely on prior academic attainment as the main criterion. It would, thus, seem that more work is required to translate existing research findings into practice and to understand why such a gap persists.



권고사항

Table 2. Recommendations.


1. 의료 실무자로서의 성공을 나타내는 바람직한 행동의 검증된 분류 체계를 사용하여 교육 단계에 걸쳐 맥락화되고 관련성이 있는 선발의 품질을 판단한다.

1. Use validated taxonomies of desirable behaviors that indicate success as a healthcare practitioner to judge the quality of selection, which are contextualized and relevant across stages of training



2. 선발 관행의 맥락과 내용에 차이를 고려한 다기관 고품질 데이터 세트를 사용하여 선정 관행의 타당성을 평가하기 위한 보다 정교한 연구 설계 및 방법론을 개발한다.

2. Develop more sophisticated research designs and methodologies to evaluate the validity of selection practices, using multi-site high-quality data sets that take differences in context and content of selection practices into account


3. 건강 결과와 관련된 선발 정책 및 실천을 평가하기 위해 복잡한 빅데이터 접근 방식을 사용할 때의 기회와 과제를 고려하십시오.

3. Consider the opportunities and challenges of using complex big data approaches to evaluate selection policies and practices linked to health outcomes


4. 대학의 사회적 책임 안건이 사회적 포용을 지원하고, 인력 문제를 해결하며, 환자 관점을 포함한 정부 및 기관의 정책 문제를 탐색하는 방법을 탐구한다.

4. Explore the ways in which social accountability agendas of universities support social inclusion, address workforce issues, and navigate government and institutional policy issues while including the patient perspective


5. 선발 방법은 모든 후보자에 대한 공정성과 책임성을 보장해야 한다. 다양성을 다루고 접근 범위를 넓히는 접근방식과 관련하여 서로 다른 맥락에서 유의한 차이가 있는 이유를 설명하기 위한 연구가 필요하다. 또한, 아웃리치, 전략, 준비 프로그램 및 접근 확대를 위한 다른 방법의 효과를 평가하기 위해 보다 강력한 증거가 필요하다.

5. Methods for selection must ensure fairness and accountability for all candidates. Research is required to explain why there is significant variation in differing contexts with respect to approaches to address diversity and widening access. In addition, more robust evidence is required to evaluate the effectiveness of outreach, targeting strategies, preparation programs, and other means to widening access


6. 많은 개발도상국에서 선진국으로의 높은 이민률에 영향을 미치는 선발과 채용 관행이 할 수 있는 역할을 더 잘 이해하기 위한 연구가 필요하다.

6. Research is required to better understand the role that selection and recruitment practices might play, in influencing the high migration rates of health profession graduates from many developing countries to those in the developed world


7. 대규모, 국가적으로 조정된 선택 접근법을 제정하는 기회와 과제를 서로 다른 맥락에서 선발과 채용을 위한 지역적 준비와 비교하고 대조해야 한다.

7. The opportunities and challenges of enacting large scale, nationally coordinated approaches to selection should be compared and contrasted with local arrangements for selection and recruitment in different contexts


8. 국제적으로 다양한 맥락에서 선발 프로세스, 선발 방법, 의사 결정 및 보고를 제공하는 데 필요한 인프라의 계량적 평가 및 비용-효익 분석을 사용하는 정책 계획에서 경제학자와 협력하는 것을 고려한다.

8. Consider working with economists in policy planning that uses econometric evaluation and cost–benefit analysis of the infrastructure required for delivering selection processes, selection methods, decision-making, and reporting in a range of contexts internationally


9. 지역적 상황 우선순위에 민감한 적절한 방법론을 사용하여 선택 정책과 실천의 미래 개발을 촉진하기 위해 학제간 이론 프레임워크를 사용한다.

9. Use interdisciplinary theoretical frameworks to facilitate the future development of both selection policy and practice using appropriate methodologies which are sensitive to local contextual priorities


10. 선발 연구 증거를 정책 및 실천으로 더 많이 번역할 수 있는 체계적인 접근 방식을 조사한다.

10. Investigate systematic approaches that can ensure a greater translation of selection research evidence into policies and practice


예측 타당도 연구에서 선형 회귀 기반 분석은 복잡성을 설명하지 않는다. 즉, 변수 간의 안정적이고 실증적인 관계를 가정한다. 이에 따라 방법론적 접근방식을 확대해야 한다. 여기에는 데이터 액세스 문제를 탐구하고 선택 정책을 건강 결과와 연관시키기 위해 복잡한 빅데이터 접근 방식을 사용할 기회와 과제를 고려하는 것이 포함된다(Gorman 2018).

In predictive validity studies, linear regression-based analyses do not account for complexity – they assume a stable, positivistic, relationship between variables. Accordingly, we must expand our methodological approaches. This includes exploring data access issues and considering the opportunities and challenges of using complex big data approaches to relate selection policies to health outcomes (Gorman 2018).


우리는 향후 연구를 이끌기 위해 몇 가지 주요 주제를 검토했으며, 선발 분야는

(a) 선택 방법 및 선택 철학, 정책 결정 간의 상호 작용에 더 많은 주의를 기울여야 하고. 

(b) 보다 정교한 평가 접근법 및 이론적 프레임워크를 사용해야한다. 

이를 통해서 다양성 및 인력 부족 문제를 해결하는 것뿐만 아니라 선택 방법의 가중치 부여 및 순서 지정과 같은 문제를 가장 잘 처리하는 방법에 대해 선발 관련자에게 도움이 되는 정보를 제공해야 한다.

We have reviewed several key topics to guide future research by suggesting the field should (a) pay greater attention to the interaction between selection methods and selection philosophy and policy-making and (b) use more sophisticated evaluation approaches and theoretical frameworks to better inform those involved in selection regarding how to best deal with issues such as the weighting and sequencing of selection methods as well as addressing diversity and workforce shortages.


이전의 합의된 진술과 일관되게, 양질의 진료 접근에 대한 미스매치와, 문화적으로 민감한 환자 치료에 대한 접근 사이의 세계적인 미스매치를 고려할 때 다양성은 계속해서 매우 중요한 주제다.

Consistent with the previous consensus statement, diversity continues to be a critically important topic given a global mismatch between access to quality, culturally sensitive patient care.


현재, 선발의 책임은 주로 교육 기관에 있는 반면, 채용은 고용주, 정부, 그리고 더 넓은 공동체가 공유하는 책임이다. 다양성과 참여 확대는 보건 전문 교육자가 경제학자 및 보건 정책 및 계획에 대한 전문 지식을 가진 사람들과 긴밀하게 협력할 수 있는 기회 및 선택 정책과 관행의 지역적 또는 지역적 법률적 함의를 염두에 둘 수 있는 기회를 포함하여 학제 간 연구를 위해 잘 알려진 영역이다(Greenhalgh et). al. 2004; and Robb et al. 2007; Cleland et al. 2015; Nicholson Cleland et al. 2015; Southgate et al. 2015; Alexander et al. 2017.

Currently, the responsibility of selection lies mainly on educational institutions whereas recruitment is a responsibility shared by employers, government, and the broader community. Diversity and widening participation is an area ripe for inter-disciplinary research, including opportunities for health professional educators to work closely with economists and those with expertise in health policy and planning, as well as being mindful of the local or regional legal implications of selection policies and practice (Greenhalgh et al. 2004; and Robb et al. 2007; Cleland et al. 2015; Nicholson Cleland 2015; Razack et al. 2015; Southgate et al. 2015; Alexander et al. 2017).


연구와 이용 가능한 자료의 대부분은 북유럽, 미국, 캐나다, 오스트랄라시아 등 제한된 수의 글로벌 지역에서 계속 생겨나고 있다. 아시아, 남미, 중동, 아프리카의 연구와 사례 연구는 부족하다.

the majority of research and available material continues to originate from a limited number of global regions: northern Europe, the USA, Canada, and Australasia. Research and case studies from Asia, South America, the Middle East, and Africa are lacking.


세계는 균질하지 않다(Schuwirth and van der Vleuten 2006). 이와 같이, 우리는 현재 목소리가 낮은 맥락에서 선택과 관련된 연구, 사례 연구, 평가를 위한 자원을 요청한다.

The world is variant, not homogeneous (Schuwirth and van der Vleuten 2006). As such, we make a plea for resources for research, case studies and evaluations related to selection from contexts whose voices are currently under-represented.



Cleland J, Dowell J, McLachlan J, Nicholson S, Patterson F. 2012. Identifying best practice in the selection of medical students (literature review and interview survey). London: General Medical Council.


Jorm C, Roberts C. 2018. Using complexity theory to guide medical school evaluations. Acad Med. 93:399–405.


Reiter H, Eva K. 2018. Vive la difference: the freedom and inherent responsibilities when designing and implementing multiple miniinterviews. Acad Med. 93:969–971.





 2018 Sep 25:1-11. doi: 10.1080/0142159X.2018.1498589. [Epub ahead of print]

2018 Ottawa consensus statementSelection and recruitment to the healthcare professions.

Author information

1
a Work Psychology Group, Derby United Kingdom of Great Britain and Northern Ireland, UK.
2
b Northern Clinical School, University of Sydney, Sydney, New South Wales, Australia.
3
c Department of Psychiatry, Faculty of Medicine, University of Toronto, Toronto, Ontario, Canada.
4
d Department of Biochemistry and Molecular Cell Biology, University Medical Center Hamburg-Eppendorf, Hamburg, Germany.
5
e Centre for Health Education Scholarship and Department of Medicine, University of British Columbia, Vancouver, British Columbia, Canada.
6
f Centre for Medical Education, Yong Loo Lin School of Medicine, Singapore.
7
g Department of Medical Education, College of Medicine, King Saud bin Abdulaziz University for Health Sciences, Riyadh, Saudi Arabia.
8
h Department of Medical Education, University of Illinois at Chicago, Chicago, Illinois, USA.
9
i Centre for Healthcare Research and Innovation (CHERI), University of Aberdeen, UK.

Abstract

Selection and recruitment into healthcare education and practice is a key area of interest for educators with significant developments in research, policy, and practice in recent years. This updated consensus statement, developed through a multi-stage process, examines future opportunities and challenges in selection and recruitment. There is both a gap in the literature around and a compelling case for further theoretical and empirical literature to underpin the development of overall selection philosophes and policies and their enactment. More consistent evidence has emerged regarding the quality of different selection methods. Approaches to selection are context-dependent, requiring the consideration of an institution's philosophy regarding what they are trying to achieve, the communities it purports to serve, along with the system within which they are used. Diversity and globalization issues continue to be critically important topics. Further research is required to explore differential attainment and explain why there are substantial differences in culturally acceptable ways of approaching diversity and widening access. More sophisticated evaluation approaches using multi-disciplinary theoretical frameworks are required to address the issues. Following a discussion of these areas, 10 recommendations are presented to guide future research and practice and to encourage debate between colleagues across the globe.

PMID:
 
30251906
 
DOI:
 
10.1080/0142159X.2018.1498589


15년간의 비-성적기반 의과대학 선발경험의 교훈(Med Educ, 2018)

Lessons learned from 15 years of non-grades-based selection for medical school

Karen M Stegers-Jager






도입

INTRODUCTION


1988 년 에딘버러 선언 (Edinburgh Declaration)에 따르면 의학 교육의 목표는 '모든 사람의 건강을 증진시킬 의사를 양성하는 것'입니다. 그때 그 목표는 많은 곳에서 실현되지 못했습니다 .1 불행히도, 오늘날까지 우리는 여전히 그 목표를 실현하지 못했습니다. 2006 년 Betancourt는 진행중인 인종적, 민족적 불평등을 제거하기 위해 보건 의료 인력의 소외된 소수 민족 비율을 높이는 것에 대한 의과 대학의 역할에 대해 설명했습니다 .2 의료 혜택 조항 개선, 특히 소수 민족에 대한 의료 제공 향상은 현재의 widening access initiative에 대한 논거 중 하나이다 .3,4 이러한 이니셔티브, 특히 미국과 영국에서 소수 민족 및 1 세대 대학생과 같은 비 전통적인 학생들은 여전히 의과대학에서 과소-대표되고 있다. 그럼에도 불구하고 의과 대학에서 취한 조치로 인한 진전이있었습니다. 에딘버러 선언에서 제시 한 행동 중 하나는 '지적 능력과 학업 성취를 뛰어 넘어 개인적 특성 평가를 포함하는 의대생 선발 방법 채택'이었습니다.

According to the 1988 Edinburgh Declaration,1 the aim of medical education is ‘to produce doctors who will promote the health of all people’. At that time, that aim was not being realised in many places.1 Unfortunately, until today, we have still not realised that aim. In 2006, Betancourt described the role medical schools had to play in increasing the proportion of underrepresented minorities in the health care workforce in order to eliminate the on-going racial and ethnic disparities.2 The promise of improved health care provision, in particular for minority populations, is also one of the arguments for current widening access initiatives.3,4 Despite these initiatives, in particular in the USA and the UK, non-traditional students, such as ethnic minority and first-generation university students, are still under-represented in medical schools.3,5 Nevertheless, there has been progress, probably because of actions taken by medical schools. One of the actions suggested by the Edinburgh Declaration was to ‘Employ selection methods for medical students which go beyond intellectual ability and academic achievement to include evaluation of personal qualities’.


의과대학 선발에서 인성에 대한 평가를 확대하는 첫 번째 근거는 이것이 학업 척도로만 선발되는 사람들보다 의사로서 더 잘 수행 할 학생들의 선택으로 이어진다는 것입니다.

A first rationale behind extending medical school selection procedures with the evaluation of personal qualities is that this will lead to the selection of students who will perform better as a doctor than those who are selected on the basis of academic measures only.


지금까지 선발에서 개인적 자질을 측정하려는 시도는 윤리적 의사 결정, 의사 소통 및 협동 기술과 같은 기술에 초점을 맞추어왔다.

So far, attempts to measure personal qualities in selection have been focused on skills such as ethical decision making, communication and collaboration skills.4,7,8


최근에는 의대 선정 기준으로 창의력과 혁신의 잠재력을 포함 할 것을 촉구했다.

Recently, there have been calls to also include potential for creativity and innovation as a selection criterion for medical school.12


현재의 증거에 따르면, 맥락화 된 MMI7 또는 SJT4,8을 사용하여 비 학업 기술을 측정하려는 시도는 자기보고 설문지를 사용하여 바람직한 특성을 측정하려는 시도보다 더 효과적이다.

Current evidence shows that attempts to measure nonacademic skills using the contextualised MMIs7 or SJTs4,8 are more effective than attempts to measure desirable traits using self-report questionnaires.16,17



성적 이외의 기준을 포함하는 두 번째 근거는 인구집단을 대표하는 보건 인력을 확보하는 것인데, 이는 특히 소수 집단의 의료 서비스 개선으로 이어질 것이기 때문이다.

A second rationale for the inclusion of criteria other than grades is to ensure a representative health workforce, as this will lead to improved health care provision, in particular for minority populations.3,4


불행히도, 비-성적 기반 선발기준의 도입은 학생의 다양성과 관련하여 혼재된 결과를 보여주었습니다. 3,4,18-20

Unfortunately, the introduction of nongrades-based selection criteria has shown mixed results with respect to student diversity.3,4,18–20


최선의 (미래) 의사를 선발하고 대표 의료 인력을 확보하려는 목표는 다음과 같은 미해결 문제로 인해 더욱 복잡해집니다.

The aims of selecting the best (future) doctors and ensuring a representative health care workforce are further complicated by the following unresolved issues.


선발의 목표는 의료 훈련에 성공할 사람과 궁극적으로 유능한 의사가 될 사람을 확인하는 것입니다. 이것은 자체적으로 이미 의과 대학에 대한 첫 번째 딜레마를 제시합니다 : 

선발의 초점은 최고의 학생에 맞춰져야 하는가 최고의 의사에 맞춰져야 하는가? 

달리 말하자면, 예측하고자하는 성과는 무엇인가?

the goal of selection is to identify those who will be successful in medical training and who will ultimately become competent doctors. This in itself already presents a first dilemma for medical schools: should the focus be on selecting the best students or the best doctors? Put differently, which outcomes do we want to predict?



만약 '최고의 의사' 초점을 맞추고 싶다면 다른 딜레마에 직면하게됩니다. 좋은 의사의 정의는 무엇입니까? 우리가 필요로 하는 의사는 한 가지 종류인가 혹은 다양한 종류인가? 관련 어려움은 선택 과정에서 평가 된 개인적 특성과 관련 될 수있는 미래의 실행에서 신뢰할 수있는 성과 측정 방법을 찾는 방법입니다.

If we would like to focus on the best doctors, we are confronted with another dilemma: What is the definition of a good doctor? Do we need one type of doctor or different types? A related difficulty is how to find credible measures of performance in future practice that can be related to the personal qualities assessed during selection.



그럼에도 불구하고 수년 후에 훌륭한 의사가 될 사람이 누구인지를 입학시에 예측하는 것은 극히 어렵습니다.

Nevertheless, it remains extremely difficult to predict at the time of admission to medical school who will be a good doctor many years later.


최고의 학생들을 선택하는 데 중점을 둔다면 추가적인 질문이 제기됩니다. 최고의 학생이 누구인지는 어떤 퍼포먼스를 기준으로 삼느냐에 따라 다르다. Lievens와 동료는 대인 관계 기술을 측정하는 선택 도구가 대인 관계 과정을 포함하는 커리큘럼에 대한 인지 기반 측정보다 단지 incremental한 validity만을 보여 주었다.

A focus on selecting the best students raises additional questions. Who will be the bestperforming students depends on the kind of performance you are looking for. Lievens and colleagues,26 found that a selection tool measuring interpersonal skills only showed incremental validity over cognitively oriented measures for curricula that included interpersonal courses.



또 다른 문제는 [개인의 자질이나 기술을 기반으로 학생을 선발하는 것]과 [의대에서 이러한 자질이나 기술을 가르치고 개발하는 것] 중 무엇이 더 효과적 일지 여부입니다. 증거에 따르면 적어도 일부 자질은 훈련 할 수있는 것으로 나타 났지만, 사람들은 높은 학업 능력 외에도 특정한 기술과 자질을 처음부터 갖춰야 할 필요가 있다고 주장한다.

Another issue is whether it would be more effective to select students based on personal qualities or skills or to teach and develop these qualities or skills at medical school. Although evidence shows that at least some qualities are trainable,27 others argue that specific skills and qualities, next to high academic ability, may need to be present from the start.17


개인적 자질 평가를 포함하는 선정 절차에 대한 요청은 소위인지 (또는 학술 또는 지적) 및 비인지 (또는 비 학문 또는 비 지적) 테스트 또는 기준 간의 구분을 이끌어 냈습니다. 

  • 그러나 비인지 도구는 인지적 구성 요소를 포함 할 가능성이 매우 높다. 

  • 또한 대학 예비 점수 (pu-GPA)와 같은인지 척도는 효율적인 학습 전략과 시간 관리와 같은 인성 특성을 반영 할 수있다. 

  • 비 학업 및 학문적 자질은 독립적 인 것이 아닙니다. 

  • 학업 성취에 대한 성공은 학업 기준에서 성공할 수 있으며, 그 반대도 마찬가지입니다. 

따라서 '입학 준거의 확대'가 더 적절한 이야기일 수 있습니다 지적 능력과 pu-GPA의 전통적인 척도를 뛰어 넘습니다.


The call for selection procedures that also include the evaluation of personal qualities has led to a divide between so-called cognitive (or academic or intellectual) and non-cognitive (or non-academic or non-intellectual) tests or criteria. However, noncognitive instruments are very likely to also include cognitive components,29 and cognitive measures like pre-university grade point average (pu-GPA) might also reflect personal qualities such as efficient study strategies and time management.30 Additionally, several studies have shown that non-academic and academic qualities are not independent: success on non-academic criteria enables success on academic criteria and vice versa.7,31,32 Hence it might be more appropriate to speak about ‘broadened admission criteria’,21 referring to criteria beyond traditional measures of intellectual ability and pu-GPA.





네덜란드에서 비-성적-기반 선발

NON-GRADES-BASED SELECTION IN THE NETHERLANDS



네덜란드에서는 2000 년 이래로 아주 최근까지 학생들은 대학 진학을 위해 weighted 전국단위 추첨 시스템 또는 의과 대학 특정 선발 절차에 의거하여 의과 대학에 진학했습니다. 의대가 자체적으로 선발 기준을 결정할 수는 있지만, pre-university 성적은 사용할 수 없었다. 전국 추첨 시스템 옆에 학교-특이적 절차가 도입 됨으로써 자연 실험의 기회가 만들어졌습니다. 또한, 처음부터 의과 대학은 성적 이외의 기준을 고려해야했습니다. 학교-특이적 절차를 통해 입학 한 학생의 비율은 2000 년의 최대 50 %에서 현재 100 %로 꾸준히 증가했습니다. 2017-2018 학년부터는 전국단위 추첨 제도가 폐지되었습니다. 이 폐지와 함께 네덜란드 의과 대학은 현재 학교-특이적 절차에 pu성적을 포함시킬 수 있습니다.

In the Netherlands, since 2000 until very recently, students were selected for medical school either on the basis of a national lottery system that was weighted for pre-university grades or on medical school-specific selection procedures. The medical schools themselves could decide on their selection criteria, but were not allowed to use pre-university grades. The introduction of these school-specific procedures next to the national lottery system created opportunities for natural experimentation. Additionally, right from the start, medical schools had to consider criteria other than grades. The percentage of students who are admitted via the school-specific procedures has steadily increased from a maximum of 50% in 2000 to currently 100%. Starting from the academic year 2017–2018, the national lottery system was abolished. With this abolishment Dutch medical schools are now permitted to include pre-university grades in their school-specific procedures.


관련된 질문은 초점이 (부적절한) 개인적 자질에 근거하여 select in 해야하는지 select out 해야하는지이다.

A related question is whether the focus should be on ‘selecting in’ or on ‘selecting out’ on the basis of (unsuitable) personal qualities.28




참가 효과?

A participation effect?


아주 최근까지, 자발적인 학교-특이적 선발 절차 중 하나에서 떨어진 학생들은 같은 해 추첨 시스템을 통해 입학 할 기회를 얻었습니다.

Until very recently, students who were initially rejected in one of the voluntary school-specific selection procedures still had a chance of admission via the lottery system in the same year.


이러한 2단계 선발 과정에서, 학교-특이적 선발에 참여하지 않은 학생에 비해 참여한 학생이 유의하게 더 낮은 탈락율을 보였다. 한 가지 설명은 선발 과정에서의 자기-선발이었다. 또 다른 설명은 선발 과정에 참여하는 것이 의과 대학에 진학하려는 더 높은 동기 부여와 관련이 있으며, 이것이 의과대학에 진학 할 추가 기회를 파악하는 방식으로 반영된다는 것이다.

One of the studies by our group showed a significant lower dropout rate for participants than for non-participants in our two-phase selection procedure.33 An explanation was self-selection instigated by the selection procedure. An alternative explanation is that participation in the selection procedure is associated with a higher motivation to become a medical doctor, reflected in grasping this additional chance to enter medical school.33


덴마크와 네덜란드의 다른 연구들도 소위 참여 효과를 나타냈다. 명백히, 학업 성과를 예측할 때, 시간 소모적 인 자발적 선발 절차에 참여하는 것이 단순 합격보다 더 중요하다 .31,33,37

Other studies, from Denmark and the Netherlands, also revealed this so-called participation effect: Apparently, in predicting academic performance, participation in a time-consuming voluntary selection procedure is more important than acceptance.31,33,37


불행하게도, 후속 다중 현장 연구에서, 참여 효과는 교육과정과 선발 절차에서 제도적 차이에 의해 매개되는 것으로 결론 지었다.

Unfortunately, in a follow-up multi-site study , the conclusion was that participation effects seem to be mediated by institutional differences in curricula and in selection procedures.38



입학 전 교과외활동 평가

Assessing pre-university extracurricular activities


우리 대학을 포함한 여러 네덜란드 의과 대학은 예비 대학 교육 (pueca) 동안 지원자의 교과외 활동을 통해서 비-학업적 스킬을 평가했습니다 .31,33이 방법은 단일 테스트를 기반으로 한 것이 아니라 장기간에 걸친 학생들의 발달을 반영하기 때문에 authenticity가 증가한다는 장점이 있습니다. 

Several Dutch medical schools, including our own, have operationalised non-academic skills by examining applicants’ extracurricular activities during pre-university education (puECAs).31,33 This method has the advantage of an increased authenticity, because it reflects students’ development over the last couple of years instead of being based on a ‘single’ test administration.



비록 puECAs를 자기소개서의 한 형태로 볼 수는 있지만, 적어도 네덜란드 의과 대학에서의 pu-ECA 평가는 자유로운 형식으로 기술된 자기소개서를 분석하는 것과는 다르다 . 고도로 구조화 된 지원서를 고도로 구조화 된 평가서식과 함께 사용하면 평가자의 판단을 높은 수준으로 구조화할 수 있다. 이는 취업 면접이 구조화 정도가 높아지면 긍정적으로 작용하는 것과 같은 방식으로, 준거-관련 타당도에 긍정적으로 작용할 수 있다. 결과적으로 pu-ECAs는 판단 과정이 충분히 구조화되어 있으면 선택 도구로 성공적으로 사용될 수있다.

It is good to note that although puECAs can be seen as a form of personal statements,17 their assessment, at least in the Dutch medical schools, is different from analysing the content of free response personal statements, as for example described by Ferguson et al.42 The use of a highly structured application form in combination with a highly structured rating form provides a high degree of structure to the raters’ judgements. This may positively affect the criterion-related validity, in the same way as job interviews are positively affected by the degree of structure.43 Consequently, puECAs may be used successfully as a selection tool provided that the judgement process is sufficiently structured.


활동 표본

Work samples


인사 선택에서 널리 활용된 work sample의 사용은 미래에 기대되는 행동의 표본이 곧 미래에 직장에서의 성공의 예측인자로 간주되는 상황을 의미한다.44 Sign 대신 Sample에 초점을 맞춘다는 점에서 의학 교육에서 사용되는 전통적인 선택 방법과 구별된다 .45 이러한 접근 방식의 논리는 행동의 일관성 개념에 따라 predictor와 criterion이 비슷할수록 예측 타당도가 높아진다는 사실이다 . 의과대학 초반의 퍼포먼스가 미래 성적의 가장 좋은 예측 지표인 것과 같이, 대학에 입학해서 처음 이수할 과정과 유사한 입학 시험을 개발하는 것은 제법 가능성이 있는 듯 하다.

The use of work samples, well known in personnel selection, refers to a situation where a sample of future expected behaviour is taken as a predictor of future success in the job.44 The focus on samples instead of signs (i.e. distinguishable constructs, traits or skills) distinguishes them from traditional selection methods used in medical education.45 The reasoning behind this approach is that, following the notion of behavioural consistency,44 the more the predictor and criterion are alike, the higher the predictive validity will be.21 As early performance is the best predictor of future (medical school) performance,46–48 developing an admission test similar to the first course in the university programme sounds promising.


예를 들어 지원자는 비디오 촬영 강연을 보거나 집에서 독립적으로 입문 수준의 특정 자료를 조사한 다음 대학에서 하는 것과 비슷하게 대학에서 시험을 치러야했습니다. 이러한 방식은 대규모 집단에 대한 효율적 것으로 나타났는데, 그 이유는 이러한 방식으로 설계한 교육 프로그램에서의 표본 행동sampled behavior의 대표성이 높기 때문이다. 실제로 암스테르담, 로테르담,그로닝겐에서 적용되는 선정 절차에는 '강의 시험'을 포함하고 있다.

 In all the above studies, applicants were required to watch a videotaped lecture or study introductory domain-specific material independently at home, followed by an examination at the university, just like the reality at university. Positive findings for this efficient method for large groups49 are explained by the high representativeness of the sampled behaviour for the educational programme it was designed for.51 Actually, the selection procedures applied in  Amsterdam, Rotterdam and Groningen also contain ‘lecture tests’.34,35


남은 질문은, 샘플-기반 테스트로 측정되는 것이 정확히 무엇이며, 그 결과를 학업적 척도로 봐야하는지 비학업적 척도로 봐야하는지 여부이다. De Visser 등은 이와 같은 curriculum sample 접근법은 학업 기반의 선발이라고 하지만, 그럼에도 불구하고 인지적 능력, 동기 부여, 학습 시간, 전략적 지식의 혼합치를 측정한다고 말했다.

The question of course is, what exactly is measured by sample-based tests, and whether such tests should be considered academic or non-academic measures. De Visser et al.49 describe their curriculum sample approach as selection on an academic basis, although it could also be argued that the samplebased approaches described above measure a mixture of cognitive ability, motivation, time spent studying, and tactic knowledge.21


또 하나의 중요한 점은, 이 방식은 '최고의 의사'보다 '최고의 학생'을 선택하는 데 중점을 둔다는 점이다.

It is important to note that the examples mentioned here are focused on selecting the best students rather than the best doctors.


SJT

Situational judgement tests


SJT는 성실성, 공감, 팀워크와 같은 의사에게 중요한 다양한 개인적 자질을 평가할 수있는 신뢰할 수 있고 타당한 방법으로 꾸준히 보급되었습니다 .17 이러한 긍정적 발견 덕분에 네덜란드 의과 대학에서는 학교 특정 선택 절차의 한 요소로 SJT 사용을 시작했습니다 

SJTs have consistently been shown to be a reliable and valid method to assess various personal qualities that are important to medical doctors, such as integrity, empathy and teamwork.17 Thanks to these positive findings, Dutch medical schools have started using (or piloting) SJTs as part of their school-specific selection procedures.


Erasmus MC Medical School에서는 영국에서 개발 된 integrity-based의 SJT (네덜란드어로 번역 된 53)를 파일럿 테스트했습니다. 우리는이 노력에서 두 가지 중요한 교훈을 배웠습니다. 

    • 첫째, 해외에서 개발 된 특정 상황에 적합한 SJT를 사용할 때에는 신중해야합니다. 원래 영국 점수 키와 네덜란드 전문가를 사용하여 개발 한 점수 키 간에는 상당한 차이가있었습니다. 또한 네덜란드 참가자들은 모든 문항이 네덜란드 맥락에 적절하다고 간주하지는 않았습니다. 

    • 마지막으로, 영국 맥락에서와 동일한 채점 방법을 사용하여 내부 일관성 신뢰성이 낮았다. 이러한 결과에 이어 우리는 28가지의 대안 점수 방법을 탐구하기로 결정했습니다 .54 이것은 두 번째 중요한 교훈을 선사합니다 : 의과 대학 선발 과정에서 SJT를 사용하게 된다면 반드시 채점 방법을 철저히 검토해야 한다. 우리는 적용된 채점 방법이 SJT 점수의 내부 일관성 신뢰도와 불리한 영향에 강한 영향을 준다는 것을 발견했다.

At Erasmus MC Medical School we first pilot-tested an integrity-based SJT developed in the UK,53 which was translated into Dutch. We learned two important lessons from this endeavour. 

    • First, one should be cautious in using SJTs developed abroad and tailored to the specific contexts. There were substantial differences between the original UK scoring key and the scoring key we developed using Dutch experts. Additionally, not all items were considered relevant or appropriate to the Dutch context by our participants.

    • Finally, using the same scoring method as in the UK context revealed a low internal consistency reliability. Following on from these findings we decided to explore 28 (!) alternative scoring methods.54 This revealed a second important lesson: the increased use of SJTs in medical school selection must be accompanied by a thorough examination of the scoring method to be used. We found that the applied scoring method has a strong influence on the internal consistency reliability and adverse impact of an SJT score.54


예비적 연구 결과들을 살펴보면, 딜레마 상황에서 "무엇을 해야하는지"가 아니라 "무엇을 해서는 안되는지"를 인식하는 능력에 기초하여 SJT를 채점하면 convergent validity가 향상되었다.

Preliminary findings suggest that scoring an SJT based on the ability to recognise what one should not do as opposed to the ability to recognise what one should do in a challenging situation strengthens the convergent validity of that SJT (unpublished results).


예상치 못했던 것은, integrity 관련 측면을 선발 절차에 포함하는 것에 대해 네덜란드에서 논란이 있었습니다. 이에 반대하는 사람들은 integrity 문제에 대해 학생을 판단하는 것이 공정한 것인지 의심스럽고, 이러한 행동은 가르 칠 수 있다고 제안합니다. 따라서 integrity에 대해 점수가 낮은 지원자를 불합격시키기보다, 이들에게 '경고red-flag'를 하고, 추가 교육을 제공하는 것이 옳다고 주장한다. 심지어 어떤 사람들은 integrity 척도에 대한 지원자의 점수를 의대에 보고하는 것이 비윤리적인 것으로 말하기도 한다. 이들은 그러한 점수는 지원자에게만 제공되어야 한다고 주장한다. 이것은 Patterson et al.17의 성격 평가가 지원자 자신을 위한 자료로 사용되어야지, 그 자체가 선발도구로 사용되어서는 안된다는 발언과 관련이있다.

Unexpectedly, our intention to include integrityrelated aspects in our selection procedure has caused some controversy in the Netherlands. Adversaries doubt whether it is fair to judge young adults on integrity-related issues and propose that these behaviours are teachable. Therefore, it might be better to ‘red-flag’ applicants with low scores on integrity-related measures and offer them (additional) training instead of rejecting them. Others even go so far as to say that it is unethical to report applicants’ scores on integrity-related measures to the client (the medical school), and state that such scores should only be reported to the applicants themselves, who then can decide whether or not to continue with their application.55,56 This is related to the remark made by Patterson et al.17 that personality assessments should not be used as a selection method on their own, but rather as input for selection interviews.



그러나 integrity 기반의 SJT는 성격 특성 (행동 방법)보다는 지식 및 기술 (행동 방법)을 측정하기위한 것입니다. 우리의 의견으로는 challenging한 상황에 적절하거나 부적절한 반응을 구분하는 능력은 미래의 의사에게 필수적입니다.

However, our integrity-based SJT is intended to measure knowledge and skills (how one should act) rather than personality traits (how you would act). In our opinion, a certain ability to identify appropriate and inappropriate reactions to challenging situations is essential for our future medical doctors.





변화하는 교육과정의 영향

Effect of changing circumstances


지금까지 네덜란드의 연구 결과는 긍정적인 효과 (즉, 추첨된 학생과 비교했을 때 선발된 학생의 실적이 더 좋음)와 특히 최근의 연구에서 거의 효과가 없다고보고 한 몇 가지 증거가 서로 상충되는 모습을 보였습니다. 한 가지 가능한 설명은 선발을 통해 입학한 학생의 비율이 증가한 것입니다 (50 %에서 100 %까지). 또한, 학교-특이적 선발 절차를 사용하는 의과 대학의 수가 이제 모든 학교로 증가했습니다.

So far, studies from the Netherlands have reported conflicting evidence, with some reporting positive effects (i.e. better performance for selected students compared with lottery-admitted students) and some, especially more recent studies, reporting little or no effect. A possible explanation is the increased proportion of students admitted through selection (from 50% to 100%). Moreover, the number of medical schools using school-specific selection procedures increased from only a few to currently all.


모든 의대생을 추첨으로 선발했던 당시의 자료에 따르면 네덜란드의 모든 의과 대학의 졸업률은 약 85 % 였고, 높은 기본 요율base rate을 의미한다. 이 높은 base rate의 가장 큰 이유는 네덜란드의 의과 대학 지원자가 매우 동질적이라는 사실입니다 .40 중등 학교를 가장 높은 수준으로 졸업 한 학생 (pre-university 수준)과 의학에 필요한 6 과목을 지원한 학생만이 의과대학에 지원할 수 있고 이는 모든 고등학생의 10 % 미만이다.

Data from the time when all medical students were admitted via lottery show that for all Dutch medical schools the graduation rate was about 85%,58 suggesting a high base rate. A main reason for this high base rate is the fact that medical school applicants in the Netherlands form a very homogenous group.40 Only students who completed the highest level of secondary school (equals pre-university level) and took the six subjects required for medical school are allowed to apply (less than 10% of all high school students).


히긴스 (Higgins)의 규제 초점 이론 (regulatory focus theory)에 따르면, 입학을 위한 pu-ECA 참여가 필요하다는 사실이 보다 투명해졌을 때, 신청자는 의대에 진학 할 기회가 있기 위해 이것을해야한다고 느꼈기 때문에 pu-ECAs에 참여하기로 선택했다고 볼 수 있다. 그들이 그것을 '원했기'때문에 한 것이 아니다.

following Higgins’ regulatory focus theory,59,60 when the requirement of puECA participation for admission became more transparent, applicants mayhave chosen to participate in puECAs because they felt they ‘had to’ do this to have a chance to get into medical school, and not because they ‘wanted to’. 


보다 일반적인 교훈은 각 의대는 선발절차가 지원자 행동에 영향을 미친다는 사실을 알고 있어야한다는 것입니다. 이것은 신청자가 커리큘럼보다 선발 과정에서 더 많은 의대를 선택하도록하는 경우 특히 중요합니다.

The more general lesson from this is that medical schools should be aware of the possible effects of selection procedures on applicants’ behaviour. This is especially important as applicants have been shown to base their choice of a medical school more often on the selection procedure than on the curriculum.61



부정적 영향

ADVERSE IMPACT


첫째, 선발도구 사용의 효과로 발생하는 학생들의 다양성에 미치는 영향은 주어진 선발도구의 가중치와 선발 비율에 달려 있습니다.

First, the effect of using an instrument with reduced or no adverse impact on student diversity depends on the weight given to the instrument and the selection ratio.


둘째로, 서로 다른 선택 기준이 동시에 사용되어야한다 .32 이렇게 함으로써 학점 요건이 충족되었을 때만 개인적 자질을 고려함으로써 다양성을 제한하게 되는 효과를 방지한다 .20,62 또한 다양성을 증가시키기 위해서는 (모든 선발준거에서 높은 점수를 받아야 하는 비보상적 방법보다) 보상적 방법(한 영역의 낮은 점수가 다른 영역의 높은 점수로 보상되는)을 사용해야 한다. 현재 Erasmus MC 의과 대학에서는 보상 시스템이 사용됩니다. 선택 절차의 세 가지 요소 (학업 및 비 학업 기준의 혼합)에 대한 점수는 z 스코어로 변환되며, 지원자는 평균 z- 점수에 따라 순위가 결정됩니다.

Second, different selection criteria should be used concurrently.32 This prevents the diversity-limiting effect of considering personal qualities only once grade requirements have been met.20,62 Additionally, to increase diversity it might be better to allow applicants to make up for lower scores on some criteria with high scores on others (compensatory) instead of expecting them to score highly on all selection criteria (noncompensatory).32 Currently, at the Erasmus MC medical school a compensatory system is used. Scores on the three different elements of our selection procedure (a mixture of academic and non-academic criteria) are transformed into zscores, and applicants are ranked according to their average z-score.


셋째, 선발 과정에서 비학업적 기준을 포함하는 것은 의대생의 다양성을 증가시키는 데 도움이된다. 그러나 이전에이 논문에서 옹호 한 바와 같이 선발 절차는 비 학업적 기준에만 의존해서는 안되며 학업적 기준도 포함해야 한다 .33,40

Third, including non-academic criteria in the selection procedures does help to increase the diversity of medical student populations.32 However, as advocated previously in this paper, selection procedures should not rely on non-academic criteria alone, but should also include academic criteria.33,40


넷째, 비 전통적인 지원자에게는 자기 선택 (self-selection) (즉, 선발에 지원하지 않음)이 생길 수 있음을 인식해야합니다. 우리가 앞서 논한 바와 같이, 비 전형적 배경을 가진 지원자의 경우에 선발절차에 의해 선동된instigated 자기선발의 효과가 더 강력하다는 것을 배제 할 수 없다.

Fourth, one should be aware of self-selection (i.e. resulting in not applying) in non-traditional applicants. As we have argued previously,32 it cannot be ruled out that self-selection instigated by selection procedures is stronger in applicants from non-traditional backgrounds.


마지막으로, 선발절차는 또한 학생 인구의 성별 구성에 영향을 미칠 수 있습니다. SJT와 같은 비 학문적 성격을 측정하는 도구는 여학생을 선호하는 것으로 나타 났지만 적성 검사는 남성을 선호하는 것으로 나타났습니다 (남성 지원자는 여성 지원자보다 적성 검사에 입학 할 가능성이 높음)

Finally, the choice of selection procedure may also influence the gender composition of the student population. Aptitude tests were found to favour men (i.e. male applicants had a higher chance of being admitted based on aptitude tests than female applicants),64 whereas instruments measuring nonacademic qualities such as SJTs seem to favour female students.4



결론

CONCLUSION



첫째, 자발적 선발 절차에 참여한 학생들이 참여하지 않은 학생보다 의대에서 더 나은 성적을 냈다는 점에서 참여 효과가있는 것으로 보인다. 그러나 그 효과의 정도는 의대의 커리큘럼과 선발 과정에 달려 있습니다.

First, there appears to be a participation effect, in that students who participated in voluntary selection procedures performed better at medical school than nonparticipants. However, the magnitude of the effect depends on the curriculum and the selection procedure of the medical school.


둘째, 대학 진학을 위한 교과외 활동을 의과 대학 선발에서 사용하는 것은 판단 과정이 충분히 구조화되어있는 한, 탈락률이 낮아지고 전임상 및 임상 성적이 향상되는 것으로 보인다.

Second, using pre-university extracurricular activities for selection to medical school seems to lead to lower dropout rates and better preclinical and clinical performance, provided that the judgement process is sufficiently structured.


셋째, 특히 커리큘럼에서 가장 잘 수행 할 학생들을 선발하기 위해 커리큘럼 샘플을 사용하는 것이 유망한 선택 방법입니다.

Third, the use of curriculum samples is another promising selection method, particularly when the aim is to select those students who will perform best in your curriculum.


넷째, SJT와 같은 맥락화 된 도구는 지역 맥락에 맞게 조정되어야하며 사용되는 채점 방법에 대해 면밀히 조사해야한다.

Fourth, contextualised instruments such as SJTs should really be tailored to the local context and should be accompanied by a careful examination of the scoring method to be used.


다섯째, 선정 절차에서 (특정) 개인적 자질에 대한 평가를 포함시킬 때 논란의 가능성을 인식해야합니다.

Fifth, one should be aware of the possibility of controversy when including the assessment of (certain) personal qualities in selection procedures.


여섯째, 상황이 변화하면(선발 비율을 높이거나, 선발 기준에 맞춘 지원자의 적응적 행동 등) 선발 방법의 예측 타당성을 감소시킬 수있다.

Sixth, changing circumstances, such as higher selection ratios or applicants’ adapting behaviour to meet the selection criteria, may decrease the predictive validity of selection methods.


마지막으로, 악영향과 관련하여 의과 대학의 주요 권고안은 타당성과 다양성에 모두 부합 할 수 있도록 학업적 및 비학업적 선택 도구의 조합과 중요성에 대해 주의 깊게 생각하는 것입니다 .4,17,32 , 65

Finally, with respect to adverse impact the main recommendation for medical schools would be to carefully think about a combination and weighting of academic as well as non-academic selection instruments that would fit both the needs of validity and of diversity.4,17,32,65



12 Patterson F, Zibarras L. Selecting for creativity and innovation potential: implications for practice in healthcare education. Adv Health Sci Educ 2017;22:417–28.


30 Schripsema NR, van Trigt AM, Borleffs JCC, CohenSchotanus J. Underlying factors in medical school admissions. Med Educ 2015;49 (6):639–40.


47 Stegers-Jager KM, Themmen APN, Cohen-Schotanus J, Steyerberg EW. Predicting performance: relative importance of students’ background and past performance. Med Educ 2015;49 (9):933–45.


49 De Visser M, Fluit C, Fransen J, Latijnhouwers M, Cohen-Schotanus J, Laan R. The effect of curriculum sample selection for medical school. Adv Health Sci Educ 2017;22:43–56.




 2018 Jan;52(1):86-95. doi: 10.1111/medu.13462. Epub 2017 Oct 6.

Lessons learned from 15 years of non-grades-based selection for medical school.

Author information

1
Institute of Medical Education Research Rotterdam, Erasmus MC, University Medical Centre Rotterdam, Rotterdam, The Netherlands.

Abstract

CONTEXT:

Thirty years ago, it was suggested in the Edinburgh Declaration that medical school applicants should be selected not only on academic, but also on non-academic, attributes. The main rationale behind extending medical school selection procedures with the evaluation of (non-academic) personal qualities is that this will lead to the selection of students who will perform better as a doctor than those who are selected on the basis of academic measures only. A second rationale is the expectation that this will lead to a representative health workforce as a result of reduced adverse impact. The aims of this paper are (i) to describe what can be learned about the use of selectioncriteria other than grades from over 15 years of Dutch experience and (ii) to summarise current knowledge on the issue of adverse impact in relation to non-grades-based selection.

METHODS:

A narrative review was undertaken of the (published) evidence that has resulted from non-grades-based school-specific selectionprocedures in the Netherlands and from recent explorations of the effect of the use of non-grades-based selection criteria on student diversity.

RESULTS:

The Dutch evidence is grouped into five key themes: the effect of participation in voluntary selection procedures, the assessment of pre-university extracurricular activities, the use of work samples, Dutch experiences with situational judgement tests and the effects of changing circumstances. This is followed by several lessons learned for medical schools that aim to increase their student diversity.

CONCLUSION:

Over the last 30 years, important steps towards reliable and valid methods for measuring non-academic abilities have been taken. The current paper describes several lessons that can be learned from the steps taken in the Dutch context. The importance of sharing evidence gathered around the globe and building on this evidence to reach our goal of predicting who will be a good doctor is acknowledged.

PMID:
 
28984374
 
PMCID:
 
PMC5765503
 
DOI:
 
10.1111/medu.13462


MMI 경험: 질적 분석(Med Educ, 2009)

Experiences of the multiple mini-interview: a qualitative analysis

Koshila Kumar,1 Chris Roberts,1 Imogene Rothnie,2 Christine du Fresne1 & Merrilyn Walton1




도입

INTRODUCTION


McMaster University (Hamilton, ON, Canada)에서 이러한 단점을 해결하기 위해 MMI가 개발되었습니다.

The multiple mini-interview (MMI) was developed at McMaster University (Hamilton, ON, Canada) to address some of these shortcomings.6


의과대학 선발의 맥락에서 평가 과정은 인터뷰 후 설문 조사를 통해 계속 평가됩니다. 그러나 질적 연구는 기존의 양적 연구에서 제공 한 것보다 더 풍부한 심층적 인 이해를 도와주며, 성과 평가와 관련된 과제 잘 보여준다.

The process of assessment within the context of medical school selection continues to be evaluated via post-interview questionnaires.5,6,9,11 However, qualitative studies have demonstrated value in facilitating in-depth understanding, richer than that provided by existing quantitative studies, of the challenges associated with the assessment of performance.12,13



맥락

Context


우리 MMI의 세부 사항은 다른 곳에서보고되었지만, 요약하면, 후보자는 8 개의 면담 스테이션을 통해 회전하며, 각 면접은 7 분 동안 진행되고, 스테이션 간 2 분 간격을 둔다. 각 MMI 스테이션에는 단일 면담 자, 표준화 된 텍스트 기반 시나리오 및 프롬프트 질문 및 마킹 체크리스트가 포함됩니다. 시나리오 설계는  입학생에게 기대되는 기술 및 행동을 샘플링하기위한 국제 기준에서 도출 된 청사진을 기반으로합니다. 각 시나리오에는 지원자가 채점 체크리스트에 명시된 특정 영역을 다루도록 가이드하는 몇 가지 표준화 된 프롬프트 질문이 있습니다. 각 면접 스테이션에서 응시자는 1-4 단계 (1 = 만족스럽지 않음, 4 = 우수함)로 이러한 기술과 행동을 얼마나 잘 처리했는지에 대해 점수를 매 깁니다.


Details of our MMI have been reported elsewhere,7 but, in summary, candidates rotate through eight interview stations, each lasting 7 minutes with a 2-minute interval between stations. Each MMI station involves a single interviewer, a standardised textbased scenario and prompt questions, and a marking checklist. Scenario design is based on a blueprint drawn from international criteria for sampling the skills and behaviours expected of graduate-entry medical students. Each scenario has several standardised prompt questions to guide candidates to cover specific areas outlined in the marking checklist. At each interview station, candidates are scored on how well they address these skills and behaviours on a scale of 1–4 (1 = unsatisfactory, 4 = excellent).


방법

METHODS


자료 수집

Data collection


This study was undertaken as part of a larger quantitative evaluation of the MMI, which has been reported elsewhere.7 

  • Interviewer focus groups were held during the lunch break on six different interview days. Interviewers had been informed of these groups as part of the written communication from the faculty and were reminded again by one of the authors during a debriefing session each day. 

  • Focus groups explored 

    • interviewers’ views and experiences of challenges in their role, 

    • their level of preparedness for the task, 

    • the assessment format, 

    • the overall strengths and weakness of the process, and 

    • suggestions for improvements. (See Appendix 1 for questions.)


In addition, qualitative data were collected via an anonymous paper-based questionnaire, which all candidates and interviewers were invited to complete. Open-ended survey questions explored participants’ satisfaction with the MMI, perceptions of MMI strengths and weaknesses, and suggestions for improvements. (See Appendix 2 for questions.) Candidates completed the questionnaire immediately after their interview at a candidate debriefing, whereas interviewers were requested to do so after their final interview.



APPENDIX 1 Focus group questions: interviewers

• What did you find were some of the challenges in your role as an interviewer?

• To what extent do you feel the interview training prepared you for the interviewing task? How could this training be improved?

• To what extent did you feel that your scenario matched the marking criteria and the list of expected skills and behaviours for the station?

• How easy ⁄ hard was it to apply the marking criteria consistently across different students ⁄ scenarios?

• What do you see as the overall strengths of the MMI process?

• What do you see as the overall weaknesses of the MMI process?

• What suggestions do you have for improving the MMI process?


APPENDIX 2 Open-ended survey questions: candidates and interviewers

• Overall, how satisfied were you with the MMI as one of the tools for selection into the medical programme? If you were unsatisfied, please comment on why.

• What do you think are the strengths of the MMI process as one of the tools for selection into the medical programme?

• What do you think are the weaknesses of the MMI process as one of the tools for selection into the medical programme?

• What suggestions do you have for improving the MMI process?




윤리적 고려

Ethical considerations



자료 분석

Data analysis


Framework analysis15 was used to examine the qualitative data as it permitted reflection on participants’ original accounts of their experiences within the scope of pre-set research objectives.16 The analysis process involved several inter-related stages. 

In this study, three researchers each independently read through a proportion (33%) of the qualitative data and identified recurrent themes and sub-themes (codes) which captured the breadth and diversity of respondents’ views and experiences, and reflected issues and concepts raised by respondents and the connections among these.15 

    • The researchers then met regularly to discuss similarities and differences in their coding and to negotiate a joint thematic framework that outlined the content of participants’ comments. 

    • At this time, a fourth researcher used the thematic framework to code a proportion of the data in order to establish the framework’s credibility.17 

    • Next, NVivo qualitative data analysis software (Version 7; QSR International Pty Ltd, Melbourne, Vic, Australia) was used to apply the thematic framework to all the data and to rearrange data according to themes and sub-themes.



RESULTS


참가자

Participants


'... 기존 시스템에는 일반적으로 3명의 면접관 중 다른 사람보다 경험이 많은 사람이 있었으므로 더 hawkish하거나 dovish한 경향이 있다면 중간 정도의 위치로 돌아가는 경향이있었습니다. 그러나 MMI에서는 전체 과정에 대해서 모른 채로 비행하게 된다. '(I)


‘…in the last system generally there was someone in the three that was more experienced than someone else, so if you tended to be more hawkish or dovish or something, there tended to be some gravitation back to the medium position, whereas here you’re flying blind for the whole process.’ (I)


핵심 주제

Key themes


프레임 워크 분석은 참가자의 MMI 경험에 관한 6 가지 주요 주제와 하위 주제를 확인했습니다. 이들은 표 1에서 주요 골격으로 표현된다.


The framework analysis identified six major themes and sub-themes pertaining to participants’ experiences of the MMI. These are represented as a thematic framework in Table 1.




일대일 인터뷰

One-to-one interviews


'... 한 번에 여러 명의 면접 원에게 이야기하는 것보다 더 진실하고 편안한 인터뷰'. (C)

‘…a more sincere and relaxed interview than speaking to several interviewers at once.’ (C)


'... 다른 사람들의 편견없이 지원자에 대한 자신의 견해를 형성 가능.'(C)

‘…form their own opinion about the applicant without bias from others.’ (C)


'작년에는 다른 몇몇 패널 멤버들에 의해 면접 방향이 정해진 것 같았습니다. 한 교수는 다른 두 교수와 늘 의견이 엇갈렸지만, 너무나 확고해서 우리는 그의 의견을 따르게 되었다. "(I)

‘I definitely felt railroaded by some of the other panel members last year. The professor of whatever whose views were at odds with [the] other two members of the panel, but was very strong in getting us to come around to his views.’ (I)



다중 평가 기회

Multiple assessment opportunities


'이전 방식과 같은 인터뷰보다, 지금처럼 한 가지 질문만 다루는 것이 훨씬 덜 스트레스를 받는다는 것을 알게되었습니다. 무엇을 결정하든 내가 결정한 것이고, 그것은 그 학생을 위한 것입니다. 그리고 나는 개인적으로 (그러한 결정이) 상당히 스트레스가 많음을 깨달았다. 이런 식의 면접에서 면접관은 자신의 결정이 Matrix의 일부라는 것을 알고 있으며, Matrix는 학생에 대한 impression의 집합이라는 사실이 압박을 조금 덜어주었다. 나는 이것이 학생을 위한 더 공정한 과정이라고 생각합니다. '(I)


‘I found it much less stressful just dealing with one question than the whole long interview which we had before because when you decided whatever you decided… that was it for that student. And I personally found that quite stressful really. This time you know it’s part of a matrix, it’s a collection of impressions of the student which takes the pressure off me a bit and I think is probably a fairer process for the student.’ (I)


표준화 시나리오 기반 면접

Standardised scenario-based interviews


'MMI는 미래의 의사가 만날 수있는 다양한 시나리오를 제공하고 있으며 학생들이 이러한 상황에서 어떻게 행동 할 것인가에 대한 공정한 테스트라고 생각합니다.'(C)

‘I think the MMI does give a wide range of scenarios, especially those that a future doctor would encounter and is a fair test of how students would behave in these situations.’ (C)


탐색 질문과 마킹 체크리스트의 표준화에 대한 의견이 엇갈 렸습니다. 한 가지 관점은 면접관의 주관성을 감소시킬 가능성이있는 것으로 나타 났으며, 6,7

There were mixed views on the standardisation of the prompt questions and marking checklist. One perspective indicated that it appeared to have the potential to reduce interviewer subjectivity,6,7


반대로, 탐색 질문과 마킹 체크리스트의 표준화는 다른 문제를 탐구하는 것에 대한 면접관과 후보자의 범위를 제한하는 것으로 인식되었습니다.

By contrast, the standardised nature of the prompt questions and marking checklist were perceived to restrict the scope of interviewers and candidates to explore other issues:



미니 면접

The mini-interview


응시자는 일반적으로 각 MMI 스테이션에 할당 된 시간이 짧았다고 이야기합니다.

Candidates commonly spoke about how the shorter time allocated for each MMI station:


측정되는 것은 무엇인가?

What is being measured?


그러나 다른 사람들은 MMI가 주로 의사 소통 기술을 평가했으며, 후보자의 추론 능력보다는 사회적 상호 작용 기술을 기반으로 한 결정이 신입생의 다양성을 제한 할 수 있다고 우려했습니다.

However, others felt that the MMI was primarily assessing communication skills and were concerned that decisions based on social interaction skills rather than the reasoning capabilities of the candidate might restrict the diversity of the intake:


또 어떤 것이 측정되어야 하는가?

What else should be measured?


어떤 사람들은 지원자의 특정 개인적 자질에 대해 논의하기에는 MMI에서 기회가 부족하기 때문에, 후보자들이 자신에 대한 전체적인 그림을 제시 할 수있는 기회를 제한하고 있다고 우려했습니다.

Some were concerned that the lack of opportunity in the MMI to discuss specific personal qualities limited candidates’ opportunities to present holistic pictures of themselves.


많은 참가자들은 MMI에 응시자의 의학에 대한 헌신과 왜 그 대학을 지원했는지를 조사하기 위한 목적의 스테이션을 포함하도록 수정해야한다고 제안했습니다.

Many participants proposed that the MMI should be modified to include one station to explore the candidate’s commitment to medicine and to the university to which he or she had chosen to apply.



고찰

DISCUSSION 


참가자들은 일반적으로 MMI가 강력하고 독립적인 평가 시스템임을 확인했습니다. 이것은 수용가능성에 대한 이전의 평가에 추가됩니다.

Participants generally found the MMI to be a compelling and independent assessment system. This adds to previous evaluations of its acceptability.9,10


인터뷰 응시자는 일대일 형식 및 다중 평가 기회와 같은 MMI의 측면을 긍정적으로 보았으며, 이는 면접관에게 긍정적 인상을 줄 가능성을 높인다고 생각했다. 인상 관리impression management에 관한 연구문헌에 따르면, [일대일 환경에서 내재하는 사회적 상호 작용]과 [외부 잠재 고객(즉, 면접관)과의 상호 작용을 위한 다수의 기회가 제공되는 것]이 자기홍보 전략을 사용하기에 이상적인 환경을 조성한다. 반대로 응시자는 [짧은 인터뷰 시간]과 [자신의 가치와 헌신을 논의 할 수있는 기회가 없는 것]이 상호 작용의 본질과 질을 제한하는 것으로 인식되어 자신의 긍정적인 면을 보여주는데 제약이 된다고 생각했습니다.

Interview candidates were particularly responsive to aspects of the MMI such as the one-to-one format and the multiple assessment opportunities, which they perceived as enhancing their chances of making a favourable impression. The impression management literature supports that the social interaction inherent in one-to-one settings and multiple opportunities for interaction with an external audience (i.e. interviewers) creates an ideal environment for using self-promotion tactics.18,19 Conversely, candidates viewed the short interview time and the lack of opportunity to discuss their values and commitment as barriers to favourable self-presentation, as these aspects were perceived to limit the nature and quality of interaction within the interview.


연구 결과는 MMI가 평가하고있는 것에 대한 참가자들의 기대와 이해가 다를 수 있음을 보여주었습니다. 

  • 일부 사람들은 팀웍과 공감대와 같은 영역에서 추론 기술을 평가하는 것으로 인식했으며, 

  • 다른 사람들은 의사 소통 기술을 주로 평가하기에 이것이 신입생의 다양성을 제한 할 수 있다고 우려했습니다. 

이것은 참가자들이 "훌륭한 커뮤니케이터들은 의학에 요구되는 다른 기술을 보유할 가능성이 적다"라는 흥미로운 가정을 가지고 있음을 보여준다. 또한 MMI가 테스트하는 자질에 대한 공통된 이해를 보장하기 위해 추가 타당도 훈련의 필요성을 강조합니다.

Our findings also showed that participants had differing expectations and understandings of what the MMI was assessing. 

  • Some perceived it as assessing reasoning skills7 in areas such as teamwork and empathy, 

  • whereas others believed that it was primarily assessing communication skills and were concerned that this might restrict the diversity of the intake. 

This highlights an interesting assumption made by participants that good communicators are less likely to possess the technical or other skills required for medicine. It also highlights the need for further validity training to ensure a common understanding of which qualities the MMI is testing.


다수의 평가 기회는 후보자에 대한 부정정 판단을 내리는 것과 관련된 면접관 스트레스를 완화시키는 것처럼 보였습니다. 우리의 조사에서 평가자들은 중간 범위 점수만을 사용하여 탈락 결정을 회피하기보다는, 평가 스케일의 전체 범위를 사용하려는 경향이 더 많다고보고했습니다. 이는 면접관의 stringency effect을 감소시키는데도 기여할 수 있습니다.

The multiple opportunities for assessment also appeared to ease interviewer stress associated with having to judge candidates unfavourably. In our study, some interviewers reported that they were more inclined to use the full range of the marking scale rather than avoid the decision to fail by sticking to a middle ground. This may also contribute towards reducing the interviewer stringency effect.7


면접관의 주요 관심사는 벤치마킹 기회가 부족하다는 점이었습니다. 특히 엄격함이나 관대함을 측정하는 측면에서 특히 그렇습니다. 면접관들은 패널인터뷰처럼 각 지원자들에 관해 토론할 다른 면접관들이 있는 것이 의사 결정을 조정하고 결정화하는 데 유용했다고 설명했습니다. 연구 결과는 Cleland et al.의 연구 결과와 일치하며, 의학 교육자에게 동료의 견해는 학생들의 성과 결과를 결정하는 데 있어 가치가 있음을 발견했습니다. MMI에 참여하는 대부분의 면접관이 패널 인터뷰에서 풍부한 경험을 가지고 있다는 사실을 고려할 때 그 결과는 놀랄 일도 아닙니다. 일부 사람들은 표준화 된 인터뷰 형식이 MMI가 측정 한 자질과 관련없는 요소의 영향을 줄임으로써 의사 결정의 주관성을 낮출 수 있지만, 훈련 중 이에 대한 가이드가 필요하다고 느꼈다고 언급했다.

A main concern for interviewers was the lack of opportunity for benchmarking, particularly in terms of gauging their stringency or leniency. Interviewers commented that having others to discuss each candidate with, as they did in the panel interview, was useful for moderating and crystallising their decisions. Findings are consistent with those of Cleland et al.,13 who found that the views of colleagues were valuable to medical educators in determining students’ performance outcomes. The findings are also unsurprising given that most interviewers coming into the MMI had a wealth of experience in panel interviews. Some interviewers felt that the standardised interview format might reduce the subjectivity of their decision making in terms of diminishing the influence of elements irrelevant to the qualities measured by the MMI, but felt that they needed further guidance on this during training.


또한 면접관들은 [집단 영향력의 배제]와 [특정한 판단에 따라야 한다는 기대가 없다는 점]에서 MMI의 의사 결정 과정을 높이 평가했다이것은 이전 패널 인터뷰에서 흔히 경험했던 것으로서, 이러한 요인이 면접 결과를 크게 좌우한다고 생각했습니다. 특히 패널 인터뷰에서는 주니어 면접관이나 지역 사회에서 온 면접관이 자신의 의견을 분명히 말할 수있는 기회가 제한적일 수 있습니다. 집단 영향력이 사회적 행동에 미치는 영향에 대한 연구에 따르면, 집단의 기대를 충족시키고 승인을 얻고자하는 욕구에 의해서 conformity가 유도되며, 이는 특히 어려운 판단에 대한 대중의 반응을 필요로 하는 high-status group에서 두드러진다.

Our findings also showed that interviewers gave high regard to the MMI decision-making process due to the absence of group influence and the subsequent lack of expectation that they would conform to a particular judgement. This was an experience commonly encountered in the previous panel interview, and some interviewers viewed it as having significantly shaped interview outcomes and limited opportunities particularly for more junior interviewers or those from the community, to articulate their opinions. Research on the effects of group influence on social behaviour indicates that conformity is prompted by the desire to fulfil the expectations of the group and gain approval, particularly within high-status groups that require a public response to a difficult judgement.18



연구의 강점

Strengths and weakness of the study


오스트레일리아와 북미 지역 모두에서 참가자들의 시각을 파악했으므로, 조사 결과의 전이가능성이 높아졌습니다.

The transferability of findings is enhanced as we captured the perspectives of participants in both Australian and North American settings.


연구의 함의

Implications of the study


MMI에서는 면접관 훈련을 통해, 면접관들의 서로 다른 기대치를 교정해야 한다. 면접관 훈련은 평가 대상에 대한 공통의 이해를 형성하는 것을 목표로 하며, 면접관의 편견이 지원자 또는 시나리오 상호 작용할 가능성이 있는 영역이 어디인가를 찾아내야 한다. 

We recommend that differing expectations regarding the MMI should be remediated through targeted interviewer training that aims to facilitate a shared understanding of what is being assessed and identify areas of potential interviewer bias in interacting with candidates and across scenarios. 


면접관에게 [서로 다른 유형의 스테이션에서, 다양한 수준의 샘플 지원자에 대한 평가 연습을 실시]하여 벤치마킹에 대한 우려를 해소해야합니다.

Concerns about benchmarking should be addressed by providing interviewers with marking practice on sample candidates of varying degrees of capability across different types of stations. 


MMI가 후보자의 의학 진로에 대한 의지를 평가하는 스테이션을 포함함으로써 이익을 얻을 것이라 제안한다. 그러나 이 목적을 위해 고안된 모든 항목은 pre-professionalism에 대한 우려를 반영해야합니다.

In light of our findings, we also propose that the MMI would benefit from the inclusion of a station that assesses the candidate’s commitment to a career in medicine. However, any items designed for this purpose would need to reflect the concerns of pre-professionalism.



CONCLUSIONS





 2009 Apr;43(4):360-7. doi: 10.1111/j.1365-2923.2009.03291.x.

Experiences of the multiple mini-interview: a qualitative analysis.

Author information

1
Office of Postgraduate Medical Education, University of Sydney, New South Wales 2006, Australia. k.kumar@usyd.edu.au

Abstract

CONTEXT:

Multiple mini-interviews (MMIs) are increasingly used in high-stakes medical school selection. Yet there is little published research about participants' experiences and understandings of the process. We report the findings from an international qualitative study on candidate and interviewer experiences of the MMI for entry into a graduate-entry medical school.

METHODS:

Qualitative data from six interviewer focus groups and 442 candidate and 75 interviewer surveys were analysed using framework analysisMultiple researchers (n = 3) analysed a proportion of the data and developed a thematic framework capturing content-related (i.e. what was said) themes that emerged from the data. This thematic framework was then used to code the complete dataset.

RESULTS:

Several key themes were identified, including participants' perspectives on having: (i) a one-to-one interview; (ii) multipleassessment opportunities; (iii) a standardised, scenario-based interview; (iv) a mini-interview, and on (v) the attributes currently measured by the MMI, and (vi) other attributes that should be assessed.

CONCLUSIONS:

We gained a deeper understanding of participants' experiences of a high-stakes, decision-making process for selection into a graduate-entry medical school. We discuss our findings in the light of the existing literature and make recommendations to address the issue of differing participant expectations and understandings of the MMI, and to improve the credibility and acceptability of the process.

PMID:
 
19335578
 
DOI:
 
10.1111/j.1365-2923.2009.03291.x


MSPE의 현재: 투명성 향상 또는 여전히 혼란? (Acad Med, 2016)

The State of Medical Student Performance Evaluations: Improved Transparency or Continued Obfuscation?

Jason Hom, MD, Ilana Richman, MD, Philip Hall, MD, Neera Ahuja, MD,

Stephanie Harman, MD, Robert Harrington, MD, MA, and Ronald Witteles, MD





미국 의과 대학 출신의 2 만 5 천 명 이상의 졸업생이 매년 전국의 레지던트 교육 프로그램에 지원합니다. 레지던시 프로그램에 제출 된 각 신청서에는 일반적으로 "학장의 서신"이라고하는 의학적 학생 성과 평가 (MSPE)가 포함됩니다. MSPE는 지원자를 대신하여 의과 대학 교수가 작성한 서신으로 학업 성적을 요약 한 것입니다. 일반적으로 학생의 학문적 배경과 전임상 및 임상 설정에서의 성적에 대한 데이터를 포함합니다. 대부분의 경우, 학생의 순위 또는 의대생으로서 전체적인 수행 능력을 요약 한 "핵심 단어"가 포함됩니다. MSPE는 의과대학생의 레지던트 신청서의 중요한 구성 요소이며, 신청자를 평가할 때 레지던시 프로그램 디렉터에게 종종 중요하게 여겨지는 자료이다.

Over 25,000 graduating students from U.S. medical schools apply to residency training programs across the country each year.1 Each application submitted to a residency program includes a medical student performance evaluation (MSPE), commonly referred to as the “dean’s letter.” The MSPE is a letter written by medical school faculty on behalf of the applicant, summarizing his or her academic performance. It typically contains data on the student’s academic background as well as his or her performance in preclinical and clinical settings. In most cases, it includes a “key word” which encapsulates the student’s rank or overall performance as a medical student. The MSPE is a critical component of a medical student’s residency application, and the information it contains is often weighed heavily by residency program directors when ranking applicants.2


이러한 노력에도 불구하고 MSPE의 단점은 지속됩니다. 2005 년부터 MSPE를 체계적이고 양적으로 검토 한 결과, 의대 중 45 %만이 전반적인 학생 성적에 대한 비교 자료를 제공 한 것으로 나타났습니다. 다른 학자들은 

  • 핵심 단어 (예 : "좋음"또는 "우수함")가 학교마다 사용되는 방식의 다양함, 

  • 학교 간의 임상실습 grading의 변동성, 

  • Grade 인플레이션에 대한 우려 

...등 다양한 MSPE 해석의 어려움을 강조했습니다.

Despite these efforts, the shortcomings of the MSPE persist.4–6 A systematic, quantitative review examining MSPEs from 2005 demonstrated that only 45% of medical schools provided comparative data on overall student performance.7 Other authors have highlighted additional difficulties with interpreting the MSPE, including 

  • variability in how key words (such as “good” or “excellent”) are used by different schools,8,9 

  • variability in core clerkship grading between schools,10 and 

  • concerns regarding grade inflation.11


1989 년부터 MSPE의 표준화 및 개선을위한 공식적인 노력이 검토되었습니다.

Formal efforts to standardize and improve the MSPE have been considered since 1989,


2002 년에 AAMC는 MSPE에 대한 가이드 라인을 개정하고, 의대가 핵심 임상실습 수행 및 전반적인 학업 성과에 대해 쉽게 해석 할 수있는 비교 데이터를 포함하도록 권장했습니다.

In 2002, the AAMC revised its guidelines for MSPEs and recommended that medical schools include easily interpretable comparative data on core clerkship performance and overall academic performance.3



방법

Method


연구 설계 및 자료 수집

Study design and data collection


This study was conducted at Stanford University School of Medicine during April–July 2014 and was deemed exempt from review by the Stanford University institutional review board as it did not qualify as human subjects research.


This study was a cross-sectional analysis of MSPEs designed to describe the completeness of information contained in MSPEs. Our unit of analysis was the MSPE. We used a sample of 117 MSPEs received by the Stanford University internal medicine residency training program during the 2013–2014 application cycle, analyzing one randomly selected MSPE from every Liaison Committee on Medical Education (LCME)–accredited U.S. medical school from which at least one student applied. Because the portions of the MSPE describing each school’s grading and ranking schemes do not differ between MSPEs from a given medical school, it was not necessary to review more than one MSPE per school.


Data analysis



결과

Results


우리의 연구 샘플에는 131 개의 LCME 인증 미국 의대 중 117 개 (89 %)의 MSPE가 포함되었습니다. 우리 샘플의 학교 중 14 개 (12 %)는 핵심 단어 나 순위 시스템을 사용하지 않았습니다. 또 다른 20 명 (17 %)은 "우수"또는 "우수"와 같이 주요 단어로 자주 사용되지만 가능한 주요 단어를 해석하는 방법에 대한 주요 단어 또는 정보의 전체 목록을 제공하지 않은 요약 설명에 설명자를 포함했습니다. 사용 된 핵심 단어의 전체 목록을 제공 한 83 개 학교 (71 %) 중 12 개 (10 %)는 핵심 단어에 대한 완전한 분포 데이터를 제공하지 않았습니다. 나머지 71 개 학교 (61 %)는 전체 목록 및 배포 데이터와 함께 완전한 키워드 데이터를 제공했습니다.

Our study sample included MSPEs from 117 (89%) of 131 LCME-accredited U.S. medical schools. Of the schools in our sample, 14 (12%) did not use key words or any ranking system. Another 20 (17%) included descriptors in the summative comments that are often used as key words, such as “excellent” or “outstanding,” but did not provide a complete list of key words or information about how to interpret possible key words. Of the 83 schools (71%) that provided a full list of key words used, 12 (10%) did not provide complete distribution data for the key words. The remaining 71 schools (61%) provided complete key word data, with both a full list and distribution data.


핵심 단어를 할당 한 83 개 의과 대학의 대부분은 전반적인 학생 성과 (그림 1A)를 설명하기 위해 4 개 (n = 36, 43 %) 또는 5 개 (n = 29; 35 %)의 키워드를 사용했습니다. 사용되는 핵심어에는 엄청난 다양성이있었습니다. 전체 범주를 보면 총 72개의 서로 다른 핵심어들이 사용되었으며, 27가지의 핵심 단어가 상위 범주의 performer를 설명하는 데 사용되었습니다 (그림 2).

Most of the 83 medical schools that assigned key words used 4 (n = 36; 43%) or 5 (n = 29; 35%) key words to describe overall student performance (Figure 1A). There was tremendous variability in the key words used across schools. A total of 72 distinct key words were used across all categories of performance, and 27 key words were used to describe the top category of performers (Figure 2).





(MSPE에서) Top 키워드를 할당 한 의대 학생의 평균 비율은 24 % (범위 : 1 % -60 %)였습니다.

The median percentage of medical students assigned the top key word was 24% (range: 1%–60%).


임상실습 grade 데이터는 일반적으로 핵심어 데이터보다 더 완전합니다. 우리 샘플의 117 개 의과 대학 중 116 개 (99 %)는 임상실습 사용 된 grading scheme에 대한 정보를 최소한 제공했으며, 96 개 (82 %)는 각 직책에 배정 된 성적에 대한 완전한 배포 데이터를 제공했습니다. 사용 된 grade의 총 수는 2에서 10 사이이며, 두 학교는 0-100 숫자 척도 (그림 3A)를 사용했습니다.

Data for clerkship grades were generally more complete than data for key words. Of the 117 medical schools in our sample, 116 (99%) provided at least some information on the grading scheme used for clerkships, and 96 (82%) provided complete distribution data for grades assigned in each clerkship. The total number of grades used ranged from 2 to 10, and two schools used a 0–100 numeric scale (Figure 3A).





(임상실습에서) Top grade를 받는 학생의 비율의 중간값은 29%였고, 96 학교 중 24(25 %) 학교에서 39%이상의 학생에게 top grade를 주었으며, 10(10%)개 학교는 50%이상의 학생에게 top grade를 부여했다.

The median percentage of students receiving the top grade was 29% (interquartile range: 23%–39%; range: 2%–90%), though there was marked variability: 24 (25%) of the 96 schools awarded the top grade to ≥ 39% of students, and 10 (10%) awarded the top grade to ≥ 50% of students.




고찰

Discussion


AAMC는 MSPE가 의대생 성과에 대한 투명하고 포괄적인 비교 자료를 일률적으로 포함해야한다고 권고하는 초기 지침을 발표 한 지 25 년이되었습니다. 지원자 선택의 근거가 될 수있는 최상의 정보를 레지던시 프로그램 디렉터와 선발위원회에게 제공해야 하기 위해서이다. 

It has been a quarter of a century since the AAMC3 put forth its initial guidelines recommending that MSPEs should uniformly include transparent and comprehensive comparative data on medical student performance in order to provide residency program directors and selection committees with the best possible information on which to base their selection of applicants.


우리의 연구는 불완전하고 해석하기 어려운 데이터가 여전히 MSPE에 보급되어 있음을 강조하며, 과반수가 조금 넘는 학교들만이 임상실습 및 전반적인 성과에 대한 완벽한 비교 데이터를 제공합니다.

Our study highlights that incomplete and difficult-to-interpret data still pervade MSPEs, with a scant majority of schools now providing complete comparative data on clerkship and overall performance.



앞으로도 긍정적 인 변화가 계속되기를 기대하지만, AAMC 권고안 준수는 자발적이며 의과대학들은 좋은 레지던트 프로그램에 학생을 보내야 한다는 대한 지속적인 압력이 있기 때문에 여전히 어느 정도 불완전하고 해석하기 어려운 데이터가 지속될 가능성이 높습니다. 또한 미국의 의대 졸업생 및 국제 지원자 수가 미국 내 거주자 슬롯 수보다 빠르게 증가 할 것으로 예상되므로 이러한 압박이 커질 수 있습니다.

Although we are hopeful that positive changes will continue in the coming years, it is likely that some degree of incomplete and difficult-to-interpret data will persist, both because compliance with the AAMC recommendations3 is voluntary and because there are continued pressures on medical schools to ensure good residency placements for their students. Moreover, such pressures may be increasing, as the number of U.S. medical school graduates and international applicants is expected to grow faster than the number of U.S. residency slots available.13



불행히도, MSPE의 비교 데이터가 없는 것 때문에 치러야하는 비용은 상당하다. 이러한 관행은 평균 이하의 학생들에게 도움이 될 수 있지만, 평균 이상의 학생들에게는 열의를 꺾을 수 있습니다. 학생들은 자신의 업적에 대해 인정받지 못할 수 있습니다. 또한 비-비교 접근법에는 미묘한 단점이 있습니다. 최근 설문 조사에 따르면 레지던트 디렉터는 학급 및 직급 등급을 포함 해 MSPE의 "객관적인"구성 요소를 더 중요시했다. 이와는 대조적으로, 레지던트 디렉터들은 descriptive 코멘트는 덜 도움이된다고 느꼈다.

Unfortunately, excluding comparative data from the MSPE comes at a high cost. Although this practice may help below-average students, it may also temper enthusiasm for above-average students, who may not be recognized for their achievements. There are also more subtle drawbacks to a noncomparative approach. A recent survey reported that residency directors heavily weigh the more “objective” components of the MSPE, including class rank and clerkship grades.2 The descriptive comments, by contrast, were perceived by residency directors as less helpful.


지원자를 평가할 때 프로그램 디렉터들은 USMLE 1 단계 점수와 같이 다른 객관적인 데이터에 더 큰 비중을 둘 수 있습니다. 왜냐하면 Match를 위해서는 지원자들간에 순위를 매겨야 하기 때문이다. 이것은 학생들의 미래의 훈련 기회가 그들의 의대 학교 성과의 총체가 아니라 단 한 번의 필기 시험의 성과에 의해 부당하게 영향을받을 가능성을 제기합니다.

when evaluating applicants program directors may by necessity attribute greater weight to other objective data, such as United States Medical Licensing Examination Step 1 scores, because the residency Match requires programs to rank applicants versus one another.14 This raises the potential for students’ future training opportunities to be unduly influenced by their performance on a single written test rather than by the totality of their medical school performance.



레지던트 프로그램 선발위원회의 입장에서, grading 정책 및 학교 간 reporting의 의 비일관성은 지원자의 상대적인 강점과 약점에 대해 정보에 근거한 결정을 내리는 데 혼동과 어려움을 야기 할 수 있습니다.

From the vantage point of residency program selection committees, inconsistencies in grading policies and reporting among schools can cause confusion and difficulty in making informed decisions about the relative strengths and weaknesses of applicants.


핵심 단어에 대한 상황도 마찬가지로 혼란 스럽습니다. 표본의 한 학교는 최상위 3 분위에 대부분의 학생을 나타내는 "우수"라는 키워드를 사용하는 반면, 다른 학교는이 순위를 7 개 그룹의 학생 중 5 번째 순위에 배정했습니다. 심지어 겉으로는 잘 정의 된것 같은 수학적 용어조차도 해석의 어려움에 직면한다. 한 학교는 "상위 4 분위수"에 33 %의 학생을 포함했지만 "하단 4 분위수"에는 8 %의 학생 만 포함했습니다.

The situation for key words is similarly confusing. One school in our sample used the key word “excellent” to represent most students in the top tertile, whereas another school assigned this key word to the fifth-highest of seven groups of students in its ranking system . Even seemingly well-definedmathematic terms are not immune to interpretation difficulties; one school included 33% of students in its “top quartile” but only 8% of students in its “bottom quartile.”


현재 MSPE의 상태가 충분히 자격이 있는 학생들에게서 수련받기를 원하는 기관에서 제공될 수도 있었던 인터뷰 기회를 박탈하지는 않는지 고려하는 것이 중요합니다. 프로그램 디렉터들이 MSPE에 대한 비교 데이터를 제공하지 않는 학교의 학생들에 대해서 priority를 낮추는 것을 상상해 볼 수도 있다. 또한 프로그램 디렉터가 MSPE에서 제공되는 자료가 너무 적은 경우 학생의 퍼포먼스에 대해서 지나치게 과도하거나 지나치게 적은 credit을 주는 경우를 상상해 볼 수도 있다.

It is important to consider whether the current state of MSPEs effectively precludes certain deserving students from receiving limited interview slots at institutions where they may wish to train. We can envision scenarios in which program directors would give low priority to students from schools that do not provide comparative data in MSPEs because they are not willing to “take a chance” without having more objective data available. We can also envision scenarios in which program directors would give students too much or too little credit for their performance because of the lack of information, or even the frankly misleading information, provided in the MSPE.


3 Association of American Medical Colleges. A guide to the preparation of the Medical Student Performance Evaluation. 2002. http://www.aamc.org/ linkableblob/64496-6/data/mspeguide-data. pdf. Accessed October 8, 2015.








 2016 Nov;91(11):1534-1539.

The State of Medical Student Performance EvaluationsImproved Transparency or ContinuedObfuscation?

Author information

1
J. Hom is clinical instructor, Department of Medicine, Stanford University School of Medicine, Stanford, California. I. Richman is a health services research fellow, Center for Health Policy/Primary Care and Outcomes Research, Stanford University, Stanford, California. P. Hall is a fellow in cardiovascular medicine, University of California, San Francisco, San Francisco, California. N. Ahuja is clinical associate professor, Department of Medicine, Stanford University School of Medicine, Stanford, California. S. Harman is clinical assistant professor, Department of Medicine, Stanford University School of Medicine, Stanford, California. R. Harrington is Arthur Bloomfield Professor of Medicine and chair, Department of Medicine, Stanford University School of Medicine, Stanford, California. R. Witteles is associate professor, Department of Medicine, and program director, Internal Medicine Residency Training Program, Stanford University School of Medicine, Stanford, California.

Abstract

PURPOSE:

The medical student performance evaluation (MSPE), a letter summarizing academic performance, is included in each medical student's residency application. The extent to which medical schools follow Association of American Medical Colleges (AAMC) recommendations for comparative and transparent data is not known. This study's purpose was to describe the content, interpretability, and transparency of MSPEs.

METHOD:

This cross-sectional study examined one randomly selected MSPE from every Liaison Committee on Medical Education-accredited U.S. medical school from which at least one student applied to the Stanford University internal medical residency program during the 2013-2014 application cycle. The authors described the number, distribution, and range of key words and clerkship grades used in the MSPEs and the proportions of schools with missing or incomplete data.

RESULTS:

The sample included MSPEs from 117 (89%) of 131 medical schools. Sixty schools (51%) provided complete information about clerkship grade and key word distributions. Ninety-six (82%) provided comparative data for clerkship grades, and 71 (61%) provided complete key word data. Key words describing overall performance were extremely heterogeneous, with a total of 72 used and great variation in the assignment of the top designation (median: 24% of students; range: 1%-60%). There was also great variation in the proportion of students awarded the top internal medicine clerkship grade (median: 29%; range: 2%-90%).

CONCLUSIONS:

The MSPE is a critical component of residency applications, yet data contained within MSPEs are incomplete and variable. Approximately half of U.S. medical schools do not follow AAMC guidelines for MSPEs.

PMID:
 
26703411
 
DOI:
 
10.1097/ACM.0000000000001034


의과대학 입학시험: 부모가 의사인 학생이 이득? (BMC Med Educ, 2015)

Medical school admission test: advantages for students whose parents are medical doctors?

Anne Simmenroth-Nayda1* and Yvonne Görlich2




배경

Background


의대는 공정하고 객관적이며 투명한 입학 절차를 목표로합니다. 또한 민족성과 사회적 배경이 입학 시험의 결과에 편향 될 수 있다는 것도 잘 알려져 있습니다. 게다가, 의학 분야의 입학 지원자는 평균 인구의 사회 - 인구 통계 학적 비율을 대표하지 않습니다. 대신, 상급 사회 계급의 학생들, 특히 학력이있는 학부모의 자녀들이 매우 과장되었습니다.

Medical schools aim at a fair, objective, and transparent admission process. It is also well established that ethnicity and social background may bias the outcomes of admission tests [1-4]. Moreover, admission candidates especially in medicine do not represent the socio-demographic proportions of the average population. Instead, students from upper social classes, notably from parents with an academic background, are highly overrepresented [5-9].


독일에서는 이 현상이 지난 몇 년 동안 더욱 두드러지게 나타났습니다. 일반적으로 학생들은 중산층 또는 상위층의 가정에서, 즉 학문적 배경(academic background)을 가진 부모로부터 유래하는 경향이 있습니다. 이것은 의료 및 법률 학생에게 가장 빈번한 사실입니다. 의대생의 65 %에서 74 % 사이에는 학력이있는 학부모가 있습니다. 또 다른 연구에 따르면 학생 중 40 %는 학부모가 1 명, 학부모가 25 %라고합니다.

In Germany, this phenomenon has become even more pronounced over the past years: students in general tend to originate from families of the middle and upper clas- ses, or in other words, from parents with an academic background. This is most frequently true for medical and law students. Between 65% and 74% of the medical students have parents with an academic background [10,11]. Another study [12] reported that 40% of the students had one parent and 25% both parents with an academic background.


여러 가지 선발 절차의 타당성에 대한 논란이 있지만 오늘날 객관적인 입학 시험에 대해서는 합의가 이루어졌으며 서면 입학 시험은 물론 의사 소통 및 사회 기술을 평가하는 구조화 된 인터뷰 또는 다중 미니 인터뷰 (MMI)가 포함되어야합니다. Göttingen University Medicine은 2013 년에 새로운 입학 절차를 수립했습니다. 주요한 의도는 지원자들의 기반을 넓히는 것이 었습니다. 특히 이전의 의학 교육을받은 후보자 또는 최종 학교 시험 성적이 낮은 후보자를 포함 시키는 것으로, 이는 학문적인 가족 배경이없는 학생들에게는 더 자주 나는 특징이다.

Although there is still a debate of validity of several selection procedures, there is consensus today about objective admission-testing, which should include written entrance tests as well as structured interviews or multiple mini-interviews (MMI) that also assess communicative and social skills [13-18]. Göttingen University Medicine established a new admission procedure in 2013. The primary intention was to broaden the base of applicants, specifically to include candidates with a previous medical training or lower final school exam grades, which are more frequently present in students without academic family background.




방법

Methods


맥락과 입학 절차

Context and admission-procedure



독일 법률에 의거하여 의과대학은 60 %의 학생들을 선택할 수 있습니다. 지원자의 20 %는 best final school grade에 따라서, 나머지 20 %는 대기자 명단에서 선택됩니다(만약 대학이 이 선택 가능성을 놓친 경우 사실상 최고 성적으로 학생의 80 %를 선택 함). 신청자가 60 % 쿼트의 일부로 선택되기를 원할 경우, 그들은 국가 기관에 등록하도록 요청받습니다. 이 기관은 독일의 모든 의료 기능을위한 신청 절차를 조직합니다. 최종 학교 성적에 의해 사전 선정 (랭킹리스트)을 수립하고 완료된 전문 의료 훈련 (간호사, 물리 치료사, 작업 치료사 등)을위한 보너스를 제공합니다. 이것은 입학 절차의 첫 번째 단계입니다. Gottingen University Medicine에서 우리는 장소를 제공 할 수있는 잠재 학생의 3 배를 초대합니다 (60 % 내에서). 이 절차는 매년 2 회 반복되며 현재 순위 목록에서 처음으로 224 명의 지원자를 볼 수 있습니다. 두 번째 단계는 2 명의 교수진과 15 분짜리 구조화 인터뷰로 구성되어 있으며 약 관련 상황 (일부는 시뮬레이션 된 환자)과 자기 반영 사례가 통과되어야하는 MMI 스테이션이 4 개 있습니다. 마지막으로 최종 학년을 다시 고려합니다 (필수 : "입학 절차의 모든 단계에서 최종 학년의 주요 영향"). 따라서 최종 학년은 전체 입학 절차에 2 배의 영향을 미칩니다. 테스트 품질 및 MMI 및 인터뷰 통계는 다른 곳에서 게시됩니다.

German law allows medical faculties themselves to select a quotum of 60% of the students [19]. Twenty percent of the applicants are chosen directly by best final school grade, the remaining 20% by waiting lists (if faculties miss this selection possibility, they in fact chose 80% of students by best school grades). If applicants wish to be chosen as part of the 60% quotum, they are asked to register with a national institution. This institution organizes the application procedures for all medical faculties in Germany [20]. It establishes a pre-selection (ranking list) by final school grades and grants a possible bonus for a completed professional medical training (among others: nurse, physiotherapist, occupational therapist). This is the first step of the admission procedure. At Göttingen University Medicine, we invite three times as many prospective students as we will be able to offer a place (within the 60% quotum). This procedure is repeated twice each year, and we see approximately the first 224 applicants from the then current ranking list. The second step consists of a 15-minute structured interview with two faculty members and four five-minute MMI-stations, where medicine-related situations (in part with simulated patients) and a self-reflecting case have to be passed. In the end, the final school grade is once again taken into account (which is mandatory: “predominant influence of the final school grade in every step of the admission pro- cedure”). So the final school grade has a twofold impact within the whole admission procedure. Test quality and statistics from MMI and interviews are published else- where [21].



연구 설계, 참여자

Study design, participants


This is a quantitative questionnaire survey. The questionnaire included items about difficulty and acceptance of MMI and interview (closed questions, 6- point likert-scale) and the following open questions: 

    • 1) did you complete a medical training beforehand? If yes: which one? (free text) 

    • 2) did anyone in your family have a medical degree? If yes: who? (free text). 

    • 3) How did you prepared for the admission-test? (closed answers as well as free text).



자료 관리와 통계

Data management and statistics


We extracted data from two sources: 

    • 1) socio-demographic data including age, sex, and final school grades were submitted by the “Stiftung Hochschulstart”, a national central institution [20]. We 

    • 2) also generated our own data from the admission test itself: questionnaires (described above), test-scores of MMI, and score of the structured interviews. 

In addition to descriptive statistics, we used a Pearson cor- relation, means comparisons (t-test, analysis of variance), ANOVA, and a Scheffé test (SPSS-21).


윤리

Ethical approval


결과

Results


Table 1 shows the characteristics of the participants.




표 2에서 볼 수 있듯이 참여자는 한 부모가 의사 인 경우, 다른 친척 중 의사가있는 경우, 가족 중 의사가없는 경우의 세 그룹으로 구분됩니다. 표 2는 세 그룹의 점수에 큰 차이가 없음을 보여줍니다.

As shown in Table 2, participants were divided into three groups: those where one parent was a physician, those with a physician amongst their other relatives, and those without physicians in their families. Table 2 shows that there is no significant difference in the scores of the three groups.




참가자가 가족의 의료계 직종과 관련이 있다는 정보를 제공했을 때, 우리는 구체적인 관계를 물었습니다. 

When a participant had given the information that there was some connection to medical jobs in his or her family, we asked for the specific relationship. 

  • Thirteen participants disclosed that both parents and 

  • 13 participants with both parents and additionally other relatives where physicians. 

  • When only one parent held a medical degree, it was most frequently the mother (11 versus 4 “only father”). 

  • In 23 cases, no parents, but several relatives had connections to medical work, in rare cases, only siblings were physicians.



우리는 참가자들에게 입학 시험 준비 방법을 질문했습니다. 우리는 "의료계 종사하는 가족 배경"을 가진 그룹의 호의에서 "가족과 친구들과 이야기하기"라는 분야에서 약간의 차이를 발견했습니다. (표 3).

We asked the participants how they prepared for the admission test. We found a slight difference in the field of “talking with family and friends” in favors of the group that had a “family background with medical jobs”. (Table 3).


고찰

Discussion


2013 년 여름, 괴팅겐 대학 (Gottingen University Medicine)의 지원자 중 거의 절반이 의학 학위를 가진 가족 구성원을 포함하는 가족 배경을 가졌으며 가장 자주 부모는 의사였습니다. 우리의 입학 절차에서,이 특별 그룹은 시험 점수 자체 또는 시험 준비 자체에있어 어떠한 이점도 얻지 못했지만, 분명히 우리의 입학 절차를 선택하는 것과 같은 이점을 얻지 못했습니다.


In summer 2013, nearly half of the applicants at Göttingen University Medicine had a family background that included family members with medical degrees, most frequently, parents were physicians. In our admission procedure, this special group did not score any advantage in either test-scoring or individual preparation for the ad- mission test itself, but apparently in choosing our admission procedure as such.


강점과 한계

Strength and limitations


  • 이전 의료 훈련을 받은 응시자의 비율이 높은 것은 보너스로 설명 할 수 있습니다. 보너스는 최종 응시자가 받는 final school grade 을 업그레이드하는 것입니다. 

  • 여성 지원자의 비율이 높다는 것은 최종 학교 성적이 전체 절차에 미치는 영향 때문입니다. 최종 학교 시험 성적이 가장 좋은 여학생의 비율이 남학생보다 훨씬 높기 때문에 입학 허가를받을 수있는 기회가 주어질 가능성이 훨씬 더 높습니다. 이 현상은 지난 몇 년간 독일 및 다른 국가에서도 관찰되었습니다.

  • The high proportion of applicants with previous medical training can probably be explained by the bonus, which is an upgrading of the final school grade that these applicants receive. 

  • The high rate of female applicants is due to the influence the final school grade has on the whole procedure: the proportion of schoolgirls with best final school exam grades is much higher than of the boys, therefore the chance to be invited to our admission procedure is much higher. This phenomenon has also been observed in Germany and other countries in the past years [22].


이번 연구에서 의학 학위가있는 가족 배경을 가진 응시자가 44%인 것은(이 중 33 %는 부모가 모두 의사이고, 66 %는 한 명이 의사이다) 독일에서 또는 국제적으로 보고 된 것보다 훨씬 높습니다.

Our proportion of 44% applicants with a family background with medical degrees (33% had two medical doctors as parents, 66% had one medical doctor as parent) is even higher than reported in Germany or internationally [7,8,10,11].



문헌과의 비교

Comparison with the literature


의학 학위를 소지 한 학부모와 학생 및 지원자는 아주 특별한 그룹을 대표합니다

    • 노르웨이 연구는 의과 대학에서 의사의 12 %의 비율을보고했습니다; 이 숫자는 수년 동안 안정적이었습니다. 

    • 마찬가지로 2005 년과 2007 년 사이에 인터뷰 한 덴마크 의과 대학 학생 중 24 %는 학부모가 있었고 16 %는 의사였던 부모를 가졌습니다. 

    • 호주에서는 57 %의 응시자가 학부모에게 의학적 배경이 있습니다.

Students and applicants with parents who hold a medical degree represent a very special group: 

    • a Norwegian study reported a proportion of 12% of physician children in medical schools; this number was stable over many years. 

    • Likewise, 24% of the Danish medical students, interviewed between 2005 and 2007, had parents with academic degrees and 16% had parents who were medical doctors [6,8]. 

    • In Australia, 57% of applicants had parents with a medical background,


    • 일반적으로 의학 학위를 가진 부모를 둔 대부분의 학생은 부모가 보수가 많은 직장을 갖고 있기 때문에 학생 자신이 비용을 많이 부담하지 않아도됩니다. 따라서 학생들은 자신의 훈련을 위해 더 많은 시간과 자원을 갖고 테스트 준비를합니다. 

    • 마지막으로, 학문적 배경을 가진 후보자는 학문적 인 규칙, 의사 소통 및 행동에보다 익숙한 경향이 있습니다. 

    • 아마도 non-academic 가족 출신의 지원자에 대한 복잡한 입학 절차는 아마도 객관식 학교 시험 성적보다 더 어려울 것이다. 이와 달리 medical household에 사는 사람들에게 그러한 입학절차는 더 친숙합니다. 

    • 의학적 배경을 가진 가정에서 자란 학생들의 학업 환경에 대한 친숙 함과 친근 함독일의 의대생 중 13 %가 부모 중 한 사람에게서 의업을 이어받을 것으로 기대한다는 정보에 의해 문서화됩니다. 이는 독일에서는 거의 모든 ambulant 의료 기관이 자영업자 상태이기 때문에 가능합니다. 

    • 즉, strong identification with the parental profession이 가능하다. 

아마도 이것은 의료 훈련을받은 지원자의 비율이 비교적 높은 이유이기도합니다.

    • Most students with parents with a medical degree in general are not required to contribute as much to their own expenses because their parents hold well-paid jobs. Thus the students have more time and resources for their own training and to prepare for the tests. 

    • Finally, candidates with an academic background tend to be more familiar with academic rules, communication, and behaviour [6,23-25]. 

    • Perhaps complex admission procedures for applicants from non-academic house- holds are more daunting than presumably objective school exam grades, while they are in contrast more familiar to those living in a medical household. 

    • This greater affinity to and familiarity with academic surroundings of students who grew up in a family with a medical background is also documented by the information that 13% of the medical students in Germany attested that they expect to inherit the medical practice from one of their parents, which is possible in Germany because of the self-employed status of nearly all ambulant health-care providers [10]. 

    • This means that a strong identification with the parental profession can be assumed. 

Perhaps this is also the reason for the relatively high proportion of medical trained applicants.


의학에 대한 가족 배경이 없는 지원자가 동등한 성공을 거두긴 했으나, 입학 절차에 대한 접근은 사회적 배경에 관계없이 모든 사람에게 가능하고 투명해야합니다. 특히 광범위한 직업 분야의 환자를 봐야 하는 의사들에게 전문가 그룹의 다양성이 있는 것이 바람직합니다. 따라서 의사는 환자의 요구를 이해하기 위해 더 폭 넓은 배경을 필요로 할 수 있습니다.

Despite the equal success of applicants with a family background in medicine and of applicants without this, the access to admission procedures should be possible and transparent for all, regardless of their social back- ground. More diversity within professional groups is desirable, especially among physicians, who work with patients who hold a broad range of professions, and thus the physicians may need a broader background to understand their patients’ needs [26,28].




입학 시험 준비 및 정보

Preparation and information about the admission test


인터넷은 오늘날 가장 자주 액세스되는 정보 소스입니다. 입학 시험을위한 특별 준비 과정은 다른 나라와 마찬가지로 독일에서도 일반적이지만, 이러한 준비의 결과에 대한 결과는 일관성이 없습니다.

The internet is by far the most frequently accessed information source today. Special preparations for admission tests are common in Germany, as in other countries, but results about the effects of these preparations are inconsistent [31,32].


의학적 배경이 없거나 학계에 거의 접촉하지 않은 신청자는 special 학업 입학 시험 준비를 비롯하여 궁극적으로 의과대학에 지원하는데에 있어 정서적이며 재정적 장애에 직면 할 수 있습니다.

Applicants without a medical background or with little contact to the academic world perhaps face an emotional and financial hurdle in preparing for special academic admission tests and also for applying ultimately [24].


Conclusion









8. O’Neill L, Vonsild MC, Wallstedt B, Dornan T. Admission criteria and diversity in medical school. Med Educ. 2013;47:557–61.




 2015 Apr 23;15:81. doi: 10.1186/s12909-015-0354-x.

Medical school admission testadvantages for students whose parents are medical doctors?

Author information

1
Department of General Practice/Family Medicine, University Medical Center, Humboldtallee 38, 37073, Göttingen, Germany. asimmen@gwdg.de.
2
Study Deanery, University Medical Center, Humboldtallee 38, 37073, Göttingen, Germany. yvonne.goerlich@med.uni-goettingen.de.

Abstract

BACKGROUND:

Admission candidates especially in medicine do not represent the socio-demographic proportions of the average population: children of parents with an academic background are highly overrepresented, and those with parents who are medical doctors represent quite a large and special group. At Göttingen University Medicine, a new admission procedure was established with the intention to broaden the base of applicants towards including candidates with previous medical training or lower final school grades. With a view to family background, we wished to know whether candidates differ in the test scores in our admission procedure.

METHODS:

In February 2014 we asked all admission candidates of Göttingen University Medicine by questionnaire (nine closed, four open questions) about the academic background in their families, specifically, the medical background, school exam grades, and previous medicaltraining as well as about how they prepared for the admission test. We also analysed data from admission scores of this group (semi-structured interview and four multiple mini-interviews). In addition to descriptive statistics, we used a Pearson correlation, means comparisons (t-test, analysis of variance), ANOVA, and a Scheffé test.

RESULTS:

In February 2014 nearly half of the applicants (44%) at Göttingen University Medicine had a medical background, most frequently, their parents were physicians. This rate is much higher than reported in the literature. Other socio-demographic baseline data did not differ from the percentages given in the literature. Of all applicants, 20% had previous medical training. The group of applicants with parents who were medical doctors did not show any advantage in either test-scoring (MMI and interview), their individual preparation for the admissiontest, or in receiving or accepting a place at medical school. Candidates with parents who were medical doctors had scored slightly lower in school exam grades.

CONCLUSION:

Our results suggest that there is a self-selection bias as well as a pre-selection for this particular group of applicants. This effect has to be observed during future admission procedures.

PMID:
 
25898946
 
PMCID:
 
PMC4409754
 
DOI:
 
10.1186/s12909-015-0354-x
[Indexed for MEDLINE]