의과대학 및 기타 보건 전문직 교육(HPE) 학교는 자격을 갖춘 학생을 선발할 뿐만 아니라 이들이 미래에 복무하게 될 다양한 사회를 반영하는 학생 집단을 만들어야 할 책임이 있습니다(General Medical Council, 2015). 형평성과 공정성 문제 외에도 다양한 의료 인력은 의료 서비스 제공자의 문화적 역량을 향상시키는 것 외에도, 다양한 인구 집단에 대한 양질의 의료 서비스에 대한 접근성을 높이고 균등화하는 데 중요합니다(Cohen et al., 2002; Morgan et al., 2016). 그러나 학부 HPE 프로그램의 선발 절차는 지원자 하위 그룹에 선발 기회가 불균등하게 분배되기 때문에 학생의 다양성이 영향을 받을 수 있습니다(Fielding 외, 2018; Mathers 외, 2016). 선발 절차에는 국가 수준 또는 개별 학교에서 정의한 매우 다양한 도구가 포함될 수 있을 뿐만 아니라 동일한 도구가 다른 방식으로 구현될 수도 있습니다. 이는 서로 다른 도구가 학생 다양성에 차별적인 영향을 미치는지, 그리고 일부 도구가 학생 다양성에 미치는 영향과 관련하여 다른 도구보다 맥락에 더 독립적인지 의문을 제기합니다(Patterson et al., 2016). 본 다중 사이트 연구에서는 다양한 맥락에서 지원자 하위 그룹의 선발 기회와 다양한 선발 도구에 대한 성과를 조사했습니다.
Medical schools and other health professions education (HPE) schools are responsible for selecting qualified students, as well as generating student populations that reflect the diverse society they will serve in the future (General Medical Council, 2015). A diverse healthcare workforce, aside from issues of equity and fairness, is important to improve the cultural competency of healthcare providers, and increase and equalize access to high-quality healthcare for different population groups (Cohen et al., 2002; Morgan et al., 2016). However, student diversity can be affected by the use of selection procedures for undergraduate HPE programs, as selection chances are unequally distributed across subgroups of applicants (Fielding et al., 2018; Mathers et al., 2016). Selection procedures cannot only include a great variety of tools, either defined at a national level or by an individual school, but the same tool can also be implemented in different ways. This raises the question if different tools have differential effects on student diversity (Patterson et al., 2016), and if some tools are more context-independent than others concerning their impact on student diversity. In the present multi-site study, we examined the selection chances of applicant subgroups and their performance on different selection tools in multiple contexts.

지금까지의 연구에 따르면 선발 절차는 주로 사회경제적 지위(SES)가 낮고 소수 민족 출신 지원자의 선발 기회에 부정적인 영향을 미치는 것으로 나타났습니다(Fielding 외, 2018; Mathers 외, 2016; Mulder 외, 2022; Stegers-Jager 외, 2015; Steven 외, 2016). 그러나 절차에 사용된 도구의 조합에 따라 하위 그룹 간의 성과 차이가 달라질 수 있기 때문에 이러한 효과가 항상 단순하지는 않을 수 있습니다(Stegers-Jager, 2018). 전통적으로 미국과 유럽의 선발 절차에는 주로 지적 능력을 측정하기 위한 사전 교육 평점 평균(pre-GPA)과 인지 테스트가 포함되었습니다. 지난 수십 년 동안 기존 도구에서 얻은 정보를 추가하고 종종 개인의 자질을 평가하려는 목적으로 광범위한 선발 기준을 포함하는 방향으로 변화해 왔습니다(Niessen & Meijer, 2017; Stegers-Jager, 2018). 이력서(CV)와 상황 판단 테스트(SJT)가 그 예입니다. 이 백서에서는 이러한 구분을 전통적 기준과 확장된 기준이라는 용어로 지칭할 것입니다. 
So far, literature has shown that selection procedures mainly negatively affect the selection chances of applicants with lower socio-economic status (SES) and from ethnic minorities (Fielding et al., 2018; Mathers et al., 2016; Mulder et al., 2022; Stegers-Jager et al., 2015; Steven et al., 2016). However, this effect may not always be straightforward, as performance differences between subgroups can depend on the combination of tools used in the procedures (Stegers-Jager, 2018). Traditionally, selection procedures in the United States and Europe mainly included prior education grade point average (pre-GPA) and cognitive tests, aimed at measuring intellectual ability. In the past decades, there has been a shift towards the inclusion of broadened selection criteria, which aim to add to the information derived from traditional tools, and often intend to evaluate personal qualities (Niessen & Meijer, 2017; Stegers-Jager, 2018). Examples include curriculum vitae (CV) and situational judgement tests (SJT). In this paper, we will refer to this distinction with the terms traditional and broadened criteria.

선행 연구에 따르면, 전통적인 기준에서는 높은 사회경제적 지위와 다수인종 지원자에게 유리하게 작용하는 것으로 나타났습니다(Girotti 외, 2020; Juster 외, 2019; Lievens 외, 2016; Stegers-Jager 외, 2015). 학생 다양성에 대한 이러한 부정적 영향을 완화하기 위해 부분적으로 확대된 선발 기준이 도입되었지만, 지금까지의 결과는 일관되지 않습니다(Stegers-Jager, 2018). 예를 들어,

• Lievens 등(2016)은 영국에서 SJT를 도입하면 저소득층 지원자의 대표성은 높아지지만 소수민족 지원자의 대표성은 높아지지 않는다는 사실을 발견했습니다.
• 그러나 미국에서 실시한 유사한 연구에서는 SJT를 추가하는 것이 저소득층과 소수민족 지원자 대표성 모두에 유리한 것으로 나타났습니다(Juster et al., 2019).

Prior research demonstrated performance discrepancies on traditional criteria, favoring higher SES and ethnic majority applicants (Girotti et al. 2020; Juster et al., 2019; Lievens et al., 2016; Stegers-Jager et al., 2015). Although broadened selection criteria were partly introduced to mitigate these adverse effects on student diversity, results so far are inconsistent (Stegers-Jager, 2018). For instance,

• Lievens et al (2016) found that the inclusion of an SJT in the United Kingdom could increase the representation of lower SES applicants, but not of ethnic minority applicants.
• However, a similar study in the United States found that adding an SJT was advantageous for the representation of both lower SES and ethnic minority applicants (Juster et al., 2019).

이는 선발 도구가 다양성에 미치는 영향이 적어도 확대된 기준의 경우 상황에 따라 달라질 수 있음을 시사합니다. 커리큘럼 샘플링 테스트는 국제적인 맥락에서 점점 더 많이 사용되고 있으며 학업 성취도를 예측하는 데 효과적인 것으로 입증된 확장된 기준을 평가하는 또 다른 도구입니다(Niessen et al., 2018). 커리큘럼 샘플링 시험은 학업 프로그램 과목의 대표적인 부분을 모방합니다. 일반적으로 지원자는 입문 과정의 소규모 버전에서 문헌을 공부하거나 동영상 강의를 시청한 후 시험을 치릅니다(Niessen 외, 2018). 커리큘럼 샘플링 시험은 지식, 동기 부여, 학습 시간 등 다양한 속성을 측정하는 데 목적이 있습니다(Niessen & Meijer, 2017). 또한 이러한 테스트는 지원자의 프로그램 '적합성'(예: 시험 및 학습 방식)을 평가하는 데 목적이 있습니다. 저희가 아는 한, 이 특정 도구에 대한 하위 그룹별 성과 차이는 아직 조사되지 않았습니다.
This implies that the effects of selection tools on diversity can be context-dependent, at least in the case of broadened criteria. The curriculum-sampling test is another tool assessing broadened criteria that is increasingly used in international contexts and proved effective in terms of predicting academic achievement (Niessen et al., 2018). Curriculum-sampling tests mimic representative parts of a subject of the academic program. Generally, applicants study literature or watch video lectures from small-scale versions of an introductory course, followed by an exam (Niessen et al., 2018). Curriculum-sampling tests are aimed at measuring a mixture of attributes such as knowledge, motivation, and time spent studying (Niessen & Meijer, 2017). Additionally, these tests intend to assess the applicants’ ‘fit’ with the program (e.g., the way of testing and studying). To our knowledge, subgroup performance differences on this specific tool have not yet been investigated.

국가마다 학생 선발 및 입학에 관한 법률과 규정은 물론 학생 다양성에 관한 고유한 맥락이 있습니다. 네덜란드의 경우, 수년간의 추첨 방식이 사라지고 이제는 프로그램에서 자체적으로 선발 절차를 설계하는 것이 일반적입니다. 프로그램은 자체 개발 및 표준화된 도구 중 어떤 도구를 포함할지, 얼마나 많은 도구를 포함할지(최소 2개 이상)를 독립적으로 결정합니다. 그 결과 매우 다양한 절차와 도구가 등장했습니다. 전국적인 후향적 연구 결과에 따르면 추첨제 폐지 이후 지원자 하위 그룹 간 선발 기회의 불평등이 증가한 것으로 나타났습니다(멀더 외, 2022). 저자들은 여성, 다수민족 지원자, 사회경제적 지위가 높은 지원자가 다른 지원자에 비해 입학 확률이 더 높다는 사실을 발견했습니다. 그러나 이 연구에서는 다양한 선발 절차와 도구의 역할은 고려하지 않았습니다. 이전의 한 단일 사이트 연구에서 이 문제를 밝히려고 시도한 결과, 소수 민족과 낮은 SES 지원자는 학업 기준에서는 낮은 점수를 받았지만 비학업 기준에서는 그렇지 않았다는 결론을 내렸습니다(Stegers-Jager 외., 2015). 연구진은 조사 대상 기관의 경우 남성이 여성에 비해 선발 가능성이 더 높다는 사실을 발견했는데, 이는 다시 학업 기준의 성적과만 관련이 있었습니다. 이는 앞서 언급한 국가적 연구 결과와 모순되는 결과입니다(멀더 외, 2022). 이는 선발이 학생의 다양성에 미치는 영향이 맥락에 따라 달라진다는 가설을 강화합니다. 단일 사이트 연구에서 추가로 관찰된 것은 이민 1세대라는 사실이 더 열악한 선발 결과와 관련이 있다는 점입니다(Stegers-Jager 외., 2015). 이는 국가 코호트 연구에서는 고려되지 않은 변수입니다. 두 연구 모두에 포함되지 않은 잠재적으로 관련성이 있는 마지막 변수는 사전 교육입니다. 최근 보고서에 따르면 외국 교육 경험이 있는 지원자는 '전통적인' 대학 전 과정 지원자에 비해 선발 기회가 더 적었습니다(Van Den Broek et al., 2018).  
Every country has its own laws and regulations for selection and admission, as well as a unique context regarding student diversity. Typical for the Netherlands is that, after years of lottery, programs are now responsible for designing their own selection procedures. Programs independently decide which tools they include (both self-developed and standardized), and how many they include (with a minimum of two). This results in a great variety of procedures and tools. Results from a national retrospective study indicate that since the abolishment of lottery, inequality in selection chances between subgroups of applicants has increased (Mulder et al., 2022). The authors found that women, ethnic majority applicants, and applicants with higher SES had a higher probability of admission compared to their peers. However, this study did not take into account the role of the extensive range of possible selection procedures and tools. One previous single-site study attempted to unravel this matter, and concluded that ethnic minority and lower SES applicants had lower scores on academic criteria, but not on non-academic criteria (Stegers-Jager et al., 2015). The researchers discovered that for the institution under consideration, men had higher selection chances compared to women, which was again only related to performance on academic criteria. This contradicts the findings of the aforementioned national study (Mulder et al., 2022). This strengthens the hypothesis that the effects of selection on student diversity are context-dependent. An additional observation of the single-site study was that being a first-generation immigrant was correlated with poorer selection outcomes (Stegers-Jager et al., 2015), a variable that was not accounted for in the national cohort study. A final potentially relevant variable that was included in neither of the studies, is prior education. A recent report indicated that applicants with prior foreign education had smaller selection chances compared to applicants from the ‘traditional’ pre-university track (Van Den Broek et al., 2018).

요컨대, 다양한 선발 도구가 서로 다른 맥락에서 학생의 다양성에 어떤 영향을 미칠 수 있는지는 명확하지 않습니다. 네덜란드의 HPE 프로그램은 선발 절차를 자유롭게 설계할 수 있기 때문에 다양한 선발 도구를 사용하여 여러 절차에서 학생 다양성에 미치는 선발 효과를 비교할 수 있는 독특한 기회를 제공합니다. 본 전향적 다중 사이트 연구는 성별, 이주 배경(인종 지표), 부모 교육(SES 지표), 이전 교육에 따라 지원자 하위 그룹을 대상으로 5개의 학부 HPE 프로그램에 선발될 확률을 평가하는 것을 목표로 했습니다. 또한 두 가지 전통적인 선발 도구(사전 GPA, 생물의학 지식 테스트)와 두 가지 확장된 기준(커리큘럼 샘플링 테스트, 이력서)을 평가하는 도구에 대한 성과 차이를 조사했습니다. 
In short, it is not clear how different selection tools can affect student diversity across different contexts. The freedom of Dutch HPE programs to design their selection procedures creates the unique opportunity to compare the effects of selection on student diversity across different procedures with a variety of selection tools. The present prospective multi-site study aimed to evaluate the probability of selection into five undergraduate HPE programs for subgroups of applicants based on gender, migration background (as an indicator of ethnicity), parental education (as an indicator of SES), and prior education. Additionally, we examined performance differences on two traditional selection tools (pre-GPA, biomedical knowledge test), and two tools assessing broadened criteria (curriculum-sampling test, CV).

연구 설계 및 맥락
Design and context

본 연구는 전향적 다중 사이트 코호트 연구에 관한 것입니다. 네덜란드의 5개 대학 수준의 학부 HPE 프로그램에서 데이터를 수집했는데, 여기에는 3개의 의학 프로그램(A, B, C로 표시), 1개의 기술-의료(임상 기술) 프로그램(D로 표시), 1개의 약학 프로그램(E로 표시)이 포함되었습니다. 포함된 프로그램은 네덜란드의 도시와 농촌 등 각기 다른 지역에 위치해 있으며, 모두 학생 선발 과정의 다양성을 높이는 데 중점을 두고 있습니다. 
The present research concerns a prospective multi-site cohort study. We collected data from five university-level undergraduate HPE programs in the Netherlands, including three medical programs (labeled A, B, and C), one technical-medical (clinical technology) program (labeled D), and one pharmacy program (labeled E). The included programs were located in different parts of the Netherlands, both in urban and rural areas, and were all concerned about enhancing diversity in their selection processes.

네덜란드의 독특한 점은 다양한 유형의 HPE 학부 프로그램의 입학 요건이 동일하다는 점입니다. 입학 자격을 얻으려면 지원자는 물리, 화학, 생물학 등 수강 과목과 교육 수준에 관한 엄격한 요건을 동일하게 충족해야 합니다. 결과적으로 지원자 풀은 학력 면에서 비교적 동질적이며, 대학 수준의 학부 HPE 프로그램에 지원하는 학생들은 이미 고도로 선택적인 중등 교육으로 인해 학업 능력에 따라 강력하게 사전 선발됩니다(Niessen & Meijer, 2016). 지원자는 자신이 선택한 프로그램에 지원할 때 하나의 특정 교육기관에 지원하게 됩니다. 각 교육기관에는 미리 정해진 정원이 있습니다. 법에 따라 교육기관은 최소 두 가지 이상의 선발 기준을 포함해야 하지만, 앞서 언급했듯이 도구의 내용 및 품질과 같은 추가 요건은 없습니다. 따라서 기관마다 서로 다른 유형의 HPE 프로그램 간에 또는 프로그램 내에서 사용하는 선정 절차에 매우 다양한 차이가 존재합니다. 저희는 두 개 이상의 프로그램에서 사용하는 도구를 연구하여 프로그램 간에 효과가 비슷하거나 다른지 평가했습니다. 
Uniquely to the Netherlands is that admission requirements of different types of undergraduate HPE programs are identical. To be eligible, applicants need to meet the same stringent requirements regarding subjects taken (e.g., physics, chemistry, and biology) and educational level. Consequently, the applicant pools are relatively homogeneous in terms of academic background; students who apply to a university-level undergraduate HPE program are already strongly preselected based on academic skills due to highly selective secondary education (Niessen & Meijer, 2016). When applicants apply to their program of choice, they apply to one specific institution. Each institution has a predetermined fixed number of spots. By law, institutions are required to include at least two selection criteria, but as previously mentioned, there are no additional requirements concerning, for instance, the content and quality of the tools. Consequently, great variety exists in the selection procedures that programs employ, both between and within different types of HPE programs at different institutions. We studied tools used by more than one program, to evaluate whether effects were similar or different across programs.

5개 프로그램의 선발 절차는 표 1에 설명되어 있습니다. 여러 프로그램에서 사용한 도구는 사전 GPA, 생물의학 지식 테스트, 커리큘럼 샘플링 테스트, 이력서였습니다.

• 사전 GPA는 일반적으로 수학, 물리, 생물, 화학 등 필수 과목에 대한 지원자의 평균 학교 성적으로 구성되었습니다.
• 생물의학 지식 테스트는 별도의 준비 없이 지원자의 생물의학 과목에 대한 일반적인 지식을 평가했습니다.
• 커리큘럼 샘플링 시험은 대부분 지원자가 시험일 몇 주 전에 받은 강의 및/또는 독서 자료 형태의 준비 자료를 기반으로 진행되었습니다.
• 이력서는 (자발적인) 직업, 인턴십, 특별한 문화 또는 운동 능력에 대한 증거와 같은 과외 활동에 대한 평가로 구성되었습니다.

The selection procedures of the five programs are described in Table 1. The tools used by multiple programs were pre-GPA, biomedical knowledge test, curriculum-sampling test, and CV.

• Pre-GPA comprised of applicants’ average school grades on required subjects, usually mathematics, physics, biology, and/or chemistry.
• Biomedical knowledge tests assessed applicants’ existing general knowledge about biomedical subjects, without requiring any preparation.
• Curriculum-sampling tests were (largely) based on preparatory materials in the form of a lecture and/or reading materials that applicants had received some weeks prior to the testing day.
• CVs consisted of an assessment of extracurricular activities, such as (voluntary) jobs, internships, or evidence of extraordinary cultural or athletic skills.

한 프로그램(D)에서 시행한 바이오메디컬 입학시험(BMAT)의 바이오메디컬 지식 하위 테스트인 표준화된 도구가 포함되었습니다. 샘플에 포함된 다른 모든 선발 도구는 개별 프로그램에서 자체 개발한 것입니다. 따라서 도구의 구체적인 적용은 프로그램마다 달랐으며, 예를 들어 pre-GPA에 포함되는 특정 과목과 시험 문제 유형이 달랐습니다. BMAT를 제외한 모든 선발 도구는 네덜란드어로 시행되었습니다. 프로그램에서 자체적으로 품질 보증을 담당했으며, 저희는 심리측정 정보에 접근할 수 없었습니다. 
One standardized tool was included, the biomedical knowledge subtest of the BioMedical Admissions Test (BMAT), which was administered by one program (D). All other selection tools in our sample were self-developed by the individual programs. Consequently, the specific application of the tools differed between the programs, e.g., the specific subjects included in pre-GPA and the types of questions in tests. All selection tools, except for the BMAT, were administered in Dutch. Programs were responsible for their own quality assurance, and we did not have access to psychometric information.

참가자 및 절차
Participants and procedure

2020년 9월에 진행된 선발 절차에 참여한 모든 지원자(N = 3280명)가 참여하도록 초대되었습니다. 프로그램 A, D, E의 경우 현장 테스트 당일에 지원자를 초대했습니다. 프로그램 B와 C는 코로나19 팬데믹 조치로 인해 현장 테스트를 실시하지 않았으며, 선발 과정에서 이메일을 통해 지원자를 모집해야 했습니다. 
All applicants engaged in the selection procedures for entry in September 2020 (N = 3280) were invited to participate. For programs A, D, and E, applicants were invited during the on-site testing days. Programs B and C did not perform on-site testing due to COVID-19 pandemic measures, necessitating recruitment via e-mail during the selection procedure.

지원자들은 인구통계학적 설문지를 작성하도록 요청받았습니다. 이 설문조사에서 지원자들은 학번, 성별, 이주 배경, 부모 학력 및 이전 교육에 대해 보고하도록 요청받았습니다. 선발 절차에 대한 성과 데이터는 관련 대학 학생 관리 시스템에서 추출했습니다. 학생 번호는 인구 통계 설문지의 데이터를 성과 데이터와 연결하는 데 사용되었습니다. 
Applicants were requested to complete a demographics questionnaire. In this survey, applicants were asked to report their student number, gender, migration background, parental education and prior education. Data on performance on the selection procedures were derived from the related university student administration systems. Student number was used to connect the data from the demographics questionnaire with performance data.

모든 참가자로부터 사전 동의를 얻었습니다. 지원자에게는 참여가 자발적인 것이며 선발 결과에 영향을 미치지 않는다는 사실을 알렸고, 연구진은 선발 위원회와 독립적으로 운영된다는 점을 명시했습니다. 지원자는 연구 참여에 대한 인센티브를 받지 않았습니다. 모든 데이터는 인구통계학적 데이터와 성과 데이터를 결합한 후 즉시 가명 처리되었습니다. 에라스무스 MC의 의료윤리심의위원회는 이 연구가 윤리적 승인 면제 대상임을 선언했습니다. 
Informed consent was obtained from all participants. Applicants were informed that participation was voluntary and would not influence their selection outcomes, and we made explicit that the researchers operated independently from the selection committees. Applicants did not receive incentives for participation in the study. All data were pseudonymized immediately after the demographics and performance data were combined. The Medical Ethical Review Committee of Erasmus MC declared the study exempt from ethical approval.

변수
Variables

예측 변수에는 성별, 이주 배경, 이전 교육, 부모 교육이 포함되었습니다. 
Predictors included gender, migration background, prior education, and parental education.

본 연구에서는 성별의 다양성을 인정하여 지원자가 '남성', '여성', '기타(자유 텍스트 상자)'의 세 가지 범주 중에서 선택할 수 있도록 했습니다. 
Gender diversity was acknowledged in the present study, and applicants had the option to choose between three categories: ‘man’, ‘woman’, and ‘other, namely [free text box]’.

이주 배경은 민족의 다차원적 특성을 완전히 포착하지 못한다는 점을 고려하여 민족의 대용어로 사용되었습니다. 이주 배경은 네덜란드 통계청(CBS)에 따라 정의되었습니다. 부모 중 한 명 이상이 네덜란드 밖에서 태어난 경우 개인은 이주 배경을 갖게 됩니다. CBS의 분류법에 따라 서구와 비서구의 이주 배경을 구분했습니다. 

• 모든 유럽(터키 제외), 북미, 오세아니아 국가, 인도네시아, 일본을 서구 국가로 간주했습니다. 
• 비서양 국가에는 아프리카, 아시아(인도네시아, 일본 제외), 라틴 아메리카, 터키의 모든 국가가 포함되었습니다. 

또한 이민 1세대와 이민 2세대를 구분했습니다. 1세대 이민자는 네덜란드 이외의 지역에서 태어났습니다. 네덜란드에서는 이주 배경과 CBS 분류법을 사용하는 것이 민족을 운영하는 표준으로 간주되며, HPE의 연구에서도 마찬가지입니다(예: Mulder 외., 2022; Stegers-Jager 외., 2015).
Migration background was used as a proxy for ethnicity, recognizing that this does not completely capture the multidimensional character of ethnicity. Migration background was defined in alignment with Statistics Netherlands (CBS). Individuals have a migration background when at least one of their parents was born outside of the Netherlands. Based on the taxonomy of CBS, we distinguished between a Western and non-Western migration background.

• All European (excluding Turkey), North American, and Oceanian countries, Indonesia, and Japan were considered Western.
• Non-Western countries included all countries in Africa, Asia (excluding Indonesia and Japan), Latin America, and Turkey.

Additionally, we distinguished between first-generation and second-generation immigrants. First-generation immigrants were born outside the Netherlands. In the Netherlands, the use of migration background and CBS taxonomy are considered the standard for operationalizing ethnicity, also in research in HPE (e.g., Mulder et al., 2022; Stegers-Jager et al., 2015).

네덜란드에서 HPE 프로그램에 입학하는 일반적인 교육 경로는 보건/과학을 전공하는 중등학교의 예비 대학 과정입니다. 그러나 지원자는 다른 형태의 사전 교육을 받은 후에도 HPE 프로그램에 지원할 수 있습니다. 우리는 다음으로 구분했습니다.

• 네덜란드의 표준 대학 예비 교육, 
• 대학, 
• 고등 직업 교육, 
• 모든 형태의 외국 교육, 
• 기타 형태의 사전 교육(예: 입시 및 성인 교육)

In the Netherlands, the typical educational route to an HPE program is the pre-university track of secondary school with a health/science profile. However, applicants can apply to HPE programs from alternative forms of prior education. We distinguished between

• standard Dutch pre-university education,
• university,
• higher vocational education,
• all forms of foreign education, and
• other forms of prior education (e.g., entrance exams and adult education).

마지막으로, 부모 교육은 SES를 조작화하기 위해 사용할 수 있는 여러 지표 중 하나에 불과하다는 점을 인정하여 SES의 대리 지표로 사용되었습니다. 부모 교육은 지원자 부모의 교육 수준에 따라 결정되었습니다. 지원자의 부모 중 누구도 고등 교육, 즉 대학 이상의 직업 교육을 받은 적이 없는 경우 지원자를 1세대 대학 지원자로 분류했습니다. 1세대 대학 지원자는 이전 연구에서 의대에 입학할 확률이 낮다는 사실이 입증되었기 때문에 관심 하위 그룹으로 분류되었습니다(Mason 외., 2021; Stegers-Jager 외., 2015). 또한, 이들은 의과대학에 지원할 때 입학 절차에 대한 지식 부족과 재정적 장벽 등 수많은 장애물에 직면합니다(Romero 등, 2020).
Finally, parental education was used as a proxy for SES, acknowledging that this is only one of the many indicators that can be used to operationalize SES. Parental education was determined by the educational level of applicants’ parents. Applicants were categorized as first-generation university applicants when none of their parents had attended higher education, i.e., university or higher vocational education. First-generation university applicants were a subgroup of interest, because previous research has demonstrated that their odds of being selected into medical school are lower (Mason et al., 2021; Stegers-Jager et al., 2015). Additionally, they face numerous obstacles when applying to medical school, including a lack of knowledge about the admission process and financial barriers (Romero et al., 2020).

결과 측정
Outcome measures

다섯 가지 결과 측정이 포함되었습니다. 첫 번째 이분법적 결과 측정은 지원자의 순위 번호에 따라 지원자가 선발되었는지 여부(예/아니오)를 나타냅니다. 나머지 네 가지 결과 측정은 연속적인 것으로 사전 GPA, 커리큘럼 샘플링 테스트, 생물의학 지식 테스트, 이력서의 네 가지 도구에 대한 성과를 반영했습니다. 각 도구에 대해 담당 프로그램은 자체 채점 방식에 따라 원시 점수를 계산했습니다. 그런 다음 각 프로그램은 이 원시 점수를 표준화된 Z 점수로 변환하여 트랙 간 도구 비교를 가능하게 했습니다. 이 Z 점수는 연구진에게 제공되어 분석에 사용되었습니다. 
Five outcome measures were included. The first—binary—outcome measure indicated whether an applicant was selected (yes/no), determined by their ranking number. The other four outcome measures were continuous and reflected performance on the four tools: pre-GPA, curriculum-sampling test, biomedical knowledge test, and CV. For each tool, the responsible program calculated a raw score based on its own scoring method. Subsequently, each program transformed these raw scores into standardized Z-scores to enable comparisons of tools between tracks. These Z-scores were made available to the researchers and used for the analyses.

통계 분석
Statistical analyses

다단계 로지스틱 회귀 분석을 수행하여 다양한 예측 변수가 선발 확률에 미치는 영향에 대한 오즈비(OR)를 계산했습니다. OR이 1을 초과하면 선발 가능성이 높아진다는 것을 의미합니다. 프로그램마다 선발 절차의 내용이 다르기 때문에 이 모델에서는 지원자가 지원한 프로그램을 무작위 절편으로 사용했습니다. 프로그램 E는 96%의 높은 선발률로 평균 선발률이 47%인 다른 프로그램과 큰 대조를 이루었기 때문에 분석에서 제외했습니다(부록 1: 표 6). 이 프로그램의 선발률이 이렇게 높았던 이유는 선발 가능 인원에 비해 지원자 수가 적었기 때문입니다. 
Multilevel logistic regression analysis was performed to calculate odds ratios (OR) for the effect of the different predictors on the probability of selection. An OR of > 1 indicates an increased likelihood of selection. Since the content of the selection procedure differed between programs, we used the program to which the applicants applied as a random intercept in this model. Program E was excluded from this analysis, given the high selection rate of 96%, which was in large contrast with other programs having an average selection rate of 47% (Appendix 1: Table 6). The selection rate of this program was this high due to the small number of applicants compared to the number of available spots.

다양한 도구의 성능을 비교하기 위해 참여 프로그램에서 제공한 Z 점수를 사용했습니다. 다단계 선형 회귀분석을 수행하여 중복되는 4개의 도구에 대한 Z점수 간의 성능 차이를 평가했습니다. 프로그램 C는 입학정원 제한이 있는 두 개의 독립적인 선택 트랙에 대해 서로 다른 채점 방법을 적용하여(표 1), 두 개의 서로 다른 트랙에 대한 Z점수를 산출했습니다. 따라서 네 가지 도구의 분석을 위해 '프로그램' 대신 '트랙'이라는 변수를 무작위 절편으로 사용했습니다. 앞서 언급했듯이 각 도구의 구체적인 적용이 설정에 따라 다르기 때문에 이러한 무작위 효과를 포함했습니다. 
To compare performance on different tools, we used Z-scores that were provided by the participating programs. We performed multilevel linear regression to assess performance differences between Z-scores on the four overlapping tools. Program C applied different scoring methods for two independent selection tracks with intake restriction (Table 1), resulting in Z-scores for the two different tracks. Therefore, we used the variable ‘track’ instead of ‘program’ as a random intercept for the analyses of the four tools. This random effect was included because, as mentioned earlier, the specific application of each tool differed across settings.

'프로그램' 또는 '트랙'을 무작위 절편으로 포함했을 때 절편이 없는 모델에 비해 유의미하게 더 많은 변수를 설명하는지 평가하기 위해 경계 보정을 적용한 확률 비율 테스트를 적용했습니다.
We applied likelihood ratio tests with the boundary correction to assess whether the inclusion of ‘program’ or ‘track’ as a random intercept explained significantly more variance compared to the model without the intercept.

분석은 R 버전 4.0.4의 LME4 1.1.26 및 NLME 3.1.152 패키지를 사용하여 실행되었습니다. 모든 통계 분석에서 가정을 확인했습니다. OR이 1.68 이상 0.60 미만이면 작은 효과, OR이 3.47 이상 0.29 미만이면 중간 효과, OR이 6.71 이상 0.15 미만이면 큰 효과로 해석했습니다(Chen et al., 2010).
Analyses were executed using the LME4 1.1.26 and NLME 3.1.152 packages in R version 4.0.4. For all statistical analyses, assumptions were checked. We interpreted OR of > 1.68 or < 0.60 as a small effect, OR of > 3.47 or < 0.29 as a medium effect, and OR of > 6.71 or < 0.15 as a large effect (Chen et al., 2010).

지원자 특성
Applicant characteristics

총 1935명의 지원자가 연구에 참여했습니다(응답률 59%, 개별 프로그램의 경우 34-81% 범위). 성별은 응답자의 30%가 남성으로 나타났으며, '기타'로 응답한 지원자는 1명이었습니다. 이 지원자는 하위 그룹 분석에서 제외되었기 때문에 결과에는 남성과 여성의 범주만 설명되어 있습니다. 또한 38%는 이주 배경이 있었고, 20%는 다른 형태의 이전 교육을 받은 경험이 있었으며, 25%는 1세대 대학 지원자였습니다. 성별과 연령 측면에서 모든 샘플은 전체 지원자 풀을 대표했습니다. 두 가지 프로그램(C와 E)의 경우, 참여 지원자들이 비참여 지원자들에 비해 선발에서 약간 더 좋은 성적을 거두었습니다(순위 기준).
|In total, 1935 applicants participated in the study (response rate 59%, range 34–81% for individual programs). With respect to gender, 30% of the respondents identified as men, and one applicant identified as ‘other’. This individual was excluded from the subgroup analyses, and therefore only the categories of men and women are described in the results. Furthermore, 38% had a migration background, 20% applied from alternative forms of prior education, and 25% were first-generation university applicants. In terms of gender and age, all samples were representative of the complete applicant pool. For two programs (C and E), participating applicants performed slightly better on the selection (in terms of ranking number) compared to non-participating applicants.

지원자들은 일부 중복되는 도구와 일부 고유한 도구에 노출되었고, 한 프로그램은 선발 확률 분석에서 제외되었기 때문에 지원자 특성 분포는 다단계 분석에서 차이를 보였습니다(표 2). 주목할 만한 점은 생물의학 지식 테스트의 경우 이민 배경을 가진 지원자의 비율이 다른 프로그램에 비해 상대적으로 낮았다는 점입니다(28% 대 36~43%). 또한 사전 학력 평가의 경우, 다른 형태의 사전 교육을 받은 지원자 비율이 상대적으로 적었습니다(10% 대 19~23%). 이는 사전 내신 성적이 지원자 선발 도구에 항상 포함되는 것은 아니기 때문인 것으로 보입니다.
Since applicants were exposed to some overlapping tools, but also to some unique tools, and one program was excluded from the analyses on the probability of selection, the distribution of applicant characteristics differed between the multilevel analyses (Table 2). Noteworthy is that for the biomedical knowledge test, the proportion of applicants with a migration background was relatively low compared to the other programs (28% vs 36–43%). Additionally, for pre-GPA, the proportion of applicants from alternative forms of prior education was comparatively small (10% vs 19–23%). This is probably caused by the fact that pre-GPA is not always included as a selection tool for those applicants.

개별 프로그램마다 관심 있는 지원자의 특성 분포에 차이가 있었습니다(부록 1: 표 6, 7). 가장 눈에 띄는 차이점은 다른 프로그램과 비교했을 때, 표본에서 유일한 지방 프로그램인 프로그램 D는 이민 배경을 가진 지원자(13% 대 32-53%)와 대학 1세대 지원자(15% 대 24-32%)의 비율이 낮았다는 점입니다. 인구통계학적 구성의 차이는 입학 요건의 차이로 인한 것이 아니며, 이는 프로그램 간에 모두 비슷하기 때문입니다. 그러나 위치 및 선발 절차 등 기타 기관 관련 요인으로 인해 특정 프로그램이 특정 하위 그룹에게 더 매력적으로 느껴졌을 가능성이 있습니다(Wouters et al., 2017b).
The individual programs differed in their distribution of the applicant characteristics of interest (Appendix 1: Tables 6, 7). The most notable difference is that compared to the other programs, Program D—the only rural program in the sample—had a lower representation of applicants with a migration background (13% vs 32–53%) and first-generation university applicants (15% vs 24–32%). Differences in demographic composition are not caused by differences in admission requirements, since these were all comparable across programs. However, it is possible that other institutional-related factors made certain programs more attractive to specific subgroups, including location and selection procedure (Wouters et al., 2017b).

선발 확률
Probability of selection

서구 이민 1세대는 이민 배경이 없는 지원자에 비해 선발될 확률이 현저히 낮았으며(23% 대 49%), 조정된 OR은 0.45(95% 신뢰구간[CI] [0.20, 0.99]; 표 3)에 해당합니다. 또한, 외국 교육을 받은 지원자는 표준 대학 전 교육을 받은 지원자보다 선발 확률이 더 낮았습니다(24% vs 49%, 조정된 OR = 0.46, 95% CI [0.22, 0.94]). 둘 다 효과가 작은 것으로 해석할 수 있습니다(즉, OR <0.60). '다른 형태의 사전 교육' 범주는 중간 정도(즉, OR <0.29)이지만 유의하지 않은(수준 0.05) 부정적인 효과(18% 대 49%, 조정된 OR = 0.28, 95% CI [0.08, 1.00])를 보였는데, 이는 이 그룹의 규모가 작았기 때문일 수 있습니다(N = 17). 성별과 부모 교육 정도는 선택 확률과 유의미한 관련이 없었습니다. 프로그램의 무작위 효과는 유의하지 않았으며(SD = 0.00, 95% CI [0.00, 0.21], p = 0.50), 이는 고정된 구조(즉, 성별, 이주 배경, 사전 교육 및 부모 교육 변수)를 고려했을 때 선택 확률의 하위 그룹 차이가 프로그램 간에 유사하다는 것을 나타냅니다.
First-generation Western immigrants were significantly less likely to be selected compared to applicants without a migration background (23% vs 49%), corresponding to an adjusted OR of 0.45 (95% confidence interval [CI] [0.20, 0.99]; Table 3). Additionally, foreign-educated applicants had smaller selection odds than those from standard pre-university education (24% vs 49%, adjusted OR = 0.46, 95% CI [0.22, 0.94]). Both can be interpreted as small effects (i.e., OR < 0.60). The category ‘other forms of prior education’ demonstrated a medium (i.e., OR < 0.29), but non-significant (level 0.05) negative effect (18% vs 49%, adjusted OR = 0.28, 95% CI [0.08, 1.00]), which could be due to the small size of this group (N = 17). Gender and parental education were not significantly associated with the probability of selection. The random effect of program was not significant (SD = 0.00, 95% CI [0.00, 0.21], p = 0.50), indicating that subgroup differences in the probability of selection were similar across programs, given the fixed structure considered (i.e., the variables of gender, migration background, prior education and parental education).

기존 기준에서의 성과
Performance on traditional criteria

Pre-GPA
Pre-GPA

사전 GPA는 4개 프로그램(B, C, D, E)에서 사용되었으며, 이 중 한 프로그램은 두 개의 독립적인 선발 트랙을 사용하여 분석에 다섯 개의 트랙(B, C1, C2, D, E)이 사용되었습니다. 1세대 대학 지원자들은 기존 지원자들에 비해 사전 GPA가 유의미하게 낮았습니다(B = - 0.17, 95% CI [- 0.30, - 0.03]; 표 4, 5). 모든 기준에 대해 Z 점수가 사용되었으므로 표준화되지 않은 B는 SD의 차이를 나타냅니다. 예를 들어, 1세대 대학 지원자의 사전 GPA는 비 1세대 대학 지원자보다 0.17 SD 낮았습니다. 대학 학력 및 '기타 형태의 사전 교육'을 받은 지원자는 일반 대학 1세대 지원자에 비해 사전 GPA가 유의하게 낮았으며(각각 B = - 0.41, 95% CI [- 0.63, - 0.18], B = - 0.76, 95% CI [- 1.42, - 0.11]), 외국 교육을 받은 지원자의 사전 GPA는 유의하게 높았다(B = 1.13, 95% CI [0.54, 1.72]). 성별과 이주 배경은 사전 GPA와 관련이 없었습니다. 트랙의 무작위 효과는 유의하지 않았으며(SD = 0.005, 95% CI [0, 506553], p = 0.50), 이는 고정된 구조를 고려했을 때 사전 GPA에서 발견된 성과 차이가 트랙 간에 유사하다는 것을 나타냅니다.
Pre-GPA was used by four programs (B, C, D, and E), of which one program used two independent selection tracks, resulting in five tracks in the analysis (B, C1, C2, D, and E). Compared to traditional applicants, first-generation university applicants had significantly lower pre-GPAs (B = − 0.17, 95% CI [− 0.30, − 0.03]; Tables 4, 5). As Z-scores were used for all criteria, the unstandardized Bs indicate the difference in SD. Thus, for example, pre-GPAs of first-generation university applicants were 0.17 SD lower than those of non-first-generation university applicants. Applicants with university-level and with ‘other forms of prior education’ had significantly lower pre-GPA (respectively, B = − 0.41, 95% CI [− 0.63, − 0.18]; B = − 0.76, 95% CI [− 1.42, − 0.11] compared to standard pre-university applicants, while pre-GPAs of applicants with foreign education were significantly higher (B = 1.13, 95% CI [0.54, 1.72]). Gender and migration background were not associated with pre-GPA. The random effect of track was not significant (SD = 0.005, 95% CI [0, 506553], p = 0.50), indicating that the performance differences found on pre-GPA were similar across tracks, given the fixed structure considered.

생의학 지식 테스트
Biomedical knowledge test

생의학 지식 테스트는 두 가지 프로그램(A와 D)에서 사용되었습니다. 남성과 대학 수준에서 공부한 지원자는 여성과 표준 대학 이전 교육을 받은 지원자에 비해 생물의학 지식 테스트에서 유의미하게 더 높은 점수를 받았습니다(각각 B = 0.21, 95% CI [0.06, 0.37]; B = 0.32, 95% CI [0.11, 0.52]; 표 6, 7). 이주 배경과 부모 교육은 시험 점수와 관련이 없었으며, 트랙의 무작위 효과는 유의하지 않았습니다(SD = 0.01, 95% CI [0, 12114,82], p = 0.46). 이는 고정된 구조를 고려했을 때 하위 그룹의 성과 차이가 프로그램 간에 유사하다는 것을 나타냅니다.
Biomedical knowledge tests were used by two programs (A and D). Men and applicants who were studying at university-level performed significantly better on biomedical knowledge tests compared to women and applicants from standard pre-university education (respectively, B = 0.21, 95% CI [0.06, 0.37]; B = 0.32, 95% CI [0.11, 0.52]; Tables 6, 7). Migration background and parental education were not associated with test scores, and the random effect of track was not significant (SD = 0.01, 95% CI [0, 12114,82], p = 0.46), indicating that subgroup differences in performance were similar across programs, given the fixed structure considered.

확장된 기준에서의 성과
Performance on broadened criteria

커리큘럼 샘플링 테스트
Curriculum-sampling test

세 가지 프로그램에 커리큘럼 샘플링 테스트(A, B, E)가 포함되었습니다. 비서구권 이주 배경을 가진 지원자(1세대와 2세대 모두)는 기존 지원자에 비해 커리큘럼 샘플링 테스트에서 낮은 점수를 받았습니다(각각 B = - 0.43, 95% CI [- 0.67, - 0.20], B = - 0.21, 95% CI [- 0.34, - 0.10]; 표 6, 7). 이미 대학 수준에서 공부하고 있는 지원자는 일반 예비 대학 지원자에 비해 훨씬 더 우수한 성적을 거둔 반면(B = 0.37, 95% CI [0.21, 0.53]), 외국 교육을 받은 지원자는 시험 점수가 더 낮았습니다(B = - 0.56, 95% CI [- 0.91, - 0.22]). 시험 점수는 성별이나 부모의 학력에 영향을 받지 않았습니다. 고정된 구조를 고려했을 때, 트랙의 무작위 효과는 유의미했습니다(SD = 0.09, 95% CI [0.03, 0.32], p = 0.01). 이는 전반적인 결과가 프로그램마다 다르다는 것을 의미합니다. 커리큘럼 샘플링 테스트를 사용한 개별 프로그램의 설명 통계(부록 1: 표 8)에 따르면 프로그램 E의 경우에만 비 서구권 1세대 배경을 가진 지원자가 이주 배경이 없는 지원자에 비해 평균 Z 점수가 현저히 낮았습니다(M = - 0.86 vs M = 0.29). 이 차이는 프로그램 B의 경우 더 작았고(M = - 0.13 vs M = 0.18), 프로그램 A의 경우 존재하지 않았습니다(M = 0.02 vs M = - 0.01). 주목할 만한 점은 프로그램 E에서 다른 두 프로그램보다 상대적으로 더 많은 지원자가 비서구권 1세대 배경을 가지고 있었다는 점입니다.
Three programs included curriculum-sampling tests (A, B, and E). Applicants with a non-Western migration background, both first-generation and second-generation, scored lower on curriculum-sampling tests compared to their traditional counterparts (respectively, B = − 0.43, 95% CI [− 0.67, − 0.20]; B = − 0.21, 95% CI [− 0.34, − 0.10]; Tables 6, 7). Applicants who were already studying at university-level performed significantly better compared to standard pre-university applicants (B = 0.37, 95% CI [0.21, 0.53]), while applicants with foreign education had lower test scores (B = − 0.56, 95% CI [− 0.91, − 0.22]). Test scores were not influenced by gender or parental education. Given the fixed structure considered, the random effect of track was significant (SD = 0.09, 95% CI [0.03, 0.32], p = 0.01), implying that our overall findings differed between programs. Descriptive statistics of the individual programs employing curriculum-sampling tests (Appendix 1: Table 8) indicate that only for program E, applicants with a first-generation non-Western background had notable low mean Z-scores compared to those without a migration background (M = − 0.86 vs M = 0.29). This difference was smaller for program B (M = − 0.13 vs M = 0.18) and non-existent for program A (M = 0.02 vs M = − 0.01). Noteworthy is that in program E relatively more applicants had a first-generation non-Western background than in the other two programs.

이력서
CV

두 개의 서로 다른 프로그램에서 파생된 세 가지 트랙에는 이력서(B, C1, C2)가 포함되었습니다. 여성 또는 일반 지원자에 비해 남성(B = - 0.17, 95% CI [- 0.31, - 0.02]; 표 6, 7), 서구 이민 1세대(B = - 0.43, 95% CI [- 0.85, - 0.00]), 고등 직업 교육, 외국 교육, '기타 형태의 사전 교육'을 받은 지원자의 CV 점수가 유의하게 낮았습니다(B = - 0.61에서 - 0.81 사이). 부모 교육은 이력서 점수와 관련이 없었습니다. CV에 대한 트랙의 유의미한 효과(SD = 0.25, 95% CI [0.08, 0.76] p <0.001)가 있었으며, 이는 고정된 구조를 고려했을 때 앞서 언급한 효과가 트랙에 따라 다르다는 것을 나타냅니다. 기술 통계(부록 1: 표 9)에 따르면 성별에 따른 성과 격차는 다른 트랙에 비해 트랙 B에서 더 작았습니다(트랙 B: M = 0.04(남성) vs M = 0.17(여성), 트랙 C1: M = - 0.29 vs M = - 0.06, 트랙 C2: M = - 0.11 vs M = 0.25). 전반적으로 서구 이민 1세대가 이민 배경이 없는 지원자보다 점수가 낮았다는 결과는 트랙 B(M = - 0.75 vs M = 0.22)와 트랙 C2(M = - 0.42 vs M = 0.09)에서 나타났지만, 트랙 C1(M = - 0.03 vs M = - 0.14)에서는 나타나지 않았습니다. 이주 배경이 없는 지원자와 비교했을 때, 비 서구권 2세 지원자의 경우 트랙 B(M = - 0.28 vs M = 0.22)에서는 CV 점수가 낮았고, 트랙 C1(M = - 0.17 vs M = - 0.14)에서는 비슷했으며, 트랙 C2(M = 0.45 vs M = 0.09)에서는 CV 점수가 더 높았습니다. 트랙 B의 경우, 다양한 형태의 사전 교육 간에 더 큰 차이가 관찰되었지만, 이는 프로그램 C의 경우 사전 교육에 따라 트랙이 구분되어 트랙 C1에는 표준 대학 전 교육이 집중되고 트랙 C2에는 다른 형태의 사전 교육이 집중된 것과 관련이 있는 것으로 보입니다. 
Three tracks derived from two different programs included a CV (B, C1, and C2). Compared to women or traditional applicants, CV scores were significantly lower for men (B = − 0.17, 95% CI [− 0.31, − 0.02]; Tables 6, 7), first-generation Western immigrants (B = − 0.43, 95% CI [− 0.85, − 0.00]), and applicants with higher vocational education, foreign education, and ‘other forms of prior education’ (Bs between − 0.61 and − 0.81). Parental education was not associated with CV scores. There was a significant effect of track for CV (SD = 0.25, 95% CI [0.08, 0.76] p < 0.001), indicating that the aforementioned effects differed across tracks, given the fixed structure considered. Descriptive statistics (Appendix 1: Table 9) suggest that the gender-based performance gap was smaller for track B compared to the other tracks (track B: M = 0.04 (men) vs M = 0.17 (women); track C1: M = − 0.29 vs M = − 0.06, track C2: M = − 0.11 vs M = 0.25). The overall result that first-generation Western immigrants had lower scores than applicants without a migration background was found for track B (M = − 0.75 vs M = 0.22) and track C2 (M = − 0.42 vs M = 0.09), but not for track C1 (M = − 0.03 vs M = − 0.14). Compared to those without a migration background, applicants with a second-generation non-Western background had lower CV scores in track B (M = − 0.28 vs M = 0.22), similar CV scores in track C1 (M = − 0.17 vs M = − 0.14) and higher CV-scores in track C2 (M = 0.45 vs M = 0.09). For track B, larger differences were observed between different forms of prior education, but this is probably related to the fact that for program C, the tracks were distinguished based on prior education, resulting in a large concentration of standard pre-university education in track C1 and a large concentration of other forms of prior education in track C2.

학부 HPE 프로그램에서 독특한 선발 절차가 학생 다양성에 미치는 영향을 밝히기 위해서는 성별, 이주 배경(민족성 지표), 부모 교육(SES 지표), 선행 교육에 따른 하위 그룹이 다양한 맥락에서 적용된 선발 도구에서 어떻게 수행되는지에 대한 통찰이 필요합니다. 연구 결과, 전통적이지 않은 배경을 가진 지원자의 선발 확률은 일반적으로 더 낮았지만, 서구 이민 1세대 지원자와 외국 교육을 받은 지원자의 경우에만 유의미한 차이를 보였습니다. 이러한 결과는 프로그램별로 차이가 없었습니다. 그러나 자세히 살펴보면 하위 그룹별 성과에 더 큰 차이가 있고 효과의 가변성이 더 큰 것으로 나타났습니다. 연구 결과, 커리큘럼-샘플링 테스트와 이력서 등 확장된 기준은 SES 관련 성과 차이를 줄일 수 있지만 지원자 인종에 따른 격차는 줄일 수 없다는 결론을 내렸습니다. 또한 하위 그룹별 성과 차이는 확장된 기준에서는 상황에 따라 달라졌지만, 기존 기준에서는 그렇지 않았습니다. 

Unraveling the impact of distinctive selection procedures on student diversity in undergraduate HPE programs requires an insight into how subgroups based on gender, migration background (as an indicator of ethnicity), parental education (as an indicator of SES), and prior education perform on the applied selection tools in different contexts. Our results demonstrated that selection chances of applicants with non-traditional backgrounds were generally smaller, but only significantly for applicants with first-generation Western migration backgrounds and applicants with foreign education. These findings did not differ between programs. However, when taking a closer look, we found larger differences in subgroup performance and more variability in effects. We conclude that the broadened criteria under research—curriculum-sampling tests and CVs—may reduce SES-related performance differences, but not disparities based on applicant ethnicity. Furthermore, subgroup performance differences were context-specific for broadened criteria, but not for traditional criteria.

기존 기준 대신 확장된 선발 기준을 적용하면 SES에 따른 성과 격차는 줄일 수 있지만 인종에 따른 성과 격차는 완화하지 못할 수 있다는 첫 번째 주요 결과는 Lievens 등(2016)의 이전 연구를 확인시켜줍니다.

• 연구 대상인 전통적인 기준과 관련하여, 1세대 대학 지원자들은 전통적인 배경을 가진 지원자들에 비해 사전 GPA가 낮다는 사실을 발견했으며, 이는 이전 연구(Griffin & Hu, 2015; Juster 외, 2019; Puddey 외, 2011)에서도 확인되었습니다. 그럼에도 불구하고, 사전 GPA는 다수 민족과 소수 민족 지원자 간에 차이가 없었는데, 이는 소수 민족 그룹 간에 사전 GPA가 매우 다양하기 때문일 수 있습니다(Puddey et al., 2011). 생물의학 지식 테스트에서 SES 기반과 인종 기반에 따른 유의미한 성적 차이는 확인되지 않았습니다. 그러나 이 결과 측정 도구의 표본은 다른 도구에 비해 작고 다양하지 않았으며, 이러한 도구에 대한 국제적인 연구에서도 이러한 차이가 지속적으로 드러나고 있습니다(Girotti 외. 2020; Griffin & Hu, 2015; Juster 외., 2019; Lievens 외., 2016; Puddey 외., 2011).
• 확장된 기준과 관련하여, 본 연구는 다중 기관 환경에서 커리큘럼 샘플링 시험과 이력서에 대한 하위 그룹 성과를 조사한 최초의 연구입니다. 연구 대상인 두 가지 확장된 기준 모두에서 SES에 따른 성과 차이는 발견되지 않았으며, 이는 이전 연구(Griffin & Hu, 2015; Juster 외, 2019; Lievens 외, 2016; Stegers-Jager 외, 2015)와 일치하는 결과입니다. 그럼에도 불구하고, 이전 연구에서는 두 도구 모두에서 이주 배경을 가진 지원자가 불리한 결과를 보인 반면, 본 연구에서는 이주 배경을 가진 지원자가 불리한 결과를 보인 것으로 나타났습니다(Juster et al., 2019; Lievens et al., 2016; Stegers-Jager et al., 2015). 

Our first key finding that the implementation of broadened selection criteria instead of traditional criteria potentially reduces performance disparities based on SES, but may not mitigate an ethnicity-related performance gap, confirms the previous work of Lievens et al. (2016).

• With respect to the traditional criteria under research, we found that first-generation university applicants had lower pre-GPAs than applicants from traditional backgrounds, also confirming previous research (Griffin & Hu, 2015; Juster et al., 2019; Puddey et al., 2011). Nevertheless, pre-GPAs did not differ between ethnic majority and ethnic minority applicants, which may be explained by a great variety in pre-GPAs between different ethnic minority groups (Puddey et al., 2011). We did not identify significant SES-based and ethnicity-based performance differences on biomedical knowledge tests. However, the sample for this outcome measure was smaller and less diverse compared to the other tools, and international research on such tools persistently reveals such disparities (Girotti et al. 2020; Griffin & Hu, 2015; Juster et al., 2019; Lievens et al., 2016; Puddey et al., 2011).
• With respect to broadened criteria, our study is the first to investigate subgroup performance on curriculum-sampling tests and CVs in a multi-institutional setting. On both broadened criteria under research, we did not find performance differences based on SES, which resonates with previous research (Griffin & Hu, 2015; Juster et al., 2019; Lievens et al., 2016; Stegers-Jager et al., 2015). Nevertheless, we found that applicants with a migration background were disadvantaged on both tools, whereas previous studies reported mixed findings (Juster et al., 2019; Lievens et al., 2016; Stegers-Jager et al., 2015).

SES에 관한 연구 결과에 대한 한 가지 가능한 설명은 확장된 기준은 표준화되지 않고 프로그램별 특성으로 인해 일반적으로 높은 SES 지원자에게 더 많이 제공되는 코칭을 덜 취약하다는 것입니다(Stemig 외., 2015). 반면에 전통적인 기준은 예를 들어 지원자가 사전 내신 성적을 높이기 위해 개인 과외를 받을 수 있기 때문에 잠재적으로 코칭에 더 취약할 수 있습니다. 동시에 확장된 기준의 표준화가 이루어지지 않으면 문화적 편견의 위험이 증가할 수 있습니다. 예를 들어, 문화적 편견은 소수 민족 그룹의 구성원이 특정 질문을 다르게 해석할 때 발생할 수 있으며, 이는 이주 배경을 가진 지원자의 낮은 점수를 설명할 수 있습니다(Kim & Zebelina, 2015). 모든 이민 1세대에서 일관되게 효과가 관찰되지 않았기 때문에 언어 편향이 이민 배경에 따른 퍼포먼스 격차에 중요한 역할을 하지는 않았을 것입니다. 또한 이전 연구 결과에 따르면 네덜란드어권 국가 출신 이민자에게도 격차가 존재하는 것으로 나타났습니다(Stegers-Jager 외., 2015).  

A possible explanation for our findings regarding SES is that broadened criteria are less prone to coaching—which is generally more available to high SES applicants (Stemig et al., 2015)—due to their unstandardized and program-specific nature. Traditional criteria, on the other hand, are potentially more susceptible to coaching, as applicants can, for instance, purchase private tutoring to increase their pre-GPA. Simultaneously, the lack of standardization of broadened criteria could increase the risk of cultural bias. Cultural bias can, for instance, occur when certain questions are interpreted differently by members from ethnic minority groups, and may explain the lower scores of applicants with migration backgrounds (Kim & Zebelina, 2015). Language bias probably did not play a significant role in performance disparities based on migration background, because effects were not consistently observed amongst all first-generation immigrants. Additionally, results from previous research suggest that disparities also exist for immigrants from Dutch-speaking countries (Stegers-Jager et al., 2015).

두 번째 주요 결과는 확장된 선발 기준의 경우 하위 그룹의 성과 차이가 상황에 따라 달라지는 반면, 기존의 선발 기준은 프로그램 전반에 걸쳐 일관된 효과를 보였다는 것입니다. 이는 두 가지 유형의 기준에 대한 하위집단 성과 차이에 대한 현재 증거에 따른 것으로, 확장된 기준의 사용에 관한 선행 연구 결과는 엇갈리는 반면(Juster 외., 2019; Lievens 외., 2016; Stegers-Jager, 2018; Stegers-Jager et al, 2015), 전통적인 기준의 결과는 소수 민족과 저소득층 지원자에게 불이익을 준다는 점에서 다소 일관성이 있습니다(Griffin & Hu, 2015; Juster 외., 2019; Lievens 외., 2016; Puddey 외., 2011; Stegers-Jager 외., 2015). 또한, 서구 이민 1세대 배경을 가진 남성과 지원자의 이력서 점수가 낮다는 전반적인 결과는 이전의 네덜란드 단일 기관 연구와 일치하지 않았습니다(Stegers-Jager 외., 2015). 이 연구는 겉보기에 비슷해 보이는 도구가 서로 다른 프로그램에서 하위 그룹 성과에 차별적인 영향을 미칠 수 있음을 직접적으로 입증한 최초의 연구입니다. 일반적으로 기준이 넓어지면 더 많은 변수를 허용하고 특정 프로그램 내용에 맞게 조정할 수 있으며, 이는 이러한 도구의 하위 그룹 성과에 대한 상황 의존적 효과가 더 강해지는 원인이 될 수 있습니다. 예를 들어, 커리큘럼 샘플링 테스트는 과목, 준비 자료, 준비 시간이 다양합니다. 또한 이전 연구에 따르면 언어의 복잡성(Lievens 외., 2016)과 문제 형식(Edwards & Arthur, 2007)이 시험 성과의 하위집단 차이에 영향을 미칠 수 있다고 합니다. 마찬가지로, 의료 경험은 다양한 배경을 가진 지원자들이 불평등하게 접근할 수 있는 것으로 간주되기 때문에 채점 방법과  이력서 점수에서 고려되는 과외 활동 유형이 중요한 역할을 할 수 있습니다(Wouters, Croiset, Isik 외., 2017).

A second key finding is that for the broadened selection criteria, subgroup performance differences were context-specific, whereas the traditional selection criteria had consistent effects across programs. This is in accordance with the current evidence for subgroup differences in performance on the two types of criteria: results from prior research regarding the use of broadened criteria are mixed (Juster et al., 2019; Lievens et al., 2016; Stegers-Jager, 2018; Stegers-Jager et al., 2015), while the outcomes from traditional criteria are rather consistent in disadvantaging ethnic minority and lower SES applicants (Griffin & Hu, 2015; Juster et al., 2019; Lievens et al., 2016; Puddey et al., 2011; Stegers-Jager et al., 2015). Additionally, the overall finding that men and applicants with a first-generation Western migration background had lower CV scores was not in line with a previous Dutch single-institution study (Stegers-Jager et al., 2015). Our study is the first to directly demonstrate that seemingly comparable tools can have differential effects on subgroup performance across different programs. Typically, broadened criteria allow for more variation and can be further adjusted to the specific program contents, which may be the cause of stronger context-dependent effects on subgroup performance for these tools. For instance, curriculum-sampling tests vary in their subject, preparatory materials, and preparation time. Additionally, previous research suggests that the complexity of the language (Lievens et al., 2016), and question format (Edwards & Arthur, 2007), may contribute to subgroup differences in test performance. Likewise, the scoring method and the type of extracurricular activities that are considered in CV scores may play a role, since healthcare experiences are considered to be unequally accessible to applicants from different backgrounds (Wouters, Croiset, Isik, et al., 2017).

세 번째 주요 결과는 개별 도구에 대한 하위 그룹의 성과 차이가 항상 해당 하위 그룹의 선발 확률에 영향을 미치지는 않는다는 것입니다. 우리는 서구 이민 1세대 배경을 가진 지원자와 외국 교육을 받은 지원자, 즉 이전 연구에서 주목하지 않았던 두 하위 그룹에 대해서만 선발 가능성이 유의미하게 작다는 것을 발견했습니다. 절차 내 및 절차 간 하위집단의 성과에 차이가 있는 도구를 결합하면 전체 효과의 균형이 깨질 수 있으며, 서로 다른 도구의 가중치가 영향을 미쳤을 수 있습니다(Lievens et al., 2016; Stegers-Jager, 2018). 이러한 연구 결과는 네덜란드의 모든 학부 HPE 프로그램 지원자를 대상으로 한 최근의 후향적 연구 결과에 의해 완전히 뒷받침되지는 않습니다(Mulder et al., 2022). 저자들은 통계적 효과 크기 측면에서 무시할 수 있는 수준이었지만 소수 민족, 남성, 사회경제적 지위가 낮은 그룹에서 선발 확률이 유의미하게 낮다는 사실을 발견했습니다(Chen et al., 2010). 본 연구는 일부 프로그램의 전향적 데이터를 사용했으며, 고령 지원자 및 외국 교육을 받은 지원자 등 보다 이질적인 지원자 그룹을 포함했기 때문에 결과 간의 차이는 대상 그룹 간의 차이로 설명할 수 있습니다.
A third key finding is that subgroup differences in performance on individual tools did not always have consequences for the probability of selection of those subgroups. We found that selection chances were only significantly smaller for applicants with a first-generation Western migration background and applicants with foreign education, two subgroups that were left unnoticed by previous research. Combining tools with differential subgroup performance within procedures and across procedures may have counter-balanced the overall effect, and the weightings of different tools may have played a role (Lievens et al., 2016; Stegers-Jager, 2018). Our findings are not fully supported by the results from a recent retrospective study that included applicants to all Dutch undergraduate HPE programs (Mulder et al., 2022). The authors found significantly lower selection probability for additional ethnic minority groups, men and lower SES groups, although the results were negligible in terms of statistical effect size (Chen et al., 2010). The discrepancy between findings may be explained by differences between target groups: the present study used prospective data of a subset of programs and included a more heterogenous group of applicants, including older applicants and those with foreign education.

본 연구의 강점은 여러 프로그램에서 데이터를 수집하고 다단계 분석 접근법을 사용하여 맥락적 차이를 보정하고 조사할 수 있는 기회를 제공했다는 점입니다. 학교가 자체적으로 선발 절차를 설계할 수 있는 네덜란드의 전형적인 입시 시스템 덕분에 다양한 (활용) 도구를 비교할 수 있었습니다. 결과적으로 모든 프로그램에서 모든 도구를 사용하는 것은 아닙니다. 따라서 서로 다른 결과 측정을 직접 비교하거나 서로 다른 도구 간의 성과 상관관계를 조사할 수 없었습니다. 또 다른 한계는 본 연구가 우리가 알기로는 다양한 유형의 학부 HPE 프로그램의 선발 절차를 포함한 최초의 연구이지만, 모든 전공과 기관을 포괄할 수 없었다는 점입니다. 이는 연구 결과의 일반화 가능성에 영향을 미칠 수 있습니다. 또한, 1세대 대학 지원자들이 고등교육으로 전환하는 과정에서 장벽에 직면하는 것으로 나타났기 때문에 부모의 학력을 SES 관련 지표로 포함했지만, 부모의 소득 및 직업과 같이 잠재적으로 관련된 다른 SES 관련 효과를 간과했을 수 있습니다(Girotti 외, 2020; Mulder 외, 2022; Steven 외, 2016). 마찬가지로, 이주 배경은 민족성을 나타내는 안정적이고 객관적인 지표이지만 민족 정체성을 설명하지는 못합니다(Ross et al., 2020; Stronks et al., 2009). 또 다른 한계는 특정 하위 그룹의 경우 표본 크기가 작기 때문에 이러한 결과를 신중하게 해석해야 한다는 것입니다. 마지막으로, 두 가지 선정 절차가 코로나19 조치에 의해 부분적으로 영향을 받아 연구 결과의 일반화 가능성을 떨어뜨릴 수 있습니다. 그럼에도 불구하고 선택 확률의 효과는 해당 분석의 4개 프로그램 간에 큰 차이가 없었으며, 이 중 2개 프로그램이 코로나19의 영향을 받았습니다.
Strengths of our study include that we collected data from multiple programs and that we used a multilevel analytical approach, creating the opportunity to correct for and examine contextual differences. The typical Dutch admissions system, which allows schools to design their own selection procedure, allowed us to compare a variety of (applications of) tools. As a consequence, not all tools were used by all programs. Therefore, direct comparison across different outcome measures and examination of the correlation of performance between different tools were not possible. Another limitation is that although the present study is, to our knowledge, the first to include the selection procedures of a range of different types of undergraduate HPE programs, it was not possible to cover all specialties and institutions. This may have consequences for the generalizability of our findings. Furthermore, we included parental education as a relevant indicator for SES, since first-generation university applicants have been shown to face barriers during the transition into higher education (Stephens et al., 2014), but we may have overlooked other potentially relevant SES-related effects, such as parental income and profession (Girotti et al. 2020; Mulder et al., 2022; Steven et al., 2016). Likewise, migration background is a stable and objective indicator of ethnicity, but does not account for ethnic identity (Ross et al., 2020; Stronks et al., 2009). Another limitation is that for certain subgroups, sample sizes were small, thus those results should be interpreted with caution. Finally, two selection procedures were partly affected by COVID-19 measures, potentially reducing the generalizability of our findings. Nevertheless, the effects of the probability of selection did not differ significantly between the four programs in that analysis, of which two were affected by COVID.

도구 간, 도구 내 하위집단의 차이가 다양하다는 것은 향후 연구에서 도구의 특정 특성이 다양성에 미치는 영향을 조절하는 역할을 할 수 있는지 여부를 결정해야 함을 의미합니다. 이를 통해 모범 사례를 파악할 수 있습니다. 또한, 이번 연구 결과만으로는 도구의 다양한 가중치가 미치는 영향에 대한 결론을 도출할 수 없습니다. 따라서 우리는 도구의 다양한 가중치가 학생의 다양성에 미치는 영향을 조사하자는 이전 제안을 지지합니다(Stegers-Jager, 2018). 향후 연구에서는 선발 도구가 하위 그룹별로 학업 성취도를 다르게 예측하는지 여부를 조사하여 우리가 발견한 성취도 격차가 편향성(특정 하위 그룹에 대한 과소 예측 또는 과대 예측)과 일치하는지 여부를 확인해야 합니다. 마지막으로, 향후 연구에서는 HPE 선발의 맥락에서 비전통적 배경을 가진 지원자 하위 그룹의 구체적인 기본 특성과 요구 사항을 파악하여 선발 과정과 선발 후에도 더 나은 지원을 제공할 수 있도록 해야 합니다(Lievens, 2015; Wouters, 2020). 예를 들어, 다른 형태의 사전 교육을 받은 지원자는 이전 교육 경험과 크게 다를 수 있는 HPE 선발에서 기대하는 바를 관리하는 데 어려움을 겪을 수 있습니다(Katartzi & Hayward, 2020; Rienties & Tempelaar, 2013). 
The variety in subgroup differences between and within tools implies that future research should determine whether specific characteristics of tools can play a moderating role in their effects on diversity. This could lead to the identification of best practices. Furthermore, based on our results we cannot draw conclusions with respect to the effect of different weightings of tools. Therefore, we endorse a previous suggestion to investigate the effects of different weightings of tools on student diversity (Stegers-Jager, 2018). Future studies should also examine whether selection tools differentially predict academic performance for different subgroups, to determine whether the performance disparities we found correspond with bias (i.e., underprediction or overprediction for certain subgroups). Finally, future research should identify the specific underlying characteristics and needs of subgroups of applicants with non-traditional backgrounds within the context of HPE selection, to provide better support during and, as suggested by others (Lievens, 2015; Wouters, 2020), also after selection. For instance, applicants from alternative forms of prior education may face difficulties managing the expectations in HPE selection that can strongly differ from their previous educational experiences (Katartzi & Hayward, 2020; Rienties & Tempelaar, 2013).

실용적인 관점에서 볼 때, 하위 그룹 간 성과 차이의 맥락별 특이성은 HPE 프로그램이 다른 맥락의 기존 연구에만 의존하지 않고 선발 절차가 학생 다양성에 미칠 수 있는 영향에 대한 지속적인 평가를 수립해야 한다는 것을 나타냅니다. 또한, 당사는 프로그램이 상황에 따라 효과가 달라질 수 있다는 점을 염두에 두고 SJT(Juster et al., 2019) 및 다중 미니 인터뷰(Griffin & Hu, 2015)와 같이 부정적인 영향을 줄이고 필요한 다양성을 명시적으로 증진할 수 있는 대체 도구를 양심적으로 포함하거나 개발할 것을 권장합니다. 학교별 선발 절차가 교육과정과 일치하는 선발 절차는 높은 예측 가치를 가질 수 있기 때문에 학교별 선발 절차를 적용하고자 하는 욕구를 인정합니다(Schreurs et al., 2020). 동시에, 이는 프로그램이 부정적인 영향을 포함하여 선발 절차의 타당성에 대한 다양한 측면을 평가할 책임이 있음을 의미합니다(Schreurs, 2020). 또한 프로그램은 다양한 규범화 그룹을 통해 도구를 검증하는 것도 고려할 수 있습니다(Padilla & Borsato, 2008). 
From a practical viewpoint, the context-specificity of subgroup differences in performance indicates that HPE programs need to establish continuous evaluation of the possible effects of their selection procedures on student diversity, rather than only relying on existing research in other contexts. Additionally, we encourage programs to conscientiously include and/or develop alternative tools that can reduce adverse impact and explicitly promote well-needed diversity, such as SJTs (Juster et al., 2019) and multiple mini-interviews (Griffin & Hu, 2015), while keeping in mind that effects can be context-specific. We acknowledge the desire to apply school-specific selection procedures, as selection procedures that align their contents with the curriculum can have high predictive value (Schreurs et al., 2020). Simultaneously, this creates a responsibility for programs to evaluate different aspects of the validity of their selection procedure, including adverse impact (Schreurs, 2020). Additionally, programs could consider validating their tools with diverse norming groups (Padilla & Borsato, 2008).

결론적으로, 학부 HPE 프로그램 선발은 의도치 않게 학생의 다양성에 영향을 미쳐 공평한 입학을 저해할 수 있습니다. 기존 기준에 비해 확장된 기준은 SES 관련 성과 차이를 줄일 수 있지만 인종에 따른 격차는 줄일 수 없습니다. 확장된 기준의 경우, 하위 그룹의 성과 차이도 상황에 따라 달라집니다. 따라서 우리는 다양성에 대한 선발의 지속적인 평가 효과, 기존 도구 내에서 모범 사례의 식별, 학생 다양성에 긍정적이거나 중립적인 영향을 미치는 도구의 포함, 충분한 품질 관리가 필요하다고 촉구합니다.

In conclusion, selection into undergraduate HPE programs can unintentionally impact student diversity, hindering equitable admission. Compared to traditional criteria, broadened criteria can reduce SES-related performance differences, but not disparities based on ethnicity. For broadened criteria, subgroup differences in performance also vary across contexts. We, therefore, call for continuous evaluation effects of selection on diversity, the identification of best practices within existing tools, the inclusion of tools with a positive or neutral impact on student diversity, and sufficient quality control.

1Institute of Medical Education Research Rotterdam, Erasmus MC, University Medical Center Rotterdam, Room AE-207, PO Box 2040, 3000 CA, Rotterdam, The Netherlands. s.fikrat-wevers@erasmusmc.nl.

2Institute of Medical Education Research Rotterdam, Erasmus MC, University Medical Center Rotterdam, Room AE-207, PO Box 2040, 3000 CA, Rotterdam, The Netherlands.

3Department of Biostatistics, Erasmus MC University Medical Center Rotterdam, Rotterdam, The Netherlands.

4Department of Epidemiology, Erasmus MC University Medical Center Rotterdam, Rotterdam, The Netherlands.

5Department of Pharmaceutical Sciences, Utrecht University, Utrecht, The Netherlands.

6Technical Medical Centre, Technical Medicine, University of Twente, Enschede, The Netherlands.

7Department of Medical Biology, Amsterdam UMC, University of Amsterdam, Amsterdam, The Netherlands.

8Faculty of Medicine VU, Amsterdam UMC Location Vrije Universiteit Amsterdam, Boelelaan 1117, Amsterdam, The Netherlands.

9LEARN! Research Institute for Learning and Education, Faculty of Psychology and Education, VU University Amsterdam, Amsterdam, The Netherlands.

Student diversity in health professions education (HPE) can be affected by selection procedures. Little is known about how different selection tools impact student diversity across programs using different combinations of traditional and broadened selection criteria. The present multi-site study examined the chances in selection of subgroups of applicants to HPE undergraduate programs with distinctive selection procedures, and their performance on corresponding selection tools. Probability of selection of subgroups (based on gender, migration background, prior education, parental education) of applicants (N = 1935) to five selection procedures of corresponding Dutch HPE undergraduate programs was estimated using multilevel logistic regression. Multilevel linear regression was used to analyze performance on four tools: prior-education grade point average (pe-GPA), biomedical knowledge test, curriculum-sampling test, and curriculum vitae (CV). First-generation Western immigrants and applicants with a foreign education background were significantly less likely to be selected than applicants without a migration background and with pre-university education. These effects did not vary across programs. More variability in effects was found between different selection tools. Compared to women, men performed significantly poorer on CVs, while they had higher scores on biomedical knowledge tests. Applicants with a non-Western migration background scored lower on curriculum-sampling tests. First-generation Western immigrants had lower CV-scores. First-generation university applicants had significantly lower pe-GPAs. There was a variety in effects for applicants with different alternative forms of prior education. For curriculum-sampling tests and CVs, effects varied across programs. Our findings highlight the need for continuous evaluation, identifying best practices within existing tools, and applying alternative tools.

연구 설계
Study design

2008년 10월 1일, 2012년, 2015년에 네덜란드에 등록된 모든 16세 청소년(이하 '연령 코호트'라 함)을 대상으로 네덜란드 통계청의 익명화된 비공개 마이크로데이터를 사용하여 후향적 다중 코호트 연구를 수행했습니다. 이 연령 코호트 내에서 과학 중심의 예비 대학 교육 프로필을 가진 학생들을 '적격 학생 풀'로 정의했습니다. 학생들이 연구 프로그램 지원서를 제출하는 네덜란드 기관인 Studielink의 익명화된 데이터를 사용하여 의학, 약학, 임상 기술 또는 치의학에 지원한 사람들을 '지원자 풀'로 정의했습니다. 이 연구에 포함된 4개의 HPE 프로그램에 지원할 수 있는 자격은 고등학교 내신성적, 의대 입학시험 점수, 또는 이와 유사한 형태의 사전 학력에 의해 결정되지 않습니다. 그러나 지원자가 고등학교 최종 시험에서 불합격하여 그 해에 고등 교육에 등록하지 못할 수도 있습니다. 따라서 네덜란드 통계청의 마이크로데이터에 따르면 고등학교 시험에 통과하여 이론적으로 입학 자격이 있는 지원자를 대상으로 분석을 수행했습니다. 지원한 해에 고등학교 시험에 불합격한 지원자는 로지스틱 회귀 분석에서 제외했습니다. 마지막으로, 배치 자격이 있는 지원자 중 3년 후(2011년, 2015년 또는 2018년) 19세가 되었을 때 네덜란드 대학에 의학, 약학, 임상 기술 또는 치의학 학생으로 등록되어 있는 지원자를 'HPE 학생'이라고 불렀습니다. 
We did a retrospective multi-cohort study using anonymised non-public microdata from Statistics Netherlands of all 16-year-olds who were registered in The Netherlands on 1 October 2008, 2012, and 2015, hereafter referred to as ‘age cohorts’. Within these age cohorts, we defined those with a science-focused pre-university education profile as the ‘eligible student pool’. Using anonymised data from Studielink – the Dutch organization where students submit their application for a study programme – we defined those who had applied to Medicine, Pharmacy, Clinical Technology or Dentistry as the ‘applicant pool’. Eligibility to apply to the 4 HPE programs in this study is not determined by high school GPA, score in a medical admissions test, or similar form of prior attainment. However, an applicant may fail their final high school exams and thus be unable to enrol in higher education that year. We have therefore performed our analyses on the applicants who, according to Statistics Netherlands microdata, had passed their high school exams and thus, in theory, were eligible for placement. Applicants who failed their high school exam in the year in which they applied, were excluded from our logistic regression analyses. Finally, out of these applicants who were eligible for placement, those who were registered as Medicine, Pharmacy, Clinical Technology or Dentistry students at a Dutch university three years later (in 2011, 2015, or 2018), at the age of 19 were termed ‘HPE students’.

샘플
Sample

2008년, 2012년, 2015년 10월 1일에 16세였던 네덜란드에 거주하는 것으로 등록된 모든 어린이가 조사 대상에 포함되었습니다. 10월 1일은 각 교육 단계의 학생 등록이 이루어지는 기준일이기 때문에 10월 1일을 선택했습니다. 16세가 되면 대부분의 네덜란드 청소년은 아직 고등학교에 재학 중입니다. 2008년부터 2018년까지 학사 1학년 학생의 평균 연령은 18.6세였습니다(Leijen 외. 2019). 이는 HPE 학생을 포함한 네덜란드 대학생의 대다수가 17세, 18세 또는 19세에 대학에 입학한다는 것을 의미합니다. 따라서 연구 설계에서는 코호트의 대상 학생들이 아직 고등학교에 재학 중이고 3년 후인 19세에 고등학교를 졸업하고 고등교육에 입학했을 가능성이 가장 높다고 판단했습니다. 네덜란드 통계청 마이크로데이터에서 필수 변수를 사용할 수 있는지 여부와 학생들이 고등교육에 입학할 당시의 입학 상황(그림 1)을 고려하여 세 코호트의 연도를 선택했습니다. 
All children, registered as living in The Netherlands, who were 16 years old on 1 October 2008, 2012, and 2015 were included. October 1st was chosen because this is the reference date at which student enrolment at each level of education is registered. At age 16, the majority of Dutch youth is still in high school. The average age of first-year bachelor students between 2008 and 2018 was 18.6 years old (Leijen et al. 2019). This means that the majority of university students in The Netherlands, including HPE students, enter university at age 17, 18, or 19. Therefore, in our research design, we had the highest likelihood that eligible students in the cohorts were still in high school, and that three years later, at age 19, they would have left high school and entered tertiary education. We selected the years of the three cohorts based on the availability of essential variables in Statistics Netherlands microdata, and the admissions context (Figure 1) at the time students entered higher education.

변수
Variables

연구의 변수는 표 1에 설명되어 있습니다. SES를 대신하여 부모의 소득 백분위수, 자산 백분위수, 사회복지 수급자 상태를 사용했습니다. 소득 백분위수와 자산 백분위수는 전체 인구에 비해 상대적인 위치를 나타내기 때문에 유로로 환산한 값 대신 소득과 자산 백분위수를 포함했습니다. 네덜란드 통계청에서 정의한 네덜란드인 이외의 인종 그룹(이주 배경이 없는)은 이후 터키, 모로코, 수리남, 네덜란드 카리브해 이주 배경(TMSD) 또는 기타 이주 배경(OMB)을 가진 인종 그룹으로 지칭합니다. 
Variables in the study are described in Table 1. As proxy for SES, we used parental income percentiles, wealth percentiles, and social welfare recipient status. Income and wealth percentiles, rather than their values in euros, were included because percentiles indicate the relative position one occupies compared to the rest of the population. Statistics Netherlands-defined ethnic groups other than Dutch (without a migration background) are hereafter referred to as having either a Turkish, Moroccan, Surinamese, or Dutch Caribbean migration background (TMSD); or other migration background (OMB).

통계 분석
Statistical analysis

먼저 단변량 로지스틱 회귀 분석을 수행하여 표 1에 설명된 독립변수 중 어떤 것이 HPE 학생이 되는 것과 관련이 있는지 조사했습니다. 통계적 유의 수준은 .05로 설정했습니다. 독립 변수 간에 다중공선성의 증거가 있는지 데이터를 조사했습니다. 둘째, 다변량 로지스틱 회귀를 사용하고 단계적 전진 선택을 적용하여 각 코호트 연도(2008년, 2012년, 2015년)에 대한 모델을 구축했습니다. 그 결과 총 3개의 모델이 만들어졌습니다. 또한 상호작용 조건(가능한 모든 조합)을 추가하면 이러한 모델이 개선되는지도 조사했습니다. 
We first performed univariable logistic regression analyses to examine which of the independent variables described in Table 1 were associated with becoming an HPE student. Statistical level of significance was set at .05. We examined data for evidence of multicollinearity amongst the independent variables. Second, we used multivariable logistic regressions and applied stepwise forward selection to build a model for each cohort year (2008, 2012, and 2015). This resulted in three models in total. We also examined whether adding interaction terms (any possible combination) improved these models.

하이브리드 가중치 추첨 및 선발 절차에서 100% 선발 절차로 전환하는 동안 HPE 학생 집단의 대표성을 확인하기 위해 빈도표를 사용하여 모든 변수에 대한 각 코호트 및 각 기준 그룹의 학생 분포를 비교했습니다. 코호트 간 비율의 변화를 조사하기 위해 두 가지 유형의 로지스틱 회귀 분석을 사용했으며, 2008년 연령 코호트를 참조 범주로 사용했습니다. 성별과 같은 이항 변수의 경우 이항 로지스틱 회귀 분석을, 이주 배경과 같이 두 가지 이상의 범주가 있는 변수의 경우 다항 로지스틱 회귀 분석을 사용했습니다. 모든 분석은 Windows용 IBM SPSS 소프트웨어 버전 25.0(IBM Corp, 뉴욕주 애몬크)을 사용하여 수행되었습니다. 
To determine the representativeness of HPE student populations throughout the transition from a hybrid weighted lottery and selection procedure to a 100% selection procedure, we used frequency tables to compare the distribution of students in each cohort and each reference group on all variables. To investigate the changes in proportions between cohorts, we used two different types of logistic regression analyses, where age cohort 2008 was used as a reference category. For binary variables such as gender, we used binary logistic regression analysis; for variables with more than two categories, such as migration background, we used multinomial logistic regression analysis. All analyses were performed using IBM SPSS software for Windows version 25.0 (IBM Corp, Armonk, NY).

윤리적 고려 사항
Ethical considerations

암스테르담 UMC의 윤리위원회는 이 연구(파일 번호 2019.719)가 세계보건기구(WHO)의 인간 대상 의학 연구법에 따라 승인 면제 대상임을 선언했습니다. 통계 결과는 네덜란드 통계청의 비공개 익명 마이크로데이터를 사용한 LM과 JWRT(암스테르담 UMC)의 계산을 기반으로 하며, 네덜란드 통계청의 모든 개인정보 보호 규정과 비공개 마이크로데이터 사용에 관한 네덜란드 법률을 준수합니다. 지원자 풀의 Studielink에서 선별된 데이터는 네덜란드 통계청에 의해 익명화되었습니다. 연구자들은 식별 가능한 정보에 접근할 수 없었습니다. 
The Ethics Committee at Amsterdam UMC, location VUmc declared the study (File no. 2019.719) exempt from approval under the Medical Research Involving Human Subjects Act (WMO). The statistical results are based on calculations by LM and JWRT (Amsterdam UMC) using non-public anonymised microdata from Statistics Netherlands and comply to all Statistics Netherlands privacy regulations and the Dutch law regarding use of their non-public microdata. Selected data from Studielink of the applicant pool was anonymised by Statistics Netherlands. The researchers had no access to identifiable information.

HPE 학생이 되는 것과 관련된 인구통계학적 변수
Demographic variables associated with becoming an HPE student

단변량 로지스틱 회귀 분석 결과(보충 부록의 표 1 참조), 모든 변수가 적어도 하나의 코호트 내에서 HPE 학생이 되는 것과 연관성이 있는 것으로 나타났습니다. 다중공선성의 증거가 있는지 데이터를 조사했습니다. '이주 배경'과 '해외 출생 부모 수' 간의 피어슨 계수 상관관계가 각 연령 코호트에서 0.82를 초과하여 강한 것으로 간주될 수 있기 때문에 이전에 데이터 세트의 일부였던 한 변수(해외 출생 부모 수)를 제외했습니다(Schober et al. 2018). 따라서 '해외에서 태어난 부모 수'는 추가 분석에서 제외했으며 이 글에서는 포함하지 않았습니다. '이주 배경' 변수를 유지함으로써 100% 선발로의 전환이 이주 배경이 있는 그룹과 없는 그룹에 다른 방식으로 영향을 미치는지 조사할 수 있었습니다. 나머지 변수에서는 다중공선성에 대한 증거를 찾을 수 없었습니다. 따라서 모든 독립변수는 각 지원자 집단에 대해 독립적으로 다변량 회귀 모형에 포함되었습니다(전체 모형은 부록의 표 2, 최종 모형은 본 원고의 표 2 참조). 유의미한 상호작용은 발견되지 않았습니다.
Results from the univariable logistic regression (see Table 1 in Supplementary Appendix) showed that all variables were associated with becoming an HPE student within at least one cohort. We examined data for evidence of multicollinearity. This led us to exclude one variable (number of parents born abroad) which was previously a part of our dataset, because the Pearson coefficient correlations between ‘migration background’ and ‘number of parents born abroad’ were >0.82 in each age cohort, which can be considered strong (Schober et al. 2018). We therefore excluded ‘number of parents born abroad’ from further analyses and did not include it in this article. Keeping the variable ‘migration background’ enabled us to investigate whether the transition to 100% selection impacted groups with or without a migration background in different ways. No evidence was found for multicollinearity in the remaining variables. All independent variables were, therefore, included in multivariable regression models for each applicant cohort independently (see Table 2 in Supplementary Appendix for the full models and Table 2 in this manuscript for the final models). No significant interactions were found.

지원자 풀 모델
Applicant pool models

표 2는 2008년 코호트와 2015년 코호트 사이의 최종 모델 변화를 보여줍니다. 가중치 추첨을 통해 50~100%의 학생이 입학한 2008년 코호트에서는 여성 성별(OR 1.15 [1.01~1.30])과 최고 부유층에 속하는 것(OR 1.29 [1.10~1.51])만이 HPE 학생이 되는 것과 유의미한 양의 상관관계를 보였습니다. 2012년 코호트에서는 가계 자산이 더 이상 이 모델에 유의미한 영향을 미치지 않았습니다. 대신, 부모 소득에 대한 효과가 발견되었으며, 상위 10분위에서 긍정적인 연관성이 나타났습니다(OR 1.37 [1.18-1.60]). 여성 성별은 여전히 긍정적인 연관성을 보였으며(OR 1.49 [1.28-1.73]), 이주 배경은 TMSD 이주 배경을 가진 경우 음의 연관성을 보이며 모델을 개선했습니다(OR 0.68 [0.52-0.89]). 2015년 코호트(100% 선택) 모델에서는 부모 중 한 명 이상의 HP가 있는 경우(OR 1.27 [1.10-1.47]), 여성인 경우(OR 1.35 [1.19-1.53]), 자산 상위 10분위에 속하는 경우(OR 1.28 [1.10-1.49])가 긍정적인 연관성이 있는 것으로 나타났습니다. TMSD 이주 배경(0.72 [0.57-0.91])은 음의 연관성이 발견되었습니다. 다른 변수들은 표 2의 모델에 기여하지 않았기 때문에(p > .05) 포함되지 않았습니다(전체 모델, 즉 단계적 전진 로지스틱 회귀를 수행하기 전의 결과는 부록의 표 2 참조).
Table 2 shows that the final models change between cohort 2008 and 2015. In cohort 2008, where 50–100% of students were admitted through weighted lottery (depending on each HPE faculty), only female gender (OR 1.15 [1.01–1.30]) and belonging to the highest wealth decile (OR 1.29 [1.10–1.51]) were significantly positively associated with becoming an HPE student. In cohort 2012, household wealth no longer contributed significantly to the model. Instead, an effect for parental income was found, with a positive association for the top-10 decile (OR 1.37 [1.18–1.60]). Female gender remained positively associated (OR 1.49 [1.28–1.73]), and migration background improved the model, with a negative association for having a TMSD migration background (OR 0.68 [0.52–0.89]). The model of cohort 2015 (100% selection) showed that having at least one HP as a parent (OR 1.27 [1.10–1.47]), female gender (OR 1.35 [1.19–1.53] and belonging to the top-10 wealth decile (OR 1.28 [1.10–1.49]) were positively associated. Negative associations were found for a TMSD migration background (0.72 [0.57–0.91]). Other variables did not contribute to the models in Table 2 (p > .05) and were therefore not included (see Table 2 in Supplementary Appendix for the result of the full model, that is before performing a stepwise forward logistic regression).

이주 배경과 관련된 결과가 SES의 차이로 설명될 수 있는지 조사하기 위해 각 이주 배경 범주(네덜란드, TMSD, OMB)에 대한 소득 및 부의 빈도 분포를 분석했습니다. 소득과 재산이 세 가지 범주 간에 매우 불균등하게 분포되어 있었기 때문에, 지원자 풀에 대한 추가 분석을 수행하여 소득과 재산 그룹을 재코딩하여 균형을 극대화했습니다. 

• 소득이 가장 낮은 그룹(백분위수 0-60)에서는 2012년과 2015년 코호트에서 TMSD 배경에 대한 음의 연관성이 유의미하게 유지되었습니다(보충 부록의 표 3 참조). 
• 소득 백분위수 0-70 그룹에서는 2015년 코호트에서 TMSD 배경에 대한 음의 연관성이 유의미했습니다. 2012년 코호트에서는 소득 백분위수 71-100 그룹에서도 마찬가지였습니다. 

이는 동일한 소득/부유층에서 이주 배경이 없는 네덜란드 기준 범주와 비교했을 때에도 여전히 음의 연관성을 보였기 때문에 TMSD 이주 배경에 대한 음의 연관성은 SES로 설명할 수 없음을 보여주었습니다.
To investigate whether results related to migration background could be explained by differences in SES, we analysed the frequency distribution of income and wealth deciles for each migration background category (Dutch, TMSD and OMB). As income and wealth were distributed highly unequally between the three different categories, we performed additional analyses on the applicant pool, using recoded income and wealth groups to maximize balance.

• Within the lowest wealth group (percentiles 0–60), the negative association for a TMSD background remained significant in cohort 2012 and 2015 (see Table 3 in Supplementary Appendix).
• In income percentiles group 0–70, the negative association for a TMSD background was significant in cohort 2015. In cohort 2012, this was true for income percentile group 71–100.

This showed that the negative associations for TMSD migration background cannot be explained by SES: they remained negative even when compared to the Dutch reference category without a migration background from the same income/wealth groups.

HPE 학생의 대표성
Representativeness of HPE students

표 3은 모든 (하위) 코호트에서 변수별 학생 분포를 보여줍니다. 여성은 모든 연령 코호트 및 적격 학생 풀의 약 절반을 차지했지만, 지원자 풀과 HPE 학생 인구에서는 그 비율이 훨씬 높았습니다(표 3). 2008년과 2015년 코호트 사이에 HPE 학생 인구에서 남성의 비율은 34.1%에서 28.6%로 16.1% 감소했습니다.
Table 3 shows the distribution of students per variable in all (sub)cohorts. Women represented approximately half of all age cohorts and eligible student pools, but their proportion is significantly higher in the applicant pool and the HPE student population (Table 3). A 16.1% decrease was seen in the proportion of men in the HPE student population between cohort 2008 and 2015 (from 34.1 to 28.6%).

2008년과 2015년 코호트 사이에 HP 부모가 1~2명인 HPE 학생의 비율은 크게 감소했지만, 연령 코호트, 적격자 풀, 지원자 풀과 비교하면 이러한 부모를 둔 학생은 여전히 HPE 학생 중에서 과대 대표되고 있습니다.
The proportion of HPE students with 1 or 2 HP parents decreased significantly between cohort 2008 and 2015, but compared to the age cohort, eligible pool, and applicant pool, students with such parents are still overrepresented amongst HPE student students.

2008년 코호트와 2015년 코호트 사이에 HPE 학생의 소득 그룹별 분포는 큰 변화가 없었지만, 자산 그룹별 분포는 하위 70% 백분위수 학생의 비율은 증가하고 상위 10% 백분위수 학생의 비율은 감소한 것으로 나타났습니다. 그러나 소득 및 자산이 가장 높은 그룹의 학생들은 지원 자격 및 지원자 풀과 비교했을 때, 특히 연령 코호트와 비교했을 때 HPE 학생들 사이에서 여전히 과대 대표되었습니다. 
The distribution of HPE students over the different income groups has not undergone major changes between cohort 2008 and 2015, but their distribution over the different wealth groups shows an increase in the proportion of students from the lowest 70 percentiles, and a decrease of the proportion of students from the top 10 decile. However, students from the highest income and wealth groups remained overrepresented amongst HPE students compared to the eligible and applicant pools, but especially compared to their age cohorts.

부모 중 한 명 이상이 사회복지 혜택을 받는 학생은 적격자 풀에서는 과소 대표되지만, 각 코호트에서 지원자 풀에서 차지하는 비율이 적격자 풀에서 차지하는 비율보다 상대적으로 높은 비율로 지원했습니다. 그러나 입학률은 더 낮기 때문에 HPE 학생의 연령 코호트에 비해 과소 대표됩니다.
Those with at least one parent who receives social welfare are underrepresented in the eligible pool, but they do apply at relatively high rates: in each cohort, their proportion in the applicant pool is higher than their proportion in the eligible pool. However, they are admitted at lower rates, resulting in underrepresentation amongst HPE students compared to their age cohorts.

연령 코호트에 비해, TMSD 학생은 모든 코호트의 적격 풀, 지원자 풀, HPE 학생 집단에서 과소 대표되는 반면, OMB 학생은 지원자 및 HPE 학생 집단에서 과대 대표되는 것으로 나타났습니다.
Relative to the age cohorts, TMSD students are underrepresented in the eligible pool, applicant pool, and HPE student populations for all cohorts, while OMB students are overrepresented amongst applicants and HPE students.

시사점
Implications

이번 연구 결과는 추첨 또는 선발이 지원자에 대한 공정성 및 사회에 대한 공평한 결과를 가져올 수 있는지에 대한 국제적 논쟁에 새로운 차원을 제공할 수 있습니다. 이는 HPE 지원자 풀과 학생 인구의 다양성 또는 대표성이 부족한 모든 국가 및 상황과 관련이 있습니다. 이 보고서는 추첨과 선발에 대한 논쟁이 벌어지고 있는 국제 HPE 커뮤니티에, 초등 및 중등 교육에서 특정 그룹에 대한 누적된 불이익으로 인해 지원자 풀이 해당 연령대를 대표하지 못하는 한 무작위 또는 가중치 추첨은 입학의 공정성 또는 형평성을 달성하기 위한 쉬운 해결책이 아니라는 점을 강조합니다(Hubbeling 2018, Mazer 2021, ten Cate 2021). 따라서 전 세계 HPE 프로그램은 지원자 풀의 다양성을 연령대 및 지원 자격이 있는 학생 인구와 비교하여 파악할 것을 권장합니다. 
Our conclusions can provide a new dimension in the international debate on whether lottery or selection would result in fairness towards applicants and/or equitable outcomes for society. This is relevant to all countries and contexts in which there is a lack of diversity or representativeness in the HPE applicant pool and student population. It emphasises to the international HPE community, in which there is debate about lottery versus selection (Hubbeling 2018; Mazer 2021; ten Cate 2021) that a random or weighted lottery is not an easy solution to achieve fairness or equity in admissions as long as the applicant pool is not representative of their age cohort, due to accumulated disadvantage for certain groups in primary and secondary education. We therefore recommend HPE programmes around the world to gain insight into the diversity of the applicant pool in comparison to their age cohort and the eligible student population.

결국, HPE 프로그램의 지원자 풀이 전체 인구를 대표하지 못한다는 점에서 네덜란드가 유일한 것은 아닙니다(Steven 외, 2016). Cohen 등(2002)은 대학 전 단계의 교육 시스템을 근본적으로 개혁하는 것이 대표적인 보건 전문직 인력을 확보하기 위한 장기적인 해결책이지만, 그러한 개혁이 이루어질 때까지는 HPE 프로그램에서 소수집단 우대 조치 도구가 중요하다고 주장했습니다. 우리의 연구는 이러한 주장을 뒷받침하지만, 이러한 도구 또는 일반적으로 접근성 확대 정책은 현재 네덜란드의 선발 절차에서 사용되지 않고 있으며 법적으로도 허용되지 않습니다. 최근 정부는 추첨 입학을 다시 합법화했지만, 추첨 시스템에는 낮은 사회경제적 지위나 TMSD 이주 배경 등으로 인해 이미 적격 학생 풀이나 지원자 풀에서 상당히 과소 대표되는 사람들을 위한 공평한 경쟁의 장을 만들 수 있는 메커니즘이 마련되어 있지 않습니다. 교육 시스템의 낮은 기대치(네덜란드 교육감찰청 2021), 차별(네덜란드 교육감찰청 2021), 양질의 자원이 풍부한 학교에 대한 차별적 접근(Grafton-Clarke 2016, Kumwenda 외. 2017, 네덜란드 교육감찰청 2021)과 같은 이러한 장벽은 초등 및 중등 교육에 관련된 모든 당사자가 해결해야 할 과제입니다. 그러나 이러한 문제는 이 글의 범위를 벗어납니다. 연구 결과와 교육 불평등에 대한 이러한 광범위한 맥락을 바탕으로, 우리는 HPE 프로그램 대상자 풀이 해당 연령대를 대표하지 않는 한 100% 추첨으로 돌아가는 것이 HPE의 다양성 부족 문제를 해결하는 데 도움이 되지 않는다고 주장합니다.

After all, The Netherlands is not unique in that eligible pools for HPE programmes are not representative for the population as a whole (Steven et al. 2016). Cohen et al. (2002) argued that fundamental reforms of the education system at the pre-college stage are the long-term solution to achieving a representative health professions workforce, but that until those reforms take place, affirmative action tools in HPE programmes are critical. Our study supports that argument, but such tools, or Widening Access policies in general, are currently not being used in the selection procedure in The Netherlands, nor are they permitted by law. Recently, the government made lottery-admission legal again, but a lottery system does not have a mechanism in place to create a level playing field for those who are already significantly underrepresented in the eligible student pool or applicant pool due to the known barriers resulting from a lower SES status or a TMSD migration background. These barriers, such as lower expectations being placed upon them by the education system (Dutch Inspectorate of Education 2021), discrimination (Dutch Inspectorate of Education 2021), and differential access to high-quality and highly resourced schools (Grafton-Clarke 2016; Kumwenda et al. 2017; Dutch Inspectorate of Education 2021), need to be addressed by all parties involved in primary and secondary levels of education. They are however beyond the scope of this article. Based on our findings and this broader context of educational inequality, we argue that a return to 100% lottery will not help in solving the problem of a lack of diversity in HPE, as long as eligible pools for HPE programmes are not representative of their age cohorts.

우리의 연구 설계는 전 세계적으로 복제될 수 있으며, 대표성 있는 학생 집단을 입학시키는 것을 목표로 하는 HPE 프로그램은 이 목표를 달성하는 데 가장 적합한 입학 절차 유형을 결정할 때 연령 집단, 적격 풀, 지원자 풀의 다양성을 고려할 수 있습니다. 각 지역 상황에 따라 해당 연령 코호트(즉, (미래) 환자 집단)를 대표하는 학생 집단을 입학시키기 위해 취해야 할 단계가 다를 수 있습니다. 무작위 추첨은 기껏해야 지원자 풀을 대표하는 HPE 학생 모집단을 구성할 수 있지만, 지원자 풀의 다양성이 부족한 상황에서는 추첨이 해결책이 될 수 없습니다. 이러한 상황에서는 공평한 입학을 우선시하는 명시적인 목표를 가진 선발 절차를 시행할 수 있습니다. 다음을 연구하고 적절한 경우 실행할 수 있을 것입니다. 

• 접근성 확대 정책(포위스 외 2007, 클랜드 외 2015, 알렉산더 외 2017, 마틴 외 2018),
• 쿼터제(베칵과 시리노 2018, 커티스 2018),
• 상황별 입학(의과대학협의회 선발 연합 2018),
• 소외된 학생에게 불이익을 주지 않는 것으로 알려진 선발 도구 사용(제란트 외 2015, 라잭 외 2015, 테일러 외 2015),
• 기타 대표성 있는 보건 전문 인력을 확보할 수 있는 도구의 성공적인 국제 사례

Our study design can be replicated globally, where HPE programmes aiming to admit a representative student population could consider the diversity of the age cohort, eligible pool, and the applicant pool when deciding on the most suitable type of admissions procedure to achieve this goal. Depending on each local context, different steps can be taken to admit a student population which is representative for their age cohort (i.e. the (future) patient population). Random lottery at best results in an HPE student population which is representative of the applicant pool, but in contexts where the applicant pool lacks diversity, lottery is not a solution. In such contexts, selection procedures could be implemented which have the explicit goal to prioritise equitable admissions. Successful international examples of

• Widening Access policies (Powis et al. 2007; Cleland et al. 2015; Alexander et al. 2017; Martin et al. 2018),
• quota systems (Becak and Cirino 2018; Curtis 2018),
• contextualised admissions (Medical Schools Council Selection Alliance 2018),
• using selection tools which are known to not disadvantage underrepresented students (Jerant et al. 2015; Razack et al. 2015; Taylor et al. 2015), and other
• instruments that can ensure a representative health professional workforce,
  • could be studied and implemented where appropriate.

또한, 연령 코호트에 비해 적격자 풀의 다양성이 충분하지 않은 경우, 초중등 교육에 관련된 모든 당사자가 가능한 한 빠른 시일 내에 이 문제를 해결하기 위한 정책을 개발해야 합니다. 지원자 풀의 다양성이 충분하지 않은 경우, 대학 및 기타 당사자가 설계할 수 있는 파이프라인 프로그램 및 기타 참여 확대 노력(Martin 외. 2018; Clayborne 외. 2021)과 같은 채용 영역에 대한 개입이 필요합니다. 
Additionally, if there is insufficient diversity in the eligible pool compared to the age cohort, policies need to be developed to address this problem at the earliest possible stages by all parties involved in primary and secondary education. Where there is insufficient diversity in the applicant pool, interventions are necessary in the area of recruitment, such as pipeline programs and other Widening Participation efforts (Martin et al. 2018; Clayborne et al. 2021), which could be designed by universities and other parties.

조사 결과를 바탕으로 네덜란드의 맥락에서 HPE 프로그램에 대해 다음과 같은 제안을 합니다: 공평한 입학 절차를 개발하여 저소득층 가정 학생, TMSD 이주 배경을 가진 학생, HP 부모가 없는 학생, 남학생의 입학을 우선적으로 늘릴 수 있도록 해야 합니다. 이러한 입학 절차는 법적으로 허용되어야 HPE 프로그램에서 시행할 수 있습니다. 공평한 입학 정책 개발자는 지원자가 소수 민족 및 저소득층 배경을 가진 남성 등 여러 소수자 집단에 속할 수 있으며, 이로 인해 HPE 프로그램에 입학하는 과정에서 누적된 불이익에 직면할 수 있다는 교차성(Crenshaw 1991)을 인식할 것을 권장합니다. 예를 들어 의료 네트워크에 대한 접근성을 제공하는 등 남성과 HP 부모가 없는 학생들이 더 많이 HPE 프로그램에 지원하도록 장려하고 지원하려면 대학 전 단계에서 추가적인 정책적 개입이 필요합니다(Wouters 2020). 또한, 초중등학교는 SES가 낮은 아동과 TMSD 배경을 가진 아동이 과학 중심의 예비 대학 트랙에 성공적으로 등록할 수 있도록 조기에 지원하여 향후 HPE 프로그램에 지원할 수 있는 자격을 만들어야 합니다.
On the basis of our findings, we advance the following suggestions for HPE programmes in the Dutch context: Equitable admissions procedures should be developed to prioritise increasing the admission of students from lower SES families, students with a TMSD migration background, students without HP parents, and men. Such admissions procedures need to become legally permitted, so HPE programs can implement them. We recommend developers of equitable admissions policies to be aware of intersectionality (Crenshaw 1991): applicants can belong to multiple underrepresented groups, e.g. a man with an ethnic minority and lower SES background and may thereby face accumulated disadvantages in the route to an HPE programme. Additional policy interventions at the pre-university stage are necessary to encourage and support men and those without HP parents to apply to HPE programmes in greater numbers, for example by providing them with access to a medical network (Wouters 2020). Furthermore, primary and secondary schools should support lower SES children and children with a TMSD background at an early stage to successfully enrol in the science-focused pre-university track, which would make them eligible to apply for an HPE programme in the future.

제한 사항
Limitations

본 표본은 2008년, 2012년 또는 2015년 10월 1일에 16세였던 60만 명 이상의 개인으로 구성되었습니다. 이 표본의 설계와 규모는 이 연구의 주요 강점입니다. 또 다른 강점은 비슷한 배경을 가진 지원자들을 대상으로 로지스틱 회귀분석을 수행했다는 점입니다. 지원자들은 모두 같은 나이였고, 이들 중 98%(데이터는 표시되지 않음)가 이공계 예비대학 트랙 시험에 합격했습니다(이 코호트의 2%만이 다른 경로(예: 고등직업교육 경로)를 통해 지원했음을 의미함). 이렇게 하면 교란 요인의 위험을 줄일 수 있습니다. 또한, 배정 자격을 갖춘 세 개의 지원자 풀을 2009~2018학년도의 전체 지원자 데이터 세트와 비교했으며, 여기에는 지원했지만 코호트에 속하지 않은 학생들도 포함되었습니다. 연구에 포함된 모든 변수에 대해 이들을 비교하여 코호트 내 지원자 풀이 9년간의 통합 지원자 풀에 대해 얼마나 대표성을 갖는지 확인했습니다. 지원자 풀은 2009~2018년 기간의 전체 지원자(각각 71%, 55%)에 비해 이주 배경이 없는 네덜란드인(78%)과 소득 상위 10%에 속하는 부모를 둔 지원자(60%)가 더 많았지만, 다른 변수에서는 비교적 비슷했습니다. 
Our sample consists of more than 600,000 individuals who were 16 years old on 1 October 2008, 2012, or 2015. The design and size of this sample are major strengths of the study. Another strength is that logistic regression was performed on those applicants who all had similar backgrounds: they were of the same age, and 98% of them (data not shown) had passed the examination of the science-focused pre-university track (meaning only 2% of this cohort applied through a different route (e.g. the higher vocational educational route). This reduces the risk of possible confounders. Additionally, we compared our three applicant pools who were eligible for placement with the combined applicant dataset of the 2009–2018 academic years, including the students who applied and were not part of our cohorts. We compared them on all variables included in the study, to see how representative the applicant pools within our cohorts were for the combined applicant pool of these nine years. Our applicant pools consisted more often of those who were Dutch without a migration background (78%) and with parents who belonged to the top-10 income decile (60%), compared to all applicants in the 2009-2018 period (71%, respectively, 55%), but were relatively comparable on the other variables.

일부 변수에 대한 데이터가 제공되지 않아 100% 추첨을 통해 입학한 학생(2000년 이전)과는 비교할 수 없었습니다. 그러나 2008년 코호트 HPE 학생의 50~100%는 특정 프로그램과 대학에 따라 가중치 추첨을 통해 입학했으므로 100% 선발 절차와 비교할 수 있는 충분한 근거를 제공합니다. 
We could not make a comparison with the students admitted through 100% lottery (before 2000), as data for several variables was not available. However, 50–100% of the HPE students of cohort 2008 was admitted through weighted lottery (depending on the specific programme and university), which does provide sufficient ground for comparison with a 100% selection procedure.

네덜란드의 여러 대학에서 제공하는 의학, 약학, 임상 기술, 치의학 등 개별 프로그램 간에 HPE 학생 집단의 대표성을 비교할 수는 없었습니다. 이는 네덜란드 통계청 규정에 따라 기관 차원의 마이크로데이터 연구가 허용되지 않기 때문입니다. 이러한 한계를 극복하기 위해 2018~2019학년도 각 HPE 프로그램의 국가별 총 정원 수를 데이터 세트의 분포에 대한 대리치로 추가했습니다(Studiekeuze123, 2017): 의학: 2835명(78,9%); 약학: 270명(7.5%); 치의학: 259명(7.2%); 임상 기술: 230명(6.4%); 총: 3594명(100%). 이러한 국가별 비율은 데이터 세트 내의 비율을 가장 잘 대변합니다. 
We could not compare the representativeness of HPE student populations between individual programs of Medicine, Pharmacy, Clinical Technology, and Dentistry offered at different Dutch universities. This is because Statistics Netherlands regulations do not allow for microdata research on the institutional level. To address this limitation, we hereby add the total number of seats in the academic year 2018–2019 for each HPE program on a national level (Studiekeuze123, 2017) as a proxy for their distribution in our dataset: Medicine: 2835 (78,9%); Pharmacy: 270 (7.5%); Dentistry: 259 (7.2%); Clinical Technology: 230 (6.4%); Total: 3594 (100%). These national proportions are the best proxy for the proportions within our dataset.

마지막으로, 부모의 교육 수준은 이 데이터가 표준화되지 않았고 표본의 일부에서 사용할 수 없었기 때문에 포함할 수 없었습니다. 이러한 한계를 극복하기 위해 세 가지 다른 SES 지표를 사용하여 이 문제를 해결했습니다.
Finally, parental education levels could not be included due to this data being unstandardised, and unavailable for a part of the sample. We addressed this limitation by having three other indicators for SES.

추가 연구
Further research

데이터는 입학 정책의 변화가 필요함을 시사할 수 있지만, 증거만으로는 충분하지 않습니다. 각국의 사회적, 정치적, 법적 맥락에 따라 입법적 조정과 사회적 지지 기반 조성이 필요할 수 있습니다. 후속 연구에서는 입법 및 제도적 변화 가능성을 알리기 위해 접근성 확대 정책에 대한 제도적, 사회적 지원 수준을 조사했습니다.
Although data may indicate a need for change in admissions policies, evidence alone does not suffice. Depending on countries’ societal, political, and legal context, legislative adaptations and creating societal support may be needed. In a follow-up study, we investigated the level of institutional and societal support for widening access policies, to inform possible legislative and institutional changes.

대표성 있는 학생 집단을 우선시하는 입학 절차에 가장 적합한 설계에 대한 연구와 더불어, 개별 선발 도구와 도구의 조합이 학생 다양성에 미치는 영향에 대한 추가 연구가 필요합니다.
Next to research into the most suitable designs for admissions procedures which would prioritise a representative student population, further research is required into the effects of individual selection tools, as well as combinations of tools, on student diversity.

Background: Concerns exist about the role of selection in the lack of diversity in health professions education (HPE). In The Netherlands, the gradual transition from weighted lottery to selection allowed for investigating the variables associated with HPE admission, and whether the representativeness of HPE students has changed.

Method: We designed a retrospective multi-cohort study using Statistics Netherlands microdata of all 16-year-olds on 1 October 2008, 2012, and 2015 (age cohorts, N > 600,000) and investigated whether they were eligible students for HPE programs (n > 62,000), had applied (n > 14,000), and were HPE students at age 19 (n > 7500). We used multivariable logistic regression to investigate which background variables were associated with becoming an HPE student.

Results: HPE students with ≥1 healthcare professional (HP) parent, ≥1 top-10% income/wealth parent, and women are overrepresented compared to all age cohorts. During hybrid lottery/selection (cohort-2008), applicants with ≥1 top-10% wealth parent and women had higher odds of admission. During 100% selection (cohort-2015) this remained the case. Additionally, applicants with ≥1 HP parent had higher odds, those with a migration background had lower odds.

Conclusions: Odds of admission are increasingly influenced by applicants' backgrounds. Targeted recruitment and equitable admissions procedures are required to increase matriculation of underrepresented students.

Introduction: As interest in medicine grows, admissions committees must review an increasingly competitive pool of medical school and residency candidates. Nearly all admissions committees have moved towards a holistic review, which considers an applicant's experiences and attributes in addition to academic metrics. As such, identifying nonacademic predictors of success in medicine is necessary. Parallels between skills necessary to succeed in athletics and in medicine have been drawn, including teamwork, discipline and resiliency. This systematic review synthesises the current literature to evaluate the relationship between participation in athletics and performance in medicine.

Methods: The authors searched five databases to conduct a systematic review following PRISMA guidelines. Included studies assessed medical students, residents or attending physicians in the United States or Canada and used prior athletic participation as a predictor or explanatory variable. The review examined associations between prior athletic participation and outcomes in medical school, residency and/or as an attending physician.

Results: Eighteen studies evaluating medical students (78%), residents (28%) or attending physicians (6%) met inclusion criteria for this systematic review. Twelve (67%) studies specifically assessed participants based on skill level, and five (28%) studies specifically assessed participants based on type of athletic participation (team versus individual). Sixteen studies (89%) found that former athletes performed significantly better than their counterparts (p < 0.05). These studies found significant associations between prior athletic participation and better outcomes in multiple performance indicators, including exam scores, faculty ratings, surgical errors and burnout.

Conclusions: Current literature, although limited, suggests that prior participation in athletics may be a predictor of success in medical school and residency. This was demonstrated through objective scoring methods, such as USMLE, and subjective outcomes, such as faculty ratings and burnout. Specifically, multiple studies indicate that former athletes demonstrated increased surgical skill proficiency and decreased burnout as medical students and residents.

1Institute of Medical Education Research Rotterdam, Erasmus MC, University Medical Center Rotterdam, Rotterdam, The Netherlands.

2Technical Medical Centre, Technical Medicine, University of Twente, Enschede, The Netherlands.

3Department of Pharmaceutical Sciences, Utrecht University, Utrecht, The Netherlands.

4Department of Medical Biology, Amsterdam UMC, University of Amsterdam, Amsterdam, The Netherlands.

5Faculty of Medicine VU, Amsterdam UMC location Vrije Universiteit Amsterdam, Amsterdam, The Netherlands.

6LEARN! Research Institute for Learning and Education, Faculty of Psychology and Education, VU University Amsterdam, Amsterdam, The Netherlands.

Context: Applicant perceptions of selection methods can affect motivation, performance and withdrawal and may therefore be of relevance in the context of widening access. However, it is unknown how applicant subgroups perceive different selection methods.

Objectives: Using organisational justice theory, the present multi-site study examined applicant perceptions of various selection methods, rationales behind perceptions and subgroup differences.

Methods: Applicants to five Dutch undergraduate health professions programmes (N = 704) completed an online survey including demographics and a questionnaire on applicant perceptions applied to 11 commonly used selection methods. Applicants rated general favourability and justice dimensions (7-point Likert scale) and could add comments for each method.

Results: Descriptive statistics revealed a preference for selection methods on which applicants feel more 'in control': General favourability ratings were highest for curriculum-sampling tests (mean [M] = 5.32) and skills tests (M = 5.13), while weighted lottery (M = 3.05) and unweighted lottery (M = 2.97) were perceived least favourable. Additionally, applicants preferred to distinguish themselves on methods that assess attributes beyond cognitive abilities. Qualitative content analysis of comments revealed several conflicting preferences, including a desire for multiple selection methods versus concerns of experiencing too much stress. Results from a linear mixed model of general favourability indicated some small subgroup differences in perceptions (based on gender, migration background, prior education and parental education), but practical meaning of these differences was negligible. Nevertheless, concerns were expressed that certain selection methods can hinder equitable admission due to inequal access to resources.

Conclusions: Our findings illustrate that applicants desire to demonstrate a variety of attributes on a combination of selection tools, but also observe that this can result in multiple drawbacks. The present study can help programmes in deciding which selection methods to include, which more negatively perceived methods should be better justified to applicants, and how to adapt methods to meet applicants' needs.

전 세계적으로 의료계는 주로 부유한 배경을 가진 사람들로 구성되어 있으며, 평균보다 높은 수준의 교육을 받은 경우가 많습니다(AFMC 2010, 교육훈련부 2019, Milburn 2012). 학교별 격차는 의대 지원에도 반영됩니다. 예를 들어, 영국 의대 지원자의 80%는 영국 고등학교의 20% 출신이며, 최근 몇 년간 의대 지원자를 한 명도 배출하지 않은 학교도 절반에 달합니다(Medical Schools Council 2014a, b); 지원자의 44%는 문법(학업 선택제) 및 독립(학비 납부) 학교 출신인 반면(Mathers 외 2016), 학령 인구의 약 6.5%만이 이러한 학교에 다니고 있습니다(Bolton 2017; ISC 2020).
Globally, the medical profession consists predominantly of individuals from affluent backgrounds, often educated in schools which outperform the average (AFMC 2010; Department of Education and Training 2019; Milburn 2012). School disparities are reflected in medical school applications. For example, 80% of UK medical school applicants come from only 20% of UK high schools, and half of schools have sent no applicants to medicine in recent years (Medical Schools Council 2014a, b); 44% of applicants come from grammar (academically selective) and independent (fee-paying) schools (Mathers et al. 2016), whilst only approximately 6.5% of the school age population attend these schools (Bolton 2017; ISC 2020).

의학 분야의 사회경제적 다양성 부족으로 인해 의과대학이 사회 이동성을 촉진하지 못하거나, 의과대학이 서비스를 제공하는 인구를 돌볼 수 있는 최상의 인력을 창출하지 못할 수 있다는 우려가 제기되고 있습니다(Larkins 외. 2015; Medical Schools Council 2014a; Milburn 2012; O'Connell 외. 2017; Puddey 외. 2017). 독립 및 문법학교 출신 지원자가 주립(무료) 학교 출신 지원자에 비해 의대에 합격할 확률이 약간 더 높기 때문에(Steven 외 2016), 지원자 풀이 전체 인구의 대표성을 높여야 한다는 요구가 강하게 제기되어 왔습니다(Mathers 외 2011; McLachlan 2005; O'Neill 외 2013). 이로 인해 전통적으로 의대 진학을 고려하지 않는 학교 및 지역사회와 협력하여 의대 진학에 대한 인식을 높이고 지원을 지원하는 의과대학의 폭 넓은 접근(WA) 이니셔티브(파이프라인, 멘토링, 아웃리치 또는 학업 강화 프로그램이라고도 함)가 증가하고 있습니다(Medical Schools Council 2014b). WA 이니셔티브는 영국 고등 교육에 참여하는 다양한 인구통계학적 그룹의 학생들 간의 불균형을 줄이기 위한 정부 정책에서 비롯되었습니다(Connell-Smith and Hubble 2018). 이러한 프로그램은 영국(Greenhalgh 외. 2006; Kamali 외. 2005; Ratneswaran 외. 2015; Smith 외. 2013), 미국(Crews 외. 2020; Martos 외. 2017; Navarre 외. 2017; Soto-Greene 외. 1999), 캐나다(Robinson 외. 2017; Rourke 2005), 호주(Bennett 외. 2015; Gale and Parker 2013; Naylor 외. 2013) 전역에서 다양하게 운영되고 있다. 
The lack of socioeconomic diversity in medicine has caused concern that medical schools may not be promoting social mobility nor creating the best possible workforces to care for the populations they serve (Larkins et al. 2015; Medical Schools Council 2014a; Milburn 2012; O’Connell et al. 2017; Puddey et al. 2017). As applicants from independent and grammar schools are only slightly more likely to be accepted for a place at medical school in comparison to those applying from state (free to attend) schools (Steven et al. 2016), there have been strong calls for the applicant pool to become more representative of the population as a whole (Mathers et al. 2011; McLachlan 2005; O’Neill et al. 2013). This has caused an increase in medical schools’ widening access (WA) initiatives (otherwise known as pipeline, mentorship, outreach or academic enrichment programmes) which work with schools and communities that may not traditionally consider a career in medicine, to raise awareness about the career and support an application (Medical Schools Council 2014b). WA initiatives stem from governmental policies that aim to reduce discrepancies between the participation of different demographic groups of students in UK higher education (Connell-Smith and Hubble 2018). A wide variety of these programmes run across the UK (Greenhalgh et al. 2006; Kamali et al. 2005; Ratneswaran et al. 2015; Smith et al. 2013), the US (Crews et al. 2020; Martos et al. 2017; Navarre et al. 2017; Soto-Greene et al. 1999), Canada (Robinson et al. 2017; Rourke 2005) and Australia (Bennett et al. 2015; Gale and Parker 2013; Naylor et al. 2013).

학교 교사는 학생들이 의과대학과 의학에 대한 정보와 이니셔티브에 접근하는 주요 경로로 인식되고 있으며(Fleming and Grace 2014; McHarg 외 2007; 의과대학협의회 2016), 교사의 격려가 학생들의 전반적인 학업 성취도와 졸업 후 선택에 긍정적인 영향을 미칠 수 있습니다(Alcott 2017; Gale 외 2010). 따라서 학교 교사들은 게이트키퍼이자 영향력 있는 사람으로서 WA의 성공에 있어 핵심적인 이해관계자로 자리매김하고 있습니다(플레밍과 그레이스 2014; 올리버와 케틀리 2010). 그러나 영국 국공립학교에서 정식으로 교육을 받은 대학생들은 교사의 질 낮은 지도와 격려 부족으로 인해 졸업 후 진로 선택에 어려움을 겪었다고 보고합니다(Mathers and Parry 2009, McHarg 외. 2007, 의과대학협의회 2013, UCAS 2015). 교사의 열악한 지원에 대한 이러한 보고는 미국, 캐나다, 호주 등 소외 계층에 대한 접근성을 확대하는 데 초점을 맞춘 다른 국가의 사례와 유사하지만(Behrendt 외 2012; Fray 외 2019; Gale and Parker 2013; Murray-García와 García 2002; Restoule 외 2013; Tomaszewski 외 2017), 교사가 WA에 미치는 영향에 대한 연구는 제한적입니다. 주립대 의대생들은 교사가 자신의 성공 가능성을 과소평가하고(McHarg 외 2007), 실패할 운명이라는 인상을 주며(Southgate 외 2017), 학교에 기대치가 낮은 반학문적 문화가 존재한다고 주장합니다(Mathers and Parry 2009). 다른 연구에서는 적합한 특성을 가진 학생들 중 상당수가 의사로서의 자신을 상상할 기회가 주어지지 않거나 입학 요건을 적절히 준비할 수 있는 지원이 부족하기 때문에 의대 진학을 미루는 것으로 나타났습니다(Greenhalgh 외. 2004; Southgate 외. 2015). 
School teachers are recognised as a key pathway through which pupils access information and initiatives about medical schools and medicine (Fleming and Grace 2014; McHarg et al. 2007; Medical Schools Council 2016) and their encouragement can positively influence pupils’ overall attainment and post-school choices (Alcott 2017; Gale et al. 2010). As such they are positioned as key stakeholders in the success of WA, acting as gatekeepers and influencers (Fleming and Grace 2014; Oliver and Kettley 2010). University students formally educated at UK state schools report, however, that poor quality guidance and lack of encouragement from teachers hindered their ability to make post-school choices (Mathers and Parry 2009; McHarg et al. 2007; Medical Schools Council 2013; UCAS 2015). These reports of poor teacher support parallel those in other countries with a focus on widening access to underrepresented groups, for example, the US, Canada and Australia (Behrendt et al. 2012; Fray et al. 2019; Gale and Parker 2013; Murray-García and García 2002; Restoule et al. 2013; Tomaszewski et al. 2017) however, studies on teachers’ influence on WA are limited. Medical students from state schools claim their teachers underestimated their chances of success (McHarg et al. 2007), gave them the impression they were destined for failure (Southgate et al. 2017), and that there was an anti-academic culture of low expectations in their schools (Mathers and Parry 2009). Other studies suggest that pupils, many of whom do have suitable attributes, may be put off medicine as they are not given the opportunity to imagine themselves as doctors, or lack the support to prepare themselves adequately for admission requirements (Greenhalgh et al. 2004; Southgate et al. 2015).

따라서 의과대학은 불우한 환경의 학교 교사들과 더욱 긴밀히 협력하여(예: 미국의과대학협의회 2018), 이들이 WA 이니셔티브와 전문직의 다양화에 장애가 되지 않도록 해야 합니다(미국의과대학협의회 2014a). 그러나 WA 내에서 영향력 있는 이해관계자로서의 역할에도 불구하고, 학교 교사들의 의학에 대한 WA에 대한 태도는 문헌에서 거의 연구되지 않았습니다. 앞서 언급한 연구들은 학생과 의대생의 관점에서 교사가 학생의 의학에 대한 열망과 선택에 미치는 영향을 고려했지만, Southgate 등(2015)만이 교사(진로 상담사) 자신의 견해를 포함했습니다. 따라서 의과대학이 교사들과 어떻게 가장 잘 소통하고 협력해야 하는지, 왜 현재 의대 지원을 저해하는 관행이 계속되고 있는지에 대한 이해에는 상당한 격차가 있습니다. 교사들의 지원이 없다면 잠재적 지원자들이 불필요하게 의대 진학 경로를 이탈하거나 의대를 떠나고 싶다는 생각을 하게 될 수 있습니다. 
Medical schools are thus recommended to work more closely with teachers in disadvantaged schools (e.g., Medical Schools Council 2018) to prevent them becoming a barrier to WA initiatives and thus the diversification of the profession (Medical Schools Council 2014a). However, despite their role as influential stakeholders within WA, schoolteachers’ attitudes towards WA to medicine have been little explored in the literature. Although the aforementioned studies consider the influence of teachers on pupils’ aspirations and choices towards medicine from the point of view of pupils and medical students, only Southgate et al. (2015) included views from teachers (careers advisers) themselves. There is thus a substantial gap in understanding about exactly how medical schools should best engage and work with teachers, and why they may currently continue practices which discourage application to medicine. Without their support, potential applicants may leak out of the WA pipeline unnecessarily or feel encouraged to leave.

따라서 이 연구에서는 지역 의과대학의 WA 이니셔티브에 참여할 자격이 있는 고등학교에서 학생들에게 의학에 대해 조언하는 교사들을 인터뷰하여 그들의 관행과 태도를 알아보고, 그들이 학생들에게 의과대학을 옵션으로 홍보하는 것을 꺼리는 이유와 방법에 대한 통찰력을 구축하고자 했습니다. 우리의 전반적인 목표는 이해를 높이고, 이를 통해 의과대학이 어떻게 하면 교사들을 의대 진학에 대한 옹호자로 더 잘 참여시킬 수 있을지 고려하는 것이었습니다. 그러나 이 연구에는 교사 스스로가 왜 WA 이니셔티브와 그 안에서 자신의 역할에 문제가 있다고 생각하는지, 그렇다면 이것이 실무에 어떤 영향을 미치는지 고려하고자 하는 보다 중요한 목적도 있었습니다. 이는 교육자가 학생의 역량을 개발하여 자신의 미래를 자유롭게 선택할 수 있도록 장려하는 역량 접근법(Walker and Unterhalter 2010)을 통한 결과 해석을 통해 촉진되었습니다. 다음과 같은 연구 질문이 연구를 이끌었습니다: 영국 WA 학교의 교사들은 학생들이 의대를 지망하고 지원서를 준비하도록 격려하는 데 있어 자신의 역할이 무엇이라고 인식하는가? 
This study thus interviewed teachers advising pupils about medicine in high schools that were eligible for local medical schools’ WA initiatives to learn about their practices and attitudes, and to build insight into how and why they may be reluctant to promote medical school as an option to their pupils. Our overall aim was to build understanding and thereby consider how medical schools might better engage teachers as advocates for WA to medicine. However, the study also had a more critical purpose, in that we wished to consider why teachers themselves might find WA initiatives and their role within them problematic, and if so, how this impacted their practice. This was facilitated by the interpretation of results through the capability approach (Walker and Unterhalter 2010) which encourages educators to develop their students’ capability and thus freedom to choose their own future. The following research question guided the work: What do teachers in UK WA schools perceive to be their role in encouraging pupils to aspire to medicine and prepare an application?

패러다임
Paradigm

이 연구는 참여자들의 다양하고 복합적인 현실을 인정하는 해석학적 존재론에 기반을 두고 있으며, 이는 참여자들의 사회적, 문화적 참조 프레임과 맥락에 따라 구축됩니다(Crotty 2003). 인식론적으로 이 연구는 의미를 연구자와 참여자가 함께 구성하는 것으로 이해하는 사회적 구성주의를 따르며, 연구자는 지식 창출 과정에서 참여자의 경험을 신뢰할 수 있고 공정하게 표현하기 위해 노력합니다(Mann and MacLeod 2015). 이 패러다임은 참가자의 해석과 맥락에 특히 중점을 두어 참가자가 인지한 역할과 경험에 대한 상세하고 주관적인 설명을 수집할 수 있게 해 주었습니다(Bunniss and Kelly 2010). 
This study is based within an interpretivist ontology, which acknowledged participants’ diverse and multiple realities, built relative to their social and cultural frames of reference and context (Crotty 2003). Epistemologically, the study follows social constructivism, which understands meaning to be co-constructed between researcher and participant, with the researcher striving to portray a credible and fair representation of participants’ experiences within this process of knowledge creation (Mann and MacLeod 2015). This paradigm allowed us to gather detailed and subjective accounts of participants’ perceived role and experiences, with a particular emphasis on their interpretations and context (Bunniss and Kelly 2010).

이 접근 방식은 연구자가 연구의 구상부터 보급에 이르기까지 연구 과정의 모든 측면에서 주관적이고 능동적인 요소로 이해합니다. 의학교육학 박사 학위를 취득하기 전, KA는 대학 아웃리치 및 WA 이니셔티브를 설계하고 운영한 경력이 있고, JC는 심리학자이며, SN은 임상 학자입니다. 모두 의학교육 연구 분야에서 활발한 활동과 경험을 가지고 있으며, 특히 의료 접근성 확대에 관심이 많고, 저자 중 한 명은 고등교육기관에서 WA를 경험한 바 있습니다. 의미 구성에서 우리의 관점이 참여자의 관점보다 우위에 있지 않도록 하기 위해 우리는 데이터에 대한 우리의 입장과 관계를 지속적이고 비판적으로 고려했습니다. 예를 들어, KA는 WA 실무자로 일한 경험이 있었기 때문에 처음에는 교사를 게이트키퍼로 인식하고, 교사가 학생들의 참여를 긍정적으로 독려하면 이니셔티브의 활용을 촉진하는 데 효과적인 동맹이 되지만 그렇지 않으면 문제가 될 수 있다는 가정을 바탕으로 연구에 접근했습니다. 그러나 데이터 수집과 분석 과정에서 이러한 가정에 의문을 제기하고 교사의 대안적인 역할을 탐색하고 논의하고 정당화했습니다. 그 결과, 이 논문에서는 이러한 초기 가정을 뛰어넘는 더 넓고 미묘한 범위의 가능한 교사 역할을 고려합니다. 
This approach understands the researchers to be a subjective and active element in all aspects of the research process, from conception to dissemination. Prior to obtaining a PhD in medical education, KA’s professional background was in designing and running university outreach and WA initiatives; JC is a psychologist; and SN is a clinical academic. All have experience and active roles in medical education research, with a particular interest in widening access to medicine and one author experienced a WA trajectory to higher education. To ensure that our perspectives did not dominate those of participants’ in the meanings constructed, we considered our positions and relationships with the data constantly and critically. For example, KA’s previous experience as a WA practitioner meant that she initially approached the study with assumptions built from this perspective: perceiving teachers as gatekeepers, either effective allies in boosting the uptake of initiatives if they positively encouraged pupils to participate, or problematic if they did not. However, during data collection and analysis, these assumptions were challenged and alternative roles for teachers were explored, discussed and justified. As a result, the paper considers a wider and more nuanced range of possible teacher roles, which go beyond this initial assumption.

데이터 수집
Data collection

학교 및 참여자
Schools and participants

영국 학령기 학생의 93.5%가 공립학교에서 교육을 받고 있습니다(ISC 2020). 고등학교는 11~18세 학생을 대상으로 하는 반면, 6년제 대학은 마지막 학년(16~18/19세)의 학생들만 교육합니다. 아동이 진학할 수 있는 학교는 지역에 따라 크게 제한되며, 따라서 학교는 사회경제적, 사회적으로 분리되어 있는 경우가 많습니다(Jerrim 외, 2017; The Challenge 외, 2017). 이러한 차이는 학교 성과 평가에 반영됩니다(스코틀랜드 정부 2019, 영국 정부 2019). 이번 연구는 다양한 주정부 지원 학교에서 근무하는 교사들의 폭넓은 경험을 수집하는 것을 목표로 했으며, 이들 학교는 지역 의과대학에서도 WA 이니셔티브의 대상이 되는 학교이기도 하였습니다. 이니셔티브의 대상이 되는 학교는 의대 진학률이 평균 이하이거나 사회경제적 빈곤 지역에 위치한 학교였습니다. 
93.5% of school-aged pupils in the UK are educated at state-run schools (ISC 2020). High schools take pupils aged 11–18, whereas sixth-form colleges only educate pupils in their final years (16–18/19). The schools available to a child are strongly restricted by their location, and schools are thus often socioeconomically and socially segregated (Jerrim et al. 2017; The Challenge et al. 2017). These differences are reflected in school performance ratings (Scottish Government 2019; UK Government 2019). The current study aimed to capture a breadth of experiences from teachers working in a wide range of state-funded schools, which were also targeted by local medical schools for participation in WA initiatives. To be targeted for initiatives, schools had below average rates of progression to medicine and/or were situated in areas of socioeconomic deprivation.

세 곳의 의과대학(각기 다른 지역에 위치)이 이 연구를 승인하고 WA 이니셔티브의 대상 학교 목록을 제공했습니다. 연구팀은 이 목록을 검토한 후 16개 학교로 구성된 소규모 목적 그룹을 선정하여 참여 초대를 보냈습니다. 이 그룹은 대규모 학교부터 소규모 학교까지, 도시부터 시골까지, 그리고 매년 의대에 지원하는 지원자 수가 다양한 학교를 최대한 폭넓게 포함하도록 설계되었습니다(표 1 참조). 이러한 결정은 정부 웹사이트에서 공개적으로 제공되는 데이터를 사용하여 이루어졌습니다.
Three medical schools (each in a different geographical region) approved the study and provided a list of the schools targeted by their WA initiatives. These lists were considered by the research team and a smaller purposive group of sixteen schools were targeted for an invitation to participate. This group was designed to contain the broadest possible diversity of schools: large to small; urban to rural; and with varying numbers of applicants applying to medicine each year (see Table 1). These decisions were informed using data publicly available on government websites.

교장(교감)에게는 연구 정보와 학교의 참여 요청서를 보냈습니다. 연락을 받은 16개 학교 중 8개 학교의 교장(교장)이 자신의 학교에서 연구가 진행되도록 허락했습니다. 거부 사유를 밝힌 교장들은 학생들에게 직접적인 혜택이 없는 활동에 교사가 참여할 수 있는 자원이 부족하다는 이유를 들었습니다. 교장 선생님이 동의한 후, 학생들에게 대학 선택에 대한 조언을 담당하는 교사(의대를 중심으로)에게 편지와 이메일을 통해 참여를 권유하고, 교장 선생님을 통해 또는 연구자가 직접 표준화된 정보 시트를 제공했습니다. 영국 공립학교에서는 특별한 관심을 가진 교사 한 명이 의대 진학 지도교사로 자원하는 것이 일반적이지만, 이들의 실질적인 역할은 매우 다양할 수 있습니다. 지원자들은 연구자에게 이메일로 직접 연락하여 연구의 목적과 실제에 대해 논의하고, 연구자를 소개하고, 궁금한 점을 묻고, 진행에 동의하는 경우 인터뷰 일정을 잡았습니다. 13명의 교사가 관심을 표명했고 11명이 인터뷰 진행을 희망했습니다. 
Headteachers (principals) were sent the study information and an invitation for their school to participate. Of the sixteen schools contacted, eight headteachers gave permission for the study to be conducted in their school. Those who gave a reason for refusal, cited a lack of resources to allow teachers to participate in activities which did not directly benefit pupils. After headteachers had provided consent, teachers with responsibility for advising students on university choices (with a focus on medicine) were invited to participate by letter and email, and provided with a standardized information sheet via the headteacher or directly from the researcher. It is common in UK state schools for one teacher with a special interest to volunteer to be the key advisor for medicine, but their substantive roles may be very varied. Volunteers responded directly to the researchers by email to discuss the purpose and practicalities of the study, to be introduced to the researchers, ask any questions and, if happy to proceed, to arrange an interview. Thirteen teachers expressed interest and eleven wished to proceed to interview.

우리의 연구 설계와 목표는 교사들의 인식을 정량화하거나 일반화하지 않고 그 범위와 복잡성을 이해하고 탐구하고자 했기 때문에 소규모 참여자 그룹이 필요했습니다(Crouch와 McKenzie 2006). 소규모 접근 방식은 연구 결과의 전이성을 제한하지만, 교사들의 생생한 경험, 맥락, 내러티브의 개성을 보존하고 그들 사이의 주제적 유사성을 더 충분히 탐구할 수 있게 해줍니다. 
Our research design and objectives called for a small participant group, as we sought to understand and explore the range and complexity of these teachers’ perceptions—not to quantify or generalize them (Crouch and McKenzie 2006). Although a small-scale approach limits the transferability of findings, it preserves the individuality of teachers’ lived experiences, contexts and narratives, and allows any thematic similarities between them to be more fully explored.

인터뷰
Interviews

KA는 연구용 인터뷰에 대한 교육을 받은 후 참여자들의 학교에서 반구조화된 인터뷰를 진행했습니다. KA는 자신을 의학교육 박사과정에 재학 중이며, WA 이니셔티브 실행을 전문으로 하는 사람이라고 소개하며 의사나 의대 직원이 아님을 명확히 밝혀 참가자들이 느끼는 권력 불균형을 바로잡고 자유롭게 이야기할 수 있도록 유도했습니다. 참가자들에게 던진 주요 질문의 요약은 표 2에 나와 있습니다. 또한 참가자들은 인터뷰 가이드에서 다루지 않았지만 관련성이 있다고 생각되는 주제를 소개하도록 장려되었습니다. 
KA conducted semi-structured interviews at participants’ schools, following training on interviewing for research. KA introduced herself as a PhD student in medical education whose professional background was in the area of implementing WA initiatives, clarifying that she was not a doctor nor medical school staff to calibrate any perceived power imbalance and encourage participants to speak freely. A summary of the main questions for participants are included in Table 2. Participants were also encouraged to introduce topics they perceived to be of relevance which were not covered in the interview guide.

참가자에게는 연구에 대해 질문할 기회가 주어졌으며, 연구 참여는 전적으로 자발적인 것이며 동의를 철회할 수 있음을 알렸습니다. 모든 참가자는 인터뷰 내용을 음성으로 녹음하여 전사하고 인터뷰 중 현장 메모를 작성하는 데 동의하는 서면 동의서를 제출했습니다. 
Participants were given the opportunity to ask questions about the study, were made aware that participation was entirely voluntary and that their consent could be withdrawn. All participants gave written consent to participate, for their interview to be audio recorded for transcription and for field notes to be made during interview.

데이터 분석
Data analysis

템플릿 분석(King 2004)은 코딩이 진행됨에 따라 데이터를 주제별로 정리하고 분석하여 주제 간의 관계를 의미 있게 보여주기 위해 사용되었습니다. 템플릿 분석은 해석과 패턴 식별을 개발하는 데 있어 선행 문헌과 경험의 불가피한 영향을 인정하고 통합하지만, 주로 데이터 중심이며, 이는 우리의 탐색적 연구에서 중요했습니다. 하지만 데이터의 하위 집합을 기반으로 구축된 초기 템플릿의 형태로 구조를 조기에 도입한 것은 특정 연구 질문에 초점을 맞추는 데 도움이 되었습니다. 템플릿은 코딩이 진행됨에 따라 개선되고 수정되었으며, 예상치 못한 인사이트가 포함될 수 있도록 유연성을 유지하여 분석 내에서 귀납적 성격을 유지했습니다. 
Template analysis (King 2004) was used to organise and analyse data thematically and meaningfully show the relationships between themes as coding progressed. Template analysis acknowledges and incorporates the inevitable influence of prior literature and experience in the development of interpretations and pattern-identification, but remains largely data-driven, which was important within our exploratory study. The early introduction of structure, in the form of an initial template built on a subset of data, was beneficial however as it directed our focus to our specific research question. The template was refined and revised as coding progressed and remained flexible for unexpected insights to be included, thus maintaining an inductive character within the analysis.

인터뷰 녹음은 그대로 전사하고, 익명으로 처리하고, 정확성을 검증한 후 NVivo 11(호주 빅토리아주 돈캐스터에 위치한 QSR International Pty Ltd)로 가져와 데이터 분석을 정리하고 용이하게 했습니다. KA는 초기 코딩을 맡았고, 이후 분석 주기 동안 정기적으로 JC 및 SN과 이 코드에 대해 논의하여 확인 가능성을 보장했습니다. 개발 주제에 대한 신뢰성을 면밀히 검토하고 연구팀 간의 비판적 대화를 통해 도출된 결정에 대해 탐구하고 이의를 제기하며 정당화했습니다. 
Interview recordings were transcribed verbatim, anonymized, proofed for accuracy and imported to NVivo 11 (QSR International Pty Ltd, Doncaster, Vic, Australia) to organise and facilitate data analysis. KA undertook initial coding and discussed these codes with JC and SN at regular intervals throughout subsequent analytical cycles to ensure confirmability. Developing themes were scrutinised for trustworthiness and explored through critical conversation amongst the research team to explore, challenge and justify decisions taken.

윤리
Ethics

애버딘 대학교의 예술 및 사회과학, 비즈니스 분야의 연구 윤리 및 거버넌스 위원회에서 연구 수행을 허가했습니다. 
Permission to conduct the study was granted by the Committee for Research Ethics and Governance in Arts and Social Sciences and Business at the University of Aberdeen.

11명의 교사가 연구에 참여했습니다. 이들은 영국의 3개 지역에 있는 7개 학교에서 근무했습니다(표 1 참조). 교사들은 평균 10.5년, 최소 4년의 교육 경력을 가지고 있었습니다. 인터뷰는 1:1로 진행되었지만, 교사들의 요청에 따라 두 명의 교사가 함께 인터뷰한 경우도 있었습니다. 인터뷰 시간은 평균 28분(범위: 23~60분)이었습니다.  
Eleven teachers participated in the study. They worked in seven schools across three regions of the UK (see Table 1). Collectively, teachers had an average of 10.5 years and a minimum of 4 years teaching experience. Interviews were one-to-one, except in one case, where two teachers were interviewed together at their request. Interview length averaged 28 min (range: 23–60 min).

결과 발표에서는 학생들이 의대를 지망하고 지원서를 준비하도록 격려하는 데 있어 교사들이 자신의 역할을 어떻게 인식하고 있는지 살펴봅니다. 발표는 다음과 관련된 주제를 탐구하는 세 가지 섹션으로 구성됩니다: 
The presentation of results explores how these teachers perceived their role in encouraging pupils to aspire to medicine and to prepare an application. It is structured in three sections, which explore themes related to:

1. 의학에 대한 학생들의 열망에 대한 교사의 태도.
1.Teachers’ attitudes towards their pupils’ aspiration to medicine.

2. 학생이 의대 지원서를 준비하는 동안 상황적 장벽을 해결하는 데 있어 교사의 역할에 대한 인식.
2.Teachers’ perceived role in addressing contextual barriers during their pupils’ preparation for a medical school application.

3. 학생의 열망과 지원 결정에 영향을 미치는 교사의 역할에 대한 인식.
3.Teachers’ perceived role in influencing pupils’ aspirations and decisions about application.

뒷부분의 토론에서는 이러한 연구 결과를 학생들의 경험에 관한 광범위한 문헌에 배치하고 역량 접근법의 렌즈를 통해 비판적으로 분석합니다.
Later on, in the Discussion, these findings are situated within the wider literature on the experiences of pupils and critically analysed through the lens of the capability approach.

섹션 1: 의학에 대한 학생들의 열망에 대한 태도
Section 1: Attitudes towards pupils’ aspiration to medicine

전반적으로 교사들은 의학을 권위 있고 가치 있는 직업으로 긍정적으로 인식하고 있었습니다. 그들은 의대에 진학한 제자들에 대해 따뜻하고 자랑스럽게 이야기했습니다. 그러나 이러한 대체로 긍정적인 시각에도 불구하고 교사들은 제자들이 의사를 지망하는 것에 대해 문제가 있거나 위험한 열망으로 묘사하며 주저하는 모습을 보이기도 했습니다. 그 이유는 상황에 따라 크게 달라졌지만, 아래에서 살펴보는 세 가지 주요 주제에 집중되어 있었습니다: 
Overall, teachers expressed a positive perception of medicine as a prestigious and worthwhile career. They talked warmly and proudly of former pupils who had entered medical school. Despite this generally positive view, however, teachers also communicated hesitations about their pupils aspiring to medicine, portraying this as a problematic or risky aspiration. Reasons for this were strongly context dependent but clustered around three main themes, explored below:

가족의 압력으로 인한 열망
Aspiration due to family pressure

의대에 대한 열망이 보통에서 높은 수준인 학교(표 1 참조)의 교사들은 일부 가정에서 의대를 자녀의 성공의 중요한 지표로 삼는다고 인식했습니다. 교사들은 적어도 처음에는 "누가 시켜서 의대를 선택한"(참가자 7, 런던) 학생들이 많다고 설명했습니다. 
In schools where aspiration to medicine was moderate to high (see Table 1), teachers perceived that medicine was strongly prioritised by some families as an important marker of a child’s success. Teachers described numerous pupils who, at least initially, “choose medicine because they are told to” (Participant 7, London).

부모의 압력이 전적으로 해롭다고 볼 수는 없지만(교사들은 그것이 학생들에게 긍정적인 동기를 부여할 수도 있다고 생각했습니다), 모든 교사들은 의학이라는 직업에 대한 진정한 관심이 필수적이라고 강하게 강조했습니다. 따라서 그들은 학생이 의학에 대한 열망이 단지 가족의 바람을 반영한 것이라고 느낄 때 깊은 우려를 표명하고 이를 경계해야 한다고 생각했습니다.
Although parental pressure was not seen as entirely detrimental (teachers reasoned it could also positively motivate pupils), all teachers strongly emphasised that they felt a genuine interest in the career of medicine was essential. They thus expressed deep concern when they felt a pupil’s aspiration to medicine was solely a reflection of their family’s wishes and were alert to watch out for this.

교사들은 또한 의학에 대한 가족의 강한 열망이 학생들이 더 성취감이 있거나 개인적으로 보람을 느낄 수 있는 다른 직업을 고려하는 것을 방해할 수 있다고 인식했습니다:
Teachers also perceived that a strong familial aspiration to medicine could prevent pupils from considering a range of other careers, including those that were more achievable or personally rewarding:

두 가지 문제는... 열망이 항상 실제 전망과 일치하는 것은 아니며, 학생과 가족이 신중하지 않으면 다른 기회, 다른 경로를 차단하는 효과를 가져올 수 있다는 것입니다. (참가자 8, 런던) 
the two-fold challenge is that… not always does the aspiration meet real prospects, and that it can have the effect of shutting down other opportunities, other routes if students and their families are not careful. (Participant 8, London)

부적절하거나 정보에 근거하지 않은 동기 부여
Unsuitable or uninformed motivations

교사들은 학업 능력이 있는 학생에게 의학은 분명한 선택지이며, 따라서 학생들이 이 진로를 선택하지 않는다면 그 가능성을 인식하지 못했기 때문이 아니라고 답했습니다. 교사들은 학생들이 어렸을 때부터 이 직업에 대해 알고 있었고, 사람들을 돕는다는 점 등 몇 가지 매력적인 측면을 인식하고 있었다고 느꼈습니다. 
Teachers reported that medicine was an obvious option for academically able pupils, and therefore if pupils chose not to pursue this career, it was not because they were unaware of it as a possibility. They felt that pupils were aware of the career from a young age and perceived some aspects to be appealing (e.g. the idea of helping people).

교사들은 일부 학생의 경우 의학 공부에 대한 열망에 동기가 부여되었지만, 다른 학생의 경우 이러한 열망이 순진하거나 획일화될 수 있으며, 의료 과목 내에 만연한 위계질서로 인해 의학에 대한 열망이 악화될 수 있다고 보고했습니다: 
Teachers reported that, for some pupils the aspiration to study medicine was well motivated, however, that for others, these aspirations could be naïve or uniformed, and that the draw to medicine could be exacerbated by a pervasive hierarchy within healthcare subjects:

...학생들과 이야기를 나누다 보면 그들은 실패하고 싶지 않고 의학을 정점으로 여기는 것 같아요. (참가자 9, 남부 잉글랜드)
…talking to the students and it’s just, they kind of don’t want to fail and they see that as the thing, they see that as the pinnacle, medicine. (Participant 9, South England)

그 결과, 교사들은 소수의 학생들이 의학이라는 과목이나 직업에 매력을 느껴서라기보다는 자신이 높은 성취도를 가진 학생임을 증명하기 위해 의학을 지망한다고 인식했습니다. 교사들은 이러한 동기가 의학과 같은 직업에 대한 즐거움, 탁월함, 인내심 측면에서 부적합하다고 생각했습니다. 
As result, teachers perceived that a minority of pupils aspired to medicine, not because the subject matter or career appealed, but rather to prove themselves as a high achieving student. Teachers saw this motivation as unsuitable, believing it to be untenable in terms of enjoying, excelling and persevering in a vocational career such as medicine.

'성적 미달'에 대한 두려움
Fear of not ‘making the grade’

교사들은 많은 학생들이 의대 과정과 직업에서 성공할 수 있는 충분한 학업 능력과 적합한 개인적 자질을 갖추고 있다고 확신했습니다. 그러나 그들은 학교와 학생의 가정 생활의 맥락적 요인을 고려할 때 학업 성취도가 높은 학생들도 입학 요건을 달성하는 데 어려움을 겪을 것이라고 믿었습니다('방법' 섹션 참조). 
Teachers were confident that many of their pupils had ample academic ability and suitable personal qualities to be successful in a medical course and career. However, they believed that even their high-fliers would struggle to achieve the academic entry requirements given the contextual factors in their schools and pupils’ home lives (see section “Methods”).

저에게 찾아오는 학생들 중에는 절대 성적을 올릴 수 없다는 것을 알고 있는 학생들도 있습니다(참가자 10, 남부 잉글랜드).
I do have students who come to me and I know they are never going to make the grade (Participant 10, South England)

따라서 많은 학생들이 의대에 대한 열망은 학생들이 그 직업을 가질 능력이 없어서라기보다는 입학 경쟁률과 성적 요건 때문에 비현실적인 것으로 암시되었습니다.
Aspiration to medicine was thus implied to be unrealistic for many pupils because of the competitiveness of entry and the grade requirement, rather than because pupils were not capable of the career.

섹션 2: 의대를 위한 준비
Section 2: Preparation for medicine

이 섹션에서는 교사들이 학생들이 의학에 대한 열망을 키우고 지원서를 준비하는 데 어떻게 도움을 주었는지 살펴봅니다. 전반적으로 교사들은 일반적으로 의대 지원 과정을 벅차고, 길고, 감정적으로 어렵다고 생각했습니다. 치열한 입시 경쟁과 낮은 합격률로 인해 교사들은 학생들이 상당한 시간, 에너지, 정서적 헌신을 해야 하는 만큼 위험 부담이 큰 투자라고 생각했습니다:  
This section explores how teachers helped pupils develop an aspiration for medicine and prepare for an application. Overall, teachers generally regarded the application process to medicine as daunting, long and emotionally difficult. The intense competition for places and the schools historic acceptance rates, meant that teachers framed the substantial time, energy and emotional commitment pupils required as a high-risk investment:

...하지만 제가 다른 학생들과 공유할 수 있는 것은 이것은 긴 과정이라는 것입니다. 정말 하고 싶다면 인내심을 가져야 하고, 긴 과정이 될 것입니다. (참가자 7, 런던) 
…but that’s something I can share with the other students, this is a long process: if you really want to do it, you are going to have to hang in there, it’s going to be a long process. (Participant 7, London)

학교의 물질적 제약
Material constraints in schools

교사들은 학생들이 의학에 대한 학문적, 비학문적 요구 사항을 인식하도록 하는 것이 자신의 역할이라고 답했습니다. 그러나 그들은 학생들이 이러한 입학 요건을 충족하기 위해서는 정보 외에도 적극적인 지원이 필요하다는 점을 인정했습니다. 많은 참여 교사들이 자발적으로 학생들을 지원하기 위해 추가 세션을 운영했지만, 의대 입학 시험 준비 지원 부족, 수업 시간 단축, 제한된 과목 선택, 인력 부족 등 학생들에게 부과된 제약을 해결할 수 있는 능력에 대해 여전히 좌절감을 느끼고 때때로 무력감을 느꼈습니다: 
Teachers reported that it was their role to ensure pupils were aware of the academic and non-academic requirements for medicine. They acknowledged, however, that in addition to information, pupils required active support if they were to meet these entry requirements. Although many of the participating teachers voluntarily ran extra sessions to help support their pupils, they still expressed frustration and occasionally a sense of powerlessness about their ability to address the constraints imposed on pupils, for example: lack of support to prepare for the compulsory medical admissions tests; reduced teaching hours; limited subject choices; and staff shortages:

... 화학 선생님이 떠나고, 생물 선생님이 떠나고, 물리학 선생님이 떠나고, [학생들은] 결국 시간이 거의 없는 부교사나 부장 선생님이 가르치게 되었습니다... 학생 스스로 많은 것을 해야 한다는 것은 알지만, 선생님의 도움이 필요합니다. 결과적으로 [의대 지망학생은] 의대를 지원하지 않고 마지막 순간에 그만뒀어요. (참가자 5, 스코틀랜드 북동부)
…the Chemistry teacher left, the Biology teacher left, the Physics teacher left, and [the pupils] ended up being taught by a deputy or the Head of Department who had practically no time… I know you’re supposed to do a lot of it yourself, but you do need some teacher input. Consequently, [our aspiring medic] didn’t apply for medicine, he pulled out at the last minute. (Participant 5, Northeast Scotland)

학교는 특히 과학 분야에서 직원, 시설, 장비가 부족한 경우가 많았습니다. 일부 학교에서는 수업 시간을 해당 과목의 권장 수업 시간의 절반 이하로 제한하거나, 자격 수준이 다른 학생들을 함께 가르치는 등의 방법을 통해 부족한 인력을 확보했습니다. 시골 학교들은 학생과 교직원을 한데 모아 한 곳에서 마지막 학년 과학을 가르치기 위해 힘을 합쳤습니다. 한 교사는 이러한 접근 방식이 성적이 우수한 학생들이 '같은 생각을 가진 다른 학생들'과 어울리며 자신감을 키울 수 있게 해준다고 칭찬했습니다(참가자 1, 스코틀랜드 북동부). 특히 많은 시골 학생들이 대학 진학을 위해 집을 떠나는 것에 대해 불안해하는 상황에서 이러한 접근 방식은 많은 시골 학생들에게 의대 진학을 막는 장애물이었습니다. 그러나 또 다른 학생은 일주일에 여러 번 다른 도시로 통학해야 하는 상황을 지적했습니다: "피곤하죠. 좋지 않아요."(참가자 5, 스코틀랜드 북동부). 
The schools often lacked staff, facilities and equipment, especially in science. Some schools resorted to restricting teaching hours to less than half those recommended for the course, or teaching pupils at different qualification levels together, to ensure provision. Rural schools banded together to collectively pool pupils and teaching staff to provide final year science in a central location. This approach was praised by one the teacher as it allowed high-achieving pupils to socialise with “like-minded others” and build their confidence (Participant 1, Northeast Scotland) especially as many pupils in the school were nervous about leaving home to attend university, an anxiety that precluded medical school for many rural pupils. However, as another pointed out, traveling several times a week to another town to attend class: “That’s tiring. You know, it’s not good” (Participant 5, Northeast Scotland).

모든 교사는 가능한 경우 학교 및 지역 대학에서 학생들을 지원받을 수 있는 곳으로 안내했습니다. 잠재적 지원자가 많은 6학년 대학(16~19세 학생만 받는 대규모 학교-표 1 참조)에서는 교사들이 의대 및 유사 학과(예: 옥스브리지, 법학)를 지망하는 학생들을 위한 또래 그룹이나 준비 프로그램을 만들고 운영했습니다. 한 교사는 이 프로그램을 특권층 학생들 사이에서 자연스럽게 일어나는 것과 같은 수준으로 학생들의 기술과 문화적 인식을 개발하기 위한 도구라고 설명했습니다: 
All teachers directed pupils to sources of support where available, either in school and/or by local universities. In sixth-form colleges (large schools which take pupils aged 16-19 only—see Table 1), where there were greater numbers of potential applicants, teachers created and ran peer groups or preparation programmes for pupils aspiring to medicine and similarly classified subjects (e.g. Oxbridge, Law). One teacher described their programme as a tool to try to develop pupils’ skills and cultural awareness to the same level as happens naturally for more privileged pupils:

이것은 수업에서 가르치는 것이 아닙니다... 이것은 동화되는 것이며, 우리는 이러한 [특권층] 지원자 대부분이 종종 접할 수 있는 문화 등을 포함하여 개인적, 학문적 발전의 거의 자연스러운 과정인 것과 일치하는 메커니즘을 찾아야 합니다. (참가자 8, 런던)
This is not something that you’re taught in a lesson… this is something that’s assimilated, and we’ve got to find mechanisms to kind of match what for most of these [more privileged] applicants will be almost a natural process of personal and academic development, including all those wider enrichments of culture and so forth that they often have access to. (Participant 8, London)

교사들은 자신의 시간과 학교 자원이 제한적이라는 점을 인정하면서도 이러한 그룹을 학생들이 감정적으로 힘들고, 고된 의대 선택 과정에서 서로를 지원할 수 있는 기회로 인식했습니다: 
Acknowledging that their own time and school resources were limited, teachers also recognised these groups as an opportunity for pupils to provide each other with mutual support during the emotional and arduous selection process for medicine:

제 가장 큰 임무 중 하나는 학생들이 인생에서 처음 겪게 될지도 모를, 정말 큰 거절에 대비하는 것이며, 그것은 연이은 거절일 수도 있습니다. 그리고 높은 점수를 받은 학생의 경우... 대부분 한 번도 해본 적이 없기 때문에 대처하기가 매우 어렵습니다. 그리고 그것은 정말 모든 학생들의 자신감을 무너뜨리고, 모든 학생들의 자신감을 무너뜨립니다. 그래서 우리는 [프로그램] 내에서 많은 공유와 토론, 상호 지원 그룹이 진행되고 있으며, 사람들이 직면하고 있는 문제와 이슈에 대해 이야기하는 매우 개방적인 세션입니다. (참가자 7, 런던) 
One of my biggest jobs is preparing them for possibly their first rejection in their lives, and really big rejection, and it could be serial rejections as well. And for high flying students… that is such a difficult thing to cope with… most of them haven’t done it before. And that really does knock back the confidence in all, well in all of them, it knocks them back. And so we have an awful lot of sharing and discussions and mutual support groups going on within [the programme], it’s a very, very open session, where people talk about the issues and the problems they are facing. (Participant 7, London)

의료진 지망생이 적은 학교일수록 대학의 지원 프로그램에 더 많이 의존하여 맞춤형 준비를 제공했습니다. 시골에 있는 교사들은 학생들이 버스비를 감당하지 못하거나 대학까지 가는 여정에서 포기할까 봐 걱정하여, 한 교사는 자신의 차로 학생들을 행사장에 데려다 주었다고 설명했습니다. 참가자들의 이야기는 의료진 지망생을 지원하기 위한 개별 교사들의 헌신적인 노력을 보여주었지만, 이미 축소되거나 중단된 제도의 사례도 보고했습니다. 따라서 이러한 관행은 제도화된 관행이라기보다는 헌신적인 개인들의 전유물로 보였으며, 교사의 은퇴 또는 이러한 프로그램에 할당된 시간과 자원의 철수는 이러한 프로그램의 지속을 끊임없이 위협하는 요소로 작용했습니다. 
Schools with small numbers of aspiring medics relied more heavily on universities’ outreach programmes to provide targeted preparation. Rural teachers were concerned pupils might be unable to afford the bus fare or be put off by the journey to the university, so one teacher described how she transported pupils to events in her own car. Participants’ accounts revealed the dedication of individual teachers to supporting aspiring medics, however, they also reported examples of schemes that had already been curtailed or discontinued. These practices thus appeared to be largely the preserve of committed individuals rather than institutionalised practices, and the prospect of a teacher’s retirement or the withdrawal of allocated time and resources to these programmes was a constant threat to their continuation.

이러한 장벽을 고려할 때 교사들은 뛰어난 추진력, 결단력, 적극적인 태도를 의료 지망생에게 필수적인 특성으로 꼽았습니다. 
Given these barriers, teachers considered exceptional drive, determination and a proactive attitude to be essential characteristics for medical aspirants.

낮은 자신감으로 인한 장벽
Low confidence as a barrier

교사들은 학생들이 저소득층 가정에서 생활하는 것과 관련된 어려움과 스트레스 요인을 자주 경험한다고 보고했습니다(예: "과밀, 부모님 또는 조부모님이 몸이 좋지 않으세요"(참가자 6, 런던)). 따라서 교사들은 학생들이 "다른 지역의 많은 또래들이 겪지 않는 엄청난 장애물과 도전에도 불구하고"(참가자 8, 런던) 학업 성취도를 높이고 침착함을 유지하며 동기를 유지하는 놀라운 회복탄력성을 보인다는 사실을 발견했습니다. 그러나 그들은 또한 많은 학생들이 잠재적 의료인으로서 자신을 상상할 때 '사기꾼 증후군'(Clance 1985)을 경험하여 지원서에서 자신의 강점, 경험 및 회복탄력성을 의료계에서 바람직한 특성으로 인식하고 논의하는 데 어려움을 겪었다고 보고했습니다. 
Teachers reported that their pupils often experienced difficulties and stressors related to living in low-income households (e.g. “overcrowding, parents perhaps, or grandparents, are unwell” (Participant 6, London)). Teachers thus found that their pupils demonstrated admirable resilience to achieve academically, keep calm and stay motivated “often despite incredible obstacles and challenges, not necessarily face by many of their peers in other areas” (Participant 8, London). They also reported, however, that many pupils experienced ‘imposter syndrome’ (Clance 1985) when imagining themselves as a potential medic and thus struggled to recognise and discuss their strengths, experiences and resilience as desirable traits for the career in their applications.

의학에 대한 열망이 일반적이지 않은 학교의 교사들은 자신감이 낮기 때문에 학생들이 공개적으로 의대 지원을 결심하고 준비하는 데 방해가 된다고 보고했습니다. 그 결과, 교사들은 때때로 학생이 의대에 관심이 있다는 사실을 인지하지 못해 적절한 정보나 지원을 제공하지 못하는 경우가 있었습니다: "우리가 완전히 놓친 한 여학생은 정말 끔찍했습니다."(참가자 5, 스코틀랜드 북동부). 
In schools where aspiration to medicine was not common, teachers reported that low confidence deterred pupils from openly committing to, and preparing for, a medical application. As a result, teachers were sometimes not aware that a pupil was interested, and thus did not know to offer them targeted information or support: “one girl we completely missed which was terrible” (Participant 5, Northeast Scotland).

한 교사는 학생들이 의학에 관심을 보인 것에 대해 "거의 사과할 뻔했다"고 말했는데, 그 이유는 학생들이 "충분히 잘할 수 있을 것"이라고 믿지 않았기 때문입니다(참가자 4, 스코틀랜드 북동부). 또 다른 학생은 학급 앞에서 의학에 대한 열망을 드러내면 또래 집단으로부터 조롱을 받을 수 있다고 말했습니다: 
One teacher reported pupils were “almost apologetic” for their interest in medicine, because they didn’t believe they would “be good enough” (Participant 4, Northeast Scotland). Another suggested revealing an aspiration for medicine in front of the class would invite ridicule from the peer group:

친구들이 비웃을 것이기 때문에 '나는 정말 의사가 되고 싶고, A를 5개나 받기로 결심했다'고 말할 수 있을 만큼 자신감이 있는 것은 아닙니다. 농담일 수도 있고 농담일 수도 있지만, 그런 농담에 대해 '그래, 넌 어떻게 할 건데'라고 대답할 수 있을 만큼 튼튼하지 못합니다."(참가자 3, 스코틀랜드 북동부).
They’re not always confident enough to say: ‘I really want to do medicine, I’m determined to get these five As’ you know, because their mates will have a pop at them. Maybe just banter, maybe just jokes, but they’re not sturdy enough to handle that kind of banter, to have a response and say: ‘Yeah I am, what are you going to do?’ (Participant 3, Northeast Scotland).

이 학교의 지도 교사들은 학생들과 일대일로 진로 선택에 대해 논의할 수 있는 시간을 어느 정도 보장받았지만, 이는 일반적으로 연간 10분으로 제한되었습니다. 따라서 교사들은 진로에 대한 열망과 조언을 제공하기 위해 공식적인 구조보다는 학생과 과목 교사 간의 비공식적인 대화에 크게 의존하고 있었습니다. 
Guidance teachers in these schools did have some protected time to discuss career choices with pupils one-to-one, however, this was typically limited to an annual ten-minute appointment. Teachers thus heavily relied upon informal conversations between pupils and subject teachers to provide careers aspiration and advice, rather than formal structures.

섹션 3: 학생의 결정에 영향력 행사하기
Section 3: Influencing pupils’ decisions

이 섹션에서는 교사가 의학에 대한 열망에 영향을 미치기 위해 사용한 전략과 지원 여부에 대해 학생들에게 조언하는 접근 방식에 대해 설명합니다. 이를 통해 조언자로서의 의무와 역할의 경계에 대한 참가자들의 인식을 살펴봅니다. 
This section discusses the strategies teachers employed to influence aspiration to medicine, and their approaches to advising pupils on whether or not to apply. In so doing, it explores our participants’ perception of the duties and boundaries of their role as an advisor.

지원 동기와 적합성을 테스트할 수 있는 기회 제공
Promoting opportunities to test motivations and suitability

모든 학교에서 교사가 학생에게 의대 진학을 구체적으로 제안하기보다는 학생이 자발적으로 의대 진학을 희망한다고 답했습니다. 또한, 한 학교를 제외한 모든 학교에서 교사들은 학생들이 의학에 대한 열망을 드러냈을 때 이를 긍정적인 진로 선택으로 인정하는 동시에 "가능한 한 창의적으로 생각하라"(참가자 11, 남부 잉글랜드), "네가 가지고 있고 할 수 있는 모든 것을 생각하라"(참가자 9, 남부 잉글랜드)고 격려했다고 보고했습니다. 이러한 전략은 다른 직업도 똑같이 가치 있고 흥미로운 것으로 제시하고, 가족의 압력이나 의학이 최고 또는 유일한 직업으로 인식되는 위계질서에 맞서기 위한 것이었습니다:
Across all schools, teachers reported that their pupils usually volunteered an aspiration for medicine, rather than teachers suggesting this specifically to pupils. Moreover, in all but one school, teachers reported that when pupils revealed an aspiration to medicine, they acknowledged this as a positive career choice, but also simultaneously encouraged them to “think as creatively as possible” (Participant 11, South England) and “think of all you have and could possibly do” (Participant 9, South England). This strategy was intended to present other careers as equally valuable and interesting, and to combat familial pressure or the perceived hierarchy of medicine as the best or only career choice:

저는 학교 내에서 과학을 장려하고 학생들에게 의학, 생물 의학 같은 것을 홍보하는 데 많은 노력을 기울이고 있습니다. (참가자 1, 스코틀랜드 북동부) 
I’m heavily involved in trying to help promote sciences within the school and promote medical, biomedical sort of things to pupils. (Participant 1, Northeast Scotland)

교사들은 학생들이 의사라는 직업의 현실에 대해 더 많이 배우고, 순진하거나 부적절한 동기를 없애고, 이 직업이 즐겁고 보람을 느낄 수 있는지 알아볼 수 있는 기회를 제공하는 것이 중요하다고 생각했습니다. 또한 의학에 대한 이해와 대안 직업에 대한 인식이 높아지면 학생들이 부모의 뜻을 거스르고 자신의 뜻을 관철할 수 있는 자신감을 키우는 데 도움이 될 수 있다고 생각하는 교사들도 있었습니다.
Teachers considered it important to guide pupils to opportunities in which they could learn more about the realities of a medical career, to dispel naïve or inappropriate motivations and discover whether they would find the career enjoyable and rewarding. Some also felt a better understanding of medicine, and awareness of alternative careers, could help pupils build up enough confidence to resist parents’ wishes in favour of their own.

교사들은 학생들이 자기소개서와 면접 기술을 준비할 수 있도록 지원하는 데 중점을 두었는데, 이는 부분적으로는 높은 수준의 성과를 내기 위한 것이지만, 학생들이 자신에게 적합한 기술과 동기를 가지고 있는지 스스로 탐구하고 질문하도록 격려하기 위해서이기도 했습니다. 입학 시험(예: UKCAT, BMAT)에 익숙해지는 것은 가장 적은 관심을 받았습니다. 
Teachers focussed their own support on helping pupils prepare their personal statement and interview skills: partly to produce a high-quality performance, but also further encourage pupils to explore and question whether they possessed the right skills and motivations. Familiarization with admissions tests (e.g. UKCAT, BMAT) were given the least attention.

선택의 자유 보장
Preserving a freedom to choose

위에 제시된 이유로 교사들은 학생의 진로 결정에 지나치게 많은 영향력을 행사하는 것에 대해 조심스러워하는 것으로 나타났습니다. 따라서 진로에 대해 조언할 때는 사실에 입각한 조언을 하려고 노력했으며, 학생의 장래 희망을 유도하려는 경우 일반적으로 의학보다는 과학이나 보건 과목과 같은 특정 과목에 대한 조언을 주로 했습니다: 
For the reasons given above, teachers appeared cautious about exerting too much influence in a pupil’s decision about medicine. When advising about the career they thus tried to appear factual and if they did try to direct pupils’ aspirations, this was generally towards a group of subjects (e.g. the sciences or healthcare subjects) rather than medicine in particular:

저는 모든 것을 매우 사실적으로 설명하는 편입니다. '이 일을 하려면 이런 기술이 필요하고, 이런 종류의 기술을 찾고 있다'고 설명하면 학생들이 알아서 결정하도록 하는 편입니다. 저는 영향을 미치려 한다기보다는 정보를 제공하려고 노력하는 것 같아요. (참가자 4, 스코틀랜드 북동부)
I just tend to keep it all very factual: ‘this what you’ll need to do, this is the kind of skills they’re looking for’ and then they go away and make up their minds kind of thing. I don’t think I try and influence, I think I just try and inform. (Participant 4, Northeast Scotland)

마찬가지로, 학생이 의학에 관심을 갖지 않기로 결정한 경우에도 대개는 문제 삼지 않고 받아들여졌습니다:
Likewise, if a pupil decided not to pursue an interest in medicine, this was also usually accepted without a challenge:

그녀의 지도 선생님은... '이봐, 넌 그냥 한 번 해보고 이런 것들을 시도해봐야 해'라고 말했지만, 그녀는 와서 아니요, 나는 그것을하고 싶지 않다고 말했습니다. 그래서 그게 끝이었죠. 그래서 우리는 그들을 강요할 수 없습니다. (참가자 6, 스코틀랜드 북동부)
Her Guidance teacher… he kind of said: ‘look, you should just give it a go and try these things’, but she came and she said, no, I don’t want to do it. So, that was that. So, you know, we can’t make them do it. (Participant 6, Northeast Scotland)

학생들은 다양한 이유로 의대를 지원하지 않기로 결정했지만, 가장 흔한 이유는 성적이 충분히 높지 않거나 높을 것으로 예상되지 않았기 때문이었습니다. 교사들은 대개 학생들이 스스로 이러한 결정을 내렸으며 교사의 개입이 필요 없었다고 보고했습니다. 
Although pupils decided against applying for medicine for a variety of reasons, most commonly this was because they had not achieved, or were not predicted to achieve, high enough grades. Teachers reported that pupils usually came to this decision by themselves, and with no need for teacher intervention.

그러나 입학 요건을 갖추지 못한 학생이 지원하기로 결정한 경우, 교사들은 학생들이 현실적인 기회를 알 수 있도록 하는 것이 의무라고 생각했습니다: "학생들이 자신에게 불리한 확률이 있다는 것을 알 수 있도록요."(참가자 11, 남부 잉글랜드). 그들은 자신의 역할에서 이 부분이 어렵다고 느꼈습니다: "학생들이 받아들일 수 있는 적절한 시기에 현실감을 주는 것이 때때로 어려운 일이라고 생각합니다."(참가자 9, 남부 잉글랜드). 
When pupils were determined to apply without possessing the entry requirements, teachers felt, however, that it was their duty to ensure pupils knew their realistic chances: “so they can see that, you know, the odds are stacked against them” (Participant 11, South England). They found this part of their role challenging: “getting the realism at the right time when they can take it I suppose, I think, is the challenge sometimes” (Participant 9, South England).

그럼에도 불구하고 교사들은 "궁극적으로는 학생이 결정해야 한다"(참가자 11, 남부 잉글랜드), "나는 학생을 설득하지 않는다"(참가자 7, 런던)고 강력하게 답했습니다. 오히려 교사는 학생들이 정보에 입각한 현실적인 방식으로 스스로 결정을 내릴 수 있도록 돕는 것이 자신의 역할이라고 생각했습니다. 교사들은 이로 인해 더 적은 수의 후보자가 지원하지만 더 많은 후보자가 지원하게 될 것이라고 답했으며, 이는 긍정적으로 인식되었습니다. 
Nonetheless, teachers strongly reported that “ultimately it has to be the student’s decision” (Participant 11, South England) and “I don’t dissuade them” (Participant 7, London). Rather, teachers saw their role as aiming to ensure pupils made their own decisions in an informed and realistic way. Teachers reported that this meant fewer, but stronger, candidates would apply, which was perceived positively.

의과대학에 대한 접근성을 확대하고 코호트를 다양화해야 한다는 압력이 증가하고 있는 가운데(Mathers 외. 2011; McLachlan 2005; O'Neill 외. 2013), 이 연구는 접근성 확대(WA) 학교의 교사들이 의학 홍보를 꺼리는 것으로 보고된 이유에 대한 상당한 지식 격차를 다루고 있습니다(Mathers and Parry 2009; McHarg 외. 2007; Medical Schools Council 2013; UCAS 2015). 
Against a backdrop of increasing pressure on medical schools to widen access and diversify their cohorts (Mathers et al. 2011; McLachlan 2005; O’Neill et al. 2013) this study addresses a significant knowledge gap about why teachers in widening access (WA) schools have been reported as reluctant to promote medicine (Mathers and Parry 2009; McHarg et al. 2007; Medical Schools Council 2013; UCAS 2015).

저희는 학생들이 의대 진학을 꿈꾸고 준비하도록 격려하는 데 있어 교사들의 역할을 더 잘 이해하기 위해 다양한 영국 고등학교와 6년제 대학에 소속된 11명의 교사를 인터뷰했습니다. 연구 결과에 따르면 교사들은 이전 연구에서 학생 및 이전 학생들과 동일한 행동을 많이 보고했습니다. 여기에는 다음 등이 포함되었습니다. 

• 의학에 지원하는 것이 어려울 것이라고 학생들에게 경고하는 것(Mathers and Parry 2009),
• 합격하는 학생이 거의 없을 것이라고 믿는 것(Southgate 외 2017),
• 학교 내 물질적 제약으로 인해 교사들이 충분한 지원을 제공할 수 없다는 것(Mathers and Parry 2009; Robb 외 2007; Southgate 외 2015)

그러나 중요한 것은 연구 참여자들이 학생들의 의과대학 지원으로부터 막으려는 의도가 없었다는 점입니다. 대신, 교사들은 학생들이 의학의 현실에 대한 지식을 향상시키고 대안적인 직업을 연구하며 지원 여부를 스스로 결정할 수 있는 역량을 키울 수 있도록 안내하는 것, 즉 영향을 주는 것이 아니라 정보를 제공하는 것이 자신의 역할이라고 답했습니다. 
We interviewed eleven teachers in a diverse range of UK high schools and sixth-form colleges targeted by WA initiatives, to better understand their perceived role in encouraging pupils to aspire to, and prepare, an application to medicine. Our findings show that teachers reported many of the same behaviours as pupils, and former pupils, have in previous studies. These included:

• warning pupils that it was going to be tough to apply to medicine (Mathers and Parry 2009);
• a belief that few pupils would be accepted (Southgate et al. 2017); and
• that teachers were unable to provide sufficient support because of material restraints within their schools (Mathers and Parry 2009; Robb et al. 2007; Southgate et al. 2015).

Importantly, however, we found that our participants did not intend their actions to deter pupils from medicine. Instead, teachers reported that it was their role to guide pupils to improve their knowledge about the realities of medicine, as well as research alternative careers, and to build their capacity to make their own decisions about whether to apply: i.e. to inform, not influence.

접근성 확대를 위한 옹호자로서의 교사들
Teachers as advocates for widening access

무엇보다도 이번 연구는 교사들이 왜 이러한 인식을 갖고 있는지에 대한 인사이트를 제공합니다. 일부 참가자들은 학생들의 의대 진학 준비를 지원하기 위해 상당한 시간, 에너지, 헌신을 쏟았음에도 불구하고, 특권privileged 교육기관이나 가정에서 제공하는 혜택과 경쟁하기에는 학교의 역량이 제한적이라는 점을 기꺼이 인정했습니다. 교사들은 가장 강하고 회복탄력성이 뛰어나며 헌신적인 지원자들이 의대 지원에서 성공할 수 있는 학교 환경(그리고 이후 의사로서의 경력)을 묘사한하면서도, 대다수의 지원자들은 지원 전 포기하게 되는 학교 환경을 설명했습니다. 
Vitally, our study offers insight into why teachers held these perceptions. Despite the substantial time, energy and commitment some of our participants dedicated to supporting their pupils prepare for medicine, they readily acknowledged the limited capacity of their schools to compete with the advantages provided by more privileged institutions and families. Teachers described school environments in which the strongest, most resilient and dedicated applicants could succeed in their medical applications (and subsequently in their careers as doctors) whereas the majority would bow out pre-application.

따라서 교사의 관행과 태도는 그들이 일하는 구조에 맞춰져 있으며, 낮은 기대치를 설정한 교사에게 책임을 돌리는 것은 학교의 자원 부족과 특정 지역이 경험하는 박탈감의 수준을 더 악화시킨다는 주장이 제기될 수 있습니다. 직업에 대한 공정한 접근에 관한 패널의 최종 보고서에 따르면: 
It can thus be argued that teachers’ practices and attitudes are adapted to the structures they work within, and that an individualisation of blame onto teachers for setting low expectations detracts from the wider under-resourcing of schools and levels of deprivation experienced by certain neighbourhoods. As the Final Report of the Panel on Fair Access to the Professions states:

현재 많은 진로 상담이 전문 상담사가 아닌 정규직 교사에 의해 제공되고 있습니다. 젊은이들의 미래가 교사의 정상적인 교육 의무를 넘어선 조언과 지원에 의존하는 것은 용납될 수 없습니다. 많은 교사들이 선의의 의도를 가지고 청소년의 사회 진출을 돕기 위해 헌신하고 있지만, 진로 상담은 전문적이고 전문적인 서비스이므로 이를 바탕으로 운영되어야 합니다(2009 직업에 대한 공정한 접근에 관한 패널).
much careers advice is currently provided by staff who are full-time teachers, rather than professional advisers. It is not acceptable that the futures of young people rely on teachers having to provide advice and support above and beyond their normal teaching duties. While many teachers are well-meaning and dedicated to helping young people get on in life, careers advice is a professional and specialist service and should be operated on that basis (Panel on Fair Access to the Professions 2009)

따라서 우리는 누가 의사를 지망할 수 있는지에 대한 문화적 변화[더 이상 부유층과 중산층의 전유물로 여겨지지 않음(Alexander 외 2019)]가 있었음에도 불구하고, 중등 또는 고등 교육에서 자원이 부족한 지망생이 더 특권을 누리는 동료들과 실제로 의학에 들어갈 수 있는 동일한 기회를 가질 수 있도록 구조적 변화가 수반되지 않았다고 제안합니다. 
We thus suggest that although there has been a cultural shift in terms of who can aspire to medicine [it is no longer seen as the sole preserve of the affluent and middle-class (Alexander et al. 2019)], there has not been an accompanying structural shift in secondary or tertiary education to allow less well-resourced aspirants the same opportunities to actually enter medicine as their more privileged peers.

이러한 상황을 고려할 때, 교사가 의학의 옹호자가 되어야 하는지에 대해서도 의문을 제기할 수 있습니다. 이해관계자들이 젊은이들이 전통적으로 지역사회에서 고려되지 않았던 직업에 도전하도록 격려하는 것은 대학 WA 이니셔티브의 핵심입니다(Milburn 2012). 그러나 이 연구에 참여한 교사들은 오히려 학생들이 성취하고 시야를 넓히도록 격려하는 역할에 치우쳐 있었으며, 특정 이니셔티브를 강력하게 지시하거나 영감을 주거나 진로 선택에 대한 가치 판단을 내리는 것을 원하지 않았습니다. 교사들은 손을 떼는 접근 방식을 통해, 학생들이 더 많은 정보를 얻고 정보에 입각한 결정을 내릴 수 있지만, 결정에 대한 주도권은 여전히 학생 스스로 행사할 수 있다고 암시했습니다. 이는 교육의 핵심 목표가 학생에게 스스로 합리적인 결정을 내릴 수 있는 능력과 자유를 제공하는 것이어야 한다고 주장하는 능력 접근법과 일맥상통합니다(Walker 2005). 이 이론은 사회 정의와 교육 간의 관계를 탐구하고(Gale and Molla 2015, Walker and Unterhalter 2010, Wilson-Strydom 2015), WA의 개입을 평가하는 데 점점 더 많이 사용되고 있습니다(Hart 2012, Walker 2008, Watts and Bridges 2006, Wilson-Strydom 2017). 또한, 젊은 세대가 성인이 되어 살아갈 환경이 매우 불확실하고 급변하는 상황에서 성인이 젊은 세대에게 '좋은' 미래나 직업에  대한 특정한 비전을 제시하는 것은 도덕적으로나 실질적으로 문제가 있다고 주장할 수 있습니다(Facer 2016).
Given these circumstances, we can also question whether teachers should be expected to be advocates for medicine. Encouraging stakeholders to challenge young people to aspire to careers not traditionally considered within their communities is at the heart of universities’ WA initiatives (Milburn 2012). The teachers in this study, however, rather erred towards a role in which they encouraged pupils to achieve and to broaden their horizons but did not wish to strongly direct or inspire them to any particular initiative or impart value-judgement on career choices. Teachers implied that their hands-off approach allowed pupils to be more informed and thus more capable of making an informed decision, but to still exert their own agency over decisions. This chimes with the capability approach, which argues a key goal of education should be to provide pupils with the capability and freedom to make rational decisions for themselves (Walker 2005). This theory is increasingly used to explore the relationship between social justice and education (Gale and Molla 2015; Walker and Unterhalter 2010; Wilson-Strydom 2015) and to evaluate WA interventions (Hart 2012; Walker 2008; Watts and Bridges 2006; Wilson-Strydom 2017). Moreover, it can be argued that it is morally and practically problematic for adults to ascribe particular visions of a ‘good’ future or career on younger generations, given the vast uncertainty and rapidly changing environment in which these generations will live as adults (Facer 2016).

그러나 학생의 진로 선택에 전적인 자유를 허용하는 것에 대한 정당한 비판도 존재합니다. 예를 들어, 학생들이 자신의 열망을 드러내고(Hart 2012), 높은 요구 사항을 달성하고, 의학과 같이 도전적이고 생소한 직업을 선택할 수 있도록 자신감과 기회를 주기 위해서는 보다 개입주의적인 자세가 필요할 수 있습니다(Donnelly 2015; Oliver and Kettley 2010). 따라서 '손을 떼는' 접근 방식은 사회적 정체를 초래할 위험이 있으며, 불이익disadvantage이 (문제가 제기되기보다는) 세대를 거쳐 재생산될 수 있습니다. 역량 접근법 내에서 개념화된 교사들의 설명에 따르면, 교사들은 WA 이니셔티브를 학생들의 열망 자체를 변화시키기보다는 학생들이 역량(예: 기술, 지식, 지원 시스템, 열망, 자신감)을 구축하여 자신의 삶과 진로 목표를 실현할 수 있는 더 나은 위치에 서기 위한 추가 자원으로 주로 인식하고 있었다. 또한 교사들의 설명에 따르면, 교사들은 학생들에게 이러한 (그리고 다른) 리소스를 안내하는 것이 자신의 역할이지 참석이나 참여를 강요하는 것이 아니라고 인식하고 있었습니다. 즉, 자원을 역량으로 전환할지 여부는 주로 학생 개개인의 선택에 맡겨져 있었습니다. 따라서 열망하는 역량은 자원을 통해 구축되지만, 학생들이 이용할 수 있는 자원을 다양한 잠재적 열망으로 전환하도록 장려하지 않으면 이미 보유하고 있는 자원을 고수할 가능성이 높다는 문제가 발생합니다. 
There are, however, also legitimate criticisms of allowing pupils total freedom in their choice of career. For example, a more interventionist stance may be necessary to give pupils the confidence and opportunity to reveal their aspirations (Hart 2012), achieve the high requirements, and select a challenging and unfamiliar career such as medicine (Donnelly 2015; Oliver and Kettley 2010). A ‘hands off’ approach thus risks social stasis and allows disadvantage to be reproduced through the generations rather than challenged. Conceptualised within the capability approach, teachers’ accounts suggest that they saw WA initiatives primarily as additional resources for pupils to build their capability (i.e. skills, knowledge, support systems, aspiration, confidence) and thus be better positioned to realise their life and career goals; rather than to change the pupils’ aspirations per se. Teachers’ accounts also suggest they perceived it to be their role to be to direct pupils to these (and other) resources but not to push them to attend or engage. In other words, the choice whether to convert the resource to capability was largely left to the choice of the individual pupil. A problem thus arises, in that the capability to aspire is built out of resources, but if pupils are not encouraged to convert the resources available to them into a range of potential aspirations, they are instead likely to stick with those they already possess.

따라서 이 연구는 WA 정책의 목표와 교사들의 우선순위 사이에 잠재적인 긴장이 있음을 드러냅니다. 교사들은 일반적으로 WA 이니셔티브와 의학을 지지했지만, 사회적 이동성을 높이기 위한 교육 정책의 추진보다 학생들이 자신의 열망과 기회를 넓힐 수 있는 선택의 자유를 우선시했습니다. 
This study thus exposes a potential tension between the objectives of WA policy and the priorities of teachers. Although teachers were supportive of WA initiatives and medicine in general, they prioritised pupils’ freedom to choose whether to broaden their aspiration and opportunity set over the promotion of educational policies to increase social mobility.

강점과 한계
Strengths and limitations

저희는 의도적으로 다양한 상황, 학교 유형, 교사 역할을 가진 교사들을 인터뷰하여 폭넓은 관점을 포함하고자 했습니다. 이를 통해 유사점과 공통 주제를 탐색하고 개별 경험의 세분성을 보존할 수 있었습니다. 연구 목적에는 유용했지만, 상황적 차이와 소규모 참여자 그룹은 연구 결과의 적용 가능성에 상당한 제한을 가했습니다. 우리는 대학 연구자에게 의학에 대한 비판적 견해를 표현하는 것에 대한 교사들의 주저함을 줄이기 위해 연구 설계에 조치를 취했지만, 그럼에도 불구하고 일부 참가자들은 연구 목적을 고려할 때 의학에 대해 부정적으로 말하는 것에 주저함을 느꼈을 수 있음을 인정합니다. 또한, 참여도가 낮은 교사나 의학에 대해 덜 긍정적인 견해를 가진 교사의 경우 참여 의향이 낮았을 것으로 합리적으로 예상할 수 있습니다. 교직원의 참여를 허락하지 않은 교장(교감)은 자원 부족을 가장 큰 이유로 꼽았는데, 이는 이러한 상황에 처한 학교가 조사 대상에 포함될 가능성이 낮다는 것을 의미할 수 있습니다. 
We purposely interviewed teachers in a range of contexts, school types and teaching roles to include a wide breadth of perspectives. This allowed us to explore similarities and shared themes, as well as preserve the granularity of individual experiences. Although useful for our study purpose, the contextual differences and the small participant group add substantial limitations to the transferability of findings. We built measures into the research design to lessen teachers’ inhibitions about expressing critical views of medicine to a university researcher but acknowledge some participants may nevertheless have felt inhibited about speaking negatively about medicine given the study’s aims. Moreover, we can reasonably expect that less engaged teachers and those with a less positive view of medicine may have been less inclined to participate. Headteachers (principals) who declined to permission for their staff to participate cited under-resourcing as the major reason, which may mean schools in this situation were also less likely to be included.

교사들의 바쁜 일정이나 갑작스럽게 학생들을 돌봐야 하는 상황으로 인해 일부 인터뷰는 짧게 진행되었으며, 이는 데이터의 양에 영향을 미쳤습니다. 두 명의 교사를 함께 인터뷰한 경우, 상대방의 판단을 두려워하여 자신의 경험을 충분히 설명하지 못했을 수 있습니다. 반면에 함께 인터뷰하는 것은 그들의 선택이었기 때문에 상황을 더 편안하게 만들어서 두 사람 모두로부터 더 깊고 미묘한 기여를 이끌어 냈을 수도 있습니다(Finch 외. 2014). 
Due to the restrictions of teachers’ busy schedules and/or the need to suddenly attend to pupils, some interviews were cut short, with implications for the quantity of data. Two teachers were interviewed together, which may have inhibited their willingness to give a full account of their experiences, fearing the judgement of the other. On the other hand, being interviewed together was their choice, which might have made the situation more comfortable and hence generated deeper and more nuanced contributions from both (Finch et al. 2014).

소규모 참가자 그룹 내에서는 일부 목소리가 해석에 불균형적으로 영향을 미치는 경향이 더 클 수 있습니다. 이러한 가능성을 해결하기 위해, 우리는 각 참가자의 경험과 웅변력 수준은 다르지만 분석과 글쓰기에서 각 참가자의 설명에 동등한 비중을 부여하기 위해 의식적으로 노력했습니다. 참여자 검증을 포함했다면 작업의 신뢰도를 더욱 높일 수 있었겠지만, 교사들의 업무량을 가중시키지 않고 반복적인 접촉이 모집에 걸림돌이 될 수 있다고 판단하여 이를 배제하기로 결정했습니다.
There may be a greater tendency within a small participant group for some voices to disproportionately influence interpretations. To address this possibility, we made a conscious effort to give equal weight to each participant’s account in analysis and write-up, despite their different levels of experience and eloquence. The inclusion of participant validation may have further boosted the credibility of the work, however, we decided against this, primarily to not add more to teachers’ workload and because we thought the commitment to repeated contact might be a barrier to recruitment.

연구자 편향 가능성을 최소화하기 위해 연구 방법에서 설명한 대로 반성적 사고와 연구팀 간의 비판적 토론을 실천했습니다. 팀원들이 서로 다른 관점에서 데이터와 주제에 접근했기 때문에 팀 내 다양한 직업적 배경이 강점이었습니다. 하지만 모든 연구원이 여성, 백인, 중산층으로 구성되어 있어 이 분야의 의학교육 연구자라면 흔히 볼 수 있는 다양성에는 한계가 있었습니다.
Practicing reflexivity, as described in the methods, as well as critical discussions amongst the research team were used to minimize potential researcher bias. The diverse professional backgrounds within the team was a strength in this regard, as members approached the data and topic from differing perspectives. There were limits to this diversity however, as all researchers now identity as female, white and middle-class, which is typical for medical education researchers in this area.

연구 및 실무에 대한 시사점
Implications for research and practice

다양한 학교(공립학교와 사립학교, 그리고 참여도가 낮은 WA 대상 주립학교 포함)의 교사들의 인식과 전략을 조사하는 비교 연구는 다양한 맥락에서 교사들의 접근 방식과 역할 인식에 대한 흥미로운 통찰력을 제공할 수 있을 것입니다. 또한, 영국과 다른 국가들에서 교사들이 비슷한 자원 부족 환경에서 일하고 의학에 대해 비슷하게 보수적인 메시지를 홍보하는 유사점을 고려할 때(Southgate 외. 2015), 이 연구의 목적과 결과는 다른 맥락에서 추가 조사가 필요할 수 있습니다. 교사와 학생의 목소리를 모두 포함하는 비교 연구도 도움이 될 것입니다. 이 연구에서는 교사의 설명에 대한 탐구로 제한되어 있으며 학생의 행동에 대한 해석에 대해서는 언급할 수 없습니다. 
Comparison studies to investigate the perceptions and strategies of teachers from a variety of schools (including grammar and independent, as well as less-engaged WA eligible state schools) would offer interesting insight into teachers’ approaches and perception of role in different contexts. Furthermore, given the parallels between the UK and other countries, where teachers work in similarly under-resourced environments and promote similarly conservative messages about medicine (Southgate et al. 2015), the study aims and findings may warrant further investigation in other contexts. Comparison studies that include both teacher and their pupils’ voices would also be beneficial: in this study we are limited to the exploration of teachers’ accounts and cannot comment on pupils’ interpretation of their behaviour.

위에서 설명한 바와 같이, 교사는 자신의 역할을 그 자체로 자원이라기보다는 학생들이 의학 자원에 대한 WA 접근을 용이하게 하는 것으로 개념화하는 것으로 나타났습니다. 이는 위에서 인용한 전문직에 대한 접근성 보고서와 일치하는 것으로, 기본적으로 과학 교사가 의학에 대한 전문적 조언자 역할까지 해야 하는 것은 적절하지 않다고 주장합니다. 그러나 우리의 연구는 이러한 경계가 종종 모호해짐을 보여줍니다. 부족한 자원을 보충해야 한다는 압박감 때문에 헌신적인 교사들이 스스로 준비 프로그램을 만들고 목회적pastoral 지원을 제공하게 되는 것입니다. 따라서 우리는 WA 이해관계자 간에 공개적인 논의를 통해 이해관계자의 역할을 명확하게 조정하고 구분하는 데 합의할 것을 제안합니다. 합의가 이루어지면 의과대학은 개선된 커뮤니케이션과 정보 공유 네트워크를 통해 교사들이 전문 자원에 쉽게 접근할 수 있도록 지원하고, 의과대학은 이러한 전문 자원을 제공하는 데 집중할 수 있습니다. 
As described above, teachers appeared to conceptualise their role as facilitating pupils’ access to WA to medicine resources, rather than as a resource themselves. This concurs with the Access to the Professions report (quoted above), which essentially argues it is not appropriate to require a science teacher to also be an expert advisor on medicine. Our study reveals how these lines are often blurred however: pressure to compensate for lacking resources results in dedicated teachers taking it upon themselves to create preparation programmes and provide pastoral support. As a result, we suggest open discussions between WA stakeholders to agree a clear alignment and delimitation of stakeholder roles. If agreed, medical schools might then focus on supporting teachers to facilitate access to expert resources through improved communication and information sharing networks; whilst medical schools provide this expert resource.

또한 의과대학은 교사들을 지원하여 [더 많은 학생들이 가용한 자원에 참여할 수 있도록 보다 적극적으로 장려하여 새로운 포부와 기회가 창출될 수 있도록] 하고자 할 수 있습니다. 따라서 의과대학과 정책 입안자들은 의대 진학이 교사들에게 덜 위험한 선택으로 보이도록 시스템을 재조정할 수 있는 방법을 고려할 것을 제안합니다. 의과대학은 학생들이 지원서에서 자신의 강점(예: 지적 능력, 헌신, 회복탄력성)을 강조할 수 있도록 가장 잘 지원할 수 있는 방법에 대한 대화에 교사들을 참여시키고, 의대 지원의 일부 현실(예: 합격률 및 재지원 관련)에 대해 교사들에게 알리고 안심시키는 신화를 깨는 과정을 고려할 수 있습니다. 이는 파운데이션 프로그램과 게이트웨이 과정 등 의학의 대안적 진로에 대한 교사들의 인식을 높이는 것과 결합될 수 있습니다. 보다 근본적으로 의과대학은 교사 전문성 개발 및 교육 팀과 협력하여 교사들이 학생의 개별적인 선택에 우선순위를 두는 선의의 신념의 제약을 인식하도록 도울 수 있는 방법에 대한 전문가의 조언을 받는 것도 고려할 수 있습니다.  
Medical schools may also wish to support teachers to be more proactive in encouraging a wider range of pupils to engage with the resources that are available, to enable the possibility of new aspirations, as well as opportunities, to be built. We suggest that medical schools and policy makers thus consider ways in which they can realign systems to make promoting medicine appear a less risky choice to teachers. Medical schools could consider how to engage teachers in a dialogue about how they can best support pupils to highlight their strengths (e.g. intellectual ability, commitment, resilience) in an application, as well as inform and reassure teachers about some of the realities of medical application (e.g. around acceptance rates and re-application) in a process of myth-busting. This could be combined with heightening teachers’ awareness of alternative paths to medicine, including foundation programmes and gateway courses. More fundamentally, medical schools might also consider working with teacher professional development and training teams, to receive expert advice on how they might help teachers recognise the constraints of a well-intentioned belief in prioritising a pupil’s individual choices.

전반적으로 이 연구는 호주 학교에서 매일 존재하는 상황적 장벽을 재확인하고, 이러한 장벽이 교사의 역할에 대한 인식에 어떤 영향을 미칠 수 있는지에 대한 독창적인 통찰력을 보여줍니다. 또한 학생들이 스스로 진로를 선택하는 데 있어 교사의 우선순위를 강조하고 있습니다. 저희는 WA 학교의 교사들이 의학을 옹호하는 것이 단독으로 이루어질 수 없으며, 이를 위해서는 다른 이해관계자들의 지원, 정책 및 시스템이 연계되어 학생들이 자신의 역량을 개발할 수 있는 기회를 제공하고 실제로 그 자리를 차지할 수 있는 더 나은 기회를 제공해야 한다고 제안합니다(Alexander and Cleland 2018; Gorman 2018). 교사의 우려를 인정하고 이해하며 더 나은 파트너십을 구축하고 의대를 향한 여정에 대해 더 긍정적인 시각을 갖도록 협력하는 것이 가시적인 시작이 될 수 있습니다(Greany 외. 2014).  
Overall, this study reaffirms the contextual barriers present daily in WA schools, and reveals original insight into how these may influence teachers’ perceptions of their role. It also highlights these teachers’ prioritisation of pupils making their own choice of career. We suggest that the expectation for teachers in WA schools to advocate medicine cannot happen in isolation and instead that this requires the support of other stakeholders, policies and systems aligning to provide their pupils with opportunities to develop their capability, as well as better chances of actually achieving a place (Alexander and Cleland 2018; Gorman 2018). Acknowledging and understanding teachers’ concerns and working with them to construct better partnerships and a more positive view of the journey to medicine, might be a tangible start (Greany et al. 2014).

1Research Department of Medical Education (RDME), UCL Medical School, University College London (UCL), London, UK. k.alexander@ucl.ac.uk.

2Centre for Medical Education, Institute of Health Sciences Education, Barts and the London School of Medicine and Dentistry, Queen Mary University of London, London, UK.

3Medical Education Research and Scholarship Unit (MERSU), Lee Kong Chian School of Medicine, Nanyang Technological University Singapore, Singapore, Singapore.

Medical schools worldwide undertake widening access (WA) initiatives (e.g. pipeline, outreach and academic enrichment programmes) to support pupils from high schools which do not traditionally send high numbers of applicants to medicine. UK literature indicates that pupils in these schools feel that their teachers are ill-equipped, cautious or even discouraging towards their aspiration and/or application to medicine. This study aimed to explore teachers' perspectives and practices to include their voice in discussions and consider how medical schools might best engage with them to facilitate WA. Interviews were conducted with high school teachers in three UK regions, working in schools targeted by WA initiatives. Data were analysed thematically using template analysis, using a largely data-driven approach. Findings showed that although medicine was largely seen as a prestigious and worthwhile career, teachers held reservations about advocating this above other choices. Teachers saw it as their role to encourage pupils to educate themselves about medicine, but to ultimately allow pupils to make their own decisions. Their attitudes were influenced by material constraints in their schools, and the perception of daunting, long and emotionally difficult admissions requirements, with low chances of success. Medical schools may wish to work with teachers to understand their hesitations and help them develop the mindset required to advocate a challenging and unfamiliar career, emphasising that this encouragement can further the shared goal of empowering and preparing pupils to feel capable of choosing medicine. Reciprocally, medical schools should ensure pupils have fair opportunities for access, should they choose to apply.

서구 사회에서 사회문화적 다양성이 증가함에 따라 의료 인력에서 사회문화적 다양성이 과소 대표되고 있는데, 이는 부분적으로는 레지던트로 전환하는 과정에서 사회문화적으로 다양한 배경을 가진 의대 졸업생, 즉 과소 대표되는 소수자(URM)를 잃는 것으로 보이기 때문입니다(Leyerzapf and Abma 2012; Verdonk and Janczukowicz 2018). 이는 문화적으로 민감한 진료에 대한 수요 증가에 비추어 볼 때 안타까운 일입니다(Saha 외. 2008, Goldsmith 2000, 미국 보건복지부 2006, Verdonk and Janczukowicz 2018, Cohen 외. 2002).  
The increasing sociocultural diversity in Western society is underrepresented in the medical workforce (Leyerzapf and Abma 2012; Verdonk and Janczukowicz 2018), partly because we seem to lose medical graduates with a sociocultural diverse background, i.e. underrepresented minorities (URM) in the transition to residency (Leyerzapf and Abma 2012). This is unfortunate in light of the increasing demand for culturally sensitive care (Saha et al. 2008; Goldsmith 2000; U.S. Department of Health Human Services 2006; Verdonk and Janczukowicz 2018; Cohen et al. 2002).

다양성 자극은 의료계에서 소수 인재의 지식과 기술을 통합하는 동시에 대다수 의사의 문화적 감수성을 높이는 것으로 생각됩니다(Cohen 외 2002; Nivet 2015). 또한, 사회 정의의 관점에서 볼 때 의료 분야 내 모든 사람에게 동등한 직업 기회를 제공하는 것은 필수적입니다(Thomas and Ely 1996).
Diversity stimulation is thought to incorporate the knowledge and skills of minority talents in healthcare and at the same time to increase the cultural sensitivity of the majority of physicians (Cohen et al. 2002; Nivet 2015). Furthermore, it is essential from a social justice point of view to have equal career opportunities for all within the medical field (Thomas and Ely 1996).

많은 서구 국가에서 URM 의대생의 수가 증가하고 있음에도 불구하고, 이들은 레지던트 교육과 의료 전문 인력에서 계속 과소 대표되고 있습니다(Leyerzapf 외. 2015; Verdonk and Janczukowicz 2018). 네덜란드의 경우, 의과대학 재학생 중 URM 지원자가 약간 증가했습니다. 선발 관행이 미칠 수 있는 부정적 영향에 대해 연구자들과 보건부를 포함한 국가 기관 모두의 관심이 높아지고 있습니다. 그럼에도 불구하고 이러한 관심의 증가는 다양성에 관한 공식적인 정책으로 반영되지 않았습니다. 이들은 일반적으로 과소 대표될 뿐만 아니라, 의대 졸업생의 비율은 전문의가 되기 위한 경력 경로를 따라 감소하는 것으로 보입니다(Leyerzapf and Abma 2012; Sopoaga 외. 2017). 이러한 현상은 '누수 파이프라인'이라고 불립니다(Freeman 외. 2016). 
Despite the increasing number of URM medical students in many Western countries, they continue to be underrepresented in residency training and in the medical specialist workforce (Leyerzapf et al. 2015; Verdonk and Janczukowicz 2018). In the Dutch context, there has been a slight increase in URM candidates among medical school attendants. The possible adverse impact of selection practices is receiving increasing attention both from researchers and from national organizations, including the Ministry of Health. Nevertheless, this increased attention has not been reflected in a formal policy regarding diversity. Not only are they generally underrepresented, the proportion of URM medical graduates appears to decrease along the career path to becoming a medical specialist (Leyerzapf and Abma 2012; Sopoaga et al. 2017). This phenomenon has been referred to as the ‘leaky pipeline’ (Freeman et al. 2016).

많은 선발 관련 연구(Patterson 외 2016; Roberts 외 2017)는 입학 의사결정을 최적의 결정을 내리는 단계별 인지 과정으로 개념화했습니다(Bolander and Sandberg 2013). 따라서 지원자의 특성이나 지식을 최적으로 측정하는 방법과 미래 성과를 예측할 수 있는 속성을 결정하는 방법에 대한 연구가 집중되어 왔습니다. 최근 발표된 두 건의 리뷰에 따르면 일부 선발 도구가 다른 도구보다 URM 후보자에게 부정적인 영향을 미칠 가능성이 더 높다고 합니다(Patterson 외. 2016; Stegers-Jager 2018). 그러나 보고된 연구들은 일반적으로 선발이 이루어지는 사회적 맥락을 고려하지 않아 선발 위원회가 정적인 비기여 요인으로 가정하고 있습니다.  
Much of selection research (Patterson et al. 2016; Roberts et al. 2017) has conceptualized admissions decision-making as a step-by-step cognitive process that produces an optimal decision (Bolander and Sandberg 2013). Therefore, research has focused on how to optimally measure candidates’ characteristics or knowledge and to determine which attributes are predictive for future performance. Two recent reviews suggest that some selection tools are more likely to have adverse impact on URM candidates than others (Patterson et al. 2016; Stegers-Jager 2018). However, the reported studies generally do not consider the social context in which selection takes place, thereby assuming selection committees are a static non-contributing factor.

선발위원회는 게이트키퍼로서 관련 정보로 무엇을 인식하고 우선순위를 정하며, 결국 의사결정을 위해 이러한 정보를 어떻게 결합하고 해석할지를 결정합니다. 이는 의과대학 선발과 관련이 있으며, 후보자 수가 적고 위원회의 규모가 작으며 일반적으로 모든 후보자를 모든 위원들이 면접하는 졸업후교육 선발에서는 더욱 그러할 것입니다.
As gatekeepers, selection committees determine what they recognize and prioritize as relevant information and eventually how they combine and interpret this information for the purpose of decision making. This is relevant in medical school selection, and probably even more so in postgraduate selection where the number of candidates is smaller, committees are smaller, and usually all candidates are interviewed by all committee members.

의대 선발에 관한 이전 연구에서는 잠재적으로 다양성을 저해할 수 있는 선발 관행의 메커니즘을 조사했습니다. Razack과 동료들은 의대생 선발에 관한 캐나다의 정책 문서를 분석하여 "최고이자 가장 똑똑한 사람"이 의료계에 진입해야 한다는 강력한 능력주의적 신념을 확인했습니다(Razack 외. 2015). 이러한 신념은 형평성이나 사회에 대한 봉사 등 다른 모든 주장을 무시하는 것처럼 보입니다. Wright(2015)는 선발 과정에서 고등학교의 지원에 초점을 맞춰 영국 학생들의 의대 진학 준비를 평가한 결과, 사립학교와 주립학교 간 지원에서 상당한 차이가 있음을 발견했습니다. 이러한 연구는 수백 명의 후보자와 의료 경력 파이프라인의 초기 단계에 있는 상황을 반영하지만, 이러한 메커니즘은 의학 졸업후교육 환경에서도 적용될 수 있습니다(Wright 2015).
Previous research in selection for medical school, has examined mechanisms in selection practices which potentially hinder diversity. Razack and colleagues analyzed Canadian policy documents concerning medical school student selection, identifying a strong meritocratic belief that “the best and the brightest” should enter the medical profession (Razack et al. 2015). This belief seems to overrule all other arguments, including equity and service-to-society. Wright (2015) evaluated the preparation of students in the UK for medical school selection by focusing on the support of high schools in the selection procedure and found considerable differences in support between private and state schools. Although these studies reflect contexts with hundreds of candidates and at an earlier stage in the medical career pipeline, these mechanisms could also be relevant in the postgraduate medical setting (Wright 2015).

이러한 졸업후교육 의료 환경에서는 선발 위원회의 맥락을 고려한 연구가 부족합니다. 졸업후교육 수련 과정의 성취도에 따른 차이를 설명한 연구로는 Leyerzapf 등(2015)과 Woolf 등(2016)이 가장 근접한 연구일 것입니다.

• Leyerzapf와 동료들은 일상적인 의료 행위의 성과 평가를 분석하여 팀에 잘 맞는지, 적절한 사회적 네트워크를 가지고 있는지와 같은 암묵적인 기준에 따라 URM 의사가 명백한 불이익을 받는다는 사실을 밝혀냈습니다(Leyerzapf 외. 2015).
• 울프와 동료들은 영국 졸업후교육 의학 교육에서 성취도 차이의 원인에 대한 소수 및 다수 의료 전문가들의 인식을 조사했습니다. 이들은 영국의 소수민족 및 외국인 졸업생이 졸업후교육 교육에서 학습과 성과를 저해하는 추가적인 어려움을 확인했습니다(Woolf 외. 2016). 

In this postgraduate medical setting, research that takes the context of the selection committee into account is lacking. Leyerzapf et al. (2015) and Woolf et al. (2016) probably go closest while explaining differences in attainment of postgraduate training positions.

• Leyerzapf and colleagues analyzed performance appraisals in daily medical practice and revealed an apparent disadvantage for URM medical doctors based on implicit criteria, such as whether one fits into the team and whether one has the right social network (Leyerzapf et al. 2015).
• Woolf and colleagues explored the perceptions of minority and majority health care professionals on causes of differential attainment in UK postgraduate medical training. They identified additional difficulties faced by UK minority and international graduates impeding their learning and performance in postgraduate training (Woolf et al. 2016).

레지던트 선발 위원회의 의사 결정 관행은 우리가 아는 한 아직 연구 대상이 되지 못했습니다. 게다가 실제 선발 과정을 살펴본 경험적 증거도 거의 없습니다. 따라서 이 백서의 목적은 URM 후보자를 의도치 않게 배제할 수 있는 메커니즘에 특히 초점을 맞추어 이러한 관행에 대한 인사이트를 얻는 것입니다. 
The decision-making practices of medical residency selection committees have, to the best of our knowledge, not yet been subject of research. Besides, there is little empirical evidence looking at selection in practice. Therefore, the purpose of this paper is to gain insight in this practice with particular focus on potential unintended excluding mechanisms for URM candidates.

접근 방식
Approach

이 질적 연구의 설계는 레지던트 선발 의사결정 과정에 관한 지식이 부족하다는 점을 고려하여 탐색적이고 귀납적으로 이루어졌습니다. 우리는 사회구성주의적 관점을 사용하여 의사결정 과정을 관련 전문가들의 해석과 의미 부여에 의해 형성되는 사회적 구성물로 접근했습니다. 
The design of this qualitative study was explorative and inductive, considering the scarcity of knowledge regarding residency selection decision-making processes. We used a socio-constructivist perspective, approaching the decision-making process as a social construct, shaped by interpretations and meaning giving of the professionals involved.

컨텍스트/설정
Context/setting

이 연구는 의과대학 교육 기간이 6년인 네덜란드에서 진행되었습니다. 대부분의 의대 졸업생은 레지던트 수련을 신청하기 전에 [수련의가 아닌 레지던트]로서 업무 경험을 쌓습니다. 이는 경쟁이 치열한 레지던트 프로그램에 들어가기 위해 특히 중요합니다. 레지던트 교육 선발 절차의 설계는 특정 전문 분야의 전국 협회와 지역 레지던트 프로그램 그룹에 의해 통제되기 때문에 실제 선발 절차의 관행은 매우 다양합니다. 
This study was conducted in the Netherlands, where medical school training is 6 years. A majority of medical graduates gains work experience as a resident-not-in-training before applying for residency training. This is particularly relevant for getting into highly competitive residency programs. The design of the selection procedure for residency training is controlled by the national association of that particular specialty and by the regional residency program groups, resulting in a great diversity in actual practices of selection procedures.

샘플링
Sampling

우리는 의도적으로 6개의 서로 다른 선발 절차를 샘플링했으며, 이 중 모든 선발 위원회 위원이 참여하도록 초대했습니다. 새로운 절차를 추가해도 연구 목적에 관한 새로운 인사이트나 추가 정보를 얻을 수 없을 때까지 샘플링을 계속했습니다.
We purposively sampled six divergent selection procedures, of which all selection committee members were invited to participate. Sampling continued until adding new procedures did not lead to new insights or additional information regarding the research purpose.

절차/설계
Procedure/design

풍부하고 구체적인 데이터를 얻기 위해 실제 선발 절차를 사용했습니다. 네덜란드에서 흔히 볼 수 있는 것처럼, 6개의 연구 대상자 선정 절차에서 선발 위원회는 전통적인 면접 방식을 적용했습니다.

• 먼저 지원자의 지원 동기와 이력서를 바탕으로 사전 선발이 이루어졌습니다.
• 다음으로 선발된 후보자들을 대상으로 면접을 실시했습니다.
• 마지막으로 선발 위원들이 그룹 토론을 통해 채용할 후보자를 결정합니다.
• 선발 절차 중 하나에는 평가 라운드가 추가로 포함되었습니다.

To get rich and concrete data actual selection procedures were used. As is common in the Netherlands, the selection committees in the six studied procedures applied a traditional job interview setting.

• First, a preselection based on candidates’ motivation letters and résumés was made.
• Next, job interviews were held with the selected candidates.
• Finally, selection committee members decide in a group discussion which candidates to hire.
• One of the selection procedures additionally contained an assessment round.

연구 설계는 이러한 일반적인 설정에 따라 설명합니다. 선발 절차에 순위를 매기는 방식을 도입한 이유는 선발 절차에서 후보자들의 순위를 의식적으로 매기면 위원들이 의사 결정 과정에서 무의식적으로 내린 결정을 회상하거나 드러내는 데 도움이 될 수 있다고 생각했기 때문입니다. 선발 위원들은 세 가지 순간에 각자의 선호도에 따라 후보자들의 순위를 매기도록 요청받았습니다: (1) 지원 동기와 이력서를 받은 후, (2) 면접을 본 후, (3) 그룹 토론을 마친 후입니다. 모든 선발위원을 대상으로 두 차례의 일대일 반구조화 면접이 별도로 진행되었습니다. 첫 번째 인터뷰는 후보자 사전 선정 후 면접 전에, 두 번째 인터뷰는 모든 절차가 끝난 후 진행되었습니다. 또한 의사 결정 그룹 토론을 참관하고 기록했습니다.

The research design is described according to this general setting. We introduced rankings in the procedure as we assumed that consciously ranking the candidates during the procedure could help committee members to recall decisions or unveil unconscious steps in the decision making process. The selection committee members were asked to rank the candidates numerically according to their individual preference at three moments: (1) after they received the motivation letter and résumés; (2) after the job interviews; and (3) after the group discussion. Two separate one-on-one semi structured interviews were held with all selection committee members. The first interview took place after the preselection of the candidates, but before the job interviews and the second interview took place after the whole procedure. Additionally, the decision-making group discussions were observed and recorded.

이러한 데이터 소스의 삼각 측량을 통해 프로세스에 대한 보다 상세하고 균형 잡힌 시각을 확보할 수 있었기 때문에 인터뷰, 순위, 관찰 결과를 분석에 결합했습니다. 
We combined interviews, rankings and observations in the analysis since triangulation of these data sources enabled a more detailed and balanced view on the process.

인터뷰
Interviews

일대일 인터뷰를 통해 선발 과정에 대한 위원들의 개별적인 견해를 살펴볼 수 있었으며, 참가자들이 위계적 영향 없이 자신의 견해를 자유롭게 표현할 수 있는 환경을 제공했습니다. 모든 인터뷰는 LG에서 진행했습니다. 반구조화 인터뷰의 핵심은 일반적인 인터뷰 가이드("부록")를 사용했지만, 새로운 인사이트, 새로운 관심 주제 또는 서로 다른 사례에 대해서는 조정이 허용되었습니다. 
The one-on-one interviews enabled us to explore the individual views of the committee members on the selection process and provided safety for the participants to express their own view without hierarchical influences. All interviews were conducted by LG. A general interview guide was used for the core of the semi-structured interviews (“Appendix”), but adjustments were allowed for new insights, emerging topics of interest or divergent cases.

선발 의사결정 그룹 토론
Selection decision-making group discussion

그룹 토론의 비디오 및 오디오 녹음은 그룹 의사결정 과정을 최소한으로 방해하지 않도록 설정되었습니다. 인터뷰를 수행한 동일한 연구원(LG)이 그룹 토론을 관찰했습니다. 이 연구에는 총 7.5시간의 관찰이 포함되었습니다. 관찰 노트를 작성하고 곧바로 자세한 설명으로 정리했습니다. 인터뷰와 그룹 토론 녹취록은 그대로 필사했습니다.
The video and audio recordings of the group discussions were set up to least interfere with the group decision-making process. The same researcher who conducted the interviews (LG), observed the group discussions. In total, this study includes 7.5 h of observation. Observational notes were made and worked up into detailed descriptions shortly after. Interviews and group discussion recordings were transcribed verbatim.

분석
Analysis

데이터 분석은 LG(의학 배경을 가진 네덜란드 백인 여성 박사과정 학생), KSJ(네덜란드 백인 여성 박사 후 교육 연구원으로 의과대학의 다양성 및 선발에 대한 전문성을 갖춘 연구자), LF(네덜란드 백인 여성 의학박사, 보건교육의 직장 내 학습에 대한 전문성을 갖춘 교육 연구원으로 박사 후 교육 연구원으로 활동 중인 연구자) 세 명의 연구자가 수행했습니다.
Data were analyzed by three researchers LG (female white Dutch Ph.D. student with a medical background), KSJ (female white Dutch post-doctoral educational researcher with expertise on diversity and selection in medical school) and LF (female white Dutch MD, post-doctoral educational researcher with expertise on workplace learning in health education).

녹취록은 King이 개발한 템플릿 분석 접근법에 따라 분석되었으며, 구성된 코딩 템플릿을 사용하여 주제 분석을 수행했습니다(King and Horrocks 2010). 연구 목표와 관련하여 그 중요성을 고려할 때 '다양성'이 선험적 주제로 선정되었습니다. 초기 코딩 프로세스에 따라 템플릿이 개발되었습니다. 이 템플릿은 후속 코딩 과정에서 더욱 발전되었고 데이터에 따라 지속적으로 비판적으로 검토되었습니다.
Transcripts were analyzed following the template analysis approach developed by King, entailing a thematic analysis using a constructed coding template (King and Horrocks 2010). Given its importance in respect to the research aims ‘diversity’ was an a priori theme. Following the initial coding process, a template was developed. This template was further developed in subsequent coding and continuously critically reviewed on accordance with the data.

데이터는 LG에서 코딩했으며, 필요한 경우 KSJ 및/또는 LF에서 논의 및 검토했습니다. 연구 결과는 레지던트 선발 절차에 관여하는 다른 두 명의 연구원(JdG, MdH)과 정기적으로 검토하고 논의했습니다. 그들의 관점은 우리의 연구 결과를 확인하고 우리의 결정을 정당화하기 위해 도전함으로써 프로세스에 대한 이해를 풍부하게 해주었습니다. 연구 기간 내내 우리는 우리의 배경, 관점, 편견이 연구 과정에 어느 정도 영향을 미쳤는지 정기적으로 고려했습니다. 템플릿의 구성을 투명하게 유지하기 위해 감사 추적을 생성했습니다. 연구 결과는 연구 참여자에게 피드백되어 이해를 더욱 최적화할 수 있었습니다. 분석 관리에는 AtlasTi 7.5가 사용되었습니다. 
The data were coded by LG and if necessary, discussed and reviewed by KSJ and/or LF. The findings were regularly reviewed and discussed with the two other researchers (JdG, MdH), both involved in resident selection procedures. Their perspective enriched our understanding of the process, by affirming our findings and challenging us to justify our decisions. Throughout the study we regularly considered to what extent our backgrounds, perspectives and possible biases influenced the research process. To keep the construction of the template transparent an audit trail was produced. Results were fed back to research participants in order to further optimize our understanding. AtlasTi 7.5 was used to manage the analysis.

분석 프레임워크
Analytic framework

우리는 의사결정 과정이 관련 전문가들의 해석과 의미 부여에 대한 협상을 통해 형성되는 역동적이고 새로운 사회적 과정이라고 가정합니다. 선발 위원들은 후보자에 대해 수집된 정보를 통합하여 정보에 입각한 결정을 내리려고 합니다. 따라서 정보를 받아들이고 처리하며 우선순위를 정하는 방식은 선발 과정의 핵심 요소입니다. 우리는 선발 위원들이 정보를 처리하는 방식에 따라 그들이 '능력merit'으로 인식하는 것을 구성한다고 주장합니다. Posselt(2016)의 추론과 유사하게, 우리는 지금까지의 업적과 인지된 잠재력에 대한 절대적인 척도가 아닌 상대적인 척도로서 장점에 접근했습니다. 능력merit은 선발 절차의 다른 후보자 또는 이전 및 향후 선발 절차의 후보자와 비교하여 평가됩니다. 이러한 장점은 특정 후보자 풀과 관련된 합격 가능성 평가입니다. 또한 특정 개인적 선호도를 가진 위원들로 구성된 선발위원회의 구성에 따라 달라질 수 있습니다.
We assume that the decision-making process is a dynamic and emergent social process, shaped by a negotiation of interpretations and meaning giving of the professionals involved. Selection committee members seek to incorporate the information gathered about candidates to make informed decisions. Therefore, the way of receiving, processing and prioritizing information is a key element in the selection process. We argue that by the way they handle the information, selection committees construct what they recognize as ‘merit’. Similar to Posselt’s (2016) reasoning, we approached merit as a relative measure rather than an absolute measure of achievements to date and perceived potential. Merit is assessed in comparison with the other candidates in the selection procedure, or even with candidates from previous and future selection procedures. As such merit is an admissibility assessment relative to a specific candidate pool. It also depends on the composition of the selection committee, composed of members with specific personal preferences.

이러한 추론에 따라 포셀트는 입학 기준의 명확한 단일 계층 구조가 존재하지 않는다고 추론합니다. 따라서 선발 위원회의 맥락에서 선발을 이해하는 것이 중요합니다(Posselt 2016). 
Following this reasoning, Posselt infers that there is not a clear single hierarchy of admission criteria. Therefore, it is important to understand selection within the context of the selection committees (Posselt 2016).

본 연구에서는 의도치 않게 다양성을 저해하는 메커니즘에 특히 주의를 기울여 실제 결정 과정에 초점을 맞췄습니다. 인터뷰에서 다양성에 명시적으로 초점을 두는 대신, 선발 위원회가 장점을 평가하기 위해 관련 정보로 인식하고 우선순위를 두는 것이 무엇인지, 그리고 최종적으로 의사 결정을 위해 이러한 정보를 어떻게 결합하고 해석하는지에 대해 탐구했습니다. 따라서 이러한 과정에서 URM 후보자를 배제할 수 있는 메커니즘을 파악하는 것을 목표로 삼았습니다. 
The main focus in our study was the actual decision process with specific attention towards mechanisms that unintentionally hinder diversity. Instead of putting explicit focus on diversity in our interviews, we explored what selection committees recognize and prioritize as relevant information to assess merit and how they eventually combine and interpret this information for the purpose of decision making. Thus, we aimed at identifying mechanisms in these processes which could exclude URM candidates.

앞서 언급했듯이 다양성이라는 선험적 코드가 하나 있었습니다. 우리는 오픈 코딩으로 시작했고, 그 결과 연구 질문에 답하는 데 필요한 것보다 더 광범위한 템플릿이 만들어졌습니다. 그런 다음, 구체적인 연구 질문에 답하는 데 필요한 템플릿의 요소들을 계속 추가했습니다. 데이터에서 도출된 세 가지 중요한 주제는 다음의 세 가지였다.

• (1) 이미지 형성,
• (2) 선발 위원회의 의사 결정,
• (3) 지원자가 레지던트에 입학하기까지의 복잡한 경로

이러한 주제를 좀 더 확대하면 관련된 긴장 관계가 드러났습니다. 또한 다양성을 별도의 테마로 유지했습니다.
As noted previously, we had one a priori code which was labelled diversity. We started with open coding, which resulted in a more extensive template than necessary to answer our research question. Next, we continued with those elements of the template needed for answering our specific research question. The three overarching themes arising from the data were

• (1) image creation,
• (2) decision-making of the selection committees, and
• (3) the complex route towards gaining entrance to residency for candidates.

Zooming in further on these themes revealed relevant areas of tension. Additionally, we kept diversity as a separate theme.

본 연구의 선발 절차는 모두 병원 기반 전문과목과 관련이 있습니다. 위원회의 구성은 표 1에 나와 있습니다. 6개 위원회 중 5개 위원회는 전문의 또는 레지던트 등 해당 전문 분야의 의사로만 구성되었습니다. 한 개의 선발 위원회에는 인적 자원 관리 전문가가 포함되었습니다. 총 75건의 인터뷰와 7건의 그룹 토론이 분석되었습니다. 기밀 유지를 위해 공개된 설명 정보는 제한적입니다.
The selection procedures in the present study all concerned hospital based specialties. Committees’ compositions are displayed in Table 1. Five of the six committees were fully composed of physicians within that specialty, i.e. either medical specialists or residents. One selection committee included a human resource management specialist. A total of 75 interviews and seven group discussions were analyzed. For the sake of confidentiality, the descriptive information disclosed is limited.

데이터 분석 결과, 레지던트 선발 의사결정 과정과 관련된 다양한 주제를 나타내는 복잡한 템플릿이 만들어졌습니다. 아래에서는 선발 위원회가 후보자의 장점을 어떻게 평가했는지를 보여주는 테마를 제시합니다. 이는 선발 위원회가 최상의 후보자를 식별하기 위해 후보자의 경험, 기술, 동기 부여 및 성격 특성을 명확하게 파악해야 하기 때문에 이해해야 할 사항입니다. 이 과정에서 선발 위원들은 이러한 기준에서 계층 구조를 협상해야 합니다. 이 계층 구조는 특정 선발 위원회가 장점의 구성 방식을 보여줍니다. 저희는 연구 목표와 가장 관련성이 높고 다양성의 제약을 가장 잘 보여주는 세 가지 주제를 고려했습니다. 이 주제들은 서로 연관되어 있지만, 명확성을 위해 별도로 설명합니다. 
Our data resulted in a complex template representing a diversity of themes involved in the process of residency selection decision-making. Below, we present themes which in our perspective reveal how the selection committees negotiated the candidates’ merit. This is relevant to understand since selection committees need to get a clear view on the candidates’ experience, skills, motivation and personality characteristics in order to be able to identify the best possible candidate. In this process selection committee members need to negotiate a hierarchy in these criteria. The hierarchy reveals how merit is constructed by this particular selection committee. We considered three themes as most relevant for our research goal and most illustrative of possible constraints for diversity. The themes are interrelated, but for the sake of clarity, we describe them separately.

인터뷰 또는 관찰에서 인용한 예시적인 내용은 표 2에 제시되어 있습니다.
Illustrative quotations from the interviews or observations are presented in Table 2.

주제 1: 진정성 있으면서도 게임의 규칙을 준수하기
Theme 1: Being authentic yet playing by the rules of the game

대부분의 선발 위원들은 면접에서 지원자가 정직하고 취약한 모습을 보이는 진정성을 높이 평가했습니다. 하지만 지원자가 게임의 규칙에 따라 플레이해야 하기 때문에 너무 솔직하면 부정적인 영향을 미칠 수 있습니다. '선택의 게임'에는 명시적인 규칙 외에도 지원자가 숙지하고 준수해야 하는 묵시적이고 암묵적인 규칙도 있습니다. 암묵적 규칙 중 하나는 올바른 방식으로 자신을 노출하는 것입니다. 이 중요한 자기표현은 사실 공식적인 선발 절차 이전에 이미 시작되며, 전문 분야마다 다른 방식으로 이루어질 수 있습니다. 일반적으로 임상실습이나 이전 (임상) 업무 또는 연구를 통해 후보자를 선발 위원들에게 알리고 인지도를 높일 수 있습니다. 보다 구체적인 전략은 지원 전에 프로그램 책임자와의 정보 제공 회의를 계획하거나 지역 전공의을 위해 조직된 활동에 참석하여 자신을 알리는 것입니다.
Most of the selection committee members highly valued authenticity; that is, candidates showing honesty and vulnerability in the job interview. Yet, being too honest might have a negative impact since candidates ought to play by the rules of the game. Besides explicit rules, the ‘selection game’ also knows implicit and tacit rules that candidates are expected to be familiar with and adhere to. One implicit rule is to expose yourself in the right way. This crucial self-representation actually already starts before the official selection procedure and might be achieved in different ways in the different specialties. Commonly, visibility is achieved through clerkships and or previous (clinical) work or research, which enable candidates to be seen and known by the selection committee members. A more specific strategy is putting oneself on the radar by planning an informative meeting with the program director before applying or by attending activities organized by and for the regional residents.

또 다른 암묵적 규칙은 특정 전문 분야를 향해 가는 구체적인 길을 가리키는데, 어떤 길은 다른 길보다 덜 의심받습니다. 이 길은 종종 의대를 졸업하기 전에 시작되며, 지원자의 이력 쌓아가기 활동을 의미합니다. 예를 들어, 지원자는 교육 병원에서 근무한 경력이 주는 이점을 알고 있어야 합니다. 교육 병원에서 근무했거나 현재도 근무하고 있는 지원자를 레지던트 수련 과정에 참여시키는 것은 선발 위원들의 이익에 부합하기 때문입니다.
Another implicit rule refers to the specific road taken towards a certain specialty; some roads are less questioned than others. This road, which often starts before finishing medical school, refers to CV building activities of a candidate. As an example, candidates should, be aware of the benefits of work experience in a teaching hospital: it is in the interest of selection committee members to get the candidate who has worked, or still works, at their institution into residency training.

또한 대부분의 선발 위원은 '정답'보다 정직한 답변을 더 중요하게 생각하지만, 일부 답변은 더 바람직한 것으로 보입니다. 지원자들은 적절한 타이밍에 진솔한 답변을 하면서도 게임의 규칙에 따라 계속 플레이해야 하는 미로를 헤쳐나가야 합니다. 기대되는 준비 수준에서도 비슷한 메커니즘이 나타납니다. 대부분의 선발위원은 지원자가 면접 질문에 대해 충분히 준비되어 있기를 기대하며, 준비가 부족해 보이는 지원자는 탈락시킵니다. 그러나 선발위원들은 리허설된 답변은 지원자의 진정성을 의심하게 만들기 때문에 싫어합니다. 일부 선발위원은 자신이 알고 있는 지원자(예: 병원에서 근무하는 지원자)의 면접 준비를 돕기도 합니다.
Furthermore, although most selection committee members claim to value an honest answer over the ‘right’ answer, some answers seem to be more desirable. Candidates have to navigate through a labyrinth by being authentic at the right times, yet being mindful to keep playing by the rules of the game. A similar mechanism is seen in the expected level of preparation. Most selection committee members expect the candidates to be prepared for questions of the job interview and disapprove of candidates who come across as not well prepared. Yet selection committee members dislike rehearsed answers, because it makes them question candidates’ authenticity. Some selection committee members help the candidates they are acquainted with (e.g. candidates working in their hospitals) in preparing the job interview.

주제 2: 눈에 띄면서도 적응하기
Theme 2: Standing out yet fitting in

유능한 지원자 중에서 가장 바람직한 지원자를 선발하는 것은 까다로운 작업입니다. 선발 위원들은 적합한 지원자가 넘쳐나면서 수년 동안 지원자에 대한 기대치가 높아진 것을 알고 있으며, 이는 자격 인플레이션과 유사한 메커니즘입니다. 선발 위원회는 후보자를 다른 지원자와 차별화할 수 있는 역량이나 특성을 찾으며, 이는 대부분 좋은 점으로 간주됩니다. 그럼에도 불구하고 그들은 그룹에 적합한 후보자를 높이 평가합니다. 따라서 후보자는 그룹에 잘 어울리면서도 그룹에서 돋보이는 것이 가장 이상적입니다. 눈에 띄는 것은 기존 레지던트 그룹 또는 더 크게는 전문 분야에 부가가치가 될 뿐만 아니라 독특한 특성을 보유하는 것으로 개념화됩니다. 눈에 띄는 것은 지원서, 이력서 또는 면접에서 억지스럽거나 진정성이 없어 보이지 않으면서도 흥미로운 프로필이나 독창성으로 나타날 수 있습니다.
Selecting the most desirable candidate out of a collection of talented candidates is a demanding task. Selection committee members recognize that the abundance of suitable candidates has raised their expectations of candidates over the years, a mechanism similar to credential-inflation. Selection committees look for competencies or characteristics that set candidates apart from the others, which most often is considered a good thing. Nevertheless, they highly value candidates that fit in the group. So ideally, a candidate fits in, yet stands out of the group as well. Standing out is conceptualized as possessing distinctive characteristics as well as being an added value to the existent residency group or, on a bigger scale, to the specialty. Standing out may manifest itself in an interesting profile or originality in the application letter, resume or job interview without being far-fetched or coming across as unauthentic.

잘 피팅한다fitting in는 것은 여러 수준에서 특정 레지던시 프로그램의 문화에 부합하는 것으로 개념화됩니다. 우선, 선발 위원회는 '호감'이 가는 지원자를 찾고 있습니다. 지원자의 특정 활동은 다른 지원자보다 선발 위원들에게 더 많은 공감을 불러일으킵니다. 둘째, 적응은 기존 전공의 그룹에 적응하는 것으로 개념화됩니다. 이 측면은 선발위원회에 속한 전공의들의 영향을 많이 받습니다. 놀랍게도 사회문화적으로 다양한 전공의 그룹이 있는 선정위원회에서도 다른 위원회와 마찬가지로 적응이 중요해 보였습니다.
Fitting in is conceptualized as fitting the culture of a particular residency program at several levels. First of all, selection committees are looking for candidates with whom they have a “click”. Particular activities of candidates resonate more with selection committees than others. Secondly, fitting in is conceptualized as fitting in the existing group of residents. This aspect is strongly influenced by residents in the selection committee. Remarkably, fitting in seemed just as important in the committee with a sociocultural diverse residency group as in the other committees.

자격을 갖춘 지원자가 많기 때문에 눈에 띄는 것은 쉽지 않습니다. 선발 위원회 위원들은 자신의 전문 분야에 진입하기 위한 기준이 높아진다는 것을 알고 있는 것 같습니다. 그럼에도 불구하고 가장 우수한 후보자를 선발하는 것을 최우선 과제로 삼고 있습니다. 선발 절차에서는 지원자의 인격과 의사로서의 자질을 모두 평가합니다. 흥미로운 점은 전공의 선발 위원회가 후보자를 평가할 때 좋은 의사라는 점 외에 후보자가 가진 잠재력에 더 중점을 두는 경향이 있다는 것입니다. 좋은 의사가 될 수 있는 잠재력을 갖추는 것은 전제 조건이지만 레지던트 자리를 얻기 위한 충분조건은 아닌 것 같습니다. 지원자를 거부하기 위해 제기된 논거 중 하나는 다음과 같습니다: "4년의 임상 경험이 있는 사람이라면 최소한 그 외에 다른 무언가가 더 있어야 합니다. 그 외에 무슨 경력이 더 있는지 모르겠고, 이력서도 없는데..." (그룹 토론)
Standing out is not easy, given the abundance of well qualified candidates. Selection committee members seem to be aware of the rising bar for entering their specialty. Still, their highest priority remains selecting the most excellent candidate. Both person and doctor features are assessed in the selection procedures. Interestingly, in their negotiation of merit selection committees tend to focus more on what candidates have to offer next to being a good doctor. Having the potential to become a good medical specialist seems to be a prerequisite, but not sufficient to obtain a residency position. One of the arguments raised to reject a candidate was: “If somebody has four years of clinical experience, he should at least have something extra besides that. I don’t know what extra he’s got besides that, no CV…” (Group discussion)

주제 3: 다양성을 대하는 자세
Theme 3: Stance towards diversity

후보자를 선정할 때 무엇이 중요하냐는 질문에 위원들은 후보자의 배경과 포부 모두에서 다양성을 자주 언급했습니다.
When asked what was important for them in selecting candidates, committee members frequently mentioned diversity, both in candidates’ backgrounds and ambitions.

그들은 그룹의 역동성과 균형에서 다양성의 부가적인 가치를 보고 있으며, 다양한 의사에 대한 사회적 필요성을 인식하고 있는 것 같습니다.
They see the additional value of diversity in the dynamics and balance of the group, and seem aware of the societal need for a diversity of doctors.

"지원서에서 저는 다양성을 매우 중요하게 생각합니다. 즉, 획일성을 원하지 않고 네덜란드에서는 획일성이 전혀 필요하지 않습니다.... ... ..... 물론 여기에는 # 레지던트들이 있고 그런 그룹의 분위기는 매우 중요하며, 누구를 채용하든 영향을 미칠 것이며, 결정적인 요소라고 말하지는 않겠지만 결국에는 두 후보자 중 하나를 선택할 수 있으며, 그렇지 않으면 팀에 추가 할 것으로 생각되는 후보자를 선택할 수 있습니다. 그리고 우리가 전에 이야기했던 이 다양성은 제가 찾고 있는 다양성이기도 하고, 가능하다면 인종적 다양성이기도 한데, 그게 좀 복잡하죠."
“With applications I very much look at, erm, diversity; that is, I don’t want uniformity, we don’t need uniformity at all in the Netherlands…. … ….. of course we have # residents here and the atmosphere in such a group is extremely important and, erm, whoever you take on will have an impact, and I won’t say it’s the decisive factor but at the end of the day it might decide the choice between two candidates, if there’s not much between them otherwise you might opt for a candidate who you think will add to the team. And this diversity, we talked about this before, is the diversity I am looking for also in, erm, ethnicity preferably, if at all possible, and that is well, that is complicated.”

다양성이 논의되자마자 그 반대급부로 그룹 내 분위기가 언급되는데, 이는 매우 중요하다고 주장됩니다. 그룹에 잘 맞는 사람을 찾으려는 강한 경향은 종종 유사성을 기반으로 하기 때문에 다양성을 저해할 가능성이 높습니다. 선발 위원회는 적합성에 대한 위험을 감수하는 데 신중한 태도를 보입니다. 다양성과 그룹 내 적합성을 대조함으로써 다양성을 그룹 내 적합성의 잠재적 위험으로 인식하는 것으로 보입니다.
As soon as diversity is discussed, the atmosphere in the group is mentioned as counterbalance, which is claimed to be extremely important. The strong tendency to look for someone who will fit in the group is likely to hinder diversity, since fit is often based on similarity. Selection committees appear cautious in taking risks regarding fitting in. By contrasting diversity and fitting in the group, they seem to perceive diversity as a potential risk for fitting in.

놀랍게도 다양성의 중요성을 언급한 거의 모든 위원들이 더 다양한 후보자를 기꺼이 선택하기 위해 충족해야 할 조건으로 동등한 적합성을 덧붙였습니다. 한 위원은 이렇게 설명합니다: "재미있는 점은 선발 위원들이 모두 남성이라는 점입니다. 예전에도 그랬고 지금도 그렇지만 대부분의 경우 여성은 한두 명 정도이고 우리가 뽑는 사람들은 대부분 여성입니다... ... 그리고 저는 항상 말하지만, 우리는 가장 좋은 사람을 선택하지만 동등한 적합성 등의 경우에는 그렇지 않다고 말합니다. 그렇기 때문에 특히 여기서 중요하다고 생각하는 다른 한 가지는 문화적 다양성에 대해 눈을 뜨는 것입니다. 백인 금발 여성도 있고, 유색인종도 한두 명 있고, 지난번에는 모로코 여자를 맡았어요. 확실히 머리 스카프는 없었지만 그녀는 ... 그리고 동등한 적합성을 가졌습니다. 이 역시 선택에 있어 중요한 요소입니다."
Remarkably, almost all committee members who mentioned the importance of diversity added a condition of equal suitability which has to be met in order to be willing to select the more diverse candidate. A committee member elaborates: “So the funny thing is, the selection committee we’re all men. Well that’s not really a good thing, is it, most of the time we do have one or two women here that was and not now and the people we take on are mostly women … … and I always say, we choose the best one but in the case of equal suitability and so on. That is why the other thing I think is important, especially here is that you keep your eyes open for cultural diversity. Hey, we’ve all got white blond women and we’ve got one or two with a color and last time we took on a Moroccan girl. Without a headscarf to be sure, but she … and then with equal suitability. That again is something that also plays a part in your selection.”

이 인용문에서 다양성은 다른 모든 측면이 동등한 가치로 간주될 때만 부가가치로 간주된다는 것을 알 수 있습니다. 최고를 선택하는 것이 최우선 과제인 것처럼 보이며, '최고'의 후보가 한 명도 없을 때만 다양성을 고려하게 됩니다. '최고'는 후보자의 역사적 배경이나 특권과 관계없이 가장 장점이 많은 사람으로 정의되는 것으로 보이며, 이는 이미 특권을 누리고 있는 사람들에게 더 유리할 수 있습니다. 
In this quote it becomes obvious that diversity is only seen as an added value if all other aspects are considered equal in merit. Choosing the best seems to be their first priority and only when there is no one “best” candidate, diversity will be considered. The “best” appears to be defined as the one having the most merit, regardless of a candidate’s historic context or privileges, which might further advantage those already privileged.

그럼에도 불구하고 이 인용문은 의학 전문 분야에 진출한 URM 의사가 있다는 것을 보여줍니다. 문제는 이러한 URM 의사가 전문과목에 들어가기 위해 어느 정도까지 조정해야 했는지, 그로 인해 잠재적 부가가치가 감소했는지에 대한 의문이 남습니다. 
Nevertheless, this quote shows that there are URM medical doctors who make it into the medical specialties. The question remains whether and to what extent these URM medical doctors had to adjust to get in, thereby possibly decreasing their potentially added values.

일부 선발위원회에서는 URM 후보자 중 일부만이 선발 절차에 지원했는데, 이는 일반적으로 후보자들의 직업 선호도가 다르기 때문이라고 지적했습니다. URM 후보자 수가 적은 이유에 대해 다른 설명도 제시되었지만, 대체로 후보자에게 책임을 묻는 경향이 강했습니다. 한 선발 위원은 이렇게 말했습니다:

• "아니요, 사실 많지 않아요, 많지 않아요, 정말 재밌네요.... 특히 기본 교육에서 대략적으로 추산하면 약 50%가 다른 출신origin이며, 우리는 그들이 여기에 나타나지 않는 것을 실제로 보지 못합니다. 어떤 이유에서든요. 나는 그것을 잘 파악하지 못했기 때문에 그것은 많지 않습니다. .... 가끔 전공의들과 함께 있으면 물론 같은 전공의들을 볼 수 있습니다. 하지만 전문 분야로 나아가고 싶다는 분명한 포부를 갖고 이를 위한 조치를 취하는 경우는 거의 없습니다. ...아니면 여전히 GP를 선호하거나. 다른 과목이라면 모르겠지만 ..... 그러나 상당수는 서투르거나 어떤 식 으로든 뒤쳐져 있거나 충분히 열심히 싸우지 않습니다. 그러나 어쨌든 그들은 이력서 등으로 인해 이미 거부당하는 경우가 많습니다. 어쨌든 그들은 다른 사람들만큼 뛰어나지 않습니다."

Some selection committees noticed that only few URM candidates applied for their selection procedures, which was commonly attributed to different career preferences of these candidates. Although other explanations were offered for the lower number of URM candidates, the general tendency was to hold candidates accountable. A selection committee member said:

• “No, not a lot, no not a lot in fact and that’s funny really …. Especially here at the basic training some 50%, rough estimate, is of a different origin and we don’t really see them show up here. For whatever reason. I haven’t quite figured it out, so that’s not a lot. …. Sometimes with the residents you do see of course for they’re the same ones. And still you pretty rarely see a clear ambition to move on then to our specialty and taking action to facilitate that. …Or they still prefer GP medicine. I don’t know, if other subjects ….. But quite a few are clumsy or are lagging behind in some way or don’t fight hard enough. But in any case, quite often they’re already rejected because of their CVs and things like that. At any rate they’re not as good as others.”

이 선발 위원은 의대 재학 중에 명확한 포부를 갖고 이를 실현하기 위해 이미 행동을 취해야 한다고 강조합니다. 이러한 행동 중 일부는 매우 명시적일 수 있지만, 특정 전문 분야로 가는 길에 도움이 될 행동은 종종 암시적입니다. 이러한 암묵적인 규칙을 알기 위해서는 지원자에게 게임의 규칙을 설명해 주거나 길을 안내해 줄 사회적 자본이 필요합니다.
This selection committee member emphasizes the need to have a clear ambition and to already take action to realize it during medical school. While some of these actions may be quite explicit, those which will help along the road to a certain specialty are often implicit. In order to get to know these implicit rules, candidates need social capital; someone who will explain the rules of the game or show them the way.

이 탐색적 연구에서는 실제 레지던트 선발 위원회의 의사결정 과정을 연구했으며, 여기에는 의도하지 않은 잠재적, 추가적 장벽이 URM 후보자에게 미치는 영향도 포함되었습니다. 연구 결과,

• 지원자들은 게임 플레이와 진정성, 적응과 눈에 띄는 것 사이에서 균형을 잡아야 하기 때문에 자신을 호의적으로 표현하는 데 어려움을 겪는 것으로 나타났습니다.
• 지원자는 면접에서 진정성 있게 행동하는 동시에 게임의 암묵적인 규칙에 따라 플레이해야 합니다.
• 또한 지원자는 현재 레지던트 그룹에 대한 자신의 부가가치를 고려하여 후보자 풀에서 돋보이면서도 이 그룹에 잘 어울려야 합니다.
• 후보자가 많으면 선발 기준과 관련하여 자격 요건이 인플레이션되는 메커니즘이 생깁니다. 선발 위원회 위원들은 우수성을 찾고 있으며, 종종 의사로서의 특징보다는 지원자 개인의 특징에서 우수성을 구성합니다. 

In this explorative study, we studied the decision-making process of residency selection committees in actual practice, including potential, unintended, additional barriers for URM candidates.

• We showed that candidates struggle to portray themselves favorably as they have to balance between playing the game and being authentic, and between fitting in and standing out.
• Candidates are expected to behave authentically in interviews, meanwhile playing by the implicit rules of the game.
• Additionally, candidates are expected to stand out of the candidate pool regarding their added value to the current residency group, yet they should also fit in this group.
• The abundance of candidates creates a mechanism of credential inflation with regard to the selection criteria. Selection committee members are looking for excellence, and often construct excellence in person features rather than doctor features.

또한 게임 플레이와 진정성, 어울림과 돋보임 사이에서 균형을 유지하면서 URM 후보자에게 추가적인 장애물을 초래할 수 있는 의도하지 않은 메커니즘에 대해서도 강조했습니다. 앞서 언급한 바와 같이, 

• 어울리기fitting in는 유사성에 기반할 가능성이 높다는 함정이 있습니다(Rivera 2012). 
• 또한 규칙이 암묵적이고 규칙에 익숙해지기 위해 사회적 자본이 필요한 경우가 많기 때문에 규칙에 따라 게임을 플레이하는 것이 URM 후보자에게는 더 문제가 될 수 있습니다. 
• 마지막으로, 특권의 차이가 존재할 수 있습니다. 후보자는 특정 사회적 범주에 속한다는 이유로 다른 후보자보다 유리할 수 있습니다. 

선발 위원회는 다양성을 추구한다고 주장하지만, 동시에 그들의 관행과 절차가 실제로 URM 후보자를 채용하는 데 방해가 되는 것으로 보입니다.
We also highlighted unintended mechanisms that may lead to additional hurdles for URM candidates, while balancing between playing the game and being authentic, and between fitting in and standing out.

• As mentioned before, fitting in has the pitfall to be highly based on similarity (Rivera 2012).
• Furthermore, playing the game by the rules may be more problematic for URM candidates, since the rules are implicit and often require social capital to become familiar with them.
• Finally, differences in privilege may exist; candidates may have an advantage over others on account of being member of a particular social category.

Selection committees claim to look for diversity, but at the same time their practices and procedures seem to hinder them in actually hiring URM candidates.

우리 연구에 따르면 위원회 위원들은 유사성 편향의 희생양이 되는 것으로 나타났습니다(McPherson 외. 2001; Orpen 1984). 선발 위원회는 최고의 후보자를 선발하기 위해 실제로 자신이 이해할 수 있고, 흥미를 느끼거나, 유쾌한 동료처럼 보이고, 그룹에 가장 잘 맞는 후보자를 선발하고 있습니다. 이는 레지던트 선발이라는 고부담 결정에서 위험을 회피하는 행동으로 볼 수 있습니다. 이들은 자신과 매우 유사하게 생각하고, 느끼고, 행동하기 때문에 행동을 예측할 수 있는 후보자를 선택합니다. 훌륭한 의사가 될 수 있는 잠재력을 가진 지원자가 많기 때문에 채용 결정이 업무 관련 기준에 따라 이루어지는 경우는 거의 없습니다. 이는 유사성 편향을 지속시킬 수 있는 다른 주장에 대한 여지를 더 많이 남깁니다. 
In our study, committee members apparently fall prey to similarity bias (McPherson et al. 2001; Orpen 1984). In their attempt to select the best candidate, selection committees are actually selecting candidates whose choices they can understand, whom they find interesting, or who seem like pleasant colleagues and fit the group best. This could be seen as risk-aversive behaviour in the high-stakes decision of selecting for residency. They choose candidates whose behavior they can presumably predict because these candidates think, feel and act very similarly to themselves. Given the many candidates with the potential to become a good doctor, hiring decisions are rarely based on task-related criteria. This leaves more room for other arguments, which might perpetuate similarity bias.

본 연구 결과는 Razack 등(2015)이 확인한 능력주의 담론이 졸업후교육 의학교육에도 존재한다는 것을 시사합니다. 현재 선발의 가장 중요한 목표는 "최고"를 선발하는 것으로 보이며, 이는 현재의 인력 불균형에 기여하거나 유지할 수 있습니다. 최고를 선발하는 것은 환자 치료 외에 다른 분야(예: 연구나 경영에 대한 야망)에 대한 높은 야망을 선호하는 것을 조장하는 것으로 보이지만, 우리는 의료 분야에서 선발의 목표는 사회적 요구를 충족하는 의료 인력을 양성하는 것이어야 한다고 주장합니다. 연구나 경영에 대한 높은 야망에 지나치게 초점을 맞추면 미래의 의사들이 이러한 야망을 쉽게 이룰 수 있는 학계나 대형 병원에서 일할 수 있는 직업을 과도하게 선택할 수 있습니다. 이는 현재 소규모 병원, 특히 지방의 의료 전문가 부족 문제를 더욱 심화시킬 수 있습니다(Rabinowitz 외. 2008).
The findings of our study suggest that the meritocratic discourse identified by Razack et al. (2015) is also present in postgraduate medical education. Currently, the most important goal of selection seems to be selecting “the best”, which might contribute to or maintain the current workforce imbalance. Selecting the best seems to foster favoring high ambitions besides patient care (e.g. having ambitions in research or management), whereas we would argue that in healthcare the aim of selection should be to create a medical workforce that fulfils societal needs. An excessive focus on high ambitions in research or management might lead to overselecting future doctors for jobs in academia and large hospitals, where these ambitions can easier be fulfilled. This potentially adds to the current shortage of medical specialists in smaller hospitals, especially in rural areas (Rabinowitz et al. 2008).

또 다른 주목할 만한 발견은 공정하고 차별적이지 않아야 한다는 선발 위원들의 신념이 실제로는 불평등한 관행을 정당화할 수 있다는 것입니다. 이들은 협상된 장점 구성에 따라 후보자들을 평가하고 동등한 기준에 따라 최고를 선택하려고 합니다. 암묵적으로 능력merit을 정적이고 절대적이며 공정한 평가로 간주함으로써 불평등한 결과에 대한 책임을 지원자에게 돌리는 것입니다. 실제로 경력 경로의 잠재적 장벽을 고려하지 않으면 입학 절차가 특정 그룹에 불이익을 줄 수 있습니다. 레지던트를 향한 가장 바람직한 경력 경로는 장점과 우수성에 대한 맥락화된 아이디어를 바탕으로 구축되며, 암묵적이고 암묵적이기 때문에 '내부자'만이 알 수 있습니다(Razack 외. 2015). '내부자'가 되거나 내부 정보를 얻기 위해서는 사회적 관계, 즉 사회적 자본이 매우 중요합니다(부르디외 1986). 이러한 현상은 의학 졸업후교육 환경에서 아직 설명되지 않았지만, 독특한 현상은 아닙니다. 학계와 의과대학 선택과 같은 다양한 맥락에서 유사한 결과가 발견되었습니다(Van den Brink 2010; Razack 외. 2015; Wright 2015).
Another remarkable finding is that selection committee members’ beliefs of being fair and non-discriminatory might actually justify inequitable practices. They try to weigh the candidates based on their negotiated construction of merit, and choose the best on the basis of equal criteria. By implicitly taking merit as a static, absolute, and fair assessment, they bounce the responsibility for unequal outcomes back to the candidates. In fact, the admission procedure might disadvantage certain groups if potential barriers on their career paths are not taken into account. The most desirable career path towards residency, built on contextualised ideas of merit and excellence, is implicit and tacit and thus only known to “insiders” (Razack et al. 2015). Social connections, and thus one’s social capital, are crucial to become “an insider” or to gain inside information (Bourdieu 1986). Although this phenomenon has not yet been described in the postgraduate medical setting, it is not unique. Similar results have been found in different contexts, such as academia and in medical school selection (Van den Brink 2010; Razack et al. 2015; Wright 2015).

이 연구의 중요한 실무적 시사점은 선발 위원회가 모든 후보자를 동일한 잣대로 측정하는 것이 실제로는 공정하지 않을 수 있다는 점을 인식해야 한다는 것입니다. 형평성의 관점에서 선발하려면 지금까지의 경력 경로에서 기회의 차이를 인정하는 보다 총체적이고 맥락에 맞는 접근 방식이 필요합니다. 동시에 의사의 전체 경력 경로에서 포용성과 소속감에도 주의를 기울여야 합니다. URM 의사가 소속감을 느끼지 못하거나 소속감을 갖기 위해 자신의 진정성을 타협해야 한다고 생각한다면 우리는 다양성을 최대한 누릴 수 없을 것입니다(Sherbin and Rashid 2017).
An important practical implication of our study is that selection committees should be aware that measuring all candidates to the same yardstick might actually not be that fair. Selecting from an equity point of view requires a more holistic and contextualized approach, in which we acknowledge differences in chances in the career path so far. Simultaneously, attention should be given to inclusiveness and belonging along the whole career path of a medical doctor. We will never enjoy diversity to its full potential, when URM doctors feel that they do not belong or should compromise their authenticity in order to belong (Sherbin and Rashid 2017).

이 연구는 선발 위원회가 무의식적으로 선발 절차에 장벽을 만들어 URM 인재를 의료 인력에 포함시키지 못하게 하는 방법을 보여줍니다. 이러한 현상은 후보자의 특성과 지식을 파악하여 '최적의 편견 없는 결정'을 내리는 단계적 과정으로서의 선발 개념에 대한 비판적 수정을 요구합니다. 이 과정과 선발자 자체가 이 현상의 중요한 행위자입니다. 따라서 우리는 이 문제에 대한 가치 있는 심리측정 연구 외에도 선발위원들이 (무의식적으로) 어떤 방식으로 장점을 구성하여 장벽을 높이는지 더 심층적으로 살펴봐야 한다고 주장합니다. 이러한 분석을 바탕으로 선발의 목표를 최고 지원자의 임의적인 선발에서 의료 인력을 위한 선발로 전환하는 데 초점을 맞춘 개입을 설계할 수 있습니다.
This study shows how selection committees unconsciously construct barriers in their selection procedures, which keep them from including URM talents in our medical workforce. This phenomenon calls for a critical revision of our notion of selection as a step-by-step process of uncovering candidates’ characteristics and knowledge leading to an ‘optimal and unbiased decision’. The process and the selectors themselves are important actors in this phenomenon. We therefore argue that besides the valuable psychometric research on this matter, we should look more in-depth at how selection committee members (unconsciously) raise barriers through their construction of merit. Based on such analyses interventions could be designed, focused on shifting the goal of selection from selecting the arbitrary best towards selecting for the workforce.

질적 설계를 통해 삼각 측량이 가능한 다양한 정보 소스를 통해 상당한 양의 경험적 데이터를 살펴볼 수 있었습니다. 연구 결과의 이전 가능성과 관련하여, 확인된 관행은 궁극적으로 네덜란드의 졸업후교육생 선발의 맥락에서 이해되어야 합니다. 독자가 이 연구의 다른 맥락으로의 이전 가능성과 관련성을 평가할 수 있도록 필요한 정보를 제공하기 위해, 우리는 네덜란드의 맥락에 대한 자세한 설명을 제공하고 이전 문헌에 비추어 연구 결과를 논의했습니다. 몇 가지 제한 사항을 고려해야 합니다. 첫째, 저희는 병원 기반의 경쟁력 있는 전문 분야만 포함했습니다. 이러한 전문과목을 의식적으로 선택했지만, 이는 경쟁이 덜 치열한 전문과목의 선발 절차에 대한 전이성에 의문을 제기할 수 있습니다. 둘째, 실제 진료과를 포함하고 이러한 진료과에 최소한의 영향을 미치는 것을 우선순위로 삼았다는 것이 우리의 강점이지만, 예를 들어 그룹 토론에 연구자가 참석하여 진료과에 영향을 미쳤을 가능성을 배제할 수 없습니다. 
Our qualitative design allowed us to look at a considerable amount of empirical data, with different sources of information allowing triangulation. With respect to the transferability of our findings, the identified practices ultimately must be understood in the context of postgraduate selection in the Netherlands. With the aim to provide the reader with the necessary information to be able to evaluate the transferability and relevance of this work to other contexts, we provided a detailed description of the Dutch context and discussed our findings in the light of previous literature. Some limitations should be taken into account. First, we only included hospital-based competitive specialties. Although we consciously chose for these specialties, this might question transferability to selection procedures of less competitive specialties. Second, although our strength is that we included actual practices and our priority was to have a minimal influence on these practices, it cannot be ruled out that, for example, the presence of a researcher at the group discussion influenced the practice.

네덜란드의 레지던트 선발 의사 결정에 대한 연구를 바탕으로, 우리는 선발 위원회가 최고의 후보자를 찾기 위한 헌신으로 인해 거의 불가능한 좋은 자질들의 조합으로 장점을 구성한다고 주장합니다. 역설적인 조합과 모호하고 암묵적인 커리어 맵은 모든 지원자가 레지던트 자리를 얻는 것을 어렵게 만듭니다. 아마도 URM 후보자가 자신을 원하는 후보자로 전달하는 것은 훨씬 더 복잡 할 것입니다. 특히 졸업후교육생 선발에만 초점을 맞추고 파이프라인의 다른 누수를 무시하는 경우 선발 수준에서의 개입만으로는 원하는 변화를 가져올 가능성이 낮습니다. 의과대학과 의학전문졸업후교육 교육에서 포용성을 향한 동시적 개입은 원하는 변화를 이끌어내는 데 매우 중요합니다. 선발 위원회의 경우, 선발 결정 과정에서 위원들의 중요한 역할에 대한 인식을 높이고, 무엇이 능력으로 인식되는지에 대해 비판적인 대화를 나누고, 선발의 목적을 비판적으로 평가할 수 있도록 개입할 수 있습니다. 선발에 대한 연구는 현재의 선발 도구가 실제로 의사 결정에 어떻게 사용되는지에 대한 연구로 확장되어야 합니다. 현재의 선발 의사결정 관행에서 다양성을 가로막는 의도치 않은 장벽을 찾아내야 합니다.
Based on our study of residency selection decision-making in the Netherlands, we argue that selection committees, led by their dedication to look for the best candidates, construct merit as nearly impossible combinations of good qualities. Paradoxical combinations and the fuzzy and tacit career map make it difficult for all candidates to obtain a residency position. Probably, it is even more complicated for URM candidates to convey themselves as the desired candidate. Interventions at the level of selection alone are unlikely to bring about the desired change, particularly if these are solely focused on postgraduate selection and ignore the other leakages along the pipeline. Simultaneous interventions towards inclusivity in medical school and postgraduate medical education are crucial in enabling the desired change. For selection committees, interventions could be sought in developing more awareness of the crucial roles of committee members in the selection decision making processes, having critical dialogues on what is perceived as merit and critically evaluating the purpose of selection. Research on selection should be extended with research on how current selection tools are actually used in decision-making. Our advice is to look for unintentional barriers for diversity in our current selection decision making practices.

1Institute of Medical Education Research Rotterdam (iMERR), Room Ae-227, Erasmus MC, Postbus 2040, 3000 CA, Rotterdam, The Netherlands. L.Gennissen@erasmusmc.nl.

2Institute of Medical Education Research Rotterdam (iMERR), Room Ae-227, Erasmus MC, Postbus 2040, 3000 CA, Rotterdam, The Netherlands.

3Radboud UMC, Nijmegen, The Netherlands.

4Department of Internal Medicine at Radboud UMC, Nijmegen, The Netherlands.

5Center on Research in Learning and Education, Radboud University Medical Center Health Academy, Nijmegen, The Netherlands.

6Department of Pediatrics at Erasmus MC, Rotterdam, The Netherlands.

The diversity of modern society is often not represented in the medical workforce. This might be partly due to selection practices. We need to better understand decision-making processes by selection committees in order to improve selection procedures with regard to diversity. This paper reports on a qualitative study with a socio-constructivist perspective conducted in 2015 that explored how residency selection decision-making occurred within four specialties in two regions in the Netherlands. Data included transcripts of the decision-making meetings and of one-on-one interviews with committee members before and after the group decision-making meetings. Candidates struggled to portray themselves favorably as they had to balance playing by the rules and being authentic; between fitting in and standing out. Although admissions committees had a welcoming stance to diversity, their practices were unintentionally preventing them from hiring underrepresented minority (URM) candidates. While negotiating admissions is difficult for all candidates, it is presumably even more complicated for URM candidates. This seems to be having a negative influence on attaining workforce diversity. Current beliefs, which make committees mistakenly feel they are acting fairly, might actually justify biased practices. Awareness of the role of committee members in these processes is an essential first step.

Are first impressions misleading? This commentary explores that question by drawing on the more general cognitive psychology literature aimed at understanding when, why, and how any non-analytic reasoning process can help or hurt decision-making.

Despite rules set forth by the National Resident Matching Program and American Association of Medical Colleges (AAMC), prohibited questions during the residency interview process are well documented. This study describes the prevalence of these encounters by surveying residency applicants to integrated plastic and reconstructive surgery (PRS) programs for the 2022 match cycle.

Methods: An anonymous 16-question REDCap survey was distributed to 2022 cycle applicants of a single PRS program. The applicants were queried about demographic information, interview experience, and questions deemed illegal by the AAMC/NRMP guidelines.

Results: One hundred survey responses were attained for a 33.1% response rate. The majority of respondents were aged 26-30 (76%), women (53%), and white (53%); 33% received 15+ interviews for the application cycle. Seventy-eight percent of respondents reported being asked a prohibited question during at least one interview, with the most common "illegal" question categories being number/ranking of interviews (42%), marital status (33%), career balance (25%), and race/ethnicity (22%). Only 25.6% of applicants considered the subject matter inappropriate, whereas 42.3% were unsure. Although no applicant took action to report the potentially illegal scenarios, 30% said that their experiences influenced their rank list.

Conclusions: Our survey study revealed that prohibited interview questions in PRS residency interviews are common. Permissible lines of questioning and discussion between programs and applicants during residency interviews have been defined by AAMC. Institutions should provide guidance and training to all participants. Applicants should be made aware of and empowered to utilize available anonymous reporting tools.