보건전문직 교육의 선발 방법에 대한 지원자 인식: 이유와 집단간 차이(Med Educ, 2022)

보건전문직 교육의 선발 방법에 대한 지원자 인식: 이유와 집단간 차이(Med Educ, 2022)
Applicant perceptions of selection methods for health professions education: Rationales and subgroup differences
Suzanne Fikrat-Wevers1 | Karen Stegers-Jager1 | Marleen Groenier2 | Andries Koster3 | Jan Hindrik Ravesloot4 | Renske Van Gestel3 | Anouk Wouters5,6 | Walter van den Broek1 | Andrea Woltman1 

 

1 서론
1 INTRODUCTION

학부 보건 전문직 교육(HPE)에 입학하기 위한 선발은 많은 이해관계가 얽혀 있어 공개적인 논쟁의 주제입니다.1 그럼에도 불구하고 다양한 선발 방법에 대한 대부분의 연구는 예측 타당성과 학생 다양성에 미치는 영향에 초점을 맞춘 반면, 지원자의 인식에 대해서는 거의 관심을 기울이지 않았습니다.2 지원자 인식이 대학 입학 기회 확대(WA)의 맥락에서 관련성이 있다고 주장되어 왔기 때문에 이는 놀라운 일입니다.1 사회경제적, 인종적 소수 집단의 과소 대표성은 복잡하고 다양한 문제이지만, 이러한 집단은 선발에 대한 부정적인 인식의 결과에 특히 취약한 것으로 생각됩니다.1, 3 그러나 지금까지 지원자의 여러 하위 그룹 간의 인식을 비교하여 실제로 그러한지 조사한 연구는 없었습니다. 본 연구에서는 학부 HPE의 다양한 전형 방법에 대한 지원자의 인식과 이러한 인식이 지원자의 배경 특성과 어떤 관련이 있는지 조사하여 이러한 지식 격차를 해결했습니다. 
Due to the high stakes involved, selection into undergraduate health professions education (HPE) is a topic of public debate.1 Nevertheless, most research into different selection methods has focused on predictive validity and effects on student diversity, while little attention has been paid to applicant perceptions.2 This is surprising, as it has been argued that applicant perceptions are relevant within the context of widening access (WA).1 Although the underrepresentation of lower socio-economic and ethnic minority groups is a complex and multicausal problem, these groups are thought to be particularly vulnerable to the consequences of negative perceptions regarding selection.1, 3 However, thus far, no research has compared perceptions between different subgroups of applicants to investigate whether this is really the case. In the present study, we addressed this knowledge gap by investigating applicant perceptions of different selection methods in undergraduate HPE and how these perceptions are related to applicants' background characteristics.

선발 방법에 대한 지원자의 인식을 이해하는 것은 여러 가지 이유로 중요합니다. 

• 첫째, 지원자 인식은 광범위한 타당성 프레임워크에서 증거의 원천으로 사용되는 정치적 타당성의 구성 요소입니다.4 정치적 타당성은 이해관계자들이 어떤 방법을 선발에 사용하기에 적절하고 수용 가능한 것으로 간주하는 정도라고 정의됩니다.4 실제로 선발 절차를 설계할 때 정치적 타당도를 고려하는데, 이는 전통적인 면접과 같이 제한된 예측 타당도가 입증된 선발 방법이 여전히 일반적으로 사용되고 있다는 사실에서 잘 드러납니다.1
• 둘째, 지원자의 인식은 선발 방법의 구성 타당도와 지원자의 동기 부여, 성과 및 철회에 미치는 영향을 포함하여 다양한 실질적인 결과를 초래할 수 있기 때문에 특히 중요합니다.2, 5-7 주목할 만한 점은 선발 위원회의 기대에 대한 지원자의 이해가 이러한 숨겨진 기대에 '부합'하기 위해 선발 준비 방식을 형성할 수 있다는 점입니다.8-10
• 또한, 지원자의 인식은 WA와 관련이 있습니다.1 이전 연구에 따르면 사회경제적 수준이 낮고 소수 민족 배경을 가진 예비 학생들은 전형에 대해 더 자주 부정적으로 인식하고 성공적으로 입학할 수 있다는 확신이 적습니다.3, 11 이러한 지원자 하위 그룹은 일반적으로 전형 결과가 더 나쁜 것으로 나타났습니다.12, 13 이는 부정적 인식으로 인한 동기 부여 저하로 부분적으로 설명될 수 있습니다.14

Understanding applicant perceptions of selection methods is important for multiple reasons.

• First, applicant perceptions are a component of political validity, which is used as a source of evidence in broader validity frameworks.4 Political validity is defined as the extent to which stakeholders consider a method as appropriate and acceptable for use in selection.4 In practice, political validity is taken into consideration when designing selection procedures, which is exemplified by the fact that selection methods with proven limited predictive validity, such as traditional interviews, are still commonly used.1 
• Second, perceptions of applicants are of particular interest, as they can have numerous practical consequences, including effects on construct validity of selection methods, and on applicant motivation, performance and withdrawal.2, 5-7 Noteworthy is that applicants' understanding of the expectations of selection committees can shape the way they prepare for selection in order to ‘fit’ these hidden expectations.8-10 
• Moreover, applicant perceptions are relevant with respect to WA.1 Previous research suggests that prospective students with lower socio-economic and ethnic minority backgrounds more often demonstrate negative perceptions of selection and are less confident in their ability to be successfully admitted.3, 11 These subgroups of applicants are shown to have poorer selection outcomes in general,12, 13 which may be partially explained by poorer motivation due to more negative perceptions.14

지원자의 선발에 대한 인식은 일반적으로 분배적 정의와 절차적 정의를 구분하는 조직 정의 이론15을 사용하여 설명합니다.

• 분배적 정의는 선발 절차의 결과 분배의 공정성에 대한 지각된 공정성을 의미하며,
• 절차적 정의는 선발 절차 및 이러한 결과를 생성하는 데 사용되는 방법의 공정성에 대한 지각을 의미합니다.15 절차적 정의는 절차의 형식적 특성, 절차 및 의사 결정에 대한 설명, 대인 관계적 대우의 세 가지 구성 요소로 구성됩니다.

조직 정의 이론에 따르면, 절차적 정의의 세 가지 구성 요소는 선발 절차의 다양한 측면에 대한 인식에 영향을 미칩니다. 본 연구에서는 절차적 정의 구성 요소인 선택의 형식적 특성에 초점을 맞췄는데, 이는 길리랜드에 따르면 본 연구의 주요 관심사인 특정 선택 방법에 대한 인식이 이 구성 요소의 영향을 가장 많이 받기 때문입니다. 이러한 형식적 특성의 예로는 선택 방법의 관련성과 지각된 타당성이 있습니다. 나머지 두 가지 구성 요소인 절차 및 의사 결정에 대한 설명과 대인 관계 처우는 각각 선발 정책과 선발 담당자에 대한 인식에 영향을 미칩니다. 
Applicant perceptions of selection are commonly described using organisational justice theory,15 which distinguishes between distributive and procedural justice.

• Distributive justice describes the perceived fairness of the distribution of the outcome of the selection procedures, while
• procedural justice refers to the perceived fairness of the selection procedure and methods that are used to generate this outcome.15 Procedural justice consists of three components: the formal characteristics of procedures, explanation of procedures and decision-making and interpersonal treatment.

According to organisational justice theory, the three procedural justice components affect perceptions of different aspects of selection procedures. The present study focuses on the procedural justice component formal characteristics of selection, because according to Gilliland,15 perceptions of specific selection methods—the main interest of the present study—are mostly affected by this component. Examples of such formal characteristics include relevance and perceived validity of selection methods. The other two components, explanation of procedures and decision-making and interpersonal treatment, influence perceptions of the selection policy and the selection personnel, respectively.

교육 기관은 선발 절차에서 매우 다양한 방법을 사용합니다. 그러나 이러한 방법에 대한 지원자의 인식에 대한 지식은 여전히 부족합니다.2 체계적 문헌고찰에 따르면 면접과 상황판단검사(SJT)는 지원자의 지지가 높은 반면 적성검사는 덜 수용적이라고 인식하고 있습니다.1 이 문헌고찰에는 많은 수의 연구(71편)가 포함되어 있지만 대부분 단일 기관에서 특정 선발 방법에 대한 노출 후 수행되었습니다. 이전 연구에 따르면 선택 절차가 연구 선택에 영향을 미치는 것으로 나타났기 때문에2, 이러한 16개의 연구 결과는 제한적으로만 비교 및 일반화할 수 있습니다. 또한 Kelly 등1은 특정 선발 방법이 특히 소외계층 및 소수자 그룹에 의해 장벽으로 인식된다고 제안했지만, 검토 대상 연구 중 서로 다른 지원자 하위 그룹의 인식을 직접 비교한 연구는 없었습니다. 
Educational institutions use a great variety of methods in their selection procedures. However, knowledge about perceptions of applicants regarding these methods is still scarce.2 A systematic review concluded that interviews and situational judgement tests (SJTs) are highly supported by applicants, while aptitude tests are perceived as less acceptable.1 Although this review included a large number of studies (71), most were conducted in single institutions after exposure to one specific selection method. Because previous research indicates that the selection procedure plays a role in study choice,2, 16 results of such studies are only limitedly comparable and generalisable. Additionally, while Kelly et al.1 suggested that certain selection methods are specifically perceived as barriers by underrepresented and minority groups, none of the studies under review directly compared perceptions of different applicant subgroups.

지금까지 지원자 인식의 하위 그룹별 차이를 직접 조사한 연구는 거의 없었습니다. 우리가 아는 한, HPE 분야에서 단일 사이트 연구가 수행된 것은 단 한 건뿐입니다. 이 연구는 SJT에 초점을 맞춘 것으로, 소수 민족 학생과 1세대 대학생이 기존 전형에 비해 SJT 전형에 대해 다른 선호도를 보인다는 결론을 내렸습니다.14 학부 심리학 프로그램에서 수행된 또 다른 단일 현장 연구는 다양한 전형 방법을 포함했지만 배경 변수로 성별에만 초점을 맞추었습니다.2 추첨과 고등학교 성적은 낮은 선호도를 보인 반면 시험과 면접은 높은 선호도를 보였지만, 제공된 평가의 근거에 대해서는 살펴보지 않았습니다. 저자들은 동기 부여 설문지에 대해서만 여성이 남성보다 더 긍정적으로 평가했으며, 연구 대상인 다른 선발 방법에 대한 인식은 성별에 따라 다르지 않다는 것을 발견했습니다.
Thus far, only few studies have directly investigated subgroup differences in applicant perceptions. To our knowledge, only one single-site study was executed in the field of HPE. This research focused on SJTs and concluded that ethnic minority students and first-generation university students had other preferences in SJT format compared with their traditional counterparts.14 Another single-site study that was conducted at an undergraduate psychology programme included a wide range of selection methods but only focused on gender as a background variable.2 Low favourability ratings were found for lottery and high school grades, while tests and interviews were perceived as highly acceptable, but the rationales behind the provided ratings were not explored. The authors found that only motivation questionnaires were rated more positively by women than by men, while perceptions of other selection methods under research did not differ by gender.

따라서 다양한 방법을 포함하고 다양한 관련 배경 특성을 포함하는 다중 기관 환경의 연구와 관련하여 지원자 인식 문헌에는 격차가 존재합니다. 본 연구에서는 지원자들이 학부 HPE 입학을 위한 다양한 전형 방법을 어떻게 인식하는지, 그리고 그러한 인식의 근거는 무엇인지 조사했습니다. 또한 지원자의 성별, 이주 배경(인종 지표), 부모 교육(사회경제적 지위 지표), 이전 교육 등 선발 결과와 관련된 배경 변수를 기반으로 지원자 하위 그룹 간에 이러한 인식이 다른지 평가했습니다.12, 13, 17, 18 
Thus, there is a gap in the applicant perceptions literature with respect to research in multi-institutional settings, that includes a variety of methods and that includes numerous relevant background characteristics. In the present study, we investigated how applicants perceive different selection methods for admission into undergraduate HPE and the rationales behind their perceptions. Additionally, we assessed whether these perceptions differ across subgroups of applicants based on background variables that are associated with selection outcomes: applicants' gender, migration background (as an indicator of ethnicity), parental education (as an indicator of SES) and prior education.12, 13, 17, 18

2 방법
2 METHOD

설정 및 절차
Setting and procedure

본 연구는 네덜란드에 있는 3개의 의학 프로그램, 1개의 기술-의료 프로그램, 1개의 약학 프로그램을 포함한 5개의 학부 HPE 프로그램에서 수행되었습니다. 5개 프로그램 모두 자체적으로 설계한 선발 절차가 달랐으며, 최소 두 가지 선발 방법으로 구성되었습니다. 
The present study was conducted at five undergraduate HPE programmes in the Netherlands, including three medical programmes, one technical-medical programme and one pharmacy programme. All five programmes had different self-designed selection procedures, composed of at least two selection methods.

네덜란드에서는 다양한 유형의 학부 HPE 프로그램의 입학 요건이 비슷합니다. 지원 자격을 얻으려면 모든 지원자는 이수 과목(예: 물리, 화학, 생물학) 및 교육 수준(대학 전 교육 졸업 수준)과 관련하여 동일한 엄격한 요건을 충족해야 합니다. 지원자는 다양한 교육 경로를 통해 지원할 수 있지만, 모두 앞서 언급한 요건을 충족한다는 증거를 제출해야 합니다. 결과적으로 지원자 풀은 비교적 동질적이며, 대학 수준의 학부 HPE 프로그램에 지원하는 학생들은 이미 선택성이 높은 중등 교육으로 인해 학업 능력에 따라 강력하게 사전 선발됩니다.19 그러나 pu-GPA와 관련된 입학 요건은 없습니다. 지원자는 자신이 선택한 프로그램에 지원할 때 하나의 특정 교육기관에 지원하게 됩니다. 각 기관마다 미리 정해진 정원이 있습니다. 법에 따라 교육기관은 선발 절차의 일부로 구현할 수 있는 개별 도구인 선발 방법을 사용하여 평가되는 최소 두 가지 선발 기준을 포함해야 합니다. 그러나 선발 방법의 내용 및 품질, 그리고 어떤 방식으로 결합할 것인지에 대한 추가 요건은 없습니다. 따라서 각 기관의 다양한 유형의 HPE 프로그램 간 또는 프로그램 내에서 채택하는 선발 절차는 매우 다양합니다. 현재 프로그램에서 선발 절차의 일부로 (가중치 및 비가중치) 추첨을 선발 방법으로 포함할 수 있도록 허용하는 법안이 계류 중입니다. 
In the Netherlands, admission requirements of different types of undergraduate HPE programmes are comparable. To be eligible, all applicants need to meet the same stringent requirements regarding subjects taken (e.g. physics, chemistry and biology) and educational level (graduation level of pre-university education). Although applicants can apply from different educational routes, they all need to provide proof that they meet aforementioned requirements. Consequently, the applicant pools are relatively homogeneous; students who apply to a university-level undergraduate HPE programme are already strongly preselected based on academic skills due to highly selective secondary education.19 There are no admission requirements, however, with respect to pu-GPA. When applicants apply to their programme of choice, they apply to one specific institution. For each institution, there is a predetermined fixed number of places. By law, institutions are required to include at least two selection criteria, which are assessed using selection methods—the individual tools that can be implemented as part of a selection procedure. However, there are no additional requirements with respect to, for instance, the contents and quality of the selection methods, and in which way they would be combined. Consequently, there is great variety in the selection procedures that programmes employ, both between and within different types of HPE programmes at different institutions. Currently, a bill is pending that should allow programmes to also include (weighted and unweighted) lottery as a selection method as part of their selection procedure.

2020년 9월에 입학 선발 절차에 참여한 모든 지원자(N = 3280명)를 대상으로 지원자 인식에 대한 온라인 설문조사에 참여하도록 초대했습니다. 또한 지원자들은 현장 테스트 당일 또는 이메일을 통해 인구통계학적 설문지를 작성하도록 요청받았습니다.  
All applicants engaged in the selection procedures for entry in September 2020 (N = 3280) were invited to participate in an online survey on applicant perceptions. Additionally, applicants were asked to complete a demographics questionnaire either during an on-site testing day or via e-mail.

모든 참가자로부터 사전 동의를 얻었습니다. 지원자에게는 참여는 자발적인 것이며 선발 결과에 영향을 미치지 않는다는 사실을 알렸습니다. 어떠한 인센티브도 제공되지 않았습니다. 에라스무스 MC의 의료윤리심의위원회는 이 연구가 심의 면제 대상이라고 선언했습니다. 
Informed consent was obtained from all participants. Applicants were informed that participation was voluntary and would not influence their selection outcomes. No incentives were provided. The Medical Ethical Review Committee of Erasmus MC declared the study exempt from review.

척도 Measures

지원자의 인식은 조직 정의 이론에 기반한 7개 항목이 포함된 이전에 보고된 설문지를 사용하여 측정했습니다.14 각 항목은 7점 리커트 척도를 사용하여 평가했습니다.

• 이전 연구에 따라2, 14 일반적 호감도는 두 가지 항목을 사용하여 평가했습니다.
  • 지각된 예측 타당성과 
  • 지각된 공정성
• 나머지 5개 항목은 절차적 정의 차원인 다음을 반영했습니다.
  • 안면 타당도,
  • 지원자 차별성,
  • 학업 관련성,
  • 수행 기회,
  • 부정행위의 용이성
• 각 정의 차원에 대한 구체적인 항목(즉, 응답자에게 제공된 정의)과 평가 척도는 표 S1에서 확인할 수 있습니다.

Applicant perceptions were measured using a previously reported questionnaire including seven items based on organisational justice theory.14 Each item was judged using a 7-point Likert scale.

• In accordance with previous studies,2, 14 general favourability was assessed using two items:
  • perceived predictive validity and
  • perceived fairness.
• The other five items reflected the following procedural justice dimensions:
  • face validity,
  • applicant differentiation,
  • study relatedness,
  • chance to perform and
  • ease of cheating.
• The specific items (i.e. definitions provided to respondents) and rating scales of each justice dimension can be consulted in Table S1.

Table S1. Applicant perception items

Label	Item
Perceived predictive validity	How would you rate the effectiveness of [insert method] for identifying qualified people for medical school? (1: very ineffective – 7: very effective)
Perceived fairness	If you would not be admitted based on a [insert method], what would you think of the fairness of this procedure? (1: very unfair – 7: very fair)
Face validity	A [insert method] is a logical test for identifying qualified applicants for medical school. (1: strongly disagree – 7: strongly agree)
Applicant differentiation	A [insert method] measures an individual's important qualities, differentiating them from others. (1: strongly disagree – 7: strongly agree)
Study relatedness	A person who scores well on a [insert method] Test will be a good medical student. (1: strongly disagree – 7: strongly agree)
Chance to perform	I could really show my skills and abilities through a [insert method]. (1: strongly disagree – 7: strongly agree)
Ease of cheating	It is easy to cheat or fake on a [insert method]. (1: strongly disagree – 7: strongly agree)

medu14949-sup-0001-revised supplemental files (clean).docx

0.04MB

응답자들은 [일반적으로 사용되는 11가지 전형 방법]에 대해 지원자 인식 항목을 개별적으로 평가하도록 요청받았습니다.

• 인지능력 검사,
• 커리큘럼 샘플링 검사,
• 이력서(CV),
• 면접,
• 지원동기서,
• 인성 설문지,
• 대학 전 학년 평균(pu-GPA),
• SJT,
• 스킬 테스트,
• 무가중 추첨 및 가중 추첨

무가중 추첨과 가중 추첨의 경우, 다른 항목은 해당 전형 방법과 관련이 없는 것으로 간주하여 일반적 호감도와 안면 타당도만 평가했습니다. 각 선발 방법에 대한 간략한 설명(표 S2)과 함께 SJT 및 인성 설문지의 예시 항목이 제공되었습니다. 각 선발 방법(추첨 포함)에 대해 지원자들은 '[삽입 방법]을 선발 방법으로 사용하는 것에 대해 하고 싶은 말이 있습니까?"라는 개방형 질문에 답하도록 요청받았습니다. 선발 방법은 순서 효과를 완화하기 위해 무작위 순서로 제시되었습니다. 
Respondents were asked to rate the applicant perception items separately for 11 commonly used selection methods:

• cognitive capacity test,
• curriculum-sampling test,
• curriculum vitae (CV),
• interview,
• motivation letter,
• personality questionnaire,
• pre-university grade-point average (pu-GPA),
• SJT,
• skills test,
• unweighted lottery and weighted lottery.

For unweighted and weighted lottery, only general favourability and face validity were assessed, as the other items were considered irrelevant for those methods. A short description of each selection method was provided (Table S2), along with example items for the SJT and personality questionnaire. For each method (including lottery), applicants were also asked to answer the following open-ended question: ‘Do you have any remarks about using [insert method] as a selection method?’ The selection methods were presented in a random order to mitigate order effects.

Table S2. Operational definitions of presented selection methods

Method	Description provided to applicants
Cognitive capacity test	분석적 추론, 언어적 추론, 공간적 통찰력 등 지원자의 지능과 인지 능력을 평가하는 테스트입니다. 예를 들어 IQ 테스트 또는 독해력 테스트가 있습니다. Test that assesses intelligence and cognitive abilities of the applicants, such as analytical reasoning, verbal reasoning and spatial insight. Examples include an IQ test or a reading comprehension test.
Curriculum-sampling test	커리큘럼 샘플링 시험의 경우, 지원자는 학습 프로그램을 대표하는 과목에 대한 강의를 듣거나 나중에 평가할 학습 자료를 받습니다. For the curriculum-sampling test, applicants attend a lecture on a subject representative for the study program and/or receive study material on which they will be assessed at a later date.
Curriculum vitae	A CV describes extra-curricular activities, such as work experience, a board position or caregiving.
Interview	Interview with a selection committee in which applicants are asked various questions about their background, skills and motivation.
Motivation letter	지원자는 동기 부여 편지에서 프로그램에 지원하게 된 동기를 설명합니다. In a motivation letter, applicants describe their motivation for the program.
Personality questionnaire	Questionnaire on personality characteristics in which applicants have to indicate to what extent they agree with various statements.
Pre-university grade point average	Average of grades that applicants achieved in secondary school, for example average of grades obtained in their penultimate year.
Situational Judgement Test	Test consisting of short scenarios that describe difficult situations that applicants can encounter in the program. The scenarios are followed by a number of possible reactions to each situation, which applicants judge for appropriateness.
Skills test	의료 윤리적 문제에 대한 성찰이나 환자에게 나쁜 소식을 전달하는 등 프로그램에서 특별히 중요한 기술을 평가하는 테스트입니다. Test that assesses skills that are of specific importance to the program, for example reflecting on medical-ethical issues or delivering bad news to a patient.
Unweighted lottery	Applicants are only admitted to the program on the basis of chance.
Weighted lottery	Applicants are placed in different lottery categories based on their pre-university grade point average. Applicants with a higher pre-university grade point average have a greater chance of being admitted.

인구통계학적 설문지에는 성별, 이주 배경, 이전 교육, 부모 교육 등의 변수가 포함되었습니다. 본 연구에서는 성별 다양성을 인정하여 지원자는 '남성', '여성', '기타(자유 텍스트 상자)'의 세 가지 범주 중에서 선택할 수 있었습니다. 이주 배경은 네덜란드 통계청(CBS)에 따라 정의되었습니다. 지원자는 다음의 세 가지 그룹으로 분류되었습니다. 

• (i) 부모 모두 네덜란드에서 태어난 경우 이주 배경 없음, 
• (ii) 부모 중 한 명 이상이 유럽(네덜란드, 터키 제외), 북미, 오세아니아, 일본 또는 인도네시아에서 태어난 경우 서구 이주 배경, 
• (iii) 부모 중 한 명 이상이 아프리카, 아시아(일본, 인도네시아 제외), 라틴 아메리카 또는 터키에서 태어난 경우 비 서구 이주 배경

사전 교육과 관련해서는 네덜란드의 표준 대학 예비 교육, 대학 및 기타 형태의 사전 교육(예: 고등 직업 교육, 외국 교육)을 구분했습니다. 마지막으로, 부모 교육과 관련하여 지원자의 부모 중 고등 교육(대학 또는 고등 직업 교육)을 받은 사람이 없는 경우 지원자를 1세대 대학 지원자로 분류했습니다.
The following variables were included in the demographics questionnaire: gender, migration background, prior education and parental education. Gender diversity was acknowledged in the present study, and applicants had the option to choose between three categories: ‘man’, ‘woman’ and ‘other, namely [free text box]’. Migration background was defined in accordance with Statistics Netherlands (CBS). Applicants were categorised in three groups:

• (i) no migration background when both parents were born in the Netherlands;
• (ii) a Western migration background when at least one parent was born in Europe (excluding the Netherlands and Turkey), North America, Oceania, Japan or Indonesia; and
• (iii) a non-Western migration background when at least one parent was born in Africa, Asia (excluding Japan and Indonesia), Latin America or Turkey.

With respect to prior education, we distinguished between standard Dutch pre-university education, university and other forms of prior education (e.g. higher vocational education, foreign education). Finally, for parental education, applicants were categorised as first-generation university applicants when none of their parents had attended higher education (university or higher vocational education).

분석 결과
Analyses

다양한 선발 방식에 대한 지원자의 인식을 조사하기 위해 서술적 통계를 사용했습니다. 내적 일관성을 확인한 후, 응답자별로 각 전형 방법에 대한 일반적 호감도는 두 가지 일반적 호감도 항목의 평균 점수로 계산했습니다. 일반 호감도 및 기타 항목에 대해서는 각 선택 방법에 대한 평균 점수와 95% 신뢰 구간을 계산했습니다. 또한 절차적 정의 차원 간의 관계를 조사하기 위해 각 전형 방식에 대한 일반 호감도 점수와 다른 항목 간의 상관관계를 계산했습니다.
In order to investigate applicant perceptions of different selection methods, we used descriptive statistics. After checking for internal consistency, general favourability of each method for each respondent was calculated as the mean score on the two general favourability items. For general favourability and the other items, the mean score and 95% confidence interval for each selection method were calculated. Additionally, we calculated correlations between scores on general favourability and the other items for each method to examine relationships between the procedural justice dimensions.

지원자 하위 그룹에 따라 지원자의 인식이 다른지 알아보기 위해 선형 혼합 모델을 사용했습니다. 혼합 모델을 통해 부분적으로 누락된 데이터를 보완하고 개인 및 상황 관련 차이를 통제할 수 있었습니다. 이 모형의 종속변수는 평균 일반 호감도 점수였습니다. 고정 효과에는 선발 방법뿐만 아니라 각 선발 방법과 관심 있는 인구통계학적 변수(성별, 이주 배경, 이전 교육 및 부모 교육) 간의 상호작용 효과가 포함되었습니다. 무작위 요인에는 지원자 ID와 지원자가 지원한 프로그램이 포함되었으며, 구조화되지 않은 공분산 구조를 사용했습니다. 공분산 구조에 대한 결정은 카이카이크 정보 기준에 따라 이루어졌습니다. 이 분석을 위해 개별 지원자의 데이터는 11가지 선발 방법 중 최소 10개에 대해 일반적 호감도가 평가된 경우에만 사용되었습니다.
To study whether applicant perceptions differed for subgroups of applicants, we used a linear mixed model. The mixed model compensated for partially missing data and allowed us to control for individual and context-related differences. The dependent variable in this model was the mean general favourability score. Fixed effects included the selection method, as well as the interaction effects between each selection method and the demographic variables of interest (gender, migration background, prior education and parental education). Random factors included applicant id and the programme to which the applicant applied, using an unstructured covariance structure. The decision on the covariance structure was based on the Akaike information criterion. For this analysis, data of individual applicants were used only when at least 10 of the 11 selection methods were rated on general favourability.

개방형 질문에 대한 답변은 구성주의 패러다임에서 지원자의 인식 이면에 있는 근거를 보다 심층적으로 파악하는 데 사용되었습니다. 본 연구에서는 지시적 접근법을 사용하여 내용에 대한 질적 분석을 사용했습니다.20 지시적 접근법에서는 이론적 틀을 검증하고 확장하는 것을 목표로 코드 형성을 위한 초기 지침으로 이론을 사용합니다. 본 연구에서는 조직 정의 이론의 이론적 개념이 코딩 과정의 토대를 형성했습니다. 장과 와일더무스가 설명한 분석 절차를 따랐습니다.21 

• 제1저자(SFW)는 데이터를 숙지하고 코딩 매뉴얼을 개발했습니다.
• 설문지의 이론적 개념인 안면 타당도, 지원자 차별화, 연구 관련성, 수행 기회 및 부정행위의 용이성에 따라 상위 코드는 미리 결정되었습니다.
  • 또한 우리가 실시한 설문지에서 다루지 않은 조직 정의 이론의 다른 개념인 분배 정의, 채용 중 반응, 채용 후 반응, 자기 인식과
  • 절차적 정의와 관련하여 이전에 보고된 설문지에서 사용된 기타 항목인 과학적 증거, 대인관계의 따뜻함, 사용할 권리, 사생활 침해, 광범위한 사용, 노력 기대치, 알려진 정보, 재고 기회, 피드백, 관리의 일관성, 개방성, 대우, 쌍방향 커뮤니케이션도 코딩 매뉴얼에 상위 코드로 포함했습니다.2, 22
• 하위 코드는 코딩 과정에서 개발되었습니다.
  • 따라서 먼저 공개 답변이 어떤 이론적 개념을 참조하는지 파악한 후(상위 코드),
  • 지원자가 제공한 구체적인 주장을 코딩했습니다(하위 코드).
• 또한 분석의 모든 단계에서 비판적인 대화를 나누고 이론의 사각지대를 인식함으로써 이론적 틀을 벗어난 잠재적으로 관련성이 있는 결과를 식별하기 위해 반성적 태도를 취하고자 했습니다.
• 제1저자(박사과정, 교육학 전공)와 제2저자(KMSJ, 선임연구원, 교육학 전공, 다양성 연구 경험)는 각 선택 방법에 대해 두 가지 답변을 함께 코딩한 다음, 각 선택 방법에 대해 10개의 무작위 샘플을 독립적으로 코딩했습니다.
• 일치도가 높았기 때문에 나머지 답변은 SFW가 코딩한 후 KMSJ가 일관성 검사를 실시했습니다.
• 일관성 점검은 각 코드에 대해 댓글의 하위 샘플이 해당 특정 코드가 다루는 주제에 실제로 적용되는지 여부를 비판적으로 검토하는 것을 수반했습니다.
• SFW는 전체 연구팀과 논의한 데이터에서 결론을 도출했습니다.

The answers to the open-ended questions were used to get a more in-depth view of the rationales behind applicant perceptions, from a constructivist paradigm. We used qualitative analysis of content, employing a directed approach.20 With a directed approach, a theory is used as initial guidance for the formation of codes with the goal of validating and extending the theoretical framework. In the present study, theoretical concepts of organisational justice theory formed the foundation for the coding process. We followed the analytical procedure described by Zhang and Wildemuth.21 

• The first author (SFW) familiarised herself with the data and developed a coding manual.
• Higher order codes were predetermined and were based on the theoretical concepts of the questionnaire: face validity, applicant differentiation, study relatedness, chance to perform and ease of cheating.
• Additionally,
  • other concepts of organisational justice theory that were not covered by the questionnaire we administered were included as higher order codes in the coding manual, including distributive justice, reactions during hiring, reactions after hiring and self-perceptions,
  • as well as other items used in previously reported questionnaires referring to procedural justice: scientific evidence, interpersonal warmth, right to use, invasion of privacy, wide-spread use, effort expectancy, information known, reconsideration opportunity, feedback, consistency of administration, openness, treatment and two-way communication.2, 22 
• Lower order codes were developed during the coding process.
  • Thus, we first identified to which theoretical concept an open answer referred (higher order codes) and
  • subsequently coded the specific argument the applicant provided (lower order codes).
• We also aimed to employ reflexivity to identify potentially relevant findings that were outside of our theoretical framework, by having critical dialogues throughout all stages of the analyses and being aware for blind spots in the theory.
• SFW (PhD candidate, background in educational sciences) and the second author (KMSJ; senior researcher, background in educational sciences, experienced in research on diversity) coded two answers for each selection method together and then coded a random sample of 10 answers for each selection method independently. 
• Because there was a high level of agreement, SFW coded the remaining answers, after which KMSJ conducted a consistency check.
• The consistency check entailed that for each code, it was critically reviewed whether a subsample of the comments did indeed apply to the subject covered by that specific code.
• SFW drew conclusions from the data that were discussed with the full research team.

3 결과
3 RESULTS

참가자 특성
Participant characteristics

총 704명의 지원자가 연구에 참여했습니다(응답률 = 21%). 응답자 중 71%가 여성으로 확인되었으며, '기타'라고 밝힌 지원자는 1명이었습니다. 이 지원자는 하위 그룹 분석에서 제외되었으므로 결과에는 남성과 여성 범주만 설명되어 있습니다. 또한 35%는 이주 배경을 가지고 있었고(비서양 26%, 서양 9%), 25%는 1세대 대학 지원자였습니다. 사전 교육과 관련하여 77%는 표준 예비 대학 교육, 15%는 대학, 8%는 기타 형태의 사전 교육을 통해 직접 지원했습니다. 성별, 부모 교육 및 사전 교육과 관련하여 본 연구의 인구통계학적 분포는 남성과 1세대 대학 지원자가 과소 대표되는 네덜란드에서 수행된 다른 연구와 비슷했습니다.12, 17, 18 이주 배경을 가진 지원자 역시 네덜란드에서 과소 대표되지만,12 본 연구에서는 상대적으로 큰 하위 그룹을 구성했으며, 이는 포함된 대부분의 프로그램이 도시 환경에 있기 때문일 수 있습니다. 
In total, 704 applicants participated in the study (response rate = 21%). Amongst the respondents, 71% identified as woman, and one applicant identified as ‘other’. This individual was excluded from the subgroup analyses and therefore only the categories men and women are described in the results. Furthermore, 35% had a migration background (26% non-Western, 9% Western), and 25% were first-generation university applicants. With respect to prior education, 77% applied directly from standard pre-university education, 15% from university and 8% from other forms of prior education. With respect to gender, parental education and prior education, demographic distributions in the present study were comparable with those of other research conducted in the Netherlands, where men and first-generation university applicants are underrepresented.12, 17, 18 Applicants with a migration background are also underrepresented in the Netherlands,12 but composed a relatively large subgroup in the present study, which may be due to the urban setting of most of the included programmes.

일반적 호감도
General favourability

두 가지 일반적 호감도 항목은 충분하거나 양호한 내적 일관성을 보였습니다(인지 능력 테스트: α = 0.84, 커리큘럼 샘플링 테스트: α = 0.74, 이력서: α = 0.83, 인터뷰: α = 0. 77, 지원동기서: α = 0.79, 인성검사: α = 0.79, pu-GPA: α = 0.85, SJT: α = 0.81, 스킬 테스트: α = 0.79, 무가중 추첨: α = 0.79, 무가중 추첨: α = 0.86).
The two general favourability items showed a sufficient to good internal consistency (cognitive capacity test: α = 0.84, curriculum-sampling test: α = 0.74, CV: α = 0.83, interview: α = 0.77, motivation letter: α = 0.79, personality questionnaire: α = 0.79, pu-GPA: α = 0.85, SJT: α = 0.81, skills test: α = 0.79, unweighted lottery: α = 0.79, unweighted lottery: α = 0.86).

지원자들은 커리큘럼 샘플링 시험(평균 [M] = 5.32, 95% 신뢰 구간 [95% CI; 5.24, 5.40], 표 1)에 대해 가장 높은 호감도를 보인 반면, 가중치 추첨(M = 3.05 [2.93, 3.17])과 무가중 추첨(M = 2.97 [2.83, 3.10])은 가장 낮게 인식했습니다.
Applicants provided the highest general favourability ratings for curriculum-sampling tests (mean [M] = 5.32, 95% confidence interval [95% CI; 5.24, 5.40]; Table 1), while weighted lottery (M = 3.05 [2.93, 3.17]) and unweighted lottery (M = 2.97 [2.83, 3.10]) were perceived least favourable.

일반 호감도 점수와 다른 지원자 인식 항목 간의 상관관계는 모두 통계적으로 유의미했지만(p <0.05), 상관관계의 강도에 있어서는 큰 폭의 차이가 있었습니다(표 3 참조). 일반적인 호감도와 가장 강력한 상관관계를 보인 정의 차원은 안면 타당도였으며, 부정행위의 용이성과 일반적인 호감도 간의 음의 상관관계는 가장 작았습니다. 
All correlations between the general favourability score and other applicant perception items were statistically significant (p < 0.05), but there was a great range in the strengths of the correlations (see Table 3). The justice dimension that was most strongly related with general favourability was face validity, while the negative correlation between ease of cheating and general favourability was the smallest.

지원자의 인식은 프로그램마다 다른 것으로 나타났습니다(표 2). 일반적으로 지원자들은 자신이 지원한 프로그램에서 사용하는 선발 방식에 대해 사용하지 않는 방식에 비해 더 긍정적인 인식을 가지고 있었습니다. 
Applicant perceptions appear to differ between different programmes (Table 2). Generally, applicants had more positive perceptions towards selection methods used by the programme they applied to compared with methods that were not used.

정의 차원
Justice dimensions

다음 섹션에서는 인식 점수의 정량적 결과와 지원자의 추론에 대한 정성적 결과를 통합하여 다양한 정의 차원에 대한 결과를 제시합니다. 가장 두드러진 결과만 논의하며, 정량적 및 정성적 결과에 대한 전체 개요는 각각 표 3과 표 4를 참조하시기 바랍니다.
In the next sections, the results for the different justice dimensions will be presented by integrating the quantitative findings of perception scores and the qualitative findings of applicants' reasoning. Only the most salient findings are discussed, and for a complete overview of the quantitative and qualitative findings, we refer to Tables 3 and 4, respectively.

 

 

3.3.1 안면 타당도
3.3.1 Face validity

커리큘럼 샘플링 테스트와 기술 테스트가 안면 타당도에서 가장 높은 평가를 받았지만(각각 M = 5.46, 95% CI [5.37, 5.54], M = 5.27 [5.18, 5.36]), 지원자들은 이 차원과 관련하여 이 방법들에 대해 언급하지 않았습니다. 이는 다른 차원에서도 지원자들이 주로 부정적인 측면에 초점을 맞춰 댓글을 달았다는 점을 잘 보여줍니다. 면접은 안면 타당도 척도에서도 높은 평가를 받았습니다(M = 5.17 [5.07, 5.27]). 지원자들은 동기 부여, 성격, 사회적 기술 등의 속성을 중요하게 생각했지만 이러한 속성에 대한 서면 평가보다는 구두 면접을 선호했습니다. 이는 인성 설문지의 상대적으로 낮은 평가(M = 3.87 [3.75, 3.99])를 설명할 수도 있습니다. Pu-GPA 역시 안면 타당도(M = 3.70 [3.58, 3.82])에서 낮은 평가를 받았으며, 지원자들은 입학 요건이 이미 프로그램에 입학할 수 있는 역량을 충분히 증명하기 때문에 pu-GPA는 부가가치가 없다고 언급했습니다. 가중 추첨과 무가중 추첨에 대한 평점이 가장 낮았습니다(각각 M = 2.99 [2.87, 3.12], M = 2.50 [2.37, 2.63]). 지원자들은 두 가지 유형의 추첨이 모두 지원자의 스트레스와 부담을 줄일 수 있다는 점을 인정했지만, 자신을 차별화하려는 강한 열망을 전달했으며 추첨이 가장 우수하고 동기 부여가 높은 학생을 선발하지 못할 것이라고 믿었습니다. 
Curriculum-sampling tests and skills tests received the highest ratings on face validity (respectively, M = 5.46, 95% CI [5.37, 5.54], M = 5.27 [5.18, 5.36]), but applicants did not comment on these methods with respect to this dimension. This is illustrative of the observation that, also for other dimensions, applicants mainly focused on negative aspects in their comments. Interviews were also rated highly on the scale of face validity (M = 5.17 [5.07, 5.27]). Applicants considered attributes such as motivation, personality and social skills important but preferred an oral interview over a written assessment of these attributes. This may also explain the relatively low rating of personality questionnaires (M = 3.87 [3.75, 3.99]). Pu-GPA also received a low rating on face validity (M = 3.70 [3.58, 3.82]), and applicants mentioned that pu-GPA was not of added value as the admission requirements would already provide enough evidence of their capacity to enter the programme. The lowest ratings were provided for weighted and unweighted lottery (respectively, M = 2.99 [2.87, 3.12], M = 2.50 [2.37, 2.63]). Although applicants acknowledged that both types of lottery can reduce stress and pressure for applicants, they communicated a strong desire to distinguish themselves and believed that lotteries would not select the best and most motivated students.

3.3.2 지원자 차별화
3.3.2 Applicant differentiation

기술 테스트와 면접은 지원자 차별화에서 상대적으로 높은 점수를 받았습니다(각각 M = 5.25 [5.16, 5.34], M = 5.23 [5.13, 5.33]). 지원자들이 차별화 기술을 평가하고 평가자가 지원자의 역량을 적절히 파악할 수 있다고 언급한 유일한 전형 방식이었습니다. 그러나 대부분의 선발 방식에 대해 지원자들은 해당 방식이 평가하고자 하는 방식이 아닌 다른 기술을 기준으로 지원자를 구별한다고 지적했습니다.

• 예를 들어, 지원자들에 따르면 동기부여서는 순수한 동기 대신 글쓰기 능력을 평가하고,
• 선발 시험은 목표 지식이나 기술 대신 시험에 대한 지혜와 준비 시간을 측정합니다.
• 인성 문항과 SJT는 지원자의 실제 성격이나 상황에 대한 반응보다는 매우 기초적인 지식인 사회적 기대에 대한 지식에 따라 지원자를 구분한다는 비판을 받았습니다.

Pu-GPA에 대해서 지원자들은 같은 성적을 받은 지원자라도 동기, 노력, 난이도에 따라 차이가 크다고 답해 가장 낮은 점수(M = 3.25 [3.13, 3.36])를 받았습니다. 
Skills tests and interviews received relatively high scores on applicant differentiation (respectively, M = 5.25 [5.16, 5.34], M = 5.23 [5.13, 5.33]). These were the only methods for which applicants mentioned that distinguishing skills are assessed and assessors can get an adequate overview of applicants' competencies. For most of the selection methods, however, applicants indicated that the methods distinguish candidates based on other skills than the methods are intended to assess.

• For instance, according to applicants, motivation letters assess writing skills instead of pure motivation, and
• selection tests measure test wiseness and preparation time instead of the targeted knowledge or skills.
• Personality questionnaires and SJTs received the criticism that applicants are distinguished based on their knowledge of social expectations—which they expected to be very basic knowledge—rather than their actual personality or reactions to situations.

Pu-GPA received the lowest scores (M = 3.25 [3.13, 3.36]), as applicants mentioned that the same grade is the result of a wide range in motivation, effort and degree of difficulty.

3.3.3 학업 관련성
3.3.3 Study relatedness

일반적인 호감도에 비해 학업 관련성에 대한 평균 점수는 모든 전형 방법에서 상대적으로 낮았습니다(범위 M = 2.93~4.43). 이는 각 전형 방법에서 지원자들이 특정 관련 기술만 평가하고 다른 중요한 속성에 대한 정보는 누락되었다고 응답했기 때문일 수 있습니다. 예를 들어, 지원자들에 따르면 인지 능력 테스트는 정보 처리 및 문제 해결과 같은 관련 기술을 평가할 수 있지만 사회성 및 의사 소통 능력은 고려되지 않습니다. 따라서 지원자들은 어떤 방법도 학습 성과를 완벽하게 예측할 수 없다고 생각했으며, 여러 가지 선발 방법을 조합하는 것을 선호했습니다. 지원자들은 광범위한 기술을 평가하는 것을 선호했지만, 프로그램 과정에서 이러한 기술을 개발할 수 있는 여지가 있어야 한다고 답해 딜레마가 발생했습니다. 
Compared with general favourability, the mean scores on study relatedness were relatively low for all selection methods (range M = 2.93–4.43). A possible explanation is that for each selection method, applicants indicated that only certain relevant skills are assessed, while information on other important attributes is missed. For instance, while cognitive capacity tests can, according to applicants, assess relevant skills such as information processing and problem-solving, social and communicative skills are not taken into account. Thus, applicants believed that none of the methods can fully predict study performance and they preferred a combination of selection methods. Although applicants preferred assessment of a broad range of skills, they also stated that there should be room to develop those skills over the course of the program, introducing a dilemma.

스킬 테스트와 커리큘럼 샘플링 테스트는 학습 관련성에서 가장 높은 점수를 받았습니다(각각 M = 4.43 [4.33, 4.53], M = 4.38 [4.28, 4.48]). 지원자들은 두 가지 방법 모두 광범위한 기술을 평가할 수 있다고 언급했습니다. 또한, 이 두 가지 방법의 경우에만 지원자들이 프로그램과 교재에 대해 더 잘 알 수 있어, 지원자가 프로그램 내용에 관심이 있고 대처할 수 있는지를 평가할 수 있는 기회를 제공한다고 답했습니다. 가장 낮은 점수를 받은 평가 방법인 pu-GPA과 이력서(각각 M = 3.11 [3.00, 3.22], M = 2.93 [2.82, 3.04])에 대해 지원자들은 평가된 기술이 너무 일반적이며 이전 성과가 미래의 성공을 예측할 수 없다고 답했습니다. 
Skills tests and curriculum-sampling tests received the highest scores on study relatedness (respectively, M = 4.43 [4.33, 4.53], M = 4.38 [4.28, 4.48]). Applicants mentioned that both methods can assess a broad range of skills. Moreover, only for these methods, applicants stated that they can become more acquainted with the programme and its course materials, creating an opportunity for applicants to assess whether they are interested in and able to cope with the programme content. For the lowest scoring methods—pu-GPA and CV (respectively, M = 3.11 [3.00, 3.22], M = 2.93 [2.82, 3.04])—applicants stated that the assessed skills are too generic and that previous performance is not predictive of future success.

3.3.4 수행 기회
3.3.4 Chance to perform

수행 기회에 대한 평균 점수도 상대적으로 낮았습니다(범위 M = 3.09~4.90). 정성적 결과는 이 결과에 대한 몇 가지 잠재적인 설명을 제공합니다.

• 첫째, 지원자들은 수행 기회와 관련하여 몇 가지 딜레마를 언급했습니다. 예를 들어, 지원자들은 이전 성과보다 현재 지식과 기술에 대한 평가를 선호했으며, 스냅샷 평가의 단점을 지적했습니다.
• 둘째, 각 선발 방식에 대해 지원자들은 특정 하위 그룹의 수행 기회를 방해할 수 있는 불평등의 원인을 발견했습니다. 예를 들어, 의료 분야 내 네트워크의 존재는 이력서를 작성하는 데 유용한 것으로 간주되었으며, 충분한 재정적 자원이 있는 지원자는 더 나은 시험 결과를 위해 상업적 코칭을 받거나 더 높은 pu-GPA을 받기 위해 과외를 받을 수 있었습니다.

실기 시험과 면접은 각각 4.90점(4.80점, 5.00점), 4.77점(4.66점, 4.89점)으로 더 높은 점수를 받았으며, 지원자들은 이러한 방법이 다양한 자질을 보여줄 수 있는 여지를 더 많이 제공한다는 인상을 받았다고 언급했습니다. Pu-GPA가 가장 낮은 점수(M = 3.09 [2.97, 3.21])를 받았는데, 이는 지원 전에 데이터가 수집되었기 때문에 지원자들이 이 선발 방법에 대한 통제력이 부족하다고 느꼈기 때문으로 설명할 수 있습니다.
The mean scores on chance to perform were also relatively low (range M = 3.09–4.90). The qualitative results provide some potentially relevant explanations for this finding.

• First, applicants mentioned some dilemmas with respect to chance to perform. For instance, they preferred assessment of current knowledge and skills over previous achievements and pointed out drawbacks of snapshot assessments.
• Second, for each selection method, applicants noticed sources of inequality that can interfere with the chance to perform on a method for certain subgroups. For example, the existence of a network within the medical field was considered useful for building a CV, and applicants with enough financial resources could take commercial coaching for better test results and tutoring for a higher pu-GPA.

Skills test and interview scored higher on chance to perform (respectively, M = 4.90 [4.80, 5.00], M = 4.77 [4.66, 4.89]), and applicants noted that they got the impression that these methods allow for more space to show a broad range of qualities. Pu-GPA received the lowest scores (M = 3.09 [2.97, 3.21]), which can be explained by the fact that applicants experienced a lack of control for this selection method, as data had been collected before application.

3.3.5 부정행위의 용이성
3.3.5 Ease of cheating

부정행위의 용이성에서 가장 높은 점수를 받은 네 가지 전형 방법인 인성검사, 지원동기서, SJT, 면접(각각 M = 6.06 [5.96, 6.16], M = 5.72 [5.62, 5.82], M = 4.72 [4.57, 4.86], M = 4.62 [4.50, 4.74])에 대해 지원자들은 사회적 바람직성이 중요한 역할을 할 수 있다고 언급했습니다. 지원 동기 편지에 대한 추가 의견으로는 지원자가 다른 사람에게 편지를 쓰게 하여 쉽게 속일 수 있다는 점이 있었습니다. 이력서 역시 상대적으로 부정행위를 저지르기 쉬운 것으로 간주되었습니다(M = 4.42 [4.28, 4.56]). 지원자들은 문서를 위조하기 쉽고, 소수의 이력서 샘플만을 대상으로 정확성 여부를 확인한다고 설명했습니다. 지원자들은 점수가 낮은 선발 방식에서 부정행위가 더 어려운 이유에 대해 별다른 언급을 하지 않았습니다.
For the four selection methods scoring highest on ease of cheating—personality questionnaire, motivation letter, SJT and interview (respectively, M = 6.06 [5.96, 6.16], M = 5.72 [5.62, 5.82], M = 4.72 [4.57, 4.86], M = 4.62 [4.50, 4.74])—applicants mentioned that social desirability can play a major role. An additional remark about motivation letters is that applicants can easily cheat by letting others write their letter. CV was also considered relatively easy to cheat on (M = 4.42 [4.28, 4.56]). Applicants explained that it is easy to forge documents, and only a small sample of CVs is checked on correctness. Applicants did not have any remarks about why it is harder to cheat on the lower scoring selection methods.

3.3.6 추가 차원
3.3.6 Additional dimensions

설문지에서 다루었던 정의 차원 외에도 주관식 질문에 대한 답변에서 여러 가지 추가 차원을 확인했습니다.
Besides the justice dimensions that were covered by the questionnaire, we identified a number of additional dimensions in the answers to the open-ended questions.

첫 번째 정의 차원은 운영의 일관성으로, 이는 결정 절차가 사람에 따라 그리고 시간에 따라 편견 없이 일관되게 적용되는 정도를 의미합니다.22

• 이력서, 지원동기서, 인터뷰 및 기술 테스트는 평가자의 개인적인 의견에 많은 여지를 주고 결과적으로 평가자 간 평가에 잠재적인 차이를 발생시키는 보다 주관적인 방법으로 간주되었습니다.
• 지원자들은 또한 pu-GPA 관리의 일관성에 대해서도 언급했습니다. 현재 pu-GPA는 학교별 시험을 기반으로 합니다. 지원자들은 학교마다 평가 방법, 난이도, 채점 방식에 큰 차이가 있어 다른 학교의 pu-GPA를 비교할 수 없다고 언급했습니다. 

A first justice dimension was consistency of administration, which refers to the extent to which decision procedures are consistent and without bias across people and over time.22 

• CVs, motivation letters, interviews and skills tests were considered as more subjective methods, giving a lot of space to the personal opinion of assessors and consequently creating potential differences in ratings between assessors.
• Applicants also commented on the consistency of administration for pu-GPA. Currently, pu-GPA is based on school-specific examinations. Applicants mentioned that there is a great difference between schools in assessment methods, difficulty level and way of rating, making pu-GPA from different schools incomparable.

둘째, 설문지에서는 학업 관련성에만 초점을 맞춘 반면, 지원자들은 학업 관련성과 직무 관련성을 구분하는 경향이 있었습니다.

• 예를 들어, 지원자들은 학업 관련성과 관련하여 커리큘럼 샘플링에 대해 대체로 긍정적인 의견을 보였지만, 성공적인 의료 전문가가 되기 위해서는 사회성 및 의사소통 능력과 같은 다른 기술도 중요하다고 언급했습니다. 지원자들은
  • 기술 테스트, 인터뷰, SJT, 인성 설문지를 통해 미래 직업에 필요한 중요한 특성을 평가할 수 있다고 답한 반면,
  • 학점, 인지 테스트, 이력서, 커리큘럼 샘플링 테스트는 그렇지 않다고 답했습니다.

Second, while the questionnaire only focused on study relatedness, applicants tended to make a distinction between study relatedness and job relatedness.

• For instance, while applicants had generally positive comments about curriculum sampling with respect to study relatedness, they mentioned that other skills are relevant to become a successful health professional, such as social and communicative skills.
  • They stated that skills tests, interviews, SJTs and personality questionnaires can assess important attributes for the future profession,
  • while this was not so much the case for pu-GPA, cognitive tests, CVs and curriculum-sampling tests.

일부 의견은 절차적 정의보다는 선발 절차 결과의 공정성과 관련된 분배적 정의에 관한 것이었습니다.15 

• 지원자들은 무가중 추첨의 장점으로 입학 기회가 균등해져 더 다양한 학생이 입학할 수 있다는 점을 언급했습니다. 다른 방법을 적용하면 앞서 언급한 불평등한 기회로 인해 학생의 다양성이 감소할 수 있습니다. 
• 합격한 학생들이 비슷한 의견을 갖게 되어 학생 집단에서 관점의 다양성이 줄어들 수 있다는 점도 SJT에 불리한 결과로 언급되었습니다.

Some comments were not related to procedural justice, but rather to distributive justice, relating to the fairness of the outcomes of the selection procedure.15 

• Applicants mentioned that an advantage of unweighted lottery is that the equal chances to be admitted would lead to a more diverse student population. The application of other methods could result in a decrease of student diversity, because of the aforementioned inequal chances to perform.
• An additional unfavourable outcome was mentioned for SJTs: accepted students would have similar opinions and there would be less diversity in perspectives in the student cohorts.

마지막으로, 선발에 대한 인식의 결과로 여겨지는 개인의 태도와 행동과 관련된 조직 정의 이론의 '결과' 부분에 대해 많은 언급이 있었습니다.15 

• 특히 우려되는 주제 중 하나는 선발 방식이 지원자들에게 많은 스트레스와 압박을 유발할 수 있다는 것이었습니다.
• 지원자들은 이력서 작성, 커리큘럼 샘플링 시험 공부 등 많은 준비가 필요한 선발 방식이 학업 및 기타 책임과 병행해야 하기 때문에 스트레스를 받을 수 있다고 언급했습니다.
• 스트레스의 또 다른 원인으로 언급된 것은 지원자들이 시험 당일에 큰 부담감으로 인해 겪는 압박감이었습니다. 지원자들은 또한 여러 전형 방법을 병행할 경우의 단점으로 스트레스를 꼽았습니다.

Finally, numerous remarks were made about the ‘outcomes’ part of organisational justice theory, which relates to the attitudes and behaviours of individuals that are thought to be a result of perceptions of selection.15 

• One particular topic of concern was that selection methods can cause a lot of stress and pressure amongst applicants.
• Applicants mentioned that selection methods that require a lot of preparation, such as building a CV and studying for a curriculum-sampling test, can be stressful as they have to combine this with school and other responsibilities.
• Another source of stress that was mentioned was the pressure that applicants experience during testing days due to the high stakes involved. Applicants also recognised stress as a drawback of combining multiple selection methods.

지원자 하위 그룹에 따른 인식의 차이
Differences in perceptions for subgroups of applicants

각 전형 방법에 대한 전반적인 호감도의 하위 그룹별 차이에 대한 선형 혼합 모형의 결과는 표 5에 나와 있으며, 각 하위 그룹에 대한 기술 통계는 보충 표 S3-S6에 나와 있습니다. 여성에 비해 남성은 가중치 없는 추첨을 유의하게 덜 호의적으로 인식했으며(B = -0.55, 95% CI [-0.84, -0.26]), 이는 1-7점 척도에서 평균적으로 남성은 가중치 없는 추첨을 0.55점 낮게 평가했음을 나타냅니다. 성격 설문지 역시 남성이 훨씬 덜 호의적으로 인식했습니다(B = -0.23, [-0.47, -0.00]). 다른 선택 방법에서는 성별 차이가 발견되지 않았습니다. 흥미롭게도 개방형 질문에 대한 답변에서 여성이 선호하는 이력서 및 pu-GPA 에 대한 언급이 다수 있었는데, 이는 일반적으로 남성이 미래의 학업 방향을 늦게 시작한다는 의미로 해석할 수 있습니다. 이러한 우려는 정량적 조사 결과에는 반영되지 않았습니다.
The results of the linear mixed model for subgroup differences in general favourability ratings for each selection method are depicted in Table 5, and the descriptive statistics for each subgroup are provided in supplemental Tables S3–S6. Compared with women, men perceived unweighted lottery as significantly less favourable (B = −0.55, 95% CI [−0.84, −0.26]), indicating that on average, men rated unweighted lottery 0.55 units lower on a scale from 1–7. Personality questionnaires were also perceived as significantly less favourable by men (B = −0.23, [−0.47, −0.00]). No gender differences were found for other selection methods. Interestingly, in the answers to open-ended questions, multiple remarks were given about CV and pu-GPA favouring women, describing that men generally start later with their future study orientation. This concern was not reflected in the quantitative findings.

비 서구권 이주 배경을 가진 지원자들은 이력서(B = 0.50 [0.22, 0.77])와 커리큘럼 샘플링 테스트(B = 0.25 [0.06, 0.44])에 대해 상당히 높은 호감도를 보인 반면, 기술 테스트와 면접은 상당히 덜 호의적으로 인식했습니다(각각 B = -0.29 [-0.50, -0.09], B = -0.42 [-0.64, -0.20]). 비 서구권 이주 배경을 가진 지원자의 면접 및 기술 테스트 점수가 더 낮은 것은 이러한 방법의 주관적인 특성으로 인해 편견에 더 취약하다는 의견으로 설명할 수 있습니다. 서구 이민 배경을 가진 지원자에 대한 인식은 이민 배경이 없는 지원자와 다르지 않았습니다.
Applicants with a non-Western migration background provided significantly higher favourability ratings for CVs (B = 0.50 [0.22, 0.77]) and curriculum-sampling tests (B = 0.25 [0.06, 0.44]), while skills tests and interviews were perceived significantly less favourable (respectively, B = −0.29 [−0.50, −0.09], B = −0.42 [−0.64, −0.20]). The lower scores on interviews and skills tests for applicants with a non-Western migration background may be explained by remarks about the subjective nature of these methods, making them more susceptible to bias. Perceptions of applicants with a Western migration background did not differ from those without a migration background.

예비 대학 교육 마지막 해에 지원한 지원자들과 비교했을 때, 이미 대학 수준에서 공부하고 있던 지원자들은 면접과 무가중 추첨에 대해 훨씬 더 긍정적인 평가를 내렸습니다(각각 B = 0.33 [0.07, 0.58], B = 0.54 [0.17, 0.92]). 반면, pu-GPA(B = -0.83 [-1.14, -0.52]), 인지 테스트(B = -0.31 [-0.59, -0.04]) 및 가중치 추첨(B = -0.41 [-0.74, -0.08])에 대한 호감도는 유의하게 낮았습니다. 다른 형태의 사전 교육을 받은 지원자들은 대학 교육을 받지 않은 지원자들에 비해 인성 설문과 면접을 훨씬 더 유리하게 평가했습니다(각각 B = 0.49 [0.09, 0.89], B = 0.46 [0.12, 0.80]). 지원자들은 pu-GPA에 대해서만 대학 이전 교육의 역할에 대해 언급했는데, 이는 [pre-university 교육 마지막 해에 지원하지 않은 지원자]의 pu-GPA는 이미 지나간 성취도이며, 지원자의 현재 실력을 정확하게 반영하지 못한다는 것을 나타냅니다.
Compared with applicants applying during their final year of pre-university education, applicants who were already studying at university-level rated interviews and unweighted lottery significantly more positive (respectively, B = 0.33 [0.07, 0.58], B = 0.54 [0.17, 0.92]), while their favourability ratings were significantly lower for pu-GPA (B = −0.83 [−1.14, −0.52]), cognitive tests (B = −0.31 [−0.59, −0.04]) and weighted lottery (B = −0.41 [−0.74, −0.08]). Applicants from alternative forms of prior education rated personality questionnaires and interviews significantly more favourable compared with applicants from pre-university education (respectively, B = 0.49 [0.09, 0.89], B = 0.46 [0.12, 0.80]). Only with respect to pu-GPA, applicants commented on the role of prior education, indicating that pu-GPAs for applicants not applying during their final year of pre-university education are outdated and do not accurately represent applicants' current skills.

1세대 대학 출신 여부에 따른 지원자 인식의 차이는 발견되지 않았습니다.
No differences in applicant perceptions were found based on first-generation university status.

4 토론
4 DISCUSSION

본 연구의 목적은 학부 HPE의 맥락에서 지원자들이 다양한 선발 방법을 어떻게 인식하는지에 대한 심층적인 이해를 얻기 위한 것이었습니다. 연구 결과에 따르면 지원자들은 커리큘럼 샘플링 시험과 기술 시험에 대한 선호도가 가장 높은 반면, 가중치 추첨과 무가중 추첨을 가장 선호하지 않는 것으로 나타났습니다. 또한 선발 방식에 대한 지원자의 인식은 성별, 인종, 사회경제적 지위(SES), 학력에 따른 지원자 하위 그룹에서 전반적으로 유사하게 나타났습니다. 마지막으로, 지원자들은 한 가지 방법만으로는 충분하다고 생각하지 않고 여러 가지 선발 방법을 조합하는 것을 선호한다는 결과가 나왔습니다.
The aim of the present study was to gain a deeper understanding of how applicants perceive different selection methods within the context of undergraduate HPE. Our findings indicate that applicants have the strongest preference for curriculum-sampling tests and skills tests, while they consider weighted and unweighted lotteries the least favourable. Furthermore, applicant perceptions of selection methods are overall similar across subgroups of applicants based on gender, ethnicity, SES and prior education. Finally, the results show that applicants do not think one single method is sufficient, but instead prefer a combination of selection methods.

첫 번째 주요 결과는 지원자들이 '폭넓은' 선발 기준과 자신이 더 '통제할 수 있다'고 느끼는 선발 방법을 선호한다는 것입니다. 가장 높은 평가를 받은 세 가지 전형 방법인 커리큘럼 샘플링 테스트, 스킬 테스트, 면접은 모두 확장된 기준을 반영하며, 이는 pu-GPA과 같은 전통적인 방식에 포함된 인지적 능력을 넘어서는 자질을 평가하는 것을 목표로 합니다.23 본 연구에 참여한 지원자들은 이미 엄격한 입학 요건으로 인해 인지적 특성에 따라 선발된 경향이 강하므로 다른 영역에서 자신을 차별화하는 것을 선호하는 것은 놀라운 일이 아닙니다. 실제로 지원자들은 입학 요건보다 내신 성적과 인지능력 테스트가 갖는 부가가치가 무엇인지에 대해 의문을 제기했습니다. 또한, 조직 정의 이론15과 의대 선발에 관한 이전 연구에 따르면,24 지원자들은 선발 과정에서 '자신을 표현'하고 싶은 욕구를 가지고 있으며, 이는 더 넓은 기준을 반영하는 방법을 통해 더 잘 가능하다고 주장할 수 있습니다. 추첨(우연에 맡김)과 선발 전 획득한 평점(pu-GPA)에 대한 평가가 낮은 것은 지원자들이 '통제할 수 있는 상태'를 선호한다는 것을 나타냅니다. 앞서 주장한 바와 같이,1,2 이는 조직 정의 이론을 통해서도 설명할 수 있는데, 지원자들은 결정 과정에 영향을 미칠 기회가 있을 때 그 방법이 더 공정하다고 인식하기 때문입니다.15 이 결과는 성공과 실패가 자신의 노력과 재능에 기인할 수 있다는 능력주의적 가치에 대한 광범위한 사회적 인식과도 관련이 있습니다.25 결과적으로 HPE 선발 지원자들은 자신이 통제할 수 없다고 느끼는 탈락을 받아들이기 어렵다고 느낄 수 있습니다.26 
A first key finding is that applicants have a preference for ‘broadened’ selection criteria and selection methods on which they feel to be more ‘in control’. The three highest rating selection methods – curriculum-sampling tests, skills tests and interviews—all reflect broadened criteria, which aim to assess qualities that go beyond the cognitive abilities that are included in traditional methods such as pu-GPA.23 Applicants in the current study were already strongly preselected based on cognitive characteristics due to the stringent admission requirements; thus, it is not surprising that they prefer to distinguish themselves in other areas. In fact, applicants questioned the added value of pu-GPA and cognitive capacity tests over the admission requirements. Additionally, according to organisational justice theory,15 as well as previous research in medical school selection,24 applicants have the desire to ‘express themselves’ during a selection procedure, and it can be argued that this is better possible with methods that reflect broadened criteria. The low ratings of lotteries—leaving it to chance—and pu-GPA—obtained prior to selection—indicate that applicants prefer to be ‘in control’. As previously argued,1, 2 this can also be explained through organisational justice theory, because applicants perceive methods as fairer when they have an opportunity to influence the decision process.15 This finding can furthermore be related to a broader societal appreciation of meritocratic values, implying that success and failure can be attributed to one's own efforts and talent.25 Consequently, applicants for selection into HPE can find rejections that feel beyond their control difficult to accept.26

둘째, 연구 결과에 따르면 지원자의 배경은 다양한 선발 방식에 대한 인식에 큰 영향을 미치지 않는 것으로 나타났습니다. 성별, 이주 배경, 사전 교육에 따라 지원자 하위 그룹 간에 통계적으로 유의미한 인식 차이가 일부 발견되었지만, 이러한 차이가 갖는 실질적인 의미는 무시할 수 있는 수준이며, 전반적으로 지원자들의 인식은 매우 유사했습니다. 성별의 경우, 이러한 인식 차이는 심리학 지원자를 대상으로 실시한 이전 연구 결과와 일치합니다.2 그러나 인종 및 사회경제적 배경과 관련된 연구 결과는 예상치 못한 것이었는데, 이전 연구에 따르면 소수 민족 또는 사회경제적 배경이 낮은 지원자는 선발에 대해 더 부정적인 인식을 가지고 있다고 합니다.1, 3, 11 지원자들은 선발의 형식적 특성(예: 선발 방법)은 배경에 관계없이 비슷하게 인식하는 반면, 사회 인구학적 소수 민족 지원자는 (대인 관계적 대우 등) 절차적 정의의 다른 요소에 대해 더 부정적으로 인식할 가능성이 있습니다. 실제로 소수 민족 학생들이 의과대학에 재학 중일 때 불공정한 대우에 대해 더 많이 인식한다는 연구 결과가 있습니다.27, 28

Second, our findings suggest that applicants' background does not play a substantial role in their perceptions of different selection methods. Although we did find some statistically significant differences in perceptions between applicant subgroups based on gender, migration background and prior education, the practical meaning of these differences is negligible, and their perceptions were overall very similar. For gender, this lack of difference in perceptions is in accordance with findings of a previous study conducted with psychology applicants.2 However, our findings with respect to ethnicity and SES were unexpected, as previous research suggested that students with an ethic minority or lower socio-economic background have more negative perceptions towards selection.1, 3, 11 Potentially, applicants perceive the formal characteristics of selection (i.e. selection methods) similar regardless of their background, while applicants with sociodemographic minority backgrounds may have more negative perceptions regarding other components of procedural justice, such as interpersonal treatment. Indeed, research has indicated that ethnic minority students have more perceptions of unfair treatment when they are in medical school.27, 28 

소수 민족 배경을 가진 지원자들이 특정 선발 방법에 대해 더 부정적인 인식을 갖지 않았다는 결과에 대한 다른 이유는,

• 이전 연구에서 주로 아직 지원하지 않은 예비 대학생을 대상으로 하여 부정확하거나 불완전한 정보에 근거하여 인식했을 수 있기 때문입니다.3, 11
• 반대로 본 연구의 참가자들은 선발 경험이 있고 이에 대한 이해가 더 높았을 가능성이 높습니다.
• (이전 연구에서와 같은 경우) 소수 배경을 가진 학생들은 주로 지원 전 기간에는 선발 절차에 대한 정확한 정보에 대한 접근성이 떨어질 수 있습니다.29

그럼에도 불구하고 이전 연구와 일치하는 질적 연구 결과도 있었는데, 예를 들어 소수 배경을 가진 지원자가 의료 분야의 코칭, 과외 및 소셜 네트워크에 대한 접근성이 낮기 때문에 지원자들이 선발 방법이 공평한 의과 교육 입학을 방해 할 수 있다고 생각한다는 징후를 제공했습니다 .3, 11, 29 

An alternative reason for the finding that applicants with minority backgrounds did not have more negative perceptions towards certain selection methods is

• that previous studies mainly included eligible pre-university students who have not yet applied and could have based their perceptions on inaccurate or incomplete information.3, 11 
• Contrarily, participants in the present study had experience with selection and probably had a better understanding of it.
• Thus, students with minority backgrounds possibly experience less access to accurate information about the selection procedure mainly in the period prior to application.29 

Nevertheless, corresponding with previous studies, the qualitative findings did provide indications that applicants believe selection methods can hinder equitable admission to medical education, for instance, because applicants with a minority background have less access to coaching, tutoring and a social network in the medical field.3, 11, 29

세 번째 주요 결과는 지원자들에 따르면 궁극적인 해결책은 없으며, 모든 선발 방법에는 특정한 장단점이 있다는 것입니다. 이는 정성적 결과에서 확인된 여러 가지 상반된 선호도에 잘 반영되어 있습니다. 우리가 발견한 가장 두드러진 딜레마는 다음 등이었습니다. 

• (1) 지원자가 [현재 시점에서 제공할 수 있는 것을 측정하는 것]과 [스냅샷 평가의 부정적인 결과에 대응하는 것], 
• (2) [기존의 지식과 기술을 측정하는 것]과 [(향후에) 프로그램 동안 기술을 성장시키고 개발할 수 있는 공간을 제공하는 것], 
• (3) [최고의 학생을 선발하는 것]과 [최고의 미래 전문가를 선발하는 것], 
• (4) [포괄성을 위해 여러 선발 방법을 결합하는 것]과 [지나친 스트레스와 압박을 방지하는 것]

A third key finding is that according to applicants, there is no ultimate solution; all selection methods are accompanied by certain advantages and disadvantages. This is well reflected by a number of conflicting preferences that we identified in the qualitative results. The most distinctive dilemmas we found were

• (1) measuring what applicants can offer at the present versus countering negative consequences of snapshot assessments,
• (2) measuring existing knowledge and skills versus providing space to grow and develop skills during the program,
• (3) selecting the best students versus selecting the best future professionals and
• (4) combining multiple selection methods for comprehensiveness versus preventing too much stress and pressure.

 

• 첫 번째 딜레마는 기회의 공정성 차원을 반영하는 것으로, 앞서 언급한 지원자들이 선발 과정을 통제할 수 있다고 느끼고자 하는 욕구를 강조하는 것입니다. 
• 두 번째와 세 번째 딜레마는 학업 및 직무 관련성과 관련이 있으며 학계에서도 논쟁의 대상이 되고 있습니다.23 
• 마지막 딜레마는 조직 정의 이론의 다른 부분, 즉 지원자의 인식과 개인 및 조직 결과 간의 관계와 더 관련이 있습니다.15 이 이론에 따르면 공정성에 대한 인식은 동기부여, 자존감, 자기 효능감('채용 시 반응'이라고 함)과 같은 변수에 영향을 미칠 수 있습니다.15 
• The first dilemma evidently reflects the justice dimension of chance to perform and stresses the aforementioned desire of applicants to feel in control of the selection process.
• The second and third dilemmas relate to study and job relatedness and are also topic of debate within the academic field.23 
• The final dilemma relates more to another part of organisational justice theory, namely, the relationship between applicants' perceptions and individual and organisational outcomes.15 According to the theory, perceptions of fairness can affect variables such as motivation, self-esteem and self-efficacy (referred to as ‘reactions during hiring’).15 

본 연구에서는 스트레스와 압박감이 주요 관심사로 제기되었는데, 지원자들은 주로 준비 기간과 관련된 높은 고부담과 관련된 것으로 나타났습니다. 한 검토에 따르면 HPE 학생들 사이에서 심리적 스트레스가 상당히 만연한 것으로 나타났습니다.30 그럼에도 불구하고 지금까지 선발과 관련하여 지원자의 웰빙에 대한 연구는 거의 또는 전혀 이루어지지 않았으며 스트레스라는 특정 개념은 조직 정의 이론에 포함되지 않았습니다. 본 연구의 결과는 이를 검증하기 위해서는 추가 연구가 필요하겠지만, '채용 중 반응'의 추가 하위 범주로 이론에 추가하는 것이 적절할 수 있음을 시사합니다.
Feelings of stress and pressure were brought up as a topic of concern in the present study, which applicants mainly related to the amount of preparation and the high stakes involved. A review also identified considerable prevalence of psychological stress amongst students in HPE.30 Nevertheless, thus far, studies have paid little to no attention to applicant well-being with respect to selection and the particular concept of stress is not included in organisational justice theory. Results of the present study indicate that it may be relevant to add this to the theory as an additional subcategory of ‘reactions during hiring’, although further research would be required to validate this.

본 연구의 강점은 다양한 사회인구학적 하위 그룹의 인식을 비교하고 광범위한 선발 방법에 대한 지원자 인식의 근본적인 논거를 모색한 최초의 연구라는 점입니다. 또한 여러 프로그램에서 데이터를 수집했습니다. 그 결과, 지원자들은 자신이 접해보지 못한 선발 방식에 대해서도 의견을 제공했습니다. 이러한 방식으로 지원자가 선택한 프로그램에 따라 선발 절차가 영향을 미칠 수 있다는 점을 고려할 때, 연구 결과는 자의적 선택의 영향을 덜 받았습니다.16 그러나 이러한 강점에도 불구하고 응답자들이 설문지의 일부 방법에 대해 경험한 적이 있는 반면, 다른 방법에 대해서는 선발 방법에 대한 짧은 설명만을 바탕으로 인식하고 있다는 한계가 있었습니다. 일부 방법은 어떤 프로그램에서도 사용되지 않았습니다. 지원자가 지원한 프로그램을 통제하여 이 문제를 최대한 완화했습니다. 또한, 실시된 설문조사는 포괄성, 방어 가능성 및 프로세스의 역할과 같이 지원자의 인식에 영향을 미칠 수 있는 모든 요소를 포착하지 못했습니다.31 본 연구의 또 다른 한계는 표본 규모가 비교적 컸음에도 불구하고 초대된 지원자 중 21%만이 설문조사에 응답했다는 점입니다. 따라서 이들의 인식이 전체 지원자 풀을 완전히 대표하지 못할 수도 있습니다. 그럼에도 불구하고 본 연구의 표본은 인구통계학적 특성 측면에서 이전 연구의 지원자 풀과 비슷했습니다.12, 17 마지막 한계는 개방형 질문의 자발적 특성과 하위 그룹의 불균등한 분포로 인해 본 연구에서 다양한 하위 지원자 그룹의 주장을 직접 비교할 수 없었다는 것입니다. 따라서 정량적 데이터로 포착할 수 없었던 특정 하위 그룹의 인식 차이가 발견되지 않았을 수 있습니다.
A strength of the present study is that, to our knowledge, it is the first to compare perceptions of different sociodemographic subgroups and seek for the underlying argumentation behind applicant perceptions for a great range of selection methods. Additionally, we collected data from multiple programmes. Consequently, applicants also provided their opinions for methods that they had not been exposed to. This way, our results were less influenced by self-selection, given that the selection procedure can play a role in applicants' programme of choice.16 However, this strength was also accompanied by the limitation that the respondents did have experience with some of the methods in the questionnaire, while for other methods, their perceptions were based solely on a short description of the selection method. Some of the methods were not employed by any of the programmes. We mitigated this as much as possible by controlling for the programme to which applicants had applied. Furthermore, the survey that was administered did not capture all factors that could influence applicant perceptions, such as comprehensiveness, defensibility and the role of the process.31 Another limitation of the present study was that, although the sample size was relatively large, only 21% of invited applicants responded to the survey. Consequently, their perceptions may not be fully representative for the complete applicant pool. Nevertheless, our sample was comparable with applicant pools in previous studies in terms of demographic characteristics.12, 17 A final limitation is that the present study could not directly compare the argumentation of different subgroups of applicants due to the voluntary nature of the open-ended questions and the unequal distribution of subgroups. Consequently, certain subgroup differences in perceptions that could not be captured by the quantitative data may have remained undiscovered.  

현재의 연구는 절차적 정의의 한 측면(즉, 형식적 특성)에 초점을 맞추었지만, 향후 연구에서는 대인 관계적 대우와 같은 다른 절차적 정의 요소에도 관심을 기울일 수 있습니다.15 또한 신청자 인식에 관한 보다 근본적인 질문은 아직 조사되지 않았습니다: 이러한 인식의 발달에 어떤 메커니즘이 작용하는가? 지원자들의 인식의 기반이 되는 근본적인 가치는 무엇인가? 또한, 본 연구에서 지원자들은 여러 가지 방법을 조합하여 선호했기 때문에 다양한 방법의 조합에 따라 선발 절차를 어떻게 인식하는지 조사하는 것도 가치가 있을 수 있습니다. 총체적 접근 방식은 포괄성과 WA에 모두 주의를 기울이기 때문에 지원자의 인식을 평가하는 것은 특히 흥미로울 것입니다.32 또한, 본 연구 결과에 따르면 지원자들은 자신이 지원한 프로그램과 자신이 준비한 프로그램에서 사용하는 방법을 더 선호하는 것으로 나타났습니다. 
The current study focused on one aspect of procedural justice (i.e. formal characteristics), but future studies can also pay attention to other justice components, such as interpersonal treatment.15 Additionally, more fundamental questions regarding applicant perceptions have not been investigated yet, such as: What mechanisms play a role in the development of these perceptions? What are the underlying values of applicants on which their perceptions are based? Furthermore, in the present study, applicants preferred a combination of different methods, so it could be valuable to examine how they perceive selection procedures with different combinations of methods. It would be particularly interesting to evaluate applicant perceptions regarding a holistic approach, as this approach pays attention to both comprehensiveness and WA.32 Furthermore, results of the present study suggest that applicants have a stronger preference for the methods employed by the programmes to which they have applied and for which they have prepared.

향후 연구에서는 숨겨진 커리큘럼에 대한 지원자의 인식이 이러한 선호도에 영향을 미치는지 여부를 조사할 수 있습니다. 향후 연구의 또 다른 흥미로운 방향은 지원자의 배경에 따라 [선발 과정에서의 인식]과 [성과performance] 간의 관계가 달라지는지에 대한 질문과 관련이 있습니다. 이전 연구에 따르면 지원자의 인식과 성과는 양의 상관관계가 있으며,2, 5, 6 특정 인구통계학적 하위 그룹은 선발 과정에서 성과가 저조한 반면,12, 13, 17, 18 지원자의 배경에 관계없이 인식은 비슷하다는 사실이 밝혀졌습니다. 또한 아직 지원하지 않은 지원자격eligible 학생을 대상으로 하위 그룹에 대한 인식을 조사하는 것도 적절할 수 있습니다. 마지막으로, 연구자들은 지원자들이 관련성이 있다고 생각하는 주제인 행정의 일관성 및 직무 관련성, 지원자 복지에 관한 항목을 조사에 포함시키는 것을 고려할 수 있습니다.

Future research could examine whether applicant perceptions of the hidden curriculum play a role in this preference. Another interesting direction for future research relates to the question of whether the relationship between perceptions and performance during selection differs based on applicants' background. Previous studies have indicated that applicant perceptions and performance are positively correlated,2, 5, 6 and that certain demographic subgroups perform less well during selection,12, 13, 17, 18 while we found that perceptions were similar for applicants regardless of their background. Additionally, it can be relevant to investigate subgroup perceptions for eligible students who have not applied yet. Finally, researchers can consider including items on consistency in administration and job relatedness, as well as applicant well-being, because these topics were considered relevant by applicants.

실용적인 관점에서, 이번 연구 결과는 지원자가 선호하는 선발 방법을 고려함으로써 선발 위원회가 절차를 설계하는 데 도움이 될 수 있는 인사이트를 제공합니다. 그러나 선발 방법(정치적 타당성의 요소)에 대한 지원자의 인식과 다른 타당성 지표 사이에는 마찰이 있을 수 있습니다.1, 2 예를 들어, 지원자들은 선발 방법으로 pu-GPA를 사용하는 것에 대해 부정적인 인식을 가지고 있지만, pu-GPA는 미래의 학업 성과를 강력하게 예측합니다.33 마찬가지로, 본 연구 결과에 따르면 커리큘럼 샘플링 테스트를 포함하면 비 서구 배경을 가진 지원자를 더 많이 유치할 수 있지만, 제출한 연구에서 이 하위 그룹의 지원자가 그러한 테스트에서 낮은 성과를 보인다는 사실을 발견했습니다.34 따라서 어떤 선발 방법을 포함할지 결정할 때 지원자의 인식을 고려하는 동시에 넓은 의미에서 타당성의 다른 측면도 고려할 수 있습니다.35 그럼에도 불구하고, 우리의 연구 결과는 어떤 선발 방법이 덜 매력적이고 더 나은 설명이 필요한지 식별하는 데 도움이 될 수 있습니다.2 
From a practical viewpoint, our findings provide insights that can help selection committees design their procedures, by considering selection methods that are preferred by applicants. However, there can be frictions between applicant perceptions of selection methods (an element of political validity) and other indicators of validity.1, 2 For instance, while applicants hold negative perceptions towards the use of pu-GPA as a selection method, pu-GPA is strongly predictive of future academic performance.33 Likewise, the findings of the present study suggest that the inclusion of curriculum-sampling tests can attract more applicants with a non-Western background, but we found in a submitted study that this subgroup of applicants performs less well on such tests.34 Thus, when deciding which selection methods to include, applicant perceptions can be taken into account, while also considering other aspects of validity in a broad sense.35 Nevertheless, our findings can help identify which selection methods are less attractive and require better explanation.2 

선발 방법에 대한 명확하고 투명한 커뮤니케이션은 특히 더 '주관적'으로 인식되고 때로는 부정확한 정보를 기반으로 인식되는 광범위한 기준의 경우 지원자 인식을 개선 할 수 있습니다. 예를 들어, 지원자들은 이력서를 작성하는 데 의료 분야의 소셜 네트워크가 필요하다고 생각했지만, 본 연구에 참여한 프로그램에서는 의료 분야 이외의 다른 관련 경험도 중요하게 여겼습니다. 지원자의 인식을 이해한다고 해서 프로그램에 어떤 선발 방법을 포함해야 하는지에 대한 명확한 해답을 얻을 수는 없지만, 질적 연구 결과는 프로그램이 지원자의 요구를 고려하여 동기 부여와 성과를 개선하거나 중도 탈락을 방지하기 위해 선발 방법을 조정할 수 있는 방법에 대한 귀중한 통찰력을 제공합니다. 예를 들어, 지원자들은 선발이 자신의 복지에 미치는 영향을 우려하기 때문에 프로그램은 커리큘럼 샘플링 시험의 준비 자료 양을 제한할 수 있습니다.

Clear and transparent communication about selection methods may improve applicant perceptions, especially in the case of broadened criteria that are perceived as more ‘subjective’ and for which perceptions were sometimes based on inaccurate information. For instance, applicants believed that a social network in the medical field is necessary for building a CV, while the programmes in our study also value other relevant experience outside of the medical field. Although understanding applicant perceptions cannot provide clear-cut solutions about which selection methods programmes should include, our qualitative findings provide valuable insights into how programmes can adjust the implementation of their selection methods to take applicants' needs into account to improve motivation and performance or prevent withdrawal. For example, because applicants were concerned about the impact of selection on their well-being, programmes could limit the volume of preparatory materials for curriculum-sampling tests.

결론적으로, 학부 HPE 선발에 참여하는 지원자들은 자신이 통제할 수 있다고 인식하고 인지능력 이외의 다른 자질을 평가하는 선발 방법을 선호합니다. 또한, 본 연구에 따르면 개별 선발 방식에 대한 지원자의 인식은 일반적으로 다수 배경을 가진 지원자와 소수 배경을 가진 지원자 간에 유사합니다. 지원자의 상반된 요구와 지원자의 인식과 다른 타당성 지표 간의 마찰로 인해 선발 방법에 대한 보다 명확하고 투명한 커뮤니케이션과 방법 내에서의 수정이 요구됩니다.
In conclusion, applicants participating in selection for undergraduate HPE prefer selection methods for which they perceive to be in control and which assess other qualities than cognitive ability. Additionally, the present study indicated that applicant perceptions of individual selection methods are generally similar between applicants with majority and minority backgrounds. Due to contradictory needs of applicants and frictions between applicant perceptions and other indicators of validity, we call for a clearer and more transparent communication of selection methods and modifications within methods.

---

 

Med Educ. 2023 Feb;57(2):170-185. doi: 10.1111/medu.14949. Epub 2022 Oct 23.

Applicant perceptions of selection methods for health professions education: Rationales and subgroup differences

Suzanne Fikrat-Wevers 1, Karen Stegers-Jager 1, Marleen Groenier 2, Andries Koster 3, Jan Hindrik Ravesloot 4, Renske Van Gestel 3, Anouk Wouters 5 6, Walter van den Broek 1, Andrea Woltman 1

Affiliations collapse

1Institute of Medical Education Research Rotterdam, Erasmus MC, University Medical Center Rotterdam, Rotterdam, The Netherlands.

2Technical Medical Centre, Technical Medicine, University of Twente, Enschede, The Netherlands.

3Department of Pharmaceutical Sciences, Utrecht University, Utrecht, The Netherlands.

4Department of Medical Biology, Amsterdam UMC, University of Amsterdam, Amsterdam, The Netherlands.

5Faculty of Medicine VU, Amsterdam UMC location Vrije Universiteit Amsterdam, Amsterdam, The Netherlands.

6LEARN! Research Institute for Learning and Education, Faculty of Psychology and Education, VU University Amsterdam, Amsterdam, The Netherlands.

PMID: 36215062

PMCID: PMC10092456

DOI: 10.1111/medu.14949

Free PMC article

Abstract

Context: Applicant perceptions of selection methods can affect motivation, performance and withdrawal and may therefore be of relevance in the context of widening access. However, it is unknown how applicant subgroups perceive different selection methods.

Objectives: Using organisational justice theory, the present multi-site study examined applicant perceptions of various selection methods, rationales behind perceptions and subgroup differences.

Methods: Applicants to five Dutch undergraduate health professions programmes (N = 704) completed an online survey including demographics and a questionnaire on applicant perceptions applied to 11 commonly used selection methods. Applicants rated general favourability and justice dimensions (7-point Likert scale) and could add comments for each method.

Results: Descriptive statistics revealed a preference for selection methods on which applicants feel more 'in control': General favourability ratings were highest for curriculum-sampling tests (mean [M] = 5.32) and skills tests (M = 5.13), while weighted lottery (M = 3.05) and unweighted lottery (M = 2.97) were perceived least favourable. Additionally, applicants preferred to distinguish themselves on methods that assess attributes beyond cognitive abilities. Qualitative content analysis of comments revealed several conflicting preferences, including a desire for multiple selection methods versus concerns of experiencing too much stress. Results from a linear mixed model of general favourability indicated some small subgroup differences in perceptions (based on gender, migration background, prior education and parental education), but practical meaning of these differences was negligible. Nevertheless, concerns were expressed that certain selection methods can hinder equitable admission due to inequal access to resources.

Conclusions: Our findings illustrate that applicants desire to demonstrate a variety of attributes on a combination of selection tools, but also observe that this can result in multiple drawbacks. The present study can help programmes in deciding which selection methods to include, which more negatively perceived methods should be better justified to applicants, and how to adapt methods to meet applicants' needs.

© 2022 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.