의과대학 선발에 대한 이해관계자의 관점: 체계적 문헌고찰(BMC Med Educ, 2018)

의과대학 선발에 대한 이해관계자의 관점: 체계적 문헌고찰(BMC Med Educ, 2018)

A systematic review of stakeholder views of selection methods for medical schools admission

M. E. Kelly1* , F. Patterson3, S. O’Flynn2, J. Mulligan1 and A. W. Murphy1

배경

Background

의학은 국제적으로 매우 인기 있는 직업 선택이다.

Medicine is a highly popular career choice internationally.

의학교육은 이탈률이 매우 낮고 대부분의 학생이 졸업하기 때문에 미래의 의료 인력의 구성과 교정은 의대생을 선발하는 데 사용되는 방법에 크게 좌우된다[2–4].

As attrition rates in medical education are very low and most students graduate, the composition and calibre of the future medical workforce is significantly dependent on the methods used to select medical students [2–4].

선발 방법의 설계, 개발 및 지속적 사용에 대한 모범 사례는 이해관계자의 정기적인 피드백이 제공하는 반복적인 과정이어야 한다[5]. 정치적 타당성이라는 용어는 이해관계자 관점의 중심을 포착하며, "특정 선발도구에 대해서 다양한 이해관계자와 이해관계자 그룹이 적절하고 수용가능하다고 느끼는 정도"로 정의된다[6, 7]. 정치적 타당성은 의과대학에 대한 접근 확대에 있어 중요한 고려사항으로 인식된다[8, 9].

Best practice in the design, development and continued use of selection methods should be an iterative process informed by regular feedback fromstakeholders [5]. The term political validity captures the centrality of stakeholder views and, is defined as “the extent to which various stakeholders and stakeholder groups consider the tool(s) to be appropriate and acceptable for use in selection” [6, 7]. Political validity is recognised as an important consideration in widening access to medical schools [8, 9].

이해관계자의 인식을 이해하는 것은 다른 여러 가지 이유로 중요하다. 불공평하다고 인식되는 선발 방법은 잠재적인 의대생들에게 적용하지 못하게 될 수 있으며, 이는 심각한 부정적인 결과를 가져올 것이다[9]. 의학에서 하위 사회-경제적 및 소수 집단을 과소표시하는 것은 다요소적이지만, 이러한 집단은 선발과 관련된 부정적 인식의 결과에 특히 취약하다[14]. 

Understanding stakeholder perceptions is important for a number of other reasons. Selection methods that are perceived as unfair may deter potential medical students from applying which would be considered a profoundly negative consequential effect [9]. Under-representation of lower socio-economic and minority groups in medicine is multifactorial but arguably these groups are particularly vulnerable to the consequences of negative perceptions regarding selection [14]. 

또한, 일부 상황에서는 이해관계자 관점과 예측 타당성 및 신뢰성과 같은 선택 도구의 적합성을 평가하는 데 사용되는 기타 기준 사이에 절충이 있는 것으로 보인다. 예를 들어 자기소개서, 추천서, 전통적인 인터뷰는 예측 타당성이 제한되고 편향 가능성이 있다는 증거에도 불구하고 계속 널리 사용되고 있다[15–19]. 이것은 부분적으로 [이해관계자의 수용과 승인]을 얻는다는 점에서 정치적 아젠다에 부합하기 때문으로 설명될 수 있다고 주장되어 왔다[9].

Additionally, in some situations, there appears to be a trade-off between stakeholder views and other criteria used to evaluate the appropriateness of selection tools, such as predictive validity and reliability. For example personal statements, letters of reference and traditional interviews continue to enjoy widespread use, despite evidence of limited predictive validity and susceptibility to bias [15–19]. It has been argued that this can in part be explained by these tools serving some other political agenda for which they achieve stakeholder acceptance and approval [9].

마지막으로 이해관계자의 관점에 대한 기초를 철저히 이해하면 선발자들은 아마도 인기는 낮지만 좀 더 심리측정적으로 강력한 선택 도구들을 뒷받침하는 근거를 더 잘 설명할 수 있을 것이다.

Finally a thorough understanding of the basis for stakeholders’ views will better enable selectors to explain the rationale supporting some, perhaps less popular, but more psychometrically robust selection tools.

이해관계자의 관점: 이론적 프레임워크 

Stakeholder views: a theoretical framework

지난 50년 동안 조직 정의 이론은 선택을 포함한 조직 프로세스의 공정성에 대한 인식을 설명하기 위해 개발되었다[20–22]. Patterson 등 및 Kelly는 조직적 정의 이론이 의학의 선택과 관련이 있으며 이해당사자들의 관점에 대한 깊은 통찰력을 제공하는 데 사용될 수 있다고 확립했다[7, 23].

Over the past fifty years, organisational justice theories have been developed to describe perceptions of fairness in organisational processes, including selection [20–22]. Patterson et al. and Kelly have established that organisational justice theories are relevant to selection in medicine and that they can be used to provide deeper insights into and appreciation of the views of stakeholders [7, 23].

이러한 정의 이론은 분배, 절차, 상호 작용으로 분류될 수 있다[24]. 

These justice theories can be categorised as distributive, procedural and interactional [24]. 

• 선택의 맥락에서 분배적 정의는 [동등한 기회와 형평성 측면]에서 의과대학 같은 선발 결과의 공정성과 관련이 있다[7]. 분배적 정의의 관점에서 모든 사람이 동일한 기회를 받을 때 선택은 공정하다고 본다[25].

In the context of selection distributive justice relates to the fairness of selection outcomes such as medical school places, in terms of equal opportunity and equity [7]. From a distributive justice perspective selection is viewed to be fair when everyone receives the same opportunities [25].

• 선발에서 절차적 정의는 직무 관련성과 시험의 특성 측면에서 선택 도구의 [인식된 공정성]과 관련이 있다[7]. 절차적 정의의 관점에서 볼 때, 선발방법이 직무와 연관되어 있을 때와 그 방법의 목적이 설명될 때 선택권은 보다 긍정적으로 본다[22, 26].

Procedural justice in selection is concerned with the perceived fairness of the selection tool in terms of job relevance and characteristics of the test [7]. From a procedural justice perspective selection is viewed more positively when the methods are connected with the job and when the purpose of the method is explained [22, 26].

• 상호작용적 정의는 선발 과정에서 신청자가 어떻게 충족met되는지를 의미하며, 어떤 정보가 전달되는지 뿐만 아니라 그 방식도 포함한다[27, 28]. [의사소통의 공정성]은 상호작용적 정의가 어떻게 인식되는가에 대한 매우 영향력 있는 결정 요인이다[28, 29].

While the interactional justice of selection methods refers to how applicants are met during the selection process and includes the information applicants are given as well as the manner in which it is conveyed [27, 28]. The fairness of the communication is a very influential determinant of how interactional justice is perceived [28, 29].

방법

Methods

Search strategy

결과

Results

Study selection and data extraction

Figure 1 illustrates the steps from initial identification of records, to identifying those included and excluded.

Quality assessment strategy

Quality assessment and evidence synthesis

Risk of Bias

Study designs

Synthesis of results

지원자의 관점

The views of applicants

MMI를 포함한 면접

Interviews including multiple mini interviews (MMIs)

지원자들은 MMI를 전적으로 지지한다. 그들은 일반적으로 공평하고, 상대적으로 성별이나 문화적 편견이 없으며, 능력과 장점을 제시할 수 있는 적절한 기회를 제공하고, 사전 정보의 질과 지침의 명확성이 좋다는 것을 인지한다 [45, 48, 50, 55, 65, 61, 63, 72, 99]. 신청자는 전통적인 인터뷰보다 MMI를 선호함을 나타낸다[45, 48, 60, 72, 89, 96]. 한 논문은 소수의 탈락한 지원자들의 견해를 포함하고 있었으며, 대다수가 여전히 MMI에 대해 긍정적으로 논평하고 있다는 것을 발견했다[50]. 신청자는 면접관의 독립성과 MMI의 신뢰성을 중시한다[39, 45, 96]. 특히 지원자들이 능력을 입증할 수 있는 여러 가지 기회는 긍정적인 반응에 영향을 미치는 것으로 보인다[39, 55, 61, 63, 99]. MMI가 스스로 "신뢰redeem"할 수 있는 기회는 긍정적으로 검토되었다[39].

Applicants are on the whole supportive of MMIs. They perceive that they are generally fair, relatively free of gender or cultural bias, provide adequate opportunity to present their abilities and strengths and that the quality of advance information and clarity of instructions are good [45, 48, 50, 55, 61, 63, 72, 99]. Applicants indicate a preference for MMIs over traditional interviews [45, 48, 60, 72, 89, 96]. One paper included the views of a small number of unsuccessful applicants, and found that the majority still commented positively on MMIs [50]. Applicants value the perceived independence of interviewers and the authenticity of MMIs [39, 45, 96]. In particular the multiple opportunities for applicants to demonstrate abilities appears influential on positive reactions [39, 55, 61, 63, 99]. The chance provided by MMIs to “redeem” oneself has been positively noted [39].

지원자들은 MMI에 관한 일부 부정적 느낌을 보고하였다. 일부 지원자들은 MMI가 표준화된 인터뷰보다 더 어렵고 스트레스 받는[61]를 많이 받는다고 생각하는 반면, 다른 지원자들은 MMI가 높은 의사소통 지원자를 선호한다고 우려하였다[39]. MMI의 다른 측면의 등급에 비해 할당된 시간에 대한 지원자의 만족도는 약간 낮았다[39, 55, 60, 63, 99].

Applicants’ reported some misgivings with respect to MMIs. Some applicants found MMIs more difficult [89], and more stressful [61], than standardised interviews, while others were concerned that MMIs favour highly communicative applicants [39]. When compared to ratings of other aspects of the MMIs, applicant satisfaction with allotted time was slightly lower [39, 55, 60, 63, 99].

다른 인터뷰 기법에 대한 신청자들의 견해도 긍정적이었다. 한 소규모 연구에서 대다수의 참여자들이 인터뷰를 포함하지 않는 선택 과정은 수용가능하지 않다고 믿었다[85]. 한 캐나다 의과대학의 지원자들은 표준화된 인터뷰를 긍정적으로 받아들였다[68]. 기술적 진보는 웹 기반 면접을 가능케 했으며, 두 연구는 이 접근방식에 대한 지원자의 긍정적인 반응을 보고한다[57, 98]. 신청자들은 또한 면접을 자신이 적용하고 있는 학교나 프로그램의 가치와 윤리에 대한 귀중한 정보를 얻을 수 있는 기회로 인식한다[56, 78, 85]. 한 연구는 그룹 인터뷰에 대한 높은 수준의 만족도를 보고했지만, 국제 지원자들은 지역 후보들과 비교함으로써 면접관들에게 깊은 인상을 주기 위해 애쓸 것이라고 생각했다(n=77, 응답률 37.8, p = 0.004) [91]. 패널 인터뷰에 대한 신청자의 부정적 반응을 보고한 논문은 단 한 개뿐이며, 본 논문에서 비판은 주로 부적절한 인터뷰 후 피드백 수준과 관련이 있다[74].

Applicants’ views of other interview techniques were also positive; with one small study reporting that the majority of participants (93%, n = 53) believed that any selection process which did not include interviews would be unacceptable [85]. Standardised interviews have been positively received by applicants in one Canadian medical school [68]. Technological advances have made web based interviewing a possibility and two studies report positive applicant reactions to this approach [57, 98]. Applicants also perceive interviews as an opportunity to glean valuable information about the values and ethos of the school or programme to which they are applying [56, 78, 85]. One study reported favourable levels of applicant satisfaction with group interviews, however international applicants felt they would struggle to impress interviewers by comparison with local candidates (n=77, responserate 37.8, p = 0.004) [91]. Only one paper was identified that reported negative applicant reaction to panel interviews, and in this paper criticisms related mostly to inadequate levels of post interviews feedback [74].

선발자의 관점: 면접관, 교수, 입학위원회

The views of selectors: interviewers, faculty and admissions committee members

MMI 등 면접

Interviews including MMIs

면접은 의대 선발자에 의해 확고부동한 것으로 간주된다[87]. 마찬가지로, 호주 의과대학에 대한 이해관계자의 선택방법에 대한 견해를 조사하는 대규모 연구에서, 인터뷰는 전체적으로 가장 유효한 선택방법으로 간주되었다[54].

Interviews are considered a stalwart by selectors to medical schools [87]. Similarly, in a large study examining stakeholders’ views of selection methods to Australian medical schools, interviews were viewed as the most valid selection method overall [54].

많은 연구들이 MMI와 관련하여 선택자의 선입견을 평가하였다. 인터뷰 진행자들은 공정성에 대한 인식 측면에서 MMI를 높게 평가했다[45, 48,50, 61, 72, 99]. 중요한 것은, 면접관이 MMI가 지원자를 정확하게 평가할 수 있게 해주었고, 채점 메커니즘이 지원자를 적절하게 구별할 수 있게 해 주었다는 점이다[45, 48, 55, 60, 63, 77, 99].후보자에게 제공되는 복수의 평가 기회와 다차원적 평가관 관점은 면접관이 자신의 의사결정에 대해 훨씬 덜 불안해한다는 것을 의미했다[39]. Razack 등은 시청자들이 가정 및 국제 지원자들과 함께 사용하기에 적합한 MMI를 발견했다고 보고했다[50]. 면접관이 전통적인 면접보다 MMI를 선호할 수 있다는 몇 가지 증거가 있다[45, 72]. 

A large number of studies have evaluated selectors’opinions with respect to MMIs. Interviewers ranked MMIs highly in terms of perceptions of fairness [45, 48,50, 61, 72, 99]. Importantly, interviewers felt that MMIs allowed them to accurately evaluate applicants and that the scoring mechanisms allowed them to adequately differentiate between candidates [45, 48, 55, 60, 63, 77, 99].The multiple assessment opportunities afforded to candidates and the multidimensional assessor view meant that interviewers felt much less anxious about their own decision making [39]. Razack et al. report that inter-viewers found MMIs appropriate for use with home and international applicants [50]. There is some evidence that interviewers may favour MMIs over traditional interview [45, 72]. 

MMI에 대한 면접자의 우려는 다음과 같다: 

• 주로 의사소통 능력을 측정하는 것일 수 있다는 우려[39], 

• 지원자의 문화, 성격 또는 언어를 포함한 문제가 성과에 부정적인 영향을 미칠 수 있다는 우려[38, 50], 

• 면접관이 동료에게 부여한 점수를 벤치마킹할 기회 부족[39], 

• 교정할 시간 부족.e [48] 

• 추가 교육 필요[61] 

• MMI는 다소 비인간적인impersonal 프로세스가 될 수 있다[84].

Interviewers’ concerns regarding MMIs include: a fear that it might be primarily measuring communication skills [39]; that issues including applicants’ culture, personality or language may negatively impact on performance [38, 50]; the lack of opportunity for interviewers to benchmark the scores they assign against their peers [39]; insufficient time for calibration [48], the requirement for additional training [61] and that MMIs can be a somewhat impersonal process [84].

의과대학생의 관점

The views of medical students

MMI 등 인터뷰

Interviews including multiple mini interviews

두 개의 기록은 학생들이 인지 테스트보다 인터뷰를 더 선호한다는 것을 암시했다[51, 77]. 국제 학생들은 면접을 지원할 가능성이 훨씬 더 높다(p <0.01>[51]. 학생들은 MMI를 선택 시 적절하고 사용하기에 적합하다고 설명하면서, 지원자와 동일한 측면에서 MMI를 높이 평가한다. 한 소규모 연구는 선발의 역할 면접에서 확대된 접근 경로를 통해 입학한 학생들의 견해를 조사했다[95]. 흥미롭게도 임상 초기 학생들은 전통적인 인터뷰를 지지했고, 4학년 학생들은 MMI가 더 적절하다고 느꼈다. 다른 곳에서 성숙한 학생들은 자신의 정체성과 미래의 의과대학과의 적합성에 대한 인터뷰의 중요성을 강조하였다[40].

Two records suggested that students prefer interviews to cognitive testing [51, 77]. International students are even more likely to support interviews (p <0.01)[51]. Students appreciate the same aspects of MMIs as applicants do, describing it as relevant and suitable for use in selection [77]. One small study examined the views of students admitted through a widening access route, on the role interviews for selection [95]. Interestingly students in their early clinical years supported traditional interviews while students in the senior years felt that MMIs were more appropriate. Elsewhere mature students highlighted the importance of interviews to their sense of identity and fit with prospective medical schools [40].

고찰

Discussion

이 연구에서는 크게 세 개의 주요 이해관계자 그룹, 즉 a) 지원자, b) 선발자, c) 의대생들의 견해를 탐구한다는 것을 확인했다.

It identified that the research largely explores the views of three main stakeholder groups: a) applicants; b) selectors and c) medical students.

이 검토의 결과는 특히 절차적 정의와 분배적 정의 이론의 구성과 일치한다. 전체 이해관계자는 선택 중인 인터뷰(특히 MMI), SC 및 SJT를 지원한다. 선발 도구의 인식된 공정성의 가장 영향력 있는 결정요인 중 하나이며, 이러한 방법은 자연적으로 정당하다고 보기 때문에 이해관계자가 수용할 수 있다고 주장할 수 있다. 이전의 연구는 선발 도구가 직무와 관련된 것으로 간주되는 정도가 절차적 정의의 인식에 가장 큰 영향을 미친다는 것을 보여주었다[9, 21]. 이 검토는 MMI가 신청자, 선택자 및 학생에 의해 임상 실습과 즉시 관련성이 높은 매우 진실한 것으로 간주된다는 것을 입증한다.

The findings of this review resonate with the constructs of organisational justice theoriesin particular with both procedural and distributive justice. On the whole stakeholders are supportive of interviews (in particular MMIs), SCs and SJTs in selection. Procedural justice is one of the most influential determinants of perceived fairness of selection tools and it can be argued that these methods are acceptable to stakeholders because they are viewed as procedurally just. Prior research has shown that the extent to which a selection tool is viewed as job related exerts the greatest influence on perceptions of procedural justice [9, 21]. This review establishes that MMIs are considered by applicants, selectors and students, as highly authentic with immediate relevance to clinical practice.

절차적 정의의 또 다른 측면은 "목소리"의 개념이다[20,21]. "보이스"는 지원자에게 스스로에 대해서 make a case할 수 있는 적절한 기회와 시간을 준다[107].

Another aspect of procedural justice is the concept of “voice” [20,21]. “Voice” describes adequate opportunity for the applicant to perform, to make a case for themselves as well as sufficient time to do so [107].

적성 검사의 수용가능도는 일반적으로 이해관계자마다 다르다. 약자 및 소수 의대 지원자들은 이를 장벽으로 보고 있으며, 다른 지원자와 의대생들은 이들의 공정성, 얼굴 및 예측 타당성에 의문을 제기하고 있다. 일부 항목 형식의 직무 관련성은 비언어적 추리 질문과 같은 특정 추상적 추리 시험 항목에 대해 질문한다. 이는 유사한 도구를 사용하는 의료 이외의 경험을 반영하며, 인지 시험 설계에 절차적 정의를 통합하는 한 가지 방법은 비교적 구체적인 항목 유형을 사용하는 것다[108].

Aptitude tests generally receive mixed stakeholder acceptability. Underrepresented and minority medical school applicants view them as barriers, while other applicants and medical students question their fairness, face and predictive validity. The job relatedness of some of the item formats is questioned in particular abstract reasoning test items, such as non-verbal reasoning questions. This reflects the experience outside of medicine with similar tools and it is recommended that one way to incorporate procedural justice into the design of cognitive tests is to use comparatively concrete itemtypes [108].

학생들과 선발자들에게 우려되는 것은 적성 시험이 코칭에 취약할 수 있다는 인식과 이것이 경제적 편견을 초래할 수 있다는 관련 두려움이다.

Of concern to students and selectors is the perception that aptitude tests may be susceptible to coaching, and the associated fear that this may lead to economic bias.

상업적인 코칭이 불공평한 우위로 이어질 수 있다는 우려는 기회균등이라는 분배적 정의 원칙을 위반하는 것이다. 연구에 따르면, 정의justice 규칙이 (충족되기 보다는) 위반되었을 때, 그 규칙이 더 큰 영향력을 미칠 수 있고, 수용가능성에 대해서 전반적으로 더 큰 영향을 미친다[21, 24]. 실무적 관점에서, 이는 선택 도구가 많은 다른 정의 영역에서 잘 수행될 것으로 예상되더라도, 한 가지 측면에서라도 부족하다고 인식될 경우 이해당사자들이 여전히 수용할 수 없는 것으로 느낄 수 있다는 것을 의미할 수 있다.

Concerns regarding the possibility that commercial coaching could lead to unfair advantage represent a breach of the distributive justice principle of equal opportunity. Research has shown that justice rules can be more influential, and weigh more heavily on overall estimation of acceptability, when they are violated rather than when they are satisfied [21, 24]. In practical terms, this could mean that even in a situation where a selection tool is considered to perform well across a number of other justice domains – it may still prove unacceptable to stakeholders if it is perceived to fall short in one regard.

추천서, 에세이, 개인 진술서 등 다른 방법의 이해관계자 관점을 탐구하는 기록은 거의 없었지만, 그런 연구 결과에 따르면 내용의 진실성에 대해 다소 유보적인 입장을 표명하였다. 이러한 방법의 예측 타당성 역시 제한적인 것으로 알려져 있으며, 이는 이해관계자의 수용성 저하와 함께 선정 과정에서 그들의 역할에 도전한다(6, 109).

There were very few records that explored stakeholder views of other methods such as letters of recommendation, essays and personal statements, but those that did expressed some reservation about the veracity of content. The predictive validity of these methods is also known to be limited, and this coupled with poor stakeholder acceptability, challenges their role in the selection process) [6, 109].

이 검토의 두 번째 주요 제한은 선택 방법 자체의 이질성과 관련이 있다. 예를 들어, 모든 MMI가 동일한 것은 아니며, 어떤 두 MMI도 동일하지 않다[110]. 마찬가지로 적성 시험 사이에는 결정화crystalised 대 유체fluid 지능을 측정하도록 설계된 정도와 같은 중요한 차이가 있다[6]. 전체적인 이해관계자의 관점을 요약하고 일반화하려는 이 같은 체계적인 검토는 이러한 중요한 맥락적 차이를 피할 수 없을 것이다.

A second major limitation of this review relates to the heterogeneity of the selection methods themselves. For instance not all MMIs are the same, in fact no two MMIs are thesame[110]. Similarly there are important differences between aptitude tests, such as the degree to which they are designed to measure crystallised versus fluid intelligence [6]. A systematic review such as this one, that seeks to summarise and generalise overall stakeholders’ views, will inevitably mask these important contextual differences.

Conclusions

의대생 선발의 이해관계자들은 잠재적으로 다른 견해를 가진 다양한 그룹들의 집합이다. 공정하고 방어 가능한 선택 과정의 운영에 있어서 우리가 그들이 가지고 있는 견해의 범위와 깊이를 이해하고 감사하는 것이 중요하다. 모든 이해관계자가 정확한 정보를 사용할 수 있고 의과대학의 '자리'를 할당하는 데 사용되는 각 선택 방법의 목적과 목적에 대해 명확성을 보장하는 것은 선택 과정에 참여하는 모든 사람에게 의무적이다. 

Stakeholders in medical student selection are a collection of diverse groups with potentially differing views. It is critical to the operation of fair and defensible selection processes that we understand and appreciate the range and depth of views that they hold. It is incumbent upon all involved in the selection process to ensure that accurate information is available to all stakeholders and that there is clarity regarding the objectives and purpose of each selection method used to allocate a place in medicine. 

이 검토는 특히 지원자와 관련하여 이 분야에서 중요한 작업이 수행되고 있음을 보여준다. 그러나, 그것은 더 나은 표준과 더 적절한 방법론의 필요성을 강조한다; 미래 연구에 포함된 이해관계자 그룹의 범위를 넓히기 위해서. 마지막으로 우리는 이 검토가 심지어 같은 그룹의 이해관계자들이 반드시 동질적이지 않다는 인식을 강화하기를 바란다. 이해관계자의 인식은 선발의 책임이 있는 사람들에 의해 유포된 정보뿐만 아니라 다양한 문화적, 환경적 요인에 의해 크게 영향을 받는다.

This review demonstrates that there is important work being done in this field, especially in respect to applicants. However, it highlights the need for better standards and more appropriate methodologies; for broadening the scope of the stakeholder groups included in future research. Finally we hope this review reinforces recognition that stakeholders even fromthe same group are not necessarily homogenous. Their perceptions are significantly influenced by a range of cultural and environmental factors as well as information disseminated by those responsible for selection.

---

BMC Med Educ. 2018 Jun 15;18(1):139. doi: 10.1186/s12909-018-1235-x.

A systematic review of stakeholder views of selection methods for medical schools admission.

Kelly ME1, Patterson F2, O'Flynn S3, Mulligan J4, Murphy AW4.

Author information

1

Discipline of General Practice, Clinical Science Institute, National University of Ireland, Galway, Ireland. maureen.kelly@nuigalway.ie.

2

Work Psychology Group, Derby, UK.

3

University College Cork, Cork, Ireland.

4

Discipline of General Practice, Clinical Science Institute, National University of Ireland, Galway, Ireland.

Erratum in

• Correction to: A systematic review of stakeholder views of selection methods for medical schools admission. [BMC Med Educ. 2018]

Abstract

BACKGROUND:

The purpose of this paper is to systematically review the literature with respect to stakeholder views of selection methods for medical school admissions.

METHODS:

An electronic search of nine databases was conducted between January 2000-July 2014. Two reviewers independently assessed all titles (n = 1017) and retained abstracts (n = 233) for relevance. Methodological quality of quantitative papers was assessed using the MERSQI instrument. The overall quality of evidence in this field was low. Evidence was synthesised in a narrative review.

RESULTS:

Applicants support interviews, and multiple mini interviews (MMIs). There is emerging evidence that situational judgement tests (SJTs) and selection centres (SCs) are also well regarded, but aptitude tests less so. Selectors endorse the use of interviews in general and in particular MMIs judging them to be fair, relevant and appropriate, with emerging evidence of similarly positive reactions to SCs. Aptitude tests and academic records were valued in decisions of whom to call to interview. Medical students prefer interviews based selection to cognitive aptitude tests. They are unconvinced about the transparency and veracity of written applications. Perceptions of organisational justice, which describe views of fairness in organisational processes, appear to be highly influential on stakeholders' views of the acceptability of selection methods. In particular procedural justice (perceived fairness of selection tools in terms of job relevance and characteristics of the test) and distributive justice (perceived fairness of selection outcomes in terms of equal opportunity and equity), appear to be important considerations when deciding on acceptability of selection methods. There were significant gaps with respect to both key stakeholder groups and the range of selection tools assessed.

CONCLUSIONS:

Notwithstanding the observed limitations in the quality of research in this field, there appears to be broad concordance of views on the various selection methods, across the diverse stakeholders groups. This review highlights the need for better standards, more appropriate methodologies and for broadening the scope of stakeholder research.

KEYWORDS:

Medical schools; Organisational justice; Stakeholders; Views

PMID:

 

29907112

 

PMCID:

 

PMC6002997

 

DOI:

 

10.1186/s12909-018-1235-x