지나칠 정도로(Adv Health Sci Educ Theory Pract.2023) To a fault Kevin W. Eva1
저는 조지 한천입니다. 지금까지 저를 어떻게 생각하시나요? 장인어른이 수없이 기뻐하시며 말씀하셨던 이 대사는 많은 사람이 첫인상에 대해 갖는 매력과 직관을 아름답게 요약합니다. 첫인상은 매우 강력하기 때문에 효과적인 네트워킹에 관한 모든 워크숍과 영업 입문 과정에서는 '첫인상을 남길 기회는 두 번 다시 없다'며 새로운 상호작용에 대한 접근 방식을 세심하게 만드는 것이 얼마나 중요한지 강조합니다. 기초적인 글쓰기 조언도 마찬가지로 '첫머리를 묻지 말라'는 격언처럼 관심을 빠르게 사로잡는 것이 얼마나 중요한지 강조합니다. 두 가지 권장 사항 모두 사람들이 바쁘고 주의력이 덧없다는 사실에 내재된 부인할 수 없는 위험을 올바르게 강조합니다(Eva, 2013). I’m George Agar. How do you like me so far? That line, said countless gleeful times by my father-in-law, beautifully sums up the fascination and intuitions many have with first impressions. They are considered so powerful that every workshop on effective networking and every introductory sales course stresses how important it is to finely craft one’s approach to a new interaction: ‘You never get a second chance to make a first impression!’Foundational writing advice similarly emphasizes how critical it is to capture interest quickly, for instance in the aphorism: ‘Don’t bury the lede!’Both recommendations rightly highlight the undeniable risk inherent in the facts that people are busy and attention is fleeting (Eva,2013).
마찬가지로 부인할 수 없는 사실은 첫인상이 영향력을 발휘하기 위해 노력할 필요가 없다는 것입니다. 첫인상은 매우 빠르게 형성되기 때문에 첫인상을 막을 수 없다는 것입니다. 윌리스와 토도로프(2006)의 고전적인 연구에 따르면 얼굴은 일관된 생각으로 인상을 표현하는 것보다 더 빠른 밀리초 이내에 판단된다고 합니다. 의학계에서는 의사들이 새로운 환자를 접한 후 몇 초 안에 가능성을 언급하기 시작할 정도로 빠르게 진단을 내리는 것으로 오랫동안 알려져 왔습니다(Barrows et al., 1982). Equally undeniable is that we need not seek to use first impressions for them to be influential; they form so rapidly that early impressions cannot be prevented. Classic work by Willis & Todorov (2006) suggested that faces are judged within milliseconds, faster than one could express their impression with a coherent thought. In medicine, it has long been known that physicians formulate diagnoses so quickly they start naming possibilities within seconds of encountering a new patient (Barrows et al.,1982).
이러한 속도에 따른 편견과 오류의 위험 때문에 의료 전문가 교육에서 첫인상이 의사 결정에 어떤 영향을 미칠 수 있는지 이해하는 것이 필수적입니다. 이러한 이유로 이번 호에 게재된 첫인상과 면접 평가의 관계에 대한 Klusmann, Knorr, Hampe의 연구(2022)와 같은 연구는 환영할 만한 연구인 동시에 더욱 확대되어야 할 필요가 있습니다. The risks of bias and error that such speed creates make it essential that we in health professional education understand how first impressions can influence our decision-making. For that reason, work like Klusmann, Knorr and Hampe’s, (2022)exploration of the relationship between first impressions and interview ratings, published in this issue ofAdvances, is both welcome and in need of further expansion.
다행히도 우리는 더 많은 이해를 쌓을 수 있는 탄탄한 토대를 가지고 있습니다. 결국 개인의 첫인상은 심리학 및 경제학(Kahneman, 2011)과 의료 전문가 교육(Eva, 2005; Norman, 2005)에서 오랫동안 연구되어 온 빠르고 간결한 추론 과정의 한 형태에 불과합니다. 이러한 광범위한 문헌에서와 마찬가지로 첫인상과 관련된 증거는 첫인상이 필연적으로 판단에 해를 끼친다거나 휴리스틱 기반 추론이 오류의 주요 원인이라고 가정하는 데 주의해야 함을 시사합니다. Fortunately, we have a solid foundation on which to build greater understanding. First impressions of individuals, after all, are but one form of the fast and frugal reasoning processes that have been studied at length in psychology and economics (Kahneman,2011) as well as health professional education (Eva,2005; Norman,2005). And, just as in those broader literatures, the evidence pertaining to first impressions suggests we must be careful about assuming they inevitably harm judgment or that heuristic-based reasoning is a dominant cause of error.
"얇은 조각"의 정보가 매우 정확한(효율적인 것은 말할 것도 없고) 의사 결정 수단을 제공할 수 있다는 Ambady와 Rosenthal(1992)의 연구 결과를 대중화시킨 것은 아마도 Gladwell의 Blink(2005)가 가장 큰 책임이 있을 것입니다. '블링크'는 아주 적은 정보로(즉, 눈 깜짝할 사이에) 형성된 인상이 신중한 분석에 기반한 의사 결정만큼, 또는 그보다 더 나은 의사 결정을 내릴 수 있음을 보여주는 다양한 연구를 한 단어로 요약한 것입니다. 그러나 비분석적 정신 과정의 힘을 강조하기 위해 책을 쓴 글래드웰조차도 첫인상에 의존할 수 있다는 점을 인정하는데, 특히 초기 반응을 지배하는 단서들이 오해의 소지가 있을 수 있기 때문입니다. Gladwell’sBlink(2005) is likely most responsible for popularizing Ambady and Rosenthal’s (1992) findings that “thin slices” of information can provide highly accurate (not to mention efficient) means of decision-making. “Blink” is a one-word summary of an array of research illustrating that impressions formed with very little information (i.e., in the blink of an eye) can be as good as, or better than, decisions based on careful analyses. In writing a book aimed at celebrating the power of non-analytic mental processes, however, even Gladwell admits that we can rely on first impressions to a fault, not least because the cues that dominate our initial reactions can be misleading.
제가 아는 한, '직관적 판단'(즉, 비분석적, 휴리스틱적, 인상에 기반한 판단)이 언제 우리를 잘못된 길로 이끌 가능성이 있는지에 대한 지침을 제공하는 가장 좋은 출처는 Kahneman & Klein(2009)입니다. 이 논문은 휴리스틱의 광범위한 사용이 전문가의 직관이라는 개념을 어떻게 약화시킬 수 있는지에 대한 카네만의 노벨상 수상 연구와 전문성의 놀라운 업적을 보여주는 클라인의 자연주의적 의사 결정에 대한 연구를 조화시키려는 저자들의 노력을 요약한 것입니다. 두 저자의 세계관에는 큰 차이가 있지만, 직관적 판단의 정확성을 높이려면 (1) 환경의 예측 가능성과 (2) 환경의 규칙성을 학습할 기회가 필요하다는 결론은 일치했습니다. To my knowledge, Kahneman & Klein (2009) remains the best source of guidance as to when “intuitive judgments” (i.e., those based on non-analytic, heuristic-based, impressions) are likely to lead us astray. That paper summarizes the authors’ effort to reconcile Kahneman’s Nobel winning research on how prevalent use of heuristics can undermine the notion of expert intuition with Klein’s research on naturalistic decision making that reveals astonishing feats of expertise. Despite the appearance of vast differences in their worldviews, the authors aligned in their conclusion that intuitive judgment accuracy requires (a) predictability in the environment and (b) opportunity to learn its regularities.
첫 번째 기준과 관련하여 클루스만, 크노르, 햄페가 연구를 수행한 맥락이 '예측 가능한' 것으로 간주될 수 있는지 여부를 판단하는 것은 첫인상보다 더 어렵습니다. 이들의 다중 미니 인터뷰(MMI)는 '사회적 역량'을 측정하기 위한 것으로, 미래 행동에 대한 완벽한 예측은 고사하고 이러한 자질의 전체 복잡성을 측정할 수 있는 도구는 없다고 확신할 수 있습니다. 사실 맥락은 매우 중요하기 때문에 특정 역량이 단순한 레이블이 암시하는 것처럼 고결한 것이라고 가정해서는 안 됩니다(Grant & Schwartz, 2011). 우리는 지원자가
자신감이 있기를 바라지만, 자신감이 결점(자기애)이 될 수도 있고,
회복탄력성이 있기를 바라지만, 회복탄력성이 결점(경직성)이 될 수도 있고,
친절하기를 바라지만, 친절함이 결점(복종성)이 될 수도 있고,
이타심을 원하지만, 이타심이 결점(자기 부정성)이 될 수도 있습니다.
With respect to the first criterion, determining whether the context in which Klusmann, Knorr and Hampe did their work can be deemed ‘predictable’ is more difficult than first impressions might suggest. Their Multiple Mini Interview (MMI) was intended to measure “social competence” and we can be quite confident there is no tool that could ever measure the full complexity of such qualities let alone make perfect prediction about future behaviour. Context is so important, in fact, that we should not even assume any given competence to be as virtuous as a simple label might suggest (Grant & Schwartz,2011).
We want candidates to be confident, but one can be confident to a fault (narcissism);
we want them to be resilient, but one can be resilient to a fault (rigid);
we want kindness, but one can be kind to a fault (obsequious); and,
we want altruism, but one can be altruistic to a fault (self-denying).
판단에 기반한 평가 상황에서는 기껏해야 특정 시점에 개인이 바람직한 수준의 미덕을 어느 정도 드러내는지에 대한 평가자의 관점을 측정할 수 있을 뿐입니다. 이러한 상황에서 '예측 가능성'이 유용하기 위해서는 미래에 일어날 모든 일을 예측할 수 있는 능력을 의미할 필요는 없으며, 예측 가능성은 보다 근본적으로 여러 상황 내에서 또는 여러 상황 간에 서로 다른 행동 간에 어떤 상관관계가 존재하는지 이해하는 것을 의미합니다. MMI 스테이션의 초반에 하는 행동(또는 표시)이 나중에 같은 스테이션에서 하는 행동을 의미 있게 예측할 수 있다면, 해당 스테이션에서의 성과는 첫인상으로부터 '예측 가능'하다고 간주해야 합니다. 마찬가지로, MMI 스테이션 모음에서 수집한 비교적 "얇은" 조각에서 나타난 행동이 다른 사람과 얼마나 쉽고 빠르게 친밀감과 신뢰를 쌓을 수 있는지와 관련이 있다면, 이러한 첫인상은 훈련이 완료된 후 바람직한 역량을 발휘할 가능성에 관한 귀중한 (불완전하더라도) 정보원이 될 수 있습니다(Eva 외., 2012). At best, in any judgment-based assessment situation, we might ably measure raters’ perspectives on the extent to which an individual reveals a desirable level of demonstrable virtues at that given moment in time. To be useful, ‘predictability’ in such situations need not refer to the capacity to anticipate everything that will happen in the future; rather, predictability is more fundamentally about understanding where correlations exist between different behaviours within or across different situations. If what one does (or displays) early in an MMI station meaningfully anticipates what they do later in the same station, their performance in that station should be considered “predictable” from first impressions. Similarly, if the behaviours demonstrated in the still relatively “thin” slices gathered from a collection of MMI stations relate to how easily or quickly one can build rapport and trust with others, those first impressions may serve as a valuable (even if imperfect) source of information regarding the likelihood of exhibiting desirable competencies after training is completed (Eva et al.,2012).
환경 규칙에 대해 학습할 수 있는 역량은 어떨까요? 대부분의 경우 면접 상황에서 평가자는 관찰과 장기적인 결과 사이의 관계에 대한 피드백을 거의 또는 전혀 받지 못합니다. 안타깝게도 인터뷰 환경에서 시간을 들여 "두꺼운" 정보 조각을 만든다고 해서 이 문제가 해결되지는 않습니다. 면접 시간이 길어지면 만나는 지원자의 수가 줄어들어 규칙성에 대해 배울 수 있는 기회가 줄어들 뿐만 아니라, Ambady와 Rosenthal(1992)의 연구에서 입증된 것처럼 면접 시간이 길어지면 새로운 정보를 추가하기보다는 평가자의 자신감을 강화하는 데 더 많은 영향을 미칩니다. 물론 사람들이 첫인상을 조정할 수는 있지만, 주어진 상황에서의 성과는 초기부터 후기까지 충분히 일관된(즉, 예측 가능한) 경향이 있기 때문에 평가자의 조정 능력을 테스트하기 위한 연구에서는 첫인상을 강화하는 후기 순간의 어려움을 극복하기 위해 실험적으로 자극을 조작하는 경향이 있습니다(예: Wood et al., 2018; Eva & Cunnington, 2006). What though of the capacity to learn about environmental regularities? In most circumstances, raters in interview contexts receive little to no feedback regarding the relationship between their observations and long-term outcomes. Unfortunately, taking the time to create “thicker” slices of information within interview settings will not address that issue. Not only do longer interviews reduce the number of applicants one encounters, thus reducing opportunity to learn about regularities, but as Ambady and Rosenthal’s (1992) work demonstrated, longer interviews do more to reinforce raters’ confidence than they do to add new information to the mix. It is possible, of course, for people to adjust their first impressions, but performance within a given situation tends to be consistent (i.e., predictable) enough from early to late stages that studies aimed at testing raters’ capacity to adjust tend to rely on experimentally manipulating stimuli to overcome the challenge of later moments reinforcing first impressions (e.g., Wood et al.,2018; Eva & Cunnington,2006).
즉, 상황 간(서로 다른 인터뷰 포함) 성과는 일관성이나 예측 가능성이 거의 없는 경향이 있는데, 이러한 현상을 맥락 특이성이라고 합니다(Eva et al., 1998). 이러한 강력한 현상이 존재한다는 점을 고려할 때, 면접관에게 [관찰과 장기적인 성과 사이의 규칙성]에 대해 가르치려는 노력은 [개인에 대한 관찰 횟수가 적을수록 규칙성을 학습할 가능성이 낮기 때문에] 잘못된 것입니다. 클루스만, 크노르, 햄페는 결과의 가치를 할인할 때 이 점을 인식하고 두-스테이션 OSCE를 사용했습니다. 대신 MMI 프로세스는 한 평가자의 약점은 다른 평가자의 강점을 통해 보정될 수 있고, 그 반대의 경우도 마찬가지이기 때문에 진정한 '예측 가능한' 인상을 수집하기 위해서는 여러 개의 얇은 조각을 함께 겹쳐야 한다는 개념에 기반하고 있습니다. 이 개념은 다양한 방식으로 언급되지만, 질적 연구에서 삼각측량 논리의 핵심이며(Carter et al., 2014), 진단 오류에 대한 스위스 치즈 모델(Reason, 2000), 충분한 정보가 수집될 때까지 프로그램 평가에서 의사 결정을 보류하라는 조언(Schuwirth & van der Vleuten, 2012), 샘플링 전략을 활용하여 유용성을 높이는 기타 평가 방법론(Eva, 2018)의 핵심이기도 합니다. That said, performance between situations (including different interviews) tends not to be nearly as consistent or predictable, a phenomenon widely known as context specificity (Eva et al.,1998). Given the existence of that robust phenomenon, efforts to teach interviewers about regularities between their observations and longer-term performance would be misplaced because the fewer the observations one has made about an individual the less likely it is that regularities exist to be learned. Klusmann, Knorr and Hampe recognize this when they discount the value of their outcome – a two-station OSCE. MMI processes, instead, are built upon the notion that layering many thin slices together is necessary to gather truly ‘predictive’ impressions because weaknesses in one rater’s impressions can be corrected through strengths in the impressions of others (and vice versa). While spoken about in many different ways, this concept is the essence of triangulation logic in qualitative research (Carter et al.,2014), the Swiss cheese model of diagnostic error (Reason,2000), the advice to withhold decision-making in programmatic assessment until sufficient information has been gathered (Schuwirth & van der Vleuten,2012), and any other assessment methodology that draws upon sampling strategies to increase their utility (Eva,2018).
요약하자면, 첫인상은 결함이 있을 수 있지만, 더 많은 상호작용을 통해 형성된 인상도 결함이 있을 수 있으며, 이는 우리가 첫인상을 보완하지 않는다면 주로 첫인상을 지나칠 정도로 신뢰한다는 것을 시사합니다. 그러나 가장 가치 있는 보완은 [첫인상을 무시하려는 노력]에서 오는 것이 아니라, 다양한 맥락에서 다양한 사람들이 형성한 많은 인상을 먼저 보려는 노력에서 오는 것일 수 있습니다(Eva, 2018). 결국 판단의 지혜는 판단의 근거가 되는 정보의 포괄성보다는 수집된 인상의 수, 독립성, 그리고 그 인상이 나온 사람들의 다양성에 따라 성장합니다(Surowiecki, 2004).
In sum, first impressions can be flawed, but so can impressions formed from more extended interactions, which suggests that we trust our early intuitions to a fault primarily when we fail to supplement them. The most valuable supplementation, however, may not come from effort to discount one’s first impression so much as it comes from effort to look across many impressions, first or otherwise, formed by a variety of people in a variety of contexts (Eva,2018). Wisdom of judgment, after all, grows with the number of impressions collected, their independence, and the diversity of people from whom they came, rather than from the comprehensiveness of information on which judgments are based (Surowiecki,2004).
Adv Health Sci Educ Theory Pract. 2023 May;28(2):537-540.doi: 10.1007/s10459-022-10181-z.Epub 2022 Nov 30.
Are first impressions misleading? This commentary explores that question by drawing on the more general cognitive psychology literature aimed at understanding when, why, and how any non-analytic reasoning process can help or hurt decision-making.
성형외과 전공의 선발 인터뷰 중 금지된 질문의 사용빈도(Plast Reconstr Surg Glob Open.2023) Prevalence of Prohibited Questions during Plastic Surgery Residency Interviews
소개 INTRODUCTION
성형외과는 가장 경쟁이 치열한 레지던트 과정 중 하나이며, 이러한 추세는 최근 몇 년 동안 더욱 심해졌습니다.1,2 2020년과 2021년 지원 주기에서 미국 의대생 지원자의 30.1%가 통합 성형외과 포지션에 매칭에 실패했습니다. 이 수치는 2022년에는 38.4%(108명)로 증가했습니다.3-5 2022년 매칭 주기 동안 86개의 통합 성형외과 및 재건외과(PRS) 프로그램에서 제공하는 194개의 PGY-1 자리에 411명의 지원자가 있었습니다.6,7 2022년 전국 레지던트 매칭 프로그램(NRMP) 보고서에 따르면 281명(80%)의 지원자가 미국 의과대학에서 교육을 받았으며 이 그룹이 173개(89.2%) 자리를 확보했습니다.5 성형외과 합격자의 자격은 모든 전문과 중에서 가장 경쟁이 치열합니다.
미국 의과대학협회(AAMC)에 따르면 성형외과 1년차 통합 전공의의 USMLE 1단계와 2단계를 합한 점수(각각 247점, 253.2점)는 이비인후과 전공의(각각 247점, 254.4점)에 이어 두 번째로 높았으며,
성형외과 1년차 전공의의 평균 출판, 발표 및 초록 수(20편)는 신경외과(24편)에 이어 두 번째로 높았습니다. 6), 정형외과(13.9건) 및 이비인후과(13.7건)보다 45% 더 많습니다.8
따라서 성형외과 통합전형에 참여하는 것은 경쟁이 치열하며, 대부분의 지원자들은 성형외과 전문의가 되기 위해 각 면접을 필수적으로 고려합니다. 이처럼 경쟁이 치열한 상황에서 면접 과정의 공정성과 투명성은 무엇보다 중요합니다. Plastic surgery is one of the most competitive residencies, and this trend has only intensified in recent years.1,2In the 2020 and 2021 application cycles, 30.1% of United States medical student applicants for integrated plastic surgery positions failed to match. This figure rose to 38.4% (108 applicants) in 2022.3–5During the 2022 match cycle, there were 411 applicants for the 194 PGY-1 spots offered by 86 integrated plastic and reconstructive surgery (PRS)programs.6,7Based on the 2022 National Resident Matching Program (NRMP)report, 281 (80%) applicants were educated in US medical schools, and this group secured 173 (89.2%) of the positions.5The qualifications of successful candidates in plastic surgery are the most competitive of all specialties.
According to the American Association of Medical Colleges (AAMC), the combined USMLE Step 1 and Step II for the first-year integrated plastic surgery residents (247 and 253.2, respectively) were second only to residents in otolaryngology (247 and 254.4, respectively),
while the average number of publications, presentations, and abstracts of the first-year plastic surgery residents (20) was second only to neurosurgery (24.6) and 45% greater than orthopedic surgery (13.9) and otolaryngology (13.7).8
Consequently, participation in the integrated plastic surgery match is highly competitive, and most applicants consider each interview essential to their prospect of becoming a plastic surgeon. In such a high-stakes setting, the fairness and transparency of the interview process are paramount.
다양한 의학 및 외과 전문과목에 대한 연구에 따르면 면접 과정에서 지원자에게 허용되지 않거나 잠재적으로 불법적인 질문을 하는 비율이 충격적으로 높은 것으로 나타났습니다(그림 1).9-13 비외과 및 외과 전문과목 지원자 약 11,000명을 대상으로 한 Hern 등의 연구에 따르면 응답자의 53.3%가 결혼 여부, 24%가 자녀, 13.8%가 육아 계획에 대해 질문을 받은 것으로 나타났습니다.8 다른 전문과목에서도 유사한 결과가 보고되었습니다.9
-인종/민족, 성별, 성 정체성, 성적 지향, 나이, 장애, 종교, 정치적 견해, 가족 상태에 관한 채용 과정에서의 질문은 1964년 민권법 제7장에 의거하여 연방법을 명백히 위반하는 것입니다.14
마찬가지로, NRMP는 지원자와 프로그램 모두를 위한 행동 강령을 제공하며 연방법을 면밀히 준수하는 경향이 있습니다.15,16 이 가이드에는 "불법적인 질문 자제"라는 제목의 특정 섹션이 포함되어 있습니다.
또한, AAMC는 인구통계, 가족, 병력(군대, 체포, 전과), 기타 프로그램/전문과목 및 순위 계획 등 인터뷰 시 피해야 할 주제를 설명하는 "의료 인터뷰 수행 모범 사례"를 게시합니다(그림 2).17
Studies of various medical and surgical specialties have documented that the incidence of impermissible or potentially illegal questions asked to candidates during the interview process is shockingly high (Fig. 1).9–13A study by Hern et al surveying nearly 11,000 applicants in both nonsurgical and surgical specialties revealed that 53.3% of respondents were asked about their marital status, 24% about children, and 13.8% about plans for child-rearing.8Similar findings have been reported in other specialties.9–13
Questions during an employment process regarding race/ethnicity, sex, gender identity, sexual orientation, age, disability, religion, political views, and family status explicitly violate federal law under Title VII of the Civil Rights Act of 1964.14
Likewise, the NRMP offers Codes of Conduct for both applicants and programs that tend to closely follow the federal legislation.15,16 This guide contains a specific section entitled “Refrain From Asking Illegal Questions.”
Moreover, the AAMC publishes “Best Practices for Conducting Medical Interviews” that spell out topics to avoid during an interview, including demographics, family, history (military, arrests, criminal convictions), and other programs/specialties and ranking plans (Fig. 2).17
이러한 명확한 가이드라인에도 불구하고, 지원자들은 계속해서 이러한 허용되지 않는 질문에 직면하고 있으며, 여기서 허용되지 않는 질문이란 AAMC/NRMP가 금지하는 모든 주제 및/또는 진술로 정의합니다. 지난 10년간의 이전 매칭 주기에 대한 연구에 따르면 성별 모두 유의미한 영향을 받았지만, 여성 응답자가 특히 결혼 여부, 가족 계획 및/또는 프로그램에 대한 헌신과 관련하여 허용되지 않는 질문을 받을 가능성이 더 높았습니다.10 불법은 아니지만 지원자의 특정 프로그램에 대한 헌신 또는 인터뷰에 관한 질문은 매칭 규정에 의해 금지되어 있지만, 연구에 따르면 여러 전문과목에서 위반이 만연한 것으로 나타났습니다.10 -13,18 따라서 이 연구의 목적은 세 가지입니다:
PRS 레지던트 면접에서 허용되지 않는 질문과 불법적인 질문의 유행을 문서화하고,
발생하는 질문의 유형을 탐구하며,
프로세스의 공정성과 투명성을 개선하기 위해 이 문제에 대한 경각심을 불러일으키기 위한 것입니다.
Despite these clear guidelines, applicants continue to face these disallowed questions, which we define here as any topic and/or statement that AAMC/NRMP prohibits. Studies from prior match cycles over the last decade have revealed that while both genders were significantly affected, female respondents were more likely to receive an impermissible question, especially regarding marital status, family planning, and/or commitment to the program.10Although not illegal, questions regarding an applicant’s commitment to a given program and/or interviews are prohibited by match rule, yet studies show violations are prevalent across numerous specialties.10–13,18Thus, the purpose of this study is threefold:
to document the prevalence of impermissible and illegal questions during PRS residency interviews,
to explore the types of questions that arise, and
to draw awareness to this matter in hopes of improving the fairness and transparency of the process.
방법 METHODS
기관 심의위원회의 승인을 받은 후, PRS 레지던트 면접 시 잠재적으로 불법적인 질문에 대한 16개 문항으로 구성된 익명 설문조사를 설계하여 REDCap에 배포했습니다(그림 1). 이 설문조사는 2022년 3월부터 2022년 6월까지 미국 내 한 통합 PRS 프로그램의 2022년 매칭 지원자(302명) 전원에게 발송되었습니다. 매칭 결과가 발표된 후(2022년 3월) 지원자들에게 일주일 간격으로 세 차례 이메일을 발송하여 27.8%의 응답률을 보였습니다. 이후 2022년 6월까지 2주 간격으로 세 차례의 리마인더 이메일이 발송되었습니다. 총 66일 동안 지속적으로 응답을 수집하여 최종 응답률 33.1%를 달성했습니다. After institutional review board approval, an anonymous 16-question survey on potentially illegal questions during the PRS residency interview was designed and distributed on REDCap (Fig. 1). From March 2022 to June 2022, this survey was sent to all match 2022 applicants (302 applicants) of one integrated PRS program in the United States. After match results were published (March 2022), three separate emails, spaced a week apart, were sent to applicants with a response rate of 27.8%. Three subsequent reminder emails were sent 2 weeks apart until June 2022. Responses were continuously collected for a total of 66 days, achieving a final response rate of 33.1%.
연구 데이터는 워싱턴 DC의 어린이 국립병원에서 호스팅하는 REDCap-Research 전자 데이터 캡처를 사용하여 수집 및 관리되었습니다.19,20 REDCap은 연구용 데이터 캡처를 지원하도록 설계된 안전한 웹 기반 소프트웨어 플랫폼으로, (1) 검증된 데이터 캡처를 위한 직관적인 인터페이스, (2) 데이터 조작 및 내보내기 절차를 추적하기 위한 감사 추적, (3) 공통 통계 패키지로 데이터를 원활하게 다운로드하기 위한 자동 내보내기 절차, (4) 데이터 통합 및 외부 소스와의 상호운용성을 위한 절차 등을 제공합니다. 설문조사 도구는 식별 가능한 정보와 연결되지 않았으며 모든 응답은 익명으로 처리되었습니다. Study data were collected and managed using REDCap—Research Electronic Data Capture, hosted at Children’s National Hospital of Washington, DC.19,20REDCap is a secure, web-based software platform designed to support data capture for research studies, providing (1) an intuitive interface for validated data capture; (2) audit trails for tracking data manipulation and export procedures; (3) automated export procedures for seamless data downloads to common statistical packages; and (4) procedures for data integration and interoperability with external sources. The survey instrument was not linked to identifiable information; all responses were anonymous.
지원자들에게는 인구통계학적 정보, 면접 경험, 질문 또는 AAMC 가이드라인에 따라 불법으로 간주될 수 있는 의견에 대해 질문했습니다. 또한 응답자들에게 이러한 시나리오에서 어떤 반응을 보였는지, 부적절한 질문과 관련된 조치를 취하기로 결정했는지, 해당 프로그램의 순위가 영향을 받았는지에 대해서도 질문했습니다. The applicants were queried about the demographic information, interview experience, questions, or comments that would be considered illegal based on the AAMC guidelines. Additionally, respondents were asked about their responses in these scenarios, if they had decided to pursue actions related to inappropriate questions, and if their ranking of these programs was affected.
답변은 REDCap에 표로 작성되었으며, 데이터 평가는 Microsoft Excel 16.40(Microsoft Corporation, 워싱턴주 레드몬드)을 사용하여 수행되었습니다. 통계 분석은 Stata 소프트웨어, 버전 14.2 MP(Stata Corporation, College Station, Texas)를 사용하여 수행되었습니다. 설문조사 완료 시 성별, 인종, 연령에 따른 경향과 부적절한 질문의 유병률을 분석했습니다. 단변량 분석은 공변량 t 검정을, 연속형 데이터 비교는 윌콕슨-만-위트니 테스트를 사용하여 수행했으며, 범주형 변수는 카이제곱 검정을 사용하여 비교했습니다. 값은 연속형 변수의 경우 평균 ± SD 또는 사분위수 범위(IQR)를 포함한 중앙값으로, 범주형 변수의 경우 백분율을 포함한 빈도로 표시했습니다. P값이 0.05 미만이면 통계적으로 유의미한 것으로 간주했습니다. 성별, 연령, 인종/민족별로 계층화된 하위 그룹 분석의 경우, 큰 효과 크기를 감지할 수 있는 검정력이 80% 이상인 것으로 나타났습니다(Cohen's W = 0.5). Answers were tabulated into REDCap, and data evaluation was done using Microsoft Excel 16.40 (Microsoft Corporation, Redmond, WA). Statistical analysis was performed using Stata software, version 14.2 MP (Stata Corporation, College Station, Tex.). Trends between gender, ethnicity, or age at completing the survey and the prevalence of inappropriate questions were analyzed. Univariate analysis was performed using unpairedttest, and Wilcoxon-Mann-Whitney tests to compare continuous data, and categorical variables were compared using chi-square test. Values were expressed as mean ± SD or median with interquartile range (IQR) for the continuous variables and frequencies with percentages for the categorical variables. APvalue less than 0.05 was considered to be statistically significant. For the subgroup analyses, stratified by gender, age, and race/ethnicity, we found greater than 80% of power to detect a large effect size (Cohen’s W = 0.5).
결과 RESULTS
지원자 특성은 표 1에 나와 있습니다. 설문조사에 참여한 302명의 지원자 중 100명(33.1%)이 설문조사 요청을 완료했습니다. 대부분의 응답자는 지원 주기 동안 10회 이상의 면접을 받았습니다. 지원자의 대다수(78%)가 허용되지 않는 질문/시나리오를 경험했으며, 이러한 질문이 하나 이상 포함된 면접을 평균 3.6회(SD 3.79) 진행했습니다(그림 3 및 4). 이러한 질문이 가장 많이 등장한 카테고리는 인터뷰 숫자/랭킹(42%)이었으며, 결혼 여부(33%), 경력 균형(25%), 인종/민족(22%)이 그 뒤를 이었습니다. (성형외과 지원자에게 보낸 설문조사 예시가 표시된 설문조사, 보충 디지털 콘텐츠 1을 참조하세요. ) 이러한 질문/시나리오 중 상당수가 부적절하다고 생각했지만(25.6%), 지원자의 42.3%는 이러한 질문/시나리오의 적절성에 대해 잘 모르겠다/중립적이라고 느꼈습니다(표 2). 나머지 25명의 응답자(32.1%)는 면접 토론의 맥락을 고려할 때 해당 질문이 적절했다고 답했습니다. 8명의 지원자(10.3%)는 이러한 시나리오에서 답변을 거부했으며, 답변한 지원자 중 85.7%는 진실하게 답변했습니다. 이러한 불법 가능성이 있는 시나리오에 대해 불만을 제기하거나 신고한 지원자는 없었습니다.응답자들이 꼽은 가장 일반적인 이유로는 기관의 보복이나 직급에 대한 부정적인 영향에 대한 두려움(30.9%)이 가장 많았고, 실익이 없어서(16.2%)가 그 뒤를 이었습니다. 마지막으로 응답자의 30%는 자신의 경험이 직급 목록에 영향을 미쳤다고 답했습니다.
Applicant characteristics are illustrated inTable 1. One hundred of the 302 applicants who were surveyed (33.1%) completed the survey request. Most respondents had received more than 10 interviews for the application cycle. The majority (78%) of applicants experienced an impermissible question/scenario with an average of 3.6 (SD 3.79) interviews that included at least one of these questions (Figs. 3and4). The most prevalent categories of these questions were number/ranking interviews (42%), followed by marital status (33%), career balance (25%), and race/ethnicity (22%). (See survey, Supplemental Digital Content 1,which displays the example survey sent to plastic surgery applicants.https://links.lww.com/PRSGO/C580.) Although many of these questions/scenarios were seen as inappropriate (25.6%), 42.3% of applicants felt unsure/neutral about the appropriateness of the statements (Table 2). The other 25 respondents (32.1%) found that these questions were appropriate given the context of the interview discussion. Eight applicants (10.3%) refused to respond in these scenarios, and of those who did answer, 85.7% answered truthfully. No applicant submitted a complaint or reported these potentially illegal scenarios. The most common reasons cited by the respondents included fear of retribution or negative impact on their ranking by the institution (30.9%), followed by lack of benefit (16.2%). Lastly, 30% of respondents said their experience influenced their rank list.
연령대, 성별, 인종/민족과 가장 많이 발생한 불법 질문 범주, 진실성, 순위 결정의 연관성을 조사하기 위해 추가 분석을 수행했습니다.
연령대와 불법 질문, 진실성, 순위 결정 범주 간에 통계적으로 유의미한 연관성은 발견되지 않았습니다(표 3).
성별에 대한 분석 결과, 이러한 유형의 시나리오를 접하는 것이 여성의 순위 결정에 유의미한 영향을 미치는 것으로 나타났습니다(여성 43.4% 대 남성 13.3%, P = 0.001)(표 4).
인종/민족에 대한 분석 결과 흑인, 아시아계, 히스패닉/라틴계 지원자가 자신의 인종/민족과 관련된 질문을 통계적으로 더 많이 받은 것으로 나타났습니다. (표 5).
Additional analyses were performed to examine the association of age group, gender, and race/ethnicity, with the most prevalent categories of illegal questions, truthfulness, and ranking decision.
There were no statistically significant associations between different age groups and categories of illegal questions, truthfulness, or ranking decision (Table 3).
Regarding gender, our analysis found that encountering these types of scenarios significantly influenced the rank list for females (43.4% women versus 13.3% men, P = 0.001) (Table 4).
Analysis on race/ethnicity revealed that Black, Asian, and Hispanic/Latino applicants had statistically more questions that pertained to their race/ethnicity. (Table 5).
토론 DISCUSSION
허용되지 않거나 불법일 가능성이 있는 질문을 받았다는 지원자의 보고는 새로운 발견이 아닙니다. Ciesielski-Carlucci 등의 연구에 따르면 레지던트 지원자의 절반 이상이 면접 중 질문이 "부적절하거나 불편하거나 차별적일 가능성이 있다."21 비뇨기과, 응급의학과, 피부과, 방사선 종양학과에 대한 후속 연구에서도 비슷한 결과가 나왔습니다.12,13,22,23 Hern 등은 2012~2013년 레지던트 면접 주기에서 19개 전문과목을 조사한 결과 응답자의 65.9%가 적어도 한 가지 이상의 잠재적 불법 질문을 받았다고 답했으며 외과 지원자의 82%가 그러한 질문을 받았다고 답했습니다.9,10 이러한 초기 연구에서는 행동 강령과 허용 가능한 면접 절차의 정의가 필요했습니다. 그러나 현재 프로그램에서 쉽게 이용할 수 있는 다양한 리소스(2016년과 2021년에 업데이트됨)가 있음에도 불구하고, 본 연구에서 발견된 성형외과 면접 과정에서 허용되지 않거나 불법적인 질문의 높은 유병률은 이러한 우려가 면접 및 매칭 과정의 무결성을 계속 위협하고 있음을 강조합니다. Applicants reporting potentially impermissible or potentially illegal questions is not a novel discovery. A study by Ciesielski-Carlucci et al revealed that more than half of residency applicants identified questions asked during interviews as “inappropriate, uncomfortable, or possibly discriminatory.”21Subsequent studies have been carried out specific to urology, emergency medicine, dermatology, and radiation oncology yielding similar results.12,13,22,23Hern et al examined 19 specialties in the 2012–2013 residency interview cycle and found that 65.9% of respondents reported receiving at least one potentially illegal question, and 82% of surgical applicants were asked such questions.9,10These earlier studies called for a code of conduct and a definition of acceptable interview procedures. Yet, despite the wide range of resources now readily available to programs (updated in 2016 and 2021), the high prevalence of impermissible or illegal questions during the plastic surgery interview process found in the present study highlights that these concerns continue to jeopardize the integrity of the interview and match process.
Here are some examples of inappropriate questions in a U.S. residency matching interview for the categories you mentioned:
Ranking interviews:
Where else have you interviewed?
How would you rank this program compared to others?
What is your top choice for residency?
Marital status:
Are you married?
Do you have a significant other or plan to have one during residency?
What does your spouse/partner think of our program?
Race:
What is your ethnicity or race?
Were you born in the United States?
What's your native language?
Asking these types of questions during an interview is inappropriate and can violate ethical standards and anti-discrimination laws. Interviewers should focus on the applicant's qualifications, skills, and ability to perform the duties required in the residency program.
PRS 매칭 지원자가 보고한 가장 일반적인 두 가지 허용되지 않는 질문은 지원자의 직급 목록(42%)과 결혼 여부(33%)에 대한 논의와 관련된 것이었습니다. 2016년에 Hern 등은 일부 전문 분야의 응답자 중 30% 이상이 계급 목록 및 프로그램에 대한 헌신과 관련된 불법적인 질문을 받았다고 보고했습니다. 이들은 이러한 질문이 "다른 질문과 같은 방식으로 잠재적으로 불법적인 것은 아니다."라고 지적한다. 10 이러한 성격의 질문은 레지던트 면접에 특화되어 있으며 민권법이 보호하지 않기 때문에 덜 금지적으로 느껴진다고 지적했습니다. 이는 불법적인 질문을 경험한 응답자의 42%가 해당 질문이 직급과 관련된 질문이었다고 답한 연구 결과에서 나타난 높은 유병률을 설명할 수 있습니다.
2010년 피부과 지원자 설문조사에서 응답자의 90%가 다른 프로그램의 면접에 대해 질문을 받았으며, 32%는 프로그램 순위를 공개해야 한다는 압박감을 느꼈다고 답했습니다.13
2017년 방사선 종양학과 지원자 202명의 응답을 조사한 Sura 등은 비슷한 결과를 발견했습니다: 불법적인 질문의 47%는 다른 프로그램의 면접에 관한 것이었고, 12%는 순위 의도에 관한 것이었습니다.11
마찬가지로, 세베스타 등은 2017년 매칭 주기(NRMP가 아닌 AUA가 관리)에서 비뇨기과 지원자 141명의 응답을 보고했는데, 85%가 적어도 한 번의 면접에서 불법적인 질문을 받았으며, 지원자의 48%가 순위 목록에 대한 질문을 받았고, 허용되지 않는 질문을 받았다고 보고한 모든 지원자는 다른 면접 장소나 참석 면접 횟수에 대해 질문받았습니다.12
The two most common impermissible questions reported by applicants to the PRS match were related to discussions of the applicant’s rank list (42%) and marital status (33%). In 2016, Hern et al. found that over 30% of respondents in some specialties reported illegal questions related to rank lists and commitment to programs. They astutely pointed out that these are “not potentially illegal in the same way as other questions.”10Questions of this nature are specific to residency interviews and somehow feel less prohibitive, as civil rights laws do not protect them. This may explain the high prevalence shown in our study, where 42% of those who experienced an illegal question reported the questions were rank-related.
In 2010, Sbicca et al found that 90% of respondents to a dermatology applicant survey were asked about interviews at other programs, whereas 32% felt pressured to reveal how they intended to rank programs.13
While examining the responses of 202 radiation oncology applicants in 2017, Sura et al revealed similar findings: 47% of illegal questions were regarding interviews at other programs, wheras 12% were specific to rank intention.11
Similarly, Sebesta et al reported 141 responses by urology applicants in the 2017 match cycle (governed by AUA, not NRMP); 85% reported an illegal question during at least one interview, 48% of applicants were asked about rank lists, and all who reported impermissible questions were asked about other interview locations or the number of interviews attended.12
이러한 질문은 지원자에게 딜레마를 야기할 수 있는데,면접 횟수가 많다고 답하면 특정 프로그램에 관심이 적다는 의미로 오해될 수 있고, 반대로 적은 횟수를 답하면 덜 바람직한 지원자처럼 보일 수 있기 때문입니다. 이러한 질문은 법적 위반에 해당하지 않지만, NRMP 웹사이트(2021년 8월 업데이트)에는 다른 프로그램에 대한 프로그램별 문의 및/또는 지원자의 순위 계획이 경기 참가 계약 위반에 해당한다고 명시되어 있습니다.24 These questions can create a dilemma for applicants given that admitting to a high number of interviews may be misinterpreted to mean that they have little interest in attending that specific program, whereas reporting a lower number may give the appearance that they are a less desirable candidate. Although these questions do not constitute a legal infraction, the NRMP website (updated August 2021) clearly states that inquiries by programs regarding other programs and/or how the applicant plans to rank them are a violation of the Match Participation Agreement.24
반면, 결혼 여부 또는 출산/가족 계획에 관한 질문은 종종 주법에 의해, 더 나아가 연방법에 의해 금지되어 있습니다.14 이러한 유형의 질문에 대한 본 연구 결과는 일반적으로 다른 전문 분야에서 발표된 연구 결과와 일치했습니다.9-13,22 그러나 이러한 질문이 여성 지원자에게 더 자주 묻는 것으로 나타난 선행 연구와 달리,9,10 본 연구에서는 성별 차이가 드러나지 않았습니다.
Sbicca 등은 2009년 매치에서 피부과 지원자 78명(44%)이 결혼 여부에 대한 질문을 받았고, 33명(19%)이 현재 자녀가 있거나 자녀를 가질 계획이 있는지 물었다고 보고했습니다.13
비뇨기과 지원자 데이터에 따르면 55%가 결혼 여부와 현재/미래 자녀 계획 등 개인 생활에 대한 질문을 받았습니다.12
Sura 등은 결혼 여부 질문이 30%의 빈도로 나타났다고 발표했습니다. 자녀 양육 계획은 방사선 종양학 지원자의 6%가 보고했습니다.
이와 대조적으로 Hern 등은 외과 및 비외과 전문의 지원자 11,000명을 대상으로 실시한 설문조사에서 응답자의 53.3%가 결혼 여부에 관한 질문을, 24%가 자녀에 관한 질문을, 13.8%가 자녀 양육 계획에 관한 질문을 받았다고 밝혔습니다.9,11
본 연구에 따르면 지원자의 33%가 결혼 여부에 관한 질문을 받은 반면, 약 16%는 가족 계획에 관한 질문을 받았다고 답했습니다.
In contrast, questions regarding marital status or childbearing/family plans are often proscribed by the state and, more tangentially, by federal laws.14Our results for these types of questions were generally consistent with findings published in other specialties.9–13,22However, unlike prior studies, which found these questions were more frequently asked to female applicants,9,10our study did not reveal a gender difference.
Sbicca et al reported 78 (44%) dermatology applicants being asked about marital status, and 33 (19%) asked if they either currently had children, or intended to have children, in the 2009 Match.13
Urology applicant data showed that 55% were asked questions about personal life, including marital status and current/future plans for children.12
Sura et al revealed that marital status questions appeared 30% of the time. Child-rearing plans were reported by 6% of radiation oncology applicants.
In contrast, Hern et al revealed that 53.3% of respondents reported illegal questions on marital status, 24% regarding children, and 13.8% being asked about plans for child rearing in a survey sent to 11,000 applicants of both surgical and nonsurgical specialties.9,11
Our study found that 33% of applicants reported receiving a question about marital status, whereas about 16% were questioned about family planning.
질문의 의도와 관계없이, 매칭이 되지 않은 지원자는 해당 질문에 대한 답변이 자신을 차별하는 데 사용되었는지 여부에 대해 법적으로 이의를 제기할 수 있습니다. 결혼 여부에 따른 고용 차별은 연방법에 의해 직접적으로 보호되지는 않지만,25 많은 주에서 이러한 관행을 금지하는 법률을 제정했으며,26-30 이러한 질문이 1964년 민권법 제 7조에 의해 금지된 은밀한 형태의 성차별이라는 이론에 따라 고용주를 고소하는 소송 사례도 있습니다.14
Regardless of the questions’ intent, an applicant who fails to match could legally challenge whether their answer to such a question was used to discriminate against them. Although employment discrimination based on marital status is not directly protected under federal law,25many states have enacted laws that prohibit this practice,26–30and there are examples of litigants suing employers on the theory that these questions are a covert form of gender discrimination, which is prohibited under Title VII of the Civil Rights Act of 1964.14
또한 타이틀 7은 인종, 나이, 종교, 성적 지향에 따른 고용 차별을 금지하고 있으며, 설문조사에서 지원자의 22%, 4%, 2%, 1%가 각각 이러한 차별을 경험했다고 응답했습니다. 설문조사에서 인종 및 민족적 소수 집단(흑인, 아시아계, 히스패닉/라틴계)에 속한 지원자의 50%가 자신의 인종/민족과 관련된 질문을 받은 반면, 백인 및 두 가지 이상의 인종으로 분류된 공동 지원자는 이보다 훨씬 적은 비율(각각 9%, 8%)로 질문을 받은 것으로 나타났습니다. 이러한 질문의 의도와 상관없이 지원자는 차별을 위한 질문이었는지 여부에 대해 법적으로 이의를 제기할 수 있으므로프로그램에서는 이러한 주제에 대한 질문을 자제해야 합니다. 본 연구에서 연령에 관한 질문은 드물었으며(4%), 1967년 고용 연령 차별 금지법에 따른 연방의 고용 차별 보호는 40세 이상의 개인에게만 적용됩니다(더 젊은 사람에게 적용될 수 있는 주별 법률이 있음).31 마지막으로, 한 지원자가 장애에 대한 질문을 받았다고 보고했습니다.1990년 미국 장애인법은 장애인에 대한 고용 차별을 금지하고 있지만, 합리적인 직장 내 편의 제공에도 불구하고 채용 예정자가 필수 기능을 수행하지 못할 수 있는 경우는 허용하고 있습니다.32
Title VII also prevents employment discrimination based on race, age, religion, and sexual orientation, which were reported by 22%, 4%, 2%, and 1% of applicants in our survey, respectively. In our study, 50% of applicants belonging to racially and ethnically minoritized groups (Black, Asian, and Hispanic/Latino) were asked questions that pertained to their race/ethnicity versus co-applicants identified as White and two or more races, who were asked in a significantly lesser degree (9% and 8%, respectively). Regardless of the intention of these questions, programs should refrain from inquiring about this topic, as applicants could legally challenge whether their question was used to discriminate against them. Questions regarding age in our study were rare (4%), and federal protection against employment discrimination under the Age Discrimination in Employment Act of 1967 is only applicable to individuals 40 years of age or older (although there are state-specific laws that may apply to younger persons).31Lastly, one applicant reported being asked about a disability. Although the Americans with Disabilities Act of 1990 prohibits employment discrimination against individuals with disabilities, there are allowances where a prospective employee may be unable to perform essential functions despite reasonable workplace accommodations.32
또한 이러한 금지 질문이 지원자에게 미치는 영향과 인상도 조사했습니다. 그 결과, 금지된 질문을 받은 응답자의 30%가 순위 목록 순서에 영향을 받았으며, 통계적으로 유의미한 성별 차이(여성의 순위 목록이 변경된 비율은 43.4%, 남성의 경우 13.3%)가 나타났습니다(표 4).
이번 연구 결과와 유사하게 4학년 의대생을 대상으로 NRMP 위반에 대해 조사한 2021년 연구에서는 응답자 433명 중 60.3%가 다른 면접 장소에 대한 질문을 받았으며, 이들 중 53%가 프로그램에 대해 부정적인 인상을 남겼고, 22.6%는 위반한 프로그램의 순위를 높게 평가하지 않거나 매우 낮게 평가했습니다. 흥미롭게도 이 연구에서 대부분의 규정 위반은 프로그램 디렉터가 저지른 것으로 밝혀졌습니다.33 우리는 프로그램 디렉터가 필요한 변화를 주도하고 지속시킬 수 있는 가장 좋은 위치에 있다는 이 연구 저자들의 제안을 지지합니다.
Our study also explored the effect and impression these impermissible questions had on applicants. Results demonstrated that receiving a forbidden question influenced the rank lists order of 30% of respondents with a statistically significant gender difference: rank lists of women were altered 43.4% of the time versus 13.3% for men (Table 4).
Similar to our findings, a 2021 study surveying fourth-year medical students regarding NRMP violations revealed that 60.3% of the 433 respondents were asked about locations of other interviews; 53% of these applicants were left with a negative impression of the program, with 22.6% being less to much less likely to rank the violating programs highly. Interestingly, most match violations in this study were found to be committed by program directors.33 We support the proposal of the authors of this study that program directors are best poised to initiate and perpetuate necessary change.
조사 결과의 또 다른 중요한 발견은 많은 지원자들이 무엇이 허용되지 않거나 불법적인 질문인지 아닌지에 대한 불완전한 정보를 가지고 있다는 점입니다. 이 연구에 참여한 많은 응답자는 명백히 허용되지 않거나 불법적인 일부 유형의 질문의 적절성에 대해 "구분하기 어렵다"거나 "중립적"이라고 느낀다고 말했습니다. 이는 지원자와 프로그램 참가자가 모병원과 AAMC/NRMP에서 설명한 면접 가이드라인을 검토해야 할 필요성을 더욱 강조합니다. 일반적으로 면접관은 레지던트/수련의로 근무할 수 있는 능력과 명백한 관련이 없는 질문은 피해야 하며, 답변이 근본적이거나 근본적인 직무 관련 필요성이 있는 질문에만 집중해야 합니다. 질문의 경계가 불확실한 경우에도 고용기회균등위원회와 같은 규제 기관에서는 차별 청구 여부를 결정할 때 질문의 의도와 정보 사용 방식을 중요한 측면으로 고려합니다. Another important finding of our investigation was that many applicants had imperfect information about what did or did not constitute an impermissible or illegal line of questioning. Many respondents to this study stated that it was “hard to tell” or felt “neutral” about the appropriateness of some types of clearly impermissible or illegal questions. This further highlights the need for applicants and program participants to review interview guidelines outlined by their parent hospital and by the AAMC/NRMP. In general, interviewers should avoid questions that have no obvious bearing on a resident’s ability to serve as a resident/trainee and stick to questions for which the answer has some fundamental or underlying job-related necessity. Even when the boundaries of a question are uncertain, regulatory bodies like the Equal Employment Opportunity Commission consider the intent of questioning and how the information is used as critical aspects when determining whether to pursue a claim for discrimination.
이러한 질문에 대해 신청자가 직접 법적 조치를 취하는 경우는 드물지만, NRMP 신청자 위반 신고 시스템을 통해 신청자는 프로그램 조사 및 제재를 초래할 수 있는 위반 사항을 신고할 수 있습니다. 이 시스템은 심각한 프로그램 강압에 대한 신고가 접수되고 위반이 확인된 후 2017년에 도입되었으며, 위반이 확인된 경우 종종 NRMP 등록, 순위 및 결과(R3) 시스템에서 경기 위반자로 1~3년 플래그가 표시됩니다.34 플래그가 없더라도 이전 연구에서는 지원자들이 이러한 불법적인 질문을 한 프로그램을 부정적으로 인식하고 순위를 매기는 데 미치는 영향에 대해 주의를 환기했습니다.18 2019년 NRMP 회장/최고경영자 및 최고정책책임자가 발표한 기사에서는 이러한 제재 조치로 지원자 및 의과대학 관계자가 R3 시스템을 통해 2년 또는 3년의 '플래그'를 볼 수 있다고 명시하고 있습니다.34 위반 프로그램에 의한 후속 위반이 드물었기 때문에 이러한 제재가 효과적이라는 것을 발견했습니다. 일부 레지던트 지원자가 인종이나 장애로 인해 낮은 순위를 받았다고 주장하는 사례가 조사되어 기각되기도 했습니다.35-37 그러나 이러한 신고의 유병률과 처분에 관한 최근 데이터는 부족합니다. 연구 결과에 따르면 많은 지원자가 이 제도의 익명성을 모르거나 신뢰하지 않는 것으로 나타났습니다. 면접 중 허용되지 않은 질문을 받았다고 답한 응답자 중 위반 사항을 신고한 응답자는 단 한 명도 없었으며, 그 이유로는 약 1/3이 보복/순위 하락에 대한 두려움(30.9%)을 꼽았고 다른 응답자는 "신고할 가치가 없다"(16.2%)고 답해 거의 절반(47.1%)이 익명 위반 신고 양식이 있다는 사실을 모르고 있는 것으로 나타났습니다. Although direct legal action by an applicant for such questions is rare, the NRMP Applicant Violation Report system allows applicants to report violations that can result in program investigation and sanctions. This system was put in place in 2017 following reports of significant program coercion and confirmed violations often resulting in a 1-to-3-year flag as a match violator in the NRMP Registration, Ranking, and Results (R3) system.34Even without a flag, prior studies have called attention to the influence on how applicants negatively perceive and rank programs that asked these illegal questions.18An article published by the NRMP president/chief executive officer and chief policy officer in 2019 specifies that such sanctions may entail a 2-or 3-year “flag” visible to applicants and medical school officials through the R3 system.34They have found these sanctions were effective, as subsequent breaches by violating programs were rare. Some residency applicant claims of lower ranking due to their race or a disability have been investigated and dismissed;35–37however, there is a paucity of recent data regarding the prevalence and disposition of such reports. Our study findings suggest that many applicants either do not know of, or trust the anonymity of the system. Of all respondents who reported being asked an impermissible question during an interview, not a single respondent reported a violation, with nearly one-third citing fear of retribution/lower ranking (30.9%) and others selecting that doing so was “not worth it” (16.2%) This suggests that nearly half (47.1%) are unaware of the anonymous violation reporting form available (https://www.nrmp.org/wp-content/uploads/2021/12/Violations-Report-Form-for-Applicants.pdf).
본 연구에는 몇 가지 한계가 있습니다. 첫 번째는 단일 기관의 지원자로부터 데이터를 수집했기 때문에 해당 기관에 지원하지 않은 2022년 성형수술 지원자 중 14%(49명)의 경험이 누락되었다는 점입니다(NRMP에 보고된 총 351명의 지원자 중). 국가 데이터를 확보하기 위해 노력했지만 확보할 수 없었습니다. 또한 설문조사 응답률은 33.1%로 이전 연구에 비해 상대적으로 낮았습니다. 둘째, 지원자의 회상 편향을 제한하기 위해 3월에 설문조사를 배포했지만, 인터뷰가 12월부터 2월에 걸쳐 진행되었기 때문에 회상 편향이 발생할 가능성이 있습니다. 또한 부정적인 경험이 있는 지원자들이 응답할 가능성이 높기 때문에 더 많은 응답을 수집했을 가능성도 있습니다. 또한 응답자가 이 주기의 평균 지원자보다 면접 횟수가 많거나 적은지 여부는 명확히 알 수 없습니다. 인터뷰 횟수가 많은 지원자가 설문조사에 응답할 가능성이 더 높을 수 있으며, 이는 혼란을 야기할 수 있지만, 인구통계학적 정보와 관계없이 단일 PRS 프로그램의 모든 지원자에게 설문조사를 전송하여 선택 편향을 최소화했습니다. 회상 편향을 줄이기 위해 지원자들에게 면접에서 특정 유형의 질문을 경험한 적이 있는지를 물었고, 각 면접에 대해 개별 사례를 집계하지 않았습니다. 이 데이터 수집 방법은 Hern 등의 연구에서 사용된 방법을 모방한 것입니다.9 따라서 두 번의 면접 중 하나에서 특정 유형의 부적절하거나 허용되지 않는 질문(예: 종교)을 받은 지원자는 15번의 면접 중 하나에서 같은 유형의 질문을 받은 지원자와 동일하게 카운트됩니다. 이러한 응답 그룹화는 특정 지원자가 허용되지 않는 질문을 받을 가능성이 더 높은지(전체 면접 대비 비율로) 파악하는 데 도움이 될 수 있는 보다 세분화된 통계 조사를 크게 제한합니다. 또한, 설문지의 익명 형식으로 인해 어떤 프로그램에서 어떤 면접관이 허용되지 않는 질문을 했는지도 알 수 없었습니다. 따라서 특정 프로그램의 특정 면접관에게 이러한 질문의 빈도가 집중되고 일부 지원자가 다른 지원자보다 부적절한 질문을 받을 가능성이 훨씬 더 높을 수 있습니다. 이번 조사 결과를 고려할 때 보다 자세한 분석이 필요하지만, 정확한 데이터를 확보하기 위해서는 지원자의 전향적인 보고가 필요할 수 있습니다. 또 다른 잠재적 한계는 이 연구를 위해 분석된 연도에는 모든 면접이 가상으로 진행되었다는 점입니다. 이는 이전의 대면 면접과는 완전히 다른 경험을 제공했을 수 있습니다. 화상 회의를 통해 기록될 가능성이 있기 때문에 직접 대면하거나 전통적인 사전 인터뷰 모임에서 이루어지는 보다 솔직한 토론이 제한되었을 수 있습니다. 이 연구에서는 대조군이 없었으며 같은 해의 비외과 전문과목과 비교하지 않았습니다. Our study has several limitations. The first is that our data were collected from applicants of a single institution; thus, we are missing the experiences of 14% (49) of applicants from the 2022 plastic surgery match who did not apply to this institution (of the 351 applicants total reported by NRMP). While we attempted to obtain national data, we were unable to do so. Furthermore, our survey response rate was relatively low at 33.1% versus prior studies. Second, we distributed the survey in March to limit applicant recall bias; however, with interviews spanning from December to February, recall bias may be likely. It is also possible that we captured more responses from those with negative experiences as they were more likely to respond. Furthermore, we cannot elucidate if respondents had more or fewer interviews than average applicants of this cycle. Perhaps applicants with more interviews were more likely to respond to our survey, which could be confounding; however, we minimized selection bias by sending the survey to all applicants of a single PRS program regardless of any demographic information. To reduce recall bias, the applicants were asked if they had experienced certain types of questions inanyinterview and not to count each separate instance for each interview they received. This method of data collection was fashioned after that used in the study of Hern et al.9Thus, an applicant who was asked a certain type of inappropriate or impermissible question (eg, religion) in one of two interviews would be counted the same as an applicant who was asked the same type of question in one of fifteen interviews. This grouping of responses greatly limits a more granular statistical inquiry, which would have been helpful to determine if certain candidates are more likely (as a percentage of their total interviews) to be asked impermissible questions. Moreover, the anonymous format of the questionnaire also did not allow at which programs and by which interviewers the impermissible questions were asked. Thus, it is possible that the frequency of these questions clusters in certain interviewers at specific programs and that a small subset of applicants are far more likely to be asked inappropriate questions than other candidates. Given our findings, a more detailed analysis is warranted, but this may require prospective reporting by applicants to ensure accurate data. Another potential limitation is that in the year analyzed for this study, all interviews were conducted virtually. This may have provided an entirely different experience than prior in-person interviews. The potential to be recorded over videoconferencing may have limited the more candid discussions held in person or at the traditional preinterview gatherings. In this study, we did not have a control group or compare with a nonsurgical specialty of the same year.
결론 CONCLUSIONS
성형외과 레지던트 면접에서 지원자에게 묻는 질문의 내용에 중점을 두었음에도 불구하고, 부적절하고 허용되지 않는, 그리고 그 정도는 덜하지만 솔직히 위법적인 질문이 여전히 빈번하게 등장하고 있습니다. 이번 조사 결과는 고의성이 있거나 지원자가 기술적으로 허용되지 않는 질문을 그렇게 생각한다는 것을 의미하지는 않습니다. 실제로 지원자의 32.1%는 기술적으로 허용되지 않는 질문을 "적절하다"고 해석했습니다.그러나 선의의 발언이라도 오해와 조사의 빌미가 될 수 있고 소송의 대상이 될 수 있으므로 모호한 질문이나 진술은 피하는 것이 면접 과정의 무결성을 가장 잘 보장할 수 있는 방법입니다. 이전에 제안된 개선 방안에는 순위 목록 제출 전에 검토할 경기 정책 동영상과 면접관용 NRMP 온라인 교육 모듈 개발이 포함되어 있습니다.11,13 이러한 개선 방안이 불법 또는 허용되지 않는 질문을 폐지하는 목표를 달성하는 데 도움이 될 수 있다는 데 동의하지만, 이는 NRMP/AAMC가 주도해야 할 것입니다. Despite the emphasis placed on the content of what is asked of applicants during plastic surgery residency interviews, inappropriate, impermissible, and to a lesser degree, frankly, illegal questions still surface with frequency. Our findings do not imply malintent or that applicants view questions that are technically impermissible as such. In fact, 32.1% of applicants interpreted technically impermissible questions as “appropriate.” However, the integrity of the interviewing process is best ensured if any ambiguous questions or statements be avoided, because even well-intentioned comments can lend to misinterpretation and investigation and possibly be subject to litigation. Prior suggestions for improvement have included developing both match policy videos to be reviewed before rank list submission and NRMP online training modules for interviewers.11,13While we agree that these may assist in achieving the goal of abolishing illegal or impermissible questions, they would have to be led by the NRMP/AAMC.
현재 어떤 수준에서도 가이드라인 검토가 의무화되어 있지 않으므로, 성형외과 수련 프로그램에 면접 과정의 무결성을 보장하기 위한 안전장치를 마련할 것을 제안합니다. 여기에는 다음이 포함됩니다: As the review of guidelines is not currently mandatory at any level, we suggest that plastic surgery training programs institute safeguards to ensure the integrity of the interview process. These include:
1. 면접 과정에 관여하는 모든 사람은 AAMC "의료 면접 수행 모범 사례" 섹션 2,17 "교수진을 위한 실무 가이드" 및 프로그램용 NRMP 경기 행동 강령을 읽었음을 서명합니다. 여기에는 총 7페이지로 구성되어 있으며, 면접관이라면 누구나 10분 이내에 완료할 수 있습니다.38 2. 지원자에게 자신의 권리를 알려야 하며, 모든 면접 소개 시 불법적인 주제에 대해 간략하게 검토해야 합니다. 3. 각 면접에서 위반 사항을 신고할 수 있는 익명 링크를 제공해야 합니다. 4. Sura 등이 제안한 것과 같이 면접 대상자에 의한 연례 부서별 사내 감사 실시.11
All persons involved with the interview process sign off on having read the AAMC “Best Practices for Conducting Medical Interviews” Section 2,17“A Practical Guide for Faculty” and the NRMP Match Code of Conduct for Programs. These contain in total seven pages of reading that should take any interviewer less than 10 minutes to complete.38
Applicants should be made aware of their rights, and illegal topics should be reviewed briefly at every interview introduction.
Annual departmental in-house audits by interviewees, like those suggested by Sura et al.11
향후 연구에서는 성형외과 매칭 과정에서 허용되지 않는 질문의 유병률에 대한 프로그램 및 지원자 교육 및 감독 강화의 효과에 초점을 맞춰야 합니다. Future studies should focus on the effect of the increased program and applicant education and oversight on the prevalence of impermissible questions in the plastic surgery match process.
The NRMP has created the Match Codes of Conduct below to serve as guides for all Match participants throughout the application, interview, matching, and onboarding processes.
Despite rules set forth by the National Resident Matching Program and American Association of Medical Colleges (AAMC), prohibited questions during the residency interview process are well documented. This study describes the prevalence of these encounters by surveying residency applicants to integrated plastic and reconstructive surgery (PRS) programs for the 2022 match cycle.
Methods:An anonymous 16-question REDCap survey was distributed to 2022 cycle applicants of a single PRS program. The applicants were queried about demographic information, interview experience, and questions deemed illegal by the AAMC/NRMP guidelines.
Results:One hundred survey responses were attained for a 33.1% response rate. The majority of respondents were aged 26-30 (76%), women (53%), and white (53%); 33% received 15+ interviews for the application cycle. Seventy-eight percent of respondents reported being asked a prohibited question during at least one interview, with the most common "illegal" question categories being number/ranking of interviews (42%), marital status (33%), career balance (25%), and race/ethnicity (22%). Only 25.6% of applicants considered the subject matter inappropriate, whereas 42.3% were unsure. Although no applicant took action to report the potentially illegal scenarios, 30% said that their experiences influenced their rank list.
Conclusions:Our survey study revealed that prohibited interview questions in PRS residency interviews are common. Permissible lines of questioning and discussion between programs and applicants during residency interviews have been defined by AAMC. Institutions should provide guidance and training to all participants. Applicants should be made aware of and empowered to utilize available anonymous reporting tools.
의과대학 선발: 여기서 어디로 가야 하는가? (AAMC) Interviews in UME: Where Do We Go From Here?
2020년 이전에는 대부분의 의과대학에서 가상으로 입학 절차를 진행하는 것을 고려하지 않았을 것입니다. 하지만 세상이 바뀌면서 의과대학 교육(UME)이 도전에 나섰습니다. 혁신, 창의성, 열린 마음으로 학교는 가상 면접 형식을 효과적으로 채택할 수 있었습니다. 이제 코로나19 이후 시대에 교육기관은 각각 장단점이 있는 면접 형식 중에서 선택할 수 있습니다. 그렇다면 이제 어디로 가야 할까요? Before 2020, most medical schools wouldn’t have considered conducting their admissions process virtually. Then, the world changed, and undergraduate medical education (UME) rose to the challenge. With innovation, creativity, and open minds, schools were able to effectively adopt virtual interview formats. Now, in the post-COVID-19 era, institutions have a choice between interview formats that each have pros and cons. So where do we go from here?
AAMC는 의과대학이 가상 면접 형식을 사용하고, 가능하면 합격 후 방문 옵션을 제공할 것을 권장합니다.* 면접 비용을 줄이는 것은 접근성을 넓히고 형평성을 개선하는 데 중요한 단계이며, 설문조사에 따르면 지원자들은 가상 면접을 선호하며, 가상 면접은 환경에 미치는 영향을 줄이기 위한 노력과도 일치합니다. The AAMC recommends that medical schools use a virtual interview format and, when feasible, offer the option to visitafteracceptance.* Reducing the cost of interviewing is a critical step in widening access and improving equity, our surveys indicate that applicants prefer virtual interviews, and virtual interviewing is consistent with our commitment to reduce environmental impact.
모든 의과대학은 고유한 사명, 목표, 맥락을 가지고 있으며, 따라서 정당한 이유에 따라 서로 다른 접근 방식을 취할 수 있습니다. 우리는 한 학교에 가장 적합한 방식이 다른 학교에는 적합하지 않을 수 있음을 잘 알고 있습니다. 각 교육기관은 고유한 맥락에서 면접 형식의 장단점을 평가하여 해당 학교에 가장 적합한 방식을 결정해야 합니다. Every medical school has their own unique mission, goals, and context, and thus may take different approaches for sound reasons. We recognize that what is best for one school may not be best for another. Each institution should evaluate the pros and cons of interview formats in their unique context to determine what is best for their school.
교육기관에 가장 적합한 면접 형식을 결정할 때 검토해야 할 5가지 주요 고려 사항을 요약했습니다. 표 1에는 한 형식을 다른 형식보다 선택하는 이유와 각 형식의 성공을 위한 단계가 요약되어 있습니다. 교육기관이 선택할 수 있는 모든 면접 형식을 지원하기 위해 지원자와 의과대학이 모두 사용할 수 있는 면접 리소스를 업데이트하기 위해 노력하고 있습니다. As you decide what interview format is best for your institution, we have summarized five key considerations for review. Table 1 summarizes reasons why you might choose one format over another and steps for success for each format. In support of all possible interview formats an institution may choose to conduct, we are working to update the interview resources available to applicants and medical schools alike.
*이 옵션은 TMDSAS 매치에 참여하는 교육기관에는 적용되지 않을 수 있습니다. *This option may not be feasible for institutions that participate in a TMDSAS match. (Texas Medical & Dental Schools Application Services)
주요 고려 사항 1: 의대 면접과 관련된 재정적 비용이 높습니다. Key Consideration 1: The financial costs associated with interviewing for medical school are high.
지원자 설문조사에 따르면 면접과 관련된 비용은 지원 과정에서 비용이 많이 드는 부분입니다.1 지원자마다 상황은 다르지만 이러한 비용은 수백에서 수천 달러에 달할 수 있습니다. 최근 설문조사에서 의과 대학 지원자의 96%는 대면 면접에 비해 가상 면접을 통해 비용을 절감했다는 데 동의하거나 매우 동의했으며, 지원자의 85%는 가상 면접의 가장 큰 장점으로 재정적 영향 감소를 꼽았습니다. 재정적 제약은 지원자, 특히 사회경제적 배경이 낮은 학습자의 면접을 방해하는 장벽이 될 수 있습니다. 이러한 장벽은 가상 면접, 유연성이 필요한 지원자를 위한 하이브리드 옵션 또는 대면 면접에 대한 재정 지원 제공을 통해 완화할 수 있습니다. According to applicant surveys, the costs associated with interviewing are an expensive aspect of the application process.1While every applicant’s situation is unique, these costs can range from hundreds to thousands of dollars. In our recent survey, 96% of medical school applicants agreed or strongly agreed that they saved money interviewing virtually compared to what they might have spent on in-person interviews, and 85% of applicants named reduced financial impact as the top advantage of interviewing virtually. Financial constraints can be a barrier that prevent applicants from interviewing, especially learners from lower socioeconomic backgrounds. This barrier can be mitigated through virtual interviews, a hybrid option for applicants who need flexibility, or offering financial support for in-person interviewing.
"가상 면접 형식은 축복과도 같았습니다. 재정적, 일정상의 이유로 참석하지 못했을 면접에 참석할 수 있었기 때문입니다. 덕분에 지원 절차가 더 공평해졌다고 생각합니다. 의대 지원뿐만 아니라 레지던트 지원에서도 모든 학교의 표준이 되어야 한다고 생각합니다." “The virtual interview format was a blessing in disguise. I was able to attend interviews that I otherwise would not have been able to attend due to financial and scheduling reasons. This makes the application process more equitable in my opinion. I believe it should be a standard across all schools for not only medical school applications, but also residency applications.”
2023 AMCAS®applicant
주요 고려 사항 2: 의과대학, 교육 병원 및 의료 시스템, AAMC는 탄소 발자국을 줄이기 위해 노력해 왔습니다. Key Consideration 2: Medical schools, teaching hospitals and health systems, and the AAMC have made commitments to reduce their carbon footprints.
의료 부문은 미국 온실가스 배출량의 8~10%2, 전 세계 온실가스 배출량의 4분의 1을 담당하고 있습니다. 전 세계인의 건강 증진을 사명으로 하는 학술 의학은 21세기 최대의 건강 위협인 기후 위기에 큰 기여를 하고 있으며, 따라서 기후 위기 해결에 중요한 역할을 담당하고 있습니다. The health care sector is responsible for 8%-10% of greenhouse gas (GHG) emissions in the United States2and a quarter of all global GHG emissions. Academic medicine, whose mission is to improve the health of people everywhere, makes a major contribution to the climate crisis — the greatest health threat of the 21st century — and therefore has an important role to play in resolving it.
가상 인터뷰 옵션을 늘리면 학계가 커뮤니티의 탄소 발자국을 줄임으로써 지속 가능성에 집중할 수 있는 기회를 제공합니다. 초기 연구2,3에 따르면 가상 면접은 학술 의학이 기후에 미치는 영향을 줄일 수 있는 잠재력을 가지고 있습니다. Increasing options for virtual interviews offers the opportunity for academic medicine to focus on sustainability by reducing our community’s carbon footprint. Early studies2,3support that virtual interviews have the potential to reduce the climate impact of academic medicine.
"온라인/가상 형식으로 면접을 진행하게 되어 재정적, 환경적으로 비용을 절감할 수 있어서 정말 감사하게 생각합니다. 전 세계에 대한 탄소 배출 관련 기여를 줄이기 위해 가능한 한 가상 행사로 전환함으로써 세계와 경제에 더 많은 혜택을 줄 수 있다고 믿습니다." “I truly appreciated the interview format commencing through an online/virtual format because I was grateful for the reduced cost — financially and environmentally speaking. I believe that the world and economy can benefit more — so long as it's done right — from transitioning into virtual events as much as possible to mitigate some of our carbon emission-related contributions to the world.”
2023 AMCAS applicant
주요 고려사항 3: 대부분의 지원자가 가상 면접을 선호합니다. Key Consideration 3: Most applicants prefer virtual interviews.
의과대학 지원자를 대상으로 한 설문조사에 따르면 지원자의 90%가 가상 면접 또는 가상 면접 형식을 선호했습니다. 응답자들은 가상 면접의 3대 장점으로 재정적 영향 감소, 이동 시간 단축, 일정 유연성을 꼽았습니다. 포커스 그룹에서는 의과대학과 레지던트 지원자 모두 가상 면접이 이동 시간과 비용을 줄여주기 때문에 선호되는 형식이라고 강조했습니다. Our survey of medical school applicants showed that 90% of applicants preferred virtual or the option of virtual interview format. Respondents named reduced financial impact, reduced travel time, and scheduling flexibility as the top three advantages of interviewing virtually. In focus groups, both medical school and residency applicants emphasized that virtual interviews reduced travel time and cost and therefore were considered the favorable format.
"가상 면접을 쉽게 일정조율할 수 있다는 점과 이 방식의 재정적 효과는 학생들이 가상 환경에서 놓치는 것보다 훨씬 더 큽니다. 면접은 원격으로 진행하되 '세컨드 룩 위크엔드'는 직접 대면하는 모델은 합격한 학생들이 캠퍼스를 직접 방문하는 데 필요한 투자로부터 가장 큰 혜택을 볼 수 있기 때문에 합리적입니다. 전반적으로 이 방식은 학생들에게 더 공평하고 재정적 장벽을 낮추기 때문에 앞으로도 계속 유지되어야 한다고 생각합니다." “The ease with which virtual interviews can be scheduled and the financial implications of this modality far outweigh what the students miss in the virtual environment. A model in which interviews are remote but "Second Look Weekends" are in-person makes sense since accepted students may benefit most from the investment necessary to physically visit the campus. Overall, I believe this modality should remain in the future, as it seems more equitable for students and reduces financial barriers.”
2023 AMCAS applicant
주요 고려사항 4: 대면 면접과 관련된 이동으로 인해 학교, 직장 및/또는 기타 약속을 떠나 보내는 시간은 지원자가 감당하기에는 지나친 부담입니다. Key Consideration 4: Time spent away from school, work, and/or other commitments due to travel associated with in-person interviews is an undue burden for applicants to bear.
면접은 재정적으로 부담이 될 뿐만 아니라 선발 과정에서 시간이 많이 소요되는 부분입니다. 대면 면접과 관련된 이동은 다양한 수준의 스트레스를 수반하는 부담이며, 지원자의 사회경제적 지위, 가족 구조, 소셜 네트워크 등에 따라 지원자가 이용할 수 있는 기회를 제한할 가능성이 있습니다. In addition to being financially taxing, interviewing is notably a time-consuming part of the selection process. Travel associated with in-person interviews is a burden with varying levels of stress and has the potential to limit the opportunities available to applicants depending on their socioeconomic status, family structures, social networks, etc.
"저소득층 1세대 학생으로서 가상으로 면접을 볼 수 있다는 것은 저에게 큰 도움이 되었습니다. 며칠씩 휴가를 내거나 숙박비로 과도한 비용을 지출할 필요가 없었죠." “As a low-income first-generation student, being able to interview virtually was a big help to me. I did not have to take multiple days off work and spend an excessive amount of money on accommodations.”
2023 AMCAS applicant
주요 고려사항 5: 평가와 채용 노력을 분리하는 것은 지원자가 선호하는 방법이자 면접 평가의 편향성 위험을 완화하는 중요한 단계입니다. Key Consideration 5: Separating assessment and recruitment efforts is both an applicant preference and an important step to mitigating the risk of bias in interview ratings.
인터뷰에 초대된 AMCAS 지원자를 대상으로 한 설문조사에서 지원자들은 의과대학과 해당 커뮤니티를 방문하여 문화와 적합성을 이해하고 평가하고 싶다고 답했습니다. 의과대학 역시 같은 이유로 지원자들을 캠퍼스와 커뮤니티로 초대하고 싶어한다는 것을 알고 있습니다. 그러나 지원자들은 합격이 결정된 후 관심 있는 의과대학을 방문함으로써 문화와 적합성을 합리적으로 평가할 수 있다고 언급했습니다. In our survey of AMCAS applicants invited to interview, applicants expressed that theydowant to visit medical schools and their communities to understand and appreciate culture and fit. And we know that medical schools wish to welcome applicants to their campuses and communities for the same reasons. However, applicants noted that they could reasonably assess culture and fit by visiting medical schools of interest after acceptance is offered.
모범 사례로, 면접과 같은 평가 활동은 학교의 채용 노력과 별도로 진행하여 면접 이외의 상호작용이 면접 평가에 편견이나 관련 없는 정보를 도입하지 않도록 해야 합니다. As a best practice, assessment activities, such as the interview, should be conducted separately from a school’s recruitment efforts to ensure that interactions outside the interview do not introduce bias or irrelevant information into your interview evaluation.
합격 후 제공되는 선택적 대면 행사의 경우, 대면 행사의 접근성을 높이기 위해 교육기관에서 학비 지원 프로그램 수혜자에게 여행 및 숙박 비용을 상쇄할 수 있는 장학금을 제공할 수 있는지 고려하는 것이 좋습니다. For optional in-person events offered after acceptance, we suggest considering whether your institution can offer stipends to Fee Assistance Program recipients to offset the cost of travel and accommodations, to make in-person events more accessible.
"의대에 지원하는 데 드는 재정적 부담은 일부 학생들에게는 큰 장애물이 될 수 있습니다. 가상 형식이 제공되지 않았다면 저는 많은 면접에 참여할 수 없었을 것이고, 결국 합격의 기회도 제한되었을 것입니다. 가상 형식을 통해 프로그램 문화와 환경을 판단하는 데 더 어려움을 겪었지만, 방문일(상위 몇 명의 합격자)에 선택적으로 참석할 수 있었기 때문에 나중에 결정을 내리는 데 도움이 되었습니다." “The financial burden of applying to medical school can be a great obstacle for some. I would not have been able to participate in as many interviews (in turn limiting my opportunities for acceptance), if it had not been for the virtual format provided. Even though I had a harder time determining the program culture and environment through the virtual format, I was able to selectively attend visit days (top few acceptances) to help me make that decision later on in the cycle.”
2023 AMCAS applicant
표 1. 특정 면접 형식을 다른 형식보다 선택하는 이유와 각 형식별 성공 단계. Table 1. Reasons you might choose one interview format over another and steps to success for each.
Interview Format
Reasons You Might Choose an Interview Format
Steps to Success
Virtual Only
Many applicants are out-of-state or require travel.
Commitment to reducing carbon footprint.
Flexibility in scheduling.
Offer virtual recruiting activities to all applicants.
Offer in-person visit days for accepted applicants only.†
Develop technology standards and training for faculty conducting virtual interviews.
Hybrid(i.e., an applicant can select either in-person or virtual interviews)
Mix of local and out-of-state applicant pool.
Need to showcase less well-known or rural area.
Flexibility in scheduling.
Gives applicants and faculty choice.
Implement policies, procedures, and interviewer training to ensure standardization across formats and to mitigate risk of bias.
Ensure admissions/selection committees are blinded to interview format.
Inform applicants about steps taken to make the hybrid approach equitable.
Offer virtual recruiting activities to all applicants.
Offer in-person visit day for accepted applicants only.†
In-Person Only
Most applicants are not out-of-state or do not require extended travel plans.
Limited financial resources to purchase virtual interview software.
Need to showcase less well-known or rural area.
Offer financial support to Fee Assistance Program or other applicants who need it for travel.
†This option may not be feasible for medical schools that participate in a TMDSAS match.
전공의 선발 인터뷰 수행 베스트 프랙티스(AAMC) Best Practices for Conducting Residency Program Interviews
소개 Introduction
AAMC는 레지던트 프로그램, 지원자, 의학교육자, 학생 지도교수 등 모든 이해관계자의 레지던트 전환을 개선하는 데 주력하고 있습니다. 이러한 노력의 일환으로 실시된 프로그램 디렉터를 대상으로 한 AAMC 설문조사에 따르면, 프로그램 디렉터들은 순위 목록을 작성할 때 경험, 학업 지표, 기타 속성 및 역량 등 지원자에 대한 다양한 정보를 평가하는 것으로 나타났습니다. 같은 설문조사에 따르면 전문성, 성실성, 대인관계 및 커뮤니케이션 기술, 신뢰성 및 의존성과 같은 특성이 가장 중요한 것으로 나타났습니다. The AAMC is focusing on enhancing thetransition to residencyfor all stakeholders, including residency programs, applicants, medical educators, and student advisors. The AAMC survey of program directorsconducted as part of this effort indicated that they evaluate a wide variety of information about applicants—including experiences, academic metrics, and other attributes and competencies—when creating rank order lists. The same survey found that characteristics such as professionalism, integrity, interpersonal and communication skills, and reliability and dependability are among the most important ones.
또한 프로그램 디렉터들은 레지던트 면접이 지원자의 순위를 매기는 데 가장 일반적이고 중요한 도구 중 하나이지만, 프로그램과 전문 분야에 따라 지원자를 면접하는 방식에 상당한 차이가 있다고 답했습니다. 지원자가 면접을 준비하는 데 도움이 되는 리소스는 많지만(예: AAMC 커리어 인 메디신 및 레지던트 면접 과정을 위한 미국 의사 대학 가이드라인), 면접관을 위한 리소스는 거의 존재하지 않습니다. 또한 의사는 환자와의 인터뷰 방법에 대해 상당한 교육을 받지만 지원자와의 인터뷰는 목적, 설계 및 실행 방식이 다릅니다. Program directors also reported that the residency interview is one of the most common and important tools used in ranking applicants but that significant variability exists in how applicants are interviewed across programs and specialties. While many resources are available to help applicants prepare for interviews (for example,AAMC Careers in Medicineand theAmerican College of Physicians Guidelines for the Residency Interview Process), fewer resources exist for interviewers. Additionally, though physicians receive considerable training on how to interview patients, interviewing applicants is different in purpose, design, and implementation.
이러한 격차가 확인되자 AAMC는 모범 사례를 요약하고 프로그램 디렉터가 면접 프로세스를 개선하기 위한 옵션을 빠르게 이해할 수 있도록 이 가이드를 작성했습니다. 이 가이드가 일관성을 개선하고 레지던트 성과를 더 잘 예측하는 데 사용할 수 있는 면접 관행 및 프로세스에 대한 유용하고 유용한 소개 역할을 하기를 바랍니다. When this gap was identified, the AAMC sought to summarize best practices and assemble this guide to help program directors quickly understand their options for enhancing the interview process. Our hope is that the guide will serve as a helpful and useful introduction to interview practices and processes that can be used to improve consistency and better predict resident performance.
이 가이드의 목적 Purpose of This Guide
이 가이드는 유효하고 공정한 면접 절차를 구현하는 데 도움이 되는 면접 모범 사례를 설명합니다. 면접 구조의 구성 요소와 면접관 교육을 포함하여 면접 프로세스를 개선하면 프로그램과 지원자 모두의 성공 가능성과 호환성을 높이는 데 기여하는 보다 정보에 입각한 결정을 내릴 수 있습니다. This guide describes interview best practices to assist with implementing valid and fair interview processes. Any enhancements in the interview process, including components of interview structure and interviewer training, will enable programs to make more informed decisions that contribute to the increased likelihood of success and compatibility for both the programs and the applicants.
이 가이드의 정보는 두 섹션으로 나뉩니다: The information in this guide is divided into two sections:
섹션 1: 인터뷰 프로세스 구조화하기 - 프로그램 디렉터 가이드에서는 현재 연구 현황과 선발 인터뷰의 모범 사례에 대한 개요를 제공합니다.
섹션 2: 레지던트 지원자 인터뷰-교직원을 위한 실무 가이드에서는 유용한 팁과 피해야 할 함정 등 인터뷰 진행에 관한 실용적인 정보를 제공합니다.
Section 1: Structuring Your Interview Process—A Program Director’s Guideprovides an overview of the current state of research and best practices in selection interviews.
Section 2: The Resident Applicant Interview—A Practical Guide for Facultyprovides practical information on conducting interviews, including helpful tips and traps to avoid.
레지던트 프로그램에서는 지원자를 평가하고 순위를 매기는 데 다양한 정보를 사용하지만, 이 가이드는 특히 면접에 초점을 맞춥니다. 다른 일반적인 평가(예: 작업 샘플 및 OSCE)를 개발하여 선발 과정에 통합하는 방법에 대한 정보는 포함되어 있지 않습니다. While residency programs use many sources of information to evaluate and rank applicants, this guide focuses specifically on interviews. It does not include information about developing and integrating other common assessments (for example, work samples and OSCEs) into the selection process.
참고로, 레지던트 프로그램은 다양한 목적으로 면접일을 활용합니다. 공식적인 인터뷰 외에도 일반적인 인터뷰 데이 활동에는 현 레지던트 및 교수진과의 식사, 질의응답 세션, 캠퍼스 또는 도시 투어와 같은 채용 활동이 포함됩니다. 이러한 비공식 활동과 기숙사 및 프로그램 지원 직원과의 상호작용은 지원자의 대인관계 및 의사소통 능력에 대한 귀중한 정보를 얻을 수 있으며, 프로그램과 지원자 간의 적합성 여부를 판단하는 데 중요한 역할을 합니다. 유익하고 효과적이며 즐거운 면접일을 계획하기 위한 모범 사례(예: 프로그램이 지원자에게 기대하는 바를 모든 관계자가 공통으로 이해할 수 있도록 사전 작업을 수행하고, 모든 관계자가 관련 정보를 공유할 수 있는 피드백 메커니즘을 구현하는 등)가 있지만, 이 가이드는 특히 당일의 공식 면접 구성 요소에 대한 모범 사례에 초점을 맞추고 있습니다. On a related note, residency programs use interview days for multiple purposes. In addition to the formal interviews, common interview day activities include recruitment activities such as meals with current residents and faculty, question and answer sessions, and campus or city tours. These more informal activities and interactions with house and program support staff yield valuable information about applicants’ interpersonal and communication skills and play an important role in helping programs—and applicants—determine whether there is a good fit between the applicant and the program. While there are good practices for planning informative, effective, and enjoyable interview days—such as doing advance work to ensure everyone involved shares a common understanding of what the program seeks in applicants and implementing feedback mechanisms that enable everyone involved to share relevant information—this guide focuses specifically on best practices for the formal interview component of the day.
마지막으로, 많은 교육기관에서 이 가이드의 자료를 보완하는 면접관 리소스 및 지침을 제공합니다. 프로그램 디렉터와 면접관은 이러한 리소스를 살펴보는 것이 좋습니다. 면접 절차를 수정하기 전에 지정된 교육기관 관계자, 프로그램 디렉터 및 법률 고문에게 해당 교육기관 및 프로그램의 면접 정책 및 요건에 대해 문의해야 합니다. Finally, many institutions provide interviewer resources and guidance that complement the material in this guide. Program directors and interviewers are encouraged to explore those resources. Before modifying the interview process, the designated institutional official, program director, and legal counsel should be consulted about the institution’s and the program’s interview policies and requirements.
섹션 1: 인터뷰 프로세스 구조화하기-프로그램 디렉터를 위한 가이드 Section 1: Structuring Your Interview Process—A Program Director’s Guide
이 섹션에서는 인터뷰 구조와 인터뷰 연구의 현재 상태에 대한 개요를 제공합니다. This section provides an overview of interview structure and the current state of interview research.
면접은 지원자가 특정 프로그램에서 레지던트로서 성공하는 데 중요한 개인적 특성을 갖추고 있는지, 프로그램의 사명과 목표에 부합하는지 평가할 수 있는 중요한 방법입니다. 예를 들어 레지던트 프로그램이나 기관의 사명과 목표에는 레지던트가 연구, 도시 또는 농촌 진료, 소외된 지역사회, 학계 또는 지역사회 리더십에 집중하기를 바라는 마음이 포함될 수 있습니다. Interviews are a valuable way to assess whether an applicant demonstrates the personal characteristics that are critical for success as a resident in a specific program and fit within the program’s mission and goals. For example, the missions and goals of a residency program or institution may include a desire for residents to focus on research, urban or rural practice, underserved communities, or academic or community leadership.
레지던트 선발의 맥락에서 '적합성' 정의하기 Defining “fit” in the context of residency selection
적합성은 프로그램 디렉터와 지원자가 레지던트 선발 과정에서 가장 중요한 요소 중 하나로 꼽는 경우가 많습니다. 그러나 의학교육 문헌에는 적합성에 대한 공통된 정의가 없습니다. 프로그램은 프로그램의 사명, 목표 및 학습 환경의 맥락에서 적합성에 대한 정의를 논의해야 합니다. 이 가이드에서는 명확성을 위해 적합성을 두 가지 차원으로 구분하여 설명합니다: Fit is often reported as one of the most important factors in the residency selection process by program directors and applicants. However, there isn’t a common definition of fit in the medical education literature. Programs should discuss the definition of fit in the context of their program’s mission, goals, and learning environment. For the purposes of clarity, in this guide, we identify two dimensions of fit:
[개인-조직 적합성]은 지원자의 성격, 태도, 업무 및 학습 스타일/선호도, 목표와 조직 문화 간의 호환성을 의미합니다. Person-organization fit refers to compatibility between an applicant’s personality, attitudes, work and learning style/preferences, and goals and the organization’s culture.
[개인-직무 적합성]은 지원자의 역량, 지식, 기술, 능력 및 기타 특성과 직무를 성공적으로 학습하고 수행하는 데 필요한 역량 및 특성 간의 호환성을 의미합니다. Person-job fit refers to compatibility between an applicant’s competencies, knowledge, skills, abilities, and other attributes and the competencies and characteristics required to learn and perform the job successfully.
선발 면접은 여러 측면에서 다양할 수 있으며, 구조화되거나 비구조화될 수 있습니다: Selection interviews may vary on a number of dimensions and may:
구조화되거나 비구조화될 수 있습니다,
행동 또는 상황 관련 질문을 사용합니다,
기술적(의료 및 임상 지식, 절차적 기술) 및 비기술적(대인관계 기술, 전문성) 주제를 포함한 직무 관련 내용을 평가합니다.
평가 척도를 사용하여 응답을 평가합니다.
be structured or unstructured,
use behavioral or situational questions,
assess job-related content, including technical (medical and clinical knowledge and procedural skills) and nontechnical (interpersonal skills, professionalism) topics, and
use rating scales to evaluate responses.
비구조화 및 구조화 인터뷰 Unstructured and Structured Interviews
비구조화 면접은 재량적인 내용(즉, 미리 선택된 질문이 없음)과 표준화되지 않은 평가 프로세스(즉, 질문별 채점 시스템이 없음)가 특징입니다. Unstructured interviewsare characterized by discretionary content (that is, no preselected questions) and an unstandardized evaluation process (that is, no question-specific scoring system).
구조화된 면접은 표준화를 통해 신뢰도와 타당도를 높이기 위해 면접을 개선한 것이 특징입니다. 채용 면접에 대한 연구에서는 면접 내용에 영향을 미치는 요소와 평가 프로세스에 영향을 미치는 요소의 두 가지 범주의 구조 구성 요소를 확인했습니다. Structured interviewsare characterized by any enhancement of the interview designed to improve reliability and validity by increasing standardization. Research on employment interviews has identified two categories of components of structure: those that influence interview content and those that influence the evaluation process.
내용 관련 구조 구성 요소는 직무와 관련된 질문을 하거나 모든 지원자에게 동일한 질문을 하는 등 면접 내용의 표준화를 높이기 위한 모든 개선 사항입니다.
평가 관련 구조 구성 요소는 평가 척도를 사용하여 면접을 평가하고 면접관에게 평가 절차에 대한 교육을 실시하는 등 평가 프로세스의 표준화를 높이는 모든 개선 사항입니다.
Content-related components of structure are any enhancements that increase the standardization of the interview content, such as asking questions that are job-related and asking the same questions to all applicants.
Evaluation-related components of structureare any enhancements that increase standardization of the evaluation process, such as using rating scales to evaluate the interview and training interviewers on evaluation procedures.
표 1에는 내용 및 평가 관련 구조 구성 요소와 각 구성 요소가 면접의 신뢰도, 타당도, 공정성 및 면접에 대한 지원자의 반응에 미치는 영향이 나열되어 있습니다. 그림에서 볼 수 있듯이 각 구성 요소의 효과는 서로 다릅니다. 예를 들어, 직무와 관련된 질문을 포함하면 타당도, 공정성, 지원자의 긍정적인 반응이 증가하는 반면, 탐색 질문을 제한하면 타당도와 공정성은 증가하지만 지원자의 부정적인 반응이 나타날 수 있습니다. Table 1 lists the content- and evaluation-related components of structure and the effects of each on the interview’s reliability, validity, and fairness and the applicant reactions to the interview. As shown in the figure, the effects of each component differ. For example, including questions that are job-related increases validity, fairness, and positive applicant reactions, whereas limiting probing questions increases validity and fairness, but may lead to negative applicant reactions.
면접 프로세스에 구조를 도입하는 방법을 고려할 때, 프로그램은 선발 목표와 운영 제약 조건에 가장 적합한 구조의 구성 요소를 선택해야 합니다. 면접 결과를 개선하기 위해 모든 구조의 구성 요소를 구현할 필요는 없습니다. 구조의 구성 요소를 약간만 늘려도 지원자의 긍정적인 반응을 유지하면서 면접 결과의 신뢰도와 타당도에 긍정적인 영향을 미칠 수 있습니다. When thinking about how to introduce structure into the interview process, programs should select the components of structure that best match its selection goals and operational constraints. Not all components of structure need to be implemented in order to improve interview results. Even making modest increases in structure can have a positive effect on the reliability and validity of interview results while maintaining positive reactions from applicants.
연구에 따르면 구조화된 면접은 구조화되지 않은 면접보다 그룹 간 차이를 줄이는 등 신뢰도, 타당도, 공정성이 더 높은 것으로 일관되게 나타났습니다. 이 분야의 연구에서는 인종/민족, 성별, 장애에 따른 차이를 조사합니다. Research consistently shows that structured interviews have higher levels of reliability, validity, and fairness, including smaller group differences, than unstructured interviews. Research in this area investigates differences by race/ethnicity, gender, and disability.
표 1. 구조의 구성 요소가 신뢰성, 타당성, 공정성 및 지원자 반응에 미치는 영향 Table 1. The Effects of Components of Structure on Reliability, Validity, Fairness, and Applicant Reactions
참고: '긍정적'은 전반적으로 긍정적인 효과를, '부정적'은 전반적으로 부정적인 효과를, '불충분'은 개선 효과에 대한 연구가 불충분함을 의미합니다. "신뢰도"는 평가 프로세스가 일관되고 지원자 응답이 일관되게 평가되는 정도를 의미합니다. "타당도"는 면접 점수를 통해 추론한 내용의 정확성을 의미합니다. Note: “positive” means overall positive effect, “negative” means overall negative effect, and "insufficient" means insufficient research on the effect of the enhancement. "Reliability" refers the extent to which the evaluation process is consistent and candidate responses are evaluated consistently. "Validity" refers to the accuracy of inferences made from interview scores.
Content
Reliability
Validity
Fairness
Applicant Reactions
Ask questions that are job-related
insufficient
positive
positive
positive
Ask all applicants questions that cover the same topics
positive
positive
positive
insufficient
Limit probing questions
positive
positive
positive
negative
Use behavioral or situational questions
positive
positive
positive
insufficient
Use a longer interview
positive
positive
insufficient
negative
Have no access to applicant information before or during interview
positive
insufficient
positive
negative
Have applicants not ask any questions
positive
insufficient
insufficient
negative
Evaluation
Reliability
Validity
Fairness
Applicant Reactions
Rate each answer or use multiple rating scales
positive
positive
insufficient
insufficient
Use defined rating scales
positive
positive
positive
insufficient
Take detailed notes
positive
positive
positive
insufficient
Use multiple interviewers
positive
positive
positive
negative
Use the same interviewers for all applicants
positive
insufficient
negative
insufficient
Have no discussion between interviews
negative
insufficient
positive
insufficient
Train interviewers
positive
positive
positive
positive
Use formulas to create interview total scores
positive
positive
positive
insufficient
Source: Adapted from Campion et al. (1997) and Levashina et al. (2014).
중요도가 높은 레지던트 인터뷰를 진행할 때 표준 인터뷰 질문과 평가 프로세스를 통합하세요. Incorporate standard interview questions and evaluation processes when conducting high-stakes resident interviews.
행동 및 상황 질문 Behavioral and Situational Questions
면접 질문에는 여러 유형이 있습니다. 그 중 행동 질문과 상황 질문은 널리 연구되어 왔으며 비교적 구조화된 것으로 간주됩니다. There are many types of interview questions. Two of them—behavioral and situational questions—have been widely studied and are considered relatively structured.
행동 질문은 과거의 행동이 미래의 행동을 예측할 수 있다는 전제를 바탕으로 합니다. 이러한 질문은 지원자에게 면접 중인 직무에서 직면할 수 있는 상황과 관련된 이전 상황(일반적으로 이전 직장, 학교 또는 자원봉사 경험)에서 지원자가 어떤 행동을 했는지 설명하도록 요청합니다. 과거 행동 질문은 지원자에게 특정 상황, 지원자가 취한 행동 또는 조치, 그 행동의 결과 또는 결과를 설명하도록 요청하는 경우가 많습니다. Behavioral questionsare based on the premise that past behavior predicts future behavior. They ask applicants to describe what they did in a previous context (typically, in previous jobs, at school, or in volunteer experiences) that are related to situations they may face in the job for which they are interviewing. Past-behavior questions often ask an applicant to describe a specific situation, the behavior or action they took, and the outcome or consequence of that behavior.
예시: 함께 일하던 의료진이 정해진 프로토콜과 일치하지 않는 방식으로 행동하는 것을 목격했던 때를 설명해 주세요. 상황이 어땠는지, 어떤 조치를 취했는지, 그 결과는 어땠는지 설명하세요.
Example: Please describe a time when you observed a member of the medical team that you were working with behave in a manner that was inconsistent with an established protocol. Explain what the situation was, what actions you took, and the outcome.
행동 면접 질문 개발을 위한 주요 단계 Key Steps for Developing Behavioral Interview Questions
1. PGY-1 직책의 주요 요구 사항 파악하기 2. 면접에서 평가할 역량 3~5개 결정하기 3. 각 역량에 대한 행동 또는 상황별 질문 개발 4. 교수진에게 질문 초안을 검토하고 역량에 매핑하도록 요청합니다. 5. 목표 역량에 매핑되는 질문만 유지합니다. 6. 프로세스를 문서화하고 목표 역량 및 항목이 어떻게 선택되었는지 설명합니다.
Identify key requirements of the PGY-1 position
Determine which 3-5 competencies to target in the interview
Develop behavioral or situational questions for each competency
Invite faculty to review draft questions and map them to the competencies
Retain only the questions that map to the target competencies
Document the process and explain how the target competencies and items were selected
상황 질문은 의도가 미래의 행동을 예측한다는 전제를 기반으로 합니다. 상황 질문은 업무에서 발생할 수 있는 가상의 상황을 제시하고 지원자에게 해당 상황에서 어떻게 대응할 것인지 설명하도록 요청합니다. Situational questionsare based on the premise that intentions predict future behavior. They pose hypothetical situations that might occur on the job and ask applicants to describe how they would respond in the situations.
예시: 지원자가 아침 회진을 하고 있다고 상상해 보겠습니다. 치프 레지던트가 주 초에 지원자와 다른 PGY-1이 함께 일했던 어려운 케이스를 설명하며 어려운 상황을 잘 처리했다고 칭찬합니다. 그 과정에서 그녀는 당신에게만 공을 돌리고 당신의 동료가 중요한 역할을 했다는 사실은 언급하지 않습니다. 여러분이라면 어떻게 하시겠습니까?
Example: I’d like you to imagine that you are on your morning rounds. The chief resident describes a difficult case that you and another PGY-1 worked on earlier in the week and compliments your handling of a difficult situation. In doing so, she gives you sole credit and fails to mention that your colleague played a major role. What would you do?
면접 질문 유형에 대한 연구에 따르면 행동 질문과 상황 질문 모두 강력한 심리 측정 특성을 가지고 있지만, 약간 다른 구성을 측정할 수 있습니다.
행동 질문은 주로 경험과 일부 성격 특성을 측정하는 반면,
상황 질문은 직무 지식을 측정할 수 있습니다.
두 가지 유형의 질문 모두 신뢰할 수 있으며 미래의 직무 수행을 예측하는 유효한 지표이며,
행동 질문의 타당도가 약간 더 높습니다.
일부 연구에 따르면 과거 행동 질문은 상황 질문보다 속임수에 대한 저항력이 약간 더 강하고 그룹 간 차이가 약간 더 낮을 수 있다고 합니다.
Research on the type of interview questions suggests that both behavioral and situational questions have strong psychometric properties; however, they may be measuring slightly different constructs. Behavioral questions may primarily measure experiences and some personality traits, while situational questions may measure job knowledge. Both types of questions are reliable and are valid predictors of future job performance, with behavioral questions having slightly higher validity. Some research suggests that past-behavior questions may be slightly more resistant to faking and have slightly lower group differences than situational questions.
직무 관련 면접 콘텐츠 Job-Related Interview Content
질문 유형에 관계없이 모든 면접 질문은 직무와 관련된 질문이어야 합니다. 즉, 선발 면접에 포함된 모든 질문은 PGY-1 직책의 주요 요구 사항과 명확하게 연결되어 있어야 합니다. 지원자의 학습 및 업무 스타일과 프로그램 문화 간의 적합성을 평가하는 질문을 포함하여 지원자의 학습 및 업무 스타일과 프로그램 문화 간의 적합성은 프로그램에서 성공하는 데 필수적입니다. 면접 질문에서는 지원자가 이러한 주요 요건 및 적합성을 충족하는 구체적인 사례를 자세히 설명하도록 요구해야 합니다. 가능하면 PGY-1 직책의 주요 요건과 업무 수행 및 새로운 기술 습득에 필요한 역량을 파악합니다. 입사 시 성공에 중요한 것으로 확인된 역량은 1일차 업무 수행에 필요하고 지원자의 향후 프로그램 성과를 예측할 가능성이 높기 때문에 면접의 좋은 대상이 됩니다. Regardless of question type, all interview questions should be job-related. That is, all questions included in the selection interview should be clearly linked to key requirements of the PGY-1 position. To the extent that alignment between an applicant’s learning and work styles and the program’s culture is essential to success in your program, including questions to assess if the fit is appropriate and job-related. Interview questions should require applicants to elaborate on specific examples that address those key requirements and/or fit. If possible, identify the key requirements of the PGY-1 position and the competencies necessary to perform the work and learn new skills. Competencies that are identified as critical for success at entry are good targets for the interview because they are required to perform work on day 1 and are more likely to predict applicants’ future performance in the program.
평가하려는 역량 수, 역량 평가에 필요한 질문 수, 각 면접에 사용할 수 있는 시간 간에 균형을 유지하세요. Maintain a balance between the number of competencies you want to assess, the number of questions needed to assess them, and the amount of time you have available for each interview.
PGY-1 직책의 주요 요건을 철저히 분석하는 데 필요한 리소스가 없는 경우, 프로그램의 PGY-1 성과 평가 도구(예: 마일스톤)를 사용하고 다른 교수진과 PGY-1이 프로그램에 입학할 때 성공에 중요한 역량(그리고 부족하면 실패로 이어질 수 있는 역량)에 대해 이야기하는 것을 고려합니다. 또 다른 옵션은 미국의학전문대학원교육인증위원회(ACGME) 핵심 역량, 레지던트 입학을 위한 AAMC 핵심 위탁 전문 활동 또는 전문 기관의 마일스톤을 사용하여 인터뷰에 어떤 내용을 포함할지 생각하는 출발점으로 삼는 것입니다. 마일스톤 또는 기타 모델을 선발 인터뷰의 출발점으로 사용하는 경우, 이는 레지던트 성과에 대한 광범위한 설명이라는 점을 기억하십시오. 어떤 측면이 프로그램의 PGY-1 포지션과 관련이 있는지 고려하는 것이 중요합니다. 선발 인터뷰는 수련 중에 배울 내용이 아니라 수련 1일차에 수련생이 시연해야 하는 내용만을 대상으로 해야 합니다. If you do not have the resources required to conduct a thorough analysis of the key requirements of the PGY-1 position, consider using your program’s PGY-1 performance evaluation tools (for example, milestones) and talking to other faculty about what competencies are critical for success when PGY-1s enter your program (and whose lack would lead to failure). Another option is to use the Accreditation Council on Graduate Medical Education (ACGME) Core Competencies, theAAMC Core Entrustable Professional Activities for Entering Residency, or your specialty organization’s milestones as a starting point for thinking about what content to include in the interview. If the milestones or other models are used as a starting point for your selection interview, remember that they are broad descriptions of residency performance. It is important to consider which aspects are relevant to the program’s PGY-1 position. The selection interview should only target content that trainees should be expected to demonstrate on day 1, not content that they will be expected to learn during training.
소개에서 언급했듯이 면접 당일에는 지원자 인터뷰 외에 여러 가지 요소가 포함될 수 있습니다. 면접 데이의 각 구성 요소의 목적과 각 부분에서 어떤 정보를 수집해야 하는지에 대해 생각하는 것이 중요합니다. 지원자를 모집하는 데 면접을 사용하면 지원자의 프로그램 준비도를 평가하는 데 방해가 될 수 있습니다. 가능하면 면접 당일에 지원자를 모집하고 지원자의 질문에 답변하는 시간을 따로 마련하세요. 이렇게 하면 면접이 직무 관련 내용에 집중되고 부수적인 정보가 면접관의 평가에 영향을 미치는 것을 방지할 수 있습니다. As mentioned in the introduction, the interview day may have several components besides the applicant interview. It is important to think about the purpose of each component of the interview day and what information needs to be gathered in each part. Using interviews to recruit applicants can distract from assessing an applicant’s preparedness for your program. If possible, dedicate separate time for recruiting and answering applicants’ questions during the interview day. This may help keep the interview focused on job-related content and prevent ancillary information from influencing interviewer ratings.
면접 답변 평가하기 Evaluating Interview Responses
가장 좋은 방법은 평가 척도를 사용하여 지원자의 답변을 평가하는 것입니다. 평가 척도를 면접에 통합하면 일반적으로 지원자의 부정적인 반응을 유발하지 않으면서도 면접 점수의 신뢰성, 타당성, 공정성을 높일 수 있습니다. 또한 공통된 척도로 지원자를 평가하기 때문에 면접관이 지원자를 비교할 수 있는 능력도 향상됩니다. A best practice is to use rating scales to evaluate applicants’ responses. Incorporating rating scales into the interview typically enhances reliability, validity, and fairness of interview scores without causing negative applicant reactions. It will also increase interviewers’ ability to compare applicants because they were evaluated on a common scale.
역량을 평가하는 면접 평가 척도 개발을 위한 주요 단계 Key Steps for Developing Rating Scales for Interviews that Assess Competencies
1. 평가 척도의 점수를 결정합니다. 2. 교수진에게 질문을 검토하도록 초대하고 PGY-1이 어떻게 응답할지 논의합니다. 3. 응답을 사용하여 척도의 각 점수에 대한 행동 예시 초안을 작성합니다. 4. 교직원에게 예시를 평가 대상 역량에 매핑하도록 요청합니다. 5. 매핑에서 살아남은 예만 보관합니다. 6. 프로세스 문서화 7. 면접관에게 평가 척도 사용 방법에 대해 교육하기
Decide on the number of points on the rating scale
Invite faculty to review questions and discuss how PGY-1s would respond
Use responses to create draft behavioral examples for each point on the scale
Ask faculty to map the examples to the competencies being assessed
Retain only the examples that survive mapping
Document the process
Train interviewers on how to use the rating scale
평가 척도에 대해 주목해야 할 5가지 핵심 사항이 있습니다: There are five key points to note about rating scales:
개별 질문에 대한 지원자의 답변, 소수의 역량 또는 직무에 대한 전반적인 적합성을 평가하도록 설계할 수 있습니다. 가장 좋은 방법은 면접에서 평가하고자 하는 소수의 역량에 대한 평가 척도를 개발하는 것입니다.
이러한 평가 척도는 행동 및 상황별 질문과 함께 사용할 수 있도록 개발할 수 있습니다.
평가 척도의 점수는 보통 3점부터 7점까지 다양합니다. 평가 척도에 몇 점을 넣을지 결정하는 것은 일반적으로 PGY-1에서 관찰되는 행동의 범위를 반영한다고 생각하는 숙련도 수준(또는 척도 점수)의 수에 따라 달라집니다.
평가 척도의 각 점수는 각 숙련도 수준을 설명하는 행동 예시와 함께 고정되는 것이 이상적입니다. 평가 척도의 행동 예는 PGY-1의 각 수행 수준에 대한 교수진의 기대치를 반영하여 평가자에게 척도의 각 점수에 대한 공통된 정의를 제공해야 합니다. 이렇게 하면 평가자가 평가 작업을 더 쉽게 수행할 수 있고 지원자를 일관된 방식으로 평가하는 데 도움이 됩니다.
면접관에게는 평가 척도의 행동 예시를 지원자의 응답을 평가하는 일반적인 지침으로 사용하도록 안내해야 합니다.
They can be designed to evaluate applicants’ responses to individual questions, a small number of competencies, or overall suitability for the job. A best practice is to develop rating scales for the small number of competencies that the interview was designed to assess.
They can be developed to work with behavioral and situational questions.
The number of points on the rating scale often varies from three to seven. Deciding how many points there should be on the rating scale typically depends on the number of proficiency levels (or scale points) you think reflect the range of behaviors observed among PGY-1s.
Ideally, each point on the rating scale is anchored with behavioral examples that describe each level of proficiency. The behavioral examples on the rating scales should reflect faculty expectations of each level of performance for PGY-1s, providing raters with common definitions for each point on the scale. This will both make the rating task easier for raters and help ensure that applicants are being evaluated in a consistent manner.
Interviewers should be instructed to use the behavioral examples on the rating scale as a general guide for evaluating applicants’ responses.
섹션 2: 레지던트 지원자 면접 - 교직원을 위한 실무 가이드 Section 2: The Resident Applicant Interview—A Practical Guide for Faculty
이 섹션에서는 레지던트 지원자 면접 절차의 각 단계에 대한 모범 사례에 대한 일반적인 지침을 제공합니다:
1. 인터뷰 준비 2. 인터뷰 시작하기 3. 인터뷰 진행 4. 인터뷰 마무리 5. 인터뷰 평가
This section provides general guidance on best practices for the stages of the residency applicant interview process:
Preparing for the interview
Starting the interview
Conducting the interview
Closing the interview
Evaluating the interview
예비 교직원 및 레지던트 면접관은 기관의 면접관 교육 과정(가능한 경우)을 수강하고, 무의식적 편견에 관한 과정과 같은 기관 또는 국가 교육 프로그램에 참여하며, PGY-1 레지던트의 직무 요건과 기관 및 레지던트 프로그램의 사명 및 목표를 숙지하는 것을 고려해야 합니다. Prospective faculty and resident interviewers should consider taking the institution’s interviewer training course (if available), participating in institution or national training programs such as a course on unconscious bias, and familiarizing themselves with the job requirements for PGY-1 residents and the mission and the goals of the institution and the residency program.
1단계: 면접 준비하기 Stage 1: Preparing for the Interview
면접관은 지원자를 만나기 전에 면접 자료(예: 면접 스크립트, 가능하거나 필수적인 면접 질문, 역량 정의, 평가 척도에 대한 설명)를 숙지하는 것이 중요합니다. 다음 자료를 쉽게 사용할 수 있어야 합니다: Before meeting the applicant, it is important that interviewers familiarize themselves with the interview materials (for example, the interview script, possible or required interview questions, competency definitions, and descriptions of rating scales). The following should be readily available:
토론할 질문 또는 주제 목록
인터뷰 중에 메모할 수 있는 방법
채점 루브릭 또는 평가 척도(해당되는 경우)
인터뷰 일정
A list of questions or topics to discuss
A way to take notes during the interview
The scoring rubric or rating scale(s), if applicable
The interview schedule
2단계: 인터뷰 시작 Stage 2: Starting the Interview
편안한 분위기를 조성합니다. 지원자가 정보를 공유할 수 있도록 개방적이고 편안한 분위기를 조성합니다: Create a comfortable atmosphere. To create an open and relaxed atmosphere that will encourage the applicant to share information:
친절한 태도로 지원자를 맞이합니다.
이름과 직책을 밝히며 자신을 소개합니다.
지원자에게 인터뷰 시간을 알려줍니다.
면접 중에 메모를 할 계획이라면 면접을 시작하기 전에 지원자에게 알려주세요. 메모를 하면 답변을 정확하게 기억하는 데 도움이 된다고 설명할 수 있습니다.
면접 중에 전화나 긴급한 문제로 인해 면접이 중단될 수 있다는 사실을 알고 있다면 면접을 시작하기 전에 지원자에게 그 가능성에 대해 알려주세요.
Welcome the person in a friendly manner.
Introduce yourself, giving your name and title.
Tell the applicant how long the interview will take.
If you plan on taking notes during the interview, tell the applicant before you begin the interview. You can explain that taking notes helps to ensure that you remember responses accurately.
If you know that you might be interrupted during the interview by a call or urgent matter, tell the applicant about that possibility before you begin the interview.
첫인상이나 '직감'의 영향을 받지 않도록 하세요. 지원자의 외모나 지원자와의 '케미'가 어떠하든, 이러한 요소는 해당 지원자가 프로그램에서 레지던트로서 얼마나 잘할 수 있을지를 예측할 수 없음을 기억하세요. 첫인상에 의존하면 면접에서 수집하는 직무 관련 정보의 질과 양이 제한될 수 있으므로 지원자의 답변을 경청하는 데 집중하고 모든 지원자에게 가능한 한 철저하게 임하는 것이 중요합니다. Avoid the influence of first impressions or “gut” instinct. No matter what the applicant's personal appearance is or the "chemistry" between you and the applicant, remember that these do not predict how well a person is likely to do as a resident in your program. Relying on a first impression may limit the quality and amount of job-related information you gather during an interview; it is important to keep your focus on listening to the applicant’s answers and to be as thorough as possible with all applicants.
3단계. 면접 진행 Stage 3. Conducting the Interview
직무와 관련된 질문을 합니다. 면접 질문은 직무 요건과 명확하게 연결되는 것이 가장 좋습니다. 미리 정해진 질문이나 질문 주제가 있는 경우, 면접 전반에 걸쳐 일관성을 유지하기 위해 해당 질문이나 주제를 준수하는 것이 중요합니다. 면접관이 직접 질문을 할 수 있는 경우, 해당 질문이 직무와 관련이 있는지 확인합니다. Ask job-relevant questions.It is a best practice for interview questions to be clearly linked to job requirements. If there is a set of predetermined questions or topics from which questions should be asked, it is important to adhere to those questions or topics for consistency across interviews. If interviewers can ask their own questions, make sure they are relevant to the job.
가능하면 상황 및 행동 질문을 사용하세요. 행동 질문과 상황 질문은 모두 면접 구조를 개선하고 강력한 심리 측정 특성을 가지고 있습니다.
행동 질문은 지원자에게 특정 상황, 지원자가 취한 행동 또는 조치, 그 행동의 결과 또는 결과를 설명하도록 요청합니다.
상황 질문은 업무상 발생할 수 있는 가상의 상황을 제시하고 지원자가 그 상황에서 어떻게 대응할 것인지 설명하도록 요청합니다.
When possible, use situational and behavioral questions.Both behavioral and situational questions improve interview structure and have strong psychometric properties.
Behavioral questions ask applicants to describe a specific situation, the behavior or action they took, and the outcome or consequence of that behavior.
Situational questions pose hypothetical situations that may occur on the job and ask applicants to describe how they would respond in the situation.
부적절한 질문은 피하고 법률 또는 고용주 정책에 의해 금지될 수 있는 질문에 대해서는 항상 소속 기관의 법률 고문에게 문의하세요.인터뷰 중에는 다음과 같은 주제는 피해야 합니다: Avoid inappropriate questions and always check with your institution’s legal counsel about inquiries that may be prohibited by law or employer policy.The following topics should be avoided during an interview:
인구 통계: 연령, 인종, 종교, 사회경제적 지위, 민족, 성적 지향, 성 정체성, 출신 국가
가족: 혈통, 조상, 모국어 또는 모국어, 결혼 여부, 결혼 전 이름 또는 성, 지원자와 함께 사는 사람 또는 관계, 가족 문제(부모 상태, 부양가족의 나이, 자녀 계획)
개인 정보: 키와 몸무게, 신체적 및 정신적 장애, 외모, 개인적 소속을 조사하는 개인 활동
기록: 군 제대, 체포, 전과 기록
기타 프로그램 또는 전문 분야 및 순위 계획: 지원자가 지원할 수 있는 다른 프로그램 또는 전문 분야에 대한 정보 및/또는 지원자가 프로그램 순위를 매길 계획에 대한 정보. (NRMP 정책에 따르면 프로그램은 지원자에게 지원한 프로그램 및 프로그램 순위 결정 방식에 대한 정보 공개를 요구할 수 없습니다.)
Demographics:Age, race, religion, socioeconomic status, ethnicity, sexual orientation, gender identity, national origin
Family: Lineage, ancestry, primary or native language, marital status, maiden name or family surname, relationships or people the applicant lives with, family issues (parental status, age of dependents, plans for children)
Personal:Height and weight, physical and mental disabilities, physical appearance, personal activities that probe for personal affiliations
Other programs or specialties, and ranking plans:Information about other programs or specialties to which they might be applying and/or how the applicant plans to rank your program. (NRMP policiesstate that programs cannot require any applicant to disclose information about where they have applied and how they plan to rank programs.)
직무 관련 탐색 질문을 하세요. 지원자가 초기 답변에서 충분한 정보를 제공하지 않는 경우가 많으므로 면접관은 추가 정보를 제공하거나 후속 질문을 해야 할 수 있습니다. "좀 더 구체적으로 말씀해 주시겠습니까?" 또는 "그것에 대해 더 자세히 말씀해 주시겠습니까?"와 같은 후속 질문을 하면 지원자의 답변을 유도하지 않고 최대한 많은 정보를 수집하는 데 도움이 됩니다. 탐색 질문을 사용하는 경우, 불완전한 초기 답변을 제공한 모든 지원자에게 일관되게 질문하여 모든 지원자가 동일한 설명 기회를 갖도록 해야 합니다. 너무 많은 탐색 질문을 하면 지원자에게 찾고 있는 답변 유형에 대한 단서를 제공하여 거짓 답변을 할 가능성이 높아질 수 있다는 점에 유의하세요. Ask job-related probing questions.In many cases, applicants do not provide enough information in their initial response, so the interviewer may need to prompt or ask follow-up questions. Asking a follow-up question such as, “Could you be more specific?” or “Could you tell me more about that?” is helpful in gathering as much information as possible without leading the applicant to an answer. If probing questions are used, they should be used consistently with all applicants who provide an incomplete initial response to ensure that everyone has the same opportunity to explain a response. Be aware that asking too many probing questions provides a cue to applicants about the types of answers you are looking for and may increase the likelihood of faking a response.
상황 또는 행동 면접 질문을 사용하는 경우 STAR 약어를 사용하면 면접관이 각 질문에 대한 중요한 정보를 모두 수집하는 데 도움이 될 수 있습니다: If using situational or behavioral interview questions, the STAR acronym can help interviewers ensure they gather all important information about each question:
상황 또는 과제: 지원자가 논의 중인 사건의 맥락을 설명했나요?
행동: 지원자가 정확한 행동이나 조치에 대해 설명했나요(또는 무엇을 할 것인지)?
결과: 신청자가 행동 또는 조치의 결과 또는 결과를 설명했나요?
Situation or Task:Did the applicant describe the context for the event being discussed?
Action:Did the applicant describe the exact behaviors or actions taken (or what would be done)?
Result:Did the applicant describe the outcomes or consequences of the behaviors or actions?
상황 면접 질문용 프로브 Probes for Situational Interview Questions
상황 또는 과제 Situation or Task
이 상황에서 가장 중요한 문제는 무엇이라고 생각하나요?
다른 어떤 문제가 우려되나요?
What do you consider the most critical issue in this situation?
What other issues are of concern?
행동 Action
당신은 뭐라고 말하겠습니까?
가장 먼저 할 일은 무엇인가요?
어떤 요인이 여러분의 행동 방침에 영향을 미칠까요?
다른 어떤 조치를 취할 수 있나요?
What would you say?
What is the first thing you would do?
What factors would affect your course of action?
What other actions could you take?
결과 Results
여러분의 행동이 어떻게 받아들여질 것이라고 생각하나요?
여러분의 행동이 잘 받아들여지지 않는다면 어떻게 하시겠습니까?
귀하의 행동으로 인해 어떤 이점이 있다고 생각하십니까?
How do you think your action would be received?
What would you do if your action was not received well?
What do you consider benefits of your action?
행동 면접 질문용 프로브 Probes for Behavioral Interview Questions
상황 또는 과제 Situation or Task
그 상황이나 과업에 이르게 된 요인은 무엇인가요?
본인 또는 다른 사람이 해당 상황이나 과제를 예방하기 위해 무언가를 할 수 있었나요?
이 상황이나 과제에서 해결해야 할 가장 중요한 문제는 무엇이라고 판단했나요?
What factors led up to the situation or task?
Could you or anyone else have done something to prevent the situation or task?
What did you determine as the most critical issue to address in this situation or task?
조치 Action
어떻게 대응했나요?
조치를 취할 때 가장 중요하게 고려한 요소는 무엇인가요?
가장 먼저 한 일은 무엇인가요?
How did you respond?
What was the most important factor you considered in taking action?
What is the first thing you did?
결과 Results
결과는 어땠나요?
다르게 말하거나 행동했으면 좋았을 것이 있나요?
그 상황에서 어떤 이점이 있었나요?
What was the outcome?
Is there anything you would have said and/or done differently?
Were there any benefits from the situation?
프로그램에서 상황 또는 행동 면접 질문을 사용하지 않는 경우, 보다 일반적인 개방형 프로빙 질문을 사용할 수 있습니다. If the program does not use situational or behavioral interview questions, more generic and open-ended probing questions can be used.
개방형 프로빙 질문: 지원자에게 답변에 대해 자세히 설명하도록 요청하는 방법입니다: Open-ended probing questions: Ways to ask an applicant to elaborate on a response:
그것에 대해 자세히 말해 보세요.
무슨 일이 있었나요?
그 이유는 무엇인가요?
어떻게 반응했나요?
어떻게 그렇게 되었나요?
더 잘 이해하도록 도와주세요.
계속하세요.
설명해 주세요.
좀 더 구체적으로 설명해 주시겠어요?
왜요?
다른 예를 들어주세요.
Tell me more about that.
What happened?
Why is that?
How did you react?
How did that come about?
Help me understand that better.
Please go on.
Explain that to me.
Could you be more specific?
How come?
Give me another example, please.
간단히 메모하세요. 메모는 사용 가능한 모든 정보를 바탕으로 평가할 수 있게 해주며, 가장 객관적인 평가를 내리는 데 도움이 됩니다. 메모에는 지원자를 평가하는 방법을 정당화할 수 있도록 면접 내용에 대한 충분한 정보가 포함되어야 합니다. 지원자의 답변을 그대로 기록하기보다는 지원자의 답변에서 관련 핵심 단어나 문구를 기록하는 데 중점을 두세요. Take short notes.Notes allow you to base your evaluations on all available information and assist you in making the most objective evaluations possible. Your notes should provide sufficient information about the interview content to justify how you evaluate candidates. Focus on recording relevant key words or phrases in the applicant’s responses rather than trying to capture responses verbatim.
메모할 때 피해야 할 몇 가지 중요한 함정은 다음과 같습니다: Some important traps to avoid when taking notes include:
지원자의 의도를 유추하거나 지원자가 말한 내용에 대한 자신의 의견을 적지 마세요. 예를 들어, "나쁜 답변" 또는 "훌륭한 문제 해결사"는 지원자의 답변에 대한 사실적 증거를 제공하지 않는 평가 문장이므로 작성하지 마세요.
인종, 피부색, 종교, 성별, 출신 국가, 나이 또는 지원자가 언급했더라도 시험장 또는 평가 척도와 관련이 없는 기타 요인에 대한 언급을 포함하지 마세요.
메모가 지원자의 답변 품질에 대한 신호가 되지 않도록 하세요. 예를 들어, 매우 긍정적이거나 매우 부정적인 내용이 방금 언급되었을 때만 메모하지 마세요.
Don't make inferences about what the applicant meant or write down your opinions of what the applicant said. For example, do not write “bad answer” or “great problem solver” as these are evaluative statements that provide no factual evidence of the applicant’s response.
Don't include any reference to race, color, religion, sex, national origin, age, or other factors not related to the stations or rating scales, even if the applicant mentions these things.
Don’t allow your note taking to be a signal to applicants about the quality of their responses. For example, do not take notes only when something very positive or very negative has just been said.
4단계: 면접 마무리 Stage 4: Closing the Interview
면접이 끝나면 지원자에게 감사를 표하고 다음 단계를 설명합니다. 지원자에게 면접 성과에 대한 피드백을 주거나 메모를 공유하지 않도록 주의하세요. At the end of the interview, thank the applicant and explain where to go next. Be careful not to give the applicants any feedback on their interview performance or share your notes.
5단계: 면접 평가 Stage 5: Evaluating the Interview
지원자가 면접실을 나간 후 가능한 한 빨리 메모를 검토합니다. 놓쳤을 수 있는 중요한 세부 사항을 기입하세요. 다음 면접이 시작되기 전에 프로그램에서 설계한 접근 방식을 사용하여 지원자를 평가합니다. 지원자에 대한 평가는 메모를 통해 뒷받침되어야 합니다. As soon as possible after the applicant leaves the room, review your notes. Fill in any important details you may have missed. Evaluate the applicant using the approach designed by your program—ideally, before the next interview begins. Ratings of the applicant should be supported by the notes.
무의식적인 편견에 유의하세요. 누구나 태도, 연상, 고정관념에 따라 다른 사람이나 집단에 대해 무의식적인 편견을 가지고 있습니다. 면접관은 개인의 편견을 완화하는 데 도움을 줄 수 있습니다: Be aware of your unconscious bias.Everyone holds unconscious biases about other people or groups of people based on attitudes, associations, and stereotypes. Interviewers can help mitigate their individual biases through:
특정 지원자 또는 지원자 유형에 대한 강한 반응에 대한 인식
첫인상보다는 신중한 사고와 의사 결정에 기반한 점수 부여
관점 취하기
awareness of strong reactions for or against a particular applicant or type of applicant
basing scores on deliberate thinking and decision-making rather than on first impressions
perspective taking
면접 내용 및 평가의 표준화를 강화하면 무의식적 편견이 면접 과정에 미치는 영향을 줄일 수 있습니다. 예를 들어, 기준을 명확하게 정의하고, 채점 루브릭을 사용하고, 다양한 면접관 풀을 확보하고, 면접관에게 적절한 면접 기법을 교육하는 등 면접 프로세스를 개선함으로써 무의식적 편견의 영향을 부분적으로 완화할 수 있습니다. Increasing standardization of interview content and evaluation is likely to reduce the impact of unconscious bias on the interview process. For example, the impact of unconscious bias can be mitigated in part through enhancements to the interview process such as clearly defining criteria, using a scoring rubric, having a diverse pool of interviewers, and training interviewers on proper interview technique.
일반적인 평가 오류에 유의하세요. 의도하지 않은 경우가 많지만, 흔히 발생하는 평가 오류는 면접의 유효성과 공정성을 떨어뜨릴 수 있습니다. 다음은 각 지원자의 면접 답변을 평가할 때 주의해야 할 가장 일반적인 평가 오류 유형입니다: Be aware of common rating errors.Although often unintentional, common rating errors can decrease the validity and fairness of interviews. Here are some of the most common types of rating errors to be mindful of when rating each applicant’s interview responses:
후광/뿔 효과: 한 응답을 기반으로 한 성과 평가가 다른 응답에 대한 평가에 영향을 미칠 수 있도록 허용하는 것입니다. 예를 들어, 팀워크를 평가하는 질문에 대한 평가가 동기를 평가하는 질문에 대한 평가에 영향을 줄 수 있도록 허용합니다.
중앙 경향: 모든 지원자를 평가 척도의 중앙에 평가합니다(예: 5점 평가 척도에서 3점을 모두 부여). 면접관은 평가 척도의 전체 범위를 편안하게 사용해야 합니다.
관대함/심각함: 지원자의 실제 답변과 관계없이 모든 지원자에게 높거나 낮은 평점을 부여하는 것입니다.
대조 효과: 한 지원자를 이전에 면접을 본 지원자의 성과와 비교하는 것입니다. 지원자가 면접을 보는 순서는 지원자의 평점에 영향을 줄 수 있습니다. 면접관은 평점을 매길 때 지원자를 비교하는 것을 자제해야 합니다. 대신 면접관은 평가 척도와 관련하여 각 지원자의 답변을 평가하는 데 집중해야 합니다.
Halo/Horns effect:Allowing ratings of performance based on one response to influence ratings for another response. For example, allowing a rating on a question assessing teamwork to influence the rating on a question assessing motivation.
Central tendency:Rating all applicants in the middle of the rating scale (for example, giving all 3s in a 5-point rating scale). Interviewers should feel comfortable using the entire range of the rating scale.
Leniency/severity:Giving high or low ratings to all applicants, irrespective of their actual responses.
Contrast effects:Comparing one applicant with the performance of previously interviewed applicants. The order in which the applicants are interviewed can affect the ratings they are given. While making ratings, interviewers should refrain from comparing applicants. Instead, interviewers should focus on evaluating each applicant’s response in relation to the rating scale.
면접관에게 프로그램 표준 및 기타 면접과 관련된 채점에 대한 정기적인 교육과 피드백을 제공하면 이러한 오류를 줄이는 데 도움이 될 수 있습니다. Providing interviewers with regular training and feedback on their scoring relative to program standards and other interviews can help mitigate these errors.
면접 시 해야 할 일과 하지 말아야 할 일 Interview Do’s and Don’ts
면접 진행 Conducting Interviews
해야 할 일 Do:
직무와 관련된 질문을 하세요.
가끔 미소 짓고 고개를 끄덕이는 등 긍정적인 바디랭귀지를 사용합니다.
지원자가 본론에서 벗어난 경우 지원자의 발언에 대해 간단히 언급(예: "알겠습니다")하여 지원자의 주의를 다시 집중시킨 다음 원래의 질문으로 단호하게 돌아갑니다.
말하기보다 듣는 데 더 많은 시간을 할애하세요.
Ask job-related questions.
Use positive body language such as smiling and nodding occasionally.
Refocus the applicant if he or she goes off track, by making a brief comment about the applicant’s remarks (such as, “OK”) and then firmly move back to the original question.
Spend more time listening than talking.
하지 마세요 Don't:
눈썹을 치켜뜨거나 인상을 찌푸리거나 거친 목소리 톤을 사용하는 등 부정적인 바디랭귀지를 하는 것
면접 중 지원자의 성과에 대해 "좋아요" 또는 "훌륭해요"와 같은 피드백을 하는 것
판단형, 이유형, 선도형, 예/아니오형 질문을 하는 것
Use negative body language such as raising an eyebrow, frowning, or using a harsh tone of voice.
Give feedback to the applicant about his or her performance during the interview (such as, “Good” or “Great”).
Ask judgmental, why, leading, or yes/no questions.
면접 평가하기 Evaluating Interviews
하세요 Do:
객관성을 유지하세요. 의견이 아닌 사실에 집중하세요.
면접 질문에 대한 지원자의 답변에 집중하세요.
한 번에 한 가지 질문 또는 차원에 집중합니다.
지원자의 답변을 척도 앵커와 비교하는 데 집중합니다(프로그램에서 평가 척도를 사용하는 경우).
Stay objective―focus on facts, not opinions.
Focus on the applicant’s responses to interview questions.
Focus on one question or dimension at a time.
Focus on comparing applicants’ responses with scale anchors (if your program uses a rating scale).
하지 마세요 Don't:
"지원자의 답변에 대한 자신의 해석을 바탕으로 답변의 일부를 '채우기'.
채점 루브릭 이외의 요소(예: 외모 또는 지원자와의 '케미')를 기준으로 지원자를 판단하기
면접 중에 한 지원자의 답변을 다른 지원자의 답변과 비교하기
“Fill in” parts of the answer based on your own interpretations of the applicant’s response.
Judge an applicant based on anything outside the scoring rubric (for example, personal appearance or your “chemistry”).
Compare responses of one applicant with those of other applicants during the interview.
보건전문직 교육의 선발 방법에 대한 지원자 인식: 이유와 집단간 차이(Med Educ, 2022) Applicant perceptions of selection methods for health professions education: Rationales and subgroup differences Suzanne Fikrat-Wevers1 | Karen Stegers-Jager1 | Marleen Groenier2 | Andries Koster3 | Jan Hindrik Ravesloot4 | Renske Van Gestel3 | Anouk Wouters5,6 | Walter van den Broek1 | Andrea Woltman1
1 서론 1 INTRODUCTION
학부 보건 전문직 교육(HPE)에 입학하기 위한 선발은 많은 이해관계가 얽혀 있어 공개적인 논쟁의 주제입니다.1 그럼에도 불구하고 다양한 선발 방법에 대한 대부분의 연구는 예측 타당성과 학생 다양성에 미치는 영향에 초점을 맞춘 반면, 지원자의 인식에 대해서는 거의 관심을 기울이지 않았습니다.2 지원자 인식이 대학 입학 기회 확대(WA)의 맥락에서 관련성이 있다고 주장되어 왔기 때문에 이는 놀라운 일입니다.1 사회경제적, 인종적 소수 집단의 과소 대표성은 복잡하고 다양한 문제이지만, 이러한 집단은 선발에 대한 부정적인 인식의 결과에 특히 취약한 것으로 생각됩니다.1, 3 그러나 지금까지 지원자의 여러 하위 그룹 간의 인식을 비교하여 실제로 그러한지 조사한 연구는 없었습니다. 본 연구에서는 학부 HPE의 다양한 전형 방법에 대한 지원자의 인식과 이러한 인식이 지원자의 배경 특성과 어떤 관련이 있는지 조사하여 이러한 지식 격차를 해결했습니다. Due to the high stakes involved, selection into undergraduate health professions education (HPE) is a topic of public debate.1Nevertheless, most research into different selection methods has focused on predictive validity and effects on student diversity, while little attention has been paid to applicant perceptions.2This is surprising, as it has been argued that applicant perceptions are relevant within the context of widening access (WA).1Although the underrepresentation of lower socio-economic and ethnic minority groups is a complex and multicausal problem, these groups are thought to be particularly vulnerable to the consequences of negative perceptions regarding selection.1,3However, thus far, no research has compared perceptions between different subgroups of applicants to investigate whether this is really the case. In the present study, we addressed this knowledge gap by investigating applicant perceptions of different selection methods in undergraduate HPE and how these perceptions are related to applicants' background characteristics.
선발 방법에 대한 지원자의 인식을 이해하는 것은 여러 가지 이유로 중요합니다.
첫째, 지원자 인식은 광범위한 타당성 프레임워크에서 증거의 원천으로 사용되는 정치적 타당성의 구성 요소입니다.4 정치적 타당성은 이해관계자들이 어떤 방법을 선발에 사용하기에 적절하고 수용 가능한 것으로 간주하는 정도라고 정의됩니다.4 실제로 선발 절차를 설계할 때 정치적 타당도를 고려하는데, 이는 전통적인 면접과 같이 제한된 예측 타당도가 입증된 선발 방법이 여전히 일반적으로 사용되고 있다는 사실에서 잘 드러납니다.1
둘째, 지원자의 인식은 선발 방법의 구성 타당도와 지원자의 동기 부여, 성과 및 철회에 미치는 영향을 포함하여 다양한 실질적인 결과를 초래할 수 있기 때문에 특히 중요합니다.2, 5-7 주목할 만한 점은 선발 위원회의 기대에 대한 지원자의 이해가 이러한 숨겨진 기대에 '부합'하기 위해 선발 준비 방식을 형성할 수 있다는 점입니다.8-10
또한, 지원자의 인식은 WA와 관련이 있습니다.1 이전 연구에 따르면 사회경제적 수준이 낮고 소수 민족 배경을 가진 예비 학생들은 전형에 대해 더 자주 부정적으로 인식하고 성공적으로 입학할 수 있다는 확신이 적습니다.3, 11 이러한 지원자 하위 그룹은 일반적으로 전형 결과가 더 나쁜 것으로 나타났습니다.12, 13 이는 부정적 인식으로 인한 동기 부여 저하로 부분적으로 설명될 수 있습니다.14
Understanding applicant perceptions of selection methods is important for multiple reasons.
First, applicant perceptions are a component of political validity, which is used as a source of evidence in broader validity frameworks.4 Political validity is defined as the extent to which stakeholders consider a method as appropriate and acceptable for use in selection.4 In practice, political validity is taken into consideration when designing selection procedures, which is exemplified by the fact that selection methods with proven limited predictive validity, such as traditional interviews, are still commonly used.1
Second, perceptions of applicants are of particular interest, as they can have numerous practical consequences, including effects on construct validity of selection methods, and on applicant motivation, performance and withdrawal.2, 5-7 Noteworthy is that applicants' understanding of the expectations of selection committees can shape the way they prepare for selection in order to ‘fit’ these hidden expectations.8-10
Moreover, applicant perceptions are relevant with respect to WA.1 Previous research suggests that prospective students with lower socio-economic and ethnic minority backgrounds more often demonstrate negative perceptions of selection and are less confident in their ability to be successfully admitted.3, 11 These subgroups of applicants are shown to have poorer selection outcomes in general,12, 13 which may be partially explained by poorer motivation due to more negative perceptions.14
지원자의 선발에 대한 인식은 일반적으로 분배적 정의와 절차적 정의를 구분하는 조직 정의 이론15을 사용하여 설명합니다.
분배적 정의는 선발 절차의 결과 분배의 공정성에 대한 지각된 공정성을 의미하며,
절차적 정의는 선발 절차 및 이러한 결과를 생성하는 데 사용되는 방법의 공정성에 대한 지각을 의미합니다.15 절차적 정의는 절차의 형식적 특성, 절차 및 의사 결정에 대한 설명, 대인 관계적 대우의 세 가지 구성 요소로 구성됩니다.
조직 정의 이론에 따르면, 절차적 정의의 세 가지 구성 요소는 선발 절차의 다양한 측면에 대한 인식에 영향을 미칩니다. 본 연구에서는 절차적 정의 구성 요소인 선택의 형식적 특성에 초점을 맞췄는데, 이는 길리랜드에 따르면 본 연구의 주요 관심사인 특정 선택 방법에 대한 인식이 이 구성 요소의 영향을 가장 많이 받기 때문입니다. 이러한 형식적 특성의 예로는 선택 방법의 관련성과 지각된 타당성이 있습니다. 나머지 두 가지 구성 요소인 절차 및 의사 결정에 대한 설명과 대인 관계 처우는 각각 선발 정책과 선발 담당자에 대한 인식에 영향을 미칩니다. Applicant perceptions of selection are commonly described using organisational justice theory,15which distinguishes between distributive and procedural justice.
Distributive justicedescribes the perceived fairness of the distribution of the outcome of the selection procedures, while
procedural justicerefers to the perceived fairness of the selection procedure and methods that are used to generate this outcome.15 Procedural justice consists of three components: the formal characteristics of procedures, explanation of procedures and decision-making and interpersonal treatment.
According to organisational justice theory, the three procedural justice components affect perceptions of different aspects of selection procedures. The present study focuses on the procedural justice component formal characteristics of selection, because according to Gilliland,15perceptions of specific selection methods—the main interest of the present study—are mostly affected by this component. Examples of such formal characteristics include relevance and perceived validity of selection methods. The other two components, explanation of procedures and decision-making and interpersonal treatment, influence perceptions of the selection policy and the selection personnel, respectively.
교육 기관은 선발 절차에서 매우 다양한 방법을 사용합니다. 그러나 이러한 방법에 대한 지원자의 인식에 대한 지식은 여전히 부족합니다.2 체계적 문헌고찰에 따르면 면접과 상황판단검사(SJT)는 지원자의 지지가 높은 반면 적성검사는 덜 수용적이라고 인식하고 있습니다.1 이 문헌고찰에는 많은 수의 연구(71편)가 포함되어 있지만 대부분 단일 기관에서 특정 선발 방법에 대한 노출 후 수행되었습니다. 이전 연구에 따르면 선택 절차가 연구 선택에 영향을 미치는 것으로 나타났기 때문에2, 이러한 16개의 연구 결과는 제한적으로만 비교 및 일반화할 수 있습니다. 또한 Kelly 등1은 특정 선발 방법이 특히 소외계층 및 소수자 그룹에 의해 장벽으로 인식된다고 제안했지만, 검토 대상 연구 중 서로 다른 지원자 하위 그룹의 인식을 직접 비교한 연구는 없었습니다. Educational institutions use a great variety of methods in their selection procedures. However, knowledge about perceptions of applicants regarding these methods is still scarce.2A systematic review concluded that interviews and situational judgement tests (SJTs) are highly supported by applicants, while aptitude tests are perceived as less acceptable.1Although this review included a large number of studies (71), most were conducted in single institutions after exposure to one specific selection method. Because previous research indicates that the selection procedure plays a role in study choice,2,16results of such studies are only limitedly comparable and generalisable. Additionally, while Kelly et al.1suggested that certain selection methods are specifically perceived as barriers by underrepresented and minority groups, none of the studies under review directly compared perceptions of different applicant subgroups.
지금까지 지원자 인식의 하위 그룹별 차이를 직접 조사한 연구는 거의 없었습니다. 우리가 아는 한, HPE 분야에서 단일 사이트 연구가 수행된 것은 단 한 건뿐입니다. 이 연구는 SJT에 초점을 맞춘 것으로, 소수 민족 학생과 1세대 대학생이 기존 전형에 비해 SJT 전형에 대해 다른 선호도를 보인다는 결론을 내렸습니다.14 학부 심리학 프로그램에서 수행된 또 다른 단일 현장 연구는 다양한 전형 방법을 포함했지만 배경 변수로 성별에만 초점을 맞추었습니다.2 추첨과 고등학교 성적은 낮은 선호도를 보인 반면 시험과 면접은 높은 선호도를 보였지만, 제공된 평가의 근거에 대해서는 살펴보지 않았습니다. 저자들은 동기 부여 설문지에 대해서만 여성이 남성보다 더 긍정적으로 평가했으며, 연구 대상인 다른 선발 방법에 대한 인식은 성별에 따라 다르지 않다는 것을 발견했습니다. Thus far, only few studies have directly investigated subgroup differences in applicant perceptions. To our knowledge, only one single-site study was executed in the field of HPE. This research focused on SJTs and concluded that ethnic minority students and first-generation university students had other preferences in SJT format compared with their traditional counterparts.14Another single-site study that was conducted at an undergraduate psychology programme included a wide range of selection methods but only focused on gender as a background variable.2Low favourability ratings were found for lottery and high school grades, while tests and interviews were perceived as highly acceptable, but the rationales behind the provided ratings were not explored. The authors found that only motivation questionnaires were rated more positively by women than by men, while perceptions of other selection methods under research did not differ by gender.
따라서 다양한 방법을 포함하고 다양한 관련 배경 특성을 포함하는 다중 기관 환경의 연구와 관련하여 지원자 인식 문헌에는 격차가 존재합니다. 본 연구에서는 지원자들이 학부 HPE 입학을 위한 다양한 전형 방법을 어떻게 인식하는지, 그리고 그러한 인식의 근거는 무엇인지 조사했습니다. 또한 지원자의 성별, 이주 배경(인종 지표), 부모 교육(사회경제적 지위 지표), 이전 교육 등 선발 결과와 관련된 배경 변수를 기반으로 지원자 하위 그룹 간에 이러한 인식이 다른지 평가했습니다.12, 13, 17, 18 Thus, there is a gap in the applicant perceptions literature with respect to research in multi-institutional settings, that includes a variety of methods and that includes numerous relevant background characteristics. In the present study, we investigated how applicants perceive different selection methods for admission into undergraduate HPE and the rationales behind their perceptions. Additionally, we assessed whether these perceptions differ across subgroups of applicants based on background variables that are associated with selection outcomes: applicants' gender, migration background (as an indicator of ethnicity), parental education (as an indicator of SES) and prior education.12,13,17,18
2 방법 2 METHOD
설정 및 절차 Setting and procedure
본 연구는 네덜란드에 있는 3개의 의학 프로그램, 1개의 기술-의료 프로그램, 1개의 약학 프로그램을 포함한 5개의 학부 HPE 프로그램에서 수행되었습니다. 5개 프로그램 모두 자체적으로 설계한 선발 절차가 달랐으며, 최소 두 가지 선발 방법으로 구성되었습니다. The present study was conducted at five undergraduate HPE programmes in the Netherlands, including three medical programmes, one technical-medical programme and one pharmacy programme. All five programmes had different self-designed selection procedures, composed of at least two selection methods.
네덜란드에서는 다양한 유형의 학부 HPE 프로그램의 입학 요건이 비슷합니다. 지원 자격을 얻으려면 모든 지원자는 이수 과목(예: 물리, 화학, 생물학) 및 교육 수준(대학 전 교육 졸업 수준)과 관련하여 동일한 엄격한 요건을 충족해야 합니다. 지원자는 다양한 교육 경로를 통해 지원할 수 있지만, 모두 앞서 언급한 요건을 충족한다는 증거를 제출해야 합니다. 결과적으로 지원자 풀은 비교적 동질적이며, 대학 수준의 학부 HPE 프로그램에 지원하는 학생들은 이미 선택성이 높은 중등 교육으로 인해 학업 능력에 따라 강력하게 사전 선발됩니다.19 그러나 pu-GPA와 관련된 입학 요건은 없습니다. 지원자는 자신이 선택한 프로그램에 지원할 때 하나의 특정 교육기관에 지원하게 됩니다. 각 기관마다 미리 정해진 정원이 있습니다. 법에 따라 교육기관은 선발 절차의 일부로 구현할 수 있는 개별 도구인 선발 방법을 사용하여 평가되는 최소 두 가지 선발 기준을 포함해야 합니다. 그러나 선발 방법의 내용 및 품질, 그리고 어떤 방식으로 결합할 것인지에 대한 추가 요건은 없습니다. 따라서 각 기관의 다양한 유형의 HPE 프로그램 간 또는 프로그램 내에서 채택하는 선발 절차는 매우 다양합니다. 현재 프로그램에서 선발 절차의 일부로 (가중치 및 비가중치) 추첨을 선발 방법으로 포함할 수 있도록 허용하는 법안이 계류 중입니다. In the Netherlands, admission requirements of different types of undergraduate HPE programmes are comparable. To be eligible, all applicants need to meet the same stringent requirements regarding subjects taken (e.g. physics, chemistry and biology) and educational level (graduation level of pre-university education). Although applicants can apply from different educational routes, they all need to provide proof that they meet aforementioned requirements. Consequently, the applicant pools are relatively homogeneous; students who apply to a university-level undergraduate HPE programme are already strongly preselected based on academic skills due to highly selective secondary education.19There are no admission requirements, however, with respect to pu-GPA. When applicants apply to their programme of choice, they apply to one specific institution. For each institution, there is a predetermined fixed number of places. By law, institutions are required to include at least two selection criteria, which are assessed using selection methods—the individual tools that can be implemented as part of a selection procedure. However, there are no additional requirements with respect to, for instance, the contents and quality of the selection methods, and in which way they would be combined. Consequently, there is great variety in the selection procedures that programmes employ, both between and within different types of HPE programmes at different institutions. Currently, a bill is pending that should allow programmes to also include (weighted and unweighted) lottery as a selection method as part of their selection procedure.
2020년 9월에 입학 선발 절차에 참여한 모든 지원자(N = 3280명)를 대상으로 지원자 인식에 대한 온라인 설문조사에 참여하도록 초대했습니다. 또한 지원자들은 현장 테스트 당일 또는 이메일을 통해 인구통계학적 설문지를 작성하도록 요청받았습니다. All applicants engaged in the selection procedures for entry in September 2020 (N = 3280) were invited to participate in an online survey on applicant perceptions. Additionally, applicants were asked to complete a demographics questionnaire either during an on-site testing day or via e-mail.
모든 참가자로부터 사전 동의를 얻었습니다. 지원자에게는 참여는 자발적인 것이며 선발 결과에 영향을 미치지 않는다는 사실을 알렸습니다. 어떠한 인센티브도 제공되지 않았습니다. 에라스무스 MC의 의료윤리심의위원회는 이 연구가 심의 면제 대상이라고 선언했습니다. Informed consent was obtained from all participants. Applicants were informed that participation was voluntary and would not influence their selection outcomes. No incentives were provided. The Medical Ethical Review Committee of Erasmus MC declared the study exempt from review.
척도 Measures
지원자의 인식은 조직 정의 이론에 기반한 7개 항목이 포함된 이전에 보고된 설문지를 사용하여 측정했습니다.14 각 항목은 7점 리커트 척도를 사용하여 평가했습니다.
이전 연구에 따라2, 14 일반적 호감도는 두 가지 항목을 사용하여 평가했습니다.
지각된 예측 타당성과
지각된 공정성
나머지 5개 항목은 절차적 정의 차원인 다음을 반영했습니다.
안면 타당도,
지원자 차별성,
학업 관련성,
수행 기회,
부정행위의 용이성
각 정의 차원에 대한 구체적인 항목(즉, 응답자에게 제공된 정의)과 평가 척도는 표 S1에서 확인할 수 있습니다.
Applicant perceptions were measured using a previously reported questionnaire including seven items based on organisational justice theory.14Each item was judged using a 7-point Likert scale.
In accordance with previous studies,2, 14general favourabilitywas assessed using two items:
perceived predictive validity and
perceived fairness.
The other five items reflected the following procedural justice dimensions:
face validity,
applicant differentiation,
study relatedness,
chance to perform and
ease of cheating.
The specific items (i.e. definitions provided to respondents) and rating scales of each justice dimension can be consulted in Table S1.
Table S1. Applicant perception items
Label
Item
Perceived predictive validity
How would you rate the effectiveness of [insert method] for identifying qualified people for medical school? (1: very ineffective – 7: very effective)
Perceived fairness
If you would not be admitted based on a [insert method], what would you think of the fairness of this procedure? (1: very unfair – 7: very fair)
Face validity
A [insert method] is a logical test for identifying qualified applicants for medical school. (1: strongly disagree – 7: strongly agree)
Applicant differentiation
A [insert method] measures an individual's important qualities, differentiating them from others. (1: strongly disagree – 7: strongly agree)
Study relatedness
A person who scores well on a [insert method] Test will be a good medical student. (1: strongly disagree – 7: strongly agree)
Chance to perform
I could really show my skills and abilities through a [insert method]. (1: strongly disagree – 7: strongly agree)
Ease of cheating
It is easy to cheat or fake on a [insert method]. (1: strongly disagree – 7: strongly agree)
응답자들은 [일반적으로 사용되는 11가지 전형 방법]에 대해 지원자 인식 항목을 개별적으로 평가하도록 요청받았습니다.
인지능력 검사,
커리큘럼 샘플링 검사,
이력서(CV),
면접,
지원동기서,
인성 설문지,
대학 전 학년 평균(pu-GPA),
SJT,
스킬 테스트,
무가중 추첨 및 가중 추첨
무가중 추첨과 가중 추첨의 경우, 다른 항목은 해당 전형 방법과 관련이 없는 것으로 간주하여 일반적 호감도와 안면 타당도만 평가했습니다. 각 선발 방법에 대한 간략한 설명(표 S2)과 함께 SJT 및 인성 설문지의 예시 항목이 제공되었습니다. 각 선발 방법(추첨 포함)에 대해 지원자들은 '[삽입 방법]을 선발 방법으로 사용하는 것에 대해 하고 싶은 말이 있습니까?"라는 개방형 질문에 답하도록 요청받았습니다. 선발 방법은 순서 효과를 완화하기 위해 무작위 순서로 제시되었습니다. Respondents were asked to rate the applicant perception items separately for 11 commonly used selection methods:
cognitive capacity test,
curriculum-sampling test,
curriculum vitae (CV),
interview,
motivation letter,
personality questionnaire,
pre-university grade-point average (pu-GPA),
SJT,
skills test,
unweighted lottery and weighted lottery.
For unweighted and weighted lottery, only general favourability and face validity were assessed, as the other items were considered irrelevant for those methods. A short description of each selection method was provided (Table S2), along with example items for the SJT and personality questionnaire. For each method (including lottery), applicants were also asked to answer the following open-ended question: ‘Do you have any remarks about using [insert method] as a selection method?’ The selection methods were presented in a random order to mitigate order effects.
Table S2. Operational definitions of presented selection methods
Method
Description provided to applicants
Cognitive capacity test
분석적 추론, 언어적 추론, 공간적 통찰력 등 지원자의 지능과 인지 능력을 평가하는 테스트입니다. 예를 들어 IQ 테스트 또는 독해력 테스트가 있습니다. Test that assesses intelligence and cognitive abilities of the applicants, such as analytical reasoning, verbal reasoning and spatial insight. Examples include an IQ test or a reading comprehension test.
Curriculum-sampling test
커리큘럼 샘플링 시험의 경우, 지원자는 학습 프로그램을 대표하는 과목에 대한 강의를 듣거나 나중에 평가할 학습 자료를 받습니다. For the curriculum-sampling test, applicants attend a lecture on a subject representative for the study program and/or receive study material on which they will be assessed at a later date.
Curriculum vitae
A CV describes extra-curricular activities, such as work experience, a board position or caregiving.
Interview
Interview with a selection committee in which applicants are asked various questions about their background, skills and motivation.
Motivation letter
지원자는 동기 부여 편지에서 프로그램에 지원하게 된 동기를 설명합니다. In a motivation letter, applicants describe their motivation for the program.
Personality questionnaire
Questionnaire on personality characteristics in which applicants have to indicate to what extent they agree with various statements.
Pre-university grade point average
Average of grades that applicants achieved in secondary school, for example average of grades obtained in their penultimate year.
Situational Judgement Test
Test consisting of short scenarios that describe difficult situations that applicants can encounter in the program. The scenarios are followed by a number of possible reactions to each situation, which applicants judge for appropriateness.
Skills test
의료 윤리적 문제에 대한 성찰이나 환자에게 나쁜 소식을 전달하는 등 프로그램에서 특별히 중요한 기술을 평가하는 테스트입니다. Test that assesses skills that are of specific importance to the program, for example reflecting on medical-ethical issues or delivering bad news to a patient.
Unweighted lottery
Applicants are only admitted to the program on the basis of chance.
Weighted lottery
Applicants are placed in different lottery categories based on their pre-university grade point average. Applicants with a higher pre-university grade point average have a greater chance of being admitted.
인구통계학적 설문지에는 성별, 이주 배경, 이전 교육, 부모 교육 등의 변수가 포함되었습니다. 본 연구에서는 성별 다양성을 인정하여 지원자는 '남성', '여성', '기타(자유 텍스트 상자)'의 세 가지 범주 중에서 선택할 수 있었습니다. 이주 배경은 네덜란드 통계청(CBS)에 따라 정의되었습니다. 지원자는 다음의 세 가지 그룹으로 분류되었습니다.
(i) 부모 모두 네덜란드에서 태어난 경우 이주 배경 없음,
(ii) 부모 중 한 명 이상이 유럽(네덜란드, 터키 제외), 북미, 오세아니아, 일본 또는 인도네시아에서 태어난 경우 서구 이주 배경,
(iii) 부모 중 한 명 이상이 아프리카, 아시아(일본, 인도네시아 제외), 라틴 아메리카 또는 터키에서 태어난 경우 비 서구 이주 배경
사전 교육과 관련해서는 네덜란드의 표준 대학 예비 교육, 대학 및 기타 형태의 사전 교육(예: 고등 직업 교육, 외국 교육)을 구분했습니다. 마지막으로, 부모 교육과 관련하여 지원자의 부모 중 고등 교육(대학 또는 고등 직업 교육)을 받은 사람이 없는 경우 지원자를 1세대 대학 지원자로 분류했습니다. The following variables were included in the demographics questionnaire: gender, migration background, prior education and parental education. Gender diversity was acknowledged in the present study, and applicants had the option to choose between three categories: ‘man’, ‘woman’ and ‘other, namely [free text box]’. Migration background was defined in accordance with Statistics Netherlands (CBS). Applicants were categorised in three groups:
(i) no migration background when both parents were born in the Netherlands;
(ii) a Western migration background when at least one parent was born in Europe (excluding the Netherlands and Turkey), North America, Oceania, Japan or Indonesia; and
(iii) a non-Western migration background when at least one parent was born in Africa, Asia (excluding Japan and Indonesia), Latin America or Turkey.
With respect to prior education, we distinguished between standard Dutch pre-university education, university and other forms of prior education (e.g. higher vocational education, foreign education). Finally, for parental education, applicants were categorised as first-generation university applicants when none of their parents had attended higher education (university or higher vocational education).
분석 결과 Analyses
다양한 선발 방식에 대한 지원자의 인식을 조사하기 위해 서술적 통계를 사용했습니다. 내적 일관성을 확인한 후, 응답자별로 각 전형 방법에 대한 일반적 호감도는 두 가지 일반적 호감도 항목의 평균 점수로 계산했습니다. 일반 호감도 및 기타 항목에 대해서는 각 선택 방법에 대한 평균 점수와 95% 신뢰 구간을 계산했습니다. 또한 절차적 정의 차원 간의 관계를 조사하기 위해 각 전형 방식에 대한 일반 호감도 점수와 다른 항목 간의 상관관계를 계산했습니다. In order to investigate applicant perceptions of different selection methods, we used descriptive statistics. After checking for internal consistency, general favourability of each method for each respondent was calculated as the mean score on the two general favourability items. For general favourability and the other items, the mean score and 95% confidence interval for each selection method were calculated. Additionally, we calculated correlations between scores on general favourability and the other items for each method to examine relationships between the procedural justice dimensions.
지원자 하위 그룹에 따라 지원자의 인식이 다른지 알아보기 위해 선형 혼합 모델을 사용했습니다. 혼합 모델을 통해 부분적으로 누락된 데이터를 보완하고 개인 및 상황 관련 차이를 통제할 수 있었습니다. 이 모형의 종속변수는 평균 일반 호감도 점수였습니다. 고정 효과에는 선발 방법뿐만 아니라 각 선발 방법과 관심 있는 인구통계학적 변수(성별, 이주 배경, 이전 교육 및 부모 교육) 간의 상호작용 효과가 포함되었습니다. 무작위 요인에는 지원자 ID와 지원자가 지원한 프로그램이 포함되었으며, 구조화되지 않은 공분산 구조를 사용했습니다. 공분산 구조에 대한 결정은 카이카이크 정보 기준에 따라 이루어졌습니다. 이 분석을 위해 개별 지원자의 데이터는 11가지 선발 방법 중 최소 10개에 대해 일반적 호감도가 평가된 경우에만 사용되었습니다. To study whether applicant perceptions differed for subgroups of applicants, we used a linear mixed model. The mixed model compensated for partially missing data and allowed us to control for individual and context-related differences. The dependent variable in this model was the mean general favourability score. Fixed effects included the selection method, as well as the interaction effects between each selection method and the demographic variables of interest (gender, migration background, prior education and parental education). Random factors included applicant id and the programme to which the applicant applied, using an unstructured covariance structure. The decision on the covariance structure was based on the Akaike information criterion. For this analysis, data of individual applicants were used only when at least 10 of the 11 selection methods were rated on general favourability.
개방형 질문에 대한 답변은 구성주의 패러다임에서 지원자의 인식 이면에 있는 근거를 보다 심층적으로 파악하는 데 사용되었습니다. 본 연구에서는 지시적 접근법을 사용하여 내용에 대한 질적 분석을 사용했습니다.20 지시적 접근법에서는 이론적 틀을 검증하고 확장하는 것을 목표로 코드 형성을 위한 초기 지침으로 이론을 사용합니다. 본 연구에서는 조직 정의 이론의 이론적 개념이 코딩 과정의 토대를 형성했습니다. 장과 와일더무스가 설명한 분석 절차를 따랐습니다.21
제1저자(SFW)는 데이터를 숙지하고 코딩 매뉴얼을 개발했습니다.
설문지의 이론적 개념인 안면 타당도, 지원자 차별화, 연구 관련성, 수행 기회 및 부정행위의 용이성에 따라 상위 코드는 미리 결정되었습니다.
또한 우리가 실시한 설문지에서 다루지 않은 조직 정의 이론의 다른 개념인 분배 정의, 채용 중 반응, 채용 후 반응, 자기 인식과
절차적 정의와 관련하여 이전에 보고된 설문지에서 사용된 기타 항목인 과학적 증거, 대인관계의 따뜻함, 사용할 권리, 사생활 침해, 광범위한 사용, 노력 기대치, 알려진 정보, 재고 기회, 피드백, 관리의 일관성, 개방성, 대우, 쌍방향 커뮤니케이션도 코딩 매뉴얼에 상위 코드로 포함했습니다.2, 22
하위 코드는 코딩 과정에서 개발되었습니다.
따라서 먼저 공개 답변이 어떤 이론적 개념을 참조하는지 파악한 후(상위 코드),
지원자가 제공한 구체적인 주장을 코딩했습니다(하위 코드).
또한 분석의 모든 단계에서 비판적인 대화를 나누고 이론의 사각지대를 인식함으로써 이론적 틀을 벗어난 잠재적으로 관련성이 있는 결과를 식별하기 위해 반성적 태도를 취하고자 했습니다.
제1저자(박사과정, 교육학 전공)와 제2저자(KMSJ, 선임연구원, 교육학 전공, 다양성 연구 경험)는 각 선택 방법에 대해 두 가지 답변을 함께 코딩한 다음, 각 선택 방법에 대해 10개의 무작위 샘플을 독립적으로 코딩했습니다.
일치도가 높았기 때문에 나머지 답변은 SFW가 코딩한 후 KMSJ가 일관성 검사를 실시했습니다.
일관성 점검은 각 코드에 대해 댓글의 하위 샘플이 해당 특정 코드가 다루는 주제에 실제로 적용되는지 여부를 비판적으로 검토하는 것을 수반했습니다.
SFW는 전체 연구팀과 논의한 데이터에서 결론을 도출했습니다.
The answers to the open-ended questions were used to get a more in-depth view of the rationales behind applicant perceptions, from a constructivist paradigm. We used qualitative analysis of content, employing a directed approach.20With a directed approach, a theory is used as initial guidance for the formation of codes with the goal of validating and extending the theoretical framework. In the present study, theoretical concepts of organisational justice theory formed the foundation for the coding process. We followed the analytical procedure described by Zhang and Wildemuth.21
The first author (SFW) familiarised herself with the data and developed a coding manual.
Higher order codeswere predetermined and were based on the theoretical concepts of the questionnaire: face validity, applicant differentiation, study relatedness, chance to perform and ease of cheating.
Additionally,
other concepts of organisational justice theory that were not covered by the questionnaire we administered were included as higher order codes in the coding manual, including distributive justice, reactions during hiring, reactions after hiring and self-perceptions,
as well as other items used in previously reported questionnaires referring to procedural justice: scientific evidence, interpersonal warmth, right to use, invasion of privacy, wide-spread use, effort expectancy, information known, reconsideration opportunity, feedback, consistency of administration, openness, treatment and two-way communication.2, 22
Lower order codeswere developed during the coding process.
Thus, we first identified to which theoretical concept an open answer referred (higher order codes) and
subsequently coded the specific argument the applicant provided (lower order codes).
We also aimed to employ reflexivity to identify potentially relevant findings that were outside of our theoretical framework, by having critical dialogues throughout all stages of the analyses and being aware for blind spots in the theory.
SFW (PhD candidate, background in educational sciences) and the second author (KMSJ; senior researcher, background in educational sciences, experienced in research on diversity) coded two answers for each selection method together and then coded a random sample of 10 answers for each selection method independently.
Because there was a high level of agreement, SFW coded the remaining answers, after which KMSJ conducted a consistency check.
The consistency check entailed that for each code, it was critically reviewed whether a subsample of the comments did indeed apply to the subject covered by that specific code.
SFW drew conclusions from the data that were discussed with the full research team.
3 결과 3 RESULTS
참가자 특성 Participant characteristics
총 704명의 지원자가 연구에 참여했습니다(응답률 = 21%). 응답자 중 71%가 여성으로 확인되었으며, '기타'라고 밝힌 지원자는 1명이었습니다. 이 지원자는 하위 그룹 분석에서 제외되었으므로 결과에는 남성과 여성 범주만 설명되어 있습니다. 또한 35%는 이주 배경을 가지고 있었고(비서양 26%, 서양 9%), 25%는 1세대 대학 지원자였습니다. 사전 교육과 관련하여 77%는 표준 예비 대학 교육, 15%는 대학, 8%는 기타 형태의 사전 교육을 통해 직접 지원했습니다. 성별, 부모 교육 및 사전 교육과 관련하여 본 연구의 인구통계학적 분포는 남성과 1세대 대학 지원자가 과소 대표되는 네덜란드에서 수행된 다른 연구와 비슷했습니다.12, 17, 18 이주 배경을 가진 지원자 역시 네덜란드에서 과소 대표되지만,12 본 연구에서는 상대적으로 큰 하위 그룹을 구성했으며, 이는 포함된 대부분의 프로그램이 도시 환경에 있기 때문일 수 있습니다. In total, 704 applicants participated in the study (response rate = 21%). Amongst the respondents, 71% identified as woman, and one applicant identified as ‘other’. This individual was excluded from the subgroup analyses and therefore only the categories men and women are described in the results. Furthermore, 35% had a migration background (26% non-Western, 9% Western), and 25% were first-generation university applicants. With respect to prior education, 77% applied directly from standard pre-university education, 15% from university and 8% from other forms of prior education. With respect to gender, parental education and prior education, demographic distributions in the present study were comparable with those of other research conducted in the Netherlands, where men and first-generation university applicants are underrepresented.12,17,18Applicants with a migration background are also underrepresented in the Netherlands,12but composed a relatively large subgroup in the present study, which may be due to the urban setting of most of the included programmes.
지원자들은 커리큘럼 샘플링 시험(평균 [M] = 5.32, 95% 신뢰 구간 [95% CI; 5.24, 5.40], 표 1)에 대해 가장 높은 호감도를 보인 반면, 가중치 추첨(M = 3.05 [2.93, 3.17])과 무가중 추첨(M = 2.97 [2.83, 3.10])은 가장 낮게 인식했습니다. Applicants provided the highest general favourability ratings for curriculum-sampling tests (mean [M] = 5.32, 95% confidence interval [95% CI; 5.24, 5.40]; Table 1), while weighted lottery (M = 3.05 [2.93, 3.17]) and unweighted lottery (M = 2.97 [2.83, 3.10]) were perceived least favourable.
일반 호감도 점수와 다른 지원자 인식 항목 간의 상관관계는 모두 통계적으로 유의미했지만(p <0.05), 상관관계의 강도에 있어서는 큰 폭의 차이가 있었습니다(표 3 참조). 일반적인 호감도와 가장 강력한 상관관계를 보인 정의 차원은 안면 타당도였으며, 부정행위의 용이성과 일반적인 호감도 간의 음의 상관관계는 가장 작았습니다. All correlations between the general favourability score and other applicant perception items were statistically significant (p < 0.05), but there was a great range in the strengths of the correlations (see Table 3). The justice dimension that was most strongly related with general favourability was face validity, while the negative correlation between ease of cheating and general favourability was the smallest.
지원자의 인식은 프로그램마다 다른 것으로 나타났습니다(표 2). 일반적으로 지원자들은 자신이 지원한 프로그램에서 사용하는 선발 방식에 대해 사용하지 않는 방식에 비해 더 긍정적인 인식을 가지고 있었습니다. Applicant perceptions appear to differ between different programmes (Table 2). Generally, applicants had more positive perceptions towards selection methods used by the programme they applied to compared with methods that were not used.
정의 차원 Justice dimensions
다음 섹션에서는 인식 점수의 정량적 결과와 지원자의 추론에 대한 정성적 결과를 통합하여 다양한 정의 차원에 대한 결과를 제시합니다. 가장 두드러진 결과만 논의하며, 정량적 및 정성적 결과에 대한 전체 개요는 각각 표 3과 표 4를 참조하시기 바랍니다. In the next sections, the results for the different justice dimensions will be presented by integrating the quantitative findings of perception scores and the qualitative findings of applicants' reasoning. Only the most salient findings are discussed, and for a complete overview of the quantitative and qualitative findings, we refer to Tables 3and4, respectively.
3.3.1 안면 타당도 3.3.1 Face validity
커리큘럼 샘플링 테스트와 기술 테스트가 안면 타당도에서 가장 높은 평가를 받았지만(각각 M = 5.46, 95% CI [5.37, 5.54], M = 5.27 [5.18, 5.36]), 지원자들은 이 차원과 관련하여 이 방법들에 대해 언급하지 않았습니다. 이는 다른 차원에서도 지원자들이 주로 부정적인 측면에 초점을 맞춰 댓글을 달았다는 점을 잘 보여줍니다. 면접은 안면 타당도 척도에서도 높은 평가를 받았습니다(M = 5.17 [5.07, 5.27]). 지원자들은 동기 부여, 성격, 사회적 기술 등의 속성을 중요하게 생각했지만 이러한 속성에 대한 서면 평가보다는 구두 면접을 선호했습니다. 이는 인성 설문지의 상대적으로 낮은 평가(M = 3.87 [3.75, 3.99])를 설명할 수도 있습니다. Pu-GPA 역시 안면 타당도(M = 3.70 [3.58, 3.82])에서 낮은 평가를 받았으며, 지원자들은 입학 요건이 이미 프로그램에 입학할 수 있는 역량을 충분히 증명하기 때문에 pu-GPA는 부가가치가 없다고 언급했습니다. 가중 추첨과 무가중 추첨에 대한 평점이 가장 낮았습니다(각각 M = 2.99 [2.87, 3.12], M = 2.50 [2.37, 2.63]). 지원자들은 두 가지 유형의 추첨이 모두 지원자의 스트레스와 부담을 줄일 수 있다는 점을 인정했지만, 자신을 차별화하려는 강한 열망을 전달했으며 추첨이 가장 우수하고 동기 부여가 높은 학생을 선발하지 못할 것이라고 믿었습니다. Curriculum-sampling tests and skills tests received the highest ratings on face validity (respectively,M = 5.46, 95% CI [5.37, 5.54],M = 5.27 [5.18, 5.36]), but applicants did not comment on these methods with respect to this dimension. This is illustrative of the observation that, also for other dimensions, applicants mainly focused on negative aspects in their comments. Interviews were also rated highly on the scale of face validity (M = 5.17 [5.07, 5.27]). Applicants considered attributes such as motivation, personality and social skills important but preferred an oral interview over a written assessment of these attributes. This may also explain the relatively low rating of personality questionnaires (M = 3.87 [3.75, 3.99]). Pu-GPA also received a low rating on face validity (M = 3.70 [3.58, 3.82]), and applicants mentioned that pu-GPA was not of added value as the admission requirements would already provide enough evidence of their capacity to enter the programme. The lowest ratings were provided for weighted and unweighted lottery (respectively,M = 2.99 [2.87, 3.12],M = 2.50 [2.37, 2.63]). Although applicants acknowledged that both types of lottery can reduce stress and pressure for applicants, they communicated a strong desire to distinguish themselves and believed that lotteries would not select the best and most motivated students.
3.3.2 지원자 차별화 3.3.2 Applicant differentiation
기술 테스트와 면접은 지원자 차별화에서 상대적으로 높은 점수를 받았습니다(각각 M = 5.25 [5.16, 5.34], M = 5.23 [5.13, 5.33]). 지원자들이 차별화 기술을 평가하고 평가자가 지원자의 역량을 적절히 파악할 수 있다고 언급한 유일한 전형 방식이었습니다. 그러나 대부분의 선발 방식에 대해 지원자들은 해당 방식이 평가하고자 하는 방식이 아닌 다른 기술을 기준으로 지원자를 구별한다고 지적했습니다.
예를 들어, 지원자들에 따르면 동기부여서는 순수한 동기 대신 글쓰기 능력을 평가하고,
선발 시험은 목표 지식이나 기술 대신 시험에 대한 지혜와 준비 시간을 측정합니다.
인성 문항과 SJT는 지원자의 실제 성격이나 상황에 대한 반응보다는 매우 기초적인 지식인 사회적 기대에 대한 지식에 따라 지원자를 구분한다는 비판을 받았습니다.
Pu-GPA에 대해서 지원자들은 같은 성적을 받은 지원자라도 동기, 노력, 난이도에 따라 차이가 크다고 답해 가장 낮은 점수(M = 3.25 [3.13, 3.36])를 받았습니다. Skills tests and interviews received relatively high scores on applicant differentiation (respectively,M = 5.25 [5.16, 5.34],M = 5.23 [5.13, 5.33]). These were the only methods for which applicants mentioned that distinguishing skills are assessed and assessors can get an adequate overview of applicants' competencies. For most of the selection methods, however, applicants indicated that the methods distinguish candidates based on other skills than the methods are intended to assess.
For instance, according to applicants, motivation letters assess writing skills instead of pure motivation, and
selection tests measure test wiseness and preparation time instead of the targeted knowledge or skills.
Personality questionnaires and SJTs received the criticism that applicants are distinguished based on their knowledge of social expectations—which they expected to be very basic knowledge—rather than their actual personality or reactions to situations.
Pu-GPA received the lowest scores (M = 3.25 [3.13, 3.36]), as applicants mentioned that the same grade is the result of a wide range in motivation, effort and degree of difficulty.
3.3.3 학업 관련성 3.3.3 Study relatedness
일반적인 호감도에 비해 학업 관련성에 대한 평균 점수는 모든 전형 방법에서 상대적으로 낮았습니다(범위 M = 2.93~4.43). 이는 각 전형 방법에서 지원자들이 특정 관련 기술만 평가하고 다른 중요한 속성에 대한 정보는 누락되었다고 응답했기 때문일 수 있습니다. 예를 들어, 지원자들에 따르면 인지 능력 테스트는 정보 처리 및 문제 해결과 같은 관련 기술을 평가할 수 있지만 사회성 및 의사 소통 능력은 고려되지 않습니다. 따라서 지원자들은 어떤 방법도 학습 성과를 완벽하게 예측할 수 없다고 생각했으며, 여러 가지 선발 방법을 조합하는 것을 선호했습니다. 지원자들은 광범위한 기술을 평가하는 것을 선호했지만, 프로그램 과정에서 이러한 기술을 개발할 수 있는 여지가 있어야 한다고 답해 딜레마가 발생했습니다. Compared with general favourability, the mean scores on study relatedness were relatively low for all selection methods (rangeM = 2.93–4.43). A possible explanation is that for each selection method, applicants indicated that only certain relevant skills are assessed, while information on other important attributes is missed. For instance, while cognitive capacity tests can, according to applicants, assess relevant skills such as information processing and problem-solving, social and communicative skills are not taken into account. Thus, applicants believed that none of the methods can fully predict study performance and they preferred a combination of selection methods. Although applicants preferred assessment of a broad range of skills, they also stated that there should be room to develop those skills over the course of the program, introducing a dilemma.
스킬 테스트와 커리큘럼 샘플링 테스트는 학습 관련성에서 가장 높은 점수를 받았습니다(각각 M = 4.43 [4.33, 4.53], M = 4.38 [4.28, 4.48]). 지원자들은 두 가지 방법 모두 광범위한 기술을 평가할 수 있다고 언급했습니다. 또한, 이 두 가지 방법의 경우에만 지원자들이 프로그램과 교재에 대해 더 잘 알 수 있어, 지원자가 프로그램 내용에 관심이 있고 대처할 수 있는지를 평가할 수 있는 기회를 제공한다고 답했습니다. 가장 낮은 점수를 받은 평가 방법인 pu-GPA과 이력서(각각 M = 3.11 [3.00, 3.22], M = 2.93 [2.82, 3.04])에 대해 지원자들은 평가된 기술이 너무 일반적이며 이전 성과가 미래의 성공을 예측할 수 없다고 답했습니다. Skills tests and curriculum-sampling tests received the highest scores on study relatedness (respectively,M = 4.43 [4.33, 4.53],M = 4.38 [4.28, 4.48]). Applicants mentioned that both methods can assess a broad range of skills. Moreover, only for these methods, applicants stated that they can become more acquainted with the programme and its course materials, creating an opportunity for applicants to assess whether they are interested in and able to cope with the programme content. For the lowest scoring methods—pu-GPA and CV (respectively,M = 3.11 [3.00, 3.22],M = 2.93 [2.82, 3.04])—applicants stated that the assessed skills are too generic and that previous performance is not predictive of future success.
3.3.4 수행 기회 3.3.4 Chance to perform
수행 기회에 대한 평균 점수도 상대적으로 낮았습니다(범위 M = 3.09~4.90). 정성적 결과는 이 결과에 대한 몇 가지 잠재적인 설명을 제공합니다.
첫째, 지원자들은 수행 기회와 관련하여 몇 가지 딜레마를 언급했습니다. 예를 들어, 지원자들은 이전 성과보다 현재 지식과 기술에 대한 평가를 선호했으며, 스냅샷 평가의 단점을 지적했습니다.
둘째, 각 선발 방식에 대해 지원자들은 특정 하위 그룹의 수행 기회를 방해할 수 있는 불평등의 원인을 발견했습니다. 예를 들어, 의료 분야 내 네트워크의 존재는 이력서를 작성하는 데 유용한 것으로 간주되었으며, 충분한 재정적 자원이 있는 지원자는 더 나은 시험 결과를 위해 상업적 코칭을 받거나 더 높은 pu-GPA을 받기 위해 과외를 받을 수 있었습니다.
실기 시험과 면접은 각각 4.90점(4.80점, 5.00점), 4.77점(4.66점, 4.89점)으로 더 높은 점수를 받았으며, 지원자들은 이러한 방법이 다양한 자질을 보여줄 수 있는 여지를 더 많이 제공한다는 인상을 받았다고 언급했습니다. Pu-GPA가 가장 낮은 점수(M = 3.09 [2.97, 3.21])를 받았는데, 이는 지원 전에 데이터가 수집되었기 때문에 지원자들이 이 선발 방법에 대한 통제력이 부족하다고 느꼈기 때문으로 설명할 수 있습니다. The mean scores on chance to perform were also relatively low (rangeM = 3.09–4.90). The qualitative results provide some potentially relevant explanations for this finding.
First, applicants mentioned some dilemmas with respect to chance to perform. For instance, they preferred assessment of current knowledge and skills over previous achievements and pointed out drawbacks of snapshot assessments.
Second, for each selection method, applicants noticed sources of inequality that can interfere with the chance to perform on a method for certain subgroups. For example, the existence of a network within the medical field was considered useful for building a CV, and applicants with enough financial resources could take commercial coaching for better test results and tutoring for a higher pu-GPA.
Skills test and interview scored higher on chance to perform (respectively,M = 4.90 [4.80, 5.00],M = 4.77 [4.66, 4.89]), and applicants noted that they got the impression that these methods allow for more space to show a broad range of qualities. Pu-GPA received the lowest scores (M = 3.09 [2.97, 3.21]), which can be explained by the fact that applicants experienced a lack of control for this selection method, as data had been collected before application.
3.3.5 부정행위의 용이성 3.3.5 Ease of cheating
부정행위의 용이성에서 가장 높은 점수를 받은 네 가지 전형 방법인 인성검사, 지원동기서, SJT, 면접(각각 M = 6.06 [5.96, 6.16], M = 5.72 [5.62, 5.82], M = 4.72 [4.57, 4.86], M = 4.62 [4.50, 4.74])에 대해 지원자들은 사회적 바람직성이 중요한 역할을 할 수 있다고 언급했습니다. 지원 동기 편지에 대한 추가 의견으로는 지원자가 다른 사람에게 편지를 쓰게 하여 쉽게 속일 수 있다는 점이 있었습니다. 이력서 역시 상대적으로 부정행위를 저지르기 쉬운 것으로 간주되었습니다(M = 4.42 [4.28, 4.56]). 지원자들은 문서를 위조하기 쉽고, 소수의 이력서 샘플만을 대상으로 정확성 여부를 확인한다고 설명했습니다. 지원자들은 점수가 낮은 선발 방식에서 부정행위가 더 어려운 이유에 대해 별다른 언급을 하지 않았습니다. For the four selection methods scoring highest on ease of cheating—personality questionnaire, motivation letter, SJT and interview (respectively,M = 6.06 [5.96, 6.16],M = 5.72 [5.62, 5.82],M = 4.72 [4.57, 4.86],M = 4.62 [4.50, 4.74])—applicants mentioned that social desirability can play a major role. An additional remark about motivation letters is that applicants can easily cheat by letting others write their letter. CV was also considered relatively easy to cheat on (M = 4.42 [4.28, 4.56]). Applicants explained that it is easy to forge documents, and only a small sample of CVs is checked on correctness. Applicants did not have any remarks about why it is harder to cheat on the lower scoring selection methods.
3.3.6 추가 차원 3.3.6 Additional dimensions
설문지에서 다루었던 정의 차원 외에도 주관식 질문에 대한 답변에서 여러 가지 추가 차원을 확인했습니다. Besides the justice dimensions that were covered by the questionnaire, we identified a number of additional dimensions in the answers to the open-ended questions.
첫 번째정의 차원은운영의 일관성으로, 이는 결정절차가 사람에 따라 그리고 시간에 따라 편견 없이 일관되게 적용되는 정도를 의미합니다.22
이력서, 지원동기서, 인터뷰 및 기술 테스트는 평가자의 개인적인 의견에 많은 여지를 주고 결과적으로평가자 간 평가에 잠재적인 차이를 발생시키는 보다 주관적인 방법으로 간주되었습니다.
지원자들은 또한pu-GPA 관리의 일관성에 대해서도 언급했습니다. 현재 pu-GPA는 학교별 시험을 기반으로 합니다. 지원자들은 학교마다 평가 방법, 난이도, 채점 방식에 큰 차이가 있어다른 학교의 pu-GPA를 비교할 수 없다고 언급했습니다.
A first justice dimension was consistency of administration, which refers to the extent to which decision procedures are consistent and without bias across people and over time.22
CVs, motivation letters, interviews and skills tests were considered as more subjective methods, giving a lot of space to the personal opinion of assessors and consequently creating potential differences in ratings between assessors.
Applicants also commented on the consistency of administration for pu-GPA. Currently, pu-GPA is based on school-specific examinations. Applicants mentioned that there is a great difference between schools in assessment methods, difficulty level and way of rating, making pu-GPA from different schools incomparable.
둘째, 설문지에서는 학업 관련성에만 초점을 맞춘 반면, 지원자들은 학업 관련성과 직무 관련성을 구분하는 경향이 있었습니다.
예를 들어, 지원자들은 학업 관련성과 관련하여 커리큘럼 샘플링에 대해 대체로 긍정적인 의견을 보였지만, 성공적인 의료 전문가가 되기 위해서는 사회성 및 의사소통 능력과 같은 다른 기술도 중요하다고 언급했습니다. 지원자들은
기술 테스트, 인터뷰, SJT, 인성 설문지를 통해 미래 직업에 필요한 중요한 특성을 평가할 수 있다고 답한 반면,
학점, 인지 테스트, 이력서, 커리큘럼 샘플링 테스트는 그렇지 않다고 답했습니다.
Second, while the questionnaire only focused on study relatedness, applicants tended to make a distinction between study relatedness and job relatedness.
For instance, while applicants had generally positive comments about curriculum sampling with respect to study relatedness, they mentioned that other skills are relevant to become a successful health professional, such as social and communicative skills.
They stated that skills tests, interviews, SJTs and personality questionnaires can assess important attributes for the future profession,
while this was not so much the case for pu-GPA, cognitive tests, CVs and curriculum-sampling tests.
일부 의견은 절차적 정의보다는 선발 절차 결과의 공정성과 관련된 분배적 정의에 관한 것이었습니다.15
지원자들은 무가중 추첨의 장점으로 입학 기회가 균등해져 더 다양한 학생이 입학할 수 있다는 점을 언급했습니다. 다른 방법을 적용하면 앞서 언급한 불평등한 기회로 인해 학생의 다양성이 감소할 수 있습니다.
합격한 학생들이 비슷한 의견을 갖게 되어 학생 집단에서 관점의 다양성이 줄어들 수 있다는 점도 SJT에 불리한 결과로 언급되었습니다.
Some comments were not related to procedural justice, but rather to distributive justice, relating to the fairness of the outcomes of the selection procedure.15
Applicants mentioned that an advantage of unweighted lottery is that the equal chances to be admitted would lead to a more diverse student population. The application of other methods could result in a decrease of student diversity, because of the aforementioned inequal chances to perform.
An additional unfavourable outcome was mentioned for SJTs: accepted students would have similar opinions and there would be less diversity in perspectives in the student cohorts.
마지막으로, 선발에 대한 인식의 결과로 여겨지는 개인의 태도와 행동과 관련된 조직 정의 이론의 '결과' 부분에 대해 많은 언급이 있었습니다.15
특히 우려되는 주제 중 하나는 선발 방식이 지원자들에게 많은 스트레스와 압박을 유발할 수 있다는 것이었습니다.
지원자들은 이력서 작성, 커리큘럼 샘플링 시험 공부 등 많은 준비가 필요한 선발 방식이 학업 및 기타 책임과 병행해야 하기 때문에 스트레스를 받을 수 있다고 언급했습니다.
스트레스의 또 다른 원인으로 언급된 것은 지원자들이 시험 당일에 큰 부담감으로 인해 겪는 압박감이었습니다. 지원자들은 또한 여러 전형 방법을 병행할 경우의 단점으로 스트레스를 꼽았습니다.
Finally, numerous remarks were made about the ‘outcomes’ part of organisational justice theory, which relates to the attitudes and behaviours of individuals that are thought to be a result of perceptions of selection.15
One particular topic of concern was that selection methods can cause a lot of stress and pressure amongst applicants.
Applicants mentioned that selection methods that require a lot of preparation, such as building a CV and studying for a curriculum-sampling test, can be stressful as they have to combine this with school and other responsibilities.
Another source of stress that was mentioned was the pressure that applicants experience during testing days due to the high stakes involved. Applicants also recognised stress as a drawback of combining multiple selection methods.
지원자 하위 그룹에 따른 인식의 차이 Differences in perceptions for subgroups of applicants
각 전형 방법에 대한 전반적인 호감도의 하위 그룹별 차이에 대한 선형 혼합 모형의 결과는 표 5에 나와 있으며, 각 하위 그룹에 대한 기술 통계는 보충 표 S3-S6에 나와 있습니다. 여성에 비해 남성은 가중치 없는 추첨을 유의하게 덜 호의적으로 인식했으며(B = -0.55, 95% CI [-0.84, -0.26]), 이는 1-7점 척도에서 평균적으로 남성은 가중치 없는 추첨을 0.55점 낮게 평가했음을 나타냅니다. 성격 설문지 역시 남성이 훨씬 덜 호의적으로 인식했습니다(B = -0.23, [-0.47, -0.00]). 다른 선택 방법에서는 성별 차이가 발견되지 않았습니다. 흥미롭게도 개방형 질문에 대한 답변에서 여성이 선호하는 이력서 및 pu-GPA 에 대한 언급이 다수 있었는데, 이는 일반적으로 남성이 미래의 학업 방향을 늦게 시작한다는 의미로 해석할 수 있습니다. 이러한 우려는 정량적 조사 결과에는 반영되지 않았습니다. The results of the linear mixed model for subgroup differences in general favourability ratings for each selection method are depicted in Table 5, and the descriptive statistics for each subgroup are provided in supplemental Tables S3–S6. Compared with women, men perceived unweighted lottery as significantly less favourable (B = −0.55, 95% CI [−0.84, −0.26]), indicating that on average, men rated unweighted lottery 0.55 units lower on a scale from 1–7. Personality questionnaires were also perceived as significantly less favourable by men (B = −0.23, [−0.47, −0.00]). No gender differences were found for other selection methods. Interestingly, in the answers to open-ended questions, multiple remarks were given about CV and pu-GPA favouring women, describing that men generally start later with their future study orientation. This concern was not reflected in the quantitative findings.
비 서구권 이주 배경을 가진 지원자들은 이력서(B = 0.50 [0.22, 0.77])와 커리큘럼 샘플링 테스트(B = 0.25 [0.06, 0.44])에 대해 상당히 높은 호감도를 보인 반면, 기술 테스트와 면접은 상당히 덜 호의적으로 인식했습니다(각각 B = -0.29 [-0.50, -0.09], B = -0.42 [-0.64, -0.20]). 비 서구권 이주 배경을 가진 지원자의 면접 및 기술 테스트 점수가 더 낮은 것은 이러한 방법의 주관적인 특성으로 인해 편견에 더 취약하다는 의견으로 설명할 수 있습니다. 서구 이민 배경을 가진 지원자에 대한 인식은 이민 배경이 없는 지원자와 다르지 않았습니다. Applicants with a non-Western migration background provided significantly higher favourability ratings for CVs (B = 0.50 [0.22, 0.77]) and curriculum-sampling tests (B = 0.25 [0.06, 0.44]), while skills tests and interviews were perceived significantly less favourable (respectively,B = −0.29 [−0.50, −0.09],B = −0.42 [−0.64, −0.20]). The lower scores on interviews and skills tests for applicants with a non-Western migration background may be explained by remarks about the subjective nature of these methods, making them more susceptible to bias. Perceptions of applicants with a Western migration background did not differ from those without a migration background.
예비 대학 교육 마지막 해에 지원한 지원자들과 비교했을 때, 이미 대학 수준에서 공부하고 있던 지원자들은 면접과 무가중 추첨에 대해 훨씬 더 긍정적인 평가를 내렸습니다(각각 B = 0.33 [0.07, 0.58], B = 0.54 [0.17, 0.92]). 반면, pu-GPA(B = -0.83 [-1.14, -0.52]), 인지 테스트(B = -0.31 [-0.59, -0.04]) 및 가중치 추첨(B = -0.41 [-0.74, -0.08])에 대한 호감도는 유의하게 낮았습니다. 다른 형태의 사전 교육을 받은 지원자들은 대학 교육을 받지 않은 지원자들에 비해 인성 설문과 면접을 훨씬 더 유리하게 평가했습니다(각각 B = 0.49 [0.09, 0.89], B = 0.46 [0.12, 0.80]). 지원자들은 pu-GPA에 대해서만 대학 이전 교육의 역할에 대해 언급했는데, 이는 [pre-university 교육 마지막 해에 지원하지 않은 지원자]의 pu-GPA는 이미 지나간 성취도이며, 지원자의 현재 실력을 정확하게 반영하지 못한다는 것을 나타냅니다. Compared with applicants applying during their final year of pre-university education, applicants who were already studying at university-level rated interviews and unweighted lottery significantly more positive (respectively,B = 0.33 [0.07, 0.58],B = 0.54 [0.17, 0.92]), while their favourability ratings were significantly lower for pu-GPA (B = −0.83 [−1.14, −0.52]), cognitive tests (B = −0.31 [−0.59, −0.04]) and weighted lottery (B = −0.41 [−0.74, −0.08]). Applicants from alternative forms of prior education rated personality questionnaires and interviews significantly more favourable compared with applicants from pre-university education (respectively,B = 0.49 [0.09, 0.89],B = 0.46 [0.12, 0.80]). Only with respect to pu-GPA, applicants commented on the role of prior education, indicating that pu-GPAs for applicants not applying during their final year of pre-university education are outdated and do not accurately represent applicants' current skills.
1세대 대학 출신 여부에 따른 지원자 인식의 차이는 발견되지 않았습니다. No differences in applicant perceptions were found based on first-generation university status.
4 토론 4 DISCUSSION
본 연구의 목적은 학부 HPE의 맥락에서 지원자들이 다양한 선발 방법을 어떻게 인식하는지에 대한 심층적인 이해를 얻기 위한 것이었습니다. 연구 결과에 따르면 지원자들은 커리큘럼 샘플링 시험과 기술 시험에 대한 선호도가 가장 높은 반면, 가중치 추첨과 무가중 추첨을 가장 선호하지 않는 것으로 나타났습니다.또한 선발 방식에 대한 지원자의 인식은 성별, 인종, 사회경제적 지위(SES), 학력에 따른 지원자 하위 그룹에서 전반적으로 유사하게 나타났습니다. 마지막으로, 지원자들은 한 가지 방법만으로는 충분하다고 생각하지 않고 여러 가지 선발 방법을 조합하는 것을 선호한다는 결과가 나왔습니다. The aim of the present study was to gain a deeper understanding of how applicants perceive different selection methods within the context of undergraduate HPE. Our findings indicate that applicants have the strongest preference for curriculum-sampling tests and skills tests, while they consider weighted and unweighted lotteries the least favourable. Furthermore, applicant perceptions of selection methods are overall similar across subgroups of applicants based on gender, ethnicity, SES and prior education. Finally, the results show that applicants do not think one single method is sufficient, but instead prefer a combination of selection methods.
첫 번째 주요 결과는 지원자들이 '폭넓은' 선발 기준과 자신이 더 '통제할 수 있다'고 느끼는 선발 방법을 선호한다는 것입니다. 가장 높은 평가를 받은 세 가지 전형 방법인 커리큘럼 샘플링 테스트, 스킬 테스트, 면접은 모두 확장된 기준을 반영하며, 이는 pu-GPA과 같은 전통적인 방식에 포함된 인지적 능력을 넘어서는 자질을 평가하는 것을 목표로 합니다.23 본 연구에 참여한 지원자들은 이미 엄격한 입학 요건으로 인해 인지적 특성에 따라 선발된 경향이 강하므로 다른 영역에서 자신을 차별화하는 것을 선호하는 것은 놀라운 일이 아닙니다. 실제로 지원자들은 입학 요건보다 내신 성적과 인지능력 테스트가 갖는 부가가치가 무엇인지에 대해 의문을 제기했습니다. 또한, 조직 정의 이론15과 의대 선발에 관한 이전 연구에 따르면,24 지원자들은 선발 과정에서 '자신을 표현'하고 싶은 욕구를 가지고 있으며, 이는 더 넓은 기준을 반영하는 방법을 통해 더 잘 가능하다고 주장할 수 있습니다. 추첨(우연에 맡김)과 선발 전 획득한 평점(pu-GPA)에 대한 평가가 낮은 것은 지원자들이 '통제할 수 있는 상태'를 선호한다는 것을 나타냅니다. 앞서 주장한 바와 같이,1,2 이는 조직 정의 이론을 통해서도 설명할 수 있는데, 지원자들은 결정 과정에 영향을 미칠 기회가 있을 때 그 방법이 더 공정하다고 인식하기 때문입니다.15 이 결과는 성공과 실패가 자신의 노력과 재능에 기인할 수 있다는 능력주의적 가치에 대한 광범위한 사회적 인식과도 관련이 있습니다.25 결과적으로 HPE 선발 지원자들은 자신이 통제할 수 없다고 느끼는 탈락을 받아들이기 어렵다고 느낄 수 있습니다.26 A first key finding is that applicants have a preference for ‘broadened’ selection criteria and selection methods on which they feel to be more ‘in control’. The three highest rating selection methods – curriculum-sampling tests, skills tests and interviews—all reflect broadened criteria, which aim to assess qualities that go beyond the cognitive abilities that are included in traditional methods such as pu-GPA.23Applicants in the current study were already strongly preselected based on cognitive characteristics due to the stringent admission requirements; thus, it is not surprising that they prefer to distinguish themselves in other areas. In fact, applicants questioned the added value of pu-GPA and cognitive capacity tests over the admission requirements. Additionally, according to organisational justice theory,15as well as previous research in medical school selection,24applicants have the desire to ‘express themselves’ during a selection procedure, and it can be argued that this is better possible with methods that reflect broadened criteria. The low ratings of lotteries—leaving it to chance—and pu-GPA—obtained prior to selection—indicate that applicants prefer to be ‘in control’. As previously argued,1,2this can also be explained through organisational justice theory, because applicants perceive methods as fairer when they have an opportunity to influence the decision process.15This finding can furthermore be related to a broader societal appreciation of meritocratic values, implying that success and failure can be attributed to one's own efforts and talent.25Consequently, applicants for selection into HPE can find rejections that feel beyond their control difficult to accept.26
둘째, 연구 결과에 따르면 지원자의 배경은 다양한 선발 방식에 대한 인식에 큰 영향을 미치지 않는 것으로 나타났습니다.성별, 이주 배경, 사전 교육에 따라 지원자 하위 그룹 간에 통계적으로 유의미한 인식 차이가 일부 발견되었지만, 이러한 차이가 갖는 실질적인 의미는 무시할 수 있는 수준이며, 전반적으로 지원자들의 인식은 매우 유사했습니다. 성별의 경우, 이러한 인식 차이는 심리학 지원자를 대상으로 실시한 이전 연구 결과와 일치합니다.2 그러나 인종 및 사회경제적 배경과 관련된 연구 결과는 예상치 못한 것이었는데, 이전 연구에 따르면 소수 민족 또는 사회경제적 배경이 낮은 지원자는 선발에 대해 더 부정적인 인식을 가지고 있다고 합니다.1, 3, 11 지원자들은 선발의 형식적 특성(예: 선발 방법)은 배경에 관계없이 비슷하게 인식하는 반면, 사회 인구학적 소수 민족 지원자는 (대인 관계적 대우 등) 절차적 정의의 다른 요소에 대해 더 부정적으로 인식할 가능성이 있습니다. 실제로 소수 민족 학생들이 의과대학에 재학 중일 때 불공정한 대우에 대해 더 많이 인식한다는 연구 결과가 있습니다.27, 28
Second, our findings suggest that applicants' background does not play a substantial role in their perceptions of different selection methods. Although we did find some statistically significant differences in perceptions between applicant subgroups based on gender, migration background and prior education, the practical meaning of these differences is negligible, and their perceptions were overall very similar. For gender, this lack of difference in perceptions is in accordance with findings of a previous study conducted with psychology applicants.2 However, our findings with respect to ethnicity and SES were unexpected, as previous research suggested that students with an ethic minority or lower socio-economic background have more negative perceptions towards selection.1,3,11 Potentially, applicants perceive the formal characteristics of selection (i.e. selection methods) similar regardless of their background, while applicants with sociodemographic minority backgrounds may have more negative perceptions regarding other components of procedural justice, such as interpersonal treatment. Indeed, research has indicated that ethnic minority students have more perceptions of unfair treatment when they are in medical school.27,28
소수 민족 배경을 가진 지원자들이 특정 선발 방법에 대해 더 부정적인 인식을 갖지 않았다는 결과에 대한 다른 이유는,
이전 연구에서 주로 아직 지원하지 않은 예비 대학생을 대상으로 하여 부정확하거나 불완전한 정보에 근거하여 인식했을 수 있기 때문입니다.3, 11
반대로 본 연구의 참가자들은 선발 경험이 있고 이에 대한 이해가 더 높았을 가능성이 높습니다.
(이전 연구에서와 같은 경우) 소수 배경을 가진 학생들은 주로 지원 전 기간에는 선발 절차에 대한 정확한 정보에 대한 접근성이 떨어질 수 있습니다.29
그럼에도 불구하고 이전 연구와 일치하는 질적 연구 결과도 있었는데, 예를 들어 소수 배경을 가진 지원자가 의료 분야의 코칭, 과외 및 소셜 네트워크에 대한 접근성이 낮기 때문에 지원자들이 선발 방법이 공평한 의과 교육 입학을 방해 할 수 있다고 생각한다는 징후를 제공했습니다 .3, 11, 29
An alternative reason for the finding that applicants with minority backgrounds did not have more negative perceptions towards certain selection methods is
that previous studies mainly included eligible pre-university students who have not yet applied and could have based their perceptions on inaccurate or incomplete information.3, 11
Contrarily, participants in the present study had experience with selection and probably had a better understanding of it.
Thus, students with minority backgrounds possibly experience less access to accurate information about the selection procedure mainly in the periodpriorto application.29
Nevertheless, corresponding with previous studies, the qualitative findings did provide indications that applicants believe selection methods can hinder equitable admission to medical education, for instance, because applicants with a minority background have less access to coaching, tutoring and a social network in the medical field.3,11,29
세 번째 주요 결과는 지원자들에 따르면 궁극적인 해결책은 없으며, 모든 선발 방법에는 특정한 장단점이 있다는 것입니다. 이는 정성적 결과에서 확인된 여러 가지 상반된 선호도에 잘 반영되어 있습니다. 우리가 발견한 가장 두드러진 딜레마는 다음 등이었습니다.
(1) 지원자가 [현재 시점에서 제공할 수 있는 것을 측정하는 것]과 [스냅샷 평가의 부정적인 결과에 대응하는 것],
(2) [기존의 지식과 기술을 측정하는 것]과 [(향후에) 프로그램 동안 기술을 성장시키고 개발할 수 있는 공간을 제공하는 것],
(3) [최고의 학생을 선발하는 것]과 [최고의 미래 전문가를 선발하는 것],
(4) [포괄성을 위해 여러 선발 방법을 결합하는 것]과 [지나친 스트레스와 압박을 방지하는 것]
A third key finding is that according to applicants, there is no ultimate solution; all selection methods are accompanied by certain advantages and disadvantages. This is well reflected by a number of conflicting preferences that we identified in the qualitative results. The most distinctive dilemmas we found were
(1) measuring what applicants can offer at the present versus countering negative consequences of snapshot assessments,
(2) measuring existing knowledge and skills versus providing space to grow and develop skills during the program,
(3) selecting the best students versus selecting the best future professionals and
(4) combining multiple selection methods for comprehensiveness versus preventing too much stress and pressure.
첫 번째 딜레마는 기회의 공정성 차원을 반영하는 것으로, 앞서 언급한 지원자들이 선발 과정을 통제할 수 있다고 느끼고자 하는 욕구를 강조하는 것입니다.
두 번째와 세 번째 딜레마는 학업 및 직무 관련성과 관련이 있으며 학계에서도 논쟁의 대상이 되고 있습니다.23
마지막 딜레마는 조직 정의 이론의 다른 부분, 즉 지원자의 인식과 개인 및 조직 결과 간의 관계와 더 관련이 있습니다.15 이 이론에 따르면 공정성에 대한 인식은 동기부여, 자존감, 자기 효능감('채용 시 반응'이라고 함)과 같은 변수에 영향을 미칠 수 있습니다.15
The first dilemma evidently reflects the justice dimension of chance to perform and stresses the aforementioned desire of applicants to feel in control of the selection process.
The second and third dilemmas relate to study and job relatedness and are also topic of debate within the academic field.23
The final dilemma relates more to another part of organisational justice theory, namely, the relationship between applicants' perceptions and individual and organisational outcomes.15 According to the theory, perceptions of fairness can affect variables such as motivation, self-esteem and self-efficacy (referred to as ‘reactions during hiring’).15
본 연구에서는 스트레스와 압박감이 주요 관심사로 제기되었는데, 지원자들은 주로 준비 기간과 관련된 높은 고부담과 관련된 것으로 나타났습니다. 한 검토에 따르면 HPE 학생들 사이에서 심리적 스트레스가 상당히 만연한 것으로 나타났습니다.30 그럼에도 불구하고 지금까지 선발과 관련하여 지원자의 웰빙에 대한 연구는 거의 또는 전혀 이루어지지 않았으며 스트레스라는 특정 개념은 조직 정의 이론에 포함되지 않았습니다. 본 연구의 결과는 이를 검증하기 위해서는 추가 연구가 필요하겠지만, '채용 중 반응'의 추가 하위 범주로 이론에 추가하는 것이 적절할 수 있음을 시사합니다. Feelings of stress and pressure were brought up as a topic of concern in the present study, which applicants mainly related to the amount of preparation and the high stakes involved. A review also identified considerable prevalence of psychological stress amongst students in HPE.30Nevertheless, thus far, studies have paid little to no attention to applicant well-being with respect to selection and the particular concept of stress is not included in organisational justice theory. Results of the present study indicate that it may be relevant to add this to the theory as an additional subcategory of ‘reactions during hiring’, although further research would be required to validate this.
본 연구의 강점은 다양한 사회인구학적 하위 그룹의 인식을 비교하고 광범위한 선발 방법에 대한 지원자 인식의 근본적인 논거를 모색한 최초의 연구라는 점입니다. 또한 여러 프로그램에서 데이터를 수집했습니다. 그 결과, 지원자들은 자신이 접해보지 못한 선발 방식에 대해서도 의견을 제공했습니다. 이러한 방식으로 지원자가 선택한 프로그램에 따라 선발 절차가 영향을 미칠 수 있다는 점을 고려할 때, 연구 결과는 자의적 선택의 영향을 덜 받았습니다.16 그러나 이러한 강점에도 불구하고 응답자들이 설문지의 일부 방법에 대해 경험한 적이 있는 반면, 다른 방법에 대해서는 선발 방법에 대한 짧은 설명만을 바탕으로 인식하고 있다는 한계가 있었습니다. 일부 방법은 어떤 프로그램에서도 사용되지 않았습니다. 지원자가 지원한 프로그램을 통제하여 이 문제를 최대한 완화했습니다. 또한, 실시된 설문조사는 포괄성, 방어 가능성 및 프로세스의 역할과 같이 지원자의 인식에 영향을 미칠 수 있는 모든 요소를 포착하지 못했습니다.31 본 연구의 또 다른 한계는 표본 규모가 비교적 컸음에도 불구하고 초대된 지원자 중 21%만이 설문조사에 응답했다는 점입니다. 따라서 이들의 인식이 전체 지원자 풀을 완전히 대표하지 못할 수도 있습니다. 그럼에도 불구하고 본 연구의 표본은 인구통계학적 특성 측면에서 이전 연구의 지원자 풀과 비슷했습니다.12, 17 마지막 한계는 개방형 질문의 자발적 특성과 하위 그룹의 불균등한 분포로 인해 본 연구에서 다양한 하위 지원자 그룹의 주장을 직접 비교할 수 없었다는 것입니다. 따라서 정량적 데이터로 포착할 수 없었던 특정 하위 그룹의 인식 차이가 발견되지 않았을 수 있습니다. A strength of the present study is that, to our knowledge, it is the first to compare perceptions of different sociodemographic subgroups and seek for the underlying argumentation behind applicant perceptions for a great range of selection methods. Additionally, we collected data from multiple programmes. Consequently, applicants also provided their opinions for methods that they had not been exposed to. This way, our results were less influenced by self-selection, given that the selection procedure can play a role in applicants' programme of choice.16However, this strength was also accompanied by the limitation that the respondents did have experience with some of the methods in the questionnaire, while for other methods, their perceptions were based solely on a short description of the selection method. Some of the methods were not employed by any of the programmes. We mitigated this as much as possible by controlling for the programme to which applicants had applied. Furthermore, the survey that was administered did not capture all factors that could influence applicant perceptions, such as comprehensiveness, defensibility and the role of the process.31Another limitation of the present study was that, although the sample size was relatively large, only 21% of invited applicants responded to the survey. Consequently, their perceptions may not be fully representative for the complete applicant pool. Nevertheless, our sample was comparable with applicant pools in previous studies in terms of demographic characteristics.12,17A final limitation is that the present study could not directly compare the argumentation of different subgroups of applicants due to the voluntary nature of the open-ended questions and the unequal distribution of subgroups. Consequently, certain subgroup differences in perceptions that could not be captured by the quantitative data may have remained undiscovered.
현재의 연구는 절차적 정의의 한 측면(즉, 형식적 특성)에 초점을 맞추었지만, 향후 연구에서는 대인 관계적 대우와 같은 다른 절차적 정의 요소에도 관심을 기울일 수 있습니다.15 또한 신청자 인식에 관한 보다 근본적인 질문은 아직 조사되지 않았습니다: 이러한 인식의 발달에 어떤 메커니즘이 작용하는가? 지원자들의 인식의 기반이 되는 근본적인 가치는 무엇인가? 또한, 본 연구에서 지원자들은 여러 가지 방법을 조합하여 선호했기 때문에 다양한 방법의 조합에 따라 선발 절차를 어떻게 인식하는지 조사하는 것도 가치가 있을 수 있습니다. 총체적 접근 방식은 포괄성과 WA에 모두 주의를 기울이기 때문에 지원자의 인식을 평가하는 것은 특히 흥미로울 것입니다.32 또한, 본 연구 결과에 따르면 지원자들은 자신이 지원한 프로그램과 자신이 준비한 프로그램에서 사용하는 방법을 더 선호하는 것으로 나타났습니다. The current study focused on one aspect of procedural justice (i.e. formal characteristics), but future studies can also pay attention to other justice components, such as interpersonal treatment.15Additionally, more fundamental questions regarding applicant perceptions have not been investigated yet, such as: What mechanisms play a role in the development of these perceptions? What are the underlying values of applicants on which their perceptions are based? Furthermore, in the present study, applicants preferred a combination of different methods, so it could be valuable to examine how they perceive selection procedures with different combinations of methods. It would be particularly interesting to evaluate applicant perceptions regarding a holistic approach, as this approach pays attention to both comprehensiveness and WA.32Furthermore, results of the present study suggest that applicants have a stronger preference for the methods employed by the programmes to which they have applied and for which they have prepared.
향후 연구에서는 숨겨진 커리큘럼에 대한 지원자의 인식이 이러한 선호도에 영향을 미치는지 여부를 조사할 수 있습니다. 향후 연구의 또 다른 흥미로운 방향은 지원자의 배경에 따라 [선발 과정에서의 인식]과 [성과performance] 간의 관계가 달라지는지에 대한 질문과 관련이 있습니다. 이전 연구에 따르면 지원자의 인식과 성과는 양의 상관관계가 있으며,2, 5, 6 특정 인구통계학적 하위 그룹은 선발 과정에서 성과가 저조한 반면,12, 13, 17, 18 지원자의 배경에 관계없이 인식은 비슷하다는 사실이 밝혀졌습니다. 또한 아직 지원하지 않은 지원자격eligible학생을 대상으로 하위 그룹에 대한 인식을 조사하는 것도 적절할 수 있습니다. 마지막으로, 연구자들은 지원자들이 관련성이 있다고 생각하는 주제인 행정의 일관성 및 직무 관련성, 지원자 복지에 관한 항목을 조사에 포함시키는 것을 고려할 수 있습니다.
Future research could examine whether applicant perceptions of the hidden curriculum play a role in this preference. Another interesting direction for future research relates to the question of whether the relationship between perceptions and performance during selection differs based on applicants' background. Previous studies have indicated that applicant perceptions and performance are positively correlated,2,5,6and that certain demographic subgroups perform less well during selection,12,13,17,18while we found that perceptions were similar for applicants regardless of their background. Additionally, it can be relevant to investigate subgroup perceptions for eligible students who have not applied yet. Finally, researchers can consider including items on consistency in administration and job relatedness, as well as applicant well-being, because these topics were considered relevant by applicants.
실용적인 관점에서, 이번 연구 결과는 지원자가 선호하는 선발 방법을 고려함으로써 선발 위원회가 절차를 설계하는 데 도움이 될 수 있는 인사이트를 제공합니다. 그러나 선발 방법(정치적 타당성의 요소)에 대한 지원자의 인식과 다른 타당성 지표 사이에는 마찰이 있을 수 있습니다.1, 2 예를 들어, 지원자들은 선발 방법으로 pu-GPA를 사용하는 것에 대해 부정적인 인식을 가지고 있지만, pu-GPA는 미래의 학업 성과를 강력하게 예측합니다.33 마찬가지로, 본 연구 결과에 따르면 커리큘럼 샘플링 테스트를 포함하면 비 서구 배경을 가진 지원자를 더 많이 유치할 수 있지만, 제출한 연구에서 이 하위 그룹의 지원자가 그러한 테스트에서 낮은 성과를 보인다는 사실을 발견했습니다.34 따라서 어떤 선발 방법을 포함할지 결정할 때 지원자의 인식을 고려하는 동시에 넓은 의미에서 타당성의 다른 측면도 고려할 수 있습니다.35 그럼에도 불구하고, 우리의 연구 결과는 어떤 선발 방법이 덜 매력적이고 더 나은 설명이 필요한지 식별하는 데 도움이 될 수 있습니다.2 From a practical viewpoint, our findings provide insights that can help selection committees design their procedures, by considering selection methods that are preferred by applicants. However, there can be frictions between applicant perceptions of selection methods (an element of political validity) and other indicators of validity.1,2For instance, while applicants hold negative perceptions towards the use of pu-GPA as a selection method, pu-GPA is strongly predictive of future academic performance.33Likewise, the findings of the present study suggest that the inclusion of curriculum-sampling tests can attract more applicants with a non-Western background, but we found in a submitted study that this subgroup of applicants performs less well on such tests.34Thus, when deciding which selection methods to include, applicant perceptions can be taken into account, while also considering other aspects of validity in a broad sense.35Nevertheless, our findings can help identify which selection methods are less attractive and require better explanation.2
선발 방법에 대한 명확하고 투명한 커뮤니케이션은 특히 더 '주관적'으로 인식되고 때로는 부정확한 정보를 기반으로 인식되는 광범위한 기준의 경우 지원자 인식을 개선 할 수 있습니다. 예를 들어, 지원자들은 이력서를 작성하는 데 의료 분야의 소셜 네트워크가 필요하다고 생각했지만, 본 연구에 참여한 프로그램에서는 의료 분야 이외의 다른 관련 경험도 중요하게 여겼습니다. 지원자의 인식을 이해한다고 해서 프로그램에 어떤 선발 방법을 포함해야 하는지에 대한 명확한 해답을 얻을 수는 없지만, 질적 연구 결과는 프로그램이 지원자의 요구를 고려하여 동기 부여와 성과를 개선하거나 중도 탈락을 방지하기 위해 선발 방법을 조정할 수 있는 방법에 대한 귀중한 통찰력을 제공합니다. 예를 들어, 지원자들은 선발이 자신의 복지에 미치는 영향을 우려하기 때문에 프로그램은 커리큘럼 샘플링 시험의 준비 자료 양을 제한할 수 있습니다.
Clear and transparent communication about selection methods may improve applicant perceptions, especially in the case of broadened criteria that are perceived as more ‘subjective’ and for which perceptions were sometimes based on inaccurate information. For instance, applicants believed that a social network in the medical field is necessary for building a CV, while the programmes in our study also value other relevant experience outside of the medical field. Although understanding applicant perceptions cannot provide clear-cut solutions about which selection methods programmes should include, our qualitative findings provide valuable insights into how programmes can adjust the implementation of their selection methods to take applicants' needs into account to improve motivation and performance or prevent withdrawal. For example, because applicants were concerned about the impact of selection on their well-being, programmes could limit the volume of preparatory materials for curriculum-sampling tests.
결론적으로, 학부 HPE 선발에 참여하는 지원자들은 자신이 통제할 수 있다고 인식하고 인지능력 이외의 다른 자질을 평가하는 선발 방법을 선호합니다. 또한, 본 연구에 따르면 개별 선발 방식에 대한 지원자의 인식은 일반적으로 다수 배경을 가진 지원자와 소수 배경을 가진 지원자 간에 유사합니다. 지원자의 상반된 요구와 지원자의 인식과 다른 타당성 지표 간의 마찰로 인해 선발 방법에 대한 보다 명확하고 투명한 커뮤니케이션과 방법 내에서의 수정이 요구됩니다. In conclusion, applicants participating in selection for undergraduate HPE prefer selection methods for which they perceive to be in control and which assess other qualities than cognitive ability. Additionally, the present study indicated that applicant perceptions of individual selection methods are generally similar between applicants with majority and minority backgrounds. Due to contradictory needs of applicants and frictions between applicant perceptions and other indicators of validity, we call for a clearer and more transparent communication of selection methods and modificationswithinmethods.
Med Educ. 2023 Feb;57(2):170-185.doi: 10.1111/medu.14949.Epub 2022 Oct 23.
Applicant perceptions of selection methods for health professions education: Rationales and subgroup differences
Context:Applicant perceptions of selection methods can affect motivation, performance and withdrawal and may therefore be of relevance in the context of widening access. However, it is unknown how applicant subgroups perceive different selection methods.
Objectives:Using organisational justice theory, the present multi-site study examined applicant perceptions of various selection methods, rationales behind perceptions and subgroup differences.
Methods:Applicants to five Dutch undergraduate health professions programmes (N = 704) completed an online survey including demographics and a questionnaire on applicant perceptions applied to 11 commonly used selection methods. Applicants rated general favourability and justice dimensions (7-point Likert scale) and could add comments for each method.
Results:Descriptive statistics revealed a preference for selection methods on which applicants feel more 'in control': General favourability ratings were highest for curriculum-sampling tests (mean [M] = 5.32) and skills tests (M = 5.13), while weighted lottery (M = 3.05) and unweighted lottery (M = 2.97) were perceived least favourable. Additionally, applicants preferred to distinguish themselves on methods that assess attributes beyond cognitive abilities. Qualitative content analysis of comments revealed several conflicting preferences, including a desire for multiple selection methods versus concerns of experiencing too much stress. Results from a linear mixed model of general favourability indicated some small subgroup differences in perceptions (based on gender, migration background, prior education and parental education), but practical meaning of these differences was negligible. Nevertheless, concerns were expressed that certain selection methods can hinder equitable admission due to inequal access to resources.
Conclusions:Our findings illustrate that applicants desire to demonstrate a variety of attributes on a combination of selection tools, but also observe that this can result in multiple drawbacks. The present study can help programmes in deciding which selection methods to include, which more negatively perceived methods should be better justified to applicants, and how to adapt methods to meet applicants' needs.
의학교육 수련생 선발을 위한 추첨 활용의 논리적 근거: 수십년의 네덜란드 경험(J Grad Med Educ.2021) Rationales for a Lottery Among the Qualified to Select Medical Trainees: Decades of Dutch Experience Olle ten Cate, PhD
많은 수의 한정된 자리를 두고, 후보 중 '최고의' 지원자를 뽑아야 한다는 대학원 의학교육의 강박관념은 답답하고 시간이 많이 걸리는 채용 과정을 만들어냈다. 이 과정에서 많은 지원자나 프로그램이 실망할 수밖에 없어 보인다. 의과대학과 레지던트 프로그램 또한 엄청난 시간과 노력을 들인다. 대체로 동등한 후보들 사이에서 타당하고 합리적인 선택을 할 수 없을 때, 무작위 선택인 추첨이 나타납니다. USMLE(U.S. Medical Licensing Examination) 1단계 점수가 2022년부터 통과/실패로만 보고됨으로써 미국 레지던트 프로그램 선발이 더 이상 여기에 의존할 수 없는 상황에서, 추첨 시스템의 논리는 고려해볼 가치가 있을 것이다.
Graduate medical education's obsession with choosing the “best” applicants, among many candidates for a finite number of positions, has produced a frustrating and time-consuming recruitment process. That many applicants or programs may be disappointed by this process seems unavoidable. Medical schools and residency programs expend enormous amounts of time and effort as well. When no valid, rational choice among roughly equal candidates can be made, a random choice—a lottery—emerges. At a time when the selection for US residency programs can no longer rely on United States Medical Licensing Examination (USMLE) Step 1 scores as a filter—from 2022 they will only be reported pass/fail1–4—it may be worth considering the rationales for a lottery system.
메트릭과 메리트의 폭압 Tyrannies of Metrics and Merit
첫째, Jerry Z. Muller의 The Tyranny of Metrics와 마이클 샌델의 The Tyranny of Merit를 읽은 교육자라면 의대생과 레지던트 선발 과정에 대해 다시 생각해 볼 수도 있다.5.6
역사학자 뮬러(Muller)는 성과 측정이 [중요한 것]에서 [측정 가능한 것]으로의 전환되는 것이 어떠한 방식으로 "메트릭 고정matrix fixation"으로 이어지는지를 설명한다.
하버드대 철학자 샌델은 능력merit에 대한 보편적인 집착fixation이 인생의 성공과 실패는 모두 자신의 노력과 재능, 또는 그 실패에 기인할 수 있다는 환상을 어떻게 먹여 살리는지를 자세히 설명한다. 이러한 장점 집착은 기회, 행운, 그리고 집안 배경이 어떻게 성공을 형성하는지 무시한다. 성공하지 못한 자들이 굴욕감과 원망감을 갖고, 사회적 파장을 초래하는 잘못된 행태다.
First, educators who readThe Tyranny of Metricsby Jerry Z. Muller andThe Tyranny of Meritby Michael J. Sandel may rethink medical student and resident selection processes.5,6
Historian Muller explains how the measurement of performance frequently leads to “metric fixation,” a shift from what is important to what is measurable, with the unintended consequence of metrics-based rewards that no longer serve the intended purpose of the performance.
Harvard philosopher Sandel elaborates on how the universal fixation on merit feeds the illusion that success and failure in life can all be attributed to one's own efforts and talents, or failures thereof. This merit fixation disregards how opportunities, luck, and family background also shape success. It wrongly leaves those who do not succeed with a sense of humiliation and resentment, with far-reaching societal consequences.
두 저자는 이러한 고정관념이 [의료와 교육을 포함한 전문적이고 사회적인 구조]에 얼만큼의 파괴적 영향을 갖는지 예를 논의한다. 두 저자들은 개인과 기관이 고등교육에 들어가고 완성하기 위해 절차와 기준을 어떻게 "게임"하는지를 [개인의 능력]이나 [우월한 제도 메트릭스]를 통해 보여준다. 이 때문에 샌델은 하버드, 스탠퍼드 등 명문대 선발절차로 [자격을 갖춘 사람 중 추첨]을 제안하게 됐다.
Both authors discuss examples of the disruptive effects of these fixations on professional and societal structures, including medicine and education. Both authors show how individuals and institutions tend to “game” procedures and standards in order to enter and complete higher education, through pretended individual merit or superior institutional metrics when these may not be warranted. This leads Sandel to propose a lottery among the qualified as a selection procedure for prestigious universities such as Harvard and Stanford.7
네덜란드 의대 선정 복권 The Dutch Lottery for Medical School Selection
의과대학이나 레지던트에 입학할 사람을 결정하는 방법으로서 추첨은 많은 사람들에게 터무니없는 제안으로 들릴 수 있다. 추첨은 동기부여를 떨어뜨리고, 높은 노력과 재능을 무시하며, 직업 선택의 자유를 무작위로 차단하는 것으로 보인다. 그러나, 네덜란드는 이 방법에 대한 수십 년의 경험을 가지고 있다. 네덜란드 정부는 1972년에 모든 의과대학에 입학하기 위해 전국적으로 추첨제를 적용했다. 이 제도는 지난 2017년 상고심 끝에 폐기됐으나 2023년 학생 선발을 위한 적법한 절차로 재설치될 예정이다. A lottery, as a method to determine who will be admitted to medical school or residency, may sound an absurd proposition to many. A lottery appears to devalue motivation, disregard high effort and talent, and randomly block freedom of career choice. However, The Netherlands has decades of experience with this method. The Dutch government applied a lottery system nationally for admission to all medical schools in 1972. This system was abandoned in 2017 after an appeal but will now be reinstalled in 2023 as a legitimate procedure for the selection of students.
1972년까지, 선행 학사학위를 필요로 하지 않는 [6년 과정의 네덜란드 의과대학 입학]은 적절한 중등교육(네덜란드 정부가 대부분의 의학교육비를 부담함)을 받은 지원자라면 자유롭게 접근할 수 있었다. 지원자의 수가 증가하고 비용이 상당해지자, 네덜란드 정부는 고정 정원numerus fixus를 도입하였다. 이 정원은 미래의 의사들의 필요성에 대한 예측을 바탕으로 얼만큼의 입학생 자리를 둘 것인가를 제한하였다.
Until 1972, the admission to Dutch medical schools, which have a 6-year program not preceded by baccalaureate education, was freely accessible for applicants with the proper secondary schooling (note that the Dutch government pays for most of medical education). When applicants increased in number and their costs became substantial, the Dutch government introduced anumerus fixus, a restricted total number of positions, derived from predictions of future physician need.
수년간의 논쟁 끝에 정치인들은 입학을 위한 "가중추첨" 제도를 결정했다. 국가 최종 2차 시험의 평균 점수가 가중치를 결정했다. 뛰어난 점수를 받은 학생들은 합격선 수준의 점수를 받은 학생들에 비해 세 배의 기회를 얻게 될 것이다. 추첨에서 탈락한 지원자는 이후 2년간 추첨에 재지원할 수 있다.
수십 년 동안 학교와 대중은 일반적으로 네덜란드 의과대학에 자리가 있는 모든 지원자의 3분의 1을 이 절차로 결정하는 것에 만족했다. 추첨 절차는 1996년까지 정부 기관에 의해 순조롭게 진행되었다.
그러나 1996년, 어느 한 뛰어난 고등학교 졸업생이 3번이나 추첨에서 떨어졌고 그 결정에 항소했다. 정치적, 사회적 분노가 일었고, 처음에는 [지역적 질적 선발 과정]을 [전국 가중 추첨]과 병행하면서 추첨은 점차적으로 대체되었다.
20년 만에 국가 추첨 제도는 완전히 폐지되었고, 2017년 현재 의과대학은 추첨 사용을 금지하고 있다.
놀랍게도, 2020년에 의회 과반수가 학교의 추첨 시스템 사용을 허용하기로 투표했고, 그래서 합법적인 선발 방법으로 추첨 절차를 재설치했다. 이 법은 2023.8년부터 시행됩니다.
After years of debate, politicians settled on a “weighted lottery” system for admissions. The average score on a national final secondary examination determined the weighting. Students with an outstanding score would triple their chances compared to those with a just-pass score. Declined candidates could reenter the lottery for 2 subsequent years.
For decades schools and the public were generally satisfied with this procedure to determine the one-third of all applicants (on average across decades) for whom there was space at a Dutch medical school. The lottery procedure was smoothly conducted by a government agency, until 1996.
That year an outstanding high school graduate was turned down 3 times and appealed the decision. Political and societal anger arose and led to a gradual replacement of the lottery, initially with a local qualitative selection process in parallel with a national weighted lottery.
In 2 decades, the national lottery system was abandoned altogether; legislation prohibited medical schools from using a lottery as of 2017.
Surprisingly, in 2020, a parliamentary majority voted to allow schools to use a lottery system, and thus reinstalled lottery processes as a legitimate method of selection. The law is effective in 2023.8
추첨 제도의 Rationale Rationales for Lottery Systems
1996년 네덜란드에서의 논쟁은 학생, 학부모, 정치인, 기관들 사이에서 [의대 입학에서 추첨을 사용하는 것에 대한 혐오]를 보여주었다. 이것은 개인화의 역사적, 문화적, 사회적 발전을 반영할 수 있다: 높은 동기 부여와 적절한 능력을 가진 사람이라면 누구나 진로가 가능해야 한다.
The 1996 Dutch debate demonstrated an aversion among students, parents, politicians, and institutions against a lottery for medical school admission. This may reflect a historical, cultural, and societal development ofindividualization: any career path should be possible for anyone with high motivation and adequate abilities.
대조적으로, 존경 받는 네덜란드의 심리학자이자 선택 전문가인, 왕립 네덜란드 예술 과학 아카데미와 모든 유럽 아카데미의 전 회장인 피터르 렌스는 정기적으로 보다 합리적인 주장을 했다. 즉, 정량적인 이유만으로 선발이 필요할 때, 그리고 대부분의 또는 모든 지원자들이 요구되는 기준을 충족한다고 했을 때, 추첨은 진지하게 선발방식으로 남아있어야 한다. 공정하게 측정하고 적용하기 어려운 질적 기준의 단점에 대응하기 위해 추첨 선발이 필요하다. 실제로, 추첨 시스템을 선호하는 몇 가지 주장들이 있으며, 다섯 가지 조건들은 다음과 같다.
In contrast, a respected Dutch psychometrician and selection expert, Pieter Drenth, former president of the Royal Netherlands Academy of Arts and Sciences and of All European Academies, regularly voiced the more rational argument that, when selection is needed only because of quantitative reasons, and most or all applicants meet the required criteria, a lottery must remain a serious option. The lottery option is needed to counter the disadvantages of qualitative criteria,9,10which are both difficult to measure and apply in an unbiased manner. Indeed, there are several arguments that favor a lottery system,11and 5 conditions may shape how we consider these arguments.
1. 지원자 간의 차이가 겉으로만 그럴듯할 때 1. When Differences Between Applicants Are Spurious
지원자 집단이 모두 고도로 선별적인 사전 교육에서 높은 성취도를 보인 경우, 지원자 내에서 신뢰할 수 있고 정당화된 구별을 하는 것은, 전혀 불가능하다. 이것은 대부분의 네덜란드 의대 지원자들에게 적용된다. 길고 어려운 교육 궤적을 모두 이수한 의대 졸업생이 대거 레지던트 프로그램에 지원할 경우 이들을 차별화할 수 있는 프로그램의 역량도 제한된다. 학생들 사이의 차이는 종종 의심스럽거나 관련이 없다. 그렇다면 선발 프로세스에서 [이 프로그램에 가장 적합한 학생]과 [기준을 충족시키지 못하는 학생]을 서로 비교해서 결정할 수 있다는 것은 윤리적으로도 의심스러울 수 있다. 정해진 개수의 공간을 채워야 하는 경우 [지원자의 퀄리티]가 아니라 [선발할 숫자와 지원자의 숫자]에 따라 입학에 사용되는 기준이 결정됩니다. Making reliable and justified distinctions within a pool of applicants who have all been successful in highly selective prior education is hardly, if at all, possible. This holds true for most Dutch medical school applicants. When medical graduates, all of whom have completed a long and difficult educational trajectory, apply in massive numbers to residency programs, the ability of programs to differentiate among them is also limited. Differences among students are often spurious or irrelevant. Then suggesting that selection processes can determine which students are most suitable for the program vs those who fail to meet standards may even be ethically questionable. When a fixed number of spaces must be filled, thenumberrather than thequalityof applicants determines the criterion used for admission.
역량 기반 의료 교육의 시대에, [모든 의대 졸업생들이 높은 수준을 달성하게끔 만들려는 노력]이 [졸업생들 사이의 차이를 강조하는 것]보다 더 유익할 것이다. 12 시간 가변적이고 개인화된 커리큘럼은 높은 퀄리티의 졸업생과 높은 퀄리티의 보건의료를 서포트하려는 목적이 있다. 네덜란드의 의료인력은 시간 변동성이 높은 커리큘럼에서 가중 추첨을 통해 의과대학에 입학했다. 다른 입학선발 절차가 더 나은 의료인력으로 이어질 수 있었는지는 알 수 없지만, 네덜란드 의료는 국제 비교에서 미국보다 높은 점수를 받는다.15,16 In an era of competency-based medical education, efforts to bring all medical school graduates to meet high standards may prove more beneficial than highlighting differences among graduates.12A time-variable, individualized curriculum might support high quality of graduates and health care more than an institutionalized “failure to fail” students who do not meet highest standards.13,14The current Dutch medical workforce has nearly all been admitted to medical school through a weighted lottery in a more time-variable curricula. While we cannot know whether a different admission procedure would have led to a better workforce, Dutch health care scores highly, including higher than the United States, in international comparisons.15,16
2. 신청자 간의 형평성이 우선시되는 경우 2. When Equity Among Applicants Is a Priority
선발 위원회는 보통 모든 지원자들에게 공평하고 동등한 기회를 제공하는 것을 목표로 하지만, 모든 절차는 특정 기준을 사용하는 한 특정 집단이 다른 집단보다 이익을 보게 되며, 흔히 불이익을 받는 집단은 underrepresented group이다. 선발기준에 시험성적과 같이 준비에 영향을 받을 수 있는 영역(예: 고가의 과외, 부유층의 부담)이 포함되어 있다면, 일부 지원자들은 다른 지원자들보다 더 많은 혜택을 받게 된다. 네덜란드 정부는 고등교육을 받은 학생들 사이에 다양성의 부족에 대한 우려 때문에 추첨을 다시 설치하는 것을 정당화했다. While selection committees usually aim to provide fair and equal chances for all candidates, any procedure that uses specific criteria benefits some groups over others and often disadvantages underrepresented groups. If selection criteria include areas, such as test scores, that may be affected by preparation (eg, expensive tutoring, more affordable by the wealthy), some candidates benefit more than others. The Dutch government justified reinstalling a lottery because of concerns over a lack of diversity among admitted higher education students.
3. 다양한 인력이 중요한 경우 3. When a Diverse Workforce Is a Priority
의료인력의 구성이 [사회의 성별과 민족 구성을 반영하지 못한다]는 '지원자에 대한 공정성'보다 '추첨'의 손을 들어주는 또 다른 이유이다. 게다가, 의료 인력 자체는 동질적이지 않다. 사회는 가정 의사, 소아과 의사, 방사선 전문의, 마취과 의사, 신경외과 의사, 바이러스학자가 필요하다. 획일적인 기준으로 의대를 선발하는 것은 사회가 매우 다양한 의사가 아닌 단지 한 종의 의사만을 필요로 한다는 것을 시사한다. 일부 졸업생은 일반 전공으로 남아있을 수 있고, 다른 졸업생들은 하위 전공 훈련을 계속할 수 있으며, 다른 졸업생들은 다양한 규모의 지역사회에서 실습할 것이다. Concerns that the medical workforce does not reflect society's gender and ethnic composition adds to the fairness-for-applicants argument in favor of a lottery. In addition, the medical workforce itself is not homogeneous. Society needs family doctors, pediatricians, radiologists, anesthesiologists, neurosurgeons, and virologists, to name a few. Selection for medical school based on uniform criteria suggests that society needs just one species of doctors, rather than a wide variety. A need for variety is no different within medical specialties: some graduates may remain in a general specialty while others continue to subspecialty training, and some will practice in academic environments while others practice in communities of varying sizes.
4. 공공연한 협업 메시지가 숨겨진 경쟁 문화와 충돌할 때 4. When the Overt Message of Collaboration Collides With a Hidden Culture of Competition
[수월성을 위해 노력하는 것]은 학생들과 교수진들 사이에서 바람직한 것으로 여겨지지만, 종종 [미리 정해진 측정 기준에서 다른 학생들을 능가하기 위한 경쟁]으로 해석된다. 이러한 경쟁적 성취는 CV와 지원서에 사용됩니다. 한편, 협업을 위한 태도와 기술은 의료 및 레지던트 커리큘럼 전체에 걸쳐 학습 목표에서 두드러지게 나타난다. 경쟁 지표에 집착하는 동시에 숨겨진 문화는 경쟁과 협업의 혼합된 메시지를 전달합니다. 의대생과 레지던트들 사이에 스트레스와 과열이 만연해 있고, [전문직업적 발달이 저해될 수 있는 심각한 위험을 안고 있는 것]은 [협업을 희생]하는 댓가로 다른 사람보다의 비교우위를 추구하게끔 순위ranking와 CV 구축에 지속적으로 초점을 맞추고 있기 때문일 수 있다.17 Striving for excellence is regarded as desirable among students and faculty, but it is often translated into competing to outperform other students on prespecified metrics. These competitive achievements are then used in curriculum vitae (CVs) and application letters. Meanwhile, attitudes and skills to collaborate feature prominently in learning objectives throughout medical and residency curricula. A simultaneous hidden culture of fixation on competitive metrics sends mixed messages of competition versus collaboration. The high prevalence of stress and burnout among medical students and residents, with serious risks of hampered professional development, may well be caused by a continuous focus on rankings and CV building to excel in comparison with others, at the cost of collaboration.17
5. 질적 요인에 대한 선정을 뒷받침할 수 있는 설득력 있는 증거가 없는 경우 5. When There Is No Convincing Evidence to Support Selection on Qualitative Factors
네덜란드 학자들은 다양한 의과대학 선발 절차를 가중복권과 비교했다. 2016년부터 2020년까지 완성된 5편의 박사학위 논문(대부분 정부 보조 연구)과 수많은 출판물이 엇갈린 결과를 보이고 있다. 비록 선발 기준을 통해 입학하기로 선택한 학생들이 추첨을 통해 입학한 학생들보다 의과대학에서 조금 더 우수한 성적을 거두었다는 증거가 있지만, 그 결과는 일반적인 결론에 이르지 못한다inconclusive. 의과대학 졸업 후 학생들 간의 차이는 보고되지 않았다. Dutch scholars have compared various medical school selection procedures with a weighted lottery. Five doctoral dissertations completed from 2016 to 2020 (most by government-subsidized researchers) and numerous publications show mixed results.18–22Although there is some indication that students who chose to be admitted through selection criteria performed somewhat better in medical school than those admitted through a lottery, the results are generally inconclusive. No differences among students after graduation from medical school have been reported.
마무리 생각 Concluding Thoughts
의과대학과 레지던트 지원자들은 일반적으로 추첨제보다 선발 기준을 선호하며, 자신이 통제할 수 없다고 느끼는 불합격은 받아들이기 어렵다. 다만 '정말로 원한다면 의대에 진학할 수 있다'는 건 선발인원보다 지원자가 많은 상황에서 현실을 부정하는 것이다. 예를 들어, 네덜란드는 지난 35년 동안 1:3의 경쟁률을 보였다. 추첨을 통해 입학한 대다수의 네덜란드 학생들이 고품질의 보건의료를 제공하는 의사가 된 것처럼, 많은 불합격 신청자들은 의심할 여지 없이 훌륭한 의사였을 것이다. 정교한 선택 절차를 적용하는 국가들이 더 나은 의료 시스템을 구축했다는 징후는 없다. Applicants for medical school and residency generally prefer selection criteria over a lottery system and find rejections that feel beyond their control difficult to accept. However, the suggestion that “if you really want to, you can get into medical school” denies reality, when there are more applicants than positions. For example, the Netherlands has had a 1:3 acceptance ratio over 35 years of admissions. Many rejected applicants would have undoubtedly been excellent physicians, just as the vast majority of Dutch students admitted through a lottery have become doctors providing high-quality health care. There is no indication that countries applying elaborate selection procedures have built better health care systems.
모든 지원자가 증명된 역량을 통해 자격을 얻었을 때, 자격을 갖춘 사람들 중 샌델의 복권은 방어할 수 있습니다. 추첨을 통해 입학하든, 주민선발위원회나 수행평가에서 선발되든, 선발되지 못한 것은 여전히 고통스러운 일이다. 그러나 학생들은 또한 모든 기회가 항상 이용 가능한 것은 아니며, 삶의 방향 전환은 경쟁자들과의 지속적인 싸움보다 더 많은 즐거움과 만족감을 가져다 줄 수 있다는 것을 받아들여야 한다. When all applicants qualify through demonstrated competence, Sandel's lottery among the qualified is defensible. Whether admitted through lottery or chosen by a residency selection committee or performance test, not being selected remains painful. But students must also accept that not all opportunities are always available, and a redirection of life may bring more joy and satisfaction than a continuous battle against competitors.
본 사설은 학습자 간의 차이를 최소화하거나 개인의 고유한 장점을 무시하라는 간청이 아닙니다. 반대로, 모든 학습자들은 개개인이 독특한 방법으로 뛰어나도록 자극을 받아야 합니다. 진짜로 문제가 되는 것은 [개인들이 의료의 질이나 환자에게 진정으로 중요한 역량과는 정작 별 상관관계가 없는 제한된 기준에 순응하고, 이 기준에 맞춰 다른 사람과 경쟁해야 한다]는 사실이다.
This editorial is not a plea to minimize differences among learners or to disregard unique strengths of individuals. On the contrary, every learner should be stimulated to excel in unique ways. What is problematic is when individuals are forced to conform and compete with others on limited criteria that do not correlate well with the competencies that really matter, to health care quality and to patients.
J Grad Med Educ. 2021 Oct;13(5):612-615.
doi: 10.4300/JGME-D-21-00789.1.Epub 2021 Oct 15.
Rationales for a Lottery Among the Qualified to Select Medical Trainees: Decades of Dutch Experience
1is Professor of Medical Education and Senior Scientist, Utrecht Center for Research and Development of Health Professions Education, University Medical Center Utrecht, Utrecht, the Netherlands.
여자지원자가 남자지원자보다 MMI 점수가 더 높은가? 캘거리 대학 결과(Acad Med, 2017) Are Female Applicants Rated Higher Than Males on the Multiple Mini-Interview? Findings From the University of Calgary Marshall Ross, MD, Ian Walker, MD, Lara Cooke, MD, MSc, Maitreyi Raman, MD, MSc, Pietro Ravani, MD, PhD, Sylvain Coderre, MD, MSc, and Kevin McLaughlin, MBChB, PhD
의대에 입학하는 학생의 약 95%가 궁극적으로 졸업하기 때문에, 의대 입학 과정은 많은 사람들에게 의대 진로를 위한 "이상적인" 지원자를 선택할 수 있는 최선의 (그리고 아마도 유일한) 기회로 여겨진다.1,2 지원자들에게 면접 과정은 삶의 결정적 순간일 수 있으며, 이는 주어진 지원자가 동료들보다 CanMED-proficient한 의사로 성숙할 가능성이 더 높은지 예측하는 것이기 때문에 선발 과정에 참여하는 우리 중 누구에게나 큰 부담이 될 수 있습니다. 그러한 예측은 어렵고 부정확하기로 악명 높지만, 사회가 의사를 필요로 하기 때문에 (또한 의과대학에 지원한 지원자가 채용 가능한 숫자보다 훨씬 많기에) 우리는 의사 선발 과정이 필요하며 가능한 한 신뢰할 수 있고 타당하며 "공정"하게 만들기 위해 노력해야 합니다.
Since approximately 95% of students entering medical school will ultimately graduate, the medical school admissions process is considered by many as our best (and perhaps only) opportunity to select the “ideal” candidates for a career in medicine.1,2 For applicants, the interview process may be a life-defining moment, a fact that weighs heavily on those of us involved in the selection process as we try to predict whether a given applicant is more likely to mature into a CanMEDS- proficient physician than his or her peers.3 Such predictions are notoriously difficult and inaccurate,4,5 but because society needs physicians—and there are many more applicants to medical school than positions available—we need a selection process and must strive to make this as reliable, valid, and “fair” as possible.
대부분의 의과대학은 이전의 학업성취도 및 비학업적 특성의 지표를 평가하는 shor-listing 과정 외에도, 미래의 의사와 관련이 있을 수 있는 다른 속성을 평가하기 위한 형태의 인터뷰도 사용한다. 과거에는, 각 후보자에 대해 단일 인터뷰를 실시하는 선정 위원회가 필요했으며, 그 구체적인 방법(위원회의 구성, 논의되는 내용, 인터뷰의 구조화 정도, 최종 합격자를 뽑는 과정)에는 여러 기관 내 및 여러 기관 간 상당한 차이가 있었습니다. 그리고 이러한 접근방식은 편리했지만, 단일 면접의 제한된 범위와 면접관에 기인하는 점수차이의 비율을 고려할 때 이 과정의 [공정성에 대한 우려]가 제기되었다.
In addition to a short-listing process that rates indicators of prior academic performance and nonacademic attributes, most medical schools also use some form of interview to assess other attributes that may be relevant for future physicians. Historically, this involved a selection committee conducting a single interview of each candidate, and there was often significant variation—both within and between centers—in the makeup of committees, the content discussed, the degree of structure of the interviews, and the process of selecting the best candidates.6,7 And, although this approach was convenient, concerns arose about the fairness of this process given the limited scope of a single interview and the proportion of variance in scores attributable to the interviewers.8,9
의대 입학 과정에 MMI를 포함함으로써 지원자들은 기존의 면접 형식보다 더 신뢰성이 높고, 더 수용 가능하며, 덜 의존적이며, 미래 성과를 더 예측하는 것으로 보이는 선발 과정이 이루어졌다. MMI의 타당성과 차원성에 대한 지속적인 우려에도 불구하고, 이러한 인상적인 연구 결과는 북미, 유럽 및 호주의 많은 의과대학에서 MMI를 선발 과정에 포함시키는 것을 촉진했습니다. 그러나 모든 변화는 [의료계의 인구학적 특성을 바꾸는 것]과 같은 의도하지 않은 결과의 가능성을 수반한다. The inclusion of the MMI to the medical school admissions process has resulted in a selection process that appears to be more reliable,10,14–16 more acceptable to applicants,13,14 less rater dependent,10 and more predictive of future performance than the traditional interview format.14,15,17,18 Despite ongoing concerns regarding the validity and dimensionality of the MMI,14,19 these impressive findings have fomented the incorporation of the MMI into the selection process in many medical schools in North America, Europe, and Australia.11–13 Yet every change carries the possibility of unintended outcomes, such as changing the demographic characteristics of the medical profession.
예를 들어, 이 기술을 신뢰성 있게 평가할 수 있는 순간, 일반적으로 여성이 남성보다 높은 평가를 받기 때문에, 의사소통이 수반되는 업무에 대한 지원자의 성과를 평가할 때마다 여성이 남성보다 더 높은 성과를 낼 것이라고 예측할 수 있다. McMaster에서 MMI를 처음 시험했을 때 이 초기 연구의 표본 크기가 상대적으로 작았지만(n = 117) 신청자 성별과 MMI 등급 사이에는 유의한 연관성이 없었다. 후속 연구에서도 여성 지원자와 남성 지원자의 등급 차이는 없다고 보고했지만, 다시 한 번 이러한 연구의 표본 크기는 작았고, 남성 지원자도 30명 미만인 경우가 많았다. For example, because females are typically rated higher than males in communication as soon as this skill can be reliably assessed,20 one might predict that females would outperform males whenever we assess the performance of applicants on tasks that involve communication.21,22 When the MMI was first piloted at McMaster there was no significant association between applicant gender and MMI ratings, although the sample size in this initial study was relatively small (n = 117).10 Subsequent studies also reported no difference in ratings of female and male applicants,23–26 although, once again, the sample size in these studies was small, with studies often including fewer than 30 male applicants.24–26
캘거리 커밍 의과대학에서 MMI를 소개할 때, 브라우넬과 동료는 지원자와 면접관 모두의 의견으로 MMI가 "성 편견이 없었다"고 보고했고, 이후 연구에서도 이러한 결론이 도출되었다. 흥미롭게도 스코틀랜드의 한 센터에서 실시한 보다 최근의 연구에서 10개 스테이션 MMI가 신뢰할 수 있는 것으로 보고되었으며, 이 과정은 "모든 당사자가 수용할 수 있다" (후보와 평가자의 90% 이상이 공정성 진술에 동의하거나 강력하게 동의)고 하였다.
When introducing the MMI at the University of Calgary Cumming School of Medicine, Brownell and colleagues11 reported that, in the opinion of both applicants and interviewers, “the MMI was free of gender bias,” and this conclusion was also drawn in subsequent studies.15,16,25 Interestingly, in a more recent study from a single center in Scotland, a 10-station MMI was reported as reliable, and the process was “acceptable to all parties” (more than 90% of candidates and raters agreed or strongly agreed with a fairness statement).13
여기서는 여성 및 남성 지원자의 MMI 등급을 의과대학과 비교하고 MMI 등급이 지원자 순위에 미치는 영향을 탐색한 두 가지 연구를 설명합니다.
Here we describe two studies in which we compared MMI ratings for female and male applicants to our medical school, and explored the impact of MMI ratings on the ranking of applicants.
연구 1 Study 1
방법 Method
참여자 Participants.
재료 Materials.
절차 Procedures.
통계뿐석 Statistical analysis.
우리는 평균과 SD를 표준화된 평균 차이로 변환하고 효과 크기 계산을 위해 Hedges g를 사용했습니다.28 그런 다음 STATA 버전 11 통계 소프트웨어(STATA Corporation, College Station, 텍사스)를 사용하여 랜덤 효과 모델을 사용한 누적 메타 분석을 수행했다.
We converted means and SDs into standardized mean differences and used Hedges g for our effect size calculation.28 We then performed cumulative meta-analysis using the random-effect model, using STATA version 11 statistical software (STATA Corporation, College Station, Texas).
연구결과 Results of Study 1
고찰 Discussion of Study 1
우리의 연구 결과는 MMI에서 여성이 남성보다 높은 평가를 받고 있음을 시사한다. 시간이 지남에 따라 [표준화된 평균 차이]가 변한다는 것은 2012년에 이러한 결론을 도출하기에 충분한 데이터가 있었다는 것을 의미하며 후속 데이터를 추가하면 이러한 결과를 더 정확하게 확인할 수 있다는 것을 의미한다. Our findings suggest that at our medical school, females are rated higher than males on the MMI. The change in the standardized mean difference over time implies that there were sufficient data to draw this conclusion in 2012 and that the addition of subsequent data simply confirms this finding with greater precision.
연구 2 Study 2
방법 Method
참여자 Participants.
재료 Materials.
본 연구에 사용된 데이터는 본 의과대학의 입학 전형 과정의 일환으로 전진적으로 수집되었습니다. 이러한 데이터에는 지원자 파일의 등급과 후속 MMI 등급이 포함되었습니다. 지원자의 파일 데이터에는 이력서, 학력(학부 성적 평균[GPA]), 적성 시험 성적(MCAT]), 추천서 등이 포함되어 있었다. 또한 지원자의 성별과 나이를 기록했으며, 각 MMI 방송국별로 면접관의 성별과, 면접관이 수습생인지 여부를 기록했습니다. MMI의 12개 스테이션 각각에 대해 우리가 평가하고자 하는 단일 속성이 있었으며, 대상 속성의 전체 목록은 다음과 같았다.
갈등 관리/통신
학습에 대한 태도
피드백에 대한 반응성.
의사결정 능력/데이터 해석
연구 윤리
의사소통 기술,
문화적 역량
공감;
시각적 관찰 및 창의적 사고
자원 관리/프로젝트 계획;
정직과 진실,
오류 공개
The data used for this study were collected prospectively as part of our admissions selection process. These data included ratings of applicants’ files and subsequent MMI ratings. Applicants’ file data included their curriculum vitae, academic record (undergraduate grade point average [GPA]), performance on an aptitude test (Medical College Admission Test [MCAT]), and letters of reference. We also noted the gender and age of applicants, and for each MMI station we noted the gender of the interviewer and whether the interviewer was a trainee. For each of the 12 stations on the MMI there was a single attribute that we intended to assess, and the complete list of target attributes was as follows:
conflict management/communication;
attitude towards learning;
responsiveness to feedback;
decision-making ability/data interpretation;
research ethics;
communication skills;
cultural competency;
empathy;
visual observation and creative thinking;
resource management/project planning;
honesty and integrity; and
disclosure of error.
MMI에 대한 성과는 체크리스트와 전지구적인 평가 척도를 조합하여 평가되었으며, 이는 주어진 관측소에 대한 최종 평가에도 동일하게 기여하였다. Performance on the MMI was rated using a combination of a checklist and a global rating scale, which then contributed equally to the final rating for a given station.
절차 Procedures.
각 지원자의 파일은 7개 CanMED 역량을 나타내려는 7개 영역에 대해 주관적인 점수를 제공한 60명의 패널로부터 4명의 독립 검토자에 의해 검토되었다.3 예를 들어, 학업 성적은 전문가 역할의 일부로 평가되었고, 관리자 역할을 평가할 때 리더십 경험이 고려되었습니다. 그런 다음, 파일 검토 점수는 다음과 같은 가중치를 사용하여 작성되었다: 7개의 CanMED 역량을 나타내는 각 도메인에 대해 10%, GPA에 대해 20%, MCAT의 구두 추론 구성요소에 대해 10%이다. 평균 파일 검토 점수를 기준으로 지원자의 순위를 매기고 상위 526명의 지원자를 MMI에 초대했습니다. MMI 스테이션은 7분이며 단일 면접관이 평가했습니다. Each applicant’s file was reviewed by 4 independent reviewers, from a panel of 60, who provided subjective scores for seven domains that were intended to represent the seven CanMEDS competencies.3 For example, academic record was rated as part of the Expert Role, and leadership experience was considered when rating the Manager Role. The file review scores were then compiled using the following weighting: 10% for each of the domains representing the seven CanMEDS competencies, 20% for GPA, and 10% for the verbal reasoning component of the MCAT. We ranked applicants based on mean file review scores and invited the top 526 applicants to attend our MMI. Our MMI stations were seven minutes long and were rated by a single interviewer.
통계 분석 Statistical analysis.
여성 및 남성 지원자에 대한 MMI 등급을 비교하기 위해 Cohen d와 함께 독립 표본 t 검정을 효과 크기 측정값으로 사용했습니다. 다른 잠재적 설명 변수에 대한 조정 후 신청자 성별과 MMI 등급 간의 연관성을 연구하기 위해 다중 선형 회귀 분석을 수행했다.
지원자의 나이,
내신,
MCAT 점수(언어 추론, 물리, 생물)
면접관의 성별, 그리고
면접관이 훈련생(의대생 또는 레지던트)이었는지 여부.
To compare MMI ratings for female and male applicants, we used an independent-sample t test with Cohen d as our measure of effect size. We performed multiple linear regression to study the association between applicant gender and MMI ratings after adjustment for other potential explanatory variables:
applicant’s age,
GPA,
MCAT score (for verbal reasoning, physical sciences, and biological sciences),
interviewer’s gender, and
whether the interviewer was a trainee (medical student or resident).
우리는 회귀 모형에 지원자와 면접관 변수 간의 교호작용을 포함시키고 교호작용 항부터 시작하여 유의하지 않은 설명 변수를 제거하기 위해 후진 제거를 수행했습니다.
We included interactions between applicant and interviewer variables in our regression model and performed backward elimination to remove nonsignificant explanatory variables, beginning with interaction terms.
MMI 등급에 부여된 가중치가 의과대학원 직책을 제안받을 확률에 미치는 영향을 조사하기 위해, 각 지원자에 대한 파일 검토 점수와 MMI 등급을 결합한 민감도 분석을 수행했다. To explore the impact of the weighting given to the MMI rating on the odds of female applicants being offered a medical school position, we performed a sensitivity analysis where we combined file review scores and MMI ratings for each applicant.
결과 Results of Study 2
여성 신청자와 남성 신청자에 대한 평균 MMI 등급은 각각 6.60 (SD 1.75)과 6.34 (SD 1.88)이었다 (P = 0.01, d = 0.14). 지원자와 면접관의 성별(P =.94) 간의 상호작용을 포함하여 우리의 회귀 모델에서 상호작용은 없었지만, 지원자의 성별, 지원자의 나이, 면접관의 지위(연수생 대 비훈련생), 언어 추론 및 생물 과학에 대한 MCAT 점수는 MMI 등급과 관련이 있었다. 다른 변수에 대해 조정한 후에도 여성 신청자와 MMI 등급 사이에는 유의한 양의 연관성이 있었습니다(회귀 계수 0.23, 95% CI [0.14, 0.33, P < 0.001]). 이러한 데이터는 표 1에 나와 있습니다. The mean MMI rating for female and male applicants was 6.60 (SD 1.75) and 6.34 (SD 1.88), respectively (P < .01, d = 0.14). There were no interactions in our regression model, including no interaction between gender of applicant and interviewer (P = .94), but applicant’s gender, applicant’s age, interviewer’s status (trainee vs. nontrainee), and MCAT scores for verbal reasoning and biological science were associated with MMI rating. After adjusting for other variables, there was still a significant positive association between being a female applicant and MMI rating (regression coefficient 0.23, 95% CI [0.14, 0.33], P < .001). These data are shown in Table 1.
민감도 분석에서, 서류점수 검토만을 기반으로 한 상위 150명의 지원자의 성별 구분(즉, MMI 등급이 전체 지원자 점수에 기여하지 않은 경우)이 원래 지원자 코호트의 성별 구분과 크게 다르지 않다는 것을 발견했다. (지원자가 여성이었던 비율 1.32; 95% CI[0.92, 1.91] P =.11) MMI 등급에 부여된 가중치를 변화시킬 때, MMI 등급이 전체 점수의 10% 이상을 기여할 때마다, 여성 지원자가 남성 지원자보다 상위 150명 안에 들 확률이 상당히 높았다. 이러한 데이터는 그림 2에 나와 있습니다.
In our sensitivity analysis, we found that the gender breakdown of the top 150 applicants based solely on file review scores (i.e., when MMI rating did not contribute to overall applicant score) was not significantly different from that of the original application cohort (odds ratio of an applicant being female was 1.32; 95% CI [0.92, 1.91], P = .11). When varying the weight given to MMI rating, we found that whenever the MMI rating contributed 10% or more of the overall score, the odds of a female applicant being ranked in the top 150 students were significantly higher than for male applicants. These data are shown in Figure 2.
고찰 Discussion of Studies 1 and 2
만약 MMI에서 여성이 남성보다 높은 평가를 받는다면, 우리는 그 이유를 이해하려고 노력해야 한다. 우리는 MMI의 타당성에 대해 서로 다른 의미를 갖는 두 가지 가능한 설명을 제안할 것이다. 첫 번째는 MMI가 포착하려는 속성을 여성들이 더 잘 보여줄 가능성이 높다는 것이다. 일반적으로, 남성과 비교했을 때, 여성이 더 나은 의사소통 기술을 보일 때, 20-22는 비판적 사고의 특정 측면(예: 열린 마음, 성숙도)에서 더 높은 평가를 받고, 18,29 그리고 더 많은 윤리적 결정을 내린다.30,31 If females are rated higher than males on the MMI, then we should try to understand why. We would propose two possible explanations that have divergent implications for the validity of the MMI. The first is that females are more likely to demonstrate the attributes that the MMI is intended to capture. In general, when compared with males, females typically demonstrate better communication skills,20–22 are rated higher on certain aspects of critical thinking (such as open-mindedness and maturity),18,29 and make more ethical decisions.30,31
이러한 업무에서 여성이 남성보다 높은 성과를 낼 것으로 예상하기 때문에, MMI에서 여성이 남성보다 높은 등급을 받는다는 사실이 [MMI의 타당성 원천]이라고 주장할 수 있다. 그러나 또 다른 설명으로 가능한 것은 여성이 의사소통, 비판적 사고, 윤리적인 모습을 [더 잘할 것으로 기대하기 때문에] MMI에서 더 높은 평가를 받는다는 것이다. 만약에 후자의 경우라면, 여성은 MMI 점수의 타당성을 감소시키는 편견의 일종인 [관찰자 기대]의 결과로 더 높은 등급을 받은 것이다.
Because we expect females to outperform males on these tasks, one could argue that the fact that females are rated higher than males on the MMI is a source of validity for the MMI.32 However, the alternative explanation is that females are rated higher on the MMI because we expect them to be better at communication, critical thinking, and ethical decision making. In this scenario, females are rated higher as a result of observer expectancy, a type of bias that would reduce the validity of MMI ratings.
[관찰자 기대] 또는 [확증 편향(또는 "자기 충족 예언"33)]은 기존의 신념이 이러한 기존 신념을 뒷받침하는 방식으로 데이터의 해석에 무의식적으로 영향을 미치는 과정을 말하며, 심리학 문헌에는 관찰자 기대 편향의 예가 많다.36
예를 들어, 근지구력 과제에서 남성과 여성의 성과를 평가해 달라고 요청했을 때, 남녀 대학생 모두 남성의 성과를 과대평가하고 여성의 성과를 과소평가하는 경향이 있었다.
동영상에서 남성과 여성의 웃는 정도를 평가해 달라는 질문에 심리학과 학생들은 남성에 비해 여성의 웃는 모습을 과대평가했다.
Observer expectancy or confirmation bias (also referred to as “self-fulfilling prophecy”33) refers to a process where preexisting beliefs subconsciously influence interpretation of data in a way that supports these preexisting beliefs,34,35 and there are many examples of observer expectancy bias in the psychology literature.36
For example, when asked to rate the performance of males and females on a muscular endurance task, both male and female college students tended to overestimate the performance of males and underestimate the performance of females,37
whereas when asked to rate the amount of smiling of males and females on video clips, psychology students overestimated smiling of females relative to males.38
이러한 성별 기반 고정관념은 자동으로 생성되며 컴퓨터의 음성 출력이나 가상 인간의 인식된 성별과 같은 미묘한 조작에 의해 유발될 수 있습니다. [관찰자의 기대]는 대체로 잠재의식 수준에 존재하는 것이므로, 감지하기 어렵고 마찬가지로 억제하기도 어려울 수 있습니다. —특히 관측자에게 8분 MMI 관측소와 같이, 노출이 제한된 상황에서, ill-defined 구인에 대한 평정을 해야 하는 경우 그렇다.
These gender-based stereotypes are generated automatically and can be triggered by subtle manipulations, such as altering the voice output of computers or perceived gender of virtual humans.39,40 Being largely subconscious, observer expectancy may be difficult to detect and equally difficult to suppress—especially when observers are asked to rate ill- defined constructs based upon limited exposure, such as an eight-minute MMI station.41–43
MMI(또는 다른 데이터 출처)의 포함이 의대 입학에서 성비 불균형을 야기하는지 우려해야 하는가? 이 질문에 대한 답은 취해진 관점에 따라 달라지며, 우리는 의과대학 입학 과정에 변화가 미치는 영향을 판단할 수 있는 가장 의미 있는 방법으로 [환자 중심의 결과]를 제안할 것이다. 선발 과정의 변화를 통해서 양질의 의료 서비스를 제공하는 인력이 양성된다면, 성별 불균형이 허용될 수 있다. 심지어는 의료 서비스 제공 개선을 위하여 필요할 수도 있습니다. Should we be concerned if the inclusion of the MMI (or any other source of data) creates a gender imbalance in medical school admissions? The answer to this question depends on the perspective taken, and we would propose patient-centered outcomes as the most meaningful way to judge the impact of any change to the medical school admissions process. If changes to the selection process produce a workforce that delivers higher-quality health care, a gender imbalance may be acceptable— and may even be necessary to improve health care delivery.
그러나 동등하거나 더 나쁜 의료 결과로 성비 불균형을 초래하는 입학 과정은 용납될 수 없다. 이전의 연구들은 여성 의사들이 환자와 상호작용할 때 일반적으로 남성보다 더 큰 공감을 보이고 더 많은 긍정적인 진술을 사용하며, 이러한 유형의 의사소통은 더 나은 과거 데이터를 제공하고, 더 나은 만족도와 정신건강을 보고하고, 덜 사용하는 환자와 관련이 있다고 제안했다. 45–48 그러나 이러한 유형의 데이터는 어떤 유형의 입학 절차를 지원하는 직접적인 증거를 제공하지 않는다.
But an admissions process that creates a gender imbalance with equal or worse health care outcomes is unacceptable. Previous studies have suggested that female physicians typically demonstrate greater empathy and use more positive statements than males when interacting with their patients21,44 and that this type of communication is associated with patients providing better historical data, reporting enhanced satisfaction and psychosocial health, and using less health care resources.45–48 However, these types of data do not provide direct evidence in support of any type of admissions process.
그렇다면 선발 프로세스가 의료 결과에 미치는 영향을 어떻게 입증할 수 있는가? 의료 성과 개선을 목적으로 설계된 인터벤션은 지속적으로 도입되고 있으므로 선택 프로세스의 사전/사후 비교는 다른 개입으로 인하여 confound될 수 있다. 두 가지의 성발 과정을 종단적으로 추적하여 무작위 비교하는 것이 이상적이지만, 이러한 유형의 다중 센터 연구는 많은 의과대학에서 수용되거나 가능하지 않을 수 있다.
So, how can we demonstrate the impact of the selection process on health care outcomes? Interventions designed to improve health care outcomes are being implemented continuously, so a pre/post comparison of selection processes would be confounded by other interventions. A randomized comparison of different selection processes with longitudinal follow-up would be ideal, but this type of multicenter study may not be acceptable or feasible for many medical schools.
분명히 우리는 입학 과정이 측정 가능하고 의미 있는 결과에 미치는 영향을 입증하는 데 있어 중대한 도전에 직면해 있습니다.5 MMI가 보건의료 성과에 미치는 영향을 알지 못하면 MMI 등급의 성별 차이가 허용 가능한지 여부를 말할 수 없다. — 그러나 우리는 의과대학 입학에서 성 불균형의 기원을 MMI의 역사보다 훨씬 더 거슬러 올라갈 수 있다는 것을 알고 있다. 미국에서는 남성이 지속적으로 여성 졸업생 수를 앞섰다.49 1993-1994년(MMI가 나오기 10년 전) 이후, 캐나다에서는 지난 22년 동안 2년을 제외한 모든 기간에서 여학생이 남학생보다 많았다. 그 전 22년동안에는 반대로 여성은 늘 상대적으로 소수였다 50 이러한 성별 불균형의 이유와 의료 제공에 미치는 영향은 알려지지 않았지만, 추가 탐구할 가치가 있다.
Clearly, we face significant challenges in demonstrating the impact of the admissions process on outcomes that are both measurable and meaningful.5 Without knowing the impact of the MMI on health care outcomes, we cannot say whether gender differences in MMI ratings are acceptable or unacceptable— but we do know that the origins of gender imbalance in medical school admissions can be traced back much further than the history of the MMI. In the United States, males have consistently outnumbered female graduates.49 Since 1993–1994 (10 years before the description of the MMI), in Canada female students have outnumbered males in all but 2 years— after being consistently in the minority in the preceding 22 years.50 The reason for these gender imbalances and their impact on health care delivery are unknown, but are also worthy of further exploration.
결론 Conclusions
우리는 이것이 먼저 확인되고 설명되어야 할 중요한 발견이라고 생각합니다. 특히 MMI에서는 커뮤니케이션, 비판적 사고, 윤리적 의사결정 능력이 향상되어 여성 지원자를 선발하는 것인지, 아니면 추가 설명이 필요한 대안적 설명 때문에 여성 지원자를 더 높게 평가하는 것인지 알 필요가 있다.
We feel that this is an important finding that needs first to be confirmed and then explained. In particular, we need to know if we are selecting female applicants because during the MMI we observe better communication, critical thinking, and ethical decision-making skills, or if we rate female applicants higher because of alternative explanations that need to be further elucidated.
Acad Med. 2017 Jun;92(6):841-846.
doi: 10.1097/ACM.0000000000001466.
Are Female Applicants Rated Higher Than Males on the Multiple Mini-Interview? Findings From the University of Calgary
1M. Ross is a resident, Department of Emergency Medicine, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. I. Walker is clinical associate professor, Department of Emergency Medicine, and director of admissions, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. L. Cooke is associate professor, Department of Clinical Neurosciences, and associate dean of continuing medical education, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. M. Raman is clinical associate professor, Department of Medicine, and associate director of admissions, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. P. Ravani is professor, Department of Medicine, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. S. Coderre is professor, Department of Medicine, and associate dean of undergraduate medical education, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. K. McLaughlin is professor, Department of Medicine, and assistant dean of undergraduate medical education, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada.
Purpose:The multiple mini-interview (MMI) improves reliability and validity of medical school interviews, and many schools have introduced this in an attempt to select individuals more skilled in communication, critical thinking, and ethical decision making. But every change in the admissions process may produce unintended consequences, such as changing intake demographics. In this article, two studies exploring gender differences in MMI ratings are reported.Results:Females were rated higher than male applicants (standardized mean difference 0.21, 95% CI [0.11, 0.30], P < .001). After adjusting for other explanatory variables, there was a positive association between female applicant and MMI rating (regression coefficient 0.23 [0.14, 0.33], P < .001). Increasing weight assigned to MMI ratings was associated with increased odds of females being ranked in the top 150 applicants.
Conclusions:In this single-center study, females were rated higher than males on the MMI, and the odds of a female applicant being offered a position increased as more weight was given to MMI ratings. Further studies are needed to confirm and explain gender differences in MMI ratings.
Method:Cumulative meta-analysis was used to compare MMI ratings for female and male applicants to the University of Calgary Cumming School of Medicine between 2010 and 2014. Multiple linear regression was then performed to explore gender differences in MMI ratings after adjusting for other variables, followed by a sensitivity analysis of the impact of varying the weight given to MMI ratings on the odds of females being ranked in the top 150 applicants for 2014.
성격, 직업, 선발의 미래: 신화와 오해와 측정과 제안(Adv in Health Sci Educ, 2017)
Future directions in personality, occupational and medical selection: myths, misunderstandings, measurement, and suggestions
Eamonn Ferguson1 • Filip Lievens2
도입
Introduction
의학 선택에서 인성에 대한 전통적인 접근법은 보통,
(1) 미래 결과를 예측하는 능력에 기초하여 특성을 식별하고
(2) 이러한 특성에 대해 사람을 선택하는 것으로, 일반적으로 더 높은 점수를 선발한다(Ferguson et al. 2002).
그러나, 최근의 성격 이론의 발전은 의학에서의 선발 관행에 대한 분명한 함축적 의미를 지닌 이 전통의 타당성에 의문을 제기한다.
the traditional approach to personality in medical selection. That is:
(1) to identify traits based on their ability to predict a future outcome and
(2) to select people on these traits, usually selecting higher scores (Ferguson et al. 2002).
However, recent advances in personality theory question the validity of this tradition with clear implications for medical selection practices.
인격의 개념화 발전
Developments in the conceptualization of personality
신화/오해 1: 안정적인 결정론적 예측 변수로서의 특성
Myth/misunderstanding 1: traits as stable deterministic predictors
특성이 행동의 안정적인 결정론적 예측 변수라는 것이 널리 알려진 믿음인 반면(개요는 로버츠 2009, 개요는 로버츠 참조), 생태학(Dingemanse et al. 2010), 경제학(Fergusson et al. 2011), 성격 심리학(Roberts and Jackson 2008)은 그 반대 의견을 제시한다(=즉, 특성trait은 행동의 안정적 결정론적 예측인자가 아니다). 특성은 맥락 및 생물학과 역동적으로 연결되어, 여러 맥락에 걸친 행동(trait expression)의 표현에 영향을 줄 뿐 아니라 변화할 수 있도록 한다.
Whereas it is a widely held belief that traits are stable deterministic predictors of behaviour (see Roberts 2009, for an overview), current thinking from ecology (Dingemanse et al. 2010), economics (Ferguson et al. 2011) and personality psychology (Roberts and Jackson 2008) suggests the opposite. Traits are conceived as dynamically linked to context and biology, allowing for traits not only to change but also to influence the expression of behaviour (trait expression) across contexts.
변화와 안정성
Change and stability
근거에 따르면, 시간적으로 가까운 사건 뿐만 아니라 (Twenge 2000, 2009) 세대와 라이프 코스에 따라서도 특성이 변화한다는 것을 증명한다.
(1) 대학, 직장, 실업과 같은 환경 노출 (Ludtke et al. 2011; Robins et al. 2005; Roberts et al. 2013; Boyce et al. 2015),
(2) 훈련 (Jackson et al. 2012) 및
(3) 변화를 촉진하기 위한 치료적, 심리적 개입(Tang et al. 2009; 허드슨과 프랄리 2015).
Evidence demonstrates that traits change across generations (Twenge 2000, 2009), and the life course (Roberts et al. 2006; Caspi et al. 2005; Roberts and Mroczek 2008 for reviews) as well as a function of proximal events:
(1) environmental exposure such as university, work, unemployment (Ludtke et al. 2011; Robins et al. 2005; Roberts et al. 2013; Boyce et al. 2015),
(2) training (Jackson et al. 2012), and
(3) therapeutic and psychological interventions to promote change (Tang et al. 2009; Hudson and Fraley 2015).
이러한 변화의 규모는 상당할 수 있다. 그것은 소득과 부와 같은 변화의 경제 지표의 크기와 같다(Boyce et al. 2013). 성격변화의 정도는 그 자체로 개인의 차이(Ludtke et al. 2011)를 따르며 신념의 영향을 받는다(예: 성격변화의 가능성에 관한 것, Robins et al. 2005).
The size of these changes can be substantial. It is of the same magnitude of economic markers of change like income and wealth (Boyce et al. 2013). The degree of personality change is itself subject to individual differences (Ludtke et al. 2011) and influenced by beliefs (e.g., about the changeability of personality, Robins et al. 2005).
인간 성격의 사회유전적 모델과 같은 모델은 [생물학, 환경, 상태(감정, 인지, 신념)]와 [특성] 사이의 역동적인 상호작용을 강조함으로써 세대 내 성격 변화를 설명하는 것을 목표로 한다. 이 모델에 따르면, 성격 변화는 다음의 두 가지 모두에 영향을 받는다.
(1) 생물체의 생물학에 대한 환경뿐만 아니라
(2) [생물학과 특성 변화] 사이의 관계를 중재하기 위해 행동하는 상태
Models such as the socio-genomic model of human personality aim to explain personality change within generations by highlighting the dynamic interaction between biology, environment, states (emotions, cognition, and beliefs), and traits (Roberts and Jackson 2008). According to this model, personality change is brought about by the influence of both
(1) the environment on the organism’s biology as well as
(2) states acting to mediate the link between biology and trait change.
마찬가지로, evo-devo 모델(진화 및 발달 생물학의 합성, 경우에 따라 표현형의 적응적 품질: Laland et al. 2011, 페이지 1514 및 Toth and Robinson 2007 참조)과 Niche 건설 이론(생물이 '생태공학자'로 활동하며 그러한 환경에서 적응하고 환경을 변화시킨다. 진화적 이득이 전달되는 방법: Odling-Smee et al. 2013 참조)는 특성이 세대 내에서, 그리고 여러 세대에 걸쳐 모두 변화한다는 것을 나타낸다(Laland et al. 2011). 이 모델들은 특성이 환경을 변화시키거나 변형시킬 뿐만 아니라, 한 유기체로 하여금 특정한 환경을 선택하게 한다는 것을 시사한다. 이 모든 것이 특성 변화를 이끈다.
Similarly, both evo-devo models (a synthesis of evolutionary and developmental biology, whereby in some cases developmental ‘biases’ the adaptive quality of a phenotype: see Laland et al. 2011, p. 1514 and Toth and Robinson 2007) and niche construction theories (whereby organisms act as ‘ecoengineers’ and adapt and change their environments in such a way that the evolutionary gains are passed on: see Odling-Smee et al. 2013) indicate that traits change both within and across generations (Laland et al. 2011). These models suggest that traits lead organisms to both select environments to operate in as well as to change/shape these environments. All of which leads to trait change.
또한 [특정 환경을 선택하게 유도하는 특성은, 그렇게 선택된 환경으로부터 가장 많이 변하는 특성]이라는 '상응 원리corresponsive principle'에 대한 증거도 있다(Roberts et al. 2013). 카스피 등은 다음과 같이 간결하게 표현하였다.
…인격발달에 대한 인생경험의 가장 가능성이 높은 효과는 애초에 사람들을 그러한 경험으로 이끄는 특성을 심화시키는 것이다. 예를 들어, 만약 사람들이 지배적이기 때문에 더 많은 지도자 자리를 차지한다면, 그들은 지도자로서의 경험을 통해 더 지배적이 될 것이다.
There is also evidence for the ‘‘corresponsive principle’’, whereby the trait that drives selection into an environment is the trait that changes the most from the selected environment (Roberts et al. 2013). As Caspi et al. (2005) succinctly put it
‘‘…the most likely effect of life experience on personality development is to deepen the characteristics that lead people to those experiences in the first place …For example, if people assume more leadership positions because they are more dominant, then they will become more dominant through their experience as leaders.’’ (p. 470).
이러한 접근법을 결합한 하이브리드 모델(그림 1)은 '특성'이 생물학적으로 환경에 의해 영향을 받을 뿐만 아니라 발달 기간 전반에 걸쳐 환경에도 영향을 미친다는 것을 나타낸다. 즉, 우리는 우리가 운영하는 환경을 선택하고, 환경을 변화시키며, 결과적으로 이러한 경험의 함수로 우리의 특성은 변화한다. 건강을 증진시키는 특정한 특성 변화는 다음 세대를 위해 선택되고 살아남을 수 있다.
A hybrid model, combining these approaches (Fig. 1), indicates that traits, as well as being influenced by the environment via biology, also influence environments across developmental time—we choose the environments we operate in, change them and our traits consequently change as a function of these experiences. Certain trait changes that increase fitness may be selected for and survive to the next generation.
컨텍스트별 예측
Context specific prediction
위의 발전은 수명에 걸쳐, 세대에 걸쳐 그리고 여러 맥락에 걸쳐 사람들의 성격 특성의 변화를 다루는 반면에, 다른 발전은 특성(trait expression)과 관련된 행동의 표현이 상황에 따라 [개인 내에서] 어떻게 변화하는지 강조한다. 로버츠(2009)는 특성이 특정 맥락에서 주어진 특정 방식으로 행동할 확률을 결정하는 함수를 나타낸다고 제안한다. 이는 생태학에서 개성을 개념화하는 데 사용되는 행동 반응 규범(BRN)과 공명한다(Dingemanse et al. 2010). BRN은 등급화된 매개변수(예: 스트레스: 상황별 그라데이션)에 따라 변화하는 상황에 걸쳐 여러 시점에서 특성 관련 행동을 평가한다. 여러 맥락에 걸친 평균값은 유기체가 전형적으로 어떻게 행동하는지(성격)를 보여주고, 문맥에 걸친 분산/공분산은 유기체가 어떻게 적응하고 변화하는지(가소성)를 나타낸다.1
Whereas the developments above deal with changes in people’s personality traits across the life span, within generations and to context, other developments emphasize how the expression of behaviours associated with traits (trait expression) changes within individuals across situations. Roberts (2009) suggests that traits represent a function that determines the probability that a person will act in a particular way given a particular context. This resonates with behavioural reaction norms (BRNs) used to conceptualize personality in ecology (Dingemanse et al. 2010). A BRN assesses trait relevant behaviours at multiple time points across a context that varies along some graded parameter (e.g., stress: contextual gradient). The mean value across context indicates how the organism typically behaves (personality) and variance/covariance across context denotes how the organism adapts and changes (plasticity).1
Fleeson 외 연구진(Fleeson 2004; Fleeson and Law 2015 참조)은 인간의 성격에 유사한 접근방식인 밀도 분포 접근법을 적용했다. 여기서 특성 관련 행동(예: '성실성: 지난 30분 동안, 얼마나 열심히 일했는가?')에 대한 여러 평가가 여러 맥락에 걸쳐 수집된다. 성격과 가소성이 모두 관찰되었다(그림 2 참조). 또한, 1일차의 일반적인 행동은 다음 날의 전형적인 행동을 예측하였다(안정성). 전통적인 성격 척도와의 평가와 관련하여, Fleeson 등은 표준 성격 척도(-1 SD)에서 낮은 점수(-1 SD)에 비해 높은 점수(+1 SD)를 획득한 사람에 대해 분포가 오른쪽으로 이동한다는 것을 보여주었다(그림 3 참조). 그래서 예를 들어, 높은 성실성을 지닌 사람들도 여전히 때때로 낮은 성실성을 보일 것이다.
Fleeson et al. (see Fleeson 2004; Fleeson and Law 2015) applied a similar approach to human personality: the density-distribution approach. Here multiple assessments of trait relevant behaviours (e.g., for conscientiousness: ‘During the last half hour, how hardworking have you been?) are collected across contexts. Both personality and plasticity were observed (see Fig. 2). Furthermore, typical behaviour on 1 day predicted typical behaviour the next day (stability). In relation to assessment with traditional personality scales, Fleeson et al. showed that the distribution shifts to the right for those who score high (?1 SD), compared to low (-1 SD), on a standard personality scale (see Fig. 3). So, for example, high conscientious people will still express some low conscientiousness at times.
요컨대, 성격은 여러 맥락에 걸친 전형적인 행동, 안정성과 가소성을 모두 반영하는데, 전통적인 성격자료는 가소성이 아닌 전형적인 행동적 경향만을 취한다.
In sum, personality reflects both typical behaviour, stability and plasticity across contexts, and traditional personality inventories pick up only typical behavioural tendencies but not plasticity.
의료 선택 연구에 대한 시사점
Implications for medical selection research
현재 의료훈련의 기능으로서 인성이 어떻게 변하는지 등에 대한 자료는 없다. 이러한 검사는 의대생과 내과의사의 의학적 직업에 대한 적응성을 예측하는 데 중요하다. 예를 들어 의료 훈련이 성실성 수준을 변화시킨다면, 그것은 훈련병/의사들을 더 성실하게 만들 것인가 아니면 덜 성실하게 만들 것인가?
At present, there are no data on how personality changes as a function of medical training. Such an examination is important for predicting adaptability of medical students and physicians to a career in medicine. If medical training changes levels of conscientiousness for example, does it make the trainee/physician more or less conscientious?
전통적인 접근방식은 성격 변화를 고려하지 않지만(퍼거슨 2013), 성격 변화가 예측 모델의 일부가 될 필요가 있다는 것은 분명하다.
The traditional approach does not consider personality change (Ferguson 2013), but it is clear that personality change needs to be part of any predictive model.
특성 표현과 특징으로부터의 맥락별 예측은 또한 맥락에 따라 - 성실성과 같은 특징이 높은 사람들이, 그러한 행동을 표현하기 더 쉽거나 덜 가능성이 있다는 것을 암시한다.
Trait expression and the context specific prediction from traits also implies that depending on context—people high on a trait, such as conscientiousness, may be more or less likely to express that behaviour.
따라서 trait의 예측 타당성은 맥락에 따라 달라지며, 우리는 의료 경력 전반에 걸친 차이 예측뿐만 아니라 이것이 성격 변화에 어떻게 영향을 미치고 영향을 받는지 알 필요가 있다.
Thus, the predictive validity of the trait is context dependent and we need to not only know about differential prediction across the medical career but also how this influences and is influenced by personality change.
신화/오해 2: 어둡고 밝은 면
Myth/misunderstanding 2: the dark and bright sides
어떤 특성은 '좋은'(양심적인) 것이고, 어떤 특성은 '나쁜'(신경학적)이라는 가정이 있다. 그러나 최근의 연구 결과는 '좋은' 특성도 '어두운 측면'을, '나쁜' 특성도 ''밝은 측면'''을 가지고 있다는 것을 보여준다(Boyce et al. 2010; Ferguson et al. 2014). 예를 들어, 신경증에는 불안감이 그 측면의 하나로서, 위험에 대한 경계심 강화라는 측면에서 이익을 가져오지만, 비용: 스트레스에 대한 부정적인 반응(진화적 설명은 쐐기 2006 참조)이 수반된다.
There is an assumption that some traits are ‘‘good’’ (conscientiousness) and others are ‘‘bad’’ (neuroticism). However, recent findings show that ‘‘good’’ traits have a ‘‘dark-side’’ and ‘‘bad’’ traits a ‘‘bright-side’’ (Boyce et al. 2010; Ferguson et al. 2014). For example, neuroticism has anxiety as a one of its facets, which brings benefits in terms of increased vigilance to danger, but carries a cost: negative reactions to stress (see Nettle 2006 for an evolutionary explanation).
위디거와 멀린스위트(2008)는 이 아이디어를 더 발전시키면서 빅5 특성은 적응력이 부족하거나 정상적인 행동과 관련이 있을 수 있으며, 이러한 특성은 높은high 행동과 낮은low 행동으로 더 세분화되어야 한다고 제안한다. 따라서
부적응적 높은 성실성(근본적이고, 단일한 마음),
부적응적 낮은 성실성(관심 없고, 엉성하고),
정상적인 낮은 성실성(구체적이고, 지략적인)은 모두 좋은 성과를 억제하는 반면,
정상적인 높은 성실성(조직적이고, 지략적인)은 성과를 높일 것이다.
Developing this idea further, Widiger and Mullins-Sweatt (2008) suggest the Big 5 traits may be related to behaviours that are associated with being either maladaptive or normal, with these further divided into high and low. Thus,
maladaptive high conscientiousness (ridged, single minded),
maladaptive low conscientiousness (careless, sloppy) and
normal low conscientiousness (disorganized) would all hinder good performance,
whereas normal high conscientiousness (organized, resourceful) would enhance it.
이는 곡선 함수가 특성을 성과와 연결한다는 것을 시사한다. 예를 들어, 너무 적은 성실함과 너무 많은 성실함은 문제가 될 수 있는 반면, 단지 충분한 양의 양심('골디락스의 가설')이 최적의 해결책이다(Martin and Keyes 2015).
This suggests that a curvilinear function links the trait to performance. For example, too little conscientiousness and too much conscientiousness may be problematic, whereas just enough conscientiousness (the ‘‘Goldilocks’ hypothesis’’) is the optimal solution (Martin and Keyes 2015).
의료 선택 연구에 대한 시사점
Implications for medical selection research
그 의미는, 의학에서 전형적으로 선발의 핵심으로 여겨지는 "좋은" 특성들이, 성실성과 마찬가지로, 어두운 면을 지니고 있을지도 모른다는 것이다. 실제로 의료 분야에서는 이에 대한 증거가 있다(Ferguson et al. 2003, 2014). 퍼거슨 외 연구진(2014년)은 양심성이 임상 지식의 부정적인 예측 변수지만 약간의 불안이 임상 기술 발달에 도움이 된다는 것을 보여주었다. 이러한 생각은 공감과 같은 특징으로 확장될 수 있다. 다만, 정신질환에 대한 민감성, 통증 문턱 감소, 정신이상학 측면에서 공감과 관련된 비용이 있다(퍼거슨 2016 참조).
The implication is that ‘‘good’’ traits that are typically seen as key to select in medicine, like conscientiousness, may carry a dark-side. Indeed, there is evidence for this in medicine (Ferguson et al. 2003, 2014). Ferguson et al. (2014) showed that conscientiousness was a negative predictor of clinical knowledge, but that a little anxiety aided clinical skills development. This idea can be extended to a trait like empathy, However, there are costs associated with empathy in terms of susceptibility to psychological illness, reduced pain thresholds, and psychopathology (see Ferguson 2016).
그러므로 의심할 여지 없이 미덕과 가치는 돌봄적caring 의료 시스템의 핵심이지만, 공감의 잠재적인 어두운 면을 고려하거나 테스트를 하지 않고, 무조건적으로 그러한 '좋은' 특성을 선택하는 것은 너무 단순하고 심지어 역효과적일 수도 있다. 실제로 최근의 증거는 보호자에 대한 감정이입이 비용을 수반할 수 있다는 것을 보여준다(Manczak et al. 2016 참조). 게다가 골디락스의 가설은 선택이 최적의 특성 수준에 초점을 맞춰야 한다는 것을 암시한다. 문제는 그 최적의 수준을 어떻게 식별하느냐 하는 것이다.2
Thus, while undoubtedly virtue and values, are key to a caring medical system, without considering the potential dark-side of empathy, and testing for it, selecting such a ‘good’ trait may be too simplistic and even counterproductive. Indeed, recent evidence shows that empathy in carers may carry costs (see Manczak et al. 2016). Furthermore, the Goldilocks’ hypothesis suggests that selection should focus on the optimal level of trait. The issue is how to identify that optimal level.2
성격 측정의 발전: 의료 선택 관행을 위한 몇 가지 해결책
Developments in personality measurement: some solutions for medical selection practice
위와 같은 우리의 검토는 성격평가가 '맥락적 민감성' 또는 '특성 표현trait expression'에 대한 일부 평가에 대해 최소한 허용해야 한다는 것을 시사한다. 또한 성격적 특성의 밝고 어두운 면에 모두 주의를 기울여야 한다.
Our review above suggests that personality assessment should allow at the very least for some assessment of ‘contextual sensitivities’ or ‘trait expression’. In addition, there should be attention to both bright and dark sides of personality traits.
맥락화된 성격 측정
Contextualized measures of personality
맥락화된 성격측정 도구는 일반적으로 기존의 일반 품목에 '태그'를 추가한다. 그러한 태그의 예는 "직장에서" 또는 "학교에서"이다(Lievens et al. 2008). 고용 영역의 최근 메타 분석(Shaffer and Postlethwaite 2012)은 이러한 단순한 태그를 일반적인 성격 척도에 추가하는 것이 직무 성과 예측을 위한 성격 점수의 타당도를 실질적으로 높인다고 밝혔다.
Contextualized personality inventories typically add a tag to existing generic items. Examples of such tags are ‘‘at-work’’ or ‘‘at-school’’ (Lievens et al. 2008). A recent metaanalysis in the employment domain (Shaffer and Postlethwaite 2012) revealed that adding such simple tags to a generic personality scale substantially raised the validity of the personality scores for predicting job performance.
또 다른 접근방식은 특성과 연관된 맥락특이적 동기에 초점을 맞추는 것이다. 맥락화에 대한 이러한 접근방식은 '5가지 개별 반응 규범'에 의해 예시되는데, 이 규범에서는 재고(FIRNI)가 5-요인 모델 치수를 한정된 등급의 환경 자극에 대한 사람들의 동기적 반응에서 안정적인 개인 차이로 개념화한다."(Denissen과 Penke 2008: 페이지 1297).
Another approach is to focus on context specific motivations linked to a trait. This approach to contextualization is exemplified by the Five Individual Reaction Norms ‘‘…which Inventory (FIRNI) conceptualizes the Five-Factor Model dimensions as stable individual differences in people’s motivational reactions to circumscribed classes of environmental stimuli’’ (Denissen and Penke 2008: p. 1297).
예를 들어 FIRNI 항목
'내가 계획을 실행할 때 나는 단기적인 필요에 의해 쉽게 내 자신을 흐트러뜨리지 않는다'는 것을
'환자들을 대할 때 나는 단기적인 필요에 의해 쉽게 내 자신을 흐트러뜨리지 않을 것이다'라고 다시 쓸 수 있다.
For example the FIRNI item
‘‘When I am acting on a plan I do not easily let myself be distracted by short-term needs’’ could be re-written as
‘‘When dealing with patients I would not easily let myself be distracted by short-term needs.’’
의료 선택 연구에 대한 시사점
Implications for medical selection research
성실성과 같은 특징에 "환자를 대할 때"와 같은 맥락화된 태그를 추가하는 것은 간단해 보일 수 있다(Jackson et al. 2010). 그러나 이러한 태그는 신중하게 고려할 필요가 있다. 예를 들어,
어떤 맥락을 태그로 달아야 하는가?
또한 지원자들은 (다양한 업무 경험을 가지고 있지 않은 한) 그러한 맥락에서 그들이 전형적으로 어떻게 반응할 것인지 말할 수 없을 것이다('환자들을 대할 때 나는 매우 유능한 사람이다').
마지막으로, 사용된 태그의 특수성은 아마도 예측하고자 하는 결과 측정치를 반영해야 한다는 점에 유의해야 한다. 즉, 일반적 general 결과 측정(생활만족도, 웰빙)은 전통적인 일반적 성격 재고를 통해 가장 잘 예측되는 반면, 보다 좁고 세분화된 narrow and fine-grained 결과 측정은 그 반대다.
It may seem straightforward to add contextualized tags such as ‘‘when dealing with patients’’ to traits like conscientiousness (Jackson et al. 2010). However, these tags need to be carefully considered. For example,
what contexts should be tagged?
Also applicants (unless having had extensive work experience) would not be able to say how they would typically react in such a context (‘‘When dealing with patients I am a very competent person’’).
Last, it should be noted that the specificity of the tags used should probably mirror the outcome measures that one wants to predict. That is, general outcome measures (life satisfaction, well-being) are best predicted with traditional generic personality inventories, whereas the opposite is true for more narrow and fine-grained outcome measures.
특성표현
Trait expression
상황판단시험(SJT)은 상황과 관련하여 성격을 측정할 수 있는 훨씬 더 많은 가능성을 제공한다.
Situational judgment tests (SJTs) offer even more possibilities for measuring personality in relation to situations.
새로운 개발은 사람들의 성격에 대한 지위를 유추하도록 설계된 SJT를 사용하는 것으로 구성된다(Motowidlo et al. 2006; Lievens and Motowidlo 2015). 그러한 SJT는 특정 성격 특성(예: 원만성)을 활성화한 다음, 그 만족도 면에서 다른 대응 옵션을 나열하는 상황을 제시한다. SJT의 기본 논리는 원만성에 높은 점수를 받은 사람일수록 주어진 상황에서 효과적인 (원만성) 반응이 무엇인지에 대해 보다 정확한 믿음(묵시적 특성 정책, Motowidlo et al. 2006)을 가지고 있기 때문에 다양한 옵션을 더 잘 구별할 수 있을 것이라는 것이다. 그러므로 암묵적 특성 정책은 그 맥락에서 효과적일 특성과 연결된 행동에 대한 절차적 지식을 포착한다.
A new development consists of using SJTs designed to infer people’s standing on personality (Motowidlo et al. 2006; Lievens and Motowidlo 2015). Such SJTs present a situation that activates a specific personality trait (e.g., agreeableness) and then lists response options that differ in terms of their level of agreeableness. The underlying logic is that people who score high on agreeableness will be better able to discriminate between the different options because they posses more accurate beliefs (referred to as implicit trait policies, Motowidlo et al. 2006), of what an effective agreeable reaction is in that given situation. Thus, implicit trait policies capture procedural knowledge about the behaviour linked to the trait that would be effective in that context.
의료 선택 연구에 대한 시사점
Implications for medical selection research
성격에 대한 타인-보고 및 암시적 성격 측정
Other-reports and implicit personality measures
다양한 상황에 걸쳐 목표물에 잘 아는 사람에 의해 누군가의 성격에 대한 타인의 보고들은 누군가의 명성을 밝혀준다. (호건과 셸턴 1998) 타인의 성격 보고는 일반적으로 자체 보고와 동일한 인벤토리를 통해서 얻어지며, 두 개의 메타 분석은 타인의 성격 보고가 유효하며 자기 보고의 예측 타당성를 실질적으로 더 높여준다는 것을 보여주었다(Connelly and Ones 2010; Oh et al. 2011). 위에서 검토한 증거는 스스로 보고된 성격이 환경적 우발상황과 사건에 대응하여 변할 수 있다는 것을 보여준다. 만약 개인의 자기 보고된 성격이 환경적 요인(예: 인생 사건, 시험 스트레스)과 관련하여 변화한다면, 문제는 잘 아는 동료들이 이것을 포착하여 목표 성격에 유사한 변화를 나타낼 수 있는지 또는 관찰자들에게 반드시 명백하지 않은 변화인지에 관한 것이다. 어떤 사람들은 그들의 성격과 관련된 행동의 변화를 관리할 수 있기 때문에 지인들은 그것을 이해하지 못하는 반면 다른 사람들은 그렇지 않을 수도 있다. 변화와 관련하여 개인에 대한 동료와 자기 보고 사이의 차이는 평판 및/또는 인상 관리 지표를 제공할 수 있다.
Other-reports of someone’s personality, by a person well acquainted to the target across a diversity of situations, sheds light on someone’s reputation (Hogan and Shelton 1998). Other-reports are typically obtained with the same inventories as self-reports and two meta-analyses showed that other-reports of personality are valid and substantially add incremental predictive validity over self-reports (Connelly and Ones 2010; Oh et al. 2011). The evidence reviewed above shows that self-reported personality can change in response to environmental contingencies and events. If an individual’s self-reported personality changes with respect to environmental factors (e.g., life events, exam stress), the question is whether their well acquainted peers are able to pick this up and indicate similar changes in the targets personality, or is the change not necessarily apparent to observers. It may be that some people are able to manage their expression of personality relevant behaviour change so acquaintances do not pick it up whereas others do not. Difference between peer and self-reports of personality, with respect to change, may provide an index of reputation and/or impression management.
성격에 대한 암묵적 척도와 명시적 척도의 중요한 차이점은 명시적 척도의 검사도구(예: NEO-PI)는 자신의 성격을 직접적으로 설명하도록 요구하는 반면, 전자는 누군가의 성격을 유추한다는 것이다. 예를 들어, 사람들은 연관성을 만들거나 문장을 완성하거나 그림을 배열하도록 요구 받고, 그들의 반응은 그들의 성격을 추론하는 데 사용된다(Uhlmann et al. 2012). 이중 시스템 프레임워크 내에서, 암묵적 측정은 직관적이고 빠른 처리를 하는 반면, 전통적인 명시적 측정은 느리고 숙의적인 처리를 평가한다(Strack and Deutsch 2004). 이처럼 암묵적·명확한 인성 대책이 서로 다른 과정을 두드리고 있다. 실제로 빅5의 암묵적 조치와 명시적 조치 사이의 연관성은 낮지만 일반적으로 신경증, 외향적 조치, 성실성 조치에 대해서는 가장 강력하다(그림과 폰 콜라니 2007; 슈무클 외 2008; 스테펜스와 코닉 2006; 비아넬로 외 2013 참조). 암묵적 성격 측정은 명시적 성격 측정치 이상에 추가적인 정보를 제공할 가능성이 있고, 자발적인 행동을 예측하며, 꾸며진 좋은 모습에 덜 취약하다.
The key difference between implicit and explicit measures of personality is that the latter inventories (e.g., NEO-PI) ask someone directly to describe their personality, whereas the former infer someone’s personality. For example, people are asked to make associations, complete sentences or arrange pictures and their responses are used to infer their personality (Uhlmann et al. 2012). Within a dual-system framework, implicit measures tap intuitive and fast processing, whereas traditional explicit measures assess slow and deliberative processing (Strack and Deutsch 2004). As such, implicit and explicit personality measures are tapping different processes. Indeed, the association between implicit and explicit measures of the Big 5 are low, but generally strongest for neuroticism, extraversion, and conscientiousness (see Grimm and von Collani 2007; Schmukle et al. 2008; Steffens and Konig 2006; Vianello et al. 2013). Implicit personality measurement has the potential to add extra information over and above explicit personality measures (Back et al. 2007; Lang et al. 2012; Uhlmann et al. 2012), predict spontaneous behaviours (Steffens and Konig 2006), and are less susceptible to faking good (Vecchione et al. 2014).
의료 선택 연구에 대한 시사점
Implications for medical selection research
의료 선택에서, 5-요인 모델 재고에 기초한 타인 성격 보고는 사용되지 않았다. 단, 성격 5요소 모델에 기초하여 구성된 참고 자료와 추천서를 통해 운영될 수 있다(예: 인사 선발에서 테일러 외 참조). 2004).
In medical selection, other-reports based on Five-Factor Model inventories have not been used. Yet, they could be operationalized through references and letters of recommendation that are structured based on the Five-Factor Model of personality (for an example in personnel selection, see Taylor et al. 2004).
조건부 추론 시험은 다음과 같다.
conditional reasoning tests,
여기 수험생들에게 상황들과 가능한 반응들이 제시되어 있는데, 이것은 전통적인 추리 항목과 결합되어 있다. 상황으로부터 가장 논리적으로 적절한 대응을 선택하라는 것이다. 예를 들어, 공격성에 대한 조건부 추론 시험에서, 네 가지 반응은 서로 다른 정당성 메커니즘을 언급하는데, 이들 중 일부는 그러한 대응 옵션에 대한 반복적인 지지와 함께 공격성을 나타낸다. 리뷰에 따르면 공격성에 대한 조건부 추론 테스트의 예측 타당성은 자기 보고 성격 측정의 하나(베리 외 2010)와 유사하다. 또한 피검사자에게 이 검사가 (조건부 추론이 아니라) 공격성을 측정한다는 말을 해주지 않는 한, faking good에 취약하지 않다(Lebreton 외 2007).
Here test-takers are presented with situations and possible responses, which are interwoven with traditional reasoning items. They are asked to select the response that follows most logically from the situation. In a conditional reasoning test of aggression, for instance, the four responses refer to different justification mechanisms, with some of them indicating more aggressive tendencies of the endorser, with repeated endorsements of such response options indicative of aggressiveness. Reviews show that the predictive validity of conditional reasoning tests of aggression is similar to the one of self-report personality measures (Berry et al. 2010) and that they are not susceptible to faking good unless people are told that the test measures aggressiveness instead of conditional reasoning (LeBreton et al. 2007).
예측 유효성 문제 및 특성 변화
Predictive validity issues and trait change
그림 4. 따라서 유효 계수 예측은 (tn)과 (tn?1) (이러한 계수는 초기 수준과 잔차 변화에 대한 제어에 사용될 수 있다) 이전 훈련을 위한 제어로 표현될 수 있다. 따라서 우리는 다음과 같은 질문을 할 수 있다.
(1) 선발(tn) 시 특성 점수는 훈련 백본 전체에 걸쳐 균등하게 예측하는가?(추정 예측 타당성), 강도 또는 방향이 변경화하는가?
(2) 근위부 평가(tn+1)가 원위부 평가보다 강한 예측력을 가지는가?
(3) 중요한 것은 성격의 변화 정도인가? (그렇다면 변화의 예측 변수를 식별하는 것이 중요해진다).
Fig. 4. Thus, predictive the validity coefficients can be expressed as (tn) and (tn?1) (these can be used to control for initial levels and residual change) controlling for previous training. Thus we can ask if
(1) trait scores at selection (tn) predict across the training backbone equally (generalized predictive validity), or if the strength or direction changes,
(2) if proximal assessments (tn+1) have stronger predictive power than distal ones or
(3) if it is the degree of trait change that matters (if so it becomes important to identify predictors of change).
에필로그
Epilogue
현재 의학에서의 선발에 대해 성격에 관한 문헌에는 세 가지 큰 gap이 있다.
(1) 성격 변화와 의료 전문가의 건강 및 성과에 미치는 영향에 대한 데이터 부족
(2) 특성 표현 및 맥락적 민감도의 평가 결여 및
(3) '밝고'와 '어두운' 성격의 면과 의료 전문가의 성과에 대한 의미를 제대로 인식하지 못한다.
There are three big gaps at this time in the literature of medical selection with respect to personality:
(1) lack of data on personality change and its implications for healthcare professional’s health and performance,
(2) the lack of assessment of trait expression and context sensitivity, and
(3) no real recognition of the ‘bright’ and ‘dark’ sides of personality and again its implications for healthcare professionals’ performance.
의료 훈련의 강도와 성질은 성격 변화를 초래할 가능성이 매우 높다(Ludtke et al. 2011), 또한 의료 훈련 맥락의 변화는 특성의 '어두운 측면'과 '밝은 측면'이 훈련의 특정 측면과 관련하여 특정한 역할을 하게 된다는 것을 의미한다(Fergusson et al. 2014).
The intensity and nature of medical training is very likely to result in personality change (Ludtke et al. 2011), also the changing medical training context is going to mean that ‘dark-side’ and ‘bright-side’ aspects of traits will have particular roles to play with respect to specific aspects of training (Ferguson et al. 2014).
전체적인 함축적 의미는 '전반적으로 긍정적인 예측 타당성을 갖는 특성을 선택한다'는 전통적인 모델 자체가 [역동적 특성 변화와 특성 표현의 맥락 특이성]에 직면하면 타당적이 제한된다는 것이다. 최소한 전통적 접근법을 사용하는 경우, 그 특성이 선발의 맥락에서 '어두운 부분'이 있는지 탐구하기 위해 분석을 실시해야 한다. 우리는 또한 이러한 맥락에서 특성이 어떻게 변하는지 알 필요가 있다. '변화'가 예측 모델에 고려되지 않으면 이러한 모델은 타당성 계수를 인위적으로 과소 추정하거나 과대 추정할 수 있다. 또한, 어떤 특성이 변화하고 누구를 위해 변화하는지 파악함으로써 우리는 훨씬 더 강하고 더 정확한 예측 모델을 개발할 수 있는 위치에 있게 될 것이다.
The overall implication is that the traditional model of ‘‘selecting on a trait that has overall positive predictive validity’’ is itself of limited validity in the face of dynamic trait change and context specificity of trait expression. At a minimum, if the traditional approach is used, then analyses should be conducted to explore if the trait has any ‘darksides’ in the context of medical selection. We also need to know how traits change in this context. If change is not factored into the predictive models, then these models may well artificially under-or over-estimate validity coefficients. Also, by knowing which traits change and for whom we will be in a position to develop much stronger and more precise predictive models.
예를 들어, 우리는 가장 작은 변화지만 예측력에 있어 가장 높은 가치를 보여주는 특성 수준을 선택할 수 있다. 아니면 우리는 특성 변화가 가장 크게 일어날 가능성이 있는 사람들을 식별할 수 있을 것이다. 이러한 변화가 도움이 될 경우(예: 인성 변화와 관리를 의료 교육의 일부로 다루는 것, Jackson et al. 2012; Hudson and Fraley 2015) 도움이 될 수 있다.
For example, we might select the level of the trait that shows the least change but the highest overall predictive value. Or we might identify those for whom greatest trait change is likely. If this change is likely to be detrimental interventions to help can be put into place (e.g., treating personality change and management as part of medical education as well as selection, Jackson et al. 2012; Hudson and Fraley 2015).
Ferguson, E. (2016). Empathy: The good, the bad and the ugly. In A. Wood & J. Johnson (Eds.), Positive clinical psychology: An integrative approach to studying and improving well-being (pp. 103–125). London: Wiley.
Ferguson, E., Semper, H., Yates, J., Fitzgerald, J. E., Skatova, A., & James, D. (2014). The ‘dark side’ and ‘bright side’ of personality: When too much conscientiousness and too little anxiety are detrimental to the acquisition of medical knowledge and skill. PLoS ONE, 9(2), e8860. doi:10.1371/journal.pone. 0088606.
.2017 May;22(2):387-399.
doi: 10.1007/s10459-016-9751-0.Epub 2017 Feb 20.
Future directions in personality, occupational and medical selection: myths, misunderstandings, measurement, and suggestions
This paper has two objectives: (1) presenting recent advances in personality theory whereby personality traits are conceptualized within a framework that focuses on the dynamic interactions of behaviour, biology, context, and states, and (2) discussing the implications of these developments for measurement and medical selection. We start by presenting evidence that traits are no longer regarded as stable deterministic predictors of behaviour. Instead, traits are found to change across generations, the life span, and in response to environmental contingencies. Thus, there is an urgent need to explore how traits change as function of medical education. Second, drawing on recent theory and research (behavioural reaction norms and the density distribution model) we highlight evidence to show how the expression of trait relevant behaviour is dependent on context, and is distributed with an average (typical behaviour or personality) and a variance (plasticity or adaptability), with traditional personality measure associated with typical responding. Third, we demystify that some traits are better than others showing that so-called "good" traits have a dark-side. Fourth, we show how these developments impact on how personality might be assessed, thereby presenting recent evidence on the use of contextualized personality measures, situational judgment tests, other reports, and implicit measures. Throughout the paper, we outline the key implications of these developments for medical selection practices.
Keywords:Behavioural reaction norms; Contextualization; Five Factor Model; Health; Implicit measures; Medical selection; Personality; Personality change; Situational judgement tests.
Chante De Freitas,1,2 Lawrence Grierson1,2,3 & Meredith Vanstone1,2,3
메리토크라시는 의학 교육에 깊이 뿌리박고 있는 이상이다: 능력에 대한 대화는 의과대학의 거의 모든 입학, 평가, 교정 과정에 스며들어 있다. 의대 입시와 관련된 질문을 고려하기 위해 '사회적 책임 렌즈'를 사용하는 연구자들로서, 우리는 그것이 종종 입학업무의 지침원리guiding principle로서 떠오르기 때문에 흥미로운 개념을 얻을 가치가 있다고 생각한다.
Meritocracy is an ideal rooted deeply in medical education: conversations about merit permeate almost every admissions, assessment and remediation process in medical school. As researchers using a social accountability lens through which to consider questions relevant to medical school admissions, we find merit an intriguing concept because it is often evoked as a guiding principle in admissions work.
Merit에는 변증적 의미와 함축적 의미 둘 다 있지만 분야 내에서 권위 있는 개념화가 부족하다. 의학 교육에서 장점이 무엇을 의미하는지 이해하기 위해, 우리는 옥스포드 영어 사전조차도 장점을 개인적 속성('표창할 수 있는 품질, 우수성, 좋은 점')과 보상에 대한 요구('뭔가를 받을 자격이 있는 품질 또는 보상이나 감사받을 자격이 있는 것') 등 다양한 정의를 제공하고 있다는 점에 주목한다.').1 이러한 정의를 바탕으로 볼 때, 능력은 [사회적 정의social justice]와 [부가적 가치added value] 모두의 문제로 볼 수 있다.
Merit has multiple meanings, both denotative and connotative, but lacks an authoritative conceptualisation within the field. Towards an understanding of what merit means in medical education, we note that even the Oxford English Dictionary offers multiple definitions, describing merit as both a personal attribute (‘a commendable quality, an excellence, a good point’) and as a claim for reward (‘the quality of deserving well, or of being entitled to a reward or gratitude’).1 Based on these definitions, merit can be seen as a matter of both social justice and added value.
의대 입시에 사용되는 능력 지표는 [의사의 훌륭한 자질]을 입증하는 자가 [의사가 될 자격이 있는 자]임을 보장해야 한다는 아이디어라고 볼 수 있다.
The idea is that the indicators of merit used for medical school admissions should ensure that those who demonstrate the commendable qualities of physicians are those who are entitled to be physicians.
의학교육은 능력주의, 즉 자신의 강점과 노력에 의해 위계 내 자신의 위치가 결정되는 사회제도라고 자부한다.2,3 그 결과 의대입학 과정이 조직되어 개별 지원자에게 입학허가를 보상한다. 이런 유형의 능력주의는 학점 평균과 의과대학 입학시험(MCAT) 점수와 같은 성적 척도가 각 입학 주기에 수천 명의 지원자를 더 쉽게 분류할 수 있도록 한다는 점에서 유용하다. (이런 능력주의는) 모든 신청자가 자신의 칭찬할 만한 자질을 입증하거나 향상시킬 수 있는 기회를 똑같이 이용할 수 있는 것은 아니라는 현실을 흐리게 한다는 점에서 부족하다. 즉, 신청자가 협소한 관련 업적목록을 통해 자신의 장점을 발휘할 수 있는 기회는 사회적, 경제적, 정치적 맥락에 의해 크게 영향을 받는다.
As a field, medical education prides itself on being a meritocracy, or a social system in which one’s place in the hierarchy is determined by one’s own strengths and efforts.2,3 As a result, medical school admissions processes are organised to reward individual applicants with an admission offer. This type of meritocracy is useful in that measures of merit, such as grade point average and Medical College Admission Test (MCAT) scores, make it easier for admissions committees to sort through thousands of applicants each admissions cycle. It falls short in that it obscures the reality that not every applicant has the same access to opportunities to demonstrate or enhance his or her commendable qualities. That is, the chance for applicants to exhibit their merit through a narrow list of relevant achievements is affected strongly by their social, economic and political contexts.
대부분의 사람들은 우리가 의학 교육에서 자의적인 차별을 최소화해야 한다는 것에 동의한다. 그러나 이러한 입학 시스템은 지원자의 [medical career에 대한 접근을 제한하는 힘]을 고려하지 않는 '능력'의 이상적 모습을 뒷받침한다. 궁극적으로 이 체계는 의학에서 [적절한 대표성의 문제]로 해석된다.
Most agree that we should minimise arbitrary discrimination in medical education. However, these admissions systems uphold an ideal of merit that does not consider the forces that limit an applicant’s access to a medical career. Ultimately, this system translates into a problem of appropriate representation in medicine.
예를 들어, 캐나다의 경우, 50%의 가구가 매년 Can$70 336 이하의 소득을 가지고 있다.4 그러나 캐나다 의대생의 28% 미만만이 이 소득계층에 속하는 가구에서 온다.5 캐나다 인구의 인종적 구성과 의료 연수생의 인종적 구성 간에 유사한 불일치가 보인다.5
For example, in Canada, 50% of households have an income below Can$70 336 per year.4 However, less than 28% of Canadian medical students come from households in this income bracket.5 Similar discrepancies are seen between the ethnic makeup of the Canadian population and that of medical trainees.5
이러한 불평등을 해결하기 위해, 소수 의대 출신 학생들을 위한 긍정 조치affirmative action, 원주민과 아프리카계 미국인 학생들을 위한 전용 입학처, 그리고 고등학교 학생들을 위한 파이프라인과 멘토링 프로그램 같은 정책들이 일부 의대에 의해 채택되었다.
To address this inequity, policies such as affirmative action, dedicated admissions streams for Indigenous and African-American students, and pipeline and mentorship programmes for high school students from under-represented groups have been adopted by some medical schools
능력에 대한 보다 개념화는 넓히는 것은 사회 정의의 문제일 뿐만 아니라 가능한 한 최고의 의료 품질을 제공하는 것과도 관련된다. 모든 환자에 대한 개선된 관리를 추구하면서, 많은 의과대학들은 개별 환자와 지역사회 모두의 건강 관리 요구를 충족할 수 있는 의사 훈련의 중요성을 강조하는 사회적 책임 규정을 채택했다.6 이런 점에서, 우리 사회가 필요로 하는 의사들을 훈련시키기 위해서는, underrepresented 배경을 가진 학생들을 격려하는 것이 필수적이다.
(의료서비스의 관점에서) 의대생의 다양성을 증가시킨다는 것은 [부족한 영역에 대한 관리를 제공할 가능성이 높은 의사 수를 증가시키는 것]을 의미하며7 [지역사회에서 환자들을 진료할 때 더 큰 만족을 이끌어낼 가능성]이 있다.8
(교육의 관점에서) 다양한 코호트에서 학습의 몇 가지 교육적 이점을 보고한다.9 다양한 배경의 사람들과 함께 일할 수 있는 능력 향상, 대안적인 관점 고려, 인종 갈등에 직면한 상황에서 자기성찰, 그리고 의료 문제에 대한 사회적 부당성 인식 등
A broader conceptualisation of merit is not only a matter of social justice, but also one of providing the highest possible quality of care. In pursuing improved care for all patients, many medical schools have adopted social accountability mandates that emphasise the importance of training physicians who can meet the health care needs of both individual patients and communities.6 In this regard, encouraging qualified students from underrepresented backgrounds is essential in order to train the physicians our societies need.
Increasing the diversity of medical students means increasing the number of physicians likely to provide care to underserved areas7 and likely to elicit greater satisfaction when serving patients from their community.8
In the classroom, students report several educational benefits of learning in a diverse cohort, including improved abilities to work with people of different backgrounds, consider alternative points of view, self-reflect in the face of racial conflict, and recognise social injustice in health care matters.9
상황 판단과 개인적 특성은 의과대학에 의해 고려되었다.11,12 그러나 이러한 새로운 접근법을 확립할 때, 우리는 가치 담론이 포기되는 것이 아니라, 단지 모든 동일한 관심사에 대한 잠재력을 가진 새로운 기준에 따라 재편성된다는 것을 인식해야 한다. 따라서, 우리는 새로운 개념의 '능력'은 선별된 소수의 특권을 계속 재확립하는 것이 아니라, 기회의 불평등에 맞서서 잠재력을 인정할 수 있는 재량을 가진 프로그램에게 힘을 실어주어야empower 한다.
situational judgement and personal characteristics have been considered by medical schools.11,12 However, in establishing these new approaches, we must recognise that merit discourses are not abandoned, but only reorganised around new criteria with the potential for all of the same concerns. Thus, we must be diligent in ensuring that new conceptualisations of merit do not continue to reify privilege for a select few, but, rather, empower programmes with the leeway to acknowledge potential in the face of inequity of opportunity.
1Health Sciences Education Graduate Programme, Faculty of Health Sciences, McMaster University, Hamilton, Ontario, Canada.
2McMaster FHS Programme for Education Research, Innovation and Theory (MERIT), Faculty of Health Sciences, McMaster University, Hamilton, Ontario, Canada.
3Department of Family Medicine, Faculty of Health Sciences, McMaster University, Hamilton, Ontario, Canada.
이 논문에서는 문화적 신화를 살펴볼 것이다: 필요한 지적, 도덕성, 경험을 가진 사람이 의학이라는 천직으로 호출된다. 그 지위에 오르기를 원하는 사람들은 그들의 결단력과 능력을 보여줄 필요가 있을 뿐이며, 그들은 인정을 받을 것이다. '가장 뛰어나고 명석한 사람'이 과업task에 배정되면, 사회에 대한 전문직의 의무가 충족돼어, 전문직과 사회 사이의 사회적 계약을 지지할 것이다.
This is the cultural myth examined in this paper: persons with the requisite intellect, moral character and experiences are called to the vocation that is medicine. Those who wish to rise within its ranks need only demonstrate their determination and ability, and they will achieve recognition. When the “best and the brightest” are assigned to tasks, the profession's obligations to society are met, underpinning the social contract between the profession and society.
독자들은 왜 의학에 있어서의 능력주의 개념이 '신화'로 여겨져야 하는지에 대해 물을지도 모른다. 기술, 속성, 동기 등의 조합을 통해 특정 업무(예: "의학의 실천" 또는 "의학 내의 지도력")에서 성공할 가능성이 더 높은 개체가 있으며, 이러한 성공 가능성은 잘 짜여진 접근법을 통해 평가할 수 있다는 개념에 대해서는 문제를 제기하지 않는다. 우리는 관찰된 성과, 개인적 속성 및 동기에서 "수월성"이 어떻게 구성되는지, 그리고 이 "측정된 것"에 대한 문제를 제기할 것이다.
The reader might ask why the concept of the meritocracy in medicine should be considered a “myth”. We have no issue with the notion that there are some individuals who—through a combination of skills, attributes and motivations—are more likely to succeed at particular tasks (such as “the practice of medicine” or “leadership within medicine”), and that this likelihood to succeed can be assessed through well-designed approaches. We do have issues with how “excellence” in observed performance, personal attributes and motivations is constructed, and from this “measured”.
예를 들어, 우리는 "심폐소생 시나리오 내 리더십"의 속성에 대해 "6" 또는 "7"점을 선택해야 하는 상황에서, [성과 평가 시트에 리커트 척도 평가 점수]와 [관찰된 행동의 사회적 판단을 통해 평가자가 학습자의 인격("인성", 리더십)을 어떻게 파악하는지] 사이의 연결을 그릴 수 있는 조건을 제시하기를 희망한다.
To give an illustrative example, we hope to set the conditions by which the reader might be able to draw a link between a Likertscale assessment on a performance evaluation sheet, where a choice is made to give a “6” or a “7”, say, for the attribute of “leadership within a resuscitation scenario”, and how the learner's personhood (his or her “leadership”) is apprehended by the assessor through the social judgement of observed behaviours.
그렇다면 여기서 myth라는 용어를 사용하는 것은 [능력을 평가하는 것]이 신화라고 진술하는 것이 아니라, 그 내러티브가 우리의 담론과 의사결정 과정에서 우수성이 어떻게 구성되는가를 안내하는 것이라고 가정하는 것이다. 내러티브 렌즈를 통해 그러한 구조를 분석하는 것은 탁월함에 대한 더 나은 그리고 더 포괄적인 이해를 만드는 데 도움이 될 수 있다.
The use of the term “myth” here, then, is not to state that assessing merit is a myth, but rather to postulate that narratives guide how excellence is constructed in our discourse and decisionmaking processes. Analysing such constructs through the lens of a narrative can be helpful in creating better and more inclusive understandings of excellence.
만약 능력주의가 평가와 선발의 공정성에 달려있다면, 공정성은 "타당성", 특히 "심리측정적 타당성"의 개념에 달려 있다. "타당성"이란 무엇인가?
If the meritocracy depends upon fairness within assessment and selection, then fairness depends upon the notion of “validity”, in particular “psychometric validity”. What is “validity”?
타당성을 단순히 시험의 특성으로 이해된다면, "시험"은 내용과 맥락에 독립적이다.
타당성을 일련의 해석의 근거사슬로 본다면, 타당성은 특정 맥락 내에서의 과정에 더 가깝다.
타당성을 사회적 의무사항imperative으로 간주된다면, 평가 과정의 타당성에 있어서 '성과를 둘러싼 의사결정에 수반되는 결과'가 중요해진다.
저자들은 역량 기반 교육 내에서 위탁성 척도와 같은 새로운 형태의 평가는 사회적 판단을 활용하여 결정을 내리는 복잡한 구조로 학습자에게 긍정적이거나 부정적인 결과를 초래한다고 지적한다.
If validity is understood simply as a test characteristic, then “tests” are content and context independent.
Conversely, if validity is seen as part of an evidentiary chain of interpretation, then validity is more of a process within a particular context.
Finally, if validity is seen as a social imperative, then the consequences of decision making around performance also become important in the assessment processes’ validity.
The authors point out that newer forms of assessment, such as entrustability scales within competency-based education, are complex constructs that utilise social judgement to make decisions, with positive or negative consequences for the learner.
보건직에서 수행평가 내에서 사회적 판단은 어떻게 작용하는가? Gingerich et al2,3는 사회적 인식 이론을 사용하여 건강 직업의 평가자 기반 평가를 "사회적 판단"으로 분석하였다.
How does social judgement operate within performance assessment in the health professions? Gingerich et al2,3 have analysed rater-based assessments in the health professions as “social judgements”, using social cognition theory.
저자들은 백그라운드 노이즈로서 평가자 간 차이의 상당 부분이 [사회적 인식 차이]와 [참가자 자신의 주관성]으로 설명될 수 있다는 것을 보여주었다.
The authors showed that much of the background noise of interrater differences could be explained through social cognition differences and the rater's own subjectivity.
[성과 기반 평가]에서 "우수함" 또는 "능력"을 판정하기 위하여 [사회적 판단]이 작용한다면, 그렇다면 "능력"이란 것은 또한 [복잡한 사회적 방법으로 구성될 가능성]이 높다. 사회적 구성으로서, "능력"의 형태는 평가자가 속한 집단에 기초하여 배제적 결정(exclusionary practices)에 영향을 받기 쉽다(인종, 민족, 성별 등).
If social judgement operates within performance-based assessment for the assignation of “excellence” or “merit”, then it is quite likely that merit is also constructed in complex social ways. As social constructs, forms of merit are then susceptible to exclusionary practices based upon the group the assessee belongs to (race, ethnicity, gender and the like).
모든 문화 시스템에는 신화가 있다: 신화는 선택과 상호작용을 가이드하는 뿌리깊은 상징적 서술이다. 의학에서, 능력주의 신화는 의학이 "최고로 명석한 사람"을 위한 직업이라고 암시한다. 6 "능력"은 성취를 뜻하지만, 그 성취에 대해 칭찬할 가치가 있다는 의미도 있다.
All cultural systems have myths: deep symbolic narratives that guide choices and interactions. In medicine, the meritocracy myth suggests that medicine is a profession for “the best and the brightest”. 6 “Merit” means achievement, but it also means to be worthy of praise for that achievement.
위 자킨테의 이야기는 태스크포스(TF)의 구성원을 뽑는 일상적인 행동에서 '능력주의'와 같은 상징적 내러티브가 어떻게 나타날manifest 수 있는지를 잘 보여준다. 부서장은 태스크포스를 구성할 때, 높은 인지도를 가진 사람을 중심으로, 태스크포스 구성원을 선정하는데 "객관적인" 능력 기준을 사용해야 한다고 강조하였다. 이러한 기준은 어떻게, 그리고 누구에 의해 결정될 것인가?
Jacinthe's story above serves to illustrate how a symbolic narrative such as “meritocracy” can manifest itself in the mundane action of selecting members of a task force. The department chair has underlined that the task force will be high profile and that “objective” merit criteria should be used to select task force members. How will these criteria be determined, and by whom?
능력에 대한 기준을 개발하는 것은 무엇이 우수성인지 이름을 붙이고, 그 이름을 추상적이고 사회적으로 구성하여 측정할 수 있는 "무엇"으로 구체화하는 힘을 발휘하는 것이다. 이 우수성이 명명되고 있는 것처럼 교차점(백인 또는 남성)은 어떻게 힘을 나타냅니까? 우수성의 구조를 결정하는 데 있어서 사회적 네트워크와 사회적 자본, 즉 논의될 수도 있고 논의되지 않을 수도 있는 만남의 역할은 무엇인가?
To develop merit criteria is to exert the power to name excellence and to reify it from that which is abstract and socially constructed into a measurable “thing”. How do intersectionalities (being white or male) manifest power as this excellence is being named? What is the role of social networks and social capital—meetings where one might or might not be talked over—in determining constructs of excellence?
2. 방법
2 | METHODS
3 | 사일러스: "능력주의" 내의 특권을 표시하는 독자
3 | SILAS: MARKING THE PRIVILEGE WITHIN THE “MERITOCRACY”
사일라스는 의대 복도를 둘러보고 있었는데, 그들 모두가 얼마나 비슷한지, 그의 반에 새로 들어온 의대생들, 즉 젊고, 밝고, 착하고, 건강한, 백인, 그리고 (나중에 배운) 교육을 잘 받은 중상류층 부모의 아들과 딸들이 모두 얼마나 비슷한지 새삼스럽게 생각되었다. 그들은 모두 높은 점수로 고등학교를 졸업했고 모두 자연과학을 좋아했다. 뭐, 거의 다.
Silas was looking around the hallway of the medical school and it struck him how similar they all were, all the new medical students in his class: young, bright, nice, fit, white and (he later learned) sons and daughters of well-educated upper-middle-class parents. They all graduated from high school with high marks and they all liked natural science. Well, almost all.
학생들이 의대에 입학하면 의학이라는 문화적 시스템의 일부가 된다.7-9 사일라와 그의 급우들은 고등학교와 대학에서 높은 성적을 거두었다. 이것은 많은 일이 필요했지만, 그는 부모님의 지원(숙제 도움 포함)이 있었고, 공부하기에 좋은 조건(자신의 방, 컴퓨터, 방과후 근무할 필요 없음 등)이 있었기 때문에 그것을 성취했다. 평등주의적인 스칸디나비아 국가에서도 중산층 이상의 상위 계층의 아이는 노동자 계층의 아이보다 의대에 진학할 확률이 30배 이상 높다.11,11 사일라와 그의 또래들은 스스로의 노력을 통해 능력을 성취하지만, 동시에 의대에 들어오기에 아주 유리한 위치에 있기도 했다well positioned for.
When students enter medical school, they become part of the cultural system of medicine.7-9 Silas and his classmates have achieved high grades in high school and college. This has taken much work, but he achieved it because he had the support of his parents (including help with homework), and he had good conditions for studying (his own room, computer, no need to work after school, etc.). Even in an egalitarian Scandinavian nation state, a child from upper middle class is more than 30 times more likely to go to medical school than a child from the working class.10,11 Silas and his peers achieve merit through their work, but they are also well positioned for it.
봉사활동과 같은 과외활동이 의대생 입학기준에 포함되는 경우가 많다. 본질적으로, 자원봉사는 이타적 능력의 대리 표시로 사용된다. 그러나 기계적으로 보면, 봉사활동은 계급에 기반을 둔 것으로 보여진다: 누군가가 봉사활동을 할 수 있다는 것은, 유급 근로의 기회를 포기할 수 있는 수단이 있어야 함을 의미한다. 이는 의과대학생 선발에서 관찰되는 계급 편향의 메커니즘이다.
Extracurricular activities, such as volunteering, are often included in medical student admission criteria. Essentially, volunteering (community or international work to give examples) is used as a proxy marker for altruistic capacity. Mechanistically, volunteer activities have been shown, however, to be class based:12 one can only volunteer if one has the means to relinquish paid work opportunities, providing a mechanism for an observed class bias in medical student selection.
능력의 메커니즘은 종종 명시적으로 선언되지 않는다. 이것은 능력을 가진 사람에게 능력이란 자연스럽고 타고난 것처럼 보이게 하는 "능력에 대한 객관성"의 아우라를 촉진시킨다. 그러나 이는 다양한 "평가"에서 뛰어난 모습을 보이게끔 하는 개인의 능력에 계급과 같은 사회구조가 기여하는 바는 덮어두는obscuring 방식으로 이뤄진다.
Mechanisms of merit are not often declared explicitly. This facilitates an aura of objectivity about merit that makes it look natural and innate to the person holding it, when obscuring the contribution of social structures such as class to an individual's ability to be perceived as performing well in various “assessments”.
4 | 루이즈: 성별과 누가 영웅이 되는가
4 | LOUISE: GENDER AND WHO GETS TO BE A HERO
루이스는 내과에서 저녁 근무조의 인턴이었다. 그녀는 환자를 위해 실험실 결과를 검토하며 병동에 있었는데, 그녀의 남자 동료가 도착하여 간호사들에게 새로운 환자의 오더와 치료 계획을 재빨리 설명했다. 그리고는 급히 가버렸다. 그가 떠나자 간호사들은 그녀에게 고개를 돌려 새 환자에게 해야 할 모든 관찰에 대해 불평했다: '이것은 네가 처리해야 한다. 우리는 이것을 지지하지 않을 것이다. 그래서 그녀는 그렇게 했다. 다 처리했어.
Louise was an intern on evening shift in the Department of Internal Medicine. She was on the ward going through laboratory results for a patient, when her male colleague arrived and quickly explained the orders and treatment plan for a new patient to the nurses. He then rushed off. When he left, the nurses turned to her and complained about all the observations they had to perform on the new patient: ‘You have to take care of this. We will not stand for this’. And so she did. Took care of it all.
루이즈의 경험은 독특하지 않다. 의료 교육 및 실습에서의 성별 차이에 대한 연구는 [여성이 더 적은 도움을 받음에도, 더 넓은 범위의 업무와 문제를 처리할 것으로 기대된다는 것]을 일관되게 보여준다. 여성들이 남성들이 하지 않는 일을 하기에, 상대 남성들은 더 많은 이점을 얻고, 의료라는 계층에서 직업과 발전에 도움이 되는 활동에 자유롭게 참여할 수 있다. 따라서, 비록 여성들이 의과대학에 입학생의 대다수를 차지하지만, 그들이 더 높은 수준의 교수직, 지도적 지위, 그리고 외과 전문 분야에서 낮은 대표성을 유지하고 있다는 것은 놀라운 일이 아니다.13
Louise's experience is not unique. Studies of gender differences in medical education and practice show consistently that women are expected to take care of a wider spectrum of tasks and problems, when getting less help to do so. When women do the things men do not, their male counterparts are free to engage with activities that gain more merit and benefit their career and advancement in the medical hierarchy. Thus, it is not surprising that although women make up the majority of those entering medical classes, they remain underrepresented at higher levels of professorial rank, in leadership positions and in surgical specialties.13
일task 분배와 성취에서 관찰되는 성별 간 차이는 의료 능력주의 신화에 대한 도전장을 내민다. 의학의 장점이 그들이 열심히 그리고 잘 일해야 한다는 것을 받아들이는 모든 사람들에게 본질적으로 얻어질 수 있다면, 여성들은 남성들보다 더 높은 순위를 차지할 것이다. 연구들은 여성 의사들이 더 열심히 일하고 더 오래 일한다는 것을 보여주었고, 14명의 더 넓은 범위의 건강 문제를 관리했다.15 여성들은 더 많이 듣고 더 많은 시간을 환자와 함께 보낸다.13 여성들이 최신의 의학 연구 결과를 더 잘 활용한다는 것을 보여주는 연구들이 있다. 여성들은 진단 도구를 정확하게 사용하고 언제 더 잘해야 할지 더 잘 결정한다는 것을 보여준다. 또한, 그들은 팀에서 더 잘 일하고 복잡한 문제들을 더 효율적으로 관리한다.15 의학의 모든 중요한 척도로, 그들은 더 높은 장점을 얻어야 한다.
Observed gender differences in task distribution and attainment represent a challenge to the myth of medical meritocracy: if merit in medicine was essentially obtainable to all who accept that they have to work hard and well, women would outrank men. Studies have shown that female doctors work harder and longer,14 managing a wider spectrum of health problems.15 Women listen more and spend more time with patients.13 There are studies showing that women are better at making use of updated medical research findings,16 better at using diagnostic tools correctly17 and better at deciding when to operate on a patient.18 In addition, they work better in teams19 and manage complex problems more efficiently.15 By all important yardsticks in medicine, they should attain higher merit.
어떤 사람들은 성별의 차이를 출산과 양육에 대한 암묵적인 "세금" 때문으로 보고 있는데, 이것은 여성들에게 불균형적으로 부담이 된다. 그러나 최근 학계에서의 커리어를 상세히 기술한 연구는 다음과 같은 사실을 보여주었다: 자녀가 있는 남자라면 자녀가 없는 남자보다 교수 직급이 높을 가능성이 높다. 자녀가 없는 여자는 그 뒤를 따르며, 그리고 나서, 가장 뒤쪽에, 자녀가 있는 여자가 있다. 여기에는 분명, 임신, 출산, 양육이라는 세금 외에 그 이상의 무언가가 있음을 보여준다. 그렇지 않다면 여기서 순서가 달라졌어야 한다.
Some ascribe observed gender differences to an implicit “tax”20 on childbearing and rearing, the burden of which disproportionately falls on women, but a recent study detailing career paths for academics showed the following: if you are a man with children, you are more likely to hold higher professorial rank than a man without children, followed by a woman without children, and then, at the rear, by women with children.21 Clearly, something more is at play here than childbearing and rearing tax or else the group order in terms of academic success would have been different.
일부 질병과 특정 의학 전문분야에서 일하는 것에 따라오는 높은 명망higher prestige이 있으며, 반대로 다른 질병과 전문분야의 명망이 낮은 경우도 있다.
There is higher prestige in working with some diseases and within certain medical specialties, and correspondingly low prestige in other diseases and specialties.
이러한 "명망"의 위계는 [영웅의 여정과 일맥상통하는 임상적 일화와 이야기를 통해서] 시니어에서 주니어로 전달transfer된다.
The prestige hierarchy is transferred from senior to junior doctors through the telling of clinical anecdotes and stories that have a basic structure that aligns with the trope of the hero's journey
루이스의 경험을 이해할 수 있다: 의사들은 성별이 남성과 여성에 대해 서로 다른 기대와 규범을 설정하는 사회적 지표로 어떻게 사용되는지 알지 못할 수도 있다. 능력주의 신화 아래에는 영웅의 여정 이야기가 있으며, 이 영웅은 남자로 의인화personified되고, 질병과 전공의 위신/명망의 위계 지탱하는 내러티브로부터 지속적으로 영양을 공급받고 있다.
Louise's experience now makes more sense: doctors may not be aware of how gender is used as a social marker that sets up different expectations and norms for men and women. Beneath the myth of meritocracy is the story of a hero's journey, personified in the male doctor, continually nourished from the narratives that sustain the prestige hierarchies of diseases and specialties.
5 | IMTIAZ: 문화적 모호성 속에서 번창할 수 있는 능력을 보여주는 경험에 가치를 두는 독자
5 | IMTIAZ: VALUING EXPERIENCES THAT SHOW THE ABILITY TO THRIVE IN CULTURAL AMBIGUITY
임티아즈는 파키스탄에서 자랐지만 10대 때 어머니와 함께 스칸디나비아로 이주했다. 어떻게 하면 두 나라의 아이가 될 수 있을까, 어떻게 하면 어울릴 정체성을 만들어낼 수 있을까에 대한 그의 성찰은 매혹적이었지만, 대학에서 차로 한 시간 거리 내에 도시적 환경에서 자라난 나머지 우리들에게도 이질적이었다. 그는 의약과 전통적인 동양의료 체계 사이의 격차를 해소하는 것을 꿈꿨다. '거기에는 우리가 그리워하는 것이 있다. 하지만 어쩌면 우리는 그곳에 가기 위해 우리의 생각 중 일부를 포기해야 할지도 모른다'고 그는 말했다. 특히 힘든 일련의 시험이 끝난 뒤에야 그가 의과대학을 떠났다는 사실이 밝혀졌다.
Imtiaz grew up in Pakistan but moved to Scandinavia with his mother as a teenager. His reflections about how to be a child of two countries and how to create an identity to match were fascinating, but also alien to the rest of us, who had grown up in urban settings within an hour's drive from the university. He dreamed of bridging the gap between biomedicine and traditional Eastern health care systems. ‘There is something there that we miss. But maybe we have to give up some of our ideas to get there’ he said. It was only after a particularly tough series of examinations that it was discovered that he had left medicine.
서로 다른 사회 집단(성별, 인종, 민족 등)에서 온 사람들 사이에서 발생하는 차이differential attainment는 일반적으로 의학, 학술 의학 및 학계에 잘 문서화되어 있다.30-33 이것은 주로 두 가지 주요 구성 요소로 제시된다:
과소대표된 집단이 경험하는 결여사항deficiencies과 장벽을 해결함 (지원자에게 초점이 맞춰져 있다면, 지원자는 다양한 형태의 우수성을 입증해야 "능력있음meritorious"으로 보일 수 있다.)
선발 단계에서의 편견에 직면함 (선발자의 선발 방법에 초점이 맞춰져 있는 경우).
Differential attainment for persons from different social groups (gender, race, ethnicity and the like) is well documented within medicine, academic medicine and academia in general.30-33 This is usually presented in two dominant constructs:
addressing deficiencies and barriers experienced by underrepresented groups (if the focus is on the applicants, who must demonstrate various forms of excellence in order to be seen as “meritorious”) and
confronting biases in selection (if the focus is on how the selectors select).
문화 역량은 지난 20년간 의료 커리큘럼에서 어느 정도 주목을 받았지만, 다음의 것들에 대한 의지보다는 실력이나 지식으로 제시되는 경우가 많다는 지적이 있다.
문화적 모호성을 안고 살아가려는 의지
양립할 수 없어 보이는 관점을 통합하려는 의지
반대 쪽 끝에 대해 호기심을 가지려는 의지
문화는 의학 지식의 추가된 무엇인가가 아니라, 건설적인 모호성의 프레임워크로서 중요하다.
Cultural competence has received some attention in medical curricula in the last two decades, but critics point out that it is often presented as a skill or knowledge pool rather than—what Imtiaz represents—a willingness to live with a cultural ambiguity, to integrate seemingly incompatible perspectives, and to be able to stay curious about the other end of a relationship. Culture is important not as an addition to, but as a framework of constructive ambiguity for, medical knowledge.
의료행위는 매우 다른 인식론적 토대를 가진 다른 종류의 지식의 합성을 창조하는 것으로 구성된다. 모든 임상적 만남은 [실천적 통합practical synthesis]을 창조하는 것에 관한 것이다.
Medical practice consists of creating a synthesis of different kinds of knowledge with very different epistemological underpinnings. Every clinical encounter is about creating a practical synthesis,
관점을 바꾸는 능력은 어른이 되어 자신과 매우 비슷한 사람들과 함께 공부하면 얻기 어렵다. 의료계에서 능력merit 에 대한 구체적인 사고방식에 대한 의문이 던져지지 않는 경우에도 어렵다. '능력'에 대한 서열이 있다면, 그것은 쉽게 문화의 서열이 되며, 의사(최고 공로, 가장 진실된 지식, 최고의 문화를 가진)와 환자(도움을 찾아 우러러보는 사람) 사이에서 끊임없이 스스로를 재생산하는 가부장적 관계가 된다.
The ability to change perspective is difficult to attain if one grows up and studies with people very much like oneself. It is also difficult if a specific mindset about merit in medicine goes unquestioned. If there is a hierarchy of merit, it easily becomes a hierarchy of culture as well as a continually self-reproducing patriarchal relationship between the doctor (with the highest merit, the truest knowledge and the best culture) and the patient (who looks up for help).
6 | 클라라: 관찰된 양적 차이에서 그 이유로의 전환
6 | CLARA: MOVING FROM THE OBSERVED QUANTITATIVE DIFFERENCES IN ATTAINMENT TO WHY
클라라는 키가 그리 크지는 않았지만 눈에 띄었다. 아주 세심하고 대화에서 최고를 이끌어내는 데 아주 능숙하다. 그래서 모두가 그녀와 이야기를 나누고 싶어했고, 그녀는 모임을 조직하고, 볼만한 좋은 연극을 주창하고, 공원에서의 소풍을 제안하는 등. '나는 해부학보다 철학이 더 도움이 된다고 생각한다'고 그녀는 말했고, 그녀는 음악을 사랑했다. 의대를 시작한 지 1년이 지난 지금, 그녀는 갑자기 더 이상 그곳에 없었다. 만약 다른 누군가가 떠난다면 클라라는 그에게 전화를 했을 것이다. 나는 아무도 그녀를 불렀다고 생각하지 않는다.
Clara was not very tall, but she stood out. Very attentive and very good at bringing out the best in a conversation. So, everyone wanted to talk to her, and she was the one who organised meetings, advocated the good play to see, suggested the picnic in the park, etc. ‘I think philosophy is more helpful than anatomy, really’ she said, and she loved music. A year after starting medical school, she was suddenly not there anymore. If it had been anyone else leaving, Clara would have called him or her. I do not think anyone called her.
세상을 보는 방법을 형성할 때, 능력주의 신화의 권위authoritativeness는세상을 볼 수 있는 다른 가능한 방법들을 흐리게 한다. 클라라의 이야기는 그러한 다른 방법들 중 몇 가지를 시사한다: 그녀는 인간으로서 그리고 균형 잡힌 전문가로서 의사들에게 분명히 중요한 자질들의 대표자다. 이러한 자질은 오늘날 많은 의과대학에서 전문적 발전의 학습 흐름의 일부분이지만, 커리큘럼에 상당히 새로운 추가로서 조직 구조나 교직원의 의사 결정에서 거의 보이지 않는다. 이것은 이러한 자질들을 의학적인 문제에 관여하기 위한 역동적인 사고방식보다는 의학 지식과 기술 풀에 취약한 부가물로 만든다. 핵심 코스 리더들이 대학을 떠나면 이런 자질은 줄어든다.
When creating the way to see the world, the authoritativeness of the meritocracy myth also obscures other possible ways to see the world. Clara's story suggests some of those other ways: she is an exponent of qualities that are clearly important for doctors as human beings and as balanced professionals. These qualities are part of learning streams of professional development in many medical schools today, but as a fairly new addition to the curriculum and rarely visible in the organisational structure or in faculty members’ decision making. This makes these qualities a vulnerable addition to the medical knowledge and skill pool, rather than a dynamic mindset from which to engage with medical problems. If key course leaders leave the university, these qualities are diminished.
클라라의 선택은 그녀가 가르치는 의대생들에게 영향을 미친다. 이미 많은 특성을 공유하고 있는 그들은 지속적인 선택과 사회화 과정을 통해 훨씬 더 동질적이 된다. 균질 집단도 몇 가지 이점을 가질 수 있지만, 이질적 집단이 의사결정, 생산성, 적응성 및 집단지성에 있어서 종종 우위에 있다, 35-37 그러나 집단 내에 효과적인 집단 내 의사소통을 촉진하는 사람이 있는 경우에만, 클라라를 잃음으로써, 그 집단은 이러한 특성들 중 일부를 잃을 위험이 있다.
Clara's choice has an impact on the medical students she teaches. Already sharing many characteristics, they become even more homogenous through the continuing process of selection and socialisation. A homogenous group may have some advantages, but a heterogenous group is often superior in decision making, productivity, adaptability and collective intelligence,35-37 but only if there are persons within the group who facilitate effective in-group communication.38,39 By losing Clara, the class risks losing some of these qualities.
더 깊은 차원에서, 클라라는 왜 대학을 떠났을까? 문헌에서, 우리는 "진리"의 이해를 가능하게 하는 지식-권력 관계를 규제하는 담론을 보는 작품을 보게 되는데, 이것은 클라라의 이탈에 잠재적으로 기여하는 구조적 문제를 이해하는 데 도움이 될 수 있다. 교수진들의 기여도를 평가하는 담론의 '진리truth'의 한 예는 [기초과학자이면서 유전학을 가르치는 교수]가 [의료인문학에 관심이 있고 연구를 하는 교수]보다 의대생 교육에 본질적으로 더 가치 있는 기여를 한다는 것일 수 있다.
At the deeper level, why did Clara leave the university? In the literature, we see work that looks at the discourses regulating the knowledge–power relationships that enable understandings of “truth”, which may be helpful in understanding the structural issues potentially contributing to Clara's departure. An example of a “truth” in the discourses of valuing faculty members’ contributions might be that a member who is a basic scientist and teaches genomics has an inherently more valuable contribution to medical students’ education than one whose interests and scholarship lie within the medical humanities.
7 | 능력에 대한 비판: 우수성 기준을 사회적 결과와 직접 연계할 수 있는 용기 개발
7 | CRITIQUING MERIT: DEVELOPING THE COURAGE TO DIRECTLY LINK EXCELLENCE CRITERIA TO SOCIETAL OUTCOMES
수월성excellence의 기준들이 사회적으로 구성되고, 평가자와 평가자 모두가 의미 있고, 경험하는 것처럼, 그것들은 물리적 세계와 연결된다. 의사 직업에는 잘 하는 사람과 덜 잘 하는 사람이 있다. [물리적 세계에서 우수성]은 [우수성의 사회적 구성]과 어떤 연관성이 있는가? 핵심은 이러한 구조contruct들을 관련된 사회적 결과와 일치시키는 것이다. 이것을 말하기는 쉽지만, 성취하기는 훨씬 어렵다
Even as excellence criteria are socially constructed, made meaningful and experienced by both the assessor and the person assessed, they are linked to the physical world. In the job of doctoring, there are persons who do it well and those who do it less well. What is the link between the social construction of excellence and excellence in the physical world? The key is alignment of these constructs with relevant societal outcomes. To say this is easy, to accomplish it much harder.
예를 들어, 의과대학과 관련된 사회적 결과가 제너럴리스트적 실천에 더 초점을 맞추고, 우리는 제너럴리스트적 실천에 집중하는 사람들이 사회성과 학업성취도 면에서 더 균형잡힌 경향이 있다는 것을 알고 있지만, 경쟁이 치열한 의과대학 응용 프로그램 코호트 내에서 반드시 학업성취도가 최고는 아닐 수 있다. 그렇다면 왜 평균 점수를 기준으로 후보 순위를 매기는가?
To give an example, if a relevant societal outcome for a medical school is greater focus on generalist practice, and we know that those focusing on generalist practice tend to be more wellrounded in social skills and academic performance, but may not necessarily be the top academic achievers within highly competitive medical school application cohorts, then why rank candidates based upon grade point average?
논리적으로, 이것은 더 많은 신청자 파일이 더 높은 정밀도를 받을 자격이 있고 비용이 많이 들 수 있다. 초점을 "가장 우수하고 뛰어난"에서 벗어나 "학문의 문턱threshold을 달성한 사람들"로 바꾸는 것은 [수월성의 construct에 담론적 불협화음을 발생시킬 수도 있고, 이는 위협적으로 느껴질 수도 있다. 그러나 그러한 대화들은 정책 입안자들과 평가 대상자들에게 높은 수준의 비판적 반사성을 개발하도록 요구하지만, 그러한 담론적 긴장을 유지하는 것은 중요하다.
Logistically, this might result in many more applicant files deserving higher scrutiny, which could be costly. To change the focus from “the best and the brightest” to “those that have achieved an academic threshold” might also introduce a discursive dissonance into the construction of excellence that may be experienced as threatening. However, working through such discursive tension is important, even though such conversations require the development of a high degree of critical reflexivity in policymakers and the people who assess.
우리는 모든 성취가 본질적으로 구조적인 것이라고 말하는 것이 아니라, 개인의 행위자성agency에만 의존하는 것이 아니라, 우수성이 어떻게 구성되고 있으며 그러한 관념이 어떻게 다양한 형태의 우수성에 대한 우리의 감상을 구속할 수 있는지를 비판하는 습관을 길러야 한다고 제안하고 있다.
We are not suggesting that all accomplishment is structural in nature, never depending on an individuals’ agency, but rather that we must develop the habit of critiquing how excellence is being constructed and how such notions might constrain our appreciation of diverse forms of excellence.
8 | 다양성 대 장점 또는 다양성과 장점?
8 | DIVERSITY VERSUS MERIT OR DIVERSITY AND MERIT?
능력과 수월성의 구인에 대한 인식론의 바로 밑바탕에는 "인구집단population"라는 개념이 있다. 인구집단은 그 집단이 공유하는 것에 의해 정의된다: 경제적 이유로 여름 휴가 동안 자원봉사를 할 수 없었던 구속력 있는 경험을 공유하는 인구는 의과대학에 계속 지원한다는 것이 하나의 예다. 한 집단의 다양성을 간단히 말하면, 그 집단의 구성원들이 공유하지 않는 다른 특성들이다.
At the very basis of epistemologies of merit and constructs of excellence lie notions of “populations”. Populations are defined by what they share: the population that shares the constraining experience of not being able to volunteer over summer holidays for economic reasons is an example, to continue with our thread of applications to medical school. A population's diversity is simply the different qualities that members within it do not share
이러한 개인차이의 가치는 무엇인가?
What is the value of these individual differences?
첫 번째 주장은, 많은 다른 맥락에서, 사회적으로 다양한 집단이 다양한 업무를 더 잘 수행한다는 것이 증명되었다.
The first argument, in many different contexts, it has been demonstrated that socially diverse groups are better at accomplishing various tasks.41,42
직업의 「내부」가 「외부」에 조금 더 가까워 보일 수 있다는 「표현」의 가치도 텔레그래피적으로 존재한다. 여기에 그려질 문헌의 말뭉치는 시골 출신이나 under-represented 배경을 가진 사람들이 (의학에서) 소외된 농촌 또는 under-represented 인구집단에 봉사할 가능성이 있다는 것을 더 높음을 보여주는 자료를 포함한다.
There is also the value teleologically of “representation”, that the “inside” of the profession might look a little more like the “outside”. The corpus of literature to draw on here includes data showing that persons from rural or under-represented backgrounds are more likely to serve underserved rural or under-represented populations (in medicine).44,45
두 번째 주장은 [권력의 개념]과 [knowing과 무엇이 known인지]와 권력 사이의 관계에 근거를 두고 있다. 우수성이 공적으로 평가되는 몇 가지 다른 맥락에서, 평가자의 사회적 다양성을 증대시키는 것이 입학, 승진 및 채용에서 더 큰 다양성으로 이어진다는 것이 증명되었다.46,47 이것이 일어나고 있는 메커니즘은 무엇인가? 다양한 위원회 멤버쉽에 대한 사회적 관점의 차이는 다른 결정으로 귀결된다.
The second argument is rooted in notions of power and its relationship to ways of knowing and what can be known. In several different contexts in which excellence is assessed for merit , it has been demonstrated that augmenting the social diversity of the assessors leads to greater diversity in admission, promotion and hiring.46,47 What is the mechanism by which this is occurring? clearly the differing social perspectives of diverse committee membership result in different decisions being made.
세 번째 주장은 [우수성을 정의하기 위해 사용되는 구성의 포괄성]에 대한 심층적인 의문을 추구하며, 이러한 구성들이 필요하지 않을 때 사회 집단 규범(예: 행동에 대한 절제된 기대치)에 의해 관련 없이 교차되는지를 묻는다. 예를 들어 리더십 문헌에서는, 효과적인 리더들이 주장성과 (종종 경멸적인 의미로 쓰이는) "부드러운 기술"(소통 기술, 대인관계 인식, 공감 등)이라고 일컫는 두 가지 모두를 보여주어야 한다는 것을 보여주었다. 강한 주장성assertiveness은 종종 남성적으로 보여지는 반면, "부드러운 기술soft skill"은 여성적으로 보여지는 경우가 많다. 리더 선정을 위한 수행평가 루브릭이 주장성 측면을 강조하고 대인관계 능력 측면을 덜 강조하는 것은, 효과적인 리더가 되기 위해 필요한 것의 반을 날려버림으로써 편향성을 도입할 위험을 무릅쓰는 것과 같다.48,49
The third argument seeks a deeper questioning of the inclusiveness of the constructs being used to define excellence and asks if these constructs are intersected extraneously by social group norms (such as gendered expectations of behaviour) when they need not be. In the leadership literature, for example, it has been shown that effective leaders are required to demonstrate both assertiveness and those skills often somewhat pejoratively referred to as “soft skills” (communication skills, interpersonal awareness, empathy, etc.). Assertiveness is often seen as male, whereas “soft skills” are often seen as female. If the performance evaluation rubric for selecting a leader emphasises the assertiveness side and de-emphasises the interpersonal skills side, then the construct is missing one half of what it takes to be an effective leader and runs the risk of introducing bias.48,49
9 | 포용적 리더십을 통한 포괄적 가치관 개발
9 | DEVELOPING INCLUSIVE NOTIONS OF MERIT THROUGH INCLUSIVE LEADERSHIP
위에 제시된 의사들과 의사들의 이야기로부터 우리는 무엇을 얻을 수 있을까? 아마도 의학용어를 쓰자면 그럴듯한 진단일 것이다. 의학적 성과주의 신화로 성장한 영웅의 여정 이야기는 과거에는 유용한 지침이 되었겠지만, 이제는 해결책의 일부라기보다는 문제의 일부가 되어가고 있다. 이제 "치유"를 목표로 하는 것은 유혹적이다.
What can we gain from the stories of the doctors and wouldbe doctors presented above? Maybe, to use a medical term, a plausible diagnosis. The hero's journey story that grew into a myth of medical meritocracy may have been a useful guide in the past, but it is now becoming part of the problem rather than part of the solution. It is tempting now to aim for a “cure”.
우리는 잠시 멈추고, "미분differential"을 기억해야 하며, 의학 문화 시스템에서 가능한 "co-morbitities와 multi-morbidities"를 고려해야 한다. 이를 복잡한 문제로 이해해야 하며, 복잡한 문제는 고치기fixing보다는 관여와 탐색management and probing을 통해 관리하는 것이 최선이다.50
we must pause, remember “the differential” and consider possible “co-and multi-morbidities” in the cultural system of medicine. We need to understand this as a complex problem, and complex problems are best managed through engagement and probing rather than fixing.50
[현재의 과정이 충분히 잘 작동하는 것으로 보는지]는 한 사람의 사회적 위치에 달려 있다고 생각한다. 우리가 의학적 및 의학적 수명 주기의 서로 다른 단계에서 의학의 우수성 버전 전체에 있어서 뛰어난 개인을 인정하고, 졸업시키고, 장려하는 것은 사실이다. 이런 관점에서 변화의 필요성이 무엇인지 물을 수 있다. 하지만, 이것은 이야기의 절반을 놓친다. 성과에 대한 논의에서 마찬가지로 중요한 것은 [누구의 우수성이 담론에서 배제되고], [누가 성과에 기반한 형태의 경쟁에 참여하지 못하게 제지되고 있는가] 하는 것뿐만 아니라, 그들의 [우수성이 인정된다면 직업 내에서 누가 빛날 것인가] 하는 것이다.
We posit that viewing current processes as working well enough is dependent on one's social positioning. It is true that we admit, graduate and promote exceptional individuals in medicine and throughout its versions of excellence at different stages of the physician life cycle. From this perspective one could ask what the need for change is. However, this misses half of the story. Equally important in the discussion of merit is whose excellence gets excluded from the discourse and who is being held back from participating in meritbased forms of competition, as well as who would shine within the profession if their excellence were appreciated.
리더십은 조직적 작업이다.51 쇼어 외 연구진은 조직적 행동과 관련하여 포함의 두 가지 주요 축을 정의했다.52 포괄적 조직은 첫 번째 축(개별 구성원의 고유성 인식)과 두 번째 축(모든 개인에 대한 소속감 증진)을 능숙하게 협상한다.52
Leadership is organisational work.51 Shore et al have defined two major axes of inclusion with respect to organisational behaviour.52 Inclusive organisations skillfully negotiate the first axis (recognition of individual members’ uniqueness) and the second axis (promotion of a sense of belongingness for all individuals).52
구체적으로, 우리는 우수성 평가의 모든 능력 기반 프로세스에서 다음과 같은 주요 조치를 제안할 것이다.
Concretely, we would suggest the following key actions in all meritbased processes of excellence assessment.
1. 사회적 판단과 평가자의 주관성이 평가 과정에 내재되어 있음을 인식하고, 사회적으로 다양한 개인이 우수성 기준의 개발 및 평가에 참여한다. 그렇게 하는 것은 예를 들어, 회원 풀을 다양화하기 위해 검색 위원회에 더 많은 후배가 참여하거나 학년 외적인 참여를 하는 등 프로세스를 변경하려는 의지를 수반한다.
1. Participation of socially diverse individuals in the development and assessment of excellence criteria, recognising that social judgements and assessor's subjectivities are inherent in the process of assessment. Doing so involves a willingness to change processes; for instance, having greater junior or outside-of-discipline participation on search committees, in order to diversify the member pool.
2.우수성 평가의 모든 프로세스에 대해 "평등도 검사"를 내장시킨다. 구체적으로, 이것은 특정한 기준이 다양한 개인들의 우수성 평가에 어떻게 영향을 미치는지에 대한 선험적인 논의를 의미할 것이다. 예를 들어, 의과대학생 선발에서 배의 선장 역할을 맡아야 하는 시뮬레이션을 사용하여 리더십 기술을 평가하는 것이 포함된다. 이러한 상황은 계급적 편견을 내재하고 있을 수 있다.
2. A built-in “equity check” for all processes of excellence assessment. Specifically, this would mean explicit a priori discussion of how criteria affect the appreciation of excellence in diverse individuals. An example includes assessing leadership skills for entry into medicine using a simulation where the candidate must take on the role of a captain of a sailing ship, which may contain inherent class biases.
3. 특정 용도에 대해 우수성과 공적이 어떻게 구성되고 있는지에 대한 기초 가치와 가정에 대한 명시적 논의가 필요하다. 예를 들어, 특정 과의 과장을 평가함에 있어서, 과장은 임상 및 교육 임무에서도 비전적 기술을 발휘함에도 불구하고, 임상 또는 교육적 리더십에 대한 언급이 없고, 그저 우수한 연구자여야 하는 것은 적절하지 않다.
3. Explicit discussion of the underpinning values and assumptions behind how excellence and merit are being constructed for specific uses. An example here might include clinical department chair excellence criteria where the ideal candidate must be a lauded researcher, with no reference to clinical or educational leadership, even though the department chair must display visionary skills in clinical and educational missions as well.
그러나 진정한 변혁적 결과는 능력적 성과meritorious work나 행동이 어떻게 인식되고 가치 있게 평가되고 있는가의 근간이 되는 스토리에대해 질문을 제기할 수 있는 공간이 만들어져야만 일어날 것이다. 만약 우리가 모든 형태의 우수성 평가에서 원하는 사회적 성과에 대한 공로 기준을 의도적으로 일치시키려 한다면, 우리는 여러 다양한 영웅들을 포함하는 이야기를 개발하는 데 먼 길을 갈 것이다.
True transformative outcomes, however, will only occur if space is made for the questioning of the stories underlying how meritorious work or behaviour is being perceived and valued. We would go a long way in developing stories inclusive of multiple diverse heroes if we were to seek the deliberate alignment of merit criteria to desired societal outcomes in all forms of excellence assessment.
그 해답은 빛나는 창을 가진 한 명의 영웅이 아니라, 의학계의 지저분한 문제들과 씨름하기 위한 집단적인 노력에서 나올 것이다. 해결책이 나올 수 있을 만큼 서로를 강하게 만들 때 올 것이다.
The answer will not come from single heroes with shining lancets, but from a collective striving to grapple with the messy issues in medicine. It will come when we make each other strong enough for solutions to emerge.
2. Gingerich A, Regehr G, Eva KW. Rater-based assessments as social judgments: rethinking the etiology of rater errors. Acad Med. 2011;86(10 Suppl):S1-S7.
44. O'Connell T, Ham S, Hart T, Curlin F, Yoon J. A national longitudinal survey of medical students’ intentions to practice among the underserved. Acad Med. 2018;93 (1):90-97.
1Department of Pediatrics and Centre for Medical Education, McGill University, Montreal, Quebec, Canada.
2Department of Community Medicine, Faculty of Health Sciences, UiT The Arctic University of Norway, and Norwegian Centre for E-health Research, Tromso, Norway.
3Department of Psychiatry, Faculties of Medicine and the Ontario Institute for Studies in Education, University of Toronto, Toronto, Ontario,, Canada.
4Family Medicine, Centre for Medical Education, McGill University, Montreal, Quebec, Canada.
Background:We examine the cultural myth of the medical meritocracy, whereby the "best and the brightest" are admitted and promoted within the profession. We explore how this narrative guides medical practice in ways that may no longer be adequate in the contexts of practice today.
Methods:Narrative analysis of medical students' and physicians' stories.
Results:Hierarchies of privilege within medicine are linked to meritocracy and the trope of the "hero's story" in literature. Gender and other forms of difference are generally excluded from narratives of excellence, which suggests operative mechanisms that may be contributory to observed differences in attainment. We discuss how the notion of diversity is formulated in medicine as a "problem" to be accommodated within merit, and posit that medical practice today requires a reformulation of the notion of merit in medicine, valorising a diversity of life experience and skills, rather than "retrofitting" diversity concerns as problems to be accommodated within current constructs of merit.
Conclusions:Three main action-oriented outcomes for a better formulation of merit relevant to medical practice today are suggested: (a) development of assessors' critical consciousness regarding the structural issues in merit assignment; (b) alignment of merit criteria with relevant societal outcomes, and (c) developing inclusive leadership to accommodate the greater diversity of excellence needed in today's context of medical practice. A reformulation of the stories through which medical practitioners and educators communicate and validate aspects of medical practice will be required in order for the profession to continue to have relevance to the diverse societies it serves.
Selecting medical students: considering qualities other than academic ability
Barbara Griffin
1988년 에든버러 선언 이후 의대생 선발에는 학문적 능력 이외의 개인적 자질을 고려하도록 권고하고 있으며,1 그러한 자질을 측정하는 데 많은 시간과 관심이 투자되어 왔다.
Since the 1988 Edinburgh Declaration recommending that personal qualities other than academic ability be considered in the selection of medical students,1 much time and attention have been invested in the measurement of such qualities.
비록 우리가 기업 세계에서 선발에 관한 많은 연구를 해야 하지만, 의대생 선발은 몇 가지 독특한 측면을 가지고 있다.
Although we should draw on the large body of research on selection in the corporate world, medical student selection has some unique aspects
Stegers-Jager의 연구 결과, 7은 비학문적/비인식적 특성은 [일반적으로 지식의 습득보다는 임상적 기술 습득에 더 초점을 맞춰져 있고], 의과대학 초기보다는 후기 성과를 예측하는 것으로 보인다는 것을 시사한다. 그래서 그녀는 우리가 [좋은 의대생]이 되어야 하는 자질을 바탕으로 지원자를 선발해야 하는지 아니면 [좋은 의사]가 되어야 하는지에 대한 의문을 제기한다.7
Stegers-Jager’s findings,7 which support those of others,8,9 suggest that non-academic/non-cognitive qualities appear to be better at predicting students’ performance later rather than earlier in their medical studies, when typically the focus turns more to clinical skill acquisition than to the learning of knowledge. She thus raises the question of whether we should be selecting applicants based on qualities that are required to be a good medical student or those required to be a good doctor.7
그러나, 이러한 자질들이 실질적으로 다를 것 같은가? 철저한 직무 분석이 필요하지만 바람직한 자질 목록에는 상당한 중복이 있을 것으로 본다. 그 차이들은 그들의 상대적 중요성에 달려있을 수 있다.
However, are these qualities likely to differ substantially? Thorough job analyses are necessary, but I suspect there will be significant overlap in the lists of desirable qualities. The differences may rest in their relative importance
그럼에도 불구하고 우리가 예측 타당성을 평가하는 기준은 서로 다르다. 또한 의과대학에서 측정한 결과는 일반적으로 의사로서 좋은 성과를 나타내는 지표와 연관된 강한 인지적 구성요소('할 수 있다')에 초점을 두지만, 그보다 비인지적 구성요소("할 의지가 있다")가 더 중요할 가능성이 있다.2
Despite this, the criteria with which we assess predictive validity do differ and the outcomes measured in medical school generally have a strong cognitive ‘can do’ component compared with the indicators of good performance as a doctor, which are likely to have a stronger non-cognitive ‘will do’ component.2
대부분의 경우처럼 스테거스-자거7은 선택 지점에서 평가되어야 할 중요한 비인지적 특성을 논할 때 팀워크 능력, 공감력, 탄력성 등 긍정적인 특성과 기술에 거의 전적으로 초점을 맞추고 있다.7 그러나 내가 교수들에게 의과대 학생들이 소유하기를 원하는 구체적인 자질을 기술해 달라고 요청할 때, 교수들은 매우 자주 '긍정적 특성'보다 '절대로 원하지 않는 뚜렷하게 부정적인 것들'을 언급한다. 예를 들어 '특권의식'이나 '정신병적인' 특징과 같은 것들이다.
Like most, Stegers-Jager7 focuses almost exclusively on positive traits and skills, such as teamwork skills, empathy and resilience, when discussing important non-cognitive qualities to be assessed at the point of selection.7 However, when I ask faculty members to describe the specific qualities they want their medical students to possess, they more often than not first mention the distinctly negative things they don’t want, such as ‘a sense of entitlement’ or ‘psychopathic’ traits.
아마도 이것은 교육자의 대부분의 시간을 잡아먹는 것은 difficult student이며, 전형적으로 대중의 이목을 집중시키는 것은 의사의 긍정적인 행동보다 의사들이 범하는 경범죄라는 사실을 반영하고 있다.
Perhaps this reflects the fact that it is difficult students who occupy the majority of one’s time as an educator, and it is doctors’ misdemeanours, more than their positive behaviours, that typically attract public scrutiny.
그렇다면 최근 소위 '어두운 면'과 인간의 행동에 대한 연구들의 기하급수적인 증가를 고려할 필요가 있다. 이러한 '어두운 면'의 특징은 dysfunctional하지만 아직 임상적인 문제가 되는 단계까지는 아닌 특징들이다.10
It would be interesting then to consider the recent and exponential rise in studies on the so-called ‘dark side’ of personality and human behaviour, aspects that are subclinical, albeit dysfunctional.10
Dark triad가 있다.
Particular attention has been given to the dark triad of
나르시시시즘(자기강화, 우월감, 타인에 대한 관심 부족)
마키아벨리주의(비관습적인 도덕관으로 교묘해지고 있음)
정신병(공감이 낮고 적대적이며 양심이 부족하다).10
narcissism(a tendency to self-enhancement, superiority and lack of interest in others),
Machiavellianism(being manipulative with an unconventional view of morality), and
psychopathy (having low empathy, being antagonistic and lacking conscience).10
선발 맥락에서 이러한 어두운 품질을 평가하는 것은 측정 문제와 입법 제한의 결과로 문제가 될 가능성이 있다. 그럼에도 불구하고, 우리는 부적합한 특성을 가진 지원자들을 선발하고, 바람직한 특성을 가진 사람들을 선발하는 것의 함축적 의미를 더 잘 이해할 필요가 있다.
Assessing these dark qualities in selection contexts is likely to be problematic as a result of measurement issues and legislative restrictions. Nevertheless, we need greater understanding of the implications of selecting out those applicants with unsuitable traits and selecting in those with desirable traits.
에든버러 선언1에 의해 의대생 선발에서 평가하기 위해 중요한 자질들은 반드시 개인의 안정적이거나 오래 지속되는 측면은 아니며, 맥락과 무관하게 활성화되지도 않는다.13 선발은 최종게임endgame이 아니다. 개인들은 시간이 지남에 따라 환경과 상호 작용하고 영향을 받는다.
the qualities identified by the Edinburgh Declaration1 as important to assess in the selection of medical students are not necessarily stable or enduring aspects of an individual and neither are they activated regardless of context.13 Selection is not the endgame – individuals interact with and are affected by their environments over time.
심리학, 생물학, 신경과학 분야 전반에서, 증가하는 근거를 살펴보면, 한 사람에게 주어진 맥락이 긍정적인 것과 부정적인 것 모두를 강화시킬 수 있거나 심지어 그것들을 변화시킬 수 있다는 것을 나타낸다.13
Across the fields of psychology, biology and neuroscience, a growing body of evidence indicates that a person’s context can strengthen both positive and negative qualities, or even change them.13
호주의 대표적인 정신과 의사이자 국립 정신건강 담당자인 이안 히키 교수는 학생 개개인의 회복탄력성에 초점을 맞추면서, '하급 의사가 받는 유해한 의료계 문화와 위험한 작업 환경'을 무시한다고 경고한다.12
As leading Australian psychiatrist and National Mental Health Commissioner Professor Ian Hickie warns, focusing on a student’s resilience ignores ‘the deleterious culture of medicine and dangerous working conditions to which junior doctors [are] subjected’.12
13 Ferguson E, Lievens F. Future directions in personality, occupational and medical selection: myths, misunderstandings, measurement, and suggestions. Adv Health Sci Educ Theory Pract 2017;22 (2):387–99.
Med Educ.2018 Jan;52(1):9-11. doi: 10.1111/medu.13450.
Selectingmedicalstudents: consideringqualitiesother than academicability.
의과대학 선발에 대한 이해관계자의 관점: 체계적 문헌고찰(BMC Med Educ, 2018)
A systematic review of stakeholder views of selection methods for medical schools admission
M. E. Kelly1* , F. Patterson3, S. O’Flynn2, J. Mulligan1 and A. W. Murphy1
배경
Background
의학은 국제적으로 매우 인기 있는 직업 선택이다.
Medicine is a highly popular career choice internationally.
의학교육은 이탈률이 매우 낮고 대부분의 학생이 졸업하기 때문에 미래의 의료 인력의 구성과 교정은 의대생을 선발하는 데 사용되는 방법에 크게 좌우된다[2–4].
As attrition rates in medical education are very low and most students graduate, the composition and calibre of the future medical workforce is significantly dependent on the methods used to select medical students [2–4].
선발 방법의 설계, 개발 및 지속적 사용에 대한 모범 사례는 이해관계자의 정기적인 피드백이 제공하는 반복적인 과정이어야 한다[5]. 정치적 타당성이라는 용어는 이해관계자 관점의 중심을 포착하며, "특정 선발도구에 대해서 다양한 이해관계자와 이해관계자 그룹이 적절하고 수용가능하다고 느끼는 정도"로 정의된다[6, 7]. 정치적 타당성은 의과대학에 대한 접근 확대에 있어 중요한 고려사항으로 인식된다[8, 9].
Best practice in the design, development and continued use of selection methods should be an iterative process informed by regular feedback fromstakeholders [5]. The term political validity captures the centrality of stakeholder views and, is defined as “the extent to which various stakeholders and stakeholder groups consider the tool(s) to be appropriate and acceptable for use in selection” [6, 7]. Political validity is recognised as an important consideration in widening access to medical schools [8, 9].
이해관계자의 인식을 이해하는 것은 다른 여러 가지 이유로 중요하다. 불공평하다고 인식되는 선발 방법은 잠재적인 의대생들에게 적용하지 못하게 될 수 있으며, 이는 심각한 부정적인 결과를 가져올 것이다[9]. 의학에서 하위 사회-경제적 및 소수 집단을 과소표시하는 것은 다요소적이지만, 이러한 집단은 선발과 관련된 부정적 인식의 결과에 특히 취약하다[14].
Understanding stakeholder perceptions is important for a number of other reasons. Selection methods that are perceived as unfair may deter potential medical students from applying which would be considered a profoundly negative consequential effect [9]. Under-representation of lower socio-economic and minority groups in medicine is multifactorial but arguably these groups are particularly vulnerable to the consequences of negative perceptions regarding selection [14].
또한, 일부 상황에서는 이해관계자 관점과 예측 타당성 및 신뢰성과 같은 선택 도구의 적합성을 평가하는 데 사용되는 기타 기준 사이에 절충이 있는 것으로 보인다. 예를 들어 자기소개서, 추천서, 전통적인 인터뷰는 예측 타당성이 제한되고 편향 가능성이 있다는 증거에도 불구하고 계속 널리 사용되고 있다[15–19]. 이것은 부분적으로 [이해관계자의 수용과 승인]을 얻는다는 점에서 정치적 아젠다에 부합하기 때문으로 설명될 수 있다고 주장되어 왔다[9].
Additionally, in some situations, there appears to be a trade-off between stakeholder views and other criteria used to evaluate the appropriateness of selection tools, such as predictive validity and reliability. For example personal statements, letters of reference and traditional interviews continue to enjoy widespread use, despite evidence of limited predictive validity and susceptibility to bias [15–19]. It has been argued that this can in part be explained by these tools serving some other political agenda for which they achieve stakeholder acceptance and approval [9].
마지막으로 이해관계자의 관점에 대한 기초를 철저히 이해하면 선발자들은 아마도 인기는 낮지만 좀 더 심리측정적으로 강력한 선택 도구들을 뒷받침하는 근거를 더 잘 설명할 수 있을 것이다.
Finally a thorough understanding of the basis for stakeholders’ views will better enable selectors to explain the rationale supporting some, perhaps less popular, but more psychometrically robust selection tools.
이해관계자의 관점: 이론적 프레임워크
Stakeholder views: a theoretical framework
지난 50년 동안 조직 정의 이론은 선택을 포함한 조직 프로세스의 공정성에 대한 인식을 설명하기 위해 개발되었다[20–22]. Patterson 등 및 Kelly는 조직적 정의 이론이 의학의 선택과 관련이 있으며 이해당사자들의 관점에 대한 깊은 통찰력을 제공하는 데 사용될 수 있다고 확립했다[7, 23].
Over the past fifty years, organisational justice theories have been developed to describe perceptions of fairness in organisational processes, including selection [20–22]. Patterson et al. and Kelly have established that organisational justice theories are relevant to selection in medicine and that they can be used to provide deeper insights into and appreciation of the views of stakeholders [7, 23].
이러한 정의 이론은 분배, 절차, 상호 작용으로 분류될 수 있다[24].
These justice theories can be categorised as distributive, procedural and interactional [24].
선택의 맥락에서 분배적 정의는 [동등한 기회와 형평성 측면]에서 의과대학 같은 선발 결과의 공정성과 관련이 있다[7]. 분배적 정의의 관점에서 모든 사람이 동일한 기회를 받을 때 선택은 공정하다고 본다[25].
In the context of selection distributive justice relates to the fairness of selection outcomes such as medical school places, in terms of equal opportunity and equity [7]. From a distributive justice perspective selection is viewed to be fair when everyone receives the same opportunities [25].
선발에서 절차적 정의는 직무 관련성과 시험의 특성 측면에서 선택 도구의 [인식된 공정성]과 관련이 있다[7]. 절차적 정의의 관점에서 볼 때, 선발방법이 직무와 연관되어 있을 때와 그 방법의 목적이 설명될 때 선택권은 보다 긍정적으로 본다[22, 26].
Procedural justice in selection is concerned with the perceived fairness of the selection tool in terms of job relevance and characteristics of the test [7]. From a procedural justice perspective selection is viewed more positively when the methods are connected with the job and when the purpose of the method is explained [22, 26].
상호작용적 정의는 선발 과정에서 신청자가 어떻게 충족met되는지를 의미하며, 어떤 정보가 전달되는지 뿐만 아니라 그 방식도 포함한다[27, 28]. [의사소통의 공정성]은 상호작용적 정의가 어떻게 인식되는가에 대한 매우 영향력 있는 결정 요인이다[28, 29].
While the interactional justice of selection methods refers to how applicants are met during the selection process and includes the information applicants are given as well as the manner in which it is conveyed [27, 28]. The fairness of the communication is a very influential determinant of how interactional justice is perceived [28, 29].
방법
Methods
Search strategy
결과
Results
Study selection and data extraction
Figure 1 illustrates the steps from initial identification of records, to identifying those included and excluded.
Quality assessment strategy
Quality assessment and evidence synthesis
Risk of Bias
Study designs
Synthesis of results
지원자의 관점
The views of applicants
MMI를 포함한 면접
Interviews including multiple mini interviews (MMIs)
지원자들은 MMI를 전적으로 지지한다. 그들은 일반적으로 공평하고, 상대적으로 성별이나 문화적 편견이 없으며, 능력과 장점을 제시할 수 있는 적절한 기회를 제공하고, 사전 정보의 질과 지침의 명확성이 좋다는 것을 인지한다 [45, 48, 50, 55, 65, 61, 63, 72, 99]. 신청자는 전통적인 인터뷰보다 MMI를 선호함을 나타낸다[45, 48, 60, 72, 89, 96]. 한 논문은 소수의 탈락한 지원자들의 견해를 포함하고 있었으며, 대다수가 여전히 MMI에 대해 긍정적으로 논평하고 있다는 것을 발견했다[50]. 신청자는 면접관의 독립성과 MMI의 신뢰성을 중시한다[39, 45, 96]. 특히 지원자들이 능력을 입증할 수 있는 여러 가지 기회는 긍정적인 반응에 영향을 미치는 것으로 보인다[39, 55, 61, 63, 99]. MMI가 스스로 "신뢰redeem"할 수 있는 기회는 긍정적으로 검토되었다[39].
Applicants are on the whole supportive of MMIs. They perceive that they are generally fair, relatively free of gender or cultural bias, provide adequate opportunity to present their abilities and strengths and that the quality of advance information and clarity of instructions are good [45, 48, 50, 55, 61, 63, 72, 99]. Applicants indicate a preference for MMIs over traditional interviews [45, 48, 60, 72, 89, 96]. One paper included the views of a small number of unsuccessful applicants, and found that the majority still commented positively on MMIs [50]. Applicants value the perceived independence of interviewers and the authenticity of MMIs [39, 45, 96]. In particular the multiple opportunities for applicants to demonstrate abilities appears influential on positive reactions [39, 55, 61, 63, 99]. The chance provided by MMIs to “redeem” oneself has been positively noted [39].
지원자들은 MMI에 관한 일부 부정적 느낌을 보고하였다. 일부 지원자들은 MMI가 표준화된 인터뷰보다 더 어렵고 스트레스 받는[61]를 많이 받는다고 생각하는 반면, 다른 지원자들은 MMI가 높은 의사소통 지원자를 선호한다고 우려하였다[39]. MMI의 다른 측면의 등급에 비해 할당된 시간에 대한 지원자의 만족도는 약간 낮았다[39, 55, 60, 63, 99].
Applicants’ reported some misgivings with respect to MMIs. Some applicants found MMIs more difficult [89], and more stressful [61], than standardised interviews, while others were concerned that MMIs favour highly communicative applicants [39]. When compared to ratings of other aspects of the MMIs, applicant satisfaction with allotted time was slightly lower [39, 55, 60, 63, 99].
다른 인터뷰 기법에 대한 신청자들의 견해도 긍정적이었다. 한 소규모 연구에서 대다수의 참여자들이 인터뷰를 포함하지 않는 선택 과정은 수용가능하지 않다고 믿었다[85]. 한 캐나다 의과대학의 지원자들은 표준화된 인터뷰를 긍정적으로 받아들였다[68]. 기술적 진보는 웹 기반 면접을 가능케 했으며, 두 연구는 이 접근방식에 대한 지원자의 긍정적인 반응을 보고한다[57, 98]. 신청자들은 또한 면접을 자신이 적용하고 있는 학교나 프로그램의 가치와 윤리에 대한 귀중한 정보를 얻을 수 있는 기회로 인식한다[56, 78, 85]. 한 연구는 그룹 인터뷰에 대한 높은 수준의 만족도를 보고했지만, 국제 지원자들은 지역 후보들과 비교함으로써 면접관들에게 깊은 인상을 주기 위해 애쓸 것이라고 생각했다(n=77, 응답률 37.8, p = 0.004) [91]. 패널 인터뷰에 대한 신청자의 부정적 반응을 보고한 논문은 단 한 개뿐이며, 본 논문에서 비판은 주로 부적절한 인터뷰 후 피드백 수준과 관련이 있다[74].
Applicants’ views of other interview techniques were also positive; with one small study reporting that the majority of participants (93%, n = 53) believed that any selection process which did not include interviews would be unacceptable [85]. Standardised interviews have been positively received by applicants in one Canadian medical school [68]. Technological advances have made web based interviewing a possibility and two studies report positive applicant reactions to this approach [57, 98]. Applicants also perceive interviews as an opportunity to glean valuable information about the values and ethos of the school or programme to which they are applying [56, 78, 85]. One study reported favourable levels of applicant satisfaction with group interviews, however international applicants felt they would struggle to impress interviewers by comparison with local candidates (n=77, responserate 37.8, p = 0.004) [91]. Only one paper was identified that reported negative applicant reaction to panel interviews, and in this paper criticisms related mostly to inadequate levels of post interviews feedback [74].
선발자의 관점: 면접관, 교수, 입학위원회
The views of selectors: interviewers, faculty and admissions committee members
MMI 등 면접
Interviews including MMIs
면접은 의대 선발자에 의해 확고부동한 것으로 간주된다[87]. 마찬가지로, 호주 의과대학에 대한 이해관계자의 선택방법에 대한 견해를 조사하는 대규모 연구에서, 인터뷰는 전체적으로 가장 유효한 선택방법으로 간주되었다[54].
Interviews are considered a stalwart by selectors to medical schools [87]. Similarly, in a large study examining stakeholders’ views of selection methods to Australian medical schools, interviews were viewed as the most valid selection method overall [54].
많은 연구들이 MMI와 관련하여 선택자의 선입견을 평가하였다. 인터뷰 진행자들은 공정성에 대한 인식 측면에서 MMI를 높게 평가했다[45, 48,50, 61, 72, 99]. 중요한 것은, 면접관이 MMI가 지원자를 정확하게 평가할 수 있게 해주었고, 채점 메커니즘이 지원자를 적절하게 구별할 수 있게 해 주었다는 점이다[45, 48, 55, 60, 63, 77, 99].후보자에게 제공되는 복수의 평가 기회와 다차원적 평가관 관점은 면접관이 자신의 의사결정에 대해 훨씬 덜 불안해한다는 것을 의미했다[39]. Razack 등은 시청자들이 가정 및 국제 지원자들과 함께 사용하기에 적합한 MMI를 발견했다고 보고했다[50]. 면접관이 전통적인 면접보다 MMI를 선호할 수 있다는 몇 가지 증거가 있다[45, 72].
A large number of studies have evaluated selectors’opinions with respect to MMIs. Interviewers ranked MMIs highly in terms of perceptions of fairness [45, 48,50, 61, 72, 99]. Importantly, interviewers felt that MMIs allowed them to accurately evaluate applicants and that the scoring mechanisms allowed them to adequately differentiate between candidates [45, 48, 55, 60, 63, 77, 99].The multiple assessment opportunities afforded to candidates and the multidimensional assessor view meant that interviewers felt much less anxious about their own decision making [39]. Razack et al. report that inter-viewers found MMIs appropriate for use with home and international applicants [50]. There is some evidence that interviewers may favour MMIs over traditional interview [45, 72].
MMI에 대한 면접자의 우려는 다음과 같다:
주로 의사소통 능력을 측정하는 것일 수 있다는 우려[39],
지원자의 문화, 성격 또는 언어를 포함한 문제가 성과에 부정적인 영향을 미칠 수 있다는 우려[38, 50],
면접관이 동료에게 부여한 점수를 벤치마킹할 기회 부족[39],
교정할 시간 부족.e [48]
추가 교육 필요[61]
MMI는 다소 비인간적인impersonal 프로세스가 될 수 있다[84].
Interviewers’ concerns regarding MMIs include: a fear that it might be primarily measuring communication skills [39]; that issues including applicants’ culture, personality or language may negatively impact on performance [38, 50]; the lack of opportunity for interviewers to benchmark the scores they assign against their peers [39]; insufficient time for calibration [48], the requirement for additional training [61] and that MMIs can be a somewhat impersonal process [84].
의과대학생의 관점
The views of medical students
MMI 등 인터뷰
Interviews including multiple mini interviews
두 개의 기록은 학생들이 인지 테스트보다 인터뷰를 더 선호한다는 것을 암시했다[51, 77]. 국제 학생들은 면접을 지원할 가능성이 훨씬 더 높다(p <0.01>[51]. 학생들은 MMI를 선택 시 적절하고 사용하기에 적합하다고 설명하면서, 지원자와 동일한 측면에서 MMI를 높이 평가한다. 한 소규모 연구는 선발의 역할 면접에서 확대된 접근 경로를 통해 입학한 학생들의 견해를 조사했다[95]. 흥미롭게도 임상 초기 학생들은 전통적인 인터뷰를 지지했고, 4학년 학생들은 MMI가 더 적절하다고 느꼈다. 다른 곳에서 성숙한 학생들은 자신의 정체성과 미래의 의과대학과의 적합성에 대한 인터뷰의 중요성을 강조하였다[40].
Two records suggested that students prefer interviews to cognitive testing [51, 77]. International students are even more likely to support interviews (p <0.01)[51]. Students appreciate the same aspects of MMIs as applicants do, describing it as relevant and suitable for use in selection [77]. One small study examined the views of students admitted through a widening access route, on the role interviews for selection [95]. Interestingly students in their early clinical years supported traditional interviews while students in the senior years felt that MMIs were more appropriate. Elsewhere mature students highlighted the importance of interviews to their sense of identity and fit with prospective medical schools [40].
고찰
Discussion
이 연구에서는 크게 세 개의 주요 이해관계자 그룹, 즉 a) 지원자, b) 선발자, c) 의대생들의 견해를 탐구한다는 것을 확인했다.
It identified that the research largely explores the views of three main stakeholder groups: a) applicants; b) selectors and c) medical students.
이 검토의 결과는 특히 절차적 정의와 분배적 정의 이론의 구성과 일치한다. 전체 이해관계자는 선택 중인 인터뷰(특히 MMI), SC 및 SJT를 지원한다. 선발 도구의 인식된 공정성의 가장 영향력 있는 결정요인 중 하나이며, 이러한 방법은 자연적으로 정당하다고 보기 때문에 이해관계자가 수용할 수 있다고 주장할 수 있다. 이전의 연구는 선발 도구가 직무와 관련된 것으로 간주되는 정도가 절차적 정의의 인식에 가장 큰 영향을 미친다는 것을 보여주었다[9, 21]. 이 검토는 MMI가 신청자, 선택자 및 학생에 의해 임상 실습과 즉시 관련성이 높은 매우 진실한 것으로 간주된다는 것을 입증한다.
The findings of this review resonate with the constructs of organisational justice theoriesin particular with both procedural and distributive justice. On the whole stakeholders are supportive of interviews (in particular MMIs), SCs and SJTs in selection. Procedural justice is one of the most influential determinants of perceived fairness of selection tools and it can be argued that these methods are acceptable to stakeholders because they are viewed as procedurally just. Prior research has shown that the extent to which a selection tool is viewed as job related exerts the greatest influence on perceptions of procedural justice [9, 21]. This review establishes that MMIs are considered by applicants, selectors and students, as highly authentic with immediate relevance to clinical practice.
절차적 정의의 또 다른 측면은 "목소리"의 개념이다[20,21]. "보이스"는 지원자에게 스스로에 대해서 make a case할 수 있는 적절한 기회와 시간을 준다[107].
Another aspect of procedural justice is the concept of “voice” [20,21]. “Voice” describes adequate opportunity for the applicant to perform, to make a case for themselves as well as sufficient time to do so [107].
적성 검사의 수용가능도는 일반적으로 이해관계자마다 다르다. 약자 및 소수 의대 지원자들은 이를 장벽으로 보고 있으며, 다른 지원자와 의대생들은 이들의 공정성, 얼굴 및 예측 타당성에 의문을 제기하고 있다. 일부 항목 형식의 직무 관련성은 비언어적 추리 질문과 같은 특정 추상적 추리 시험 항목에 대해 질문한다. 이는 유사한 도구를 사용하는 의료 이외의 경험을 반영하며, 인지 시험 설계에 절차적 정의를 통합하는 한 가지 방법은 비교적 구체적인 항목 유형을 사용하는 것다[108].
Aptitude tests generally receive mixed stakeholder acceptability. Underrepresented and minority medical school applicants view them as barriers, while other applicants and medical students question their fairness, face and predictive validity. The job relatedness of some of the item formats is questioned in particular abstract reasoning test items, such as non-verbal reasoning questions. This reflects the experience outside of medicine with similar tools and it is recommended that one way to incorporate procedural justice into the design of cognitive tests is to use comparatively concrete itemtypes [108].
학생들과 선발자들에게 우려되는 것은 적성 시험이 코칭에 취약할 수 있다는 인식과 이것이 경제적 편견을 초래할 수 있다는 관련 두려움이다.
Of concern to students and selectors is the perception that aptitude tests may be susceptible to coaching, and the associated fear that this may lead to economic bias.
상업적인 코칭이 불공평한 우위로 이어질 수 있다는 우려는 기회균등이라는 분배적 정의 원칙을 위반하는 것이다. 연구에 따르면, 정의justice 규칙이 (충족되기 보다는) 위반되었을 때, 그 규칙이 더 큰 영향력을 미칠 수 있고, 수용가능성에 대해서 전반적으로 더 큰 영향을 미친다[21, 24]. 실무적 관점에서, 이는 선택 도구가 많은 다른 정의 영역에서 잘 수행될 것으로 예상되더라도, 한 가지 측면에서라도 부족하다고 인식될 경우 이해당사자들이 여전히 수용할 수 없는 것으로 느낄 수 있다는 것을 의미할 수 있다.
Concerns regarding the possibility that commercial coaching could lead to unfair advantage represent a breach of the distributive justice principle of equal opportunity. Research has shown that justice rules can be more influential, and weigh more heavily on overall estimation of acceptability, when they are violated rather than when they are satisfied [21, 24]. In practical terms, this could mean that even in a situation where a selection tool is considered to perform well across a number of other justice domains – it may still prove unacceptable to stakeholders if it is perceived to fall short in one regard.
추천서, 에세이, 개인 진술서 등 다른 방법의 이해관계자 관점을 탐구하는 기록은 거의 없었지만, 그런 연구 결과에 따르면 내용의 진실성에 대해 다소 유보적인 입장을 표명하였다. 이러한 방법의 예측 타당성 역시 제한적인 것으로 알려져 있으며, 이는 이해관계자의 수용성 저하와 함께 선정 과정에서 그들의 역할에 도전한다(6, 109).
There were very few records that explored stakeholder views of other methods such as letters of recommendation, essays and personal statements, but those that did expressed some reservation about the veracity of content. The predictive validity of these methods is also known to be limited, and this coupled with poor stakeholder acceptability, challenges their role in the selection process) [6, 109].
이 검토의 두 번째 주요 제한은 선택 방법 자체의 이질성과 관련이 있다. 예를 들어, 모든 MMI가 동일한 것은 아니며, 어떤 두 MMI도 동일하지 않다[110]. 마찬가지로 적성 시험 사이에는 결정화crystalised 대 유체fluid 지능을 측정하도록 설계된 정도와 같은 중요한 차이가 있다[6]. 전체적인 이해관계자의 관점을 요약하고 일반화하려는 이 같은 체계적인 검토는 이러한 중요한 맥락적 차이를 피할 수 없을 것이다.
A second major limitation of this review relates to the heterogeneity of the selection methods themselves. For instance not all MMIs are the same, in fact no two MMIs are thesame[110]. Similarly there are important differences between aptitude tests, such as the degree to which they are designed to measure crystallised versus fluid intelligence [6]. A systematic review such as this one, that seeks to summarise and generalise overall stakeholders’ views, will inevitably mask these important contextual differences.
Conclusions
의대생 선발의 이해관계자들은 잠재적으로 다른 견해를 가진 다양한 그룹들의 집합이다. 공정하고 방어 가능한 선택 과정의 운영에 있어서 우리가 그들이 가지고 있는 견해의 범위와 깊이를 이해하고 감사하는 것이 중요하다. 모든 이해관계자가 정확한 정보를 사용할 수 있고 의과대학의 '자리'를 할당하는 데 사용되는 각 선택 방법의 목적과 목적에 대해 명확성을 보장하는 것은 선택 과정에 참여하는 모든 사람에게 의무적이다.
Stakeholders in medical student selection are a collection of diverse groups with potentially differing views. It is critical to the operation of fair and defensible selection processes that we understand and appreciate the range and depth of views that they hold. It is incumbent upon all involved in the selection process to ensure that accurate information is available to all stakeholders and that there is clarity regarding the objectives and purpose of each selection method used to allocate a place in medicine.
이 검토는 특히 지원자와 관련하여 이 분야에서 중요한 작업이 수행되고 있음을 보여준다. 그러나, 그것은 더 나은 표준과 더 적절한 방법론의 필요성을 강조한다; 미래 연구에 포함된 이해관계자 그룹의 범위를 넓히기 위해서. 마지막으로 우리는 이 검토가 심지어 같은 그룹의 이해관계자들이 반드시 동질적이지 않다는 인식을 강화하기를 바란다. 이해관계자의 인식은 선발의 책임이 있는 사람들에 의해 유포된 정보뿐만 아니라 다양한 문화적, 환경적 요인에 의해 크게 영향을 받는다.
This review demonstrates that there is important work being done in this field, especially in respect to applicants. However, it highlights the need for better standards and more appropriate methodologies; for broadening the scope of the stakeholder groups included in future research. Finally we hope this review reinforces recognition that stakeholders even fromthe same group are not necessarily homogenous. Their perceptions are significantly influenced by a range of cultural and environmental factors as well as information disseminated by those responsible for selection.
BMC Med Educ.2018 Jun 15;18(1):139. doi: 10.1186/s12909-018-1235-x.
A systematic review of stakeholderviews of selectionmethods for medical schoolsadmission.
The purpose of this paper is to systematically review the literature with respect to stakeholderviews of selectionmethods for medical school admissions.
METHODS:
An electronic search of nine databases was conducted between January 2000-July 2014. Two reviewers independently assessed all titles (n = 1017) and retained abstracts (n = 233) for relevance. Methodological quality of quantitative papers was assessed using the MERSQI instrument. The overall quality of evidence in this field was low. Evidence was synthesised in a narrative review.
RESULTS:
Applicants support interviews, and multiple mini interviews (MMIs). There is emerging evidence that situational judgement tests (SJTs) and selection centres (SCs) are also well regarded, but aptitude tests less so. Selectors endorse the use of interviews in general and in particular MMIs judging them to be fair, relevant and appropriate, with emerging evidence of similarly positive reactions to SCs. Aptitude tests and academic records were valued in decisions of whom to call to interview. Medical students prefer interviews based selection to cognitive aptitude tests. They are unconvinced about the transparency and veracity of written applications. Perceptions of organisational justice, which describe views of fairness in organisational processes, appear to be highly influential on stakeholders' views of the acceptability of selectionmethods. In particular procedural justice (perceived fairness of selection tools in terms of job relevance and characteristics of the test) and distributive justice (perceived fairness of selection outcomes in terms of equal opportunity and equity), appear to be important considerations when deciding on acceptability of selectionmethods. There were significant gaps with respect to both key stakeholder groups and the range of selection tools assessed.
CONCLUSIONS:
Notwithstanding the observed limitations in the quality of research in this field, there appears to be broad concordance of views on the various selectionmethods, across the diverse stakeholders groups. This review highlights the need for better standards, more appropriate methodologies and for broadening the scope of stakeholder research.
KEYWORDS:
Medical schools; Organisational justice; Stakeholders; Views
기관 내/기관 간 전통적 면접과 MMI의 신뢰도 비교: 다섯개 캘리포니아 의과대학(BMC Med Educ, 2017)
Reliability of Multiple Mini-Interviews and traditional interviews within and between institutions: a study of five California medical schools
Anthony Jerant1*, Mark C. Henderson2, Erin Griffin3, Julie A. Rainwater4, Theodore R. Hall5, Carolyn J. Kelly6,
Ellena M. Peterson7, David Wofsy8 and Peter Franks1
배경
Background
비구조화되었거나 최소한만 구조화된 일대일 전통적인 인터뷰(TI)는 의과대학 입학에 오랫동안 채용되어 왔다[1].
Unstructured or minimally structured one-on-one traditional interviews (TIs) have long been employed in medical school admissions [1].
부분적으로 면접관간 신뢰성에 대한 우려 때문에, 많은 학교들은 신청자들이 각각 다른 훈련된 평가관이 참여하는 일련의 간략한 반구조적 평가 스테이션을 통해 일하는 다중 미니 인터뷰(MMI)로 TI를 대체했다[3, 11].
Partly due to concerns about inter-interviewer reliability, many schools have replaced TIs with Multiple MiniInterviews (MMIs), in which applicants work through a series of brief, semi-structured assessment stations, each attended by a different trained rater [3, 11].
전술한 연구에 근거하여 일부 저자는 MMI가 TI에 비해 우수한 레이터 간 신뢰성을 가지고 있다고 결론지었다[2–6, 12, 17]. 그러나 이전의 MMI(및 TI) 연구는 각각 이러한 인터뷰 유형 중 하나만 채택하는 단일 기관에서 수행되었다.
Based on the foregoing studies, some authors have concluded that MMIs have superior inter-rater reliability as compared with TIs [2–6, 12, 17]. However, prior MMI (and TI) studies have been conducted at single institutions, each employing only one of these interview types.
중요한 것은, 두 가지 면접 유형을 모두 완료한 공통의 지원자 풀을 조사하여 TI보다 교수간 신뢰도가 높은지 여부를 동시에 테스트한 연구는 없다는 점이다. 더욱이 MMI 또는 TI의 학교 간 신뢰성을 조사한 연구는 없다.
Importantly, no studies have concurrently tested whether inter-rater reliability is higher for MMIs than for TIs by examining a common pool of applicants completing both interview types. Furthermore, no studies have examined the between-school reliabilities of MMIs or TIs.
5개의 캘리포니아 종방향 입학 평가(CA-LEAP) 컨소시엄 의과대학의 데이터를 사용하여 MMI와 TI의 내적 및 베트웨덴스쿨 신뢰성을 조사했다.
Using data from the five California Longitudinal Evaluation of Admission Practices (CA-LEAP) consortium medical schools, we examined the within and between school reliabilities of MMIs and TIs.
방법
Methods
연구대상
Study population
면접절차
Interview processes
두 학교(MMI1과 MMI2)는 MMI를 사용했으며, 각각 10분 스테이션과 7개 스테이션이 개별적으로 점수를 매겨 상업적으로 시판된 콘텐츠에서 채택되었다. [19] 두 학교 모두, 모든 스테이션은 다차원적이었다. 모든 스테이션에서 하나 이상의 추가 역량(예: 무결성/윤리, 전문성, 다양성/문화 인식, 팀워크, 스트레스 처리 능력, 문제 해결)과 함께 대인 커뮤니케이션 능력을 체계적인 평가 양식을 사용하여 평가하였다.
Two schools (MMI1 and MMI2) used MMIs, with 10 and 7 individually scored 10-min stations, respectively, generally adapted from commercially marketed content. [19] At both schools, all stations were multidimensional. Interpersonal communication ability was considered at every station, along with one or more additional competencies (e.g., integrity/ethics, professionalism, diversity/ cultural awareness, teamwork, ability to handle stress, problem solving), rated using a structured rating form.
3개 학교(TI1, TI2, TI3)는 TI를 사용했다. 각 학교에서 지원자들은 두 번의 30-60분짜리 구조화되지 않은 면접을 마쳤다. 하나는 교직원이고 하나는 의대생이나 교직원이었다.
Three schools (TI1, TI2, and TI3) used TIs. At each school, applicants completed two 30–60 min unstructured interviews, one with a faculty member and one with a medical student or faculty member.
TI1과 TI3 학교 모두에서 채택된 척도는 달랐지만 인터뷰 진행자는 단일 총괄 점수을 할당했다. 학교 TI2에서 면접관은 응시자를 4개의 개별 영역(생각/지식, 의사소통/행동, 에너지/인니티, 공감/동감)으로 1~5점 척도로 평가하였고, 그 후 도메인 점수를 합산하여 면접 점수(범위 4-20)를 산출하였다).
At both schools TI1 and TI3, interviewers assigned a single global interview rating, though the scales employed differed (
exceptional, above average, average, below average, unacceptable at TI1;
unreserved enthusiasm, moderate enthusiasm, or substantial reservations at TI3).
At school TI2, interviewers rated candidates on a 1– 5 point scale in four separate domains (thinking/knowledge, communication/behavior, energy/initiative, and empathy/compassion), and the domain scores were then summed to yield a total interview score (range 4–20).
Measures
Analyses
결과
Results
Within schools, correlations between interviewer ratings generally were qualitatively lower for TI1 (r 0.07, α 0.13), TI2 (r 0.29, α 0.40), and TI3 (r 0.44, α 0.61) than for MMI1 and MMI2 (α 0.68 and 0.60, respectively).
고찰
Discussion
우리는 일반적으로 TI보다 MMI가 학교 내 및 학교 간 신뢰성이 질적으로 더 높다는 것을 발견했다.
We generally found qualitatively higher within-school and between-school reliabilities for MMIs than for TIs.
본 연구에서 MMI의 질적으로 우수한 학교간 신뢰도에도 불구하고, 학교간 TI 신뢰성은 지배적인 견해를 바탕으로 우리가 예상했던 것보다 더 좋았다[2–6, 12, 17]. 이러한 연구 결과는 일부(전부는 아니지만) 이전의 단일 학교 연구에서 TI에 대해 관측된 낮은 인터뷰어 간 신뢰성이 TI 접근에 내재된 제한보다는 학교별 차이(예: 면접자 교육, 프로세스 표준화 정도)를 반영할 수 있음을 시사한다.
Despite the qualitatively superior between-school reliability of the MMI in our study, the between-school TI reliabilities were better than we had anticipated based on prevailing views [2–6, 12, 17]. These findings suggest that the low inter-interviewer reliability observed for TIs in some (but not all) prior single-school studies may reflect school-specific differences (e.g., interviewer training, degree of process standardization), rather than limitations inherent to the TI approach.
Conclusions
결론적으로, 5개의 캘리포니아 의과대학에 대한 공통 지원자 풀의 데이터를 분석한 결과, TI보다 MMI가 학교 내 및 학교 간 신뢰도가 정성적으로 높았다. 그럼에도 불구하고, TI의 학교 내 및 학교 간 신뢰성은 이전 문헌에 근거하여 일반적으로 예상보다 높았으며, 특히 특정 기관에서 사용하는 데 다른 요인이 유리할 경우 신뢰성에 대한 우려 때문에 TI를 포기할 필요가 없을 수 있음을 시사하였다.
In conclusion, in analyses of data from a common pool of applicants to five California medical schools, we found qualitatively higher within- and between-school reliabilities for MMIs than for TIs. Nonetheless, the within- and between-school reliabilities of TIs were generally higher than anticipated based on prior literature, suggesting that perhaps TIs need not be abandoned for the sake of reliability concerns, especially if other factors favor their use at a particular institution.
BMC Med Educ.2017 Nov 6;17(1):190. doi: 10.1186/s12909-017-1030-0.
Reliability of MultipleMini-Interviews and traditionalinterviews within and between institutions: a study of fiveCaliforniamedicalschools.
Department of Family and Community Medicine, University of California, Davis, School of Medicine, 4860 Y Street, Suite 2300, Sacramento, California, 95817, USA. afjerant@ucdavis.edu.
2
Office of the Vice Chancellor and Dean, University of California, Davis, School of Medicine, 4610 X Street, Suite 3101, Sacramento, California, 95817, USA.
3
Research and Evaluation Outcomes Unit, University of California, Davis, School of Medicine, 4610 X Street, Sacramento, California, 95817, USA.
4
Clinical and Translational Science Center, University of California, Davis, Health System, 2921 Stockton Boulevard, Suite 1400, Sacramento, California, 95817, USA.
5
Office of Admissions, David Geffen School of Medicine at University of California, Los Angeles, 885 Tiverton Drive Suite B27, California, Los Angeles, 90095, USA.
6
Division of Medical Education, University of California, San Diego, School of Medicine, 9500 Gilman Drive, mail code 0606, La Jolla, California, 92093, USA.
7
Office of Admissions, University of California, Irvine, School of Medicine, Medical Education Building, 836 Health Sciences Road, Irvine, California, 92697-4089, USA.
8
Office of Admissions, University of California, San Francisco, School of Medicine, Box 0408, 533, Parnassus Avenue, Room U-426, San Francisco, California, 94143, USA.
9
Department of Family and Community Medicine, University of California, Davis, School of Medicine, 4860 Y Street, Suite 2300, Sacramento, California, 95817, USA.
Abstract
BACKGROUND:
Many medicalschools use admissions MultipleMini-Interviews (MMIs) rather than traditionalinterviews (TIs), partly because MMIs are thought to be more reliable. Yet prior studies examined single-school samples of candidates completing either an MMI or TI (not both). Using data from fiveCalifornia public medicalschools, the authors examined the within- and between-school reliabilities of TIs and MMIs.
METHODS:
The analyses included applicants interviewing at ≥1 of the fiveschools during 2011-2013. Three schools employed TIs (TI1, TI2, TI3) and two employed MMIs (MMI1, MMI2). Mixed linear models accounting for nesting of observations within applicants examined standardized TI and MMI scores (mean = 0, SD = 1), adjusting for applicant socio-demographics, academic metrics, year, number of interviews, and interview date.
RESULTS:
A total of 4993 individuals (completing 7516 interviews [TI = 4137, MMI = 3379]) interviewed at ≥1 school; 428 (14.5%) interviewed at both MMI schools and 687 (20.2%) at more than one TI school. Within schools, inter-interviewer consistency was generally qualitatively lower for TI1, TI2, and TI3 (Pearson's r 0.07, 0.13, and 0.29, and Cronbach's α, 0.40, 0.44, and 0.61, respectively) than for MMI1 and MMI 2 (Cronbach's α 0.68 and 0.60, respectively). Between schools, the adjusted intraclass correlation coefficient was 0.27 (95% CI 0.20-0.35) for TIs and 0.47 (95% CI 0.41-0.54) for MMIs.
CONCLUSIONS:
Within and between-school reliability was qualitatively higher for MMIs than for TIs. Nonetheless, TI reliabilities were higher than anticipated from prior literature, suggesting TIs may not need to be abandoned on reliability grounds if other factors favor their use.
KEYWORDS:
Interview as topic; Multiple mini-interview; Reproducibility of results; School admission criteria; Schools, medical
창의성과 혁신의 잠재력: 보건의료 교육 실천을 위한 함의(Adv in Health Sci Educ, 2017)
Selecting for creativity and innovation potential: implications for practice in healthcare education Fiona Patterson1,2 • Lara Dawn Zibarras2,3
도입
Introduction
경제적으로, 혁신 능력이란 조직이 '더 적은 리소스로 더 많은 일을 하는' 방법을 배우는데 있어 능동적일 수 있는 몇 가지 전략적인 방법 중 하나이다(Anderson et al. 2014). 이러한 긴급한 필요에도 불구하고, 의료 분야의 선발 시스템은 혁신 가능성을 우선시하는 경우가 거의 없으며, 한 가지 어려움은 개인의 창의성과 혁신을 어떻게 신뢰성 있게 측정할 것인가이다.
Economically, the ability to innovate is one of the few strategic ways organizations can be proactive in learning how to ‘do more with less’ (Anderson et al. 2014). Despite this pressing need, few selection systems in healthcare prioritise the potential to innovate, and one challenge is how to reliably measure individual creativity and innovation.
광범위한 선발 연구에서, 성실성은 많은 직업(예:)에 걸친 직무 수행의 단일 최고의 예측자임을 보여준다.슈미트와 헌터 1998). 그러나 이것은 겉보기에는 역설적인데, 성실성은 창조성과 혁신에 부정적으로 관련되어 있는 것으로 나타난 반면에, 창의성이 경험에 대한 개방성과는 긍정적으로 연관되어 있는 것으로 나타나기 때문이다(예: Hammond et al. 2011).
In broader selection research, Conscientiousness is shown to be the single best predictor of job performance across many occupations (e.g.Schmidt and Hunter 1998). Yet this is seemingly paradoxical because Conscientiousness has been shown to be negatively related to creativity and innovation, whilst Openness to Experience is shown to be positively related (e.g. Hammond et al. 2011).
놀랍게도 의료 서비스 선택 내에서 창의성과 혁신을 탐구한 연구는 거의 없다.
Surprisingly little research has explored creativity and innovation within healthcare selection
창의성과 혁신
Defining creativity and innovation
창의성과 혁신의 개념은 수년 동안 논의되었다(Anderson et al. 2014; King 1992). Anderson 등(2014년)에 명시된 바와 같이:
The concepts of creativity and innovation have been debated over the years (Anderson et al. 2014; King 1992); although it is nowgenerally agreed that the two constructs overlap. As Anderson et al. (2014) state:
'직장에서 창조성과 혁신이란 일을 하는 새롭고 개선된 방법을 개발하고 도입하려는 시도의 과정, 결과, 산물이다. 이 과정의
창조적 단계는 아이디어 창출을 말하며,
혁신은 더 나은 절차, 관행 또는 제품을 지향하는 아이디어를 구현하는 후속 단계를 말한다.
창의성과 혁신은 개인, 작업팀, 조직의 수준에서 발생할 수 있으며, 또는 이러한 수준 중 하나 이상의 조합에서 발생할 수 있지만, 언제나 이러한 분석 수준 중 하나 이상에서 식별 가능한 편익을 얻을 것이다."
‘‘Creativity and innovation at work are the process, outcomes, and products of attempts to develop and introduce new and improved ways of doing things. The creativity stage of this process refers to idea generation, and innovation refers to the subsequent stage of implementing ideas toward better procedures, practices, or products. Creativity and innovation can occur at the level of the individual, work team, organization, or at more than one of these levels combined but will invariably result in identifiable benefits at one or more of these levels of analysis.’’
창의성과 혁신을 위한 선발
Selecting for creativity and innovation
수십 년 동안 연구는 창의성과 혁신과 관련된 핵심 성격 특성(예: Hammond et al. 2011)을 파악하는 데 초점을 맞추는 경향이 있었다.
Over several decades, research has tended to focus on identifying a core set of personality traits associated with creativity and innovation (e.g. Hammond et al. 2011), such as flexibility and openness to abstract ideas.
빅 파이브 인성 모델(골드버그 1990; McCrae and Costa 1996) 중 연구는 창의성과 혁신에 긍정적으로 관련되는 개방성을 일관되게 보여준다(McCrae 1987; Batey and Furnham 2006; Feist 1998; Hammond et al. 2011; King et al. 1996; Gwang and Rodradigues 2002). 연구는 또한 창의성과 혁신이 외향성과 긍정적으로 연관되어 있다는 것을 보여준다. 반대로, 성실성과 원만성은 창의성과 혁신과 부정적으로 연관되어 있다(예: Feist 1999; King et al. 1996; Gwang and Rodrigues 2002). 그럼에도 불구하고, 성실성과 원만성은 모두 의료 역할에서 교육, 훈련 및 고용에 들어가는 개인에게 특히 가치 있는 것으로 볼 수 있다. 정서적 안정성과 관련하여, 일부 연구자들이 아무런 관계도 찾지 못하는 가운데(AguilarAlonso 1996; King et al. 1996) 다른 연구자들은 정서적 안정성과 창의성과 혁신 사이의 부정적인 연관성을 발견한다(Feist 1998;Go ̈z 1979; Mohan and Tiwana 1987). 이처럼 지금까지 연구결과의 일관성이 부족하여, 높은 수준의 환자 관리가 필요한 안전 중요 환경인 의료 교육에서 이러한 발견이 복제되는 범위를 식별할 필요성을 강조한다.
Of the Big Five model of personality (Goldberg 1990; McCrae and Costa 1996) research consistently shows Openness to Experience to relate positively to creativity and innovation (McCrae 1987; Batey and Furnham 2006; Feist 1998; Hammond et al. 2011; King et al. 1996; Kwang and Rodrigues 2002). Research has also shows Extroversion (King et al. 1996; Kwang and Rodrigues 2002; Martindale and Dailey 1996) to be positively associated with creativity and innovation. Conversely, Conscientiousness and Agreeableness are negatively associated with creativity and innovation (e.g. Feist 1999; King et al. 1996; Kwang and Rodrigues 2002), and yet, both Conscientiousness and Agreeableness could be seen as especially valuable for individuals entering education, training and employment in a healthcare role. In relation to Emotional Stability, there are inconsistent research findings, with some researchers finding no relationship (AguilarAlonso 1996; King et al. 1996) yet others finding a negative association between Emotional Stability and creativity and innovation (Feist 1998;Go¨tz 1979; Mohan and Tiwana 1987). Inconsistent results highlight the need to identify the extent to which these findings replicate in healthcare education, a safety critical environment which requires high standards of patient care.
앞에서 설명한 성실성과 창의성 그리고 혁신 사이의 부정적인 연관성은 이전 연구가 다양한 직업에 걸쳐 성실성과 훈련 성공training success과 직업 수행의 다양한 지수 사이의 긍정적인 연관성을 일관되게 보여왔기 때문에 흥미로운 딜레마를 야기한다(Barrick et al. 2001; Bar 참조).Rick and Mount 1991; Schmidt et al. 2008). 퍼거슨 외 연구진(2002년)은 의과대학의 성공과 사전 임상 평가의 핵심 예측자로 성실성을 발견함으로써 의학교육 환경에서도 기존의 발견을 반복했다. McLachlan과 동료들 (Kelly et al. 2012; McLachlan 2010) 또한 의학생의 성공을 위해 성실성이 중요하다고 생각한다. 그러나 퍼거슨 외 연구진(2002년)은 일단 학생들이 임상 실습에 들어가자 성실성은 후속 수행에 대한 부정적인 예측자임을 발견했다.
The negative association described above between Conscientiousness and creativity and innovation raises an interesting dilemma since previous research has consistently shown a positive association between Conscientiousness and various indices of training success and job performance, across a diverse range of occupations (see Barrick et al. 2001; Barrick and Mount 1991; Schmidt et al. 2008). This finding has been replicated in healthcare education settings, where Ferguson et al. (2002)found Conscientiousness to be a key predictor of medical school success and preclinical assessments for students. McLachlan and colleagues (Kelly et al. 2012; McLachlan 2010) also find Conscientiousness to be important for medical student success. However, Ferguson et al. (2002) found Conscientiousness to be a negative predictor of subsequent performance once students entered clinical practice.
성실성을 둘러싼 이러한 차이점들은 그것이 넓은 "대역폭"을 가진 다면적인 구인이라는 사실과 관련이 있을 수 있다. 왜냐하면 그것은 충실성/신뢰성 및 역량/성취 노력(Costa와 McCrae 1992; Moon 2001)의 면으로 구성되어 있기 때문이다. 또한, 연구 결과,
창의성과 혁신에 긍정적으로 관련되기 위한 성취 노력과 지속성이 입증되었다(Busse and Mansfield 1984; Sternberg and Lubart 1999). 반면
체계적이고 신뢰할 수 있는 것은 부정적으로 연관되어 있다(Patterson 1999).
These differential findings surrounding Conscientiousness may relate to the fact it is a multi-faceted construct with a broad ‘band-width’ since it comprises facets of
dutifulness/dependability and also
competence/achievement striving (Costa and McCrae 1992; Moon 2001).
Further, research shows achievement striving and persistence to be positively related to creativity and innovation (Busse and Mansfield 1984; Sternberg and Lubart 1999) whereas being systematic and dependable is negatively associated (Patterson 1999).
조직 맥락
Organisational context
본 연구는 영국 GP(General Practice)에서 교육과 훈련을 신청하는 대학원 연수생 견본에 초점을 맞추고 있다.
Our study focuses on a sample of postgraduate trainees applying for education and training in UK General Practice (GP).
1. 구인타당도: 창의성과 혁신은 어느 정도까지 인성의 빅 5 요소와 관련이 있는가?
1. Construct validity: To what extent are creativity and innovation related to Big Five Factors of personality?
2. 구인타당도: 창의성과 혁신과 성실성의 facets의 관계는 무엇인가?
2. Construct validity: What is the relationship between creativity and innovation and the facets of Conscientiousness?
3. 예측타당도: 창조성과 혁신의 특성 기반 측정은 선택 중 평가된 창조적 문제를 해결하는 행동을 예측하는 데 있어 빅 5 차원보다 더 큰 이점을 제공하는가?
3. Predictive validity: Does a trait-based measure of creativity and innovation offer any advantage over the Big Five dimensions of personality in predicting creative problemsolving behaviour assessed during selection?
방법
Method
지원자와 절차
Participants and procedure 참가자들은 감정, 창조적 문제 해결 행동, 전문적 무결성, 압박과 임상 전문가와의 코핑 등 5가지 성과 차원을 목표로 하는 선발 센터에 참석하고 있었다. 이 중 창조적 문제해결 행태는 개념적으로 사고와 같은 지표를 측정하고, 비판적 분석을 사용하여 문제를 생각하고 해결책을 형성하며, 다른 사람의 아이디어와 제안에 개방되기 때문에 창조성과 혁신과 가장 밀접한 관련이 있다고 판단되었다.
Participants were attending a selection centre which targeted five performance dimensions including;
Empathy,
Creative Problem-Solving Behaviour;
Professional Integrity;
Coping with Pressure and
Clinical Expertise.
Of these,
Creative Problem-Solving Behaviour
was judged to be most closely related to creativity and innovation because it measured indicators such as thinks conceptually; uses critical analysis to think around issues and formulate solutions; open to ideas and suggestions from others.
척도
Measures
Innovation potential indicator (IPI)
IPI는 4차원(변화에 대한 동기, 도전적 행동, 작업 스타일의 일관성 및 적응)으로 구성된 개인의 창조적이고 혁신적인 행동에 대한 30개 항목 특성 기반 척도다. 선택과 개발을 위해 조직에서 사용되어 왔으며(Patterson 1999; Burch et al. 2008) 그 효용은 의료 이외의 분야에서 확립되었다(Zibarras et al. 2008; Burch et al. 2008). 그 항목들은 선호하는 작업 스타일에 대해 묻는 일련의 행동 진술이다. 의견제출자들은 1(강력하게 동의하지 않음)부터 5(강력하게 동의함)까지 5가지 척도로 항목에 동의하는 정도를 나타낸다. IPI 치수 및 예제 항목은 표 1에 개략적으로 설명되어 있다(Zibarras et al. 2008; Burch et al. 2008 참조).
The IPI is an established 30-item trait-based measure of an individual’s creative and innovative behaviour comprising four dimensions (Motivation to Change, Challenging Behaviour, Consistency of Work Style and Adaptation). It has been used in organisations for selection and development (Patterson 1999; Burch et al. 2008) and its utility has been established in sectors other than healthcare (Zibarras et al. 2008; Burch et al. 2008).
The items are a set of behavioural statements asking about preferred style of working. Respondents indicate the extent to which they agree with items along a five-point scale, ranging from 1 (strongly disagree) to 5 (strongly agree).
The IPI dimensions and example items are outlined in Table 1 (see Zibarras et al. 2008; Burch et al. 2008).
NEO PI-R
결과
Results
IPI 척도와 빅 5 치수 사이의 설명 및 상관관계는 표 2에 제시되어 있다.
The descriptives and correlations between the IPI scales with the Big Five dimensions are presented in Table 2.
1. 창의성/혁신적 특성은 성격상의 빅5 요소와 어느 정도까지 관련이 있는가?
1. To what extent are the creativity/innovation traits related to Big Five Factors of personality?
2. 창의성과 혁신과 성실성의 facet은 어떤 관계인가?
2. What is the relationship between creativity and innovation and the facets of Conscientiousness?
3. 창조성과 혁신의 특성 기반 측정은 선택 중에 평가된 창조적 문제 해결 행동을 예측하는 데 있어 빅 5 차원보다 더 큰 이점을 제공하는가?
3. Does a trait-based measure of creativity and innovation offer any advantage over the Big Five dimensions of personality in predicting creative problem-solving behaviour assessed during selection?
표 3은 1단계에서 빅 5 도메인의 추가가 창조적 문제 해결 행동을 예측했음을 보여준다.
Table 3 shows that the addition of the Big Five domains in Step 1 predicted Creative Problem-Solving Behaviour;
고찰
Discussion
우리의 연구 결과는 [그 사람의 "현재 기술"을 역할에 맞추기 위한 전통적인 선발 과정]식의 접근법에 의문을 제기한다 (코즈라와 아슈워스 2013). 진로 패턴의 변화와 변화 속도를 고려할 때, 예를 들어, 이 접근 방식보다는 "미래의 학습 잠재력"을 평가하는 기법을 찾는 것이 현명할 것이다.
Our findings might question the approach adopted by traditional selection processes that are aimed at fitting the person’s current skill set to the role (Koczwara and Ashworth 2013). Given the pace of change and shift in career patterns, perhaps it would be wise to re-visit this approach and move towards techniques that assess learning potential, for example.
이전의 연구(Batey and Furnham 2006; Feist 1999; King et al. 1996; McCrae and Costa 1996)에 따라, 개방성이 창의성 및 혁신 결과와 긍정적인 상관관계가 있음을 보여준다. 변화 동기는 외부 변화(긍정적 관계)와 신경증(부정적 관계) 사이의 연관성이 있었고, 문헌의 다른 곳에서도 유사한 발견을 복제한다(예: 킹 등, 1996; 맥크레이와 코스타 1996; 마르카티 외 2008). 실제로 정서적 안정(저신경증)은 여러 직종에서 작업 성능을 예측한다(예: Barrick et al. 2001), 우리의 발견은 또한 혁신에 대한 정서적 안정성의 필요성을 반영할 수 있다. 원만성은 창의성 및 혁신 특성과의 관계는 발견되지 않았다.
In line with earlier research (Batey and Furnham 2006; Feist 1999; King et al. 1996; McCrae and Costa 1996), results show Openness to Experience to be positively correlated with creativity and innovation outcomes. Associations were found between Motivation to Change and both Extraversion (positive relationship) and Neuroticism (negative relationship), replicating similar findings elsewhere in the literature (e.g. King et al. 1996; McCrae and Costa 1996; Marcati et al. 2008); indeed, given that Emotional Stability (that is, low Neuroticism) predicts work performance across occupations (e.g. Barrick et al. 2001), our findings may also reflect the need for Emotional Stability to innovate. No relationship was found between Agreeableness and the creativity and innovation traits.
성실성은 IPI 척도 중 두 가지(작업 스타일의 변화와 일관성에 대한 동기)와 긍정적으로 상관되었지만, 도전적 행동과 부정적으로 관련되었다. 이전의 연구는 혁신과 성실성 사이의 부정적인 관계를 보고했으며(예: 킹 외 1996), 실제로 많은 실천자들은 낮은 성실성이 혁신자들에게 중요하다고 가정한다(아마도 낮은 성실성이 유연성과 연관되기 때문이다). 그러나 빅 5 성격 체계에서 성실성은 창의성과 혁신 행동과 같은 기준을 예측하기에는 너무 광범위할 수 있다(Hough 1992) 이것은 우리가 facet 수준에서 성실성에 대한 조사를 통해 드러난다.
Conscientiousness was positively correlated with two of the IPI scales (Motivation to Change and Consistency of Work Styles), but negatively related to Challenging Behaviour. Previous research has reported a negative relationship between innovation and Conscientiousness (e.g. King et al. 1996), and indeed many practitioners assume that low Conscientiousness is important for innovators (perhaps because low Conscientiousness is associated with flexibility). However, the Big Five personality framework may be too broad to predict criteria such as creativity and innovation behaviour (Hough 1992); thus our examination of Conscientiousness at the facet level is revealing.
셋째로, 우리의 결과는 창의성과 혁신에서 동기의 중요한 역할을 확인시켜 준다. 실제로, IPI의 예측 타당성을 탐구할 때, 변화에 대한 동기부여는 유일하게 성격적 특성에 추가적으로 창조적 문제 해결을 예측해주는 변수다.
Thirdly, our results confirm the important role of motivation in creativity and innovation. Indeed, when exploring the predictive validity of the IPI, Motivation to Change is the only significant predictor of creative problem solving, over and above personality traits.
근거에 따르면 감독자가 창의성/혁신 동기에 (긍정적이든 부정적이든) 영향을 미칠 수 있고, 따라서 개인 관리자와의 관계는 창의성과 혁신을 촉진하거나 억제할 수 있다는 것을 보여준다. 이러한 이유로 감독자들은 혁신과 창의성을 위한 중요한 '게이트키퍼'로 묘사되어 왔다(Patterson et al. 2012).
Evidence suggests that supervisors may influence (either positively or negatively) an individual’s motivation towards creativity/innovation (Patterson et al. 2012) and thus the individualsupervisor relationship can either facilitate or inhibit creativity and innovation. This is why supervisors have been described as important ‘‘gatekeepers’’ for innovation and creativity (Patterson et al. 2012).
실제적 함의
Practical implications
실제로 본 연구는 창의성과 혁신이 핵심 요구사항인지에 여부에 따라 선발 과정에서 성실성이 서로 다르게 취급될 필요가 있을 수 있다는 점에서 선발의 핵심 과제를 강조한다.
Indeed, this research highlights a key challenge for selection given that Conscientiousness may need to be differentially treated in a selection process depending on whether creativity and innovation are key requirements.
임상 실천에서 혁신을 구현하기 위한 개인의 노력은 조직 및 팀 문화, 혁신을 위해 그들이 받는 지원에 달려 있다(Anderson et al. 2014; Hammond et al. 2011).
individual’s efforts to implement innovations in their clinical practice is contingent on organizational and team culture, and the support they receive for innovating (Anderson et al. 2014; Hammond et al. 2011).
Patterson, F., Knight, A., Dowell, J., Nicholson, S., Cousans, F., & Cleleand, J. (2015). How effective are selection methods in medical eduction and training? Evidence from a systematic review. Medical Education
1Department of Psychology, University of Cambridge, Cambridge, UK. f.patterson@workpsychologygroup.com.2Work Psychology Group, 27 Brunel Parkway, Pride Park, Derby, Derbyshire, UK. f.patterson@workpsychologygroup.com.3Work Psychology Group, 27 Brunel Parkway, Pride Park, Derby, Derbyshire, UK.4Department of Psychology, City University London, London, UK.
Abstract
The ability to innovate is an important requirement in many organisations. Despite this pressing need, few selection systems inhealthcarefocus on identifying thepotentialforcreativityandinnovationand so this area has been vastly under-researched. As a first step towards understanding how we might select forcreativityandinnovation, this paper explores the use of a trait-based measure ofcreativityandinnovationpotential, and evaluates its efficacy for use in selection forhealthcareeducation. This study uses a sample of 188 postgraduate physicians applying foreducationand training in UK GeneralPractice. Participants completed two questionnaires (a trait-based measure ofcreativityandinnovation, and a measure of the Big Five personality dimensions) and were also rated by assessors on creative problem solving measured during a selection centre. In exploring the construct validity of the trait-based measure ofcreativityandinnovation, our research clarifies the associations between personality, andcreativityandinnovation. In particular, our study highlights the importance of motivation in thecreativityandinnovationprocess. Results also suggest that Openness to Experience is positively related tocreativityandinnovationwhereas some aspects of Conscientiousness are negatively associated withcreativityandinnovation. Results broadly support the utility of using a trait-based measure ofcreativityandinnovationinhealthcareselection processes, although practically this may be best delivered as part of an interview process, rather than as a screening tool. Findings are discussed in relation to broaderimplicationsfor placing more priority oncreativityandinnovationas selection criteria withinhealthcareeducationand training in future.
의과대학 선발에서 전인적 검토: 사회적 요구 변화에 따른 전략적, 사명-기반 대응(Acad Med, 2016)
Holistic Review in Medical School Admissions and Selection: A Strategic, Mission-Driven Response to Shifting Societal Needs
Sarah S. Conrad, MS, Amy N. Addams, and Geoffrey H. Young, PhD
의과대학과 레지던트 프로그램은 항상 교육, 연구, 임상 치료 분야에서 우수성을 추구해왔다. 그러나 이러한 추구는 진공 속에서 이루어지는 것이 아니라 사회, 문화, 정치, 법률 및 경제력에 의해 지속적으로 그리고 필연적으로 영향을 받는다.
Medical schools and residency programs have always sought excellence in the areas of education, research, and clinical care. However, these pursuits are not accomplished within a vacuum—rather, they are continually and necessarily influenced by social, cultural, political, legal, and economic forces.
의사, 연구원 및/또는 교수로서 의료 교육 및 직업에 접근할 수 있는 선정은 과학만큼이나 예술이다. 높은 경쟁률과 제한된 리소스를 고려할 때 특히 그렇다.
Selection—who gains access to a medical education and to a career as a physician, researcher, and/or faculty member—is as much art as science. This is particularly true now, given high application-to-seat ratios and limited resources.
지원자에 대한 정량적 평가는 값지고 겉보기에는 객관적 정보를 제공하지만, 맥락을 전달하거나 지원자의 전체 이야기와 자신이 취했던 길을 말할 수는 없다.
Quantitative assessments of applicants yield valuable, seemingly objective information, but they cannot convey context or tell the full story of an applicant and the paths they have taken.
전인적 검토는 전략적으로 설계되고, 증거 중심적이며, 사명 기반이고, 다양성을 인식하는 프로세스의 사용을 촉진함에 있어, 각각이 가져오는 고유한 가치를 희생하지 않고 과학과 예술을 결합하는 개념적이고 실용적인 틀을 제공한다.
Holistic review, in promoting the use of strategically designed, evidence-driven, mission-based, diversity-aware processes, provides a conceptual and practical framework for marrying the art with the science without sacrificing the unique value that each brings.
의대 입학·선정 : 간략한 역사
Medical School Admission and Selection: A Brief History
학문적 성취는 성공적인 의사의 유일한 요구사항이 아니며 아마도 가장 중요한 요구사항도 아닐 것이라는 것은 오랫동안 이해되어 왔다. 1950년대 초에, 전국의 많은 입학 위원회 위원들은 지적 능력보다 의학생과 의사에게 더 중요한 인격과 청렴함integrity을 열거했다.1
It has long been understood that academic achievement is not the only requirement of a successful physician, and perhaps is not even the most important one. As early as the 1950s, many admissions committee members across the nation listed character and integrity as being more important for medical students and physicians than intellectual ability.1
10년 후, 이러한 필수적 자질들을 평가하기 위한 방법을 찾으려고 시도하면서, 의과대학들은 또한 후보자들을 고려할 때 인종과 민족성을 더 면밀하게 고려하기 시작했다. 인종과 민족성에 대한 이러한 초점은 변화하는 문화적 규범과 사회적 불의의 문제를 해결하고 모든 개인에게 동등한 교육을 제공하고자 하는 증가하는 욕구를 나타낸다. 이러한 초기의 노력은 의도는 좋았지만, 주로 구성적 다양성에 초점을 맞추었으며, 그러한 다양성을 뒷받침하는 제도적 역량에 거의 중점을 두지 않았다. 그 결과 다양성의 약속은 실현되지 못했고, 따라서 그것은 종종 다른 기관의 지향점와 구별되는 것으로 보여졌고, 때로는 충돌하는 것으로 여겨졌다.2
A decade later, while attempting to identify ways to assess these essential if difficult-to-determine qualities, medical schools also began to more closely consider race and ethnicity when admitting candidates. This focus on race and ethnicity represented shifting cultural norms and a growing desire to address issues of social injustice and ensure equal access to education for all individuals. These early efforts, were well intentioned but focused primarily on compositional diversity, with little emphasis given to institutional capacity to support that diversity. As a result, the promise of diversity failed to materialize, and it was therefore often viewed as being distinct from, and at times in conflict with, other institutional pursuits.2
생각은 꾸준히 진화했고, 연구는 다양성이 학습 환경에 미치는 유익한 영향을 밝히기 시작했다.
Thinking steadily evolved, and research began illuminating the beneficial effects of diversity on the learning environment.
이러한 혜택은 1978년 캘리포니아 대학교의 Regenses에서 Powell 판사가 인정한 것이다.3 Powell은 지원자에 대한 전체적 평가를 학업 지표 외에 인구통계학적 특성을 고려하는 것을 승인했으며, "의대생들은 학생체의 훈련을 풍부하게 하고 졸업생들이 인간성에 대한 그들의 중요한 봉사를 이해하도록 더 잘 준비시키는 의학 경험, 전망, 아이디어의 전문 학교에 데려올 수 있다."3
These benefits were recognized by Justice Powell in the Supreme Court’s 1978 Regents of the University of California v. Bakke decision.3 Powell approved a holistic evaluation of applicants, including the consideration of demographic characteristics in addition to academic metrics, explaining that a medical student “may bring to a professional school of medicine experiences, outlooks, and ideas that enrich the training of its student body and better equip its graduates to render with understanding their vital service to humanity.”3
지난 수십 년 동안 다양성의 이점(그리고 그 중요하지만 뚜렷한 동반자인 포함inclusion)에 대한 지식은 계속 확장되어 왔다.
Over the past several decades, knowledge of the benefits of diversity—and its critical but distinct companion, inclusion—has continued to expand.
선발에서 전체적 검토: 잠재적 해결책
Holistic Review in Selection: A Potential Solution
의과대학 입학처장과 위원회는 개인의 특성, 속성, 경험 및 학업 준비도와 그들 기관의 고유한 교육, 연구 및/또는 임상적 필요성의 균형을 신중하게 맞추는 위압적인 과제에 직면해 있다. 게다가, 그들은 그들의 공동체나 국가의 필요를 망각하지 않고 이것을 해야 한다.
Medical school admissions deans and committees are faced with the laudable though daunting task of carefully balancing individual characteristics, attributes, experiences, and academic readiness with the unique educational, research, and/or clinical needs of their institution. Furthermore, they must do this without losing sight of the needs of their community or nation.
AAMC는 전체론적 검토를 다음과 같이 정의한다.
the AAMC defines holistic review as
경험, 속성 및 학업 지표에 대해 균형있게 고려하는 방식으로 지원자의 능력을 평가하는 유연하고 개별화된 방법이다. 이런 것들을 결합하여 고려했을 때 개인이 의대생과 의사로서 가치에 어떻게 기여할 수 있는지 평가하는 방법이다.6
a flexible, individualized way of assessing an applicant’s capabilities by which balanced consideration is given to experiences, attributes, and academic metrics and, when considered in combination, how the individual might contribute value as a medical student and physician.6
이 정의는 학점이나 표준화된 시험 점수와 같은 학업적 지표 역시 몇 가지 중요한 기준 중 하나이며 지원자의 의료 교육 경로 맥락에서 고려되어야 한다는 것을 인정한다.
This definition acknowledges that academic metrics such as grades and standardized test scores should be considered as one of several important criteria and in the context of an applicant’s pathway to medical education.
또한 AAMC는 전체론적 검토를 모호한 개념에서 실행 가능한 과정으로 전환하는 유연한 프레임워크를 개발했다. 전체론적 검토는 임무에 기반하고, 증거에 의해 주도되며, 모든 선택 과정의 모든 단계에 통합되고, 모든 지원자들에게 공평하게 적용되며, 다양성이 우수성을 달성하는 데 핵심임을 인식한다.
The AAMC has also developed a flexible framework shifting holistic review from a vague concept to an actionable process: Holistic review is
mission based,
evidence driven,
integrated into all stages of the selection process, and
applied equitably across all applicants, and it
recognizes diversity broadly defined as central to achieving excellence.
중요한 것은, 그리고 이 프레임워크는 지원자들을 보는 렌즈를 확장하고 의사 결정자들이 지원자를 미래의 의대생이나 레지던트뿐만 아니라 미래의 의사로도 고려하도록 장려한다.
Importantly, and in support of Dr. Kirch’s proposal to transform admissions, this framework expands the lens through which applicants are viewed and encourages decision makers to consider the applicant not only as a future medical student or resident but also as a future physician.
전인적 검토는 현재 의과대학 입학에서 표준 어휘의 일부분이다.
Holistic review is now part of the standard lexicon in medical school admissions,
다양한 고등교육기관과 전문학교들은 전인적 검토와 기관적 목표 달성의 연관성을 강조했다. 전인적 검토를 통해 그러한 연계가 명확하게 설정되면, 기관의 사명과 목표는 입학 및 선발 기준의 기초가 된다.8
A variety of institutions of higher education and professional schools emphasized the link between holistic review and achievement of institutional goals. When that link is clearly established through holistic review, an institution’s or program’s mission and goals then become the foundation for admissions and selection criteria.8
취업에 대한 법적 파라미터는 대학 입학과는 다르지만, 전인적 검토의 기본 원칙은 레지던트 선발과 교수 채용 등 다른 선발 과정에도 적용될 수 있다. 2015년 프로버와 동료의 논평9에서 레지던트 지원자 선정에 있어 미국의 의사면허시험 1단계 점수에 대한 과도한 의존도를 비판하면서, 저자들은 "커뮤니티 참여, 리더십 역할, 독특한 개인적 속성"을 포함할 수 있는 레지던트 선택에 대한 "더 합리적이고 전체적인" 접근방식을 주장했다. "다양성"은 전문성, 환자 관리, 학제 간 팀의 일부로서 기능할 수 있는 능력과 같은 역량에 추가된다.
Though the legal parameters for employment are different from those in admissions, the basic principles of holistic review are transferrable to other selection processes including residency selection and faculty hiring. In a 2015 Commentary by Prober and colleagues9 critiquing the overreliance on United States Medical Licensing Examination Step 1 scores in selecting residency applicants, the authors advocated for a “more rational” and holistic approach to residency selection that may include “community engagement, leadership roles, unique personal attributes, and diversity” in addition to competencies such as professionalism, patient care, and ability to function as part of an interdisciplinary team.
전인적 검토의 발전
Advancing Holistic Review
전인적 검토와 기타 다양성 관련 노력은 꾸준히 진화하고 있다. 점점 더 많은 연구에서 기관들은 목표를 달성하기 위해 이러한 노력을 의학 교육의 연속에 걸쳐 맞추는 것의 중요성을 보여준다.11
Holistic review and other diversity- related efforts are steadily evolving. A growing body of research illustrates the importance of aligning these efforts across the continuum of medical education in order to achieve goals.11
이 정렬alignment은 기관의 미션에서 시작하는데, 기관의 미션이란 잠재적 지원자들과 지역사회에 전달하는 메시지이기 때문이다. 그런 다음 모집 전략, 커리큘럼 및 교육, 학생 지원 서비스 및 교수 개발에 대한 고려가 이루어져야 한다. 마찬가지로 레지던트 프로그램에서 공식적인 전인적 검토 프로세스의 구현을 고려한다면, 교육 과정과 레지던트가 학습할 임상 학습 환경에도 주의를 기울여야 한다.
This alignment begins with institutional mission and the message that mission conveys to potential applicants and to the community. Consideration should then be given to enrollment strategies, curriculum and pedagogy, student support services, and faculty development. Similarly, as residency programs consider implementing more formal holistic review processes, attention should be paid to the pedagogies used and clinical learning environments in which residents learn.
이러한 증거 기반 선발 관행에 대한 강조는 전인적 검토와 건전한 법률 및 교육 정책의 핵심 원칙이다. 평가는 법률 시스템을 포함한 주요 이해당사자에게 다양성에 대한 기관 또는 프로그램의 특정 요구를 방어하기 위해 필요한 데이터와 증거를 제공한다.13
This emphasis on evidence-based selection practices is at once a core principle of holistic review and sound legal and educational policy. Evaluation provides the data and evidence necessary to defend an institution’s or program’s specific need for diversity to key stakeholders, including the legal system.13
마지막으로, 선택 과정과 일반적인 대학의학은 다른 이해관계자 그룹들 간의 집단적이고 투명한 의사소통과 협업을 통해서만 최적화할 수 있다. 전인적 검토는 지원자에 대한 광범위한 정보에 의존하며, 그 성공 여부는 신청자와 학교, 또는 그들의 [사명과 목표]가 [정책과 실천]에 부합하는지 여부를 정보에 입각하여 결정할 수 있느냐에 달려있다.
Finally, the selection process, and academic medicine in general, can only be optimized through collegial, transparent communication and collaboration among different stakeholder groups. Holistic review depends on a wide range of information about the applicant, and its success depends on applicants and schools or programs being able to make well-informed decisions about whether their mission and goals are aligned with policies and practices.
또한, 의과대학과 레지던트 프로그램이 지원자들에게서 그들이 추구하는 자질, 경험, 그리고 학문적 측정지표와 학교나 프로그램의 성공과 관련된 요소들을 좀 더 명확하게 광고하도록 추진되고 있다.15
Additionally, there is a push for medical schools and residency programs to more clearly advertise the qualities, experiences, and academic metrics they seek in applicants and, where appropriate, factors associated with success in their schools or programs.15
결론
Conclusion
미국의 인구통계학적 구성은 10년 전과 확연히 다르며, 인종, 종교, 성 정체성의 차원에 따른 지속적인 건강과 사회적 불평등의 현실은, 특히 학문의학 자체와 병자들을 돌보는 그것의 역할에 대해 현저하게 도전해 왔다. 이러한 도전은 대학의학계만으로는 건설적으로 해결할 수 없다.
The demographic composition of the United States is markedly different than it was a decade ago, and the reality of persistent health and societal inequities along dimensions of race, religion, and gender identity, among others, has significantly challenged how academic medicine views itself and its role of caring for the sick. These challenges cannot be constructively addressed by the academic medicine community alone.
S.S. Conrad is director, Advancing HolisticReview Initiative, Association of American Medical Colleges, Washington, DC. A.N. Addams is director, Student Affairs, Strategy & Alignment, Association of American Medical Colleges, Washington, DC. G.H. Young is senior director, Student Affairs and Programs, Association of American Medical Colleges, Washington, DC.
Abstract
Medical schools and residency programs have always sought excellence in the areas of education, research, and clinical care. However, these pursuits are not accomplished within a vacuum-rather, they are continually and necessarily influenced by social, cultural, political, legal, and economic forces. Persistent demographic inequalities coupled with rapidly evolving biomedical research and a complex legal landscape heighten our collective awareness and emphasize the continued need to consider medicine's social contract when selecting, educating, and developing physicians and physician-scientists.Selection-who gains access to a medical education and to a career as a physician, researcher, and/or faculty member-is as much art as science. Quantitative assessments of applicants yield valuable information but fail to convey the full story of an applicant and the paths they have taken. Human judgment and evidence-based practice remain critical parts of implementing selection processes that yield the desired outcomes. Holisticreview, in promoting the use of strategically designed, evidence-driven, mission-based, diversity-aware processes, provides a conceptual and practical framework for marrying the art with the science without sacrificing the unique value that each brings.In this Commentary, the authors situate medical student selection as both responsive to and informed by broader social context, health and health care needs, educational research and evidence, and state and federal law and policy. They propose that holisticreview is a strategic, mission-driven, evidence-based process that recognizes diversity as critical to excellence, offers a flexible framework for selecting future physicians, and facilitates achieving institutional mission and addressing societalneeds.
Faking good: self-enhancement in medical school applicants
Barbara Griffin1 & Ian G Wilson2
도입
INTRODUCTION
최근 의학 교육에서 인성의 잠재적인 역할에 관심이 쏠리고 있으며 초기 연구에 따르면 일부 인성 요인(예: 양심)은 특히 상당한 임상 구성요소를 포함하는 과정들에서 학업 성적의 중요한 예측 변수라고 한다.12
attention has recently turned to the potential role of personality in medical education and early research suggests that some personality factors (e.g. conscientiousness) are significant predictors of academic grades, especially in courses that contain a substantial clinical component.1,2
비의료적인 맥락에서, 선발에서의 성격 테스트의 사용은 널리 퍼져 있으며, 성격이 직무 수행을 예측할 뿐만 아니라, 특히 수행의 친사회적 측면에 대한 인지 능력의 예측 효과에 대한 점진적인 차이를 설명한다는 것을 보여주는 많은 문헌에 기초하고 있다.3 또한, 선발 시 성격 테스트를 포함하면 학업 및 인지 능력의 측정이 소수 또는 불리한 집단에 미치는 악영향을 감소시킨다.3
In non-medical contexts, the use of personality testing for selection is widespread and is based on a large body of literature showing that personality not only predicts job performance, but explains incremental variance over the predictive effect of cognitive ability, especially for the prosocial aspects of performance.3 Furthermore, including personality tests in selection reduces the adverse impact that measures of academic and cognitive ability have on minority or disadvantaged groups.3
그럼에도 불구하고, 인성의 사용은 대부분 자기 보고 조치에 의존해 왔으며, 따라서 구직자들이 그들의 반응을 왜곡할 수 있는 가능성은 많은 관심을 불러일으키는 논쟁의 대상이 되어 왔다. 전형적으로 '긍정적 응답왜곡'라는 용어를 사용하여 조사되었다(그리고 덜 흔하게 '응답 왜곡', '자기 강화', '분열화'라고 불림), 이 현상은 '인성 항목에 대한 반응을 조작하기 위한 의식적인 노력'으로 정의되었다.6 일부 관찰자-78은 'faking good'가 지원자들 사이에 널리 퍼지지 않는다고 확신하고 있지만 다른 사람들은 지원자들이 성격 테스트를 마칠 때 그들의 응답을 왜곡할 수 있다고 주장한다.
Nevertheless, the use of personality has largely relied on self-report measures and therefore the potential for job applicants to distort their responses has been the subject of much concern andongoing debate. Typically investigated using the term‘faking good’ (and less commonly called ‘response distortion’, ‘self-enhancement’ and ‘dissimulation’), the phenomenon has been defined as: ‘a conscious effort to manipulate responses to personality items tomake a positive impression.’6 Although some observ-ers7,8 are convinced that faking good is not prevalentamong applicant populations, others9 argue that applicants can and do distort their responses when completing tests of personality.
선발 면접 당시(즉, 지원자로서) IPIP
the International Personality Item Pool (IPIP),10 at the time of their selection interview (i.e. as applicants),
IPIP는 널리 받아들여지는 5가지 인성 이론의 유효한 척도로, 인성은 양심, 외향, 동질, 신경증, 경험에 대한 개방 등 다섯 가지 상위 요소로 이루어져 있다고 단언한다.11
The IPIP is a valid measure of the widely accepted five-factor theory of personality, which posits that personality consists of five higher-order factors: conscientiousness; extroversion; agreeableness; neuroticism, and openness to experience.11
과거의 연구 결과에 따르면, 한 개인의 선의 조작 능력과 성향은 많은 요인에 의해 좌우되며, 그 중 많은 요인들은 의과대학에 입학하는 맥락과 관련이 있다. 예를 들어, 높은 의욕의 사람들은 특히 경쟁률이 높을 때 응답을 왜곡하며, 이는 의과대학 선발의 고부담 수준을 분명하게 반영한다. 또한, 사람들이 자신이 지원하는 직업군에 대한 긍정적인 고정관념에 일치하는 방향으로, 그리고 특정한 직업에 중요하다고 생각되는 특정 자질에 대해 어떻게 인식하느냐에 따라 성격 시험에 대한 그들의 반응을 왜곡할 것이라는 것을 발견했다.13,14
Past research indicates that a person’s ability and propensity to engage in faking good depends on a number of factors, many of which are relevant to the context of selection into medical school. For example, highly motivated people are likely to dissimulate, especially when the selection ratio (proportion of successful applicants to number of total applicants) is small,12 which clearly reflects the high-stakes context of medical school selection. In addition, studies have found that people will distort their responses to a personality test in line with positive stereotypes of incumbents in the job for which they are applying or according to their perceptions of the importance of certain qualities for a particular job.13,14
또한, 인지 능력이 높은 사람들은 시험 항목이 무엇을 측정하는지 더 쉽게 이해할 수 있기 때문에 그들의 반응을 왜곡할 수 있다고 생각된다.15 의과 지원자들의 높은 능력을 고려할 때, 성격 테스트에 대한 불임 발생률이 높을 것으로 예상할 수 있다. 이와는 대조적으로 맥파랜드와 라이언16은 신경증에서 낮은 점수를 받고 성실성과 양심성에 높은 점수를 받은 사람들은 dissimulation의 정도가 낮다는 것을 보여주었다.
In addition, those with high levels of cognitive ability are thought to be more able to distort their responses because they can more readily understand what the test items are measuring.15 Given the high ability of medical school applicants, one might expect to see a high incidence of dissimulation on personality tests. By contrast, McFarland and Ryan16 showed that those who scored lower on neuroticism and higher on integrity and conscientiousness dissimulated to a lesser extent.
방법
METHODS
연구참여자와 연구 설계
Participants and study design
초기 (시간 1) 설문지는 응답이 위조될 가능성이 더 높은 사전 선택 버전을 나타낸다. 참가자들이 일단 프로그램에 자리를 잡으면 자신을 과대평가할 이유가 적었기 때문에, Time 2 설문지가 완성된 것은 '정직한' 버전으로 여겨진다.
The initial (Time 1) questionnaire represents the pre-selection version to which responses would be more likely to be faked. The Time 2 questionnaire completed post-selection is considered the ‘honest’ version as there was less obvious reason for participants to over-represent themselves once they had gained a place on the programme.
척도
Measures
결과
RESULTS
이러한 결과는, 평균적으로 참가자들이 그들의 반응을 '긍정적인' 방향으로 조작했다는 것을 보여준다. 예를 들어, 데이터에 대한 검사 결과, 77.1%의 학생들이 타임 2보다 타임 1에서 더 높은 외향 점수를 받았다고 한다.
These results show that, on average, participants had falsified their responses in a ‘positive’ direction. An inspection of the data shows, for example, that 77.1% of students obtained a higher extroversion score at Time 1 than at Time 2.
우리는 각 학생이 좋은 척도를 조작한 척도 수를 합산했고(95% CI를 벗어난 점수 사용) 표본의 62.7%가 5가지 성격 척도 중 적어도 하나에서 분리되었지만, 오직 4.8%만이 5가지 척도 모두에서 자가 강화되었다는 것을 알아냈다.
We summed the number of scales on which each student had faked good (using scores outside the 95% CI) and found that 62.7% of the sample had dissimulated on at least one of the five personality scales, but only 4.8% had self-enhanced on all five scales.
고찰
DISCUSSION
본 연구의 연구 결과는 의과대학에 지원한 사람들이 자기 보고 테스트를 완료할 때 자신의 성격에 대한 오해의 소지가 있거나 기만적인 정보를 제공할 수 있다는 것을 보여준다.
The findings of this study indicate that those applying for entry into a medical degree may well present misleading or deceptive information about their personalities when completing self-report tests.
표본의 거의 3분의 2가 적어도 5대 인성 요인 중 하나를 조작한 것으로 보인다. 이러한 dissimulation 징후는 모든 지원자들이 자신의 성격 테스트 결과가 선택에 사용되지 않을 것이라는 확신을 가지고 있었음에도 불구하고 발생했으며 우리는 성격 테스트가 선택 과정의 공식적인 부분이었다면 dissimulation 수준이 훨씬 더 높았을 것이라고 제안한다.
nearly two-thirds of the sample appeared to have faked good on at least one of the Big Five factors of personality. This indication of dissimulation occurred despite the fact that all applicants had been assured that their personality test results would not be used for selection and we suggest that the level of dissimulation might have been even greater if personality testing had been a formal part of the selection process.
비록 우리의 결과가 상당한 비율의 지원자들이 그들의 점수를 바꿨다는 것을 보여주지만, 이 변화는 결코 보편적인 것이 아니었고 따라서 일부 지원자들, 특히 매우 정직한 지원자들에게 불리할 가능성이 있다.
Although our results show that a significant proportion of applicants changed their scores, this change was by no means universal and would thus potentially disadvantage some applicants, particularly very honest ones.
위조 효과에 관한 두 번째 주요 논쟁은 가짜 점수가 중요한 성과 결과를 예측하기 위한 타당성을 유지하는지 여부와 관련이 있다.
The second major debate regarding the effect of faking relates to whether or not faked scores maintain validity for predicting important performance outcomes.
세 번째 고려해야 할 문제는 dissimulation가 실제로 완전히 부정적인 행동인지 여부다. 대안적인 관점은 그것이 합법적이고 적응적일 수 있는 신청자의 한 부분에 자기보존의 형태를 나타낸다는 것이다.24 불행히도, 이러한 위조 관점을 채택하는 것은 결국 신청자가 코칭에 착수하는 정도를 증가시킬 수 있으며, 이는 원하는 방향으로 점수에 영향을 미치는 것으로 보여진다.25
The third issue to consider is whether or not dissimulation is actually a completely negative behaviour. An alternative view is that it represents a form of self-preservation on the part of the applicantthat may well be legitimate and adaptive.24 Unfortunately, adopting this perspective of faking may ultimately increase the extent to which applicants undertake coaching, which has been shown to influence scores in the desired direction.25
이러한 유보에도 불구하고, 선발 연구자들 사이에서는, dissimulation 문제는 성격 자체의 구성의 문제라기 보다는 시험의 속성이라는 것에 대한 일반적인 동의가 있다.
Despite these reservations, there is general agreement among selection researchers that the problem of dissimulation is a property of the tests rather than a problem of the constructs of personality themselves.
연구 결과에 따르면 dissimulation이 통제될 수 있다고 한다.
테스트에 거짓을 탐지할 항목이 포함되어 있고 응답이 검증될 수 있다는 경고를 줌으로써,26
19,27 그리고 더 미묘한 아이템을 개발함으로써
응답 지연 시간 측정함으로써26
그러나 의대생 선발과 같은 고부담의 맥락에서 자율보고의 사용은 문제를 일으킬 가능성이 높기 때문에 대학 입학처는 인격을 측정하는 대안적 방법을 고려해야 한다.
Research suggests that dissimulation can be controlled by giving warnings that the tests contain items to detect faking and that responses may be verified,26 by developing more subtle items,19,27 and by measuring response latency times.26 However, in a highstakes context such as medical student selection, the use of self-reports is likely to present a problem and therefore university admissions departments should consider alternative ways of measuring personality.
이 연구의 한계는 실패한 지원자들에게 타임 2 데이터를 수집할 수 없다는 것을 의미한다.
A limitation of this research refers to our inability to collect Time 2 data for unsuccessful applicants.
성격의 안정성과 의대생으로서의 우리 응답자들의 경험의 간결함을 고려할 때(1개월) 그들의 공부 환경에서 스트레스 요인에 대한 대응으로 변화가 일어났을 가능성도 낮다. 비의료적 맥락에서의 지원자 성격 테스트에 대한 많은 연구 기관의 결과와의 연구 결과의 유사성은 다른 직책에 대한 지원자처럼, 의과대학에 지원한 사람들이 성격에 대해 대답할 때 부정적인 자질을 부정하고 긍정적인 자질을 과대평가하는 경향을 보여준다는 결론을 어느 정도 뒷받침해 준다. st
Given the stability of personality3 and the brevity of our respondents’ experience as medical students (1 month), it is also unlikely that the changes occurred in response to stressors in their study environment. The similarity of our findings with outcomes in a large body of research on applicant personality testing in non-medical contexts6,9 gives some support to the conclusion that, like applicants to other positions, applicants to medical school demonstrate a tendency to deny negative qualities and overstate positive qualities when answering personality tests.
Med Educ. 2012 May;46(5):485-90. doi: 10.1111/j.1365-2923.2011.04208.x.
Fakinggood: self-enhancement in medicalschoolapplicants.
Department of Psychology, Macquarie University, Sydney, New South Wales, Australia Department of Medical Education, School of Medicine, University of Western Sydney, Sydney, New South Wales, Australia.
Abstract
OBJECTIVES:
The problem of dissimulation by applicants when self-report tests of personality are used for job selection has received considerable attention in non-medical contexts. Personality testing is not yet widely used in medical student selection, but this may change in the light of recent research demonstrating significant relationships between personality and performance in medicalschool. This study therefore aimed to assess the extent of self-enhancement in a sample of medicalschoolapplicants.
METHODS:
A within-subjects design compared personality test scores collected in 2007 for 83 newly enrolled medical students with scores for the same students obtained on the same personality test administered during the selection process 4 months previously. Five factors of personality were measured using the International Personality Item Pool and mean differences in scores were assessed using paired t-tests.
RESULTS:
At the time of selection, the personality scores of successful applicants were similar to those of candidates who were not accepted (n=271). Once selected, the medical students achieved significantly lower scores on four of the five personality factors (conscientiousness, extroversion, openness to experience, agreeableness) and higher scores on the fifth factor (neuroticism). Of the selected students, 62.7% appeared to have 'faked good' on at least one of the five factors measured.
CONCLUSIONS:
Applicants to medicalschool are likely to dissimulate when completing self-report tests of personality used for selection. The authors review the evidence as to whether such dissimulation reduces construct and predictive validity and summarise methods used to reduce self-enhancement in applicant samples.
The Academic Backbone: longitudinal continuities in educational achievement from secondary school and medical school to MRCP(UK) and the specialist register in UK medical students and doctors
IC McManus1,2*, Katherine Woolf1, Jane Dacre1, Elisabeth Paice3 and Chris Dewberry4
배경
Background
삶의 후반부의 교육적, 직업적 성취는 종종 삶의 초기에 교육적, 전문적 성취에 달려있다. 이 원칙은 오래 전에 교육의 맥락에서 인정되었는데, 인디애나 대학 교육대학 게시판에는 이렇게 써있다 "'미래 성취의 가장 좋은 예측자는 예측 당시 달성한 성취의 수준이다. 초등학교에서 좋은 독자는 중학교와 고등학교 내내 계속해서 좋은 독자가 된다. [다른 기술의 범위]에서도 마찬가지다."
Educational and professional achievements later in life often depend on educational and professional attainments earlier in life. This principle was recognized long ago in the context of education, with a 1924 article in the Bulletin of the School of Education of Indiana University saying: ‘the best predictor of future achievement is the level of achievement attained at the time of the prediction. The good reader in the elementary school continues to be a good reader throughout junior and high school; the same is true for [a range of other skills]’ [1].
그 원칙은 종종 '미래 행동의 가장 좋은 예측자는 과거의 행동이다'라고 언급된다. 이 구절의 초기 사용은 Berdie et al.에 의한 연구에 있었다. [2], 그는 이렇게 말했다: '미래 행동의 가장 좋은 예측자는 과거의 행동이다. 보통 고등학교에서 잘한 학생은 대학에서 잘 할 것이다. 고등학교와 대학 평균 사이의 상관관계는 약 0.50'이다.
The principle is now often stated as: ‘the best predictor of future behaviour is past behaviour’. An early use of the phrase was in the study by Berdie et al. [2], who said that: ‘the best predictor of future behavior is past behavior. Usually the pupil who has done well in high school will do well in college. Correlations between high school and college grade averages are about .50’.
의학 교육의 맥락에서 우리는 이 원리를 '학업적 뼈대'이라고 언급할 것이다. 의학과 의학 내에서 우리는 호흡기 질환에 대한 대학원생들의 이해는, 말하자면 임상 학생으로서 습득한 지식, 경험, 이해에 기초하고, 그 자체가 기초 의학에서 습득한 폐 생리학에 대한 이해에 기초하고 있다고 믿을 만한 충분한 이유가 있다고 믿는다. 이는 다시 고등학교 수준(A-level) 생물학 및 화학에서 습득한 보다 기본적인 생물학적 지식을 기반으로 하며, 이 지식은 또다시 중등교육 일반 자격증/보통 수준(GCSE/O-level)과, 그리고 더 나아가 산수나 읽고 쓰기 같은 등과 같은 그 이전 단계와 연관될 것이다.
In the context of medical education, we will refer to this principle as the ‘Academic Backbone’. Within medicine and medical science, we believe there is good reason to believe that the post-graduate understanding of, say, respiratory disease, is built upon knowledge, experience, and understanding acquired as a clinical student, which is itself built upon an understanding of pulmonary physiology acquired in the basic medical sciences, which in turn is built upon more basic biological knowledge acquired in Advanced level (A-level) Biology and Chemistry, which has its foundations in science learned at General Certificate of Secondary Education/ Ordinary level (GCSE/O-level) and earlier, with those concepts based on earlier educational achievements in the form of being able to read, write, do arithmetic, and so on.
우리의 아카데믹 백본의 은유적인 사용은 두 가지 기원을 가지고 있다.
Our metaphorical use of Academic Backbone has two origins.
첫째, 인간의 머리가 똑바로 서 있는 것은 단지 척추에 의해 제공되는 골격 지지대 때문만이 아니며, 그 주위에 위치한 근육과 힘줄의 동적 긴장 때문에 수직적이고 안정적으로 지상에 위치한다. 마찬가지로 따라서 고급 대학원 지식은 훈련 중에 이전에 습득한 임상 지식, 실습 기술 및 이론적 이해의 연동 세트에서 개발되고 유지된다. 즉 전문 분야 그 자체뿐만 아니라 의료 과학의 지적 토대를 함께 제공하는 다양한 인지적 분야와 기술로 인해서 유지될 수 있는 것이다.
Firstly, just as the human head stands erect, vertical and stably situated above the ground not merely because of the skeletal support provided by the vertebrae, but also because of the dynamic tensions of the muscles and tendons positioned around it, so advanced postgraduate knowledge is developed from and maintained by the interlocking sets of clinical knowledge, practical skills, and theoretical understanding acquired previously during training, not only in the specialist area itself but also in a range of cognate disciplines and skills that together provide the intellectual underpinnings of medical science.
둘째로, 우리가 '등뼈'라는 용어를 사용하는 것은 해부학적 은유일 뿐만 아니라, 구조 방정식 모델링에서 종종 발견되는 도표에서 영감을 얻었는데, 이 도표들은 나중에 우리가 사용하게 될 것이고, 여기서 왼쪽에서 오른쪽으로 일련의 측정들이 나란히 놓여지고, 각각의 측정들은 오른쪽에서 왼쪽으로 움직이게 되고, 다른 요인들이 위치한 주위로도 상상할 수 있는 것. 백본의 통계적 상관관계는 기술적으로 시간에 걸친 단순한 상관관계라고 불리는 것으로, 사실상 현재가 과거에 기초하고 있으며, 미래에 대한 기초를 제공한다고 한다.
Secondly, our use of the term ‘backbone’ is not only an anatomical metaphor, but also is inspired by the diagrams often found in structural equation modeling, which we will use later in these analyses, whereby a series of measures are laid side by side, from left to right, each causing the ones to its right, and being caused by the ones to its left, in what can also be envisaged as a backbone around which other factors are located. The statistical correlate of the backbone is what technically is called a simplex of correlations across time, in effect saying that the present is built upon the past, and provides the foundations for the future.
학문의 백본이 있다면, 학문의 성취가 의대생 선발의 주요 기반이 되어야 한다는 것이 이론적이고 실용적인 핵심이다.
If there is an Academic Backbone, then a key theoretical and practical corollary is that academic attainment should be a major basis for the selection of medical students.
문헌에 그러한 조치의 체계적인 예가 비교적 적음에도 불구하고, 학부 및 대학원 달성 조치의 내부와 사이의 상관관계는 계산하기에 비교적 간단하다.
Correlations within and between undergraduate and post-graduate attainment measures are relatively straightforward to calculate, even though there are relatively few systematic examples of such measures in the literature.
경험적으로, 자료의 수집과 상관관계의 계산은 어렵지 않지만, 그러한 상관관계는 종종 그들이 선택할 가치 있는 근거를 제공하지 못하는 것처럼 보일 정도로 실망스러울 정도로 작은 것처럼 보인다. 이는 명문 학술지에서도 발견되는 바와 같이 A-수준 등급과 같은 측정치가 대학 성취도를 예측하는 데 실제로 거의 가치가 없다는 진술을 하게 되었다[4]. 그러나 이것은 순진한 해석일 것이다. 정신측정학에서는 선발시험의 성과와 선발된 학생의 성과 사이의 낮은 상관관계의 문제가 잘 알려져 있다. 1943년 버트[5]에서는 'scholarship examination의 효율성을 선발 수단으로 판단하는 time-honoured 오류'를 지적했다. 이 오류에서 효율성은 선발된 그룹 내의 능력merit의 순서를 예측하는 수단으로 판단된다'
Empirically, the collection of the data and the calculation of the correlations is not difficult, but such correlations often seem to be disappointingly small, to the extent that they do not seem to provide a worthwhile basis for selection. This has resulted in statements, found even in prestigious journals, that measures such as A-level grades are actually of little value in predicting university attainment [4]. This would, however, be a naive interpretation. Within psychometrics, the problem of low correlation between performance on a selection test and outcome performance in those selected, is well known. Burt in 1943 [5] referred to the, ‘time-honoured fallacy of judging the efficiency of a scholarship examination as a means of selection by stating its efficiency as a means of predicting the order of merit within the selected group’ (p.2).
선발에 대한 연구에 있어서 가장 근본적인 문제는 시험에 기초해서 선발되지 못한 사람들은 필연적으로 그 시험의 낮은lower 수행자들이며, 우리는 선발 후 시험에서 그들이 어떻게 했을지 거의 측정할 수 없다는 것이다. A급 성적 등 선발 대책을 검증하기 위해서는 선발된 사람만이 아니라 전체 지원자 풀의 상관관계를 파악할 필요가 있다.
The most fundamental problem in studying selection is that those who fail to be selected on the basis of a test are by necessity lower performers on that test, and we can rarely, if ever, measure how they might have done in post-selection tests. In order to validate selection measures such as A-level grades, we need to know about the correlations in the entire pool of applicants, not just in those who have been selected.
이 범위 제한은 다음을 의미한다. 선발된 그룹(의과대학에 입학한 그룹)에서 선발 척도(예: A-수준)와 성과 척도(예: 의대 1학년)의 상관관계는 (만약 모든 의과 대학 지원자들에 대해 분석했을 때보다) 반드시 약할 것이다는 점이다.
This restriction of range means that in the selected group (those who enter medical school) the correlation of the selection measure (for example, A-levels) with the outcome measure (for example, first year medical school examinations) will necessarily be weaker than would be the case if performance were to have been assessed across the whole range of medical school applicants.
이 상황을 평가할 수 있는 유일한 방법은, 입학자가 모든 수준의 성취도에 대한 모든 지원자의 풀에서 무작위적이고 대표적인 표본이 되는 것이다. 범위 제한 문제에 대한 통계적 해결책은 수 십 년 동안 연구되어 왔으며 [5] 현재 그 문제는 통계적으로 추적가능하기 때문에 전체 선택에 대한 유효성 계수를 계산할 수 있다(이하 'construct validity'이라 한다).
That situation could only be assessed empirically if entrants were to be a random, representative sample from the pool of all applicants, with A-level grades at all levels of achievement. Statistical solutions to the problem of range restriction have been explored for many decades [5] and the problem is now statistically tractable [6,7], so that validity coefficients for selection as a whole (so-called ‘construct validity’) can therefore be calculated.
여기서 우리는 학업적 뼈대가 의과대학 이전, 의과대학 중, 의과대학 후의 수행 척도 사이에 어느 정도로 유의한 상관관계를 보여주며, 실질적 의미가 있는지에 초점을 맞출 것이다.
Here, we will concentrate on the extent to which the Academic Backbone has empirical substance, manifesting as significant correlations between earlier and later measures of performance, before, within, and after medical school.
의술에 사용되는 선발척도는 크게 성취(또는 달성) 척도와 적성(또는 능력) 척도로 나눌 수 있다[3].
영국의 GCSE와 A-수준이 예가 될 수 있는 달성/성공 시험은 전형적으로 공식적인 중등교육 동안 습득한 지식과 기술을 평가하며, 높은 성과는 아마도 지적 능력뿐만 아니라 동기부여와 일반적인 학습 능력을 필요로 할 것이다[9].
이와는 대조적으로, 영국의 UKCAT(United Clinical Aptitude Test)와 바이오메디컬 입학 시험(BMAT)과 같은 적성/능력 시험은 '사고와 추론을 위한 지적 능력, 특히 논리적이고 분석적인 추론 능력'을 강조한다[10]. 그것들은 잠재력의 척도가 되고 형식적인 학교교육과는 무관하다고 느끼고 있으며, 여러 가지 면에서 기본적인 정신능력이나 지능의 척도와 겹치는 것으로 볼 수 있다.
미국의 의대생을 선발하는 데 사용되는 의대 입학시험(MCAT)과 같은 시험[11]은 생물학, 화학, 물리학에서 나온 물질 범위에 대한 실질적인 학문적 이해를 측정하며, 따라서 적성보다는 주로 성취도 측정이 된다.
Selection measures used in medicine can be broadly divided into measures of attainment (or achievement) and measures of aptitude (or ability) [3].
Attainment/ achievement tests, of which GCSEs and A-levels in the UK would be examples, typically assess the knowledge and skills that have been acquired during formal secondary education, and high achievement probably requires not only intellectual ability but also motivation and generic study skills [9].
By contrast, aptitude/ability tests, such as the UK Clinical Aptitude Test (UKCAT) and BioMedical Admissions Test (BMAT) in the UK, emphasize ‘intellectual capabilities for thinking and reasoning, particularly logical and analytical reasoning abilities’ [10]. They are felt to be measures of potential and to be independent of formal schooling, and in many ways can be regarded as overlapping with measures of basic mental ability or intelligence.
Tests such as the Medical College Admission Test (MCAT), used to select medical students in the USA [11], measure substantive academic understanding of a range of material from biology, chemistry, and physics, and are therefore primarily measures of attainment rather than of aptitude.
적성에 근거한 선택과 성취 대책의 주요한 차이점은 적성시험은 일반적인 사고와 추론 기술이 의과대학 수행의 주요한 예측인자라고 보는 반면, 성취시험은 생물학이나 화학의 사실, 이론, 아이디어와 같은 실질적인 지식이 중요하다고 가정한다는 것이다. 그 자체가 일반적인 기술 이외에 의과대학의 성과의 예측자이며, 과거에 치러진 성취 시험에서 이룬 우수한 성과는 동기, 지적 능력 및 인성의 일부 조합을 나타내는 간접적인 지표라고 할 수 있다[12].
The major difference between selection based on aptitude and on attainment measures is that the use of aptitude tests assumes that generic thinking and reasoning skills are the major predictors of medical school performance, whereas the use of attainment tests assumes that substantive knowledge, such as of the facts, theories and ideas of biology or chemistry, are themselves predictors of medical school performance in addition to general skills, and that previous good performance on attainment tests is an indirect indicator of some combination of motivation, intellectual ability, and personality [12].
결과의 예측자로서의 성별과 민족
Sex and ethnicity as predictors of outcome
의학 교육에 대한 지속적인 관심의 두 가지 인구학적 요인은 성별과 민족성이다. 백인 이외의 영국 의대생들은 MRCP(영국)를 포함하여 의대 시험[14,15]과 대학원 시험[15]에서 성적이 떨어진다. 또한 남성과 여성은 MRCP(영국)에서 다르게 수행하며, 남성과 여성은 똑같이 제1부에 합격할 가능성이 높지만, 여성은 제2부와 임상시험 스킬(PACES)의 실기 평가에 합격할 가능성이 더 높다 [16]. 또한 남성은 Fitness to Practise에 대한 우려처럼 GMC에 의해 조사되고 제재를 받을 가능성이 훨씬 더 높다[17,18]. 대학원 시험에서 다른 성과를 해석하는 것은 의사들이 MRCP(영국)와 같은 시험을 볼지 말지를 선택하고, 시험을 볼지를 선택하는 사람들이 의대를 졸업하는 사람들의 무작위 하위집합은 아닐 수도 있다는 사실 때문에 복잡하다.
Two demographic factors of continuing interest in medical education are sex and ethnicity. Non-white UK medical students perform less well both in medical school examinations [14,15] and in post-graduate examinations [15], including the MRCP(UK) [16]. Men and women also perform differently on the MRCP(UK), men and women being equally likely to pass Part 1, but women being more likely to pass Part 2 and the Practical Assessment of Clinical Examination Skills (PACES) [16]. Men are also far more likely to be investigated and sanctioned by the GMC for Fitness to Practise concerns [17,18]. Interpreting differential performance in postgraduate examinations is complicated by the fact that doctors choose whether or not to take examinations such as MRCP(UK), and those choosing to take an examination may not be a random subset of those graduating from medical school.
데이터 세트
Overview of the datasets
통계적 문제
Statistical issues
오른쪽 치우침
Right-censoring of measures
영국의 의료 교육자들에게 점점 더 큰 문제는 GCSE와 A레벨 시험에서 모두 등급 인플레이션이 발생했다는 것이다. 이 시험은 영국 의대에 지원하는 대다수의 응시자에게 발생한다. 대부분의 지원자들은 2010년까지 A = 10, B = 8, C = 6, D = 4, E = 2로 점수가 매겨진 3개의 A-수준 점수에 대해 최대 점수는 30점이며, 매년 증가하는 학생 비율은 AAA 점수와 함께 '상한에' 있다[19]. 통계적 'right-censored'에서 상위권에는 더 높은 등급이 존재하지 않는다. 즉, 많은 응시자들이 더 어렵고, 더 늘며, 더 연장된 평가로 차별화되더라도 여전히 최상위 등급에 속하게 된다. 따라서 A-수준 및 GCSE 등급은 왼쪽으로 치우쳐져 있고 첨도가 되어 표준 편차(SD)와 겉보기 평균을 감소시키며, 또한 다른 변수와의 상관관계의 크기를 인위적으로 감소시킨다.
A growing problem for medical educators in the UK is that there has been grade inflation in both GCSE and Alevel examinations, which are taken by the majority of candidates applying to UK medical school. Most applicants take three or more A-levels, which until 2010 were scored as A = 10, B = 8, C = 6, D = 4, E = 2, other = 0. For the best three A-level grades attained, the maximum score is 30, and a growing proportion of students each year are ‘at ceiling’ with AAA grades [19]. In statistical ‘right-censored’, terms, A-level grades are with the absence of higher grades meaning that many candidates are forced into the top category, even though they would be differentiated with a harder, more stretching and extending assessment. A-level and GCSE grades are therefore skewed to the left and are kurtotic, reducing the standard deviation (SD) and the apparent mean, and also artifactually reducing the size of the correlation with other variables.
척도 그룹핑
Grouping of measures
The Markov Chain Monte Carlo method for calculating correlations
Methods
Results
The UCLMS Cohort Study
The 1990 Cohort Study
The 1985 Cohort Study
The 1980 Cohort Study
The Westminster Cohort Study
고찰
Discussion
모든 코호트에서, 거의 모든 성취 단계에서, 초기 단계에서 성취하기 위한 인과관계가 있다는 것은 분명하다. 이와 유사한 결과는 레지던트 결과의 예측 변수로서 미국 의과대학의 성취도를 최근 메타분석한 결과에서 발견되었다. 전체 연구, 레지던트에서의 성과(NBME(National Board of Medical Examiners, NBME) 3, 교육 과정 및 면허 시험) 상관 관계는 의과대학(NBME 2 및 미국 의료면허시험 2(USMLE2)에서 임상실적을 측정)과 0.596(가중평균)의 관계를 가지며, BMS 성과 측정값(NBME 1 및 USMLE 1)과는 0.515(가중 상관 관계)의 상관관계를 가져서[43], 의과대학부터 레지던트까지 학술 백본의 성격을 확인해준다.
In all the cohorts, it is clear that at almost every stage of attainment, there are causal links back to attainment at earlier stages. A similar result to this was found in a recent meta-analysis of US medical school attainment as a predictor of residency outcome. Averaging across studies, performance at residency (National Board of Medical Examiners (NBME) 3, in-training examinations and Licensing examinations) correlated at 0.596 (weighted mean) with measures of clinical performance in medical school (NBME 2 and United States Medical Licensing Examination 2 (USMLE2)), and 0.515 (weighted correlation) with measures of BMS performance (NBME 1 and USMLE 1) [43], confirming the nature of the Academic Backbone from medical school through to residency.
의학교육의 후단계에서 초기 단계와의 수행의 상관관계는 의과대학 자체에서만 일어나는 것이 아니라, 의과대학(그 이상)에서의 후발 성취의 증거와 함께 A-수준 결과뿐만 아니라 GCSE/O-수준과도 상관관계가 있어서 일찍 시작된다. USMLE 1, 2, 3 검사가 의대 입학 전에 실시된 의대 입학 시험(MCAT)의 성과에 의해 예측되는 미국에서도 비슷한 결과가 발견되었다(각각 메타 분석 상관 관계: 0.60, 0.38, 0.43).
The correlation of performance at later stages in medical training with earlier stages does not just take place in medical school itself, but begins earlier than that, with evidence of later achievement in medical school (and beyond) correlating not only with A-level results, but also with GCSE/O-levels. Equivalent results have been found in the USA, where USMLE 1, 2, and 3 examinations are predicted by performance on the Medical College Admission Test (MCAT), which is taken prior to entry into medical school (meta-analytic correlations: 0.60, 0.38, and 0.43, respectively) [44].
이 연구에서 특히 관심 있는 것은 A-수준과의 상관 관계들이다. right-censoring을 위해 교정된 것조차도 입학자 안에 있고 일반적으로 신청자 안에 있지 않다는 것을 고려한다면, A레벨은 평균 0.24로 MRCP(영국) 결과를 예측하고, 평균 상관관계는 0.21로 약간 낮은 MRCP(영국) 결과를 예측하고, Specialist Register에 있는 것을 예측한다.그것은 평균 0.15의 상관관계를 가진다. 다른 곳에서, 우리는 이 다섯 가지 연구에서 교육적 성취도 측정에 대한 건설 타당성을 추정했고, 첫 번째 BMS 연도[8]의 성과에 대한 훨씬 더 큰 UKCAT-12 연구를 통해 건설 타당성이 단순한 상관 관계보다 상당히 높았고, BMS 첫 해 성과에서 최대 65%의 차이를 설명하였다[8].
Of particular interest in the present study are correlations with A-levels. Remembering that correlations, even those corrected for right-censoring, are within entrants and not within applicants in general, it is clear that Alevels
predict medical school performance with an average correlation of 0.24,
predict MRCP(UK) results with a slightly lower average correlation of 0.21, and
predict being on the Specialist Register with an average correlation of 0.15.
Elsewhere, we estimated construct validities for the measures of educational attainment in these five studies and the much larger UKCAT-12 study of performance in the first BMS year [8], and found that construct validities were substantially higher than simple correlations, explaining up to 65% of the variance in BMS first year performance [8].
더 나은 해석은 사람들이 평가 1에서 특정한 수준에서 수행을 할 수 있게 하는 것이 지식의 구조라는 것이며, 초기의 지식 구조는 2단계에서 보다 정교한 지식 구조가 구축되는 플랫폼이며, 그 자체가 평가 2단계에서 성취할 수 있는 기반을 제공한다는 것이다.
A better interpretation is that it is the structure of knowledge that enables people to perform at a particular level in assessment 1, and that earlier structure of knowledge is the platform on which a more sophisticated structure of knowledge is built at stage 2, and itself provides a platform for achieving in assessment 2.
또한 백본이 단지 학습된 정보의 고립된 덩어리('사실체'라고 불리는 것)에 관한 것이라고 해석되어서는 안 된다. 하지만 대신에 그것은 정보의 시스템, 지식의 범주, 은유, 패턴과 관계, 획득된 상호연결된 이미지와 생각들, 이 모든 것이 밑거름이 되게 한다. 그리고 새로운 정보를 기존 아이디어와 통합하고, 메모리에 위치시켜서 그것이 쉽게 접근하고 올바른 환경에서 촉발될 수 있도록 한다. 최종 결과는 일반적으로 '인지적 자본'이라고 부를 수 있는 것의 축적이거나, 보다 구체적으로는 현 상황에서 '의학적 자본'으로 묘사될 수 있는 것, 즉 성공적인 의료행위를 구성하는 지식, 이론, 경험, 이해 및 기술의 집합이다.
Neither should it be construed that the backbone is about isolated nuggets of information (‘factoids’ as they have been called) that are merely learned, but instead it is systems of information, categories of knowledge, metaphors, patterns and relationships, interconnected images and ideas that are acquired, all of which make it possible to understand new information, integrate it with existing ideas, and position it in memory in a way that it can then be accessed easily and triggered in the right circumstances. The end result is the accumulation of what in general can be referred to as ‘cognitive capital’, or more specifically in the present context can be described as ‘medical capital’; that set of knowledge, theories, experience, understanding and skills that comprise successful medical practice.
실제로 그러한 측정된 변수 중 많은 수가 다른 기초변수의 지표로, 잠재적 변수의 지표로, 그림 6은 개연성 있는 상호관계에 대한 보다 포괄적인 모델을 보여준다. 직사각형 상자는 그림 1, 2, 3, 4, 5와 동일한 측정 변수를 나타내며, 타원은 여기서 측정되지 않았지만 원칙적으로 측정할 수 있는 변수를 보여준다. 주요 백본은 이제 초등학교를 시작으로 하는 교육자본으로, 읽기, 쓰기, 산술, 기타 기초기술 등을 배우는 동안 일반적인 인지자본(표시되지 않음)을 습득한다.
In reality, many of those measured variables are indicators of other, underlying, latent variables, and Figure 6 shows a more comprehensive model of the probable inter-relations. The rectangular boxes show the same measured variables as in Figures 1, 2, 3, 4, and 5, while the ellipses show variables that have not been measured here, but in principle could be measured. The main backbone is now of educational capital, starting at primary school, where generic cognitive capital (not shown) is acquired during the learning of reading, writing, arithmetic, and other basic skills.
중등교육에 의해, 역사, 지리, 언어, 과학, 예술과 같은 과목에서, 특히 특정 교육에 의해 도움을 받고, 모든 과목들은 GCSE에 의해 평가된다. [일반 지식 자본]은 그 후 A레벨로 평가되는 화학과 생물학 같은 과목들을 통해 보다 구체적인 [과학 자본]의 밑거름이 된다. . 의과대학에서 [BMS 자본]는 다시 교육의 도움으로 취득되고, A급에서 연구된 과학 자본의 기초 위에 세워진다.
By secondary education, a wide range of ‘general knowledge capital’ is acquired, helped particularly by specific teaching, in subjects such as history, geography, languages, sciences, and art, all of which are then assessed by GCSEs. The general knowledge capital is then the underpinning for more specific ‘science capital’, through subjects such as chemistry and biology, which are assessed by A-levels. At medical school, ‘BMS capital’ is acquired, again with the help of teaching, and built on the foundations of the science capital studied at A-level.
의과대학의 임상학기에 [의학적 자본]이 획득되기 시작하고, 다시 한번 교육에 의해 도움을 받지만, 또한 임상 검사의 형태로 평가되어 환자와 환자 치료의 경험으로부터 도움을 받기 시작한다. 의학자본은 대학원 연수 중에도 계속 취득하고 있지만, 지금은 아직 가르침은 있지만, 의학적 자본의 취득을 돕는 광범위한 임상실무도 있어, 의학적 자본은 이후의 임상행위의 질을 향상시킨다. 의학적 자본은 의료 훈련 기간 동안만 성장할 뿐만 아니라 자연적인 붕괴와 망각을 통해, 또는 시대에 뒤떨어진 지식을 통해 감소할 수 있으므로 자본 성장의 궤적이 항상 순탄하지는 않다[45].
In the clinical years of medical school, ‘medical capital’ proper begins to be acquired, aided once again by teaching, but also assisted by experience of patients and patient care, with assessment in the form of clinical examinations. Medical capital continues to be acquired during post-graduate training, but now, although there is still teaching, there is also extensive clinical practice, which aids the acquisition of medical capital while the medical capital improves the quality of subsequent clinical practice. Medical capital not only grows during medical training but can also diminish, through spontaneous decay and forgetting, or through earlier knowledge becoming out of date, so that the trajectory of capital growth is not always smooth [45].
순수 지적 적성 시험(왼쪽 상단에 표시)은 주로 지능의 지표로, 그림 6의 하단에 나타난 바와 같이, 그러한 지능은 적성 시험(그리고 아마도 일반 지식 자본)에 의해 평가된다. 적성 테스트는 또한 과학 지식을 평가할 수 있는데, 이 경우 과학 자본의 영향도 받는다(그림 6에 나와 있지 않은 링크). 그림 6의 경로 모델은 상단 행(직사각형 상자)에 있는 모든 측정 사이에 긍정적인 상관관계가 있을 것으로 예측한다.
Pure intellectual aptitude tests (shown at the top left) are indicators primarily of intelligence, as shown at the bottom of Figure 6, with intelligence as such being assessed by aptitude tests (and perhaps also general knowledge capital). Aptitude tests can also assess science knowledge, in which case they are also influenced by science capital (link not shown in Figure 6). The path model of Figure 6 predicts that there will be positive correlations between all of the measures in the top row (in rectangular boxes).
중요한 것은 단지 직전 단계의 성취가 중요한 것이 아니라, 경로 도표에서 알 수 있듯이, 많은 초기 단계에서도 성취가 중요하다는 것이다. 시험을 통과했더라도, 그 전에 있었던 학습이 지워지는 것은 아니며 다음 단계가 고립되어 다뤄지는 것도 아니다. 이전의 검사에서 수행에 기여한 학문의 각인이 남아 있으며, 이것은 몇 년이 지난 후에도 종종 유용할 수도 있는 의학적 자본의 형태로 계속적으로 이어지는 것에 대한 빌딩블록과 비계를 제공한다. 그것은 아마도 중요한 시험에 합격하는 것만이 아니라 얼마나 잘 통과되는지에 대한 이유일 것이다. 국경선에 있는 사람들은 이후 더 높은 수준에서 시험에 합격한 사람들보다 더 큰 어려움을 겪는다[26].
Of importance is that it is not merely achievement at an immediately previous stage that matters, but, as the path diagrams show, achievement also at many earlier stages. Once an examination is passed, then the learning that preceded that examination is not erased and the next stage is not coped with in isolation. An imprint remains of the learning that contributed to the performance in that earlier examination, and this continues to provide building blocks and scaffolding for what is to follow, in the form of medical capital, which often may be of utility many years later. That is presumably the reason why it is not merely passing an examination which matters, but how well it is passed, with those on the borderline subsequently having greater difficulties than those who passed an examination at a higher level [26].
영국 의대생 선발에서 A-수준의 역할은 오랫동안 논의되어 왔으며, A-수준에서의 높은 성취는 후속 의학 달성을 위한 예측적 가치가 거의 없거나 전혀 없다는 많은 주장이 있다. 백본 연구는 그것이 사실이 아님을 분명히 보여준다.A-수준은, 등급 인플레이션과 천장 효과로 인해 점점 더 좁혀지는 점수 범위에도 불구하고, 의과대학 전체에서, 그리고 종종 대학 졸업 후 시험에 대한 현저한 성과를 계속해서 예측하고 있다. 따라서 A레벨에서 높은 성취도가 결과와 거의 차이가 없는 단순한 '임계값'은 없다. 오히려, 표본 크기가 훨씬 더 큰 다른 연구자들에 의한 또 다른 교육적 맥락에서 도달한 결론은 항상 더 낫다[46].
The role of A-levels in UK medical student selection has long been debated, with there being many claims that high achievement at A-level has little or no predictive value for subsequent medical attainment. The backbone studies clearly show that is not the case. A-levels, despite an ever-narrowing range of marks due to grade inflation and ceiling effects, continue to predict performance significantly throughout medical school, and often onto post-graduate examinations. There is therefore no simple ‘threshold’ above which higher attainment at Alevel makes little difference to outcome. Rather, higher is always better, a conclusion reached in another educational context by other researchers, with much larger sample sizes [46].
코호트 연구 중 4개(UCLMS, 1990, 1985, 1980년)는 GCSE 및/또는 O-수준 등급을 포함했으며, 각 사례에서 일반적으로 15세에서 16세의 나이에 실시된 이러한 검사들은 A 수준의 달성을 예측하고 예측하기 때문에 선택 시 유용할 수 있다. 또한 이 뿐만 아니라 4개의 모든 연구에서 BMS(특히 임상 단계)와 심지어 1990년 코호트 연구에서도 MRCP(영국)의 서면written 및 임상 검사의 성과를 예측하기 때문이다.
Four of the cohort studies (UCLMS, 1990, 1985, and 1980) included GCSE and/or O-level grades, and in each case it is apparent that these examinations, typically taken at the age of 15 to 16 years, may be useful in selection not only because they anticipate and predict Alevel attainment, but because in all the four studies they are predictive of medical school performance, both in BMS (but particularly at the clinical stages), and even, in the 1990 Cohort Study, performance in both the written and clinical examinations in MRCP(UK).
학생 선발에서 논란이 되는 주제는 UKCAT, BMAT 및 대학원 입학시험(GAMSAT)과 같은 적성검사의 역할이다[3].
A controversial topic in student selection is the role of aptitude tests such as UKCAT, BMAT, and Graduate Medical School Admissions Test (GAMSAT) [3].
학술 백본의 대책은 대부분 교육 및 전문적 성취도의 척도로서, 따라서 시험이다. 선발과 전문직업적 발달을 위해 시험을 사용하는 것에 대한 일반적인 비판은 시험을 잘 보는 능력이 이후에 시험을 잘 보는 능력만을 예측한다는 것이다. 그러나 그 주장은 의대와 전문 검사의 내용을 무시한다.
Most of the measures in the Academic Backbone are measures of educational and professional attainment, and thus are examinations. A common criticism of the use of examinations in selection and for professional progression is that being good at examinations only predicts the ability to be good at further examinations. However, that argument ignores the content of medical school and professional examinations.
검사의 세심한 청사진과 그 분명한 안면타당도를 고려할 때(그리고 MRCP(영국) 질문의 예는 이전 연구[47] 참조), 우리는 여기에서 논한 것과 같은 시험의 합격은 좋은 의사가 되기 위해 중요하며, 그러한 임상 지식을 얻는 데 어려움을 겪는 사람들은 아마도 덜 좋은 의사가 될 것이라고 제안한다.s. 지식은 일반적으로 무지보다 선호되고, 임상 지식은 임상 행동을 뒷받침한다.
Given the careful blueprinting of examinations and their obvious face validity (and for examples of MRCP(UK) questions see a previous study [47]), we suggest that passing examinations such as those discussed here is important for being a good doctor, and those who have difficulty in attaining such clinical knowledge will probably be less good doctors. Knowledge is generally preferable to ignorance, and clinical knowledge underpins clinical practice.
성적의 성 차이는 모든 연구에서 발견되었는데, 남성들은 GCSE/O 레벨에서 낮은 성능을 보이고, A 레벨에서 다소 높은 성능을 보인 다음, 의과대학 시험에서 한 번 더 낮은 성능을 보이는 경향이 있었다. 비록 결과가 코호트 전체에 걸쳐 완전히 일치하지는 않지만, 남성의 저성능은 매우 큰 UKCAT-12 연구에서도 나타났다[48].
Sex differences in performance were found in all of the studies, with males tending to underperform at GCSEs/O-levels, to overperform somewhat at A-levels, and then to underperform once more in medical school examinations. Although the results are not entirely consistent across the cohorts, the male underperformance was also shown in the very large UKCAT-12 study [48].
아마도 가장 놀라운 것은 거의 모든 연구에서, 이전의 학부 및 대학원 성적과는 상관없이, 남성들이 스페셜리스트 레지스터에 더 많이 등록될 가능성이 높다는 것이다. 전문의가 좀 더 학문적인 경향이 있지만, 이것은 남성 우위에 대해 설명할 것 같지 않다. 그 대신에 동기부여나 직업적 성공을 위한 추진력 중 하나와 다른 요소들을 고려할 필요가 있으며, 또는 사회학적, 가족적, 개인적 이유의 다양한 조합을 고려해야 한다. 이는 평균적으로 여성 의사들이 더 엄격하고 덜 유연한 병원 practice의 테두리에 들어가지 않을 수 있으며, 대신 general practice에 들어갈 수 있다[49].
Perhaps most striking is that in almost all of the studies, men were more likely to be on the Specialist Register, irrespective of earlier undergraduate and postgraduate performance. Although specialist practice does tend to be more academic, this is unlikely to explain the male predominance, and instead it is probably necessary to consider either factors differentially related to motivation or a drive for career success, or a host of sociological, familial, and personal reasons that mean female doctors may not enter the stricter, less flexible confines of hospital practice, and instead would enter general practice [49].
결론
Conclusions
학술 백본은 지식의 보다 정교한 기초 구조인 '인식 자본'과 '의학적 자본'의 개발이라는 관점에서 개념화할 수 있으며, 후자는 교육 중, 그리고 환자와의 임상 경험을 통해 습득될 수 있다. 아카데믹 백본은 학생 선발에서 A레벨과 같은 교육적 성취도의 척도를 사용할 수 있도록 강력한 지원을 제공한다.
The Academic Backbone can be conceptualized in terms of the development of the development of ever more sophisticated underlying structures of knowledge, ‘cognitive capital,’ and ‘medical capital’, with the latter being acquired during education, and through clinical experience with patients. The Academic Backbone provides strong support for using measures of educational attainment, such as A-levels, in student selection.
BMC Med.2013 Nov 14;11:242. doi: 10.1186/1741-7015-11-242.
The AcademicBackbone: longitudinalcontinuities in educationalachievement from secondaryschool and medicalschool to MRCP(UK) and the specialistregister in UKmedicalstudents and doctors.
UCL MedicalSchool, University College London, Gower Street, London WC1E 6BT, UK. i.mcmanus@ucl.ac.uk.
Abstract
BACKGROUND:
Selection of medicalstudents in the UK is still largely based on prior academicachievement, although doubts have been expressed as to whether performance in earlier life is predictive of outcomes later in medicalschool or post-graduate education. This study analyses data from five longitudinal studies of UKmedicalstudents and doctors from the early 1970s until the early 2000s. Two of the studies used the AH5, a group test of general intelligence (that is, intellectual aptitude). Sex and ethnic differences were also analyzed in light of the changing demographics of medicalstudents over the past decades.
METHODS:
Data from five cohort studies were available: the Westminster Study (began clinical studies from 1975 to 1982), the 1980, 1985, and 1990 cohort studies (entered medicalschool in 1981, 1986, and 1991), and the University College London MedicalSchool (UCLMS) Cohort Study (entered clinical studies in 2005 and 2006). Different studies had different outcome measures, but most had performance on basic medical sciences and clinical examinations at medicalschool, performance in Membership of the Royal Colleges of Physicians (MRCP(UK)) examinations, and being on the General Medical Council SpecialistRegister.
RESULTS:
Correlation matrices and path analyses are presented. There were robust correlations across different years at medicalschool, and medicalschool performance also predicted MRCP(UK) performance and being on the GMC SpecialistRegister. A-levels correlated somewhat less with undergraduate and post-graduate performance, but there was restriction of range in entrants. General Certificate of Secondary Education (GCSE)/O-level results also predicted undergraduate and post-graduate outcomes, but less so than did A-level results, but there may be incremental validity for clinical and post-graduate performance. The AH5 had some significant correlations with outcome, but they were inconsistent. Sex and ethnicity also had predictive effects on measures of educational attainment, undergraduate, and post-graduate performance. Women performed better in assessments but were less likely to be on the SpecialistRegister. Non-white participants generally underperformed in undergraduate and post-graduate assessments, but were equally likely to be on the SpecialistRegister. There was a suggestion of smaller ethnicity effects in earlier studies.
CONCLUSIONS:
The existence of the AcademicBackbone concept is strongly supported, with attainment at secondaryschool predicting performance in undergraduate and post-graduate medical assessments, and the effects spanning many years. The AcademicBackbone is conceptualized in terms of the development of more sophisticated underlying structures of knowledge ('cognitive capital' and 'medicalcapital'). The AcademicBackbone provides strong support for using measures of educational attainment, particularly A-levels, in student selection.
2018 Ottawa consensus statement: Selection and recruitment to the healthcare professions
F. Pattersona , C. Robertsb , M. D. Hansonc, W. Hamped, K. Evae , G. Ponnamperumaf ,
M. Magzoubg, A. Tekianh and J. Clelandi
도입
Introduction
당시의 상황을 반영하여, 앞의 합의(Pridaux et al. 2011)는 평가 체계로서의 선발의 특징에 대한 합의, 그리고 서로 다른 선발 방법의 품질에 집중하였다.
Reflecting the state of the science at the time, the previous consensus (Prideaux et al. 2011) characterized selection as an assessment system and focused on the quality of different selection methods.
(1) 선발 철학과 정책
(1) Selection philosophy and policies
개별 교육훈련기관은 자신의 선발철학을 정의하고 국가 또는 국가기반 규정, 자체 역사, 사명 및 목표, 이해관계자 조직의 맥락 안에서 선발정책(또는 정책)을 고유하게 제정한다.
Individual education and training institutions define their selection philosophy and uniquely enact a selection policy (or policies) within the context of their national- or state- based regulations, their own history, mission and goals, and stakeholder organizations.
입학 정책이 의사들의 국가적 요구에 따라 훈련된 학생 수와 일치하도록 보장하라는 세계 의학 교육 연맹의 오랜 정책 지침이 있어왔다("에든버러 선언" 1988). 그러나, 최근의 시놉시스는 많은 필요한 경험적 증거가 기다리고 있지만, 선발정책은 이용 가능한 최상의 건강 결과와 바람직한 career uptake 데이터를 고려하지 않고 있다고 제안했다(Gorman 2018).
there has been a longstanding policy directive of the World Federation of Medical Education to ensure admission policies match the numbers of students trained with national needs for doctors (“The Edinburgh Declaration” 1988). Yet, a recent synopsis suggested that while much needed empirical evidence is awaited, selection policies are not taking account of the best available health outcomes and desirable career uptake data (Gorman 2018).
어떤 사람들은 정책 입법의 주요 장벽은 선발에 정치적 관심을 갖는 다양한 이해관계자들(예: 정부, 규제 기관 및 노동조합)이라고 제안한다.
Some suggest that a major barrier to policy enactment is various stakeholders having a political interest in selection (e.g. government, the regulators, and trade unions).
적어도 세 가지 접근법이 있다.
There are at least three approaches
[개개인에 초점을 둔 프로세스]에서, 학문적 성공을 위한 능력은 전형적으로 전 세계의 의대 및 전문 선발 시스템의 대다수에서의 선발의 기초가 된다. 학문적 성공에 초점을 맞춘 것은 Flexner 보고서(Finnerty et al. 2010; Flexner et al. 1910)의 후속편이며, 미국 의과대학 입학시험(MCAT)의 전조다. 이 적성검사는 지원자의 의학교육준비도를 평가하기 위해 실시되었다(McGaggie 2002). MCAT는 더 넓은 사회적 요소보다 개별 지원자의 장점(가장 일반적으로 학문적 성과로 정의됨)을 우선시한다(Razack et al. 2015). 최근에는 "학술 준비 상태"에 대한 local한 지리적 정의에 따라 (UKCAT)와 호주 대학원 입학 시험(GAMSAT)과 같이 다양한 표준화된 시험 방법이 개발되고 맞춤화되었다.
In individually focused processes, the capacity for academic success is typically the basis for selection in the majority of medical school and specialty selection systems globally. The focus on academic success is a sequelae of the Flexner Report (Finnerty et al. 2010; Flexner et al. 1910) and a precursor for the United States Medical College Admission Test (MCAT). This aptitude test was implemented to assess applicants’ academic readiness for medical education (McGaghie 2002). MCAT prioritizes the merit (defined most commonly as academic achievement) of individual applicants over broader social factors (Razack et al. 2015). Recently, a range of standardized testing methods have been developed and tailored to local geographic definitions of “academic readiness” (e.g. UK Clinical Aptitude Test (UKCAT) and the Graduate Australian Medical School Admissions Test (GAMSAT)).
의과대학 입학에서, 국제적으로 선발의 주류는 학문적 qualification에 계속 의존하고 있지만, 이것은 선발 목적으로 특별히 고안된 것이 아니다.
In medical school admissions, the mainstay of selection internationally continues to rely on academic qualifications which again are not designed specifically for selection purposes.
개인 속성을 포함하도록 선택의 폭을 넓히기 위해, 역량기반 프레임워크(Ferguson et al. 2002; Mahon et al. 2013)는 의료 전문가 또는 학생으로서 성공을 나타내는 것으로 생각되는 바람직한 행동과 태도 분류 체계를 기반으로 구축되었다(Patterson et al. 2016b). 이것은 역량 기반 의학교육의 원칙과 유사하다(Frank and Danoff 2007). 입학시의 선발 기준은 다중 소스 다중 방법 직무 분석 연구를 통해 도출되는 경우가 많다.
To broaden selection to encompass personal attributes, competency-based frameworks (Ferguson et al. 2002; Mahon et al. 2013) are built on a taxonomy of desirable behaviors and attitudes that are thought to indicate success as a healthcare practitioner or student (Patterson et al. 2016b), and bear some resemblance to the tenets of competencybased medical education (Frank and Danoff 2007). Entry-level selection criteria are often derived through multi-source, multi-method job analysis studies.
이어지는 다중 방법 선발 프로세스에는 학업성취도 지표 외에 구조화된 인터뷰/다중 미니인터뷰(MMI)와 상황 판단 시험(SJT)이 포함될 수 있다.
The subsequent multi-method selection processes may include structured interviews/multiple miniinterviews (MMI) and situational judgment testing (SJT) in addition to metrics of academic success.
개인 속성에 대해서 다양하면서도 일치된 프레임워크를 채택하는 이러한 이니셔티브의 결합은 국제적으로 선발과정에서 [지원자의 학업 준비도]와 [의학교육에 대한 인성적 준비 상태]를 평가하는 쪽으로의 변화를 가져왔다(Kirch 2012; Niessen and Meijer 2017). 나중에 논의하듯이 두 가지 유형의 조치는 모두 사회문화적으로 구속되어 있다.
This confluence of initiatives which adapt varying but congruent frameworks of personal attributes has seen an international shift toward the assessment of both applicants’ academic readiness and their personal readiness for medical education (Kirch 2012; Niessen and Meijer 2017). As we discuss later, both types of measure aresocio-culturally bound.
세 번째 선발 철학은 [어느 정도의 학업 능력]을 요구하지만, 동시에 [개인의 능력과 집단 사회적 기대 사이의 역동적인 상호작용]을 다루려고 시도한다. 이는 국제적으로 학생 다양성, 사회적 책임, 인력 계획 및 참여 확대를 포함한 다양한 지정 하에서 나타난다. 이전에 의료 및 보건 전문가 교육에 있어 대표성이 낮은 학생 인구의 참여를 늘리려는 노력은 동일한 학업성취에 대한 제도적 또는 사회적으로 결정된 장벽의 영향을 완화하는 것으로 생각된다.
The third selection philosophy assumes some level of academic capability but attempts to address a dynamic interplay between individual personal competencies and collective societal expectations, appearing globally under a range of designations including student diversity, social accountability, workforce planning, and widening participation. Efforts to increase participation of previously underrepresented student populations in medical and health professional education are thought to mitigate the impact of institutionally or societally determined barriers to their achieving the same academic success.
(2) 각각의 선발 방법은 얼마나 효과적인가?
(2) How effective are selection methods?
The research evidence for eight different selection methods is summarized in Table 1.
Table 1. Summary of the evidence and implications for different selection methods (Patterson et al. 2016a; Roberts et al. 2018).
1. 학업성취도
1. Academic achievement
예측 타당성에 대해서는 공감대가 높지만 고교 1등급을 달성하는 학생이 늘어나면서 차별력이 떨어지고 있다는 우려도 나온다. 게다가, 다른 유형의 학교와 학교 시스템 간의 비교가능성에 대해 자주 의문이 제기된다. 학교 시스템이 사회적으로 선택적이라면 학업성적표가 접근 확대에 부정적인 영향을 미칠 수 있다.
There is a high level of consensus regarding predictive validity, but concerns that the discriminatory power is diminishing as increasing numbers of students achieve top high-school grades. Moreover, comparability across different types of schools and school systems is frequently questioned. Academic records can negatively impact widening access if school systems are socially selective
2. 적성 검사
2. Aptitude tests
여러 적성검사들은 [순수한 능력]과 [순수한 지식] 테스트 사이의 연속체에 위치한다. 신뢰성은 호의적인 경향이 있다. 특히 자연과학에서의 지식 부분은 학업 성과를 예측한다. 적성검사의 공정성, 특히 예측 타당성에 관한 증거가 뒤섞여 있으므로 각 도구는 자체적인 평가를 필요로 한다. 지식 테스트는 또한 종종 대학원 선택에 사용되며, 이러한 맥락에서 바람직한 신뢰성과 타당성을 입증한다.
Different tests are located on a continuum between pure ability and pure knowledge tests. Reliability tends to be favorable. The knowledge parts especially in the natural sciences predict study performance. Evidence is mixed on the fairness of aptitude tests, specifically regarding predictive validity, so each tool requires evaluation in its own right. Knowledge tests are also often used for postgraduate selection and demonstrate in this context favorable reliability and validity
3. 자기소개서
3. Personal statements & CVs
지원자의 수용도는 높지만 코칭과 표절의 가능성 역시 높다. 예측 타당성에 대한 증거는 거의 없다. 대학원 모집의 경우 CV가 면접의 일부로 사용되는 경우가 많지만, 일반적으로 표준화되지 않은 형식으로 사용됨
Candidate acceptability is high, but susceptibility to coaching and plagiarism is also high. There is very little evidence for predictive validity. For postgraduate recruitment CVs are often used as part of an interview but usually in a nonstandardized format
4. 추천서
4. References & Letters of recommendation
타당성이나 신뢰성을 뒷받침하는 연구가 희소하고, 채점에 비용이 많이 든다. 그러나 추천서 사용은 여전히 널리 퍼져있고 지원자 반응은 긍정적이다. 추천서는 문제가 있는 지원자를 표시하기 위해 사용될 수 있다.
Little research supporting validity or reliability and high costs for scoring. However, use of references remains widespread and candidate reactions are positive. References might be used to flag problematic applicants.
5. SJT
5. SJTs
비학업적 특성(예: 성격 테스트)을 위한 다른 대량 선택 도구에 비해 타당도가 향상되었으며 조직의 가치에 매핑할 수 있다. SJT는 설계에 상대적으로 비용이 많이 들 수 있지만 기계에 표시하여 온라인으로 배송할 수 있으므로 대량 선택 시 비용 절감 효과를 얻을 수 있다. 텍스트 기반에서 멀티미디어 항목 프레젠테이션에 이르기까지 포맷의 유연성 적절한 설계를 통해 코칭의 신뢰성을 최소화할 수 있음
Improved validity over other high-volume selection tools for nonacademic characteristics (e.g. personality tests) and can be mapped to organizational values. Although SJTs can be relatively costly to design, they can be machine-marked and delivered online, producing cost savings in high-volume selection. Flexibility in format from text-based to multi-media item presentations. Susceptibility to coaching can be minimized through appropriate design
6. 성격 검사
6. Personality assessment
어떤 성격적 특성은 비록 사용된 성격 도구에 따라 그 증거가 혼합되어 있기는 하지만 훈련 중 성과와 연관되어 있다. 조작이나 코칭에 취약성이 높은 경우, 성격검사를 사용하여 인터뷰 시(검증없는 독립 실행형 도구로서가 아니라) 보다 집중적인 질문을 유도할 수 있다.
Some personality traits have been linked to in-training performance although depending on the personality tool used the evidence is mixed. Where there is a high risk for susceptibility to faking or coaching, personality assessment might be used to drive more focused questioning at interviews (rather than as a standalone instrument without verification)
7. 면접
7. Interviews/MMIs
기존의 비구조화 면접은 낮은 성능을 발휘하는 반면, 역할 분석을 기반으로 한 구조화된 면접은 표준화된 질문, 훈련된 면접관 및 적절한 점수를 통해 신뢰할 수 있고 유효한 방법이 될 수 있다. MMI는 가장 체계적인 인터뷰 유형이다. 그들은 일반적으로 6개 이상의 인터뷰 스테이션으로 구성되어 있으며, 이는 신뢰도를 높이기 위해 성능 샘플링을 넓힌다. MMI는 설계와 구현에 상대적으로 비용이 많이 들지만, 좋은 유효성과 긍정적인 후보 반응을 제공할 수 있다. 모든 유형의 면접은 지원자와의 실시간 상호작용의 기회를 만들어 제공하지만, 지원자와 프로그램 간의 보다 개인적인 연결을 가능하게 하는 것과 같은 다른 이점을 제공한다. 후보들은 다른 방법보다 인터뷰를 선호한다.
Traditional unstructured interviews perform poorly, whereas structured interviews based on a role analysis, with standardized questions, trained interviewers, and appropriate scoring, can be reliable and valid methods. MMIs are the most structured type of interviews. They typically comprise six or more interview stations, which broadens the sampling of performance to enhance reliability. MMIs are relatively expensive to design and implement but can offer favorable validity and positive candidate reactions. All types of interviews create the opportunity for a live interaction with applicants which makes them resource-intensive to deliver, but offers other advantages such as enabling a more personal connection between applicant and program. Candidates prefer interviews to other methods
8. 선발 센터
8. Selection centers (SCs) using work samples & simulations
다중 스테이션 SC는 광범위한 시뮬레이션(예: 그룹 연습, 진행 중인 작업, 프레젠테이션, 역할 참여자와의 대화형 연습)을 수반하기 때문에 설계 및 구현에 상대적으로 비용이 많이 든다. MMI와 유사한 다중 샘플링 접근법을 제공한다. SC는 대학원 선택에 사용되었으며, 학부 의료 선택에서 SC의 예측 유효성에 대한 추가 증거가 필요하다.
Multi-station SCs are relatively expensive to design and implement as they involve a range of simulations (e.g. group exercises, in-tray tasks, presentations, interactive exercises with role players). They offer a similar multisampling approach as MMIs. SCs have been used in postgraduate selection and further evidence of the predictive validity of SCs in undergraduate medical selection is required
앞의 진술에서와 같이, 후보자들의 사전 학업 성취는 국제적으로 선발 정책의 보편적인 특징으로 남아있고, 이에 대한 증거의 강점은 여전히 강하다. 기관과 프로그램 간의 비교 가능성에 대한 지속적인 우려와 성적 인플레이션에 대한 우려에도 불구하고, 이전 등급은 미래의 교육 성과에 대한 강력한 예측자로 남아 있다(Ferguson et al. 2002; Siu and Reiter 2009).
As in the previous statement, prior academic attainment of candidates remains a universal feature of selection policies internationally and the strength of evidence for this remains strong. Despite ongoing concerns about comparability across institutions and programs, and concerns about grade inflation, prior grades remain a robust predictor of future educational achievements (Ferguson et al. 2002; Siu and Reiter 2009).
적성 검사에서는 주로 사용 가능한 많은 종류의 적성 검사가 있어서 그림이 덜 명확하다.
일반 인지 능력 테스트(예: UKCAT)
과학적 지식 테스트까지 포함하는 것(예: UMAT(의료 및 보건 과학 감도 테스트)
두 가지 유형의 혼합물(예: MCAT 2015).
The picture remains less clear for aptitude tests mainly due to the large number of different aptitude tests available, ranging from
tests of general cognitive ability (e.g. UKCAT) versus
those that also comprise tests of scientific knowledge (e.g. Undergraduate Medical and Health Sciences Aptitude Test (UMAT)) versus
hybrids of the two types (e.g. the MCAT 2015).
적성검사에 대한 성과는 커리큘럼의 초기 및 의대 종료 시 시험 성과와 같은 주로 중간점 또는 끝점 훈련 결과 측정과 비교되었다(McManus et al. 2013). 적성검사가 특정 유형의 후보를 선호하거나 선호하지 않을 수 있다는 모호한 증거가 있으며, 이는 의학교육에 대한 공정성과 접근 확대에 영향을 미칠 수 있다(Tiffin et al. 2012; Livens et al. 2016; Kumar et al. 2018).
Performance on aptitude tests has been compared to mainly midpoint or endpoint training outcome measures, such as exam performance early in the curriculum (McManus et al. 2013) and at the end of medical school (Tiffin et al. 2016). There is equivocal evidence that aptitude tests may or may not favor certain types of candidates, which may have implications for fairness and widening access to medicine (Tiffin et al. 2012; Lievens et al. 2016; Kumar et al. 2018).
마찬가지로 일부 성격 특성이 훈련 중인 성과와 연계되어 있지만(예: 리벤스 등, 2009), 성격 평가가 선택에 유용한 정도에 관한 증거는 기껏해야 혼합되어 있다(Patterson et al. 2016a; Roberts et al. 2018 참조). 최근의 증거는 또한 성격 특성이 더 이상 행동의 안정된 결정론적 예측 인자로 간주되지 않고 대신 오랜 삶에 걸쳐 변화하며 그리고 환경적 우발성에 대응하여 변화되는 것으로 확인된다는 것을 시사한다(퍼거슨과 리븐스 2017). 이는 [성격의 역동적 특성]과 [성격 표현의 맥락 특이성]을 고려할 때 특정 성격의 선택에 초점을 맞추는 접근방식이 제한된 유효성을 가질 수 있음을 암시한다.
Similarly, although some personality traits have been linked to in-training performance (e.g. Lievens et al. 2009), the evidence regarding the extent to which personality assessment is useful in selection is mixed, at best (see Patterson et al. 2016a; Roberts et al. 2018). Recent evidence also suggests that personality traits are no longer regarded as stable deterministic predictors of behavior and are instead found to change across life span and in response to environmental contingencies (Ferguson and Lievens 2017). This implies that approaches focusing on selecting out for specific traits might be of limited validity given the dynamic nature of traits and the context specificity of trait expression,
이전의 합의문(Pridau et al. 2011) 이후 MMI와 SJT가 자기소개서, 추천서보다 의사소통 능력, 윤리적 추론, 공감 및 무결성과 같은 개인간 속성과 개인 내 속성의 보다 유효한 예측자임을 입증하는 연구가 더 많이 등장했다(Patterson et al. 2016a). MMI와 SJT는 상호 보완적이며 선택 과정의 다른 단계에서 가장 일반적으로 사용된다.
Since the previous consensus statement (Prideaux et al. 2011), more research has emerged demonstrating MMIs and SJTs to be more valid predictors of inter- and intra- personal attributes such as communication skills, ethical reasoning, empathy and integrity than personal statements, letters of recommendation or references (Patterson et al. 2016a). MMIs and SJTs are complementary and most commonly used at different stages of selection processes.
많은 항목을 포함하는 SJT의 능력은 보다 광범위한 구인의 실현 가능한 측정을 제공할 수 있으며, 더 많은 수의 지원자가 컴퓨터로 배송되고 기계 표시가 가능하기 때문에 사용할 수 있다. 이와 같이 SJT는 면접에 초대받은 사람을 심사할 목적으로 자주 사용된다.
SJTs’ capacity to include many items can offer feasible measurement of a broader range of constructs and can be used for larger numbers of applicants as they can be computer-delivered and the machine-marked. As such, SJTs are often used for purpose of screening who is invited to an interview.
반면 MMI는 미리 선정된 지원자들의 관점을 좀 더 심도 있게 조사할 수 있는 대면조회를 제공한다. 대면은 선택 방법의 심리학적 특성과 무관한 추가적인 이득을 제공할 수 있다. 예를 들어, 그것은 해당 기관이 개인적 연결personal connection을 가치있게 생각한다는 것을 보여주며, 지원자가 자신과 학습 환경 사이의 적합성fit을 평가하는 데 도움이 되는 의료 학교 또는 [전문 교육 환경을 방문한다는 것]을 나타낸다(Burgess e).t al. 2014).
On the other hand, MMIs offer a face-to-face encounter allowing the perspectives of a preselected group of applicants to be probed in more depth. Face-to-face encounters may offer additional gains unrelated to the psychometric properties of the selection method: for example, they indicate institutional valuing of personal connections and visiting the medical school or specialty training setting which help applicants to assess the fit between themselves and the learning environment (Burgess et al. 2014).
SJT와 MMI는 모두 측정 방법론이며, 각 설계 매개변수는 모집 기관의 목적에 따라 크게 달라질 수 있다(Knorr 및 Hissbach 2014). 구성 요소가 기관의 요구에 완벽하게 부합하는 사용 가능한 형식이 있을 수 있지만, 목적과 맥락에 따라서 특정한 설계를 요구할 수 있다(Reiter and Roberts 2018).
both SJTs and MMIs are measurement methodologies and the design parameters for each can vary significantly depending on the purpose of the recruiting institution (Knorr and Hissbach 2014). While there might be an available format whose components perfectly align with an institution’s needs, the purpose and context might require a specific design (Reiter and Roberts 2018).
이러한 모든 선택 방법은 [선택 목적과 특정 맥락에 의해 결정되는 다양한 설계 매개변수들]로 구성된다. 여러가지 선발방법의 명명은 어떻게 구현되어야 하는가에 대한 명확한 추론을 보여주는 것이 아니라 [선발에 필요한데이터를 수집할 수 있는 방법의 범주]를 나타낸다.결과적으로, 어떤 방법의 특정 버전의 타당성과 품질에 대한 보편적인 주장은 신중하게 판단되어야 한다.
All these selection methods comprise a multitude of different design parameters, which are informed by the purpose of selection and the particular context. The labeling of differing methods indicates the categories of ways in which data can be collected to support selection rather than allowing definitive inferences to be drawn regarding how the methods were implemented. As a result, universal claims of validity and quality of any specific version of a method should be judged cautiously.
예를 들어, 면접이나 필기시험의 형식이 다른 서로 다른 맥락에서 MMI와 SJT를 평가할 때, 시험의 효과성(Reiter 및 Eva 2018)과 다른 선택 맥락에 대한 일반성에 대한 결론을 도출하기 전에) 각 시험은 개별적으로 평가되어야 한다. 대규모 및 메타 분석 연구의 결과는 다양한 선발방법의 품질을 일반적인 관점에서 보여주지만, 특정 선발 프로세스의 효과를 결정하기 위해서는 국지적인 검증 연구가 필요하다.
For example, when evaluating MMIs and SJTs in differing contexts with differing formats of an interview or written test, each test must be evaluated individually before reaching conclusions about both its effectiveness (Reiter and Eva 2018), and generalizability to other selection contexts. Although results from large-scale and meta-analytic studies can indicate the quality of different selection methods in general, local validation studies are required to determine the effectiveness of any given selection process.
다양한 선택 방법의 품질을 판단하는 데 있어 일관된 문제는 소위 기준 문제와 관련이 있다. 즉, 어떤 결과를 예측하려고 하는가? 예측 타당성 연구는 일반적으로 합의된 "골드 스탠더드"가 필요하지만, 보건 전문가의 성과를 측정하는 데 [이론의 여지가 없는 단일 골드 표준]이란 존재하지 않는다(Patterson et al. 2017; Roberts et al. 2018).
A consistent problem in judging the quality of different selection methods relates to the so-called criterion-problem; that is, what outcomes are we trying to predict? Predictive validity studies require a generally agreed-upon “gold standard,” but there is no single undisputed gold standard that measures the performance of a practicing health professional (Patterson et al. 2017; Roberts et al. 2018).
가중치를 어떻게 부여하느냐에 따라 선택된 모집단의 측면에서 다른 결과가 초래될 것이라는 증거가 명백하다(예: 페르난도 외 2008; 티핀 외 2012; 그리핀 및 후 2015).
evidence is clearly identifies that diverse ways of weighting different methods will lead to different outcomes in terms of the population selected (e.g. Fernando et al. 2008; Tiffin et al. 2012; Griffin and Hu 2015).
선발 방법을 평가하기 위해 사용되는 결과 측정은 흔히 직무 역할에서 임상 실습 및 [일반적인(일상) 성과]와 관련된 지표보다는 성취도와 [최대 성과](예: 의대 성과, 면허 시험에서의 성과)에 초점을 맞춘다. 이용할 수 있는 (제한된) 종방향 예측 유효성 연구 중, 목표 결과 변수와 그 해석을 명확히 하기 위해 추가적인 명확성이 필요하다.
Outcome measures used to evaluate selection methods often focus on indicators of attainment and maximal performance (e.g. medical school achievements, performance in licensure exams) rather than indicators relating to clinical practice and typical (day-to-day) performance in the job role. Of the (few) longitudinal predictive validity studies available, additional clarity is needed to articulate the target outcome variables and their interpretation.
(3) 다양성과 세계화 문제
(3) Diversity and globalization issues
경제적으로 불리한 배경, 시골 배경 또는 특정 민족과 문화 그룹과 같은 특정 그룹의 사람들은 전 세계적으로 의학 부문에서 낮은 평가를 받고 있다(Bowes et al. 2013). Razack 등(2015년)은 배타적 프로세스에서 포괄성을 가능케 하기 위해 고려할 수 있는 다중 우수성을 분석한 결과, 권력 역학이 직업과 한계 그룹 사이에 어떻게 개입하는지를 입증하는 데 도움이 된다. 여기에는 역사적으로 주목받지 못한 일부 사회 집단의 앞에 놓인 상류 장애물을 보는 것도 포함된다.
People from certain groups, such as those from economically disadvantaged backgrounds, rural backgrounds, or certain ethnic and cultural groups remain under-represented in medicine worldwide (Bowes et al. 2013). Razack et al.’s (2015) analysis of the multiple excellences that might need to be considered to enable inclusiveness in an exclusive process helps to demonstrate how power dynamics intervene between the professions and marginalized groups. This includes looking upstream at impediments put before some social groups that have not historically been noticed.
예를 들어 얼마 전까지만 해도 영국의 입학 자료에는 의과대학에서 가장 과대평가된 사회반과 가장 과소평가된 사회반 사이에 600배의 차이가 있음을 알 수 있었다(힐튼과 루이스 2004; 세얀 외 2004). 민족성과 관련하여, 아프로-카리베인 노동계급 남성들은 영국에서 의학에도 적용하지 않는 경향이 있으며(Kumwenda et al. 2018), 이와 유사하게 터키 소수 집단은 독일에서의 의료 교육에서 현저하게 미흡하다. 이러한 경향은 시간이 지남에 따라 안정적이며(Mathers et al. 2016) 거의 모든 지역에서 관찰되었다(Edwards et al. 2000; Crosby et al. 2003; Frazer 2005; Young et al. 2012; Gale and Parker 2013).
For example, not so long ago, the UK admissions data indicated that there was a 600-fold difference between the most over-represented and most under-represented social classes in medical school (Hilton and Lewis 2004; Seyan et al. 2004). Regarding ethnicity, Afro-Caribbean workingclass males tend not to even apply to medicine in the UK (Kumwenda et al. 2018), and similarly, Turkish minority groups are significantly underrepresented in medical education in Germany. These trends have been stable over time (Mathers et al. 2016) and observed in almost all parts of the world (Edwards et al. 2000; Crosby et al. 2003; Frazer 2005; Young et al. 2012; Gale and Parker 2013).
엘리트로서의 의학 교육의 재생산적 성격은 영구적으로 유지된다. 덜 advantaged 사회 집단의 젊은이들이 성공을 입증하는 데 겪는 장애물로는
교육 과정 내내 낮은 수준의 학업 성취 달성(Gorard et al. 2006)
자신감 결여(Greenhalgh 등, 2006)
의료 경력과 동일하지 않음(Mathers and Parry 2009; Southgate et al. 2015)
의대(Nicholson 및 Cleland 2017)에 성공적으로 지원 및 진행하기 위해 정보 및 자원과 협상할 수 없음
의료 교육 비용과 돈을 벌어야 하는 필요성에 민감함(Sianou-Kyrgiou 및 Tsiplakides 2011)
대학 교육 이력이 없는 가정 출신(Rob et al. 2007; Southgate et al. 2015)
의학을 열망할 동기를 부여하거나 지지하지 않는 중등(고등) 학교에 다니는 것(McHarg 등, 2007).
The reproductive nature of medical education as elite is perpetually maintained. Barriers in demonstrating success for young people from less advantaged social groups include routinely
achieving lower levels of academic achievement throughout their schooling (Gorard et al. 2006);
lack of self-confidence (Greenhalgh et al. 2006);
not identifying with a medical career (Mathers and Parry 2009; Southgate et al. 2015);
being unable to negotiate to information and resources to successfully apply to, and progress through, medical school (Nicholson and Cleland 2017);
being sensitive to the cost of medical education versus the need to earn money (Sianou-Kyrgiou and Tsiplakides 2011);
coming from a family without a history of university education (Robb et al. 2007; Southgate et al. 2015); and
attending secondary (high) schools that do not motivate or support students to aspire to medicine (McHarg et al. 2007).
많은 국가에서 주요 정책상의 의무는 특정 집단(사회-경제적 지위가 낮은 그룹, 특정 민족 배경, 외딴 지역과 시골 지역에서 유래한 지역 및/또는 토착 인구 포함)의 대표성을 높이기 위한 정부 투자의 지원을 받아 의학교육에 대한 접근 확대를 촉진한다.
In many countries, major policy imperatives promote widening access into medicine, backed by governmental investment to increase the representation of certain groups (including those from lower socio-economic status (SES), certain ethnic backgrounds, originating from remote and rural locations, and/or indigenous populations).
이에 대한 근거는 두 가지다.
첫째, 사회 정의와 사회 이동성의 사회적 이슈를 모든 배경의 사람들을 고등교육으로 장려하는 관점에서 다루기 위해서입니다. 출생이 사람의 사회적, 경제적 결과를 좌우하는 것이어서는 안된다(Nicholson and Cleland 2015).
둘째, 의료 인력의 다양성은 자신이 봉사하는 지역사회의 맥락과 문화를 이해하는 잘 훈련된 의사의 공급을 보장함으로써 건강관리 품질을 개선하는 데 필수적인 것으로 간주된다(Xu et al. 1997; Whitla et al. 2003; Saha et al. 2008).
The rationale for this is twofold.
First, to address societal issues of social justice and social mobility in terms of encouraging people from all backgrounds into higher education rather than birth dictating one’s social and economic outcomes in life (Nicholson and Cleland 2015).
Second, a diverse healthcare workforce is considered essential to improving healthcare quality by ensuring a supply of well-trained doctors who understand the context and culture of the communities they serve (Xu et al. 1997; Whitla et al. 2003; Saha et al. 2008).
역설적으로, 학업 성취도에 대한 의존에서 [역량기반 모델]로 이동하려는 노력은 입학 위원회에서 종종 지원자의"개인적 준비"의 지표로 취급하는 많은 활동에 참여할 기회에 대한 장벽을 증폭시킬 위험을 초래할 수 있다. 2018).
Paradoxically, efforts to move away from a reliance on academic achievement toward competency-based models can run the risk of amplifying these barriers as only the privileged can be expected to have opportunities to participate in many of the activities that admissions committee often treat as indicators of applicants’“personal readiness” (Wouters 2018).
접근의 확대에 대한 접근방식은 철학과 맥락에 따라 크게 달라지며, [지원자의 개인적 권리]와 [그들이 봉사할serve 사람들의 집단적 권리] 사이에 문제가 제기된다.
한쪽에서, 동등한 능력을 가진 지원자는 어떤 인구통계학적 그룹 출신이라는 이유로 차별받아서는 안 된다(Woolf et al. 2011; Roberts et al. 2018).
한편, 지원자를 인구학적 프로파일에 분류할 때 쿼터 같은 차별적 행동 정책이 유사한 인구학적 프로파일을 가진 지리적 지역에서 보건 전문가로 활동할 확률을 높일 것이라는 가정도 있다. 인구통계에 기초한 접근 확대가 다양한 인력 제공의 목적을 충족시킬 수 있는지에 대한 비판적 성찰과 경험적 증거가 필요하다.
The approach to widening access varies widely by philosophy and context, raising a conundrum, between the individual rights of an applicant and the collective rights of the people they will serve.
On one side, no applicant of equal ability should be discriminated against by virtue of which demographic group they come from (Woolf et al. 2011; Roberts et al. 2018).
On the other side, the assumption that affirmative action policies such as quotas in classifying applicants on their demographic profile will increase the probability of them practicing as a health professional in geographical areas with a similar demographic profile. There needs to be critical reflection and empirical evidence as to whether widening access on the basis of demographics can meet the purpose of providing a diverse workforce.
일부 국가는 쿼터제를 사용하여 대상 그룹으로부터 지원자를 위한 장소를 보호하는데, 이는 별로 대표되지 않은 지원자가 쿼터제 때문에 입학을 획득한 스테이그마를 만드는 데 문제가 있을 수 있다.
Some countries use quota-based systems to protect places for applicants from target groups which may be problematic in creating stigmas that under-represented problematic in creating stigmas that under-represented applicants gained entry only because of the quota system.
유럽에서는 프랑스가 의과대학에 입학할 때는 거의 선발이 없지만, 교육과정의 초기에 시험에 근거해 학생 수를 대폭 줄여서 SES가 선발에 미치는 영향을 줄일 수 있다.
독일에서, 의학에 대한 자유로운 선택을 위한 헌법상의 권리는 중등학교 졸업 후 가장 오래 기다린 지원자들에게 주어지는 20%의 할당제를 낳았다. 그러나 이들 학생들의 중퇴율은 높으며 최근 헌법 재판소는 이 정원을 없앨 수 있다고 결정했다.
반면, 미국에서 선발시 인종적 고려를 금지하는 법은 의료계의 의료 불평등을 해결하기 위한 심각한 장애물을 내포하고 있다(Garces and Micki-Pabello 2015).
In Europe, France has little selection at entry into medical school but drastically reduces the number of students based on examinations early in the curriculum, which might reduce the impact of SES on selection.
In Germany, the constitutional right for a free choice into medicine gave rise to a 20% quota of study places that are given to those applicants who have waited the longest from graduation from secondary school. However, the dropout rates among these students are high and the constitutional court recently decided that this quota can be eliminated.
By contrast in the United States, state-wide laws banning the consideration of ethnicity in selection pose serious obstacles for the medical profession to address inequities in care (Garces and Mickey-Pabello 2015).
네덜란드에서는 후보자들이 더 높은 SES나 사회적 자본의 지원자를 선호하기 때문에 다양성이 결여될 수 있는 선발 시스템을 "전략적으로 게임"하기 위해 사용할 수 있는 수단을 사용할 것이라는 인식이 있다(Wouters et al. 2017; Stegers-Jager 2018). 일부 사람들은 전국 복권이 이러한 문제를 피할 수 있다고 주장한다(Hofstee 1983; Wouters et al. 2017). 그러나 다른 이들은, 만약 학문적 성공이 복권의 수를 결정한다면, 공정성을 가정할 수 없다고 말한다(Griffin과 Hu). 그러나 네덜란드의 중등교육 시스템은 모두 공공 자금으로 지원되며 계층화tiered 되어 있는데, 이는 (학업적으로) 상위 계층의 학생들만이 대학에 지원할 수 있고, 중등학교 기간 동안 최하위 계층에 입학한 학생들은 올라갈 수 있다는 것을 의미한다. 이것은 SES의 영향을 부분적으로만 받는다.
In the Netherlands, some perceive that candidates will use means available to them to “strategically game” the selection system which may create a lack of diversity as it favors applicants of higher SES or social capital (Wouters et al. 2017; Stegers-Jager 2018). Some argue that a national lottery may avoid these problems (Hofstee 1983; Wouters et al. 2017). Others state, however, that one cannot assume fairness if incoming academic success determines the number of lottery tickets one receives (Griffin and Hu 2015). The secondary school system in the Netherlands is all publicly funded and tiered however, which means that only students from the top tier – academically – can apply for university, and during the secondary school period students who have entered in the lowest tier can move up. This is only partly influenced by SES.
전반적으로, 의학의 다양성을 증가시키는 다양한 접근방식에 관한 효과의 증거는 모호하다. 긍정적인 관점에서, 새로운 선택 도구는 신청자 모집단의 다른 부분에 대한 중립성을 시험하는 것이 관례다(Moreau et al. 2006; Reiter et al. 2012; Livens et al. 2016). 좀 더 신중한deliberate 선택 기법을 사용하는 것으로의 전환은 더 나은 학생 성과 결과를 산출하는 것으로 보인다(Stegers-Jager 2018). 더 광범위한 역량 기반 선택 모델을 향한 움직임은 (예를 들어 호주에서와 같이) 일부 맥락에서 학문적 성과에만 의존하는 해로운 영향을 상쇄(어느 정도)하는 것으로 보인다(Griffin 및 Hu 2015). 조건화된 입학 절차들은 덜 준비된 배경의 지원자들이 의대에서 더 쉽게 통합되고 성공할 수 있도록 하는 것으로 나타났다. (Girotti et al. 2015)
Overall, the evidence of effectiveness regarding various approaches to increasing diversity in medicine is equivocal. On a positive note, it is customary for newer selection tools to be tested for their neutrality toward different sections of the applicant population (Moreau et al. 2006; Reiter et al. 2012; Lievens et al. 2016). The transition toward using more deliberate selection techniques appear to be yielding better student performance outcomes (Stegers-Jager 2018). The movement toward broader competency-based models of selection appear to offset (to some degree) the deleterious effects of relying solely on academic achievement in some contexts, for example, in Australia (Griffin and Hu 2015). Conditionalized admissions processes have been shown to successfully enable less prepared applicants from under-represented backgrounds to more readily integrate and succeed in medical school (Girotti et al. 2015).
"표준화된 입원비"를 생성하여 접근 확대에 대처할 수 있는 기술 솔루션(다른 사회 부문으로부터 의학을 공부하도록 인정된 비율이 모집단 비율과 일치) 또는 "제한된 최적화" 모델(Kreiter 2002)은 의과대학에서 채택하지 않았다. 반면에, 의대에 입학하기 전 또는 의과대학의 초기 단계(Girotti et al. 2015)이든, 적절한 학업 훈련을 받을 수 있는 덜 혜택 받지 못한 그룹의 학생들을 장려하기 위한 조건부 입학 및 융성 프로그램에 의해 보여지는 유망한 결과들이 있다.
Technical solutions, which may address widening access by generating “standardized admission ratios” (where the proportion admitted to study medicine from different social segments is matched with their population proportion: McManus 2002; Seyan et al. 2004) or “constrained optimization” models (Kreiter 2002) have not been embraced by medical schools. On the other hand, there is promising results shown by conditional admissions and enrichment programs aimed toward promoting students from less advantaged groups who can receive the proper academic training, either prior to entry into medical school or early on in their medical school (Girotti et al. 2015).
선발 영역에는 두 가지 특정 영역이 있는데, 여기서 실무와 정책은 시장 힘에 의해 강하게 영향을 받는다. 많은 지역에서, 선발 도구는 "제품화"되었고, 지원자(예: 구매식 입시 대비 과정)와 학교(예: 선정 시스템에 포함될 수 있는 "사외" 제품/테스트)에 상업적으로 판매되었다. 코칭 제품이 반드시 지원자의 성공을 향상시키는 것은 아니라는 연구 결과가 일부 있다(예: Griffin et al. 2008; 리뷰는 Griffin (2018) 참조).
There are two particular areas of selection where practice and policy are strongly influenced by market forces. In many locations, selection tools have been “productized” and commercially marketed to applicants (e.g. fee-payable preparatory courses) and schools (e.g. “off-the-shelf” products/tests that can be included in the selection system). There is some research suggesting that coaching products do not necessarily improve application success (e.g. Griffin et al. 2008; see Griffin (2018) for a review).
세계화된 경제에서 의료 이주는 증가하는 이슈다. 아프리카와 중동과 같은 많은 개발도상국에서는 높은 이주율과 이주 의향이 있다(Bailey et al. 2012; Suciu et al. 2017). 이러한 의도는 일시적일 수 있다(예: 전문과 훈련을 위해 해외로 나갔다가 출신지에서 다시 일하게 된다; Tekian and Boulet 2015) 또는 영구적일 수 있다. 해외 연수 의사를 적극적으로 채용할 수 있도록 하고 장려하는 정책, 규제, 입법은 가난한 나라에서 부유한 나라로 이주하는 의료 종사자의 '두뇌 유출'을 전파할 수 있다(smith 2008). 예를 들어 사하라 사막 이남 아프리카는 (세계 질병의) 24%의 부담을 가지고 있지만, 의료 종사자의 경우는 3%에 불과하다(세계보건기구 보고서 2006). 규제 기관이 21세기 의료 마이그레이션 흐름을 조정된 글로벌 수준에서 고려할 수 있는 민첩성을 가지고 있는지 여부를 질문할 필요가 있다(Hawthorne 2015).
In a globalized economy, medical migration is an increasing issue. In many developing countries, such as in Africa and the Middle East, there are high rates of migration and intention to migrate (Bailey et al. 2012; Suciu et al. 2017). These intentions may be transient (e.g. going abroad for specialty training and then returning to work in the country of origin; Tekian and Boulet 2015) or permanent. Policy, regulations, and legislation that enable and encourage active recruitment of overseas-trained doctors can propagate the “brain drain” of health workers migrating from poor to wealthy countries (Smith 2008). For example, Sub-Saharan Africa has 24% of the burden (of global disease) but only 3% of health workers (World Health Organization Report 2006). The question needs to be asked whether regulatory bodies have the agility to consider twenty-first century medical migration flows at a coordinated, global level (Hawthorne 2015).
(4) 이론과 평가
(4) Theory and evaluation
보건 분야 종사자 선발에 관한 문헌이 급속히 증가하고 있다고 평가함에 있어서, 현장에서의 토론을 알리기 위해 "과학적 방법"을 채택한다고 주장하는 사람들의 주된 의제는 정신측정학(즉, 선택 관행에서 예측 가능한 타당성과 신뢰성을 달성하는 최선의 방법)이었다.
In appraising the rapidly increasing literature on selection into the health professions, the dominant agenda for those claiming to adopt “scientific methods” to inform the debates in the field has been psychometric (i.e. how best to achieve predictive validity and reliability in selection practices).
학습 분석을 사용하는 빅데이터 접근방식은 훈련 중인 성능 및 잠재적으로 건강 결과 데이터와 관련된 선택도 보장한다(Ellaway et al. 2014). 그러한 분석의 학제간 성격을 고려할 때, 우리는 보다 정교한 예측 타당성 연구를 예상해야 하며, 선발 관행의 맥락과 내용에 차이를 고려하는 다기관 고품질 데이터 세트에 적용해야 한다.
Big data approaches using learning analytics also bear promise in relating selection to in-training performance and potentially health outcomes data (Ellaway et al. 2014). Given the interdisciplinary nature of such analysis, we should expect more sophisticated predictive validity studies, applied to multi-site highquality data sets that take differences in context and content of selection practices into account.
선택은 (심리측정적) 진공에서 일어나지 않는다. 이를 조사하기 위한 적절한 이론적 프레임워크와 적절한 방법론을 개발하기 위해 혼합된 방법 접근법이 더 적절할 수 있다. 선발 철학, 정책 및 결과는 고정된 것이 아니라, 의료 교육의 글로벌 및 국가, 사회, 정치적 동인에 근거하여 변화한다(Cooke et al. 2010; Frenk et al. 2010; Hodges and Ringard 2012). 선발을 뒷받침하는 광범위한 사회적 세력들이 수월성을 정의하는 특정한 방법에 따라 충돌할 수 있으며, 학생이나 수습 기관의 다양성을 증가시키기 위해 노력하는 일부 의과대학과 전문 선발 위원회에 불편한 긴장을 야기할 수 있다. 이는 입학 환자, 의자, 기관 직원, 지원자, 보건 제공자, 규제자, 기금가, 대학, 사회를 포함한 행위자와 이해당사자들 사이의 다중적이고 복잡한 제도적 요구와 협상을 반영하여 서로 다른 건강 전문 기관이 다른 선택 목적과 목표를 가지도록 유도한다(클리랜드). 등, 2015; Razack 등, 2015; Alexander 등, 2017).
Selection does not occur in a (psychometric) vacuum. To develop the appropriate theoretical frameworks and appropriate methodologies to investigate this, mixed methods approaches may be more appropriate. The philosophies, policies, and outcomes of selection are not static, rather they shift on the basis of global and national, societal, and political drivers of medical education (Cooke et al. 2010; Frenk et al. 2010; Hodges and Lingard 2012). Broadly social forces underpinning selection may conflict as particular ways of defining excellence may lead to uncomfortable tensions for some medical schools and specialty selection boards that strive to increase the diversity of its student or trainee body. This reflects multiple and complex institutional demands and negotiations among actors and stakeholders including admissions patients, chairs, institutional staff, applicants, health providers, regulators, funders, universities, and society, leading different health professional institutions to have different selection aims and objectives (Cleland et al. 2015; Razack et al. 2015; Alexander et al. 2017).
건강 전문 교육 문헌에서 문맥에 중요한 인식이 증가하고 있다. 이는 비단 전통적인 맥락 특이성 측면에서만 그런 것이 아니라(다른 특성의 문제에 대한 성능 간의 낮은 상관관계) 또한 교육적 개입이 구현되는 환경의 차이에 의해 야기되는 거시적 가변성 측면에서도 그러하다(Bates and Elaway 2016).
There is a growing awareness in the health professional education literature that context matters, not only in the traditional sense of context specificity (poor relationships between performance on problems of different characteristics) but also in the macro sense of variability induced by differences in the environment in which educational interventions are implemented (Bates and Ellaway 2016).
우리는 선발에 관심이 있는 사람들이 보건전문직 선발을 형성하는 힘에 대한 탐구와 배려를 회피하기 보다는 포용할 것을 촉구한다. 그렇게 하기 위해서는 "측정"에 초점을 맞춘 연구를 보완하기 위해 그 분야에서 더 많은 질적 연구가 필요하다.
We urge those with interest in selection to shift their thinking, to embrace, rather than avoid, the exploration and consideration of forces that shape health professional selection. To do so requires more qualitative studies in the area to complement those focused on “measurement.”
예를 들어, 많은 졸업생들이 이주할 것이라는 이해를 가지고 과잉생산하는 국가의 의과대학의 선정 목표와 목표는 [의료 학교의 수는 국가 인력 계획 예측에 근거하여 정부에 의해 통제되는] 영국과 같은 나라의 의과대학과 매우 다를 것 같다. (Bailey et al. 2012; Kizito et al. 2015; Suciu et al. 2017)
For example, the selection aims and objectives of a medical school in a country over-producing doctors with the understanding that many graduates will migrate (Bailey et al. 2012; Kizito et al. 2015; Suciu et al. 2017) are likely to be very different from those of a medical school in a country such as the UK where the number of medical schools are controlled by government on the basis of national workforce planning forecasts.
도어와 동료(도어 외 2017)는 선발과정의 프로세스와 효과를 평가하기 위해 프로그램 로직 모델을 사용할 것을 제안한다. 이 접근방식은 종종 명시적으로 언급되지 않은 프로세스의 중요 구성 요소를 강조한다.
Dore and colleagues (Dore et al. 2017) suggest the use of program logic models to evaluate the process and effectiveness of selection processes. This approach highlights the critical components of a process that are often not explicitly stated
로직 모델에는 입력과 활동이 결과, 출력 및 영향에 어떻게 영향을 미치는지에 대한 가정, 편견 및 기대감으로 구성된 여러 구성 요소가 있다(Cooksy et al. 2001).
Logic models have multiple components which are comprised of assumptions, biases, and expectations of how the inputs and activities (of, in this case, selection) will influence the outcome, output, and impact (of a selection process; Cooksy et al. 2001).
우리의 두 번째 예는 과학적 사실주의 철학에 기초한 일련의 현실주의 접근방식에서 도출될 수 있는 반복적인 설명-구축 과정으로 정의되는 현실주의 평가다(Wong et al. 2012). 여기에는 "증거 합성 및 개입이 효과가 있을 수 있거나 없을 수 있는 이유에 대한 설명(프로그램 이론) 제공"으로서의 현실주의적 합성이 포함된다(Kehoe et al. 2016). 원래 Pawson과 Tilley(1997년)에 의해 제안된 현실주의적 평가의 주된 관심사는 컨텍스트-기전-결과(CMO) 구성을 통해 "무엇이, 누구에게, 어떤 상황에서, 어떻게 작동하는지"의 문제를 다루는 것이다(Dalkin et al. 2015). 메커니즘은 특정 상황에서 작동하여 관심의 결과를 생성하는 기본 실체, 프로세스 또는 구조로 볼 수 있다(Dalkin et al. 2015). 현실주의적 평가는 CMO 구성을 서로 다른 맥락에서 비교하는 데 유용하게 사용될 수 있으며, 한 선택 접근방식이 한 맥락 또는 국가에서 작동하지만 다른 상황에서는 작동하지 않는 이유에 대한 통찰력을 제공할 수 있다.
Our second example is realist evaluation, defined as an iterative explanation-building process, that might draw from a suite of realist approaches based on the philosophy of scientific realism (Wong et al. 2012). This includes realist synthesis as a “strategy for synthesizing evidence and providing explanations (program theories) on why interventions may, or may not, work” (Kehoe et al. 2016). Originally proposed by Pawson and Tilley (1997), the principal concern of realist evaluation is to address, through a context-mechanism-outcome (CMO) configuration, the question of “what works, for whom, under what circumstances, and how” (Dalkin et al. 2015). Mechanisms can be viewed as the underlying entities, processes, or structures that operate in particular contexts to generate outcomes of interest (Dalkin et al. 2015). Realist evaluation could usefully be used to compare CMO configurations in different contexts, to provide insight into why one selection approach works in one context or country, and yet may not work in another.
마지막으로 클렐런드 외 연구진(2018년)은 선발을 "고약한 문제"(리텔과 웨버 1973년)로 볼 수 있고 연구자가 선발과정의 복잡성을 인정할 수 있는 렌즈를 제공할 것을 제안한다. 그것은 단일한 모호하고elusive 객관적인 진리를 추구하는 것에서, 건강 전문가 선발에는 복잡성이 불가피하다는 것을 인식하고, 불확실성을 관리하고, 더 생산적으로 선택과 관련된 "문제"를 고려하는 것으로 사고와 행동을 전환한다. 의료선택을 "위키드"라고 표기하는 것은 단순하거나 선형적이거나 결정론적인 경우와는 다른 대응의 필요성을 예견하고, 선택의 개념화를 변화시킬 수 있는 문을 연다.
Finally, Cleland et al. (2018) propose that selection can be viewed as a “wicked problem” (Rittel and Webber 1973) and offer a lens through which researchers can acknowledge the complexity of selection processes. It shifts thinking and action from seeking one elusive, objective truth, to recognizing that complexity is inevitable in health professional selection, managing uncertainty, and questioning and considering “issues” associated with selection more productively. Labeling medical selection as “wicked” foregrounds the need for different responses than would be the case if it was simple, linear, or deterministic, and opens the door to shifting conceptualizations of selection.
마찬가지로, Jorm과 Roberts(2018)는 복잡성 모델과 관련 개념 내에서 프레임 의과대학 평가를 제안했다. 그들은 의료 교육자들이 자신의 환경에서 이러한 평가 접근법을 적용할 수 있도록 돕기 위한 sense-making 도구를 제안한다. 선발에만 사용되는 것은 아니지만, 복잡한 신경망 안에 위치한 신경 세포로서 의과대학을 은유하는 것은 의학 교육자들이 선택 과정과 그 결과의 평가에 대해 생각하는 방식을 재구성할 수 있게 해줄 수 있다.
Similarly, Jorm and Roberts (2018) have proposed framing medical school evaluations within a complexity model and associated concepts. They suggest the tool of sense-making to help medical educators apply this evaluation approach in their own settings. While not specific to selection, their metaphor of the medical school as a neuron situated within a complex neural network may enable medical educators to reframe the way they think about evaluating selection processes, and their outcomes.
요약, 향후 방향 및 권장 사항
Summary, future directions, and recommendations
선택 방법을 둘러싼 증거에 대한 우리의 이해는 현저하게 발전했다. 이는 실무에 반영된다. 현재 많은 기관이 영국, 네덜란드, 독일 및 호주와 같은 선택 절차에 더 많은 "증거 기반" 접근법을 사용하고 있다. 그러나 세계의 많은 지역에서는 이를 뒷받침하는 연구 증거가 거의 없거나 전혀 없는 선택 방법(예: 개인 진술, 참고문헌)을 주요 기준으로 계속 사용하고 있으며/또는 선행학문 달성에 의존하고 있다. 따라서, 기존의 연구 결과를 실천으로 옮기기 위해서는 더 많은 작업이 필요하며, 그러한 격차가 지속되는 이유를 이해하기 위해서는 더 많은 작업이 필요할 것으로 보인다.
Our understanding of the evidence surrounding selection methods has developed significantly. This is reflected in practice – many institutions are now using more “evidence-based” approaches in their selection procedures in for example the UK, Netherlands, Germany, and Australia. However, many parts of the world continue to use selection methods that have little or no research evidence supporting them (e.g. personal statements, references) and/or rely on prior academic attainment as the main criterion. It would, thus, seem that more work is required to translate existing research findings into practice and to understand why such a gap persists.
권고사항
Table 2. Recommendations.
1. 의료 실무자로서의 성공을 나타내는 바람직한 행동의 검증된 분류 체계를 사용하여 교육 단계에 걸쳐 맥락화되고 관련성이 있는 선발의 품질을 판단한다.
1. Use validated taxonomies of desirable behaviors that indicate success as a healthcare practitioner to judge the quality of selection, which are contextualized and relevant across stages of training
2. 선발 관행의 맥락과 내용에 차이를 고려한 다기관 고품질 데이터 세트를 사용하여 선정 관행의 타당성을 평가하기 위한 보다 정교한 연구 설계 및 방법론을 개발한다.
2. Develop more sophisticated research designs and methodologies to evaluate the validity of selection practices, using multi-site high-quality data sets that take differences in context and content of selection practices into account
3. 건강 결과와 관련된 선발 정책 및 실천을 평가하기 위해 복잡한 빅데이터 접근 방식을 사용할 때의 기회와 과제를 고려하십시오.
3. Consider the opportunities and challenges of using complex big data approaches to evaluate selection policies and practices linked to health outcomes
4. 대학의 사회적 책임 안건이 사회적 포용을 지원하고, 인력 문제를 해결하며, 환자 관점을 포함한 정부 및 기관의 정책 문제를 탐색하는 방법을 탐구한다.
4. Explore the ways in which social accountability agendas of universities support social inclusion, address workforce issues, and navigate government and institutional policy issues while including the patient perspective
5. 선발 방법은 모든 후보자에 대한 공정성과 책임성을 보장해야 한다. 다양성을 다루고 접근 범위를 넓히는 접근방식과 관련하여 서로 다른 맥락에서 유의한 차이가 있는 이유를 설명하기 위한 연구가 필요하다. 또한, 아웃리치, 전략, 준비 프로그램 및 접근 확대를 위한 다른 방법의 효과를 평가하기 위해 보다 강력한 증거가 필요하다.
5. Methods for selection must ensure fairness and accountability for all candidates. Research is required to explain why there is significant variation in differing contexts with respect to approaches to address diversity and widening access. In addition, more robust evidence is required to evaluate the effectiveness of outreach, targeting strategies, preparation programs, and other means to widening access
6. 많은 개발도상국에서 선진국으로의 높은 이민률에 영향을 미치는 선발과 채용 관행이 할 수 있는 역할을 더 잘 이해하기 위한 연구가 필요하다.
6. Research is required to better understand the role that selection and recruitment practices might play, in influencing the high migration rates of health profession graduates from many developing countries to those in the developed world
7. 대규모, 국가적으로 조정된 선택 접근법을 제정하는 기회와 과제를 서로 다른 맥락에서 선발과 채용을 위한 지역적 준비와 비교하고 대조해야 한다.
7. The opportunities and challenges of enacting large scale, nationally coordinated approaches to selection should be compared and contrasted with local arrangements for selection and recruitment in different contexts
8. 국제적으로 다양한 맥락에서 선발 프로세스, 선발 방법, 의사 결정 및 보고를 제공하는 데 필요한 인프라의 계량적 평가 및 비용-효익 분석을 사용하는 정책 계획에서 경제학자와 협력하는 것을 고려한다.
8. Consider working with economists in policy planning that uses econometric evaluation and cost–benefit analysis of the infrastructure required for delivering selection processes, selection methods, decision-making, and reporting in a range of contexts internationally
9. 지역적 상황 우선순위에 민감한 적절한 방법론을 사용하여 선택 정책과 실천의 미래 개발을 촉진하기 위해 학제간 이론 프레임워크를 사용한다.
9. Use interdisciplinary theoretical frameworks to facilitate the future development of both selection policy and practice using appropriate methodologies which are sensitive to local contextual priorities
10. 선발 연구 증거를 정책 및 실천으로 더 많이 번역할 수 있는 체계적인 접근 방식을 조사한다.
10. Investigate systematic approaches that can ensure a greater translation of selection research evidence into policies and practice
예측 타당도 연구에서 선형 회귀 기반 분석은 복잡성을 설명하지 않는다. 즉, 변수 간의 안정적이고 실증적인 관계를 가정한다. 이에 따라 방법론적 접근방식을 확대해야 한다. 여기에는 데이터 액세스 문제를 탐구하고 선택 정책을 건강 결과와 연관시키기 위해 복잡한 빅데이터 접근 방식을 사용할 기회와 과제를 고려하는 것이 포함된다(Gorman 2018).
In predictive validity studies, linear regression-based analyses do not account for complexity – they assume a stable, positivistic, relationship between variables. Accordingly, we must expand our methodological approaches. This includes exploring data access issues and considering the opportunities and challenges of using complex big data approaches to relate selection policies to health outcomes (Gorman 2018).
우리는 향후 연구를 이끌기 위해 몇 가지 주요 주제를 검토했으며, 선발 분야는
(a) 선택 방법 및 선택 철학, 정책 결정 간의 상호 작용에 더 많은 주의를 기울여야 하고.
(b) 보다 정교한 평가 접근법 및 이론적 프레임워크를 사용해야한다.
이를 통해서 다양성 및 인력 부족 문제를 해결하는 것뿐만 아니라 선택 방법의 가중치 부여 및 순서 지정과 같은 문제를 가장 잘 처리하는 방법에 대해 선발 관련자에게 도움이 되는 정보를 제공해야 한다.
We have reviewed several key topics to guide future research by suggesting the field should (a) pay greater attention to the interaction between selection methods and selection philosophy and policy-making and (b) use more sophisticated evaluation approaches and theoretical frameworks to better inform those involved in selection regarding how to best deal with issues such as the weighting and sequencing of selection methods as well as addressing diversity and workforce shortages.
이전의 합의된 진술과 일관되게, 양질의 진료 접근에 대한 미스매치와, 문화적으로 민감한 환자 치료에 대한 접근 사이의 세계적인 미스매치를 고려할 때 다양성은 계속해서 매우 중요한 주제다.
Consistent with the previous consensus statement, diversity continues to be a critically important topic given a global mismatch between access to quality, culturally sensitive patient care.
현재, 선발의 책임은 주로 교육 기관에 있는 반면, 채용은 고용주, 정부, 그리고 더 넓은 공동체가 공유하는 책임이다. 다양성과 참여 확대는 보건 전문 교육자가 경제학자 및 보건 정책 및 계획에 대한 전문 지식을 가진 사람들과 긴밀하게 협력할 수 있는 기회 및 선택 정책과 관행의 지역적 또는 지역적 법률적 함의를 염두에 둘 수 있는 기회를 포함하여 학제 간 연구를 위해 잘 알려진 영역이다(Greenhalgh et). al. 2004; and Robb et al. 2007; Cleland et al. 2015; Nicholson Cleland et al. 2015; Southgate et al. 2015; Alexander et al. 2017.
Currently, the responsibility of selection lies mainly on educational institutions whereas recruitment is a responsibility shared by employers, government, and the broader community. Diversity and widening participation is an area ripe for inter-disciplinary research, including opportunities for health professional educators to work closely with economists and those with expertise in health policy and planning, as well as being mindful of the local or regional legal implications of selection policies and practice (Greenhalgh et al. 2004; and Robb et al. 2007; Cleland et al. 2015; Nicholson Cleland 2015; Razack et al. 2015; Southgate et al. 2015; Alexander et al. 2017).
연구와 이용 가능한 자료의 대부분은 북유럽, 미국, 캐나다, 오스트랄라시아 등 제한된 수의 글로벌 지역에서 계속 생겨나고 있다. 아시아, 남미, 중동, 아프리카의 연구와 사례 연구는 부족하다.
the majority of research and available material continues to originate from a limited number of global regions: northern Europe, the USA, Canada, and Australasia. Research and case studies from Asia, South America, the Middle East, and Africa are lacking.
세계는 균질하지 않다(Schuwirth and van der Vleuten 2006). 이와 같이, 우리는 현재 목소리가 낮은 맥락에서 선택과 관련된 연구, 사례 연구, 평가를 위한 자원을 요청한다.
The world is variant, not homogeneous (Schuwirth and van der Vleuten 2006). As such, we make a plea for resources for research, case studies and evaluations related to selection from contexts whose voices are currently under-represented.
Cleland J, Dowell J, McLachlan J, Nicholson S, Patterson F. 2012. Identifying best practice in the selection of medical students (literature review and interview survey). London: General Medical Council.
Jorm C, Roberts C. 2018. Using complexity theory to guide medical school evaluations. Acad Med. 93:399–405.
Reiter H, Eva K. 2018. Vive la difference: the freedom and inherent responsibilities when designing and implementing multiple miniinterviews. Acad Med. 93:969–971.
Med Teach.2018 Sep 25:1-11. doi: 10.1080/0142159X.2018.1498589. [Epub ahead of print]
2018Ottawaconsensusstatement: Selection and recruitment to the healthcareprofessions.
a Work Psychology Group, Derby United Kingdom of Great Britain and Northern Ireland, UK.
2
b Northern Clinical School, University of Sydney, Sydney, New South Wales, Australia.
3
c Department of Psychiatry, Faculty of Medicine, University of Toronto, Toronto, Ontario, Canada.
4
d Department of Biochemistry and Molecular Cell Biology, University Medical Center Hamburg-Eppendorf, Hamburg, Germany.
5
e Centre for Health Education Scholarship and Department of Medicine, University of British Columbia, Vancouver, British Columbia, Canada.
6
f Centre for Medical Education, Yong Loo Lin School of Medicine, Singapore.
7
g Department of Medical Education, College of Medicine, King Saud bin Abdulaziz University for Health Sciences, Riyadh, Saudi Arabia.
8
h Department of Medical Education, University of Illinois at Chicago, Chicago, Illinois, USA.
9
i Centre for Healthcare Research and Innovation (CHERI), University of Aberdeen, UK.
Abstract
Selection and recruitment into healthcare education and practice is a key area of interest for educators with significant developments in research, policy, and practice in recent years. This updated consensusstatement, developed through a multi-stage process, examines future opportunities and challenges in selection and recruitment. There is both a gap in the literature around and a compelling case for further theoretical and empirical literature to underpin the development of overall selection philosophes and policies and their enactment. More consistent evidence has emerged regarding the quality of different selection methods. Approaches to selection are context-dependent, requiring the consideration of an institution's philosophy regarding what they are trying to achieve, the communities it purports to serve, along with the system within which they are used. Diversity and globalization issues continue to be critically important topics. Further research is required to explore differential attainment and explain why there are substantial differences in culturally acceptable ways of approaching diversity and widening access. More sophisticated evaluation approaches using multi-disciplinary theoretical frameworks are required to address the issues. Following a discussion of these areas, 10 recommendations are presented to guide future research and practice and to encourage debate between colleagues across the globe.
Lessons learned from 15 years of non-grades-based selection for medical school
Karen M Stegers-Jager
도입
INTRODUCTION
1988 년 에딘버러 선언 (Edinburgh Declaration)에 따르면 의학 교육의 목표는 '모든 사람의 건강을 증진시킬 의사를 양성하는 것'입니다. 그때 그 목표는 많은 곳에서 실현되지 못했습니다 .1 불행히도, 오늘날까지 우리는 여전히 그 목표를 실현하지 못했습니다. 2006 년 Betancourt는 진행중인 인종적, 민족적 불평등을 제거하기 위해 보건 의료 인력의 소외된 소수 민족 비율을 높이는 것에 대한 의과 대학의 역할에 대해 설명했습니다 .2 의료 혜택 조항 개선, 특히 소수 민족에 대한 의료 제공 향상은 현재의 widening access initiative에 대한 논거 중 하나이다 .3,4 이러한 이니셔티브, 특히 미국과 영국에서 소수 민족 및 1 세대 대학생과 같은 비 전통적인 학생들은 여전히 의과대학에서 과소-대표되고 있다. 그럼에도 불구하고 의과 대학에서 취한 조치로 인한 진전이있었습니다. 에딘버러 선언에서 제시 한 행동 중 하나는 '지적 능력과 학업 성취를 뛰어 넘어 개인적 특성 평가를 포함하는 의대생 선발 방법 채택'이었습니다.
According to the 1988 Edinburgh Declaration,1 the aim of medical education is ‘to produce doctors who will promote the health of all people’. At that time, that aim was not being realised in many places.1 Unfortunately, until today, we have still not realised that aim. In 2006, Betancourt described the role medical schools had to play in increasing the proportion of underrepresented minorities in the health care workforce in order to eliminate the on-going racial and ethnic disparities.2 The promise of improved health care provision, in particular for minority populations, is also one of the arguments for current widening access initiatives.3,4 Despite these initiatives, in particular in the USA and the UK, non-traditional students, such as ethnic minority and first-generation university students, are still under-represented in medical schools.3,5 Nevertheless, there has been progress, probably because of actions taken by medical schools. One of the actions suggested by the Edinburgh Declaration was to ‘Employ selection methods for medical students which go beyond intellectual ability and academic achievement to include evaluation of personal qualities’.
의과대학 선발에서 인성에 대한 평가를 확대하는 첫 번째 근거는 이것이 학업 척도로만 선발되는 사람들보다 의사로서 더 잘 수행 할 학생들의 선택으로 이어진다는 것입니다.
A first rationale behind extending medical school selection procedures with the evaluation of personal qualities is that this will lead to the selection of students who will perform better as a doctor than those who are selected on the basis of academic measures only.
지금까지 선발에서 개인적 자질을 측정하려는 시도는 윤리적 의사 결정, 의사 소통 및 협동 기술과 같은 기술에 초점을 맞추어왔다.
So far, attempts to measure personal qualities in selection have been focused on skills such as ethical decision making, communication and collaboration skills.4,7,8
최근에는 의대 선정 기준으로 창의력과 혁신의 잠재력을 포함 할 것을 촉구했다.
Recently, there have been calls to also include potential for creativity and innovation as a selection criterion for medical school.12
현재의 증거에 따르면, 맥락화 된 MMI7 또는 SJT4,8을 사용하여 비 학업 기술을 측정하려는 시도는 자기보고 설문지를 사용하여 바람직한 특성을 측정하려는 시도보다 더 효과적이다.
Current evidence shows that attempts to measure nonacademic skills using the contextualised MMIs7 or SJTs4,8 are more effective than attempts to measure desirable traits using self-report questionnaires.16,17
성적 이외의 기준을 포함하는 두 번째 근거는 인구집단을 대표하는 보건 인력을 확보하는 것인데, 이는 특히 소수 집단의 의료 서비스 개선으로 이어질 것이기 때문이다.
A second rationale for the inclusion of criteria other than grades is to ensure a representative health workforce, as this will lead to improved health care provision, in particular for minority populations.3,4
불행히도, 비-성적 기반 선발기준의 도입은 학생의 다양성과 관련하여 혼재된 결과를 보여주었습니다. 3,4,18-20
Unfortunately, the introduction of nongrades-based selection criteria has shown mixed results with respect to student diversity.3,4,18–20
최선의 (미래) 의사를 선발하고 대표 의료 인력을 확보하려는 목표는 다음과 같은 미해결 문제로 인해 더욱 복잡해집니다.
The aims of selecting the best (future) doctors and ensuring a representative health care workforce are further complicated by the following unresolved issues.
선발의 목표는 의료 훈련에 성공할 사람과 궁극적으로 유능한 의사가 될 사람을 확인하는 것입니다. 이것은 자체적으로 이미 의과 대학에 대한 첫 번째 딜레마를 제시합니다 :
선발의 초점은 최고의 학생에 맞춰져야 하는가 최고의 의사에 맞춰져야 하는가?
달리 말하자면, 예측하고자하는 성과는 무엇인가?
the goal of selection is to identify those who will be successful in medical training and who will ultimately become competent doctors. This in itself already presents a first dilemma for medical schools: should the focus be on selecting the best students or the best doctors? Put differently, which outcomes do we want to predict?
만약 '최고의 의사'에 초점을 맞추고 싶다면 다른 딜레마에 직면하게됩니다. 좋은 의사의 정의는 무엇입니까? 우리가 필요로 하는 의사는 한 가지 종류인가 혹은 다양한 종류인가? 관련 어려움은 선택 과정에서 평가 된 개인적 특성과 관련 될 수있는 미래의 실행에서 신뢰할 수있는 성과 측정 방법을 찾는 방법입니다.
If we would like to focus on the best doctors, we are confronted with another dilemma: What is the definition of a good doctor? Do we need one type of doctor or different types? A related difficulty is how to find credible measures of performance in future practice that can be related to the personal qualities assessed during selection.
그럼에도 불구하고 수년 후에 훌륭한 의사가 될 사람이 누구인지를 입학시에 예측하는 것은 극히 어렵습니다.
Nevertheless, it remains extremely difficult to predict at the time of admission to medical school who will be a good doctor many years later.
최고의 학생들을 선택하는 데 중점을 둔다면 추가적인 질문이 제기됩니다. 최고의 학생이 누구인지는 어떤 퍼포먼스를 기준으로 삼느냐에 따라 다르다. Lievens와 동료는 대인 관계 기술을 측정하는 선택 도구가 대인 관계 과정을 포함하는 커리큘럼에 대한 인지 기반 측정보다 단지 incremental한 validity만을 보여 주었다.
A focus on selecting the best students raises additional questions. Who will be the bestperforming students depends on the kind of performance you are looking for. Lievens and colleagues,26 found that a selection tool measuring interpersonal skills only showed incremental validity over cognitively oriented measures for curricula that included interpersonal courses.
또 다른 문제는 [개인의 자질이나 기술을 기반으로 학생을 선발하는 것]과 [의대에서 이러한 자질이나 기술을 가르치고 개발하는 것] 중 무엇이 더 효과적 일지 여부입니다. 증거에 따르면 적어도 일부 자질은 훈련 할 수있는 것으로 나타 났지만, 사람들은 높은 학업 능력 외에도 특정한 기술과 자질을 처음부터 갖춰야 할 필요가 있다고 주장한다.
Another issue is whether it would be more effective to select students based on personal qualities or skills or to teach and develop these qualities or skills at medical school. Although evidence shows that at least some qualities are trainable,27 others argue that specific skills and qualities, next to high academic ability, may need to be present from the start.17
개인적 자질 평가를 포함하는 선정 절차에 대한 요청은 소위인지 (또는 학술 또는 지적) 및 비인지 (또는 비 학문 또는 비 지적) 테스트 또는 기준 간의 구분을 이끌어 냈습니다.
그러나 비인지 도구는 인지적 구성 요소를 포함 할 가능성이 매우 높다.
또한 대학 예비 점수 (pu-GPA)와 같은인지 척도는 효율적인 학습 전략과 시간 관리와 같은 인성 특성을 반영 할 수있다.
비 학업 및 학문적 자질은 독립적 인 것이 아닙니다.
학업 성취에 대한 성공은 학업 기준에서 성공할 수 있으며, 그 반대도 마찬가지입니다.
따라서 '입학 준거의 확대'가 더 적절한 이야기일 수 있습니다 지적 능력과 pu-GPA의 전통적인 척도를 뛰어 넘습니다.
The call for selection procedures that also include the evaluation of personal qualities has led to a divide between so-called cognitive (or academic or intellectual) and non-cognitive (or non-academic or non-intellectual) tests or criteria. However, noncognitive instruments are very likely to also include cognitive components,29 and cognitive measures like pre-university grade point average (pu-GPA) might also reflect personal qualities such as efficient study strategies and time management.30 Additionally, several studies have shown that non-academic and academic qualities are not independent: success on non-academic criteria enables success on academic criteria and vice versa.7,31,32 Hence it might be more appropriate to speak about ‘broadened admission criteria’,21 referring to criteria beyond traditional measures of intellectual ability and pu-GPA.
네덜란드에서 비-성적-기반 선발
NON-GRADES-BASED SELECTION IN THE NETHERLANDS
네덜란드에서는 2000 년 이래로 아주 최근까지 학생들은 대학 진학을 위해 weighted 전국단위 추첨 시스템 또는 의과 대학 특정 선발 절차에 의거하여 의과 대학에 진학했습니다. 의대가 자체적으로 선발 기준을 결정할 수는 있지만, pre-university 성적은 사용할 수 없었다. 전국 추첨 시스템 옆에 학교-특이적 절차가 도입 됨으로써 자연 실험의 기회가 만들어졌습니다. 또한, 처음부터 의과 대학은 성적 이외의 기준을 고려해야했습니다. 학교-특이적 절차를 통해 입학 한 학생의 비율은 2000 년의 최대 50 %에서 현재 100 %로 꾸준히 증가했습니다. 2017-2018 학년부터는 전국단위 추첨 제도가 폐지되었습니다. 이 폐지와 함께 네덜란드 의과 대학은 현재 학교-특이적 절차에 pu성적을 포함시킬 수 있습니다.
In the Netherlands, since 2000 until very recently, students were selected for medical school either on the basis of a national lottery system that was weighted for pre-university grades or on medical school-specific selection procedures. The medical schools themselves could decide on their selection criteria, but were not allowed to use pre-university grades. The introduction of these school-specific procedures next to the national lottery system created opportunities for natural experimentation. Additionally, right from the start, medical schools had to consider criteria other than grades. The percentage of students who are admitted via the school-specific procedures has steadily increased from a maximum of 50% in 2000 to currently 100%. Starting from the academic year 2017–2018, the national lottery system was abolished. With this abolishment Dutch medical schools are now permitted to include pre-university grades in their school-specific procedures.
관련된 질문은 초점이 (부적절한) 개인적 자질에 근거하여 select in 해야하는지 select out 해야하는지이다.
A related question is whether the focus should be on ‘selecting in’ or on ‘selecting out’ on the basis of (unsuitable) personal qualities.28
참가 효과?
A participation effect?
아주 최근까지, 자발적인 학교-특이적 선발 절차 중 하나에서 떨어진 학생들은 같은 해 추첨 시스템을 통해 입학 할 기회를 얻었습니다.
Until very recently, students who were initially rejected in one of the voluntary school-specific selection procedures still had a chance of admission via the lottery system in the same year.
이러한 2단계 선발 과정에서, 학교-특이적 선발에 참여하지 않은 학생에 비해 참여한 학생이 유의하게 더 낮은 탈락율을 보였다. 한 가지 설명은 선발 과정에서의 자기-선발이었다. 또 다른 설명은 선발 과정에 참여하는 것이 의과 대학에 진학하려는 더 높은 동기 부여와 관련이 있으며, 이것이 의과대학에 진학 할 추가 기회를 파악하는 방식으로 반영된다는 것이다.
One of the studies by our group showed a significant lower dropout rate for participants than for non-participants in our two-phase selection procedure.33 An explanation was self-selection instigated by the selection procedure. An alternative explanation is that participation in the selection procedure is associated with a higher motivation to become a medical doctor, reflected in grasping this additional chance to enter medical school.33
덴마크와 네덜란드의 다른 연구들도 소위 참여 효과를 나타냈다. 명백히, 학업 성과를 예측할 때, 시간 소모적 인 자발적 선발 절차에 참여하는 것이 단순 합격보다 더 중요하다 .31,33,37
Other studies, from Denmark and the Netherlands, also revealed this so-called participation effect: Apparently, in predicting academic performance, participation in a time-consuming voluntary selection procedure is more important than acceptance.31,33,37
불행하게도, 후속 다중 현장 연구에서, 참여 효과는 교육과정과 선발 절차에서 제도적 차이에 의해 매개되는 것으로 결론 지었다.
Unfortunately, in a follow-up multi-site study , the conclusion was that participation effects seem to be mediated by institutional differences in curricula and in selection procedures.38
우리 대학을 포함한 여러 네덜란드 의과 대학은 예비 대학 교육 (pueca) 동안 지원자의 교과외 활동을 통해서 비-학업적 스킬을 평가했습니다 .31,33이 방법은 단일 테스트를 기반으로 한 것이 아니라 장기간에 걸친 학생들의 발달을 반영하기 때문에 authenticity가 증가한다는 장점이 있습니다.
Several Dutch medical schools, including our own, have operationalised non-academic skills by examining applicants’ extracurricular activities during pre-university education (puECAs).31,33 This method has the advantage of an increased authenticity, because it reflects students’ development over the last couple of years instead of being based on a ‘single’ test administration.
비록 puECAs를 자기소개서의 한 형태로 볼 수는 있지만, 적어도 네덜란드 의과 대학에서의 pu-ECA 평가는 자유로운 형식으로 기술된 자기소개서를 분석하는 것과는 다르다 . 고도로 구조화 된 지원서를 고도로 구조화 된 평가서식과 함께 사용하면 평가자의 판단을 높은 수준으로 구조화할 수 있다. 이는 취업 면접이 구조화 정도가 높아지면 긍정적으로 작용하는 것과 같은 방식으로, 준거-관련 타당도에 긍정적으로 작용할 수 있다. 결과적으로 pu-ECAs는 판단 과정이 충분히 구조화되어 있으면 선택 도구로 성공적으로 사용될 수있다.
It is good to note that although puECAs can be seen as a form of personal statements,17 their assessment, at least in the Dutch medical schools, is different from analysing the content of free response personal statements, as for example described by Ferguson et al.42 The use of a highly structured application form in combination with a highly structured rating form provides a high degree of structure to the raters’ judgements. This may positively affect the criterion-related validity, in the same way as job interviews are positively affected by the degree of structure.43 Consequently, puECAs may be used successfully as a selection tool provided that the judgement process is sufficiently structured.
활동 표본
Work samples
인사 선택에서 널리 활용된 work sample의 사용은 미래에 기대되는 행동의 표본이 곧 미래에 직장에서의 성공의 예측인자로 간주되는 상황을 의미한다.44 Sign 대신 Sample에 초점을 맞춘다는 점에서 의학 교육에서 사용되는 전통적인 선택 방법과 구별된다 .45 이러한 접근 방식의 논리는 행동의 일관성 개념에 따라 predictor와 criterion이 비슷할수록 예측 타당도가 높아진다는 사실이다 . 의과대학 초반의 퍼포먼스가 미래 성적의 가장 좋은 예측 지표인 것과 같이, 대학에 입학해서 처음 이수할 과정과 유사한 입학 시험을 개발하는 것은 제법 가능성이 있는 듯 하다.
The use of work samples, well known in personnel selection, refers to a situation where a sample of future expected behaviour is taken as a predictor of future success in the job.44 The focus on samples instead of signs (i.e. distinguishable constructs, traits or skills) distinguishes them from traditional selection methods used in medical education.45 The reasoning behind this approach is that, following the notion of behavioural consistency,44 the more the predictor and criterion are alike, the higher the predictive validity will be.21 As early performance is the best predictor of future (medical school) performance,46–48 developing an admission test similar to the first course in the university programme sounds promising.
예를 들어 지원자는 비디오 촬영 강연을 보거나 집에서 독립적으로 입문 수준의 특정 자료를 조사한 다음 대학에서 하는 것과 비슷하게 대학에서 시험을 치러야했습니다. 이러한 방식은 대규모 집단에 대한 효율적 것으로 나타났는데, 그 이유는 이러한 방식으로 설계한 교육 프로그램에서의 표본 행동sampled behavior의 대표성이 높기 때문이다. 실제로 암스테르담, 로테르담,그로닝겐에서 적용되는 선정 절차에는 '강의 시험'을 포함하고 있다.
In all the above studies, applicants were required to watch a videotaped lecture or study introductory domain-specific material independently at home, followed by an examination at the university, just like the reality at university. Positive findings for this efficient method for large groups49 are explained by the high representativeness of the sampled behaviour for the educational programme it was designed for.51 Actually, the selection procedures applied in Amsterdam, Rotterdam and Groningen also contain ‘lecture tests’.34,35
남은 질문은, 샘플-기반 테스트로 측정되는 것이 정확히 무엇이며, 그 결과를 학업적 척도로 봐야하는지 비학업적 척도로 봐야하는지 여부이다. De Visser 등은 이와 같은 curriculum sample 접근법은 학업 기반의 선발이라고 하지만, 그럼에도 불구하고 인지적 능력, 동기 부여, 학습 시간, 전략적 지식의 혼합치를 측정한다고 말했다.
The question of course is, what exactly is measured by sample-based tests, and whether such tests should be considered academic or non-academic measures. De Visser et al.49 describe their curriculum sample approach as selection on an academic basis, although it could also be argued that the samplebased approaches described above measure a mixture of cognitive ability, motivation, time spent studying, and tactic knowledge.21
또 하나의 중요한 점은, 이 방식은 '최고의 의사'보다 '최고의 학생'을 선택하는 데 중점을 둔다는 점이다.
It is important to note that the examples mentioned here are focused on selecting the best students rather than the best doctors.
SJT
Situational judgement tests
SJT는 성실성, 공감, 팀워크와 같은 의사에게 중요한 다양한 개인적 자질을 평가할 수있는 신뢰할 수 있고 타당한 방법으로 꾸준히 보급되었습니다 .17 이러한 긍정적 발견 덕분에 네덜란드 의과 대학에서는 학교 특정 선택 절차의 한 요소로 SJT 사용을 시작했습니다
SJTs have consistently been shown to be a reliable and valid method to assess various personal qualities that are important to medical doctors, such as integrity, empathy and teamwork.17 Thanks to these positive findings, Dutch medical schools have started using (or piloting) SJTs as part of their school-specific selection procedures.
Erasmus MC Medical School에서는 영국에서 개발 된 integrity-based의 SJT (네덜란드어로 번역 된 53)를 파일럿 테스트했습니다. 우리는이 노력에서 두 가지 중요한 교훈을 배웠습니다.
첫째, 해외에서 개발 된 특정 상황에 적합한 SJT를 사용할 때에는 신중해야합니다. 원래 영국 점수 키와 네덜란드 전문가를 사용하여 개발 한 점수 키 간에는 상당한 차이가있었습니다. 또한 네덜란드 참가자들은 모든 문항이 네덜란드 맥락에 적절하다고 간주하지는 않았습니다.
마지막으로, 영국 맥락에서와 동일한 채점 방법을 사용하여 내부 일관성 신뢰성이 낮았다. 이러한 결과에 이어 우리는 28가지의 대안 점수 방법을 탐구하기로 결정했습니다 .54 이것은 두 번째 중요한 교훈을 선사합니다 : 의과 대학 선발 과정에서 SJT를 사용하게 된다면 반드시 채점 방법을 철저히 검토해야 한다. 우리는 적용된 채점 방법이 SJT 점수의 내부 일관성 신뢰도와 불리한 영향에 강한 영향을 준다는 것을 발견했다.
At Erasmus MC Medical School we first pilot-tested an integrity-based SJT developed in the UK,53 which was translated into Dutch. We learned two important lessons from this endeavour.
First, one should be cautious in using SJTs developed abroad and tailored to the specific contexts. There were substantial differences between the original UK scoring key and the scoring key we developed using Dutch experts. Additionally, not all items were considered relevant or appropriate to the Dutch context by our participants.
Finally, using the same scoring method as in the UK context revealed a low internal consistency reliability. Following on from these findings we decided to explore 28 (!) alternative scoring methods.54 This revealed a second important lesson: the increased use of SJTs in medical school selection must be accompanied by a thorough examination of the scoring method to be used. We found that the applied scoring method has a strong influence on the internal consistency reliability and adverse impact of an SJT score.54
예비적 연구 결과들을 살펴보면, 딜레마 상황에서 "무엇을 해야하는지"가 아니라 "무엇을 해서는 안되는지"를 인식하는 능력에 기초하여 SJT를 채점하면 convergent validity가 향상되었다.
Preliminary findings suggest that scoring an SJT based on the ability to recognise what one should not do as opposed to the ability to recognise what one should do in a challenging situation strengthens the convergent validity of that SJT (unpublished results).
예상치 못했던 것은, integrity 관련 측면을 선발 절차에 포함하는 것에 대해 네덜란드에서 논란이 있었습니다. 이에 반대하는 사람들은 integrity 문제에 대해 학생을 판단하는 것이 공정한 것인지 의심스럽고, 이러한 행동은 가르 칠 수 있다고 제안합니다. 따라서 integrity에 대해 점수가 낮은 지원자를 불합격시키기보다, 이들에게 '경고red-flag'를 하고, 추가 교육을 제공하는 것이 옳다고 주장한다. 심지어 어떤 사람들은 integrity 척도에 대한 지원자의 점수를 의대에 보고하는 것이 비윤리적인 것으로 말하기도 한다. 이들은 그러한 점수는 지원자에게만 제공되어야 한다고 주장한다. 이것은 Patterson et al.17의 성격 평가가 지원자 자신을 위한 자료로 사용되어야지, 그 자체가 선발도구로 사용되어서는 안된다는 발언과 관련이있다.
Unexpectedly, our intention to include integrityrelated aspects in our selection procedure has caused some controversy in the Netherlands. Adversaries doubt whether it is fair to judge young adults on integrity-related issues and propose that these behaviours are teachable. Therefore, it might be better to ‘red-flag’ applicants with low scores on integrity-related measures and offer them (additional) training instead of rejecting them. Others even go so far as to say that it is unethical to report applicants’ scores on integrity-related measures to the client (the medical school), and state that such scores should only be reported to the applicants themselves, who then can decide whether or not to continue with their application.55,56 This is related to the remark made by Patterson et al.17 that personality assessments should not be used as a selection method on their own, but rather as input for selection interviews.
그러나 integrity 기반의 SJT는 성격 특성 (행동 방법)보다는 지식 및 기술 (행동 방법)을 측정하기위한 것입니다. 우리의 의견으로는 challenging한 상황에 적절하거나 부적절한 반응을 구분하는 능력은 미래의 의사에게 필수적입니다.
However, our integrity-based SJT is intended to measure knowledge and skills (how one should act) rather than personality traits (how you would act). In our opinion, a certain ability to identify appropriate and inappropriate reactions to challenging situations is essential for our future medical doctors.
변화하는 교육과정의 영향
Effect of changing circumstances
지금까지 네덜란드의 연구 결과는 긍정적인 효과 (즉, 추첨된 학생과 비교했을 때 선발된 학생의 실적이 더 좋음)와 특히 최근의 연구에서 거의 효과가 없다고보고 한 몇 가지 증거가 서로 상충되는 모습을 보였습니다. 한 가지 가능한 설명은 선발을 통해 입학한 학생의 비율이 증가한 것입니다 (50 %에서 100 %까지). 또한, 학교-특이적 선발 절차를 사용하는 의과 대학의 수가 이제 모든 학교로 증가했습니다.
So far, studies from the Netherlands have reported conflicting evidence, with some reporting positive effects (i.e. better performance for selected students compared with lottery-admitted students) and some, especially more recent studies, reporting little or no effect. A possible explanation is the increased proportion of students admitted through selection (from 50% to 100%). Moreover, the number of medical schools using school-specific selection procedures increased from only a few to currently all.
모든 의대생을 추첨으로 선발했던 당시의 자료에 따르면 네덜란드의 모든 의과 대학의 졸업률은 약 85 % 였고, 높은 기본 요율base rate을 의미한다. 이 높은 base rate의 가장 큰 이유는 네덜란드의 의과 대학 지원자가 매우 동질적이라는 사실입니다 .40 중등 학교를 가장 높은 수준으로 졸업 한 학생 (pre-university 수준)과 의학에 필요한 6 과목을 지원한 학생만이 의과대학에 지원할 수 있고 이는 모든 고등학생의 10 % 미만이다.
Data from the time when all medical students were admitted via lottery show that for all Dutch medical schools the graduation rate was about 85%,58 suggesting a high base rate. A main reason for this high base rate is the fact that medical school applicants in the Netherlands form a very homogenous group.40 Only students who completed the highest level of secondary school (equals pre-university level) and took the six subjects required for medical school are allowed to apply (less than 10% of all high school students).
히긴스 (Higgins)의 규제 초점 이론 (regulatory focus theory)에 따르면, 입학을 위한 pu-ECA 참여가 필요하다는 사실이 보다 투명해졌을 때, 신청자는 의대에 진학 할 기회가 있기 위해 이것을해야한다고 느꼈기 때문에 pu-ECAs에 참여하기로 선택했다고 볼 수 있다. 그들이 그것을 '원했기'때문에 한 것이 아니다.
following Higgins’ regulatory focus theory,59,60 when the requirement of puECA participation for admission became more transparent, applicants mayhave chosen to participate in puECAs because they felt they ‘had to’ do this to have a chance to get into medical school, and not because they ‘wanted to’.
보다 일반적인 교훈은 각 의대는 선발절차가 지원자 행동에 영향을 미친다는 사실을 알고 있어야한다는 것입니다. 이것은 신청자가 커리큘럼보다 선발 과정에서 더 많은 의대를 선택하도록하는 경우 특히 중요합니다.
The more general lesson from this is that medical schools should be aware of the possible effects of selection procedures on applicants’ behaviour. This is especially important as applicants have been shown to base their choice of a medical school more often on the selection procedure than on the curriculum.61
부정적 영향
ADVERSE IMPACT
첫째, 선발도구 사용의 효과로 발생하는 학생들의 다양성에 미치는 영향은 주어진 선발도구의 가중치와 선발 비율에 달려 있습니다.
First, the effect of using an instrument with reduced or no adverse impact on student diversity depends on the weight given to the instrument and the selection ratio.
둘째로, 서로 다른 선택 기준이 동시에 사용되어야한다 .32 이렇게 함으로써 학점 요건이 충족되었을 때만 개인적 자질을 고려함으로써 다양성을 제한하게 되는 효과를 방지한다 .20,62 또한 다양성을 증가시키기 위해서는 (모든 선발준거에서 높은 점수를 받아야 하는 비보상적 방법보다) 보상적 방법(한 영역의 낮은 점수가 다른 영역의 높은 점수로 보상되는)을 사용해야 한다. 현재 Erasmus MC 의과 대학에서는 보상 시스템이 사용됩니다. 선택 절차의 세 가지 요소 (학업 및 비 학업 기준의 혼합)에 대한 점수는 z 스코어로 변환되며, 지원자는 평균 z- 점수에 따라 순위가 결정됩니다.
Second, different selection criteria should be used concurrently.32 This prevents the diversity-limiting effect of considering personal qualities only once grade requirements have been met.20,62 Additionally, to increase diversity it might be better to allow applicants to make up for lower scores on some criteria with high scores on others (compensatory) instead of expecting them to score highly on all selection criteria (noncompensatory).32 Currently, at the Erasmus MC medical school a compensatory system is used. Scores on the three different elements of our selection procedure (a mixture of academic and non-academic criteria) are transformed into zscores, and applicants are ranked according to their average z-score.
셋째, 선발 과정에서 비학업적 기준을 포함하는 것은 의대생의 다양성을 증가시키는 데 도움이된다. 그러나 이전에이 논문에서 옹호 한 바와 같이 선발 절차는 비 학업적 기준에만 의존해서는 안되며 학업적 기준도 포함해야 한다 .33,40
Third, including non-academic criteria in the selection procedures does help to increase the diversity of medical student populations.32 However, as advocated previously in this paper, selection procedures should not rely on non-academic criteria alone, but should also include academic criteria.33,40
넷째, 비 전통적인 지원자에게는 자기 선택 (self-selection) (즉, 선발에 지원하지 않음)이 생길 수 있음을 인식해야합니다. 우리가 앞서 논한 바와 같이, 비 전형적 배경을 가진 지원자의 경우에 선발절차에 의해 선동된instigated 자기선발의 효과가 더 강력하다는 것을 배제 할 수 없다.
Fourth, one should be aware of self-selection (i.e. resulting in not applying) in non-traditional applicants. As we have argued previously,32 it cannot be ruled out that self-selection instigated by selection procedures is stronger in applicants from non-traditional backgrounds.
마지막으로, 선발절차는 또한 학생 인구의 성별 구성에 영향을 미칠 수 있습니다. SJT와 같은 비 학문적 성격을 측정하는 도구는 여학생을 선호하는 것으로 나타 났지만 적성 검사는 남성을 선호하는 것으로 나타났습니다 (남성 지원자는 여성 지원자보다 적성 검사에 입학 할 가능성이 높음)
Finally, the choice of selection procedure may also influence the gender composition of the student population. Aptitude tests were found to favour men (i.e. male applicants had a higher chance of being admitted based on aptitude tests than female applicants),64 whereas instruments measuring nonacademic qualities such as SJTs seem to favour female students.4
결론
CONCLUSION
첫째, 자발적 선발 절차에 참여한 학생들이 참여하지 않은 학생보다 의대에서 더 나은 성적을 냈다는 점에서 참여 효과가있는 것으로 보인다. 그러나 그 효과의 정도는 의대의 커리큘럼과 선발 과정에 달려 있습니다.
First, there appears to be a participation effect, in that students who participated in voluntary selection procedures performed better at medical school than nonparticipants. However, the magnitude of the effect depends on the curriculum and the selection procedure of the medical school.
둘째, 대학 진학을 위한 교과외 활동을 의과 대학 선발에서 사용하는 것은 판단 과정이 충분히 구조화되어있는 한, 탈락률이 낮아지고 전임상 및 임상 성적이 향상되는 것으로 보인다.
Second, using pre-university extracurricular activities for selection to medical school seems to lead to lower dropout rates and better preclinical and clinical performance, provided that the judgement process is sufficiently structured.
셋째, 특히 커리큘럼에서 가장 잘 수행 할 학생들을 선발하기 위해 커리큘럼 샘플을 사용하는 것이 유망한 선택 방법입니다.
Third, the use of curriculum samples is another promising selection method, particularly when the aim is to select those students who will perform best in your curriculum.
넷째, SJT와 같은 맥락화 된 도구는 지역 맥락에 맞게 조정되어야하며 사용되는 채점 방법에 대해 면밀히 조사해야한다.
Fourth, contextualised instruments such as SJTs should really be tailored to the local context and should be accompanied by a careful examination of the scoring method to be used.
다섯째, 선정 절차에서 (특정) 개인적 자질에 대한 평가를 포함시킬 때 논란의 가능성을 인식해야합니다.
Fifth, one should be aware of the possibility of controversy when including the assessment of (certain) personal qualities in selection procedures.
여섯째, 상황이 변화하면(선발 비율을 높이거나, 선발 기준에 맞춘 지원자의 적응적 행동 등) 선발 방법의 예측 타당성을 감소시킬 수있다.
Sixth, changing circumstances, such as higher selection ratios or applicants’ adapting behaviour to meet the selection criteria, may decrease the predictive validity of selection methods.
마지막으로, 악영향과 관련하여 의과 대학의 주요 권고안은 타당성과 다양성에 모두 부합 할 수 있도록 학업적 및 비학업적 선택 도구의 조합과 중요성에 대해 주의 깊게 생각하는 것입니다 .4,17,32 , 65
Finally, with respect to adverse impact the main recommendation for medical schools would be to carefully think about a combination and weighting of academic as well as non-academic selection instruments that would fit both the needs of validity and of diversity.4,17,32,65
12 Patterson F, Zibarras L. Selecting for creativity and innovation potential: implications for practice in healthcare education. Adv Health Sci Educ 2017;22:417–28.
30 Schripsema NR, van Trigt AM, Borleffs JCC, CohenSchotanus J. Underlying factors in medical school admissions. Med Educ 2015;49 (6):639–40.
47 Stegers-Jager KM, Themmen APN, Cohen-Schotanus J, Steyerberg EW. Predicting performance: relative importance of students’ background and past performance. Med Educ 2015;49 (9):933–45.
49 De Visser M, Fluit C, Fransen J, Latijnhouwers M, Cohen-Schotanus J, Laan R. The effect of curriculum sample selection for medical school. Adv Health Sci Educ 2017;22:43–56.
Med Educ. 2018 Jan;52(1):86-95. doi: 10.1111/medu.13462. Epub 2017 Oct 6.
Lessonslearned from 15years of non-grades-basedselection for medicalschool.
Institute of Medical Education Research Rotterdam, Erasmus MC, University Medical Centre Rotterdam, Rotterdam, The Netherlands.
Abstract
CONTEXT:
Thirty years ago, it was suggested in the Edinburgh Declaration that medicalschool applicants should be selected not only on academic, but also on non-academic, attributes. The main rationale behind extending medicalschoolselection procedures with the evaluation of (non-academic) personal qualities is that this will lead to the selection of students who will perform better as a doctor than those who are selected on the basis of academic measures only. A second rationale is the expectation that this will lead to a representative health workforce as a result of reduced adverse impact. The aims of this paper are (i) to describe what can be learned about the use of selectioncriteria other than grades from over 15years of Dutch experience and (ii) to summarise current knowledge on the issue of adverse impact in relation to non-grades-basedselection.
METHODS:
A narrative review was undertaken of the (published) evidence that has resulted from non-grades-basedschool-specific selectionprocedures in the Netherlands and from recent explorations of the effect of the use of non-grades-basedselection criteria on student diversity.
RESULTS:
The Dutch evidence is grouped into five key themes: the effect of participation in voluntary selection procedures, the assessment of pre-university extracurricular activities, the use of work samples, Dutch experiences with situational judgement tests and the effects of changing circumstances. This is followed by several lessonslearned for medical schools that aim to increase their student diversity.
CONCLUSION:
Over the last 30 years, important steps towards reliable and valid methods for measuring non-academic abilities have been taken. The current paper describes several lessons that can be learned from the steps taken in the Dutch context. The importance of sharing evidence gathered around the globe and building on this evidence to reach our goal of predicting who will be a good doctor is acknowledged.
Experiences of the multiple mini-interview: a qualitative analysis
Koshila Kumar,1 Chris Roberts,1 Imogene Rothnie,2 Christine du Fresne1 & Merrilyn Walton1
도입
INTRODUCTION
McMaster University (Hamilton, ON, Canada)에서 이러한 단점을 해결하기 위해 MMI가 개발되었습니다.
The multiple mini-interview (MMI) was developed at McMaster University (Hamilton, ON, Canada) to address some of these shortcomings.6
의과대학 선발의 맥락에서 평가 과정은 인터뷰 후 설문 조사를 통해 계속 평가됩니다. 그러나 질적 연구는 기존의 양적 연구에서 제공 한 것보다 더 풍부한 심층적 인 이해를 도와주며, 성과 평가와 관련된 과제 잘 보여준다.
The process of assessment within the context of medical school selection continues to be evaluated via post-interview questionnaires.5,6,9,11 However, qualitative studies have demonstrated value in facilitating in-depth understanding, richer than that provided by existing quantitative studies, of the challenges associated with the assessment of performance.12,13
맥락
Context
우리 MMI의 세부 사항은 다른 곳에서보고되었지만, 요약하면, 후보자는 8 개의 면담 스테이션을 통해 회전하며, 각 면접은 7 분 동안 진행되고, 스테이션 간 2 분 간격을 둔다. 각 MMI 스테이션에는 단일 면담 자, 표준화 된 텍스트 기반 시나리오 및 프롬프트 질문 및 마킹 체크리스트가 포함됩니다. 시나리오 설계는 입학생에게 기대되는 기술 및 행동을 샘플링하기위한 국제 기준에서 도출 된 청사진을 기반으로합니다. 각 시나리오에는 지원자가 채점 체크리스트에 명시된 특정 영역을 다루도록 가이드하는 몇 가지 표준화 된 프롬프트 질문이 있습니다. 각 면접 스테이션에서 응시자는 1-4 단계 (1 = 만족스럽지 않음, 4 = 우수함)로 이러한 기술과 행동을 얼마나 잘 처리했는지에 대해 점수를 매 깁니다.
Details of our MMI have been reported elsewhere,7 but, in summary, candidates rotate through eight interview stations, each lasting 7 minutes with a 2-minute interval between stations. Each MMI station involves a single interviewer, a standardised textbased scenario and prompt questions, and a marking checklist. Scenario design is based on a blueprint drawn from international criteria for sampling the skills and behaviours expected of graduate-entry medical students. Each scenario has several standardised prompt questions to guide candidates to cover specific areas outlined in the marking checklist. At each interview station, candidates are scored on how well they address these skills and behaviours on a scale of 1–4 (1 = unsatisfactory, 4 = excellent).
방법
METHODS
자료 수집
Data collection
This study was undertaken as part of a larger quantitative evaluation of the MMI, which has been reported elsewhere.7
Interviewer focus groups were held during the lunch break on six different interview days. Interviewers had been informed of these groups as part of the written communication from the faculty and were reminded again by one of the authors during a debriefing session each day.
Focus groups explored
interviewers’ views and experiences of challenges in their role,
their level of preparedness for the task,
the assessment format,
the overall strengths and weakness of the process, and
suggestions for improvements. (See Appendix 1 for questions.)
In addition, qualitative data were collected via an anonymous paper-based questionnaire, which all candidates and interviewers were invited to complete. Open-ended survey questions explored participants’ satisfaction with the MMI, perceptions of MMI strengths and weaknesses, and suggestions for improvements. (See Appendix 2 for questions.) Candidates completed the questionnaire immediately after their interview at a candidate debriefing, whereas interviewers were requested to do so after their final interview.
APPENDIX 1 Focus group questions: interviewers
• What did you find were some of the challenges in your role as an interviewer?
• To what extent do you feel the interview training prepared you for the interviewing task? How could this training be improved?
• To what extent did you feel that your scenario matched the marking criteria and the list of expected skills and behaviours for the station?
• How easy ⁄ hard was it to apply the marking criteria consistently across different students ⁄ scenarios?
• What do you see as the overall strengths of the MMI process?
• What do you see as the overall weaknesses of the MMI process?
• What suggestions do you have for improving the MMI process?
APPENDIX 2 Open-ended survey questions: candidates and interviewers
• Overall, how satisfied were you with the MMI as one of the tools for selection into the medical programme? If you were unsatisfied, please comment on why.
• What do you think are the strengths of the MMI process as one of the tools for selection into the medical programme?
• What do you think are the weaknesses of the MMI process as one of the tools for selection into the medical programme?
• What suggestions do you have for improving the MMI process?
윤리적 고려
Ethical considerations
자료 분석
Data analysis
Framework analysis15 was used to examine the qualitative data as it permitted reflection on participants’ original accounts of their experiences within the scope of pre-set research objectives.16 The analysis process involved several inter-related stages.
In this study, three researchers each independently read through a proportion (33%) of the qualitative data and identified recurrent themes and sub-themes (codes) which captured the breadth and diversity of respondents’ views and experiences, and reflected issues and concepts raised by respondents and the connections among these.15
The researchers then met regularly to discuss similarities and differences in their coding and to negotiate a joint thematic framework that outlined the content of participants’ comments.
At this time, a fourth researcher used the thematic framework to code a proportion of the data in order to establish the framework’s credibility.17
Next, NVivo qualitative data analysis software (Version 7; QSR International Pty Ltd, Melbourne, Vic, Australia) was used to apply the thematic framework to all the data and to rearrange data according to themes and sub-themes.
RESULTS
참가자
Participants
'... 기존 시스템에는 일반적으로 3명의 면접관 중 다른 사람보다 경험이 많은 사람이 있었으므로 더 hawkish하거나 dovish한 경향이 있다면 중간 정도의 위치로 돌아가는 경향이있었습니다. 그러나 MMI에서는 전체 과정에 대해서 모른 채로 비행하게 된다. '(I)
‘…in the last system generally there was someone in the three that was more experienced than someone else, so if you tended to be more hawkish or dovish or something, there tended to be some gravitation back to the medium position, whereas here you’re flying blind for the whole process.’ (I)
핵심 주제
Key themes
프레임 워크 분석은 참가자의 MMI 경험에 관한 6 가지 주요 주제와 하위 주제를 확인했습니다. 이들은 표 1에서 주요 골격으로 표현된다.
The framework analysis identified six major themes and sub-themes pertaining to participants’ experiences of the MMI. These are represented as a thematic framework in Table 1.
일대일 인터뷰
One-to-one interviews
'... 한 번에 여러 명의 면접 원에게 이야기하는 것보다 더 진실하고 편안한 인터뷰'. (C)
‘…a more sincere and relaxed interview than speaking to several interviewers at once.’ (C)
'... 다른 사람들의 편견없이 지원자에 대한 자신의 견해를 형성 가능.'(C)
‘…form their own opinion about the applicant without bias from others.’ (C)
'작년에는 다른 몇몇 패널 멤버들에 의해 면접 방향이 정해진 것 같았습니다. 한 교수는 다른 두 교수와 늘 의견이 엇갈렸지만, 너무나 확고해서 우리는 그의 의견을 따르게 되었다. "(I)
‘I definitely felt railroaded by some of the other panel members last year. The professor of whatever whose views were at odds with [the] other two members of the panel, but was very strong in getting us to come around to his views.’ (I)
다중 평가 기회
Multiple assessment opportunities
'이전 방식과 같은 인터뷰보다, 지금처럼 한 가지 질문만 다루는 것이 훨씬 덜 스트레스를 받는다는 것을 알게되었습니다. 무엇을 결정하든 내가 결정한 것이고, 그것은 그 학생을 위한 것입니다. 그리고 나는 개인적으로 (그러한 결정이) 상당히 스트레스가 많음을 깨달았다. 이런 식의 면접에서 면접관은 자신의 결정이 Matrix의 일부라는 것을 알고 있으며, Matrix는 학생에 대한 impression의 집합이라는 사실이 압박을 조금 덜어주었다. 나는 이것이 학생을 위한 더 공정한 과정이라고 생각합니다. '(I)
‘I found it much less stressful just dealing with one question than the whole long interview which we had before because when you decided whatever you decided… that was it for that student. And I personally found that quite stressful really. This time you know it’s part of a matrix, it’s a collection of impressions of the student which takes the pressure off me a bit and I think is probably a fairer process for the student.’ (I)
표준화 시나리오 기반 면접
Standardised scenario-based interviews
'MMI는 미래의 의사가 만날 수있는 다양한 시나리오를 제공하고 있으며 학생들이 이러한 상황에서 어떻게 행동 할 것인가에 대한 공정한 테스트라고 생각합니다.'(C)
‘I think the MMI does give a wide range of scenarios, especially those that a future doctor would encounter and is a fair test of how students would behave in these situations.’ (C)
탐색 질문과 마킹 체크리스트의 표준화에 대한 의견이 엇갈 렸습니다. 한 가지 관점은 면접관의 주관성을 감소시킬 가능성이있는 것으로 나타 났으며, 6,7
There were mixed views on the standardisation of the prompt questions and marking checklist. One perspective indicated that it appeared to have the potential to reduce interviewer subjectivity,6,7
반대로, 탐색 질문과 마킹 체크리스트의 표준화는 다른 문제를 탐구하는 것에 대한 면접관과 후보자의 범위를 제한하는 것으로 인식되었습니다.
By contrast, the standardised nature of the prompt questions and marking checklist were perceived to restrict the scope of interviewers and candidates to explore other issues:
미니 면접
The mini-interview
응시자는 일반적으로 각 MMI 스테이션에 할당 된 시간이 짧았다고 이야기합니다.
Candidates commonly spoke about how the shorter time allocated for each MMI station:
측정되는 것은 무엇인가?
What is being measured?
그러나 다른 사람들은 MMI가 주로 의사 소통 기술을 평가했으며, 후보자의 추론 능력보다는 사회적 상호 작용 기술을 기반으로 한 결정이 신입생의 다양성을 제한 할 수 있다고 우려했습니다.
However, others felt that the MMI was primarily assessing communication skills and were concerned that decisions based on social interaction skills rather than the reasoning capabilities of the candidate might restrict the diversity of the intake:
또 어떤 것이 측정되어야 하는가?
What else should be measured?
어떤 사람들은 지원자의 특정 개인적 자질에 대해 논의하기에는 MMI에서 기회가 부족하기 때문에, 후보자들이 자신에 대한 전체적인 그림을 제시 할 수있는 기회를 제한하고 있다고 우려했습니다.
Some were concerned that the lack of opportunity in the MMI to discuss specific personal qualities limited candidates’ opportunities to present holistic pictures of themselves.
많은 참가자들은 MMI에 응시자의 의학에 대한 헌신과 왜 그 대학을 지원했는지를 조사하기 위한 목적의 스테이션을 포함하도록 수정해야한다고 제안했습니다.
Many participants proposed that the MMI should be modified to include one station to explore the candidate’s commitment to medicine and to the university to which he or she had chosen to apply.
고찰
DISCUSSION
참가자들은 일반적으로 MMI가 강력하고 독립적인 평가 시스템임을 확인했습니다. 이것은 수용가능성에 대한 이전의 평가에 추가됩니다.
Participants generally found the MMI to be a compelling and independent assessment system. This adds to previous evaluations of its acceptability.9,10
인터뷰 응시자는 일대일 형식 및 다중 평가 기회와 같은 MMI의 측면을 긍정적으로 보았으며, 이는 면접관에게 긍정적 인상을 줄 가능성을 높인다고 생각했다. 인상 관리impression management에 관한 연구문헌에 따르면, [일대일 환경에서 내재하는 사회적 상호 작용]과 [외부 잠재 고객(즉, 면접관)과의 상호 작용을 위한 다수의 기회가 제공되는 것]이 자기홍보 전략을 사용하기에 이상적인 환경을 조성한다. 반대로 응시자는 [짧은 인터뷰 시간]과 [자신의 가치와 헌신을 논의 할 수있는 기회가 없는 것]이 상호 작용의 본질과 질을 제한하는 것으로 인식되어 자신의 긍정적인 면을 보여주는데 제약이 된다고 생각했습니다.
Interview candidates were particularly responsive to aspects of the MMI such as the one-to-one format and the multiple assessment opportunities, which they perceived as enhancing their chances of making a favourable impression. The impression management literature supports that the social interaction inherent in one-to-one settings and multiple opportunities for interaction with an external audience (i.e. interviewers) creates an ideal environment for using self-promotion tactics.18,19 Conversely, candidates viewed the short interview time and the lack of opportunity to discuss their values and commitment as barriers to favourable self-presentation, as these aspects were perceived to limit the nature and quality of interaction within the interview.
연구 결과는 MMI가 평가하고있는 것에 대한 참가자들의 기대와 이해가 다를 수 있음을 보여주었습니다.
일부 사람들은 팀웍과 공감대와 같은 영역에서 추론 기술을 평가하는 것으로 인식했으며,
다른 사람들은 의사 소통 기술을 주로 평가하기에 이것이 신입생의 다양성을 제한 할 수 있다고 우려했습니다.
이것은 참가자들이 "훌륭한 커뮤니케이터들은 의학에 요구되는 다른 기술을 보유할 가능성이 적다"라는 흥미로운 가정을 가지고 있음을 보여준다. 또한 MMI가 테스트하는 자질에 대한 공통된 이해를 보장하기 위해 추가 타당도 훈련의 필요성을 강조합니다.
Our findings also showed that participants had differing expectations and understandings of what the MMI was assessing.
Some perceived it as assessing reasoning skills7 in areas such as teamwork and empathy,
whereas others believed that it was primarily assessing communication skills and were concerned that this might restrict the diversity of the intake.
This highlights an interesting assumption made by participants that good communicators are less likely to possess the technical or other skills required for medicine. It also highlights the need for further validity training to ensure a common understanding of which qualities the MMI is testing.
다수의 평가 기회는 후보자에 대한 부정정 판단을 내리는 것과 관련된 면접관 스트레스를 완화시키는 것처럼 보였습니다. 우리의 조사에서 평가자들은 중간 범위 점수만을 사용하여 탈락 결정을 회피하기보다는, 평가 스케일의 전체 범위를 사용하려는 경향이 더 많다고보고했습니다. 이는 면접관의 stringency effect을 감소시키는데도 기여할 수 있습니다.
The multiple opportunities for assessment also appeared to ease interviewer stress associated with having to judge candidates unfavourably. In our study, some interviewers reported that they were more inclined to use the full range of the marking scale rather than avoid the decision to fail by sticking to a middle ground. This may also contribute towards reducing the interviewer stringency effect.7
면접관의 주요 관심사는 벤치마킹 기회가 부족하다는 점이었습니다. 특히 엄격함이나 관대함을 측정하는 측면에서 특히 그렇습니다. 면접관들은 패널인터뷰처럼 각 지원자들에 관해 토론할 다른 면접관들이 있는 것이 의사 결정을 조정하고 결정화하는 데 유용했다고 설명했습니다. 연구 결과는 Cleland et al.의 연구 결과와 일치하며, 의학 교육자에게 동료의 견해는 학생들의 성과 결과를 결정하는 데 있어 가치가 있음을 발견했습니다. MMI에 참여하는 대부분의 면접관이 패널 인터뷰에서 풍부한 경험을 가지고 있다는 사실을 고려할 때 그 결과는 놀랄 일도 아닙니다. 일부 사람들은 표준화 된 인터뷰 형식이 MMI가 측정 한 자질과 관련없는 요소의 영향을 줄임으로써 의사 결정의 주관성을 낮출 수 있지만, 훈련 중 이에 대한 가이드가 필요하다고 느꼈다고 언급했다.
A main concern for interviewers was the lack of opportunity for benchmarking, particularly in terms of gauging their stringency or leniency. Interviewers commented that having others to discuss each candidate with, as they did in the panel interview, was useful for moderating and crystallising their decisions. Findings are consistent with those of Cleland et al.,13 who found that the views of colleagues were valuable to medical educators in determining students’ performance outcomes. The findings are also unsurprising given that most interviewers coming into the MMI had a wealth of experience in panel interviews. Some interviewers felt that the standardised interview format might reduce the subjectivity of their decision making in terms of diminishing the influence of elements irrelevant to the qualities measured by the MMI, but felt that they needed further guidance on this during training.
또한 면접관들은 [집단 영향력의 배제]와 [특정한 판단에 따라야 한다는 기대가 없다는 점]에서 MMI의 의사 결정 과정을 높이 평가했다. 이것은 이전 패널 인터뷰에서 흔히 경험했던 것으로서, 이러한 요인이 면접 결과를 크게 좌우한다고 생각했습니다. 특히 패널 인터뷰에서는 주니어 면접관이나 지역 사회에서 온 면접관이 자신의 의견을 분명히 말할 수있는 기회가 제한적일 수 있습니다. 집단 영향력이 사회적 행동에 미치는 영향에 대한 연구에 따르면, 집단의 기대를 충족시키고 승인을 얻고자하는 욕구에 의해서 conformity가 유도되며, 이는 특히 어려운 판단에 대한 대중의 반응을 필요로 하는 high-status group에서 두드러진다.
Our findings also showed that interviewers gave high regard to the MMI decision-making process due to the absence of group influence and the subsequent lack of expectation that they would conform to a particular judgement. This was an experience commonly encountered in the previous panel interview, and some interviewers viewed it as having significantly shaped interview outcomes and limited opportunities particularly for more junior interviewers or those from the community, to articulate their opinions. Research on the effects of group influence on social behaviour indicates that conformity is prompted by the desire to fulfil the expectations of the group and gain approval, particularly within high-status groups that require a public response to a difficult judgement.18
연구의 강점
Strengths and weakness of the study
오스트레일리아와 북미 지역 모두에서 참가자들의 시각을 파악했으므로, 조사 결과의 전이가능성이 높아졌습니다.
The transferability of findings is enhanced as we captured the perspectives of participants in both Australian and North American settings.
연구의 함의
Implications of the study
MMI에서는 면접관 훈련을 통해, 면접관들의 서로 다른 기대치를 교정해야 한다. 면접관 훈련은 평가 대상에 대한 공통의 이해를 형성하는 것을 목표로 하며, 면접관의 편견이 지원자 또는 시나리오 상호 작용할 가능성이 있는 영역이 어디인가를 찾아내야 한다.
We recommend that differing expectations regarding the MMI should be remediated through targeted interviewer training that aims to facilitate a shared understanding of what is being assessed and identify areas of potential interviewer bias in interacting with candidates and across scenarios.
면접관에게 [서로 다른 유형의 스테이션에서, 다양한 수준의 샘플 지원자에 대한 평가 연습을 실시]하여 벤치마킹에 대한 우려를 해소해야합니다.
Concerns about benchmarking should be addressed by providing interviewers with marking practice on sample candidates of varying degrees of capability across different types of stations.
MMI가 후보자의 의학 진로에 대한 의지를 평가하는 스테이션을 포함함으로써 이익을 얻을 것이라 제안한다. 그러나 이 목적을 위해 고안된 모든 항목은 pre-professionalism에 대한 우려를 반영해야합니다.
In light of our findings, we also propose that the MMI would benefit from the inclusion of a station that assesses the candidate’s commitment to a career in medicine. However, any items designed for this purpose would need to reflect the concerns of pre-professionalism.
CONCLUSIONS
Med Educ.2009 Apr;43(4):360-7. doi: 10.1111/j.1365-2923.2009.03291.x.
Experiences of the multiplemini-interview: a qualitativeanalysis.
Office of Postgraduate Medical Education, University of Sydney, New South Wales 2006, Australia. k.kumar@usyd.edu.au
Abstract
CONTEXT:
Multiple mini-interviews (MMIs) are increasingly used in high-stakes medical school selection. Yet there is little published research about participants' experiences and understandings of the process. We report the findings from an international qualitative study on candidate and interviewer experiences of the MMI for entry into a graduate-entry medical school.
METHODS:
Qualitative data from six interviewer focus groups and 442 candidate and 75 interviewer surveys were analysed using framework analysis. Multiple researchers (n = 3) analysed a proportion of the data and developed a thematic framework capturing content-related (i.e. what was said) themes that emerged from the data. This thematic framework was then used to code the complete dataset.
RESULTS:
Several key themes were identified, including participants' perspectives on having: (i) a one-to-one interview; (ii) multipleassessment opportunities; (iii) a standardised, scenario-based interview; (iv) a mini-interview, and on (v) the attributes currently measured by the MMI, and (vi) other attributes that should be assessed.
CONCLUSIONS:
We gained a deeper understanding of participants' experiences of a high-stakes, decision-making process for selection into a graduate-entry medical school. We discuss our findings in the light of the existing literature and make recommendations to address the issue of differing participant expectations and understandings of the MMI, and to improve the credibility and acceptability of the process.
The State of Medical Student Performance Evaluations: Improved Transparency or Continued Obfuscation?
Jason Hom, MD, Ilana Richman, MD, Philip Hall, MD, Neera Ahuja, MD,
Stephanie Harman, MD, Robert Harrington, MD, MA, and Ronald Witteles, MD
미국 의과 대학 출신의 2 만 5 천 명 이상의 졸업생이 매년 전국의 레지던트 교육 프로그램에 지원합니다. 레지던시 프로그램에 제출 된 각 신청서에는 일반적으로 "학장의 서신"이라고하는 의학적 학생 성과 평가 (MSPE)가 포함됩니다. MSPE는 지원자를 대신하여 의과 대학 교수가 작성한 서신으로 학업 성적을 요약 한 것입니다. 일반적으로 학생의 학문적 배경과 전임상 및 임상 설정에서의 성적에 대한 데이터를 포함합니다. 대부분의 경우, 학생의 순위 또는 의대생으로서 전체적인 수행 능력을 요약 한 "핵심 단어"가 포함됩니다. MSPE는 의과대학생의 레지던트 신청서의 중요한 구성 요소이며, 신청자를 평가할 때 레지던시 프로그램 디렉터에게 종종 중요하게 여겨지는 자료이다.
Over 25,000 graduating students from U.S. medical schools apply to residency training programs across the country each year.1 Each application submitted to a residency program includes a medical student performance evaluation (MSPE), commonly referred to as the “dean’s letter.” The MSPE is a letter written by medical school faculty on behalf of the applicant, summarizing his or her academic performance. It typically contains data on the student’s academic background as well as his or her performance in preclinical and clinical settings. In most cases, it includes a “key word” which encapsulates the student’s rank or overall performance as a medical student. The MSPE is a critical component of a medical student’s residency application, and the information it contains is often weighed heavily by residency program directors when ranking applicants.2
이러한 노력에도 불구하고 MSPE의 단점은 지속됩니다. 2005 년부터 MSPE를 체계적이고 양적으로 검토 한 결과, 의대 중 45 %만이 전반적인 학생 성적에 대한 비교 자료를 제공 한 것으로 나타났습니다. 다른 학자들은
핵심 단어 (예 : "좋음"또는 "우수함")가 학교마다 사용되는 방식의 다양함,
학교 간의 임상실습 grading의 변동성,
Grade 인플레이션에 대한 우려
...등 다양한 MSPE 해석의 어려움을 강조했습니다.
Despite these efforts, the shortcomings of the MSPE persist.4–6 A systematic, quantitative review examining MSPEs from 2005 demonstrated that only 45% of medical schools provided comparative data on overall student performance.7 Other authors have highlighted additional difficulties with interpreting the MSPE, including
variability in how key words (such as “good” or “excellent”) are used by different schools,8,9
variability in core clerkship grading between schools,10 and
concerns regarding grade inflation.11
1989 년부터 MSPE의 표준화 및 개선을위한 공식적인 노력이 검토되었습니다.
Formal efforts to standardize and improve the MSPE have been considered since 1989,
2002 년에 AAMC는 MSPE에 대한 가이드 라인을 개정하고, 의대가 핵심 임상실습 수행 및 전반적인 학업 성과에 대해 쉽게 해석 할 수있는 비교 데이터를 포함하도록 권장했습니다.
In 2002, the AAMC revised its guidelines for MSPEs and recommended that medical schools include easily interpretable comparative data on core clerkship performance and overall academic performance.3
방법
Method
연구 설계 및 자료 수집
Study design and data collection
This study was conducted at Stanford University School of Medicine during April–July 2014 and was deemed exempt from review by the Stanford University institutional review board as it did not qualify as human subjects research.
This study was a cross-sectional analysis of MSPEs designed to describe the completeness of information contained in MSPEs. Our unit of analysis was the MSPE. We used a sample of 117 MSPEs received by the Stanford University internal medicine residency training program during the 2013–2014 application cycle, analyzing one randomly selected MSPE from every Liaison Committee on Medical Education (LCME)–accredited U.S. medical school from which at least one student applied. Because the portions of the MSPE describing each school’s grading and ranking schemes do not differ between MSPEs from a given medical school, it was not necessary to review more than one MSPE per school.
Data analysis
결과
Results
우리의 연구 샘플에는 131 개의 LCME 인증 미국 의대 중 117 개 (89 %)의 MSPE가 포함되었습니다. 우리 샘플의 학교 중 14 개 (12 %)는 핵심 단어 나 순위 시스템을 사용하지 않았습니다. 또 다른 20 명 (17 %)은 "우수"또는 "우수"와 같이 주요 단어로 자주 사용되지만 가능한 주요 단어를 해석하는 방법에 대한 주요 단어 또는 정보의 전체 목록을 제공하지 않은 요약 설명에 설명자를 포함했습니다. 사용 된 핵심 단어의 전체 목록을 제공 한 83 개 학교 (71 %) 중 12 개 (10 %)는 핵심 단어에 대한 완전한 분포 데이터를 제공하지 않았습니다. 나머지 71 개 학교 (61 %)는 전체 목록 및 배포 데이터와 함께 완전한 키워드 데이터를 제공했습니다.
Our study sample included MSPEs from 117 (89%) of 131 LCME-accredited U.S. medical schools. Of the schools in our sample, 14 (12%) did not use key words or any ranking system. Another 20 (17%) included descriptors in the summative comments that are often used as key words, such as “excellent” or “outstanding,” but did not provide a complete list of key words or information about how to interpret possible key words. Of the 83 schools (71%) that provided a full list of key words used, 12 (10%) did not provide complete distribution data for the key words. The remaining 71 schools (61%) provided complete key word data, with both a full list and distribution data.
핵심 단어를 할당 한 83 개 의과 대학의 대부분은 전반적인 학생 성과 (그림 1A)를 설명하기 위해 4 개 (n = 36, 43 %) 또는 5 개 (n = 29; 35 %)의 키워드를 사용했습니다. 사용되는 핵심어에는 엄청난 다양성이있었습니다. 전체 범주를 보면 총 72개의 서로 다른 핵심어들이 사용되었으며, 27가지의 핵심 단어가 상위 범주의 performer를 설명하는 데 사용되었습니다 (그림 2).
Most of the 83 medical schools that assigned key words used 4 (n = 36; 43%) or 5 (n = 29; 35%) key words to describe overall student performance (Figure 1A). There was tremendous variability in the key words used across schools. A total of 72 distinct key words were used across all categories of performance, and 27 key words were used to describe the top category of performers (Figure 2).
(MSPE에서) Top 키워드를 할당 한 의대 학생의 평균 비율은 24 % (범위 : 1 % -60 %)였습니다.
The median percentage of medical students assigned the top key word was 24% (range: 1%–60%).
임상실습 grade 데이터는 일반적으로 핵심어 데이터보다 더 완전합니다. 우리 샘플의 117 개 의과 대학 중 116 개 (99 %)는 임상실습 사용 된 grading scheme에 대한 정보를 최소한 제공했으며, 96 개 (82 %)는 각 직책에 배정 된 성적에 대한 완전한 배포 데이터를 제공했습니다. 사용 된 grade의 총 수는 2에서 10 사이이며, 두 학교는 0-100 숫자 척도 (그림 3A)를 사용했습니다.
Data for clerkship grades were generally more complete than data for key words. Of the 117 medical schools in our sample, 116 (99%) provided at least some information on the grading scheme used for clerkships, and 96 (82%) provided complete distribution data for grades assigned in each clerkship. The total number of grades used ranged from 2 to 10, and two schools used a 0–100 numeric scale (Figure 3A).
(임상실습에서) Top grade를 받는 학생의 비율의 중간값은 29%였고, 96 학교 중 24(25 %) 학교에서 39%이상의 학생에게 top grade를 주었으며, 10(10%)개 학교는 50%이상의 학생에게 top grade를 부여했다.
The median percentage of students receiving the top grade was 29% (interquartile range: 23%–39%; range: 2%–90%), though there was marked variability: 24 (25%) of the 96 schools awarded the top grade to ≥ 39% of students, and 10 (10%) awarded the top grade to ≥ 50% of students.
고찰
Discussion
AAMC는 MSPE가 의대생 성과에 대한 투명하고 포괄적인 비교 자료를 일률적으로 포함해야한다고 권고하는 초기 지침을 발표 한 지 25 년이되었습니다. 지원자 선택의 근거가 될 수있는 최상의 정보를 레지던시 프로그램 디렉터와 선발위원회에게 제공해야 하기 위해서이다.
It has been a quarter of a century since the AAMC3 put forth its initial guidelines recommending that MSPEs should uniformly include transparent and comprehensive comparative data on medical student performance in order to provide residency program directors and selection committees with the best possible information on which to base their selection of applicants.
우리의 연구는 불완전하고 해석하기 어려운 데이터가 여전히 MSPE에 보급되어 있음을 강조하며, 과반수가 조금 넘는 학교들만이 임상실습 및 전반적인 성과에 대한 완벽한 비교 데이터를 제공합니다.
Our study highlights that incomplete and difficult-to-interpret data still pervade MSPEs, with a scant majority of schools now providing complete comparative data on clerkship and overall performance.
앞으로도 긍정적 인 변화가 계속되기를 기대하지만, AAMC 권고안 준수는 자발적이며 의과대학들은 좋은 레지던트 프로그램에 학생을 보내야 한다는 대한 지속적인 압력이 있기 때문에 여전히 어느 정도 불완전하고 해석하기 어려운 데이터가 지속될 가능성이 높습니다. 또한 미국의 의대 졸업생 및 국제 지원자 수가 미국 내 거주자 슬롯 수보다 빠르게 증가 할 것으로 예상되므로 이러한 압박이 커질 수 있습니다.
Although we are hopeful that positive changes will continue in the coming years, it is likely that some degree of incomplete and difficult-to-interpret data will persist, both because compliance with the AAMC recommendations3 is voluntary and because there are continued pressures on medical schools to ensure good residency placements for their students. Moreover, such pressures may be increasing, as the number of U.S. medical school graduates and international applicants is expected to grow faster than the number of U.S. residency slots available.13
불행히도, MSPE의 비교 데이터가 없는 것 때문에 치러야하는 비용은 상당하다. 이러한 관행은 평균 이하의 학생들에게 도움이 될 수 있지만, 평균 이상의 학생들에게는 열의를 꺾을 수 있습니다. 학생들은 자신의 업적에 대해 인정받지 못할 수 있습니다. 또한 비-비교 접근법에는 미묘한 단점이 있습니다. 최근 설문 조사에 따르면 레지던트 디렉터는 학급 및 직급 등급을 포함 해 MSPE의 "객관적인"구성 요소를 더 중요시했다. 이와는 대조적으로, 레지던트 디렉터들은 descriptive 코멘트는 덜 도움이된다고 느꼈다.
Unfortunately, excluding comparative data from the MSPE comes at a high cost. Although this practice may help below-average students, it may also temper enthusiasm for above-average students, who may not be recognized for their achievements. There are also more subtle drawbacks to a noncomparative approach. A recent survey reported that residency directors heavily weigh the more “objective” components of the MSPE, including class rank and clerkship grades.2 The descriptive comments, by contrast, were perceived by residency directors as less helpful.
지원자를 평가할 때 프로그램 디렉터들은 USMLE 1 단계 점수와 같이 다른 객관적인 데이터에 더 큰 비중을 둘 수 있습니다. 왜냐하면 Match를 위해서는 지원자들간에 순위를 매겨야 하기 때문이다. 이것은 학생들의 미래의 훈련 기회가 그들의 의대 학교 성과의 총체가 아니라 단 한 번의 필기 시험의 성과에 의해 부당하게 영향을받을 가능성을 제기합니다.
when evaluating applicants program directors may by necessity attribute greater weight to other objective data, such as United States Medical Licensing Examination Step 1 scores, because the residency Match requires programs to rank applicants versus one another.14 This raises the potential for students’ future training opportunities to be unduly influenced by their performance on a single written test rather than by the totality of their medical school performance.
레지던트 프로그램 선발위원회의 입장에서, grading 정책 및 학교 간 reporting의 의 비일관성은 지원자의 상대적인 강점과 약점에 대해 정보에 근거한 결정을 내리는 데 혼동과 어려움을 야기 할 수 있습니다.
From the vantage point of residency program selection committees, inconsistencies in grading policies and reporting among schools can cause confusion and difficulty in making informed decisions about the relative strengths and weaknesses of applicants.
핵심 단어에 대한 상황도 마찬가지로 혼란 스럽습니다. 표본의 한 학교는 최상위 3 분위에 대부분의 학생을 나타내는 "우수"라는 키워드를 사용하는 반면, 다른 학교는이 순위를 7 개 그룹의 학생 중 5 번째 순위에 배정했습니다. 심지어 겉으로는 잘 정의 된것 같은 수학적 용어조차도 해석의 어려움에 직면한다. 한 학교는 "상위 4 분위수"에 33 %의 학생을 포함했지만 "하단 4 분위수"에는 8 %의 학생 만 포함했습니다.
The situation for key words is similarly confusing. One school in our sample used the key word “excellent” to represent most students in the top tertile, whereas another school assigned this key word to the fifth-highest of seven groups of students in its ranking system . Even seemingly well-definedmathematic terms are not immune to interpretation difficulties; one school included 33% of students in its “top quartile” but only 8% of students in its “bottom quartile.”
현재 MSPE의 상태가 충분히 자격이 있는 학생들에게서 수련받기를 원하는 기관에서 제공될 수도 있었던 인터뷰 기회를 박탈하지는 않는지 고려하는 것이 중요합니다. 프로그램 디렉터들이 MSPE에 대한 비교 데이터를 제공하지 않는 학교의 학생들에 대해서 priority를 낮추는 것을 상상해 볼 수도 있다. 또한 프로그램 디렉터가 MSPE에서 제공되는 자료가 너무 적은 경우 학생의 퍼포먼스에 대해서 지나치게 과도하거나 지나치게 적은 credit을 주는 경우를 상상해 볼 수도 있다.
It is important to consider whether the current state of MSPEs effectively precludes certain deserving students from receiving limited interview slots at institutions where they may wish to train. We can envision scenarios in which program directors would give low priority to students from schools that do not provide comparative data in MSPEs because they are not willing to “take a chance” without having more objective data available. We can also envision scenarios in which program directors would give students too much or too little credit for their performance because of the lack of information, or even the frankly misleading information, provided in the MSPE.
3 Association of American Medical Colleges. A guide to the preparation of the Medical Student Performance Evaluation. 2002. http://www.aamc.org/ linkableblob/64496-6/data/mspeguide-data. pdf. Accessed October 8, 2015.
J. Hom is clinical instructor, Department of Medicine, Stanford University School of Medicine, Stanford, California. I. Richman is a health services research fellow, Center for Health Policy/Primary Care and Outcomes Research, Stanford University, Stanford, California. P. Hall is a fellow in cardiovascular medicine, University of California, San Francisco, San Francisco, California. N. Ahuja is clinical associate professor, Department of Medicine, Stanford University School of Medicine, Stanford, California. S. Harman is clinical assistant professor, Department of Medicine, Stanford University School of Medicine, Stanford, California. R. Harrington is Arthur Bloomfield Professor of Medicine and chair, Department of Medicine, Stanford University School of Medicine, Stanford, California. R. Witteles is associate professor, Department of Medicine, and program director, Internal Medicine Residency Training Program, Stanford University School of Medicine, Stanford, California.
Abstract
PURPOSE:
The medical studentperformanceevaluation (MSPE), a letter summarizing academic performance, is included in each medical student's residency application. The extent to which medical schools follow Association of American Medical Colleges (AAMC) recommendations for comparative and transparent data is not known. This study's purpose was to describe the content, interpretability, and transparency of MSPEs.
METHOD:
This cross-sectional study examined one randomly selected MSPE from every Liaison Committee on Medical Education-accredited U.S. medical school from which at least one student applied to the Stanford University internal medical residency program during the 2013-2014 application cycle. The authors described the number, distribution, and range of key words and clerkship grades used in the MSPEs and the proportions of schools with missing or incomplete data.
RESULTS:
The sample included MSPEs from 117 (89%) of 131 medical schools. Sixty schools (51%) provided complete information about clerkship grade and key word distributions. Ninety-six (82%) provided comparative data for clerkship grades, and 71 (61%) provided complete key word data. Key words describing overall performance were extremely heterogeneous, with a total of 72 used and great variation in the assignment of the top designation (median: 24% of students; range: 1%-60%). There was also great variation in the proportion of students awarded the top internal medicine clerkship grade (median: 29%; range: 2%-90%).
CONCLUSIONS:
The MSPE is a critical component of residency applications, yet data contained within MSPEs are incomplete and variable. Approximately half of U.S. medical schools do not follow AAMC guidelines for MSPEs.
Medical school admission test: advantages for students whose parents are medical doctors?
Anne Simmenroth-Nayda1* and Yvonne Görlich2
배경
Background
의대는 공정하고 객관적이며 투명한 입학 절차를 목표로합니다. 또한 민족성과 사회적 배경이 입학 시험의 결과에 편향 될 수 있다는 것도 잘 알려져 있습니다. 게다가, 의학 분야의 입학 지원자는 평균 인구의 사회 - 인구 통계 학적 비율을 대표하지 않습니다. 대신, 상급 사회 계급의 학생들, 특히 학력이있는 학부모의 자녀들이 매우 과장되었습니다.
Medical schools aim at a fair, objective, and transparent admission process. It is also well established that ethnicity and social background may bias the outcomes of admission tests [1-4]. Moreover, admission candidates especially in medicine do not represent the socio-demographic proportions of the average population. Instead, students from upper social classes, notably from parents with an academic background, are highly overrepresented [5-9].
독일에서는 이 현상이 지난 몇 년 동안 더욱 두드러지게 나타났습니다. 일반적으로 학생들은 중산층 또는 상위층의 가정에서, 즉 학문적 배경(academic background)을 가진 부모로부터 유래하는 경향이 있습니다. 이것은 의료 및 법률 학생에게 가장 빈번한 사실입니다. 의대생의 65 %에서 74 % 사이에는 학력이있는 학부모가 있습니다. 또 다른 연구에 따르면 학생 중 40 %는 학부모가 1 명, 학부모가 25 %라고합니다.
In Germany, this phenomenon has become even more pronounced over the past years: students in general tend to originate from families of the middle and upper clas- ses, or in other words, from parents with an academic background. This is most frequently true for medical and law students. Between 65% and 74% of the medical students have parents with an academic background [10,11]. Another study [12] reported that 40% of the students had one parent and 25% both parents with an academic background.
여러 가지 선발 절차의 타당성에 대한 논란이 있지만 오늘날 객관적인 입학 시험에 대해서는 합의가 이루어졌으며 서면 입학 시험은 물론 의사 소통 및 사회 기술을 평가하는 구조화 된 인터뷰 또는 다중 미니 인터뷰 (MMI)가 포함되어야합니다. Göttingen University Medicine은 2013 년에 새로운 입학 절차를 수립했습니다. 주요한 의도는 지원자들의 기반을 넓히는 것이 었습니다. 특히 이전의 의학 교육을받은 후보자 또는 최종 학교 시험 성적이 낮은 후보자를 포함 시키는 것으로, 이는 학문적인 가족 배경이없는 학생들에게는 더 자주 나는 특징이다.
Although there is still a debate of validity of several selection procedures, there is consensus today about objective admission-testing, which should include written entrance tests as well as structured interviews or multiple mini-interviews (MMI) that also assess communicative and social skills [13-18]. Göttingen University Medicine established a new admission procedure in 2013. The primary intention was to broaden the base of applicants, specifically to include candidates with a previous medical training or lower final school exam grades, which are more frequently present in students without academic family background.
방법
Methods
맥락과 입학 절차
Context and admission-procedure
독일 법률에 의거하여 의과대학은 60 %의 학생들을 선택할 수 있습니다. 지원자의 20 %는 best final school grade에 따라서, 나머지 20 %는 대기자 명단에서 선택됩니다(만약 대학이 이 선택 가능성을 놓친 경우 사실상 최고 성적으로 학생의 80 %를 선택 함). 신청자가 60 % 쿼트의 일부로 선택되기를 원할 경우, 그들은 국가 기관에 등록하도록 요청받습니다. 이 기관은 독일의 모든 의료 기능을위한 신청 절차를 조직합니다. 최종 학교 성적에 의해 사전 선정 (랭킹리스트)을 수립하고 완료된 전문 의료 훈련 (간호사, 물리 치료사, 작업 치료사 등)을위한 보너스를 제공합니다. 이것은 입학 절차의 첫 번째 단계입니다. Gottingen University Medicine에서 우리는 장소를 제공 할 수있는 잠재 학생의 3 배를 초대합니다 (60 % 내에서). 이 절차는 매년 2 회 반복되며 현재 순위 목록에서 처음으로 224 명의 지원자를 볼 수 있습니다. 두 번째 단계는 2 명의 교수진과 15 분짜리 구조화 인터뷰로 구성되어 있으며 약 관련 상황 (일부는 시뮬레이션 된 환자)과 자기 반영 사례가 통과되어야하는 MMI 스테이션이 4 개 있습니다. 마지막으로 최종 학년을 다시 고려합니다 (필수 : "입학 절차의 모든 단계에서 최종 학년의 주요 영향"). 따라서 최종 학년은 전체 입학 절차에 2 배의 영향을 미칩니다. 테스트 품질 및 MMI 및 인터뷰 통계는 다른 곳에서 게시됩니다.
German law allows medical faculties themselves to select a quotum of 60% of the students [19]. Twenty percent of the applicants are chosen directly by best final school grade, the remaining 20% by waiting lists (if faculties miss this selection possibility, they in fact chose 80% of students by best school grades). If applicants wish to be chosen as part of the 60% quotum, they are asked to register with a national institution. This institution organizes the application procedures for all medical faculties in Germany [20]. It establishes a pre-selection (ranking list) by final school grades and grants a possible bonus for a completed professional medical training (among others: nurse, physiotherapist, occupational therapist). This is the first step of the admission procedure. At Göttingen University Medicine, we invite three times as many prospective students as we will be able to offer a place (within the 60% quotum). This procedure is repeated twice each year, and we see approximately the first 224 applicants from the then current ranking list. The second step consists of a 15-minute structured interview with two faculty members and four five-minute MMI-stations, where medicine-related situations (in part with simulated patients) and a self-reflecting case have to be passed. In the end, the final school grade is once again taken into account (which is mandatory: “predominant influence of the final school grade in every step of the admission pro- cedure”). So the final school grade has a twofold impact within the whole admission procedure. Test quality and statistics from MMI and interviews are published else- where [21].
연구 설계, 참여자
Study design, participants
This is a quantitative questionnaire survey. The questionnaire included items about difficulty and acceptance of MMI and interview (closed questions, 6- point likert-scale) and the following open questions:
1) did you complete a medical training beforehand? If yes: which one? (free text)
2) did anyone in your family have a medical degree? If yes: who? (free text).
3) How did you prepared for the admission-test? (closed answers as well as free text).
자료 관리와 통계
Data management and statistics
We extracted data from two sources:
1) socio-demographic data including age, sex, and final school grades were submitted by the “Stiftung Hochschulstart”, a national central institution [20]. We
2) also generated our own data from the admission test itself: questionnaires (described above), test-scores of MMI, and score of the structured interviews.
In addition to descriptive statistics, we used a Pearson cor- relation, means comparisons (t-test, analysis of variance), ANOVA, and a Scheffé test (SPSS-21).
윤리
Ethical approval
결과
Results
Table 1 shows the characteristics of the participants.
표 2에서 볼 수 있듯이 참여자는 한 부모가 의사 인 경우, 다른 친척 중 의사가있는 경우, 가족 중 의사가없는 경우의 세 그룹으로 구분됩니다. 표 2는 세 그룹의 점수에 큰 차이가 없음을 보여줍니다.
As shown in Table 2, participants were divided into three groups: those where one parent was a physician, those with a physician amongst their other relatives, and those without physicians in their families. Table 2 shows that there is no significant difference in the scores of the three groups.
참가자가 가족의 의료계 직종과 관련이 있다는 정보를 제공했을 때, 우리는 구체적인 관계를 물었습니다.
When a participant had given the information that there was some connection to medical jobs in his or her family, we asked for the specific relationship.
Thirteen participants disclosed that both parents and
13 participants with both parents and additionally other relatives where physicians.
When only one parent held a medical degree, it was most frequently the mother (11 versus 4 “only father”).
In 23 cases, no parents, but several relatives had connections to medical work, in rare cases, only siblings were physicians.
우리는 참가자들에게 입학 시험 준비 방법을 질문했습니다. 우리는 "의료계 종사하는 가족 배경"을 가진 그룹의 호의에서 "가족과 친구들과 이야기하기"라는 분야에서 약간의 차이를 발견했습니다. (표 3).
We asked the participants how they prepared for the admission test. We found a slight difference in the field of “talking with family and friends” in favors of the group that had a “family background with medical jobs”. (Table 3).
고찰
Discussion
2013 년 여름, 괴팅겐 대학 (Gottingen University Medicine)의 지원자 중 거의 절반이 의학 학위를 가진 가족 구성원을 포함하는 가족 배경을 가졌으며 가장 자주 부모는 의사였습니다. 우리의 입학 절차에서,이 특별 그룹은 시험 점수 자체 또는 시험 준비 자체에있어 어떠한 이점도 얻지 못했지만, 분명히 우리의 입학 절차를 선택하는 것과 같은 이점을 얻지 못했습니다.
In summer 2013, nearly half of the applicants at Göttingen University Medicine had a family background that included family members with medical degrees, most frequently, parents were physicians. In our admission procedure, this special group did not score any advantage in either test-scoring or individual preparation for the ad- mission test itself, but apparently in choosing our admission procedure as such.
강점과 한계
Strength and limitations
이전 의료 훈련을 받은 응시자의 비율이 높은 것은 보너스로 설명 할 수 있습니다. 보너스는 최종 응시자가 받는 final school grade 을 업그레이드하는 것입니다.
여성 지원자의 비율이 높다는 것은 최종 학교 성적이 전체 절차에 미치는 영향 때문입니다. 최종 학교 시험 성적이 가장 좋은 여학생의 비율이 남학생보다 훨씬 높기 때문에 입학 허가를받을 수있는 기회가 주어질 가능성이 훨씬 더 높습니다. 이 현상은 지난 몇 년간 독일 및 다른 국가에서도 관찰되었습니다.
The high proportion of applicants with previous medical training can probably be explained by the bonus, which is an upgrading of the final school grade that these applicants receive.
The high rate of female applicants is due to the influence the final school grade has on the whole procedure: the proportion of schoolgirls with best final school exam grades is much higher than of the boys, therefore the chance to be invited to our admission procedure is much higher. This phenomenon has also been observed in Germany and other countries in the past years [22].
이번 연구에서 의학 학위가있는 가족 배경을 가진 응시자가 44%인 것은(이 중 33 %는 부모가 모두 의사이고, 66 %는 한 명이 의사이다) 독일에서 또는 국제적으로 보고 된 것보다 훨씬 높습니다.
Our proportion of 44% applicants with a family background with medical degrees (33% had two medical doctors as parents, 66% had one medical doctor as parent) is even higher than reported in Germany or internationally [7,8,10,11].
문헌과의 비교
Comparison with the literature
의학 학위를 소지 한 학부모와 학생 및 지원자는 아주 특별한 그룹을 대표합니다 :
노르웨이 연구는 의과 대학에서 의사의 12 %의 비율을보고했습니다; 이 숫자는 수년 동안 안정적이었습니다.
마찬가지로 2005 년과 2007 년 사이에 인터뷰 한 덴마크 의과 대학 학생 중 24 %는 학부모가 있었고 16 %는 의사였던 부모를 가졌습니다.
호주에서는 57 %의 응시자가 학부모에게 의학적 배경이 있습니다.
Students and applicants with parents who hold a medical degree represent a very special group:
a Norwegian study reported a proportion of 12% of physician children in medical schools; this number was stable over many years.
Likewise, 24% of the Danish medical students, interviewed between 2005 and 2007, had parents with academic degrees and 16% had parents who were medical doctors [6,8].
In Australia, 57% of applicants had parents with a medical background,
일반적으로 의학 학위를 가진 부모를 둔 대부분의 학생은 부모가 보수가 많은 직장을 갖고 있기 때문에 학생 자신이 비용을 많이 부담하지 않아도됩니다. 따라서 학생들은 자신의 훈련을 위해 더 많은 시간과 자원을 갖고 테스트 준비를합니다.
마지막으로, 학문적 배경을 가진 후보자는 학문적 인 규칙, 의사 소통 및 행동에보다 익숙한 경향이 있습니다.
아마도 non-academic 가족 출신의 지원자에 대한 복잡한 입학 절차는 아마도 객관식 학교 시험 성적보다 더 어려울 것이다. 이와 달리 medical household에 사는 사람들에게 그러한 입학절차는 더 친숙합니다.
의학적 배경을 가진 가정에서 자란 학생들의 학업 환경에 대한 친숙 함과 친근 함은 독일의 의대생 중 13 %가 부모 중 한 사람에게서 의업을 이어받을 것으로 기대한다는 정보에 의해 문서화됩니다. 이는 독일에서는 거의 모든 ambulant 의료 기관이 자영업자 상태이기 때문에 가능합니다.
즉, strong identification with the parental profession이 가능하다.
아마도 이것은 의료 훈련을받은 지원자의 비율이 비교적 높은 이유이기도합니다.
Most students with parents with a medical degree in general are not required to contribute as much to their own expenses because their parents hold well-paid jobs. Thus the students have more time and resources for their own training and to prepare for the tests.
Finally, candidates with an academic background tend to be more familiar with academic rules, communication, and behaviour [6,23-25].
Perhaps complex admission procedures for applicants from non-academic house- holds are more daunting than presumably objective school exam grades, while they are in contrast more familiar to those living in a medical household.
This greater affinity to and familiarity with academic surroundings of students who grew up in a family with a medical background is also documented by the information that 13% of the medical students in Germany attested that they expect to inherit the medical practice from one of their parents, which is possible in Germany because of the self-employed status of nearly all ambulant health-care providers [10].
This means that a strong identification with the parental profession can be assumed.
Perhaps this is also the reason for the relatively high proportion of medical trained applicants.
의학에 대한 가족 배경이 없는 지원자가 동등한 성공을 거두긴 했으나, 입학 절차에 대한 접근은 사회적 배경에 관계없이 모든 사람에게 가능하고 투명해야합니다. 특히 광범위한 직업 분야의 환자를 봐야 하는 의사들에게 전문가 그룹의 다양성이 있는 것이 바람직합니다. 따라서 의사는 환자의 요구를 이해하기 위해 더 폭 넓은 배경을 필요로 할 수 있습니다.
Despite the equal success of applicants with a family background in medicine and of applicants without this, the access to admission procedures should be possible and transparent for all, regardless of their social back- ground. More diversity within professional groups is desirable, especially among physicians, who work with patients who hold a broad range of professions, and thus the physicians may need a broader background to understand their patients’ needs [26,28].
입학 시험 준비 및 정보
Preparation and information about the admission test
인터넷은 오늘날 가장 자주 액세스되는 정보 소스입니다. 입학 시험을위한 특별 준비 과정은 다른 나라와 마찬가지로 독일에서도 일반적이지만, 이러한 준비의 결과에 대한 결과는 일관성이 없습니다.
The internet is by far the most frequently accessed information source today. Special preparations for admission tests are common in Germany, as in other countries, but results about the effects of these preparations are inconsistent [31,32].
의학적 배경이 없거나 학계에 거의 접촉하지 않은 신청자는 special 학업 입학 시험 준비를 비롯하여 궁극적으로 의과대학에 지원하는데에 있어 정서적이며 재정적 장애에 직면 할 수 있습니다.
Applicants without a medical background or with little contact to the academic world perhaps face an emotional and financial hurdle in preparing for special academic admission tests and also for applying ultimately [24].
Conclusion
8.O’Neill L, Vonsild MC, Wallstedt B, Dornan T. Admission criteria and diversity in medical school. Med Educ. 2013;47:557–61.
BMC Med Educ. 2015 Apr 23;15:81. doi: 10.1186/s12909-015-0354-x.
Medicalschooladmissiontest: advantages for studentswhoseparents are medicaldoctors?
Department of General Practice/Family Medicine, University Medical Center, Humboldtallee 38, 37073, Göttingen, Germany. asimmen@gwdg.de.
2
Study Deanery, University Medical Center, Humboldtallee 38, 37073, Göttingen, Germany. yvonne.goerlich@med.uni-goettingen.de.
Abstract
BACKGROUND:
Admission candidates especially in medicine do not represent the socio-demographic proportions of the average population: children of parents with an academic background are highly overrepresented, and those with parents who are medicaldoctors represent quite a large and special group. At Göttingen University Medicine, a new admission procedure was established with the intention to broaden the base of applicants towards including candidates with previous medical training or lower final school grades. With a view to family background, we wished to know whether candidates differ in the test scores in our admission procedure.
METHODS:
In February 2014 we asked all admission candidates of Göttingen University Medicine by questionnaire (nine closed, four open questions) about the academic background in their families, specifically, the medical background, school exam grades, and previous medicaltraining as well as about how they prepared for the admissiontest. We also analysed data from admission scores of this group (semi-structured interview and four multiple mini-interviews). In addition to descriptive statistics, we used a Pearson correlation, means comparisons (t-test, analysis of variance), ANOVA, and a Scheffé test.
RESULTS:
In February 2014 nearly half of the applicants (44%) at Göttingen University Medicine had a medical background, most frequently, their parents were physicians. This rate is much higher than reported in the literature. Other socio-demographic baseline data did not differ from the percentages given in the literature. Of all applicants, 20% had previous medical training. The group of applicants with parents who were medicaldoctors did not show any advantage in either test-scoring (MMI and interview), their individual preparation for the admissiontest, or in receiving or accepting a place at medicalschool. Candidates with parents who were medicaldoctors had scored slightly lower in school exam grades.
CONCLUSION:
Our results suggest that there is a self-selection bias as well as a pre-selection for this particular group of applicants. This effect has to be observed during future admission procedures.
Cosmologies of selection: lessons from the faculty biscuit tin
Maggie Bartlett1 & Flora Bartlett2
초록 중 일부
비록 어떤 집단의 매력은 다른 집단의 매력보다 덜 명백하지만, 일부 지속적인 이익은 이 그룹의 선택에서 파생 될 수 있으며, 즉각적으로 보이는 매력이 오히려 목적에 가장 적합한 것이 아닐 수 있습니다.
Some enduring benefits may derive from the selection of this group, although its attractions were less immediately obvious than those of others. What is immediately attractive may not be the most fit for purpose;
도입
INTRODUCTION
주전자와 비스킷 깡통 (특정 문화권의 '쿠키 항아리')은 직원 실의 효율성에 핵심적인 특징을 가지며 함께 먹고 마시는 인간의 범 사회 협약에 뿌리를두고 있습니다. 영양가를 제공하는 동안 비스킷은 어린 시절의 행복한 추억과 관련된 '위안 식품'의 기능을합니다.
The kettle and the biscuit tin (‘cookie jar’ in certain cultures) are features of central significance to the effectiveness of the staffroom, and are rooted in human pan-societal conventions of eating and drinking together,1 which lead to social bonding. While providing nutrition in an accessible way, biscuits also function as ‘comfort foods’, associated with happy memories of childhood.1
우리는 그들의 행동과 언어에 의해 전달되는 문화 공유 집단으로서의 비스킷의 경험에 관심이있었습니다. 따라서 구성주의 인식론을 사용하여 민족지학을 실시했으며, 사회 구성주의적 해석틀과 Deixis와 Cosmology를 포함하는 현상론적 방법론을 사용하였다.
Deixis: 사용되는 맥락에서의 언어의 의미
Cosmology: 우주의 order에서 그룹이나 개인의 역할과 의미에 대한 이해
We were interested in the lived experience of biscuits as a culturesharing group as conveyed by their behaviour and language, and therefore conducted an ethnography using a constructivist epistemology,6 a social constructionist interpretive framework7,8 and a phenomenological methodology9 that included analysis from the perspectives of
deixis (the meaning of language in the context in which it is used)10 and
cosmology (understanding about group or individual role and meaning in the order of the universe).11
방법
METHODS
The ethnography was conducted on a Tuesday, which we perceived as a neutral day of the week in terms of staff behaviour. We avoided Monday as it is not typical of weekdays;
We observed the biscuits for an 8-hour period
This was not an immersive ethnography for practical reasons: we did not fit into the tin. However, we observed the behaviour of the biscuits and talked with them frequently. We collected data using field notes.
분석
Analysis
Both authors independently analysed the data from a phenomenological perspective and then refined the analysis in discussion. After three iterations of this process, we reached consensus. We practised reflexivity by discussing our own perceptions of the value of the various types of biscuit, and rigorously challenged the effectiveness of each other’s phenomenological bracketing.12
결과
RESULTS
3 개의 의미론적 그룹이 있었고 영국 정부가 인정한 28 가지 범주의 비스킷 중 3 가지에 해당하는 그룹 레이블 (표 1)을 지정했습니다.
There were three semantic groups, to which we assigned group labels (Table 1) corresponding to three of the 28 categories of biscuit recognised by the British Government.3
비스킷은 전혀 알지 못하는 기준을 사용하여, 세계가 빛에 넘치면, 강하하여 선택을 내리는 알 수없는 힘의 관점에서 후속 사건을 묘사했다. 이 힘에 대한 단어는 다각적 인 생물체를 암시하는 설명 적 요소와 '기아', '명령형'과 '탐욕'뿐만 아니라 '운명'을 포함하는 의미 론적 요소를 포함했다. 우리는 비스킷의 우주론적 지각의 이 요소를 '선택자'라고 부른다. 선택이 이루어질 때 관측 가능한 competitiveness는 없었고, 절대적으로 받아 들여졌다.
The biscuits described the subsequent events in terms of an unknowable force which would descend and make a selection while their world was flooded with light, using criteria of which they were unaware. The word for this force included descriptive elements suggestive of a multi-limbed organism, and semantic elements which included ‘hunger’, ‘imperative’ and ‘greed’, as well as ‘destiny’. We refer to this element of the biscuits’ cosmological perception as ‘the Selector’. There was no observable competitiveness when the selection was being made, and absolute acceptance of it.
세 그룹 모두 B 그룹과 C 비스킷이 하루 중 빠른 시간에 선택 될 가능성이 높다는 것을 알고있었습니다. 그룹 A의 비스킷은 15:00까지 남아있는 유일한 참가자 였고, 그 후 그들은 특별한 현상을 경험했다. 비스킷 통은 셀렉터 (selector)의 출현없이 하나 이상의 매우 짧은 기간 동안 열렸다. 그런 다음 보통 2 ~ 3 회의 개봉 후에 선택기가 나타나고 비스킷 하나가 제거됩니다. Selector는 (비스킷이 오래된 동료에게 사용하는 것과 동일한 용어로) '피곤함', '부드러움', '사용 기한 지나서', '실망스러운' 등과 같은 요소를 포함하는 방식으로 이 선택에 접근했다.
All three groups were aware that group B and C biscuits were more likely to be chosen in the early part of the day. Group A biscuits were the only participants to remain by 15.00 hours, after which they experienced a particular phenomenon: the tin was opened for one or more very brief periods without the appearance of the Selector. Then, usually after two or three openings, the Selector would appear and remove one biscuit. It was noted that the Selector approached this selection in a manner the biscuits described in the same terms they used for stale peers, which included elements of ‘tired’, ‘soft’, ‘past the use-by date’ and ‘disappointed’.
연구 기간이 끝날 때까지 그룹 A의 대표 만이 통에 남아있었습니다. 하루가 진행됨에 따라 Selector의 출현 빈도가 줄어 들었습니다. 비스킷은 이것을 긍정적 인 현실로 만들었습니다. 그들의 health-giving 속성은 셀렉터의 필요를 충족시키기 위해 더 적은 양이 필요하다는 것을 의미했습니다. Selector가 B 그룹과 C 그룹에 대해 더 열광적 인 것처럼 보였지만 A 그룹 비스킷이 여전히 필요했고 B 그룹과 C 그룹보다 더 만족 스러웠습니다. B 그룹과 C 그룹은 더 매력적이긴 했지만 less sustaining해서 목적에 맞지 않습니다 .
By the end of the study period, only representatives of group A remained in the tin. As the day progressed, the frequency of the appearance of the Selector reduced. The biscuits constructed this as a positive reality; their health-giving properties meant that a smaller quantity was needed to fulfil the Selector’s needs. Although the Selector seemed to be more enthusiastic about groups B and C, it still needed group A biscuits and each one was more satisfying than those in groups B and C, which might be more beguiling but were also less sustaining and therefore less fit for purpose.
고찰
DISCUSSION
이 ethnography는 교수 비스킷 깡통의 비스킷은 discriminating Selector에게 가치가 있다고 인식하며, 선택에 사용 된 기준에 대한 인식이 없더라도 상대적인 가치에 대해 추측 할 수 있습니다. A 그룹의 구성원은 사회적으로 자신이 살아온 경험과 관련된 설명을 만들 수있었습니다. 즉, (A 그룹은) 통에 있는 다른 그룹의 비스킷처럼 즉시 매력적이지는 않지만 셀렉터는 여전히 그것들을 필요로했으며 지속 된 (그러나 불특정 한) 이점에 관해 특별한 가치가있었습니다.
This ethnography suggests that biscuits in a faculty biscuit tin perceive themselves to have a value to a discriminating Selector and, although they have no awareness of the criteria used for selection, they are able to speculate about their relative value. Members of group A were able to socially construct7,8 an explanation related to their own lived experience: that although they might not be as immediately attractive as biscuits in the other groups in the tin, the Selector still needed them and they had a particular value in terms of a sustained (but unspecified) benefit.
그들의 우주론에서 의과 대학에 대한 교훈이있을 수 있습니다.
there may be some lessons for medical schools from their cosmology.
우리의 입학 과정에서, 우리는 민족 지학에서 관찰 한 비스킷의 도료 및 내포물과 유사하게 바람직한 것으로 일반적으로 받아 들여지는 특성을 가진 지원자를 선택할 수 있습니다. 우리는 덜 분명하지만 오래 가고(less obvious but enduring) transferable한 특성에 대해 충분한 고려를하지 않을 수 있습니다. 많은 교육자들이 학문적, 비 학문적 특성, 특히 열정과 동기 부여와 같이 측정하기 어려운 것들을 평가해야 하는 중요성에 관해 이야기하고 있지만, 비 학문적 특성이 실제로 유용하거나 유용하다고 생각하는 증거는 거의 없으며, 이것들이 선택의 주된 목적을 흐리게 할 수 있습니다.
In our admissions processes, we may select those applicants who have some characteristics that are generally accepted to be desirable, analogous to the coatings and inclusions of the biscuits we observed in our ethnography. We may be failing to give enough consideration to less obvious but enduring and transferable characteristics. Although many educators talk about the importance of assessing academic and non-academic attributes,13,14 and specifically those that are difficult to measure, such as enthusiasm and motivation,15 there is little evidence that some non-academic characteristics thought to be desirable are actually helpful or useful and they may distract from the main purpose of the selection.
더 비유를 넓혀보자면, 성공한 운동선수, 음악가, 사교계 명사가 되는 것이 이 개인이 훌륭한 의사가 될지, 아니면 초콜릿 코팅된 비스킷과 같이 잠재적으로 해로운 특성이 될지에 대한 확실한 지표가되고 있습니까?
To take the analogy further, is being an accomplished athlete, musician or socialite a reliable indicator that this individual will be a good doctor or is it a potentially harmful characteristic, like a chocolate coating on a biscuit?
라자크 외 (Razack et al)는 지원자가 그것을 준수하도록 노력해야하는 '수월성에 대한 단일한 권위적 정의'를 피해야한다고 제안한다.
Razack et al.16 suggest that we should avoid ‘one authoritative definition of excellence’ that requires applicants to strive to comply with it.
CONCLUSIONS
Med Educ.2016 Dec;50(12):1233-1236. doi: 10.1111/medu.13092.
Cosmologies of selection: lessons from the facultybiscuittin.
Keele School of Medicine, Keele University, Keele, UK.
2
(Formerly) Department of Anthropology, University College London, London, UK.
Abstract
We conducted an ethnography of the facultybiscuittin as we were interested in the lived experience of the biscuits contained within it. We used a constructivist epistemology, a social constructionist interpretive framework and a phenomenological methodology that included analysis from the perspectives of deixis and cosmology. The biscuits perceived that they were important to a selecting force and that the characteristics of one particular group had a specific value to the selector. Some enduring benefits may derive from the selection of this group, although its attractions were less immediately obvious than those of others. What is immediately attractive may not be the most fit for purpose; lessons for the selection of medical students may arise from this exploration of the selection experiences of biscuits in a facultybiscuittin.
The Association Between Premedical Curricular and Admission Requirements and Medical School Performance and Residency Placement: A Study of Two Admission Routes
Paul George, MD, MHPE, Yoon Soo Park, PhD, Julianne Ip, MD, Philip A. Gruppuso, MD, and Eli Y. Adashi, MD, MS
의예과 커리큘럼 요소는 진행중인 논쟁의 주제입니다. 한편으로는 의예과 교육 커리큘럼을 표준화하여 과학적 역량에 대한 투자를 늘리자는 의견이 있습니다. 이 전망은 최근 보고서에서 가장 잘 표현되어 있습니다. 반면에, 의예과 교육 커리큘럼을 다각화하여 보다 자유로운 교육에 찬성하는 강력한 주장이 제기되고있다. 이 견해는 최근의 의학 대학 입학 시험 (MCAT)의 개정에서 가장 분명하게 드러났는데, "MCAT"는 "행동의 심리적, 사회적 및 생물학적 토대"에 중점을두고 있습니다.
The curricular elements of undergraduate premedical education are the subject of an ongoing debate.1–3
On the one hand, a case is being made for greater investment in scientific competencies with an eye toward standardizing the undergraduate premedical curriculum. This outlook is most eloquently articulated in a recent report.1
On the other hand, compelling arguments are being put forth in favor of more liberal education with an eye toward diversifying the undergraduate premedical curriculum.4,5 This view is most apparent in the recent revision of the Medical College Admission Test (MCAT), which seeks to increase the emphasis on the “psychological, social, and biological foundations of behavior”
1985 년 워렌 알퍼트 브라운 대학 (AMS) 의과 대학은 교양 의학 교육 (PLME)에서이 프로그램을 시작했습니다. 처음부터 이 8년제 학사 학위 / MD 프로그램 (미국에 있는 40여개 프로그램 중 하나)은 학생들에게 교육 및 사회 과학 및 행동 관점을 교육 프로그램에 통합하여 광범위한 교양 교육을 제공하고자했습니다
In 1985, the Warren Alpert Medical School of Brown University (AMS) launched the Program in Liberal Medical Education (PLME). From the outset, this eight-year baccalaureate/MD program (1 of approximately 40 in the United States7) sought to provide students with a broad and liberal education, integrating asocial science and behavioral perspective into the educational program
이 사명을 준수하면서 PLME는 참가자들이 인문, 사회 과학 또는 자연 과학에 대한 다양한 이해 관계를 자유롭게 추구하도록 장려했습니다.
PLME 학생들은 고등학교에서의 성적을 근거로 브라운 대학에 입학하고 학사 학위 요건을 성공적으로 이수하고 AMS에 임시 입학을 허가합니다.
PLME 학생은 AMS에 입학하기 위해 전통적인 학부 학점 평균 점수 (GPA)는 고려되지 않습니다. 또한 MCAT 점수도 입학 면접도 필요하지 않습니다.
PLME 학생의 학부 과정 요구 사항은 기존의 사전 진료 경로 (TPM) 학생의 부분과 부분적으로 겹치지만 PLME 학생은 이러한 과목에서 AP를 통해 생물학 과정 1 개, 수학 1 개 과정 및 물리 과정 1 개에 해당하는 크레딧을받을 수 있습니다 . PLME 학생들은 3 가지 핵심 생물학 과정 각각에 대해 A 또는 B 등급을 받아야합니다. 물리학 및 화학과 같은 다른 학부 과학 과정은 합격 점수 만 필요하며 합격 / 불합격으로 응시할 수 있습니다.
PLME는 모든 AMS matriculants의 약 50 %를 차지합니다.
In keeping with this mission, the PLME has encouraged entrants to freely pursue their varied interests in the humanities, social sciences, or natural sciences.8 PLME students are admitted to Brown University on the basis of their performance in high school and are granted provisional admission to the AMS subject to the successful completion of the undergraduate degree requirements. When admitting PLME students to the AMS, traditional undergraduate grade point average (GPA) is not considered. Moreover, neither an MCAT score nor an admissions interview is required. While the undergraduate course requirements for PLME students partially overlap with those of students in the traditional premedical route (TPM), PLME students may receive competency credits equivalent to one biology course, one mathematics course, and one physics course by attaining advanced placement in these subjects. PLME students must attain a grade of A or B for each of three core biology courses; other undergraduate science courses (such as physics and chemistry) require a passing grade only and may be taken on a pass/fail basis. The PLME accounts for approximately 50% of all AMS matriculants.
AMS는 또한 학생들의 GPA, MCAT 점수 및 입학 면접에 신중한 고려가있는 TPM을 통해 비슷한 수의 학생들을 입학시킵니다. 그러나 일단 AMS에 있으면 모든 학생들은 동일한 의학 교육 프로그램을 받게됩니다.
The AMS also matriculates a similar number of students via the TPM wherein careful consideration is given to students’ GPA, MCAT score, and admissions interview. However, once they are at the AMS, all students are subject to the same medical education program.
방법
Method
The cohorts studied included all of the PLME (n = 295) and TPM (n = 215) students who graduated from the AMS between 2010 and 2015. We obtained demographic (race/ethnicity, SAT scores, GPA, MCAT score data, etc.) and outcome data (see below) for all students through the AMS Oasis system, which serves as the official medical school registration system. Underrepresented in medicine (URM) status refers to students who identified themselves as black or Hispanic. As of the time of publication, residency placement records were not yet available for students in the class of 2015.
성과 변수
Outcome variables
Our outcome variables included
the average of the year 1 and year 2 examination scores,
United States Medical Licensing Examination (USMLE) Step 1 score,
USMLE Step 2 Clinical Knowledge (CK) score,
average of the six core clerkship examination (shelf examination) scores,
core clerkship honors grades,
doctoring honors grades,
induction into the Alpha Omega Alpha Honor Medical Society or the Gold Humanism Honor Society,
professionalism ratings,
participation in a scholarly concentration (SC) program,
publication metrics, and
residency placement.
We did not include undergraduate GPA and MCAT scores in our analysis because these data were not available for the PLME cohort. (Brown University does not calculate a GPA for any of its students and PLME students do not take the MCAT.) The USMLE Step 2 CK data do not include the class of 2015, for which data were unavailable. The six core clerkships at the AMS are medicine, surgery, pediatrics, obstetrics– gynecology, psychiatry–clinical neuroscience, and family medicine.
통계 분석
Statistical analysis
SPSS version 20 (IBM, Armonk, New York) was used for data analysis. We employed unadjusted tests of averages and proportions (independent t tests and chi-square tests) to compare variables associated with students admitted to the AMS via the PLME or TPM routes. We then performed multiple logistic regression analyses for dichotomous outcome measures and multiple linear regression analyses for continuous outcome measures. Both the logistic and linear regressions controlled for age, URM status, and the number of undergraduate premedical science courses completed.
결과
Results
PLME students constituted 57.8% (n = 295) and TPM students constituted 42.2% (n = 215) of the AMS classes of 2010–2015 (n = 510).
평균 SAT 점수
The average SAT scores attained by the PLME cohort were 716/800 (for the verbal section) and 728/800 (for the mathematical section).
평균 의대(AMS) 진학 비율
The average rate at which PLME students matriculated to the AMS was 88% (range: 83%–98% for individual classes); the majority of PLME students who did not matriculate to the AMS matriculated to other medical schools.
다양성
The PLME student cohort was more racially and ethnically diverse, as measured by URM status (n = 72 [24.4%] for PLME students versus n = 31 [14.4%] for TPM students; P < .01), and
과학 전공
less likely to major in a science discipline (n = 138 [46.8%] for PLME students versus n = 140 [65.1%] for TPM students; P < .001) than the TPM student cohort.
의예과 수강 과목 수
Moreover, there was a statistically significant difference in the number of undergraduate premedical science courses completed by the two student cohorts (Figure 1).
입학 전형과 의과대학 퍼포먼스
Relationship between admission route and medical school performance
평균점수
The average scores attained in standardized multiple-choice examinations revealed marginal, but statistically significant, differences between the PLME and TPM student cohorts (Figure 2).
Honor grade 숫자
Students in the TPM cohort received more honors grades in the six core clerkships than their PLME counterparts (average = 2.8 [standard deviation (SD) = 1.87] versus average = 1.9 [SD = 1.75]; P < .001). These results did not differ in linear regression models after controlling for age, URM status, and the number of undergraduate premedical science courses completed.
AOA Honor
The Alpha Omega Alpha Honor Medical Society inducted a higher proportion of TPM students than PLME students (Table 1).
의예과 과학과목 수강과 관계
We hypothesized that the number of undergraduate premedical science courses completed by PLME students would contribute significantly to their medical school performance. In particular, we anticipated a strong relationship between the number of undergraduate premedical science courses completed and the average year 1 examination score. In fact, the association, thoughstatistically significant, was weak (r2 = 0.023; P = .02) (Figure 3).
TPM 코호트도 동일
These same relationships were examined for the TPM cohort; in no case was a significant correlation noted.
입학전형과 레지던트 placement와의 관계
Relationship between admission route and residency placement
일차의료 전공: PLME
We used several metrics to assess residency placement for the classes of 2010–2014 (PLME [n = 190] and TPM [n = 132] students). A somewhat greater proportion of PLME students than TPM students entered primary care disciplines (family medicine, internal medicine, pediatrics, or medicine/pediatrics) (109/190 [57.4%] versus 62/132 [47.0%]; P = .07), although this difference was not statistically significant.
경쟁이 심한 전공의 프로그램: 차이 X
We carried out an additional analysis to assess the two cohorts’ placement rates with competitive residency training programs affiliated with leading medical schools. No statistically significant difference in placement was noted between the two cohorts.
학부 과학과목 이수와 레지던트와의 관계: 약하지만 유의함
Finally, we carried out an analysis to determine the correlation between the number of undergraduate premedical science courses completed and residency placement. We found a weak but statistically significant association between the number of undergraduate premedical science courses completed and residency placement as indicated by the average USMLE Step 1 score required by individual medical disciplines (r2 = 0.023; P = .05) (Figure 3).
고찰
Discussion
설립 초기부터 PLME는 학부 및 의학 교육을 연결하는 동시에 AMS에서 인종 및 민족적 다양성을 증가시키는 것을 목표로 삼았습니다. PLME는 많은 의예과 요건을 유지하지만 AMS에 입학하려면 MCAT 점수가 필요하지 않습니다. 또한 PLME 학생들은 여러 가지 전통적인 의예과 과정을 마쳤지 만 GPA 계산을 배제하는 합격 / 불합격 기준으로 수행합니다.
From its inception, the PLME has aimed to bridge undergraduate and medical education and at the same time increase racial and ethnic diversity at the AMS. While the PLME maintains a number of premedical science requirements, an MCAT score has not been required for admission to the AMS. Additionally, though PLME students complete multiple traditional premedical science courses, they often do so on a pass–fail basis, which precludes the calculation of a GPA.
몇몇 학문은 combined 학사 학위 / MD 프로그램에 등록한 학생의 성과를 조사했습니다. 최근의 7개 학부/MD 학위 프로그램에 대한 한 연구에서 TPM학생들이 얻은 점수와 비교했을 때, 의과 대학 성적 또는 면허 시험 점수에서 뚜렷한 차이를 발견하지 못했습니다.
Few studies have examined the performance of students enrolled in combined baccalaureate/MD programs. One recent study of seven combined baccalaureate/MD programs observed no apparent difference in the medical school grades or licensing examination scores the baccalaureate/ MD students obtained relative to the scores obtained by students who had taken the TPM.13
PLME는 GPA, MCAT 점수, 입학 면접 요건, AMS에 입학한 학생들의 높은 비율 등과 같이 특히 중요한 몇 가지 측면에서 다른 결합 된 학사 학위 / MD 프로그램과 다릅니다.
the PLME differs from other combined baccalaureate/ MD programs in several important aspects, most notably in waiving the GPA, MCAT score, and admissions interview requirements and in the large percentage of students admitted to the AMS through this route.
TPM 학생들은 PLME에 비해 표준화 된 다중 선택 시험에서 평균 점수가 통계적으로 유의하게 높았다. 이러한 차이는 PLME 학생들이 달성 한 우수한 SAT 점수를 고려할 때 시험 수행 능력의 고유 한 차이로 인한 것은 아닐 것이다.
TPM의 엄격함은 표준화 된 객관식 시험 패러다임에서 탁월한 능력을 발휘하는 데 필요한 필수 시험 수험 기술뿐만 아니라, 광범위한 지식 기반의 습득을 촉진하였을 것이다.
또한 표준화 된 객관식 시험에서 열악한 성적을 보이는 TPM 학생들은 MCAT 점수를 기준으로 했을 때 선발되지 못했을 것이다.
Prominent among our findings was that TPM students achieved marginally, but statistically significantly, higher average scores in standardized multiple-choice examinations relative to their PLME counterparts. It is unlikely that this difference can be attributed to an inherent difference in test-taking ability given the excellent SAT scores achieved by PLME students.
It is plausible that the rigors of the TPM promote the acquisition of a broad knowledge base, as well as the requisite test-taking skills that are needed to excel in the standardized multiple-choice examination paradigm.
It is also plausible that in the TPM students who perform poorly on standardized multiple-choice examinations are being deselected on the basis of their MCAT score.
프로페셔널리즘 등급은 두 학생 코호트에서 비슷한 것으로 나타났습니다. 학생들의 학술 성취도는 peer-reviewed publication rate 과 impact factor of the journal에 의해 측정하였으며, 두 코호트에서 비슷하게 나타났습니다.
Professionalism ratings proved comparable for the two student cohorts. The scholarly accomplishments of students, as measured by the peer-reviewed publication rate and impact factor of the journal they were published in, proved similar for the two cohorts.
우리는 특정 의료 분야에서 레지던트 배치에 필요한 평균 USMLE 1 단계 점수를 사용하여 특정 전공과목의 레지던트 배치에 대한 학생 transition readiness의 간접적인 지표로 사용하기로 결정했습니다. 이와 관련하여 PLME 학생과 TPM 학생들은 비슷한 것으로 나타났습니다.
we elected to rely on residency placement as an indirect indicator of the readiness of students for this transition, using the average USMLE Step 1 score required for residency placement in a specific medical discipline. In this regard, PLME students and their TPM counterparts proved comparable.
이러한 결과에 대한 우리의 폭 넓은 해석은 PLME 학생들이 TPM 학생 코호트와 관련된 레지던트 배치와 관련하여 별다른 단점이 없다는 것입니다. 우리는 또한 AMS 졸업생이 전공 한 의예과 과학과목의 수는 의대에서의 성공 또는 경쟁력있는 레지던트 배치의 성공에 대한 강력한 예측 인자는 아니라고 결론 내리고 있습니다.
Our broad interpretation of these results is that PLME students are at no distinct disadvantage with regard to residency placement relative to the TPM student cohort. We also conclude that the number of undergraduate premedical science courses AMS graduates complete is not a strong predictor of success in medical school or of achieving competitive residency placement.
결론
Conclusions
의대 퍼포먼스, 레지던트 배치, 의예과 커리큘럼, 입학 요건 사이의 연관이 약합니다.
Our findings suggest that the association between medical school performance and residency placement and undergraduate premedical curricular and admission requirements is weak.
7 Association of American Medical Colleges. What are the combined baccalaureate/M.D. programs in each state featured in the Island.Medical School Admission Requirements website? https://www.aamc.org/students/ applying/requirements/msar/gethelp/188498/ whatarethecombinedbaccalaureatemd programsineachstatefeaturedinm.html. Accessed October 29, 2013.
The Association Between PremedicalCurricular and AdmissionRequirements and MedicalSchoolPerformance and ResidencyPlacement: A Study of TwoAdmissionRoutes.
P. George is associate professor of family medicine and associate professor of medical science, Warren Alpert MedicalSchool of Brown University, Providence, Rhode Island. Y. Soo Park is assistant professor of medical education, University of Illinois College of Medicine, Chicago, Illinois. J. Ip is clinical associate professor of family medicine and associate dean of medicine, Warren Alpert MedicalSchool of Brown University, Providence, Rhode Island. P.A. Gruppuso is professor of pediatrics, Warren Alpert MedicalSchool of Brown University, Providence, Rhode Island. E.Y. Adashi is professor of medical science and former dean of medicine, Warren Alpert MedicalSchool of Brown University, Providence, Rhode Island.
Abstract
PURPOSE:
The curricular elements of undergraduate premedical education are the subject of an ongoing debate. The Warren Alpert MedicalSchool of Brown University (AMS) matriculates students via the traditional premedical route (TPM) and an eight-year baccalaureate/MD program-the Program in Liberal Medical Education (PLME)-which provides students with a broad and liberal education. Using the juxtaposition of these twoadmissionroutes, the authors aimed to determine whether there is an association between highly distinct premedicalcurricular and admissionrequirements and medicalschoolperformance and residencyplacement.
METHOD:
The cohorts studied included all of the PLME (n = 295) and TPM (n = 215) students who graduated from the AMS between 2010 and 2015. Outcome variables consisted of multiple measures of medicalschoolperformance, including standardized multiple-choice examination scores and honors grades, and residencyplacement. The authors employed unadjusted tests of averages and proportions (independent t tests and chi-square tests) to compare variables.
RESULTS:
The TPM students attained marginally, but statistically significantly, higher average scores on standardized multiple-choice examinations than their PLME counterparts. The number of undergraduate premedical science courses completed by PLME students accounted for less than 4% of the variance in key metrics of medicalschoolperformance. The residencyplacement record of the PLME and TPM cohorts proved comparable.
CONCLUSIONS:
These findings suggest that the association between medicalschoolperformance and residencyplacement and undergraduate premedicalcurricular and admissionrequirements is weak. Further study is needed to determine the optimal premedicalpreparation of students.
의과대학 입학의 도덕성(Adv Health Sci Educ Theory Pract. 2004)
Editorial – The Morality of Medical School Admissions
GEOFF NORMAN
이번 호는 정확히 theme issue는 아니지만 우리는 3 개의 원본 기사와 Reflection을 가지고 있습니다 (Eva & Reiter, 2004; Ginsburg, Schreiber & Regehr, 2004; Kreiter et al., 2004; Marrin et al., 2004). 입학 절차와 관련이 있습니다. 이 article들은 여러 article가 이전에 해왔 던 것처럼 (Salvatori, 2001; Kulatunga-Moruzi & Norman, 2002), 프로세스의 신뢰성과 타당성에 초점을 맞추지 않고 그 대신 입학 조치에서 이러한 가치의 과정과 운영에 관한 고유 한 가치를 비판적으로 검토함으로써 독특한 관점을 제시한다.
This issue is not exactly a theme issue, but we do have three original articles and a Reflections piece (Eva & Reiter, 2004; Ginsburg, Schreiber & Regehr, 2004; Kreiter et al., 2004; Marrin et al., 2004) all related to the admissions process. In combination, these articles present a unique perspective, focussing not simply on the reliability and validity of the process, as many articles have done before (Salvatori, 2001; Kulatunga-Moruzi & Norman, 2002), but instead critically examining the values inherent in the process and the operationalization of these values in admissions measures.
에바 (Eva)가 논의한 바와 같이, 모든 딜레마는 '좋은 의사를 만들기 위해 더 높은 점수 이상(more than)을 필요로 한다'는 점을 받아 들일 것이지만, 우리는 '높은 점수'와 'more than'이 상호 배타적 인 것처럼 행동합니다. 에바 (Eva)가 종종 잊어 버리는 요점을 강화하기 위해 이 기회를 빌자. 훌륭한 임상가가되기 위해선 좋은 점수 이상을 필요로한다고해서, 반드시 좋은 점수와 좋은 사람 중에서 하나를 선택해야한다는 것을 의미하지는 않습니다. 이 전략은 marks과 charm이 완전히 역으로 상관되는 경우에만 필요합니다. 그렇다면 우리는 정말로이 둘을 가진 사람을 찾을 수 없을 것입니다. 그러나 Eva가 보여 주듯이, makrs과 personality은 반비례하지 않습니다. 어떤 것이라도 긍정적으로 상관됩니다. Eva의 데이터 세트에서 상관 관계는 + 0.15입니다. 상관 관계가 없어도 점수와 매력을 지닌 후보자는 여전히 많이 있습니다. 에바 (Eva)가 이것으로부터 끌어 낸 함의는 다시 말해서 가치가 있습니다. 높은 점수와 좋은 사람 사이에서 선택을 할 필요는 없습니다. 두 가지를 모두 갖춘 후보자가 많이 있으며, 이들 후보자를 선택해야합니다.
As Eva has discussed, one dilemma is that, while all will accept that ‘it takes more than high marks to make a good doctor’, we continue to act as if the ‘high marks’ and the ‘more than’ are mutually exclusive. Let me take this opportunity to reinforce a point that Eva makes which is often forgotten. That it takes more than good marks to make a good clinician does not imply that we will inevitably find ourselves having to choose between good marks and nice persons. That strategy would only be necessary if marks and charm were perfectly inversely correlated. Then we really would not be able to find someone who has both. But as Eva shows, marks and personality are not inversely related; if anything they are positively correlated. In Eva’s data set, the correlation was+0.15. Even with a zero correlation, there are still lots of candidates who have both marks and charm. The implication Eva draws from this is worth reiterating. It need not be a choice between high marks and nice persons. There are lots of candidates who have both, and these are the ones we should select.
그러나 진술을 승인 한 후에 실제 연습으로 넘어 가면 아주 미끄러운 경사가됩니다. 프로그램, 대학 및 국가의 표준화에 대한 우려가 있음에도 불구하고 marks를 쉽게 평가할 수 있습니다. 그러나 우리가 non-cognitive factor의 측정으로 돌아 가면 측정이 훨씬 더 어려워집니다.
자서전 서적의 경우, 사기는 가능하지 않습니다. 그렇지만 그것은 잘 문서화 된 사실입니다.
면접 시험과 같은 측정의 신뢰성은이 문제에서 Kreiter가 보여준 것처럼 의심 스럽습니다.
그리고 Kulatunga-Moruzi의 연구에서 인터뷰와 추천서의 예측 타당성은 의사 소통 기술과 같은 비인지적 척도를 예측할 때조차도 매우 낮았습니다.
Marks 외의 것들에 대한 평가는 많은 학교들이 매우 정교하고 노동 집약적이며 값 비싼 추첨을 진행하는 과정에 종사하고 있다고 말하는 것조차 과장이 아니다.
However, once you go beyond endorsement of the statement to actual practice, it becomes a very slippery slope. We can easily assess marks, albeit with some concern about standardization across programs, universities and countries. However, when we turn to measures of non-cognitive factors, measurement is much more difficult. For autobiographical letters, fraud is not a possibility; it is a well-documented fact. The reliability of measures like the interview is questionable, as shown by Kreiter in this issue. And in Kulatunga-Moruzi’s study, the predictive validity of interview and letter, even in predicting non-cognitive measures like communication skills, was very low. It is not too big a stretch to suggest that, once we go beyond marks, many of our schools are engaged in the process of conducting a very elaborate, labour-intensive, and expensive lottery.
일부 관할 지역에서는 이를 인정하고 그것에 대해 뭔가를했습니다. 그들의 실용주의로 널리 존경받는 네덜란드 인은 국영 추첨을 사용하여 학생을 선발했습니다. 1970 년대 이래 시행되었고, 성적이 높으면 당첨 기회가 올라간다. 일부 학교는 추가 letter나 인터뷰를 시도하지만 대부분은 그렇지 않습니다.
Some jurisdictions have recognized this and done something about it. The Dutch, widely admired for their pragmatism, have been selecting students using a state-run lottery, where the higher your marks the more tickets you get, since the 1970s. Some schools attempt an additional letter or interview, but most do not.
그러나 나머지 사람들은 우리가 가지고 있을지도 모르는 불안감에도 불구하고 편지와 인터뷰에 의존한다. Nayer (1992)가 지적했듯이, 북미 의과 대학의 99 % 이상이 여전히 인터뷰에 의지하고 있으며, 그것이 제한된 가치임을 시사하는 풍부한 데이터를 무시한 것으로 보인다. 유감스럽게도 이 낭만적인 인터뷰 의식에 대한 또 다른 부정적인 결과는 입학을 위한 marks 사용에 대한 거의 보편적 인 비난입니다. Best (1989)가 말했듯이, Powis (2004)의 말 :
But the rest of us appear to soldier on with our letters and interviews, despite the misgivings we may have. As Nayer (1992) indicated, more than 99% of North American medical schools still rely on an interview, apparently choosing to ignore a wealth of data suggesting that it is of limited value. Regrettably, one other negative consequence of this romantic adherence to the ritual of the interview is an almost universal condemnation of the use of marks for admissions. As Best (1989) said, quoted by Powis (2004):
사춘기 말기의 시험에서 받은 높은 점수를 인간적이고 돌보는 의학 전문직과 동일시하는 논리의 비약은 말도 안되지만, 아무도 "충분히 높은 성적을 가진 자를 선발하는 전략"과 전투를하기에 충분히 강한 다른 해결책을가지고 있지 않기 때문에 지속된다. '
‘The leap of logic that equates high marks in an examination at the terminal end of adolescence with a humane and caring medical profession is a nonsense, but is sustained because nobody has any other solution which is strong enough to combat… the ‘‘high enough mark’’ method.’
메서드의 전반부에서 발생하는 문제는 대처하기 쉽습니다. Marks에 초점을 맞추는 것은 '난센스'가 아닙니다. Marks은 수년 간의 대학 또는 고등학교 성적을 반영합니다. 따라서, 그들은 지능과 동기 부여의 지표이자 의학을 이해하는 개념을 이해하는 데 필수적인 주제 분야의 숙달입니다. 따라서 대학에서 의과 대학의 성적 및 면허 시험에 대한 성과를 예측할 수 있는지 여부와 상관없이 미래 성과에 대한 평가 지표 (예 : 과거 성과)가 지속적으로 미래 성과를 예측하는 데 놀랄만 한 것은 아닙니다.
It is easy to take issue with the first half of the method. A focus on marks is not ‘nonsense’. Marks reflect a number of years of university or high school performance. As such, they are an index of both intelligence and motivation, as well as mastery of subject areas essential for understanding the concepts underpinning medicine. It is not, therefore, surprising that marks (i.e., past performance) are consistently the best predictor of future performance, whether it is marks in university predicting
medical school performance and performance on licensing examinations (Kulatunga-Moruzi & Norman, 2002; Salvatori, 2001),
performance on licensing examinations predicting performance in specialties (Case & Swanson, 1993), or
marks on specialty examinations predicting performance in practice (Norcini, Lipner & Kimball, 2002; Ramsey et al., 1989).
더욱이 상관 관계는 사소한 것 (일반적으로 0.3에서 0.6까지)과는 거리가 멀며, 내용의 일치와 직접적인 관련이 있습니다 (Case & Swanson, 1993). 또한, 시험을 예측하는 시험의 경우 만이 아닙니다. practice measure의 결과를 보면, 한 연구에서 동료 평가 였고 다른 하나는 MI 이후의 환자 사망률이었습니다. 물론 예외가 있습니다. 예를 들어 Neame, Powis & Bristow (1992)는 구조화 된 인터뷰가 의과 대학에서 withdrawal을 예측하는데 가장 좋은 척도임을 보여주었습니다. 그러나 그것은 인턴 수행을 예측하지 못했다 (Rolfe et al., 1995)
Moreover, the correlations are far from trivial, typically in the range from 0.3 to 0.6, with the magnitude of the correlation directly related to the matching of content (Case & Swanson, 1993). Further, it is not just a case of tests predicting tests – the practice measures were, in one study, peer ratings, and in the other, patient mortality rates post-MI. Of course, there are exceptions; for example, Neame, Powis & Bristow (1992) showed that a structured interview was the best predictor of withdrawal from medical school. But it did not predict intern performance (Rolfe et al., 1995).
그러나 정말로 중요한 것은 후반부입니다. Marks가 (비인지적 척도보다 일관되게 더 우수한 정도로) performance를 예측한다고 하더라도, 아직 오지 않은 어떤 유토피아적 미래만 기다리는 것은 의미가 없습니다. 여기에 대한 해법은 marks를 덜 강조하는 것이 아니라, (지금까지 잘 측정해오지 못했던) 다른 특성에 대한 더 나은 측정 방법을 개발하는 것이다. OSCE와 비슷한 샘플링 전략을 갖춘 다중 미니 인터뷰 (MMI, Eva et al., 2004)는 실제 약속을 갖고있는 것으로 보입니다. 그러나 MMI가 궁극적으로 승리하든 지든간에, 상황을 바꿀 수 있는 잠재력을 가진 것은 공허하게 격렬한 비판이 아니라, 이와 같은 견고한 연구입니다.
But it is the second half of the quote that really matters. Given that marks do predict performance, with a consistency and at a level that cannot be matched by non-cognitive measures, it makes no sense to pine for some utopian future time when they will not count. The solution does not come from de-emphasizing marks, but from developing better measures of other characteristics that are equally important, but poorly measured. The multiple mini-interview (MMI; Eva et al., 2004, in press), with its OSCE-like sampling strategy, appears to have real promise. But whether the MMI ultimately wins or loses, it is solid research like this, rather than empty polemics about the sorry state of affairs, that has real potential to change things.
이 실질적인 연구에 대한 무지는 상황에 따라 용서받을 수 있습니다. 결국 우리는 바쁜 입학 담당자가 최신문헌을 따라 잡을 것으로 기대할 수 없습니다. 그러나 이 경우 피해는 단지 자원을 낭비하는 것 이상의 가치가 있다고 생각합니다. 그것은 과실에 불과합니다. 이것은 내 타이틀의 '도덕성'이 나타나는 부분입니다.
Ignorance of this substantial research may be forgivable under circumstances; after all we cannot expect busy admissions officers to also keep up with the literature. But in this case, I believe the damage amounts to more than just squandering resources; it is nothing less than negligence. This is where the ‘morality’ part of my title emerges.
베시를 소개해 드리겠습니다. 나는 그녀를 심리학 파티에서 몇 년 만났습니다. 그녀는 막 박사 학위를 마쳤습니다. 심리학에서, 그리고 의과 대학에 가기를 희망하고 있었다. 그녀는 매력적이었고, 나가고, 분명히 매우 똑똑했습니다. 그녀는 제가 의과 대학에 연루되었다는 것을 알았 기 때문에 이야기하기 시작했습니다. 그리고 그녀는 의과 대학에 입학하려했으나 실패했습니다. 그녀는 황폐 해졌고, 왜 그녀가 그 인터뷰를 '날려 버렸는가'를 알고 있다고 생각했습니다. 그녀는 어떻게해야합니까, 그녀는 물었다. 나는 '다른 복권을 사세요'라고 대답했다. 그러나 나는 이해하지 못했다. 그녀는 인터뷰에 실패했다. 그녀에게 뭔가 잘못된 것이있었습니다. 명백한 실패를 바로 잡기 위해 할 수있는 일이 없었습니까? 나는 그것이 그녀의 잘못이 아니라는 것을 계속 강조하면서, 문제는 그녀의 성격에 있는 것이 아니라 심각하게 결함이있는 과정이라는 것을 깨닫기 시작했다. 그녀는 나의 주장을 머리로는 이해했을지 몰라도, 그녀는 실패를 내면 화하는 것을 멈출 수 없었습니다.
May I introduce you to Betsy. I met her at a Psychology party some years. She had just completed her Ph.D. in psychology, and was hoping to go to med school. She was, and is, charming, outgoing, and obviously very intelligent. We started talking because she knew I was involved in the med school, and she had just tried, and failed, to get into medical school – again. She was devastated, and thought she knew why – she had ‘blown’ the interview. What should she do, she asked. ‘Buy another lottery ticket’, I replied. But I did not understand – she had failed the interview. There was something wrong with her. Wasn’t there something she could do to remediate her obvious failings? As I continued to reiterate that it was not her fault, that it was not a character defect, that it was simply a seriously flawed process, I began to realize that, although at an intellectual level she must have understood my arguments, at another level, she could not stop internalizing her failure.
그리고 여기에 진짜 악마가 있다. 입학 면접과 추천서는 교수 및 커뮤니티 자원의 낭비입니다. 이 자원 봉사 시간을 고려할 때 입학의 실제 비용은 엄청납니다. 더 나은 의대생을 선발하는 측면에서이 전체 과정의 이점이 매우 모호한 것은 아닙니다. 이 중 하나라도 이러한 조치의 의문없는 사용에 도전하기에 충분할 것입니다. 그러나 입학에 합당한 10 %를 선택하는 과정에서 (따라서 사회에서 존중 받고 돈이 많이 드는 곳을 보장받는) 다른 90 %에게 이렇게 말하고 있습니다. 너희들은 가치가 없다. 너희들은 충분히 좋지 않다. 너희들은 개인적으로 실패한 것이다.
And therein lies the real evil. It is not that admissions interviews and letters are a costly waste of faculty and community resources; it is not that the real cost of admissions when you factor in this volunteer time is enormous; it is not that the benefit of this whole process in terms of selecting better medical students is highly dubious. Any one of these things would be sufficient to challenge the unquestioning use of these measures. But in the course of selecting the 10% who are worthy of admission (and hence guaranteed an esteemed and well-paid place in society), we are telling the other 90%
that they are unworthy;
that they are not good enough,
that they have personal failings.
그러나 우리가 가진 증거는 별자리 점보다 조금 나은 것 같습니다. 최소한 우리가 별자리로 판단한다면, 대부분의 사람들은 자신의 개인적인 특성이 측정되지 않는다는 사실을 깨닫지 못할 것입니다 (그리고 그들의 운세가 진실로 입학 자격이없는 것일 수도 있다고 믿는 사람들).
Yet the evidence we have is likely little better than a horoscope. At least if we judged them by a horoscope, most would not be devastated to learn that their personal qualities did not measure up (and those who did believe their horoscopes may truly be unworthy of admission!).
왜이 시대에 최우수 의료 교육 (Best Evidence Medical Education)을 받았 는가, 왜 자서전 서신과 같은 불명예스러운 방법에 입학위원회가 집착합니까? 이들의 제한된 가치의 이미 수십 년 동안 증거가 쌓여왔다. 이 전문적인 쓰레기 촬영을 계속하기 위해 막대한 자원을 소비하는 대신, Eva의 기사에서 설명한 다중 미니 인터뷰 (Multiple Mini-Interview)와 같은 독창적 인 대안으로 자금을 전환 한 경우 이전에 문제가 해결되었을 수있었습니다.
Why, in this era, of Best Evidence Medical Education, do admissions committees cling to discredited methods like autobiographical letters? Evidence of their limited value has been available for decades. If, instead of expending enormous resources to continue this professional crap shoot, we had diverted funds to creative alternatives like the Multiple Mini-Interview, described in Eva’s article, we could have had the issue resolved a long time ago.
우리는 할 수 있고 더 잘해야합니다. 우리는 미래의 세대의 지원자들이, 그리고 우리 자신이 그 수혜자가 될 것이다.
We can, and must do better. We owe it to future generations of applicants, and to ourselves, who may well be beneficiaries of their care.
사회과학과 인문과학(SSH)을 전공한 학생이 의과대학 입학과정에서 소외되는가? Review and Contextualization (Acad Med, 2014)
Is Social Sciences and Humanities (SSH) Premedical Education Marginalized in the Medical School Admission Process? A Review and Contextualization of the Literature
Justin N. Hall, MSc, MPH, Nicole Woods, PhD, and Mark D. Hanson, MD, MEd, FRCPC
MCAT2015가 의과대학생에 대한 자연과학/행동 및 사회과학/인문학에 대한 전문가 의견을 반영한다.
These reports and the MCAT2015 reflect current expert opinion regarding the contributions of natural sciences, behavioral and social sciences, and the humanities to medical student selection.
미국의 premed 교육에 관한 오래된 논란이 있다. 그것은 SSH를 전공한 학생이 이공학을 전공한 학생만큼 의과대학에 준비된 상태인가, 그리고 의과대학에서의 수행능력은 동등한가에 대한 것이다. 1910년 플렉스너는 의과대학의 변화를 일으키면서, 의과대학 입학정책의 변화를 제안했다. 물리, 생물, 화학, 실험실 경험 등이 premed 교육과정의 기초가 되어야 하며, 이것을 잘 배우지 않은 학생은 지원자격이 되지 못한다고 했다. 플렉스너의 기풍은 미국과 캐나다 의과대학에 스며들었으며, 대부분은 과학과 수학을 선수과목으로 요구했다.
There is a long-standing debate regarding U.S. premedical education. That is, are students who majored in SSH disciplines as prepared as their science major counterparts, and do they perform as well in medical school? In his 1910 report, Flexner5 recommended sweeping changes to medical education including medical school admission policy. He described physics, biology, and chemistry, including laboratory experience, as foundational to the premedical curriculum, asserting that poor performance in these disciplines could identify unqualified applicants.6 Flexner’s ethos continues to permeate U.S. and Canadian medical schools, as most require some combination of prerequisite courses in science and mathematics.
플렉스너 보고서 100년을 맞아 학자들은 premed에서 인문학의 중요성을 다시 성찰해보았다. Riggs는 의과대학 입학시 인문학 선수과목이 없는 것을 이학 선수과목이 없는 것 만큼이나 의과대학 입학을 못하게 해야 한다고 주장했다. 1978년 Thomas는 의과대학 입학정책이 premed 교육과정에 미치는 안좋은 영향을 묘사하면서, premed 교육이 이학 과목에만 집중하면서, liberal arts 교육이 희생당하고 있다고 지적했다. 또한 premed교육은 문학의 고전을 다뤄야 하고, 이학과목의 심층 학습은 의과대학의 것으로 남겨두어야 한다고 했다. 또한 MCAT이 과학 과목에 초점이 맞춰져 있는 것을 완전히 없애든 초점을 바꾸든 하여 인문학, 역사학 등에 더 초점을 맞춰야 한다고 주장했다.
On the centenary of the Flexner report, scholars revisited the importance of humanities within premedical education.7,8 Riggs7 opined that the absence of humanities prerequisites should preclude medical school admission as does the absence of science prerequisites. In 1978, Thomas9 decried the detrimental impact of medical school admission policies on the premedical curriculum, criticizing premedical education’s emphasis on sciences at the expense of a liberal arts education. He suggested that premedical education should focus on the classics in literature, with in-depth study of sciences saved for medical school itself. He also suggested that the MCAT either be dropped entirely or changed to lessen the focus on sciences and increase the focus on literature, humanities, and history.
그러나 과학 과목을 선수과목으로 요구하는 것은 오늘날 의과대학 입학정책에서 강조되고 있다 AAMC의 가이드북을 보면 가장 흔히 요구되는 10개의 선수과목이 나와있는데, 8개는 과학 혹은 수학이고(물리, 유기화학, 무기화학), 2개만이 SSH이다(영어, 인문학). Muller와 Kase는 AAMC 자료에 따르면 2009년 의과대학에 입학한 학생 중 18% 이하만이 SSH 전공자이다
However, science prerequisites continue to be emphasized in medical school admission policies today. The AAMC Medical School Admission Requirements Guidebook identifies the 10 most common premedical course requirements,11 8 of which are science and mathematics courses (e.g., physics, organic and inorganic chemistry); only 2 are SSH courses (English and humanities). Muller and Kase12 report that, according to AAMC data, less than 18% of medical students matriculating in 2009 were SSH majors.
SSH premed 교육에 관한 오랜 논란을 보며 우리는 다음의 질문을 한다.
Given the long-standing debate about SSH premedical education, we pose the following question:
Does SSH premedical education have a role in today’s medical school admission process?
That is, should there be prerequisite SSH course requirements for all applicants?
Should there be standards for how medical school admission committees consider and compare applicants with majors in SSH versus those with majors in the sciences?
Method
문헌 고찰
Literature review: Scope and criteria for inclusion
문헌 고찰
Literature review: Search terms and selection process
결과
Results
문헌 고찰
Part 1: Review of the literature
미국의 경험 An American experience.
The Humanities and Medicine Program (HuMed) at Mount Sinai School of Medicine (MSSM)
The Humanities and Medicine Program (HuMed) at Mount Sinai School of Medicine (MSSM) offers the most compelling evidence for the advancement of SSH premedical education.12,14 HuMed is designed as
SSH-특이적 입학 코스. 일부 2, 3학년 SSH전공자에게 의과대학 입학을 보장함. an SSH-specific admission stream, offering guaranteed medical school admission (contingent on successful completion of an undergraduate degree) to some second- and third-year students majoring in the humanities or social sciences.
GPA 3.5 이상, 생물학과 일반화학에서 B학점 이상 받아야 Students are required to maintain a minimum grade point average (GPA) of 3.5 in addition to earning a “B” grade in biology and general chemistry.
유기화학, 물리, Calculus, MCAT 불필요 They are not required to take organic chemistry, physics, calculus, or the MCAT exam.12,14
고등학교,대학교 성적, 자기소개서 2가지, 추천서 3부, SAT점수, 2차례의 면접 Other components of HuMed admission include high school and university transcripts, two personal essays, three letters of reference, SAT scores, and two interviews.12
일단 합격하면 학부 3학년을 마치고 8주간 임상경험, 의학 관련 주제(의료윤리, 의료정책) 세미나 참석, accelerated course 이수 Once accepted, HuMed students must spend eight weeks after their third undergraduate year gaining clinical experience, attending seminars on medical topics such as bioethics and health policy, and taking an accelerated course on the “Principles of Organic Chemistry and Physics Related to Medicine.”12
의과대학 입학 전 여름학교 초청됨 HuMed students are invited to a summer enrichment program before commencing medical school to familiarize themselves with clinical sciences teaching.12
대부분의 수행척도에서 동등함. NMBE Part II 정신과학 subtest에서 더 잘함.
Yens and Stimmel15 found that nonscience majors performed on par or better than their peers with science premedical education on the majority of performance measures and were significantly more likely to perform at the superior level of the National Board of Medical Examiners (NBME) Part II Psychiatry subtest.
비교 결과
In the two HuMed studies included in our review,12,14
학업 no significant academic disadvantage was reported for HuMed students in terms of higher rates of serious academic difficulty in the first or second year of medical school12 or attrition rates.14
nonschlarly leaves가 더 많음 HuMed students did, however, take significantly more nonscholarly leaves for personal, academic, or psychiatric reasons,12
일부 학업에 대한 헌신이 부족하여 잘 못함 with a subset of HuMed students not performing well academically because they lacked the commitment necessary for medical education.14
전임상 수행능력 약함 Preclerkship performance ratings (United States Medical Licensing Examination [USMLE] Step 1 plus first- and second-year basic science courses)14 were weak.
임상 수행능력 동등 Yet clerkship performance ratings (Comprehensive Clinical Assessment [COMPASS] II, clerkship performance)12 indicated basic equivalency, and those HuMed students with multiple clerkship honors often were those who had experienced USMLE Step 1 or basic science performance difficulties.14
정신과학, 일차의료 선호 HuMed students demonstrated enhanced performance outcomes and a predilection for psychiatry and primary care specialties.
정신과학 소아과학 임상실습 우월 HuMed students excelled in psychiatry12,14 and pediatric14 clerkships, and
일차의료, 정신과 전공 선택 they were more likely than other medical students to select primary care and psychiatry residencies.12
연구 비슷 HuMed and other medical students attained similar graduation research distinctions, but
연구 장학금 더 많이 수혜 HuMed students were significantly more likely than other students to be recipients of Doris Duke Clinical Research Fellowships and to undertake a research year.12
학업능력 Academic performance.
기본적 학업 수행 비슷
Generally, these studies reported basic equivalency in academic performance irrespective of premedical education. Outcomes compared included
GPAs for each year of medical school,
NBME and USMLE scores,
delayed graduation and attrition rates,
rates of academic difficulty, and
average class ranking (see Table 1).
과학과목 이수 안해도 1학년 비슷하나, 생화학은 예외였음.
Caplan and colleagues22 found that the grades of first-year medical students who had not taken advanced science courses were equal to those of students with stronger premedical science backgrounds. The exception was biochemistry, where those with prior biochemistry experience had significantly higher grades. Koenig18 reported that although there was no significant difference between broadly prepared and science-focused medical students’ NBME Part I scores, science- focused students achieved higher mean scores for three science subtests, and broadly prepared students achieved higher mean scores for the behavioral sciences subtest.
유급률은 비슷하다고 나오는 연구도 다수이나, 일부 다른 결과를 보여주기도 함.
Although multiple studies reported similar attrition rates,14,16,27 other studies have reported contrasting findings.
임상능력 Clinical performance.
동등함
Multiple studies reported basic equivalency of clinical competence across medical students, residents, or physicians irrespective of premedical education.16,19,20,27,28,31,32 Outcomes compared included
HuMed students’ clerkship competencies were basically equivalent with those of non-HuMed students except for HuMed students’ excellent performance in psychiatry and pediatric clerkships.12,14
입학과정의 상업화와 국제화 Commercialization of and globalization of admission processes.
의과대학 입시시장은 MCAT, MMI, 시험대비반 등이 있다. Tompkins는 플렉스너 이후 proprietary medical school이 사라졌으나, 시장은 시험 대비 과정에 관심을 가지고 있다. MCAT 준비는 수백만달러 짜리 사업이다 2010~2012에 61.3%~65.3%가 MCAT 준비 과정을 사용했다고 보고함. 또한 1/3 이상이 MCAT을 2차례 이상 봤다고 대답. ProFitHR 는 맞춤형 MMI를 제공.
This medical school admission marketplace comprises tools including the MCAT exam,39 the MMI,37,40 and test preparation courses.41–43 Tompkins43 notes that although proprietary medical schools may have disappeared post Flexner, business interests now focus on test preparation courses. MCAT preparation courses are one facet of this multi- million-dollar business. In 2011, 91,600 MCAT exams were completed.44 Between 2007 and 2009, MCAT computer-based practice test sales increased by almost 50%.41,45 Moreover, from 2010 to 2012, 61.3% to 65.3% of matriculating medical students reported using MCAT preparation courses, and more than one-third of medical school matriculants annually report taking the MCAT exam multiple times.46 The company ProFitHR has monetized the MMI, offering customizable MMI materials that can be applied across a range of tasks with applicants to medical, pharmacy, veterinary, and dental schools.37,40
미국 의과대학의 국제 협력이 사업이 늘고 있음.
U.S. medical schools are expanding48 with global collaborative ventures such as the
Weill Cornell Medical College in Doha, Qatar;
the DUKE-NUS Medical School and Research Center in Singapore; and
the Medical School for International Health (Ben Gurion University), a joint venture with Columbia University Medical Center in Beer-Sheva, Israel— all of which employ the MCAT exam.50–52
고찰
Discussion and Conclusions
SSH 전공 학생의 학업/임상/연구 수행능력이 다른 학생들과 비슷하나 패턴이 조금 다르다. 예컨대 연구 탁월 수준은 비슷하나, SSH 학생이 임상연구에 대한 흥미를 더 보인다. 정신과나 일차의료 전공과에 대한 진로 선호가 높다.
The studies reviewed indicate that the academic, clinical, and research performance of medical students with SSH premedical education is equivalent to that of other medical students, but different patterns of competencies exist. For example, although research distinction is similar, increased clinical research interest is associated with SSH background.12 Enhanced performance outcomes in and career preferences for psychiatry and primary care specialties such as pediatrics are reported for students with SSH backgrounds.12,14 Notably, these career preferences may present a health human resourcing opportunity to address long- standing primary care and psychiatry physician shortages.33,34
MCAT2015에서 사회과학과 행동과학의 중요도를 높였지만, 충분하지 않아 보인다. 지원자들은 전략적으로 일부 SSH과목만 선택하여 들어도 MCAT을 잘 볼 수 있으며, 심리학이나 사회학 개론 정도 과목만 들을 것이고, SSH에 관한 폭넓은 독서나 학습을 할 것 같지 않다. 현재 MCAT은 임상수행능력을 예측한다(MMI처럼). MCAT시험과 MMI는 SSH전공 여부와 무관하게 의과대학생이 임상스킬의 잠재력을 가지고 있는지를 평가한다. 임상스킬은 입학과 관련된 중요한 성과지표 중 하나이며, 따라서 지속적으로 MCAT, MMI에 의존하면 premed교육에서 SSH의 설 자리가 점점 좁아질 것이다.
Although the MCAT2015 exam blueprinting process recognized the importance of the humanities and of social and behavioral sciences,4 we believe it does not go far enough, and applicants will behave strategically in their SSH course selections and readings to remain competitive for the MCAT2015 exam, likely narrowly selecting introductory psychology and sociology courses, rather than selecting and reading broadly within SSH as predicted.4 The current MCAT exam predicts clinical performance outcomes,41 as does the MMI.37 The MCAT exam and MMI enable selection of medical students with the potential for strong clinical skills, irrespective of SSH premedical education status. Because clinical skills are an important admission outcome, continued reliance on these tools may render SSH premedical education irrelevant.
MMI는 널리 사용되고 있으나 SSH를 premed에서 교육하는 것에 대한 논쟁은 아직 논란중
While the MMI is being implemented across the United States, Canada, and globally, SSH premedical education’s acceptance as legitimate premedical preparation continues to be debated.
더 나아가면 premed에서 SSH를 교육하는 것이 premed에서 과학과목을 강조하는 것을 '대체'하게 될 것 같지는 않다. 그러나 SSH교육의 장점을 더 잘 활용할 수 있는 세 가지 방법이 있다.
Going forward, it is unlikely that SSH premedical education will supplant the emphasis on science premedical education in the medical school admission process. However, three approaches could be explored to better incorporate the beneficial outcomes of SSH premedical education.
첫째, 일차의료의사 양성에 목적을 두는 의과대학은 적극적으로 SSH전공자나 SSH집중이수자를 선발할 수 있다.
First, medical schools with a mission to graduate primary care physicians could actively recruit prospective applicants with SSH majors or concentrations.
두 번째, SSH 입학을 HuMed와 같이 하나의 의과대학 입학 stream으로 도입하는 것이다. 이러한 HuMed식 접근법은 이렇게 들어온 학생이 동료들과 비슷하게 잘 한다는 지속적 경험을 통해서 문화의 변화를 촉진할 수 있다. 실제로 MSSM은 HuMed 프로그램을 확장하여 FlexMed 프로그램으로 만들고 있다. 비록 의과대학의 문화가 이들 SSH 출신 학생들에게 초기에 과학-관련 전임상 과목에 대한 추가적 지원을 해주는 쪽으로 바뀌어야 할테지만, 궁극적으로 이들은 동료보다 더 잘하거나 비슷하게 졸업한다.
A second approach would be adoption of an SSH admission stream as one component of a school’s overall admission
process, similar to MSSM’s successful approach with its HuMed Program. This HuMed approach may foster, as it has at MSSM,54,55 a cultural shift as faculty consistently experience the selection of medical students with graduation success on par with (or sometimes better than) their peers with premedical science education. Indeed, MSSM is transforming the HuMed program with its expanded FlexMed program.55 Although a school’s culture may have to shift to accommodate medical students with an SSH background who need early, additional support for science-based preclerkship courses, ultimately these students will excel and graduate alongside their peers.
SSH 특이적 입학 stream이 가지는 추가적 장점은 premed 교육의 비용을 낮추고 임상연구에 관심이 있는 학생을 더 모집하게 된다는 것이다. HuMed 모델에서 학생들은 MCAT을 보지 않아도 되므로 MCAT 준비에 들어가는 비용 부담이 사라진다. 이들은 연구 수월성 측면에서 비슷하나 Research Fellowship은 더 받았다. 이 fellowship 프로그램은 임상연구에 관심이 있는 학생을 대상으로 만들어진 것으로 - 기초과학이 아니라 - MD-PhD 프로그램의 보완complement이다.
SSH-specific admission streams like HuMed have additional benefits: decreased premedical educational costs and increased student interest in clinical research.12 The HuMed model12,14 does not require its applicants to take the MCAT, which eliminates the premedical education cost barrier of the MCAT exam and its associated preparation courses.41 HuMed students experience similar research distinction as their peers but significantly more often receive Doris Duke Clinical Research Fellowships.12 This fellowship program is specifically designed for medical students interested in clinical research, not basic science research, and serves as a complement for MD-PhD programs, which commonly attract students with basic science research interest.56
세 번째, 의과대학은 SSH 선수과목을 한두개, 혹은 매우 제한적으로 이수한 학생만 선발하는 것에서 더 넓혀 나가야 한다. 한두개의 SSH 선수과목만으로는 의도하는 교육 효과를 내기 어렵다. 단순히 SSH 과목을 수강했느냐 아닌가가 아니라, SSH 전공자나 SSH 집중이수만이 의도한 장점과 연관되어 있었다.
In a third approach, medical schools could revise their admission policies to include more than a single or limited number of SSH course prerequisites, as single or limited SSH course prerequisites policies may not have the intended educational outcomes. SSH premedical education with either an SSH major or course concentration, not simply SSH course counts, was associated with the beneficial outcomes noted in our review.
11 Association of American Medical Colleges. Chapter 2: Building a strong foundation: Your undergraduate years. In: Medical School Admission Requirements (MSAR), 2012–2013, United States and Canada. Washington, DC: Association of American Medical Colleges; 2012.
Table 1 Characteristics of the 20 Studies Included in a Review of the Literature on How Social Sciences and Humanities (SSH) Premedical Education Affected Performance During and/or After Medical School
Is socialsciences and humanities (SSH) premedicaleducationmarginalized in the medicalschooladmissionprocess? A review and contextualization of the literature.
1Mr. Hall is a third-year medical student and Leadership Education and Development (LEAD) Program scholar, Faculty of Medicine, University of Toronto, Toronto, Ontario, Canada. Dr. Woods is a scientist, The Wilson Centre, Faculty of Medicine, University of Toronto, Toronto, Ontario, Canada. Dr. Hanson is associate dean, Admissions and Student Finances, Undergraduate MedicalEducation, and associate professor, Department of Psychiatry, Faculty of Medicine, University of Toronto, Toronto, Ontario, Canada.
Abstract
PURPOSE:
To investigate the performance outcomes of medical students with socialsciences and humanities (SSH) premedicaleducation during and beyond medicalschool by reviewing the literature, and to contextualize this review within today's admission milieu.
METHOD:
From May to July 2012, the lead author searched the PubMed, MEDLINE, and PsycINFO databases, and reference lists of relevant articles, for research that compared premedicalSSHeducation with premedicalscienceseducation and its influence on performance during and/or after medicalschool. The authors extracted representative themes and relevant empirical findings. They contextualized their findings within today'sadmission milieu.
RESULTS:
A total of 1,548 citations were identified with 20 papers included in the review. SSHpremedicaleducation is predominately an American experience. For medical students with SSH background, equivalent academic, clinical, and research performance compared with medical students with a premedical science background is reported, yet different patterns of competencies exist. Post-medical-school equivalent or improved clinical performance is associated with an SSH background. Medical students with SSH backgrounds were more likely to select primary care or psychiatry careers. SSH major/course concentration, not SSH course counts, is important for admission decision making. The impact of today's admissionmilieu decreases the value of an SSHpremedicaleducation.
CONCLUSIONS:
Medical students with SSHpremedicaleducation perform on par with peers yet may possess different patterns of competencies, research, and career interests. However, SSHpremedicaleducation likely will not attain a significant role in medicalschooladmission processes.
이공학계열 출신 학생과 비이공학계열출신 학생 혼합의 효과 탐색(Medical Education, 2014)
Exploring the consequences of combining medical students with and without a background in biomedical sciences
Rachel H Ellaway,1 Amanda Bates,2 Suzanne Girard,2 Deanna Buitenhuis,2 Kyle Lee,2 Aidan Warton,3 Steve Russell,3 Jill Caines,3 Eric Traficante3 & Lisa Graves1,4
CONTEXT:
의과대학에는 대체로 뛰어난 이공계열 출신 학생들이 입학한다. 기존의 연구에서 사회과학계열 출신 학생도 의과대학에서 비슷한 수준의 성취를 올릴 수 있음을 보여준 바 있지만, 오랜 기간동안 '비이공학계열 출신 학생'으로 지내는 것에 대해 연구된 바는 많지 않다.
Medical schools have tended to admit students with strong backgrounds in the biomedical sciences. Previous studies have shown that those with backgrounds in the social sciences can be as successful in medical school as those with science backgrounds. However, the experience of being a 'non-science' student over time has not been well described.
METHODS:
Mixed-methods 연구를 하였음. 개인 수준의 경험을 확인하고자 설문과 면담을 하였다. 스스로의 정체성, 스스로 느끼는 준비된 저도, 스트레스 등을 확인하였고 의과대학 기간 전반에 걸친 경험을 물었다. 설문 결과는 descriptive statistics를 활용하였고, 포커스그룹 결과와 unstructured data는 common theme을 찾았다. 모듈 종료 후, 학년 종료 후 시험성적을 분석하였다.
A mixed-methods study was developed and run with the aim of elucidating the personal experiences of science and non-science students at our institution. Data were generated from a student survey that focused on participants' self-identification as science or non-science students, and on their sense of preparedness and stress, and from a series of student focus groups exploring participants' experiences of science and non-science issues in all aspects of their training. Descriptive statistics were generated for structured survey data. Focus group data and unstructured survey data were analysed to identify common themes. End-of-module and end-of-year examination data for the four class cohorts in the programme were also analysed to compare science and non-science student performance over time.
RESULTS:
두 그룹간 확연한 차이가 있었다. 준비도와 스트레스 수준에 대해 차이가 있었으며, 시험성적에도 차이가 있었으나 이 차이는 3학년으로 올라가면서 거의 사라졌다. 같은 교실에 두 그룹의 학생이 모두 있는 것은 서로 다른 방향으로 서로 다른 수준의 차이를 만들었는데, 여기서 생기는 혼란(disruption)도 수행능력 차이가 줄어들면서 점차 사라졌다.
There were clear differences between the experiences and performance of science and non-science students. We found dichotomies in students' self-reported sense of preparedness and stress levels, and marked differences in their examination performance, which diminished over time to converge around the third year of their studies. Combining science and non-science students in the same class affected the students to different extents and in different ways. The potential disruption of mixing science and non-science students diminished as their levels of performance converged.
CONCLUSIONS:
비이공계출신 학생들이 겪는 정신사회적 스트레스는 학업적 부분과 개인적 부분에 모두 있었으며, 이는 이들 학생에 대한 지원이 어떠해야 하는지, 교육과정이 어떻게 모든 학생들에게 도움이 될 수 있게 적합하게 조정되어야 하는가에 대해 시사하는 바가 많다.
The psychosocial stress experienced by non-science students and the challenges it posed, in both their academic and their personal lives, have implications for how such students should be supported, and how curricula can be configured to afford quality learning for all medical students.
학생들의 분류 Categorising students according to their academic backgrounds is an essential part of studying this phenomenon with prior studies employing similar models. For instance, Yens and Stimmel categorised students as having a major in ‘traditional science’ (e.g. biology, chemistry, zoology), ‘other science’ (e.g. psychology, sociology) or ‘humanities’ (e.g. English, philosophy), noting that the performances of students in the ‘other science’ and ‘humanities’ categories were very similar.[2] Dickman et al.[3] defined a ‘non-science’ group based on students’ majors in subjects such as English, history, psychology and sociology (roughly 27% of the class); the remaining students were given the ‘science’ category and had backgrounds in subjects such as zoology, biology, chemistry and physics. We chose to adopt a similar dichotomised model using the terms ‘science’ and ‘non-science’. However, rather than defining the inclusion criteria for either category in advance, we allowed these definitions to emerge from our data.
수행능력에 대한 기존 연구 Many studies have compared the performance of science and non-science students.
Gough observed that whereas student examination performance differed in Years 1 and 2, it had become indistinguishable by Year 4 of the programme.[1]
Dickman et al.[3] found no significant differences between science and non-science students in examination performance, licensing examination performance, and residency selection.
Craig et al.[10] grouped students into five categories based on their backgrounds (health professions, biomedical sciences, other biology, physical sciences, and non-science) and compared their performance on different kinds of science-based examination. They found differences between all groups, with non-science students performing less well than students in the other categories. The differences among all groups diminished over time.[10]
수행능력 차이가 사라진다는 점은 조심히 볼 필요가 있음. This issue of convergence should be considered with some caution. Although several studies found no significant difference in final performance, they also noted that both science and non-science students had comparable MCAT scores,[2, 12] indicating that non-science students in these studies had studied sufficient biomedical science material to pass the test, thereby reducing the differences between the two groups. Although the MCAT is a prerequisite for entry to many schools in the USA and Canada, some medical schools have opted not to use the MCAT (or an equivalent) that necessarily selects candidates with a science background over those with other backgrounds,[13] thereby removing any normalising effects it might have.
모든 연구가 시험점수에만 초점을 맞춘 것은 아님 Not all studies have concentrated on the examination performance of science and non-science students. Ferrier and Woodward looked at the attitudes of students at the then relatively new McMaster University medical school and reported: ‘…academic background has been found to be of little influence on graduates’ perceptions of the […] programme.’[14] However, a more recent study found that although non-science students were able to cope with the demands of medical school, ‘students who had a non-science background prior to entering medicine were significantly less positive than those students who had a science background’.[11] This suggests that, although non-science students are able to catch up with their science-educated colleagues, there are clear differences in the personal experiences and expectations of the two groups. Indeed, several papers have identified science students as having an intrinsic advantage in their studies,[4, 5, 15] which in turn raises equity of access issues.[16]
서로에 대한 영향이 어떤지에 대한 연구는 적음 Although these studies have compared the grades and performance of science and non-science students, relatively little attention has been focused on the impact of science and non-science students on each other, or on how their personal experiences differ. One study, that did look at how different students approached their studies, concluded that: ‘…liberal arts graduates favoured “discussing issues” over “memorising facts” and “problem solving”. These points likely reflect students' familiarity and comfort with different pedagogies in their undergraduate settings.'[17]
Analytical methods
All focus groups were audio-recorded and transcribed. Free-text responses were combined with the focus group transcripts. Thematic analysis involved seven reviewers (RHE, AB, JC, ET, KL, SG, and Boxhill). The six student reviewers independently generated a narrative interpretation of the transcripts and the faculty lead performed a line-by-line open coding thematic analysis. The analyses were shared among the review team for comment. These comments were assimilated into a single thematic framework that accommodated and linked the various concepts and themes identified in the earlier stages. This framework was further reviewed and adapted to accommodate the remaining differences between reviewer perspectives. Descriptive statistics were generated for structured responses from the survey. Examination data were analysed by Theme across all 4 years of the programme for each cohort (for which data were available) and descriptive statistics generated.
Science and non-science students' personal experiences were different
Although science and non-science students did not necessarily represent two completely dichotomous groups, they did tend to self-identify as belonging to one or other category. Student perceptions of this difference in others seemed to diminish over time:
However, the stigma of being ‘non-science’ may last longer:
The difference between science and non-science students was emphasised in sessions in which non-science students were seeing material for the first time and science students were reviewing material they had previously been taught:
This difference was amplified by the fact that non-science students had much less time to learn this material than their peers had originally had:
Although students perceived the difference between science and non-science academic backgrounds in themselves and their peers, they did not necessarily see a non-science background as an intrinsic disadvantage:
Science and non-science students had different approaches to study
Setting aside individual learning preferences, students from science and non-science backgrounds tended to approach their learning in different ways. In general, science students reported having been taught to study details within single concepts, whereas non-science students were trained to look for general themes crossing multiple concepts. Approaches to learning that were unfamiliar added to students' stress levels:
Science and non-science students sometimes helped each other with unfamiliar material:
Sometimes this division of labour led to a positive group dynamic:
Unfamiliar language, terminology and presentation styles were more troubling for non-science students than unfamiliar content:
Differences between science and non-science students changed the learning environment.
Different approaches to learning were more apparent in small-group learning contexts, in which students were more dependent on one another:
Differences in the needs and behaviours of science and non-science students sometimes led to a negative group dynamic:
Different group dynamics determined students' ability to help others or to be helped:
Specific non-science student concerns
Many non-science students were worried they were falling further behind their science peers:
Non-science students' attention to learning biomedical science material could lead them to miss out on other aspects of medical school life:
Some non-science students became increasingly solitary as they sought to catch up with their science peers:
Non-science students sometimes voiced concerns about the impact they had on their science peers, for instance limiting in-depth discussion of biomedical science topics:
Non-science students also described being particularly stressed in their first year:
A number of non-science students had not known where to start to prepare for medical school:
Several non-science students suggested that they might have prepared differently had they known what would be required of them once they started:
Specific science student concerns
Some science students acknowledged their advantage:
Others acknowledged that a science perspective could be both a strength and a weakness:
Some science students expressed sympathy for the struggles of non-science students:
Some science students reported helping their non-science colleagues:
Other science students were not always well disposed to their non-science colleagues:
Examination data
의학교육에 시사하는 바
Although this was a single-institution study, its findings have broader implications for medical education.
Firstly, schools and programmes need to be more sensitive to the personal experiences of students from non-science backgrounds, particularly in the initial stages of their training. This is not to say that all non-science students will struggle to the same extent, but the hidden curriculum of non-science students who must stoically accept their additional workload and associated stress should be acknowledged and, where appropriate, addressed.
Secondly, group cohesiveness is an indicator of the quality of learning for members of that group.[24]Teachers need to be aware of the potential for disruption that the combining of science and non-science students in a single group can bring. Positive group dynamics should be encouraged, which should include the building of a shared recognition of the different strengths of those in the group, and students should be encouraged to help each other according to these strengths.
Thirdly, teachers should seek to address common learning challenges for their non-science students. For example, a recurring issue identified in this study was non-science students' struggle to understand how biomedical science material was spoken in terms of its style, syntax and underlying assumptions. Supporting non-science students' orientation to these unfamiliar discourses would go some way to making their journeys easier.
Fourthly, schools should consider their support for non-science students before they start school as the challenges of access to medical training clearly continue after their places are confirmed. Although this would probably fall short of classes or other face-to-face activities, support could be provided in the form of online study materials such as self-assessment quizzes linked to study materials and primers. We are planning a follow-up study to explore this area further.
We should note that we found little indication that significant changes to the curriculum as a whole were either necessary or desired. We identified issues around the accessibility of the programme rather than problems with the programme itself. We should also be clear that the issues we have identified are not about the shortcomings of either non-science or science students, but, rather, about the impact of combining them in a single class. A non-science background should not be a barrier to medical school admission, as others have noted.[11, 13]
Not all medical schools are alike. Some schools may concentrate on creating physician scientists, whereas others may have more of a community focus.[25] Community-focused and socially accountable schools often seek to open access to medicine to previously under-represented populations[26] and the findings of this study may therefore be more relevant to these institutions. However, any institution that admits non-science students should consider our findings from the perspectives of both student welfare and curriculum design and delivery.
Med Educ.2014 Jul;48(7):674-86. doi: 10.1111/medu.12496.
Exploring the consequences of combiningmedicalstudents with and without a background in biomedicalsciences.
1Undergraduate Medical Education, Northern Ontario School of Medicine, Sudbury, Ontario, Canada.
Abstract
CONTEXT:
Medical schools have tended to admit students with strong backgrounds in the biomedicalsciences. Previous studies have shown that those with backgrounds in the social sciences can be as successful in medical school as those with science backgrounds. However, the experience of being a 'non-science' student over time has not been well described.
METHODS:
A mixed-methods study was developed and run with the aim of elucidating the personal experiences of science and non-sciencestudents at our institution. Data were generated from a student survey that focused on participants' self-identification as science or non-sciencestudents, and on their sense of preparedness and stress, and from a series of student focus groups exploring participants' experiences of science and non-science issues in all aspects of their training. Descriptive statistics were generated for structured survey data. Focus group data and unstructured survey data were analysed to identify common themes. End-of-module and end-of-year examination data for the four class cohorts in the programme were also analysed to compare science and non-science student performance over time.
RESULTS:
There were clear differences between the experiences and performance of science and non-science students. We found dichotomies instudents' self-reported sense of preparedness and stress levels, and marked differences in their examination performance, which diminished over time to converge around the third year of their studies. Combining science and non-science students in the same class affected the students to different extents and in different ways. The potential disruption of mixing science and non-science students diminished as their levels of performance converged.
CONCLUSIONS:
The psychosocial stress experienced by non-science students and the challenges it posed, in both their academic and their personal lives, have implications for how such students should be supported, and how curricula can be configured to afford quality learning for allmedicalstudents.
Analysis of characteristics shown in self introduction letter and professor’s recommendation letter
김상현
Sang Hyun Kim
강원대학교 의학전문대학원 미생물학교실
Department of Microbiology, Kangwon National University School of Medicine, Chuncheon, Korea
[[[[[
서론
자기소개서는 주로 진학과 취업을 목적으로 쓰이는 글로서 최근 다양화와 특성화를 추구하는 각 대학에서 모집단위 특성에 적합한 학생들을 선발하거나 차별화된 인재를 선발하기 위해 도입된 입학전형요소이다[1]. 자기소개서나 교수추천서는 학부모추천, 동료추천, 학생생활기록부, 면접 등의 여러 다면 정보에 속하며 국내 의학전문대학원(의전원) 입시에서 보편적으로 사용되는 양식이다. 그 동안 활용범위가 제한적이었으나 2007년도에 입학사정관제가 10개 대학을 중심으로 시작되면서 자기소개서의 중요성이 점차 커지게 되었다. 2013년 기준으로 26개 의전원 수시모집에서 25개 의전원이 자기소개서 제출을 요구하고 있으며 9개 의전원이 교수추천서를 제출하도록하고 있을 정도로 필수적인 전형요소로 인식되고 있다.
자기소개서는 자기보고서의 형태로 자아개념, 특기, 가치, 교내외에서의 활동과 성취 등에 대해 학생 자신이 설명하는 기록이며, 성적 등의 정량화된 도구로서 파악하기 힘든 학생의 논리력, 창의력 등의 특성을 나타내어 학생을 정성적으로 평가하는 데 도움을 주는 양식이다[2]. 이러한 자기소개서에는 자신의 능력에 대한 평가, 자신의 강점과 약점, 관심 분야, 지원동기, 향후 학습 계획 등이 포함된다[2]. 또한 대학입시에서 사용되는 자기소개서에는 자신의 능력과 꿈 등과 관련하여 자기 자신에게 문제를 제기하기도 하고, 그러한 문제를 해결하기 위해 어떠한 활동을 하였는지를 포함하기도 한다[3]. 그러므로 평가자 입장에서는 학생의 특성을 미리 파악하는 데 도움이 되고 구술 면접 시에 사전 질문거리를 만드는 데 실질적인 도움을 준다[4]. 입학을 목적으로 쓰이는 자기소개서는 친교나 성찰을 목적으로 하는 글과는 다른 몇 가지 독특한 특징을 가진다[5].
첫째, 수필과 같이 주관적인 성격을 가진 글이 아니라 공적인 성격을 가진 글이므로 지나치게 친근하거나 독특한 표현을 지양하고 객관적으로 작성되어야 한다[5]. 이러한 점에서 자기소개서는 James Britton의 글쓰기 분류에서 자기 표현적 글쓰기와 의사소통적 글쓰기의 중간단계에 위치한다고 볼 수 있다[6].
둘째, 설득을 목적을 가진 의도적인 글이므로 평가자의 의도를 염두에 두고 자신에 관한 긍정적인 정보를 전달할수 있도록 작성되어야 한다[5].
셋째, 분량이 정해진 글이다. 대부분의 의전원에서는 10개 이내의 항목에 400∼1,000자 이내의 제한된 글자 수를 요구하고 있으므로 한정된 분량에 맞추어 효과적으로 자신을 표현할 수 있도록 효율적인 단어를 선택하여야 한다. 대학에서 자기소개서에 포함되기를 요구하는 내용을 크게 4가지 영역으로 나누면 전공에 대한 열정(대학[학과] 지원 동기, 관심 분야, 학업 계획), 학과적성(지원자를 선발 해야하는 이유), 개인능력(자질, 가능성, 자기주도적 학습능력), 개인인성(봉사, 도전의식, 대인관계)이다[5].
한편, 영재판별과정 중에서 일어나는 지능검사와 성취도검사 등의 정량화된 검사 사이에 존재하는 선입견을 극복하기 위한 한 가지 방안으로 영재교육 대상자를 선발하는 데 있어서 교사추천서가 널리 활용되고 있다[7]. 교수추천서는 지원자의 특징을 다면적으로 기술하는 데 효과적이며 인지적 측면을 강조하는 기존의 학점위주의 획일적 선발방법을 보완하는 데 도움을 준다. 의전원 입시에서도 학부 성적과 영어 성적 등의 표준화된 도구의 한계를 보완하는 방안으로써 활용되는 교수추천서는 그 의의가 크다고 할 수 있다. 자기소개서에는 의전원에 지원하여 의사가 되고자 하는 학생의 행동특성이 나타나 있고, 교수추천서에는 교수가 오랜 기간 관찰해온 지원자에 대한 행동특성이 나타나게 된다. 교수추천서는 교수의 관점에서 쓴 내용이므로 주관적일 수 있지만 항목에 대한 정확한 기준이 제시되어 있고 객관적인 자세로 기술된다면 상당히 공식적일 수 있다[8]. 일반적으로 교수추천서에는 학생의 인성, 전공 적합성, 발전 가능성, 창의성 요소가 포함되지만 의전원 입학을 목적으로 쓰이는 교수추천서에는 의학도로서의 기본 자질(성실성, 도덕성, 봉사정신), 발전 가능성(창의성, 리더십, 도전정신, 대인관계), 의학 수행의 적합성(의학수행의 열의, 준비도, 학습능력) 등이 포함된다.
2013년 기준으로 수시모집에서 26개 의전원 중 25개 의전원이 자기소개서를 요구하고 있고 9개 의전원이 교수추천서 제출을 요구할 정도로 의전원 입시에서 광범위하게 활용되는 만큼 현재 의전원 입학전형에 사용되는 자기소개서와 교수추천서의 각 항목 및 모집단위에 대한 면밀한 검토를 통해 자기소개서와 교수추천서가 의전원생 선발 과정에서 좀 더 공정하고 객관적인 자료로 활용될 수 있는 방안을 모색해 보고자 하였다. 이번 연구에서는 의전원 입학생 선발에 사용되는 자기소개서와 교수추천서에서 지원자와 교수가 기술하고 있는 내용을 인지적, 정의적, 사회적 행동특성으로 나누어 빈도분석하였고, 자기소개서와 교사추천서 특성 간에는 어떠한 상관관계가 존재하는지를 분석하였다.
대상 및 방법
1. 연구 대상
2013년도 강원대학교 의학전문대학원 입학생 선발 수시모집 응시자 109명 중에서 일반전형 지원자 40명, 특별전형 지원자 52명, 정시모집 응시자 중 M.D.Ph.D. 과정 지원자 17명(서류 미비 2명 제외)을 대상으로 하였다.
2. 연구 방법
수학과 과학 영재의 24가지 행동 특성 중에서 수학적, 과학적 특성만을 표현하는 특성을 제외하고 일반적으로 지적으로 우수한 성인에게 적용 가능한 17가지 특성을 이용하여 분석하였다[9,10,11,12,13,14]. 지원자와 교수가 언급하고 있는 내용을 인지적 행동특성으로는 지적호기심, 문제해결능력, 창의성, 자기주도적 학습능력, 의사소통능력 등 총 5항목, 정의적 행동특성으로는 의학적성, 자신감, 도전정신, 다재다능함, 완벽주의, 자아개념, 내적동기, 적극성, 목표의식 등 총 9항목, 사회적 행동특성으로는 도덕성, 사회성, 리더십 등 총 3항목으로 나누어 분석하였다(Table 1, Appendix 1, 2, 3).
3. 자료 분석
자기소개서와 교수추천서에 나타난 학생의 행동특성을 항목 별로 빈도분석하였다. 각 행동특성들의 빈도 차이의 유의성을 알아보기 위해 χ2 검증을 실시하였고, 각 행동특성들의 상관관계를 알아보기 위하여 Pearson의 단순적률상관계수를 이용한 상관관계를 분석하였다. 모든 통계분석은 SPSS version21.0 (IBM SPSS Inc., Chicago, USA)을 사용하였다.
결과
1. 전체 지원자들의 자기소개서에서 나타난 행동특성
2. 수시지원 학생과 M.D.Ph.D. 프로그램 지원학생의 자기소개서에서 나타난 행동특성
3. 남학생과 여학생의 자기소개서에서 나타난 행동특성
4. 교수추천서에서 나타난 지원자의 행동특성
5. 자기소개서와 교수추천서에 나타난 행동특성들의 상관관계 분석
고찰
자기소개서와 교수추천서의 내용 분석을 통하여 의전원에 입학하려는 학생들이 자기 자신에 대해 기술한 행동특성과 학생을 곁에서 오랜 기간(평균 3년 7개월) 관찰해 온 교수가 객관적 입장에서 기술한 예비의료인의 행동특성을 확인하였다. 개인의 풍부한 발달은 인지적 영역과 사회정의적 영역 간의 상호작용을 통해서 이룰 수 있다고 한다[15]. 한편 영재의 경우 일찍부터 가치, 공정함, 정의감을 발달시키고 구체화시키면서 내면화시킨다고 하였고 다른 사람의 권리와 감정을 쉽게 이해할 수 있다고 한다[2]. 의전원 지원자를 영재의 기준에서 보았을 때 인지적, 정의적, 사회적 영역의 상호작용 속에서 의사로서의 소양을 이룰 수 있으므로 인지적, 정의적, 사회적 특성을 행동특성의 분석기준으로 사용하였다.
자기소개서와 교수추천서 모두에서 의학적성이 가장 많이 언급되었다. 교수와 학생은 공통적으로 의학적성을 중요시하며 기술하고 있다는 것을 알 수 있었다. 의전원에 지원한 학생은 자기소개서에서 지원하려는 학과의 특성이 자신들에게 적합함을 우선적으로 강조한다는 것을 알 수 있었고, 교수는 의사라는 직업적 특성에 지원자가 적합함을 추천서에서 우선적으로 강조한다는 것을 알 수 있었다. 교수추천서의 사회적 특성에서 가장 많이 언급된 것은 사회성으로 교수의 입장에서는 사회에 잘 적응하고 대인관계가 원만한 것을 중요시한다는 것을 알 수 있었다. 자아개념은 교수추천서에서는 언급되어있지 않았고 자기소개서에서만 확인할 수 있었는데 이는 자기 자신에 대한 의식이 자기소개서에서만 나타나기 때문인 것으로 생각되었다. 학생은 자신의 내면적 특성을 가장 잘 보여주는 정의적 특성을 자기소개서에서 가장 많이 언급하는 반면에 이를 확인하기 힘든 교수는 외면적 관찰이 용이한 학생의 인지적 특성과 사회적 특성을 추천서에 많이 언급하고 있음을 알 수 있었다. 학생 스스로가 창의성이 있음을 판단하는 것은 다소 어려울 수가 있지만 창의성에 대한 언급 빈도는 31회로 가장 적었는데 무의식, 직관적, 통찰적인 면과 관련된 창의성이 의전원에 지원하려는 학생에게서 부족할 가능성이 있다는 것을 알 수 있었다. 지적호기심, 문제해결능력, 창의성, 자기주도적 학습능력, 의사소통능력 등 모든 인지적 특성이 교수추천서에서보다 자기소개서에서 더 많이 언급되었고 빈도수에서 의미 있는 차이를 보여주었다(p<0.05). 또한 수시 지원 학생과 M.D.Ph.D. 프로그램 지원 학생의 자기소개서에 기술된 행동특성의 빈도분포는 인지적 특성, 정의적 특성, 사회적 행동특성에서 M.D.Ph.D. 프로그램 지원 학생이 의미 있게 많이 언급하였다(p<0.05). 남학생은 정의적 특성인 의학적성, 다재다능함을 여학생보다 많이 언급하였으며 반면에 여학생은 도전정신과 도덕성을 남학생보다 많이 언급하여 남녀 학생 사이에 자기소개서를 기술하는 데 있어서 의미 있는 차이가 있음을 확인하였다(p<0.05).
지원자는 자신이 직접 기술한 자기소개서에 교수가 쓴 추천서에서 보다 자신의 특성에 대해 약 3배 더 많은 내용을 기술하고 있음을 알 수 있었다. 학생은 자신의 소개서를 쓸 때 본인의 특성을 가장 잘 표현하려고 노력하고 있음을 알 수가 있었고 반면에 교수는 한 명의 학생만 추천하는 것이 아니라 여러 명의 학생들의 추천서를 써야하기도 하고 그 학생에 대한 정확한 관찰과 이해가 부족한 가운데 추천서를 쓰기 때문에 여러 행동특성의 기술도 많이 빈약해진다고 할 수 있었다. 또한 교수추천서에서는 인지적 특성이 가장 많이 언급되어 있으므로 교수들은 지원자의 특성을 파악할 때 인지적 특성을 주로 관찰하고 추천서에 기술한다는 것을 알 수 있었다. 이를 통해 평소에 학생면담과 생활지도를 할 때 교수들이 학생들의 정의적 특성과 사회적 특성을 균형 있게 파악할 수 있도록 체계적인 교수법이 의전원 차원에서 필요함을 제시해 주었다. 교수는 학생의 학업에 대한 열정과 학습능력, 원만한 대인관계, 의사소통능력을 추천서에서 많이 강조하는 경향이 있다는 것을 알 수 있었다. 자기소개서를 구성하는 하위 요소들과의 상관관계를 분석한 결과 자기소개서에 인지적 특성이 서술되어 있는 학생일수록 교수추천서에서는 인지적 특성이 강조되고 있다고 해석할 수 있었고 자기소개서에 정의적 특성이 서술되어 있는 학생일수록 교수추천서에서는 인지적 특성과 정의적 특성이 강조되어 언급되어 있다고 해석할 수 있었다(Table 3).
자기소개서와 교수추천서는 글 내용에 대한 신뢰도의 의문, 글쓰기의 기교가 실제 평가에 반영될 가능성이 높다는 점, 평가자 간에 일관성 있는 채점이 어렵다는 점 등으로 인해 입학전형에서 중요성이 간과되기 쉬운 면이 있다[12]. 그러나 대학 학점과 영어 성적 등의 정량화된 자료만으로는 평가하기 어려운 학생의 다양한 정보를 수집 활용할 수 있는 자기소개서와 교수추천서는 매우 귀중한 자료임이 분명하다. 자기소개서의 내용과 양식은 각 대학별로 대학의 교육이념에 부합하는 인재를 선발할 수 있도록 대학특성에 맞게 변경되어 사용되기도 하지만, 지원자의 잠재능력을 다면적으로 평가하여 대학의 특성에 맞는 학생을 선발할 수 있도록 대학당국은 사전에 자기소개서 작성에 관한 구체적이고 일관된 기준을 제시하는 것이 좋겠다[3].
한편, 관찰 추천 영재 선발 시 사용되는 다면정보들을 활용할 때는 여러 원칙들이 제시되고 있는데 이 중에서
총체적인 관점의 원리,
맥락성의 원리,
실증가능성의 원리,
개별성의 원리,
집단 숙의의 원리
등은 의전원생을 선발할 때에 사용되는 자기소개서와 교수추천서에도 적용이 가능하다[16].
총체적인 관점의 원리란 가능한 한 여러 가지 평가정보를 수집하여 평가 정보 간의 교차 점검을 통해 종합적인 질적 판단을 하는것 이다. 인지적, 정의적 측면을 포함하여 체험 기록이나 추천내용 등을 포괄적으로 고려하여 평가 교수 간의 집단 토론을 통해 점수로 정량화하지 않고 학생의 특성을 객관적으로 파악할 수 있게 해 준다[16].
맥락성의 원리란 지원자는 다양한 문화적, 경제적 영향을 받으며 성장하는데 학생의 현재의 모습이 어떠한 영향을 받으면서 성취되었는지를 파악해 보는 것이다[16].
실증가능성의 원리란 지원자는 자기소개서와 교수추천서를 통해 자신을 능력을 과시하는 경향이 있으므로 실증적이고 객관적인 자료 검증을 통해서만 파악하는 것이다[16].
개별성의 원리란 학생의 고유한 인격, 잠재력 및 역량을 개별적으로 평가하고 가늠하는 것이다[16].
집단 숙의의 원리란 평가자인 교수개인의 주관적인 평가가 아니라 자기소개서와 교수추천서에 나타난 사실에 대한 종합적인 이해를 바탕으로 평가 교수들 간에 효과적이고 개방적인 토론을 통해 집단적으로 판단하는 것이다[16].
그러므로 이러한 원칙들을 활용하여 자기소개서와 교수추천서가 평가 된다면 의전원 입학전형에 귀중한 자료들로 활용될 수 있을 것이다. 그리고 이와 더불어 학생의 잠재력을 공정하고 객관적으로 평가할 수 있는 자기소개서나 교수추천서의 작성방법에 대한 연구도 지속적으로 필요하다고 하겠다.
Department of Microbiology, Kangwon National University School of Medicine, Chuncheon, Korea
Corresponding Author: Sang Hyun Kim Department of Microbiology, Kangwon National University School of Medicine, 1 Gangwondaehak-gil, Chuncheon 200-701, Korea Tel: +82.33.250.8863 Fax: +82.33.242.7571 email:sanghyun@kangwon.ac.kr
Received May 20, 2013 Revised January 27, 2013 Accepted January 23, 2013
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted noncommercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Holistic review is a flexible, individualized way of assessing an applicant’s capabilities by which balanced consideration is given to experiences, attributes, and academic metrics and, when considered in combination, how the individual might contribute value as a medical student and physician.
About Holistic Admissions
A core element of holistic admissions involves widening the lens through which we view applicants, recognizing and valuing different dimensions that shape each individual. The Project’s Experiences-Attributes-Academic Metrics (E-A-M) model translates that concept into a useful tool and provides admissions staff and committee members with a shared framework for thinking broadly about diversity, identifying mission-based criteria that take into account the whole applicant, and spark thinking about applicants as future physicians, rather than merely as prospective students.
An integrated holistic admissions process incorporates four core principles at each stage: screening, interview, and selection. These four core principles emphasize the importance of giving individualized consideration to every applicant and provide operational guidance to ensure that admissions processes and criteria are both mission- and evidence-based, promote diversity, and use a balance of experiences, attributes, and academic metrics.
Definition
Holistic review is a flexible, individualized way of assessing an applicant’s capabilities by which balanced consideration is given to experiences, attributes, and academic metrics and, when considered in combination, how the individual might contribute value as a medical student and physician.
Four Core Principles
1.
In a holistic admissions process, selection criteria are broad-based, clearly linked to school mission and goals, and promote diversity as an essential element to achieving institutional excellence.
2.
A balance of experiences, attributes, and academic metrics (EAM) is
Used to assess applicants with the intent of creating a richly diverse interview and selection pool and student body;
Applied equitably across the entire candidate pool; and
Grounded in data that provide evidence supporting the use of selection criteria beyond grades and test scores.
3.
Admission staff and committee members give individualized consideration to how each applicant may contribute to the medical school learning environment and practice of medicine, weighing and balancing the range of criteria needed in a class to achieve the outcomes desired by the school.
4.
Race and ethnicity may be considered as factors when making admission-related decisions only when such consideration is narrowly tailored to achieve mission-related educational interests and goals associated with student diversity, and when considered as part of a broader mix of factors, which may include personal attributes, experiential factors, and demographics. Or other considerations.*
*Under federal law (and where permitted by state law)
The 15 Core Competencies for Entering Medical Students (defined below) have been endorsed by the AAMC Group on Student Affairs (GSA) Committee on Admissions (COA). The competencies fall into four categories: Interpersonal, Intrapersonal, Thinking and Reasoning, and Science.
Interpersonal Competencies
Service Orientation: Demonstrates a desire to help others and sensitivity to others’ needs and feelings; demonstrates a desire to alleviate others’ distress; recognizes and acts on his/her responsibilities to society; locally, nationally, and globally.
Social Skills: Demonstrates an awareness of others’ needs, goals, feelings, and the ways that social and behavioral cues affect peoples’ interactions and behaviors; adjusts behaviors appropriately in response to these cues; treats others with respect.
Cultural Competence: Demonstrates knowledge of socio-cultural factors that affect interactions and behaviors; shows an appreciation and respect for multiple dimensions of diversity; recognizes and acts on the obligation to inform one’s own judgment; engages diverse and competing perspectives as a resource for learning, citizenship, and work; recognizes and appropriately addresses bias in themselves and others; interacts effectively with people from diverse backgrounds.
Teamwork: Works collaboratively with others to achieve shared goals; shares information and knowledge with others and provides feedback; puts team goals ahead of individual goals.
Oral Communication: Effectively conveys information to others using spoken words and sentences; listens effectively; recognizes potential communication barriers and adjusts approach or clarifies information as needed.
Intrapersonal Competencies
Ethical Responsibility to Self and Others: Behaves in an honest and ethical manner; cultivates personal and academic integrity; adheres to ethical principles and follows rules and procedures; resists peer pressure to engage in unethical behavior and encourages others to behave in honest and ethical ways; develops and demonstrates ethical and moral reasoning.
Reliability and Dependability: Consistently fulfills obligations in a timely and satisfactory manner; takes responsibility for personal actions and performance.
Resilience and Adaptability: Demonstrates tolerance of stressful or changing environments or situations and adapts effectively to them; is persistent, even under difficult situations; recovers from setbacks.
Capacity for Improvement: Sets goals for continuous improvement and for learning new concepts and skills; engages in reflective practice for improvement; solicits and responds appropriately to feedback.
Thinking and Reasoning Competencies
Critical Thinking: Uses logic and reasoning to identify the strengths and weaknesses of alternative solutions, conclusions, or approaches to problems.
Quantitative Reasoning: Applies quantitative reasoning and appropriate mathematics to describe or explain phenomena in the natural world.
Scientific Inquiry: Applies knowledge of the scientific process to integrate and synthesize information, solve problems and formulate research questions and hypotheses; is facile in the language of the sciences and uses it to participate in the discourse of science and explain how scientific knowledge is discovered and validated.
Written Communication: Effectively conveys information to others using written words and sentences.
Science Competencies
Living Systems: Applies knowledge and skill in the natural sciences to solve problems related to molecular and macro systems including biomolecules, molecules, cells, and organs.
Human Behavior: Applies knowledge of the self, others, and social systems to solve problems related to the psychological, socio-cultural, and biological factors that influence health and well-being.
Admissions is often the first encounter that aspiring physicians have with each medical school, and it serves as the gateway into the medical profession. We are all committed to identifying and fostering a capable, diverse, and compassionate future physician workforce. While medical school admissions policies and processes vary based on your institutional mission and goals, there are still many shared elements. This page provides a centralized repository of AAMC tools and resources to support you in designing your admissions process, evaluating applicants, finalizing your matriculating classes with the AAMC, and reviewing and refining your process after each cycle.
