의과대학 입학의 도덕성(Adv Health Sci Educ Theory Pract. 2004)

의과대학 입학의 도덕성(Adv Health Sci Educ Theory Pract. 2004)

Editorial – The Morality of Medical School Admissions

GEOFF NORMAN

이번 호는 정확히 theme issue는 아니지만 우리는 3 개의 원본 기사와 Reflection을 가지고 있습니다 (Eva & Reiter, 2004; Ginsburg, Schreiber & Regehr, 2004; Kreiter et al., 2004; Marrin et al., 2004). 입학 절차와 관련이 있습니다. 이 article들은 여러 article가 이전에 해왔 던 것처럼 (Salvatori, 2001; Kulatunga-Moruzi & Norman, 2002), 프로세스의 신뢰성과 타당성에 초점을 맞추지 않고 그 대신 입학 조치에서 이러한 가치의 과정과 운영에 관한 고유 한 가치를 비판적으로 검토함으로써 독특한 관점을 제시한다. 

This issue is not exactly a theme issue, but we do have three original articles and a Reflections piece (Eva & Reiter, 2004; Ginsburg, Schreiber & Regehr, 2004; Kreiter et al., 2004; Marrin et al., 2004) all related to the admissions process. In combination, these articles present a unique perspective, focussing not simply on the reliability and validity of the process, as many articles have done before (Salvatori, 2001; Kulatunga-Moruzi & Norman, 2002), but instead critically examining the values inherent in the process and the operationalization of these values in admissions measures. 

에바 (Eva)가 논의한 바와 같이, 모든 딜레마는 '좋은 의사를 만들기 위해 더 높은 점수 이상(more than)을 필요로 한다'는 점을 받아 들일 것이지만, 우리는 '높은 점수'와 'more than'이 상호 배타적 인 것처럼 행동합니다. 에바 (Eva)가 종종 잊어 버리는 요점을 강화하기 위해 이 기회를 빌자. 훌륭한 임상가가되기 위해선 좋은 점수 이상을 필요로한다고해서, 반드시 좋은 점수와 좋은 사람 중에서 하나를 선택해야한다는 것을 의미하지는 않습니다. 이 전략은 marks과 charm이 완전히 역으로 상관되는 경우에만 필요합니다. 그렇다면 우리는 정말로이 둘을 가진 사람을 찾을 수 없을 것입니다. 그러나 Eva가 보여 주듯이, makrs과 personality은 반비례하지 않습니다. 어떤 것이라도 긍정적으로 상관됩니다. Eva의 데이터 세트에서 상관 관계는 + 0.15입니다. 상관 관계가 없어도 점수와 매력을 지닌 후보자는 여전히 많이 있습니다. 에바 (Eva)가 이것으로부터 끌어 낸 함의는 다시 말해서 가치가 있습니다. 높은 점수와 좋은 사람 사이에서 선택을 할 필요는 없습니다. 두 가지를 모두 갖춘 후보자가 많이 있으며, 이들 후보자를 선택해야합니다.

As Eva has discussed, one dilemma is that, while all will accept that ‘it takes more than high marks to make a good doctor’, we continue to act as if the ‘high marks’ and the ‘more than’ are mutually exclusive. Let me take this opportunity to reinforce a point that Eva makes which is often forgotten. That it takes more than good marks to make a good clinician does not imply that we will inevitably find ourselves having to choose between good marks and nice persons. That strategy would only be necessary if marks and charm were perfectly inversely correlated. Then we really would not be able to find someone who has both. But as Eva shows, marks and personality are not inversely related; if anything they are positively correlated. In Eva’s data set, the correlation was+0.15. Even with a zero correlation, there are still lots of candidates who have both marks and charm. The implication Eva draws from this is worth reiterating. It need not be a choice between high marks and nice persons. There are lots of candidates who have both, and these are the ones we should select. 

그러나 진술을 승인 한 후에 실제 연습으로 넘어 가면 아주 미끄러운 경사가됩니다. 프로그램, 대학 및 국가의 표준화에 대한 우려가 있음에도 불구하고 marks를 쉽게 평가할 수 있습니다. 그러나 우리가 non-cognitive factor의 측정으로 돌아 가면 측정이 훨씬 더 어려워집니다. 

• 자서전 서적의 경우, 사기는 가능하지 않습니다. 그렇지만 그것은 잘 문서화 된 사실입니다. 

• 면접 시험과 같은 측정의 신뢰성은이 문제에서 Kreiter가 보여준 것처럼 의심 스럽습니다. 

• 그리고 Kulatunga-Moruzi의 연구에서 인터뷰와 추천서의 예측 타당성은 의사 소통 기술과 같은 비인지적 척도를 예측할 때조차도 매우 낮았습니다. 

Marks 외의 것들에 대한 평가는 많은 학교들이 매우 정교하고 노동 집약적이며 값 비싼 추첨을 진행하는 과정에 종사하고 있다고 말하는 것조차 과장이 아니다.

However, once you go beyond endorsement of the statement to actual practice, it becomes a very slippery slope. We can easily assess marks, albeit with some concern about standardization across programs, universities and countries. However, when we turn to measures of non-cognitive factors, measurement is much more difficult. For autobiographical letters, fraud is not a possibility; it is a well-documented fact. The reliability of measures like the interview is questionable, as shown by Kreiter in this issue. And in Kulatunga-Moruzi’s study, the predictive validity of interview and letter, even in predicting non-cognitive measures like communication skills, was very low. It is not too big a stretch to suggest that, once we go beyond marks, many of our schools are engaged in the process of conducting a very elaborate, labour-intensive, and expensive lottery. 

일부 관할 지역에서는 이를 인정하고 그것에 대해 뭔가를했습니다. 그들의 실용주의로 널리 존경받는 네덜란드 인은 국영 추첨을 사용하여 학생을 선발했습니다. 1970 년대 이래 시행되었고, 성적이 높으면 당첨 기회가 올라간다. 일부 학교는 추가 letter나 인터뷰를 시도하지만 대부분은 그렇지 않습니다.

Some jurisdictions have recognized this and done something about it. The Dutch, widely admired for their pragmatism, have been selecting students using a state-run lottery, where the higher your marks the more tickets you get, since the 1970s. Some schools attempt an additional letter or interview, but most do not. 

그러나 나머지 사람들은 우리가 가지고 있을지도 모르는 불안감에도 불구하고 편지와 인터뷰에 의존한다. Nayer (1992)가 지적했듯이, 북미 의과 대학의 99 % 이상이 여전히 인터뷰에 의지하고 있으며, 그것이 제한된 가치임을 시사하는 풍부한 데이터를 무시한 것으로 보인다. 유감스럽게도 이 낭만적인 인터뷰 의식에 대한 또 다른 부정적인 결과는 입학을 위한 marks 사용에 대한 거의 보편적 인 비난입니다. Best (1989)가 말했듯이, Powis (2004)의 말 :

But the rest of us appear to soldier on with our letters and interviews, despite the misgivings we may have. As Nayer (1992) indicated, more than 99% of North American medical schools still rely on an interview, apparently choosing to ignore a wealth of data suggesting that it is of limited value. Regrettably, one other negative consequence of this romantic adherence to the ritual of the interview is an almost universal condemnation of the use of marks for admissions. As Best (1989) said, quoted by Powis (2004): 

사춘기 말기의 시험에서 받은 높은 점수를 인간적이고 돌보는 의학 전문직과 동일시하는 논리의 비약은 말도 안되지만, 아무도 "충분히 높은 성적을 가진 자를 선발하는 전략"과 전투를하기에 충분히 강한 다른 해결책을 가지고 있지 않기 때문에 지속된다. '

‘The leap of logic that equates high marks in an examination at the terminal end of adolescence with a humane and caring medical profession is a nonsense, but is sustained because nobody has any other solution which is strong enough to combat… the ‘‘high enough mark’’ method.’ 

메서드의 전반부에서 발생하는 문제는 대처하기 쉽습니다. Marks에 초점을 맞추는 것은 '난센스'가 아닙니다. Marks은 수년 간의 대학 또는 고등학교 성적을 반영합니다. 따라서, 그들은 지능과 동기 부여의 지표이자 의학을 이해하는 개념을 이해하는 데 필수적인 주제 분야의 숙달입니다. 따라서 대학에서 의과 대학의 성적 및 면허 시험에 대한 성과를 예측할 수 있는지 여부와 상관없이 미래 성과에 대한 평가 지표 (예 : 과거 성과)가 지속적으로 미래 성과를 예측하는 데 놀랄만 한 것은 아닙니다. 

It is easy to take issue with the first half of the method. A focus on marks is not ‘nonsense’. Marks reflect a number of years of university or high school performance. As such, they are an index of both intelligence and motivation, as well as mastery of subject areas essential for understanding the concepts underpinning medicine. It is not, therefore, surprising that marks (i.e., past performance) are consistently the best predictor of future performance, whether it is marks in university predicting 

• medical school performance and performance on licensing examinations (Kulatunga-Moruzi & Norman, 2002; Salvatori, 2001), 

• performance on licensing examinations predicting performance in specialties (Case & Swanson, 1993), or 

• marks on specialty examinations predicting performance in practice (Norcini, Lipner & Kimball, 2002; Ramsey et al., 1989). 

더욱이 상관 관계는 사소한 것 (일반적으로 0.3에서 0.6까지)과는 거리가 멀며, 내용의 일치와 직접적인 관련이 있습니다 (Case & Swanson, 1993). 또한, 시험을 예측하는 시험의 경우 만이 아닙니다. practice measure의 결과를 보면, 한 연구에서 동료 평가 였고 다른 하나는 MI 이후의 환자 사망률이었습니다. 물론 예외가 있습니다. 예를 들어 Neame, Powis & Bristow (1992)는 구조화 된 인터뷰가 의과 대학에서 withdrawal을 예측하는데 가장 좋은 척도임을 보여주었습니다. 그러나 그것은 인턴 수행을 예측하지 못했다 (Rolfe et al., 1995)

Moreover, the correlations are far from trivial, typically in the range from 0.3 to 0.6, with the magnitude of the correlation directly related to the matching of content (Case & Swanson, 1993). Further, it is not just a case of tests predicting tests – the practice measures were, in one study, peer ratings, and in the other, patient mortality rates post-MI. Of course, there are exceptions; for example, Neame, Powis & Bristow (1992) showed that a structured interview was the best predictor of withdrawal from medical school. But it did not predict intern performance (Rolfe et al., 1995). 

그러나 정말로 중요한 것은 후반부입니다. Marks가 (비인지적 척도보다 일관되게 더 우수한 정도로) performance를 예측한다고 하더라도, 아직 오지 않은 어떤 유토피아적 미래만 기다리는 것은 의미가 없습니다. 여기에 대한 해법은 marks를 덜 강조하는 것이 아니라, (지금까지 잘 측정해오지 못했던) 다른 특성에 대한 더 나은 측정 방법을 개발하는 것이다. OSCE와 비슷한 샘플링 전략을 갖춘 다중 미니 인터뷰 (MMI, Eva et al., 2004)는 실제 약속을 갖고있는 것으로 보입니다. 그러나 MMI가 궁극적으로 승리하든 지든간에, 상황을 바꿀 수 있는 잠재력을 가진 것은 공허하게 격렬한 비판이 아니라, 이와 같은 견고한 연구입니다.

But it is the second half of the quote that really matters. Given that marks do predict performance, with a consistency and at a level that cannot be matched by non-cognitive measures, it makes no sense to pine for some utopian future time when they will not count. The solution does not come from de-emphasizing marks, but from developing better measures of other characteristics that are equally important, but poorly measured. The multiple mini-interview (MMI; Eva et al., 2004, in press), with its OSCE-like sampling strategy, appears to have real promise. But whether the MMI ultimately wins or loses, it is solid research like this, rather than empty polemics about the sorry state of affairs, that has real potential to change things. 

이 실질적인 연구에 대한 무지는 상황에 따라 용서받을 수 있습니다. 결국 우리는 바쁜 입학 담당자가 최신문헌을 따라 잡을 것으로 기대할 수 없습니다. 그러나 이 경우 피해는 단지 자원을 낭비하는 것 이상의 가치가 있다고 생각합니다. 그것은 과실에 불과합니다. 이것은 내 타이틀의 '도덕성'이 나타나는 부분입니다.

Ignorance of this substantial research may be forgivable under circumstances; after all we cannot expect busy admissions officers to also keep up with the literature. But in this case, I believe the damage amounts to more than just squandering resources; it is nothing less than negligence. This is where the ‘morality’ part of my title emerges. 

베시를 소개해 드리겠습니다. 나는 그녀를 심리학 파티에서 몇 년 만났습니다. 그녀는 막 박사 학위를 마쳤습니다. 심리학에서, 그리고 의과 대학에 가기를 희망하고 있었다. 그녀는 매력적이었고, 나가고, 분명히 매우 똑똑했습니다. 그녀는 제가 의과 대학에 연루되었다는 것을 알았 기 때문에 이야기하기 시작했습니다. 그리고 그녀는 의과 대학에 입학하려했으나 실패했습니다. 그녀는 황폐 해졌고, 왜 그녀가 그 인터뷰를 '날려 버렸는가'를 알고 있다고 생각했습니다. 그녀는 어떻게해야합니까, 그녀는 물었다. 나는 '다른 복권을 사세요'라고 대답했다. 그러나 나는 이해하지 못했다. 그녀는 인터뷰에 실패했다. 그녀에게 뭔가 잘못된 것이있었습니다. 명백한 실패를 바로 잡기 위해 할 수있는 일이 없었습니까? 나는 그것이 그녀의 잘못이 아니라는 것을 계속 강조하면서, 문제는 그녀의 성격에 있는 것이 아니라 심각하게 결함이있는 과정이라는 것을 깨닫기 시작했다. 그녀는 나의 주장을 머리로는 이해했을지 몰라도, 그녀는 실패를 내면 화하는 것을 멈출 수 없었습니다.

May I introduce you to Betsy. I met her at a Psychology party some years. She had just completed her Ph.D. in psychology, and was hoping to go to med school. She was, and is, charming, outgoing, and obviously very intelligent. We started talking because she knew I was involved in the med school, and she had just tried, and failed, to get into medical school – again. She was devastated, and thought she knew why – she had ‘blown’ the interview. What should she do, she asked. ‘Buy another lottery ticket’, I replied. But I did not understand – she had failed the interview. There was something wrong with her. Wasn’t there something she could do to remediate her obvious failings? As I continued to reiterate that it was not her fault, that it was not a character defect, that it was simply a seriously flawed process, I began to realize that, although at an intellectual level she must have understood my arguments, at another level, she could not stop internalizing her failure. 

그리고 여기에 진짜 악마가 있다. 입학 면접과 추천서는 교수 및 커뮤니티 자원의 낭비입니다. 이 자원 봉사 시간을 고려할 때 입학의 실제 비용은 엄청납니다. 더 나은 의대생을 선발하는 측면에서이 전체 과정의 이점이 매우 모호한 것은 아닙니다. 이 중 하나라도 이러한 조치의 의문없는 사용에 도전하기에 충분할 것입니다. 그러나 입학에 합당한 10 %를 선택하는 과정에서 (따라서 사회에서 존중 받고 돈이 많이 드는 곳을 보장받는) 다른 90 %에게 이렇게 말하고 있습니다. 너희들은 가치가 없다. 너희들은 충분히 좋지 않다. 너희들은 개인적으로 실패한 것이다. 

And therein lies the real evil. It is not that admissions interviews and letters are a costly waste of faculty and community resources; it is not that the real cost of admissions when you factor in this volunteer time is enormous; it is not that the benefit of this whole process in terms of selecting better medical students is highly dubious. Any one of these things would be sufficient to challenge the unquestioning use of these measures. But in the course of selecting the 10% who are worthy of admission (and hence guaranteed an esteemed and well-paid place in society), we are telling the other 90% 

that they are unworthy; 

that they are not good enough, 

that they have personal failings. 

그러나 우리가 가진 증거는 별자리 점보다 조금 나은 것 같습니다. 최소한 우리가 별자리로 판단한다면, 대부분의 사람들은 자신의 개인적인 특성이 측정되지 않는다는 사실을 깨닫지 못할 것입니다 (그리고 그들의 운세가 진실로 입학 자격이없는 것일 수도 있다고 믿는 사람들).

Yet the evidence we have is likely little better than a horoscope. At least if we judged them by a horoscope, most would not be devastated to learn that their personal qualities did not measure up (and those who did believe their horoscopes may truly be unworthy of admission!). 

왜이 시대에 최우수 의료 교육 (Best Evidence Medical Education)을 받았 는가, 왜 자서전 서신과 같은 불명예스러운 방법에 입학위원회가 집착합니까? 이들의 제한된 가치의 이미 수십 년 동안 증거가 쌓여왔다. 이 전문적인 쓰레기 촬영을 계속하기 위해 막대한 자원을 소비하는 대신, Eva의 기사에서 설명한 다중 미니 인터뷰 (Multiple Mini-Interview)와 같은 독창적 인 대안으로 자금을 전환 한 경우 이전에 문제가 해결되었을 수있었습니다.

Why, in this era, of Best Evidence Medical Education, do admissions committees cling to discredited methods like autobiographical letters? Evidence of their limited value has been available for decades. If, instead of expending enormous resources to continue this professional crap shoot, we had diverted funds to creative alternatives like the Multiple Mini-Interview, described in Eva’s article, we could have had the issue resolved a long time ago. 

우리는 할 수 있고 더 잘해야합니다. 우리는 미래의 세대의 지원자들이, 그리고 우리 자신이 그 수혜자가 될 것이다.

We can, and must do better. We owe it to future generations of applicants, and to ourselves, who may well be beneficiaries of their care.

---

Adv Health Sci Educ Theory Pract. 2004;9(2):79-82.

The morality of medical school admissions.

Norman G.

PMID:

 

15222333

[Indexed for MEDLINE]