의사국가시험이 필요한가, 아니면 필요하지 않은가? 그것이 문제로다 (Med Educ, 2016)

의사국가시험이 필요한가, 아니면 필요하지 않은가? 그것이 문제로다 (Med Educ, 2016)

National licensing exam or no national licensing exam? That is the question

Brian Jolly

이 commentary에서 의사국가시험(NLE)가 최근의 몇 가지 걱정스러운 문제들을 해결하는 최선의 방식이라는 NLE 지지자들에게 이의를 제기하고자 한다.

In this commentary I wish to chal- lenge the case that proponents have used to support the idea that national licensing examinations (NLEs) are the best way to tackle a number of recent troubling find- ings.

첫째로, 모든 평가는 규제를 위하여 도입된 것이 아니라 교육과정 전략의 한 부분이라는 점, 그리고 어떤 평가든 그것이 도입될 때는 기존의 교육과정 설계 프로세스에 주요한 영향을 줄 것이라는 점이다. 둘째로, 앞서 문제가 되는 것으로 제기된 것들은 그다지 '명백한' 것들이 아니다. 세번째로, NLE를 필두로 한 전략이 적합한지에 대해서 생각해보기 전에 다양한 의과대학 간 기준을 정하는 작업이 선행되어야 한다.

First, that any assessment has to be part of a curricular strategy rather than a regulatory imposition, and that to impose any assessment will have a major impact on the exist- ing curriculumdesign process. Second, that the evidence that is quoted as troubling is far from clear-cut. And third, because of this, more work needs to be done on benchmarking across different schools before we could even begin to think that an NLE-focused solu- tion would be adequate.

우리는 '평가가 학습을 유도한다'라는 것을 알고 있다. 이 문구는 의학교육의 예배식(liturgy)에 매우 뚜렷한 것이었다. 한 개인의 능력을 좌절시키고, 또한 일부 사람들의 숙달(master)하고자 하는 동기부여를 꺾는 과목을 학습하고자 노력하는 것의 불가피한 결과로서 받아들여지고 있다.

We know that ‘assessment drives learning’. It is widely appreciated as the inevitable consequence of trying to learn a discipline that defeats anyone’s capacity, and some people’s motivation, to mas- ter it.

현실에서는 '평가는 학습되어지는 것을 유도한다'라고 보는 것이 보다 정확할 것이다. 비록 평가 자체가 실제의 교수-학습 프로세스를 유도할 수도 있지만, 대부분은 그러하지 않다. 프로그램이 가진 목적과 관련해서, 평가는 의과대학에서 요구되는 중요한 성과나, 임상 환경에서의 상호작용, 공감하고 공정한 의료를 실천하기 위해 배우고자 하는 헌신, 지속적인 전문성 개발을 위한 윤리적/사회적 책임 등의 정의를 설정하는 것이 아니라 그것을 뒷받침하는 역할을 한다.

In reality it might be more precise to say that assessment driveswhat is learned. Although assess- ment can drive the actual learning and teaching process, it usually does not. In relation to the goals of the programme, assessment is sup- posed to serve rather than establishthe definition of the overarching outcomes required of medical schools, the interactions in the clin-ical environment, the dedication tostudy and to delivering compas- sionate and equitable health care, and the ethical and social responsi- bility for continual professional development.

평가가 교육과정 전략의 한 부분으로서 들어가지 않으면, 그것을 종합적이면서 충분한 해결책이 아니다. 

'좋은 의사'를 양성하는 한 방법으로 NLE를 사용하는 것은 불가피한 것의 영역으로서의 지위를 공고히 하고 있어 보인다. Swanson and Roberts가 수행한 NLE의 트렌드에 대한 리뷰에서 NLE는 '좋은 것'인 것으로 굳건히 가정되고 있다.

The belief that one way to deal with the global need for ‘good doctors’ is to develop national licensing examinations (NLEs) also seems to be crystallising into the realm of being inevitable.3 In Swanson and Roberts’ stimulating and scholarly review of the trends in NLEs there seems to be a fairly firmly held assumption that NLEs are ‘a good thing’.

저자들은 의과대학 간 차이를 보여주는 여러 흥미로운 연구들을 인용하며, 여러 의과대학 졸업생들 사이에 vocational training examinations 혹은 기존의 NLE에서 성취한 정도의 차이가 다양함을 보여주었다.

The authors quote a number of very intriguing studies that show variation between medi- cal schools in the degree of suc- cess that their graduates have in vocational training examinations or existing NLEs.4–6

그러나 이들 중 적어도 두 연구는(그 차이가 가장 크게 드러난 연구들은) 의과대학을 졸업한 시점과 시험을 치른 시점 사이에 상당한 기간을 두고 있다. 적어도 1년의 preregistration 시기가 있었고, 그리고 1년 혹은 그 이상이 지난 후에 vocational training을 들어갔다. 내가 근무했던 모든 의과대학은 (역량-지향 평가에서 흔히 기대할 수 있듯)최종시험결과가 상당히 오른쪽으로 치우쳐(skew)있었으며, 이는 의과대학을 졸업할 때 학생들이 상당히 (적어도 한 의과대학 내에서는) 균질화된다는 것을 시사한다.

However, in at least two of these (the ones with the biggest differences) there is a considerable period between leav- ing the medical school and taking the examination. There is at least 1 year of preregistration activity, and potentially one or more years after that, before entering voca- tional training. Every medical school in which I’ve worked has final year assessment data that are always strongly skewed to the right, as would be expected in a compe- tence-oriented assessment, suggest- ing that the students when they leave medical school are a pretty homogenous group (at least within the school).

따라서 비용이 많이 드는, 대규모의, 속박하고(constraining), 균질화시키는(homogenizing) NLE 시험이 이 시점에 과연 필요한지를 가정하기 전에, 이들 연구로부터 우리는 가장 잘 하는 학교와 가장 못 하는 학교 간 더 효율적인 비교(benchmarking)이 필요하며, 기준(standard)에 집중해야 한다.

So maybe we should be looking at more efficient benchmarking between the best and worst performing schools in these studies, and a concentration on standards, before we assume, that a costly,large and potentially constraining and homogenising examination is needed at that point. 

또한 우리는 평가를 변화를 촉진하는 도구라는 관점으로 바라보아야 하며, NLE의 도입은 이러한 관점을 왜곡한다. 다수의 교육과정 이론가들은 평가를 교육과정 설계의 핵심 요소로 본다. 그러나 여기에 NLE를 덧대어 놓으면 그 교육과정의 다른 필수적 요소에 어떤 영향을 미칠 것이며, 누가 그것을 제공할 것이며, 어떤 linkage와 alignment가 요구되는가?

Additionally, we should be putting assessment in perspective as a tool to promote change, which the imposition of NLEs tends to distort. Numerous curriculum theorists have identified that assess- ment is best viewed as a vital element of curriculumdesign. But if we have a superim- posed NLE, what impact does this have on the other vital features of local curricula, and who is provid- ing those, and the linkages and alignment that they demand?

수년 전, 전공과목 학회들은 향후 그 학회 구성원이 될 의사들에게 지원자들이 합격해야 하는 시험을 제공하는 것 외에는 주는 것이 없었다. 그러나 이것이 전문성 개발에 있어서 궁색한 접근법이라는 것은 널리 인식되고 있으며, 대부분의 학회들은 이제 CanMEDS와 같은 프레임워크를 가지고 있으며, 이 프레임워크는 National exit exam의 개념이 처음 도입될 당시의 그 어떤 교육과정보다 더 넓은 범위를 아우른다.

Years ago, specialty colleges had very little to offer a prospective member other than a series of assessments that the appli- cant had to pass. It was universally recognised that this was a rather impoverished approach to specialty development, and almost all col- leges now have frameworks (e.g. CanMEDS10) that are much more encompassing than any curricula were when the national exit exami- nation was first conceptualised.

이 프레임워크는 더 넓은 목적과 지향점, 교육훈련 전략과 지원체계를 가지고 있으며, 이와 더불어 더 확대된, 재개발된, 그 질이 보장된 평가법을 포함하고 있다. 더 나아가 work-based assessment와 같은 현재 사용되는 일부 평가법이 의사들을 위한 더 넓은 목표에 대한 평가를 할 수 있지만, 그러한 평가가 표준화된 전 국가적 차원의 형태로 수행가능하지 않다. 따라서 NLE를 의과대학에 그저 툭 던져놓는 것은 퇴행적 방식이다.

These frameworks include broader aims and objectives, training strate- gies and support mechanisms, alongside expanded, redeveloped and quality-assured assessments. Furthermore, even though some of the current assessment strategies, such as work-based assessment, are capable of tackling the appraisal of those wider goals for practitioners, such assessments would not be deliverable in a standardised national form. So plonking NLEs down on medical schools must be seen as a retrograde step.

이 논문의 저자들은 'NLE에서 더 잘 한다는 것이 환자를 더 잘보는 것과 연관된다는 것은 매우 설득력이 있으며, 우리는 NLE를 더 광범위하게 활용해야 한다고 생각한다'라는 것을 확신하는 듯 하다. 그러나 적어도 대학교육에 오랜 역사를 지닌 선진국에 있어서는 NLE가 보건의료를 개선할 것이라는 것에 대한 의심이 있다. 

The authors of the paper seem convinced that ‘The evidence that better performance in NLEs is associated with better patient care seems compelling and, we think, aids in justifying more widespread use of NLEs’.3 However, there is some considerable doubt, at least in most developed countries with a long history of established universi- ties, that NLEs will improve health care substantially over and above what is currently done.

Archer 등에 의한 최근의 systemic review에서는 '일부 연구자들은 면허시험이 환자안전을 더 강화해주고, 의료의 질을 향상시킨다고 주장하나, 이러한 주장에 대한 근거는 NLE와 환자 outcome의 결과의 직접적 연결성을 보여주는데 실패하고 있다' 라고 결론지었다.

A recent systematic review by Archer et al.11 concludes ‘Some authors claim to provide evidence that licensing examinations ensure greater patient safety and improved quality of care .... The evidence for these claims however is based on correlations of performance that fail to establish a direct link between national licens- ing examinations and improve- ments in patient outcomes’.

의사에 대한 불만은 점차 늘어나고 있는데, 과연 그 불만이 의과대학에서 준비를 덜 시킨 것 때문일까? 30세 이하의 의사, 새롭게 면허를 딴 의사, 그리고 여성 의사는 더 나이가 많고 전문의를 딴 의사보다 컴플레인을 받을 가능성이 낮다.

Complaints against doctors are rising,12 but are these being caused by inade- quate medical school preparation? Doctors under 30, the newly quali- fied and women have a much lower probability of being com- plained about than older or spe- cialised doctors.12

더 나아가서, 호주에서 3%의 의료인력이 49%의 컴플레인을 받고 있고, 1%가 1/4의 컴플레인을 받고 있다.

Furthermore, in Australia, 3% of the medical work- force accounts for 49% of com- plaints, and 1% accounts for a quarter of complaints.13

이는 의과대학간 variability로 인해서 NLE가 중요하다는 주장이 타당하지 않음을 보여준다. 의과대학에서의 컴플레인에 대해서 연구한 것은 거의 드물고, 특정 학교에서 poor한 의사가 집단으로 나온다는 것도 그럴듯하지 않아 보인다. 그러나 고소를 당한 의사에 대한 한 연구에서는 특정 10년의 기간동안 고소를 당한 의사를 많이 배출한 3개의 미국 의과대학은 그 다음 10년에도 비슷한 비율로 그러한 의사를 배출했다는 결과가 있다.

This would seem to make any argument that suggests NLEs are important because of variability across medi- cal schools a lame one. It is rare to find studies of complaints analysed by medical school of origin, and it seems unli- kely that there would be clusters of poor doctors emanating from particular schools. However, one study looking at doctors who were sued in three US states found that medical schools that passed more of these doctors in one decade, also passed a similar proportion in the next decade.14

 

또한 우리는 법적 소송의 여부는 지식보다는 'soft skill'에 달려있음을 잘 안다. 따라서, 심지어 OSCE style에서조차 거의 지식-기반의 평가인 NLE는 그 대안이 될 수 있을까?

We also know that liti- gation is much more related to ‘soft skills’ than knowledge,15 so where are largely knowledge-based, or even OSCE-style, NLEs going to provide that scope?

따라서 NLE의 지위를 보다 잘 이해하려면 NLE의 효과를 (인턴으로 이어지는) 현재의 의과대학-기반 평가 프로세스와 비교할 필요가 있다.

So, to be in a better position to ex- plore NLEs, we should be able to compare the impact of NLEs ver- sus the impact of the current school-based assessment process paired with ensuing internships.

이러한 비판이 NLE의 대안이 될 수도 있다. 예컨대, (지금은 살짝만 다루는 것으로 보이는(light touch)) 의과대학에서 사용하는 평가과정에 대한 '지속가능한' 인증, 혹은 강화된 인증이 더 효과적이면서 덜 비용이 들까?  단지 우리가 환자를 놓칠 것 같다는 두려움을 갖고 있다는 것, 그리고 우리가 지도를 가지고 있다는 것이 우리가 지금까지 해온 방식을 그대로 해도 된다는 것은 아닐 것이다.

Such a critique would also address the potential alternatives to NLEs.16 For example, would beefed up or ‘sustainable’17 accreditation of the assessment process utilised within medical schools (which currently seems to have become more ‘light touch’ in many jurisdictions) be both more effective and less expensive? Just because we are scared of failing our patients, and we have a map, doesn’t mean we have to charter a course along previously travelled routes, at least not quite yet.

---

Med Educ. 2016 Jan;50(1):12-4. doi: 10.1111/medu.12941.

National licensing exam or no national licensing exam? That is the question.

Jolly B1.

Author information

• 1Newcastle, New South Wales, Australia.

PMID:

 

26695460

 

[PubMed - in process]