의사면허시험에 관한 논쟁(Regulation & Governance,2016)

의사면허시험에 관한 논쟁(Regulation & Governance,2016)

The medical licensing examination debate

Julian Archer, Nick Lynn, Martin Roberts, Tom Gale, Sam Regan de Bere

The Collaboration for the Advancement ofMedical Education Research and Assessment (CAMERA), Plymouth University, Peninsula Schools ofMedicine

and Dentistry, Plymouth, UK

Lee Coombes

Cardiff University School of Medicine, Cardiff, Wales, UK

도입

Introduction

헬스케어 규제는 공공을 보호하고 보건의료 전문직 내에서 기준을 따르도록 하는 책임이 있다. 한 가지 접근은 NLE이다.

Healthcare regulators around the world are charged with protecting the public and supporting standards within healthcare professions. One approach to this is the adoption of a national licensing examination (NLE).

이러한 시험을 도입하고 실행하는 방식은 국가마다 다르다.

The adoption and delivery of these examinations varies around the world.

• 자국 내 졸업생만 NLE 치름
  Some countries have established NLEs exclusively for their home graduates as a method of quality assurance for both graduates and medical schools. These include Bahrain, Croatia, Germany, Poland, Qatar, and Switzerland (Seyfarth et al. 2010).

• 해당 사법권 내에서 진료하고자 하는 모든 의사는 NLE를 봐야 함.
  Others, such as Canada, Chile, Hong Kong, Japan, Korea, the United Arab Emirates, and the United States (US), ask all prospective doctors who hope to work in their jurisdiction to undergo a NLE process, with North America dominating the literature and methodology (Sutherland & Leatherman 2006).

• IMG에 대해서만 인증프로세스와 더불어 추가적으로 면허시험을 보는 국가. 언어능력과 진료를 위한 기본적 자격을 위한 validated documentation의 목적
  A third distinct group of countries exclusively involve international medical graduates (IMGs) who undergo an ad- ditional examination alongside an accreditation process, where they are required to provide evidence of language com- petence and validated documentation of their primary qualifications in order to practice in the new country. These include Australasia, parts of Europe (Sonderen et al. 2009), including Sweden (Musoke 2012), and the United Kingdom (UK) (Kovacs et al. 2014).

NLE는 다음과 같은 함의를 지닌다. 전 세계적인 의사 부족이 있고, 추가적인 시험이 있을 경우 인력 계획에 허들을 높이는 것이다. NLE는 최하위 1/4에 해당하는 학생들에게 있어서 IMG든 국내 대학 졸업생이든 미래 커리어 전망을 어붇게 한다. 반면, 높은 점수를 받은 사람들은 더 좋은 위치에 갈 것을 보장받기 마련이다. NLE는 졸업생의 건강에도 영향을 미치며, 면허시험의 결과로 "스트레스와 번아웃"을 겪는 졸업생이 많다.

However, such systems are not without implications. There is a worldwide shortage of physicians, thus, addi- tional examination hurdles have workforce planning implications (Leitch & Dovey 2010). NLEs may also have im- plications for candidates if they achieve scores in the lowest quartile, resulting in poorer career prospects for both home graduates and international medical graduates (IMGs). In contrast, those who achieve the highest scores are likely to secure the best posts (Noble 2008; Green et al. 2009; Kenny et al. 2013). NLEs may also have an impact on the health of graduates, many of whom complain of “stress and burnout” as a result of the process (McMahon & Tallia 2010).

2015년 GME는 궁극적으로 2021년에는 새로운 의학면허평가를 도입할 것이라고 공지하였다. 이는 현재까지는 영국에서 진료하고자 하는 IMG만 평가하는 방식에서 영국에서 진료하고자 하는 모든 의사들을 대상으로 평가하는 방식으로 변경하는 것이다. 비록 EL, EEA, 스위스 졸업생, EC권 소유자 등은 '이주의 자유 권리'하에서 면제받을 것이긴 하다. 그리고 GMC는 '유럽 국가들까지 포괄하려는 열망이 있으며, 가능성을 찾아낼 것이다' 라고 언급했다.

In 2015, the General Medical Council (GMC), which regulates doctors in the UK, announced that they were plan- ning to develop and ultimately implement a new Medical Licensing Assessment by 2021 (General Medical Council 2015a). This will transformthe UK from only currently assessing IMGs if they wish to enter the UK to practice (General Medical Council 2015b), to assessing all doctors who wish to practice – although as European Law stands, European Economic Area and Swiss graduates, and European Commission (EC) rights holders will remain exempt under free- dom of movement legislation (Gullard 2015) and the GMC has stated that “it is our strong aspiration also to cover European nationals and we will continue to explore options” (Hulf & Hart 2015, p.3).

방법

Methods

We conducted an extensive appraisal of the literature following accepted guidance for narrative synthesis within sys- tematic reviews (Popay et al. 2006).

결과

Results

 

우리는 의사국가시험에 관한 국가 수준 혹은 대규모 수준의 담론이 양극화polarized된 것을 확인하였다. 이를 지지하는 주장과 반대하는 주장은 상대적으로 작은 숫자의 주제들에 머물러 있었고, 근거하고 있는 연구의 숫자도 적었다.

We found that the debate around national and other large scale licensing examinations is polarized (Ferris 2006; Neilson 2008) with the arguments for and against limited to a relatively small number of core themes based on a limited number of papers (Ricketts & Archer 2008; Harden 2009; Melnick 2009).

NLE는 새로운 것이 아니며, 어떤 사람들은 NLE의 오래 된 수명 그 자체가 그것의 가치를 보여주는 것이라 한다. 지지자들은 시험은 모든 사람에게 최소한의 기준을 요구하므로 모든 졸업생이 전문직에 들어서기 전에 그 기준을 달성해야 하고, "공평"해야만 한다고 주장한다. 따라서 신뢰도는 표준화와 구조화를 통해서 향상될 수 있다. 모든 지원자가 같은 시험을 보지 않는다면 지원자 간 공정하게 구별discriminate할 수 없을 것이다. 예컨대 학생들은 어떤 의과대학에 다녔느냐에 따라 대규모 시험에서 서로 다른 수행능력을 보여주고, 이 차이는 온전히 학생의 능력으로만 설명되는 것은 아니다. 다른 말로 하자면, 의과대학의 수련 과정의 차이가 반영된 것이다. NLE는 공통의 의과대학 교육과정을 지지해주고, 이 교육과정에 대한 정보를 이해관계자(환자와 고용인 포함)들에게 더 잘 전달해준다.

National licensing examinations are not new and, indeed, some suggest that their longevity is, in itself, now an endorsement of their value (Neumann & Macneil 2007; Melnick 2009). Proponents argue that testing everyone to a minimum required standard, which all graduates must achieve to enter their chosen profession, must be “fair” (Cosby 2006; Melnick 2009). After all, reliability is improved by standardization and structure (van der Vleuten 1996). If all candidates do not undertake the same examination, one cannot fairly discrim- inate between them (Lee 2008). For example, medical students perform differently in large scale testing depending on which medical school they attended (Boursicot et al. 2007), and this difference cannot be en- tirely explained by underlying student ability (McManus et al. 2008; McManus & Wakeford 2014). In other words, differences in medical school training matter. NLEs might help to support a common medical curric- ulum and provide an opportunity for this curriculum to be better informed by stakeholders, including pa- tients and employers (Wass 2005).

그러나 점차 자국 내 졸업생이 - 언어와 시스템에 익숙하여 - 해외 졸업생보다 지속적으로 잘 한다는 근거가 축적되고 있다.

However, there is a growing body of evidence that home graduates, familiar with the language and systems, perform consistently better than graduates trained elsewhere (Holtzman et al. 2014; Tiffin et al. 2014).

어떤 사람들은 NLE의 기여가 적을거라고 하지만, 만약 공정하게 시행된다면 NLE는 의사의 (국가 간) 이동을 촉진시킬 것이다.

 If fairly administered, NLEs should promote the movement of doctors, although some believe thatsuch examinations do little to increase the mobility of health professionals (Cooper 2005; Philipsen & Haynes 2007;Archer 2009). 

NLE를 지지하는 사람들은 시험 프로세스와 관련된 프로세스가 대규모 시험의 로지스틱스에 따라 향상될 수 있으며, 이 경우 자원과 전문가들을 pooling할 수 있기 때문이다. 더 나아가 규모의 경제를 시행하면 경제적으로도 유리하다.

Advocates of NLEs infer that the standards associated with the testing process are improved as a result of the logis- tics of staging large-scale examinations, which necessarily require the pooling of resources and expertise (Neumann & Macneil 2007; Lehman & Guercio 2013). Furthermore, it may also be financially advantageous by economies of scale (Lehman & Guercio 2013).

교육 평가와 이론이 빠르게 발전하고 있으며, USMLE나 MCCQE에 대한 대부분의 전문가들은 (그 발전에 기여하는) 그 대표적 사례이다. 이러한 주장을 뒷받침하는 근거는 많다. 그러나 NLE가 환자 안전을 보장해준다는 등과 같은 추가적 주장을 하기는 어렵다. Norcini 등이 USMLE점수와 특정 환자 성과와의 상관관계를 보여주었고 Tamblyn은 의사에 대한 불만과의 상관관계를 보여주었으나 인과관계에 대한 근거는 없다.

There is little doubt that while educational assessment and theory evolves at a rapid pace, most specialists regard the United States Medical Licensing Examination (USMLE) and the Medical Council of Canada Qual- ifying Examination (MCCQE) as world-leading examples (Bajammal et al. 2008; Lillis et al. 2012; Norcini et al. 2014). This claim is supported by good empirical evidence (Stewart et al. 2005; Hecker & Violato 2008; Committee to Evaluate the USMLE Program 2008; Margolis et al. 2010; Lillis et al. 2012; Guttormsen et al. 2013). Yet difficulties arise from the additional claims that a national licensing examination assures pa- tient safety and that this form of assessment directly leads to better patient care (Stewart et al. 2005; Tamblyn et al. 2007; Wenghofer et al. 2009; McMahon & Tallia 2010). While Norcini et al. (2014) established a cor- relation between USMLE scores and some specific patient outcomes and Tamblyn et al. (2007) a correlation with later complaints, there is no evidence as yet to establish causality (Sutherland & Leatherman 2006; Boulet & van Zanten 2014).

일부 의학교육학자들은 면허시험이 환자를 더 안전하게 만들어준다는 주장은 것은 근거보다는 추정에 의존하고 있다고 말한다. 실제로, 의학교육을 표준화하는 것은 damaging할 수 있으며, 혁신과 발전을 저해할 수 있다.

Some medical educationalists suggest arguments that licensing examinations make patients safer rest on assump- tions rather than evidence. In fact, it could even be damaging to standardize medical education, thus reducing innova- tion and advancement in curricula (Gorsira 2009; Harden 2009; van der Vleuten 2009).

분명히 NLE에 관한 다수의 가정이 있다.

Certainly a number of assumptions have been made about NLEs.

• 공공이 더 안전해진다는...
  Melnick (2009) argues that the public are safer because assessment specialists provide a credible external audit of the quality of NLEs and, therefore, healthcare workers that are allowed to practice.

• 지식과 역량의 최소 기준을 정확히 판단할 수 있다는...
  Assessment specialists are able to accurately establish and assess minimum standards of knowledge and competence (Melnick 2009).

• NLE가 더 나은 환자 진료와 관계된다는...
  Others reason that the statistical correlation between NLE scores, patient care outcomes, and the incidence of disciplinary action in later professional life is evidence that NLEs directly lead to better care (Tamblyn et al. 2007; Wenghofer et al. 2009).

NLE가 낡은 것이고, 사회적/교육적/전문직업적 맥락이 USMLE가 처음 도입되었을 때와 다르다는 것을 지적하며 NLE에 반대하는 사람들이 있다. "우리는 더 이상 존재하지도 않는 문제(교육 기준과 인증이 전혀 없는 Proprietary diploma 공장)를 해결하기 위해서 100년도 넘는 과거에 설계된 시스템을 보고 있다." Ferris는 우리는 근무지에서의 역량을 여러 시간에 걸쳐 평가해야 하며, 특정 하나의 시점에서 평가해서는 안된다고 주장한다. 다른 사람들도 "(치)의료행위를 위한 최선의 준비는 (치)의료행위이다"라고 하며 동의했다. NLE를 반대하는 사람들은 쉽게 검사가능한 합습성과가 그러한 시험의 초점이 되기 쉬우며, 실제 진료행위를 위해 필요한 역량은 blueprint에서 제외됨을 지적한다. 이들이 내놓는 대안은 다음과 같은 것들이다.(more job assessment, appraisal, and professional devel- opment to provide more accurate, up-to-date, and ongoing evidence of practitioner competence )

Opponents counter that NLEs are actually outdated and that the social, educational, and professional contexts are different to when, for example, the USMLE was first established: “We see a systemdesigned over 100years ago to solve a problemthat no longer exists – proprietary diploma mills that had no educational standards, or accreditation” (Ferris 2006, p.129). Ferris (2006) argues that we should be testing competence inthe workplace over time and not at a point in time. Others agree, stating, “the best preparation for the practice of dentistry is the practice of dentistry” (Calnon 2006, p. 140). Opponents of licensing examinations also suggest that easily testable learning outcomes become the focus of such examinations and that the competences needed more for actual practice are often missing from the blueprint (Neilson 2008; Noble 2008; Harden 2009). Their answer is for more job assessment, appraisal, and professional devel- opment to provide more accurate, up-to-date, and ongoing evidence of practitioner competence (Calnon 2006; Waldman & Truhlar 2013; Kovacs et al. 2014).

Neilson 은 이 주장을 더 발전시켰다. 최종시험/면허시험/진료적합성시험의 표준화는 교육자들을 기쁨에 울게 할 것이지만, 더 나은 의사를 만든다는 명확한 근거는 없다. 이제 갓 졸업한을 만나는 내 동료와 나는 의사가 어디서 qualified 되었뜬지, 그들의 실질적 교육은 환자와 실제로 만나기 시작하면서 시작함을 알고 있다.

Neilson (2008, p. a1783) develops this argument: The standardisation of final, licensing, and fitness to practice ex- aminations may make educationalists weep with joy, but there is no clear evidence that it makes for better doctors. My colleagues and I deal with the immediate postgraduate training of juniors and know that, regardless of where the doc- tors have qualified, their practical education starts when they start working with patients for real.

궁극적으로, NLE가 실제 진료에 대한 장애가 되지 않으면서, 사실상 시험을 보는 사람이 모두 통과하는 상황에서 더 이상 공공을 보호하지 않는다고 보는 사람도 있다. 이들은 커리어 시험에서 잘 하는 사람이 더 좋은 직장을 갖는다는 점을 지적한다. 어떤 의사가 disciplinary hearings 등에 불려나오는지 예측하려는 연구들이 있고, 환자 진료를 잘 못하는 것은 수많은 다른 변수와 결과에 따른 것이라는 연구도 있다. 많은 지지자들은 시간이 지나서 규제를 당하는 의사들도 여전히 처음에는 NLE를 통과한 것이라고 지적한다. 그리고 NLE는 운영하는데 돈이 많이 든다.

Ultimately, some believe that NLEs are not real barriers to practice and, therefore, do not protect the public as, for example, nearly everyone who takes the USMLE passes it in the end (Margolis et al. 2010). They also point out that while there is evidence that those who do well in early career examinations go on to get the best jobs (Green et al. 2009; Kenny et al. 2013), there are studies that argue that trying to predict which doctors may appear in disciplinary hearings or administer poor patient care is subject to a myriad of other variables and consequences (Harden 2009; Nor- man 2015a). Many proponents themselves point out that the doctors who are subsequently identified and disciplined still initially passed the NLE (Tamblyn et al. 2007; Wenghofer et al. 2009; Norcini et al. 2014). Finally, NLEs are expen- sive to run (Brown et al. 2015). 4

대서양을 사이에 둔 차이

Transatlantic divide

우리는 북미와 유럽의 차이를 발견하였다.

We discovered a distinct North American/European divide in the arguments in the literature.

• 북미 North America has the well established USMLE and MCCQE (Bajammal et al. 2008; Lillis et l. 2012; Norcini et al. 2014), with the literature focusing on the psychometric/measurement aspects of the examinations (Stewart et al. 2005; Hecker & Violato 2008; CEUP 2008; Margolis et al. 2010; Lillis et al. 2012; Guttormsen et al. 2013).

• 유럽 In Europe, it is more commonly argued that the challenges and practicalities of introducing an equivalence within or across European boundaries would be considerable (Harden 2009), despite imperatives that ensure citizens are able to freely move and work (de Vries et al. 2009). Securing a consensus whereby all doctors in Europe might sit a pan-European licensing examination would be very challenging (Gorsira 2009).

 

전-유럽 면허시험에 반대하는 주장은 로지스틱스에 대한 것 뿐만은 아니며, 유럽 전문가들은 더 큰 그림을 우려하고 있다. Harden은 대규모 시험은 쉽게 평가가능한 학습성과를 타겟으로 하는 경향이 있으나, 이것은 의사에게 요구되는 전반적인 역량과의 관련성이 거의 없다. 또한 NLE는 변화와 혁신을 저하시키고, 다양성을 낮춘다. van der Vleuten이 유럽에서 NLE가 작동할 수는 있다고 결론내렸지만 그는 "우리는 어떻게 학습과 혁신의 힘을 지나치게 훼손시키지 않으면서 원하는 효과를 달성할 수 있는 qualifying system을 set up 할 수 있을지 매우 고심해봐야 한다"라고 하였따.

The arguments against a European equivalent not only refer to logistics, but European experts are also concerned about the wider picture. Harden (2009) argues that large scale examinations tend to target learning outcomes that can be easily assessed and that these are rarely related to the overall competence re- quired of a doctor, and that NLEs depress change and innovation while failing to recognize diversity. Although van der Vleuten concludes that an NLE might work in Europe, he explains: “…we need to start thinking very carefully about how qualifying systems could be set up to achieve the desired effects without doing too much harmto learning and to innovation power…” (2009, p. 191).

결론

Discussions and Conclusions

모든 잠재적 지원자에게 시행되는 시험은 여러 psychometrics 측면의 장점이 있고, 신뢰성있는 결과를 내놓아야 한다. 그러나 그렇게 간단하진 않다. 지원자의 능력이나 특성은 시간에 따라 일정한 것이 아니며, 유능한 사람도 다른 환경에서는 수행능력이 저하될 수 있다. 통계적으로 말하면, poor performance 가 매우 드물어서 신뢰성있는 예측은 거의 불가능하며, NLE의 다양한 장점에 대해서 이야기하지만, 이는 transatlantic divide일 수 있다.

An examination that is deliv- ered to all possible candidates also has many psychometric strengths and should produce reliable results; however it is not as simple as that. Candidates’ traits or abilities are not constant over time and good people can perform badly in difficult settings (Weiner 2013). In statistical terms, poor performance is rare, making reliable predictions almost im- possible, and while recognized experts argue over the various merits of a national licensing examination, it is perhaps the discourse of a transatlantic divide that is of the most interest (Norman 2015a).

북미는 오랜 역사가 있다. NBME는 1913년 설립되었다. '시험의 문화'는 끊임없이 성장하는 litigioius society에 따라 더 강화되었다. 유럽은 적어도 역사적으로는 평가와 관련된 결정은 local하게 개발되고 시행되었으며, QA는 inspection의 동료평가모델에 기반하고 있다.

North America has a long history of large scale testing in health care; the National Board of Medical Examiners was founded in 1913. The testing culture is grounded and further reinforced by the perception of an ever-growing litigious society. In Europe, at least historically, more assessment decisions have been locally developed and delivered, and qual- ity assurance has been based on a peer review model of inspections.

미국에 기반을 둔 교육기관이 개발한 유용한 프레임워크는 validity를 다섯 가지로 나눈다. 그러나 이 프레임워크에 따라 수집하고 보고하는 타당도 근거는 저마다 다르다. 북미의 psychometrician은 전통적으로 internal structure에 초점을 맞춰왔으며, 이것은 평가는 신뢰도와 같이 통계학적 퍼포먼스에 대한 것이다. 시험의 재생산가능성은 타당도 근거의 근본적인 한 부분으로서, legal challenge를 버텨낼 수 있는 굳건한 일군의 통계학적방법들에 의해서 지지된다.

A useful framework, developed and revised by US based educational organizations, divides validity into five categories: content; response process; internal structure; relationship to other variables; and consequences (Downing 2003). Yet the emphasis for collecting and reporting validity evidence fromacross this framework appears to vary. North American psychometricians have traditionally focused on internal structure, which deals with the statis- tical performance of the assessment, including its reliability (Brannick et al. 2011). The reproducibility of a test is a fun- damental part of validity evidence, supported by a concrete statistical group of methods that can withstand legal challenge (Cavanaugh 1991).

우리는 NLE에 대한 논쟁이 현실reality를 구성하는 것에 관한 표준화와 맥락화라는 두 가지 이데올로기의 싸움의 일부라고 본다 - 즉 타당도의 두 가지 측면에 대한 것이다. 타당도 문헌에서 신뢰도와 다른 validity construct는 동일한 프레임워크 내에 존재하는데, 기본적으로 사회-정치적 차원에 의해서 만들어지는 갈등이 있다. 신자유주의와 같은 더 넓은 차원의 움직임과 함께 국가는 전문직을 약간의 거리를 두고 통제하려고 하며, 우리는 그들이 운영하는 평가방법은 중앙화와 표준화를 목도하는데, 이로 인해 자기-조절적으로 자율적으로 돌아가게 하기 위함이다. 이는 위험을 회피하고자 하는 대중을 안심시키기 위한 접근법 중 하나이다. 이러한 drive는 'trusted'될 수 있는 신뢰성있는 결과를 요구하는 압박으로 이어지는데, 타당도의 다른 측면에 있어서는 의도하지 않은 detrimental한 영향의 위험이 있다. 프로페셔널리즘과 Capability와 같은 실제로 관심을 가져야 하는 구인을 평가하는데 어려움을 겪으면서 robust하지만, potentially irrelevant한 평가가 되는 것이다.

We would argue that the NLE debate is part of a wider ideological battle between standardization and contextual- ized reality construction, the two “sides” of validity. Within the validity literature, while reliability and other validity constructs inhabit the same framework, there is a conflict that is fundamentally shaped by socio-political dimensions. With a background of a broader move, under neo-liberalism, as the state seeks to promote its control on professionals from a distance, we increasingly witness a desire to centralize and standardize assessment methodologies so they run autonomously with self-regulation (Rose & Miller 1992). This is part of an approach to assure an increasingly risk- averse public that professionals are safe and fit-for-purpose. This drive puts pressure on the need to secure reliable re- sults that can be “trusted” but at the risk of an unintended detrimental impact on other aspects of validity. The result is an assessment that is robust but potentially irrelevant as it struggles to assess constructs that are of real interest, such as professionalismand capability.

이 논쟁은 우리가 NLE를 운영해야하느냐 말아야하는가가 아니라, 무엇을 평가해야 하느냐로 관점을 옮길 때 도움이 될 수 있다. 전문직의 평가에 대한 더 나은 이해를 함으로써 우리는 더 옳은 방향으로 나아갈 수 있을 것이다.

The debate might benefit from refocusing fromwhether or not we should have an NLE, to what they should assess. A better understanding of the assessment of professionals in the workplace, as opposed to simulated environments, such as OSCEs, might take us in the right direction. Ultimately, we would benefit fromattempting to achieve a balance between assessing a breadth of skills and the capacity for such skills in practice and focusing less on psychometric reproducibility.

궁극적으로, 과연 NLE가 환자 안전을 지켜주느냐에 대한 연구가 필요하다. Jolly는 NLE의 긍정적인 측면을 확신시키기 위해서는 기존의 평가테크닉에 대해서 '추가적 가치'가 있는가를 찾아야 하며, NLE보다 더 비용-효과적 대안은 없는 것인지 찾아야 한다. 고 했다.

Ultimately, research needs to focus on whether NLEs add uniquely to assuring patient safety. Jolly (2016), in his re- cent opinion piece, argues that inorder to be convinced of the positive impact of NLEs, we should seek to ascertain their “added value” to existing assessment techniques and explore potentially more cost-effective alternatives to the NLE, such as a more “beefed up” accreditation of the existing assessment process (Jolly 2016, p. 14).

우리는 NLE 수행능력이 과거 시험의 성공여부에 의해서 예측가능하며, 미래의 성공을 예측해준다는 것을 안다. 또한 (최소한 일부 영역에서는) NLE에서 더 나은 저수를 받은 사람이 더 잘 진료한다는 것도 안다. 따라서 시험은 의심할 여지 없이 중요하다. 그러나 NLE만을 사용하여 시험을 치르는 것은 논쟁의 여지가 있으며, 이는 NLE의 활용을 지지하거나 방박하는 일관된 근거가 없기 때문이다.

We know that performance in NLEs can be predicted by prior examination success and can, in turn, predict future success (Stewart et al. 2005; Ranney 2006; Hecker &Violato 2008; Tiffin et al. 2014). We also knowthat those who per- formbetter in NLEs deliver better care, at least in some specific domains (Norcini et al. 2014); therefore, testing is un- doubtedly important. However, testing specifically using NLEs remains up for debate as there is a lack of unequivocal evidence to either support or refute their use (Boulet & van Zanten 2014).

 

 

 

Holtzman KZ, Swanson DB, Ouyang W, Dillon GF, Boulet JR (2014) International Variation in Performance by Clinical Discipline and Task on the United States Medical Licensing Examination Step 2 Clinical Knowledge Component. Academic Medicine. 89(11), 1558–1562.

Lee YS (2008) OSCE for the Medical Licensing Examination in Korea. Kaohsiung Journal of Medical Sciences 24, 646–650.

Norcini JJ, Boulet JR, Opalek A, Dauphinee WD(2014) The Relationship Between Licensing Examination Performance and the Out- comes of Care by International Medical School Graduates. Academic Medicine 89, 1157–1162.

Norman G (2015a) Identifying the Bad Apples. Advances in Health Sciences Education 20, 299–303.

Norman G (2015b) The Negative Consequences of Consequential Validity. Advances in Health Sciences Education 20, 575–579.

Wenghofer E, Klass D, Abrahamowicz M, Dauphinee D, Jacques A, Smee S et al. (2009) Doctor Scores on National Qualifying Examinations Predict Quality of Care in Future Practice. Medical Education 43, 1166–1173.

---

The medical licensing examination debate

Authors

• First published: 25 April 2016Full publication history
• DOI: 10.1111/rego.12118View/save citation
• Cited by: 0 articles
• 

Abstract

National licensing examinations are typically large-scale examinations taken early in a career or near the point of graduation, and, importantly, success is required to subsequently be able to practice. They are becoming increasingly popular as a method of quality assurance in the medical workforce, but debate about their contribution to patient safety and the improvement of healthcare outcomes continues.

A systematic review of the national licensing examination literature demonstrates that there is disagreement between assessment experts about the strengths and challenges of licensing examinations. This is characterized by a trans-Atlantic divide between the dominance of psychometric reliability assurance in North America and the wider interpretations of validity, to include consequences, in Europe. We conclude that the debate might benefit from refocusing to what a national licensing examination should assess: to achieve a balance between assessing a breadth of skills and the capacity for such skills in practice, and focusing less on reproducibility.