Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

중국의 2021년 의료전문직 면허법 수정: 코멘터리(Health Syst Reform. 2022)
Amending the Law for Licensing Medical Practitioners of China in 2021: A Commentary
Chengxiang Tanga,b, Jiayi Jiangb,c, Yuanyuan Gua, and Gordon Liub

의사 의학교육의 구조와 분포
The Structure and Distribution of Physicians’ Medical Education

다단계 의학교육 체계에서 비롯된 현재의 의학교육 의사 구성은 보건의료체계의 질적 발전을 저해할 것입니다. 그림 1은 2002년부터 2019년까지 중국 내 의사 교육 분포의 연도별 변화를 보여줍니다. 일반적으로 학사 학위 이상의 의사의 비율은 수년에 걸쳐 증가해 왔으며, 전문학사 및 SVD 이하의 의사의 비율은 감소했지만, 이러한 '부적절한' 의학교육 파이프라인은 여전히 교육 시스템에서 사소하다고 볼 수 없는 요소로 남아있었습니다. 2019년에도 전문대 졸업장 이하의 학력을 가진 개업 의사의 비율은 여전히 34%에 달했습니다. 
The current physician mix in medical education originating from a multi-tiered medical education system will inhibit quality development of a health care system. Figure 1 illustrates the annual changes of physicians’ educational distribution in China from 2002 to 2019. In general, the proportion of physicians with a bachelor degrees or above had been increasing over the years, and the share of physicians with vocational diploma and SVD or below has decreased, even though this “inappropriate” pipeline of medical education remained as a non-trivial component of the training system. There were still 34% of practicing physicians with vocational college diplomas or below in 2019.

중국에서는 의대 입학 경쟁이 치열하며, 의대 입학은 국가 대학입학자격시험(NCEE) 점수에 따라 결정됩니다. 중국 교육부는 의학 학사 프로그램의 입학 점수를 전문 의과대학의 전문학사 프로그램보다 훨씬 높게 책정하고 있습니다. 이 두 프로그램 간의 학업 성취도로 표시되는 입학 학생의 질은 크게 다릅니다. 2018년 학부 입학률은 43.3%로, 이는 단기 의과 대학에 입학한 학생들이 NCEE를 응시한 상위 43.3% 학생들보다 낮은 순위를 차지했음을 의미합니다.4 
Admission to medical school is highly competitive in China and is based on the students’ scores in the national college entrance examination (NCEE). The National Education Department sets the enrollment scores for medical bachelor programs much higher than vocational diploma programs at junior medical colleges. The quality of admitted students, indicated by their academic performance, between these two programs are significantly different. In 2018, the undergraduate admission rate was 43.3%, which implies that those students admitted into junior medical colleges were ranked below the top 43.3% students taking the NCEE.4

또한 두 의학 프로그램 간에는 교육의 질과 자원에 현저한 차이가 있습니다. 의과 대학 3학년 학생은 3년 동안만 공부해야 하며 실습은 매우 제한적입니다. 특히 이러한 학생들은 고등학교 과정을 통해 학문적 기초가 탄탄하지 않을 수 있다는 점을 고려할 때 의료 교육이 불충분할 수 있습니다. 반면, 의학 학사 프로그램의 학생은 일반적으로 실험실 및 임상 환경에서 보다 엄격한 교육을 포함하여 약 5년의 의학 교육을 받아야 하며, 학위 요건의 일부로 논문을 작성해야 합니다.
There are also remarkable differences in the teaching quality and resources between two streams of medical programs. A junior medical college student needs to take only 3 years of study, with very limited practical training. This may result in insufficient medical training, especially given the fact that these students may not have solid academic foundations through their high school study. By contrast, a student in a medical bachelor program usually needs to take around 5 years of medical training, including more rigorous training in laboratory and clinical settings, and needs to complete a thesis as the partial fulfillment of the requirements for the degree.

의대생들의 학력 이질성이 높기 때문에 중국 내 개업 의사의 질과 분포에 상당한 이질성이 존재합니다. 예를 들어, 중국에서는 개업 의사의 질과 양이 도시와 농촌 간에 불균등하게 분포되어 있으며,2,5,6 고급 의사(학사 학위 이상)는 도시 지역에 집중되어 있습니다. 표 1은 중국 도시와 농촌의 교육 수준과 의사의 직업 선택(보조 의사 포함) 간의 관계를 보여줍니다.

• 도시 지역에서는 2019년 병원에서 근무하는 의사의 27%, 지역 보건소에서 근무하는 의사의 48.6%가 전문학사 이하의 학력을 가지고 있었습니다.
• 농촌 지역에서는 향진 병원에서 근무하는 의사의 75.8%, 지역 보건 센터에서 근무하는 의사의 97%가 전문학사 이하의 학력을 가지고 있었습니다.

학사 학위 이상을 소지한 개원의는 도시 병원에 더 집중되어 있었습니다. 따라서 농촌 지역 주민들은 도시 지역 주민들과 동등하게 양질의 서비스를 제공받지 못할 수 있습니다. 
The high heterogeneity in educational background of medical students has led to significant heterogeneity in quality and distribution of practicing physicians in China. For example, the quality and quantity of practicing physicians are unequally distributed between urban and rural areas in China,2,5,6 and high-quality physicians (with a bachelor degree or above) are concentrated in urban areas. Table 1 shows the relationship between education levels and physicians’ job choices (including assistant physicians) between urban and rural areas in China.

• In urban areas, 27% of the practicing physicians at hospitals and 48.6% at community health centers had vocational diplomas or below in 2019.
• In rural areas, 75.8% of the practicing physicians at township hospitals and 97% at community health centers had vocational diplomas or below.

Practicing physicians with a bachelor degree or above were more concentrated in urban hospitals. Therefore, residents in rural areas may not have equal access to quality services as those in urban areas.

학사 수준의 일차 의료 교육 통합
Unifying Primary Medical Education at Bachelor-level

중국 전국인민대표대회 상무위원회는 의사 자격 시험 응시 자격을 중등 교육에서 비학사 고등 교육으로 상향 조정하는 의사법 개정안을 통과시켰습니다. 그러나 의료 기준 설정에 있어 이러한 점진적 접근 방식은 장기적으로 실수를 누적시키고 경제적, 보건적 비용을 증가시킬 뿐입니다. 현재 의료 서비스의 복잡성과 의학교육 및 기술의 급속한 발전을 고려할 때, 우리는 가능한 한 빨리 의학교육을 학사 수준으로 통합하는 것이 합리적이라고 강력히 주장합니다. 다음 섹션에서 그 이유를 설명합니다.
The review conference of China’s Congress amended the Law for Practicing Physicians to upgrade the eligibility for the examination of physician qualification from secondary education to non-bachelor tertiary education. However, this incremental approach in a medical standards setting will only accumulate long-term mistakes, and aggregate economic and health costs. Given the complexity of health care at present and rapid development in medical education and technology, we strongly argue that it is reasonable to unify medical education at a bachelor level as soon as possible. We present our reasons in the following sections.

전 세계 의사를 위한 입문 수준 기준
Entry-level Standards for Physicians around the World

국가마다 의학교육과 훈련에 큰 차이가 있지만, 초급 의학교육의 최소 기준은 학사 학위 교육을 요구합니다.

• 호주, 필리핀, 미국 등 일부 국가에서는 의대생이 의학전문대학원 수준의 의학 프로그램에 입학해야 면허 시험에 응시할 수 있습니다.7
• 미국의 경우 미국 의사 면허 시험(USMLE)에 응시하려면 학사 학위(4년)와 의과대학 4년 졸업 학위가 필요합니다.8 공인된 레지던트 프로그램(3~7년)을 마친 후 의료 행위가 허용됩니다. 따라서 미국에서 주치의가 되기 위해서는 약 11년, 외과의사가 되기 위해서는 13년 이상의 수련 기간이 소요됩니다.

Although there are large variations in medical education and training across countries, the minimum standards for entry-level medical education require bachelor-degree training.

• Some countries, such as Australia, Philippines, and the USA, even require medical student to enter the graduate-level medical program before they can attend the licensing examinations.7 
• In the US, in order to be eligible for the United States Medical Licensing Examination (USMLE), candidates require a bachelor degree (4 years), and a four-year graduate degree from medical schools.8 Medical practice is allowed after completing an accredited residency program (3–7 years). Therefore, it takes around 11 years of training to become a primary care physician and over 13 years to become a surgeon in the United States.

개발도상국인 태국의 경우 반세기 전에 학사 수준의 교육으로 입문 의학교육이 시작되었습니다.9

• 태국의 학부 의학교육(입문 의학교육)은 6년이 걸리며 보통 1학년은 기초 교육, 2~3학년은 기초 의학 교육, 4~6학년은 임상 교육으로 3단계로 나뉩니다.9,10
• 태국보다 선진국인 중국이 왜 이런 이상한 의학교육 시스템을 유지하면서 교육 기간과 재능이 다른 모든 졸업생을 의사가 될 수 있도록 하는지 의문이 들 수밖에 없습니다. 의료 인력 부족과 인구 건강 개선의 시급한 필요성이 이러한 의료 교육 및 훈련 시스템을 개발하게 된 초기 이유였지만, 오늘날 중국이 직면하고 있는 주요 문제는 더 이상 아닙니다.

In Thailand, a developing country, the entry-level medical education was set at bachelor-level training a half-century ago.9 

• The Thai undergraduate medical program (entry-level medical education) takes 6 years to finish and is usually divided into three stages: the first year for basic education, the 2nd-3rd years for basic medical education, and the 4th-6th years for clinical training.9,10 
• This raises a question why China, a country more developed than Thailand, would keep such an odd medical education system and allow all graduates with different training periods and different talents to become doctors. The shortage of health workforce and urgent need to improve population health were the initial reasons for developing this system of medical education and training, but they are no longer the main issues China is facing today.

의대생 공급 과잉
Oversupply of Medical Students

중국은 세계에서 가장 큰 규모의 의료 인력 교육 시스템을 갖추고 있습니다. 2014년부터 2018년까지 의과대학 통계에 따르면 중국의 의대 졸업생 수는 총 560만 명 증가했지만, 의료 인력 규모는 210만 명 증가에 그쳤습니다. 일정 비율의 인력 감소가 있더라도 전체 시장에서 의대 졸업생의 공급과 고용 사이의 큰 격차를 설명하기는 여전히 어렵습니다. 한 가지 가능한 설명은 일부 저학력 의대생이 보건 분야에 진출하지 않아 의대 졸업생 공급 과잉을 초래했다는 것입니다. 
China has the largest education system for health workforce in the world. According to the statistics of medical schools from 2014 to 2018, the number of medical graduates in China increased by 5.6 million in total, but the size of the health workforce increased by only 2.1 million. Even though there is a certain proportion of workforce attrition, it is still difficult to explain the huge gap of the whole market between supply and employment of medical graduates. One possible explanation is that some less-educated medical students did not enter into the health sector and created an oversupply of medical graduates.

또한, 매년 전문 의과대학 및 중등 의과대학에 등록하는 의대생 수는 의학 학사 이상 프로그램에 등록하는 학생 수보다 훨씬 더 많았습니다.

• 예를 들어, 2018년에 고등 의과대학에 등록한 의대생 수는 85만 5,000명이었으며, 이 중 61만 1,000명이 전문대학 학사 학위 프로그램에 등록했습니다. 또한 전문학사 학위 프로그램에 등록한 학생은 39만 명에 달했습니다.

이러한 공급 패턴은 의학교육의 질에 영향을 미칠 뿐만 아니라 보건 인력 수급의 불균형을 심화시켰습니다.11 중등 직업 교육 및 직업 교육 졸업생의 과잉 공급은 전문과목 혼합의 왜곡(잘 훈련된 일차 진료 의사의 부족)과 의사 시장에서 의대 졸업생 간의 치열한 경쟁을 심화시키는 결과를 초래했습니다. 
Moreover, the number of medical students enrolled each year at junior medical colleges and secondary schools was much higher than that at medical bachelor programs or above.

• For example, in 2018, the number of medical students enrolled in tertiary medical schools was 855,000, of which 611,000 were enrolled in vocational college diploma programs. In addition, there were 390,000 students enrolled in SVD programs.

This supply pattern not only affected the quality of medical education but also led to an increasing imbalance in the supply and demand of health workforce.11 The oversupply of graduates with secondary vocational education and vocational education further resulted in the distortion of specialty mix (inadequate numbers of well-trained primary care physicians) and increased intensive competition among medical graduates in physicians’ market.

같은 규모로 볼 때 중국의 개업 의사 수는 더 이상 다른 비교 대상 국가보다 적다고 볼 근거가 없습니다. 1인당 의료비 지출과 인구 10,000명당 의사 수 사이에는 양의 상관관계가 있는 것으로 알려져 있는데, 이는 의료비 지출이 의료 시스템에서 고용하는 직원 수와 관련이 있다는 사실을 반영하는 것입니다. WHO 데이터를 기반으로 국제 비교 관점에서 중국의 의사 수를 조사했습니다.12 그림 2에 따르면 중국의 의사 공급은 모든 국가 중에서 상대적으로 적절한 수준입니다. 
We have reasons to believe that, on the same scale, the stock of practicing physicians in China is no longer less than that in any other comparable countries. There is a known positive association between health expenditure per capita and the number of medical doctors per 10,000 people, which reflects the fact that how much you spend is related to how many employees the system hires. We examined the number of physicians in China from the perspective of international comparison based on the WHO data.12 Figure 2 suggests that the provision of practicing physician in China is relatively adequate among all nations.

다단계 의료 교육 시스템이 의료 시장에 미치는 장기적 비용
The Long-term Costs of Multi-tiered Medical Education System on Healthcare Market

2019년 Hsieh & Tang의 논문에 따르면, 의사들의 학력 차이가 현저한 의료 시장은 환자 입장에서 더 나은 서비스를 제공할 수 있는 양질의 의사를 찾는 데 추가적인 탐색 및 정보 비용을 부과합니다.2 학력이 높은 의사는 도시 지역에서 진료하는 경향이 있기 때문에 대형 병원에 고용될 가능성도 높습니다. 이로 인해 농촌 지역과 1차 의료 기관의 인적 자원이 악화되고 있습니다. 1970년대에 아켈로프가 개발한 모델에 따르면13 의사의 능력은 관찰할 수 없으며, 이는 의사의 보수가 그들이 제공하는 서비스의 질에 따라 달라지지 않는다는 것을 의미합니다. 규제 시장regulated market에서는 모든 의사에게 평균 수준의 임금을 지급하므로 우수한 의대생이 더 나은 보수를 기대하기 때문에 의료 시장에 진입할 동기가 부족합니다. 또한 의사들은 추가 의료 교육을 받거나 인적 자본에 투자할 인센티브가 적습니다. 장기적으로 다단계 의학교육 시스템은 의료 시장의 형평성과 효율성 측면에서 두 가지 해악을 초래할 것입니다. 
According to Hsieh & Tang’s paper in 2019, the health care market in which physicians have remarkable differences in their education, imposes additional searching and information costs to the seeking of quality doctors who can provide better services from patients’ perspective.2 As doctors with higher educational background tend to practice in urban areas, they are also more likely to be employed by larger hospitals. This has caused a deterioration of human resources in rural areas and at primary health care facilities. Based on the model developed by Akerlof in the 1970s,13 physicians’ ability cannot be observed, which means physicians’ remuneration does not depend on the quality of services they provide. The regulated market pays all the doctors an average level of wage, so there is a lack of motivation for high-quality medical students to enter the health care market since they would expect better payments. Doctors would also have less incentives to receive further medical education and to invest in their human capital. In the long run, a multi-tiered medical education system will contribute to twofold harms in both equity and efficiency of the health care market.

법 개정 및 시행의 어려움
Difficulties in Amending and Implementing the Law

일반적으로 법률과 사법 제도는 그 시행을 위해 비교적 안정적인 기대치를 필요로 합니다. 안정성을 유지하기 위해서는 일단 의사에 대한 법률이 시행된 후 사회적 상황이 크게 변화하기 전에 자의적으로 폐지하거나 개정할 수 없습니다. 따라서 법 개정은 법안 제출부터 법안 심사, 의결 및 채택, 공포 및 시행에 이르기까지 엄격한 절차를 거쳐야 하므로 시간이 걸립니다. 예를 들어, 중화인민공화국 의사 개업에 관한 법률은 1998년에 국회 위원회에서 통과되었지만 23년 후인 2021년에 첫 번째 개정이 이루어졌습니다. 이 기간 동안 중국의 경제 발전은 눈부신 성과를 거두어 지난 20년 동안 GDP가 7조 9,700억 위안에서 82조 7,122억 위안으로 약 937% 증가했으며,14 이에 따라 의료 수요와 의료 시장에도 큰 변화가 일어났습니다. 법 개정 과정이 더디더라도 의학교육 체계 정상화를 위한 법 개정이 시급한 상황입니다. 
Generally speaking, legislation and the judicial system require a relatively stable set of expectations of the law for its implementation. In order to maintain stability, it cannot be abrogated or amended discretionarily before the social contexts change significantly once the law for physicians goes into effect. Therefore, any amendment of the law must follow a rigorous procedure, from submission to the consideration of the draft law, then to the vote and adoption, and to the promulgation and implementation of the law, which will take time. For example, the law for practicing physicians of the People’s Republic of China was passed by the Committee of the Congress in 1998, while its first amendment came twenty-three years later in 2021. The economic development of China has made extraordinary achievements during this period, with its GDP growing from 7.97 trillion yuan to 82.7122 trillion yuan in the last two decades and an increase of about 937%,14 and thus significant changes have taken place in health demands and health care market. There is an urgency to amend the law to normalize the medical education system even though the process of amendment will be slow.

2021년 개정안 제정 및 시행을 위한 장애물도 존재합니다. 2019년 중국 보건 통계 연감의 데이터에 따르면15 현재 전문 학사 학위 대학에 재학 중인 의대생은 100만 명이 넘습니다. 이러한 의대생의 경력 개발과 전환, 교수진 및 관련 인력에 미치는 영향을 신중하게 고려해야 하며, 그렇지 않으면 모든 개혁이 그들의 이익에 대한 비용으로 간주되어 저항을 받게 될 것입니다. 
There are also obstacles for the enactment and implementation of the 2021 amendment. According to data from the Health Statistical Yearbook of China in 2019,15 there are over one million medical students currently enrolled in vocational diploma colleges. The career development and transition for these medical students and the impact on their faculties and related personnel need to be carefully considered, otherwise any reforms will be seen as costs of their interests and thus resisted.

Health Syst Reform. 2022 Jan 1;8(1):e2048438. doi: 10.1080/23288604.2022.2048438.

인도네시아의 의사국가면허시험: 학생, 교수, 대학의 관점(© 2018 The University of Leeds and Rachmadya Nur Hidayah)
Impact of the national medical licensing examination in Indonesia: perspectives from students, teachers, and medical schools. 
Rachmadya Nur Hidayah

3.3 국가 라이선스 시험의 역사
3.3 The history of national licensing examination

이 섹션에서는 북미에서 시작하여 유럽과 아시아로 확장된 NLE의 기원과 발전 과정을 설명합니다. 이 섹션은 인도네시아의 국가면허시험의 배경과 현재 논의 중인 분야를 포함하여 인도네시아의 국가면허시험의 역사를 소개하는 것으로 마무리합니다.
This section will describe the origins and development of the NLE started and developed; starting from North America and extending through Europe and Asia. The section concludes by presenting the history of NLE in Indonesia, including its background and areas of current debate.

북미의 국가 시험
National examination in North America

미국과 캐나다는 의대 졸업생을 대상으로 국가 시험을 최초로 시행한 국가 중 하나입니다. 미국 의사 면허 시험(USMLE)은 남북전쟁(1861~1865년) 이후 의료 종사자에 대한 규제에서 파생되었습니다. 이 시험은 의사들 간의 높은 역량 편차를 줄이기 위한 목적으로 수십 년 동안 시행되었습니다. 미국국립시험위원회(NBME®)는 1915년 미국에서 국가 시험 시스템을 관리하기 위해 설립되었습니다(Melnick et al., 2002). 시험의 구조는 그 이후로 발전해 왔습니다. 

• 첫 번째 시험 형식(1916년)은 환자 사례, 구두(구술) 시험, 필기시험을 이용한 복잡한 병상 시험이었습니다.
• 필기 시험은 1922년 주관식 문제로 시작하여 선택형 문제로 발전했으며, 이후 1980년대에는 객관식 문제(MCQ)로 형식이 변경되었습니다(Melnick et al., 2002).
• NBME는 1999년에 임상 술기 시험을 승인하고 2004년에 2단계 임상 술기 평가(CSA)를 시행했습니다. 이러한 결정은 주로 장시간의 구술 시험이 신뢰성이 떨어진다는 비판을 받은 후 임상 술기 평가의 필요성에 의해 주도되었습니다.

The United States of America and Canada were among the first countries that conducted national examinations for their medical graduates. The United States Medical Licensing Examination (USMLE) was derived from regulatory entry for medical practitioners after the Civil War (1861-1865). It served the purpose of reducing the high variation of competence amongst practitioners and was implemented for several decades. The National Board of Medical Examiner (NBME®) was founded in 1915, to administer a national examination system in the United States of America (Melnick et al., 2002). The structure of the examination has evolved since then.

• The first structure of the format (1916) was a complex bedside examination using patient cases, oral (viva) examinations, and written examinations.
• Written examinations started with essay questions in 1922 and evolved to selected-response questions and later, in the 1980s, the format of USMLE was changed to multiple-choice questions (MCQ) (Melnick et al., 2002).
• The NBME approved the clinical skills examination in 1999 and implemented the Step 2 Clinical Skills Assessment (CSA) in 2004. This decision was mainly driven by the need to assess clinical skills after the long case oral examination was criticised for poor reliability.

캐나다 의료 위원회(MCC)는 캐나다에서 의사가 진료할 수 있도록 면허를 부여하는 기관입니다. 자격을 갖춘 후보자를 결정할 때 MCC는 의대생의 학부 과정 중과 종료 시점에 평가 절차를 사용합니다. 

• 1970년까지 MCC는 전통적인 에세이 및 구술 시험을 사용했습니다.
• 1980년, MCC 면허증 개발 과정이 완료되자 이 시험은 캐나다의 모든 지역에 적용되었습니다(Dauphinee, 1981).
• 몇 년 후, MCC는 면허 시험으로서의 목표를 검토한 결과 필기 시험으로는 평가할 수 없는 의대 졸업생의 필수 역량이 있다는 결론에 도달했습니다. 여기에는 병력 청취, 신체 검사, 의사소통 능력 등이 포함되었습니다.
• 그 후 MCC는 1980년대 후반에 임상 기술 평가를 위한 파일럿 연구를 실시하기로 결정했습니다.
• 1992년에는 객관적 구조화 임상시험(OSCE)이 면허 시험의 일부가 되었습니다(Reznick et al., 1993).

The Medical Council of Canada (MCC) acts as the authority to grant licentiate for physicians to practice in Canada. In determining eligible candidates, MCC uses assessment procedures during and at the end of medical students’ undergraduate programmes.

• Until 1970, MCC used traditional essay and oral examinations.
• In 1980, when the development process of MCC licentiate was finished, the examination was applied to all regions of Canada (Dauphinee, 1981).
• After a few years of this assessment, MCC reviewed its objectives as a licensing examination and came to the conclusion that there were essential competences for medical graduates that could not be assessed using written examination. These included: history taking, physical examination, and communication skills.
• MCC then decided to conduct a pilot study for clinical skills assessment in the late 1980s.
• In 1992, the Objective Structured Clinical Examination (OSCE) became part of the licensing examination (Reznick et al., 1993).

USMLE와 MCCQE는 정기적인 평가와 연구를 바탕으로 잘 정립된 제도로 자리 잡을 수 있는 시간을 가졌습니다. 시험 관리자(NBME 및 MCC)가 수행한 연구는 대부분 시험의 심리측정 측면에 초점을 맞추었습니다. 그러나 지난 10년 동안 NLE가 대학원 학업, 임상 성과 및 환자 치료에 미치는 영향에 대한 연구가 더 많이 진행되었습니다. 이에 대해서는 이 장의 뒷부분에서 설명합니다. 
Both USMLE and MCCQE have had the time to become well-established systems based on regular evaluation and research. Studies conducted by test administrators (NBME and MCC) mostly focussed on the psychometric aspects of the test. However, in the last decade, there has been more research on the consequences of the NLE on postgraduate study, clinical performance, and patient care. This will be discussed later in this chapter.

유럽의 국가 시험
National examination in Europe

대서양 횡단 시험에 비해 유럽에서는 지난 10년 동안 국가 또는 유럽 면허 시험에 대해 더 많은 논쟁이 있었습니다. 영국을 포함한 유럽 국가들 사이에서는 국가 또는 대규모 시험 도입 문제에 대한 논의가 계속되고 있습니다. 유럽 국가들은 유럽연합 회원국의 의대 졸업생이 유럽연합(EU) 내에서 활동할 수 있도록 인정했기 때문에 표준화된 의료 교육 및 실습의 질을 확보해야 할 공동의 책임이 있었습니다(Gorsira, 2009). 이 글에서 Gorsira는 제안된 유럽 NLE에 대한 반대 의견을 국가 간 이해, 신뢰, 협력과 같은 주요 이슈와 함께 설명했습니다. 유럽 국가들은 의학교육 시스템이 다양하기 때문에 유럽에서 기대하는 의사 표준을 달성하는 것에 대한 우려가 있었습니다. 그러나 Gorsira(2009)가 지적했듯이, NLE의 잠재적 이점과 함정은 논쟁의 여지를 남겼습니다. 그녀는 유럽 NLE의 즉각적인 시행이 환자의 안전을 보장하지 못할 뿐만 아니라 의학교육에도 해를 끼칠 수 있다고 결론지었습니다(Gorsira, 2009). 의사를 위한 유럽 표준에 동의하는 것은 브렉시트가 시행되면 영국을 포함한 비유럽 졸업생들과 어떻게 조화를 이룰 것인지에 대한 문제를 부각시킵니다.
Compared to their transatlantic counterparts, there had been wider debate about the national or European licensing examination during the last decade. There is on-going discussion amongst European countries, including the United Kingdom, about the issue of establishing national or large-scale examinations. Since European countries recognised medical graduates from the European Union members to practice within the European Union (EU), there was a shared responsibility to have a standardised quality of medical education and practice (Gorsira, 2009). In her article, Gorsira described the opposing views in response to a proposed European NLE, with key issues such as understanding, trust, and collaboration between countries. European countries varied in their medical education system, thus there was concern about achieving the expected standard of doctors in Europe. However, as Gorsira (2009) pointed out, the potential benefits and pitfalls of the NLE left the debate open. She concluded that immediate implementation of an European NLE would not guarantee patient safety and would also cause harm to medical education (Gorsira, 2009). Agreeing European standards for doctors highlights the issue of how they align with non-European graduates, which will include the UK when Brexit is implemented.

네덜란드와 같이 의학교육에 대한 엄격한 인증과 동질적인 커리큘럼을 갖춘 일부 유럽 국가에서는 국가시험을 우선순위로 여기지 않는다고 말한 van der Vleuten(2013)에 의해 이 논쟁은 더욱 복잡해졌습니다. 일부 학교에서는 이미 커리큘럼의 비교 가능성을 보장하기 위해 집단 진도 테스트를 시행하고 있었습니다(Schuwirth 외., 2010). GMC의 '내일의 의사'를 기반으로 의과대학의 커리큘럼 설계와 실행에 더 큰 자유가 있는 영국의 경우, 의대 졸업생의 역량 비교 가능성에 초점을 맞춰 국가시험이 논의되었습니다(McCrorie and Boursicot, 2009). 객관성, 일관성, 품질 보증, 환자 안전 등의 논거를 고려한 GMC는 최근 국가 면허 시험에 대한 지지를 발표했습니다. 국가 시험을 제안하는 또 다른 이유는 졸업후 교육에 입학하는 학생의 기준을 설정하기 위해서입니다. 졸업후 교육에서 투명한 정량적 선발 메커니즘을 개발해야 한다는 문제도 영국에서 국가 면허 시험의 필요성을 제기했습니다. 미국과 달리 영국의 대학원 교육 선발은 국가시험(예: USMLE)의 순위를 사용하지 않기 때문에 동일한 평가 프로그램에서 해외 의대 졸업생과 영국 졸업생을 비교할 수 없었습니다(Gorelov, 2010).
This debate was further complicated by van der Vleuten (2013), who stated that some European countries that had strict accreditation of medical education and homogenous curricula, e.g. the Netherlands, did not see a national examination as a priority. Some schools already had collective progress testing to ensure the comparability of their curriculum (Schuwirth et al., 2010). In the UK, where there is greater freedom to design and implement medical schools’ curriculum based on the GMC’s Tomorrow’s Doctors, the national examination had been discussed following the focus on comparability of medical graduates’ competences (McCrorie and Boursicot, 2009). Considering the arguments of objectivity, consistency, quality assurance, and patient safety, the GMC recently announced its support for a national licensing examination. Other reasons for proposing national examinations would be to set the standard for students entering postgraduate education. The concern to develop a transparent quantitative mechanism of selection in postgraduate training also raised the need for national licensing examinations in the UK. Unlike the US, postgraduate training selection in the UK does not use the ranks in a national examination (such as USMLE), therefore it could not compare international medical graduates and UK graduates in the same assessment programme (Gorelov, 2010).

다른 유럽 국가에서는 NLE에 대해 보다 긍정적인 접근 방식을 취했습니다. 스위스는 2013년에 국가 면허 시험을 도입했습니다. 연방 면허 시험(FLE)은 학부 의학교육이 끝날 때 지식과 기술을 평가하여 품질 보증을 위한 수단으로 개발되었습니다. 스위스는 자국의 의료 및 의학교육의 높은 수준을 유지하기 위해 FLE를 도입했습니다. 기대되는 질은 졸업생의 역량 수준으로 설명되었습니다. 2010/2011년에 파일럿 시험을 실시한 후, 중앙에서 관리하고 지방에서 시행하는 시험(MCQ 필기시험과 OSCE로 구성)이 실시되었습니다(Guttormsen 외., 2013). 국가 시험으로 OSCE를 도입한 목적은 응용 임상 지식과 실제 임상 기술을 평가하여 졸업생의 수준 높은 수준을 보장하기 위한 것이었습니다.
Other European countres took a more positive approach to NLEs. Switzerland introduced a national licensing examination in 2013. The federal licencing examination (FLE) was developed as a means of quality assurance by assessing knowledge and skills at the end of undergraduate medical education. The reason the FLE was introduced was that Switzerland wanted to maintain the high quality of health care and medical education in their country. The expected quality was described as the level of competence of graduates. After performing a pilot in 2010/2011, the examination (which is centrally-managed and locally administered) was conducted, comprising MCQ written examinations and OSCEs (Guttormsen et al., 2013). The aim of establishing an OSCE as a national examination was to assess applied clinical knowledge and practical clinical skills to ensure a high-quality standard of graduates.

앞서 언급했듯이 EU 국가 내에서 의료 전문가의 이동성은 장점이자 단점으로 여겨져 왔습니다. 예를 들어, 영국에서는 해외 졸업생들이 의사 부족 문제를 해결하는 데 도움이 되었지만 EU 국가 간 교육 격차로 인해 EU에서 교육받은 의사 수가 증가하면서 우려가 제기되었습니다. 2015년 GMC는 2022년까지 영국 내에서 진료하려는 국내, 유럽 및 해외 의사를 대상으로 NLE의 한 형태인 의료 면허 평가(MLA)를 구축하는 프로젝트를 시작했습니다(Gulland, 2015; Archer 외., 2016a; Archer 외., 2016b). MLA는 국제 졸업생을 대상으로 하는 현재의 전문 및 언어 평가 위원회(PLAB) 시험을 대체할 것입니다. PLAB 시험은 임상 실무에서 영어에 대한 이해와 맥락을 테스트합니다. 영국에서 MLA 시범 프로젝트가 아직 진행 중이지만, 다양성에 대한 의문과 NLE가 의과대학의 현재 평가에 잘 맞을지에 대한 의문은 여전히 남아 있습니다(Archer 외., 2016a; Archer 외., 2016b; Stephenson, 2016). NLE를 설계하고 전달하는 '방법'에 대한 이러한 문제는 NLE를 도입하는 국가에서 흔히 발견되며, 이를 자세히 고려하면 그 결과의 잠재적 이점과 단점을 강조할 수 있습니다.
As mentioned earlier, the mobility of healthcare professionals within the EU countries has been seen as both a benefit and drawback. For example, in the UK although international graduates have helped to address the shortage of doctors the difference in training across the EU countries raised concerns when the number of EU-trained doctors increased. In 2015 the GMC initiated a project to establish by 2022 a medical licensing assessment (MLA), a form of NLE, for home, Europe, and international doctors intending to practice within the UK (Gulland, 2015; Archer et al., 2016a; Archer et al., 2016b). The MLA will replace the current Professional and Linguistic Assessment Board (PLAB) examination which is aimed at international graduates. The PLAB examination tests the understanding and context of English in clinial practice. While the pilot project for the MLA in the UK is still ongoing, the questions about diversity and whether the NLE would sit well within medical schools’ current assessment remains (Archer et al., 2016a; Archer et al., 2016b; Stephenson, 2016). This problem of “how” in designing and determining the delivery of NLE is commonly found in countries introducing the NLE; considering this in detail highlights the potential benefits and drawbacks of its consequences.

중동 및 아시아의 국가 시험
National examinations in Middle East and Asia

많은 전문가들은 교육과정의 다양성이 높은 곳에서 NLE가 하나의 옵션이 될 수 있음을 인식하고 있습니다. Van der Vleuten(2013)은 한 국가 또는 지역의 교육 프로그램과 평생교육의 다양성이 NLE의 필요성을 강화한다고 제안했습니다. 대부분의 아시아 국가에서 의과대학은 여전히 커리큘럼과 함께 일하기 위한 '최선의 방법'을 개발하고 있습니다. 학교는 교육 전문가와 협력하여 프로그램과 교육 전략을 개발하여 혁신하고 있습니다. 그들은 평가 시스템과 함께 주기적으로 커리큘럼을 평가하고 변경하여 국가 또는 국제적 요구에 맞게 조정합니다(Telmesani 외., 2011; Lin 외., 2013). 
Many experts recognised that NLEs could be an option where there is a high diversity in curriculum implementation. Van der Vleuten (2013) suggested that the diversity of training programs and continuing education in a country or region strengthens the need for NLE. In most Asian countries, medical schools are still developing their ‘best way’ to work with the curriculum. Schools work with educational experts to innovate, developing their programme and educational strategies. They evaluated and changed their curriculum periodically, along with the assessment system, to suit national or international needs (Telmesani et al., 2011; Lin et al., 2013).

중동에서 사우디아라비아는 졸업생의 질을 보장하기 위해 역량 기반 커리큘럼과 NLE를 구축하려고 시도한 국가 중 하나입니다. 이러한 결정은 사우디 아라비아의 의학교육에 대한 변화로 인해 이루어졌습니다. 여기에는 다음이 포함됩니다: 

• 1) 의과대학의 수 증가와 각 의과대학이 채택한 다양한 커리큘럼 및 평가 시스템,
• 2) 사우디아라비아에서 진료하기를 원하는 다른 나라 졸업생의 증가,
• 3) 해외에서 의학을 공부하는 사우디 원주민의 증가(Bajammal 외., 2008).

In the Middle East, Saudi Arabia was the one of the countries to attempt to establish a competence-based curriculum and NLEs to ensure the quality of their graduates. This decision was driven by changes to medical education in Saudi Arabia. These included:

• 1) The increasing number of medical schools, and the different curricula and assessment systems they adopted;
• 2) Increasing numbers of graduates from other countries who wanted to practice in Saudi Arabia; and
• 3) The increasing number of Saudi natives who pursued their medical study abroad (Bajammal et al., 2008).

비슷한 이유로 아시아에서는 한국이 2008년에 NLE와 OSCE를 최초로 시범 운영한 국가 중 하나였으며, 대만과 인도네시아가 그 뒤를 이었습니다. 

• 한국은 2008년부터 표준화된 환자를 대상으로 한 임상 술기 평가와 마네킹을 이용한 OSCE를 시작했습니다. 한국 국가 OSCE는 임상 교육을 개선하는 것을 목표로 했습니다. 2010년부터는 임상 술기 시험 센터에서 3개월에 걸쳐 12개 스테이션으로 구성된 OSCE를 시행하고 있습니다. OSCE는 표준화된 환자(SP) 평가자와의 환자 대면 상황을 기반으로 한 6개의 스테이션과 의료진 평가자와의 시술 술기를 기반으로 한 6개의 스테이션으로 구성됩니다(Park, 2008). SP 평가자를 활용하고 장기간에 걸쳐 시행되기 때문에 시험의 공정성 및 타당성, 시험 정보 공유/공개와 관련된 여러 가지 문제에 직면했습니다. 
• 대만에서 NLE는 필기 시험으로 시작되었습니다. 2008년 말, 대만 당국은 필기 면허 시험의 전제 조건으로 국가 OSCE를 발표했습니다. 2011년과 2013년에 대규모 파일럿 OSCE가 실시되었고, 이후 본격적인 OSCE가 시행되었습니다(Lin et al., 2013). 
• 일본과 같은 다른 국가에서는 의대 졸업반 학생을 대상으로 NLE에 대한 필기 평가만 계속 요구하고 있습니다(Kozu, 2006; Suzuki et al., 2008).

For similar reasons, in Asia, South Korea was one of the first countries to pilot their NLE and its OSCE in 2008, followed by Taiwan and Indonesia.

• South Korea started clinical skills assessment in 2008, having a clinical performance examination with standardized patients and an OSCE using manikins. The South Korean national OSCE aimed to improve clinical education. Since 2010, it has been carried out as a 12-station OSCE and administered over the course of three months in clinical skill test centres. The OSCE consists of 6-stations based on a patient encounter with standardised patient (SP) raters and 6-stations based on procedural skills with medical faculty raters (Park, 2008). It faced several challenges related to test fairness and validity of the exam, since it used SP raters and was administered over a long period, which enabled information sharing/ disclosure of exam information.
• In Taiwan, NLE started as a written examination. Later in 2008, Taiwanese authorities announced the national OSCE as a prerequisite for taking the written licencing examination. Large-scale pilot OSCEs were held in 2011 and 2013 before the high-stake OSCE was implemented (Lin et al., 2013).
• Other countries, such as Japan, continue to require only written assessment for the NLE for final year medical students (Kozu, 2006; Suzuki et al., 2008).

동남아시아에서는 10개국 중 4개국만이 NLE를 시행하고 있으며, 각 국가마다 목적과 대상이 다릅니다.

• 태국, 필리핀, 인도네시아, 말레이시아는 MCQ 또는 수정된 에세이 질문(MEQ) 형식을 사용하여 지식 평가를 실시합니다.
• 말레이시아는 해외 졸업생만 평가하고 나머지 3개 국가는 국내 및 해외 졸업생을 평가합니다.
• 필리핀을 제외한 나머지 3개 국가는 OSCE 형식을 사용하여 임상 기술을 평가합니다.
• 베트남과 라오스는 NLE를 개발 중이며
• 브루나이, 싱가포르, 캄보디아, 미얀마는 NLE가 없습니다.

동남아시아에서 NLE에 대한 논의는 이 지역의 다른 국가에서 의술을 펼칠 수 있도록 의료 전문가의 자유로운 이동을 장려하는 아세안1 경제 공동체(AEC)에도 과제를 안겨주고 있습니다(Kittrakulrat 외., 2014). 
In South East Asia, only four out of ten countries have implemented NLEs and each have different purposes/ targets.

• Thailand, Phillipines, Indonesia, and Malaysia, have knowledge assessment using the MCQ or modified essay questions (MEQ) formats.
• Malaysia assesses international graduates only, while the other three assess home and international graduates.
• Aside from the Phillipines, the other three countries assess clinical skills using OSCE formats.
• Vietnam and Lao are in the process of developing NLEs, while
• Brunei, Singapore, Cambodia, and Myanmar do not have one.

The discussion of NLEs in South East Asia also brings challenges to the ASEAN1 Economic Community (AEC) which promotes for the free movement of medical professions to practice medicine in another country in this region (Kittrakulrat et al., 2014).

인도네시아 국가 시험
National examination in Indonesia

인도네시아에서 NLE의 발전은 21세기 초 고품질 의료 전문가에 대한 필요성 증가에 뿌리를 두고 있습니다. 2007년 보건부 보고서에 따르면, 지역사회의 의료 접근성은 향상되었지만 의료 서비스 결과는 약간만 개선되었습니다. 2010년 세계보건기구(WHO) 보고서에 따르면 인도네시아의 의사 밀도는 인구 1,000명당 0.15명으로 예상 표준 비율에 미치지 못했습니다. 또한 도시와 농촌 지역에 의료 전문가가 고르지 않게 분포되어 있었습니다. 2006년에 의사의 17%만이 의료 서비스가 부족한 지역에서 근무한 반면, 83%는 인구 밀도가 높은 지역에서 근무했습니다(WHOSEARO, 2011). WHO와 인도네시아 정부는 네 가지 전략을 강조하여 보건 인적 자원을 개발하고 역량을 강화하는 것을 목표로 삼았습니다: 1) 계획 강화, 2) 공급/생산 증가, 3) 관리(유통 및 활용) 개선, 4) 품질 감독 및 관리 강화입니다(WHOSEARO, 2011).
The development of the NLE in Indonesia was rooted in the increasing need for high quality health care professionals at the beginning of 21st century. According to the report from the Ministry of Health in 2007, whilst communities had better access to health care, there were only slight improvements in health care outcomes. According to a World Health Organisation (WHO) report in 2010, Indonesia had a physician density of 0.15 per 1,000 population, which was less than the expected standard ratio. Moreover, there was uneven distribution of healthcare professionals in urban and rural areas. In 2006, only 17% of physicians worked in underserved areas, while 83% worked in highly populated areas (WHOSEARO, 2011). WHO and the Indonesian Government aimed to develop and empower human resources for health by emphasizing four strategies: 1) strengthening planning, 2) increasing supply/ production, 3) improving management (distribution and utilization), and 4) strengthening supervision and control of quality (WHOSEARO, 2011).

이러한 틀 안에서 정부는 이러한 목표를 달성하기 위해 설계된 보건의료 및 보건 전문직 교육 정책을 지속적으로 시행했습니다. 몇 년 전부터 정부가 보건 전문직 교육 법안을 제정하면서 변화가 시작되었습니다: 2003년에는 국가 교육 시스템 법안, 2004년에는 의료 실무 법안이 제정되었습니다. 이 법안들은 2006년에 인도네시아 의료 위원회의 설립을 촉구했습니다. 이 법안은 또한 교육부가 학부 의학교육 커리큘럼을 개선하는 데 촉매제 역할을 했습니다. 역량 기반 커리큘럼이 시행되었고, 커리큘럼의 참고 자료로 인도네시아 의사 역량 표준(인도네시아 의사 역량 표준 - SKDI)이 만들어졌습니다. 
Within this framework, the Government continued to implement policies in health care and health professions education designed to achieve these aims. Changes had begun a few years before, when the government established health profession education bills: The National Education System Bill in 2003 and Medical Practice Bill in 2004. The Bills urged the establishment of the Indonesian Medical Council in 2006. The Bills also acted as a catalyst for the Ministry of Education to improve the undergraduate medical education curriculum. Competence-based curricula were implemented and the Standard of Competence for Indonesian Medical Doctors (Standar Kompetensi Dokter Indonesia – SKDI) created as a reference for curricula.

역량 기반 커리큘럼 구현은 세계은행이 후원하는 교육부의 보건 전문가 교육 품질 프로젝트의 감독하에 진행되었습니다. NLE 설립에 앞서 인도네시아 의과대학 간 벤치마킹 테스트가 진행되었습니다. 자바섬(본섬)과 수마트라섬(외딴 지역)의 공립대학을 대상으로 한 벤치마킹 테스트 결과, 인도네시아 의과대학의 질에 차이가 있는 것으로 나타났습니다(Agustian and Panigoro, 2005). 위원회가 각 학교를 지속적으로 방문한 결과, 의학교육의 질을 보장하기 위해 의과대학의 '역량과 능력'을 개선할 필요가 있다는 사실이 밝혀졌습니다. '역량과 역량'이라는 용어는 자원에만 국한된 것이 아니라 교육 기관 내부의 학습 과정도 포함했습니다. 
The competence-based curriculum implementation was conducted under the supervision of the Ministry of Education’s Health Professionals Education Quality project sponsored by the World Bank. Prior to the establishment of the NLE, a series of benchmarking tests among medical schools in Indonesia took place. A benchmarking test between a public university in Java (the main island) and in Sumatera (a more remote area) shows that there were gaps among medical schools’ quality in Indonesia (Agustian and Panigoro, 2005). A continuous visit to each school by the committee revealed the need to improve the ‘capacity and capability’ of medical schools to ensure the quality of medical education in the institution. The term ‘capacity and capability’ was not only limited to resources but also included the learning process inside the institution.

세계보건기구에 따르면 2008년 인도네시아 의과대학을 졸업한 의사는 4325명이었습니다(WHO, 2011). 2013년에는 이 숫자가 거의 두 배로 증가하여 7047명이 졸업했습니다. 2008년 이후 20개 이상의 의과대학이 새로 설립되어 인도네시아의 의대생 수가 크게 증가했습니다. 일부 신설 학교는 기존 학교보다 더 많은 학생을 수용하기도 했는데, 예를 들어 C-인증을 받은 한 신설 학교는 연간 400명의 신입생을 수용했습니다(HPEQ, 2013). 2013년 이전에는 의과대학에 대한 학생 정원 규제가 없었기 때문에 이런 일이 가능했습니다. 각 대학(사립 또는 공립)의 내부 정책에 따랐을 뿐입니다. 현재 인도네시아의 의과대학은 매년 약 7,000~8,000명의 졸업생을 배출하고 있습니다. 인도네시아의 의료 수요를 충족하기 위해 이 숫자는 앞으로 크게 증가할 수 있습니다. 이처럼 의사 수가 크게 증가함에 따라 의학교육의 질을 보장하는 데 어려움이 있습니다. 
According to WHO, in 2008, 4325 doctors graduated from medical schools in Indonesia (WHOSEARO, 2011). In 2013, this number almost doubled, with 7047 graduates. Since 2008 more than 20 new medical schools were established, which significantly increased the number of medical students in Indonesia. Some new schools even accepted more students than the established schools; for example a new and C-accredited school accepted 400 new students per year (HPEQ, 2013). This was possible because, before 2013, there was no regulation of student quota for medical schools. It was only based on each university’s (private or public) internal policy. Nowadays, medical schools in Indonesia produce roughly around 7,000-8,000 graduates per year. This number could increase in the future significantly to meet health care needs in Indonesia. Such a significant increase in the number of medical doctors creates a challenge in assuring the quality of their medical education.

이에 보건부는 인도네시아 의대 졸업생들이 SKDI의 역량을 기반으로 특정 기준을 충족할 수 있도록 NLE를 설립하여 그 질을 높이기로 결정했습니다. 이 시험은 의과대학 내 역량 강화 및 개선을 유도하기 위한 목적도 있었습니다. 인도네시아 보건부와 인도네시아 의사회가 공동 주관하는 위원회에서 관리하는 NLE는 2007년에 설립되었습니다. 시험은 MCQ를 이용한 지식 평가로 시작되었습니다. 임상 술기 역량에 대한 논의가 시작되기 전까지는 지식 평가로 졸업생의 임상 분야 역량을 평가하는 것으로 충분하다고 여겨졌습니다. 2011년, 의사면허시험을 주관하는 인도네시아 국가역량시험 공동위원회(Komite Bersama Uji Kompetensi Dokter Indonesia - KBUKDI)는 MCQ로 평가할 수 없는 임상 술기를 평가하기 위해 OSCE를 개발하기로 결정했습니다(의사면허시험 공동위원회, 2013a). OSCE 시행 준비 과정은 다음과 같이 구분되었습니다:

• 1) 청사진 설계,
• 2) 문항 은행 및 지침 개발,
• 3) 시험 속성 구성(도구, 인쇄된 루브릭, 컴퓨터 기반 채점),
• 4) 2011-2012년 연 4회 시범 실시,
• 5) 시범 실시 평가,
• 6) 2013년 시행, 처음에는 두 번의 시험 기간에 형성 평가로, 다음 시험 기간에 종합 평가로 실시. 

The MoHER then decided to lever the quality of Indonesian medical graduates to meet certain standards, based on competences in SKDI, by establishing a NLE. This examination was also intended to drive improvement or capacity building within medical schools. Managed by a committee coordinated by the MoHER and the Indonesian Medical Council, a NLE was established in 2007. The examination started with an assessment of knowledge using MCQ. Until the discussion of clinical skills competence came up, it was considered sufficient to assess graduate competence in the clinical area by assessing their knowledge. In 2011, the Joint Committee of Indonesia National Competency Examination (Komite Bersama Uji Kompetensi Dokter Indonesia – KBUKDI), who act as an executive for the licensure, decided to develop an OSCE to assess clinical skills which could not be assessed using MCQ (Joint Committee on Medical Doctor Licensing Examination, 2013a). The process of preparing OSCE implementation was divided into:

• 1) Designing the blueprint;
• 2) Developing an item bank and guidelines;
• 3) Organizing exam attributes (tools, printed rubrics, computer-based scoring);
• 4) Piloting four times a year within 2011-2012;
• 5) Evaluation of pilots;
• 6) Implementation in 2013, initially as a formative assessment in two examination periods and summative in the next ones.

OSCE는 15분 분량의 12개 스테이션으로 구성되었습니다. 12개 스테이션은 12개 신체 시스템을 대표하며, 2012년 SKDI를 청사진으로 삼았습니다. 각 스테이션에서는 외래 진료실, 응급실, 수술실, 수술실로 설정된 공간에서 시뮬레이션된 임상 시나리오를 사용했습니다. 표준화된 환자 발생 사례와 마네킹을 이용한 시뮬레이션이 있었습니다. 수험생들은 로테이션을 위해 부저 소리로 안내를 받았습니다. 시험관들은 루브릭으로 학생들을 평가하고, 해당 스테이션의 케이스에 대한 임상 정보에 대한 가이드라인을 제공했습니다.
The OSCE comprised of twelve 15-minute stations. The twelve stations represented 12 body systems, referring to the 2012 SKDI as the blueprint. The stations used simulated clinical scenarios in rooms set as outpatient clinics, emergency room, and operation/ surgical room. There were standardised patient encounter cases as well as simulation using manikins. Examinees were guided by buzzer sounds for the rotation. Examiners assessed students with rubrics; provided with guidelines for clinical information regarding the case in the particular station.

2011년 8월부터 6차례의 시범 운영이 실시되었으며, 초기에는 1개 의과대학이 참여하여 2012년 말에는 44개 의과대학이 참여했습니다. 시험 센터에서 2단계(임상술기 평가)를 실시하는 미국과 달리, 인도네시아에서는 각 의과대학이 해당 시험 기간에 의대 졸업생을 배출한 경우 시험 센터가 되어야 합니다. 즉, 의과대학은 시험에 필요한 시험관, 직원, 시설 및 자원을 갖추어야 합니다. 시험 시행에 필요한 자원은 졸업생 수에 맞게 충분해야 합니다. 
Six pilots were conducted from August 2011, involving one medical school at the beginning to 44 medical schools at the end of 2012. Unlike in the US where the Step 2 (the clinical skills assessment) is conducted in test centres; in Indonesia, each medical school must be a test centre if they had medical graduates in that current period of examination. This means that medical schools must have the examiners, staff, facilities, and resources needed for the examination. The resources needed to deliver the examination should be sufficient to suit the number of graduates.

NLE의 일부로 OSCE를 시행하는 것은 2013년 고등교육부 고등교육국장의 법령에 명시되어 있습니다. 이 법령에 따르면 NLE는 컴퓨터 기반 MCQ와 OSCE로 구성되며, NLE는 학부 교육이 끝날 때 졸업 시험의 역할을 합니다. 처음 두 차례(2013년 2월과 5월)에 걸쳐 실시된 OSCE는 교육적 목적의 평가였습니다. 2013년 8월부터 OSCE는 필기 시험과 함께 종합적인 목적으로 사용되었습니다. 의대생은 두 시험을 모두 통과해야 의과대학을 졸업할 수 있습니다. 시험에 합격한 학생은 인도네시아 의학위원회로부터 역량 인증서를 받고 의과대학을 졸업할 수 있습니다. 이 증명서는 인도네시아 보건부로부터 의사 면허를 취득하는 데 필요합니다. 시험에 불합격한 학생은 재시험에 응시해야 하며, 의과대학은 이들을 위한 재교육 프로그램을 제공해야 합니다. 2014년 1월부터 보건부 고등교육국장은 의과대학의 NLE 합격률과 인증을 규제하는 법령을 제정하여 다음 학년도 신입생 최대 정원을 결정했습니다. 이 법령은 전임상 및 임상 교육 단계의 교사와 학생 비율의 균형을 맞추기 위한 것이었습니다. 이 법령은 일부 의과대학의 행태로 인해 촉발되었습니다. 예를 들어, C-인증을 받은 한 학교는 교사가 100명 미만인데도 연간 400명의 학생을 수용했습니다(HPEQ, 2013).  
The implementation of the OSCE as part of the NLE was described in the 2013 decree by Higher Education General Director of the MoHER. It stated that the NLE consists of computer-based MCQ and an OSCE; and the NLE serves as an exit exam at the end of undergraduate education. In the first two periods of the OSCE as the NLE (February and May 2013), the assessment was for formative purposes. Starting in August 2013, the OSCE served summative purposes, alongside the written examination. Medical students must pass both examinations before they can graduate from medical school. Students who pass the examination gain a certificate of competence from the Indonesian Medical Council and graduate from medical schools. This certificate is required for a licence of practice from the MoH. Students who fail the examination must retake the examination and medical schools must provide remediation programmes for them. Starting in January 2014, the Higher Education General Director under the MoHER established a decree that regulates the passing rate of medical schools in NLE and their accreditation to determine the maximum quota for new students in the next academic year. This decree was meant to balance the ratio of teachers and students in preclinical and clinical phases of education. This decree was precipitated by the behaviour of some medical schools. For example, a C-accredited school accepted 400 students per year when they had less than 100 teachers (HPEQ, 2013).

이로 인해 합격률이 낮고 인증 수준이 낮은 의과대학들 사이에서 우려의 목소리가 높았습니다. A 인증 의과대학은 NLE 합격률이 90% 이상인 경우 최대 250명의 학생을 수용할 수 있었습니다. 반면, C 인증 의과대학은 NLE 합격률이 90% 이상인 경우 100명, 50% 미만인 경우 50명의 학생만 수용할 수 있었습니다. 이 규칙을 위반하는 의과대학(또는 대학)에 대해서는 보건복지부가 제재를 가하고 있습니다. 학생들의 등록금이 주 수입원인 사립학교의 경우, 이는 심각한 문제를 야기할 수 있습니다. 
This caused worries among medical schools that had lower passing rates and low levels of accreditation. The A-accredited medical schools could have a maximum of 250 students if they had a 90%+ passing rate in the NLE. Meanwhile, the C-accredited schools could only accept 100 students if they had a 90%+ passing rate in the NLE, and 50 students if they had less than 50%. There are sanctions from the MoHER for medical schools (or universities) that violate this rule. For private schools, whose main income is student’s tuition fees, this might raise significant problems.

인도네시아에서 NLE를 도입하고 그 일환으로 OSCE를 시행하는 것은 NLE를 시행한 다른 국가들의 경우와 마찬가지로 의학교육에 상당한 영향을 미칠 것으로 보입니다.
In Indonesia, the introduction of the NLE and the implementation of the OSCE as part of it, are likely to generate a significant impact on medical education, as has been the case for other countries that have implemented the NLE.

3.4 NLE의 결과: 현재의 논쟁
3.4 The consequences of the NLE: current debate

Kane(2014)이 제안한 평가의 타당성에는 결과 영역이 포함됩니다. 즉, 시험 점수의 해석을 뒷받침하는 증거가 있어야 하며, 평가의 결과에 대한 증거가 있어야 합니다. 평가의 타당성 정도는 개입으로서의 영향에 대한 증거를 포함하여 증거가 얼마나 강력한지에 따라 달라집니다(Kane, 2014). 면허 시험은 실무에 필요한 지식, 기술, 판단력을 갖춘 응시자만이 시험에 합격할 수 있도록 함으로써 대중을 보호하는 역할을 합니다. 시험 점수가 향후 업무 수행 능력과 상관관계가 있다고 가정하면 시험 점수가 낮은 수험생이 공공에 위협이 될 수 있다고 생각할 수 있습니다. 그러나 시험 점수가 높다고 해서 반드시 좋은 실무자가 되는 것은 아닙니다. NLE의 타당성은 시험 점수에만 의존하는 것이 아니라 이해관계자에게 미치는 영향도 고려해야 합니다. 
The validity of assessment, as proposed by Kane (2014), includes the consequences domain: there should be evidence that supports the interpretation of test scores; meaning there must be evidence of the consequences of the assessment. The degree of any assessment’s validity depends on how strong is the evidence, including the evidence of its impact as an intervention (Kane, 2014). The licensing examination works as a protection to the public by ensuring that only candidates who have the necessary knowledge, skills, and judgement for practice, pass the test. It could be assumed that the test score correlates with future performance, so that students with low test scores could pose a threat to public. However, it does not necessarily mean that those who have higher test scores will be good practitioners. The validity of the NLE does not solely rely on test scores, but also its consequences for stakeholders.

다우닝의 프레임워크를 사용하여 체계적 문헌고찰을 수행한 Archer 등(2016)이 설명한 바와 같이, NLE의 결과는 참가자, 의과대학, 규제기관, 정책 입안자 또는 더 넓은 사회에 미칠 수 있으며, 의도적이거나 의도하지 않았거나, 유익하거나 해로울 수 있습니다(Archer 등, 2016a). NLE의 영향은 의료 시스템에만 국한되지 않고 의학교육 시스템에도 영향을 미친다는 점에 유의하는 것이 중요합니다. NLE의 결과에 대한 몇 가지 연구가 있었지만 이 분야에 대한 지식은 제한적입니다. Archer 등이 GMC(2016)를 대상으로 실시한 체계적 문헌고찰에서는 수험생의 과거 및 미래 성과, 환자 결과 및 불만과의 관계, 국내 졸업생과 해외 졸업생 간의 성과 차이 등 세 가지 영역의 결과를 조사했습니다. 
As described by Archer, et al. (2016), who used Downing’s framework to conduct a systematic review, the consequences of NLEs may fall on participants, medical schools, regulators, policy makers, or wider society; and they can be intended or unintended, beneficial or harmful (Archer et al., 2016a). It is important to note that the impact of NLEs will not be limited to the healthcare system, but also to the medical education system. There have been some studies of the consequence of NLEs but knowledge in this area is limited. The systematic review conducted by Archer et al. for the GMC (2016) looked into three areas of consequences: prior and future performance by examinees, relationship to patient outcomes and complaints, and variation in performance between home and international graduates.

대부분의 연구에 따르면 학교 평가에서 우수한 학생은 NLE에서도 우수한 성적을 거둘 수 있으며(Hecker and Violato, 2008), NLE 결과는 대학원 평가에서 더 나은 성과를 예측하는 것으로 나타났습니다(Thundiyil 외., 2010; Miller 외., 2014; Yousem 외., 2016). 그러나 Archer 등이 지적했듯이 의과대학의 의학교육에 대한 다른 접근 방식이 결과에 영향을 미칠 수 있습니다(Archer 등, 2016a). 그의 검토에 따르면 NLE의 결과로 환자 예후가 개선되었다는 증거가 부족하다고 합니다. NLE의 개입이 더 나은 환자 치료로 이어질 수 있다는 명확한 증거는 없습니다. 연구에 따르면 NLE의 성과와 환자의 불만 비율 사이에는 상관관계가 있는 것으로 나타났습니다(Tamblyn 외., 2007). 이는 인과관계를 설명하는 것이 아니라 환자 치료에 대한 NLE의 예측 가치가 있음을 보여줄 뿐이었습니다. 그러나 Archer의 검토에서는 이러한 연구가 NLE를 지지하는 강력한 논거를 제공한다는 점을 인정했습니다(Archer et al., 2016a). 
Most of the studies found that students who excelled in schools’ assessment would do well in NLEs (Hecker and Violato, 2008) and the NLE results predicted better performance in postgraduate assessment (Thundiyil et al., 2010; Miller et al., 2014; Yousem et al., 2016). However, as Archer et al. pointed out, the different approach to medical education in the medical schools might affect the results (Archer et al., 2016a). His review also revealed that there is the lack of evidence for the improvement of patient outcome as an NLE consequence. There is no clear evidence that the intervention of NLEs could lead to better patient care. The studies showed there was a correlation between performance in the NLE and rate of complaints made by patients (Tamblyn et al., 2007). This did not explain the causation; it only showed that there is a predictive value of the NLE on patient care. However, it was acknowledged in Archer’s review that these studies provided a strong argument in favour of NLEs (Archer et al., 2016a).

NLE의 타당성에 기여하는 NLE의 영향은 환자 치료와 의사의 임상 성과 영역에만 국한되지 않습니다. NLE가 교육에 미치는 영향도 중요하지만, 이 영역에 대한 증거는 매우 제한적입니다. 대부분의 연구는 임상 술기 평가의 NLE 구성 요소로 인한 임상 술기 커리큘럼 및 평가의 변화를 설명했습니다. 미국에서는 USMLE의 2단계 CSA가 임상 술기 교육의 변화를 주도했습니다. 의학 커리큘럼, 특히 자체 임상 술기 평가에 미치는 영향은 많은 학교가 의학교육에서 임상 술기의 중요성을 바라보는 시각을 바꾼 것으로 나타났습니다(Hauer 외, 2005; Hauer 외, 2006). 대부분의 학교는 의사소통 능력에 중점을 두고 종합적인 임상 술기 평가를 실시합니다(Hauer et al., 2005). Archer 등(2016)은 미국과 캐나다와 같은 기존 시스템에서는 임상 술기의 중요성이 부각되면서 의과대학의 임상 술기 교육에 집중하여 전국적으로 덜 자주 가르치는 특정 술기에 대한 필요성을 해결하고 있다고 강조했습니다. 
The impact of the NLE, which contributes to its validity, is not limited to the area of patient care and clinical performance of a doctor. NLEs’ consequences on education are also important, however, the evidence in this area is very limited. Most of the studies described changes in clinical skills curricula and assessment as a result of the NLEs’ component of clinical skills assessment. In the US, the Step 2 CSA of USMLE drove changes in clinical skills education. The impact on medical curricula, especially in-house clinical skills assessments, showed that many schools changed how they viewed the importance of clinical skills in medical education (Hauer et al., 2005; Hauer et al., 2006). Most schools conduct comprehensive clinical skills assessment with an emphasis on communication skills (Hauer et al., 2005). Archer et al. (2016) highlighted that in the established system, like the USA and Canada, the emerging importance of clinical skills was used to focus medical schools’ clinical skills teaching to address the need for specific skills which were less frequently taught nationwide.

의학교육의 변화가 비교적 최근이고 OSCE가 비교적 새로운 아시아 국가에서는 NLE의 일부로 도입하는 것이 어려운 도전이 될 수 있습니다. 대만의 경우, Lin 등(2013)이 설명한 바와 같이 임상시험의 난이도가 높아지면서 임상술기 평가의 사용이 증가하고 병원 내 임상술기 교육 시설이 개선되었습니다. 이 연구진은 설문지를 통해 OSCE 프로그램이 활성화된 교육 병원을 조사하여 OSCE 시행과 그 구성 요소에 대한 정보를 얻었습니다. 그 결과 교육 및 시험실, 모의 환자(SP), 임상 술기 평가를 위한 케이스 개발 수가 모두 증가했다는 사실을 발견했습니다. 그러나 교육이나 평가에 사용되는 병원 공간, 직원, SP 등의 한계도 확인했으며, 시험 시행에 필요한 자원이 충분한지에 대한 우려도 제기했습니다. 이러한 문제에도 불구하고 이 연구는 의료 수련 기관에서 NLE에 대한 강력한 지지를 나타냈습니다(Lin et al., 2013). 마찬가지로 한국에서도 OSCE 도입으로 임상술기 교육 커리큘럼, 평가, 시설 등이 개선되었다는 연구 결과가 있었습니다(Kim, 2010; Park, 2012; Ahn, 2014). 
In Asian countries, where changes in medical education are more recent and the OSCE is relatively new, its introduction as part of the NLE can be a daunting challenge. For Taiwan, as explained by Lin et al. (2013), the high stakes clinical examination drove the increasing use of clinical skills assessments and the improvement of clinical skills teaching facilities in hospitals. They investigated teaching hospitals with active OSCE programs using questionnaires to gain information about OSCE implementation and its components. They found that the number of rooms for training and examination, simulated patients (SP), and case development for clinical skills assessment all increased. However, they also identified limitations: hospital spaces used for teaching or assessment, staff, and SPs, raising the concern of whether there were sufficient resources to establish the examination. Despite these issues, the study indicated strong support from medical training institutes toward a NLE (Lin et al., 2013). Similarly, studies in South Korea also indicated that the introduction of OSCE drove improvement in clinical skills teaching curricula, assessment, and facilities (Kim, 2010; Park, 2012; Ahn, 2014).

문헌에 나타난 NLE의 긍정적인 결과와 부정적인 결과로 요약되는 이러한 상반된 의견은 아래 표에 요약되어 있습니다: These contrasting opinions, summarised as positive and negative consequences of the NLE from the literature are summarised in the table below:

지난 10년 동안 추가 연구가 수행되었는데, 대부분 의학교육과 의료 시스템이 인도네시아와 같은 개발도상국과 다른 선진국에서 데이터를 가져왔습니다. Archer 등(2016)이 GMC에 대한 검토에서 언급했듯이, 곧 도입될 영국의 MLA는 영국과 유사한 특성을 공유하는 다른 국가의 NLE(인간개발지수가 높고 의학교육 및 보건의료 시스템이 유사한 선진국)와 비교할 수 있습니다. 이를 통해 NLE를 둘러싼 담론에서 개발도상국에서의 실행 및 영향과 관련된 격차가 있음을 확인할 수 있습니다. 
Further studies have been conducted in the last decade, most of which draw their data from developed countries, where both medical education and the health care system differs from those in developing countries such as Indonesia. As Archer, et al. (2016) stated in his review for the GMC, the upcoming MLA in the UK could be compared with NLEs in other countries sharing similar characteristics with the UK: highly developed countries with a high human development index, similar systems of medical education and health care. This confirms gaps in the discourse surrounding the NLE to do with its implementation and impact in developing countries.

인도네시아에서는 2007년부터 SKDI를 '표준'으로 도입하고 NLE를 통해 커리큘럼을 변화시켜 역량 기반 커리큘럼으로 이끌었습니다. 이러한 혁신에 대한 연구는 제한적이며 대부분의 문헌은 인도네시아 문화와 이해관계자의 고유한 특성을 다루지 않았습니다. 국가 위원회에서 수행한 연구는 시험의 타당도와 신뢰성 요소에 초점을 맞추었습니다.
In Indonesia, the introduction of SKDI as the “standard” and the NLE drove curriculum changes from 2007 leading to the competence-based curriculum. There is limited research on these innovations and most of the literature has not covered the unique characteristics of Indonesian culture and stakeholders. The studies carried out by the national committee focussed on the validity and reliability component of the examination.

인도네시아의 의학교육과 의료 시스템 이해당사자들에게 NLE가 미친 영향에 대해서는 알려진 바가 거의 없습니다. 소규모 연구에 따르면 NLE가 학생 학습의 질과 학생의 메타인지 조절에 영향을 미쳤다고 합니다(Firmansyah 외., 2015). 그러나 교사는 교육의 예상 결과를 학습 목표로 해석하여 학생들에게 전달해야 하므로 NLE는 교사의 수업과 평가를 수정할 수 있는 잠재력을 가지고 있습니다. 마찬가지로, 이는 학생들이 시험과 관련된 방식에 영향을 미치고 의과대학이 정책 및 교육 관행에 필요한 변화를 파악하도록 유도할 수 있습니다. 그러나 NLE를 경험한 사람들에게 이러한 영향이 구체적으로 어떤 영향을 미쳤는지에 대해서는 알려진 바가 거의 없습니다. 따라서 인도네시아의 매우 다양한 의과대학 시스템에서 NLE가 학생의 학습, 교사의 개발, 의과대학의 정책에 어떤 영향을 미쳤는지 이해하는 것이 중요합니다. 
Little is known about the consequences of the NLE on medical education in Indonesia and the stakeholders in the health care system. A small scale study proposed that the NLE affected the quality of student learning and students’ metacognitive regulation (Firmansyah et al., 2015). However, as teachers have to interpret the expected outcome of education into learning objectives and deliver it to students the NLE has the potential to modify their teaching and assessment. Similarly, this would affect how students relate to the examination and lead medical schools to identify changes needed in their policy and educational practice. However, very little is known about the details of this impact on those who experienced the NLE. It is, therefore, important to understand how the NLE affected students’ learning, teachers’ development, and medical schools’ policy in the very diverse system of medical schools in Indonesia.

• 따라서 이 연구는 인도네시아의 문화와 이해관계자 및 그들의 특성이 NLE 시행의 결과에 어떤 영향을 미칠 수 있는지 인식하면서 인도네시아에서 NLE의 영향을 이해하는 데 중점을 두었습니다.
  Consequently, this study focussed on understanding the impact of the NLE in Indonesia, recognising how the culture and the stakeholders and their characteristics might affect the consequences of implementing the NLE.

베트남의 의사면허시험에 대한 코멘터리(MedEdPublish, 2023)
A commentary on the National Medical Licensing Examination in Vietnam: why, what, who and how [version 2;
peer review: 2 approved] 
Thuy Minh Ha

Abstract

As a result of increasing societal demands and economic development, the number of medical schools in Vietnam has increased significantly over the past decade. In order to ensure physician competency, it is imperative that medical training meets a minimal threshold before entering clinical practice. The prospects of the National Medical Licensing Exam (NMLE) have been discussed extensively and are expected to be instrumental in influencing curriculum reform, thus enhancing the quality of medical education. This paper discusses briefly why NMLE is necessary for Vietnam, what should be considered when establishing it, who could be the responsible organization, and how good practices can be learned and used as personal recommendations for educators and policymakers.

베트남 의학교육의 혁신(BMJ Innov 2021)
Innovations in medical education in Vietnam
David B Duong ,1,2 Tom Phan ,3 Nguyen Quang Trung,4 Bao Ngoc Le,4 Hoa Mai Do,4 Hoang Minh Nguyen,4 Sang Hung Tang,4 Van-Anh Pham,5 Bao Khac Le,6 Linh Cu Le,7 Zarrin Siddiqui,7 Lisa A Cosimi,2,8 Todd Pollack9

소개
Introduction

현재 증거에 따르면 저소득 및 중저소득 국가(LMIC)에서는 진화하는 역학적 질병 패턴, 인구 통계 변화, 새로운 전염병 건강 위협, 기후 변화의 건강 영향 등 현재와 미래의 인구 요구를 충족하기 위해 의료 시스템 개선이 필요합니다.1 의학교육 개혁은 이러한 노력의 필수 요소이며, 양질의 의사 인력을 모집, 교육, 유지 및 분배하는 데 어려움을 겪고 있는 LMIC의 중요한 관심 분야입니다.2 3 2010년, 랜싯 위원회는 '의료 전문 교육을 혁신하는 새로운 세기'를 촉구하며 특히 LMIC의 필요성에 중점을 두었습니다.4 랜싯 보고서는 의료 교육을 개혁하기 위한 프레임워크와 권고 사항을 제공하고 필요한 정치적, 재정적, 리더십 약속을 포함하여 전 세계 의료 교육을 혁신하기 위한 행동 촉구입니다.4 이 야심찬 목표를 달성하려면 정책 입안자와 교육 지도자들이 의학교육의 설계 및 제공에 새롭고 혁신적인 접근법을 찾고 적용해야 합니다.5 6 
Current evidence suggests that, in low-income and middle-income countries (LMICs), healthcare system improvements are necessary to ensure healthcare services can meet current and future population needs, including evolving epidemiological disease patterns, shifting demographics, new infectious disease health threats and the health impacts of climate change.1 Medical education reform is an integral component of any such effort, and is an area of significant concern for LMICs, which struggle with recruiting, training, retaining and distributing a high-quality physician workforce.2 3 In 2010, a Lancet commission called for ‘a new century of transformative health professional education’, with a particular focus on the needs of LMICs.4 The Lancet report is a call to action to transform healthcare education worldwide by providing a framework and recommendations to reform healthcare education, including much needed political, financial and leadership commitments.4 Achieving this ambitious goal requires policymakers and educational leaders to find and apply novel and innovative approaches to the design and delivery of medical education.5 6

베트남의 의학교육
Medical education in Vietnam

동남아시아의 LMIC인 베트남의 의학교육 시스템(그림 1)은 최근까지 사회 대부분의 다른 부분과 환자의 건강 요구가 크게 발전했음에도 불구하고 거의 변하지 않았습니다.7 이전의 의학교육 개혁 노력은 산발적이고 특정 학과의 단일 의과대학에 국한되어 있었으며 포괄적이거나 광범위하지 않았습니다.8 1999년부터 베트남 전역의 의학교육자들은 학부 의학교육(UME)에 대한 지역사회 지향성을 촉진하기 위해 협력하여 의과대학 졸업생에게 기대되는 지식, 태도 및 기술의 형태로 학습 목표와 결과를 확인했습니다.9 10 이는 보건부(MOH)가 2015년에 일반 의사를 위한 최초의 표준 역량 세트를 발표할 수 있는 토대가 되었습니다. 그러나 그 실행은 제한적이었습니다.8 
Vietnam, an LMIC in Southeast Asia, has a medical education system (figure 1) which, until recently, had changed little despite substantial advancement in most other parts of society and in the health needs of patients.7 Previous medical education reform efforts have been sporadic and limited to single medical universities in specific departments, and not comprehensive or widespread.8 Starting in 1999, medical educators across Vietnam collaborated to promote a community orientation to undergraduate medical education (UME), and identified learning objectives and outcomes in the form of the knowledge, attitude and skills expected of a medical school graduate.9 10 This was the groundwork for the Ministry of Health (MOH) to issue the first set of standard competencies for general doctors in 2015. However, their implementation has been limited.8

현재 베트남에는 29개의 의과대학이 있으며, 각 학교당 연평균 400~600명의 의대생이 입학하고 있습니다.11 UME는 중등교육 이수 후 4~6년 과정으로 운영됩니다.7 대부분의 프로그램은 6년 과정으로, 초기 임상 노출을 최소화한 기초과학 2년과 나머지 4년 동안 임상 이론과 국립 및 지방 병원을 통한 병원 로테이션이라는 전통적인 형식으로 구성됩니다.7 UME를 수료하면 졸업생은 크게 두 가지 경로로 진로를 선택할 수 있습니다.

• 첫 번째는 프랑스의 경쟁형 인턴 제도를 모델로 한 레지던트 트랙입니다.12 레지던트 트랙은 주요 학술 의료 센터에서 진행되며 전문과목과 하위 전문과목 프로그램이 모두 포함됩니다. 현재 베트남에서는 졸업생의 약 10%가 레지던트 트랙에 입학합니다.
• 나머지 졸업생들은 다양한 병원에서 스스로 일자리를 찾아 18개월 동안 도제식 인턴십에 들어가며, 그 후 지방 보건부에 의사 면허를 등록할 수 있습니다.

인턴십을 마치고 의사 면허를 취득한 의사는 수련 분야에서 진료를 하거나 즉시 추가 전문의 수준('추옌 코아'(CK)) 교육(전문의 레벨 1 또는 CK I)을 받은 후 세부 전문의 교육(전문의 레벨 2 또는 CK II)을 더 받을 수 있습니다. CK I과 CK II 모두 완료하는 데 평균 2년이 걸립니다. 레지던트 과정을 마친 의사는 의사 면허를 취득한 후 진료를 하거나 바로 CK II 교육에 들어갈 수 있습니다. 현재 면허 취득 전 국가 시험은 없지만 가까운 시일 내에 시행할 계획이 수립되어 있습니다.7
Currently, there are 29 medical universities in Vietnam, with an average of 400–600 medical students matriculating per year at each school.11 UME is a programme of 4–6 years following the completion of secondary education.7 Most programmes are 6 years in duration and are organised in a traditional format of 2 years of basic science with minimal early clinical exposure, followed by clinical theory and hospital rotations through national and provincial hospitals in the remaining 4 years.7 On completion of UME, there are two major pathways for graduates.

• The first is the residency track, modelled after the French competitive interne des hôpitaux system.12 These take place at major academic medical centres and include both specialty and subspecialty programmes. Currently, approximately 10% of graduates enter the residency track in Vietnam.
• The remaining graduates find their own placement at various hospitals and enter apprenticeship-style internships for 18 months, after which they are eligible to register for a medical licence from a provincial department of health.

After completing internship and attaining a medical license, physicians can practice in the area of their training or immediately pursue further specialist-level ('chuyên khoa' (CK)) training (specialist level 1 or CK I) and then further subspecialist training (specialist level 2 or CK II). Both CK I and CK II take an average of 2 years to complete. Physicians completing residency are able to either practice after obtaining a medical licence or enter CK II training directly. Currently, there is no national examination prior to licensing, although a plan has been set for its establishment in the near future.7

현재 베트남의 정책 입안자들 사이에서는 비전염성 질병, 신종 전염병, 글로벌 기후 위기로 인한 보건 문제, 불평등 심화로 인해 베트남의 교육 시스템을 개혁하고 현대화할 필요성에 대한 광범위한 공감대가 형성되어 있습니다.10 13 14 특히 학부와 대학원 모두에서 의학교육의 커리큘럼 개혁이 우선순위에 놓여 있습니다.7 9 15 보건부는 국제 의료계와의 통합을 향한 비전과 함께 투자와 정책 변화를 통해 개혁 노력을 촉진했습니다.8 이러한 국가 차원의 노력은 교육자들이 혁신을 개발하고 공유할 수 있는 환경을 조성했습니다. 현재 호치민시 의약대학(UMP), 후에 의약대학, 타이빈 의약대학, 하이퐁 의약대학, 타이응우옌 의약대학 등 5개 공립 의과대학에서 UME 커리큘럼 개혁이 진행 중입니다. 현재 호치민에서는 대학원 의학교육(GME) 개혁이 진행 중입니다. 또한 베트남 의료 전문가의 질을 높이기 위한 노력의 일환으로 최근 비영리 사립 보건과학 대학인 빈대학교(VinUni)가 새롭게 출범했습니다.
There is currently wide consensus among policymakers in Vietnam on the need to reform and modernise the country’s educational system due to increasing incidence of non-communicable disease, emergent infectious diseases, health challenges arising from the global climate crisis and widening inequalities.10 13 14 In particular, curricular reform in medical education, both undergraduate and graduate, has been prioritised.7 9 15 The MOH has catalysed reform efforts through investments and policy changes with a vision towards integration with the international medical community.8 Such national-level commitment has created an enabling environment for educators to develop and share innovations. UME curriculum reform is currently under way at five public medical universities, including the University of Medicine and Pharmacy (UMP) at Ho Chi Minh City (HCMC), Hue UMP, Thai Binh UMP, Hai Phong UMP and Thai Nguyen UMP. Graduate medical education (GME) reform is currently under way in HCMC. Additionally, a new private not-for-profit health sciences college at VinUniversity (VinUni), has recently launched in efforts to increase the quality of healthcare professionals in Vietnam.

이 글에서는 베트남의 의료 교육 혁신의 두 가지 영역(커리큘럼과 기술)에 대해 설명하고, 파트너십과 정책 변화를 통해 이러한 혁신이 어떻게 가능했는지 살펴봅니다. 이러한 혁신은 베트남 내에서 새롭게 발생했거나 다른 국가의 관행을 베트남에 맞게 변형한 것이지만 베트남의 상황에 맞게 새로운 것으로 간주됩니다. 이러한 혁신은 베트남 의과대학이 직면한 문제를 해결합니다. 우리의 검토는 이 원고에 대한 저자들의 집단적 경험과 지식뿐만 아니라 출판된 문헌과 회색문헌을 기반으로 합니다.
In this article, we describe two areas of innovation in medical training in Vietnam (curriculum and technology) and we review how these innovations were enabled through partnerships and policy changes. These innovations are de novo (arising within Vietnam) or they are Vietnamese adaptations of practices from other countries but are considered new for the Vietnamese context. They address challenges experienced by medical universities in Vietnam. Our review is based on the published and grey literature, as well as the collective experience and knowledge of the authors on this manuscript.

커리큘럼 혁신
Curricular innovations

전 세계의 많은 교육기관과 마찬가지로 베트남의 교육기관도 인구 보건 수요를 충족할 수 있는 의사를 양성하기 위한 커리큘럼 개혁에 착수하고 있습니다. 5개의 공립 UMP가 UME 프로그램을 역량 기반 커리큘럼으로 전환하고 있습니다. 역량 기반 의학교육(CBME)은 성과에 초점을 맞추고 지식과 실습의 적용을 강조하며 학습자 중심주의를 촉진합니다.16-18 2015년 베트남 보건부는 베트남의 인구 보건 요구사항을 기반으로 표준 UME 역량을 만들었습니다.19 이러한 역량을 기반으로 새로운 커리큘럼을 개발하기 위해 UMP 교수진은 백워드 코스 설계 원칙을 사용하여 각 역량에 대한 하위 구성 요소를 정의하고, 이정표를 만들고, 적절한 평가 도구와 전략을 선택하고, 마지막으로 교육 활동과 교수법을 설계했습니다.20 UME 커리큘럼에서 이정표를 적용하는 것은 새로운 접근 방식입니다. 개발 마일스톤은 다양한 GME 프로그램에서 적용되어 왔지만, UME 맥락에서의 적용은 비교적 새롭고 전 세계적으로 다양합니다.21 22 마일스톤은 학습자가 역량을 향한 경로를 따라 특정 시점에 달성해야 하는 최소 기준을 정의하므로 학습자와 교수진 모두에게 투명성을 높여줍니다.23
Like many institutions around the world, those in Vietnam are embarking on curricular reforms aiming to train physicians better prepared to meet population health needs. Five public UMPs are transforming their UME programmes to a competency-based curriculum. Competency-based medical education (CBME) focuses on outcomes, emphasises application of knowledge and practice, and promotes greater learner-centredness.16–18 In 2015, the Vietnam MOH created standard UME competencies based on the population health needs of Vietnam.19 To develop the new curriculum based on these competencies, UMP faculty used the principles of backward course design, defining subcomponents for each competency, creating milestones, selecting appropriate assessment tools and strategies, and finally designing educational activities and teaching methods.20 The application of milestones in the UME curriculum is a novel approach. Developmental milestones have been applied in various GME programmes; however, its implementation in the UME context is relatively new and varies globally.21 22 Milestones increase transparency for both the learner and faculty as they define the minimum standard that learners need to accomplish at a point of time along their pathway towards competency.23

개혁된 커리큘럼은 기대되는 학습 결과의 달성에 건설적으로 연계된 쌍방향 교수 및 학습 활동이 특징입니다. 커리큘럼을 제공함에 있어 개혁 노력은 수동적인 강의 시간을 줄이고 능동적인 교육적 접근 방식을 구현하는 데 중점을 두었습니다. 수동적인 학습 접근 방식은 학생의 이해에 부정적인 영향을 미치고 문제 해결, 자기 주도적 학습 및 의료 전문가에게 필요한 기타 핵심 기술을 저해하는 것으로 나타났습니다.24-26 이는 대규모 학급 규모(UMP당 연간 400~600명의 의대생)와 낮은 교수 대 학생 비율로 인해 베트남 상황에서 특히 어려운 문제입니다. 이러한 문제를 극복하기 위해 교수진은 다른 환경에서 사용되는 교육적 접근 방식을 검토하고 베트남 강의실의 필요에 맞게 반복하여 적용했습니다. 소그룹 학습이 바람직하지만, 학급 규모가 크기 때문에 대규모 그룹 환경에서 활발한 학습을 유도하기 위한 전략이 필요합니다. 

• 이러한 전략 중 하나는 토론과 동료 학습을 유도하기 위해 생각-쌍-공유 접근 방식과 함께 청중 응답 시스템(ARS)을 사용하는 것입니다.27 28 그러나 교수진은 값비싼 기술 기반 ARS 대신 빠르게 확장하고 구현할 수 있는 색상으로 구분된 종이 기반 시스템을 개발했습니다. 
• 두 번째 전략은 팀 기반 학습(TBL)을 사용하는 것입니다. TBL은 학습자 중심성을 높이고 동료와의 능동적인 학습을 촉진하며 기존의 문제 기반 학습 접근 방식과 달리 교수 대 학생 비율이 낮은 환경에서도 구현할 수 있습니다.29 베트남에서 이 접근 방식을 채택한 경우, 약 40명의 학생에게 5~8명의 학생으로 구성된 팀과 교류하는 교수 촉진자가 제공됩니다. 학생 팀은 (1) 대면 세션 전 준비 과제, (2) 준비 과제에 초점을 맞춘 객관식 문제로 구성된 개인 및 그룹 준비도 확인 시험, (3) 준비 과제의 자료를 '실제' 시나리오에 적용해야 하는 그룹 적용 활동의 세 단계에 걸쳐 함께 작업하고 서로에게 책임을 집니다.29 이 접근 방식은 학습에 대한 문제 기반 접근 방식을 허용하고, 동료 간 학습과 책임감을 부여하며, 팀워크를 촉진하고, 다른 소그룹 학습 방법보다 적은 교수진 자원으로 구현할 수 있기 때문에 베트남에서 성공적이었습니다.

The reformed curriculum is characterised by interactive teaching and learning activities constructively aligned to the achievement of the expected learning outcomes. In delivering the curriculum, reform efforts have focused on implementing active pedagogical approaches, reducing time spent in passive lectures. Passive learning approaches have been shown to negatively affect student understanding and discourage problem-solving, self-directed learning and other critical skills needed for healthcare professionals.24–26 This is a particular challenge in the Vietnam context due to large class sizes (400–600 medical students per year per UMP) and low faculty-to-student ratios. To overcome these challenges, faculty reviewed pedagogical approaches used in other settings and iterated and adapted them to fit the needs of Vietnamese classrooms. While small group learning is desired, the large class size necessitates strategies for bringing active learning to a large group setting.

• One such strategy is the use of an audience response system (ARS) with think–pair–share approach to generate discussion and peer learning.27 28 However, in lieu of expensive technology-based ARSs, faculty developed a colour-coded paper-based system which could be quickly scaled up and implemented.
• A second strategy is the use of team-based learning (TBL). TBL increases learner-centredness, promotes active learning with peers and, unlike more traditional problem-based learning approaches, can be implemented in settings with low faculty-to-student ratios.29 In the Vietnamese adaptation of this approach, approximately 40 students are provided a faculty facilitator who engages with teams of five to eight students. Student teams work together and are held accountable to one another in the three distinct phases of TBL: (1) a preparation assignment prior to the in-person session, (2) individual and group readiness assurance tests consisting of multiple choice questions focused on the preparation assignment, and (3) a group application activity that requires students to apply the material from the preparation assignment to a ‘real-world’ scenario.29 The approach has been successful in Vietnam because it allows for a problem-based approach to learning, enables peer-to-peer learning and accountability, promotes teamwork and can be implemented with fewer faculty resources than other small group learning methods.

베트남의 UME 역량에는 팀워크와 전문가 간 협업이 포함됩니다. 전문직 간 협업은 의학전문대학원 교육 인증위원회와 캐나다 왕립 의사 및 외과의사 대학을 비롯한 많은 국가의 의학교육 프레임워크에서 핵심 역량이지만,30 진정한 전문직 간 교육 모델은 자원이 풍부한 환경에서도 여전히 제한적입니다.31 32 CBME 개혁 이전 베트남의 의대생들은 시뮬레이션과 병동 실습을 통해 간호 기술을 배웠습니다. 학생들은 간호 교수진으로부터 교육을 받고, 병동에서 간호사를 관찰하고, 간호사의 감독 하에 환자 간호에 참여하여 실습 로테이션에 들어갑니다. 이 새로운 직종 간 교육 모델은 새로운 커리큘럼에서도 유지되었습니다. 

• 전문직 간 교육을 더욱 촉진하기 위해 호치민 UMP는 2019년 9월 의학, 약학, 간호학 및 재활학 학생들을 위한 새로운 과정을 도입했습니다. 여러 분야의 교수진이 협력하여 학생들의 협업을 촉진하고 (1) 전문직 간 진료의 가치 이해, (2) 효과적인 의사소통, (3) 전문성, (4) 팀 리더십 기술 등 전문직 간 진료와 관련된 기술을 배양하는 과정을 설계했습니다. 이 과정은 베트남에서 전문직 간 교수진이 전문직 간 학생 그룹을 대상으로 가르치는 최초의 과정입니다. 

UME competencies in Vietnam include teamwork and interprofessional collaboration. Although interprofessional collaboration is a core competency in many countries’ medical education frameworks, including those from the Accreditation Council for Graduate Medical Education and the Royal College of Physicians and Surgeons of Canada,30 models for authentic interprofessional education are still limited, even in high-resourced settings.31 32 Prior to CBME reforms, medical students in Vietnam learnt nursing skills through both simulation and practice on the wards. Students are taught by nursing faculty, observe nurses on the wards and participate in patient care under the supervision of nurses, prior to entering clerkship rotations. This novel interprofessional education model was maintained in the new curriculum.

• To further promote interprofessional education, UMP at HCMC introduced a new course in September 2019 for medicine, pharmacy, nursing and rehabilitation students. Faculty members from the different disciplines cooperated to design a course which promotes student collaboration and foster skills related to interprofessional practice including: (1) understanding the value of interprofessional care, (2) effective communication, (3) professionalism, and (4) team leadership skills. This is the first course in Vietnam taught to an interprofessional group of students by an interprofessional faculty.

테크놀로지 혁신
Technological innovation

테크놀로지를 의학 커리큘럼에 통합하면 성인 학습 이론을 의학 교육에 적용하고 학습 환경을 단순히 콘텐츠와 지식을 전달하는 공간에서 학습 과정과 학습자 평가를 촉진하는 공간으로 전환할 수 있습니다.33 이를 통해 학습 환경은 교실, 강의실, 도서관의 전통적인 영역을 넘어 가상 공간으로 확장될 수 있습니다. 베트남 의과대학 개혁의 핵심은 새로운 학습 테크놀로지를 도입하고 이를 적용할 수 있는 네트워크 인프라에 투자하는 것이었습니다.
Integration of technology into medical curricula can catalyse the application of adult learning theory in medical education and help to transform the learning environment from solely a distributor of content and knowledge into a space which facilitates the learning process and the assessment of the learner.33 In doing so, learning environments can be expanded beyond the traditional domains of classrooms, lecture halls and libraries into virtual spaces. A key pillar of the reform at medical universities in Vietnam has been to adapt new learning technologies and invest in network infrastructure to enable their application.

베트남의 의과 교육 프로그램은 공립 대학의 경우 Moodle과 같은 무료 오픈 소스 학습 관리 시스템(LMS)을 사용하고 맞춤화하여 가상 공간을 확장했으며, 사립 대학의 경우 Canvas 및 One45와 같은 구독 서비스 LMS를 사용했습니다. 일부 교육기관에서는 LMS를 수업 자료를 업로드하고 다운로드하는 플랫폼으로만 사용하기도 하지만, 학생과 교수진의 피드백 수집, 게시판 및 토론 포럼 생성, 평가 관리, 온라인 리소스 센터 또는 라이브러리 개발, 온라인 학습 과정 구현과 같은 고급 기능을 사용할 수 있도록 LMS를 커스터마이즈한 교육기관도 있습니다. 예를 들어, 

• 미국 외과 대학원 프로그램을 위한 표준화된 역량 기반 온라인 커리큘럼을 만든 미국 컨소시엄인 외과 레지던트 교육 위원회(SCORE)와 협력하여 호치민 UMP의 일반외과 레지던트 프로그램에 사용할 수 있도록 SCORE 포털을 도입하고 맞춤화했으며, VinUni도 GME 프로그램의 일부로 SCORE 프레임워크를 사용하고 있습니다.
• 아직 파일럿 단계에 있지만 역량 기반 온라인 교육 자료를 적용하면 모든 일반외과 레지던트가 공통 커리큘럼을 받고 공통 지식 기반을 개발할 수 있습니다. 이는 베트남 GME의 새로운 접근 방식으로, 일반적인 교사 중심 접근 방식에서 벗어나 학습자가 자신의 시간에 온라인 모듈에 액세스하여 자신의 속도에 맞춰 진행할 수 있는 학습자 중심 접근 방식으로 커리큘럼을 재조정하는 데 도움이 됩니다.

Medical education programmes in Vietnam have expanded their virtual footprint through the use and customisation of free, open-source learning management systems (LMS) such as Moodle for public universities, and subscription-service LMS such as Canvas and One45 for private universities such as VinUni. While some institutions have used the LMS solely as a platform to upload and download class materials, others have customised the LMS to allow for more advanced features, such as collecting feedback from students and faculty, creating message boards and discussion forums, administering assessments, developing online resource centres or libraries and implementing online learning courses. For example,

• in collaboration with the Surgical Council on Resident Education (SCORE), a US consortium that created a standardised competency-based online curriculum for US surgical graduate programmes, the SCORE Portal was introduced and tailored for use in the general surgery residency programme at UMP at HCMC; VinUni also uses the SCORE framework as part of their GME programme.
• While still in a pilot phase, the application of competency-based on-line training materials ensures that all general surgery residents can receive a common curriculum and develop a common knowledge base. This is a novel approach for GME in Vietnam, helping to reorient the curriculum away from the more typical teacher-centred approach to a learner-centred approach in which learners can access online modules on their own time and proceed at their own pace.

앞서 설명한 LMS 구현과 같은 테크놀로지에 대한 투자와 혁신 덕분에 베트남의 대학들은 2020년 2월 코로나19 팬데믹이 시작되었을 때 온라인 학습으로 빠르게 전환할 수 있었습니다. 교직원과 학생들은 이미 Zoom, Microsoft Teams, Google 행아웃과 같은 LMS 및 온라인 학습 플랫폼에 익숙해져 있었습니다. 그 결과 사회적 거리두기 조치가 시행되었을 때 프로그램 중단을 최소화할 수 있었습니다. 또한 온라인 교육 및 학습을 위한 역량을 갖추면 신종 SARS-CoV-2 바이러스에 대한 지식을 전파하는 데 도움이 되었습니다. UMP는 기존 인프라를 활용하여 의대생들을 위한 가상 코로나19 교육 프로그램을 신속하게 출시했습니다. 학생들은 혼합 접근 방식을 사용하여 접촉자 추적, 분류 및 검사를 포함한 SARS-CoV-2의 역학 및 예방에 대한 교육을 받았습니다. 현재까지 720명 이상의 의대생이 베트남의 코로나19 대응에 투입되었습니다.34 35 교수진과 학생들이 가상 교육 및 학습에 익숙해지면서 일부 교육기관은 코로나19 팬데믹 이후에도 커리큘럼의 20%를 가상으로 제공할 계획을 세웠습니다. 

Investments and innovations in technology, such as the implementation of LMS described previously, enabled universities in Vietnam to rapidly transition to online learning when the COVID-19 pandemic began in February 2020. Faculty and students were already familiar with LMS and online learning platforms, such as Zoom, Microsoft Teams and Google Hangout. As a result, disruption to the programme was minimised when social distancing measures were enforced. In addition, having capacity for online teaching and learning was beneficial for disseminating knowledge about the novel SARS-CoV-2 virus. The UMPs used their existing infrastructure to quickly roll out a virtual COVID-19 training programme for senior medical students. Students were trained, using a blended approach, on the epidemiology and prevention of SARS-CoV-2, including contact tracing, triage and testing. To date, over 720 medical students have been deployed in Vietnam’s COVID-19 response.34 35 As faculty and students become more familiar with virtual teaching and learning, some institutions have planned for 20% of the curriculum to be delivered virtually beyond the COVID-19 pandemic.

파트너십 활성화
Enabling partnerships

여러 새로운 파트너십이 베트남 의학교육의 혁신을 가능하게 하고 촉진하는 데 도움이 되었습니다. 산업계와 국제 기관 간의 파트너십은 혁신이 번창할 수 있는 생태계를 조성합니다.36-38 특히 국제 학술 파트너십은 혁신의 원천이 될 수 있습니다. 예를 들어,

• 하버드 의과 대학(HMS)은 베트남 보건부의 보건 시스템 개혁을 위한 보건 전문가 교육 및 훈련 프로젝트 및 베트남 의과대학과 협력하여 의학교육 및 신흥 질병에 대한 접근성, 커리큘럼 및 교육 개선(IMPACT MED) 연합을 구성했습니다.39 미국 국제개발처의 자금 지원으로 IMPACT MED 연합은 커리큘럼 설계, 개발 및 실행에 대한 기술 지원 및 지식 이전을 제공하여 5개 의과대학의 UME 커리큘럼 개혁을 지원하고 있습니다.
• 이와 유사하게, VinUni는 커리큘럼 개발 및 실행에 대한 기술 지원과 서비스 제공 및 환자 치료 개선을 통해 의료 전문가 교육을 혁신하는 것을 목표로 펜실베니아 대학교와 전략적 제휴 계약을 체결했습니다.40 이 두 가지 학술 파트너십에는 학생 및 교수진 교류와 연구 협력도 포함됩니다. 이러한 파트너십을 통해 새로운 개념과 접근 방식이 도입되면 지역 전문가와 이해관계자가 적응, 계획 및 실행 작업을 주도하여 혁신이 상황과 문화에 적합하도록 보장합니다. 

A number of novel partnerships have helped to enable and catalyse innovations in medical education in Vietnam. Partnerships between industry and international institutions create an enabling ecosystem for innovation to thrive.36–38 In particular, international academic partnerships can provide a source of innovation. For example,

• Harvard Medical School (HMS) has partnered with the Vietnam MOH’s Health Professionals Education and Training for Health System Reforms Project and medical universities in Vietnam as part of the Improving Access, Curriculum and Teaching in Medical Education and Emerging Diseases (IMPACT MED) Alliance.39 With funding from the United States Agency for International Development, the IMPACT MED Alliance supports UME curricular reform at five medical universities through provision of technical assistance and knowledge transfer on curriculum design, development and implementation.
• Similarly, VinUni has a strategic alliance agreement with the University of Pennsylvania with a goal of innovating health professional education through technical support on curriculum development and implementation, and by improving service delivery and patient care.40 Both of these academic partnerships also involve student and faculty exchanges, and promote research collaborations. As novel concepts and approaches are introduced through these partnerships, local experts and stakeholders lead the work of adapting, planning and implementing, ensuring that innovations are contextually and culturally appropriate.

두 번째 사례는 Microsoft와 공공 UMP 간의 공공-민간 파트너십으로, 처음에는 참여 UMP의 모든 대학생, 교수진 및 직원에게 Microsoft Office 365 제품군에 대한 무료 온라인 액세스를 제공한 IMPACT MED 얼라이언스가 촉진한 것입니다. Microsoft의 기술 지원을 통해 Microsoft Office 365 제품군의 전체 기능을 도입하고 대학 운영에 통합하여 할인된 전체 액세스 구독으로 전환했습니다. Microsoft Office 365 제품군 사용은 기관의 커뮤니케이션 및 관리 기능을 간소화하는 데 도움이 되었습니다. 대학 관리자와 경영진은 대학 커뮤니티의 모든 구성원과 쉽게 소통할 수 있고, 학생들은 가상 코스워크와 LMS 액세스를 위한 단일 진입 지점을 갖게 되었으며, 인사 관리와 같은 대학 행정 기능이 공통 시스템으로 통합되었습니다. 그 전에는 종이 기반 시스템을 사용했고, 교수진은 다양한 소셜 미디어 플랫폼을 통해 학생들과 소통했으며, 커뮤니케이션은 종이 기반 또는 개인 이메일 주소와 휴대전화를 통해 이루어졌습니다. 이 사례는 기술 솔루션 도입 및 유지를 위한 적절한 자금 조달 메커니즘과 함께 기술 및 기술 이전을 위한 민관 파트너십의 중요성을 보여줍니다. 
A second example is a public–private partnership between Microsoft and public UMPs, facilitated by the IMPACT MED Alliance, which initially provided free online access to the Microsoft Office 365 Suite for all university students, faculty and staff at the participating UMPs. With technical assistance from Microsoft, the full functionality of the Microsoft Office 365 Suite was introduced and incorporated into university operations, leading to transition to a discounted, full-access subscription. Using the Microsoft Office 365 Suite has helped to streamline the institutions’ communication and administrative functions. University administrators and leadership can easily communicate with all members of the university community; students have a single point of entry for virtual coursework and LMS access; and university administrative functions such as human resources management have been integrated into a common system. Prior to this, paper-based systems were employed; faculty communicated with students through various social media platforms; and communication was paper-based or via personal email addresses and mobile phones. This example demonstrates the importance of public–private partnerships with technology and technical skills transfer combined with appropriate financing mechanisms for introducing and sustaining technological solutions.

기술 및 기술 이전으로 이어진 민간 부문 파트너십의 또 다른 사례는 삼성과 UMP 간의 파트너십입니다. 삼성은 두 개의 UMP에 두 개의 시범 '스마트 교실'에 투자했습니다. 스마트 교실은 그룹 학습을 촉진하기 위해 설계되었으며 인터넷을 통해 쉽게 액세스하고 공유할 수 있는 기술이 적용되었습니다. 교실 인프라와 기술을 커리큘럼 설계 및 교육 방식에 맞추는 것은 새로운 커리큘럼의 성공과 지속 가능성을 위해 매우 중요합니다. 시범 교실을 시범 운영한 결과 학생, 교수진, 경영진 모두 이러한 연계의 가치를 인정하여 5개 UMP 모두에서 강의실 재설계에 대한 대학 투자로 이어졌습니다. 
Another example of a private sector partnership which resulted in technology and technical skills transfer is between Samsung and the UMPs. Samsung invested in two demonstration ‘smart classrooms’ at two UMPs. The smart- classrooms were designed to promote group learning and are technology-enabled to facilitate access and sharing across the internet. Aligning classroom infrastructure and technology with the curriculum design and pedagogical method is vital to the success and sustainability of the new curriculum. Following a trial of the demonstration classrooms, students, faculty and leadership all recognised the value of this alignment, leading to university investment in classroom redesigns at all five UMPs.

정책 활성화
Enabling policies

정책 변화는 의료 교육 기관이 혁신을 적응하고 실행하며 지속할 수 있도록 하기 때문에 개혁을 추진하고 유지하기 위해 종종 필요합니다. 베트남 정부는 2014년에 대학 자율성과 관련된 국가 정책을 시행하여 교육 혁신을 위한 환경을 조성했습니다.41-44 이러한 정책은 공립대학이 재정적으로 독립하도록 장려하고 자체 운영, 인적 자원 및 성장 전략을 관리하도록 장려합니다. 새로운 프레임워크는 공공기관이 민간 부문 및 국제 학술 기관과의 파트너십을 모색하여 테크놀로지에 대한 투자 우선순위를 정하고 새로운 커리큘럼, 교육학 및 교육 접근법을 촉진할 수 있도록 지원합니다. 또한 기관은 관리 및 행정 구조를 재설계할 수 있는 권한을 부여받습니다. 이러한 구조 개편은 UMP에서 보다 통합된 CBME 커리큘럼을 개발하는 데 중요한 역할을 했습니다.45 기존 모델에서는 학과장이 교육 내용에 대한 의사 결정 권한을 가졌기 때문에 특정 학과를 중심으로 커리큘럼이 구성되는 결과를 낳았습니다. 보다 통합적인 커리큘럼을 개발하기 위해서는 이러한 거버넌스 구조를 세분화하고 다학제 교수진으로 구성된 커리큘럼 위원회에 권한을 부여할 필요가 있었습니다(그림 2). 위원회 리더는 각 모듈에 무엇이 포함될지, 어떤 교수진이 가르칠지, 커리큘럼 품질 개선 프로그램의 일부로 어떤 조정을 해야 할지 결정합니다. 
Policy changes are often necessary to drive and sustain reform, as they can enable medical education institutions to adapt, implement and continue innovations. The Vietnamese government created an enabling environment for innovation in education through the implementation of national policies related to university autonomy in 2014.41–44 These policies promote public universities to become financially independent and encourage them to manage their own operations, human resources and strategies for growth. The new framework enables public institutions to seek partnerships with the private sector and international academic institutions, helping to prioritise investments in technology and to promote new curricula, pedagogy and educational approaches. In addition, institutions are empowered to redesign their management and administration structures. Such restructuring was important to the development of a more integrated CBME curriculum at the UMPs.45 In the traditional model, department chairs held decision-making authority over the teaching content, resulting in a curriculum organised around specific disciplines. To develop a more integrated curriculum, it was necessary to break down this governance structure and to provide authority to curriculum committees consisting of multidisciplinary teaching faculty (figure 2). Committee leaders decide what is included in each module, which faculty should teach and what adjustments should be made as part of the curriculum quality improvement programme.

대학 차원의 또 다른 정책적 지원은 커리큘럼의 지속적인 품질 개선(CQI)을 위한 시스템 개발과 그 실행입니다. 대학 내에 새로 구성된 부서는 학생의 요구에 맞게 커리큘럼과 교육을 지속적으로 개선하기 위해 학생 피드백, 교수진 및 학생 평가 데이터를 일상적으로 수집하고 사용하는 메커니즘을 만들어 CQI 프로세스를 주도하고 있습니다. 데이터는 커리큘럼 위원회와 대학 경영진에게 공유되며 향후 프로그램 조정에 관한 결정을 내리는 데 사용됩니다. 또한 이 시스템은 교수진과 관리자에게 새로운 접근 방식과 혁신의 채택에 대한 데이터를 제공하여 지속적으로 반복하고 개선하며 특정 상황에 맞게 조정할 수 있도록 합니다. 또한 이러한 단위는 향후 인증 프로세스를 위한 지원 데이터도 생성합니다. 
Another policy enabler at the university level has been the development of a system for continuous quality improvement (CQI) of the curriculum and its implementation. Newly formed units within the university lead the CQI process by creating mechanisms for routine collection and use of student feedback and faculty and student evaluation data with a goal of continually improving the curriculum and teaching to match student needs. Data are shared to curriculum committees and university leadership and are used to make decisions regarding future adjustments to the programme. This system also provides data to faculty and administrators on the adoption of novel approaches and innovations, allowing them to continually iterate, improve and tailor for specific contexts. These units also generate supporting data for future accreditation processes.

제한 사항
Limitations

이 리뷰는 최근 베트남 의학교육의 몇 가지 혁신을 강조합니다. 현재 진행 중인 의료 전문가 교육 시스템이나 커리큘럼 개혁에 대한 포괄적인 검토를 목적으로 하는 것은 아닙니다. 이 리뷰는 주로 공동 저자들의 지식과 경험, 그리고 영어 문헌에 발표된 내용을 바탕으로 작성되었습니다. 여기에 설명된 혁신은 베트남 내외의 다른 환경에도 적용될 수 있지만, 이러한 접근법을 성공적으로 도입하는 데 장벽이 존재할 수 있음을 인지하고 있습니다.

• 첫째, 제도 개혁을 위해서는 국가 및 기관 차원에서 미래 지향적이고 강력한 리더십이 필요합니다. 이러한 리더십이 부족하면 혁신적인 접근법을 활성화하고 채택하는 데 한계가 있을 수 있습니다.
• 둘째, 자원(인적, 재정적, 인프라적)은 특히 자원이 제한된 환경에서 변화를 가로막는 중요한 장벽이 될 수 있습니다. 예를 들어, 기술 기반 개혁에는 안정적인 인터넷 연결이 필요하며, 이는 자원이 제한된 많은 환경에서 중요한 장벽이 될 수 있습니다. 이는 필요한 자원을 동원하기 위한 강력한 리더십의 헌신과 새로운 파트너십의 중요성을 더욱 강조합니다.
• 셋째, 기관의 문화는 혁신의 창출과 적응에 있어 중요한 요소입니다. 새로운 아이디어를 기꺼이 수용하고 위험을 감수하고 실패할 수 있는 의지가 없다면 혁신은 불가능할 것입니다.
• 마지막으로, 모든 변화가 개선으로 이어지는 것은 아닙니다. 지금까지 성공적인 것으로 입증된 혁신에 대해 설명했지만, 그렇지 않은 혁신도 있을 수 있습니다. 성공하지 못한 개혁에서도 배울 점이 많지만, 이번 리뷰에서는 이에 초점을 맞추지 않았습니다.

This review highlights several recent innovations in medical education in Vietnam. It is not intended to be a comprehensive review of the health professional education system or the curriculum reforms currently under way. Our review is shaped primarily by the coauthors’ knowledge and experience and to what is published in the English language literature. While the innovations described here may apply to other settings within and outside Vietnam, we recognise that barriers may exist to the successful uptake of these approaches. First, institutional reform requires forward-thinking and robust leadership at both the national and institutional levels. A lack of such leadership can limit the ability to enable and adopt innovative approaches. Second, resources (human, financial and infrastructural) can be a significant barrier to change, particularly in the resource-limited setting. For example, technology-enabled reforms require reliable internet connectivity, which may be a significant barrier in many resource-limited settings. This further highlights the importance of strong leadership commitment and novel partnerships to mobilise necessary resources. Third, the culture of an institution is a crucial factor in the creation and adaptation of innovations. Without a willingness to embrace new ideas and to take risks and fail, innovation would not be possible. Lastly, not all change leads to improvement. We have described innovations that proved successful, but others may have been less so. While there is still much to learn from less successful reforms, that was not our focus in this review.

결론
Conclusion

플렉스너 보고서가 의학교육의 변화에 영감을 준 지 100년이 넘었습니다.46 오늘날 전 세계적으로 심각한 보건 인력 문제에 직면하여 전문 보건 교육에 대한 접근 방식을 다시 한 번 재고할 필요가 있습니다.4 특히 LMIC에서 의학교육의 혁신과 개혁이 필요합니다. 이 리뷰에서는 커리큘럼 설계, 교육학 및 기술 적용 분야를 포함하여 현재 베트남의 의학교육 개혁의 일환으로 개발된 혁신 사례를 공유했습니다. 또한 파트너십과 정책 변화가 어떻게 혁신을 가능하게 하고, 장려하며, 지속시킬 수 있는지에 대해서도 설명했습니다. 모든 의료 시스템에는 고유한 과제가 있지만, 베트남의 이러한 사례가 미래의 의학교육 혁신에 영감을 줄 수 있기를 바랍니다.
It has been more than 100 years since the Flexner report inspired a transformation of medical education.46 Today, in the face of significant global health workforce challenges, there is again a need to rethink our approach to professional health education.4 Innovation and reform in medical education are needed, particularly in LMICs. In this review, we have shared examples of innovations developed as part of Vietnam’s current medical education reform, including those in the areas of curriculum design, pedagogy and application of technology. We have also described how partnerships and policy changes can enable, encourage and sustain innovation. While every healthcare system has unique challenges, we hope these examples from Vietnam can inspire future innovations in medical education.

동남아시아의 면허시험: 교육정책의 변화에서 찾아낸 교훈( Asia Pacific Sch, 2019)
Licensing examinations in Southeast Asia: Lesson learnt from exploring changes in education policy
Rachmadya Nur Hidayah1, Richard Fuller2 & Trudie E. Roberts3

I. 배경
I. BACKGROUND

동남아시아의 의료 서비스는 급속한 지역 개발과 함께 세계에서 가장 인구가 많은 지역 중 하나에 고품질의 안전한 의료 서비스를 제공해야 하는 중대한 과제에 직면해 있습니다. 질병 부담의 추세가 비전염성 질병으로 이동하고 있으며, 세계화로 인해 환자와 의료 전문가의 이동이 증가하고 있습니다. 저소득 및 중간 소득 국가 또는 개발도상국에서 선진국으로 이동하는 것이 그 반대보다 더 흔한 것으로 알려져 있습니다(Tangcharoensathien 외., 2018). 의료 인력의 이동은 의학교육의 국제적 이동(예: 해외 의과대학)으로 이어져 의학교육의 글로벌-지역적 긴장을 야기했습니다. 의료의 질과 환자 안전을 보장하기 위해 WHO는 보건 인력의 국제 채용에 관한 글로벌 실천 강령을 통해 규제 기관이 의무적으로 국가 면허 시험(NLE)을 시행할 것을 권고했으며, 이는 동남아시아 국가에서 면허 시험 시행이 증가하는 추세에 따라 이러한 높은 수준의 교육 정책을 지원하는 것으로 간주되었습니다(Tangcharoensathien 외., 2018). 
Healthcare in Southeast Asia faces a major challenge–that of delivering high quality, safe care to one of the most populated areas in the world, alongside rapid regional development. The trend in disease burden is shifting to non-communicable diseases, along with the challenge of globalisation which contributes to the migration of patients and health care professionals. It is known that the migration from low- and middle- income countries, or from developing to developed countries, is more common than the opposite (Tangcharoensathien et al., 2018). The migration of health care workforce has been followed by the international movement in medical education (e.g. offshore medical schools), which have created global-local tensions in medical education. In the interest of ensuring the quality of care and patient safety, the WHO through its Global Code of Practice on the International Recruitment of Health Personnel, recommended the implementation of mandatory national licensing examinations (NLEs) by regulatory bodies have been viewed as supporting this high-stakes education policy, which was in line with the increasing practice of licensing examinations in Southeast Asia countries (Tangcharoensathien et al., 2018).

II. 국가 면허 시험: 북미와 유럽에서 얻은 교훈
II. NATIONAL LICENSING EXAMINATIONS: LESSONS FROM NORTH AMERICA AND EUROPE

면허시험을 졸업생의 자질 보증(그리고 더 나은 의료 서비스 결과 지원)에 활용하는 정책은 다른 지역에서도 사용되어 왔습니다. 미국 의사 면허 시험(USMLE)과 캐나다 의사 위원회 자격 시험(MCCQE)이 가장 대표적인 예입니다. 처음에는 의사들 간의 편차를 줄이기 위한 노력의 일환으로 설립되었지만, USMLE는 미국이나 캐나다에서 면허를 취득하고자 하는 국내 졸업생뿐만 아니라 해외 의대 졸업생들을 위한 평가 시스템으로 발전해 왔습니다. USMLE와 MCCQE는 지난 20년 동안 에세이 및 구두 시험에서 보다 체계적인 MCQ 및 임상 술기 평가로 변경되는 등 시행 방식에 변화를 겪었습니다. 면허의 초점은 교육 성과, 지속적인 의학 교육 및 재검증에 대한 예측, 기술 및 심리 측정의 사용으로 옮겨졌습니다. 북아메리카의 NLE는 자국 의료 졸업생과 이주하는 의료 전문가 모두의 자질을 보장하기 위한 노력으로 간주됩니다.
The policy of using licensing examinations for quality assurance of graduates (and arguably supporting better health care outcomes) has been used in other parts of the world. The United States Medical Licensing Examination (USMLE) and the Medical Council of Canada Qualifying Examination (MCCQE) are the most notable examples. Although firstly established as an effort to reduce variation among practitioners, the USMLE has been developed to an assessment system for international medical graduates as well as home graduates who wish to be licensed in the US or Canada. Both the USMLE and MCCQE went through changes in the administration; from essay and oral examination into a more systematic MCQ and clinical skills assessment in the last two decades. Licensure’s focus shifted into educational outcomes, projecting of continuing medical education and revalidation, the use of technology and psychometrics. NLEs in the Northern America are viewed as effort on ensuring the quality of both home medical graduates and migrating health care professionals.

두 나라에서 NLE의 영향은 이 분야의 연구 주제였습니다. 특히 임상 술기 평가 시행 후 의과대학 커리큘럼의 변화가 보고되었습니다. NLE의 더 나은 성과는 일차 진료에서 더 나은 예방 및 관리, 환자 불만 감소, 국제 졸업생의 더 나은 환자 치료, 졸업 후 평가에서의 더 나은 성과와 관련이 있습니다. 그러나 NLE가 환자에게 직접적인 영향을 미친다는 증거는 없었기 때문에 NLE가 환자 안전을 보장하는지 여부에 대한 논란이 제기되고 있습니다. 이러한 논란에도 불구하고 두 나라의 NLE는 의과대학의 인증 시스템과 지속적인 전문성 개발에 의존하는 교육 품질 보증 시스템의 초석이 되었습니다. 
The impact of NLEs in both countries have been a topic for research in this area. Changes in medical schools’ curricula, especially after the implementation of clinical skills assessment, were reported. Better performance in NLEs have been associated with better preventive and management in primary care; fewer patient complaints; better patient care for international graduates and better performance in postgraduate assessment. However, there were no evidence showing direct impact of NLEs to patients, which raises debate on whether the NLEs ensure patient safety. Despite the debate, the NLEs in both countries have become cornerstones of educational quality assurance system, which also relies on the accreditation system of medical schools and continuing professional development.

유럽 국가들은 의료 전문가의 이동과 품질 보증 문제에 대해 서로 다른 접근 방식을 취하고 있습니다. 유럽연합(EU) 회원국은 다른 EU 국가에서 졸업한 의료 전문가의 자격을 인정하기 때문에, 특히 의사의 경우 EU 내에서 일할 수 있는 기회가 동등하게 주어집니다. 외국 졸업생을 위한 시험이 있기는 하지만 의학 지식과 기술보다는 언어 능력에 중점을 두고 있습니다. EU 국가 간 커리큘럼의 다양성에 대한 우려가 있지만, 많은 전문가들은 인증accreditation 시스템이 졸업생의 자질을 보장하기에 충분하다고 믿었습니다(Archer et al, 2017). 그럼에도 불구하고 스위스, 폴란드, 독일과 같은 국가에서는 자국 졸업생과 비유럽경제지역(EEA) 국가 졸업생에 대한 의료 면허 시험을 마련했습니다. 2015년에 영국의 일반 의학 협의회는 이 단계를 밟아 2023년에 시행할 의료 면허 평가(MLA)를 시작할 계획입니다(Archer et al., 2017). MLA는 의과대학 평가에 포함되도록 설계되었기 때문에 향후 교육에 영향을 미칠 것으로 예상할 수 있습니다. 
European countries have different approaches to the issue of health care professionals’ migration and quality assurance. As European Union (EU) member countries recognise the qualification of health care professionals graduating from other EU countries, there are equal opportunities for them to work within the EU, particularly for medical doctors. Although there are examinations for foreign graduates, the focus is more on language competency rather than medical knowledge and skills. Whilst there are concerns about the diversity of curricula among EU countries, many experts believed that the accreditation systems were sufficient to assure the quality of their graduates (Archer et. al, 2017). Despite this, countries such as Switzerland, Poland, and Germany, have established medical licensing examinations for their home graduates and non-European Economic Area (EEA) countries’ graduates. In 2015, the General Medical Council in the United Kingdom followed this step and plans to start their medical licensing assessment (MLA) (Archer et al., 2017) which the GMC will put into action in 2023. The MLA is designed to be embedded in medical schools’ assessment, which means that there will be consequences in education that could be anticipated in the future.

두 지역의 교육 및 의료 시스템이 어떻게 운영되는지에 따라 졸업생과 의료 행위의 질을 보장하는 접근 방식이 다를 수 있습니다. 그러나 이 정책은 인증 시스템과 함께 교육 관행과 의료 시스템을 변화시킬 수 있다는 점에 주목할 필요가 있습니다. 
The two regions might have different approach in quality assuring the graduates and medical practice depending on how the education and healthcare system work in the regions. However, it is worth to notice that the policy, along with accreditation systems, could change the practice of education and possibly the health care system.

III. 아세안 국가 시험: 더 나은 치료를 위한 지역적 접근의 가능성?
III. NATIONAL EXAMINATIONS IN ASEAN: THE POSSIBILITY OF REGIONAL APPROACH FOR BETTER CARE?

EU 국가와 아세안 국가가 취하는 접근 방식은 유사하지만, 두 환경의 환자 관리 정책의 맥락과 교육 시스템이 다르다는 점에 주목할 필요가 있습니다. 아세안 국가들은 '역동적 개발 파트너십에 관한 아세안 비전 2020'을 추진하면서 보건의료 전문가들의 자유로운 서비스 제공을 위한 여러 가지 프레임워크에 합의했습니다. 아세안 국가의 간호사, 의사, 치과의사를 위한 상호 인정 협정(MRA)은 2006~2009년에 이 파트너십에 따라 만들어졌습니다. 이 협정에 따라 각국은 의료 전문가 이주에 대한 규정을 마련해야 했습니다. 이 규정은 면허 시험의 형태로 이루어졌으며, 이후 여러 회원국의 의료 전문직 교육 정책을 형성했습니다.
Although the approaches taken by the EU countries and ASEAN countries are similar, it is worth noting that the context of patient management policies in both settings are different, as well as their education systems. As they work towards the ASEAN Vision 2020 on Partnership in Dynamic Development, ASEAN countries agreed a number of frameworks to enable the free flow of services for professionals in health care. The mutual recognition arrangements (MRA) for nurses, medical and dental practitioners in ASEAN countries were created in 2006-2009 in response to the partnership. This arrangement required countries to establish regulations for migration of health care professionals. The regulations came in the form of a licensing examination, which have subsequently shaped health care professions education policies in a number of member states.

이들 국가에서 국가 면허시험을 도입한 것은 단순히 외국인 의료 전문가를 규제하기 위해서만이 아니라, 졸업생의 자질을 향상시키기 위한 목적도 있었습니다. 아세안 회원국 대부분은 개발도상국으로 의사 수 부족, 의료 전문가의 불균등한 분포, 교육 및 의료 시스템 개발 등 비슷한 문제를 겪고 있습니다(Kittrakulrat, Jongjatuporn, Jurjai, Jarupanich, & Pongpirul, 2014; Sonoda 외, 2017; Tangcharoensathien 외, 2018). 인도네시아의 경우처럼 엄격한 품질 보증 시스템 없이 더 많은 의사를 배출하기 위해 의과대학 수가 증가하면서 졸업생의 자질 저하가 우려되는 문제도 종종 발생합니다. 이들 국가는 기존의 면허 및 재면허 정책을 통해 의료 전문가에 대한 규제가 부족했기 때문에 전 세계적으로 더 나은 의료 서비스를 달성하기 위해 교육과 평가를 활용하는 방법으로 NLE를 도입하기 시작했습니다.

For these countries, introducing national licensing examinations was not solely about the need to regulate foreign health care professionals, but also to improve the quality of graduates. Most of ASEAN member states are developing countries sharing similar challenges: inadequate numbers of physicians, uneven distribution of health care professionals, and a developing education and health care system (Kittrakulrat, Jongjatuporn, Jurjai, Jarupanich, & Pongpirul, 2014; Sonoda et al., 2017; Tangcharoensathien et al., 2018). The challenges are often followed by the increasing number of medical schools to produce more doctors –as in Indonesia’s case, without a rigid quality assurance system, raising concern of lower quality of graduates. As these countries lacked regulation of health care professionals through existing licensing and re-licensing policies, they started to introduce the NLE as a way of using education and assessment to achieve better health care globally.

현재까지 아세안 회원국 10개국 중 태국, 필리핀, 인도네시아, 말레이시아 등 4개국이 NLE를 시행하고 있습니다. 각 국가마다 정책을 도입한 이유는 다릅니다. 

• 태국과 인도네시아는 유능한 의사를 확보하고 의과대학의 질을 향상시키기 위해 2006~2007년에 자국 및 해외 졸업생을 대상으로 NLE를 도입했습니다. 
• 인도네시아에서는 지난 10년간 의과대학 수가 증가하면서 의대별로 교육의 질적 차이가 발생하여 보건 전문직 교육의 질을 개선하려는 정부 정책에 영향을 미칠 수 있다는 우려가 제기되었습니다. 
• 필리핀과 말레이시아는 외국인 졸업생만을 대상으로 하는 NLE를 운영하고 있으며, 최근 몇 년 동안 그 수가 증가하고 있습니다. 

Four out of ten ASEAN member countries have implemented NLEs to date: Thailand, Philippines, Indonesia, and Malaysia. Each country has different reasons for introducing the policy.

• Thailand and Indonesia introduced the NLE for home and international graduates in 2006-2007, to ensure the quality of competent doctors and to improve the quality of their medical schools. 
• In Indonesia, there has been an increasing number of medical schools in the last decade, leading to concerns of differential quality of education delivered which impact on the Government’s policy to improve the quality of health professions education.
• Philippines and Malaysia, both had NLEs for international graduates only, whose number has been increasing in the recent years.

동남아시아 지역의 다른 국가들에는 현재 NLE가 없지만 정책 입안자들 사이에서 이 주제가 논의되고 있습니다(Kittrakulrat 외., 2014; Sonoda 외., 2017). 베트남과 라오스는 NLE를 개발 중이며, 인도는 국제 졸업생들이 자국 의료 시스템에서 일할 준비를 갖추도록 보장하는 정책의 일환으로 NLE를 고려하고 있습니다. 의료 전문직의 이동이 증가하는 추세(Tangcharoensathien 외., 2018)는 NLE가 아세안 경제 공동체(AEC)의 이념에 부합하는 문제이며, 의료 전문직이 이 지역 내 다른 국가에서 의술을 펼칠 수 있는 자격을 갖출 수 있음을 의미합니다(Kittrakulrat 외., 2014). 비교를 위해 대만과 한국 등 아시아의 다른 국가에서는 의료/보건 전문가 면허시험을 시행하고 있으며, 이는 의학교육에 영향을 미치고 있는 것으로 나타났습니다.
Even though the other countries in the South East Asia region currently do not have NLEs, the topic is being discussed amongst policy makers (Kittrakulrat et al., 2014; Sonoda et al., 2017). Vietnam and Lao are in the process of developing NLEs, and India is considering the NLE as part of their policy in ensuring international graduates are prepared to work in its healthcare system. The increasing trend of health care professions’ migration (Tangcharoensathien et al., 2018) means that the NLE is a relevant issue aligned with the idea of ASEAN Economic Community (AEC), where medical professions can be qualified to practice medicine in another country in this region (Kittrakulrat et al., 2014). For a comparison, other countries in Asia such as Taiwan and South Korea have been establishing medical/ health care professionals licensing examinations, which showed impact on medical education.

아세안 국가들은 해외 졸업생 유입에 대응하기 위해 NLE를 시행하고 있지만, 시험이 대부분 현지 언어로 진행되기 때문에 AEC 시대에 면허 시험에 대한 지역적 접근이 복잡해졌습니다. 마찬가지로 문화, 경제, 교육 및 의료 시스템의 차이도 AEC에서 의료 전문가의 자유로운 이동에 또 다른 도전 과제가 되고 있습니다. NLE를 시행하는 국가마다 면허 시험의 방법과 유형은 다양하지만, 지식과 임상 기술을 평가하는 것이 가장 일반적인 결과입니다(Price et al., 2018). 그럼에도 불구하고 현재 시행되고 있는 NLE는 아세안에서 환자 치료와 의학교육에 대한 공통적이고 동등한 기준을 찾을 수 있는 기회를 열어줄 수 있습니다.
Although ASEAN countries have been implementing NLEs to address the influx of international graduates, the fact that the examinations are mostly delivered in local languange makes it complicated for a regional approach of licensing examinations in the era of AEC. Similarly, the difference in culture, economy, education and health care system, also poses another challenge for the free-flow of health care professionals in AEC. Variation of methods and types of licensing examinations exist in countries implementing NLEs; although the knowledge and clinical skills are the most common outcome to be assessed (Price et al., 2018). Even so, the current practice of NLEs might open opportunities for finding common and equal standard for patient care and medical education in ASEAN.

IV. 아세안의 의료 면허 시험에서 얻은 교훈: 의료 전문가 교육에 대한 투자
IV. LESSON LEARNT FROM MEDICAL LICENSING EXAMINATIONS IN ASEAN: INVESTING IN HEALTH CARE PROFESSIONALS’ EDUCATION

아세안 회원국과 같은 개발도상국에서 의사면허시험의 발전은 의료, 더 나아가 보건의료 전문가 교육 시스템을 개선할 수 있는 경로를 제공합니다. 이들 국가에서는 해외에서 자격을 갖춘 의사 수가 국내 졸업생에 비해 많지 않더라도 유능한 의료 전문가를 배출하기 위한 중요한 단계로 간주됩니다. 정책을 바꾸고, 교육 시스템을 개선하고, 더 나은 의료인을 배출하기 위해 한 국가가 어떻게 나아가는지에 대한 이야기입니다.
The development of the NLE in developing countries such as ASEAN members offers a pathway for improving medical and to further extent, health care professionals’ education systems. For these countries, even though the number of overseas qualified doctors may not be significant compared to domestic graduates, the policy was considered an important step towards producing competent health care professionals. It is about how a country moves forward by changing policies, improving education system, and aiming to produce better health care providers.

보건 전문가 자질 향상 정책은 보건 분야 인적 자원의 교육과 훈련을 혁신하는 데 투자하는 WHO 전략과 일치합니다. WHO가 강조하는 혁신 전략은 교육 표준과 자금 확보를 위한 국가 정책 수립을 통해 고등 교육과 보건 부문 간의 협력에 의존합니다. 따라서 NLE를 시행하는 아세안 국가들에게 NLE는 보건 교육 개선을 위한 투자이자 향후 보건의료 시스템을 지원할 수 있는 수단입니다. 
The policy to improve the quality of health professionals is in line with WHO strategy to invest in transforming the education and training of human resources in health. The transformational strategy emphasised by WHO relies on collaborative work between higher education and the health sectors through establishing national policies to secure the education standard and funding. Therefore, for ASEAN countries implementing the NLE, it represents an investment for health education improvement, and a means to support their health care systems in the future.

라오스의 NLE 개발 경험은 라오스가 어떻게 정책을 바꾸고 교육 시스템을 강화했는지 보여줍니다(Sonoda et al., 2017). 라오스는 NLE를 수립하는 과정에서 정책과 이해관계자들과의 협력을 통해 교육 시스템을 강화해야 했습니다. 라오스의 경우 이러한 노력은 더 나은 의료 서비스를 향한 중요한 움직임으로 간주되었습니다. 라오스 정부는 유능한 의료 전문가를 배출하기 위해서는 교육 시스템을 개선해야 한다는 점에 주목하여 교육 커리큘럼과 평가 관행을 수정했습니다.

• 라오스의 경험 사례는 NLE 도입이 유능한 전문가를 배출하는 데 필요한 보건의료 전문직 교육의 개선을 이끌었음을 보여줍니다(Sonoda et al., 2017).
• 태국에서는 면허 시험이 학부 교육(예: 위험에 처한 학생 인식)과 졸업후 교육의 변화를 이끌었습니다.
• 싱가포르에서는 졸업후 과정에 국가시험을 도입하여 교육의 질을 보장하고 있습니다(Ruth et al., 2018). 

Lao’s experience in developing the NLE showed how the country changed its policy and strengthened their education system (Sonoda et al., 2017). In the process of establishing the NLE, Lao needed to strengthen their education system through policies and working with their stakeholders. In Lao’s case, these efforts were considered as significant moves toward better healthcare. The government took note that to produce competent health care professionals, they needed to improve the education system which made them revise educational curricula and assessment practices.

• The example from Lao’s experience showed that the introduction of NLE drives improvement in health care professions education which is necessary to produce competent professionals (Sonoda et al., 2017).
• In Thailand, the licensing examination drove changes in undergraduate education (e.g. recognising at-risk students) and postgraduate education.
• While in Singapore, the national examinations have been introduced in postgraduate studies for ensuring quality assurance (Ruth et al., 2018).

아세안 국가들의 의료 서비스 개선에 있어 NLE의 역할은 아직 더 커질 가능성이 있습니다. 아세안에서 인구가 가장 많은 인도네시아의 경우, 의대 졸업생을 대상으로 한 NLE는 보건 인적 자원을 강화하고 의료 전문가의 자질을 향상시키기 위한 정부 전략의 일환이었습니다. 2013년 의사 역량 시험 공동위원회에서 보고한 바와 같이, 이 시험은 장기적으로 의과대학을 포함한 의학교육의 질을 높이기 위해 고안되었습니다. 인도네시아의 최근 연구(Hidayah, 2018)에 따르면 NLE는 교육 관행 개선, 학습 자원 및 시설 개선, 교육 기관과 의료 서비스 제공자 간의 협력 등 의학교육에 여러 가지 긍정적인 결과를 가져왔다고 강조합니다. 2007년 시행 이후 치의학, 간호학, 조산학 등 다른 보건의료 전문직도 인증제 강화와 함께 발전하고 있습니다. 이해관계자 간의 협력과 인도네시아의 문화는 교육을 확대하는 데 공동의 노력을 이끌어냈습니다. 히다야의 연구(2018)에 따르면 의과대학은 유능한 졸업생을 배출하기 위해 교육의 질을 업그레이드하고 있습니다. 이러한 노력은 커리큘럼 및 평가 개발을 위한 협력 강화, 임상 배치 확대, 교수진 개발을 위한 협력 등의 형태로 이루어졌습니다. 예를 들어, 인도네시아 국가위원회에서 보고한 것처럼 의과대학 간 평가 실습을 위한 지역별 협력이 있었습니다. 특히 신생 의과대학과 사립 의과대학의 경우 이러한 협력은 교육 실습을 활용하는 데 도움이 됩니다. 연구에 따르면 인도네시아와 같은 의학교육 개발의 맥락에서 NLE는 규제기관(예: 정부)과 주요 이해관계자(예: 의과대학협회)의 중요한 역할을 연결하여 개선을 촉진하는 촉매제 역할을 한다고 강조합니다(Hidayah, 2018). 장기적으로 이러한 교육의 질 개선은 의학교육과 의대 졸업생의 질을 보장함으로써 보건의료의 향상을 가져올 것으로 기대됩니다.
The extent of the NLEs’ roles in bringing health care improvement in ASEAN countries is potentially greater still. In Indonesia, which has the largest population in ASEAN, the NLE for medical graduates was part of government strategies to empower human resources for health and improve the quality of health care professionals. As reported by the Joint Committee on Medical Doctor Competence examination in 2013, the examination was designed to lever the quality of medical education, including medical schools, in the long run. Emergent work from Indonesia (Hidayah, 2018) highlights that the NLEs led to a number of positive consequences for medical education:  improvement in educational practices, improvement of learning resources and facilities, and collaboration between education institutions and health care providers. Since its implementation in 2007, other health care professionals such as dentistry, nursing, and midwifery have been developing, along with the strengthening of accreditation system. The collaboration between stake holders and the culture of Indonesia led to the collective work in scaling up the education. Hidayah’s work (2018) revealed that medical schools have been upgrading their education quality to produce competent graduates. The effort came in the form of increasing collaboration for curriculum and assessment development, expanding clinical placements, and collaboration for faculty development. For example, there have been regional collaboration for assessment practice between medical schools as reported by the National Committee in Indonesia. Especially for new and private schools, this collaboration helps them in leveraging their educational practice. Research highlights that in the context of developing medical education such as Indonesia, the NLE acts as a catalyst to drive improvement, linking the vital role of the regulator (i.e. the government) and major stakeholders (e.g. association of medical schools) (Hidayah, 2018). In the long term, this improvement in the quality of education is expected to bring improvement in health care by ensuring the quality of medical education and medical graduates.

광범위한 보건 전문직 교육 분야에서 국가 면허 시험은 여전히 뜨거운 논쟁의 대상이 되고 있는 정책입니다(Archer et al., 2017). 그러나 아세안 국가들의 국가면허시험 시행 경험은 보건의료의 질을 향상시키기 위해 보건의료 전문가의 질 보증 시스템에서 이 높은 수준의 평가가 더 큰 역할을 할 수 있는 기회를 보여줍니다. 앞으로 교육 정책이 개발도상국의 의료 서비스 질 향상을 지원하는 방법에서 얻은 교훈은 전 세계 의료 문제에 대한 접근 방식을 개선할 수 있는 잠재력을 가지고 있습니다.

In the broader field of health professions education, national licensing examinations remain a hotly debated policy (Archer et al., 2017). However, the experience of ASEAN countries in implementing NLEs reveals opportunities for a bigger role for this high-stakes assessment in the quality assurance system of health care professionals in order to enhance the quality of health care. In the future, lessons learnt from how an education policy can support developing countries in improving their health care quality, has the potential to enhance the approach to health care problems globally.

Abstract

Southeast Asian region has been experiencing significant challenges to their health care systems, driving some countries establishing policies to ensure the quality of the medical workforce through the introduction of national licensing examinations. This paper examines the experiences of Southeast Asian countries in implementing licensing examinations, highlighting the changes and development of the education policy and its impact on medical education. The lesson learnt from the high-stakes assessment policy offers a new perspective on how medical licensing examinations could represent a potential regional approach for a better health care.

말레이시아의 의학교육: 질 vs 양 (Perspect Med Educ, 2017)
Medical education in Malaysia: quality versus quantity
Rebecca S. Y. Wong1 · Samiah Yasmin Abdul Kadir1

말레이시아의 의학교육은 1963년 말라야 대학교 의과대학 설립으로 거슬러 올라가는 오랜 역사를 가지고 있습니다[1]. 현재 말레이시아에는 32개의 의과대학이 있습니다(공립 11개, 사립 21개). 2014년 말 기준 말레이시아 의과대학에 재학 중인 학생 수는 18,789명이며, 해외에서 의학을 공부하는 말레이시아인은 약 15,000명으로 추산됩니다[2]. 이는 향후 5년 내에 3만 명의 의사가 말레이시아 의료 시스템에 합류하고 2018년까지 의사 수가 두 배가 될 것임을 의미합니다[2]. 이러한 의사 대량 배출을 정당화하기 위해 세계보건기구(WHO)가 권고하는 선진국의 인구 400명당 의사 1명의 비율은 종종 사용되어 왔습니다. 
Medical education in Malaysia has a long history dating back to the establishment of the Faculty of Medicine at the University of Malaya in 1963 [1]. Currently, there are 32 medical schools in the country (11 public and 21 private). At the end of 2014, there were 18,789 students in all years in Malaysian medical schools and another estimated 15,000 Malaysians studying medicine abroad [2]. This implies that 30,000 doctors will join the Malaysian healthcare system within the next five years and by 2018 the number of doctors will double [2]. The World Health Organisation’s (WHO) recommendation of 1 doctor to 400 persons for a developed nation has frequently been used to justify this mass production of doctors.

의사가 너무 많은 것도 문제가 될 수 있지만, 질이 낮은 의사가 너무 많으면 문제가 더 악화될 수 있습니다. 2009년 이후 의학을 공부하기 위해 외국 대학에 입학하는 의대생의 20%가 최소 입학 자격을 갖추지 못했으며[3], 말레이시아 주류 언론에서는 의대 졸업생의 자질 부족에 대한 뉴스가 심심찮게 보도되고 있습니다. 특히 지난 10년간 의과대학의 확산과 관련된 또 다른 문제는 학교 자체의 질입니다. 최근 몇 년 동안 소규모 또는 덜 안정적인 사립 의과대학이 재정 문제에 직면하여 일부 의과대학이 문을 닫거나 국제 파트너가 협력을 철회했다는 보고가 있었습니다. 
While having too many doctors can be problematic, having too many poor-quality doctors can certainly worsen the problem. Since 2009, 20% of the medical students who enter foreign universities to study medicine lack the minimum entry qualifications [3] and news on the poor quality of medical graduates is not uncommon in the mainstream media of Malaysia. Another issue concerning the proliferation of medical schools, particularly in the past decade, is the quality of the schools themselves. In recent years there have been reports of smaller or less stable private medical schools facing financial problems, with some of them closing down or having their international partners withdraw their collaboration.

수량 문제를 해결하기 위해 정부는 2010년에 의대 입학 프로그램을 5년간 유예(2011년부터 2016년까지)한다고 발표했고[4], 2014년부터는 공립 의대에 입학하는 학생 수가 감소하고 있습니다. 또한, 소규모 의과대학이 문을 닫거나 규모를 축소하거나 소규모 캠퍼스를 대규모 캠퍼스로 합병하는 등 업계에서 이미 일부 통폐합이 이루어지고 있습니다[5].
To combat the issue of quantity, the government announced a five-year moratorium (from 2011 to 2016) on medical programmes in 2010 [4], whereas in 2014, the number of students being accepted into public medical schools has decreased. Besides, some consolidation has already taken place in the industry with the smaller players closing down, downsizing or the merging of the smaller campuses into bigger ones [5].

한편, 인턴십 기간이 1년에서 2년으로 연장된 것은 2008년부터 시작되었습니다. 이는 교육의 질 문제를 해결하기 위한 것이지만, 또 다른 문제를 야기했습니다. 의대 졸업생이 증가하고 인턴 기간이 연장되면서 국공립 병원에는 하우스 오피서가 넘쳐나고 있습니다. 최근에는 2015년에 보건부가 더 이상 인턴십 배치를 주선하지 않고 의대 졸업생이 직접 인턴십을 제공하는 국공립 병원에 지원해야 한다고 발표했습니다[6]. 이로 인해 공석이 한정되어 있고 의대 졸업생 수가 증가함에 따라 인턴십 대기 기간이 길어질 수 있습니다.
On the other hand, the extension of the duration of internship from one to two years started in 2008. While this is supposed to address the issue of quality, it has contributed to yet another problem. With the rising number of medical graduates and the extension of internship, the public hospitals are now flooded with house officers. More recently, in 2015, the government announced that the Ministry of Health will no longer arrange internship placements and that medical graduates are to apply to the government hospitals that offer internship themselves [6]. This may result in a longer wait for internship as there are limited vacancies and an increasing number of medical graduates.

말레이시아의 의료 시스템과 의료 교육이 직면한 몇 가지 시급한 문제를 해결하기 위해 현재 상황을 개선하기 위해 다음과 같은 조치를 취할 것을 제안합니다:
With a handful of burning issues facing the healthcare system and medical education in Malaysia, we propose that the following actions are taken to improve the current situation:

• 전략적 장기 계획: 말레이시아의 의학교육을 위한 전략적 10년 이상의 장기 계획은 매우 중요합니다. 의료 및 의학교육 시스템에 변화를 부과하고 모니터링할 수 있는 보다 체계적인 방법이 있어야 합니다.
  A strategic long-term plan: A strategic ten-year or longer-term plan for medical education in Malaysia is crucial. There must be a more organized way of imposing and monitoring changes in the healthcare and medical education systems.
• 글로벌 표준 준수: 말레이시아 의과대학은 세계의학교육연맹(WFME)에서 정한 표준을 참조해야 합니다. WFME는 1997년에 의학교육의 국제 표준에 관한 프로그램을 시작했으며, 2004년부터 의학교육을 개선하기 위해 WHO/WFME 전략적 파트너십의 지원을 받고 있습니다[7]. 말레이시아 상황에 맞게 수정할 수 있는 이 표준은 국가 규제 당국부터 커리큘럼 개발자, 프로그램 평가 및 인증을 담당하는 사람들에 이르기까지 의학교육의 여러 중요한 영역을 다루기 때문에 매우 유용합니다[8]. 
  Adhering to global standards: Malaysian medical schools should refer to the standards set by the World Federation for Medical Education (WFME). The WFME started a programme on the international standards in medical education in 1997, which has been supported by the WHO/WFME Strategic Partnership to improve medical education since 2004 [7]. These standards, which can be modified to suit the Malaysian context, are very useful as they cover many important areas of medical education [8], from the national regulators to the curriculum developers, and those responsible for the assessment and accreditation of the programmes.
• WFME 프로그램을 사용하는 의과대학 인증: WFME와 WHO는 인증 기관은 아니지만 의과대학, 국가 기관 및 당국이 기본 의학 교육 인증을 수립하는 데 도움을 주는 프로그램을 제공합니다[9].
  Accreditation of medical schools using the WFME programme: Although the WFME and WHO are not accreditation bodies, they provide a programme for assisting medical schools, national agencies and authorities in establishing accreditation of basic medical education [9].
• 기준 상향 조정: 입학 요건(특히 사립 의과대학의 경우)을 높여야 할 뿐만 아니라 졸업 요건도 높여야 합니다. 이는 우수한 학생들이 의과대학에 입학하고 우수한 학생들만이 의과대학을 졸업할 수 있도록 하기 위한 것입니다. WFME는 시험의 횟수와 성격이 지식 기반과 통합 학습의 습득을 장려해야 한다고 권고합니다. 평가 방법의 신뢰성과 타당성은 모두 중요하며, 의과대학은 이러한 평가가 외부 전문가에 의해 면밀히 검토될 수 있도록 보장해야 합니다[8]. 
  Raising the bar: Not only should the entry requirements be raised (especially for the private medical schools), the exit requirements should also be raised. This is to ensure high-quality students get selected into the course and only high-quality students are allowed to graduate from medical schools. The WFME recommends that the number and nature of examinations should encourage the acquisition of the knowledge base and integrated learning. Both the reliability and validity of the assessment methods are important, and medical schools should ensure that these assessments are open to scrutiny by external expertise [8].
• 의대 과정 연장: 5년의 학부 의학 프로그램을 운영하는 학교의 경우, 이 과정을 6년으로 연장하면 학생들이 의료 행위를 시작하기 전에 더 적절하게 훈련받을 수 있습니다. 다시 말하지만, 프로그램 구조, 구성 및 기간과 관련하여 WFME 표준을 참조할 수 있습니다. 학생들이 적절한 교육을 받아야 할 뿐만 아니라, WFME는 기초 의학의 수평적 통합과 기초 의학 및 임상 과학 간의 수직적 통합을 강조합니다[8]. 
  Lengthening the medical course: For schools that run a five-year undergraduate medical programme, extending the course to six years may allow students to be more adequately trained before they start practising medicine. Again, the WFME standards may be referred to with regards to the programme structure, composition and duration. Not only should students be adequately trained, the WFME places emphasis on a horizontal integration of basic medical sciences and a vertical integration between basic medical sciences and clinical sciences [8].
• 소규모 의과대학의 합병 또는 통폐합: 재정 위기에 처한 일부 의과대학의 현재 상황이 반복되지 않도록 소규모 의과대학의 추가 합병 또는 통폐합이 필요할 수 있습니다.
  Merging or consolidation of the smaller medical schools: It may be necessary to further merge or consolidate the smaller medical schools to avoid a repeat of the current situation with some medical schools in financial crisis.
• 진로 상담: 진로 상담은 중등 교육이 끝날 무렵에 학생들에게 제공되어야 합니다. 학생과 학부모 모두에게 의대 외에 똑같이 좋은 다른 선택지에 대한 정보를 제공해야 합니다. 의대를 졸업한 학생의 경우 의학 연구원, 의학 강사, 제약회사의 의료 고문과 같은 다른 직업 옵션에 노출되어야 합니다. 
  Career counselling: This should be given to students towards the end of their secondary school education. Both students and parents need to be informed of other equally good options besides medicine. For those who have graduated from medical school, they should be exposed to other career options such as medical researcher, medical lecturer or medical advisor in pharmaceutical companies.
• 인턴십과 2년간의 의무 복무를 신뢰할 수 있는 민간 병원에서 수행할 수 있도록 허용해야 합니다: 이는 공보의와 의무장교를 민간 병원으로 전환할 수 있습니다. 그러나 민간 병원의 영리 목적과 환자들은 이러한 개념을 환영하지 않을 수 있습니다.
  Allowing internship and the two-year compulsory government service to be carried out in credible private hospitals: This can divert house officers and medical officers to the private hospitals. However, the for-profit nature of private hospitals and the patients may not welcome this concept.
• 도시에서 농촌 지역으로 하우스 오피서와 의료 오피서의 재배치: 말레이시아의 일부 지역에서는 의사 공급 과잉으로 인턴십 배치를 받기 위해 더 오래 기다려야 하므로, 정부는 인턴십의 일부(예: 2년 중 6개월)를 농촌 지역에서 의무적으로 이수하도록 하는 방안을 고려해야 합니다.
  Redistribution of house officers and medical officers from urban to rural areas: With an oversupply of doctors in some parts of Malaysia and a longer wait in obtaining an internship placement, the government should consider making part of the internship (e. g. six months out of the two years) compulsory in the rural areas.
• 인력이 부족한 전문 분야로 의료 장교 유입 증가 : 정부는 인기있는 전문 분야의 자리를 놓고 경쟁하는 대신 인력이 부족한 분야로 의료 장교를 전환 할 수 있습니다.
  Increase in the intake of medical officers into specialization with shortage of manpower: Instead of competing for places in popular specialties, the government can divert medical officers to areas where there is limited manpower.

말레이시아의 의학교육은 이제 전략을 바꿔야 할 때입니다. 이를 위해서는 교육부, 보건부, 말레이시아 의학위원회, 말레이시아 자격청이 긴밀히 협력하여 상황이 통제 불능 상태가 되기 전에 말레이시아 의학교육을 위한 실현 가능한 장기 전략 계획을 수립해야 합니다.
It is time for medical education in Malaysia to change strategy. This requires the Ministry of Education, the Ministry of Health, the Malaysian Medical Council and the Malaysian Qualifications Agency to work closely on a feasible long-term strategic plan for medical education in Malaysia before things become out of control.

Medical education in Malaysia: quality versus quantity

PMID: 28050881

PMCID: PMC5285279

DOI: 10.1007/s40037-016-0319-8

Free PMC article

말레이시아 의사면허시험: 이것이 나아갈 길인가?(Education in Medicine Journal. 2017)
Malaysian Medical License Examination (MMLE): Is This a Way Froward?
Amit Bhardwaj1, Kavitha Nagandla2, Sadoon Ibrahim3

소개
INTRODUCTION

말레이시아의 의학교육은 현재 이 시스템이 근본적인 환자 중심 치료를 위한 적절한 역량을 갖춘 의사를 배출하는지에 대한 도전에 직면해 있습니다(1). 현재 기존 교육 프로그램이 안전하고 유능한 의사를 배출하는 커리큘럼을 제공하는 데 충분히 견고한지 평가하는 프로세스가 없습니다. 보건부(MOH)는 모든 졸업생이 의사 면허를 취득하기 전에 반드시 응시해야 하는 공통 면허 시험으로 말레이시아 의사 면허 시험(MMLE)을 제안했습니다. 현재 이 시험은 외국 의과대학을 졸업한 말레이시아 학생들만 응시할 수 있습니다. 말레이시아 현지의 모든 공립 및 사립 대학은 학부생들이 향후 하우스맨십을 준비할 수 있도록 서로 다른 커리큘럼을 가지고 있습니다. 이 문제를 고려할 때 말레이시아의 모든 졸업생에게 의무적으로 의료 면허 시험을 실시하면 지식과 기술을 모니터링하는 데 도움이 될 수 있습니다. 말레이시아도 현지 대학 졸업생을 포함한 모든 의대 졸업생에게 의무 면허 시험을 고려할 때가 되었을까요? 
Medical education in Malaysia is currently facing challenges in trying to address whether the system produces doctors with adequate competencies for fundamental patient-centred care (1). Currently there is no process to evaluate whether the existing educational programs are robust enough in delivering curricula that produce safe and competent doctors. The Ministry of Health (MOH) proposed the Malaysian Medical Licensing Examination (MMLE) as a common licensing examination for which all graduates must sit prior to obtaining registration to practice. Currently, this exam is only taken by Malaysian students graduating from foreign medical colleges. All the local Malaysian universities, both public and private, have different curricula for preparing undergraduates for future housemanships. Considering this issue, a mandated medical licensing exam for all graduates in Malaysia could help in monitoring their knowledge and skills. Is it time for Malaysia to consider a mandatory licensing exam for all medical graduates, including those of local colleges?

말레이시아 의료 면허 시험의 동인
THE DRIVERS FOR MALAYSIAN MEDICAL LICENSING EXAM

역사적 맥락
Historical Context

미국과 캐나다의 데이터는 졸업 시험이 유효하고 신뢰할 수 있으며, 졸업생의 임상 능력과 향후 성과 사이에 적절한 상관관계가 있음을 보여줍니다(2). 면허 시험에서 더 나은 성적을 거둔 학생이 더 나은 환자 진료를 수행한다는 증거도 있습니다(3, 4). 그러나 평판이 좋은 대학의 연구 결과에서 국가 면허 시험과 환자 치료 결과 개선 사이의 직접적인 연관성을 입증하지 못했다는 점은 우려스러운 부분입니다(5, 6).
Data from the US and Canada demonstrate that exit exams can be valid and reliable, showing adequate correlation between a graduate’s clinical skills and future performance (2). There is evidence suggesting that students who perform better in licensing exams practice better patient care (3, 4). However, it is concerning that findings from reputable universities have failed to establish a direct link between national licensing examinations and improved patient outcomes (5, 6).

정치적 맥락
Political Context

말레이시아의 세계화로 인해 의사에 대한 수요가 증가했으며, 이러한 수요는 사립 의과대학에서 충족되었습니다. 이러한 의과대학에 대한 인증은 국가 인증위원회와 말레이시아 의학위원회에서 수행합니다. 인증 시스템이 있음에도 불구하고 측정은 주로 결과보다는 과정에 초점을 맞추고 있습니다(7, 8). 따라서 기대되는 역량을 표준화하는 역할을 할 수 있는 국가 의료 면허 시험이 필요합니다. 이는 아마도 환자 안전이 주도하는 사회 문화적 변화로 인식될 수 있습니다.

• 반면, 의과대학의 허점을 드러내는 시험이 의과대학의 권한에 어떤 영향을 미칠 것이며, 자율성을 유지하려는 의과대학의 기득권과 충돌하지는 않을까요?
• 또한, 면허 시험이 모든 동남아시아국가연합(ASEAN) 국가에서 유효한 것으로 간주될까요? 국경을 넘어 의료 서비스를 제공하는 의료 전문가의 업무가 중요한 것으로 간주되는 아세안 경제 공동체(AEC) 이니셔티브를 지원할 수 있을까요(9)?

Globalisation in Malaysia has resulted in an increased demand for doctors, and this demand has been fulfilled by private medical schools. The accreditation of these medical schools is conducted by the National Accreditation Board and the Malaysian Medical Council. Despite an accreditation system, measurements have largely focused on processes rather than outcomes (7, 8). Therefore, the compulsion is for a national medical licensing examination that can serve to standardise the competencies expected. This would perhaps be perceived as a socio-cultural change driven by patient safety.

• On the other hand, how will an exam that exposes the lacunae in medical schools affect the power of the colleges and will it conflict with their vested interest in retaining autonomy over their businesses?
• Furthermore, will the licensing examination be considered valid in all the Association of Southeast Asian Nations (ASEAN) countries and will it support the ASEAN economic community (AEC) initiative, for which the practice of health professionals providing cross-border health services is considered crucial (9)?

세계의학위원회(GMC)는 기본 의학 학위를 어디서 공부했는지에 관계없이 모든 졸업생에게 의료 면허 평가(MLA)를 의무적으로 이수해야 한다고 발표했습니다. 2020년까지 GMC 등록을 위한 공통 기준을 설정하는 것이 목표입니다. 이러한 선례와 말레이시아 의료 정책 지침에 영국 프로토콜을 채택한 것을 통해 저자는 말레이시아 의료 위원회가 말레이시아의 미래 의료 교육을 선도하고 있다고 말합니다(10).
The General Medical Council (GMC) has announced that completion of the Medical Licensing Assessment (MLA) is mandatory for all graduates, irrespective of where they studied for their basic medical degree. The aim is to set a common threshold for entry into the GMC register by 2020. With this precedent, and with the adoption of UK protocols into Malaysian health care policy guidelines, the authors opine that the Malaysian Medical Council is leading medical education in Malaysia into the future (10).

교육적 맥락
Educational Context

말레이시아의 대부분의 의과대학은 커리큘럼 전달을 위해 장기 시스템 기반 모듈을 사용하는 통합 접근 방식을 채택하고 있습니다. Richard Hays는 잠재적, 계획된, 전달된, 평가된 커리큘럼과 숨겨진 커리큘럼 간의 차이점과 관계를 설명했습니다(11). 계획된 교육과정, 전달된 교육과정, 평가된 교육과정이 일치하지 않으면 계획된 교육 목표 달성에 방해가 되는 바람직하지 않은 교육과정(숨겨진 교육과정)이 드러날 수 있으며, 이를 교육과정 전쟁이라고 합니다(그림 1). 국가 면허 시험은 평가되는 커리큘럼을 명시함으로써 의과대학이 계획대로 커리큘럼을 제공하고 있는지 판단하는 데 도움이 될 것으로 기대됩니다. 그러나 면허 시험이 부과되면 새롭고 혁신적인 교수 학습 전략을 교육과정에 도입하려는 열정이 꺾일까요? (12). 또한, 면허 시험이 시행되면 MMLE를 통합하고 평가 간 중복을 피하는 통일된 자격 최종 시험을 개발하기 위해 말레이시아 의학위원회 및 의과대학 평가 전문가를 포함한 주요 이해 관계자의 조정된 계획이 필요합니다.
The majority of medical schools in Malaysia have adopted an integrated approach that uses organ systems-based modules for delivery of the curricula. Richard Hays has illustrated the differences and the relationship between potential, planned, delivered, assessed and hidden curricula (11). The planned, delivered and assessed curricula must match, as a mismatch might surface an undesirable curriculum—the hidden curriculum—that would hinder the achievement of the planned educational objectives, a concept referred to as a curriculum war (Figure 1). It is expected that a national licensing exam will make explicit the assessed curriculum; this will help to determine whether medical schools are delivering the curriculum as planned. However, if a licensing exam is imposed, would it deter enthusiasm for bringing new and innovative teaching and learning strategies into the curriculum? (12). Moreover, a licensing exam would mandate the need for coordinated planning by key stakeholders, including the Malaysian Medical Council and medical school assessment experts, in order to develop a unified, qualifying final exam that integrates the MMLE and avoids redundancy between assessments.

이론적 배경
Theoretical Context

국가 면허 시험의 근간이 되는 이론은 국가 시험을 통해 의사가 진료를 시작하기 전에 최소한의 역량 기준을 달성했는지 확인한다는 것입니다. 응시자가 국가 표준에 따라 유능하게 해결해야 하는 실제 임상 업무와 문제를 반영하는 임상 관련 청사진을 구축하는 것이 우선입니다. 스완슨 외(13) 및 반 데르 블뢰텐 외(14)에 따르면, 적절한 수준의 콘텐츠 유효성과 신뢰성을 달성하려면 임상 문제 전반에 걸쳐 광범위한 샘플링이 필요하다고 합니다. 효율적인 샘플링을 위해 객관식 구조화 임상시험(OSCE)과 객관식 문제를 결합하는 것이 해결책이 될 수 있습니다. 

• 그러나 어떤 평가 형식을 사용하든 모든 의과대학 졸업생의 실력이 우수하고 환자 안전이 보장되는지 얼마나 정확하게 판단할 수 있을까요? 
• 또한, 소송에 관한 문헌이 지식보다는 '소프트 스킬'에 더 초점을 맞추고 있다는 점을 고려할 때, 주로 지식 기반 또는 OSCE 스타일의 면허 시험이 이러한 역량을 적절하게 다룰 수 있을까요(14)? 

The theory underpinning the national licensing exam is that national examinations ensure that doctors have achieved minimum standards of competency before beginning to practice. The priority is the construction of a clinically relevant blueprint that reflects the actual clinical tasks and problems that the candidates will be required to competently address in accordance with national standards. According to Swanson et al. (13) and Van der Vleuten et al. (14), a wide sampling across clinical issues is required if an adequate level of content validity and reliability is to be achieved. The solution is perhaps to combine the objective structured clinical examination (OSCE) with multiple-choice questions for efficient sampling.

• However, whatever assessment format is used, how precisely will one be able to determine whether every graduate of every medical school is good and that patient safety is assured?
• Furthermore, given that the literature on litigation focuses more on ‘soft skills’ than on knowledge, will a licensing exam that is largely knowledge-based, or even OSCE-style, address this competency adequately (14)?

미국 의사 면허 시험(USMLE) 1단계 및 2단계 점수를 대학원 레지던트 선발 결정에 계속 사용하는 것에 대한 실망스러운 보고도 있습니다(4). 산부인과 핵심 역량 절차에 대한 말레이시아 전공의 수련(n = 407)에 대한 최근 전국적 연구에서, 의과대학 졸업생들마다 어느 의대를 졸업했느냐에 따라 전공의 수련에 시작할 때의 절차적 기술과 지식 적용에 눈에 띄게 차이가 있다는 우려가 확인되었습니다. 이 연구는 하우스맨십을 준비하는 대학원 교육의 적절성과 관련하여 의과대학에 제공하는 피드백에 시사점을 제공합니다. 이 연구 결과는 MMLE에 의한 통합 평가 또는 의과대학의 최종 시험에 MMLE를 통합해야 할 필요성을 강조합니다(15,16).
There are discouraging reports on the continued use of United States Medical Licensing Examination (USMLE) Step 1 and Step 2 scores for postgraduate medical residency selection decisions (4). In a recent nationwide study on the Malaysian house officers training (n = 407) needs in core competency procedures in Obstetrics & Gynaecology, concerns were identified that graduates from different medical schools exhibited noticeably variable procedural skills and knowledge application upon entering their housemanships. This study has implications for the feedback given to medical schools regarding the adequacy of graduate training in preparation for housemanships. This finding highlights the need for a unifying assessment by MMLE or for the integration of MMLE into medical schools’ final exams (15,16).

사회경제적 맥락
Socioeconomic Context

시험의 이점이 시험 비용을 정당화하기에 충분한가? 시험의 이점에 대한 증거는 명확하지 않습니다(6). 국가가 이러한 시험의 결과를 측정하고 관리할 준비가 되어 있는가? 이 시험은 최근 졸업생들의 재정적 부담을 더욱 가중시킬 것입니다. 좋은 문제를 출제하는 방법과 표준 시험에 대한 여러 의과대학의 동의를 얻는 방법 등이 또 다른 과제입니다. 문제를 계획하고, 구성하고, 시험 결과를 분석하는 과정은 고된 작업입니다. 시험을 치를 수 있는 공간, 시험에 필요한 자금, 그리고 이 과정을 시작하고 유지할 수 있는 헌신적인 교수진이 상당히 필요합니다.
Are the advantages of the examination sufficient to justify its expense? Evidence of the exam’s benefits is far from clear-cut (6). Is the country ready to measure and manage the outcomes of such an exam? The exam will further increase the financial burden on recent graduates. Other challenges include how to write good questions and how to obtain agreement among different medical schools on the standard exam. The process of planning, constructing the questions and analysing the exam’s results is arduous. There is a significant need for space to accommodate the test, money to fund it, and committed faculty to initiate and maintain the process.

결론
CONCLUSIONS

사립 의과대학의 수를 늘림으로써 인력 수요 증가를 충족시킬 수 있다는 것은 의심의 여지가 없습니다. 그러나 자격을 갖춘 의사가 원하는 결과를 달성 할 수 있도록 의료 역량 표준화와 관련하여 계획, 자원 통합, 인프라 구축 및 품질 보증 시스템 개발에 대한 요구 사항이 있어야합니다. 이러한 요구가 해결된다면 의료 면허 시험은 의료 시스템을 발전시키고 말레이시아를 동남아시아 의학교육의 중심지로 만들 수 있는 길입니다. MMLE를 독립형 시험으로 유지하든, GMC의 계획대로 최종 시험에 통합하든, 이해관계자들은 면허 시험 시행을 위한 최선의 전략을 파악하기 위해 분석에 착수해야 합니다.
There is no doubt that an increase in work force demand is fulfilled by increasing the number of private medical schools. However, there should be requirements for the planning, consolidation of resources, infrastructure creation and development of a quality assurance system with regards to the standardisation of medical competencies so that qualified doctors are ensured to have achieved the desired outcomes. If this need is addressed, the way forward is a medical licensing exam that will advance the health care system and that can perhaps make Malaysia a nodal centre for medical education in South East Asia. Whether MMLE remains a standalone exam or is integrated into final exams, as planned by GMC mandates, stakeholders should undertake analysis to identify the best possible strategy for the implementation of the licensing exam.

Medical education in Malaysia is facing challenges related to the increasing number of local private and foreign medical universities. The key issue is whether the system is producing doctors who have adequate competencies for fundamental patient-centred care. The Malaysian Medical Licensing Examination (MMLE) was proposed by the Ministry of Health (MOH) as a common licensing examination for which all graduates must sit prior to obtaining registration to practice. Currently, this exam is only taken by Malaysian students graduating from foreign medical colleges. However, the local Malaysian universities, both public and private, have different curricula for preparing undergraduates for future housemanships. The question is whether the educational programs of these universities are robust enough in delivering curricula that produce safe and competent doctors. Moving forward, it must be determined whether there is a need for extending the Malaysian Medical Licensing Examination (MMLE) to all graduates of both local and foreign medical universities, thereby creating a marker of excellence by which to measure Malaysian education and practice.

보건의료전문직 국가면허시스템의 진화: 라오스의 질적기술사례연구 ( Hum Resour Health. 2017)
The evolution of the national licensing system of health care professionals: a qualitative descriptive case study in Lao People’s Democratic Republic 
Miwa Sonoda1,2,5* , Bounkong Syhavong3, Chanphomma Vongsamphanh3, Phisith Phoutsavath3, Phengdy Inthapanith3, Arie Rotem4 and Noriko Fujita2 

사례 설명
Case description

질적, 서술적 사례 연구 방법론이 적용되어 현재 정책의 발전과 향후 시행을 개선하기 위한 의료 전문가 면허 시스템의 규제 프레임워크 개발을 검토했습니다. 이 질적, 서술적 사례 연구 설계는 라오스 보건부의 공식 승인을 받았습니다. 라오스의 의료 전문가와 관련된 법률, 규정, 정책 및 관련 보고서를 문서로 검토했습니다. 연구 정보는 1995년부터 2016년 사이에 발행된 209개의 라오스 법률, 규정, 정책, 보건 관련 지침 등 공식적으로 발표된 문서에서 얻었습니다. 이 중 75개는 "교육", 59개는 "의료 전문가의 역할 및 실무", 2개는 "자격", 73개는 "기타"로 분류되었습니다. 우리는 19개의 주요 문서가 면허 시스템에 중요하다는 것을 발견했으며, 이를 시간순으로 정리했습니다(표 1). 라이선스 시스템 전략 개발에 도움을 제공한 저자들은 라이선스 시스템의 진화 과정에서 몇 가지 주요 사건을 확인했습니다. 라이선싱 시스템 전략 개발에 참여했던 4명의 주요 이해관계자와의 인터뷰를 통해 문서 검토에서 관찰한 내용을 취합 및 검증하고 라이선싱 시스템 개발에서 중요한 요소가 무엇인지 물었습니다. 인터뷰 대상자는 보건부 관련 부서의 고위 공무원과 보건과학대학교 의과 및 치의학 학부 부학장으로 구성되었습니다. 인터뷰 대상자들은 익명을 보장하고 정보의 기밀을 엄격하게 유지한다는 조건에 동의했습니다. 모든 참가자는 구두로 사전 동의를 제공했습니다. 인터뷰는 발언자의 신원을 표기하지 않고 받아쓰기 방식으로 진행되었습니다. 또한 라이선스 시스템 전략을 개발하기 위한 일련의 위원회 회의에서 입수한 토론 노트와 회의 메모를 활용했습니다.  
A qualitative, descriptive case study methodology was applied to review the evolution of current policies and the development of a regulatory framework for a licensing system for health care professionals to improve its future implementation. This qualitative, descriptive case study design was officially approved by the Lao Ministry of Health. A document review was carried out of laws, regulations, policies, and relevant reports related to health care professionals in Lao People’s Democratic Republic. The study information was obtained from officially published documents including 209 Laotian laws, regulations, policies, and guidelines related to health that were issued between 1995 and 2016. Among these, 75 were categorized as “education,” 59 as “role and practice of health care professionals,” 2 as “qualifications,” and 73 as “others.” We found that 19 key documents were critical for the licensing system, and we ordered them chronologically (Table 1). Authors who had offered support in developing a licensing system strategy identified some key events in the evolution of the licensing system. Interviews were conducted with four key stakeholders who had also been involved in developing a licensing system strategy to collate and validate our observations from the document review and to ask what factors were important in the development of a licensing system. They consisted of senior officials from relevant departments in the Ministry of Health and vice deans from the faculty of medicine and dentistry at the University of Health Sciences. Interviewees agreed upon the conditions to remain anonymous and to have the confidentiality of their information rigorously maintained. All participants provided oral informed consent. Interviews were dictated without notation of the speaker’s identity. In addition, discussion notes and meeting memos that were obtained in a series of committee meetings to develop a licensing system strategy were utilized.

다음 섹션에서는 2005년부터 2015년까지 라오스의 라이선스 시스템 개발 연대표를 제시하고(표 1), 시스템 발전 과정에서 확인된 주요 사건에 대해 설명합니다. 
In the following section, we present the chronology of the development of a licensing system in Lao People’s Democratic Republic from 2005 to 2015 (Table 1), followed by a description of the key events identified in the evolution of the system.

라오스 인민민주공화국 라이선스 시스템의 연대기(2005년부터 2015년까지)
The chronology of a licensing system in Lao People’s Democratic Republic (from 2005 to 2015)

2005년 라오스 인민민주주의공화국은 보건의료 목표 달성을 위한 보건 거버넌스를 강화하기 위해 라오스 최초의 "보건의료에 관한 법률"을 제정했습니다[12]. 이 법은 16가지 범주의 의료 전문가를 규정하고 필수 책임 사항을 명시했습니다. 또한 보건의료전문가위원회의 역할은 제58조에 "보건부가 보건의료전문가의 활동을 관리하기 위한 사무국"으로 명시되어 있습니다. 이러한 이유로 법률 및 공식 문서 아카이브를 검토 할 때 시스템 개발의 시작 시점을 2005 년으로 간주했습니다. 
In 2005, Lao People’s Democratic Republic enacted the country’s first “Law on Healthcare” to strengthen health governance toward achieving its health care goals [12]. It regulated 16 categories of health care professionals with a statement of required responsibilities. The role of the Healthcare Professional Council was also specified in Article 58 as the “secretariat for the Ministry of Health in administering the activities of health care professionals.” For these reasons, when examining legal and official document archives, we considered 2005 as the starting point of the system development.

법적 프레임워크의 개발은 핵심 보건법에서 시작하여 하위 법령 및 기타 관련 법률로 이어졌습니다. 지난 10년 동안 보건 인적 자원을 개선하기 위한 주요 정책과 전략이 도입되면서 법률에 약간의 불일치와 중복이 발생했습니다. 
The development of a legal framework started with the core health law and was followed by sub-decrees and other relevant legislation. Over the past decade, key policies and strategies designed to improve human resources for health have been introduced, which have resulted in minor inconsistencies and overlap in legislation.

이 기간 동안 라오스 인민민주공화국의 보건의료 정책은 "농촌 보건의료 시설에 보건의료 종사자 배치 강화"에서 "보건의료 전문가의 질 향상"으로 전환되었습니다. 라오스 인민민주주의공화국은 지난 수십 년 동안 양적, 질적 측면에서 보건의료 강화를 위한 적극적인 조치를 취해왔지만 2006년부터 2012년까지 공공 부문에서 일하는 보건의료 종사자의 수는 거의 변하지 않았습니다. 같은 기간 인구가 23% 증가했음에도 불구하고 총 보건 종사자 수는 약 1만 2400명으로 정체되었습니다(그림 1)[13]. 이는 공공 부문에서 보건 인력을 흡수할 수 있는 능력이 제한되어 있었기 때문입니다. 특히 농촌 지역의 심각한 의료 인력 부족 문제를 해결하기 위해 라오스 보건부(MOH)는 의료 종사자 채용 및 유지를 적극적으로 장려하고 있습니다. 또한 라오스 정부는 최근 신규 졸업생을 특히 농촌 및 외딴 지역의 하위 의료 시설에 배치하는 법령을 공표했습니다. 그 결과 보건소 수준의 의료 종사자 비율이 증가하여 일반 인구가 기본적인 의료 서비스를 이용할 수 있게 되었습니다(그림 2)[14, 15]. "라오스 보건 부문 개혁 프레임워크"[16]에 따르면, 보건 서비스 제공을 개선하고 원하는 결과를 달성하기 위해 세 단계의 개혁이 적용되었습니다.

• 1단계(2013~2015년)에서는 보건 관련 새천년개발목표(MDG)를 달성하기 위해 농촌 및 외딴 지역에 보건 인력의 규모와 배치를 늘리기 위한 조치가 우선적으로 이루어졌습니다.
• 2단계(2015~2020년)와 3단계(2020~2025년)에서는 보건의료 서비스에 대한 지역사회의 접근성을 보장하고 서비스 제공의 질을 개선하기 위해 양적, 질적 측면에서 보건의료 인력 양산을 강화하는 데 중점을 두고 있습니다.

2025년까지 라오스 인민민주공화국은 보편적 의료 보장(UHC) 달성을 위한 의료 서비스 접근성을 보장하기 위해 숙련되고, 동기를 부여받고, 지원을 받고, 널리 분포된 충분하고 지속 가능한 인력을 확보할 것입니다. 
During this period, HRH policy in Lao People’s Democratic Republic shifted from “strengthening the deployment of health workers in rural health care facilities” to “improving the quality of health care professionals.” Although Lao People’s Democratic Republic has taken active steps to strengthen HRH in terms of quality and quantity over the past few decades, the number of health workers working in the public sector remained virtually unchanged between 2006 and 2012. The total number of health workers stagnated at approximately 12 400, despite a 23% increase in population during the same period (Fig. 1) [13]. This was because of the limited absorption capacity of HRH in the public sector. To address critical health care workforce shortages, especially in rural areas, the Ministry of Health (MOH) has actively promoted the recruitment and retention of health workers. In addition, the Lao government recently promulgated a decree on placing new graduates in lower-tier health care facilities, especially in rural and remote areas. As a result, the percentage of health care workers at the health center level has increased, making basic health care services available to the general population (Fig. 2) [14, 15]. According to “The Health Sector Reform Framework Laos” [16], three phases of reform were applied to improve the delivery of health care services and achieve the desired outcomes.

• For reaching the health-related Millennium Development Goals (MDGs) in Phase I (2013–2015), actions to increase the size and deployment of the health workforce in rural and remote areas have been made a priority.
• In Phases II (2015–2020) and III (2020–2025), increased emphasis has been placed on the enhancement of HRH production in terms of both quantity and quality to ensure community access to health care services and improve the quality of service provision.

By 2025, Lao People’s Democratic Republic will have a sufficient and sustainable workforce that is skilled, motivated, supported, and widely distributed to ensure access to health services in achieving universal health coverage (UHC).

 

 

 

연대기에서 이 라이선스 시스템의 발전과 관련된 몇 가지 중요한 사건을 확인할 수 있습니다: 

• (a) 라오스 인민민주공화국이 표준 자격을 갖추기 위한 동남아시아국가연합(ASEAN) 상호인정협정(MRA)의 가속화,
• (b) 초기 단계의 책임 조직 설립 및 리더 배정,
• (c) 라오스 보건 시스템 개발에서 보건 인적 자원의 중요성 강조,
• (d) 유능한 보건의료 전문가 양성을 위한 교육 시스템 강화,
• (e) 신규 채용 공무원의 농촌 지역 3년 의무 근무,
• (f) 민간 보건의료 시설에서 근무하기 위한 전문 자격증 취득 요건 강화.
• 이러한 발전에 따라 (g) 라오스 인민민주주의 공화국은 마침내 면허 시스템에 대한 포괄적인 발전 전략을 수립했으며, 곧 시행될 예정입니다.

In the chronology, some critical events that are related to the evolution of this licensing system are observed:

• (a) acceleration by the Association of Southeast Asian Nations (ASEAN) Mutual Recognition Arrangement (MRA) for Lao People’s Democratic Republic to have standard qualifications,
• (b) establishment of responsible organizations and assignment of leaders in the early stages,
• (c) emphasis on human resources for health in developing the health system in Lao People’s Democratic Republic,
• (d) strengthened educational systems to foster competent health care professionals,
• (e) 3 years of compulsory service in rural areas for newly recruited government servants, and
• (f) requirements for obtaining a professional certificate to work at a private health care facility. Following these developments,
• (g) Lao People’s Democratic Republic has finally formulated a comprehensive developmental strategy for its licensing system, which will be implemented soon.

의료 전문가 면허 시스템 발전의 주요 이벤트
Key events in the evolution of a licensing system for health care professionals

다음 이정표와 주요 이벤트는 라오스 인민민주공화국의 면허 시스템이 점진적으로 진화하는 과정을 설명합니다:
The following milestones and key events describe the gradual evolution of the licensing system in Lao People’s Democratic Republic:

라오스 인민민주공화국이 표준 자격을 갖추기 위한 아세안 MRA의 가속화
Acceleration by the ASEAN MRA for Lao People’s Democratic Republic to have standard qualifications

일반적으로 동남아시아 지역에서 의료 전문직의 이동은 기본 법률 체계, 교육 시스템 및 품질 표준의 발전과 밀접한 관련이 없는 것으로 보였습니다[17]. 오히려, 특히 라오스 인민민주공화국에서는 불충분한 자격 요건과 언어 장벽이 라오스 의료 전문가의 해외 이주에 큰 제약 요인으로 작용했습니다[18]. MRA는 특히 교육 시스템을 업그레이드함으로써 라오스 인민민주공화국의 지역 표준을 사용하여 의료 전문가 배출을 가속화했습니다. 
In general, the migration of health care professions in the region of Southeast Asia did not seem to correlate closely with the development of underlying legal schemes, educational systems, and quality standards [17]. Rather, especially in Lao People’s Democratic Republic, insufficient qualifications and language barriers had a major restraining effect on the migration of Laotian health care professionals abroad [18]. The MRA accelerated the production of health care professionals using a regional standard in Lao People’s Democratic Republic particularly by upgrading its educational system.

라오스 인민민주주의공화국에는 소수이긴 하지만 해외 의료 전문가가 증가하고 있지만, 최근까지 라오스에서 진료할 수 있는 외국인 의료 전문가의 자격을 규제하는 명확한 정책이 수립되지 않았고 이들의 진료를 모니터링할 수 있는 시스템도 마련되어 있지 않았습니다[13]. 그러나 2006년에 간호사를, 2009년에 의사와 치과의사를 포괄하는 아세안 MRA를 체결하면서[19,20,21] 회원국들은 외국인 의료 전문가를 규제하는 절차를 마련하여 규제 프레임워크를 개혁하도록 강제하고 있습니다. 라오스 인민민주주의 공화국은 외국인 의료인을 위해 필요한 조치를 시작했습니다. 예를 들어, 최근 민간 병원에서 일할 수 있는 외국인 의료 종사자 인증이 의회에서 요구되고 있습니다[22]. 아세안 경제 공동체(AEC)로의 통합이 증가함에 따라 외국인이 라오스 면허를 취득하는 데 필요한 조건을 자세히 설명하는 계획을 포함하여 새로 승인된 전략에 따른 국가 표준 수립이 가속화되고 있습니다[23]. 

Even though there is a small but increasing number of international health care professionals in Lao People’s Democratic Republic, no clear policies had been formulated to regulate the qualifications of foreign health care professionals to practice in Laos until recently and no systems had been in place to monitor their practices [13]. However, the ASEAN MRA which encompassed nurses in 2006 and medical practitioners and dentists in 2009 [19,20,21] enforces member states’ reform of their regulatory frameworks by establishing procedures to regulate foreign health care professionals. Lao People’s Democratic Republic has initiated the necessary arrangements for foreign practitioners. For example, certification of foreign health care workers to work in private hospitals has recently been required by the council [22]. As integration into the ASEAN economic community (AEC) increases, the establishment of national standards according to the newly endorsed strategy is being accelerated, including plans to detail the necessary conditions for foreigners to obtain a Lao license [23].

초기 단계의 책임 조직 설립 및 리더 배정
Establishment of responsible organizations and assignment of leaders in the early stages

보건의료법[12]이 채택된 지 2년 후인 2007년에 보건부는 두 개의 하위 법령을 발표했습니다.

• 첫 번째는 등록 및 전문 자격증 발급 측면에서 보건의료전문가위원회의 역할을 명시했고[24],
• 두 번째는 위원회 대표와 추가 공식 직책을 보건부의 지정된 리더에게 할당하도록 규정했습니다[25].

보건의료전문가협의회는 면허제도 발전 초기에 명확한 임무를 가지고 설립되었지만, 관리 역량이 부족하여 책임을 다할 수 없었습니다. 상근 기술 직원이 부재한 상황에서 지정된 고위 지도자들은 면허 및 등록에 대한 규정과 메커니즘을 수립하는 데 필요한 세부 작업을 수행 할 수 없었습니다. 2013년에 보건부 보건의료국에 "보건의료 전문직 사무국"이 설립되어 사무국 업무를 담당하고 보건의료 전문직 협의회 활동을 지원했습니다[26]. 비록 상근 전담 직원의 수는 제한적이었지만, 이들의 기여는 2015년에 최종적으로 제정된 면허제도 발전을 위한 세부 전략 개발에 큰 역할을 했다. 그러나 제도적 틀은 아직 제대로 작동하지 않고 있습니다. 
In 2007, 2 years after the adoption of the Law on Health Care [12], the MOH issued two sub-decrees.

• The first specified the role of the Healthcare Professional Council in terms of registration and the issuance of professional certificates [24], while
• the second stipulated that council representatives and additional official positions were to be allocated to designated leaders of the MOH [25].

Although the Healthcare Professional Council was established at an early stage of the evolution of the licensing system with a clear mandate, it was unable to fulfill its responsibilities due to its insufficient management capacity. In the absence of full-time technical staff, the designated senior leaders were unable to implement the detailed work necessary to establish the regulations and mechanisms for licensing and registration. In 2013, the “Office of Healthcare Professionals” was established in the Department of Health Care of the MOH to serve the secretariat and support the activities of the Healthcare Professional Council [26]. Even though the number of full-time dedicated staff remained limited, their contributions played a major role in the development of a detailed strategy for the development of the licensing system, which was finally enacted in 2015. However, the institutional framework is not functional yet.

라오스 보건 시스템 개발에서 보건 인적 자원의 중요성 강조
Emphasis on human resources for health in developing the health system in Lao People’s Democratic Republic

라오스 보건부는 보건의료 전문가의 질을 모니터링하고 규제하기 위한 프레임워크와 메커니즘을 구축해야 한다는 시급한 필요성을 인식하고 2011년 총리가 승인한 '2020년까지 보건 인력 개발 전략'에 우선 순위로 포함시켰습니다[11]. 이 전략은 보건의료 전문가 위원회의 기능이 시급히 필요함을 명시하고 그 기여를 보장하기 위한 우선순위를 확인했습니다. 이 전략은 다음 사항의 중요성을 강조했습니다: 
The urgent need to establish a framework and mechanisms for monitoring and regulating the quality of health care professionals has been recognized by the MOH and was included as a priority in “The Health Personnel Development Strategy by 2020” which was approved by the prime minister in 2011 [11]. This strategy stipulated the urgent need to functionalize the Healthcare Professional Council and identified priorities to ensure its contribution. The strategy stressed the importance of the following:

• 보건의료전문가위원회와 그 이사회가 보건법에 명시된 책임을 성공적으로 수행할 수 있도록 충분한 자원과 전문성, 효과적인 관리 구조를 갖추도록 보장하는 조항을 검토하는 데 중점을 두었습니다:
  Reviewing provisions to ensure that the Healthcare Professional Council and its boards had sufficient resources and expertise as well as an effective management structure to enable the successful undertaking of its responsibilities as stipulated in the Health Law with an emphasis on:
• 보건의료 졸업생 인증을 위한 역량 프레임워크 승인;
  ○ Approving the competency framework for certifying health care graduates;
• 면허의 근거가 되는 보건의료 졸업생에 대한 기존 시험의 방법과 내용 승인, 그리고
  ○ Approving the methods and content of existing exams for health care graduates as a basis for licensing; and
• 지속적인 전문성 개발 및 실무에 대한 증거를 기반으로 한 지속적인 정기 등록 조항을 포함하여 보건의료 전문가 면허에 대한 프레임워크 및 기준 개발.
  ○ Developing a framework and criteria for the licensing of health care professionals, including provisions for continuing periodical registration based on evidence of continuing professional development and practice.

유능한 보건의료 전문가 양성을 위한 교육 시스템 강화
Strengthened educational systems for fostering competent health care professionals

전문가들의 국경 간 이동을 촉진하는 것 외에도 이러한 새로운 아세안 이니셔티브의 맥락에서 라오스 인민민주공화국의 의료 전문가 관련 교육 및 법률을 개선하는 것이 강조되고 있습니다. 의사, 치과의사, 간호사를 위한 전문 역량은 MRA에 의한 평가를 위한 구체적인 기준을 제공하기 위해 개발되었습니다[27,28,29]. 또한 국제 표준에 따라 이러한 역량을 기반으로 교육 커리큘럼을 개정하여 전문 과목에 더 많은 학습 단위를 할당했습니다 [30]. 또한, 기술자격만 갖춘 간호사가 아닌 전문간호사만이 MRA를 받을 수 있는 MRA 요건을 충족하기 위해 간호교육 프로그램을 2.5년에서 3년으로 연장했다.  
In addition to facilitating the cross-border movement of professionals, improving education and legislation related to health care professionals in Lao People’s Democratic Republic in the context of these new ASEAN initiatives has been emphasized. Professional competencies for medical doctors, dentists, and nurses were developed to provide specific criteria for their assessment by the MRA [27,28,29]. In addition, in line with international standards, the educational curriculum was revised based on these competencies, allocating more study units for professional subjects [30]. Moreover, to meet MRA requirements, in which only a professional nurse can be eligible for the MRA as opposed to a nurse with only technical qualifications, nursing education programs were extended from 2.5 to 3 years.

졸업생들이 라오스에서 실무에 종사할 수 있는 역량을 갖추도록 국가 시험이 계획되어 있습니다. 현재 라오스 보건부 관할 하에 10개의 보건의료 교육기관이 있지만, 의사, 치과의사, 간호사, 약사, 조산사 등 모든 수준과 범주의 보건의료 전문가에 대한 제도적 품질 보증 시스템은 아직 공식적으로 적용되지 않고 있습니다[11, 13]. 의사, 치과의사, 간호사는 2020년까지, 그 외 직종은 2025년까지 국가시험이 시행될 것으로 예상됩니다[23]. 예외적으로 조산사는 2010년에 국가시험이 도입된 이후 조산사 자격증을 발급받아 진료를 할 수 있게 되었습니다[13]. 국가 시험에는 보건복지부가 발행한 국가 조산사 교육 표준과 국제 조산사 연맹(ICM)에 따른 객관적이고 체계적인 임상 시험(OSCE)이 포함됩니다.  
National examinations are planned to ensure the competency of graduates to practice in Lao People’s Democratic Republic. Although 10 health care educational institutions are currently under the jurisdiction of the MOH, an institutional quality assurance system has yet to be formally applied across all levels and categories of health care professionals including medical doctors, dentists, nurses, pharmacists, and midwives [11, 13]. It is anticipated that a national examination for medical doctors, dentists, and nurses will be implemented by 2020 and for others by 2025 [23]. As a sole exception, since the introduction of a national examination in 2010, midwives have been issued a certificate to allow them to practice [13]. The national examination includes an objective and structured clinical examination (OSCE) based on national midwifery education standards issued by the MOH and following the International Confederation of Midwives (ICM).

신규 채용된 보건 분야 공무원의 농촌 지역 3년 의무 복무
Three-year compulsory service in rural areas for newly recruited government servants in the health sector

라오스 인민민주공화국은 심각한 보건 인력 부족을 겪고 있으며, 특히 외딴 지역과 농촌 지역에서 보건 인력의 불공평한 분배가 두드러집니다[9]. 라오스 인민민주공화국과 같이 자원이 부족한 국가에서의 인력 부족은 주로 생산 및 고용 능력이 낮기 때문에 발생합니다. 라오스 보건부는 거의 모든 병원에 적용되는 공공 부문의 허가된 직책 수가 제한되어 있기 때문에 모든 간호 졸업생(연간 약 500~600명)이나 다른 보건 전문직 졸업생을 모두 고용할 수 없습니다[13]. 한정된 정부 예산으로 지역 사회 보건의 이 중요한 문제를 해결하기 위해 보건부는 "농촌 지역 신규 졸업생 배치에 관한 장관급 합의서(제103/MOH/23호, 2012년 1월)"를 제정했습니다. [31]을 제정하여 모든 종류의 보건 분야 신규 채용 공무원에 대해 농촌 지역에서 3년의 의무 복무를 의무화했습니다. 농촌 지역에서 3 년의 의무 복무를 마친 사람은 면허 시험에 응시할 수 있습니다. 이는 해당 지역에 직원을 배치하는 데 대한 인센티브입니다. 그러나 공식적인 감독 체계를 갖춘 교육 프로그램을 개발하는 것은 앞으로의 과제가 될 것입니다.  
Lao People’s Democratic Republic has suffered a critical shortage of HRH, and the inequitable distribution of HRH is particularly evident in remote and rural areas [9]. A shortage of HRH in a resource-limited country such as Lao People’s Democratic Republic is primarily caused by low production and employment capacity. The MOH cannot employ all nursing graduates (approximately 500–600 per year) or all graduates in other health professions due to the limited number of sanctioned posts in the public sector, which applies to almost all hospitals [13]. To address this critical issue in community health with a limited government budget, the MOH enacted the “Ministerial Agreement on the Stationing of New Graduates in Rural Areas (No. 103/MOH/23, Jan. 2012)” [31], which mandates 3 years of compulsory service in rural areas for all kinds of newly employed government servants in the health sector. Those who complete the 3-year compulsory service in rural areas are eligible to sit for the licensing examination. It is an incentive for placing staff in such areas. However, the development of a training program with a formal supervision scheme will be a challenge in the future. 

개인 의료 시설에서 일하기 위해 전문 자격증을 취득하기위한 요건
Requirements for obtaining a professional certificate to work at a private health care facility

거의 모든 병원이 공공 부문에 속해 있지만 개인 클리닉의 수가 증가하고 있습니다. 민간 병원에 관한 라오스 법령(라오스 정부 법령 제 151호, 2014년 4월 28일)[23]은 2014년에 공포되었으며, 민간 병원에서 일하고자 하는 의료 전문가는 반드시 보건부에서 발급한 자격증을 소지해야 한다고 규정하고 있습니다. 이는 실무 능력을 증명하는 전문 자격증과는 다르며, 공무원 명부에 등록되지 않은 의료인이 민간 의료 시설에서 일할 수 있도록 공식적으로 인정하는 것입니다. 라오스 보건부는 민간 부문의 의료 서비스 품질을 관리하기 위해 2014년부터 공식 자격증을 발급하기 시작했습니다. 그러나 라오스 정부는 잠재적인 이중 제도의 복잡성을 피하기 위해 의료 전문가를 위한 고유한 면허 시스템으로 통합할 계획입니다.
Almost all hospitals belong to the public sector, but the number of private clinics is increasing. The Lao decree on private hospitals (no. 151/Gov, 28 April 2014) [23] was promulgated in 2014 and stipulates that a health care professional who intends to work at a private hospital must hold a certificate issued by the MOH. This is not the same as a professional license to prove competency of practice; in contrast, it provides official recognition for a health care practitioner who is not registered in the government servant registry to work in a private health care facility. Needing to control the quality of health care in the private sector, the MOH began issuing official certifications in 2014. However, the government of Lao People’s Democratic Republic intends for this stream to be integrated as a unique system of licensure for health care professionals to avoid the complexity of a potential dual system.

의료 전문가 면허 및 등록을 위한 10개년 전략
Ten-year strategy for the licensing and registration of health care professionals

2015년에 보건부는 "라오스 인민민주공화국의 의료 전문가 면허 및 등록 시스템 전략 2016-2025"[23]를 승인했습니다. 이 전략은 궁극적으로 면허 및 등록 시스템의 틀을 정의하고 향후 10년간의 목표, 목적, 대상, 우선순위 조치로 구성되었으며, 6개의 기둥에 중점을 두었습니다(표 2).
In 2015, the MOH endorsed the “Strategy on Healthcare Professional Licensing and Registration System in Lao People’s Democratic Republic 2016-2025” [23]. This strategy ultimately defined the framework for the licensing and registration system and consisted of goals, objectives, targets, and prioritized actions over the next 10 years, with a focus on six pillars (Table 2).

면허 및 등록을 향한 경로는 교육 기관에서 시행하는 졸업 시험으로 시작하여 학위 수여로 이어집니다. 학위를 수여받은 졸업생은 의료 전문가 위원회의 감독하에 시행되는 국가 역량 시험에 응시할 자격이 주어집니다. 정식 면허를 취득하려면 응시자는 공공 또는 민간 환경에서 3년간의 감독 실습을 완료해야 합니다. 전문 실무 지식과 기술을 최신 상태로 유지하기 위해 등록된 의료 전문가는 의료 전문가 위원회에서 승인한 지속적인 전문성 개발(CPD) 활동 참여 평가를 바탕으로 5년마다 등록을 갱신해야 합니다(그림 3).
The pathway toward licensing and registration will commence with an exit exam administered by the training institution, leading to the awarding of an academic degree. Graduates who are awarded the degree are entitled to sit for a national competency examination that is administered under the supervision of the Healthcare Professional Council. To obtain a full license, candidates must complete 3 years of supervised practice in either public or private settings. To ensure that professional practice knowledge and skills are current, registered health care professionals are required to renew their registration every 5 years based on an assessment of their participation in continuing professional development (CPD) activities approved by the Healthcare Professional Council (Fig. 3).

또한 최근 승인된 보건 부문 개발 계획(제8차, 2016~2020년)[33]에는 면허 및 등록 시스템 구축을 위한 국가 프로젝트가 포함되어 있습니다. 이러한 전략을 바탕으로 현재 보건부는 WHO와 협력하여 이 새로운 시스템을 지원하기 위한 보건의료전문가협의회를 설립하는 작업을 진행 중입니다.
In addition, the recently endorsed health sector development plan (the 8th, 2016–2020) [33] includes a national project for establishing a licensing and registration system. Based on these strategies, progress is now underway by the MOH in collaboration with the WHO to establish the Health Professionals Council to support this new system.

The evolution of the national licensing system of health care professionals: a qualitative descriptive case study in Lao People's Democratic Republic

PMID: 28784154

PMCID: PMC5547512

DOI: 10.1186/s12960-017-0215-2

Free PMC article

라오스의 의학교육(Med Teach, 2019) 
Medical education in Laos  
Timothy Alan Witticka, Ketsomsouk Bouphavanhb, Vannyda Namvongsac, Amphay Khounthepd and Amy Graye,f,g  

소개
Introduction

배경
Background

라오스는 동남아시아의 내륙 산악 국가입니다(그림 1). 인구는 약 700만 명이며 인구의 63%가 농촌 지역에 거주하는 것으로 추정됩니다(세계보건기구 2015). 라오스에는 총 49개의 민족이 공식적으로 인정되고 있으며, 각 민족은 고유한 방언, 관습, 건강 신념을 가지고 있습니다. 라오스의 경제는 노동력의 약 80%를 고용하는 농업에 크게 의존하고 있습니다(라오스 보건부 외. 2014). 
Laos is a landlocked, mountainous country in South-East Asia (Figure 1). It has a population of approximately seven million people and it is estimated that 63% of the population live in rural areas (World Health Organisation 2015). A total of 49 ethnic groups are officially recognized in Laos, each having their own dialect, customs, and health beliefs. The economy is heavily based on agriculture, which employs an estimated 80% of the labor force (Ministry of Health Lao PDR et al. 2014).

 

20세기 이전 라오스가 포함된 지역은 수 세기에 걸쳐 여러 왕국의 통치를 받았습니다(Evans 2002). 1893년부터 1953년 라오스가 독립할 때까지 60년 동안 프랑스는 라오스에 강력한 영향력을 행사했습니다(Sweet 2015). 제2차 인도차이나 전쟁 이후 1975년 신라오학삿(NLHX) 또는 파텟 라오가 라오스의 통치기구로 취임했습니다. 이 시점에 라오스 인민민주주의 공화국(라오스)이 수립되었습니다(Evans 2002). 이후 라오스는 일당 국가로 남아있습니다(아카봉 외. 2014). 
Prior to the 20th century, the area encompassed by Laos was governed by multiple kingdoms over a period of many centuries (Evans 2002). From 1893, the French had a strong presence in the country for a period of 60 years until Laos gained independence in 1953 (Sweet 2015). Following the Second Indochina War, in 1975, the Neo Lao Hak Xat (NLHX) or Pathet Lao took over as the country’s governing body. It was at this point that the Lao People’s Democratic Republic (Lao PDR) was established (Evans 2002). Laos has since remained a one-party state (Akkhavong et al. 2014).

의료 시스템 개요
Overview of the healthcare system

사회경제 및 보건 지표가 개선되고 있지만 라오스는 이 지역 최빈국 중 하나이며 인간개발지수에서 188개 국가 및 지역 중 141위에 랭크되어 있습니다(유엔개발계획 2015). 세계보건기구(WHO)에 따르면 라오스인의 평균 기대 수명은 66세이며, 5세 미만 사망률은 1000명당 71명, 모성 사망률은 10만 명당 220명입니다(세계보건기구 2015). 비전염성 질병의 비율이 증가하고 있지만 감염으로 인한 질병 부담은 상당합니다(Akkhavong 외. 2014; 세계보건기구 2015). 
Although socioeconomic and health indicators are improving, Laos is one of the least developed countries in the region and ranks as 141 out of 188 countries and territories on the Human Development Index (United Nations Development Programme 2015). The World Health Organization (WHO) reports the average life expectancy for a Lao person to be 66 years, with an under-5 mortality rate of 71 deaths per 1000 live births and maternal mortality ratio of 220 deaths per 100000 live births (World Health Organisation 2015). Infections cause a significant burden of disease although rates of non-communicable diseases are rising (Akkhavong et al. 2014; World Health Organisation 2015).

라오스의 의료 시스템에는 정부 소유의 사용자 부담 시스템과 성장하는 민간 의료 부문이 포함됩니다. 정부 시스템은 중앙, 지방 및 지역 수준에서 운영되며 라오스 의료 종사자 및 자원봉사자들이 근무하고 있습니다(Akkhavong 외. 2014; Yoon 외. 2016). 2011년 라오스에는 인구 1만 명당 약 2.4명의 의사와 7.5명의 간호사가 있었습니다(라오스 보건부 및 세계보건기구 2012). 이는 세계보건기구(WHO)가 권장하는 인구 1만 명당 의사 및 간호사 최소 기준인 23명(세계보건기구 2010)과 비교됩니다.  
The healthcare system in Laos includes a government-owned, user pays system along with a growing private healthcare sector. The government system operates at central, provincial and district levels and is staffed by Lao health practitioners and volunteers (Akkhavong et al. 2014; Yoon et al. 2016). In 2011 there were approximately 2.4 doctors and 7.5 nurses per 10000 people in Laos (Ministry of Health Lao PDR and World Health Organisation 2012). This compares with the WHO recommended a minimum threshold of 23 doctors and nurses per 10000 people (World Health Organisation 2010).

기사 목적
Article objectives

이 글은 라오스의 의료 교육 시스템을 설명하는 것을 목표로 합니다. 중요한 역사적 발전, 관리 기관, 이해관계자, 현재 학부 및 대학원 연구 프로그램에 대해 간략히 설명하고 앞으로의 잠재적 방법과 함께 중요한 과제에 대해 논의합니다.
This article aims to describe the medical education system in Laos. We outline important historical developments, the governing bodies, stakeholders, current undergraduate, and postgraduate study programs and we discuss important challenges along with potential ways forward.

국가별 상황
Country in context

라오스 의학교육의 역사
History of medical education in Laos

라오스 의학교육의 역사는 크게 네 시기로 나눌 수 있습니다.

• 첫 번째 시기인 1893년부터 1950년까지는 라오스의 프랑스 식민지 시대와 관련이 있습니다. 이 기간 동안 프랑스는 외국 의사들로 구성된 의료 네트워크를 구축했습니다(Sweet 2015). 외국인 의사를 유지하는 데 여러 가지 문제가 발생하자 1900년대 초에 현지 의료 인력 교육이 지원되었습니다. 소수의 라오스 학생들이 하노이로, 이후에는 사이공과 프놈펜으로 보내져 의료 보조원으로 훈련받았습니다. 1940년대 후반부터 라오스 학생들은 프랑스에서 의학 공부를 시작했습니다(Sweet 2015)
• The history of medical education in Laos can be divided into four time periods. The first period, from 1893 to 1950, correlates with the French colonization of Laos. During this time the French established a health network staffed by foreign doctors (Sweet 2015). Having encountered multiple issues retaining foreign practitioners, in the early 1900s local health workforce training was supported. Small cohorts of Lao students were sent to Hanoi then later Saigon and Phnom Penh to train as medical assistants. From the late 1940s, Lao students undertook medical studies in France (Sweet 2015).
• 두 번째 시기인 1950년부터 1975년까지는 라오스가 프랑스로부터 독립한 시기와 관련이 있습니다. 의과 대학 (그림 2)은 1957 년 비엔티안에 설립되었습니다. 세계보건기구와 프랑스 정부가 기술 및 재정 지원을 제공했습니다. 처음에는 프랑스어로 진행되는 4년제 의료 보조 과정을 제공했으며, 1961년 7명의 첫 졸업생이 배출되었습니다(토비수크). 이후 7년 과정의 의학 박사 과정이 개설되어 1969년 25명의 첫 번째 코호트가 이 과정을 시작했습니다. 이 현지 교육 외에도 라오스 학생들은 이 기간 동안 다른 나라에서 의학을 공부할 수 있는 후원을 계속 받았습니다(Sweet 2015).
• The second period, from 1950 to 1975, correlates with Lao independence from France. The School of Medicine (Figure 2) was established in Vientiane in 1957. Technical and financial assistance was provided by WHO and the French Government. It initially offered a four-year medical assistant course taught in French and the first class of seven students graduated in 1961 (Thovisouk). A seven-year Doctor of Medicine course was later established with the first cohort of 25 students commencing this course in 1969. In addition to this local training, Lao students continued to receive sponsorship to study medicine in other countries throughout this period (Sweet 2015).

• 제2차 인도차이나 전쟁의 끝은 1975년부터 1990년까지 지속된 제3차 인도차이나 전쟁의 시작을 알렸습니다. 이 기간 동안 상당수의 교육받은 라오스 전문가들이 라오스를 떠났습니다 (나이팅게일 2011). 프랑스의 존재는 감소한 반면 사회주의 국가의 지원은 상당히 증가했습니다. 1960년대 초부터 1991년까지 17000명 이상의 라오스 학생들이 소련의 대학에서 교육을 받은 것으로 추정되지만, 이들 중 몇 퍼센트가 의학을 공부했는지는 확실하지 않습니다(Sweet 2015). 해외 연수 제도로 인해 교육의 질이 다양하고 라오스 의사들이 귀국 후 공통된 전문 언어가 없는 등 여러 가지 문제가 발생했습니다.
• The end of The Second Indochina War marked the beginning of the third period, which lasted from 1975 to 1990. A significant number of educated Lao professionals left the country during this time (Nightingale 2011). The French presence decreased while support from socialist countries rose considerably. It is estimated that over 17000 Lao students received training at universities in the Soviet Union from the early 1960s until 1991, although it is unclear what proportion of these students studied medicine (Sweet 2015). Multiple issues arose as a result of overseas training schemes including varied quality of education and Lao doctors lacking a common professional language upon their return home.
• 현지 의사 교육도 증가하여 1978년에는 의대생 코호트가 연간 20명 수준에서 100명 이상으로 증가했습니다(Sweet 2015). 이에 따라 교사 수, 교사 자질, 시설, 교육 자료도 함께 증가했습니다. 소련, 베트남, 쿠바 직원들은 1960년대에 설립되어 1970년대 라오스 정부가 지방 간호 교육을 위해 부활시킨 의과대학과 지방 보건대학에 현장 직원과 기술 지원을 제공하면서 이 공백을 메우기 위해 노력했습니다(Sweet 2015).
• Training of doctors locally also increased, with medical student cohorts rising from 20 to over 100 students per year level in 1978 (Sweet 2015). A corresponding increase in teacher numbers, teacher quality, facilities, and educational materials proved challenging. Soviet, Vietnamese, and Cuban staff sought to fill this void, providing both on the ground staff and technical support to the School of Medicine and to provincial health colleges which had been established in the 1960s, and revived by the Lao government in the 1970s to deliver nursing training in the provinces (Sweet 2015).
• 마지막 시기인 1990년부터 현재까지 외국 지원의 성격이 변화하고 의료 교육에 대한 현지 통제가 증가했습니다(Sweet 2015). 문화적, 언어적 유사성뿐만 아니라 근접성과 공동체적 유대감으로 인해 태국의 대학들은 라오스 보건부와 협력 협약을 맺고 대학원 교육 및 지속적인 의학교육 기회를 제공했습니다. 현지에 기반을 둔 대학원 의학 교육도 설립되었습니다. 1990년대 초, 미국의 비정부기구(NGO)인 Health Frontiers는 보건과학대학(UHS)과 협력하여 소아과 대학원 교육 프로그램을 개발하기 시작했습니다. 비슷한 시기에 프랑스 NGO인 라오스 협력 위원회(CCL)는 UHS와 협력하여 수술, 마취 및 공중보건 분야의 현지 기반 대학원 교육을 개발했습니다(Phongsavath and Soukaloun 2014; Sweet 2015).
• The final period, from 1990 to the present day, has seen a change in the nature of foreign support and an increase in local control over medical education (Sweet 2015). As a result of cultural and language similarities, as well as proximity and collegial ties, universities in Thailand formed cooperation arrangements with the Lao Ministry of Health to provide postgraduate training and continuing medical education opportunities. Locally based postgraduate medical training was also established. In the early 1990s, an American non-government organization (NGO), Health Frontiers, began working with the University of Health Sciences (UHS) to develop a pediatric postgraduate training program. At a similar time, the French NGO Comité pour la Coopération avec le Laos’ (CCL) partnered with the UHS to develop locally based postgraduate training in surgery, anesthetics and public health (Phongsavath and Soukaloun 2014; Sweet 2015).
• 1990년대 초, 의과 대학(이전에는 "의과 대학"으로 불림)은 의학, 치과, 약학 등 세 개의 학부로 구성되었으며 보건부가 관리했습니다. 1995년에 대학 관리가 교육부로 이관되면서 큰 변화가 일어났습니다. 그 후 라오스 의과 대학은 라오스 국립 대학교에 합병되어 의과학 학부가 설립되었습니다. 2007년에 보건부가 의료 교육 관리를 다시 맡으면서 다시 변화가 일어났고, 이 시점에 UHS가 설립되었습니다.
• In the early 1990s, the University of Medical Science (previously termed “School of Medicine”) consisted of three faculties: medicine, dentistry, and pharmacy and was governed by the Ministry of Health. Significant changes took place in 1995 when administration of the university was transferred to the Ministry of Education. The University of Medical Science was then merged into the National University of Laos, leading to the establishment of the Faculty of Medical Science. Change took place again in 2007 when the Ministry of Health regained administration of medical training and at this point in time the UHS was established.

교육 기관
Training institutions

UHS는 라오스에서 의사가 되기 위한 교육을 제공하는 유일한 기관입니다. 의료 보조원을 양성하는 4개의 주립 보건대학(루앙프라방, 타케크, 사반나켓, 팍세)과 다른 여러 주에 지역 보건 기초 과정을 제공하는 추가 보건대학이 있습니다. UHS, 주립 보건 대학, 보건 학교는 모두 별도의 조직이지만 보건부에서 관리합니다(그림 3).
The UHS is the only institution in Laos providing training to become a medical doctor. There are four provincial health colleges which train medical assistants (in Luang Prabang, Thakhek, Savannakhet, and Pakse) and additional health schools in a number of other provinces, offering basic courses in community health. Whilst the UHS, provincial health colleges, and health schools are all separate organizations they are administered by the Ministry of Health (Figure 3).

최근까지 UHS는 비엔티안의 4개 캠퍼스에 7개 학부가 있었습니다. 여기에는 기초과학부, 의학부, 간호학부, 치의학부, 약학부, 의료기술부, 대학원 학부, 그리고 행정 부서와 교육 개발 센터(EDC)가 포함됩니다. 교육 개발 센터는 2010년에 WHO의 지원으로 설립되었습니다. 이 센터는 WHO 서태평양 지역 대학 교육 개발 센터 네트워크의 일부입니다. 라오스의 EDC는 UHS에 전략적 계획을 지원하고, 학부와 협력하여 교육의 질을 향상시키며, 의학교육 활동에 대한 UHS와 외부 기관 간의 협력을 위한 구심점 역할을 합니다. 2018년에 UHS의 구조가 개정되었습니다. 여러 가지 변화 중에서도 6년간의 학부 의학 교육과 대학원 의학 교육이 모두 의학부 산하로 통합되어 의학 커리큘럼에 대한 보다 통합적인 접근이 가능해졌습니다. 가장 최근의 변화에서 EDC는 연구 및 교육 개발 연구소로서의 역할이 확대되었습니다.
Until recently the UHS had seven faculties located across four campuses in Vientiane. These include the Faculty of Basic Sciences, Medicine, Nursing, Dentistry, Pharmacy, Medical Technology, and the Postgraduate Faculty, in addition to an Administrative Affairs department and the Education Development Centre (EDC). The EDC was established in 2010 with support from WHO. It forms part of a network of education development centers at universities in the WHO Western Pacific Region. The EDC in Laos provides support to the UHS with strategic planning, works with faculties to improve the quality of their education and is a focal point for collaboration between the UHS and external organizations on medical education activities. In 2018 the structure of UHS has been revised. Among a number of changes, all six years of undergraduate medical training, as well as post-graduate medical training have been brought together under the Faculty of Medicine, enabling a more integrated approach to the medical curriculum. In the most recent changes, the EDC has an expanded role as an Institute for Research and Education Development.

학부 과정
Undergraduate studies

입학
Admission

UHS는 의대생을 위한 6년제 학부 커리큘럼을 제공하며, 학생들은 입학 시험을 통해 입학합니다(의학부). 시험은 화학, 생물학, 수학 과목에 대한 객관식 시험 3문항으로 구성되며, 각 시험은 2시간 동안 진행됩니다. 이 과정은 UHS와 보건부(MoH) 직원으로 구성된 위원회에서 감독합니다. 
The UHS offers a six-year undergraduate curriculum for medical students to which students are admitted based on entrance examinations (Faculty of Medicine). The examinations consist of three multiple choice question examinations, each two hours in length, covering subject areas of chemistry, biology, and mathematics. The process is overseen by a committee comprising UHS and Ministry of Health (MoH) staff.

학생들은 이 시험의 결과에 따라 순위를 매긴 다음 세 가지 그룹에 따라 선발됩니다.

• 지원자의 70%로 구성된 그룹 1에는 그룹 2 또는 그룹 3 지원 자격이 없는 가장 높은 순위를 받은 학생이 포함됩니다.
• 두 번째 그룹은 군대, 경찰 또는 지방, 주 또는 중앙 병원에서 근무한 경험이 있는 지원자(예: 의료 보조원)로 구성되며, 고용주가 의과 과정 입학 시 특별 배려를 받도록 추천한 지원자들로 구성됩니다.
• 세 번째 그룹은 라오스 내 미리 정해진 취약 지역 출신 지원자로 구성됩니다.
• 코스 입학생의 약 15%는 2그룹과 3그룹 지원자 각각에게서 나옵니다. 총 입학 학생 수는 해마다 90명에서 150명 이상까지 다양합니다. 

Students are ranked based on their results in these examinations and then selected according to three groupings.

• Group one, which consists of 70% of entrants, includes the students with the highest ranks who are not eligible as group two or three applicants.
• Group two consists of applicants who have worked for the military, police or in district, provincial or central hospitals (for example as a medical assistant) and who have been nominated by their employer to receive special consideration for entry into the medical course.
• The third group consists of applicants who are from a pre-determined list of disadvantaged districts in Laos.
• Approximately 15% of the course intake comes from each of group two and group three applicants. Total student admission numbers have varied from year to year, ranging from 90 to over 150 students.

코스 개요 및 교육 방법
Course outline and teaching methods

1969년 라오스에 의사 커리큘럼이 개설된 이래로 이 과정은 6~7년 동안 다양하게 진행되었습니다. 가장 최근의 변화는 2003년에 6년 풀타임 과정으로 축소된 것입니다(일본국제협력기구 2010). 2018년까지 1~3학년은 기초과학부에서, 4~6학년은 의학부에서 관리해 왔습니다. 표 1은 각 학년별 수업 내용을 개괄적으로 보여줍니다.
Since the establishment of a medical doctor curriculum in Laos in 1969, the course has varied between six and seven years in length. The most recent change occurred in 2003 when it was reduced to what remains a six-year, full-time course (Japan International Cooperation Agency 2010). Up until 2018, years one to three have been managed by the Faculty of Basic Sciences and years four to six have been managed by the Faculty of Medicine. Table 1 outlines the course content for each year level.

과목은 블록 단위로 진행되며 대부분의 수업은 라오스어로 진행됩니다. 4, 5, 6학년의 임상 로테이션 기간 동안 학생들은 오전에 배치된 병원에 출근하고 오후에는 대학 캠퍼스로 돌아와 교육을 받습니다. 제한된 인원으로 인해 학생들은 주로 대규모 그룹 강의 형식으로 교육을 받습니다. 임상 로테이션에서는 소규모 그룹 학습이 가능하지만 내용과 형식은 개별 현장에 따라 다릅니다. 제한된 교직원 수와 제한된 교육 시설 등 여러 가지 현실적인 문제로 인해 의과대학에서는 학생들이 받는 공식적인 교육과 임상 로테이션에서의 경험을 일치시키는 데 어려움을 겪고 있습니다. 이는 개별 과목 콘텐츠 간의 제한된 통합과 함께 지속적인 과제를 제기합니다.
Subjects are taught in blocks and the majority of teaching is undertaken in the Lao language. During the clinical rotations in years four, five, and six, students attend their placement in the morning and return to the university campus each afternoon for teaching. Limited staff numbers mean that students are predominantly taught in large group, lecture format. Smaller group learning is possible on clinical rotations however the content and format is dependent on individual sites. A number of practical issues, including limited staff numbers and limited teaching facilities, make it challenging for the Faculty of Medicine to align the formal teaching students receive with their experiences on clinical rotations. This, along with the limited integration between individual subject content poses ongoing challenges.

평가
Assessment

1~3학년 학생들은 각 블록 과목을 이수한 후 시험을 치릅니다. 각 시험의 형식과 내용은 과목 코디네이터가 결정합니다. 각 학년 수료 시 학생의 최종 점수는 개별 과목 시험 결과와 각 과목의 학점 가중치를 합산하여 계산됩니다.
In years one to three, students undertake examinations following the completion of each block subject. The format and content of each exam are decided by the subject coordinator. A student’s final mark at the completion of each year is calculated based on a sum of the individual subject examination results and the credit weighting for each subject.

4~6학년에는 블록 과목과 시험이 이어지며, 임상 로테이션에 참여하는 학생에게는 로그북과 병원 보고서라는 두 가지 추가 평가가 실시됩니다. 

• 로그북은 허들 요건이며, 사례 발표, 진행 기록 작성 및 특정 절차를 포함한 역량을 다루며 담당자가 서명합니다.
• 병원 보고서는 각 병원의 의료 교사가 제출하는 평가서로, 교사가 로테이션 기간 동안 학생의 성과를 관찰한 내용을 바탕으로 지식, 태도, 기술 영역을 평가합니다.

In years four to six, students continue to undertake block subjects followed by exams, with two additional assessments for students on clinical rotations – a logbook and a hospital report.

• The logbook is a hurdle requirement and covers competencies including case presentations, progress note writing and specific procedures, on which staff signs off.
• The hospital report is an assessment submitted by medical teachers at each hospital, assessing domains of knowledge, attitudes, and skills, based on the teachers’ observations of student performance throughout the rotation.

최종 시험은 6학년 말에 완료됩니다. 여기에는 객관식(MCQ) 시험, 객관적 구조화 임상 시험(OSCE), 그룹 연구 논문 제출이 포함됩니다. MCQ 시험은 4~6학년의 교과 내용을 다루며, OSCE는 내과, 외과, 소아과, 산부인과 등 각 핵심 전문과목에서 2개씩 총 8개 스테이션으로 구성됩니다. 학위를 받으려면 학생들은 이 두 가지 최종 시험과 연구 논문을 통과하고, 각 과목을 통과해야 하며, 재학 기간 동안 전문성을 입증해야 합니다(의학부, 토비수크). 
Final examinations are completed at the end of year six. These include a Multiple Choice Question (MCQ) examination, an Objective Structured Clinical Examination (OSCE) and submission of a group research thesis. The MCQ exam covers course content from years four to six, whilst the OSCE includes a total of eight stations, with two stations from each of the core specialties; internal medicine, surgery, pediatrics and obstetrics, and gynecology. To receive their degree students must pass these two final examinations and their research thesis, have passed each of their individual subjects and have demonstrated professionalism during the period of their studies (Faculty of Medicine; Thovisouk).

의학 학위를 마친 후 학생들의 경력 경로는 매우 다양합니다.

• 정부는 일부 졸업생에게 제한된 감독을 받을 수 있는 지역 병원에서 일하도록 배정하는 반면,
• 다른 졸업생은 중앙 또는 지방 병원이나 UHS에서 자원봉사를 하며 유급 취업의 기회를 기다립니다.
• 소수의 졸업생은 비정부기구 또는 민간 부문에 취업합니다(일본국제협력기구 2010). 

Following completion of the medical degree, student career paths vary greatly.

• The government assigns some graduates to work in district hospitals, where they may have limited supervision,
• while others volunteer at central or provincial hospitals or at the UHS, waiting for an opportunity for paid employment.
• A small proportion of graduates take up employment with a non-government organization or in the private sector (Japan International Cooperation Agency 2010).

대학원 과정
Postgraduate studies

라오스에서 졸업 후 수련 과정은 비교적 새로운 것입니다. 1997년에 소아과 레지던트가 최초로 개설된 대학원 교육 과정입니다(나이팅게일 2011). 현재 내과, 소아과, 산부인과, 외과, 안과, 방사선과, 마취과, 가정의학과, 응급의학과 등 총 9개의 대학원 레지던트 과정과 2017년에 시작된 공중보건 및 가정의학 석사 과정을 포함한 2개의 의학 석사 프로그램이 운영되고 있습니다. 모든 프로그램의 교육은 주로 라오스에서 2~3년에 걸쳐 이루어지며, 일부 프로그램의 학생들은 태국에서 단기 병원 로테이션을 이수합니다. 교육은 병원과 1차 진료 환경에서 모두 이루어지는 경우가 많으며, 이는 라오스의 인구가 주로 농촌에 기반을 두고 있기 때문에 특히 중요합니다(세계보건기구 2015). 현지에 기반을 둔 대학원 교육의 강점은 현지 보건 전문가를 유지하여 '두뇌 유출'을 최소화하고 현지 보건 시스템에 익숙한 졸업생을 확보할 수 있다는 점입니다. 문제는 다양한 방식으로 이러한 프로그램을 형성한 여러 국제기구의 지원을 받으면서 현지 교육 역량을 장기적으로 개발하는 데 의존해야 한다는 점입니다. 많은 레지던시에서 지원 국제기구는 교육 및 행정 제공을 지원하기 위해 국제 자원 봉사자를 지속적으로 현지에 상주시킵니다(나이팅게일 2011).
Post-graduate training pathways are relatively new in Laos. In 1997 the pediatric residency was the first postgraduate training pathway to be established (Nightingale 2011). There are now a total of nine postgraduate residencies and two medical masters programs including internal medicine, pediatrics, obstetrics and gynecology, surgery, ophthalmology, radiology, anesthetics, family medicine, and emergency medicine which commenced in 2017, along with a Masters in Public Health and Family Medicine. Training in all programs is predominantly completed in Laos over a period of two to three years, with students in some programs completing short hospital rotations in Thailand. Training often takes place in both hospital and primary care settings, which has been particularly important for Laos given its population is predominantly rurally based (World Health Organisation 2015). The strength of the locally based postgraduate education has been to retain local health professionals thereby minimize the “brain drain” and having graduates who are familiar with the local health system. The challenges are that they rely on the long-term development of local teaching capacity whilst receiving support from different international organizations which have shaped these programs in varying ways. In a number of residencies, the supporting international organizations have a continuous presence of international volunteers in-country to support the delivery of teaching and administration (Nightingale 2011).

레지던트 프로그램마다 입학 절차는 다르지만, 일반적으로 예비 학생들은 입학 시험을 치르고 선배 동료의 공식적인 추천을 받아 프로그램에 입학해야 합니다. 레지던트는 임상 책임을 맡게 되며 병상 튜토리얼, 강의, 저널 클럽, 케이스 토론, 임상 회의 참여 등을 통해 교육을 진행합니다. 일지, 연구 논문을 제출하고 최종 MCQ 및 OSCE 시험을 통과해야 하는 등 총체적이고 형성적인 평가가 사용됩니다. 
There are differing admission processes for each residency program, however, in general, prospective students are required to sit an entrance examination and have a senior colleague formally recommend them for admission into the program. Residents assume clinical responsibilities and teaching is delivered through bedside tutorials, lectures, journal clubs, case discussions, and participation in clinical meetings. Summative and formative assessments are used, including the requirement to submit a logbook, research thesis and pass final MCQ and OSCE examinations.

레지던트 수련 프로그램을 마친 후 졸업생은 대부분 중앙, 주 또는 지역 단위의 공중보건 시스템에서 근무하며, 대부분의 경우 채용된 병원으로 복귀해야 합니다. 일부 졸업생에게는 국제 펠로우십의 형태로 라오스에서 제공되지 않는 추가 하위 전문 교육을 이수할 수 있는 기회가 제공됩니다(나이팅게일 2011). 이 펠로우십은 국제 기부자들의 재정적 지원을 받으며 일반적으로 태국에서 수료합니다. 
Following completion of a residency training program, graduates most commonly work in the public health system, at a central, provincial or district level, and in most instances are required to return to the hospital from which they were recruited. A select number of graduates are offered the opportunity to complete further sub-specialty training which is not available in Laos, in the form of an international fellowship (Nightingale 2011). These fellowships are supported financially by international donors and are commonly completed in Thailand.

지속적인 전문성 개발
Continuing professional development

라오스에서 일하는 의사 및 기타 의료 전문가를 위한 면허 시스템이 현재 개발 중입니다(Sonoda 외. 2017). 이 단계에서는 지속적인 전문성 개발(CPD)에 대한 의무 요건은 없습니다. 그러나 CPD를 취득할 수 있는 방법은 여러 가지가 있습니다. 

• 레지던트 프로그램 졸업생의 요구를 충족하기 위해 현지에서 운영되고 조직된 의학 컨퍼런스가 성장하고 있습니다. 
• 보건부와 기부자를 통해 지원되는 프로그램을 통해 지역 및 지방 병원의 의사들이 단기 또는 중기적으로 상급 시설에 배치되어 특정 분야에 대한 전문성을 향상시킬 수 있습니다. 
• 또한 아동 질병 통합 관리(IMCI), WHO 아동 병원 진료 포켓북, 조기 필수 신생아 치료 및 응급 산과 치료와 같은 국가 보건 프로그램과 기타 기부자 프로그램을 통해서도 CPD가 제공됩니다.

A licensing system for medical doctors and other health professionals working in Laos is currently being developed (Sonoda et al. 2017). At this stage, there is no mandatory requirement for continuing professional development (CPD). There are, however, a number of avenues through which CPD is obtained.

• Locally run and organized medical conferences have grown to meet the needs of graduates of residency programs.
• Programs supported through the Ministry of Health and donors facilitate short to medium term placement of doctors from district and provincial hospitals in higher level facilities to upskill these staff in particular areas.
• CPD is also provided through national health programs such as the Integrated Management of Childhood Illness (IMCI), the WHO Pocketbook of Hospital Care for Children, Early Essential Newborn Care and Emergency Obstetric Care, as well as other donor programs.

CPD 참여는 출석을 지원하고 의료 전문가의 상대적으로 낮은 임금을 보충하기 위해 일당제 문화에 크게 의존합니다(Vian 외. 2013). 이는 지속 가능성에 영향을 미치며, 때때로 교육의 초점이 현지의 필요보다는 기부자의 의제에 의해 주도되고 보수에 의해 동기가 부여될 수 있음을 의미합니다. 그러나 일부 지역 컨퍼런스가 참가비를 부과하고 일당을 제공하지 않는 다른 프로그램이 제공하는 가치에 비해 참석률이 저조한 것으로 나타나면서 기대치가 변화하고 있습니다.  Participation in CPD relies largely on a culture of per diems to support attendance and to supplement the relatively low wages of health care professionals (Vian et al. 2013). This impacts on sustainability and means the focus of education can at times be driven by donor agendas and be motivated by remuneration, rather than the local need. Expectations are however shifting with some local conferences charging attendance fees and other programs not offering per diems being well attended because of the value they offer.

강점과 과제
Strengths and challenges

현재 UHS의 강점은 의학교육의 격차를 해소해야 한다는 명확한 인식이 있다는 점입니다. 세계의학교육연맹의 세계 의학교육 질 향상 표준(2015)에 따라 의학 커리큘럼의 개혁을 평가하고, 질 표준을 시행하는 면허 시험을 개발하는 프로세스가 마련되어 있습니다. 또한 국제 파트너와의 장기적인 관계를 통해 교육 개혁을 위한 기술 지원과 함께 일하는 현지 직원의 역량을 강화할 수 있는 기반을 마련했습니다. UHS에 교육 개발 센터를 설립한 것은 이러한 환경에서 교육 역량 강화가 절실히 필요했기 때문이며, 외부 파트너가 노력을 조정할 수 있는 구심점을 제공합니다. 마지막으로, 많은 개발도상국이 두뇌 유출로 어려움을 겪고 있지만(Lofters 2012), 지난 20년 동안 라오스는 다른 나라에서 라오스 의학 학위를 인정하지 않았고, 졸업생이 필요한 특정 분야에서 일하도록 요구하는 현지에서 운영하는 레지던트 프로그램의 존재로 인해 상대적으로 두뇌 유출에서 벗어날 수 있었습니다.
A strength the current situation for UHS is that there is clear recognition of the gaps in medical education which must be bridged. Processes are in place to assess the reform of the medical curriculum against World Federation for Medical Education Global Standards for Quality Improvement (World Federation for Medical Education 2015) and develop a licensing examination which enforces quality standards. Furthermore, long-term relationships with international partners have provided a foundation for technical support for educational reform and to build the capacity of local staff with whom these partners work. The creation of the Education Development Centre at UHS was born out of the critical need for education capacity building in this setting and provides a focal point through which external partners can coordinate efforts. Finally, while many developing countries suffer brain drain (Lofters 2012), in the last two decades Laos has been relatively spared, as a result of the lack of recognition of the Lao medical degree in other countries and the presence of locally run residency programs which require graduates to work in specific areas of need.

하지만 여전히 많은 과제가 남아 있습니다. 가장 큰 문제 중 하나는 아마도 영어(또는 기타 외국어) 능력일 것입니다. 라오스는 의료와 문화 전반에서 독서 문화가 제한되어 있습니다(Duerden 2017). 이러한 상황은 변화하고 있지만 라오스어로 된 의학 텍스트와 지침은 거의 존재하지 않으며, 존재한다고 하더라도 통화, 수, 배포 및 개인 접근성에 제한이 있습니다(Gray 외. 2017). 라오스어와 태국어의 유사성으로 인해 태국어 교과서가 사용되지만 이 솔루션은 불완전합니다. 수도와 주요 도시 외곽에서는 인터넷 접속이 어려울 수 있으며, 접속이 가능하더라도 속도가 느리고 비용이 많이 들 수 있습니다. 라오스 언어 리소스가 없는 경우 온라인 학습은 검색, 필터링 및 검색된 내용을 이해하기 위한 충분한 언어 능력에 의존하며, 많은 경우 불가능하지는 않더라도 매우 어려운 일입니다. 이러한 기술을 가진 사람들은 종종 젊은 세대의 학생과 의사이며, 이러한 젊은 학습자와 나이든 교사 사이에 지식의 불균형이 발생하고 있으며, 학습자들은 점점 더 이를 인식하고 있습니다. 
Many challenges do however remain. One of the greatest is perhaps English (or other foreign) language capacity. Both in medicine and the broader culture, Laos has had a limited reading culture (Duerden 2017). While this is changing, few Lao language medical texts and guidelines exist and many which do are limited in their currency, number, distribution, and accessibility to individuals (Gray et al. 2017). Thai textbooks are used due to the similarity between Lao and Thai but this solution is imperfect. Internet access can be challenging outside of the capital and major cities, but even when available it can be slow and costly. In the absence of Lao language resources, online learning is reliant on sufficient language skills to search, filter and understand what is found, and for many, this is highly challenging if not impossible. Those with these skills are often the younger generation of students and doctors, creating an imbalance in the currency of knowledge between these younger learners and old teachers, of which learners are increasingly aware.

또 다른 큰 문제는 교육 역량입니다. 교사 수가 부족하기 때문에 UHS는 이전에 문제 기반 학습 커리큘럼을 구현하기 위해 분류했지만 실현 불가능한 교사 대 학습자 비율로 인해 실현되지 못했습니다. 같은 문제가 실질적인 임상 술기 교육 제공을 방해하고 있습니다. 기존 직원의 경우 열악한 보수, 경쟁적인 요구, 불명확한 책임, 자신의 한계에 대한 인식이 교육에 대한 몰입도에 영향을 미칩니다. 초등학교에서 이루어지는 기초 교육을 포함한 교육은 전통적으로 의학에서 중요한 비판적 사고와 개념 이해보다는 지식 습득, 교훈적 방법, 권위자로서의 교사에 대한 존경에 중점을 두어 왔습니다. 새로운 방식으로 가르칠 수 있는 역량을 개발하려면 시간과 노력, 의지가 필요하며 무엇보다도 문화의 변화가 필요합니다.
The other great challenge is the teaching capacity. Teacher numbers are insufficient, so whilst UHS previously sort to implement a problem-based learning curriculum, it was not realized due to infeasible teacher-to-learner ratios. The same issue impedes delivery of practical clinical skills training. For existing staff, poor remuneration, competing demands, unclear responsibilities and the awareness of their own limitations impact on the engagement with teaching. Education, including the foundation laid in primary schools, has traditionally focused on knowledge acquisition, didactic methods and respect for the teacher as an authority, rather than on critical thinking and conceptual understanding which are critical in medicine. Developing the capacity to teach in new ways requires time, effort, willingness, and above all, culture change.

앞으로 나아갈 길
The way forward

라오스의 의학교육 상황은 여러 가지 도전 과제에도 불구하고 매우 낙관적인 이야기입니다. 라오스의 교육 개발 리더들은 극복해야 할 장애물을 인식하고 변화와 혁신을 기꺼이 시도하고 있습니다. 최근 라오스에서는 콘텐츠, 교육 및 평가 방법을 조정하고 커리큘럼을 통합하기 위해 의과대학의 6년 과정을 모두 의과대학 산하로 통합하는 변화가 있었습니다. 다른 의과대학의 발전 경로를 따라가는 것도 쉽지만, UHS는 이전에 해왔던 것에서 '도약'해야 할 필요성을 인식했습니다. 10년 이상 걸릴 수 있는 자체 커리큘럼으로 파트너 기관이 지금 하고 있는 것을 모방하려고 하는 대신, UHS는 5년 후 이들 기관에서 의학교육이 어떤 모습일지 생각하고 이를 목표로 삼아야 합니다. 예를 들어, 팀 기반 학습은 현재의 교직원 대 학생 비율로 실현 가능한 교육 방법으로서 잠재력이 있습니다(Punja 외. 2014). 
For all of its challenges, the situation for medical education in Laos is a story of great optimism. The leaders of education development in the country recognize the hurdles to be overcome and are willing to change and innovate. There has been a recent change to bring all six years of the medical course under the Faculty of Medicine in order to align content, teaching and assessment methods and to enable curriculum integration. While it would be easy to follow the path of development of other medical schools, UHS have recognized the need to “leapfrog” over what has been done before. Instead of trying to emulate what it’s partner institutions are doing now with their own curricula which could take a decade or more to achieve, UHS must think instead about what medical education may look like in these institutions five years from now and aim for that instead. For instance, potential exists in team-based learning as an educational method which is feasible with current staff to student ratios (Punja et al. 2014).

교육과 학습을 위한 라오스어 의료 자료는 매우 중요합니다. 교사와 학습자의 요구를 충족하기 위해 이러한 자료를 만드는 데는 엄청난 잠재력과 함께 큰 어려움이 있습니다. 의학 텍스트를 완전히 번역하려면 귀중한 시간과 자원이 소모되며 금방 구식이 될 것입니다. 또한 이 작업을 완료하기에 충분한 외국어 및 라오스어 능력을 갖춘 사람의 수도 제한되어 있습니다. 그러나 커리큘럼 콘텐츠는 시간이 지남에 따라 전략적으로 구축할 수 있습니다. 교육 역량이 부족하고 온라인 리소스를 찾는 학습자가 증가하는 상황에서 멀티미디어 리소스와 블로그와 같은 기타 정보 공유 수단을 집중적으로 개발하면 시간이 지남에 따라 조정할 수 있는 콘텐츠를 적시에 제공할 수 있는 잠재력을 제공할 수 있습니다. 이러한 리소스는 콘텐츠의 표준화를 가능하게 하고, 교사와 학습자 모두에게 성과에 대한 표준을 설정하며, 액세스되는 학습 자료의 품질을 모니터링하는 수단을 제공할 수 있습니다. 
Lao language medical resources for teaching and learning are crucial. There is both enormous potential and great challenges in creating these to meet the needs of teachers and learners. Complete translation of medical texts consumes both valuable time and resources and will quickly become outdated. Furthermore, the number of individuals with sufficient foreign and Lao language skills to complete this task is limited. Curriculum content could, however, be strategically built over time. With a lack of teaching capacity and a growing number of learners seeking online resources, targeted development of multimedia resources and other means of sharing information such as blogs offer potential to make content available in a timely way which is able to be adapted over time. These resources could enable standardization of content, set a standard for performance for both teachers and learners and provide a means of monitoring the quality of learning material which is being accessed.

라오스의 의료 교육에는 오랜 기간 동안 외국 이해관계자들이 참여해 왔으며, 이들은 각자의 관점, 의료 전통 및 관심사를 가지고 있습니다. 이들은 다양한 도전을 통해 라오스의 의학교육을 지원해 왔지만, 그 자체로 상충되는 메시지와 접근 방식을 가지고 있습니다. UHS와 라오스는 신뢰할 수 있는 파트너의 장기적인 지원을 계속 필요로 할 것입니다. 이러한 노력은 기부자 주기나 우선순위에 의존하지 않고 명확한 현지 전략에 따라 추진되는 안전하고 일관된 자금 기반에 의해 지원될 때 가장 효과적일 것입니다.

Medical Education in Laos has a long history of involvement from foreign stakeholders, who bring with them their own perspectives on practice, medical traditions, and interests. While they have supported medical education in Laos through various challenges, they themselves bring conflicting messages and approaches. The UHS and Laos will continue to require long-term support from trusted partners. These efforts would be most effective if supported by a secure and consistent funding base, which is not dependent on donor cycles or priorities but driven by a clear local strategy.

사례 기반 다지선다형 문항 작성을 위한 ChatGPT 프롬프트(Spanish Journal of Medical Education, 2023)
A ChatGPT Prompt for Writing Case-Based Multiple-Choice Questions 
Yavuz Selim Kıyak1 *

소개
Introduction

의과대학에서는 의대생의 고차원적인 능력, 특히 임상적 추론 능력을 평가하기 위해 다양한 필기 평가 방법을 사용합니다. 이러한 방법에는 사례 기반 객관식 문제(MCQ), 핵심 기능 문제, 스크립트 일치도 테스트 등이 포함됩니다(1). 이 중 사례 기반 MCQ는 매우 효과적이고 일반적으로 활용되는 것으로 알려져 있습니다(2). 그러나 의과대학의 한정된 자원으로 양질의 문항(문항)을 작성하는 과정은 상당한 도전 과제입니다.  
Medical schools use various written assessment methods to evaluate higher-order skills of medical students, particularly clinical reasoning. These methods encompass case-based multiple-choice questions (MCQs), key-feature questions, script concordance tests, and others (1). Among these, case-based MCQ stands out as both highly effective and commonly utilized (2). However, the process of writing high-quality items (questions) presents a significant challenge on the limited resources of medical schools. 

특히, 고차원적인 기술을 평가하기 위해 고안된, 맥락이 풍부한 단일 문항을 작성하려면 의대 교수의 상당한 시간 투자가 필요하며, 이는 종종 몇 시간으로 연장되기도 합니다(3). 많은 노력이 필요한 과정이지만, 의학교육에서 상당한 양의 MCQ에 대한 수요는 도전의 수준을 크게 높입니다. 진도 테스트만을 위한 문제은행을 개발하는 경우에도 수천 개의 문제를 통합해야 합니다(4). 따라서 의과대학이 직면한 중요한 과제는 고품질의 MCQ를 대량으로 작성하는 것입니다. 
More specifically, writing a single context-rich MCQ designed to assess higher-order skills demands a significant investment of a medical teacher's time, often extending into hours (3). While it requires an effortful process, the demand for a substantial quantity of MCQs within medical education significantly increases the level of challenge. Even developing a question bank solely for progress testing necessitates incorporating thousands of questions (4). Hence, the significant challenge faced by medical schools lies in writing a high quantity of high-quality MCQs. 

기존 솔루션
Existing Solutions

교육 분야에서 대량의 MCQ가 요구됨에 따라 연구자들은 소프트웨어를 사용하여 한 번에 많은 수의 문항을 생성하는 새로운 방법을 개발하게 되었습니다. 자동 문항 생성(AIG)은 "컴퓨터 기술을 사용하여 모델을 사용하여 문항을 생성하는 프로세스"(5)로서 이러한 목적으로 개발되었습니다. 템플릿 기반 AIG는 임상 문제에 직면했을 때 내용 전문가의 사고 과정을 드러내는 인지 모델을 만드는 것을 기반으로 합니다. 그런 다음 주제별 전문가는 질병/문제에 대한 인지 모델을 기반으로 항목 모델을 만듭니다. 문항 모델에는 템플릿 MCQ가 구축되고, 주제별 전문가가 제공한 사양을 고려하여 문항 내 적절한 부분에 적절한 단어를 할당하는 단어가 만들어집니다(6). 문항 모델은 수백 개의 문항을 만들 수 있기 때문에 템플릿 기반 AIG는 기존의 문항 작성 방식보다 실현 가능성이 높습니다.  
High volume of MCQ need in education led researchers to develop new methods to generate high number of items at once by using software. Automatic Item Generation (AIG) has been developed for this purpose as "a process of using models to generate items using computer technology" (5). Template-based AIG is based on creating a cognitive model, which reveals subject matter experts’ thinking process when they faced with a clinical problem. Then, subject matter experts create an item model based on the cognitive model on a disease/problem. In the item model, a template MCQ is built, and the words assigning the appropriate words to the appropriate parts in the items considering the specifications provided by subject matter experts (6). An item model is able to result in hundreds of MCQs, therefore template-based AIG is more feasible than traditional way of item writing. 

템플릿 기반 AIG는 지난 10년 동안 큰 성공을 거두었습니다. 영어, 프랑스어, 중국어, 스페인어, 한국어, 터키어 등 다양한 언어로 성공적으로 구현된 사례가 문헌에 나와 있습니다(6,7). 또한 캐나다의 국가 의사 면허 시험에서도 자동 생성된 문제가 사용되었습니다(8).  
Template-based AIG has shown a great success in the last ten years. Successful implementations have been shown in the literature in various languages, such as English, French, Chinese, Spanish, Korean, and Turkish (6,7). Furthermore, automatically generated questions have been used in national medical licensure exam in Canada (8). 

템플릿 기반 인공지능이 기존 문항 작성에 비해 우월함에도 불구하고, 인지 모델과 문항 모델을 개발하기 위해서는 분야별 전문가가 필요하기 때문에 여전히 인간의 노력에 의존하고 있습니다. 인공지능(AI)을 사용하면 시험 개발자가 문항을 생성하는 데 드는 노력이 줄어들지만, 연구자들은 여전히 템플릿 기반 방식에 비해 만족스럽지 못한 문항을 제공했기 때문에 이러한 목적으로 AI를 사용하는 것보다 템플릿 기반 AIG를 선호했습니다(6).  
Despite the superiority of template-based AIG over traditional item writing, it still depends on human efforts as it requires subject matter experts to develop cognitive models and item models. Although artificial intelligence (AI) is less effortful for test developers to generate items, researchers still preferred template-based AIG over the use of AI for this purpose because AI provided unsatisfying MCQs compared to template-based methods (6). 

MCQ 생성을 위한 AI
AI for Generating MCQs

AIG의 비템플릿 기반 방법은 자연어 처리(NLP)에 의존하는데, 과거에 사용되긴 했지만 만족스러운 MCQ를 생성하지 못했습니다(6). 그러나 대규모 언어 모델(LLM)인 생성적 사전 학습 트랜스포머(GPT)와 같은 NLP 기반 AI 솔루션이 이를 변화시킬 것으로 보입니다. GPT-3.5와 같은 LLM이 '우리말 해킹'에 성공했기 때문입니다(9).  
Non-template based methods in AIG relies on Natural Language Processing (NLP), which has been used but did not produce satisfying MCQs in the past (6). However, it seems NLP-based AI solutions like generative pretrained transformer (GPT), which is a large language model (LLM), is about to change this. It is because LLMs, such as GPT-3.5, achieved a success in “hacking our languages” (9). 

GPT-3.5의 변형인 ChatGPT는 2022년 11월에 공개적으로 도입되었습니다. 단 5일 만에 사용자 100만 명을 돌파했습니다(10). 이는 의료 전문직 교육에도 영향을 미쳤습니다(11-14). 그 결과 일부 의학교육 연구자들은 ChatGPT의 출시일을 ChatGPT 이전 시대와 이후 시대를 구분하는 중요한 기준으로 제시하기도 했습니다(15). 이러한 성공은 아마도 GPT-3가 이전 모델의 10배에 달하는 훨씬 더 큰 데이터 말뭉치를 보유하고 있다는 사실(16)과 ChatGPT가 무료로 공개되었기 때문일 것입니다(15).  
ChatGPT, a variant of GPT-3.5, was publicly introduced in November 2022. It passed one million user mark in only five days (10). It affected health professions education as well (11–14). As a result, some medical education researchers suggested the release date of ChatGPT as a crucial delineation between the pre-ChatGPT era and the post-ChatGPT era (15). This success was probably due to the fact that GPT-3 possesses a data corpus that is significantly larger, being ten times the size of prior models (16), and due to ChatGPT’s free and public release (15). 

저희의 개인적인 경험에 따르면 ChatGPT를 사용하여 고품질의 MCQ를 생성하는 것은 프롬프트의 품질에 달려 있습니다. 그래서 저희는 의대생들을 위해 Esh Tatla가 개발한 프롬프트를 수정하여 프롬프트를 개발했습니다(17). 원래 프롬프트가 유용하더라도 의학교육에서 객관식 문항을 구성하는 원칙에 더 가깝게 부합하는 MCQ를 생성하기 위해 수정이 필요했습니다. 지속적인 테스트와 개선을 통해 완성된 프롬프트는 표 1에 제시되어 있습니다. 또한 시험 개발자와 의대생의 이해를 돕기 위해 정답에 대한 설명을 제공하는 부분도 포함되어 있습니다.  
Our personal experiences show that generating high quality MCQs using ChatGPT depends on the quality of prompts. Therefore, we developed a prompt by revising the prompt developed by Esh Tatla for medical students (17). Even if the original prompt was useful, it required us to make revisions to generate MCQs that align more closely with the principles of constructing multiple-choice items in medical education. The prompt, achieved through continuous testing and refinement, is presented in Table 1. It also includes a part to provide explanations of the answers that may help test developers and medical students to better understand. 

이 프롬프트를 사용하려면 사용자는 대문자로 표시된 두 부분만 채우면 됩니다:
To use this prompt, the user needs only to fill two parts presented using capital letters:

1. [주제를 입력하세요]
   [PLEASE INSERT A TOPIC]
2. [난이도(예: 쉬움, 어려움)를 입력하세요]
   [PLEASE INSERT A DIFFICULTY LEVEL (E.G. EASY, DIFFICULT]

첫 번째 부분에서는 사용자가 주제를 삽입합니다. 이 주제는 의과 대학 교육의 학습 목표로 간주할 수도 있습니다. 두 번째 부분은 MCQ의 난이도를 결정하는 부분입니다. 
In the first part, the user inserts a topic. The topic can also be considered as a learning objective of a training in a medical school. The second part is to determine the difficulty of the MCQ.

표 2는 "일차 진료 환경에서 본태성 고혈압 관리"를 주제로, 난이도를 "쉬움"으로 설정한 프롬프트를 사용하여 생성된 MCQ를 보여 줍니다. https://chat.openai.com/share/4342df6f-7cbe-43df-98dc-b110b53983e3(무료 연구 미리보기, 9월 25일 버전)에서 액세스할 수 있습니다. 
Table 2 shows an MCQ generated by using the prompt with “managing essential hypertension in a primary care setting” as the topic, and “Easy” as the difficulty level, which is accessible from https://chat.openai.com/share/4342df6f-7cbe-43df-98dc-b110b53983e3. (Free Research Preview, September 25 Version). 

의학교육학 박사 학위를 가진 의사로서 위의 MCQ는 그럴듯하고 잘 구성되어 있는 것 같습니다. 문항의 질에 대한 철저한 분석도 가능하겠지만, 프롬프트를 입력하고 버튼을 누르는 것만으로 몇 초 만에 이러한 MCQ를 생성할 수 있다는 점이 우선 흥미롭습니다. 과거에는 이러한 MCQ를 작성하려면 해당 분야 전문가들의 오랜 시간이 필요했습니다. 하지만 오늘날에는 인터넷 연결과 일반 컴퓨터, 그리고 상세한 프롬프트만 있으면 몇 초 만에 효율적으로 MCQ를 생성할 수 있습니다. 이 때문에 일부 연구자들은 2022년 11월부터 시작되는 이 시기를 포스트 ChatGPT 시대라고 명명하기도 합니다. 
As a physician with a PhD in medical education, it seems the MCQ above is both plausible and well-constructed. While a thorough analysis of the item's quality could be carried out, it is initially intriguing to generate such an MCQ within seconds by simply inputting a prompt and pressing a button, which is an extraordinary success. In the past, writing such MCQs required extensive time of subject matter experts. However, in today, with an internet connection, an average computer, and the detailed prompt, we can efficiently generate MCQs in a few seconds. This is why some researchers name this period began in November 2022 as post-ChatGPT era. 

향후 연구를 위한 권장 사항
Recommendations for Future Research
ChatGPT를 이용한 자동 MCQ 생성은 많은 연구 질문에 대한 해답을 제시합니다. 그 중 일부는 다음과 같습니다:
Automatic MCQ generation using ChatGPT comes up with many research questions that need to be answered. Some of them are:
 MCQ가 과학 및 임상 지식 측면에서 주제별 전문가의 평가를 통해 수용 가능한 것으로 간주됩니까? 
 프롬프트가 심리측정 표준을 충족하는 MCQ를 생성할 수 있나요? 
 ChatGPT가 생성한 MCQ의 품질은 인간 전문가가 생성한 것과 비교했을 때 어떤 차이가 있나요? 
 ChatGPT가 생성한 질문의 인지 수준이 의도한 학습 목표 및 블룸의 분류 체계와 어떻게 일치하나요? 
 MCQ의 의도된 난이도가 실제 평가 환경에서 실제 난이도와 일치합니까? 
 다양한 보건 전문직 교육 환경에서 MCQ를 생성하는 데 프롬프트를 효과적으로 사용할 수 있습니까? 
 MCQ를 시험에 포함하기 전에 사람이 편집해야 합니까? 
 설명이 형성 평가에서 의대생에게 효과적인 피드백으로 작용하나요? 
 Are the MCQs considered acceptable through evaluation by subject matter experts in terms of scientific and clinical knowledge? 
 Is the prompt capable of generating MCQs that meet psychometric standards? 
 How does the quality MCQs generated by ChatGPT compared to those created by human experts? 
 How do the cognitive levels of questions generated by ChatGPT align with the intended learning objectives and Bloom's taxonomy? 
 Do the intended difficulty levels of the MCQs align with their actual difficulty in real assessment settings? 
 Can the prompt be effectively used to generate MCQs in various health professions education settings? 
 Do the MCQs need editing by humans before incorporating them into exams? 
 Do the explanations serve as effective feedback for medical students in formative assessments? 

결론
Conclusions
 ChatGPT는 몇 초 만에 사례 기반 MCQ를 생성할 수 있는 흥미로운 기회를 제공합니다. 
 연구자들은 ChatGPT를 사용하여 생성된 MCQ의 품질을 평가하기 위한 연구를 수행해야 합니다.
 ChatGPT provides an exciting opportunity for generating case-based MCQs in a few seconds. 
 Researchers should conduct studies to evaluate the quality of MCQs generated by using ChatGPT. 

Table 1. A prompt for generating MCQs in medical education. 

You are developing a question bank for medical exams focusing on the topic of [PLEASE INSERT A TOPIC]. Please generate a high-quality single best answer multiple-choice question. Follow the principles of constructing multiple-choice items in medical education. Generate the questions using the following framework:

Case (write as a single narrative paragraph without providing each part separately): 
Patient details (gender/age)
Presenting complaint
Relevant clinical history
Physical examination findings
Diagnostic test results (optional)

Question stem: [Insert relevant information from the above sections without compromising the answer]
Acceptable question style: Ask for the BEST answer, NOT one that is TRUE/FALSE.

Answer options:
[Insert plausible answer option]
[Insert plausible answer option]
[Insert plausible answer option]
[Insert plausible answer option]
[Insert plausible answer option]

Explanation:
• Identify and explain the correct answer.
• Explain why this is the most appropriate answer based on evidence-based guidelines or expert consensus.
• Briefly explain why the other answer options are less correct or incorrect.

Difficulty level: [PLEASE INSERT A DIFFICULTY LEVEL (E.G. EASY, DIFFICULT]

Table 2. An MCQ generated by using the prompt in ChatGPT.

Case:

Mr. Johnson, a 55-year-old male, presents to the primary care clinic with a chief complaint of recurrent headaches. He reports a sedentary lifestyle and a family history of hypertension. His blood pressure readings during previous routine check-ups have consistently been elevated. Mr. Johnson denies any chest pain, shortness of breath, or visual disturbances. His past medical history is significant for obesity and a sedentary occupation. On physical examination, his blood pressure is 150/92 mmHg, and his BMI is 31. Laboratory results show normal renal function and lipid profile.  

Question stem:

Given Mr. Johnson's presentation with recurrent headaches, a family history of hypertension, and consistently elevated blood pressure readings, what is the BEST initial management strategy in a primary care setting? 

Answer options:

A. Initiate lifestyle modifications, including dietary changes and increased physical activity.
B. Start antihypertensive medication immediately to lower blood pressure.
C. Order a 24-hour ambulatory blood pressure monitoring for further assessment.
D. Recommend immediate admission to the hospital for comprehensive evaluation.
E. Suggest over-the-counter analgesics for headache relief and reassess in six months.

Explanation:

The correct answer is A. Initiate lifestyle modifications, including dietary changes and increased physical activity.

Explanation:

Hypertension management guidelines emphasize lifestyle modifications as the initial approach in patients with uncomplicated essential hypertension. For individuals like Mr. Johnson, who presents with elevated blood pressure, obesity, and a sedentary lifestyle, initiating lifestyle changes is crucial. These changes should include adopting a heart-healthy diet (such as the DASH diet), increasing physical activity, and weight reduction. Lifestyle modifications have been shown to significantly contribute to blood pressure control and may obviate the need for immediate pharmacologic intervention.

Option B (Start antihypertensive medication immediately) is not the best initial approach unless there are compelling indications for immediate treatment, which are not evident in Mr. Johnson's case. Option C (Order a 24-hour ambulatory blood pressure monitoring) may be considered in certain situations but is not the primary step in the management of essential hypertension. Option D (Recommend immediate admission to the hospital) is not warranted in the absence of hypertensive emergencies. Option E (Suggest over-the-counter analgesics) does not address the underlying hypertension and is not the primary management strategy for this patient. 

Abstract

The significant challenge faced by medical schools is the effortful process of writing a high quantity of high-quality case-based multiple-choice questions (MCQs) to assess the higher-order skills of medical students. The demand for a high volume of MCQs in education has led to the development of Automatic Item Generation (AIG), specifically template-based AIG, which involves creating cognitive and item models by subject matter experts to generate hundreds of MCQs at once using software. It demonstrated significant success in various languages and even being incorporated into national medical licensure exams. However, this method still heavily depends on the efforts of subject matter experts. This paper introduces a detailed ChatGPT prompt for quickly generating case-based MCQs and provides important research questions for future exploration into ChatGPT's potential in generating items, signaling the beginning of the artificial intelligence era in medical education, encouraging health professions education researchers to delve deeper into its potential.