의학교육 인증기준의 중요성(Med Teach, 2012)

의학교육 인증기준의 중요성(Med Teach, 2012)

The importance of medical education accreditation standards
MARTA VAN ZANTEN1, JOHN R. BOULET1 & IAN GREAVES2
1Foundation for Advancement of International Medical Education and Research (FAIMER) and Educational Commission for Foreign Medical Graduates (ECFMG), USA, 2Temple University, USA

 

 

 

 

도입

Introduction

전 세계적으로 학부 의학 교육의 구조에는 상당한 차이가 있으며(Karl 2004), 최소 기준을 충족하도록 하기 위해 교육의 질(예: 인증 시스템)을 평가하는 방법에도 차이가 있다. 인증이라는 용어는 다양한 의미를 가지지만, 본 문서의 목적상, [지정된 기관이 명확하게 정의된 표준과 절차를 사용하여 교육 기관을 검토하고 평가하는 과정]으로 정의됩니다.
There is significant variation in the structure of undergraduate medical education around the world (Karle 2004), and also differences in how organizations assess the quality of education (e.g., a system of accreditation) to ensure that minimum standards are met. The term accreditation has various meanings, but for the purpose of this article is defined as the process by which a designated authority reviews and evaluates an educational institution using a set of clearly defined standards and procedures.

최근 의학교육 프로그램의 인증 필요성에 대한 인식(Carl 2008)과 의료 직업의 세계화와 의료 종사자의 이주 증가(Echert 2002; Ray et al. 2006)에 초점을 맞추고 있음에도 불구하고, 국제적인 관점에서 인증의 practices를 기술하는 데이터는 제한적이다. 1996년 세계보건기구(WHO)가 의과대학 부서를 대상으로 실시한 조사에 따르면 의과대학의 거의 3분의 2가 외부 기관에 의해 인증받은 것으로 나타났다(Boelen & Boyer 2001). 전 세계에 위치한 9개 개발도상국의 의료 교육 인증 시스템을 비교한 연구는 엄격한 품질 보증 절차를 제정하려는 경향이 확산되고 있다고 결론짓는다(Cue to Jr., 2006). 전세계 인증 관행에 대한 반 잔텐 외 연구진(2008)은 authorities의 성격과 집행 수준에 상당한 차이variation가 있음을 입증했다. 
Despite the recent focus on the perceived need for accreditation of medical education programs (Karle 2008) and the increasing globalization of the medical profession and migration of health care workers (Eckhert 2002; Ray et al. 2006), there are limited data describing accreditation practices from an international perspective. A report based on a 1996 World Health Organization (WHO) survey of Ministries of Health and deans of medical schools indicates that almost two-thirds of medical schools are accredited by an external body (Boelen & Boyer 2001). A study comparing medical education accreditation systems in nine developing countries located throughout the world concludes that the trend toward instituting rigorous quality assurance procedures is spreading (Cueto Jr. et al. 2006). van Zanten et al.’s (2008) study of accreditation practices worldwide demonstrated that considerable variation exists in the nature of authorities and levels of enforcement. 

한국에서는, 이해관계자를 대상으로 실시한 의과대학 인증에 사용되는 기준에 관한 설문조사에서, 설문 응답자들의 직책과 이전 경험에 따라 표준의 중요도 수준이 다르지만 모든 기준의 내용 타당성이 충분하다고 판단되는 것으로 나타났다(양2002).

A survey of stakeholders regarding standards used to accredit medical schools in South Korea revealed that all standards were deemed to have adequate content validity, although the level of importance of standards varied depending on the position and previous experience of the survey respondents (Yang 2002). 

 

 

방법

Methods

 

설문 설계

Survey design

 

세계 의료 교육 연맹(WFME)은 품질 개선을 위한 국제 기준 3부작을 개발했다. 여기에는 학부 과정으로 이어지는 의과대학의 질을 평가하는 데 도움을 주기 위한 기초의학교육 표준(WFME 2003) 문서가 포함된다. 본 문서는 제한적으로 사용하도록 설계된 것이 아니라, [인증 절차 개발에 관심이 있는 국가 기관의 템플릿으로 기능]하도록 의도되었으며, 국가 및 지역 인증 절차 수립 모델로서 전 세계 국가에서 널리 사용되어 왔다(Karl 2006). 우리는 전 세계의 학부 의료 교육 프로그램을 인증하거나 평가하는 데 사용되는 기준을 설명하는 수많은 출판 문서에서 가져온 추가 기준으로 보완하여 [WFME 기준의 전체 집합으로 구성된 설문 조사]를 개발했다. WFME 표준에서 이미 다루어진 개념을 설명하는 이러한 보충 기관의 표준은 설문조사에서 반복되지 않았다. 따라서, 우리는 전 세계에서 사용되는 관련 기준의 universe를 나타내기 위해 설문조사를 설계했습니다. 
The World Federation for Medical Education (WFME) has developed a Trilogy of Global Standards for Quality Improvement. These resources include a document, Standards in Basic Medical Education, aimed at helping organizations assess the quality of medical schools leading to an undergraduate degree (WFME 2003). This document is not designed to be used restrictively, but instead is intended to function as a template for national agencies interested in developing accreditation procedures, and has been widely used in countries throughout the world as a model for establishing national and regional accreditation procedures (Karle 2006). We developed a survey that consisted of the entire set of WFME standards, supplemented with additional standards taken fromnumerous published documents describing the criteria used to accredit or evaluate undergraduate medical education programs around the world. Standards from these supplemental agencies describing concepts that were already covered in the WFME standards were not repeated in the survey. Therefore, we designed the survey to represent the universe of relevant standards used around the world. 

조사는 다음과 같이 9개의 WFME 주제 영역에 구성된 150개의 표준으로 구성되었다.
The survey consisted of 150 standards organized into the nine WFME topic areas as follows:

응답자들에게는 150개 기준서를 각각 읽어본 뒤, 학부형 의료교육 프로그램의 질적 판단과 보장에 있어 기준이 상대적으로 중요하다는 전문가 의견을 바탕으로 등급을 매기도록 지도했다.
Respondents were instructed to read each of the 150 standards, and then rate the standard based on their expert opinion of the relative importance of the standard in determining and ensuring the quality of undergraduate medical education programs.

전문가들에게 다음과 같은 척도를 제공하여 각 표준을 평가하도록 하였다.
The experts were provided with the following scale to rate each of the standards:

(1) 중요하지 않음(표준은 품질 결정에 유용하지 않음).
(2) 중요하나 필수적이지는 않다(표준은 품질 결정에 다소 유용하지만 요구되지는 않는다).
(3) 필수(표준은 품질 결정에 매우 유용하며 요구됨).
(1) Not important (the standard is not useful for determining quality).
(2) Important but not essential (the standard is somewhat useful for determining quality, but is not required).
(3) Essential (the standard is very useful for determining quality and is required).

우리는 의료교육 인증 분야 전문가 22명에게 연락하여 연구 프로젝트에 대한 설명과 익명으로 설문조사를 완료해 달라는 요청을 제공하였습니다. 이들 개인 중 다수는 지역, 지역 또는 국제 인가 기관의 현재 또는 이전 고위 직원으로, 인가 또는 의과대학 질에 대한 주제에 대해 광범위하게 출판되었다. 

We contacted 22 experts in the field of medical education accreditation and provided them with a description of the research project and a request to anonymously complete the survey. Many of these individuals are current or former senior staff of local, regional, or international accrediting agencies, and have extensively published on the topic of accreditation or medical school quality. 

 

 

분석 Analyses

 

결과

Results

1차 응답기간 1개월 이내 8건의 설문조사가 반송됐고, 2차 달 발송된 독촉메일 2건에서는 총 13건의 완료된 설문조사에 대해 5건의 응답(응답률 59%)이 추가됐다.  
Eight surveys were returned within the first response period ofone month, and two reminder emails sent in the second month produced an additional five responses for a total of 13completed surveys (59% response rate).  

표 1은 각 13명의 응답자에 대해 제공된 등급 수, 모든 표준에서의 평균, 등급의 표준 편차, 평균 평균 평균 편차 및 루트 평균 제곱 오차를 표시합니다.
For each of the 13 respondents, Table 1 displays thenumber of ratings provided, the mean across all standards,the standard deviation of the ratings, the mean deviation fromthe grand mean, and the root mean square error 

 

 

• 14개의 표준은 모든 평가 참가자로부터 3('필수')의 최고 등급을 받았고,
• 4개의 표준은 2.00 이하('중요하지만 필수적이지 않음')의 평균 등급을 받았다.
• 개별 표준에 대한 전문가들 간의 등급 변동성은 0(동일 합의)에서 0.76(중간 불일치)까지 다양했다.
• 모든 등급으로부터 완전한 동의가 이루어진 표준, 평균 2.00 이하의 등급을 받은 표준, 0.50 이상의 차이를 가진 표준이 표 2에 제시되어 있다.  

Fourteen standards received the highest rating of 3(‘‘Essential’’) from all survey participants, and four standards received mean ratings of equal to or less than 2.00 (‘‘Importantbut not essential’’). Variability in the ratings across the experts for individual standards ranged from 0 (unanimous agreement)to 0.76 (moderate disagreement). The results displaying the standards that had complete agreement from all raters as being‘‘Essential,’’ the standards that received mean ratings of 2.00 orless, and the standards with variances, across respondents,equal to or greater than 0.50 are presented in Table 2.  

 

고찰

Discussion

150개 기준 중 14개 기준이 퀄리티 결정에 필수적이라는 데 만장일치가 있었다. 이러한 필수 표준은 WFME 범주에 걸쳐 다소 고르게 분포되어 있으므로, 전문가들은 다양한 입력과 프로세스를 다루는 표준이 필수적이라고 생각한다. 이 14개의 기준은 졸업생들의 성공적인 생산에 필요한 세계적으로 인정된 주요 특징들을 설명한다. 예를 들어 

• '의과대학은 교육과정을 통해 분석적·비판적 사고를 포함한 과학적 방법과 증거 기반 의학의 원리를 가르치고 있다'는 기준에는 의학교육이 고차원의 사고를 포함시켜야 하며 많은 양의 정보를 단순 암기하는 것 이상의 것이어야 한다고 명시돼 있다.  
• '의과대학은 학생들이 환자와 접촉하고 졸업과 동시에 적절한 임상 책임을 지기 위한 충분한 임상 지식과 기술을 습득하도록 보장한다'는 표준은 커리큘럼의 일환으로 응용적 임상 교육의 본질에 대해 설명한다. 
• 다른 필수 표준은 평가 활동의 적절성을 보장한다. 필수기준은 도서관, 학교 리더십, 학교의 재정 안정성 등의 문제와도 관련이 있으며, 교과과정 전달과 직접 관련이 없는 학습의 중요한 측면을 보여준다. 
  

 

Of the 150 standards, there was unanimous agreementamong the respondents that 14 of the standards are essentialfor determining quality. These essential standards are some-what evenly distributed across the WFME categories, indicatingthat experts believe standards covering a range of inputs and processes are mandatory. These 14 standards describe globally accepted key features necessary for the successful production of graduates.

• For example, the standard, ‘‘The medical school teaches the principles of scientific method and evidence-based medicine, including analytical and critical thinking, throughout the curriculum,’’ states that medical education must include higher order thinking and be more than simple memorizationof a large quantity of information.
• The standard, ‘‘The medical school ensures that students have patient contact and acquire sufficient clinical knowledge and skills to assume appropriate clinical responsibility upon graduation’’ speaks to the essential nature of students’ applied clinical education as part of the curriculum.
• Other essential standards ensure the appropriateness of evaluation activities. Essential standards also related to issues such as the library, school leadership, and the school’s financial stability and demonstrate crucial aspects of learning not directly related to curriculum delivery. 

이 14개의 필수 표준에 대한 전문가들의 만장일치 합의는 이러한 것들이 모든 인가 시스템이 통합해야 하는 핵심 개념임을 시사한다. 또한 이 데이터는 인증 기관이 사용하는 이러한 표준이 세계적으로 인정된 최소 기준을 준수하는지 검증하며, 기관은 이러한 [필수적 기준에 포함된 개념]이 시스템의 일부로 구현되도록 보장해야 한다. 그러나 이것이 다른 표준이 중요하지 않다는 것을 의미하는 것은 아니다. 대신 의대 심사 과정에서 인정해야 할 인증기준의 위계구조가 있음을 시사한다.
The experts’ unanimous agreement on these 14 essential standards suggests that these are core concepts that all accrediting systems should incorporate. The data also validate that these standards that are used by accreditation agencies conform to globally accepted minimum criteria, and agencies should ensure that the concepts covered in these essential standards are implemented as part of their systems. This does not, however, mean that other standards are not important. Instead, it suggests that there is a hierarchical structure of accreditation standards that needs to be acknowledged in the process of medical school review.


평균 점수가 2점 이하인 교육 리소스 범주에는 모두 4개의 표준이 있었습니다. 표준 중 두 가지는 매우 구체적인 리소스 요구 사항을 나타냅니다. 특정 문화권에서는 의대에 필요한 인풋을 상세하게 지정하는 것이 전통이지만, 이 정도의 특수화는 세계적으로 표준이 아니다. 특히 "의과 과정은 학교 내에서 활발한 연구 프로그램의 맥락에서 설정된다." 라는 기준이 상대적으로 낮은 합계점수를 받은 것이 눈에 띈다. 지난 세기에 걸쳐 세계 대부분의 고소득 국가의 의과대학들이 연구 프로그램에 많은 자원을 투입하는 것이 점점 더 중요해지고 있지만, 이 연구의 결과에 따르면, 세계적으로 본다면 이 개념은 우선순위로 간주되지 않는다. 흥미롭게도, 미국에서 대학원 교육과 면허를 추구하는 많은 수의 의대생들을 교육하는 최근에 설립된 많은 기관들(즉, 미국 오스테오패스 학교, 카리브해에 위치한 일부 MD 허가 기관 등)은 작은 연구 프로그램만 가지고 있다. 그러므로, 1900년대 초에 Flexner (1910)가 추구했던 전통에도 불구하고, [교수진, 직원, 학생들을 위한 연구 기회를 통합한 의과대학]은, 적어도 세계적인 관점에서 볼 때, 의과대학과 관련된 연구 프로그램에 대한 이러한 강조는 오늘날 자격을 갖춘 졸업생들의 생산을 보장하는 데 더 이상 관련성이 없는 것으로 간주될 수 있다.

There were four standards, all in the Educational Resources category, where the average rating was 2 or less. Two of the standards refer to very specific resource requirements. While it is the tradition in certain cultures to specify in detail the inputs required for a medical school, this level of particularization is not the norm worldwide. Of particular interest is the relatively low aggregate rating of the standard, ‘‘The medical course is set in the context of an active research program within the school.’’ While it has become increasingly important over the past century for medical schools in most high income countries in the world to devote large resources to research programs, based on the results of this study, this concept is not considered a priority worldwide. Interestingly, many of the more recently founded institutions that educate a large number of medical students who pursue postgraduate training and licensure in the United States, (i.e., US Osteopathic schools, some MD granting institutions located in the Caribbean, etc.) have only small research programs, if at all. Therefore, despite the tradition promoted by Flexner (1910) in the early 1900s of medical schools incorporating research opportunities for faculty, staff, and students, it appears that, at least from a global perspective, this emphasis on research programs associated with medical schools may no longer be considered relevant today in ensuring the production of qualified graduates. 

9개 기준은 0.50보다 큰 평가자 variability를 가진 것으로 나타나, 품질 보장에 있어 기준의 중요도 수준에 대해 전문가들이 차이가 크다는 것을 보여주었다. 이러한 표준은 지리적 및 문화적 영역에 따라 크게 달라지는 의료 교육의 측면을 나타낼 수 있다.

• 예를 들어, 기본 과학과 임상 과학을 별도로 가르치는 것이 세계의 많은 지역에서 전통이지만, 다른 지역에서는 이러한 지식과 기술의 측면이 완전히 통합되어야 한다는 것이 관습이다.
• 토착 인구의 건강이나 사회의 다른 부문의 고려사항과 관련된 기준은 보편적인 관련성은 낮을 수 있다.
• 마지막으로, 전문가들은 양질의 교육을 보장하는 데 학생의 권리와 관련된 표준을 포함하는 것의 중요성에 동의하지 않는다.
  

Nine standards had rater variability that was greater than 0.50, indicating that the experts disagreed substantially on these standards’ levels of importance in ensuring quality. These standards likely represent aspects of medical education that significantly vary across geographic and cultural realms.

• For example, while it is the tradition in many parts of the world to separately teach basic sciences and clinical sciences, in other regions the convention is that these aspects of knowledge and skills should be fully integrated.
• Standards related to the health of indigenous populations or considerations of other sectors of society may not be universally relevant.
• Finally, experts do not agree on the importance of including standards that pertain to the rights of students in ensuring a quality education.

9개의 WFME 범주 내의 모든 표준에 대해 집계된 평균 등급은 전체적으로 전문가들이 기준의 여러 범주를 비교적 동등하게 평가했음을 보여준다. 평균평가(2.77점)가 가장 높았고, 교육자원(2.52점)과 학생(2.53점)이 가장 낮았다. 수준 높은 교사를 보장하는 표준에 대한 강조는 기대되었고, 분명히 그것은 자질을 결정하는 중요한 요소이다. (Darling Hammond 1999) 대조적으로, 학교의 물리적 자원과 학생들의 권리와 관련된 기준들이 다소 낮은 평가를 받은 것은 문화와 전통의 변화로 설명될 수 있는 흥미로운 결과이다. 예를 들어, 학생들의 학업성적 열람 및 이의신청권한을 보호하는 기준의 포함은 한 나라의 정부의 개방성과 투명성을 반영할 수 있다. 
The mean ratings, over respondents, aggregated for all the standards within each of the nine WFME categories demonstrate that, overall, the experts rated categories of standards relatively equally. Standards related to Academic Staff/Faculty received the highest mean rating (2.77), whereas the categories of standards related to Educational Resources (2.52) and Students (2.53) received the lowest. The emphasis on standards that ensure high-quality teachers was expected and clearly it is an important determinant of quality (DarlingHammond 1999). In contrast, the somewhat lower rating of standards related to a school’s physical resources and the rights of students is an interesting outcome that may be explained by variations in culture and tradition. For example, the inclusion of standards that protect the rights of students to view and challenge their academic records may reflect the level of openness and transparence of a country’s government. 

 

 

 

 

 

 

 

---

Med Teach. 2012;34(2):136-45.

 doi: 10.3109/0142159X.2012.643261.

The importance of medical education accreditation standards

Marta van Zanten 1, John R Boulet, Ian Greaves

Affiliations collapse

Affiliation

• 1Foundation for Advancement of International Medical Education and Research (FAIMER), Philadelphia, PA 19104, USA. mvanzanten@faimer.org

PMID: 22288991

 

• DOI: 10.3109/0142159X.2012.643261

Abstract

Introduction: The purpose of this study was to evaluate the relative and absolute importance of individual standards used by accreditation agencies throughout the world.

Method: We developed a 150-item survey that consisted of all World Federation for Medical Education standards, supplemented with additional standards used around the world. International accreditation experts rated the standards based on the importance of each standard for ensuring the quality of undergraduate medical education. A 3-point scale was employed: 1 = not important, 2 = important but not essential, 3 = essential.

Results: Thirteen of 22 chosen experts anonymously completed the survey (59%). The mean values, over raters, across individual standards ranged from 2.32 to 2.87, indicating that most of the 150 standards are at least important, and often essential, for ensuring program quality. Fourteen standards received the highest rating of 3 ("Essential") from all experts, and four standards received mean ratings ≤2.00. Variability in the ratings across the experts for individual standards ranged from 0.00 (unanimous agreement) to 0.76 (moderate disagreement).

Conclusions: While there is some global variation in experts' opinions of accreditation standards, certain standards are considered essential. Our summary data are useful for determining best practices for medical education accreditation systems.