의학교육 인증기준의 중요성(Med Teach, 2012)

The importance of medical education accreditation standards
MARTA VAN ZANTEN1, JOHN R. BOULET1 & IAN GREAVES2
1Foundation for Advancement of International Medical Education and Research (FAIMER) and Educational Commission for Foreign Medical Graduates (ECFMG), USA, 2Temple University, USA

도입

Introduction

전 세계적으로 학부 의학 교육의 구조에는 상당한 차이가 있으며(Karl 2004), 최소 기준을 충족하도록 하기 위해 교육의 질(예: 인증 시스템)을 평가하는 방법에도 차이가 있다. 인증이라는 용어는 다양한 의미를 가지지만, 본 문서의 목적상, [지정된 기관이 명확하게 정의된 표준과 절차를 사용하여 교육 기관을 검토하고 평가하는 과정]으로 정의됩니다.
There is significant variation in the structure of undergraduate medical education around the world (Karle 2004), and also differences in how organizations assess the quality of education (e.g., a system of accreditation) to ensure that minimum standards are met. The term accreditation has various meanings, but for the purpose of this article is defined as the process by which a designated authority reviews and evaluates an educational institution using a set of clearly defined standards and procedures.

최근 의학교육 프로그램의 인증 필요성에 대한 인식(Carl 2008)과 의료 직업의 세계화와 의료 종사자의 이주 증가(Echert 2002; Ray et al. 2006)에 초점을 맞추고 있음에도 불구하고, 국제적인 관점에서 인증의 practices를 기술하는 데이터는 제한적이다. 1996년 세계보건기구(WHO)가 의과대학 부서를 대상으로 실시한 조사에 따르면 의과대학의 거의 3분의 2가 외부 기관에 의해 인증받은 것으로 나타났다(Boelen & Boyer 2001). 전 세계에 위치한 9개 개발도상국의 의료 교육 인증 시스템을 비교한 연구는 엄격한 품질 보증 절차를 제정하려는 경향이 확산되고 있다고 결론짓는다(Cue to Jr., 2006). 전세계 인증 관행에 대한 반 잔텐 외 연구진(2008)은 authorities의 성격과 집행 수준에 상당한 차이variation가 있음을 입증했다. 
Despite the recent focus on the perceived need for accreditation of medical education programs (Karle 2008) and the increasing globalization of the medical profession and migration of health care workers (Eckhert 2002; Ray et al. 2006), there are limited data describing accreditation practices from an international perspective. A report based on a 1996 World Health Organization (WHO) survey of Ministries of Health and deans of medical schools indicates that almost two-thirds of medical schools are accredited by an external body (Boelen & Boyer 2001). A study comparing medical education accreditation systems in nine developing countries located throughout the world concludes that the trend toward instituting rigorous quality assurance procedures is spreading (Cueto Jr. et al. 2006). van Zanten et al.’s (2008) study of accreditation practices worldwide demonstrated that considerable variation exists in the nature of authorities and levels of enforcement. 

한국에서는, 이해관계자를 대상으로 실시한 의과대학 인증에 사용되는 기준에 관한 설문조사에서, 설문 응답자들의 직책과 이전 경험에 따라 표준의 중요도 수준이 다르지만 모든 기준의 내용 타당성이 충분하다고 판단되는 것으로 나타났다(양2002).

A survey of stakeholders regarding standards used to accredit medical schools in South Korea revealed that all standards were deemed to have adequate content validity, although the level of importance of standards varied depending on the position and previous experience of the survey respondents (Yang 2002). 

방법

Methods

설문 설계

Survey design

세계 의료 교육 연맹(WFME)은 품질 개선을 위한 국제 기준 3부작을 개발했다. 여기에는 학부 과정으로 이어지는 의과대학의 질을 평가하는 데 도움을 주기 위한 기초의학교육 표준(WFME 2003) 문서가 포함된다. 본 문서는 제한적으로 사용하도록 설계된 것이 아니라, [인증 절차 개발에 관심이 있는 국가 기관의 템플릿으로 기능]하도록 의도되었으며, 국가 및 지역 인증 절차 수립 모델로서 전 세계 국가에서 널리 사용되어 왔다(Karl 2006). 우리는 전 세계의 학부 의료 교육 프로그램을 인증하거나 평가하는 데 사용되는 기준을 설명하는 수많은 출판 문서에서 가져온 추가 기준으로 보완하여 [WFME 기준의 전체 집합으로 구성된 설문 조사]를 개발했다. WFME 표준에서 이미 다루어진 개념을 설명하는 이러한 보충 기관의 표준은 설문조사에서 반복되지 않았다. 따라서, 우리는 전 세계에서 사용되는 관련 기준의 universe를 나타내기 위해 설문조사를 설계했습니다. 
The World Federation for Medical Education (WFME) has developed a Trilogy of Global Standards for Quality Improvement. These resources include a document, Standards in Basic Medical Education, aimed at helping organizations assess the quality of medical schools leading to an undergraduate degree (WFME 2003). This document is not designed to be used restrictively, but instead is intended to function as a template for national agencies interested in developing accreditation procedures, and has been widely used in countries throughout the world as a model for establishing national and regional accreditation procedures (Karle 2006). We developed a survey that consisted of the entire set of WFME standards, supplemented with additional standards taken fromnumerous published documents describing the criteria used to accredit or evaluate undergraduate medical education programs around the world. Standards from these supplemental agencies describing concepts that were already covered in the WFME standards were not repeated in the survey. Therefore, we designed the survey to represent the universe of relevant standards used around the world. 

조사는 다음과 같이 9개의 WFME 주제 영역에 구성된 150개의 표준으로 구성되었다.
The survey consisted of 150 standards organized into the nine WFME topic areas as follows:

응답자들에게는 150개 기준서를 각각 읽어본 뒤, 학부형 의료교육 프로그램의 질적 판단과 보장에 있어 기준이 상대적으로 중요하다는 전문가 의견을 바탕으로 등급을 매기도록 지도했다.
Respondents were instructed to read each of the 150 standards, and then rate the standard based on their expert opinion of the relative importance of the standard in determining and ensuring the quality of undergraduate medical education programs.

전문가들에게 다음과 같은 척도를 제공하여 각 표준을 평가하도록 하였다.
The experts were provided with the following scale to rate each of the standards:

(1) 중요하지 않음(표준은 품질 결정에 유용하지 않음).
(2) 중요하나 필수적이지는 않다(표준은 품질 결정에 다소 유용하지만 요구되지는 않는다).
(3) 필수(표준은 품질 결정에 매우 유용하며 요구됨).
(1) Not important (the standard is not useful for determining quality).
(2) Important but not essential (the standard is somewhat useful for determining quality, but is not required).
(3) Essential (the standard is very useful for determining quality and is required).

우리는 의료교육 인증 분야 전문가 22명에게 연락하여 연구 프로젝트에 대한 설명과 익명으로 설문조사를 완료해 달라는 요청을 제공하였습니다. 이들 개인 중 다수는 지역, 지역 또는 국제 인가 기관의 현재 또는 이전 고위 직원으로, 인가 또는 의과대학 질에 대한 주제에 대해 광범위하게 출판되었다. 

We contacted 22 experts in the field of medical education accreditation and provided them with a description of the research project and a request to anonymously complete the survey. Many of these individuals are current or former senior staff of local, regional, or international accrediting agencies, and have extensively published on the topic of accreditation or medical school quality. 

분석 Analyses

결과

Results

1차 응답기간 1개월 이내 8건의 설문조사가 반송됐고, 2차 달 발송된 독촉메일 2건에서는 총 13건의 완료된 설문조사에 대해 5건의 응답(응답률 59%)이 추가됐다.  
Eight surveys were returned within the first response period ofone month, and two reminder emails sent in the second month produced an additional five responses for a total of 13completed surveys (59% response rate).  

표 1은 각 13명의 응답자에 대해 제공된 등급 수, 모든 표준에서의 평균, 등급의 표준 편차, 평균 평균 평균 편차 및 루트 평균 제곱 오차를 표시합니다.
For each of the 13 respondents, Table 1 displays thenumber of ratings provided, the mean across all standards,the standard deviation of the ratings, the mean deviation fromthe grand mean, and the root mean square error 

• 14개의 표준은 모든 평가 참가자로부터 3('필수')의 최고 등급을 받았고,
• 4개의 표준은 2.00 이하('중요하지만 필수적이지 않음')의 평균 등급을 받았다.
• 개별 표준에 대한 전문가들 간의 등급 변동성은 0(동일 합의)에서 0.76(중간 불일치)까지 다양했다.
• 모든 등급으로부터 완전한 동의가 이루어진 표준, 평균 2.00 이하의 등급을 받은 표준, 0.50 이상의 차이를 가진 표준이 표 2에 제시되어 있다.  

Fourteen standards received the highest rating of 3(‘‘Essential’’) from all survey participants, and four standards received mean ratings of equal to or less than 2.00 (‘‘Importantbut not essential’’). Variability in the ratings across the experts for individual standards ranged from 0 (unanimous agreement)to 0.76 (moderate disagreement). The results displaying the standards that had complete agreement from all raters as being‘‘Essential,’’ the standards that received mean ratings of 2.00 orless, and the standards with variances, across respondents,equal to or greater than 0.50 are presented in Table 2.  

고찰

Discussion

150개 기준 중 14개 기준이 퀄리티 결정에 필수적이라는 데 만장일치가 있었다. 이러한 필수 표준은 WFME 범주에 걸쳐 다소 고르게 분포되어 있으므로, 전문가들은 다양한 입력과 프로세스를 다루는 표준이 필수적이라고 생각한다. 이 14개의 기준은 졸업생들의 성공적인 생산에 필요한 세계적으로 인정된 주요 특징들을 설명한다. 예를 들어 

• '의과대학은 교육과정을 통해 분석적·비판적 사고를 포함한 과학적 방법과 증거 기반 의학의 원리를 가르치고 있다'는 기준에는 의학교육이 고차원의 사고를 포함시켜야 하며 많은 양의 정보를 단순 암기하는 것 이상의 것이어야 한다고 명시돼 있다.  
• '의과대학은 학생들이 환자와 접촉하고 졸업과 동시에 적절한 임상 책임을 지기 위한 충분한 임상 지식과 기술을 습득하도록 보장한다'는 표준은 커리큘럼의 일환으로 응용적 임상 교육의 본질에 대해 설명한다. 
• 다른 필수 표준은 평가 활동의 적절성을 보장한다. 필수기준은 도서관, 학교 리더십, 학교의 재정 안정성 등의 문제와도 관련이 있으며, 교과과정 전달과 직접 관련이 없는 학습의 중요한 측면을 보여준다. 
  

Of the 150 standards, there was unanimous agreementamong the respondents that 14 of the standards are essentialfor determining quality. These essential standards are some-what evenly distributed across the WFME categories, indicatingthat experts believe standards covering a range of inputs and processes are mandatory. These 14 standards describe globally accepted key features necessary for the successful production of graduates.

• For example, the standard, ‘‘The medical school teaches the principles of scientific method and evidence-based medicine, including analytical and critical thinking, throughout the curriculum,’’ states that medical education must include higher order thinking and be more than simple memorizationof a large quantity of information.
• The standard, ‘‘The medical school ensures that students have patient contact and acquire sufficient clinical knowledge and skills to assume appropriate clinical responsibility upon graduation’’ speaks to the essential nature of students’ applied clinical education as part of the curriculum.
• Other essential standards ensure the appropriateness of evaluation activities. Essential standards also related to issues such as the library, school leadership, and the school’s financial stability and demonstrate crucial aspects of learning not directly related to curriculum delivery. 

이 14개의 필수 표준에 대한 전문가들의 만장일치 합의는 이러한 것들이 모든 인가 시스템이 통합해야 하는 핵심 개념임을 시사한다. 또한 이 데이터는 인증 기관이 사용하는 이러한 표준이 세계적으로 인정된 최소 기준을 준수하는지 검증하며, 기관은 이러한 [필수적 기준에 포함된 개념]이 시스템의 일부로 구현되도록 보장해야 한다. 그러나 이것이 다른 표준이 중요하지 않다는 것을 의미하는 것은 아니다. 대신 의대 심사 과정에서 인정해야 할 인증기준의 위계구조가 있음을 시사한다.
The experts’ unanimous agreement on these 14 essential standards suggests that these are core concepts that all accrediting systems should incorporate. The data also validate that these standards that are used by accreditation agencies conform to globally accepted minimum criteria, and agencies should ensure that the concepts covered in these essential standards are implemented as part of their systems. This does not, however, mean that other standards are not important. Instead, it suggests that there is a hierarchical structure of accreditation standards that needs to be acknowledged in the process of medical school review.


평균 점수가 2점 이하인 교육 리소스 범주에는 모두 4개의 표준이 있었습니다. 표준 중 두 가지는 매우 구체적인 리소스 요구 사항을 나타냅니다. 특정 문화권에서는 의대에 필요한 인풋을 상세하게 지정하는 것이 전통이지만, 이 정도의 특수화는 세계적으로 표준이 아니다. 특히 "의과 과정은 학교 내에서 활발한 연구 프로그램의 맥락에서 설정된다." 라는 기준이 상대적으로 낮은 합계점수를 받은 것이 눈에 띈다. 지난 세기에 걸쳐 세계 대부분의 고소득 국가의 의과대학들이 연구 프로그램에 많은 자원을 투입하는 것이 점점 더 중요해지고 있지만, 이 연구의 결과에 따르면, 세계적으로 본다면 이 개념은 우선순위로 간주되지 않는다. 흥미롭게도, 미국에서 대학원 교육과 면허를 추구하는 많은 수의 의대생들을 교육하는 최근에 설립된 많은 기관들(즉, 미국 오스테오패스 학교, 카리브해에 위치한 일부 MD 허가 기관 등)은 작은 연구 프로그램만 가지고 있다. 그러므로, 1900년대 초에 Flexner (1910)가 추구했던 전통에도 불구하고, [교수진, 직원, 학생들을 위한 연구 기회를 통합한 의과대학]은, 적어도 세계적인 관점에서 볼 때, 의과대학과 관련된 연구 프로그램에 대한 이러한 강조는 오늘날 자격을 갖춘 졸업생들의 생산을 보장하는 데 더 이상 관련성이 없는 것으로 간주될 수 있다.

There were four standards, all in the Educational Resources category, where the average rating was 2 or less. Two of the standards refer to very specific resource requirements. While it is the tradition in certain cultures to specify in detail the inputs required for a medical school, this level of particularization is not the norm worldwide. Of particular interest is the relatively low aggregate rating of the standard, ‘‘The medical course is set in the context of an active research program within the school.’’ While it has become increasingly important over the past century for medical schools in most high income countries in the world to devote large resources to research programs, based on the results of this study, this concept is not considered a priority worldwide. Interestingly, many of the more recently founded institutions that educate a large number of medical students who pursue postgraduate training and licensure in the United States, (i.e., US Osteopathic schools, some MD granting institutions located in the Caribbean, etc.) have only small research programs, if at all. Therefore, despite the tradition promoted by Flexner (1910) in the early 1900s of medical schools incorporating research opportunities for faculty, staff, and students, it appears that, at least from a global perspective, this emphasis on research programs associated with medical schools may no longer be considered relevant today in ensuring the production of qualified graduates. 

9개 기준은 0.50보다 큰 평가자 variability를 가진 것으로 나타나, 품질 보장에 있어 기준의 중요도 수준에 대해 전문가들이 차이가 크다는 것을 보여주었다. 이러한 표준은 지리적 및 문화적 영역에 따라 크게 달라지는 의료 교육의 측면을 나타낼 수 있다.

• 예를 들어, 기본 과학과 임상 과학을 별도로 가르치는 것이 세계의 많은 지역에서 전통이지만, 다른 지역에서는 이러한 지식과 기술의 측면이 완전히 통합되어야 한다는 것이 관습이다.
• 토착 인구의 건강이나 사회의 다른 부문의 고려사항과 관련된 기준은 보편적인 관련성은 낮을 수 있다.
• 마지막으로, 전문가들은 양질의 교육을 보장하는 데 학생의 권리와 관련된 표준을 포함하는 것의 중요성에 동의하지 않는다.
  

Nine standards had rater variability that was greater than 0.50, indicating that the experts disagreed substantially on these standards’ levels of importance in ensuring quality. These standards likely represent aspects of medical education that significantly vary across geographic and cultural realms.

• For example, while it is the tradition in many parts of the world to separately teach basic sciences and clinical sciences, in other regions the convention is that these aspects of knowledge and skills should be fully integrated.
• Standards related to the health of indigenous populations or considerations of other sectors of society may not be universally relevant.
• Finally, experts do not agree on the importance of including standards that pertain to the rights of students in ensuring a quality education.

9개의 WFME 범주 내의 모든 표준에 대해 집계된 평균 등급은 전체적으로 전문가들이 기준의 여러 범주를 비교적 동등하게 평가했음을 보여준다. 평균평가(2.77점)가 가장 높았고, 교육자원(2.52점)과 학생(2.53점)이 가장 낮았다. 수준 높은 교사를 보장하는 표준에 대한 강조는 기대되었고, 분명히 그것은 자질을 결정하는 중요한 요소이다. (Darling Hammond 1999) 대조적으로, 학교의 물리적 자원과 학생들의 권리와 관련된 기준들이 다소 낮은 평가를 받은 것은 문화와 전통의 변화로 설명될 수 있는 흥미로운 결과이다. 예를 들어, 학생들의 학업성적 열람 및 이의신청권한을 보호하는 기준의 포함은 한 나라의 정부의 개방성과 투명성을 반영할 수 있다. 
The mean ratings, over respondents, aggregated for all the standards within each of the nine WFME categories demonstrate that, overall, the experts rated categories of standards relatively equally. Standards related to Academic Staff/Faculty received the highest mean rating (2.77), whereas the categories of standards related to Educational Resources (2.52) and Students (2.53) received the lowest. The emphasis on standards that ensure high-quality teachers was expected and clearly it is an important determinant of quality (DarlingHammond 1999). In contrast, the somewhat lower rating of standards related to a school’s physical resources and the rights of students is an interesting outcome that may be explained by variations in culture and tradition. For example, the inclusion of standards that protect the rights of students to view and challenge their academic records may reflect the level of openness and transparence of a country’s government. 

Med Teach. 2012;34(2):136-45.

 doi: 10.3109/0142159X.2012.643261.

The importance of medical education accreditation standards

Marta van Zanten 1, John R Boulet, Ian Greaves

Affiliations collapse

Affiliation

• 1Foundation for Advancement of International Medical Education and Research (FAIMER), Philadelphia, PA 19104, USA. mvanzanten@faimer.org

PMID: 22288991

• DOI: 10.3109/0142159X.2012.643261

Abstract

Introduction: The purpose of this study was to evaluate the relative and absolute importance of individual standards used by accreditation agencies throughout the world.

Method: We developed a 150-item survey that consisted of all World Federation for Medical Education standards, supplemented with additional standards used around the world. International accreditation experts rated the standards based on the importance of each standard for ensuring the quality of undergraduate medical education. A 3-point scale was employed: 1 = not important, 2 = important but not essential, 3 = essential.

Results: Thirteen of 22 chosen experts anonymously completed the survey (59%). The mean values, over raters, across individual standards ranged from 2.32 to 2.87, indicating that most of the 150 standards are at least important, and often essential, for ensuring program quality. Fourteen standards received the highest rating of 3 ("Essential") from all experts, and four standards received mean ratings ≤2.00. Variability in the ratings across the experts for individual standards ranged from 0.00 (unanimous agreement) to 0.76 (moderate disagreement).

Conclusions: While there is some global variation in experts' opinions of accreditation standards, certain standards are considered essential. Our summary data are useful for determining best practices for medical education accreditation systems.

사회적 책무성과 인증: 교육기관을 위한 새로운 프론티어(Med Educ, 2009)

Social accountability and accreditation: a new frontier for educational institutions
Charles Boelen1 & Bob Woollard2

도입

INTRODUCTION

보건의료전문인력 생산의 수월성excellence을 염원하는 교육기관은 졸업생이 시민과 사회의 건강증진에 바람직한 역량을 모두 보유할 때뿐만 아니라 이를 전문적 실무에 활용할 수 있을 때 그 지위를 부여받아야 한다. 비록 의과대학이 현재 졸업생들이 사용되는 방식이나 봉사하는 방식에 대하여 책임을 지지는 않지만held to account, 미래에는 그러한 책임이 요구될 수 있다. 교육 기관들은 점점 더 professional practitioner의 성과와 그들의 존재가 사회 복지에 미치는 영향에 대해 더 명확히 해달라는 요구를 받고 있다.
An educational institution that aspires to excellence in the production of health care professionals should be granted that status not only when its graduates possess all of the competencies desirable to improve the health of citizens and society, but when they are able to use them in their professional practice. Although medical schools are not presently held to account for the ways in which their graduates are used, and serve, their societies, such an accounting may be required in the future. Educational institutions are increasingly requested to be more explicit about their outputs of professional practitioners and the impact of their presence on social well-being. 


지난 반세기 동안, 의료 전문가의 교육의 질은 일련의 교육 발전을 통해 점진적으로 향상되었습니다.1 
Over the last half-century, the quality of education of health care professionals has progressively improved through a series of educational advances.1 

이러한 교육적 혁신은 모두 매우 유용했지만, 이러한 혁신은 [의료 분야의 인적 자원 개발에 영향을 미치는] 국제적 위기를 시정하는 데 실질적으로 기여하지 못했다.2 이러한 위기는 다음을 포함하는 기여 요소의 끔찍한 재고로 예시된다.

• 의료진의 정량적 부족
  
• 우선적인 의료 요구에 관한 특정 전공 분야의 불충분한 비율
  
• 일차 의료진의 만성적인 부족
  
• 보다 사회적이고 경제적으로 매력적인 직업적 환경으로 보건 전문가의 이동.
  
• 농촌의 과소 서비스
  
• 질병 예방 및 건강 증진을 위한 효과적인 조치의 일반적인 결여
  
• 자신의 건강 보호에 대한 책임을 지기 위해 시민들이 거의 동원되지 않음
  
• 보건의 사회적 결정요소에 보다 효과적인 영향을 주기 위해 사회부문과 협력할 수 있는 열악한 인센티브
  
• 직업적 이상을 희생하는 서비스 상품화에 대한 표류
  
• 행정 및 공공에 의한 보건 전문가에 대한 신뢰 감소
  
• 의료 전문가의 동기부여 저하  
  

Although these are all very useful, these innovations have not materially contributed to correcting the global crisis affecting human resources development in the health care sector.2 This crisis is exemplified by an appalling inventory of contributory factors, which include:

• a quantitative lack of health care staff;
• inadequate proportions of specialties with respect to priority health care needs;
• a chronic dearth of primary health care staff;
• the migration of health professionals to more socially and financially attractive working environments;
• the underserving of rural areas;
• a general deficit of effective action towards disease prevention and health promotion;
• little mobilisation of citizens to assume responsibility for protecting their own health;
• poor incentives to work in partnership with the social sector for a more effective impact on the social determinants of health;
• a drifting towards the merchandising of services at the expense of professional ideals;
• lessening trust in health professionals by administration and the public, and
• the de-motivation of health care professionals. 

그들은 그러한 위기에 어떻게 대처할 수 있을까? 교육기관이 교육, 연구, 서비스 임무를 통해 위기를 어느 정도 완화시킬 수 있는가? 교육프로그램의 설계·시행·추진이 [시민과 사회 전체의 요구에 부합]하고 [국민건강발전 과정과 밀접하게 관련]되도록 하는 방향으로 정립하는 것이 절실하다. 
How can they cope with such a crisis? To what extent cananeducational institutionhelp mitigate the crisis through its education, research and service missions? It is imperative that the design, implementation and follow-up of educational programmes be established in a manner that ensures they are relevant to the needs of citizens and society as a whole and are closely related to the process of national health development. 

사회적 책임의 다른 파트너들(정책 입안자, 보건 서비스 관리자, 보건 전문가 및 대중)이 기대, 적응 및 품질 보증에 동등하게 헌신할 것이라는 기대가 있다. 
There is an expectation that the other partners in social accountability (policy makers, health service managers, health professionals and the public) are equally committed to anticipation, adaptation and quality assurance. 

사회적 책임의 의미
WHAT SOCIAL ACCOUNTABILITY IMPLIES

세계보건기구(WHO)는 의대의 사회적 책임을 '지역, 지역 또는 국가의 우선적 건강 문제를 해결하기 위한 방향으로 그들의 교육, 연구 및 서비스 활동을 지향direct해야 하는 의무'로 정의한다. [우선적 건강 문제]는 정부, 의료 기관, 보건 전문가 및 일반 대중이 공동으로 파악해야 한다.'3
The World Health Organization (WHO) defines the social accountability of medical schools as representing: ‘the obligation to direct their education, research and service activities towards addressing the priority health concerns of the community, region, or nation they have a mandate to serve. The priority health concerns are to be identified jointly by governments, healthcare organisations, healthprofessionals andthe public.’3

이로부터, 사회적 책무성의 두 가지 특징인 [이타주의와 통합]이 등장합니다.

• 이타주의는 주로 사회의 웰빙에 초점을 맞추고 있으며
• 통합은 사회 캔버스의 필수적인 부분이다.
  

From this, two features of social accountability emerge: altruism and integration.

• Altruism focuses primarily on society’s well-being and
• integration is an integral part of the social canvas.
  
  

두 그룹의 원칙은 frame of reference로서 기능할 수 있다:

• 사람들의 보호와 관련된 휴머니즘적 원칙과
• 의료 시스템과의 관계와 관련된 시스템적 원칙.

Two groups of principles may serve as frames of reference:

• humanistic principles, which are relative to people’s protection, and
• systemic principles, which are relative to the relationship of the institution with the health care system. 
  
  

인본주의 원칙

Humanistic principles

세계보건기구가 밝힌 [네 가지 원칙]은 개인과 집단적 관점 모두에서 사람들이 권리를 갖는 건강 관리의 유형을 가리킨다. 질, 형평성, 목적적합성, 효과성.

• [질quality 원칙]은 시민들에게 신체적, 정신적, 사회적 행복 상태를 보호하고, 회복하고, 증진시킬 수 있는 최선의 조치를 제공하는 것을 추구한다.
• [형평성의 원칙]은 모든 시민이 의료 서비스에 완전히 접근할 수 있고 어떤 형태의 차별에도 직면하지 않도록 하기 위해 노력한다.
• [관련성의 원칙]은 우선적인 의료 요구에 대한 대응과 사회에서 가장 취약한 개인 또는 집단에 대한 특별 주의의 제공을 추구한다.
• [효과성의 원칙]은 가장 효과적이고 효율적인 방법으로 공공의 이익에 봉사하는 방식으로 인적 및 물질적 의료 자원을 활용하는 것을 말한다. 

Four principles, enunciated by WHO, refer to the type of health care to which people have a right, from both an individual and a collective standpoint: quality, equity, relevance and effectiveness.

• The principle of quality seeks to provide the citizen with the best possible measures to protect, restore and promote a state of physical, mental and social wellbeing.
• The principle of equity tries to ensure that every citizen has full access to health care services and does not face any form of discrimination.
• The principle of relevance seeks a response to priority health care needs and the provision of special attention to the most vulnerable individuals or groups in society.
• The principle of effectiveness refers to the utilisation of health care resources, both human and material, in a manner that serves the public interest in the most effective and efficient way. 

체계적 원칙
Systemic principles

이러한 원칙은 [의료 시스템의 복잡성]에 대한 이해와 그 안에서 가장 유용한 장소를 찾을 수 있는 능력과 관련이 있다. 제도권 내 다른 이해관계자, 즉 정책결정자, 보건시스템 관리자, 의료전문가, 시민사회 등과 제휴해 활동하면 실효성이 개선될 가능성이 높다. 위에서 설명한 인문학적 원칙을 구현하기 위해, 이들 이해관계자는 각각 조정된 역할을 수행한다.

These principles relate to the understanding of the complexity of a health care system and to the capacity to find a most useful place in it. The institution is likely to improve its effectiveness if it works in partnership with other stakeholders in the system, namely, policy makers, health system managers, health care professionals and civil society. In order to implement the humanistic principles outlined above, each of these stakeholders has a coordinated role to play.

예를 들어,

• [정책 입안자]는 일관되고 통합된 의료 시스템의 장기적인 비전을 수립해야 한다.
• [보건 시스템 관리자]는 이 비전과 일치하는 자원의 할당을 보장해야 한다.
• [의료 전문가]는 적절한 범위의 서비스를 제공할 수 있는 역량을 획득해야 하며,
• [시민]은 자신의 건강과 지역사회의 건강을 보호하는 데 더 큰 책임을 진다. 
  

For instance, the policy maker should frame a long-term vision of a health care system which is coherent and integrated;

• the health system manager should ensure an allocation of resources that is consistent with this vision;
• the health care professional should acquire competences to deliver the appropriate range of services, and
• the citizen should assume greater responsibility in protecting his or her own health and that of the community.

모든 파트너는 자신의 역할을 조정하고 시너지를 발휘하여 의료 시스템과 인적 자원을 강화해야 합니다.4 

All partners should adapt their roles and act in synergy to strengthen the system and its human resources for health.4 

완전히 사회적으로 책임을 지기 위해서는, 기관은 자신의 '제품products'(졸업생, 서비스 모델 또는 연구 결과)이 대중의 최선의 이익을 위해 사용되고 있는지에 대해 의문을 제기할 권리를 주장할 필요가 있다.

To be fully socially accountable, an institution needs to claim the right to question whether its ‘products’ (graduates, service models or research findings) are being used in the best interest of the public.

효과의 수월성

EXCELLENCE IN IMPACT

이러한 기관은 그 존재와 일의 최종 영향을 의심함으로써 더 높은 수준의 사회적 책임을 지게 된다. 
By questioning its raison d’eˆtre and the final impact of its work, such an institution undertakes a higher order of social accountability. 

전문직의 '생산자producer'로서, 교육기관은 기관의 산출물output을 활용할 사회 기관들과 일련의 관계를 맺어야 한다. 동시에, 니즈는 끊임없이 진화하기에, 커리큘럼과 목표는 지속적으로 조정되어야 한다는 것을 깨달아야 한다. 이에 필요한 일련의 관계, 정보 수집, 피드백 루프 및 변경의 영향자는 기관이 계획과 조치의 복잡성 원칙을 인식할 것을 요구한다.5-7 따라서 [원인과 결과의 선형 관계]가 아니라, [원하는 output을 정의하고, 실제 output을 측정하는, 명시적이고 적응 가능한 프로세스]를 만드는 것으로 대체되어야 하며, 졸업생이 진입하는 시스템의 요구에 적응해야 한다.

 
As a ‘producer’ of professionals, it must enter into a series of relationships with the social institutions that will utilise its output. At the same time, it must realise that needs are in constant evolution and thus its curriculum and goals must be in a state of constant adjustment. The series of relationships, information gathering, feedback loops and effectors of change needed for this require that the institution recognise principles of complexity in its plans and actions.5–7 Thus linear relationships of cause and effect need to be replaced by the creation of explicit, adaptable processes that define desired outputs and measure actual outputs while adjusting to the needs of the system their graduates are entering. 

원하는 효과impact를 얻으려면 원하는 졸업생 유형에 대한 초기 정의가 필요합니다. 그러나 이러한 졸업생이 성취되더라도, 그들의 역량이 공식적으로 인정되지 않고 의료 시스템에 의해 공정하게 보상되지 않는다면, 그들이 원하는 영향은 달성되지 않을 것이다. 이 경우, 졸업생들은 고용되지 못하거나, 혹은 인센티브를 받는 영역으로 돌아갈 것이다.   
Achieving the desired impact requires an initial definition of the type of graduates desired. However, even if such graduates are achieved, if their competencies are not formally recognised and fairly rewarded by the healthcare system, their desired impact will not be achieved. The graduates will either be underemployed or will revert to the kinds of practices that are incentivised.   

따라서 교육기관은 [보건 정책을 설계하는 사람], [의료 서비스를 조직하는 사람], 그리고 [획득된 역량이 요구되는 일자리 기회를 창출하고 서비스를 지원하는 사람] 사이의 솔직한 대화를 시작해야 한다. 
The educational institution must therefore initiate a frank conversation between those who design health policies, those who organise health care services and those who create job opportunities and support services requiring the acquired competencies. 

공익이 사익에 우세할 때, 협력은 비로소 생산적이다. 한 파트너의 구성원이 자신의 이익에 초점을 맞추고, 더 넓은 사회적 관점을 무시한다면 위협은 현실이 된다.
Partnership is productive within an institution if common interest prevails over private interests. The threat is real if the members of one partner focus on their own interests and ignore the wider social perspective.

의대교육의 창의성이 대부분 교육과정의 [사회적 목적과 도덕적 의무]보다는 [교과내용과 학습방법]에 집중되는 것이 놀라워서는 안 된다. 간단히 말해, 현재는 프로세스에 많은 focus을 두지만, impact에 focus는 충분히 주지 않고 있다. 

It should not come as a surprise that most of the creativeness in medical education concentrates on curriculum content and learning methods rather than on the social purpose and moral obligations of the curriculum. In brief, a lot of emphasis is placed on processes and not enough on impact. 

이 실망은 어제오늘의 일이 아니다! 지난 세기 초, 아브라함 플렉스너는 카네기 재단에 의해 북미 의과대학의 질에 대한 검토를 맡도록 위임받았다. 미국 의료 시스템의 형평성 부족을 의식한 그는 [아프리카계 학생들이 그들이 속한 커뮤니티의 건강상태 향상에 기여하기 위해서는] 우수한 의료교육의 혜택을 받아야 한다고 권고했다. 플렉스너는 감히 좋은 의료 교육과 인구 건강 사이의 상관관계를 만들었다. 의학교육 개선을 통해 시민들의 건강에 긍정적인 영향을 미친 것이 그 운동의 주요 동기였다. 불행히도 그의 후계자들에 의해 행해진 의과대학의 개혁이 교과과정의 [과학성scientific nature]을 강화하는 것으로 이루어졌기 때문에 이러한 기대는 부족했다. 12 

This disappointment is not new! At the beginning of last century, Abraham Flexner was mandated by the Carnegie Foundation to undertake a review of the quality of North American medical schools. Aware of lack of equity in the US health care system, he recommended that Afro-American students should benefit from excellent medical education in order to contribute to raising the health status of their communities. Flexner dared to make a correlation between good medical education and population health. Achieving a positive impact on the health of citizens through improved medical education was indeed the prime motive for the exercise. Unfortunately this expectation fell short as the reform of medical schools conducted by his successors consisted of strengthening the scientific nature of the curriculum but little else.12

역사는 그 결과를 입증했다.

• 기초과학의 교육 블록은 학생들이 환자와 사회 환경과의 접촉이 허용되기 전에 필수 통로가 되었다.
  
• 사회과학과 인문학의 도입은 제한적이고 늦다. 
• 부문과 부서는 어떻게 해서든 자신의 자율성을 지킨다.
  
• 수직적 교육은 [복잡한 건강 문제를 해결하는 데 가장 적합한 통합적 교육]을 희생함으로써 강화된다.
  
• 공중 보건 과학은 소외되어 왔다.

History has demonstrated the result:

• blocks of education in the basic sciences became a compulsory passage before students were allowed any contact with patients and the social environment;
• the introduction of the social sciences and humanities is limited and late;
• disciplines and departments guard their autonomy jealously;
• vertical teaching is enhanced at the expense of the integrated teaching best suited to address complex health issues, and
• the public health sciences have been marginalised.

이것은 선의의 의도하지 않은 결과였다. 졸업생의 영향에 대한 평가 부족과 사회의 진화하는 요구는 교육기관을 삶의 환경living environment으로부터 격리시키게 되었다. 이 모델은 100년 넘게 전 세계적으로 널리 보급되어 왔으며, 의과대학 인증의 parameter로 지속적으로 장려하고 있습니다. 이는 academe이 자신의 존재의 이유를 사회적 웰빙에 미치는 영향의 근원으로서 설정할 역사적인 기회를 놓친 것이다.13 

These were unintended consequences of good intentions. The lack of assessment of the impact of graduates and the evolving needs of society have tended to isolate the institution from the living environment. This model has remained distressingly~prevalent worldwide for over a century and continues to inspire parameters for the accreditation of medical schools. This represents an historical missed opportunity for the academe to set as its raison d’eˆtre its impact on social well-being.13 

사회적 책임의 표현
EXPRESSIONS OF SOCIAL ACCOUNTABILITY

(그림 1).
(Fig. 1).

[개념화 영역]에는 전문적으로 필요한 종류의 협업 설계와 자신의 기술을 활용하는 시스템이 포함된다.

[생산 영역]은 훈련과 학습의 주요 요소를 포함한다.

• The domain of conceptualisation involves the collaborative design of the kind of professional needed and the system that will utilise his or her skills.
• The domain of production involves the main components of training and learning. 
  

[사용적합성 영역]에는 훈련된 전문가가 최고 최선의 사용을 보장하기 위해 기관이 취하는 이니셔티브가 포함된다. 
The domain of usability involves initiatives taken by the institution to ensure that its trained professionals are put to their highest and best use. 

'사용적합성'이라는 용어가 '이용성utilization' 또는 '유용성usefulness'이라는 용어보다 선호된다. 졸업생들은 실제로 그들이 훈련받은 역량의 스펙트럼을 부분적으로만 적용하더라도, 그들이 어떤 의료 구조에서 고용되는 즉시 이용되고 유용할 수 있다. 대조적으로, [사용적합성] 개념은 [획득한 역량과 이를 실행할 기회 사이의 일치도]를 의미한다. 따라서 사용적합성 영역은 훈련의 기반이 되는 보건 전문가의 프로필이 미래 작업 환경에서 적절하게 평가되도록 기관이 시작한 프로세스를 반영해야 한다.
The term ‘usability’ is preferred to the terms ‘utilisation’ or ‘usefulness’. Graduates may indeed be utilised and useful as soon as they are employed in any health care structure, even if they only partially apply the spectrum of competencies in which they have been trained. By contrast, the notion of usability refers to the degree of concordance between their acquired competencies and their opportunities to practise them. Therefore, the domain of usability should reflect processes initiated by the institution to ensure that the profile of a health professional on which the training was based is properly valued in the future working environment.

CPU 활동의 피드백 루프가 구축되려면 [지속 가능한 일련의 파트너십]이 필요하다. 모든 주요 행위자들이 공통 가치 집합과 그러한 공통 가치를 표현하는 효과적인, 복잡하지만 효과적인 시스템을 공유하지 않는다면 사회적 책임성은 완전히 충족될 수 없다. 
A sustainable series of partnerships is necessary if feedback loops of CPU activities are to be built. Social accountability cannot be entirely fulfilled if all of the main actors do not share a common set of values and an effective, although complex, system through which to express those common values. 

표 1은 더 큰 사회적 관련성을 향한 교육 기관의 방향을 잡기 위해 특정한 규범, 지표 및 기준을 도출할 수 있는 일반적인 프레임워크를 제시한다.

Table 1 presents a general framework from which specific norms, indicators and criteria can be drawn to orient an educational institution towards greater social relevance.

현행 평가 및 인증 시스템 관련
RELATING TO CURRENT EVALUATION AND ACCREDITATION SYSTEMS

의료교육연락위원회(LCME)가 북미의 의대를 평가하고 인가하기 위한 표준을 도입한 이후, 이들로부터 영감을 받은 다양한 국가 이니셔티브를 통해 그리고 최근 세계 의료교육연맹(WFME)이 국제표준을 발행할 때까지, 생산 영역에 주안점을 두었으며 개념화 및 사용적합성 영역에는 사소한 관심만이 표시되었다(표 2).

Since the introduction of norms for evaluating and accrediting medical schools in North America by the Liaison Committee on Medical Education (LCME), through the different national initiatives inspired by these and until the more recent publication of international standards by the World Federation of Medical Education (WFME), the main emphasis has been put on the domain of production, and only minor interest shown in the domains of conceptualisation and usability14–16 (Table 2). 

1995년 WHO는 사회적 반응적 보건 정책을 옹호하는 역할advocacy role에서 의료 교육의 품질 보증에서 사회적 책임 원칙을 고려할 것을 권고했다. 세계보건기구는 규범에 관한 구체적인 제안을 하지 않았고 또한 국가들로 하여금 개정된 인가 시스템을 이용하도록 명시적으로 장려하지도 않았다. 17, 18 
In 1995, the WHO, in its advocacy role for socially responsive health policies, recommended that principles of social accountability be taken into account in the quality assurance of medical education. The WHO did not make concrete proposals regarding norms and nor did it explicitly encourage countries to avail themselves of revised accreditation systems.17,18 

인증 시스템을 구축하기 위한 많은 국가적, 지역적 노력이 진행 중이다. 기관과 국가가 사회에 대한 의무를 최적으로 반영하지 않는 인가 접근방식을 채택하는데 너무 확고하게 관여하기 전에 사회적 책임에 기초한 표준을 수용하는 이니셔티브를 시작할 필요가 절실히 있다.
Many national and regional efforts are underway to establish accreditation systems. There is a pressing need to launch an initiative that embraces standards based on social accountability before institutions and countries become too firmly engaged in adopting accreditation approaches that do not optimally reflect obligations to society.

트렌드와 기회

TRENDS AND OPPORTUNITIES

세계화가 사회적 영향에 대해 재평가됨에 따라, 사회는 이러한 투자가 공공재에 미치는 영향에 대한 보다 확실한 증거로 투자를 정당화하려고 할 것이다.
As globalisation is reassessed for its social impact, societies will seek to justify their investments with more solid evidence of the impact of these investments on the public good.

윤리적 문제: 원인과 결과
Ethical issues: causes and consequences

사람들의 건강에 영향을 미치는 인간의 노력에서 위험을 최소화하는 것(첫 번째, 해치지 않는 것)은 히포크라테스의 유산보다 더 오래되었다. 사회는 이러한 [주의cautionary 원칙]을 의사와 의사양성 기관에 요구하고 있다. 게다가, 사회는 행동에 대한 결정과 그 행동들의 장기적인 영향 사이에 관계를 확립할 것을 요구한다. 교육 전략과 인구 건강 사이의 직접적인 상관관계는 쉽게 입증할 수 없지만, 대리지표proxies는 존재한다. 우리는 사회적 책임 기관을 그렇지 않은 기관과 구별할 수 있다.1,3 사회적 책무성을 갖는 기관의 교육 프로그램이 사회의 우선적인 의료 요구에 반응하는 보건 전문가의 교육을 초래한다는 증거도 제공해야 한다. 

The aim to minimise risks (first, do not harm) in human endeavours that affect people’s health is older than the legacy of Hippocrates. Society demands this cautionary principle of its practitioners and, increasingly, of the institutions that produce them. Further, society demands that a relationship be established between decisions for actions and the long-term effects of those actions. Although a direct correlation between educational strategies and population health is not easily demonstrable, proxies exist. We can differentiate a socially accountable institution from one that is not.1,3 We should also provide evidence that the educational programmes of socially accountable institutions result in the education of health professionals who are responsive to society’s priority health care needs. 

민주주의 문제: 개방성과 투명성
Democratic issues: openness and transparency

전문가들을 위해 남겨두던 지역들이 점점 더 대중들에게 접근하기 쉬워지고 있다. 정보에 대한 폭넓은 접근과 시민들의 보다 중요한 관심은 모든 기관의 관리에 대한 의문으로 이어진다. 사회적으로 책임이 있는 기관에 대한 명백한 인정은 학생들과 더 넓은 대중 모두를 안심시킬 것이다.
Areas that used to be reserved for experts are increasingly accessible to the public. Wide access to information and the more critical attention of citizens lead to questioning of the management of any institution. The explicit recognition of a socially accountable institution will reassure both its students and the wider public.

경제 문제: 결과 및 지원
Economic issues: results and support

투명성이 높아지면 기관 간 비교가 가능해진다. 사회적 책임 원칙에 기초한 인가 규범은 공공 당국, 기금 기관 및 시민 사회가 더 높은 사회적 영향을 위한 능력을 가진 기관들을 더 잘 알 수 있도록 지원할 수 있게 할 것이다.
Greater transparency will induce comparisons among institutions. Accreditation norms based on principles of social accountability will enable public authorities, funding agencies and civil society to more knowledgably support those institutions with the capacity for a higher social impact.

정치적 문제: 시스템 접근 및 시너지 향상
Political issues: system approach and enhanced synergies

기관에 대한 좋은 통치는 [사회정치적 환경의 복잡성을 고려]하고, [(유사하거나 보완적인 임무를 가진) 다른 기관과 지속 가능한 파트너십을 구축할 수 있는 기회를 이용할 수 있는 능력]에 의해 점점 더 정의될 것이다. 우리는 정치당국이 우수성을 귀속시키고, [의료시스템의 응집성과 성과를 촉진시키는 시너지 효과를 내는 데 적성aptitude을 보이는 기관]에 우선적으로 자원을 지원할 것으로 예상할 수 있다.

Good governance of institutions will be defined increasingly by these institutions’ capacity to take into account the complexity of the socio-political environment and to take advantage of opportunities to build sustainable partnerships with other institutions with similar or complementary missions. We may anticipate that political authorities will attribute excellence and provide resources preferentially to institutions that show an aptitude to create synergies that induce greater coherence and performance of the health care system. 

결론

CONCLUSIONS

적절하게 설계되고 의무화된 인증 시스템은 복잡한 시스템의 품질과 변화에 강력한 힘이 될 수 있습니다. 이것은 특히 의료 교육 기관들에 해당된다.

Accreditation systems, properly designed and mandated, can be powerful forces for quality and change in any complex system. This is particularly true of the institutions of medical education. 

Med Educ. 2009 Sep;43(9):887-94.

 doi: 10.1111/j.1365-2923.2009.03413.x.

Social accountability and accreditation: a new frontier for educational institutions

Charles Boelen, Bob Woollard

• PMID: 19709014

• DOI: 10.1111/j.1365-2923.2009.03413.x

Abstract

Context: An association with excellence should be reserved for educational institutions which verify that their actions make a difference to people's well-being. The graduates they produce should not only possess all of the competencies desirable to improve the health of citizens and society, but should also use them in their professional practice. Four principles enunciated by the World Health Organization refer to the type of health care to which people have a right, from both an individual and a collective standpoint: quality, equity, relevance and effectiveness. Therefore, social, economic, cultural and environmental determinants of health must guide the strategic development of an educational institution.

Discussion: Social responsibility implies accountability to society for actions intended to serve it. In the health field, social accountability involves a commitment to respond as best as possible to the priority health needs of citizens and society. An educational institution should verify its impact on society by following basic principles of quality, equity, relevance and effectiveness, and by active participation in health system development. Its social accountability should be measured in three interdependent domains concerning health personnel: conceptualisation, production and utilisability. An educational institution that fully assumes the position of a responsible partner in the health care system and is dedicated to the public interest deserves a label of excellence.

Conclusions: As globalisation is reassessed for its social impact, societies will seek to justify their investments with more solid evidence of their impact on the public good. Medical schools should be prepared to be judged accordingly. There is an urgent need to foster the adaptation of accreditation standards and norms that reflect social accountability. Only then can educational institutions be measured and rewarded for their real capacity to meet the pressing health care needs of society.

새로운 의과대학 인증평가 항목 ASK 2019(Med J Chosun Univ, 2019)
최효선, 안영준
조선대학교 의과대학 의학교육학교실

서론

의과대학/의학전문대학원은 수준 높은 의학교육을 통해 의료 의 질적 향상과 사회가 요구하는 의료인을 양성하는 사회적 책무 가 있다(1). 지난 30여 년 동안 우리나라 의과대학은 시대가 요구 하는 의료인을 양성하기 위해서 의과대학의 교육환경과 수준을 향 상시키기 위한 자발적 노력을 지속해 왔다. 그 일환으로 1998년 한국의과대학인정평가위원회(ABMEK; Accreditation Board for Medical Education in Korea)가 발족되었고, 지금까지 대학교육 협의회(대교협)에서 해오던 의학교육평가를 의학계 자체적으로 전문성을 발휘하여 2000년부터 제 1주기 의학교육 평가인증을 시작 하였다(2-4). 사실 대교협의 평가는 평가 당시의 단기적 성과에 중 심을 두고 정량적으로 지표적 평가를 중심으로 하였다. 그런데 의 학교육평가인증의 목적은 의과대학/의학전문대학원의 기본의학 교육의 질을 평가하여 의학교육의 질적 향상과 의학교육의 수월성 을 추구하는 것으로(5-7) 정성적으로 교육프로그램 및 앞으로 어 떻게 할 것인가에 대한 내용을 포함하고 있다. 1주기 평가영역은 6개영역으로 교육목표, 교육과정, 학생, 교수, 시설 설비, 행정 재 정이었으며 18개 필수항목, 46개 권장항목으로 평가하였다. 이후 재단법인 한국의학교육평가원(이하 의평원)이 설립됨에 따라 의학교육평가인증 체제가 보다 체계화 되었다.

각 의과대학/의학전문대학원은 의학교육평가인증을 준비하는 것이 어려웠지만 평가인증을 통해 거듭할수록 대학의 평가 준비하 는 측면에서 재원과 시설의 외적인 요소의 확보에서 발전하여 교육 절차와 교육과정의 내실화에 중점을 두는 방향으로 발전하였다. 이러한 과정에서 의과대학 평가인증이 교육환경과 교육과정을 개선하고, 궁극적으로는 의학교육의 질을 향상시키는데 필요한 제도라는 인식이 전환되었다(8).

• 한국의학교육평가원(Korean Institute of Medical Education and Evaluation, KIMEE)은 국가 적으로도 고등교육기관의 평가인증을 위한 인정기관의 필요성이 인식되었고, 2014년 교육부 고등교육 프로그램 평가인증 인정기 관으로 지정되었다.
• 2016년에는 한국의학교육평가원이 세계의학 교육연합회(World Federation for Medical Education, WFME) 평가인증기관으로 인정을 받았다.
• 나아가 평가기준 항목은 세계 의학교육연합회(WFME)의 글로벌 기준(Global Standards)을 기반으로(9) 우리나라 의학교육 상황에 적절히 부합되며, 의학교육 의 수월성과 다양성이 존중되고, 정량적 기준이 아닌 정성적 기준 이 되도록 새롭게 개발되었다. 개정된 의학교육 평가인증 기준을 ASK 2019 (Accreditation Standards of KIMEE 2019)로 칭하고, 2019년부터 모든 대학에 본격적으로 적용될 예정이다(10). 평가 를 통한 인증 결과는 6년, 4년 또는 2년 인증, 인증유예, 불인증 등 으로 차별화하고 있다. 

의과대학/의학전문대학원 평가인증 기준항목들은 2주기, Post 2주기를 거치면서 주기별로 평가인증 기본기준 항목을 각 75문항, 97문항으로 꾸준히 개정하여 왔다.

• 모든 의과대학/의학전문대 학원은 Post 2주기 평가인증 기준 항목으로 평가인증을 받았으며, 평가영역은 대학운영체계, 기본의학교육과정, 학생, 교수, 시설·설 비, 졸업 후 교육의 6개 영역과 97개 기본항목으로 구성되어 있다 (11).
• 2019년부터 모든 의과대학/의학전문대학원은 ‘사명과 성과, 교육과정, 학생평가, 학생, 교수, 교육자원, 교육평가, 대학운영체 계와 행정, 지속적 개선’의 9개 영역, 36개 평가부문, 92개 기본항 목으로 세계의학교육연합회의 세계적 기준으로 구성된 ASK 2019 로 의학교육평가를 받게 되었다.

그런데 ASK 2019부터 새로운 용어들이 많이 등장하고, 기준항목들이 정량에서 정성으로 바뀜으로 해석에 혼란을 초래할 수 있다. 이에 Post 2주기 평가인증 기준항 목을 기본으로 ASK 2019 항목들은 어떻게 변화되었는지 살펴보 고자 한다.

본론

평가영역과 평가항목의 변화

• 우리나라 평가인증은 1주기에 교육목표와 교육과정, 학생, 교 수, 시설설비, 행정재정의 5개 영영과 필수항목 18개, 권장항목 46개로 평가를 진행했으며, 
• 2주기에는 필수, 권장 항목이라는 용 어가 기본항목으로 통합되었으며 ‘대학운영체계, 기본의학교육과 정, 학생, 교수, 시설 설비, 졸업 후교육’으로 6개 영역과 75개 기 본항목, 34개 우수항목으로 평가하였다. 
• Post 2주기에는 대학운영 체계, 기본의학교육과정, 학생, 교수, 시설 설비, 졸업 후교육의 6 개 영역과 97개 기본항목, 44개 우수항목으로 평가하였다. 
• 그런데 ASK 2019에서는 사명과 성과, 교육과정, 학생평가, 학생, 교수, 교육자원, 교육평가, 대학운영체계와 행정, 지속적 개선 등의 9개 영역과 92개 기본항목, 51개의 우수항목으로 구성되어있다. 

Post 2주기의 기본의학교육과정영역이 ASK 2019에서는 교육과정, 학 생평가, 교육자원, 교육평가, 지속적 개선 등의 항목으로 분화되어 독립적인 영역이 되었고 대학운영체계 영역은 사명과 성과, 지속 적 개선을 영역을 포함하게 되었고 졸업 후 교육영역이 사라졌다 (Table 1).

Post 2주기와 ASK 2019의 평가영역, 평가부문과기준 수 

Post  2주기는  평가영역으로  대학운영체계,  기본의학교육과정, 학생, 교수, 시설 설비, 졸업 후 교육의 6개 영역, 20개 평가부문, 기본항목  97개,  우수항목  44개로  구성되었으나  ASK  2019에서는 평가영역으로 사명과 성과, 교육과정, 학생평가, 학생, 교수, 교 육자원, 교육평가, 대학운영체계와 행정, 지속적 개선 등의 9개 영역, 36개 평가부문, 기본항목 92개, 우수항목 51개로 구성되어 전체적인  항목의  수는  크게  변화가  없으며  평가영역과  평가부문이 좀  더  다양화,  구체화되고  독립된  항목으로  구성되어  있다(Table 2-1).

기본의학교육과정  영역에서  평가부문은 기존내용을 각 전문영역별로 나누어 구체화시켰으며 이해관계자의 참여, 교육적 교류 등 관리에 관심을 보이고 있으며 학생영역, 교수영역은 축소화하여 선발 및 활동에 중점을 두고 있다. 시설, 설비 영역은 기존과 비슷하며 졸업 후 교육이 기본의학교육과정에 속하지 않기 때문에 기본의학교육과정 평가항목에는 다루어지지 않고 있다(Table 2-2)

새로운 용어 및 항목 

학생영역에서는 크게 달라진 것은 없으나 학습 부진학생을 관리 및 지도, 학년별 유급율 변동에 대한 문제점을 분석하거나 유급학 생 구제 방안, 조언자 및 조언자 양성 프로그램을 권면하고 있다. 시설설비 영역에서는 전 기준과 특별히 달라진 항목이 보이지 않 으며 졸업 후 교육영역은 내용이 생략 되었다(Table 3).

ASK 2019 준비를 위한 제언

첫째, 예산을 미리 확인하여 집행해야 한다. 행정, 교육, 교육운 영, 교수개발, 학생 활동, 시설 등에는 반드시 예산이 필요하며 집 행해야 한다. 특히 교육과정 위원회 예산은 3,000만원 이상, 학생 교육관련 직접비용은 등록금의 5% 이상, 교수활동지원은 개인당 200만원 이상, 도서비는 교수와 학생 1인당 50만원 이상, 질관리 위원회, 발전기금 관리 위원회, 학생 교류활동, 장학금지급 등의 예산을 확보하여 집행해야 하며 반드시 증빙자료를 구비해야 한 다. 정성평가 항목으로 바뀌었음에도 실제 평가에서는 정량적 기 준을 근거로 평가되기 때문에 신경을 써야 하는 내용이다.

둘째, 인력을 확보해야 한다. 행정지원으로 직원은 분야별로 5 명 이상 직원, 학생 지원과 관련된 전담직원이 있어야 하고 보직 자도 5개 분야 이상, 기초교수 25명 이상, 임상교수 85명 이상 등 이 있어야 한다. 특히 행정 지원 인력은 각 교실별 1명 이상 있어 야 한다. 갈수록 인증평가와 관련된 업무가 중요함으로 매년 실시 해야 하는 교육과정평가, 의도한 교육성과평가, 졸업성과 평가, 시 설, 복지 만족도 등을 주기적으로 평가해야 하는 전담할 인력, 센 터, 혹은 교육지원실이 필요하며, 재정적 지원과 함께 의학교육학 교실이 일부 내용을 감당하는 것도 고려해 볼 필요성이 있다. 더 나아가 인증평가에 관심을 갖고 실제 다른 의과대학 현장 평가에 참여하는 전임교원 양성이 필요하다.

셋째, 교육과 관련된 교수개발, 직원, 학생교육이 필요하다. 신임교수는 임용 1년 이내 15시간 교육과 관련된 교육을 받아야 하 고, 전임교수는 50% 이상이 연간 3시간 이상 의학교육과 관련된 연수 및 교육을 받아야 한다. 학장, 보직자에게 의과대학 인증평 가 및 의학교육과 관련된 전문적인 시각을 위해 관련교육이 필요 하다. 학생들은 기본 전공과 관련된 교육뿐만 아니라 새롭게 환자, 보호자 안전에 관련된 교육, 감염 예방 및 치료와 관련된 교육, 성, 폭력 등과 관련된 교육 등이 필요하고 직원들에게도 새롭게 교육 적 교류, 성, 학교 정책 등과 관련된 교육이 필요하므로 이에 대한 프로그램 개발이 필요하다. 뿐만 아니라 주기적인 교수개발을 위 한 프로그램개발을 의학교육학교실과 함께 진행하는 것이 도움이 될 것이다.

넷째, 절차적 정당성을 확보하고 근거 자료를 남겨야 한다. 모든 일에 관련된 규정 및 지침이 있어야 하고 이를 진행함에 있어 지침 에 따른 절차적 정당성을 확보해야 한다. 여기에는 교원뿐만 아니라 직원, 학생, 이해관계자 및 관련자 참여의 공간도 필수적이다. 지리적으로 떨어진 교육병원에 연간 2회 이상의 학장과 보직자 방문실적이 있어야 하고 해당병원 담당자에게도 교육이 필요하다. 학생평가에 있어서도 형성평가를 권장하고 모든 평가에 피드백과 근거자료를 남겨야 한다. 특히 임상 실습평가에 있어서 지식적 항목뿐만 아니라 술기적 항목의 평가와 이에 대한 피드백, 근거자료를 남겨야 한다. 이를 관리하기 위해 필요한 위원회(질 관리 위원 회 혹은 자체 평가 위원회 등)가 조직되어 이를 학기마다 점검하고 조언 받는 것이 필요하다.

다섯째, 새로운 교육과정 개발과 강의, 평가의 다양성 확보가 필요하다. 시대에 맞는 새로운 교육과정 개발이 필요하며, 이를 위해 의학 전공과정이 4년의 틀보다는 4년 6개월, 혹은 5년 교육과정으 로 확대되어 교육하는 것이 필요하며, 교수학습법에서 강의뿐만 아니라 학생들의 학습 능력을 향상 시키는 다양한 강의법이 도입 되어야 한다. 학년별 학생 수준에 따른 교육성과 기준을 개발하여 그에 맞는 다양한 평가법, 특히 지식 영역뿐만 아니라 술기, 태도 영역 등을 평가하는 다양한 방법들이 도입되어야 한다. 평가영역 을 교수 각 개인의 고유의 영역으로 두면서 무관심하기보다 다양 한 평가를 유도 하는 정책이 필요하다.

결론

ASK2019은 내용을 살펴보면 의과대학/의학전문대학원 인증 평가 근거나 규정 없이 일회적, 단기적으로 끝나는 것이 아니라 행정, 사명, 교육, 운영, 평가 등 모든 내용에 대한 근거, 관련 규정이 있어야 하며 이에 따른 주기적인 평가와 지속적인 개선을 행정, 교육, 시설에 반영하고 있는지를 평가하도록 요구하고 있다. 평가하면 학생들 성적 평가만 생각했는데 앞으로는 성적평가 뿐만 아니 라 사명, 졸업성과, 의도한 교육성과인 교육과정, 교육과정 운영, 시설, 복지 등 모든 분야에 걸쳐 확대되었고 그 평가에 대한 원칙 및 관련 규정, 더불어 분석, 개선한 것까지 근거자료를 만들고 평가를 해야 할 상황인 것이다. 대상도 학생을 넘어 전임교원, 직원, 이해 관계자, 관련 전문가, 외부 기관까지도 아우르는 정책 및 운 영이 필요할 것이다. 따라서 많은 사람들이 검토하고 미리 준비하는 것이 필요하며 적극 동참하는 것이 아주 중요하다고 생각된다.

The ASK 2019 in the accreditation of medical school
Hyoseon Choi, Youngjoon Ahn
Department of Medical Education, Chosun University College of Medicine, Gwangju, Korea
Corresponding author
Youngjoon Ahn
Department of Medical Education,College of Medicine, Chosun University, 309 Philmun-daero, Dong-gu, Gwangju 61452, Korea
Tel: +82-62-220-3981 
Fax: +82-62-220-3981
E-mail: yjoon@chosun.ac.kr
ORCID: https://orcid.org/0000-0003-2602-8004
Medical schools have a social accountability to educate competent medical trainees and to improve the quality of medicine. Accreditation Board for Medical Education in Korea was established as an accreditation board in 1993. Now, Korean Institute of Medical Education and Evaluation (KIMEE) was opened and assessed the medical curricula and environments of each medical school which included medical educational contents, teaching-learning methods, assessment, students’ elections, medical facilities and the supporting system. KIMEE will assess each medical school with new items, called ‘ASK 2019’ starting from Year 2019. According to ASK 2019, KIMEE will assess 92 basic items and 51 excellence items which are 9 domains of mission and outcome, educational curriculum, students’ assessment, students, medical professors, educational resources, educational assessment, administration and management of school, continual improvement. We will actively prepare the budget, human resources, new medical curriculum, various teaching-learning and assessment methods, administration supporting system and medical facilities to pass the accreditation of medical education and evaluation.

Keywords: Accreditation, ASK 2019, Evaluation

졸업후의학교육의 사회적 요구에 반응하기: 인증의 역할(BMC Med Educ, 2020)

Responsiveness to societal needs in postgraduate medical education: the role of accreditation
Ingrid Philibert1* and Danielle Blouin2

배경

Background

의료 교육 기업은 자신이 생산하는 의료 인력으로 서비스를 받을 시민에게 책임을 집니다 [1]. 적절한 규모의, 숙련된, 분산된 의료 인력이 모든 국가의 건강에 매우 중요하다. 이러한 인력의 구성과 기술은 의학 교육의 대학원 단계에서 상당 부분 결정된다. 30년 전, 세계 의료 교육 연맹(WFME)은 의료 교육의 목표가 모든 사람들의 건강을 증진시킬 의사를 생산하는 것이라고 선언했고, 의료 과학의 발전에도 불구하고 이 목표가 충족되지 못하고 있다고 언급했다[2]. 1995년, 세계보건기구(WHO)는 의과대학의 사회적 책무를 "지역, 지역 및/또는 그들이 봉사하는 국가의 우선적인 건강 문제를 해결하기 위한 방향으로 그들의 교육, 연구 및 서비스 활동을 지향할direct 의무"[3]로 정의했다. 의료 교육 및 인증 전문가는 2013년 결과 기반 인증 세계 서밋에서 사회적 책임의 중요성을 논의했습니다.각주 1 

The medical education enterprise is accountable to the citizens who will be served by the physician workforce it produces [1]. An appropriately sized, skilled, and distributed physician workforce is critical to the health of any nation. The composition and skill set of this workforce is determined in significant part during the postgraduate phase of medical education. Three decades ago, the World Federation for Medical Education (WFME) declared that the aim of medical education is to produce physicians who will promote the health of all people, and noted that this aim was not being met despite progress in medical science [2]. In 1995, the World Health Organization (WHO) defined the social accountability of medical schools as “the obligation to direct their education, research and service activities towards addressing the priority health concerns of the community, region, and/or nation they serve” [3]. Medical education and accreditation experts discussed the importance of social accountability at the 2013 World Summit on Outcomes-Based Accreditation.

정상 회담 참가자는 미국, 캐나다 및 네덜란드를 포함한 여러 국가의 인증 시스템에 초점을 맞춘 광범위한 영역에서 인증의 역할에 대해 논의하였다. 이 기사에서는 대부분의 국가의 의료 시스템에서 상대적으로 분산되어 운영되는 점을 감안할 때 대학원 의학 교육의 더 실행 가능한 용어로 "사회적 대응성social reponsiveness"을 제안한다. 사회적 대응성은 "사회적 요구에 대응하는 행동 과정의 참여"로 정의되었습니다 [4]. 

Participants at the summit discussed the role of accreditation in a wide range of domains, focusing on the accreditation systems in different nations, including the United States, Canada, and the Netherlands. In this article, we propose “social responsiveness” as a more actionable term for postgraduate medical education, given its relatively decentralized operation in most nations’ health care systems. Social responsiveness has been defined as the “engagement in a course of actions responding to social needs” [4].

WFME와 WHO의 사회적 책임 정의에는 의료 교육 시스템이 생산하는 의료 인력의 역량에 대한 기대가 내재되어 있다. 그러나 정의의 일반적인 특성은 그것들을 대학원 의학 교육 프로그램과 기관에 대한 실행 가능한 권장사항으로 변환하는 것을 어렵게 만든다. "대응성responsiveness"이라는 용어는 정부, 의료 기관, 교육자, 전문가 및 일반인을 포함한 이해관계자가 의료 우선 순위를 집단적으로 식별해야 한다는 WHO의 기대와 일치한다[3].

Inherent in the WFME and WHO definitions of social accountability are expectations for the competencies of the physician workforce that the medical education system produces. Yet the general nature of the definitions makes it challenging to translate them into actionable recommendations for postgraduate medical education programs and institutions. The term “responsiveness” is congruent with the WHO expectation that health care priorities should be collectively identified by stakeholders, including governments, health care organizations, educators, professionals, and members of the public [3].

주 텍스트

Main text

대학원 의료교육의 사회적 대응성
Social responsiveness in postgraduate medical education

의대에 대한 사회적 책임 기대치를 논의한 이전의 논평자들과는 대조적으로, 우리는 의대 이후 의사 교육에 초점을 맞추고 PGME 시스템에서 사회적 대응성에 대한 네 가지 우선 순위를 설명한다. 

• 첫 번째는 의료 인력의 규모, 전문적 혼합 및 지리적 분포가 환자 및 인구 보건 요구를 충족하기에 적절한지 확인하는 것이다[5, 6]. 
• 두 번째 우선 순위는 전문직 종사자가 [점점 더 다양한 인구에서 보건의 차이[8]와 보건의 사회적 결정요인[9]]을 다루면서 [접근성, 인구 보건 및 자원 관리[7]에 대한 사회적 목표]를 충족할 수 있도록 하기 위해 필요한 기술 세트skill set을 갖추는 것이다. 
• 세 번째 우선순위는 학습 환경의 다양성과 포괄성을 향상시키는 것과 관련이 있다. 이것은 의사 노동력에서 인종, 민족 및 기타 소수민족의 표현을 증가시키고 모든 교육생을 위한 포괄적이고 지원적인 환경을 촉진하는 것을 포함한다. 
• 네 번째 우선순위는 [의사의 전문적 개발을 촉진]하는 동시에 [교육생이 진료를 배우고 참여하는 환경에서 안전하고 효과적인 care]를 제공하는 안전하고 존중하고 지지적인 학습 및 근무 환경을 확보하는 것이다. 

In contrast to earlier commentators who have discussed social accountability expectations for medical schools, we focus on physician education after medical school and describe four priorities for social responsiveness in the postgraduate medical education system.

• The first pertains to ensuring that the size, specialty mix, and geographic distribution of the physician workforce is adequate to meet patient and population health needs [5, 6].
• The second priority pertains to the skill set necessary to enable the profession to meet societal goals for access, population health, and the stewardship of resources [7] while addressing health disparities [8] and the social determinants of health [9] in increasingly diverse populations.
• The third priority relates to enhancing the diversity and inclusiveness of the learning environment; this includes increasing the representation of racial, ethnic, and other minorities in the physician workforce and promoting an inclusive and supportive environment for all trainees.
• The fourth priority pertains to ensuring a safe, respectful, and supportive learning and working environment that facilitates the professional development of physicians while providing safe and effective care in settings where trainees learn and participate in care.

네 가지 우선순위에 대한 세부 사항은 표 1, 2, 3, 4에 나와 있습니다. 세 가지 우선순위는 미래의의사 노동력과 관련이 있으며, 하나는 미래의사 노동력의 전문적인 사회화를 위한 맥락을 제공하는 학습 환경과 관련이 있다. 이러한 우선 순위는 Boelen의 사회적 의무 규모를 보완하고 운영화를 촉진합니다 [4].

Detail on the four priorities is shown in Tables 1, 2, 3 and 4. Three of the priorities relate to the future physician workforce, and one to the learning environment that provides the context for the professional socialization of the future physician workforce. These priorities complement Boelen’s social obligation scale and facilitate its operationalization [4].

표 1 우선순위 1: 의료진의 적절한 규모, 전문적 혼합 및 지리적 구성
Table 1 Priority 1: Appropriate size, specialty mix, and geographic composition of the physician workforce

표 2 우선순위 2: 지속 가능한 비용으로 의료 및 인구 보건에 대한 사회적 목표를 달성하기 위한 의사 역량
Table 2 Priority 2: Physician competencies for meeting societal goals for health care and population health at a sustainable cost

표 3 우선순위 3: 의료 인력의 다양성, 학습 및 작업 환경의 다양성 및 포괄성
Table 3 Priority 3: Diversity of physician workforce, and diversity and inclusiveness in the learning and working environment

표 4 우선순위 4: 의사를 위한 전문적 개발과 안전하고 효과적인 환자 관리를 공동 제작할 수 있는 안전하고 지원적인 학습 환경

Table 4 Priority 4: A safe, supportive learning environment that facilitates the co-production of professional development for physicians and safe and effective patient care

사회적 대응 목표 충족을 위한 접근 방식
Approaches to meeting social responsiveness aims

표 1, 2, 3, 4에서 우리는 네 가지 우선 순위를 다루기 위해 시스템 수준(정부 실체와 인가자), 기관 및 프로그램 및 개인의 개입을 요약한다. 이는 인증를 많은 영역에서 사회적 책임의 지렛대로 강조한다. 우리는 1995년 WHO 문서에서 논의한 사회적 책무에 대한 네 가지 가치, 즉 

• (1) 관련성(의료 교육의 목표가 그것이 봉사하는 지역사회의 요구와 목표와 일치하는 정도), 
• (2) 품질(의학교육이 trainee와 graduate가 practice하는 환경 양쪽에서 모두 양질의 효과적인 케어에 기여하는 정도)
• (3) 비용 효과(의료 교육이 비용 효율적인 관리에 기여하는 정도), 
• (4) 형평성(모든 사람이 의료 서비스를 이용할 수 있도록 하고, 여성과 인종, 민족 및 기타 구성원이 의료 교육을 받을 수 있도록 하는 것) [3]
  

In Tables 1, 2, 3 and 4, we summarize interventions at the level of the system (government entities and accreditors), the institution and program, and the individual to address the four priorities. This highlights accreditation as a lever for social accountability in many domains. We relate the social responsiveness priorities we identified to four values for social accountability discussed in a 1995 WHO document:

• (1) relevance (the degree to which the aims of medical education are congruent with the needs and aims of the communities it serves);
• (2) quality (the degree to which medical education contributes to high-quality, effective care, both in the settings where trainees participate in care and in graduates’ future practice);
• (3) cost-effectiveness (the extent to which medical education contributes to cost-effective care); and
• (4) equity (making health care available to all, and making medical education accessible to women and members of racial, ethnic, and other minorities) [3].

표 1, 2, 3, 4에 나타난 네 가지 사회적 대응성 우선순위는 새로운 것이 아니며, 여기서 요약된 많은 측면은 의과대학의 사회적 책무에 대한 합의 문서와 일치한다[26]. 그러나 사회적 책무의 차원에 대한 일반적인 인식과 상당한 합의에도 불구하고, 대학원 의학 교육에서 사회적 대응성을 폭넓게 다룬 연구는 거의 없었다. 지금까지의 연구는

• 의료 인력의 규모와 분배 최적화[27],
• 1차 진료 및 시골지역 교육 프로그램에 대한 자금 지원 강화[28],
• 학습자를 서비스 부족 환자에게 관리를 제공하는 설정에 노출시키는 서비스 학습 프로젝트

...처럼 단일 측면을 해결하기 위한 노력에 초점을 맞추었다[29]. 대학원 학습 및 작업 환경을 개선하기 위한 노력은 연습생 근무 시간 제한[30, 31]과 안전하고 효과적이며 지원적인 학습 환경을 촉진하기 위한 개입[12]에 초점을 맞추고 있다.
The four social responsiveness priorities shown in Tables 1, 2, 3 and 4 are not new, and many of the aspects summarized there are congruent with a consensus document on the social responsibility of medical schools [26]. Yet, despite a general appreciation and considerable agreement on dimensions of social accountability, few studies have broadly addressed social responsiveness in postgraduate medical education. Work to date has focused on efforts to address a single aspect, such as

• optimizing the size and distribution of the physician workforce [27],
• enhanced funding for primary care and rural training programs [28], and
• service learning projects to expose learners to settings that provide care for underserved patients [29].

Efforts to enhance the postgraduate learning and working environment have focused on trainee work hour limits [30, 31] and interventions to promote a safe, effective, and supportive learning environment [12].

• 사회적 책무성 목표를 충족하는 프로그램을 장려하기 위해 [PGME를 위한 기금을 재할당하자]는 제안[32]과 같은 개념적 수준에서 더 광범위한 개입을 위한 제안이 일반적으로 제기되었으며, 일부 논평자들은 기금 할당에 사용할 측정 기준을 권고했다[33].
• 캐나다에서는, 대학원 의학 교육의 미래를 다룬 한 단체 컨소시엄의 보고서가 의사들이 봉사하는 공공에 대한 사회적 책무성을 강조했다[34].
• 학부 의학 교육 수준에서 미국의 "사회적 책무" 지표 제안은 의과대학의 output을 졸업생이 어느 정도 비율로 일차의료나, 의료인 부족 지역에서 근무하는지, URM의 비율이 얼마인지 평가하였다. 의과대학 순위는 의과대학이 이러한 사회적 임무에 기여한 바가 상당히 다르다는 것을 보여주었다 [35].
  
• Suggestions for broader interventions have generally been made at the conceptual level, such as proposals in the United States to reallocate funding for graduate medical education to incentivize programs that meet social accountability aims [32], and some commentators have recommended metrics to be used in the allocation of funds [33].
• In Canada, the report of a consortium of organizations that addressed the future of postgraduate medical education emphasized the social accountability of physicians to the public they serve [34].
• At the undergraduate medical education level, a US proposal for a “social mission” metric assessed the output of medical schools as the percentage of graduates who practice primary care, work in areas affected by a shortage of health professionals, and are members of under-represented minorities; their ranking showed that medical schools vary substantially in their contribution to these social missions [35].

량 기반 PGME 시스템이 사회적 대응 목표를 충족하려면 인증 기관은 다음을 보장해야 합니다.

• 학습은 관련 역량을 강조한다
  
• 졸업생이 의료 접근, 인구 건강, 환자 진료 경험 향상 및 유한 의료 자원의 책임에 대한 사회적 목표를 충족할 수 있는 속성을 보유한다.

Meeting goals for social responsiveness in a competency-based postgraduate medical education system requires accrediting organizations to ensure

• that learning emphasizes relevant competencies, and
• that graduates possess the attributes to meet societal goals for health care access, population health, improved patient experience of care, and stewardship of finite health care resources [8].

미국에서는 2019년부터 시행되는 인증기준에 따라 대학원 의학 교육 프로그램이 "숙의 설계" 접근방식을 사용하여 "지원 기관의 전반적인 임무 내에서, 그들이 복무serve하는 공동체의 요구, 그리고 그들이 양성고자 하는 의사의 능력에 적합한 목표를 설정하도록 요구하고 있다"[36]. 새로운 표준에는 또한 프로그램 평가 및 개선에서 인력 다양성이 고려될 것이라는 기대도 포함되어 있다[20]. 이와 같은 표준은 의사 교육 시스템이 사회적 요구를 더 잘 충족시킬 수 있도록 하는 변화에 영향을 미치는 대학원 의학 교육의 능력을 증가시킬 것이다.

In the United States, accreditation standards that will become effective in 2019 call for postgraduate medical education programs to use a “deliberate design” approach to set aims relevant to the “needs of the communities they serve, within the overall mission of their sponsoring institution, and the capabilities of physicians they intend to graduate” [36]. The new standards also include an expectation that workforce diversity be considered in program evaluation and improvement [20]. Standards like these will increase the ability of postgraduate medical education to influence change that allows the physician education system to better meet societal needs.

사회적 기대 충족을 위한 과제 극복
Overcoming challenges to meeting societal expectations

GME의 사회적 책무성을 개선하기 위한 전략은 시간적 제약, 다른 커리큘럼 구성 요소와의 경쟁, 재정적 제한, 그리고 제도적 저항에 의해 저해될 수 있다. 인가를 통한 사회적 책임의 촉진은 인가된 프로그램과 후원 기관이 운영되는 환경의 영향을 받는 [복잡한 적응적 시스템]이라는 사실에 민감할 필요가 있다. 이는 [감독 기관으로부터 발생할 수 있는 상충적 요구]와 [의료 교육계의 다양한 이해 관계와 초점]을 충족시키는 능력을 제한시킨다. 예를 들어, 네덜란드에서, 책임성, 교육 집중, 신뢰, 역할 모델링 및 일과 삶의 균형에 관한 상출적 관점이 국가의 대학원 의학 교육 시스템의 미래에 대한 논의에서 나타났다[38].
Strategies to improve the social accountability of postgraduate medical education can be impeded by time constraints, competition with other curricular components, financial limitations, and institutional resistance. The promotion of social accountability through accreditation will need to be sensitive to the fact that accredited programs and sponsoring institutions are complex adaptive systems [37] influenced by the environments in which they operate. This constrains their ability to meet the range of potentially competing demands that arise from oversight organizations and the varying interests and foci within the medical education community. For example, in the Netherlands, competing perspectives with regard to accountability, educational focus, trust, role modelling, and work-life balance emerged in discussions about the future of the nation’s postgraduate medical education system [38].


미국과 캐나다와 같은 대부분 시장 기반 시스템에서는 의료 인력의 규모와 혼합을 최적화하려는 노력과 관련하여 추가적인 과제가 있다(표 1). 인가자는 일반적으로 인가 결정에서 인력진의 적정성 결정을 이용하지 않기 때문에 인가를 [직접 지렛대]로 사용할 수 없다[39]. 또한, 공식 커리큘럼과 학습 경험은 generalist의 실습과 소외된 모집단의 관리를 촉진할 수 있지만, 이러한 모집단의 일반의 실습과 관리를 위한 의사의 공급을 증가시키기 위한 노력은 일반의사 전문성 격하를 포함한 의료교육의 "숨겨진 커리큘럼"[40]을 해결해야 한다. 여기에는 매우 필요한 전문 분야에 대한 제너럴리스트 전공분야[41]와 재정적[42] 및 사회적[41] 보상 구조의 격하를 포함한다.
There are additional challenges with regard to efforts to optimize the size and mix of the physician workforce (Table 1) in largely market-based systems such as the United States and, to a lesser degree, Canada. Accreditation cannot be used as a direct lever, as accreditors generally are enjoined from using workforce adequacy determinations in accreditation decisions [39]. In addition, while formal curricula and learning experiences can promote generalist practice and care of underserved populations, efforts to increase the supply of physicians for generalist practice and care in these populations need to address the “hidden curriculum” [40] in medical education, including the disparagement of generalist specialties [41] and the financial [42] and societal [41] reward structure for these highly needed specialties.

세계적으로 의사들을 더 큰 자유, 더 높은 보상, 더 나은 삶의 질을 가진 국가로 이동시키거나 지역 의사들의 부족 문제를 해결하기 위한 "두뇌 유출"에 대한 우려가 있다 [43]. 2011년, WHO는 의사의 해외이주로 인해 질병 부담이 높고 이미 보건 인력의 부족에 직면하고 있는 국가에 피해를 줄 수 있다는 사실을 인식하여 보건 인력의 국제 채용에 관한 글로벌 실무 강령을 제정했다[14]. 호주와 뉴질랜드의 의사 부족 문제를 해결하기 위한 노력은 [교육 및 보건 시스템의 요소를 환자 치료 요구에 맞추는 것]이 [의사 "수입" ]보다 더 효과적이라고 제안했다 [44]. 아랍에미리트에서는 에미리트 국민이 국가와 지역에 봉사할 차세대 의사를 양성하기 위한 노력이 있습니다 [45].
Globally, there are concerns with the “brain drain” that results from the migration of physicians to nations with greater freedom, higher reimbursement, and better quality of life, or to address local physician shortages [43]. In 2011, the WHO instituted a Global Code of Practice on the International Recruitment of Health Personnel, in recognition of the fact that the out-migration of physicians may hurt nations that have a high disease burden and already face shortages in their health workforce [14]. Efforts to address physician shortages in Australia and New Zealand have suggested that aligning elements of education and health systems with patient care needs is more effective than “importing” physicians [44], and in the United Arab Emirates there are efforts to train Emirati nationals to make up the next generation of physicians to serve the nation and region [45].


GME의 사회적 요구와 기대치를 해결하는 것은 효과적인 접근 방식과 이해 관계자에 대한 홍보, 성공과 도전 탐색, 채택 또는 적응을 위한 효과적인 실천에 대한 정보 수집 및 보급을 포함한 추가 작업의 영역이다.

Addressing societal needs and expectations in postgraduate medical education is an area for additional work, including research on effective approaches and outreach to stakeholders, exploring successes and challenges, and gathering and disseminating information on effective practices for adoption or adaptation.

결론

Conclusion

대학원 의학 교육의 사회적 대응성은 시스템, 기관, 프로그램 및 개인 수준의 다양한 접근방식을 통해 달성될 수 있다. 인증은 다양한 국가 맥락과 다양한 차원의 사회적 대응성에 걸쳐 효과적일 수 있는 잠재력을 가지고 있다. 핵심 관측은 역량 기반 대학원 의학 교육 시스템에서 사회적 대응력을 충족하려면 학문이 관련 역량을 강조하고, 졸업생이 원하는 속성을 보유하도록 인가 기관이 보장해야 한다는 것이다. 이와 함께 대학원 의료교육을 후원하는 기관이 지원적이고 인문학적인 학습과 근무환경에서 안전하고 효과적인 환자진료를 제공하는 역할이 있다.

Societal responsiveness in postgraduate medical education can be achieved through a range of approaches at the system, institution, program, and individual levels. Accreditation has the potential to be effective across different national contexts and across the various dimensions of social responsiveness. A key observation is that meeting social responsiveness in a competency-based postgraduate medical education system requires accrediting organizations to ensure that learning emphasizes relevant competencies, and that graduates possess desired attributes. At the same time, there is a role for institutions that sponsor graduate medical education to provide safe and effective patient care in a supportive, humanistic learning and working environment.

BMC Med Educ. 2020 Sep 28;20(Suppl 1):309.

 doi: 10.1186/s12909-020-02125-1.

Responsiveness to societal needs in postgraduate medical education: the role of accreditation

Ingrid Philibert 1, Danielle Blouin 2

Affiliations collapse

Affiliations

• 1Department of Medical Education, Frank H. Netter MD School of Medicine at Quinnipiac University, North Haven, CT, USA. ingrid.philibert@quinnipiac.edu.

• 2Faculty of Health Sciences (Department of Emergency Medicine) and Faculty of Education, Queen's University, Kingston, Ontario, Canada.

• PMID: 32981520

• PMCID: PMC7520978

• DOI: 10.1186/s12909-020-02125-1

Free PMC article

Abstract

Background: Social accountability in medical education has been defined as an obligation to direct education, research, and service activities toward the most important health concerns of communities, regions, and nations. Drawing from the results of a summit of international experts on postgraduate medical education and accreditation, we highlight the importance of local contexts in meeting societal aims and present different approaches to ensuring societal input into medical education systems around the globe.

Main text: We describe four priorities for social responsiveness that postgraduate medical education needs to address in local and regional contexts: (1) optimizing the size, specialty mix, and geographic distribution of the physician workforce; (2) ensuring graduates' competence in meeting societal goals for health care, population health, and sustainability; (3) promoting a diverse physician workforce and equitable access to graduate medical education; and (4) ensuring a safe and supportive learning environment that promotes the professional development of physicians along with safe and effective patient care in settings where trainees participate in care. We relate these priorities to the values proposed by the World Health Organization for social accountability: relevance, quality, cost-effectiveness, and equity; discuss accreditation as a lever for change; and describe existing and evolving efforts to make postgraduate medical education socially responsive.

Conclusion: Achieving social responsiveness in a competency-based postgraduate medical education system requires accrediting organizations to ensure that learning emphasizes relevant competencies in postgraduate curricula and educational experiences, and that graduates possess desired attributes. At the same time, institutions sponsoring graduate medical education need to provide safe and effective patient care, along with a supportive learning and working environment.

Keywords: Accreditation; Diversity; Equity; Postgraduate medical education; Societal accountability.

의학교육 인증에서 CQI의 평가(BMC Med Educ, 2020)

Evaluation of continuous quality improvement in accreditation for medical education

Nesibe Akdemir1,2*, Linda N. Peterson3, Craig M. Campbell4 and Fedde Scheele1,2,5,6

배경

Background

설계 [1]과 인증 시스템 [2, 3]의 가치는 추가 연구가 필요한 주제이다. 본 연구에서 우리는 의료 교육에서 지속적 질 개선(CQI)의 장점을 성찰한다.
The design [1], as well as the value of accreditation systems [2, 3], are topics that require additional research. In this study we reflect on the virtues of continuous quality improvement (CQI) in medical education.

의료 교육 프로그램의 인증은 프로그램이 제공하는 교육의 질을 보장하고 졸업생이 배출한다는 암묵적인 믿음이 있다 [4,5,6]. 최근 외국 의학 졸업생 교육 위원회의 발표에 의해 의학 교육 프로그램의 인가의 중요성이 더욱 증대되었다. 발표문에는 2023년까지 미국 레지던시 교육을 받을 수 있는 유일한 후보자는 세계의학교육연맹(World Medical Education)의 승인을 받은 단체로부터 적절한 공식화되고 적용된 표준에 의해 인정받은 의대 졸업생이 될 것이라고 명시돼 있다.

There is an implicit belief that the accreditation of medical education programs ensures the quality of the education these programs provide and the graduates they produce [4,5,6]. The importance of the accreditation of medical education programs has been further heightened by a recent announcement by the Educational Commission for Foreign Medical Graduates. The announcement states that, by the year 2023, the only candidates who can be certified, and therefore considered for residency education in the United States, will be graduates of medical schools that have been accredited by organizations approved by the World Federation of Medical Education as working to appropriately formulated and applied standards [7]. 

인증가 합의되었다는 존중에도 불구하고, 인증 과정이 실제로 의도한 결과를 달성하는지 여부에 대해서는 쓰여진 바가 없다. 많은 국가에서 의료 교육 프로그램의 인증은 전통적으로 일화적episodic 평가에 기초해 왔다[8]. 일반적으로, 에피소드 평가는 현장 방문을 포함하는 인증 기관의 [외부 검토]이며, [지정된 간격으로 반복]된다 [8, 9]. 최근에는 인가의 초점이 일화 평가에서 CQI로 옮겨가고 있다[10,11,12,13]. 서비스나 제품에 대한 품질관리에 대한 접근방법으로 산업계에서 시작된 [14,15,16,17]은 품질지표를 사용하는 조직개선의 끝없는 주기이다[18].

Despite the respect that accreditation is accorded, little has been written about whether the accreditation process actually achieves its intended outcomes. In many jurisdictions, accreditation of medical education programs has traditionally been based on episodic evaluation [8]. In general terms, an episodic evaluation is an external review by an accreditation authority that includes on-site visits and is repeated at specified intervals [8, 9]. More recently, the focus of accreditation has been shifting from episodic evaluation to CQI [10,11,12,13]. CQI, which originated in industry as an approach to quality control for services or products [14,15,16,17], is a never-ending cycle of organizational improvement that uses quality indicators [18].

앞에서 설명한 것처럼, CQI가 여러 국가에서 도입되었지만 의학 교육에 있어 CQI 시스템의 편익을 위한 문헌의 증거는 불충분하다. 그 결과는 충분한 경험적 증거 없이 사용되고 있는 새로운 관료주의 도구이다. 그런 만큼 의학교육에서 CQI의 장단점을 조사하는 것이 중요하다. 이 유틸리티 중심 평가[19]에서 우리는 거버넌스 감독에 대한 일련의 품질 기준을 사용하여 이러한 장단점을 더 잘 조명한다.

As explained before, the evidence in literature for the benefits of a CQI system in medical education is insufficient, although CQI has been introduced in several jurisdictions. The result is a new bureaucratic instrument that is being used without sufficient empirical evidence. As such, it is important to investigate the pros and cons of CQI in medical education. In this utility-focused evaluation [19] we use a set of quality criteria for governance oversight to shed more light on these pros and cons.

방법

Methods

우리는 자연주의적 효용 중심 평가를 수행하기로 결정했다[19]. 
We chose to perform a naturalistic utility-focused evaluation [19]. 

의료 교육 인증 문헌에서 확고한 이론적 배경을 사용할 수 없었기 때문에, 우리는 의료 교육 분야에서 출발하지 않은 [정부 감독에 대한 일련의 품질 기준]을 사용하기로 선택했다.
We chose to use a set of quality criteria for government oversight that did not originate from the field of medical education, because a firm theoretical background in the accreditation literature for medical education was not available.

우리 저자 팀은 기준에 따라 인증 사례의 설명자와 CQI 평가자의 역할을 모두 맡게 되었다. 저자들은 기준을 사용하여 각 시스템에 대해 토론하고 평가했으며 품질 기준에 대한 패턴을 검색했다. 이러한 토론 중에 각 시스템에 대한 자세한 질문은 해당 시스템을 담당하는 저자에 의해 답변되었습니다. 이 과정은 저자들이 각 기준에 대해 합의에 도달할 때까지 반복적으로 반복되었다.

Our author team was assigned to the roles of both descriptor of the accreditation cases and evaluator of CQI based on the criteria. The authors discussed and evaluated each system using the criteria and searched for patterns with respect to the quality criteria. During these discussions, detailed questions about each system were answered by the author responsible for that system. This process was repeated iteratively until the authors reached consensus for each criterion.

사례 예: 세 가지 인증 시스템
Case examples: three accreditation systems

CQI의 장단점에 대한 논의를 위한 컨텍스트를 독자에게 제공하기 위해 인증 시스템을 간략하게 소개한다. 

In the next section, the accreditation systems are briefly introduced to give the reader a context for our discussion about the pros and cons of CQI. A comprehensive description of the systems may be found on the websites of the accreditation authorities (afmc.ca; cacms-cafmc.ca; lcme.org; www.knmg.nl; www.royalcollege.ca) or obtained from the authors. 

미국과 캐나다의 학부 인증 제도
The American and Canadian undergraduate accreditation systems

북미에서는 캐나다 의과대학 인증위원회(CACMS)와 미국 및 캐나다의 의과대학 의료교육 연락위원회(LCME) 등 두 기관이 의학 학위 수여 프로그램을 인가한다. CACMS와 LCME는 그들이 인가하는 프로그램과 관련된 외부 기관이다. 인증 주기는 동료 검토 팀의 현장 방문을 포함한다. 하나의 전체 조사와 다음 조사 사이의 간격은 8년이다. 전체 조사의 내부 검토 과정은 약 2년을 필요로 하며 인적 자원과 재정적 자원의 지출의 상당부분을 차지한다.
In North America, two authorities accredit medical degree-granting programs: the Committee on Accreditation of Canadian Medical Schools (CACMS) for medical schools in Canada, and the Liaison Committee on Medical Education (LCME) for medical schools in the United States and Canada. The CACMS and the LCME are external bodies with respect to the programs they accredit. The accreditation cycle includes an on-site visit by a peer-review team; the interval between one full survey and the next is 8 years. The internal review process for the full survey requires approximately 2 years and involves a major expenditure of human and financial resources.

2009년, 캐나다 의과대학협회(AFMC)는 주기 동안 표준 준수를 달성하고 유지하기 위해 CACMS 인증 표준의 중간 지점에서 검토를 포함하는 캐나다 의과대학에 대한 의무 중간 검토 프로세스(IRP)를 승인했다. AFMC IRP는 현재 CACMS와 독립적이며, 프로세스의 효과는 현재 진행 중인 검토의 대상이다. CACMS의 승인을 받은 LCME는 인증 표준 준수를 모니터링하기 위한 CQI 프로세스를 학교에게 요구하는 인증 표준을 도입했다. 이는 2015-16학년도에 시행되었다[5]. CQI에 대한 이러한 필수 요구사항의 유효성을 결정하기 위한 연구가 필요하다.

In 2009, the Association of Faculties of Medicine of Canada (AFMC) approved a mandatory interim review process (IRP) for Canadian medical schools that includes a review of CACMS accreditation standards at the mid-point of the formal accreditation cycle, along with CQI to achieve and maintain compliance with standards throughout the cycle [8]. The AFMC IRP is currently independent of the CACMS, and the effectiveness of the process is the subject of ongoing review. The LCME, with the endorsement of CACMS, has introduced an accreditation standard requiring schools to have a CQI process to monitor compliance with accreditation standards; this came into effect during the 2015–16 academic year [5]. Research is needed to determine the efficacy of these mandatory requirements for CQI.

네덜란드 대학원 인증제도
The Dutch postgraduate accreditation system

네덜란드 시스템에서는 레지던시 훈련의 인증을 위한 두 가지 중요한 외부 기관이 있다: 

• CGS(레지던시 훈련의 인증을 위한 입법 대학)와 
• RGS(전문 등록 위원회). 

In the Dutch system there are two important external authorities for the accreditation of residency training:

• the CGS (Legislative College for Accreditation of Residency Training) and
• the RGS (Specialist Registration Committee). 

이들은 네덜란드 왕립 의학 협회(KNMG)의 단체들이다. CGS는 인가를 위한 규정(훈련 요건)을 설정하는 책임을 지는 반면, RGS의 역할은 이러한 규정 준수를 모니터링하는 것이다. 교육병원 각 전공과에 RGS가 의뢰한 조사팀이 5년마다 방문한다. 교습병원의 레지던시 교육과 관련하여 특별히 의무적인 내부 품질 관리 시스템은 없지만, 내부 품질 관리를 수행할 수 있는 충분한 도구와 시스템을 이용할 수 있다. 어떤 형태의 CQI를 수행하기 위해서는 대학원 의학 교육 프로그램이 필요하다.

These are bodies of the Royal Dutch Medical Association (KNMG). The CGS is responsible for setting regulations (training requirements) for accreditation, while the RGS’s role is to monitor compliance with these regulations. The medical specialties in teaching hospitals are visited every 5 years by a survey team commissioned by the RGS. There are no specific mandatory internal quality management systems regarding residency training in teaching hospitals; however, sufficient instruments and systems are made available to conduct internal quality control. The postgraduate medical education programs are required to perform some form of CQI.

캐나다의 지속적인 전문 개발 인증
Continuous professional development accreditation in Canada

CPD(Continuous Professional Development) 인증 시스템에는 공급자 기반 인증과 활동 기반 인증의 두 가지 기본 유형이 있습니다. 

There are two basic types of continuous professional development (CPD) accreditation systems: provider-based accreditation and activity-based accreditation. 

• 활동 기반 CPD 인증 시스템에서 제공자(의사)는 자신이 개발한 활동이 확립된 행정, 교육 및 윤리 표준을 준수하는지 여부에 대한 증거를 인가 기관에 제출한다. 인증 기관이 표준이 충족되었다는 데 동의하는 경우, 활동은 승인된다. 활동 기반 인증은 예를 들어 캐나다의 가정의학과 대학(College of Family Physicians)에 의해 사용됩니다. 

In activity-based CPD accreditation systems, providers submit evidence to the accreditation organization about whether or not an activity they have developed complies with established administrative, educational, and ethical standards. If the accreditation authority agrees that the standards have been met, the activity is approved. Activity-based accreditation is used, for example, by the College of Family Physicians of Canada. 

• 공급자 기반 CPD 인증 시스템은 [일련의 표준을 준수함을 입증하는 능력에 기초하여] 조직을 지속적인 교육의 기관 제공자로 인정한다. 인가 과정에는 종종 동료-검토 팀이 CPD 조직의 리더십, 행정 직원 및 참가자와 특정 표준을 논의할 기회를 갖는 현장 방문이 포함된다. 조직이 승인되면 인증 주기 동안 개발하는 모든 활동은 자동으로 신용 승인을 받습니다.

Provider-based CPD accreditation systems recognize organizations as institutional providers of continuing education on the basis of their ability to demonstrate adherence to a set of standards. The accreditation process frequently includes an on-site visit in which a peer-review team has the opportunity to discuss specific standards with, among others, the CPD organization’s leadership, administrative staff, and participants. Once an organization is approved, all activities it develops during its accreditation cycle are automatically approved for credit. 

공급자 기반 인증 시스템은 캐나다 왕립 의사 및 외과 대학(RCPSC)이 국가 전문 학회를 포함한 국가 및 지방 CPD 조직에 초점을 맞추기 위해 사용하는 반면, CACME(Continuous Medical Education, CACME)는 지속적인 의료 교육의 대학 사무소에 초점을 맞춘다. (CME) 의학의 능력에 있어서. 이 두 제공자 인가 시스템은 연속적인 인가가 표현되고 촉진되는 과정을 설명하기 위해 사용될 것이다.

A provider-based accreditation system is used by the Royal College of Physicians and Surgeons of Canada (RCPSC) to focus on national and provincial CPD organizations, including national specialty societies, while the Committee on Accreditation of Continuing Medical Education (CACME) focuses on the university offices of continuing medical education (CME) in the faculties of medicine. These two provider accreditation systems will be used to illustrate the process by which continuous accreditation is expressed and promoted.

감독 기준
Criteria for oversight

인증은 실제로 감독 수단이다. 서로 다른 이해관계자가 관여하고 있음에도 불구하고 의료에서 정부 및 인증 프로세스의 감독 기능은 품질 개선을 달성하는 데 있어 유사한 어려움[20, 21]과 씨름할 수 있다. 네덜란드 정부정책과학협의회(WR)는 7가지 기준을 사회적 대응 감시를 위한 기준으로 식별했다 [22](표 1) 이들의 일반적인 적용 가능성을 고려하여, 우리는 미국과 캐나다의 대학 의학 교육, 네덜란드의 대학원 의학 교육, 캐나다의 CPD에서 CQI의 장단점을 평가하기 위해 이러한 기준을 사용했다.
Accreditation is actually a method of oversight. Oversight functions of government and accreditation processes in medicine may struggle with similar difficulties in achieving quality improvement [20, 21], even though different stakeholders are involved. The Netherlands Scientific Council for Government Policy (WRR) identified seven criteria as the basis for societally responsive oversight [22] (Table 1). Given their general applicability, we used these criteria to evaluate the pros and cons of CQI in undergraduate medical education in the United States and Canada; postgraduate medical education in the Netherlands; and CPD in Canada.

Table 1 Summary of the seven criteria and associated tasks

결과

Results

결과는 표 2에 요약되어 있으며, 기관 차원에서 CQI의 장단점에 대한 저자의 평가를 반영하고 있다.
The results are summarized in Table 2 and reflect the authors’ evaluation of the pros and cons of CQI at the institutional level.

Table 2 CQI at the institutional level

고찰

Discussion

우리의 연구 결과는 의학교육의 인증를 위한 통합 시스템이 [외부 당국]과 공익에 봉사하기 위한 시기적절한 성찰과 조치를 지원하는 [로컬 CQI 시스템]으로 구성될 수 있음을 보여준다. 외부 당국은 로컬 질관리 시스템이 있다면 더 적은 capacity만을 필요로 할 수도 있습니다. CQI의 단점은

• 관련된 관료주의와 비용,
• 다른 품질 시스템에 대한 간섭의 위험,
• 열린 문화의 필요성,
• 관련된 동료의 공평성과 의존성과 관련된 잠재적인 문제이다.
  

Our findings show that an integrated system for accreditation of medical education may consist of external authorities and the local CQI system supporting timely reflection and action to serve the public interest. External authorities might even need less capacity due to local quality systems. The downside of CQI is

• the bureaucracy and costs involved,
• the risk of interference with other quality systems,
• the need for an open culture, and
• potential issues with impartiality and dependency of colleagues involved.

우리의 발견은 부분적으로 다른 문헌과 상충된다. 1980년대 이후 CQI는 제조업과 공학, 금융업, 교육, 의료 분야에서 사용되어 왔다. CQI를 추구하기 위해 다양한 방법(예: 계획-도-체크-액터 또는 계획-도-스터디-액트 주기, 제조 및 기타 분야의 식스 시그마 표준, "총 품질 관리")이 사용되었다 [23]. 이들 모두는 "개선 주기cycle of improvement"라는 개념을 공유하고 있다. 제조업에서, CQI는 결함을 줄이고, 비용을 낮추고, 품질과 생산성을 높이는 데 유용했습니다 [24, 25]. 건설업에서 그것은 경제적 이익, 고객 만족도 증가, 재작업 필요성 감소, 주택 사업의 결함 감소로 이어졌다 [26, 27]. 또한, CQI는 표준화 및 반복 프로세스에 쉽게 적용할 수 있습니다 [23].

Our findings partially conflict with other literature. Since the 1980s CQI has been used in manufacturing and engineering, the financial sector, education, and health care. Various methods have been used to pursue CQI (e.g., the plan-do-check-act or plan-do-study-act cycle, the Six Sigma standard in manufacturing and other fields, “total quality management”) [23]. All of these share the concept of a “cycle of improvement.” In the manufacturing industry, CQI has been useful in reducing defects, lowering costs, and increasing quality and productivity [24, 25]. In the construction industry it has led to economic benefits, increased customer satisfaction, a reduced need to re-do work, and declining defects in housing projects [26, 27]. Further, CQI is readily applicable to standardized and repetitive processes [23].

수술 치료에서 그것은 감염률을 감소시키고 수술실의 지연을 단축시키는 결과를 가져왔다 [23]. 이러한 긍정적인 문헌 보고서를 우리의 맥락에서 CQI의 평가와 비교하는 것은 긍정적인 결과의 출판 편향을 시사한다. 의료 및 의학교육에서 경제적 효과와 기타 결과를 측정하는 것은 어렵다 [28,29,30]. 우리의 맥락에서 비용 대비 편익 비율이 항상 긍정적이지는 않을 수 있다. 계획-실행-연구-행위 사이클의 모든 구성 요소를 검토하는 데 어려움이 앞에서 설명되었습니다 [30, 31, 32]. CQI에 관련된 관료주의와 비용, 다른 품질 시스템과의 간섭 위험, 개방적 문화의 필요성, 관련된 동료의 공평성과 의존성과 관련된 잠재적인 문제가 중요한 발견이다. 분석에 사용된 감독 기준은 이러한 문제를 감지하는 데 도움이 되었다.

In surgical care it has resulted in reduced infection rates and shorter delays in the operating room [23]. Comparing these positive literature reports with the evaluation of CQI in our contexts suggests a publication bias of positive results. It is difficult to measure economic effects and other outcomes in health care and medical education [28,29,30]. The cost–benefit ratio in our contexts may not always be positive. The difficulty in going through all the components of the plan-do-study-act cycle has been described before [30,31,32]. The bureaucracy and costs involved in CQI, the risk of interference with other quality systems, the need for an open culture, and potential issues with impartiality and dependency of colleagues involved are important findings. The criteria for oversight used in our analysis were instrumental to the detection of these issues.

결론

Conclusion

우리는 CQI 사용에 대한 의사 결정의 복잡성을 줄이기 위해 유틸리티 기반 평가를 수행했다. 결과는 찬성도 있고 반대도 있다. 

We performed a utility-based evaluation in the hope of reducing complexity in decision making about the use of CQI. The result is one of both pros and cons. 

BMC Med Educ. 2020 Sep 28;20(Suppl 1):308.

 doi: 10.1186/s12909-020-02124-2.

Evaluation of continuous quality improvement in accreditation for medical education

Nesibe Akdemir 1 2, Linda N Peterson 3, Craig M Campbell 4, Fedde Scheele 5 6 7 8

Affiliations collapse

Affiliations

• 1OLVG Teaching Hospital, Amsterdam, the Netherlands. n.c.akdemir@gmail.com.

• 2Amsterdam UMC, Amsterdam, the Netherlands. n.c.akdemir@gmail.com.

• 3Committee on Accreditation of Canadian Medical Schools, Ottawa, Canada.

• 4Royal College of Physicians and Surgeons of Canada, Ottawa, Canada.

• 5OLVG Teaching Hospital, Amsterdam, the Netherlands.

• 6Amsterdam UMC, Amsterdam, the Netherlands.

• 7Athena Institute for Transdisciplinary Research, Amsterdam, the Netherlands.

• 8Dutch Royal Medical Council, Chair Legislative College for Accreditation of Residency Training 2016-2019, Utrecht, the Netherlands.

• PMID: 32981518

• PMCID: PMC7520980

• DOI: 10.1186/s12909-020-02124-2

Free PMC article

Abstract

Background: Accreditation systems are based on a number of principles and purposes that vary across jurisdictions. Decision making about accreditation governance suffers from a paucity of evidence. This paper evaluates the pros and cons of continuous quality improvement (CQI) within educational institutions that have traditionally been accredited based on episodic evaluation by external reviewers.

Methods: A naturalistic utility-focused evaluation was performed. Seven criteria, each relevant to government oversight, were used to evaluate the pros and cons of the use of CQI in three medical school accreditation systems across the continuum of medical education. The authors, all involved in the governance of accreditation, iteratively discussed CQI in their medical education contexts in light of the seven criteria until consensus was reached about general patterns.

Results: Because institutional CQI makes use of early warning systems, it may enhance the reflective function of accreditation. In the three medical accreditation systems examined, external accreditors lacked the ability to respond quickly to local events or societal developments. There is a potential role for CQI in safeguarding the public interest. Moreover, the central governance structure of accreditation may benefit from decentralized CQI. However, CQI has weaknesses with respect to impartiality, independence, and public accountability, as well as with the ability to balance expectations with capacity.

Conclusion: CQI, as evaluated with the seven criteria of oversight, has pros and cons. Its use still depends on the balance between the expected positive effects-especially increased reflection and faster response to important issues-versus the potential impediments. A toxic culture that affects impartiality and independence, as well as the need to invest in bureaucratic systems may make in impractical for some institutions to undertake CQI.

Keywords: Accountability; Accreditation; Continuous quality improvement; Internal review; Medical education; Quality management.

졸업후의학교육에서 효과적인 평가인증: 과정에서 성과로, 그리고 뒤로 (BMC Med Educ, 2020)

Effective accreditation in postgraduate medical education: from process to outcomes and back
Glen Bandiera1*, Jason Frank2, Fedde Scheele3,4,5, Jolanta Karpinski2 and Ingrid Philibert6

배경

Background

의사 교육 프로그램의 인증은 [의료 커뮤니티와 대중]에게 [교육의 질과 의료 실천과의 관련성]을 보장하기 위한 것이다. 인증은 또한 의료 교육, 의사 관행 및 의료 시스템의 변화를 자극하는 수단이다[1]. 의사 교육에 대한 인증 표준의 수립은 환자 치료와 인구 건강을 개선하고, [2] 진료 비용을 절감하며, 학습자의 기대치를 충족하고, [3] 의료 교육의 형평성에 대한 우려에 대응해야 하는 필요성에 의해 추진되었다[4, 5].

The accreditation of physician education programs is meant to assure the medical community and the public of the quality of education and its relevance to medical practice. Accreditation is also a means of stimulating change in medical education, physician practice, and health care systems [1]. The formulation of accreditation standards for physician education has been driven by the need toimprove patient care and population health, reduce the cost of care [2], address learner expectations [3], and respond to concerns about equity in medical education [4, 5]. 

인증 과정의 일부로 결과 데이터를 수집하고 사용하는 것에 대한 관심이 높아지고 있다. 즉, 교육 프로그램의 효과를 측정하기 위한 지표로 졸업 후 의사의 전문적 실습과 관련된 결과를 사용한다[6, 7]. 졸업생들의 역량과 관련된 교육 결과를 평가하기 위한 프레임워크는 
There is a growing interest in collecting and using outcomes data as part of the accreditation process; that is, using outcomes related to physicians’ professional practice after graduation as a metric for the effectiveness of educational programs [6, 7]. Frameworks for assessing educational outcomes related to the competencies of graduates include

• the CanMeds 2015 Physician Competency Framework (Royal College of Physician and Surgeons of Canada) [8];
• the Milestones Project (US Accreditation Council for Graduate Medical Education) [9];
• Tomorrow’s Doctor (UK General Medical Council) [10], and
• the Scottish Doctor (Scottish Deans’ Medical Education Group) [11].

이러한 프레임워크는 학부 및 대학원 의학 교육에 걸쳐 있으며 다양한 국가의 의료 시스템 요구에 맞춰 조정되지만, 모두 [high-performing 의사의 특성을 식별]하는 데 관심을 공유합니다 [12, 13]. 동시에, 의사 교육 프로그램의 인가를 임상 결과와 연결하는 데 관심이 있으므로, [인증이 의료행위practice에 더 잘 준비된 의사를 생산함으로써 환자와 보건 시스템에 도움이 된다는 (소수의) 기존 증거]를 기반으로 한다[12,13,14].

Although these frameworks span undergraduate and postgraduate medical education and are tailored to the needs of health care systems in various countries, all share an interest in identifying the attributes of high-performing physicians [12, 13]. Concurrently, there is an interest in linking the accreditation of physician education programs to clinical outcomes, thus building on the limited existing evidence that accreditation benefits patients and health systems by producing physicians who are better prepared for practice [12,13,14]. 

이는 역량 기반 의료 교육(CBME)으로의 이동을 둘러싼 몇 가지 의구심에 비추어 볼 때 중요한 목표이다. CBME가 의사 진료의 모든 차원을 포착하지 못할 수 있는 환원주의적 프레임워크를 고수한다는 오해가 있다 [3] 역량 기반 접근 방식이 모든 학습자가 실습을 위해 준비되도록 하기보다는 가속 학습accelerating learning에 대한 선점을 조장할 수 있다는 우려가 있다[15].

This is an important objective in light of some misgivings that have surrounded the movement toward competency-based medical education (CBME) – which include the perception that CBME adheres to a reductionist framework that may not capture all dimensions of physician practice [3] and concerns that competency-based approaches may encourage a preoccupation with accelerating learning rather than ensuring that all learners are prepared for practice [15].

2013년 가을 캐나다 왕립의과대학은 국제 레지던시 교육회의와 연계하여 열린 정상회담에서 인증 전문가 및 교육자로 구성된 국제 그룹을 소집하여 대학원 프로그램 인증의 미래를 논의하였다. 작업 그룹은 상주 프로그램의 인증과 관련된 주제에 대한 심층적인 분석을 수행하는 데 책임이 있다. 본 논문은 레지던트 프로그램의 인증과 관련하여 교육 과정과 결과를 다루는 실무 그룹의 심의를 제시한다. 이 그룹은 세 가지 질문을 고려했다. 

• (1) 인증의 성과란 무엇인가? 
• (2) 인증에서 프로세스와 성과 척도 각각의 역할은 무엇인가?
• (3) PGME 프로그램 인증은 어떤 성과 척도를 사용할 수 있는가?

In the fall of 2013, the Royal College of Physicians and Surgeons of Canada convened an international group of accreditation experts and educators at a summit held in conjunction with the International Conference on Residency Education to discuss the future of postgraduate program accreditation. Working groups were charged with carrying out in-depth analyses of topics relevant to the accreditation of residency programs. This paper presents the deliberations of a working group that addressed educational process and outcomes in relation to the accreditation of residency programs. The group considered three questions:

• (1) What are accreditation outcomes?
• (2) What are the respective roles of process and outcome measures in accreditation?
• (3) What outcome measures can be used in the accreditation of postgraduate physician education programs?

메인 텍스트

Main text

자격 영역 및 인증의 교육 및 임상 결과
Competence domains and educational and clinical outcomes in accreditation

1998년 Donabedian은 "의료 품질에 대한 추론을 도출할 수 있는 정보를 '구조', '과정', '결과'의 세 가지 범주로 분류"될 수 있는 진료품질 평가 모델을 제안하였다[17]. 마찬가지로, 의료 교육의 인증 기준은 오랫동안

• 구조 요구사항(예: 교수진, 임상 공간 및 기술과 관련된)과
• 프로세스 요구사항(예: 절차적 볼륨, 길이 및 임상 및 교육 경험 유형과 관련된)을 통합했다[1]. 

In 1998 Donabedian proposed a model for the assessment of the quality of care in which “the information from which inferences can be drawn about the quality of care can be classified under three categories: ‘structure,’ ‘process,’ and ‘outcomes’” [17]. Similarly, accreditation criteria in medical education have long incorporated

• structural requirements (e.g., as related to faculty, clinical space, and technology) and
• process requirements (e.g., pertaining to procedural volume and length and type of clinical and didactic experiences) [1].

그러나 CBME로의 전환과 함께 의료 프로그램 인증의 품질 척도로서의 진료 성과practice outcome에 대한 강조가 최근에서야 나타났다. CBME는 의사 교육 프로그램의 졸업생들의 지식, 기술 및 속성에 초점을 맞추고 이러한 영역에서 학습자 개발에 대한 책임을 강화한다[1, 7, 13]. 이는 학습자와 미래의 인가된 프로그램 졸업자가 봉사할 사람을 포함하여 이해관계자에 대한 책임을 증가시킨다 [1, 13]. 역량 기반 프레임워크는 표 1에 제시된 비교 요약에서 알 수 있듯이 국가별로 유사하다.

However, an emphasis on practice outcomes as a quality measure in the accreditation of medical programs has emerged only recently, in tandem with the shift toward CBME. CBME focuses on the knowledge, skills, and attributes of graduates of physician education programs and enhances accountability for learner development in these domains [1, 7, 13]. This increases accountability to stakeholders, including learners and those who will be served by the future graduates of accredited programs [1, 13]. Competency-based frameworks are similar across nations, as shown by the comparative summaries given in Table 1.

표 1 네 가지 국가 프레임워크의 결과 중심 인증 차원
Table 1 Outcomes-focused accreditation dimensions in four national frameworks

학습, 환자 치료 및 의료 시스템 결과
Learning, patient care, and health systems outcomes

성과outcome는

• 학습 성과,
• 환자 및 인구 건강 성과,
• 보건 시스템 성과...로 분류될 수 있다.

Outcomes can be categorized as

• learning outcomes;
• patient and population health outcomes; and
• health system outcomes.

우리의 실무 그룹은 즉각적 학습 성과로 다음을 고려했다.

• 트레이닝 기간 내의 내 필기 시험
• 객관화 구조화 임상 시험[18],
• 졸업률
• 졸업생들이 치르는 표준화된 인증 시험
• 실무에서 졸업생과 이들을 고용하는 기관에 대한 설문 조사,

Our working group considered immediate learning outcomes, including

• performance on in-training written examinations,
• objective structured clinical examinations [18],
• graduation rates, and
• standardized certification examinations taken by graduates,
• along with surveys of graduates in practice and of the institutions that employ them.

현재로서는, 인증certification 시험에 대한 성과 이외에, 인증의 영향을 평가하기 위한 교육 결과의 사용은 거의 존재하지 않는다. 이는

• 연습 패턴 및 환자 결과와 관련된 가용 데이터 부족,
• 교육 프로그래밍으로 추적할 수 있는 의미 있는 조치에 대한 합의 부족
• 이러한 활동을 엄격하게 추구하기 위한 프로그램과 기관을 금지하는 자원 제약 때문일 수 있다.

이러한 많은 역사적 과제는 본 논문의 뒷부분에서 논의된 데이터 책임의 즉각적인 진화에 의해 완화될 수 있다.

At present, other than performance on certification examinations, the use of educational outcomes to assess the impact of accreditation is largely non-existent. This may be due to

• the lack of availability of data related to practice patterns and patient outcomes,
• lack of consensus on meaningful measures that can be traced to educational programming, or
• resource constraints that prohibit programs and institutions for pursuing such activities with rigour.

Many of these historic challenges may be mitigated by imminent evolutions in data stewardship discussed later in this paper. 

포커스 그룹 참가자들은 또한 [환자와 의료 시스템의 수준에서 성과]를 식별했다. 또한, 관련 결과는 그들이 고려 중인 인구와 사회문화 환경에 따라 달라질 수 있다고 느꼈다. 표 2는 경제 개발 상태와 관련된 샘플 이분법적 척도에 걸쳐 표 1에 요약된 의사의 역량 기대치에 매핑될 수 있는 지표의 프레임워크를 보여준다. 예를 들어, 커뮤니케이션 기술은 네 가지 프레임워크 모두에서 참조되며, 우수한 커뮤니케이션 기술은 환자 만족도 및 치료법 준수 강화와 같은 긍정적인 결과와 관련이 있다[19]. 우리는 집합적으로 표 2에 나열된 결과 측정치를 프로그램 효과의 지표로 사용할 수 있다고 제안한다. 표는 개발도상국의 PGME와 관련된 측정기준을 넘어 선진국의 [만성 및 생활습관 관련 조건에 더 큰 중점]을 두는 방식으로 의료 교육 시스템의 성과를 평가하는 성과는 두 경제 유형 간에 상대적으로 거의 차이가 없음을 보여준다.

The focus group participants also identified outcomes at level of the patient and the health care system. Furthermore, it was felt that relevant outcomes may vary depending on the population and sociocultural milieu for which they are contemplated. Table 2 shows a framework of metrics that can be mapped to the competency expectations for physicians outlined in Table 1, across a sample dichotomous scale related to state of economic development. For example, communication skills are referenced in all four frameworks, and good communication skills have been associated with positive outcomes such as patient satisfaction and increased adherence to therapy [19]. We propose that, collectively, the outcome measures listed in Table 2 could be used as indicators of program effectiveness. The table shows that, beyond metrics that relate to the emerging postgraduate medical education enterprise in developing economies, and a greater focus on chronic and lifestyle-related conditions in developed economies, outcomes to assess the performance of medical education systems vary relatively little between the two types of economies.

표 2 환자 진료 및 보건 시스템 결과에 기초한 인증을 위한 샘플 작업 프레임워크

Table 2 A sample working framework for accreditation based on patient care and health system outcomes

실무에서 교육이 결과에 미치는 영향에 대한 연구는 교육 결과와 환자 결과 간에 많은 연결을 만들었다. 예를 들어,

• 한 연구에서는 면허 시험의 의사소통 점수가 낮으면 규제 당국에 대한 환자 불만 발생 빈도가 높아질 것으로 예측한 반면 [20]
• 다른 연구에서는 면허 검사 점수 상승과 상담 속도 증가, 더 나은 처방 방법, 더 높은 유방 촬영 검사 스크리닝 비율, 노인 환자들에게 더 적절한 처방 사이의 연관성이 발견하였고, 이러한 효과의 지속성을 입증했다 [21, 22].
• 산부인과 환자에 대한 대규모 연구는 레지던시 프로그램에서의 임상 치료의 질과 졸업생들이 10년 반 동안 실천에 옮기는 치료의 질 사이의 지속적인 연관성을 보여주었다 [23].
• 보건 시스템 수준에서 연구는 레지던시 프로그램의 특성과 졸업생들의 보수적 실천 능력 사이의 연관성을 보여주었다[24].
• 또 다른 연구는 특정 지역의 레지던시 프로그램과 관련된 비용-보수적 실천 스타일이 교육 후 15년 동안 지속된다는 것을 발견했다[25].
  

Research on the impact of education on outcomes in practice has made a number of links between educational outcomes and patient outcomes. For example,

• one study found that poor communication scores in licensure examination was predictive of a greater frequency of patient complaints to regulatory authorities [20],
• while other studies found an association between higher licensing examination scores and higher rates of consultation, better prescribing practices, higher mammography screening rates, and more appropriate prescribing for elderly patients, and also demonstrated the persistence of these effects [21, 22].
• A large study of obstetrical patients showed an enduring association between the quality of clinical care in the residency program and the quality of care graduates deliver for a decade and a half into practice [23].
• At the health system level, studies have shown an association between the characteristics of residency programs and graduates’ ability to practice conservatively [24];
• another study found that a cost-conservative style of practice associated with residency programs in certain regions persisted 15 years after training [25].
  

교육 프로그램의 잠재적인 성과 중 하나는 임상 실습 "발자국footprint"에 의해 결정되는 [졸업생들의 사회적 영향]이다. 전문성, 장소 및 실습 범위에 대한 논의에서, 참가자들은 프로그램이 통제가능한 성과에만 책임을 지고 평가되어야 한다는 데 동의했다. 토론은 [보수, 의료자원 할당, 인센티브 패키지, 전문직 및 라이프스타일 고려사항 등] 다양한 요인들이 졸업생의 전공과 의료행위지역practice location선택에 영향을 미친다고 강조했다. 이러한 요인은 지역, 지역 또는 국가의 의료 요구에 가장 적합한 의사를 생산하는 개별 프로그램의 능력에 영향을 미칠 수 있다. 이로 인해

• [개별 프로그램 수준]에서 의사 인력진 고려사항에 대한 책임을 지는 것이 적절한지, 또는
• [기관이나 단체]가 이 책임을 지역적 또는 국가적 차원에서 갖는 것이 더 적절하다고 봐야하는지에 대한 의문이 제기된다.

One potential outcome of educational programs is the societal impact of the graduates, as determined by their clinical practice “footprint.” In the discussion of specialty, and location and scope of practice, participants agreed that programs should be held accountable for, and assessed against, only those outcomes within their control. The discussion emphasized that various factors influence graduates’ choice of specialty and practice location, including remuneration, health care resource allocation, incentive packages, and professional and lifestyle considerations. These factors may affect the ability of individual programs to produce physicians who represent the best fit for the health care needs of their area, region, or country. This raises the question as to

• whether it is appropriate to place responsibility for physician workforce considerations at the level of the individual program, or
• whether this responsibility should more appropriately be assumed by institutions or entities at the regional or national level.

참가자들은 최소한 대학원 교육 프로그램은 건강 인적 자원 계획과 학습자들에게 사회적 책임을 이행할 의무와 기회에 대해 교육하는 적극적인 파트너가 되어야 한다고 강조했다. 인증 기관은 이러한 사회적 의무를 다루기 위한 프로그램 시도의 설계와 영향을 평가해야 한다.

Participants emphasized that, at a minimum, postgraduate education programs should be active partners in health human resource planning and in educating learners about their obligations and opportunities to fulfill societal responsibilities. Accreditation bodies should assess the design and impact of programs’ attempts to address these societal obligations.

데이터 수집 및 사용 시 당면 과제
Challenges in data collection and use

앞의 절에서 인용한 연구는 전공의가 훈련하는 환경에서 가르치는 질과 환자 관리의 질이 향후 실천에 영향을 미친다는 것을 보여준다. 성과 척도로서 실무에서의 성과는 미래의 인가 시스템[26]의 핵심 혁신으로 제안되었지만, 현재까지 어떤 인증 프레임워크도 의료행위practice의 성과를 평가 프로세스에 통합할 수 없었다. 그 이유는 

• (1) 데이터 수집 및 측정 과제, 
• (2) 과거 교육은 고사하고 특정 개별 실무에 결과를 귀속시키는 고유의 어려움, 
• (3) 교육 완료와 인가자에 대한 많은 관심 결과 사이의 시간차를 포함한다.
  

Collectively, the studies cited in the previous section show that the quality of teaching and patient care in settings where residents train has an impact on their future practice. Performance in practice as an outcome measure has been proposed as a key innovation in the accreditation systems of the future [26], but to date no accreditation frameworks have been able to incorporate practice outcomes into their assessment process. The reasons for this include

• (1) data collection and measurement challenges;
• (2) the inherent difficulty of attributing outcomes to specific individual practice let alone to their past education; and
• (3) the time lag between the completion of training and many outcomes of interest to accreditors.
  

• 첫 번째 과제는 데이터 수집에 대한 부담과 비용에 관한 것으로, 임상 환경이 실제로 졸업생들의 성과에 미치는 영향의 강도에 대해 저울질해야 한다. 즉, 상관 관계나 수정 가능성이 낮다면 데이터 수집 비용을 들일 가치가 있는가? 종종 관심 결과에 대한 실현 가능하고 의미 있는 측정치를 식별하기가 어렵다. 기존 연구는 인증 기관과 면허 기관 사이의 동종 환자 모집단, 국가 청구 데이터 및 데이터 링크를 사용했지만, 모든 관련 환자 그룹 또는 모든 국가에 존재하는 것은 아니다. 또한 데이터 소유 및 사용에 대한 질문이 있으며, 이 영역에서는 개인 정보 보호 문제와 기타 법적 고려 사항을 해결하기 위한 작업이 필요합니다. 

The first challenge pertains to the burden and cost of data collection, which must be weighed against the strength of the impact of the clinical environment on graduates’ performance in practice. That is to say, is it worth the cost of data collection if the degree of correlation or potential for modification are poor? It is often difficult to identify feasible, meaningful measures for outcomes of interest. The existing studies used homogeneous patient populations, national billing data, and data links between certification and licensure authorities, but these do not exist for all relevant patient groups, or in all countries. In addition, there are questions about data ownership and use, and this area will require work to address privacy concerns and other legal considerations.

• 두 번째 과제는 교육 결과를 관심의 단위인 프로그램에 공평하고 공정하게 귀속시키는 능력과 관련이 있다. 교육적 성취와 실제 수행은 교육의 특성뿐만 아니라 개인의 능력에 의해 영향을 받는다. 고도로 선정된 학습자 그룹은 교육 프로그램의 효과나 인증에 관계없이 우수한 성과를 거둘 수 있으며, 졸업자가 서비스하는 초급성 환자 그룹은 교육 또는 인증 시스템의 효과와 관계없이 더 안 좋은 성과가 발생할 수 있다.

The second challenge relates to the ability to unequivocally and fairly attribute educational outcomes to the unit of interest: the program. Educational attainment and performance in practice are influenced by individual abilities as well as by the characteristics of the education. A highly selected group of learners may perform well regardless of the effectiveness of their education program or its accreditation, while a high-acuity group of patients served by graduates may experience poorer outcomes regardless of the effectiveness of the education or accreditation system. 

• 세 번째 과제는 많은 성과가 코호트가 훈련을 완료한 후 한참 후에야 명백해진다는 것이다. 이 시간 지연을 고려할 때, 프로그램이 의미 있는 변경을 하기에는 피드백이 너무 늦을 수 있다. 이러한 지연은 결과 조치에 의해 프로세스 조치가 일괄적으로 대체될 경우 훈련생들로 하여금 수준 미달의 교육에 대한 위험에 처하게 할 수 있다.

The third challenge is that many outcomes do not become apparent until long after a cohort completes training; given this time lag, feedback may come too late for programs to make meaningful changes. This delay could put trainees at risk for substandard education if process measures were replaced en bloc by outcome measures.

결과 및 프로세스 측정의 각 역할
The respective roles of outcome and process measures

우리의 논의에서 나온 하나의 주제는 교육 과정과 성과 사이의 관계에 관한 것이었다.

• 일부 참가자는 프로세스 요건 준수에 대한 강조를 줄이면 인증 프로세스가 교육 프로그램에 부과하는 부담을 줄일 수 있고 기술 혁신을 위한 더 큰 자유를 얻을 수 있다는 점에 주목하면서 [교육 성과에 초점을 두는 것]을 옹호했다[1].
• 그러나 대다수의 참가자는 명시적인 준수 의무가 없더라도 실무에서 이러한 요인들이 성능에 미치는 영향을 입증한 여러 연구를 고려할 때, 프로그램은 [작업 및 학습 환경의 특성과 교육 방법을 포함한] [프로세스에 주의를 기울여야 한다]고 지적했다[20, 21, 22, 23,].24,25].

One theme that emerged from our discussions pertained to the relationship between educational processes and outcomes.

• Some participants advocated a focus on educational outcomes, noting that reducing the emphasis on adherence to process requirements would reduce the burden that the accreditation process places on educational programs and would also allow them greater freedom to innovate [1].
• However, the majority of participants noted that, even in the absence of explicit compliance mandates, programs need to be attentive to process, including educational methods and attributes of the working and learning environment, given the multiple studies that have demonstrated the impact of these factors on performance in practice [20,21,22,23,24,25].

이들 참가자는 인가자가 결과에 대한 배타적 집중이 전공의 교육의 모범 사례를 과소평가할 수 있다고 느꼈으며, [교육, 환자 치료 및 학습 환경 관점에서 중요한 것으로 나타난] 프로세스 차원을 유지하는 것에 대한 관심을 확인했다. 그들은 또한 품질을 개선하기 위한 개입이 커리큘럼, 학습 경험, 평가, 안전하고 지지적이며 존중하는 학습 환경 보장과 같은 다양한 프로세스 차원에서 발생할 것이라고 언급했다. 말하자면, 성과의 대리지표surrogate가 될 수 있는 일부 프로세스 요소는 프로그램 성공을 위한 보다 직접적인 척도로 대체될 수 있다. 마찬가지로, 사례 수 및 작업 시간 등 오래되고 문제가 있는 지표는 객관적인 역량 평가를 대신 도입하여 폐기할 수 있다.

These participants felt that an exclusive focus on outcomes by accreditors could undervalue best practices in resident education, and affirmed their interest in retaining process dimensions that have been shown to be important from an educational, patient care, and learning-environment perspective. They also noted that interventions to improve quality will occur in various process dimensions, such as curricula, learning experiences, assessment, and ensuring a safe, supportive, and respectful learning environment. That being said, some process elements that serve as surrogates for outcomes could be replaced by more direct measures of program success. Similarly, antiquated and problematic indicators such as case counts and time on task can be retired in lieu of objective competency assessments.

권고안

Recommendations

• 역량평가가 훈련과 실무 모두에서 대학원 의학 교육의 질 평가에 유용한 데이터를 제공한다는 데 공감대가 형성됐다.
• 동시에, 참가자들은 성과를 측정하고 이 정보를 사용하여 개선을 촉진하기 위한 시기적절하고 실행 가능한 피드백을 생성하는 것이 본질적으로 어려운 일임을 인정했다.
• 그들은 또한 프로세스 척도가 고품질의 교육과 인증에 여전히 중요하다는 데 동의했다.

논의 결과, 인증에 프로세스와 결과 측정치를 사용하기 위한 일련의 권고안을 책임 있는 실체에 의해 조직되었다.

• There was a consensus that the assessment of competency, both in training and in practice, provides useful data for the quality assessment of postgraduate medical education.
• At the same time, participants appreciated the inherent challenges in measuring outcomes and using this information to generate timely, actionable feedback to foster improvement.
• They also agreed that process measures remain critical to high-quality education and accreditation.

The discussion resulted in a set of recommendations for the use of process and outcome measures in accreditation, organized by responsible entity.

PGME를 위한 권고
Recommendations for postgraduate education programs

• 권고안 1: 프로그램 수준에서 수집된 데이터는 졸업 의사가 완전히 "실습 준비"되었는지, 즉 자신이 선택한 분야의 전체 실습을 수행할 수 있는지 여부를 평가해야 한다.
  
• 권고안 2: 모든 전공의와 전임의 포트폴리오에는 경력 계획 요소가 있어야 하며, 이는 마지막 교육 기간이 잔여 격차를 해소하고 연습 준비에 대한 자신의 이해도를 높일 수 있도록 도와준다.
  
• 권고안  3: 자기성찰, 지도·멘토 지원, 프로그램 실장 검토를 통해 교육생은 주기적으로 강점이 있는 분야와 추가 개발이 필요한 분야를 파악해야 한다.
  
• 권고안 4: 프로그램은 각 졸업생이 전문직 간 팀에서 효과적으로 일하는 데 필요한 특성과 행동을 표시하도록 보장해야 한다. 평가를 위한 데이터는 동료, 교수 및 간호사, 약사 및 기타 의료 전문가로부터 제공되어야 한다.
  
• 권고안 5: 프로그램은 학습 또는 전문적 문제challenge를 가진 전공의를 해결하기 위한 노력과 효과적인 교정조치 및 개발 전략에 대해 보고해야 한다.
  
• 권고안 6: 프로그램은 졸업생들의 피드백과 같은 일부 결과 데이터를 수집해야 하며, 이 정보를 사용하여 교육 프로세스를 개선하고 혁신해야 한다.
  

• Recommendation 1: Data collected at the program level should assess whether a graduating physician is fully “practice ready,” that is, competent in the full spectrum of practice in his or her chosen field.

• Recommendation 2: All residents and fellow portfolios should have a career planning component, to help ensure that their final period of training addresses residual gaps and to enhance their own understanding of their readiness for practice.

• Recommendation 3: Through self-reflection, preceptor and mentor support, and program director review, trainees should periodically identify areas of strength and areas in need of further development.

• Recommendation 4: Programs should ensure that each graduate displays the characteristics and behaviours necessary to work effectively in interprofessional teams. Data to inform assessment should come from peers, faculty, and health professionals such as nurses, pharmacists, and others.

• Recommendation 5: Programs should report on their efforts to address residents with learning or professional challenges, and on remediation and development strategies they have found effective.

• Recommendation 6: Programs should collect some outcomes data, such as feedback from graduates, and use this information to improve and innovate educational processes.

인증 조직 수준의 권장 사항
Recommendations at the accrediting organization level

• 권고안 7: 인증 기관은 진행 중인 개선 활동에서 프로그램이 사용할 수 있도록 의미 있고, "실시간에 근접한" 피드백을 제공하는 결과 데이터를 식별해야 한다.
  
• 권고안 8: 인증 기관은 학습 환경 문제에 대한 감독에 특화된 프로세스 지표를 식별하거나 개발해야 한다.
  
• 권고안 9: 인증 기관은 프로그램 및 교육 품질 개선을 촉진하고, 인증에 가치를 창출하며, 사회적 요구를 충족시키기 위해 프로세스 결과와 환자 관리 결과 모두에 관련된 적절한 표준을 개발 및 배치해야 한다.
  

• Recommendation 7: Accrediting organizations should identify outcome data that offer meaningful, “near-real-time” feedback for use by programs in ongoing improvement activities.

• Recommendation 8: Accrediting organizations should identify or develop process indicators that specifically allow oversight of learning environment issues.

• Recommendation 9: Accrediting organizations should develop and deploy an appropriate mix of standards pertaining to both process outcomes and patient care outcomes, to promote program and educational quality improvement, create value in accreditation, and meet societal needs.

결론

Conclusion

인증 기관들은 지속적인 교육 품질 개선에 초점을 맞추기 시작하고 있으며, 실행 결과 조치의 사용을 중요한 진전이라고 보고 있다. 이러한 접근방식은 의료 교육에 포함시키는 데 시간이 걸릴 수 있지만 그렇지 않으면 실현 가능하지 않을 수 있는 개선으로 귀결될 것이다. 인가에서 성과의 사용은 발전이 유망한 분야이지만, 데이터 수집, 통합 및 해석의 과제를 제시하며, 더욱이 프로세스와 결과 측정치는 계속해서 집합적으로 사용될 것이다. 이 국제적인 전문가 및 이해관계자 그룹은 국가 보건 인력 계획을 위한 수단으로서 인가를 통해 과제를 강조하고, 프로세스와 결과에 대한 지속적인 이중 집중의 필요성을 확인했다. 인가자는 이러한 속성을 의미 있고 효과적이며 효율적인 방법으로 사용하는 시스템을 설계해야 할 것이다.
Accrediting bodies are beginning to focus on continuous educational quality improvement, and view the use of practice outcome measures as an important step forward. These approaches may take time to embed themselves in medical education, yet will result in improvements that otherwise may not be feasible. The use of outcomes in accreditation is a promising development, but it also presents challenges in data collection, aggregation, and interpretation; moreover, process and outcome measures will continue to be used collectively. This international group of experts and stakeholders highlights challenges with accreditation as a means for national health workforce planning, and identified the need for a continued dual focus on process and outcomes. Accreditors will need to design a system that uses these attributes in a meaningful, effective, and efficient way.

멀지 않은 미래에 임상 결과, 치료 경험 및 보건 시스템 성능을 포착하는 대규모 데이터 세트는 프로그램 품질의 다차원을 평가하고 유능한 의사를 양성하기 위한 사회적 계약이 유지되고 있음을 대중들에게 보증하기 위한 풍부한 정보의 별자리를 제공할 수 있다. 매력적인 특징은 모범적인 프로그램을 식별할 수 있는 가능성이다. 이러한 예에서는 우수한 결과에 기여하는 프로세스에 초점을 맞출 것이 확실합니다.

In the not-to-distant future, large datasets that capture clinical outcomes, experience of care, and health system performance may provide a rich constellation of information to assess multiple dimensions of program quality and assure the public that the social contract to train competent physicians is being upheld. An attractive feature is the potential to identify exemplary programs. For such exemplars, the focus will assuredly be on the processes that contribute to their superior outcomes.

BMC Med Educ. 2020 Sep 28;20(Suppl 1):307.

 doi: 10.1186/s12909-020-02123-3.

Effective accreditation in postgraduate medical education: from process to outcomes and back

Glen Bandiera 1, Jason Frank 2, Fedde Scheele 3 4 5, Jolanta Karpinski 2, Ingrid Philibert 6

Affiliations collapse

Affiliations

• 1University of Toronto, Toronto, Canada. BandieraG@smh.ca.

• 2Royal College of Physicians and Surgeons of Canada, Ottawa, Canada.

• 3OLVG Teaching Hospital, Amsterdam, The Netherlands.

• 4VU Medical Center, School of Medical Sciences, Amsterdam, The Netherlands.

• 5Athena Institute for Transdisciplinary Research, Amsterdam, The Netherlands.

• 6Department of Medical Education, Frank H. Netter MD School of Medicine at Quinnipiac University, North Haven, CT, USA.

• PMID: 32981523

• PMCID: PMC7520979

• DOI: 10.1186/s12909-020-02123-3

Free PMC article

Abstract

Background: The accreditation of medical educational programs is thought to be important in supporting program improvement, ensuring the quality of the education, and promoting diversity, equity, and population health. It has long been recognized that accreditation systems will need to shift their focus from processes to outcomes, particularly those related to the end goals of medical education: the creation of broadly competent, confident professionals and the improvement of health for individuals and populations. An international group of experts in accreditation convened in 2013 to discuss this shift.

Main text: Participants unequivocally supported the inclusion of more outcomes-based criteria in medical education accreditation, specifically those related to the societal accountability of the institutions in which the education occurs. Meaningful and feasible outcome metrics, however, are hard to identify. They are regionally variable, often temporally remote from the educational program, difficult to measure, and susceptible to confounding factors. The group identified the importance of health outcomes of the clinical milieu in which education takes place in influencing outcomes of its graduates. The ability to link clinical data with individual practice over time is becoming feasible with large repositories of assessment data linked to patient outcomes. This was seen as a key opportunity to provide more continuous oversight and monitoring of program impact. The discussants identified several risks that might arise should outcomes measures completely replace process issues. Some outcomes can be measured only by proxy process elements, and some learner experience issues may best be measured by such process elements: in brief, the "how" still matters.

Conclusions: Accrediting bodies are beginning to view the use of practice outcome measures as an important step toward better continuous educational quality improvement. The use of outcomes will present challenges in data collection, aggregation, and interpretation. Large datasets that capture clinical outcomes, experience of care, and health system performance may enable the assessment of multiple dimensions of program quality, assure the public that the social contract is being upheld, and allow identification of exemplary programs such that all may improve. There remains a need to retain some focus on process, particularly those related to the learner experience.

Keywords: Accreditation; Clinical outcomes; Competency frameworks; Outcome measures; Process measures; Societal accountability.

의학교육 평가인증 시스템 설계에서 "목적적합적" 프레임워크 (BMC Med Educ, 2020)

A “fit for purpose” framework for medical education accreditation system design
Sarah Taber1*, Nesibe Akdemir2,3, Lisa Gorman1, Marta van Zanten4 and Jason R. Frank1

배경

Background

인증은 의료 교육에서 품질 보증(QA)과 품질 개선(QI)의 강력한 레버입니다. 프로그램이 학습자를 해당 표준에 따라 가르치고 평가하며 최적의 학습 환경을 제공하고, 도전적이고 빠르게 진화하는 의료 시스템에서 실습할 수 있는 역량을 갖춘 전문가를 배출하는 데 도움이 되는 많은 의료 교육 시스템의 핵심 기능입니다. 또한 대부분의 의료 교육 인가 시스템은 유사한 프로세스 요소뿐만 아니라 유사한 표준 영역을 적용하고 관할권, 상황 또는 훈련 단계에 관계없이 유사한 도전과 토론에 직면한다. 
Accreditation is a powerful lever of quality assurance (QA) and quality improvement (QI) in medical education. It is a key feature of many medical education systems, helping to ensure that programs teach and assess learners according to applicable standards, provide optimal learning environments, and produce professionals who are competent to practise in challenging and rapidly evolving health care systems. In addition, most medical education accreditation systems apply similar standards domains as well as similar process elements and face similar challenges and debates, regardless of jurisdiction, context, or stage of training. 

이들의 유사성에도 불구하고, 설계 및 구현 수준에서 인증 시스템 간에 상당한 차이가 있을 수 있다. 2013년 결과 기반 인증에 관한 세계 정상회의의 토론 그룹은 보건 전문가 교육 인증 시스템의 모범 사례를 조사했으며 인증 시스템에 대한 다양한 접근 방식의 효과를 검토하는 문헌이 부족함을 확인했다. 이러한 연구 격차는 인증 시스템의 효과를 평가하는 데 내재된 어려움과 함께 문헌에서 강조되었다 [2, 3].
Despite their similarities, there can be substantial variation among accreditation systems at the level of design and implementation. A discussion group at the 2013 World Summit on Outcomes-Based Accreditation examined best practices in health professional education accreditation systems and identified that the literature examining the effectiveness of different approaches to accreditation systems is scant. This research gap, together with inherent difficulties in evaluating the effectiveness of accreditation systems, has itself been highlighted in the literature [2, 3].

지역 인가 시스템에 대한 경험을 바탕으로, 토론 그룹의 구성원들은 또한 국가, 교육 유형 및 훈련 단계에 걸쳐 인가 시스템에 존재하는 상당한 차이가 종종 식별 가능한 근거가 거의 없거나 전혀 없다는 점에 주목하였다. 세계 의료 교육 연맹(WFME) 의료 학교 인증 기관의 인정 기준[4, 5]과 아크데미르와 동료가 기술한 품질 관리 프레임워크[6]와 같은 일부 인가 설계를 위한 프레임워크가 존재하지만, 이러한 기존 프레임워크는 종종 의료 교육 연속체의 한 단계로 한정된다. 이 특수성은 의료 교육 연속체의 다른 단계뿐만 아니라 다른 유형의 건강 전문 교육으로 일반화 가능성을 제한할 수 있다. 또한, Akdemir 및 동료[6]가 개발한 것과 같은 일부 프레임워크는 상세한 요구사항 및 설계 특성보다는 인증 시스템의 목적과 기타 매크로 레벨 특성에 초점을 맞춘다. 
Drawing on their own experience with local accreditation systems, the members of the discussion group also noted that the substantial variation that exists in accreditation systems across jurisdictions, type of education, and stage of training often has little or no identifiable rationale. Although some frameworks for accreditation design do exist, such as the World Federation for Medical Education (WFME) Recognition Criteria for Agencies Accrediting Medical Schools [4, 5] and the quality management framework described by Akdemir and colleagues [6], these frameworks are often specific to one phase of the medical education continuum. This specificity may limit generalizability to other types of health professional education as well as other stages of the medical education continuum. In addition, some frameworks, such as that developed by Akdemir and colleagues [6], focus on the purpose of the accreditation system and other macro-level characteristics, rather than detailed requirements and design characteristics. 

본 논문은 설계 옵션 및 이의 맥락적 의미를 명확히 하는 의료 교육 인가 운영 설계의 프레임워크를 정의하려고 시도한다. 우리의 프레임워크는 인증 시스템 개발에서 "one size fits all" 접근법을 지지하기보다는, 단일 모범 사례 집합은 없으며, 오히려 [설계 결정]의 집합이라고 가정한다. 이러한 결정은 신중하게 숙고한 인증 시스템이 프로그램에 의해 제공되는 교육 단계뿐만 아니라 해당 지역 관할권의 요구, 자원 및 상황적 고려사항과 적절하게 일치함을 보장할 수 있다. 따라서, 우리의 프레임워크는 로컬 컨텍스트에 "가장 적합한best fit" 시스템을 설계하는 수단을 제공한다.

This paper attempts to define a framework for the operational design of medical education accreditation that articulates design options as well as their contextual implications. Rather than espousing a “one size fits all” approach, our framework assumes that there is no single set of best practices in accreditation system development but, rather, an underlying set of design decisions. These decisions, when deliberated carefully, can ensure that an accreditation system is appropriately matched to the needs, resources, and contextual considerations of the local jurisdiction it serves as well as to the stage of education delivered by the program. Thus, our framework provides a means of designing systems that are a “best fit” for their local context.

주 텍스트

Main text

인증 시스템 설계를 위한 "목적 적합" 프레임워크
A “fit for purpose” framework for accreditation system design

"목적에 맞는" 접근 방식은 시스템, 정책 또는 프로그램이 현지 요구와 상황에 가장 적합한 방식으로 설계되고 운영되도록 하는 것을 목표로 한다. 이 접근법은 분권decentralization을 지지하는 교육 및 국제 개발을 위한 신흥 모델과 일치한다. 특히, 지역적이고 고유한 맥락[7]에 맞춘 접근법의 실험과 분석을 실제로 제한할 수 있는 단일 접근법 또는 모범 사례를 정의하려고 시도하기보다는, 목적 적합성에 대한 집중을 통해 다양한 인증 시스템이 "최적으로 정치적, 사회적, 경제적 환경에 맞게 조정"되도록 보장할 수 있다.[8]. 
A “fit for purpose” approach aims to ensure that a system, policy, or program is designed and operationalized in a manner best suited to local needs and contexts. This approach is aligned with emerging models for education and international development that espouse decentralization. Specifically, rather than attempting to define a single approach or best practice, which may actually limit experimentation with and analysis of approaches tailored to a local, unique context [7], a focus on fitness for purpose or best fit can help ensure that different accreditation systems are “optimally adapted to [their] political, social and economic context” [8]. 

월드 서밋에서 그룹 토론을 하는 동안, 참가자들은 각 인증 요소에 대한 관행과 접근 방식의 변화를 강조하면서 현지 맥락에서 인증 프로세스와 그들의 경험을 공유했다. 각 인가 시스템 요소에 대해, 최적의 결정은 물론 실용적 결정은 (인증 시스템의 역할 또는 목적, 지역 규제 상황 및 가용 자원과 같은) [지역적 요인에 의존할 것]이라는 점을 인정하면서, 다른 모델과 변형에 대한 함의를 고려한다. 궁극적으로, 본 논문은 관할 구역 내에서 의료 교육을 위한 새로운 또는 수정된 인가 시스템을 개발하고자 하는 사람들에게 설계 결정을 안내하는 유연한 프레임워크를 제공하기를 바란다.

During the group discussion at the World Summit, participants shared their experiences with accreditation processes in their local contexts, highlighting variations in practices and approaches for each accreditation element. For each accreditation system element, the discussion then considers implications for different models and variations, acknowledging that what might be optimal, or even practical, will depend on local factors such as the role or purpose of the accreditation system, the local regulatory context, and available resources. Ultimately, it is hoped that this paper will provide those who wish to develop a new or revised accreditation system for medical education within their jurisdiction with a flexible framework to guide their design decisions.

Table 1 A “fit for purpose” framework for medical education accreditation system design

인증 시스템 설계 요소
Elements of accreditation system design

표 1에 자세히 설명되어 있는 분류 체계와 서로 다른 인증 시스템에 걸친 변화를 사용하여, 이제 인증 시스템 설계의 다양한 요소의 실제적 의미를 탐구할 것이다.
Using the taxonomy as well the variations across different accreditation systems detailed in Table 1, we will now explore practical implications of the various elements of accreditation system design.

인증 시스템의 의무화
Accreditation system mandate

의학교육 인증 시스템의 의무화 여부는 다음에 따라 결정된다. 

• 조사 대상examine 교육의 유형 또는 단계,
• 인증 기관 자체의 역할뿐만 아니라 교육 시스템에서의 역할,
• QA 또는 QI에 대한 인증 시스템의 초점
• 인증 시스템의 범위

The mandate of a medical education accreditation system is determined by

• the type or stage of education it examines;
• its role in the education system as well as the role of the accrediting body itself;
• the focus of the accreditation system on QA or QI; and
• the scope of the accreditation system.

이 변수들은 서로 연결되어 있다. 예를 들어 QA 또는 QI(또는 둘의 조합)에 대한 인증 프로세스의 초점은 인증 시스템이 다루는 특정 유형의 교육 또는 단계 또는 시스템 전체에서의 인증 프로세스의 역할에 의해 추진될 수 있다.

• 따라서, 학부 의학 교육을 위한 인증 시스템은 대학원 프로그램보다 더 체계적이거나 처방적prescriptive일 수 있다.
• 마찬가지로, 대학원 프로그램을 위한 시스템은 전문적 개발을 계속하는 시스템보다 더 체계적이거나 규범적일 수 있다.
• 더 주니어 학습자를 위한 훈련 프로그램에 초점을 맞춘 시스템은 더 상위 학습자, 특히 이미 감독되지 않은 학습자보다 더 많은 제한, 표준화 및 학습자 보호를 요구할 수 있다.
  

These variables are interconnected. For example, the focus of the accreditation process on QA or QI (or a combination of both) may be driven by the particular type or phase of education that the accreditation system addresses, or by the role of the accreditation process in the system as a whole. Thus, accreditation systems for undergraduate medical education might be more structured or prescriptive than those for postgraduate programs; likewise, systems for postgraduate programs may be more structured or prescriptive than those for continuing professional development. Systems focused on training programs for more junior learners may require more restrictions, standardization, and protections for learners than those for more senior learners, particularly those already in unsupervised practice.


또한, 인가가 학습자의 인증과 인가에 영향을 미치는 경우(예: 인가된 프로그램의 졸업생만 인증 또는 면허를 받을 수 있거나 마찬가지로 인가된 과정만 인증 유지에 반영될 수 있는 경우), 인가는 종종 시스템의 의무적이거나 입법화된 요건이다. 반대로, 졸업생에 대한 자격증이나 면허 취득에 대한 함의가 없는 상황에서 인가는 선택적일 가능성이 더 높다.
Further, when accreditation has implications for the certification and licensure of learners (e.g., when only graduates of accredited programs can be certified or licensed, or similarly, only accredited courses can be counted toward maintenance of certification), accreditation is often a mandatory or legislated requirement of the system. Conversely, accreditation is more likely to be optional in contexts where there is no implication for certification or licensure for graduates.

마지막으로, 인증이 선택적인 경우에는 QI에 초점을 맞춘 보다 aspirational한 접근 방식과 더 잘 어울릴 수 있는 반면, 인증이 의무인 경우에는 최소한의 표준과 QA에 더 큰 초점을 맞출 수 있다. 마찬가지로, 국가 또는 지역 규제에 초점을 맞춘 시스템은 QA 접근방식을 강조할 가능성이 더 높을 수 있으며, 이는 QA 또는 열망 철학에 더 잘 적합할 수 있다.

Finally, contexts in which accreditation is optional might be better aligned with a more aspirational approach focused on QI, whereas mandatory accreditation might be associated with a greater focus on minimum standards and QA. Likewise, systems that are focused on national or local regulation may be more likely to emphasize a QA approach, in contrast with systems that are international in nature, which may be better suited to a greater emphasis on QI or an aspirational philosophy.

인증 표준
Accreditation standards

표준 분류법
Standards taxonomies

표준은 그들이 포함하는 기준의 유형과 그들의 기대치가 설정된 수준에 따라 다르다. 이러한 변화는 인가 시스템(예: QA 또는 QI)의 초점과 인가되는 교육 프로그램의 맥락(예: 개발 중이거나 잘 확립되어 있음)에 의해 주도될 수 있다.

Standards differ with respect to the types of criteria they include, as well as the level at which their expectations are set. These variations may be driven by the focus of the accreditation system (e.g., QA or QI) and the context of the education programs being accredited (e.g., under development or well established). 

• 예를 들어, 기본 또는 최소 표준과 프로세스에 초점을 맞춘 요구사항은 기본 인증 시스템, 즉 QA 또는 최소 표준에 초점을 맞춘 것뿐만 아니라 품질에 대한 초기 벤치마크를 설정하는 것을 목표로 하는 시스템과 가장 잘 일치할 수 있다. 또한 [훈련 프로그램의 표준화]가 인증 시스템의 목표이거나, 지역적 맥락 또는 제공되는 교육 단계에 중요한 경우, [구조와 프로세스 척도를 가장 두드러진 특징으로 하는 표준]이 가장 중요할 수 있다. 예를 들어, 국가 간 훈련의 상호성이 매우 중요한 시스템에서 인증 표준의 구조 및 프로세스 조치는 프로그램 간의 표준화를 보장하는 데 도움이 될 것이다.
  

For instance, requirements that focus on basic or minimum standards and processes may be best aligned with foundational accreditation systems, that is, those aimed at establishing an initial benchmark of quality, as well as with those focused on QA or minimum standards. In addition, standards that feature structure and process measures most prominently may be most essential when the standardization of training programs is the goal of the accreditation system or is important for the local context or the stage of education provided. For example, in systems where reciprocity of training between jurisdictions is highly important, structure and process measures in accreditation standards will help ensure standardization between programs.

• 반대로, 성과와 더불어 [본질적으로 열망적인aspirational 결과를 강조하는 표준]은 QI에 초점을 맞춘 표준뿐만 아니라 프로그램 구조 및 프로세스와 관련하여 유연성을 허용하는 인가 시스템에 더 적합할 수 있다. 점점 더 많은 인증 시스템이 표준에서 구조, 프로세스 및 결과 측정의 균형을 찾고 있습니다 [9].
  

Conversely, standards that emphasize outcomes, as well as those that are aspirational in nature, may be better suited to accreditation systems that permit flexibility with respect to program structures and processes, as well as those focused on QI. Increasingly, many accreditation systems are seeking a balance of structure, process, and outcome measures in their standards [9].

• [국제적으로 확립된 표준 프레임워크]는 국제 벤치마킹이나 비교에 초점을 맞춘 인가 시스템에 가장 적합할 수 있지만, 국가 전체의 시스템의 이질성과 표준의 특수성에 따라, [국소적 타당성 또는 적용성이 결여]될 수 있다.
• 반대로, [국지적으로 개발된 표준]은 특히 그러한 맥락에서 상당한 변화가 품질 표준의 높은 수준의 특수성을 필요로 할 때 국지적 맥락과 요건과의 더 나은 조정을 보장할 수 있다. 
• 반면에 [상황별 표준]은 다른 시스템과의 비교가능성의 이점이 없을 수 있다.

• Internationally established standards frameworks may be best suited to accreditation systems with a focus on international benchmarking or comparison, but, depending on the heterogeneity of systems across jurisdictions and the specificity of the standards, they may lack local face validity or applicability.
• Conversely, locally developed standards can ensure better alignment with local contexts and requirements, particularly when substantial variation in those contexts necessitates a high degree of specificity in quality standards.
• On the other hand, context-specific standards may lack the benefit of comparability with other systems.

기준 개발 또는 갱신 프로세스
Process of standards development or renewal

[인증 기준의 개발 및 갱신]을 위한 프로세스는 특히 표준 개발에 사용되는 내용, 검토 및 갱신 프로세스, 표준 평가 및 갱신 주기와 관련하여 상당한 변화를 보여준다. 예를 들어,

• 많은 인증 시스템은 합의 기반 접근방식뿐만 아니라 지역 전문가의 투입input에 기반하여 표준 개발 또는 갱신을 기반으로 하며, 이는 표준에 대해 평가되는 프로그램의 측면에서 더 나은 타당성과 수용성을 보장하는 데 도움이 될 수 있다.
• 반대로, 연구 증거에 기초한 표준 개발은 다른 시스템이나 부문으로부터 기술혁신을 식별하고 통합하는 이점을 가질 수 있다.
• 많은 인증 시스템은 기술혁신 영역을 통합하는 동시에 지역적 맥락에서 수용을 보장하기 위한 조치를 취하면서 혼합된 접근법에 의존한다.
  

Processes for the development and renewal of accreditation standards show substantial variation, particularly with regard to the content used for standards development, the process of review and renewal, and the cycle of standards evaluation and renewal. For example,

• many accreditation systems base their standards development or renewal on input from local experts as well as on consensus-based approaches, and this can help to ensure better face validity and acceptance on the part of the programs being evaluated against the standards.
• Conversely, standards development based on research evidence can have the benefit of identifying and incorporating innovations from other systems or sectors.
• Many accreditation systems rely on a mix of approaches, incorporating areas of innovation while still taking steps to ensure acceptance in the local context.

또한 표준 평가 및 갱신 주기는 [표준 개발에 사용할 수 있는 자원과 로컬 시스템이라는 컨텍스트에서 실용적인 것이 무엇인지]에 따라 달라질 수 있다. 적절하게, 이러한 주기는 또한 지역 환경에서 의료 교육 시스템이 얼마나 빠르게 변화하고 있는지에 의해 주도될 수 있다. 예를 들어, 중요한 커리큘럼 변경 기간 동안 더 빈번한 평가 및 갱신 주기가 필요할 수 있다.

Cycles of standards evaluation and renewal may also depend on the resources available for standards development, and on what is practical in the local system or context. Appropriately, these cycles may also be driven by how fast the medical education system is changing in the local environment; for example, more frequent cycles of evaluation and renewal may be needed during periods of significant curricular change.

인증 신청
Application for accreditation

신청 과정
Application process

신청 프로세스는 모든 인가 시스템에 보편적이지는 않지만, 일반적으로 일부 또는 모든 프로그램, 제공자 또는 기관이 신규 인증 또는 최초 인증 달성을 위한 프로세스를 요구하는 시스템에서 볼 수 있다. 프로그램이나 기관이 시작한 신청 프로세스에는 표준에 대한 외부 평가, 인가 보고서 및 인가 결정과 같은 정기적인 인가 주기의 전형적 측면이나 구성요소가 수반되는 경우가 많다. 그러나, 이러한 프로세스는 일반적으로 수정되고 확립된 프로그램이나 제공자를 위한 인가 시스템의 정기적인 인가 과정과는 별개이다.

An application process is not universal to all accreditation systems; however, it is typically seen in systems where some or all programs, providers, or institutions require a process for achieving new or first-time accreditation. An application process initiated by a program or institution often involves aspects or components typical of regular accreditation cycles, such as external assessment against standards, an accreditation report, and an accreditation decision; however, these processes are typically modified and separate from the accreditation system’s regular accreditation process for established programs or providers.

신규 인증의 경우, 인가를 받기 전에 학습자 입력input이 필수적이라고 간주되는 경우, 신청 프로세스 또는 초기 인가를 첫 번째 학습자가 프로그램을 시작하거나 완료한 후까지 연기할 수 있다. 또한 두 부분으로 구성된 프로세스를 고려하는 것이 유리할 수 있습니다. 

• 첫 번째 단계에서, 인증은 프로그램 시작 전에 제출된 문서 및 기타 정보에 기초하여 조건부로("새로운" 또는 "임시" 인가) 부여된다. 
  
• 학습자가 프로그램의 전부 또는 일부를 완료한 후 두 번째 애플리케이션 사이클이 뒤따릅니다.
  

For new accreditation, where learner input is deemed essential before accreditation can be granted, the application process or initial accreditation may be deferred until after the first learners have entered or completed the program. It may also be advantageous to consider a two-part process:

• in the first stage, accreditation is granted contingently (“new” or “provisional” accreditation) on the basis of documentation and other information submitted before the program starts;
• this would be followed by a second application cycle after learners have completed all or part of the program.

• 인증받을 의료 교육 시스템이나 프로그램이 신설되거나 아직 확립되지 않은 경우, [사전 인가 "준비성" 평가, 현장 또는 전화 기반 검토 또는 더 짧은 후속 조치 사이클과 같은 프로세스]가 프로그램에 대한 더 나은 정보를 제공할 수 있다. 이러한 프로세스의 이점은 널리 다른 프로그램을 포함하는 시스템이나 국제 범위를 가진 인가 시스템처럼 표준 준수와 인가에 대한 준비가 매우 다양한 시스템에서 특히 명확할 수 있다.
  

In cases where the medical education system or program being accredited is new or not yet established, processes such as a pre-accreditation “readiness” assessment, an on-site or telephone-based review, or a shorter cycle of follow-up may provide better information about the program being accredited. The benefit of such processes may be especially clear in systems that contain widely differing programs, or where readiness for accreditation and compliance with the standards varies widely, such as in accreditation systems with an international scope.

• 반대로, 인가되는 의료 교육 시스템이나 프로그램이 잘 확립되어 있거나 상황에 따라 덜 변하거나 적용 가능한 표준의 준수와 관련하여 덜 변한 경우, 종이 기반 검토와 초기 적용을 위한 더 긴 후속 조치 주기를 고려할 수 있다.

Conversely, where the medical education system or program being accredited is well established or is less varied with respect to contexts or compliance with applicable standards, it may be possible to consider a paper-based review and a longer cycle of follow-up for the initial application.

신규 인증에 대한 요구사항 또는 벤치마크
Requirements or benchmarks for new accreditation

신규 또는 최초 인증 신청서의 경우, 인가서가 교부되기 위해서는 해당 표준의 필수 또는 예상 준수를 확립해야 한다. 표 1에 나타낸 것처럼, (신규 인증에 대해서) 인증 시스템은 사전 설정된 threshold나 benchmark가 다르다. 일부는 기존 프로그램과 동일한 수준의 적합성을 요구하는 반면, 다른 일부는 최초 인가를 달성하기 위해 더 낮거나 더 높은 임계치를 허용한다. 일부 시스템은 코칭과 같은 전용 지원을 프로세스에 포함시켜 프로그램이 최초 인증을 획득할 수 있도록 지원합니다.
For new or first-time accreditation applications, the required or expected compliance with applicable standards must be established for accreditation to be granted. As shown in Table 1, accreditation systems differ in their pre-established thresholds or benchmarks; some require the same level of compliance as for pre-existing programs, while others allow for either a lower or higher threshold to achieve first-time accreditation. Some systems embed dedicated supports, such as coaching, into the process to help programs achieve first-time accreditation.

• 시스템 설계 관점에서, 인증을 받을 시스템이나 프로그램이 신규이거나 아직 확립되지 않은 경우, 성공적인 application을 목적으로 한 낮은 임계값이 정당화될 수 있다. 마찬가지로, 새로운 애플리케이션의 낮은 임계값과 코칭 및 교육 서비스의 가용성은 QA(Quality)에 초점을 맞춘 인증 시스템과 가장 잘 일치할 수 있습니다.
  

From a system design perspective, where the system or program seeking accreditation is new or not yet established, a lower threshold for a successful application may be justified. Likewise, a lower threshold for new applications as well as the availability of coaching and education services may be best aligned with accreditation systems focused on QI (vs. QA).

• 반대로, (학습 환경에 관한 것 또는 환자 안전을 위한 졸업 인증에 관한 것)처럼, 새로운 인증을 부여하는 것과 더 큰 위험이 수반되는 경우, 동등하거나 더 높은 임계값을 보장해야할 수 있다. 이 접근 방식은 QA 또는 최소 품질 표준의 설정에 초점을 맞춘 인증 시스템과 더 잘 어울립니다.

Conversely, where greater risks are associated with granting new accreditation, whether with respect to the learning environment or the implications of graduate certification for patient safety, an equal or higher threshold to achieve new accreditation may be warranted. This approach is more aligned with accreditation systems focused on QA or the establishment of a minimum standard of quality.

자율학습(자체평가, 자기평가)
Self-study (self-assessment, self-evaluation)

자율학습 요구사항
Self-study requirement

인증 시스템에 따라 [공식적인 자체 (평가)연구 구성요소] 포함여부에 대해서 차이가 있다. 자율학습 과정은 성찰의 틀 제공, 프로그램의 인증기준에 대한 지식 구축, 준수성 자체 평가 및 개선 기회 고려를 위한 회의 및 토론을 통한 팀 구축과 관련하여 유익하다.
Accreditation systems differ with respect to their inclusion of a formal self-study component. The process of self-study is beneficial with respect to providing a framework for reflection, building a program’s knowledge of accreditation standards, and team building through meetings and discussions to self-evaluate compliance and consider opportunities for improvement.

의학교육에서 대부분의 인증 프로세스에는 자율 학습 구성 요소가 포함되며, 이는 QA(대 QA)에 특히 초점을 맞춘 시스템에서 특히 중요할 수 있다. 자율 학습 과정이 필요한지 또는 선택적인지는 의료 교육 시스템의 성숙도 또는 인가되는 프로그램, 지역적 맥락, 그리고 QI 문화가 잘 확립되어 있는지와 같은 요인에 의해 좌우될 수 있다. 선택적인 자율 학습 프로세스의 경우, 프로그램 자체의 QI 프로세스의 마커로 그 사용을 평가할 수 있다.

Most accreditation processes for medical education include a self-study component, and this may be of particular importance in systems with a particular focus on QI (vs. QA). Whether the self-study process is required or optional may depend on factors, such as the maturity of the medical education system or the programs being accredited; local context; and whether a QI culture is well established. In the case of an optional self-study process, its use may be evaluated as a marker of the program’s own QI processes.

자율 학습 프로세스 및 요구 사항
Self-study process and requirements

자율 학습 프로세스는 인증 시스템마다 상당히 다르다. 자율 학습 설계에 대한 고려사항에는 자율 학습의 초점, 도구 및 더 큰 인가 프로세스에 자체 학습이 적용되는 방법이 포함된다.
Self-study processes differ considerably among accreditation systems; considerations for self-study design include the focus of the self-study, the tools, and how the self-study is applied in the larger accreditation process.

자율 학습 프로세스의 설계는 주로 인증 시스템의 전체 목적에 따라 달라질 수 있다.

• QI를 강조하거나 추진하는 시스템은 자율 학습 프로세스의 구현으로부터 이익을 얻을 수 있다. 또한 자체 평가, 활동의 결과 및 결과 모니터링, 개선을 위한 자체 식별 영역을 다루기 위한 실행 계획을 필요로 하는 필수 표준을 포함시키는 것을 고려할 수 있다.
• 반대로 QA가 초점인 시스템에서는 자율 학습 프로세스가 여전히 유익할 수 있지만, 공식적인 외부 평가 전에 프로그램이 결함을 식별하고 해결하는 데 도움이 되는 것으로 사용이 제한될 수 있다.
• 다른 시스템에서도 자가 학습 프로세스는 필요한 문서의 일부일 수 있으며 인증 프로세스 또는 검토의 필수 구성요소가 될 수 있다.

The design of the self-study process may depend largely on the overall purpose of the accreditation system.

• Systems that emphasize or drive QI may benefit from the implementation of a self-study process; they may also wish to consider including mandatory standards that require programs to self-evaluate, monitor the outputs and outcomes of their activities, and develop action plans to address self-identified areas for improvement.
• Conversely, in systems where QA is the focus, self-study processes may still be beneficial but their use may be limited to helping programs identify and address deficiencies before the formal external evaluation.
• In still other systems, the self-study process may be part of the required documentation and a mandatory component of the accreditation process or review.

시스템 또는 프로그램의 자체 연구 결과는 표준 준수 평가에서 인증 기관에 추가 정보를 제공할 수 있으며, 특히 QA에 특히 초점을 맞춘 의료 교육 연속체의 초기 단계(의과대학)와 시스템에서 인증 프로세스의 필수 구성 요소이다. 그러나 표준 준수에 대한 [프로그램 또는 기관 자체의 견해를 포함한 자체 연구 정보]가 평가자의 평가를 편향시킬 수 있다.

The results of a system or program’s self-study can provide additional information to the accrediting body in its evaluation of compliance with standards, and is often a required component of the accreditation process, particularly for earlier stages of the medical education continuum (i.e., undergraduate education) and in systems with a particular focus on QA. However, self-study information containing the program’s or institution’s own view of its compliance with standards can also bias the assessors’ evaluation. 

(정책, 문서, 학습자 및/또는 졸업생에 대한 객관적 데이터 등) 평가자가 다른 정보를 이용할 수 있는 경우, 자율 학습의 특정 내용을 [프로그램 자체]로 제한하는 것도 실행 가능한 선택일 수 있다. 이 접근방식은 보다 진실하고 정직한 자가 학습을 장려할 수 있으며, 따라서 [자체 학습을 외부 인가자가 볼 것]임을 알고 있는 경우라면, 더 나은 QI를 장려하고 장려할 수 있다. 이러한 설계 고려사항은 QA보다 QI를 강조하는 시스템에서, 그리고 연속체의 이후 단계에 있는 시스템에서도 더 적용될 수 있다.

If other information is available to the assessors, e.g. policies, documentation, objective data about learners and/or graduates, etc., it may be a viable option to restrict certain content of the self-study to the program itself; this approach may encourage a more truthful or honest self-study, thereby promoting and encouraging better QI than would be the case if the program knows the self-study will be viewed by outside accreditors. This design consideration may be more applicable in systems that emphasize QI over QA, as well as those in later phases of the continuum.

마지막으로, 자율 학습을 위한 도구의 선택은 연구의 목적과 사용 방법에 따라 달라진다. 

• 자체 학습이 프로그램 자체의 [QI를 위한 것]이라면, 사용하는 도구에 다양성 또는 유연성을 제공하는 인가 시스템이 유리할 수 있다. 
• 그러나 자체 연구가 [표준에 대한 준수 평가]에 inform하기 위한 목적으로, 외부 평가자에게 프로그램에 대한 정보를 제공하기 위한 것이라면 보다 객관적인 데이터를 사용하는 것이 바람직할 것이다.

Finally, the choice of tools for the self-study will depend on the study’s purpose and on how it will be used.

• If the self-study is intended for the program’s own QI, an accreditation system that offers variety or flexibility in the tools used may be advantageous.
• If, however, the self-study is intended to provide external assessors with information about the program to inform the evaluation of compliance against standards, the use of more objective data would likely be preferable.

외부표준평가
External assessment of standards

서면
Documentation

표준에 대한 외부 평가의 일부로 사용되는 문서는 인증 프로세스에서 [사용 가능한 문서의 유형]과 [그 문서가 사용가능한 시점]에 따라 시스템마다 다르다. 외부 평가에 정보를 주기 위한inform 문서 선택은 주로 사전 설정된 인가 표준에 설명된 요건에 의해 수행되어야 한다. 최적의 경우, 정보의 삼각 측량 및 표준 준수를 정확하게 평가할 수 있도록 여러 유형의 문서를 사용할 수 있어야 한다. 그러나, 여러 유형의 문서의 장점은 외부 평가자가 검토에 통합하기에 [실용적인 것과 균형]을 이루어야 한다.
The documentation used as part of an external assessment against standards varies from system to system according to the types of documentation available and the timing of their availability in the accreditation process. The choice of documentation to inform the external assessment should be driven largely by the requirements outlined in the pre-established accreditation standards. Optimally, multiple types of documentation should be available to allow for the triangulation of information and the accurate evaluation of standards compliance; however, the advantage of multiple types of documentation should be balanced with what is practical for the external assessors to incorporate into their review.

문서의 이용 가능 시기는 전자 플랫폼과 같은 어떤 도구나 기반구조가 사전에 정보를 전송할 수 있는지에 따라 달라질 수 있다. 문서를 미리 제공하는 것이 시간 관리에 도움이 될 수 있지만, 이 작업을 쉽고 안전하게 수행할 수 있는지도 고려해야 합니다. 어떤 경우에도 외부 평가자의 검토를 위한 문서 제공 프로세스는 [학습자 정보가 기밀로 유지]되고 의도된 목적에만 사용되도록 보장해야 합니다.

The timing of the availability of documentation may depend on what tools or infrastructure, e.g., an electronic platform, is available to transmit information in advance. Although providing documentation in advance can help with time management, it should also be considered whether this can be done easily and securely. In any case, the process for providing documentation for review by external assessors must ensure that learner information is kept confidential and is used only for its intended purpose.

외부평가과정
External assessment process

외부 평가 프로세스의 설계는 [표준에 설명된 요구사항]과 [표준 준수 평가에 필요한 정보의 범위]에 의해 추진되어야 한다. 그러나 검토의 일부로 포함되는 활동을 포함하여 검토의 방법뿐만 아니라 이러한 표준 평가 방법에 관한 시스템 간에 프로세스가 다를 수 있다.

The design of external assessment processes should be driven by the requirements outlined in the standards and by the scope of information needed to evaluate standards compliance; however, the processes can differ between systems with respect to how those standards are evaluated, as well as how the review is conducted, including which activities are included as part of the review.

이상적으로는, 의료 교육 시스템의 영향을 가장 많이 받는 사람(학습자)의 투입input이 가능한 모든 곳에 포함되어야 한다. 학습자로부터 입력을 받는 방법은 반드시 외부 평가 프로세스의 전체적인 설계에 따라 달라지지만, 가능한 경우 학습자와의 기밀 토론이나 기타 피드백을 포함해야 한다.
Optimally, input from those most affected by the medical education system – the learners – should be included wherever possible. Methods for receiving input from learners will necessarily depend on the overall design of the external assessment process, but should if possible include confidential discussions with or other feedback from learners.

종이 기반 검토는 자원을 많이 요구하지 않는다는 장점이 있지만, 이 기준만으로는 프로그램에 대한 정확한 평가를 달성할 수 없을 수도 있다. 외부 평가에는 정보의 삼각측정과 표준 준수를 정확하게 평가할 수 있는 여러 유형의 데이터, 증거 및 활동이 이상적으로 포함되어야 한다.
Although paper-based review has the advantage of not putting heavy demands on resources, it might not be possible to achieve an accurate evaluation of a program on this basis alone. External assessment should ideally include multiple types of data, evidence, and activities to allow for the triangulation of information and the accurate evaluation of standards compliance.

반대로, 실질적으로 실현 가능한 경우 물리적 현장 검토는 프로그램의 표준 준수 여부를 가장 정확하게 평가할 수 있다. 물리적 현장 검토는

• (1) 의료 교육 및/또는 인가되는 프로그램이 새로운 경우 또는 커리큘럼 개혁과 같은 중대한 변화가 있는 상황에서 가장 중요할 수 있다.
• (2) 시설 또는 임상 학습 환경을 검토할 필요가 있다.
• (3) 평가에 필요한 정보를 얻기 위해 (접근이) 제한된 정보를 이용할 수 있다.

Conversely, where practically feasible, a physical on-site review can offer the most accurate evaluation of a program’s compliance with standards. A physical site review may be most important in situations where

• (1) the system of medical education and/or the program being accredited is new, or there has been a major change, such as curricular reform;
• (2) there is a need to review a facility or clinical learning environment; and
• (3) limited information is available to inform the evaluation of standards compliance.

표준 준수 현장 검토를 통해 임상 학습 환경과 교육 환경을 물리적으로 둘러볼 수 있다. 또한 프로그램 이해당사자들과의 토론과 인터뷰가 직접 이루어질 수 있게 해, 리뷰가 비언어적 단서와 바디랭귀지를 고려할 수 있게 해준다. 그러나 현장 검토의 실용성은 자원 가용성 및 기타 고려사항(예: 지리적 거리 또는 이동을 제한하고 전화 또는 화상 회의를 선호할 수 있는 다른 요인)과 균형을 이루어야 한다. 현장 방문이 어렵거나 불가능한 시스템의 경우, 학습자 또는 다른 이해관계자의 기밀 보고서, 정기적인 조사 도구 관리 및 데이터 수집 등과 같은 다른 정보원이나 증거의 추가가 표준 준수 그림을 완성하는 데 도움이 될 수 있다.

An on-site review allows for physical tours of clinical learning environments as well as of teaching environments. It also allows for discussions and interviews with program stakeholders to occur face to face, which can allow reviews to take non-verbal cues and body language into account. However, the practicality of the site review must be balanced with resource availability and other considerations, such as geographic distance or other factors which may limit travel and make telephone or video conferencing preferable. In systems where a site visit is difficult or impossible, the addition of other sources of information or evidence, e.g. a confidential report from learners or other stakeholders, regular survey tool administration and data collection, etc., may be helpful in rounding out the picture of standards compliance.

인증 보고서
Accreditation reports

보고서 내용
Report content

인증 보고서는 표준 준수 평가에 사용되는 도구, 보고서에 포함된 내용 유형 및 보고서 작성 방법에 따라 시스템마다 다릅니다. 무엇보다도, 도구의 선택은 [표준에 개략적으로 기술된 요건]과 [최종 인가 결정에 도달하기 위한 요건 및 프로세스]에 의해 추진되어야 한다.
Accreditation reports differs across systems according to the tools used to evaluate standards compliance, the type of content included in reporting, and how the reports are created. First and foremost, the choice of tools should be driven by the requirements outlined in the standards, as well as by the requirements and processes for reaching the final accreditation decision.

보고서 내용 및 규정 준수 평가에 사용되는 도구와 관련하여,

• 객관적인 정량적 정보는 보다 쉽게 검토하고 벤치마킹할 수 있으며 편집이 거의 또는 전혀 필요하지 않다는 장점이 있습니다. 그러나 서술적 서술에서 포착된 정보의 풍부함과 같은 질적 데이터와 관련된 이점을 놓칠 수 있다. 
  
• 순수하게 정량적 보고서는 보고서 편집을 위한 리소스가 적고 QA와 최소 품질 표준 달성에 중점을 둔 상황에서 가장 적합할 수 있습니다.
• 정량적 데이터와 정보만을 기반으로 하는 보고서는 또한 인가 기관 및 그 평가인에 대한 법적 또는 평판적 위험을 줄일 수 있다.
• 이러한 경우, 그리고 테크놀로지를 이용할 수 있는 경우, 효율성 및 정확성에 대한 잠재적 편익과 함께 인증 보고서가 자동으로 생성될 수 있습니다.
  

With respect to the report content, as well as the tools used to evaluate compliance,

• although objective, quantitative information has the advantage of being more easily reviewed and benchmarked, and of requiring little or no editing, it may also may miss the benefits associated with qualitative data, such as the richness of information captured in narrative descriptions.
• Purely quantitative reports may be best in contexts with fewer resources for report editing and where the emphasis is on QA and the attainment of minimum standards of quality.
• Reports based solely on quantitative data and information may also reduce legal or reputational risk to the accrediting organization and its assessors.
• In these cases, and where the technology is available to do so, accreditation reports can be generated automatically, with potential benefits for efficiency and accuracy.

반대로, 보고서 편집을 위한 자원이 있는 시스템 또는 인가 시스템의 초점이 지속적인 QI에 맞춰져 있고, 인가 기관(또는 그러한 위험이 완화될 수 있는 경우)에 대한 법적 또는 평판적 위험이 제한된 시스템에서는 인증 보고서는 질적 정보를 포함함으로써, 그 풍부함을 향상시킬 수 있다. 기관 또는 프로그램에 제공된 피드백을 참고할 수 있다. 궁극적으로, 각 접근법의 장점과 단점의 균형을 맞추면서 정량적 보고와 정성적 보고의 혼합을 목표로 하는 것이 최선일 수 있다.
Conversely, in systems that have resources for report editing, or where the focus of the accreditation system is on ongoing QI, and where there is limited legal or reputational risk to the accreditation organization (or where such risk can be mitigated), including qualitative information in the accreditation report can enhance the richness of the review and the feedback provided to institutions or programs. Ultimately, it may be best to aim for a hybrid of quantitative and qualitative reporting, balancing the advantages and disadvantages of each approach.

보고서 작성 프로세스와 관련하여, 이 설계 결정은 주로 보고서에 포함된 내용의 유형에 따라 결정됩니다. 위에서 논의한 바와 같이,

• 양적 정보만을 기초로 하는 보고서는 검토 중에 외부 평가자가 작성한 전자 점검표에서 자동으로 생성될 수 있다.
• 반면, 상당한 양의 질적 정보가 포함된 보고서는 외부 평가자 본인 또는 인증 기관 직원이 방문 중 또는 방문 후에 작성 및 편집을 필요로 한다.

With respect to the process of report creation, this design decision will be driven largely by the type of content included in the report. As discussed above,

• reports that are based solely on quantitative information can be generated automatically from electronic checklists completed by the external assessors during the review.
• On the other hand, reports with a significant amount of qualitative information require writing and editing, whether by the external assessors themselves or by accreditation organization staff, during or after the visit.

인증 결정
Accreditation decisions

인증 결정의 카테고리 또는 유형
Categories or types of accreditation decisions

다양한 유형의 인가 결정이 인가 시스템에 적용될 수 있다. 인가 상태 결정 유형은 주로 주기 길이 또는 외부 평가 프로세스와 같은 다른 시스템 설계 고려사항에 의해 결정된다. 그러나 인증의 이진 범주binary category가 있는 시스템과 복수의 수준을 가진 시스템을 구별하는 것이 중요하다. 이항 결정은 달성되거나 달성되지 않은 최소 품질 표준 및 프로세스가 QI보다는 QA에 초점을 맞춘 시스템에 적합할 수 있습니다.
Various types of accreditation decisions can be featured in an accreditation system. The types of accreditation status decisions are determined largely by other system design considerations, such as cycle length or the process of external assessment; however, it is important to differentiate between systems with binary categories of accreditation and those with multiple levels. Binary decisions may be appropriate in systems based on minimum standards of quality, which are either achieved or not achieved, and where the process is focused on QA rather than QI.

반대로 [QI에 초점을 맞춘 시스템]에서는 달성해야 할 다양한 수준을 포함하여 인증 범주를 설계하는 것이 지속적인 개선과 열망적 표준의 달성을 장려하는 중요한 방법이다. 또한 인증 수준은 평가자가 표준 준수를 가장 높은 수준으로 달성한 프로그램을 인식하는 데 도움이 될 수 있다. 마찬가지로, 혁신과 모범 사례를 인식하고 공유하는 프로세스는 QI에 대한 인센티브와 인정을 장려하고 창출할 수 있습니다.

Conversely, in systems that focus on QI, designing categories of accreditation that include different levels to be achieved is an important way to encourage ongoing improvement and the attainment of aspirational standards. Levels of accreditation can also help assessors recognize those programs that have achieved the highest level of compliance with the standards. Similarly, processes to recognize and share innovations and best practices can encourage and create incentives and recognition for QI.

인증 의사결정 프로세스
Process of accreditation decision-making

최종 인가 결정을 도출하는 과정은 의사결정이 기초가 되는 기준뿐만 아니라, 예를 들어 합의 또는 자동화된 프로세스에 의해 결정이 이루어지는지에 따라 표 1에 요약되어 있다. 사용되는 기준은 [표준에 설명된 요건]과 [프로세스가 제공하는 인가 결정 유형]에 따라 달라진다.

The process of rendering the final accreditation decision varies, as outlined in Table 1, according to the criteria upon which the decision is based, as well as by whether the decision is made by, for example, consensus, or by an automated process. The criteria used will depend on the requirements outlined in the standards as well as the types of accreditation decisions the process is intended to provide. 

• 기 설정된 [준수 한계치compliacne threshold] 또는 [고위험 또는 최소 표준의 평가]에 기초한 접근방식은 인가 상태의 이진binary 범주가 있는 시스템에 적합하다. 이러한 접근방식은 상당한 양의 질적 정보가 아닌 각 표준의 준수를 평가하기 위해 도구 또는 체크리스트를 사용할 수 있다. 이 프로세스는 전자 시스템이나 플랫폼에 의해 촉진될 수 있으며 잠재적으로 컴퓨터 알고리듬에 의해 지원될 수 있다. 이것은 투명성을 향상시킬 뿐만 아니라 프로그램 전체의 프로세스를 표준화하는데 도움이 될 수 있다.
  

Approaches based on established thresholds of compliance or the evaluation of high risk or minimum standards lend themselves well to systems with binary categories of accreditation status. These approaches can use a tool or checklist to evaluate compliance with each standard, rather than significant amounts of qualitative information; the process can also be facilitated by an electronic system or platform, potentially supported by a computer algorithm. This can help to standardize the process across programs as well as improve transparency.

• 반대로, [전체적인 기준에 대한 전체적인 판단]은 결정이 복잡하거나 상당한 양의 질적 정보를 요구하는 시스템과 가장 잘 일치할 수 있다. 이러한 경우, 여러 전문가의 합의에 의해 의사결정에 도달하는 것은 견제와 균형을 도입할 수 있고 표준화 부족에 대한 우려를 줄일 수 있다. 그러나, 이 접근법은 프로세스가 길어지고, 자원을 많이 소비할 수 있다.
  

Conversely, holistic judgments against overall criteria may be best aligned with systems for which the decision is complex or requires a significant volume of qualitative information. In these cases, arriving at a decision by the consensus of multiple experts can introduce checks and balances and reduce concerns about a lack of standardization; however, this approach can also lengthen the process and be resource-intensive.

궁극적으로, 많은 시스템이 의사결정을 용이하게 하기 위해 임계값 또는 가중 표준을 전문가 판단과 함께 사용하는 의사결정에 대한 혼합 접근법을 고려하는 것이 유리할 수 있다.

Ultimately, it may be advantageous for many systems to consider a hybrid approach to decision-making, in which thresholds or weighted standards are used in conjunction with expert judgment to facilitate decision-making.

인증 결정과 관련된 영향 및 후속 조치
Impact and follow-up related to the accreditation decision

일반적으로 인가 결정에 도달하도록 설계된 프로세스는 명시적으로는 아니더라도 [도달한 결정이 최종적인 것이므로 어떠한 이의도 제한한다고] 암시적으로 규정한다. 단, 외부 평가 이후 이루어진 새로운 정보나 진행에 기초하여 인가 결정을 개선할 기회는 QI의 전체 문화를 촉진할 수 있으며 보다 연속적인(일화적이지 않은) 인가 주기와 가장 잘 일치할 수 있다.
Typically, the process designed to reach an accreditation decision stipulates, implicitly if not explicitly, that the decision reached is final, barring any appeal. However, arguably, the opportunity to improve an accreditation decision on the basis of new information or progress made since the external assessment may promote an overall culture of QI and may be best aligned with more continuous (vs. episodic) accreditation cycles.

[이의신청 절차]는 프로세스와 의사결정에 대한 신뢰도를 높이기 위해 모든 인가 시스템에 필요한 요소이다. 이의신청 과정의 세부사항은 관할구역의 법적 프레임워크 및 기타 상황적 고려사항에 비추어 시스템마다 다를 수 있다.
An appeal process is a necessary element of all accreditation systems to increase confidence in the process and the decisions rendered. The details of the appeal process may vary from system to system in light of legal frameworks in the jurisdiction and other contextual considerations.

세부적인 인가 결과뿐만 아니라 인가 결정의 투명성은 전형적으로 인가 시스템의 의무와 의료 교육 시스템 내에서 그 역할과 관련이 있다.

• 의무적 시스템 및 QA를 강조하는 시스템은 인증 결과의 투명성과 공개 보고에 더 큰 영향을 미칠 수 있다.
• 반대로 QI를 강조하는 시스템은 QI 철학과 문화를 촉진하기 위해 인증 결과 정보의 기밀성을 강조하는 경향이 있다.
• 상세한 조사 결과를 빼고 총괄적인 인증 결과를 공유하는 하이브리드 접근 방식은 QI 접근법 내에서 책임성, 투명성 및 심지어 공공 보호의 균형을 맞추는 효과적인 방법이 될 수 있다.

The transparency of accreditation decisions, as well as detailed accreditation findings, is typically linked to the mandate of the accreditation system and its role within the medical education system.

• Mandatory systems as well as those that emphasize QA may tend toward greater transparency and public reporting of accreditation outcomes;
• conversely, systems that emphasize QI tend to emphasize the confidentiality of accreditation outcome information to promote a QI philosophy and culture.
• Hybrid approaches that share global accreditation outcomes without detailed findings may be an effective way to balance accountability, transparency, and even public protection within a QI approach.

인증 주기
Accreditation cycle

인증 주기 유형
Types of accreditation cycles

모든 인증 프로세스에는 인증과 일회성 감사 또는 기타 QA 프로세스를 구분하는 [검토 주기의 정의]가 필요합니다. 그러나 표 1이 강조하듯이, 인가 주기는 모든 인가된 프로그램 또는 인가 상태에 따라 가변적인 모든 인가된 프로그램에 대해 표준화되었는지 여부와 인가 결정 후 후속 조치를 포함하여 주기 전체에 걸쳐 사용되는 활동 유형에 대해 시스템 간에 유의하게 다르다.
All accreditation processes require a defined cycle of review, distinguishing accreditation from one-time audits or other QA processes. However, as Table 1 highlights, accreditation cycles differ significantly between systems with respect to length, whether they are standardized for all accredited programs or variable according to the accreditation status, and types of activities used throughout the cycle, including any follow-up after the accreditation decision.


선택한 인가 주기의 형식은 [인가되는 프로그램에 대해 얼마나 많이 알려져 있는지, 그리고 인가되는 프로그램과 의료 교육 시스템 내에 얼마나 많은 불확실성 또는 위험이 있는지에 관한] 상황적 고려사항에 따라 달라져야 한다.

• 예를 들어 (교육과정의 주요 변화기간이 아니라) 정적static 교육 커리큘럼이어서 위험이나 불확실성이 적은 경우, 더 긴 인가 주기가 정당화될 수 있다.
• 반대로, 위험이나 불확실성이 더 많은 경우, 특히 정기적인 인가 방문 사이에 필요한 활동이 없는 순전히 에피소드적인 인증 주기에서 더 짧은 인증 주기가 보장될 수 있다.
• 마찬가지로, 인증 주기 전체에 걸쳐 [정기적인 접촉점이나 또는 요건]이 있어서, 보다 연속적인 시스템인 경우에는 프로그램 품질에 대한 신뢰를 높여주기에 전체 주기를 연장할 수 있다.
  

The type of accreditation cycle chosen should depend on contextual considerations regarding how much is known about the programs being accredited and how much uncertainty or risk there is within the medical education system and the programs being accredited.

• Where there is less risk or uncertainty, e.g., in a static educational curriculum versus a period of major curricular change, a longer accreditation cycle may be justified.
• Conversely, where there is more risk or uncertainty, a shorter accreditation cycle may be warranted, particularly in a purely episodic accreditation cycle with no required activities between regular accreditation visits.
• Likewise, more continuous systems with regular touchpoints or requirements throughout the accreditation cycle may increase confidence about program quality and allow the overall cycle to be lengthened.
  
  

또한 QA보다 [QI를 강조하는 인증 시스템]에서 프로그램의 표준 준수에 따라 인증 주기 길이를 조정하는 접근방식은 QI의 우수성 및/또는 마커를 위해 노력할 동기를 부여할 수 있다.

In addition, in an accreditation system that emphasizes QI over QA, an approach that adjusts the length of the accreditation cycle length according to a program’s compliance with the standards may create incentives to strive for standards of excellence and/or markers of QI.

마지막으로, 인가 주기의 일반적인 길이도 실제적인 고려사항에 따라 달라질 수 있다. 

• 매년 시스템에 의해 인증받는 프로그램 수,
• 매년 타당성 있게 검토할 수 있는 프로그램 수
  
• 인증 대상 교육 프로그램의 길이(프로그램 길이가 짧으면 인증 방문의 짧은 주기를 정당화할 수 있음) 
  
• 기술 및 기타 리소스(예: 직원)가 인가에 대한 보다 지속적인 접근 방식을 지원할 수 있는지 여부.

Finally, the typical length of an accreditation cycle may also depend on practical considerations, such as

• how many programs are accredited by the system and how many can feasibly be reviewed each year;
• the length of the education programs being accredited (shorter programs may justify shorter cycles of accreditation visits); and
• whether technology and other resources (such as staff) are available to support a more continuous approach to accreditation.

현장 검토 모델
The site-review model

검토자 및 팀 구성 유형
Types of reviewers and team composition

현장 검토 모델은 인증 팀의 규모와 구성에 따라 다릅니다. 

• 전문직의 구성원이 자신의 프로그램 이외의 프로그램에 대한 외부 평가자 역할을 하는 [동료 검토 모델]은 인가 과정의 표면적 타당성을 증가시킬 수 있다. 그러나, 이 이점은 검토 과정의 일관성을 보장하기 위한 [엄격한 현장 검토자 훈련과 평가]뿐 아니라 [강력한 자원봉사자 관리 프로그램]의 필요성과 같은 특정 관련 과제와 균형을 이루어야 한다.
• 반대로, [전문 평가관]을 사용하는 현장 검토 모델은 자원 봉사 관리, 교육 및 평가에 크게 투자하지 않고도 일관성을 개선할 수 있습니다. 그러나 이러한 방법은 전체적으로 인가 프로세스에 대한 얼굴 유효성과 신뢰도를 감소시킬 수 있다.
  

Site review models differ according to the size and composition of the accreditation team.

• A peer review model wherein members of the profession serve as external assessors for programs other than their own (usually on a voluntary basis) may increase the face validity of the accreditation process. However, this advantage must be balanced against certain associated challenges, such as the need for a robust volunteer management program, as well as for rigorous site reviewer training and assessment to ensure consistency in the review process.
• Conversely, a site review model that uses professional, full-time surveyors can improve consistency without significant investments in volunteer management, training, and assessment. They method may, however, reduce face validity and confidence in the accreditation process overall.

심사자 외에도, [인증기관의 직원]은 인가 기관이 사용하는 전체 현장 검토 모델에 따라 중요한 역할을 할 수 있다. 자원봉사자 및 동료 검토에 기초한 현장 검토 모델의 경우 인증기관의 직원이 프로세스 전문지식을 제공함으로써 중요한 역할을 수행할 수 있어 표준화를 견디는 데 도움이 된다. 반대로, 전문 평가관이나 직원 평가관에 의존하는 현장 검토 모델은 추가 직원 지원을 받거나 혜택을 받지 못할 수 있습니다. 모든 경우, 잠재적 이해충돌을 완화하기 위해서는, 위원회 행정 및 항소 프로세스 관리를 포함하여, [최종 인증 결정 과정을 지원하는 역할을 가진 직원]이 인증 검토accreditation review 자체에 참여자에게 기여해서는 안 된다.
In addition to the reviewers themselves, the accrediting body’s staff can play an important role, depending on the overall site review model used by the accrediting body. In the case of site review models based on volunteers and peer review, staff of the accrediting body can serve an important role by providing process expertise, thus helping to endure standardization. Conversely, site review models that rely on professional or staff surveyors may not benefit from or require additional staff support. In all cases, to mitigate potential conflicts of interest, staff who have a role in supporting the final accreditation decision-making process, including committee administration and the administration of appeal processes, should not be contributing participants in the accreditation review itself.

마지막으로, 조사팀의 규모는 매년 얼마나 많은 프로그램 검토를 수행하는지, 외부 평가의 유형은 무엇인지와 같은 실제적인 고려사항에 크게 좌우된다.

Finally, the size of the survey team depends largely on practical considerations such as how many program reviews are conducted each year and what type of external assessment is done.

현장 검토자 교육 및 평가
Site reviewer training and assessment

교육 및 평가 검토자에 대한 접근방식은 위에서 설명한 현장 검토 모델에 의해 추진되어야 한다. 자원봉사자 동료 검토에 기초한 현장 검토 모델은 모든 검토자가 수용 가능한 수준의 역량을 충족하고 인가 과정의 일관성을 촉진하기 위한 훈련과 평가에 대한 보다 강력한 접근방식을 필요로 할 것이다.
The approach to training and assessing reviewers should be driven by the site review model as outlined above. Site review models based on volunteer peer review will require a more robust approach to training and assessment to ensure all reviewers meet an acceptable level of competence and to promote consistency in the accreditation process.

(방문평가자에 대한) 교육 및 평가에 대한 접근 방식은 직원과 자원의 가용성과 같은 실제적인 고려사항에 따라 달라질 수도 있습니다.

• 학습 관리 소프트웨어나 인증 관리 시스템과 같은 전자 플랫폼을 통해 잠재적으로 강의식교육didactic에 의존하는 교육 프로그램은 많은 수의 지원자를 교육하는 데, 효과적이며 쉽게 복제될 수 있다.
• 그러나 더 많은 자원과 시간 집약적이기는 하지만 인가 과정의 실제 적용에 의존하는 훈련은 새로운 검토자들 사이에서 더 큰 준비성과 역량을 촉진할 것이다.

The approach to training and assessment may also depend on practical considerations, such as the availability of staff and resources.

• Training programs that rely on didactic sessions, potentially by means of electronic platforms such as learning management software or accreditation management systems, are effective for training large numbers of volunteers and can be easily duplicated.
• However, training that relies on the practical application of the accreditation process, although more resource and time intensive, will promote greater readiness and competence among new reviewers.

인증제도 관리
Accreditation system administration

기술 인프라
Technological infrastructure

인증 시스템을 지원하는 데 있어 기술 및 기타 인프라의 역할은 주로 [인증 기관이 기술과 자동화에 투자할 수 있는 자원, [자동화]가 인증기관 및 대상 프로그램에 효율성/비용절감/표준화 등의 이익을 제공할 수 있는지 여부] 등 실질적인 고려사항에 의해 추진된다. 데이터나 정보의 정기적 제출에 의해 지원되는 보다 연속적인 인가 과정과 같은 일부 설계 옵션은 기술 플랫폼의 도입만으로 실현 가능할 수 있다.
The role of technology and other infrastructure in supporting the accreditation system is driven largely by practical considerations, such as the resources available to the accrediting body to invest in technology and automation, and whether automation can provide benefits to the accrediting body and those programs it accredits with respect to efficiencies, cost savings, and standardization. Some design options, such as more continuous accreditation processes supported by the regular submission of data or information, may be feasible only with the introduction of technological platforms.

[기술 인프라는 또한 자동화 및 첨단 기술 플랫폼이 (경쟁적 환경에 있는) 인증 기관에 이점을 제공할 수 있는지]와 같은 전략적 고려사항에 의해 추진될 수 있다. 이러한 기술의 사용은 또한 인가 기관, 그 이해관계자 및 인가된 프로그램의 "기술적 준비"에 의해 guide되어야 한다. 인증이 새롭게 도입되는 상황이거나, 인증 프로그램이 테스트되지 않은 시스템에서는 표준과 인증 과정이 의료 교육 시스템에 잘 포함될 때까지 [기술에 크게 의존하지 않는 단순화된 인증 시스템]을 도입하는 것이 바람직할 수 있다.

Technological infrastructure may also be driven by strategic considerations, such as whether automation and an advanced technological platform can lend an advantage to accrediting bodies within a competitive environment. The use of such technology should also be guided by the “technological readiness” of the accrediting body, its stakeholders, and accredited programs. In systems where accreditation is new or the programs being accredited are untested, it may be preferable to introduce a simplified accreditation system that does not rely heavily on technology until such time as standards and accreditation processes are well embedded within the medical education system.

인증제도 개선
Accreditation system improvement

인증 시스템의 개선 및 연구 및 학술적 접근 방식은 체계성에 보조적인 역할을 할 수 있다. 시스템 개선과 연구에 대한 접근법의 주기는 주로 검토와 개선에 이용 가능한 자원, 그리고 지역 시스템이나 맥락에서 실용적인 의미가 있는 것에 달려 있다. 표준 자체와 마찬가지로 전반적인 시스템 검토 및 갱신에 대한 접근법도 지역 환경에서 의료 교육 시스템이 얼마나 빠르게 변화하고 있는지에 따라 추진되어야 한다. 예를 들어, 중요한 커리큘럼 변경 기간 동안 더 빈번한 평가 및 갱신 주기가 필요할 수 있다.
Approaches to the improvement of accreditation systems, as well as the approach to research and scholarship, vary from the ad hoc to the systematic. Cycles of system improvement and approaches to research depend largely on the resources available for review and improvement, and on what makes practical sense in the local system or context. As with standards themselves, the approach to overall system review and renewal should also be driven by how fast the medical education system is changing in the local environment; for example, more frequent cycles of evaluation and renewal may be needed during periods of significant curricular change.

감독 및 리스크 관리
Oversight and risk management

감독 및 위험 관리에 대한 인증 시스템의 접근 방식은 주로 그것이 작동하는 맥락과 그러한 감독 및 보호의 필요성에 따라 달라진다. 그러나 인증 결정이 이진법일 가능성이 더 높으며, 교육이 면허와 같은 고위험 결과를 목적으로 계산될 수 있는지 여부를 결정하는 QA 접근방식은 위험 관리, 거버넌스 및 감독 형태의 추가 보호가 필요한 시스템과 관련될 가능성이 더 높다. 또한 QA 접근방식은 공공 및 전문직 종사자에게 책임을 입증하기 위해 기대되거나 요구될 가능성이 더 높다.
The accreditation system’s approach to oversight and risk management will depend largely on the context in which it works and on the need for such oversight and protection. However, a QA approach, in which accreditation decisions are more likely to be binary and to determine whether training can be counted for the purposes of high-stakes outcomes such as licensure, is more likely to be associated with systems that require additional protections in the form of risk management, governance, and oversight. A QA approach is also more likely to be expected or required to demonstrate accountability to the public and the profession.

비즈니스 모델
Business model

인증 시스템의 비즈니스 모델은 지역 관할구역에서 인증의 역할에 따라 달라질 수 있다. 예를 들어, 인증이 의무화되거나 정부에 의해 요구되는 경우, 비즈니스 모델은 정부 또는 다른 외부 자금후원에 의존하거나 비용 회수 모델을 통해 자금후원을 받을 가능성이 더 높을 수 있다.
The business model of an accreditation system is likely to depend on the role of accreditation in the local jurisdiction. For example, where accreditation is mandated or required by government, business models may be more likely to depend on government or other external funding, or to be funded through cost-recovery models.

[국가 또는 지역 규제에 초점을 맞춘 인가 시스템]은 [비용 회수 또는 수익 창출 사업 모델을 가질 가능성이 더 높은 국제적인 의무와 범위를 가진 시스템]과는 달리 정부의 개입과 자금후원을 가질 가능성이 더 높을 수 있다.

Accreditation systems focused on national or local regulation may be more likely to have government involvement and funding, as opposed to those with an international mandate and scope, which may be more likely to have cost-recovery or revenue-generation business models.

한계 및 향후 연구
Limitations and future research

새로운 또는 갱신된 의료 교육 인가 시스템의 개발을 안내하는 이 "목적에 맞는" 프레임워크는 설계 결정의 함의와 고려사항을 탐구하기 위한 실용적인 지침으로 의도된다. 우리는 프레임워크와 고려사항이 경험적 증거보다는 전문가의 의견과 경험에서 도출된다는 것을 인정한다.
This “fit for purpose” framework to guide the development of new or renewed medical education accreditation systems is intended as a practical guide to exploring the implications and considerations of design decisions. We acknowledge that the framework and the considerations it engenders derive from expert opinion and experience rather than empirical evidence.

교육 연속체의 다른 단계를 포함하여 다양한 관할권, 컨텍스트 및 유형의 보건 교육에서 이 프레임워크와 인증 시스템에 걸친 다양한 설계 고려사항의 적용을 탐구하는 것이 유용할 것이다. 이 작업은 다양한 시스템이 실제 고려사항에 비추어 내리는 설계 결정을 탐구할 수 있다. 이 작업은 프레임워크 자체의 추가적인 개선뿐만 아니라 전 세계 인증 시스템 간의 차이를 더 잘 이해할 수 있게 할 것이다.

It would be useful to explore the application of this framework and its various design considerations across accreditation systems in a variety of jurisdictions, contexts, and types of health education, including different phases of the education continuum. This work could explore the design decisions that different systems make in light of practical considerations. This work would lead to a better understanding of variations across accreditation systems worldwide, as well as to further refinements to the framework itself.

결론

Conclusion

이 "목적에 맞는" 의료교육 인가 시스템 설계는 프랭크와 동료가 개괄적으로 설명한 의료교육 인가 시스템의 공통 요소를 기반으로 한다[1]. 그리고 의료 교육 프로그램을 위한 인가 시스템을 개발하고 운용할 때 고려해야 할 관련 고려사항 및 시사점과 함께 원칙 기반 프레임워크를 제공한다.
This “fit for purpose” framework for medical education accreditation system design builds on the common elements of medical education accreditation systems outlined by Frank and colleagues [1] and provides a principle-based framework, along with associated considerations and implications to take into account in developing and operationalizing any accreditation system for medical education programs.

이 프레임워크는 단일 모범 사례를 제공하기보다는, 인증 시스템 간의 variation이 [로컬 컨텍스트의 요구를 충족하도록 기초하고 의도적으로 설계되는 것이 적절하다는 것]을 강조한다. 즉, 형태form는 기능function을 따라야 한다. 이 프레임워크는 관리자, 정책 입안자 및 교육자에게 의료 교육 인증에 대한 다양한 접근 방식과 현지 맥락에서 적용 가능성과 적합성에 대한 지침을 제공하기 위한 것이다.

The framework highlights that, rather than a single best practice, variation among accreditation systems is appropriate if it is based on and purposely designed to meet the needs of local contexts. In other words, form must follow function. This framework is intended to provide guidance to administrators, policy-makers, and educators regarding different approaches to medical education accreditation and their applicability and appropriateness in local contexts.

Review

BMC Med Educ. 2020 Sep 28;20(Suppl 1):306.

 doi: 10.1186/s12909-020-02122-4.

A "fit for purpose" framework for medical education accreditation system design

Sarah Taber 1, Nesibe Akdemir 2 3, Lisa Gorman 4, Marta van Zanten 5, Jason R Frank 4

Affiliations collapse

Affiliations

• 1Royal College of Physicians and Surgeons of Canada, Ottawa, Canada. staber@royalcollege.ca.

• 2OLVG Teaching Hospital, Amsterdam, Netherlands.

• 3VU Medical Center, School of Medical Sciences, Amsterdam, Netherlands.

• 4Royal College of Physicians and Surgeons of Canada, Ottawa, Canada.

• 5Foundation for Advancement of International Medical Education and Research, Philadelphia, PA, USA.

• PMID: 32981517

• PMCID: PMC7520946

• DOI: 10.1186/s12909-020-02122-4

Free PMC article

Abstract

Background: Accreditation is a key feature of many medical education systems, helping to ensure that programs teach and assess learners according to applicable standards, provide optimal learning environments, and produce professionals who are competent to practise in challenging and evolving health care systems. Although most medical education accreditation systems apply similar standards domains and process elements, there can be substantial variation among accreditation systems at the level of design and implementation. A discussion group at the 2013 World Summit on Outcomes-Based Accreditation examined best practices in health professional education accreditation systems and identified that the literature examining the effectiveness of different approaches to accreditation is scant. Although some frameworks for accreditation design do exist, they are often specific to one phase of the medical education continuum.

Main text: This paper attempts to define a framework for the operational design of medical education accreditation that articulates design options as well as their contextual and practical implications. It assumes there is no single set of best practices in accreditation system development but, rather, an underlying set of design decisions. A "fit for purpose" approach aims to ensure that a system, policy, or program is designed and operationalized in a manner best suited to local needs and contexts. This approach is aligned with emerging models for education and international development that espouse decentralization.

Conclusion: The framework highlights that, rather than a single best practice, variation among accreditation systems is appropriate provided that is it tailored to the needs of local contexts. Our framework is intended to provide guidance to administrators, policy-makers, and educators regarding different approaches to medical education accreditation and their applicability and appropriateness in local contexts.

Keywords: Accreditation framework; Accreditation system design; Continuous quality improvement; Medical education.

21세기 보건전문직교육(HPE)에서 평가인증의 역할: 국제합의그룹의 보고(BMC Med Educ, 2020)

The role of accreditation in 21st century health professions education: report of an International Consensus Group
Jason R. Frank1,2*, Sarah Taber1, Marta van Zanten3, Fedde Scheele4,5,6, Danielle Blouin7 and on behalf of the International Health Professions Accreditation Outcomes Consortium

보건 전문가 교육의 현재 내용, 조직 및 전달이 [환자와 인구집단의 요구와 관심사에 도움이 되지 못한 강력한 사례]가 있다.
A strong case is made that the present content, organisation, and delivery of health professionals’ education have failed to serve the needs and interests of patients and populations.

-Richard Horton, Lancet 2010 [1]

배경

Background

효과적인 인증은 모든 보건직업 교육(HPE) 시스템에 필수적인 요소로 간주된다[2]. 현재 HPE 인증은 전 세계적으로 전례 없는 정밀 조사와 변화를 겪고 있습니다. 일부 형태의 품질 모니터링 활동은 거의 틀림없이 현대 의과대학만큼 오래되었지만, HPE 개혁에 대한 [3, 4] 주요 보고서는 인가의 발전을 가속화하고 있다. 

• 플렉스너 보고서(1910) [5]는 교육과정, 교육 철학, 감독에 대한 변화뿐만 아니라 수십 개의 북미 의과대학들의 폐쇄로 이어졌다. 
  
• 1988년 에든버러 선언[6]은 HPE를 사회적 필요에 맞게 재정립하려고 노력했으며, 이는 교육 방법, 교수진 개발 및 훈련을 위한 설정의 개혁을 주도했다. 
  
• 2010년 21세기 건강 전문가 교육에 관한 란셋 위원회[7]는 지역 인구의 요구를 더 잘 충족시키기 위해 세계적으로 역량 기반 HPE로의 변경을 요구했다[8]. 
  
• 2012년, 대학원 의학 교육을 위한 인증 위원회(ACGME)는 과정process 대신 졸업성과graduate outcome으로 미국 레지던트 교육의 이러한 변화를 구현했다[9]. 
  
• 2013년, 캐나다 레지던시 인증 컨소시엄(CanRAC)은 인가에 대한 보다 현대적인 접근을 위해 철학과 활동, 인프라 및 표준을 근본적으로 정비하기 위한 움직임을 보였다[10]. 
  
  

Effective accreditation is considered an essential ingredient for any system of health professions education (HPE) [2] 
At the present time, HPE accreditation is undergoing unprecedented scrutiny and change worldwide. While some form of quality monitoring activity is arguably as old as modern medical schools, [3, 4] seminal reports on HPE reform have driven the evolution of accreditation in an accelerating fashion. 

• The Flexner Report (1910) [5] led to the shuttering of dozens of North American medical schools, as well as to changes to curriculum, philosophy of education, and oversight.  
• The 1988 Edinburgh Declaration [6] sought to realign HPE to societal needs and it drove reforms in instructional methods, faculty development, and settings for training.  
• The 2010 Lancet Commission on the Education of Health Professionals for the twenty-first Century [7] demanded the worldwide change to competency-based HPE to better meet the needs of local populations [8].  
• In 2012, the Accreditation Council for Graduate Medical Education (ACGME) implemented these kinds of changes in American residency education by reorienting US accreditation with graduate outcomes instead of processes [9].  
• In 2013, the Canadian Residency Accreditation Consortium (CanRAC) also moved to fundamentally overhaul its philosophy, activities, infrastructure, and standards for a more contemporary approach to accreditation [10].   

최근 몇 년 동안 인증의 개혁에 왜 이렇게 많은 관심이 있었는가? HPE의 결함을 강조하는 이들은 인증 시스템에 대한 더 많은 관심을 지지해왔다. 예를 들어, 랜싯 위원회는 제대로 설계되지 않은 HPE 시스템[7]에서 준비되지 않은 졸업생에 대한 인식을 부각시켰다. David Ash와 다른 사람들의 결과 연구는 졸업역량의 측면에서, 현재 교육 프로그램이 생성한 것은 허용할 수 없는 variation이 있음을 강조하였다 [11,12,13,14]. 21세기의 중요한 개혁 중에는 양질의 교육을 통해 우수한 졸업생을 배출할 수 있도록 HPE 인증을 업데이트해야 한다는 목소리가 높아지고 있습니다 [9, 15].
Why has there been all this attention on accreditation reform in recent years? Those highlighting the failings of HPE have advocated for greater attention for accreditation systems. The Lancet Commission, for example, has spotlighted perceptions of ill-prepared graduates in poorly designed HPE systems [7]. The outcomes work of David Asch and others has highlighted unacceptable variations in graduate competence produced by current programs [11,12,13,14]. Among the critical reforms of the twenty-first century is a growing call to update HPE accreditation to ensure quality training produces high-quality graduates [9, 15]. 

인증 시스템은 보건 전문가 훈련 프로그램에 대한 감독 및 지침을 제공하며, 사회 보건 요구 사항을 충족하도록 의료인을 배출하기 위한 품질 훈련 모델을 명확히 한다[2, 15]. 전문 교육 시스템에서 그러한 중요한 기능을 위해, HPE 인증의 역할, 요소, 영향 및 진화를 설명하는 데 거의 작성되지 않았다. 인증 관행을 교육 프로그램의 결과와 연계시키는 일은 훨씬 더 적었다.

Accreditation systems provide oversight and guidance to health professions training programs and articulate a model of quality training to produce practitioners to meet societal health needs [2, 15]. For such a critical function in a professional education system, little has been written to describe the role, elements, impact, and evolution of HPE accreditation. Even less has been done to link accreditation practices to the outcomes of training programs.

목적

Purpose

보건 분야에서 인가의 미래에 대한 21세기 대화를 시작하기 위해, 우리는 인가에 관한 기존 문헌을 검토하고, 전 세계의 시스템을 검토하며, 차세대 인가의 시스템을 구축하기 위한 합의 프레임워크를 개발할 필요성을 인식했다. 우리는 

• 1) 보건 분야의 인증에 대한 글로벌, 현대적 정의를 식별하기 위한 국제 합의 컨소시엄의 노력을 설명하고, 
• 2) 의료 결과에 대한 교육 인증의 관계를 설명하고, 
• 3) 21세기 HPE 인증에서 중요한 질문과 반복 문제를 식별하고, 
• 4) 오늘날의 HPE 인증에서 필수적인 요소의 프레임워크를 제안한다

To begin a twenty-first century dialogue about the future of accreditation in the health professions, we recognized a need to review the existing literature on accreditation, examine systems worldwide, and develop consensus frameworks on which to build the next generation of accreditation systems. We describe the efforts of an international consensus consortium to

• 1) identify a global, contemporary definition of accreditation in the health professions,
• 2) describe the relationship of educational accreditation to health care outcomes,
• 3) identify important questions and recurring issues in twenty-first century HPE accreditation, and
• 4) propose a framework of essential ingredients in present-day HPE accreditation.

방법

Methods

이러한 목표를 해결하기 위해, 우리는 HPE 기관에 대한 문헌 검색 및 Google 검색을 통해 건강 직업 인증 리더를 식별했으며, 눈덩이 샘플링을 사용하여 다른 리더의 네트워크에 액세스했다[16]. 우리는 특히 한 보건 전문가의 경력의 연속체에서 관점을 가진 사람들뿐만 아니라 여러 보건 분야의 인증 리더와 학자들을 찾아냈다. 이러한 리더들은 장학금을 증진하고 HPE 인증에 대해 생각하는 국제 합의 컨소시엄(IHPAOC, "epoch"로 불리는)에 참여하도록 초대되었다.
To address these goals, we identified health professions accreditation leaders via a literature search and Google search of HPE institutions, as well as by accessing the networks of other leaders using snowball sampling [16]. We specifically sought out accreditation leaders and scholars from multiple health professions, as well as those with perspectives from across the continuum of a health professional’s career. These leaders were invited to join an international consensus consortium to advance the scholarship and thinking about HPE accreditation—called the International Health Professions Accreditation Outcomes Consortium (IHPAOC, pronounced “epoch”).


그런 다음 일련의 이슈 식별 및 합의 활동을 조직했습니다. 2013년 캐나다 캘거리에서 열린 레지던시교육 국제회의와 연계해 제1차 인증결과 세계정상회의, 2018년 스위스 바젤에서 열린 유럽의료교육협회 회의와 연계해 제2차 세계정상회의를 소집했다. 이 서밋에서 우리는 반복 그룹 프로세스를 사용하여 HPE 인증의 현재 상태 및 향후 방향과 관련된 테마를 식별했다. 표 1은 정상 회담의 대표 범위를 보여줍니다. 그 후, 우리는 정상회의에서 식별된 문제를 더 자세히 탐구하기 위해 컨소시엄에 대한 정기적인 국제 통화(연간 약 6회)와 하위 그룹을 조직했다. 이 프로세스의 일부로, 우리는 식별된 하위 테마에 형성된 합의점을 포착하기 위해 일련의 논문을 개발했다. 각 논문은 컨소시엄의 모든 구성원에 의해 논의되고 검토되었다.

We then organized a series of issue identification and consensus activities. We convened the 1st World Summit on Accreditation Outcomes in conjunction with the International Conference on Residency Education in Calgary, Canada in 2013, and a 2nd World Summit in conjunction with the Association for Medical Education in Europe conference in Basel, Switzerland in 2018. At these Summits, we used an iterative group process to identify themes related to the current state of, and future directions for, HPE accreditation. Table 1 lists the breadth of representation at the Summits. We subsequently organized regular (approximately six times per year) international calls and subgroups for the Consortium to further explore the issues identified at the Summit. As part of this process, we developed a series of papers to capture the consensuses formed on the subthemes identified. Each paper was discussed and reviewed by all members of the Consortium.

Table 1 Breadth of representation at 2013 and 2018 World Summits

본 논문에서는 IHPAOC를 대신하여 HPE 인증의 기본 문제와 요소에 대한 합의 논의의 개요를 제공한다.

In this paper, on behalf of the IHPAOC, we offer an overview of the consensus discussions on the fundamental issues and elements of HPE accreditation.

결과: HPE 인증의 현대적 문제
Results: contemporary issues in HPE accreditation

HPE의 인증이란 무엇인가?
What is accreditation in HPE?

인증은 효과적인 HPE와 효과적인 의료 모두를 위한 기초적인 사회적 기업으로 간주될 수 있지만, 그 정의에 대한 보편적인 합의는 없다. QA(Quality Assurance), CQI(Continuous Quality Improvement) 기업, 프로그램 평가의 형태 및 위의 다양한 조합으로 다양하게 기술되어 왔다. 
Accreditation can be considered a societal enterprise that is fundamental for both effective HPE and effective health care, but there is no universal agreement on its definition. It has variously been described as a form of quality assurance (QA), an enterprise of continuous quality improvement (CQI), a form of program evaluation, and various combinations of the above. 

예를 들어 세계의료교육연맹(WFME)은 다음을 지지한다.
The World Federation for Medical Education (WFME), for example, espouses the following:

인증은 의료 교육 프로그램의 적합성과 의료 교육 제공에 있어 의과대학의 역량에 대한 인증[17]이다.
Accreditation is the certification of the suitability of medical education programmes, and of the competence of medical schools in the delivery of medical education [17].

마찬가지로 국제의료규제당국협회는 다음과 같은 문구를 사용한다.
Similarly, the International Association of Medical Regulatory Authorities uses this statement:

인증은 신뢰할 수 있는 독립 기관이 의료 교육 프로그램의 품질을 평가하여 의료 교육 프로그램에 대한 확신을 제공하는 과정이다. 교육 프로그램이 [인턴(또는 동등한 사람)의 감독 하에, 안전하고 효과적으로 의료행위를 수 있는 역량을 갖춘 졸업생을 배출]하는지, [평생 학습 및 의학의 모든 분야에서 추가 훈련을 위한 적절한 토대를 제공했는지]를 확인한다
Accreditation is the process by which a credible, independent body assesses the quality of a medical education program to provide assurance that it produces graduates that are competent to practise safely and effectively under supervision as interns (or equivalent), and have been provided with an appropriate foundation for lifelong learning and further training in any branch of medicine [18].

미국 국립 과학 기술 의학 아카데미는 다음과 같은 의료 인력 계획 측면에서 인증을 정의합니다.

The US National Academy of Sciences, Engineering and Medicine defines accreditation in terms of health workforce planning:

인증의 목적은 특정 기준을 충족한 기관 내에서 이루어지는 교육의 질을 보장함으로써 유능한 보건 인력을 양성하는 것이다. … 인증은 그러한 품질을 모니터링하고 보장하기 위한 도구입니다 [15].
The purpose of accreditation is to build a competent health workforce by ensuring the quality of training taking place within those institutions that have met certain criteria. … Accreditation is a tool for monitoring and ensuring such quality [15].

이 논의에서 제기된 주요 기능은 다음과 같습니다.

• 인증이 [프로그램, 기관 또는 시스템을 대상]으로 하는 특별한 종류의 평가라는 생각.
  
• 인증은 [정의된 표준과의 비교]를 포함한다.
  
• 인증은 일반적으로 [대상이 되는 기관]과 [어떤 종류의 제3자 기관] 사이의 파트너 관계이다.
  
• 현대의 인증은 [품질 보증]과 [품질 개선]을 모두 수반한다는 견해.
  

Key features that arose in the discussions included the following:

• the idea that accreditation is a special kind of evaluation targeting a program, an institution, or a system;
• accreditation involves a comparison against defined standards;
• accreditation is usually a partnership between the target of the process and some kind of third-party institution; and
• the view that modern accreditation involves both quality assurance and quality improvement.

IHPAOC 위원들은 이러한 모든 문제를 해결하고 HPE의 연속체에 적용되는 인증의 보다 정확한 정의를 추구했다. 이를 위해 다음과 같은 정의를 개발하고 채택했습니다.

The IHPAOC members sought a more precise definition of accreditation that both addressed all of these issues and applied to the continuum of HPE. To that end, we developed and adopted the following definition:

보건직업에서의 인증은 [품질 보증과 지속적인 개선]을 목적으로 [외부 기관]에 의해 [정의된 표준]에 대한 [교육 프로그램, 기관 또는 시스템]의 [공식적인 평가] 과정이다.
Accreditation in the health professions is the process of formal evaluation of an educational program, institution, or system against defined standards by an external body for the purposes of quality assurance and continuous enhancement.

IHPAOC는 또한 HPE 인증을 위해 다음과 같은 목표 진술을 채택했다.
IHPAOC also adopted the following goal statement for HPE accreditation:

인증은 [사회적 요구를 효과적으로 충족]시키기 위해 [준비된 유능한 인력에 대한 고품질 교육을 보장]하는 데 기여한다.
Accreditation contributes to ensuring high quality training for a competent workforce prepared to serve societal needs effectively.

인가는 HPE의 프로그램 평가 또는 연구와 어떤 관련이 있는가?
How does accreditation relate to program evaluation or research in HPE?

[인증], [프로그램 평가], [의료 교육 연구]는 때때로 공유된 방법과 중복되는 노력이 될 수 있다. 표 2는 이 세 기업을 비교한다.

Accreditation, program evaluation, and medical education research can sometimes be overlapping endeavours, with shared methods. Table 2 compares these three enterprises.

Table 2 Accreditation, program evaluation, and research in health professions education

강제성

• 인증은 정부 또는 다른 감독 기관에 의해 위임될 수 있고 직업의 자율 규제의 일부가 될 수 있다. 
• 한편, 프로그램 평가와 연구는 대개 선택적인 활동이다. 

Accreditation can be mandated by government or another oversight body or it can be part of a profession’s self-regulation. Meanwhile, program evaluation and research are usually elective activities. 

자금

• 인증를 위한 기금은 정부 또는 규제 계획의 일부일 수도 있고, 직업 자체에서 조달할 수도 있다. 
• 프로그램 평가 및 연구를 위한 자금은 보조금, 기부금 또는 기관 예산과 같은 광범위한 출처에서 나온다. 

Funding for accreditation can be part of a government or regulatory scheme, or it can be from the profession itself. Funding for program evaluation and research come from a wider array of sources, such as grants, endowments, or institutional budgets. 

목적

• 인증은 때때로 프로그램/교육과정/기관이 심사 대상인 평가라는 점에서 프로그램 평가의 특별한 유형class으로 간주된다. 인증의 경우, [외부 기관의 정의한 표준]과의 정렬alignment을 결정하기 위한 것이다.
• 대조적으로, 프로그램 평가와 연구는 각각 광범위한 맞춤형 질문, 방법, 데이터 및 목적을 사용한다.

In terms of its purpose, accreditation is sometimes seen as a special class of program evaluation, in that programs/curricula/institutions are the evaluands being examined. In the case of accreditation, the evaluation is for the purpose of determining alignment with defined standards from an external body. By contrast, program evaluation and research each employ a vast array of tailored questions, methods, data, and purposes.

인증은 구체적이고 제한된 범위와 목적을 가진 특별한 기업입니다 [19, 20].

Accreditation is a special enterprise, with a specific, constrained scope and purpose [19, 20].

HPE에서 인증의 역할은 무엇입니까?
What is the role of accreditation in HPE?

QA와 CQI라는 인증의 [이중 기능dual function]은 향상된 교육 및 대학원 능력 향상을 통해 HPE를 개선할 수 있습니다. 표 3은 이러한 QA와 CQI 관점의 스펙트럼을 보여준다. 이러한 두 가지 관점은 종종 많은 인증 시스템에 공존할 수 있다.

Accreditation’s dual functions of QA and CQI can improve HPE through enhanced training and improved graduate abilities. Table 3 illustrates the spectrum of these QA and CQI perspectives. These two perspectives can often co-exist in many accreditation systems.

Table 3 Accreditation as quality assurance and continuous quality improvement

품질 보증으로서의 인증
Accreditation as quality assurance

인증은 종종 HPE 시스템의 필수적인 요소로 언급된다: 그것은 높은 품질의 교육이 모집단의 요구를 충족시킬 수 있는 유능한 졸업생을 생산하도록 보장하는 과정이다. 그림 1은 보건 분야의 "품질 사슬quality chain의 링크"에 인가를 연결하는 방법을 설명한다. 이러한 의미에서 인증은 프로그램 및 기관 및/또는 시스템을 사전 정의된 예상 특성에 대해 측정하는 QA의 한 형태이다. 프로그램/기관이 표준을 충족했는지에 대한 인가 검토 후 결정이 내려진다. 이러한 인증 모드는 고부담high stakes 작업이 될 수 있습니다. 커리어, 프로그램, 자금 지원, 평판, 서비스 및 학습자 진보는 모두 검토 결과에 따라 달라질 수 있습니다. 이것은 인증의 [총괄적 관점]입니다: 최적이지 않은suboptimal 교육을 위한 품질 및 보안관의 방벽으로서의 인증 [2, 15, 17, 18, 21, 22, 23, 24, 25, 26, 27].
Accreditation is often cited as an essential ingredient in HPE systems: it is a process to ensure that high quality education produces competent graduates to serve a population’s needs. Figure 1 describes how accreditation connects to the “links in the quality chain” of the health professions. In this sense, accreditation is a form of QA in which programs and institutions and/or systems are measured against pre-defined expected characteristics. A decision is made after an accreditation review as to whether the program/institution has met the standard. This mode of accreditation can be high stakes: careers, programs, funding, reputations, services, and learner advancement can all depend on the review’s findings. This is a summative view of accreditation: accreditation as bulwark to quality and sheriff for suboptimal training [2, 15, 17, 18, 21,22,23,24,25,26,27].

Fig. 1

인증은 [규제적 QA 기능]에서 학습 환경이 학습자에게 안전하고 효과적인지 보장할 수 있다. 최소 표준 준수를 촉진함으로써, 인증은 부정적인 환경과 관행의 영속화를 방지하며, 학습자와 환자 모두에게 해를 끼치는 것도 예방할 수 있다. QA는 또한 커리큘럼 품질, 교육 방법 및 평가 관행에 대한 [최소 임계값minimum threshold]에 초점을 맞출 수 있다. 인증은 QA 모드에서 직업, 학습자 및 환자의 안전을 유지하는 데 기여합니다. 인증은 일종의 전문적인 책임을 이행하며, 자율규제 직업에 대한 대중의 신뢰를 보장하는 데 도움이 된다[27].
In its regulatory QA function, accreditation can ensure learning environments are safe and effective for learners. By promoting adherence to minimum standards, accreditation can even prevent negative environments and practises from being perpetuated, preventing harm to learners and patients alike. QA can also focus on minimum thresholds for the quality of curriculum, instructional methods, and assessment practices. Accreditation, in its QA mode, contributes to keeping the profession, its learners, and its patients safe. Accreditation fulfills a kind of professional accountability and helps to ensure public confidence in self-regulated professions [27].

지속적인 품질 향상으로 인증
Accreditation as continuous quality improvement

다른 이들은 인증을 CQI의 진정한 [형성적 과정]으로 설명한다. 프로그램, 기관 또는 시스템은 강점과 개선할 수 있는 영역에 대한 피드백을 제공하기 위해 표준에 대해 측정된다 [28,29,30,31,32,33,34,35,36,37]. 프로그램 또는 기관 포트폴리오 또는 "보고서 카드"에서 인증 정보를 수집하면 교육의 주요 측면을 지속적으로 모니터링하고 개선할 수 있습니다 [20, 36, 37]. [끊임없이 발전하는ever-evlolving 제3자 표준]은 지속적인 개선의 문화를 만들 목적으로, HPE 기관과 커리큘럼의 약점을 식별하고 개선하기 위해 도입deploy될 수 있다. 이러한 방식으로, 인증은 [커리큘럼의 "화석화"를 방지]할 수 있다[38]. 현장 평가관 및 동료 평가관을 사용하여 인증 프로세스도 혁신과 모범 사례를 전파할 수 있습니다. CQI 인증 모드에서 사회는 가능한 최고의 졸업생을 배출하기 위해 가장 효과적인 커리큘럼에 대한 지속적인 탐색을 보장함으로써 봉사한다.
Others describe accreditation as truly a formative process of CQI: programs, institutions, or systems are measured against standards to provide feedback on areas of strength and areas that can be improved [28,29,30,31,32,33,34,35,36,37]. Collecting accreditation information in program or institutional portfolios or “report cards” can support ongoing monitoring and improvement of key aspects of education [20, 36, 37]. Ever-evolving third-party standards can be deployed to identify and ameliorate weaknesses in HPE institutions and curricula, with the intention of creating a culture of continuous enhancement. In this way, accreditation can prevent the “fossilization” of curriculum (something Abrahamson called “curriculum ossification”) [38]. Accreditation processes, using onsite surveyors and peer review, can also disseminate innovations and good practices. In the mode of accreditation as CQI, society is served by ensuring a continuous quest for the most effective curricula to produce the best possible graduates.

인증은 의료 결과에 어떻게 기여합니까?
How does accreditation contribute to health care outcomes?

교육 품질의 표준을 만들 때, 인증 프로세스는 전문직 또는 전문직 커뮤니티의 가치를 전달한다. 이러한 표준의 작성은 원하는 의료 결과와 일치시켜 의료 직업에 대한 사회적 요구를 고려해야 한다[2]. HPE의 품질이 졸업성과에 강력한 영향을 미친다는 명백한 증거가 있다. Asch [11], Tamblyn [39], Bordage [40] 등의 작업은 [교육 환경]이 [졸업생 능력graduate abilities]과 [의료행위 패턴]에 미치는 심오하고 영구적인 영향을 명확하게 보여줍니다. 증거는 또한 [조직적 요인 및 시스템적 요인]처럼 (임상 기술 및 지식 획득 외에도) 의사 성과 변동에 기여하는 요인이 있음을 시사하며, 따라서 학습 환경에서 이러한 요인을 검토하기 위한 전체론적holistic 인증 시스템의 사례가 된다[9, 14].
In creating standards of educational quality, the accreditation process communicates the values of a profession or professional community. The creation of these standards should consider societal needs for the health professions, aligning them with desired health care outcomes [2]. There is clear evidence that the quality of HPE has a powerful impact on graduate outcomes. Work by Asch [11],Tamblyn [39], Bordage [40], and others clearly demonstrates the profound and permanent impact of the educational setting on graduate abilities and practice patterns. Evidence also suggests that there are factors contributing to physician performance variation that occur outside of clinical skills and knowledge acquisition, such as organizational and systemic factors, thereby making the case for a holistic accreditation system to examine these factors in the learning environment [9, 14].

Braithwaite 및 동료와 같은 저자들의 새로운 연구는 [인증 활동이 원하는 임상 및 기관 결과에 미치는 긍정적인 영향]에 대한 타당성 증거를 제공했다 [41,42,43]. HPE 시스템에서 인증은 교육의 품질에 미치는 영향을 통해 가상의 "가치 사슬"에 기여합니다. 최소 요건이 충족되도록 보장함으로써 인가는 교육과 실무의 변동을 줄이고 승인된 기술혁신의 채택을 촉진할 수 있다. QA와 CQI를 통해 인증은 학습자 선발, 커리큘럼 내용, 교육 활동, 학습 환경, 평가 시스템, 그리고 궁극적으로 졸업생의 역량과 실습의 품질에 영향을 미칠 수 있다. 의료 결과에 직접적인 영향을 미치는 것은 이러한 졸업생들의 의료행위practice이다. 따라서 인증은 효과적인 의료 시스템에서 필수적인 요소이다 [2, 7, 9, 11].

The emerging work of authors such as Braithwaite and colleagues has provided validity evidence for the positive impact of accreditation activities on desired clinical and institutional outcomes [41,42,43]. In HPE systems, accreditation contributes to a virtual “value chain” through its impact on the quality of training. By ensuring that minimum requirements are met, accreditation can decrease variation in education and practice, and promote adoption of accepted innovations. Accreditation, through both QA and CQI, can influence the quality of learner selection, curriculum content, teaching activities, learning environments, assessment systems, and ultimately the competence and practice of graduates. It is the practice of these graduates that directly impact health care outcomes. Therefore, accreditation is an essential ingredient in an effective health care system [2, 7, 9, 11].

HPE에서 인증 시스템의 공통 핵심 요소는 무엇입니까?
What are the common core elements of accreditation systems in HPE?

전 세계의 인증 시스템은 많고 다양합니다. 각각은 고유한 맥락에서 진화했으며 고유한 특징으로 구성되어 있습니다 [44]. IHPAOC는 인증 시스템의 핵심 요소에 대한 공통 유형론의 필요성을 파악하여 간단한 프레임워크를 제안했다. 10개의 핵심 요소는 표 4에 열거되어 있다. HPE의 연속체 전체에 걸친 인증 시스템은 매우 다양하지만 일반적으로 이러한 구성 요소를 가지고 있습니다. 이러한 다양한 요소와 관련된 설계 특성은 Taber 등이 다른 IHPAOC 논문에서 자세히 설명하고 있다. [45].
Accreditation systems around the world are numerous and varied. Each has evolved in its unique context and is composed of unique features [44]. IHPAOC identified the need for a common typology of core elements of accreditation systems, and so proposed a simple framework. The 10 core elements are listed in Table 4. Accreditation systems across the continuum of HPE typically have these components, although with great variation. Design features related to these various elements are elaborated in another IHPAOC paper by Taber et al. [45].

Table 4 10 core elements of accreditation systems

이러한 각 요소에 대해, 인가가 품질 결과에 기여하는 데 필수적인 특징에 대한 명확한 증거나 합의가 없다는 점에 유의해야 한다. 그러나 이러한 핵심 요소의 힘은 인증 시스템 설계와 비교를 위한 일종의 공통어lingua franca로서의 약속에 있다.
For each of these elements, it should be noted that there is no clear evidence or consensus as to which features are essential for accreditation to contribute to quality outcomes. However, the power of these core elements is in their promise as a kind of lingua franca for accreditation system design and comparison.

동향과 긴장: HPE 인증의 새로운 발전?
Trends and tensions: emerging developments in HPE accreditation?

마지막 과제로, IHPOAC 참가자들은 HPE가 21세기의 고유한 맥락에서 진화함에 따라 몇 가지 동향과 긴장을 강조했다.

As a final task, IHPOAC participants highlighted several trends and tensions as HPE evolves in the unique context of the twenty-first century.

[총괄 대 형성? QA 대 CQI?]

첫 번째 주요 주제는 인증 시스템의 QA와 CQI 기능 사이의 긴장을 다룬다. 이것은 오늘날까지 계속되는 영원한 논쟁이다. 인증의 역할에 대한 두 가지 관점 모두 교육의 품질 데이터를 표준과 비교하는 것을 포함하지만, CQI 관점은 확인된 차이를 바탕으로 종합적 판단을 내리는 것을 넘어서는 것이다. CQI 인증은 프로그램이나 기관을 향상시키는 방법에 대한 상세한 정보를 제공하려고 하며, 심지어는 더 높은 수준의 품질을 달성하는 방법에 대한 코칭도 시도한다. 이러한 이분법은 인증제도가 근본적으로

• 형성적(대상 개선의 명시적 목적을 위해 제공되는 정보)이어야 하는지, 아니면
• 총괄적(대상의 성과나 상태에 대한 판단)이어야 하는지

...에 대한 또 다른 논쟁과 밀접하게 관련되어 있다. IHPAOC 위원들은 인증 설계자가 프로세스의 목표뿐만 아니라 QA 대 CQI와 관련된 방법을 명시적으로 식별하고 전달해야 한다고 확인했다. 
Summative vs. formative? QA vs. CQI? The first overarching theme deals with the tension between the QA and CQI functions of accreditation systems. This is a perennial debate; one that continues to this day. While both perspectives on the role of accreditation involve the comparison of educational quality data to a standard, the CQI view goes beyond making a summative judgment based on the identified gaps. CQI accreditation attempts to provide detailed information on how to enhance a program or institution, perhaps even coaching on how to achieve a higher level of quality. This dichotomy is closely related to another debate as to whether accreditation systems should be fundamentally

• formative (information provided for the express purpose of improvement of the target) or
• summative (judgment made on the merit or status of a target).

IHPAOC members identified that accreditation designers should explicitly identify and communicate the goals of the process, as well as how those goals relate to QA vs. CQI [45].

[연속적 대 일화적?]

서밋 참가자들은 프로그램/기관/시스템의 [일화적이고 가끔 발생하는 "생검"]보다는, 이러한 [목표의 상태에 대한 정보를 보다 지속적으로 샘플링하는 방향]으로의 변화를 확인했다. IHPAOC 위원들은 다시 한번 이 문제가 [인증제도의 목적에 맞게 조정]되어야 한다고 생각했다.

• [일화적 샘플링]은 더 고부담 평가인 경향있고, 주기적 정보수집에 큰 비용을 수반하는 경향이 있었지만, 그것은 인증 활동들 사이의 긴 주기를 허용했다. 어떤 면에서는, 일화적 리뷰가 교육 업무에 덜 지장을 줄 수 있다.
• 한편, [지속적 샘플링]에 대한 주장은 인가자가 시간 경과에 따른 HPE의 변화를 감시하고, 준수 또는 개선을 보장하기 위해 조기에 개입하며, 품질과 모범 사례에 대한 대화가 프로그램, 기관 및 시스템에 항상 존재하도록 한다는 것이다.

이 논의에 덧붙여, Akdemir 등이 작성한 IHPAOC 논문은 다음과 같다. 세 가지 의료 교육 시스템을 검사하기 위해 정부 감독 연구에서 제시한 7가지 핵심 가치를 사용한다 [46].
Continuous vs. episodic? Participants in the Summit identified a shift from episodic, occasional “biopsies” of programs/institutions/systems to more continuous sampling of information on the state of those targets. Once again, the IHPAOC members felt that this issue should be tailored to the purpose of the accreditation system.

• Episodic sampling tended to be higher stakes and to involve expensive periodic information gathering; however, it allowed low periods between accreditation activities. In some ways, episodic reviews could be less disruptive to educational work.
• On the other hand, the argument for continuous elements in accreditation processes is that they allow accreditors to monitor changes in HPE over time, intervene early to ensure adherence or improvement, and ensure that conversations about quality and good practices are always present in programs, institutions, and systems.

Adding to this discussion, the IHPAOC paper authored by Akdemir et al. uses the seven core values set out in a study of government oversight to examine three medical education systems [46].

[현장 방문 대 문서 검토?]

또 다른 문제(인증 관행의 변형과 관련된 문제)는 데이터 수집 방법과 관련이 있습니다.

• 문서 검토는 교육 목표에 대한 정보를 효율적으로 수집하는 방법으로, 기술된 것을 인가 표준에 비교한다.
• 그러나 실제 교육 환경에서 표준을 준수한다는 증거를 찾는 전문가 동료 또는 채용된 검토자가 보다 비싸고 자원 집약적인 현장 검토(일명 "조사"라고 함)를 옹호하는 사람들도 있다. 현장 검토는 직접 정보 제공, 여러 참가자와의 연락, 풍부한 정보 출처의 접근 등의 분명한 이점을 제공합니다 [45].
  

Onsite visits vs. document reviews? Another issue—one related to variations in accreditation practices—relates to the methodology of data gathering.

• Document reviews are efficient ways to gather information on an educational target, comparing what is described to accreditation standards.
• However, others advocate for more expensive, and resource-intensive, onsite reviews (sometimes called “surveys”) by expert peer or hired reviewers who look for evidence of adherence to standards in the actual educational environment. Onsite reviews have the obvious advantages of first-hand information, contact with multiple participants, and access to richer sources of information [45].

[동료 평가 대 인증 전문가 검토?]

누가 인증 심사를 수행해야 하는가? IHPAOC 위원은 전임으로 인가를 전담하는 고용된 전문가와 자신의 경험을 반영하는 진정한 관점을 제공하는 선별된 동료 검토자 사이의 토론을 식별했다. 선택을 안내할 증거가 없는 가운데, 정상회의 참석자들은 그 결정이 [철학과 실용성]에 기초해야 한다고 결론 내렸다. 예를 들어:

• 진정성이나 전문성이 더 중요합니까?
• 전문가 대 동료의 가용성은 어느 정도입니까?
• 이노베이션의 '교차 수정'이 중요합니까? [46, 47]?

Peer review vs. accreditation expert review? Who should conduct accreditation reviews? IHPAOC members identified a debate between hired experts who are dedicated to accreditation full time and selected peer reviewers who provide authentic perspectives reflective of their own experiences. With no evidence to guide the choice, Summit participants concluded that the decision should be based on philosophy and practicality. For example:

• Is authenticity or expertise more important?
• What is the availability of experts vs. peers?
• Is cross-fertilization of innovation important [46, 47]?

[결과 대 과정 측정?]

전 세계 인증기구 사이의 논쟁에서 발생하는 최종적인 긴장감은 과정(예를 들어, 이 가르침이 발생하는가?) 또는 성과(예: 졸업생이 이 수술을 수행할 수 있는가?) 사이에 얼마나 가중치를 둘 것인지이다. 과정 척도는 일부 경우에 기대성과를 대신하는surrogate 특징이 있고, 성과 척도에 비해서 측정이 쉽다. 또한 성과 척도는 복잡할 수 있고, 시간적으로 떨어져 있으며, 교란될 수 있다. 정상회의 참석자들은 [더 많은 데이터를 이용할 수 있게 됨에 따라] 인증 표준에 대한 결과 척도를 (전적으로 배타적이진 않더라도) 더 많이 사용하는 쪽으로 옮겨는 뚜렷한 변화를 확인했습니다 [48].

Outcomes vs. process measures? The final tension occurring in debates among accreditors worldwide is related to how much to weight standards to process (e.g., Does this teaching occur?) vs. outcomes (e.g., Can graduates perform this surgery?). Process measures were characterized as surrogates for the desired outcome in some cases, and they are often easier to measure than outcome measures, which can be complex, temporally distant, and confounded. Summit participants identified a distinct shift to greater, but not exclusive, use of outcome measures for accreditation standards as more data become available [48].

고찰

Discussion

HPE는 종종 모든 국가의 의료 시스템의 필수적인 요소로 언급된다. 그러나, HPE가 poor outcome와 수용하기 어려운 정도의 졸업성과의 variation으로 고통받고 있다는 증거가 있다. 또한 환자에게 해를 입혔다는 증거도 있다. 인증은 최소 표준 준수와 지속적인 개선을 촉진할 수 있는 보건 전문가들이 직면한 이러한 과제에 대한 해결책으로 식별되었다. 이제 "품질 사슬의 연결"(그림 1)로 인증을 뒷받침하는 근거 자료가 있으며, 교육 활동 대 표준 측정으로 HPE 효과에 강력한 영향을 미친다. 인증은 직업의 활력에 필수적이며 졸업생들이 현대적 실무에 안전하고 효과적으로 대비할 수 있도록 보장합니다 [2,3,4,7,9,15,18,21,49].
HPE is often cited as an essential component of the health care system of any nation. However, there is evidence that HPE suffers from poor outcomes and unacceptable variation in graduate abilities. There is also evidence of patient harm. Accreditation has been identified as a solution to these challenges facing the health professions, one that can promote both adherence to minimum standards and continuous improvement. There is now an evidence base that supports accreditation as “links in a quality chain” (Fig. 1) and measuring educational activities versus standards has a powerful driving affect on HPE effectiveness. Accreditation is essential to the vitality of a profession and ensures graduates are safely and effectively prepared for contemporary practice [2,3,4, 7, 9, 15, 18, 21, 49].

IHPAOC의 설립과 제1차 및 제2차 세계 인증 결과 정상회의의 출범은 HPE 내의 기업으로서 인증에 대한 실무와 지식을 진전시킬 수 있는 독특한 기회를 제공하였습니다. 합의 네트워크는 HPE 시스템에서의 역할뿐만 아니라 HPE 인증을 정의하기 위해 작동했다. 이를 통해 인증 기업의 설계 및 실무를 안내할 수 있는 초기 증거를 식별했습니다. 인증은 큰 근거의 부족으로 제한되며 핵심 요소의 공통 프레임워크의 부족뿐만 아니라 몇 가지 철학적이고 실용적인 토론과 논쟁에 의해 도전받는다. 이 글로벌 네트워크는 이러한 핵심 요소에 대한 방향과 HPE 인증이 계속 발전함에 따라 직면하는 문제에 대한 방향을 제시하였다. 교육을 강화하고 관리를 강화하기 위해 HPE 인증을 평가하고 혁신하기 위해 이 작업을 기반으로 구축해야 한다.

The founding of the IHPAOC and the launch of the 1st and 2nd World Summits on Accreditation Outcomes provided a unique opportunity to advance practice and knowledge about accreditation as an enterprise within HPE. The consensus network worked to define HPE accreditation, as well as its role in HPE systems. In doing so, we identified early evidence to guide the design and practice of an accreditation enterprise. Accreditation is limited by lack of a large evidence base and challenged by several philosophical and practical debates and controversies, as well as the lack of a common framework of core elements. This global network has now proposed direction for these core elements and the issues facing HPE accreditation as it continues to evolve. There is an urgent need to build on this work to evaluate and innovate on HPE accreditation to enhance training and, thereby, enhance care.

결론

Conclusion

HPE 인증은 세계 각국의 보건 인력에 있어 기본적인 역할을 한다. 우리는 전 세계 교육자들이 HPE의 품질을 향상시키기 위해 구축할 수 있는 HPE 인증에 관한 국제 컨소시엄의 결과를 보고한다. 공통 정의를 채택하고 반복되는 문제와 요소의 분류법을 식별함으로써, 우리는 전세계 HPE 인증 시스템의 다양성을 비교, 학습 및 기반으로 구축할 수 있다.

HPE accreditation plays a fundamental role in the health workforce for the nations of the world. We report the findings of an international consortium on HPE accreditation that educators around the world can build upon to advance the quality of HPE. By adopting a common definition and identifying recurring issues and the taxonomy of elements, we can begin to compare, learn from, and build upon the diversity of HPE accreditation systems worldwide.

BMC Med Educ. 2020 Sep 28;20(Suppl 1):305.

 doi: 10.1186/s12909-020-02121-5.

The role of accreditation in 21st century health professions education: report of an International Consensus Group

Jason R Frank 1 2, Sarah Taber 3, Marta van Zanten 4, Fedde Scheele 5 6 7, Danielle Blouin 8, International Health Professions Accreditation Outcomes Consortium

Affiliations collapse

Affiliations

• 1Office of Specialty Education, Royal College of Physicians and Surgeons of Canada, Ottawa, Canada. jfrank@royalcollege.ca.

• 2Department of Emergency Medicine, University of Ottawa, Ottawa, Canada. jfrank@royalcollege.ca.

• 3Office of Specialty Education, Royal College of Physicians and Surgeons of Canada, Ottawa, Canada.

• 4Foundation for Advancement of International Medical Education and Research, Philadelphia, PA, USA.

• 5OLVG Teaching Hospital, Amsterdam, The Netherlands.

• 6VU Medical Center, School of Medical Sciences, Amsterdam, The Netherlands.

• 7Athena Institute for Transdisciplinary Research, Amsterdam, The Netherlands.

• 8Department of Emergency Medicine, Queen's University, Kingston, Canada.

• PMID: 32981519

• PMCID: PMC7520947

• DOI: 10.1186/s12909-020-02121-5

Free PMC article

Abstract

Background: Accreditation is considered an essential ingredient for an effective system of health professions education (HPE) globally. While accreditation systems exist in various forms worldwide, there has been little written about the contemporary enterprise of accreditation and even less about its role in improving health care outcomes. We set out to 1) identify a global, contemporary definition of accreditation in the health professions, 2) describe the relationship of educational accreditation to health care outcomes, 3) identify important questions and recurring issues in twenty-first century HPE accreditation, and 4) propose a framework of essential ingredients in present-day HPE accreditation.

Methods: We identified health professions accreditation leaders via a literature search and a Google search of HPE institutions, as well as by accessing the networks of other leaders. These leaders were invited to join an international consensus consortium to advance the scholarship and thinking about HPE accreditation. We describe the consensus findings from the International Health Professions Accreditation Outcomes Consortium (IHPAOC).

Results: We define accreditation as the process of formal evaluation of an educational program, institution, or system against defined standards by an external body for the purposes of quality assurance and enhancement. In the context of HPE, accreditation is distinct from other forms of program evaluation or research. Accreditation can enhance health care outcomes because of its ability to influence and standardize the quality of training programs, continuously enhance curriculum to align with population needs, and improve learning environments. We describe ten fundamental and recurring elements of accreditation systems commonly found in HPE and provide an overview of five emerging developments in accreditation in the health professions based on the consensus findings.

Conclusions: Accreditation has taken on greater importance in contemporary HPE. These consensus findings provide frameworks of core elements of accreditation systems and both recurring and emerging design issues. HPE scholars, educators, and leaders can build on these frameworks to advance research, development, and operation of high-quality accreditation systems worldwide.

Keywords: Accreditation; Assessment; Curriculum; Learning environment; Outcomes; Quality improvement.

필수적인 일: 21세기에 평가인증의 중요한 역할(BMC Med Educ, 2020)

The essential enterprise: the critical role of accreditation in the 21st century
Jason R. Frank1,2*, Sarah Taber1, Marta van Zanten3, Fedde Scheele4,5,6, Danielle Blouin7 and on behalf of the International Health Professions Accreditation Outcomes Consortium

보건직업 교육(HPE)은 역량 기반 세계로 빠르게 변화하고 있으며, 인증 변경은 이러한 이야기의 일부입니다 [1,2,3,4]. 100년 이상의 과학적, 교육적, 그리고 생물의학적인 혁신에도 불구하고, 건강 직업 교육은 계속해서 비판에 직면하고 있다. HPE의 현재 설계에서는 대학원 역량, 환자 위해성 및 현대 의료에 대한 준비성의 결손과 변형이 주요 과제로 간주된다[5, 6]. 인증이 이러한 문제를 해결하는 데 도움이 될 수 있습니까? 
Health professions education (HPE) is undergoing rapid change to a competency-based world, and accreditation change is part of that story [1,2,3,4]. Despite over 100 years of scientific, instructional, and biomedical innovation, health professions education continues to face criticism.

• Deficits and variations in graduate competence,
• patient harm, and
• preparedness for modern health care

...are considered major challenges for current designs for HPE [5, 6]. Can accreditation help to address these issues?

인증은 일반적으로 효과적인 건강 전문가 교육(HPE) 시스템의 필수 요소로 간주되며, 이는 품질 보증과 지속적인 품질 개선을 위한 지렛대lever로 평가됩니다. 그러나 이러한 필수적인 업무enterprise의 경우, HPE 인증에 관한 문헌의 본체는 작다. 인증 시스템은 전 세계적으로 매우 다양한 형태로 존재합니다.

• 우리는 모두 우리가 의미하는 "인증"에 동의하는가?
• 인증 시스템의 필수 구성 요소는 무엇입니까?
• 주어진 상황에 가장 적합한 것은 무엇입니까?
• 현대 교육의 새로운 이슈는 무엇인가?
• 모범 사례와 "다음" 사례는 무엇입니까?

우리는 이러한 문제들을 알리기 위한 소수의 선구적인 학자들의 연구만 있을 뿐, 우리의 생각을 진전시킬 세계적 합의가 없다.

Accreditation is commonly viewed as an essential component of an effective health professions education (HPE) system, valued both as a lever for quality assurance as well as for continuous quality improvement. However, for such an essential enterprise, the body of literature on HPE accreditation is small. Accreditation systems exist worldwide in a wide variety of forms.

• Do we all agree on what we mean by “accreditation”?
• What are the essential components of an accreditation system?
• What works best for a given context?
• What are the emerging issues in contemporary education?
• What are best and “next” practices?

We have only the work of a few pioneering scholars to inform these questions, and no global consensus on which to advance our thinking.

국제 보건 전문가 인증 결과 컨소시엄(IHPAOC)의 실무 인증 커뮤니티에 들어갑니다. 우리는 HPE 인증의 관행을 진전시키기 위해 2012년에 이 단체를 설립했습니다.
Enter an accreditation community of practice, the International Health Professions Accreditation Outcomes Consortium (IHPAOC). We founded this organization in 2012 to advance the practice of HPE accreditation.

현재까지 이 단체는 2013년 캐나다 캘거리에서 열린 국제 레지던시교육회의(ICRE)와 연계한 HPE 인증에 관한 세계 정상회의와 2018년 스위스 바젤에서 열린 유럽의료교육협회(AMEE) 회의와 연계한 세계 정상회의 2개를 마련했다. 두 정상 모두 HPE 인증의 현재 상태와 미래 방향과 관련된 주제를 식별하기 위해 반복적인 그룹 프로세스를 사용했다.
To date, this group has organized two world summits on HPE accreditation, one in 2013 in conjunction with the International Conference on Residency Education (ICRE) in Calgary, Canada, and the second in 2018 in conjunction with the Association for Medical Education in Europe (AMEE) conference in Basel, Switzerland. Both summits used an iterative group process to identify themes related to the current state of and future directions for HPE accreditation.

2013년 첫 세계정상회의에서 캐나다, 미국, 호주, 유럽, 중국 등 전 세계 IHPAOC 위원들은 우선적인 주제를 파악하고 연구 의제를 구축하기 위한 토론과 공감대 형성의 협력 과정에 들어갔다. 확인된 주제에 대해 더 자세히 설명하기 위해 작업 그룹이 구성되었고 각 그룹은 논문을 작성했다. BMC Medical Education은 IHPOAC 연구 결과를 공개 액세스 형식으로 널리 보급하기 위한 차량으로 선택되었습니다. 이것은 결과적인 인가서 시리즈이다.

At its first world summit in 2013, IHPAOC members from around the world, including Canada, the United States, Australia, Europe and China, began a collaborative process of discussion and consensus-building to identify priority topics and build a research agenda. Working groups were formed to further elaborate on the identified topics and each group produced a paper. BMC Medical Education was chosen as vehicle to widely disseminate the IHPOAC findings in an open access format. This is the resulting accreditation paper series.

각 논문은 인가에 관한 문헌에 주된 기여를 한다. 

• Frank 등이 이 시리즈의 첫 번째 논문은 인증의 새로운 정의를 제시하고, 인가의 목적과 투자 수익률을 조사하며, HPE에서 일반적으로 발견되는 10개의 기본적이고 반복적인 인가를 위한 요소를 정의한다.
• Taber 등의 두 번째 논문은 인증 시스템에 대한 운영 설계 결정을 위한 프레임워크를 제공한다.
• Bandiera 등이 작성한 세 번째 논문은 프로세스로부터 결과로 초점을 전환하기 위한 인증 시스템의 필요성을 탐구한다.
• Akdemir 등이 작성한 시리즈의 네 번째 논문은 지속적인 품질 개선의 역할을 검토하고 인증을 위한 핵심 가치 프레임워크를 개발한다.
• Philibert 등이 쓴 마지막 논문은 HPE의 사회적 대응력을 향상시키기 위한 네 가지 우선 순위를 설명하고, 변화를 위한 지렛대로 인가를 사용하여 시스템, 기관, 프로그램 및 개별 수준에서 접근 방식을 식별한다.
  

Each paper makes a primary contribution to the literature on accreditation.

• The first paper in this series by Frank et al. presents a new definition of accreditation, examines its purpose and return on investment, and defines 10 fundamental and recurring elements of accreditation systems commonly found in HPE.
• The second paper by Taber et al. provides a framework for operational design decisions for accreditation systems.
• The third paper, by Bandiera et al., explores the need for accreditation systems to shift their focus from processes to outcomes.
• The fourth paper in the series by Akdemir et al. examines the role of continuous quality improvement and develops a core values framework for accreditation.
• The last paper, written by Philibert et al., describes four priorities to enhance the societal responsiveness of HPE, and identifies approaches at the system, institution, program and individual levels using accreditation as a lever for change.
  
  

IHPOAC 커뮤니티의 모든 참가자들에게 많은 감사를 표합니다. 본 부록이 인증 기업에 귀중한 기여를 할 수 있기를 바랍니다. 궁극적으로, 컨소시엄의 목표는 인가 및 보건 시스템과 보건 결과에 미치는 영향에서 모범 사례를 연결하는 장학금 제도를 지속적으로 구축하는 것이다.

Many thanks to all the participants in the IHPOAC community for all their contributions. It is our hope that this supplement provides a valuable contribution to the accreditation enterprise. Ultimately, the consortium’s goal is to continue to build a body of scholarship connecting good practice in accreditation and impact on health systems and health outcomes.

Editorial

BMC Med Educ. 2020 Sep 28;20(Suppl 1):304.

 doi: 10.1186/s12909-020-02120-6.

The essential enterprise: the critical role of accreditation in the 21st century

Jason R Frank 1 2, Sarah Taber 3, Marta van Zanten 4, Fedde Scheele 5 6 7, Danielle Blouin 8, International Health Professions Accreditation Outcomes Consortium

Affiliations collapse

Affiliations

• 1Office of Specialty Education, Royal College of Physicians and Surgeons of Canada, Ottawa, Canada. jfrank@royalcollege.ca.

• 2Department of Emergency Medicine, University of Ottawa, Ottawa, Canada. jfrank@royalcollege.ca.

• 3Office of Specialty Education, Royal College of Physicians and Surgeons of Canada, Ottawa, Canada.

• 4Foundation for Advancement of International Medical Education and Research, Philadelphia, PA, USA.

• 5OLVG Teaching Hospital, Amsterdam, The Netherlands.

• 6VU Medical Center, School of Medical Sciences, Amsterdam, The Netherlands.

• 7Athena Institute for Transdisciplinary Research, Amsterdam, The Netherlands.

• 8Department of Emergency Medicine, Queen's University, Kingston, Canada.

• PMID: 32981522

• PMCID: PMC7520973

• DOI: 10.1186/s12909-020-02120-6

변화는 쉽지 않다: 관리 이론이 의학교육의 변화에 적용(Med Educ, 2020)

Change is never easy: How management theories can help operationalise change in medical education

Lisi Gordon1 | Jennifer A. Cleland2

1 도입 

1 | INTRODUCTION

조직 변화와 개발에 대한 표준적인 사고방식은 [변화는 정책 입안자, 지도자 및 관리자가 조직의 비전, 구조 또는 절차를 변경한 후 다른 사람들이 새로운 전략을 실행하도록 설득할 때 발생함]을 시사한다.1,2 그러나 그러한 하향식(최고 경영자[경영자]가 주도) 변화 노력은 종종 의도한 목적을 충족하지 못하며, 그 대신 [혼란, 개인과 집단으로부터의 변화에 대한 저항, 그리고 의도하지 않은 결과를 초래]한다.3 이것은 의학 교육에서도 다르지 않다. 지난 몇 십 년 동안 의학 교육에 큰 변화가 일어났다.

Standard ways of thinking about organisational change and development suggest that change happens when policymakers, leaders and managers change the vision, structure or procedures of an organisation and then persuade others to implement their new strategy.1,2 However, such top-down (driven by the top [management]) change efforts often fail to meet their intended purposes and instead result in disturbance, resistance to change from individuals and groups, and unintended consequences.3 This is no different in medical education. Major changes have occurred in medical education over the last few decades

이러한 주목할 만한 사례들에도 불구하고, 변화를 위한 다른 시도들은 덜 성공적이었다. 의료 교육에는 다양한 교육과정 구성의 변화, 선택 과정과 의과대학 공간, 그리고 새로운 학습 도구의 도입이 어떻게 계획대로 작동하지 않았는지를 보여주는 많은 예가 있다.10-12 변화의 실제 과정 또한 간단하지 않다: 의학 교육에서 커리큘럼을 개혁하려는 시도는 이전에 도전적이고 파괴적인 것으로 묘사되어 왔으며, 종종 프로세스의 실제적인 개혁은 없이 같은 것만 반복하는 형태의 exercise로 나타났다.

Despite these notable examples, other attempts at change have been less successful. There are plenty of examples in medical education that illustrate how the changing of different curricular ingredients, selection processes and medical school space, and the introduction of new learning tools, did not work as planned.10-12 Nor are the actual processes of change straightforward: attempts to reform curricula in medical education have been previously described as challenging13 and disruptive,14 and often manifest as an exercise that results in the repetition of sameness but no actual reform of the process.15,16

왜 이런가? 우리는 의학교육과 훈련이 매우 복잡하며, 사람, 상황 및 시스템 사이의 다중 관계와 연결에 의해 특징지어지기 때문이라고 믿는다.17 이러한 [상호연결은 그 자체가 광범위한 시스템에 영향을] 미치며, [시스템은 다시 개인과 그룹에 발생]시킨다.3 예를 들어, 맥락 또는 주변 환경prevailing environment은 변화가 구현되고 변화가 일어나고 결과가 나타나는 기본 프레임이다.21 이러한 요인에 대한 깊고 넓은 이해 없이, 복잡한 문제를 단순한 해답을 가지고 있는 것처럼 취급하는 것은, 해결주의solutionism의 희생양이 될 위험을 무릅쓰는 것이다. 그러나 한 곳에서 작용하는 것은 다른 곳에서 작용하지 않을 수도 있다. 개인과 팀은 중복되고 상호연결된 여러 컨텍스트에 걸쳐 있을 수 있으므로, 이러한 컨텍스트의 영향을 받을 것이며, 따라서 의학교육의 결과나 목표는 정적인 것이 아니다. 의료의 글로벌 및 국가적 사회적 보건의료와 의학교육의 동인drivers에 기초하여 변화한다. 글로벌 COVID-19 대유행 사태에 대응하여 의료교육이 최근에 현저하게 변화한 것은 매우 적절한 예다.24

Why is this the case? We believe this is because medical education and training are highly complex and are characterised by multiple relationships and connections among people, contexts and systems.17 These interconnections generate their own impacts on the wider system(s) and the system(s) in turn impacts on individuals and groups.3 For example, the context, or prevailing environment,18-20 is the underlying frame within which change is implemented, change occurs, and outcomes emerge.21 Without a deep and broad understanding of these factors, we risk falling prey to solutionism, the theme of this special issue, by treating complex problems as if they have simple answers. However, what works in one place may not work in another. Individuals and teams may straddle multiple, overlapping and interconnected contexts and therefore will be influenced by, and will have influence on, these contexts.3,22 Moreover, the outcomes, or goals, of medical education are not static: they shift on the basis of global and national societal drivers of health care, and health care and medical education,23 a very pertinent example being the recent significant changes in the delivery of medical education in response to the global COVID-19 pandemic.24

의학 교육의 복잡성에 대한 개념은 새로운 것이 아니며, 보건의료 시스템에 대한 생각을 반영한다.

The notion of complexity in medical education is not new25-27 and mirrors thinking about health systems.28-32

의료 교육에는 [복잡성의 담론]이 존재하지만, 복잡성이 언제나 중요하게 여겨지지는 않는 듯 하다. 종종 복잡성을 인정하지 못하거나 이 복잡성이 미치는 영향을 인정하지 않아서 [변화의 바람직하지 않거나 예상치 못한 결과]가 생기기 때문이다. 그러나 의학교육이 단순하지도 않고 안정적이지도 않으며 고도로 맥락화되었기에, 변화와 관련된 우려와 질문을 기술, 이해 및 해결하고자 한다면 근본적으로 다중 연결과 복잡성을 인지해야 한다.

although the discourse of complexity is present in medical education, it does not seem privileged in the everyday sense: undesirable or unanticipated consequences of change are often attributable to failures to acknowledge complexity and the impact of this complexity.34-36 However, if medical education is neither simple nor stable, and is highly contextualised, ways of perceiving multiple connections and complexity are fundamental when seeking to describe, understand and address concerns and questions related to change.14

나아가 우리는 이론을 포용하는 것은 특별한 가치가 있다고 믿는다. 왜냐면, 이는 [서로 다른 수준의 분석을 교차 분석하여] 마이크로 레벨로 '줌인'할 수 있도록 허용하기 때문이다. 또한 [개인 수준(마이크로 수준)에서 일어나고 있는 일]을 더 넓은 [제도적, 심지어 국가적 또는 국제적 수준(매크로 수준)에서 일어나는 것]과 '줌 아웃'하여 연결시킬 수 있기 때문이다.

Furthermore, we believe there is particular value in embracing theories that cross-cut different levels of analysis and allow us to ‘zoom in’ to micro levels, as well as to ‘zoom out’ and connect what is happening at the individual level (the micro level) to what happens at a wider institutional and even national or international level (the macro level).39

이러한 다단계적 이해는 조직변화가 성공하거나 실패하거나 의도하지 않은 결과를 초래하는 이유를 설명하는 데 도움이 될 수 있으며, 변화와 관련된 사람들이 변화 프로세스와 관련된 불확실성을 예측하고 관리하는 데 도움이 될 것이다.

These multi-level understandings can help explain why organisational changes succeed, fail or have unintended consequences, and will help those involved in change to anticipate and manage uncertainty associated with a change process.

우리는 의료 교육에 복잡성complexity 렌즈를 적용하는 것이 우리가 처음이 아니라는 것을 인정한다. 그러나, 의학 교육 연구에서 조직 이론의 더 큰 사용을 고려하라는 문헌상의 이전의 요구에 대응하여, 우리는 조직 연구에서부터 의료 교육의 변화의 복잡성에 이르기까지 이론적 관점을 명시적으로 연결함으로써 그 분야의 지식을 더하고자 한다. 이 궁극적 목적은 사고와 탐구의 새로운 길을 열기 위해 다른 사고 방식을 장려하는 것이다.

We acknowledge that we are not the first to apply a complexity lens to medical education.31-33 However, in response to earlier calls in the literature to consider the greater use of organisational theory in medical education research,40 we add to knowledge in the field by explicitly connecting theoretical perspectives from organisation studies to the complexity of change in medical education, with the ultimate aim of encouraging different ways of thinking in order to open new avenues for thought and exploration.

2 기관 로직

2 | INSTITUTIONAL LOGICS

제도적 로직은 [(국가 문화와 정치 등) 사회 차원의 제도적 질서와 사회 차원의 규범에 대한 관심이 조직적, 집단적, 개인의 행동을 이해하는 데 결정적]이라고 주장한 프리들랜드와 알포드(41)에 의해 도입되었다. '로직logics'이란 사회적 '현실을 정리하는ordering 방법', 또는 [조직적, 전문적 또는 개인적 수준에서 목표, 행동 및 관행을 형성하는 기대, 규범, 신념 및 규칙]이다.39, 49 

Institutional logics was introduced by Friedland and Alford,41 who argued that attention to society-level institutional orders such as national culture and politics, and society-level norms was crucial to the understanding of organisational, group and individual behaviour. Logics are societal ‘ways of ordering reality’,41 or expectations, norms, beliefs and rules that shape goals, behaviours and practices at an organisational, professional or individual level.39, 49 

최근에 IL은 다음과 같이 정의되었다. '추정, 가치, 신념을 포함하여 [사회적으로 구성된 문화적 상징과 물질적 실천의 역사적 패턴]으로서, 개인과 조직은 이것에 의하여 [그들의 일상 활동에 의미를 부여하고, 시간과 공간을 조직하며, 그들의 삶과 경험을 재현]한다.

More recently, IL has been defined as ‘socially constructed historical patterns of cultural symbols and material practices, including assumptions, values and beliefs by which individuals and organisations provide meaning to their daily activity, organise time and space, and reproduce their lives and experiences’.49

이러한 로직이나 영향은 종종 당연하게 여겨지며, 확립된 규범을 통해 활동을 통제한다.49 예를 들어 서구 의료의 경우, 의료 전문직 로직은 [전통적으로 전문가 지식과 자율적 실천에 내재]되어 있었고, 역사적으로 [의료 시스템을 어떻게 바라봐왔는지와 의사 결정이 어떻게 집행enact되어왔는지]를 지배해 왔다.39 그러나 의료 제공에 대한 수요의 증가와 정부의 의료비 지원 능력(또는 성향)의 감소는 [경영주의]와 [시장 및 기업 로직]의 영향 모두를 증가시켰다. 50, 51

These logics, or influences, are often taken for granted and control activity through established norms.49 For example, in Western health care, medical professional logics, traditionally embedded in expert knowledge and autonomous practice, has historically governed how health care systems have been viewed and processes of decision making enacted.39 However, increasing demand for health care provision and reductions in the ability (or inclination) of governments to fund health care in its entirety have led to rises in both managerialism and the influence of market and corporate logics.50, 51

다수의 로직이 동일한 공간에 존재하며(예: 관리주의 대 프로페셔널리즘), 지배력 다툼을 한다.49, 54-56 서로 다른 로직 사이의 관계의 정확한 본질은 많이 논의되고 논쟁이 되어왔지만, 일반적으로는 이러한 서로 다른 로직의 영향력이 동일한 공간에 공존할 수 있다(로직 세그먼팅). 물론 로직이 미치는 영향은 actor에 따라서 다양할 것이며, actor마다 서로 차별적으로 제정되고 확대될 것이다.54

Multiple logics exist in the same space (eg, managerialism versus professionalism) and vie for dominance.49, 54-56 The precise nature of the relationship between different logics is much discussed and debated, but, generally speaking, different logics can coexist in the same space (logic segmenting), although the influence of these different logics on actors will vary, and they will be enacted and expanded on differentially by different actors.54

예를 들어, 의학교육은 일반적으로 [의료]와 [교육]에 내재된 로직의 영향을 모두 받는데, 이것은 서로를 보완하거나 보완하지 않을 수도 있다. 로직과 각각의 영향력의 차이는 논리적인 의미에 변화를 가져올 수 있고 하나의 지배적인 논리에서 다른 논리로 변화할 수 있다.57-59

For example, medical education is typically influenced by the logics inherent in both health care and education, which may or may not complement one another. Differences between logics and their respective influences can lead to change in logic meanings and shifts from one dominant logic to another.57-59

3 IL을 의학교육 연구에 적용

3 | APPLYING IL IN MEDICAL EDUCATION RESEARCH

IL을 사용하는 의학교육 연구는 개인, 팀 및 조직이 [어떻게 practice에서 여러 로직들]로부터, 그리고 [여러 로직 사이의 상호 작용(그리고 잠재적 밀어내기-당기기 긴장)]으로부터 의미를 도출하고 제정하는지에 초점을 맞춰야 한다.56 2010년에 발표된 한 논문은 의학교육에서 [과학]과 [돌봄]의 다원적 로직을 고려하고, 그리고 여러 맥락적 요인(예: 관리적 치료의 증가, 더 많은 수의 여성의 의학으로의 진입)이 어떻게 하나 또는 다른 논리와 연관되었는지, 그리고 이러한 요소들이 어떻게 시간이 지남에 따라 변동하는지, 그리고 미래의 의사들을 어떻게 교육시킬 것인가에 대한 역동적인 긴장을 조성했다.62

Medical education research that uses IL should focus on how individuals, teams and organisations draw meaning from and enact different logics in practice, and the interplay (and potential push–pull tension) between different logics.56 One position paper published in 2010 considered the overarching plural logics of science and care in medical education, and how different contextual factors (eg, the rise of managed care, the entry to medicine of greater numbers of women) were associated with one or other logic, and how these fluctuated over time, and created dynamic tensions about how to educate future doctors.62

우리는 IL을 경험적 작업의 프레임워크로 사용하는 두 논문만 확인했는데, 이들은 모두 같은 팀에서 생산한 논문들로, 지역, 국가 및 국제적 맥락 차이에도 불구하고 보건 전문직 교육 장학단(HPESU)이 가치와 관행을 어떻게 공유하는지 구체적으로 살펴보고 있었다.63,64

We identified only two papers using IL as a framework in empirical work, both of which were produced by the same team, who were looking specifically at how health professions education scholarship units (HPESUs) shared values and practices despite regional, national and international contextual differences.63,64

다음은 (a) 재정적 책임, (b) 응집력 있는 교육 연속성, 그리고 (c) 학문적 연구, 봉사, 교육의 논리였다. 이들은 모든 HPESU에 걸쳐 일반적인 로직이었지만, 저자들은 다양한 로직들이 [더 넓은 국가 시스템을 반영하여, 각 맥락에서 서로 다른 수준의 지배력을 가지고 있음]을 확인했다. 각 논리의 상대적 힘은 활동의 성격(예: 봉사 또는 학술활동에 소비되는 시간의 균형)과 각 단위가 평가한 산출물에 영향을 미쳤다. 그들은 이러한 로직의 이해는 왜 개별 단위가 특정한 방식으로 구조되고 기능하는지에 대한 통찰력을 제공한다고 결론지었다.

These were the logics of: (a) financial accountability; (b) a cohesive educational continuum, and (c) academic research, service and teaching. Although these were common logics across all HPESUs, the authors identified that different logics held different degrees of dominance in each context, reflecting wider national systems. The relative power of each logic influenced the nature of the activities (eg, the balance of time spent on service or scholarship) and outputs valued by each unit. They concluded that understandings of these logics gave insight into why individual units are structured and function in particular ways.

더 넓은 문헌을 살펴보면, IL 관점을 이용한 연구는 [관리managerial 로직]과 [의료medical 로직] 사이에 내재된 투쟁을 보여 주었다.39, 58 의료 교육에서, 예를 들어 봉사와 교육 제공 사이에 유사한 긴장이 존재한다.65

Looking at the wider literature, research using an IL perspective has illustrated an inherent struggle between health care managerial logics and medical logics.39, 58 In medical education, similar tensions exist between, for example, service and education provision.65

세그먼팅segmenting의 예는 [전문직 표준]과 관련된 다중 로직과 관련이 있다. 영국의 General Medical Council 또는 Australian Health Practicer Regulation Agency와 같은 [전문 협회에 의해 설정된 교육 표준]은 [개별 의료 기관이 설정한 직장 표준]의 로직과 경쟁할 수 있고 경쟁할 수 있다. 마찬가지로, 의과대학을 관할하는 [규제기관이 정한 교육기준]은 평가 및 진행과 관련된 [지역 대학 규정]과 긴장관계에 있을 수 있다. 기관 로직은 이러한 로직들이 어떻게 공존하는지를 탐구하는 프레임워크로 사용될 수 있으며, 예를 들어 전문성과 전문적 행동의 의미에 대한 새로운 관점을 잠재적으로 제공할 수 있다. 이 분야의 종단적 작업은 개인과 집단의 행위자성이 조직적 및 전문적 로직 양쪽에 영향을 미칠 수 있음을 드러낼 수 있다.

An example of segmenting in medical education relates to the multiple logics associated with professional standards. Education standards set by professional associations, such as the UK’s General Medical Council or the Australian Health Practitioner Regulation Agency, can and do compete with the logics of workplace standards that have been set by individual health care organisations. Similarly, education standards set by regulators whose remit covers medical schools can be in tension with local university regulations relating to assessment and progression. Institutional logics could be used as a framework to explore how these logics coexist, potentially providing new perspectives on, for instance, meanings of professionalism and professional behaviours. Longitudinal work in this field might reveal the agency of individuals and groups to influence both organisational and professional logics.

4 패러독스 이론

4 | PARADOX THEORY

패러독스 이론은 [오랜 시간동안 공존하고 되어온, 조직 내에서 상충되지만, 상호 연관된 목표와 상충하는 요구]에 초점을 맞추는 이론의 그룹을 말한다.66,67 [이러한 동시적이고 일관성 없는 상태는 아주 흔하며, '혁신과 효율성, 협업과 경쟁, 또는 새로운 것과 낡은 것' 사이]에 있을 수 있다.68 

Paradox theory refers to a group of theories that focus on the conflicting but inter-related goals and competing demands within an organisation that coexist and persist over time.66,67 Considered ubiquitous, these simultaneous, inconsistent states may be between ‘innovation and efficiency, collaboration and competition, or new and old’.68 

• 예를 들어, 변화 계획 및 집행을 위한 프로젝트 팀 구성(예: 교육과정 개혁)과 관련된 조직적 변화는 역할 모호성을 야기할 수 있다(예: 개혁이 우선인가 평상시처럼 하는 것이 우선인가). 

• 직원 대 조직 긴장의 다른 예로 상여금(일부 국가의 대학에서는 표준)과 같은 관행을 사용하는 것이 있는데, 이는 동료들 간의 경쟁과 갈등을 유발하고 웰빙에 악영향을 미칠 수 있다.69 

이러한 예는 [(다양한 이해관계자들의 다양한 목표와 입장의 결과로) 어떻게 패러독스가 시스템에 내재되게 되고, 사회적으로 구성되는지]를 보여준다.70

• For example, organisational change involving the creation of project teams for planning and enacting change (eg, curriculum reform) can create role ambiguity (eg, is the reform or business-as-usual the priority?). 

• A different example, that of an employee-versus-organisation tension, would be the use of practices such as bonuses (standard in universities in some countries), which can lead to rivalry and conflict among colleagues and have adverse effects on well-being.69 

These examples illustrate how paradoxes are both inherent in systems and socially constructed as a result of different stakeholders’ diverse goals and positions.70

패러독스 관점에서는 [조직 내의 긴장]이 [변화나 붕괴의 시기가 도래할 때까지는 잠재되어 있는 것]으로 보고 있다.70 패러독스에 관심을 기울이지 않는다면, 양가감정, 갈등, 혼란과 붕괴가 뒤따른다. 그러나 균형 잡힌 접근법을 찾는 것이 핵심이다: 패러독스의 긴장은 '이것 또는 저것' 방식의 접근법에 의해서는 해결될 수 없다. 한 긴장을 강조하면 다른 긴장감을 더 악화시키기 때문이다. 이러한 방식은 단기적인 안도감을 제공하지만, 궁극적으로 방어적 자세를 유발하고 새로운 작업 방법의 학습을 방해할 수 있다.

The paradox perspective views tensions within organisations as latent until times of change or disruption, at which point they become visible.70 If paradoxes are not attended to, ‘ambivalence, conflict, chaos and collapse ensue’.71 However, finding a balanced approach is key: paradoxical tensions are unresolvable by ‘either … or’ approaches because stressing one tension exacerbates the need for the other, perhaps providing short-term relief but ultimately raising defences and impeding the learning of new ways to work.72

클레랜드 외 연구진(Cleland et al40)은 [매니저와 외과의사, 레지던트 교육생들이 서로 갈등상황에 있는 여러 긴장을 발견했고, 그 이유는 서비스와 훈련의 균형을 맞추는 같은 문제에 대해 서로 다른 관점을 가지고 있었기 때문]이었다. 이러한 긴장은 그룹과 그룹 내의 관계에 부정적인 영향을 미치며, 개인들이 (공동의 목표가 아닌) 자신의 목표를 우선시하게 만들었다. 이러한 긴장감을 통해 일하려는 노력은 관계 개선과 의사소통으로 이어졌지만, 새로운 작업 방식을 찾아내지 못했고, 따라서 교육과 훈련 사이의 균형은 병원 구조 내에서 어떠한 실제적인 의미에서도 변화하지 않았다.

Cleland et al40 found many tensions apparent in the data, with managers, surgeons and resident trainees in conflict because they held differing perspectives on the same issue of balancing service and training. This adversely impacted on relationships across and within these groups and led to individuals prioritising their own goals. Efforts to work through these tensions led to improved relationships and communication, but no new ways of working were identified and hence the balance between education and training did not shift in any real sense within the hospital structures.

패러독스 이론은 [조직의 사회적 맥락에서 반대되는 관점과 양립할 수 없는 입장]을 고려하기 위한 프레임워크이며, [이들의 공존에 대한 인식]을 높이기 위한 프레임워크이다(즉, 잠재된 긴장을 가시화). 이렇게 함으로써 [서로 반대되는 긴장감tension]이 것이 모두 타당하며 건설적인 'both-and' 반응을 장려하는 수단이 될 수 있다.66, 67, 73 패러독스 이론 사고방식으로 생각하면 사람들이 긴장과 맞서고, 내재된 모순을 면밀히 조사하며, 상호 경쟁적competing 요구에 부응하는 창의적인 방법을 찾을 수 있다.

Paradox theory provides a framework for considering opposing viewpoints and incompatible positions in the social context of an organisation and for raising awareness of their coexistence (ie, making latent tensions visible). The act of doing so affirms opposing tensions as equally valid and can be a means of encouraging constructive ‘both … and …’ responses.66, 67, 73 Put simply, thinking with a paradox theory mindset allows people to confront tensions, scrutinise inherent contradictions and find creative ways to meet competing demands.

특정 유형의 패러독스는 마이크로, 메소, 매크로 레벨에 걸쳐 작동하고 상호작용하며, 역설적 긴장 관리를 위한 다양한 접근방식이 제안되었다. 이들은 공연, 조직, 소속, 학습을 하고 있는데, 각각 긴장 완화와 진보의 가능성을 제공한다는 측면에서 서로 다른 의미를 갖는다. (자세한 내용은 Cleland et al40의 허가를 받아 복제된 표 S1을 참조하십시오.)

Specific types of paradox operate and interact across micro, meso and macro levels, and different approaches to managing paradoxical tensions have been proposed.74 These are performing, organising, belonging and learning, each of which has different implications in terms of providing relief from a tension and potential for progress (for more detail, see Table S1, reproduced with permission from Cleland et al40).

5 패러독스 이론을 의학교육 연구에 적용하기

5 | APPLYING PARADOX THEORY IN MEDICAL EDUCATION RESEARCH

의대와 주립 대학 사이의 긴장을 고려해보라. 상위 조직에 대한 압력은 일반적으로 추가적인 외부 규제의 대상이 되는 의과대학에 대한 압력과 다를 수 있다. 의과대학의 행위자와 구조물은 그들의 맥락에서 더 넓은 참조 그룹과 집단적 시스템(대학)의 일부가 되는 것의 균형이라는 관점에서, 권한 부여와 통제와 같은 긴장, 그리고 그 소속적 긴장 같은 조직화에 어떻게 반응하는가?

consider the tensions between a medical school and its host university. The pressures on the overarching organisation may be different from those on the medical school, which is typically subject to additional external regulation. How do the actors and structures in the medical school respond to organising tensions like empowerment and control, and belonging tensions in terms of balancing being part of a collective system (the university) with the wider reference group of medical schools in their context?

대학은 정기적으로 내부 구조를 재검토하고, 효율성과 효율성을 향상시키고, 전력을 재분배하고, 혁신을 추진하기 위해 구조조정을 한다. 구조조정 중, 새로운 목표가 수립되고, 역할이 변경되며, 행위자 간의 관계가 재정립된다.80 이전 목표와 새로운 목표, 역할 및 관계 사이에 서로 다른 수준에서 긴장이 발생한다.

Universities regularly review internal structures and restructure to improve their efficiency and effectiveness, redistribute power and drive innovation. During restructuring, new goals are established, roles altered, and relationships between actors redefined.80 Tensions occur between the old and the new goals, roles and relationships at different levels.67, 70 

• Performing의 역설은 개인이 자신의 역할과 공동의 과제를 공유하는 다른 사람의 역할 내에서 구현된 상반된 요구에 대응하려고 애쓰면서 미시적 수준에서 발생한다. 

• Belonging의 역설은 서로 다른 집단이 다른 가치, 신념, 정체성을 구현하면서 집단의 구성원 자격과 충성심을 뒤흔들면서 메소 수준에서 발생한다.

• Learning의 역설은 구조조정은 대개 새로운 절차와 새로운 frame of reference 프레임이 수반되기 때문에 발생한다.

• Paradoxes of performing arise at the micro level as individuals struggle to respond to the conflicting demands embodied within their own roles and within the roles of others with whom they share joint tasks.66 

• Paradoxes of belonging occur at the meso level as different groups embody different values, beliefs and identities, shaking up group memberships and loyalties.80 

• The final paradox is that of learning as restructuring is usually accompanied by new procedures and frames of reference.79, 81

조직관리 연구는 맥락이 조직에서 발생하는 패러독스의의 관리와 관련이 있다는 것을 보여준다. 이를 감안하여 비교연구에서는 [의과대학]과 [의과대학에 소속된 개인]이 동일한 역설(예: 학습의 도제 모델에서 역량 기반 의학교육[CBME]으로 전환)에 어떻게 대응하는지 살펴볼 수 있다. 그리고 이러한 반응이 외부적(경제적, 사회문화적, 법적 등) 및 내부적(조직적, 프로세스, 가치 등) 요인과 어떻게 관련되는지 연구할 수 있다.

Management studies indicate that context is relevant to the management of organisational paradoxes. Given this, comparative studies could look at how medical schools and individuals working in medical schools respond to the same paradoxes (eg, shifting from the apprenticeship model of learning to competency-based medical education [CBME]), and how these responses are related to external (economic, sociocultural, legal, etc.) and internal (resources, process, values, etc.) factors.

6 복잡성 리더십 이론

6 | COMPLEXITY LEADERSHIP THEORY

복잡성 리더십 이론은 '리더십'을 [개인이나 개인의 역량에 할당된 개별적인 역할]보다는 개인, 집단 및 맥락 사이의 상호작용에서 발생하는 집합적 과정으로 간주하는 비교적 새로운 접근법이다. CLT의 초점은 '조직 시스템 내부와 조직 시스템 사이에 존재하는 동적(변화하는, 상호작용하는, 임시적인) 비공식적 상호작용 패턴'이다. 이 때 CLT의 기초는 복잡성 이론의 상호연결성 개념에 있다. 

Complexity leadership theory is a relatively new approach which regards ‘leadership’ as a collective process that arises from interactions among individuals, groups and contexts rather than from a discrete role allocated to an individual or an individual’s capacities.22,83,84 The focus of CLT is the ‘dynamic (changing, interactive and temporal) informal interactive patterns that exist in and among organisational systems’,43 a focus that illustrates CLT’s foundations in complexity theory’s notion of interconnectivity. 

이 틀에서 리더십은 근본적으로 [학습과 새로운 결과를 만들어 내는 시스템적 현상]이며, 즉 [상호 작용과 긴장(인간과 비인간 둘 다 될 수 있음)의 산물]이다. 이와 같이, 리더십(그리고 이에 따르는 변화)은 개인이 적응적 결과를 도출하기 위해 시간에 따라 상호작용할 때 시스템 내의 어느 곳에서나 발생할 수 있다.

In this framework, leadership is fundamentally a system phenomenon, or the product of interactions and tensions (which can be both human and non-human) that generate learning and new outcomes.22,43,85-87 As such, leadership (and, with it, change) can occur anywhere within a system when individuals interact over time to produce adaptive outcomes.

Uhl-Bien과 동료들은 CLT 관점에서 리더십의 3가지 광범위한 기능을 제안한다.22,43 

• 첫째, 운영리더십은 조직 내부의 전통적인 위계 구조에 기초하며, 기능, 업무, 질서, 규제 및 규정된 조직적 결과에 초점을 맞춘다. 운영리더십의 중요한 역할은 조직의 구조 내에 아이디어를 translate하고 embed하는 것이다. 

• 둘째는 기업가적 리더십은, 지역적 수준에서 작동하나, 그러나 동시에 조직과 시스템 내에서 그리고 상호연결된 방식으로 운영되는 경향이 있다. 기업가적 리더십은 ['긴장'과 새로운 도전에 대응하여 발생하는] 적응, 혁신 및 학습(또는 출현)을 가리킨다.43,84 이 유형의 리더십은 [권력이나 권위의 행위]보다는 [비공식적이고 상호작용을 기반으로 하는 것]으로 종종 보여진다.43,84 

• 마지막으로 Enabling leadership은 [기업가적 리더십을 통해 발생하는 출현과 적응을 촉진]하고 [조직 내의 연결을 관리]한다. 즉, enabling leadership은 혁신과 적응이 일어날 수 있는 환경이 조성하는 것이며, 조직 구조 전반에 걸쳐 다른 시스템과 행정 구조로 [새로운 지식의 흐름을 보장]한다.

Uhl-Bien and colleagues propose three broad functions of leadership within a CLT perspective.22,43 

• First, operational leadership is grounded in traditional hierarchies within an organisation, which focus on function, task, order, regulation and prescribed organisational outcomes.43,84 An important role of operational leadership is to translate and embed ideas and innovation in the structures of the organisation.43 

• Second is entrepreneurial leadership, which tends to operate at a local level, but also at multiple levels within organisations and systems and in interconnected ways. Entrepreneurial leadership refers to the adaptation, innovation and learning (or emergence) that occur in response to ‘tensions’ and new challenges.43,84 It is often seen as informal and based on interactions rather than an act of power or authority.43,84 

• Finally, enabling leadership works to both facilitate the emergence and adaptation that occur through entrepreneurial leadership and to manage the connections within the organisation.43,84 In other words, enabling leadership will create an environment in which innovation and adaptation can occur whilst ensuring there is flow of new knowledge throughout an organisational structure to other systems and administrative structures.43,84