의학교육 평가인증 시스템 설계에서 "목적적합적" 프레임워크 (BMC Med Educ, 2020)

의학교육 평가인증 시스템 설계에서 "목적적합적" 프레임워크 (BMC Med Educ, 2020)

A “fit for purpose” framework for medical education accreditation system design
Sarah Taber1*, Nesibe Akdemir2,3, Lisa Gorman1, Marta van Zanten4 and Jason R. Frank1

 

 

 

 

 

배경

Background

 

인증은 의료 교육에서 품질 보증(QA)과 품질 개선(QI)의 강력한 레버입니다. 프로그램이 학습자를 해당 표준에 따라 가르치고 평가하며 최적의 학습 환경을 제공하고, 도전적이고 빠르게 진화하는 의료 시스템에서 실습할 수 있는 역량을 갖춘 전문가를 배출하는 데 도움이 되는 많은 의료 교육 시스템의 핵심 기능입니다. 또한 대부분의 의료 교육 인가 시스템은 유사한 프로세스 요소뿐만 아니라 유사한 표준 영역을 적용하고 관할권, 상황 또는 훈련 단계에 관계없이 유사한 도전과 토론에 직면한다. 
Accreditation is a powerful lever of quality assurance (QA) and quality improvement (QI) in medical education. It is a key feature of many medical education systems, helping to ensure that programs teach and assess learners according to applicable standards, provide optimal learning environments, and produce professionals who are competent to practise in challenging and rapidly evolving health care systems. In addition, most medical education accreditation systems apply similar standards domains as well as similar process elements and face similar challenges and debates, regardless of jurisdiction, context, or stage of training. 

이들의 유사성에도 불구하고, 설계 및 구현 수준에서 인증 시스템 간에 상당한 차이가 있을 수 있다. 2013년 결과 기반 인증에 관한 세계 정상회의의 토론 그룹은 보건 전문가 교육 인증 시스템의 모범 사례를 조사했으며 인증 시스템에 대한 다양한 접근 방식의 효과를 검토하는 문헌이 부족함을 확인했다. 이러한 연구 격차는 인증 시스템의 효과를 평가하는 데 내재된 어려움과 함께 문헌에서 강조되었다 [2, 3].
Despite their similarities, there can be substantial variation among accreditation systems at the level of design and implementation. A discussion group at the 2013 World Summit on Outcomes-Based Accreditation examined best practices in health professional education accreditation systems and identified that the literature examining the effectiveness of different approaches to accreditation systems is scant. This research gap, together with inherent difficulties in evaluating the effectiveness of accreditation systems, has itself been highlighted in the literature [2, 3].

지역 인가 시스템에 대한 경험을 바탕으로, 토론 그룹의 구성원들은 또한 국가, 교육 유형 및 훈련 단계에 걸쳐 인가 시스템에 존재하는 상당한 차이가 종종 식별 가능한 근거가 거의 없거나 전혀 없다는 점에 주목하였다. 세계 의료 교육 연맹(WFME) 의료 학교 인증 기관의 인정 기준[4, 5]과 아크데미르와 동료가 기술한 품질 관리 프레임워크[6]와 같은 일부 인가 설계를 위한 프레임워크가 존재하지만, 이러한 기존 프레임워크는 종종 의료 교육 연속체의 한 단계로 한정된다. 이 특수성은 의료 교육 연속체의 다른 단계뿐만 아니라 다른 유형의 건강 전문 교육으로 일반화 가능성을 제한할 수 있다. 또한, Akdemir 및 동료[6]가 개발한 것과 같은 일부 프레임워크는 상세한 요구사항 및 설계 특성보다는 인증 시스템의 목적과 기타 매크로 레벨 특성에 초점을 맞춘다. 
Drawing on their own experience with local accreditation systems, the members of the discussion group also noted that the substantial variation that exists in accreditation systems across jurisdictions, type of education, and stage of training often has little or no identifiable rationale. Although some frameworks for accreditation design do exist, such as the World Federation for Medical Education (WFME) Recognition Criteria for Agencies Accrediting Medical Schools [4, 5] and the quality management framework described by Akdemir and colleagues [6], these frameworks are often specific to one phase of the medical education continuum. This specificity may limit generalizability to other types of health professional education as well as other stages of the medical education continuum. In addition, some frameworks, such as that developed by Akdemir and colleagues [6], focus on the purpose of the accreditation system and other macro-level characteristics, rather than detailed requirements and design characteristics. 

본 논문은 설계 옵션 및 이의 맥락적 의미를 명확히 하는 의료 교육 인가 운영 설계의 프레임워크를 정의하려고 시도한다. 우리의 프레임워크는 인증 시스템 개발에서 "one size fits all" 접근법을 지지하기보다는, 단일 모범 사례 집합은 없으며, 오히려 [설계 결정]의 집합이라고 가정한다. 이러한 결정은 신중하게 숙고한 인증 시스템이 프로그램에 의해 제공되는 교육 단계뿐만 아니라 해당 지역 관할권의 요구, 자원 및 상황적 고려사항과 적절하게 일치함을 보장할 수 있다. 따라서, 우리의 프레임워크는 로컬 컨텍스트에 "가장 적합한best fit" 시스템을 설계하는 수단을 제공한다.

This paper attempts to define a framework for the operational design of medical education accreditation that articulates design options as well as their contextual implications. Rather than espousing a “one size fits all” approach, our framework assumes that there is no single set of best practices in accreditation system development but, rather, an underlying set of design decisions. These decisions, when deliberated carefully, can ensure that an accreditation system is appropriately matched to the needs, resources, and contextual considerations of the local jurisdiction it serves as well as to the stage of education delivered by the program. Thus, our framework provides a means of designing systems that are a “best fit” for their local context.

 

주 텍스트

Main text

 

인증 시스템 설계를 위한 "목적 적합" 프레임워크
A “fit for purpose” framework for accreditation system design

 

"목적에 맞는" 접근 방식은 시스템, 정책 또는 프로그램이 현지 요구와 상황에 가장 적합한 방식으로 설계되고 운영되도록 하는 것을 목표로 한다. 이 접근법은 분권decentralization을 지지하는 교육 및 국제 개발을 위한 신흥 모델과 일치한다. 특히, 지역적이고 고유한 맥락[7]에 맞춘 접근법의 실험과 분석을 실제로 제한할 수 있는 단일 접근법 또는 모범 사례를 정의하려고 시도하기보다는, 목적 적합성에 대한 집중을 통해 다양한 인증 시스템이 "최적으로 정치적, 사회적, 경제적 환경에 맞게 조정"되도록 보장할 수 있다.[8]. 
A “fit for purpose” approach aims to ensure that a system, policy, or program is designed and operationalized in a manner best suited to local needs and contexts. This approach is aligned with emerging models for education and international development that espouse decentralization. Specifically, rather than attempting to define a single approach or best practice, which may actually limit experimentation with and analysis of approaches tailored to a local, unique context [7], a focus on fitness for purpose or best fit can help ensure that different accreditation systems are “optimally adapted to [their] political, social and economic context” [8]. 

월드 서밋에서 그룹 토론을 하는 동안, 참가자들은 각 인증 요소에 대한 관행과 접근 방식의 변화를 강조하면서 현지 맥락에서 인증 프로세스와 그들의 경험을 공유했다. 각 인가 시스템 요소에 대해, 최적의 결정은 물론 실용적 결정은 (인증 시스템의 역할 또는 목적, 지역 규제 상황 및 가용 자원과 같은) [지역적 요인에 의존할 것]이라는 점을 인정하면서, 다른 모델과 변형에 대한 함의를 고려한다. 궁극적으로, 본 논문은 관할 구역 내에서 의료 교육을 위한 새로운 또는 수정된 인가 시스템을 개발하고자 하는 사람들에게 설계 결정을 안내하는 유연한 프레임워크를 제공하기를 바란다.

During the group discussion at the World Summit, participants shared their experiences with accreditation processes in their local contexts, highlighting variations in practices and approaches for each accreditation element. For each accreditation system element, the discussion then considers implications for different models and variations, acknowledging that what might be optimal, or even practical, will depend on local factors such as the role or purpose of the accreditation system, the local regulatory context, and available resources. Ultimately, it is hoped that this paper will provide those who wish to develop a new or revised accreditation system for medical education within their jurisdiction with a flexible framework to guide their design decisions.

 

Table 1 A “fit for purpose” framework for medical education accreditation system design

 

 

인증 시스템 설계 요소
Elements of accreditation system design

 

표 1에 자세히 설명되어 있는 분류 체계와 서로 다른 인증 시스템에 걸친 변화를 사용하여, 이제 인증 시스템 설계의 다양한 요소의 실제적 의미를 탐구할 것이다.
Using the taxonomy as well the variations across different accreditation systems detailed in Table 1, we will now explore practical implications of the various elements of accreditation system design.

 

인증 시스템의 의무화
Accreditation system mandate

 

의학교육 인증 시스템의 의무화 여부는 다음에 따라 결정된다. 

• 조사 대상examine 교육의 유형 또는 단계,
• 인증 기관 자체의 역할뿐만 아니라 교육 시스템에서의 역할,
• QA 또는 QI에 대한 인증 시스템의 초점
• 인증 시스템의 범위

The mandate of a medical education accreditation system is determined by

• the type or stage of education it examines;
• its role in the education system as well as the role of the accrediting body itself;
• the focus of the accreditation system on QA or QI; and
• the scope of the accreditation system.

이 변수들은 서로 연결되어 있다. 예를 들어 QA 또는 QI(또는 둘의 조합)에 대한 인증 프로세스의 초점은 인증 시스템이 다루는 특정 유형의 교육 또는 단계 또는 시스템 전체에서의 인증 프로세스의 역할에 의해 추진될 수 있다.

• 따라서, 학부 의학 교육을 위한 인증 시스템은 대학원 프로그램보다 더 체계적이거나 처방적prescriptive일 수 있다.
• 마찬가지로, 대학원 프로그램을 위한 시스템은 전문적 개발을 계속하는 시스템보다 더 체계적이거나 규범적일 수 있다.
• 더 주니어 학습자를 위한 훈련 프로그램에 초점을 맞춘 시스템은 더 상위 학습자, 특히 이미 감독되지 않은 학습자보다 더 많은 제한, 표준화 및 학습자 보호를 요구할 수 있다.
  

 

These variables are interconnected. For example, the focus of the accreditation process on QA or QI (or a combination of both) may be driven by the particular type or phase of education that the accreditation system addresses, or by the role of the accreditation process in the system as a whole. Thus, accreditation systems for undergraduate medical education might be more structured or prescriptive than those for postgraduate programs; likewise, systems for postgraduate programs may be more structured or prescriptive than those for continuing professional development. Systems focused on training programs for more junior learners may require more restrictions, standardization, and protections for learners than those for more senior learners, particularly those already in unsupervised practice.


또한, 인가가 학습자의 인증과 인가에 영향을 미치는 경우(예: 인가된 프로그램의 졸업생만 인증 또는 면허를 받을 수 있거나 마찬가지로 인가된 과정만 인증 유지에 반영될 수 있는 경우), 인가는 종종 시스템의 의무적이거나 입법화된 요건이다. 반대로, 졸업생에 대한 자격증이나 면허 취득에 대한 함의가 없는 상황에서 인가는 선택적일 가능성이 더 높다.
Further, when accreditation has implications for the certification and licensure of learners (e.g., when only graduates of accredited programs can be certified or licensed, or similarly, only accredited courses can be counted toward maintenance of certification), accreditation is often a mandatory or legislated requirement of the system. Conversely, accreditation is more likely to be optional in contexts where there is no implication for certification or licensure for graduates.

마지막으로, 인증이 선택적인 경우에는 QI에 초점을 맞춘 보다 aspirational한 접근 방식과 더 잘 어울릴 수 있는 반면, 인증이 의무인 경우에는 최소한의 표준과 QA에 더 큰 초점을 맞출 수 있다. 마찬가지로, 국가 또는 지역 규제에 초점을 맞춘 시스템은 QA 접근방식을 강조할 가능성이 더 높을 수 있으며, 이는 QA 또는 열망 철학에 더 잘 적합할 수 있다.

Finally, contexts in which accreditation is optional might be better aligned with a more aspirational approach focused on QI, whereas mandatory accreditation might be associated with a greater focus on minimum standards and QA. Likewise, systems that are focused on national or local regulation may be more likely to emphasize a QA approach, in contrast with systems that are international in nature, which may be better suited to a greater emphasis on QI or an aspirational philosophy.

 

인증 표준
Accreditation standards

 

표준 분류법
Standards taxonomies

 

표준은 그들이 포함하는 기준의 유형과 그들의 기대치가 설정된 수준에 따라 다르다. 이러한 변화는 인가 시스템(예: QA 또는 QI)의 초점과 인가되는 교육 프로그램의 맥락(예: 개발 중이거나 잘 확립되어 있음)에 의해 주도될 수 있다.

Standards differ with respect to the types of criteria they include, as well as the level at which their expectations are set. These variations may be driven by the focus of the accreditation system (e.g., QA or QI) and the context of the education programs being accredited (e.g., under development or well established). 

 

• 예를 들어, 기본 또는 최소 표준과 프로세스에 초점을 맞춘 요구사항은 기본 인증 시스템, 즉 QA 또는 최소 표준에 초점을 맞춘 것뿐만 아니라 품질에 대한 초기 벤치마크를 설정하는 것을 목표로 하는 시스템과 가장 잘 일치할 수 있다. 또한 [훈련 프로그램의 표준화]가 인증 시스템의 목표이거나, 지역적 맥락 또는 제공되는 교육 단계에 중요한 경우, [구조와 프로세스 척도를 가장 두드러진 특징으로 하는 표준]이 가장 중요할 수 있다. 예를 들어, 국가 간 훈련의 상호성이 매우 중요한 시스템에서 인증 표준의 구조 및 프로세스 조치는 프로그램 간의 표준화를 보장하는 데 도움이 될 것이다.
  

For instance, requirements that focus on basic or minimum standards and processes may be best aligned with foundational accreditation systems, that is, those aimed at establishing an initial benchmark of quality, as well as with those focused on QA or minimum standards. In addition, standards that feature structure and process measures most prominently may be most essential when the standardization of training programs is the goal of the accreditation system or is important for the local context or the stage of education provided. For example, in systems where reciprocity of training between jurisdictions is highly important, structure and process measures in accreditation standards will help ensure standardization between programs.

• 반대로, 성과와 더불어 [본질적으로 열망적인aspirational 결과를 강조하는 표준]은 QI에 초점을 맞춘 표준뿐만 아니라 프로그램 구조 및 프로세스와 관련하여 유연성을 허용하는 인가 시스템에 더 적합할 수 있다. 점점 더 많은 인증 시스템이 표준에서 구조, 프로세스 및 결과 측정의 균형을 찾고 있습니다 [9].
  

Conversely, standards that emphasize outcomes, as well as those that are aspirational in nature, may be better suited to accreditation systems that permit flexibility with respect to program structures and processes, as well as those focused on QI. Increasingly, many accreditation systems are seeking a balance of structure, process, and outcome measures in their standards [9].

• [국제적으로 확립된 표준 프레임워크]는 국제 벤치마킹이나 비교에 초점을 맞춘 인가 시스템에 가장 적합할 수 있지만, 국가 전체의 시스템의 이질성과 표준의 특수성에 따라, [국소적 타당성 또는 적용성이 결여]될 수 있다.
• 반대로, [국지적으로 개발된 표준]은 특히 그러한 맥락에서 상당한 변화가 품질 표준의 높은 수준의 특수성을 필요로 할 때 국지적 맥락과 요건과의 더 나은 조정을 보장할 수 있다. 
• 반면에 [상황별 표준]은 다른 시스템과의 비교가능성의 이점이 없을 수 있다.

 

• Internationally established standards frameworks may be best suited to accreditation systems with a focus on international benchmarking or comparison, but, depending on the heterogeneity of systems across jurisdictions and the specificity of the standards, they may lack local face validity or applicability.
• Conversely, locally developed standards can ensure better alignment with local contexts and requirements, particularly when substantial variation in those contexts necessitates a high degree of specificity in quality standards.
• On the other hand, context-specific standards may lack the benefit of comparability with other systems.

 

기준 개발 또는 갱신 프로세스
Process of standards development or renewal

 

[인증 기준의 개발 및 갱신]을 위한 프로세스는 특히 표준 개발에 사용되는 내용, 검토 및 갱신 프로세스, 표준 평가 및 갱신 주기와 관련하여 상당한 변화를 보여준다. 예를 들어,

• 많은 인증 시스템은 합의 기반 접근방식뿐만 아니라 지역 전문가의 투입input에 기반하여 표준 개발 또는 갱신을 기반으로 하며, 이는 표준에 대해 평가되는 프로그램의 측면에서 더 나은 타당성과 수용성을 보장하는 데 도움이 될 수 있다.
• 반대로, 연구 증거에 기초한 표준 개발은 다른 시스템이나 부문으로부터 기술혁신을 식별하고 통합하는 이점을 가질 수 있다.
• 많은 인증 시스템은 기술혁신 영역을 통합하는 동시에 지역적 맥락에서 수용을 보장하기 위한 조치를 취하면서 혼합된 접근법에 의존한다.
  

Processes for the development and renewal of accreditation standards show substantial variation, particularly with regard to the content used for standards development, the process of review and renewal, and the cycle of standards evaluation and renewal. For example,

• many accreditation systems base their standards development or renewal on input from local experts as well as on consensus-based approaches, and this can help to ensure better face validity and acceptance on the part of the programs being evaluated against the standards.
• Conversely, standards development based on research evidence can have the benefit of identifying and incorporating innovations from other systems or sectors.
• Many accreditation systems rely on a mix of approaches, incorporating areas of innovation while still taking steps to ensure acceptance in the local context.

또한 표준 평가 및 갱신 주기는 [표준 개발에 사용할 수 있는 자원과 로컬 시스템이라는 컨텍스트에서 실용적인 것이 무엇인지]에 따라 달라질 수 있다. 적절하게, 이러한 주기는 또한 지역 환경에서 의료 교육 시스템이 얼마나 빠르게 변화하고 있는지에 의해 주도될 수 있다. 예를 들어, 중요한 커리큘럼 변경 기간 동안 더 빈번한 평가 및 갱신 주기가 필요할 수 있다.

Cycles of standards evaluation and renewal may also depend on the resources available for standards development, and on what is practical in the local system or context. Appropriately, these cycles may also be driven by how fast the medical education system is changing in the local environment; for example, more frequent cycles of evaluation and renewal may be needed during periods of significant curricular change.

 

 

인증 신청
Application for accreditation

 

신청 과정
Application process

 

신청 프로세스는 모든 인가 시스템에 보편적이지는 않지만, 일반적으로 일부 또는 모든 프로그램, 제공자 또는 기관이 신규 인증 또는 최초 인증 달성을 위한 프로세스를 요구하는 시스템에서 볼 수 있다. 프로그램이나 기관이 시작한 신청 프로세스에는 표준에 대한 외부 평가, 인가 보고서 및 인가 결정과 같은 정기적인 인가 주기의 전형적 측면이나 구성요소가 수반되는 경우가 많다. 그러나, 이러한 프로세스는 일반적으로 수정되고 확립된 프로그램이나 제공자를 위한 인가 시스템의 정기적인 인가 과정과는 별개이다.

An application process is not universal to all accreditation systems; however, it is typically seen in systems where some or all programs, providers, or institutions require a process for achieving new or first-time accreditation. An application process initiated by a program or institution often involves aspects or components typical of regular accreditation cycles, such as external assessment against standards, an accreditation report, and an accreditation decision; however, these processes are typically modified and separate from the accreditation system’s regular accreditation process for established programs or providers.

신규 인증의 경우, 인가를 받기 전에 학습자 입력input이 필수적이라고 간주되는 경우, 신청 프로세스 또는 초기 인가를 첫 번째 학습자가 프로그램을 시작하거나 완료한 후까지 연기할 수 있다. 또한 두 부분으로 구성된 프로세스를 고려하는 것이 유리할 수 있습니다. 

• 첫 번째 단계에서, 인증은 프로그램 시작 전에 제출된 문서 및 기타 정보에 기초하여 조건부로("새로운" 또는 "임시" 인가) 부여된다. 
  
• 학습자가 프로그램의 전부 또는 일부를 완료한 후 두 번째 애플리케이션 사이클이 뒤따릅니다.
  

For new accreditation, where learner input is deemed essential before accreditation can be granted, the application process or initial accreditation may be deferred until after the first learners have entered or completed the program. It may also be advantageous to consider a two-part process:

• in the first stage, accreditation is granted contingently (“new” or “provisional” accreditation) on the basis of documentation and other information submitted before the program starts;
• this would be followed by a second application cycle after learners have completed all or part of the program.

 

 

• 인증받을 의료 교육 시스템이나 프로그램이 신설되거나 아직 확립되지 않은 경우, [사전 인가 "준비성" 평가, 현장 또는 전화 기반 검토 또는 더 짧은 후속 조치 사이클과 같은 프로세스]가 프로그램에 대한 더 나은 정보를 제공할 수 있다. 이러한 프로세스의 이점은 널리 다른 프로그램을 포함하는 시스템이나 국제 범위를 가진 인가 시스템처럼 표준 준수와 인가에 대한 준비가 매우 다양한 시스템에서 특히 명확할 수 있다.
  

In cases where the medical education system or program being accredited is new or not yet established, processes such as a pre-accreditation “readiness” assessment, an on-site or telephone-based review, or a shorter cycle of follow-up may provide better information about the program being accredited. The benefit of such processes may be especially clear in systems that contain widely differing programs, or where readiness for accreditation and compliance with the standards varies widely, such as in accreditation systems with an international scope.

• 반대로, 인가되는 의료 교육 시스템이나 프로그램이 잘 확립되어 있거나 상황에 따라 덜 변하거나 적용 가능한 표준의 준수와 관련하여 덜 변한 경우, 종이 기반 검토와 초기 적용을 위한 더 긴 후속 조치 주기를 고려할 수 있다.

Conversely, where the medical education system or program being accredited is well established or is less varied with respect to contexts or compliance with applicable standards, it may be possible to consider a paper-based review and a longer cycle of follow-up for the initial application.

 

 

신규 인증에 대한 요구사항 또는 벤치마크
Requirements or benchmarks for new accreditation

 

신규 또는 최초 인증 신청서의 경우, 인가서가 교부되기 위해서는 해당 표준의 필수 또는 예상 준수를 확립해야 한다. 표 1에 나타낸 것처럼, (신규 인증에 대해서) 인증 시스템은 사전 설정된 threshold나 benchmark가 다르다. 일부는 기존 프로그램과 동일한 수준의 적합성을 요구하는 반면, 다른 일부는 최초 인가를 달성하기 위해 더 낮거나 더 높은 임계치를 허용한다. 일부 시스템은 코칭과 같은 전용 지원을 프로세스에 포함시켜 프로그램이 최초 인증을 획득할 수 있도록 지원합니다.
For new or first-time accreditation applications, the required or expected compliance with applicable standards must be established for accreditation to be granted. As shown in Table 1, accreditation systems differ in their pre-established thresholds or benchmarks; some require the same level of compliance as for pre-existing programs, while others allow for either a lower or higher threshold to achieve first-time accreditation. Some systems embed dedicated supports, such as coaching, into the process to help programs achieve first-time accreditation.

• 시스템 설계 관점에서, 인증을 받을 시스템이나 프로그램이 신규이거나 아직 확립되지 않은 경우, 성공적인 application을 목적으로 한 낮은 임계값이 정당화될 수 있다. 마찬가지로, 새로운 애플리케이션의 낮은 임계값과 코칭 및 교육 서비스의 가용성은 QA(Quality)에 초점을 맞춘 인증 시스템과 가장 잘 일치할 수 있습니다.
  

From a system design perspective, where the system or program seeking accreditation is new or not yet established, a lower threshold for a successful application may be justified. Likewise, a lower threshold for new applications as well as the availability of coaching and education services may be best aligned with accreditation systems focused on QI (vs. QA).

 

• 반대로, (학습 환경에 관한 것 또는 환자 안전을 위한 졸업 인증에 관한 것)처럼, 새로운 인증을 부여하는 것과 더 큰 위험이 수반되는 경우, 동등하거나 더 높은 임계값을 보장해야할 수 있다. 이 접근 방식은 QA 또는 최소 품질 표준의 설정에 초점을 맞춘 인증 시스템과 더 잘 어울립니다.

Conversely, where greater risks are associated with granting new accreditation, whether with respect to the learning environment or the implications of graduate certification for patient safety, an equal or higher threshold to achieve new accreditation may be warranted. This approach is more aligned with accreditation systems focused on QA or the establishment of a minimum standard of quality.

 

 

 

자율학습(자체평가, 자기평가)
Self-study (self-assessment, self-evaluation)

 

자율학습 요구사항
Self-study requirement

 

인증 시스템에 따라 [공식적인 자체 (평가)연구 구성요소] 포함여부에 대해서 차이가 있다. 자율학습 과정은 성찰의 틀 제공, 프로그램의 인증기준에 대한 지식 구축, 준수성 자체 평가 및 개선 기회 고려를 위한 회의 및 토론을 통한 팀 구축과 관련하여 유익하다.
Accreditation systems differ with respect to their inclusion of a formal self-study component. The process of self-study is beneficial with respect to providing a framework for reflection, building a program’s knowledge of accreditation standards, and team building through meetings and discussions to self-evaluate compliance and consider opportunities for improvement.

의학교육에서 대부분의 인증 프로세스에는 자율 학습 구성 요소가 포함되며, 이는 QA(대 QA)에 특히 초점을 맞춘 시스템에서 특히 중요할 수 있다. 자율 학습 과정이 필요한지 또는 선택적인지는 의료 교육 시스템의 성숙도 또는 인가되는 프로그램, 지역적 맥락, 그리고 QI 문화가 잘 확립되어 있는지와 같은 요인에 의해 좌우될 수 있다. 선택적인 자율 학습 프로세스의 경우, 프로그램 자체의 QI 프로세스의 마커로 그 사용을 평가할 수 있다.

Most accreditation processes for medical education include a self-study component, and this may be of particular importance in systems with a particular focus on QI (vs. QA). Whether the self-study process is required or optional may depend on factors, such as the maturity of the medical education system or the programs being accredited; local context; and whether a QI culture is well established. In the case of an optional self-study process, its use may be evaluated as a marker of the program’s own QI processes.

 

 

자율 학습 프로세스 및 요구 사항
Self-study process and requirements

 

자율 학습 프로세스는 인증 시스템마다 상당히 다르다. 자율 학습 설계에 대한 고려사항에는 자율 학습의 초점, 도구 및 더 큰 인가 프로세스에 자체 학습이 적용되는 방법이 포함된다.
Self-study processes differ considerably among accreditation systems; considerations for self-study design include the focus of the self-study, the tools, and how the self-study is applied in the larger accreditation process.

자율 학습 프로세스의 설계는 주로 인증 시스템의 전체 목적에 따라 달라질 수 있다.

• QI를 강조하거나 추진하는 시스템은 자율 학습 프로세스의 구현으로부터 이익을 얻을 수 있다. 또한 자체 평가, 활동의 결과 및 결과 모니터링, 개선을 위한 자체 식별 영역을 다루기 위한 실행 계획을 필요로 하는 필수 표준을 포함시키는 것을 고려할 수 있다.
• 반대로 QA가 초점인 시스템에서는 자율 학습 프로세스가 여전히 유익할 수 있지만, 공식적인 외부 평가 전에 프로그램이 결함을 식별하고 해결하는 데 도움이 되는 것으로 사용이 제한될 수 있다.
• 다른 시스템에서도 자가 학습 프로세스는 필요한 문서의 일부일 수 있으며 인증 프로세스 또는 검토의 필수 구성요소가 될 수 있다.

The design of the self-study process may depend largely on the overall purpose of the accreditation system.

• Systems that emphasize or drive QI may benefit from the implementation of a self-study process; they may also wish to consider including mandatory standards that require programs to self-evaluate, monitor the outputs and outcomes of their activities, and develop action plans to address self-identified areas for improvement.
• Conversely, in systems where QA is the focus, self-study processes may still be beneficial but their use may be limited to helping programs identify and address deficiencies before the formal external evaluation.
• In still other systems, the self-study process may be part of the required documentation and a mandatory component of the accreditation process or review.

시스템 또는 프로그램의 자체 연구 결과는 표준 준수 평가에서 인증 기관에 추가 정보를 제공할 수 있으며, 특히 QA에 특히 초점을 맞춘 의료 교육 연속체의 초기 단계(의과대학)와 시스템에서 인증 프로세스의 필수 구성 요소이다. 그러나 표준 준수에 대한 [프로그램 또는 기관 자체의 견해를 포함한 자체 연구 정보]가 평가자의 평가를 편향시킬 수 있다.

The results of a system or program’s self-study can provide additional information to the accrediting body in its evaluation of compliance with standards, and is often a required component of the accreditation process, particularly for earlier stages of the medical education continuum (i.e., undergraduate education) and in systems with a particular focus on QA. However, self-study information containing the program’s or institution’s own view of its compliance with standards can also bias the assessors’ evaluation. 

(정책, 문서, 학습자 및/또는 졸업생에 대한 객관적 데이터 등) 평가자가 다른 정보를 이용할 수 있는 경우, 자율 학습의 특정 내용을 [프로그램 자체]로 제한하는 것도 실행 가능한 선택일 수 있다. 이 접근방식은 보다 진실하고 정직한 자가 학습을 장려할 수 있으며, 따라서 [자체 학습을 외부 인가자가 볼 것]임을 알고 있는 경우라면, 더 나은 QI를 장려하고 장려할 수 있다. 이러한 설계 고려사항은 QA보다 QI를 강조하는 시스템에서, 그리고 연속체의 이후 단계에 있는 시스템에서도 더 적용될 수 있다.

If other information is available to the assessors, e.g. policies, documentation, objective data about learners and/or graduates, etc., it may be a viable option to restrict certain content of the self-study to the program itself; this approach may encourage a more truthful or honest self-study, thereby promoting and encouraging better QI than would be the case if the program knows the self-study will be viewed by outside accreditors. This design consideration may be more applicable in systems that emphasize QI over QA, as well as those in later phases of the continuum.

 

마지막으로, 자율 학습을 위한 도구의 선택은 연구의 목적과 사용 방법에 따라 달라진다. 

• 자체 학습이 프로그램 자체의 [QI를 위한 것]이라면, 사용하는 도구에 다양성 또는 유연성을 제공하는 인가 시스템이 유리할 수 있다. 
• 그러나 자체 연구가 [표준에 대한 준수 평가]에 inform하기 위한 목적으로, 외부 평가자에게 프로그램에 대한 정보를 제공하기 위한 것이라면 보다 객관적인 데이터를 사용하는 것이 바람직할 것이다.

Finally, the choice of tools for the self-study will depend on the study’s purpose and on how it will be used.

• If the self-study is intended for the program’s own QI, an accreditation system that offers variety or flexibility in the tools used may be advantageous.
• If, however, the self-study is intended to provide external assessors with information about the program to inform the evaluation of compliance against standards, the use of more objective data would likely be preferable.

 

 

외부표준평가
External assessment of standards

 

서면
Documentation

 

표준에 대한 외부 평가의 일부로 사용되는 문서는 인증 프로세스에서 [사용 가능한 문서의 유형]과 [그 문서가 사용가능한 시점]에 따라 시스템마다 다르다. 외부 평가에 정보를 주기 위한inform 문서 선택은 주로 사전 설정된 인가 표준에 설명된 요건에 의해 수행되어야 한다. 최적의 경우, 정보의 삼각 측량 및 표준 준수를 정확하게 평가할 수 있도록 여러 유형의 문서를 사용할 수 있어야 한다. 그러나, 여러 유형의 문서의 장점은 외부 평가자가 검토에 통합하기에 [실용적인 것과 균형]을 이루어야 한다.
The documentation used as part of an external assessment against standards varies from system to system according to the types of documentation available and the timing of their availability in the accreditation process. The choice of documentation to inform the external assessment should be driven largely by the requirements outlined in the pre-established accreditation standards. Optimally, multiple types of documentation should be available to allow for the triangulation of information and the accurate evaluation of standards compliance; however, the advantage of multiple types of documentation should be balanced with what is practical for the external assessors to incorporate into their review.

문서의 이용 가능 시기는 전자 플랫폼과 같은 어떤 도구나 기반구조가 사전에 정보를 전송할 수 있는지에 따라 달라질 수 있다. 문서를 미리 제공하는 것이 시간 관리에 도움이 될 수 있지만, 이 작업을 쉽고 안전하게 수행할 수 있는지도 고려해야 합니다. 어떤 경우에도 외부 평가자의 검토를 위한 문서 제공 프로세스는 [학습자 정보가 기밀로 유지]되고 의도된 목적에만 사용되도록 보장해야 합니다.

The timing of the availability of documentation may depend on what tools or infrastructure, e.g., an electronic platform, is available to transmit information in advance. Although providing documentation in advance can help with time management, it should also be considered whether this can be done easily and securely. In any case, the process for providing documentation for review by external assessors must ensure that learner information is kept confidential and is used only for its intended purpose.

 

외부평가과정
External assessment process

 

외부 평가 프로세스의 설계는 [표준에 설명된 요구사항]과 [표준 준수 평가에 필요한 정보의 범위]에 의해 추진되어야 한다. 그러나 검토의 일부로 포함되는 활동을 포함하여 검토의 방법뿐만 아니라 이러한 표준 평가 방법에 관한 시스템 간에 프로세스가 다를 수 있다.

The design of external assessment processes should be driven by the requirements outlined in the standards and by the scope of information needed to evaluate standards compliance; however, the processes can differ between systems with respect to how those standards are evaluated, as well as how the review is conducted, including which activities are included as part of the review.

이상적으로는, 의료 교육 시스템의 영향을 가장 많이 받는 사람(학습자)의 투입input이 가능한 모든 곳에 포함되어야 한다. 학습자로부터 입력을 받는 방법은 반드시 외부 평가 프로세스의 전체적인 설계에 따라 달라지지만, 가능한 경우 학습자와의 기밀 토론이나 기타 피드백을 포함해야 한다.
Optimally, input from those most affected by the medical education system – the learners – should be included wherever possible. Methods for receiving input from learners will necessarily depend on the overall design of the external assessment process, but should if possible include confidential discussions with or other feedback from learners.

종이 기반 검토는 자원을 많이 요구하지 않는다는 장점이 있지만, 이 기준만으로는 프로그램에 대한 정확한 평가를 달성할 수 없을 수도 있다. 외부 평가에는 정보의 삼각측정과 표준 준수를 정확하게 평가할 수 있는 여러 유형의 데이터, 증거 및 활동이 이상적으로 포함되어야 한다.
Although paper-based review has the advantage of not putting heavy demands on resources, it might not be possible to achieve an accurate evaluation of a program on this basis alone. External assessment should ideally include multiple types of data, evidence, and activities to allow for the triangulation of information and the accurate evaluation of standards compliance.

반대로, 실질적으로 실현 가능한 경우 물리적 현장 검토는 프로그램의 표준 준수 여부를 가장 정확하게 평가할 수 있다. 물리적 현장 검토는

• (1) 의료 교육 및/또는 인가되는 프로그램이 새로운 경우 또는 커리큘럼 개혁과 같은 중대한 변화가 있는 상황에서 가장 중요할 수 있다.
• (2) 시설 또는 임상 학습 환경을 검토할 필요가 있다.
• (3) 평가에 필요한 정보를 얻기 위해 (접근이) 제한된 정보를 이용할 수 있다.

Conversely, where practically feasible, a physical on-site review can offer the most accurate evaluation of a program’s compliance with standards. A physical site review may be most important in situations where

• (1) the system of medical education and/or the program being accredited is new, or there has been a major change, such as curricular reform;
• (2) there is a need to review a facility or clinical learning environment; and
• (3) limited information is available to inform the evaluation of standards compliance.

 

표준 준수 현장 검토를 통해 임상 학습 환경과 교육 환경을 물리적으로 둘러볼 수 있다. 또한 프로그램 이해당사자들과의 토론과 인터뷰가 직접 이루어질 수 있게 해, 리뷰가 비언어적 단서와 바디랭귀지를 고려할 수 있게 해준다. 그러나 현장 검토의 실용성은 자원 가용성 및 기타 고려사항(예: 지리적 거리 또는 이동을 제한하고 전화 또는 화상 회의를 선호할 수 있는 다른 요인)과 균형을 이루어야 한다. 현장 방문이 어렵거나 불가능한 시스템의 경우, 학습자 또는 다른 이해관계자의 기밀 보고서, 정기적인 조사 도구 관리 및 데이터 수집 등과 같은 다른 정보원이나 증거의 추가가 표준 준수 그림을 완성하는 데 도움이 될 수 있다.

An on-site review allows for physical tours of clinical learning environments as well as of teaching environments. It also allows for discussions and interviews with program stakeholders to occur face to face, which can allow reviews to take non-verbal cues and body language into account. However, the practicality of the site review must be balanced with resource availability and other considerations, such as geographic distance or other factors which may limit travel and make telephone or video conferencing preferable. In systems where a site visit is difficult or impossible, the addition of other sources of information or evidence, e.g. a confidential report from learners or other stakeholders, regular survey tool administration and data collection, etc., may be helpful in rounding out the picture of standards compliance.

 

 

 

인증 보고서
Accreditation reports

 

보고서 내용
Report content

 

인증 보고서는 표준 준수 평가에 사용되는 도구, 보고서에 포함된 내용 유형 및 보고서 작성 방법에 따라 시스템마다 다릅니다. 무엇보다도, 도구의 선택은 [표준에 개략적으로 기술된 요건]과 [최종 인가 결정에 도달하기 위한 요건 및 프로세스]에 의해 추진되어야 한다.
Accreditation reports differs across systems according to the tools used to evaluate standards compliance, the type of content included in reporting, and how the reports are created. First and foremost, the choice of tools should be driven by the requirements outlined in the standards, as well as by the requirements and processes for reaching the final accreditation decision.

보고서 내용 및 규정 준수 평가에 사용되는 도구와 관련하여,

• 객관적인 정량적 정보는 보다 쉽게 검토하고 벤치마킹할 수 있으며 편집이 거의 또는 전혀 필요하지 않다는 장점이 있습니다. 그러나 서술적 서술에서 포착된 정보의 풍부함과 같은 질적 데이터와 관련된 이점을 놓칠 수 있다. 
  
• 순수하게 정량적 보고서는 보고서 편집을 위한 리소스가 적고 QA와 최소 품질 표준 달성에 중점을 둔 상황에서 가장 적합할 수 있습니다.
• 정량적 데이터와 정보만을 기반으로 하는 보고서는 또한 인가 기관 및 그 평가인에 대한 법적 또는 평판적 위험을 줄일 수 있다.
• 이러한 경우, 그리고 테크놀로지를 이용할 수 있는 경우, 효율성 및 정확성에 대한 잠재적 편익과 함께 인증 보고서가 자동으로 생성될 수 있습니다.
  

 

With respect to the report content, as well as the tools used to evaluate compliance,

• although objective, quantitative information has the advantage of being more easily reviewed and benchmarked, and of requiring little or no editing, it may also may miss the benefits associated with qualitative data, such as the richness of information captured in narrative descriptions.
• Purely quantitative reports may be best in contexts with fewer resources for report editing and where the emphasis is on QA and the attainment of minimum standards of quality.
• Reports based solely on quantitative data and information may also reduce legal or reputational risk to the accrediting organization and its assessors.
• In these cases, and where the technology is available to do so, accreditation reports can be generated automatically, with potential benefits for efficiency and accuracy.

반대로, 보고서 편집을 위한 자원이 있는 시스템 또는 인가 시스템의 초점이 지속적인 QI에 맞춰져 있고, 인가 기관(또는 그러한 위험이 완화될 수 있는 경우)에 대한 법적 또는 평판적 위험이 제한된 시스템에서는 인증 보고서는 질적 정보를 포함함으로써, 그 풍부함을 향상시킬 수 있다. 기관 또는 프로그램에 제공된 피드백을 참고할 수 있다. 궁극적으로, 각 접근법의 장점과 단점의 균형을 맞추면서 정량적 보고와 정성적 보고의 혼합을 목표로 하는 것이 최선일 수 있다.
Conversely, in systems that have resources for report editing, or where the focus of the accreditation system is on ongoing QI, and where there is limited legal or reputational risk to the accreditation organization (or where such risk can be mitigated), including qualitative information in the accreditation report can enhance the richness of the review and the feedback provided to institutions or programs. Ultimately, it may be best to aim for a hybrid of quantitative and qualitative reporting, balancing the advantages and disadvantages of each approach.

보고서 작성 프로세스와 관련하여, 이 설계 결정은 주로 보고서에 포함된 내용의 유형에 따라 결정됩니다. 위에서 논의한 바와 같이,

• 양적 정보만을 기초로 하는 보고서는 검토 중에 외부 평가자가 작성한 전자 점검표에서 자동으로 생성될 수 있다.
• 반면, 상당한 양의 질적 정보가 포함된 보고서는 외부 평가자 본인 또는 인증 기관 직원이 방문 중 또는 방문 후에 작성 및 편집을 필요로 한다.

With respect to the process of report creation, this design decision will be driven largely by the type of content included in the report. As discussed above,

• reports that are based solely on quantitative information can be generated automatically from electronic checklists completed by the external assessors during the review.
• On the other hand, reports with a significant amount of qualitative information require writing and editing, whether by the external assessors themselves or by accreditation organization staff, during or after the visit.

 

인증 결정
Accreditation decisions

 

인증 결정의 카테고리 또는 유형
Categories or types of accreditation decisions

 

다양한 유형의 인가 결정이 인가 시스템에 적용될 수 있다. 인가 상태 결정 유형은 주로 주기 길이 또는 외부 평가 프로세스와 같은 다른 시스템 설계 고려사항에 의해 결정된다. 그러나 인증의 이진 범주binary category가 있는 시스템과 복수의 수준을 가진 시스템을 구별하는 것이 중요하다. 이항 결정은 달성되거나 달성되지 않은 최소 품질 표준 및 프로세스가 QI보다는 QA에 초점을 맞춘 시스템에 적합할 수 있습니다.
Various types of accreditation decisions can be featured in an accreditation system. The types of accreditation status decisions are determined largely by other system design considerations, such as cycle length or the process of external assessment; however, it is important to differentiate between systems with binary categories of accreditation and those with multiple levels. Binary decisions may be appropriate in systems based on minimum standards of quality, which are either achieved or not achieved, and where the process is focused on QA rather than QI.

반대로 [QI에 초점을 맞춘 시스템]에서는 달성해야 할 다양한 수준을 포함하여 인증 범주를 설계하는 것이 지속적인 개선과 열망적 표준의 달성을 장려하는 중요한 방법이다. 또한 인증 수준은 평가자가 표준 준수를 가장 높은 수준으로 달성한 프로그램을 인식하는 데 도움이 될 수 있다. 마찬가지로, 혁신과 모범 사례를 인식하고 공유하는 프로세스는 QI에 대한 인센티브와 인정을 장려하고 창출할 수 있습니다.

Conversely, in systems that focus on QI, designing categories of accreditation that include different levels to be achieved is an important way to encourage ongoing improvement and the attainment of aspirational standards. Levels of accreditation can also help assessors recognize those programs that have achieved the highest level of compliance with the standards. Similarly, processes to recognize and share innovations and best practices can encourage and create incentives and recognition for QI.

 

인증 의사결정 프로세스
Process of accreditation decision-making

 

최종 인가 결정을 도출하는 과정은 의사결정이 기초가 되는 기준뿐만 아니라, 예를 들어 합의 또는 자동화된 프로세스에 의해 결정이 이루어지는지에 따라 표 1에 요약되어 있다. 사용되는 기준은 [표준에 설명된 요건]과 [프로세스가 제공하는 인가 결정 유형]에 따라 달라진다.

The process of rendering the final accreditation decision varies, as outlined in Table 1, according to the criteria upon which the decision is based, as well as by whether the decision is made by, for example, consensus, or by an automated process. The criteria used will depend on the requirements outlined in the standards as well as the types of accreditation decisions the process is intended to provide. 

 

• 기 설정된 [준수 한계치compliacne threshold] 또는 [고위험 또는 최소 표준의 평가]에 기초한 접근방식은 인가 상태의 이진binary 범주가 있는 시스템에 적합하다. 이러한 접근방식은 상당한 양의 질적 정보가 아닌 각 표준의 준수를 평가하기 위해 도구 또는 체크리스트를 사용할 수 있다. 이 프로세스는 전자 시스템이나 플랫폼에 의해 촉진될 수 있으며 잠재적으로 컴퓨터 알고리듬에 의해 지원될 수 있다. 이것은 투명성을 향상시킬 뿐만 아니라 프로그램 전체의 프로세스를 표준화하는데 도움이 될 수 있다.
  

Approaches based on established thresholds of compliance or the evaluation of high risk or minimum standards lend themselves well to systems with binary categories of accreditation status. These approaches can use a tool or checklist to evaluate compliance with each standard, rather than significant amounts of qualitative information; the process can also be facilitated by an electronic system or platform, potentially supported by a computer algorithm. This can help to standardize the process across programs as well as improve transparency.

• 반대로, [전체적인 기준에 대한 전체적인 판단]은 결정이 복잡하거나 상당한 양의 질적 정보를 요구하는 시스템과 가장 잘 일치할 수 있다. 이러한 경우, 여러 전문가의 합의에 의해 의사결정에 도달하는 것은 견제와 균형을 도입할 수 있고 표준화 부족에 대한 우려를 줄일 수 있다. 그러나, 이 접근법은 프로세스가 길어지고, 자원을 많이 소비할 수 있다.
  

Conversely, holistic judgments against overall criteria may be best aligned with systems for which the decision is complex or requires a significant volume of qualitative information. In these cases, arriving at a decision by the consensus of multiple experts can introduce checks and balances and reduce concerns about a lack of standardization; however, this approach can also lengthen the process and be resource-intensive.

궁극적으로, 많은 시스템이 의사결정을 용이하게 하기 위해 임계값 또는 가중 표준을 전문가 판단과 함께 사용하는 의사결정에 대한 혼합 접근법을 고려하는 것이 유리할 수 있다.

Ultimately, it may be advantageous for many systems to consider a hybrid approach to decision-making, in which thresholds or weighted standards are used in conjunction with expert judgment to facilitate decision-making.

 

 

인증 결정과 관련된 영향 및 후속 조치
Impact and follow-up related to the accreditation decision

 

일반적으로 인가 결정에 도달하도록 설계된 프로세스는 명시적으로는 아니더라도 [도달한 결정이 최종적인 것이므로 어떠한 이의도 제한한다고] 암시적으로 규정한다. 단, 외부 평가 이후 이루어진 새로운 정보나 진행에 기초하여 인가 결정을 개선할 기회는 QI의 전체 문화를 촉진할 수 있으며 보다 연속적인(일화적이지 않은) 인가 주기와 가장 잘 일치할 수 있다.
Typically, the process designed to reach an accreditation decision stipulates, implicitly if not explicitly, that the decision reached is final, barring any appeal. However, arguably, the opportunity to improve an accreditation decision on the basis of new information or progress made since the external assessment may promote an overall culture of QI and may be best aligned with more continuous (vs. episodic) accreditation cycles.

[이의신청 절차]는 프로세스와 의사결정에 대한 신뢰도를 높이기 위해 모든 인가 시스템에 필요한 요소이다. 이의신청 과정의 세부사항은 관할구역의 법적 프레임워크 및 기타 상황적 고려사항에 비추어 시스템마다 다를 수 있다.
An appeal process is a necessary element of all accreditation systems to increase confidence in the process and the decisions rendered. The details of the appeal process may vary from system to system in light of legal frameworks in the jurisdiction and other contextual considerations.

세부적인 인가 결과뿐만 아니라 인가 결정의 투명성은 전형적으로 인가 시스템의 의무와 의료 교육 시스템 내에서 그 역할과 관련이 있다.

• 의무적 시스템 및 QA를 강조하는 시스템은 인증 결과의 투명성과 공개 보고에 더 큰 영향을 미칠 수 있다.
• 반대로 QI를 강조하는 시스템은 QI 철학과 문화를 촉진하기 위해 인증 결과 정보의 기밀성을 강조하는 경향이 있다.
• 상세한 조사 결과를 빼고 총괄적인 인증 결과를 공유하는 하이브리드 접근 방식은 QI 접근법 내에서 책임성, 투명성 및 심지어 공공 보호의 균형을 맞추는 효과적인 방법이 될 수 있다.

The transparency of accreditation decisions, as well as detailed accreditation findings, is typically linked to the mandate of the accreditation system and its role within the medical education system.

• Mandatory systems as well as those that emphasize QA may tend toward greater transparency and public reporting of accreditation outcomes;
• conversely, systems that emphasize QI tend to emphasize the confidentiality of accreditation outcome information to promote a QI philosophy and culture.
• Hybrid approaches that share global accreditation outcomes without detailed findings may be an effective way to balance accountability, transparency, and even public protection within a QI approach.

 

 

인증 주기
Accreditation cycle

 

인증 주기 유형
Types of accreditation cycles

 

모든 인증 프로세스에는 인증과 일회성 감사 또는 기타 QA 프로세스를 구분하는 [검토 주기의 정의]가 필요합니다. 그러나 표 1이 강조하듯이, 인가 주기는 모든 인가된 프로그램 또는 인가 상태에 따라 가변적인 모든 인가된 프로그램에 대해 표준화되었는지 여부와 인가 결정 후 후속 조치를 포함하여 주기 전체에 걸쳐 사용되는 활동 유형에 대해 시스템 간에 유의하게 다르다.
All accreditation processes require a defined cycle of review, distinguishing accreditation from one-time audits or other QA processes. However, as Table 1 highlights, accreditation cycles differ significantly between systems with respect to length, whether they are standardized for all accredited programs or variable according to the accreditation status, and types of activities used throughout the cycle, including any follow-up after the accreditation decision.


선택한 인가 주기의 형식은 [인가되는 프로그램에 대해 얼마나 많이 알려져 있는지, 그리고 인가되는 프로그램과 의료 교육 시스템 내에 얼마나 많은 불확실성 또는 위험이 있는지에 관한] 상황적 고려사항에 따라 달라져야 한다.

• 예를 들어 (교육과정의 주요 변화기간이 아니라) 정적static 교육 커리큘럼이어서 위험이나 불확실성이 적은 경우, 더 긴 인가 주기가 정당화될 수 있다.
• 반대로, 위험이나 불확실성이 더 많은 경우, 특히 정기적인 인가 방문 사이에 필요한 활동이 없는 순전히 에피소드적인 인증 주기에서 더 짧은 인증 주기가 보장될 수 있다.
• 마찬가지로, 인증 주기 전체에 걸쳐 [정기적인 접촉점이나 또는 요건]이 있어서, 보다 연속적인 시스템인 경우에는 프로그램 품질에 대한 신뢰를 높여주기에 전체 주기를 연장할 수 있다.
  

 

The type of accreditation cycle chosen should depend on contextual considerations regarding how much is known about the programs being accredited and how much uncertainty or risk there is within the medical education system and the programs being accredited.

• Where there is less risk or uncertainty, e.g., in a static educational curriculum versus a period of major curricular change, a longer accreditation cycle may be justified.
• Conversely, where there is more risk or uncertainty, a shorter accreditation cycle may be warranted, particularly in a purely episodic accreditation cycle with no required activities between regular accreditation visits.
• Likewise, more continuous systems with regular touchpoints or requirements throughout the accreditation cycle may increase confidence about program quality and allow the overall cycle to be lengthened.
  
  

또한 QA보다 [QI를 강조하는 인증 시스템]에서 프로그램의 표준 준수에 따라 인증 주기 길이를 조정하는 접근방식은 QI의 우수성 및/또는 마커를 위해 노력할 동기를 부여할 수 있다.

In addition, in an accreditation system that emphasizes QI over QA, an approach that adjusts the length of the accreditation cycle length according to a program’s compliance with the standards may create incentives to strive for standards of excellence and/or markers of QI.

 

마지막으로, 인가 주기의 일반적인 길이도 실제적인 고려사항에 따라 달라질 수 있다. 

• 매년 시스템에 의해 인증받는 프로그램 수,
• 매년 타당성 있게 검토할 수 있는 프로그램 수
  
• 인증 대상 교육 프로그램의 길이(프로그램 길이가 짧으면 인증 방문의 짧은 주기를 정당화할 수 있음) 
  
• 기술 및 기타 리소스(예: 직원)가 인가에 대한 보다 지속적인 접근 방식을 지원할 수 있는지 여부.

Finally, the typical length of an accreditation cycle may also depend on practical considerations, such as

• how many programs are accredited by the system and how many can feasibly be reviewed each year;
• the length of the education programs being accredited (shorter programs may justify shorter cycles of accreditation visits); and
• whether technology and other resources (such as staff) are available to support a more continuous approach to accreditation.

 

 

현장 검토 모델
The site-review model

 

검토자 및 팀 구성 유형
Types of reviewers and team composition

 

현장 검토 모델은 인증 팀의 규모와 구성에 따라 다릅니다. 

• 전문직의 구성원이 자신의 프로그램 이외의 프로그램에 대한 외부 평가자 역할을 하는 [동료 검토 모델]은 인가 과정의 표면적 타당성을 증가시킬 수 있다. 그러나, 이 이점은 검토 과정의 일관성을 보장하기 위한 [엄격한 현장 검토자 훈련과 평가]뿐 아니라 [강력한 자원봉사자 관리 프로그램]의 필요성과 같은 특정 관련 과제와 균형을 이루어야 한다.
• 반대로, [전문 평가관]을 사용하는 현장 검토 모델은 자원 봉사 관리, 교육 및 평가에 크게 투자하지 않고도 일관성을 개선할 수 있습니다. 그러나 이러한 방법은 전체적으로 인가 프로세스에 대한 얼굴 유효성과 신뢰도를 감소시킬 수 있다.
  

Site review models differ according to the size and composition of the accreditation team.

• A peer review model wherein members of the profession serve as external assessors for programs other than their own (usually on a voluntary basis) may increase the face validity of the accreditation process. However, this advantage must be balanced against certain associated challenges, such as the need for a robust volunteer management program, as well as for rigorous site reviewer training and assessment to ensure consistency in the review process.
• Conversely, a site review model that uses professional, full-time surveyors can improve consistency without significant investments in volunteer management, training, and assessment. They method may, however, reduce face validity and confidence in the accreditation process overall.

심사자 외에도, [인증기관의 직원]은 인가 기관이 사용하는 전체 현장 검토 모델에 따라 중요한 역할을 할 수 있다. 자원봉사자 및 동료 검토에 기초한 현장 검토 모델의 경우 인증기관의 직원이 프로세스 전문지식을 제공함으로써 중요한 역할을 수행할 수 있어 표준화를 견디는 데 도움이 된다. 반대로, 전문 평가관이나 직원 평가관에 의존하는 현장 검토 모델은 추가 직원 지원을 받거나 혜택을 받지 못할 수 있습니다. 모든 경우, 잠재적 이해충돌을 완화하기 위해서는, 위원회 행정 및 항소 프로세스 관리를 포함하여, [최종 인증 결정 과정을 지원하는 역할을 가진 직원]이 인증 검토accreditation review 자체에 참여자에게 기여해서는 안 된다.
In addition to the reviewers themselves, the accrediting body’s staff can play an important role, depending on the overall site review model used by the accrediting body. In the case of site review models based on volunteers and peer review, staff of the accrediting body can serve an important role by providing process expertise, thus helping to endure standardization. Conversely, site review models that rely on professional or staff surveyors may not benefit from or require additional staff support. In all cases, to mitigate potential conflicts of interest, staff who have a role in supporting the final accreditation decision-making process, including committee administration and the administration of appeal processes, should not be contributing participants in the accreditation review itself.

마지막으로, 조사팀의 규모는 매년 얼마나 많은 프로그램 검토를 수행하는지, 외부 평가의 유형은 무엇인지와 같은 실제적인 고려사항에 크게 좌우된다.

Finally, the size of the survey team depends largely on practical considerations such as how many program reviews are conducted each year and what type of external assessment is done.

 

현장 검토자 교육 및 평가
Site reviewer training and assessment

 

교육 및 평가 검토자에 대한 접근방식은 위에서 설명한 현장 검토 모델에 의해 추진되어야 한다. 자원봉사자 동료 검토에 기초한 현장 검토 모델은 모든 검토자가 수용 가능한 수준의 역량을 충족하고 인가 과정의 일관성을 촉진하기 위한 훈련과 평가에 대한 보다 강력한 접근방식을 필요로 할 것이다.
The approach to training and assessing reviewers should be driven by the site review model as outlined above. Site review models based on volunteer peer review will require a more robust approach to training and assessment to ensure all reviewers meet an acceptable level of competence and to promote consistency in the accreditation process.

(방문평가자에 대한) 교육 및 평가에 대한 접근 방식은 직원과 자원의 가용성과 같은 실제적인 고려사항에 따라 달라질 수도 있습니다.

• 학습 관리 소프트웨어나 인증 관리 시스템과 같은 전자 플랫폼을 통해 잠재적으로 강의식교육didactic에 의존하는 교육 프로그램은 많은 수의 지원자를 교육하는 데, 효과적이며 쉽게 복제될 수 있다.
• 그러나 더 많은 자원과 시간 집약적이기는 하지만 인가 과정의 실제 적용에 의존하는 훈련은 새로운 검토자들 사이에서 더 큰 준비성과 역량을 촉진할 것이다.

The approach to training and assessment may also depend on practical considerations, such as the availability of staff and resources.

• Training programs that rely on didactic sessions, potentially by means of electronic platforms such as learning management software or accreditation management systems, are effective for training large numbers of volunteers and can be easily duplicated.
• However, training that relies on the practical application of the accreditation process, although more resource and time intensive, will promote greater readiness and competence among new reviewers.

 

 

인증제도 관리
Accreditation system administration

 

기술 인프라
Technological infrastructure

 

인증 시스템을 지원하는 데 있어 기술 및 기타 인프라의 역할은 주로 [인증 기관이 기술과 자동화에 투자할 수 있는 자원, [자동화]가 인증기관 및 대상 프로그램에 효율성/비용절감/표준화 등의 이익을 제공할 수 있는지 여부] 등 실질적인 고려사항에 의해 추진된다. 데이터나 정보의 정기적 제출에 의해 지원되는 보다 연속적인 인가 과정과 같은 일부 설계 옵션은 기술 플랫폼의 도입만으로 실현 가능할 수 있다.
The role of technology and other infrastructure in supporting the accreditation system is driven largely by practical considerations, such as the resources available to the accrediting body to invest in technology and automation, and whether automation can provide benefits to the accrediting body and those programs it accredits with respect to efficiencies, cost savings, and standardization. Some design options, such as more continuous accreditation processes supported by the regular submission of data or information, may be feasible only with the introduction of technological platforms.

[기술 인프라는 또한 자동화 및 첨단 기술 플랫폼이 (경쟁적 환경에 있는) 인증 기관에 이점을 제공할 수 있는지]와 같은 전략적 고려사항에 의해 추진될 수 있다. 이러한 기술의 사용은 또한 인가 기관, 그 이해관계자 및 인가된 프로그램의 "기술적 준비"에 의해 guide되어야 한다. 인증이 새롭게 도입되는 상황이거나, 인증 프로그램이 테스트되지 않은 시스템에서는 표준과 인증 과정이 의료 교육 시스템에 잘 포함될 때까지 [기술에 크게 의존하지 않는 단순화된 인증 시스템]을 도입하는 것이 바람직할 수 있다.

Technological infrastructure may also be driven by strategic considerations, such as whether automation and an advanced technological platform can lend an advantage to accrediting bodies within a competitive environment. The use of such technology should also be guided by the “technological readiness” of the accrediting body, its stakeholders, and accredited programs. In systems where accreditation is new or the programs being accredited are untested, it may be preferable to introduce a simplified accreditation system that does not rely heavily on technology until such time as standards and accreditation processes are well embedded within the medical education system.

 

인증제도 개선
Accreditation system improvement

 

인증 시스템의 개선 및 연구 및 학술적 접근 방식은 체계성에 보조적인 역할을 할 수 있다. 시스템 개선과 연구에 대한 접근법의 주기는 주로 검토와 개선에 이용 가능한 자원, 그리고 지역 시스템이나 맥락에서 실용적인 의미가 있는 것에 달려 있다. 표준 자체와 마찬가지로 전반적인 시스템 검토 및 갱신에 대한 접근법도 지역 환경에서 의료 교육 시스템이 얼마나 빠르게 변화하고 있는지에 따라 추진되어야 한다. 예를 들어, 중요한 커리큘럼 변경 기간 동안 더 빈번한 평가 및 갱신 주기가 필요할 수 있다.
Approaches to the improvement of accreditation systems, as well as the approach to research and scholarship, vary from the ad hoc to the systematic. Cycles of system improvement and approaches to research depend largely on the resources available for review and improvement, and on what makes practical sense in the local system or context. As with standards themselves, the approach to overall system review and renewal should also be driven by how fast the medical education system is changing in the local environment; for example, more frequent cycles of evaluation and renewal may be needed during periods of significant curricular change.

 

감독 및 리스크 관리
Oversight and risk management

 

감독 및 위험 관리에 대한 인증 시스템의 접근 방식은 주로 그것이 작동하는 맥락과 그러한 감독 및 보호의 필요성에 따라 달라진다. 그러나 인증 결정이 이진법일 가능성이 더 높으며, 교육이 면허와 같은 고위험 결과를 목적으로 계산될 수 있는지 여부를 결정하는 QA 접근방식은 위험 관리, 거버넌스 및 감독 형태의 추가 보호가 필요한 시스템과 관련될 가능성이 더 높다. 또한 QA 접근방식은 공공 및 전문직 종사자에게 책임을 입증하기 위해 기대되거나 요구될 가능성이 더 높다.
The accreditation system’s approach to oversight and risk management will depend largely on the context in which it works and on the need for such oversight and protection. However, a QA approach, in which accreditation decisions are more likely to be binary and to determine whether training can be counted for the purposes of high-stakes outcomes such as licensure, is more likely to be associated with systems that require additional protections in the form of risk management, governance, and oversight. A QA approach is also more likely to be expected or required to demonstrate accountability to the public and the profession.

 

비즈니스 모델
Business model

 

인증 시스템의 비즈니스 모델은 지역 관할구역에서 인증의 역할에 따라 달라질 수 있다. 예를 들어, 인증이 의무화되거나 정부에 의해 요구되는 경우, 비즈니스 모델은 정부 또는 다른 외부 자금후원에 의존하거나 비용 회수 모델을 통해 자금후원을 받을 가능성이 더 높을 수 있다.
The business model of an accreditation system is likely to depend on the role of accreditation in the local jurisdiction. For example, where accreditation is mandated or required by government, business models may be more likely to depend on government or other external funding, or to be funded through cost-recovery models.

[국가 또는 지역 규제에 초점을 맞춘 인가 시스템]은 [비용 회수 또는 수익 창출 사업 모델을 가질 가능성이 더 높은 국제적인 의무와 범위를 가진 시스템]과는 달리 정부의 개입과 자금후원을 가질 가능성이 더 높을 수 있다.

Accreditation systems focused on national or local regulation may be more likely to have government involvement and funding, as opposed to those with an international mandate and scope, which may be more likely to have cost-recovery or revenue-generation business models.

 

한계 및 향후 연구
Limitations and future research

 

새로운 또는 갱신된 의료 교육 인가 시스템의 개발을 안내하는 이 "목적에 맞는" 프레임워크는 설계 결정의 함의와 고려사항을 탐구하기 위한 실용적인 지침으로 의도된다. 우리는 프레임워크와 고려사항이 경험적 증거보다는 전문가의 의견과 경험에서 도출된다는 것을 인정한다.
This “fit for purpose” framework to guide the development of new or renewed medical education accreditation systems is intended as a practical guide to exploring the implications and considerations of design decisions. We acknowledge that the framework and the considerations it engenders derive from expert opinion and experience rather than empirical evidence.

교육 연속체의 다른 단계를 포함하여 다양한 관할권, 컨텍스트 및 유형의 보건 교육에서 이 프레임워크와 인증 시스템에 걸친 다양한 설계 고려사항의 적용을 탐구하는 것이 유용할 것이다. 이 작업은 다양한 시스템이 실제 고려사항에 비추어 내리는 설계 결정을 탐구할 수 있다. 이 작업은 프레임워크 자체의 추가적인 개선뿐만 아니라 전 세계 인증 시스템 간의 차이를 더 잘 이해할 수 있게 할 것이다.

It would be useful to explore the application of this framework and its various design considerations across accreditation systems in a variety of jurisdictions, contexts, and types of health education, including different phases of the education continuum. This work could explore the design decisions that different systems make in light of practical considerations. This work would lead to a better understanding of variations across accreditation systems worldwide, as well as to further refinements to the framework itself.

 

결론

Conclusion

 

이 "목적에 맞는" 의료교육 인가 시스템 설계는 프랭크와 동료가 개괄적으로 설명한 의료교육 인가 시스템의 공통 요소를 기반으로 한다[1]. 그리고 의료 교육 프로그램을 위한 인가 시스템을 개발하고 운용할 때 고려해야 할 관련 고려사항 및 시사점과 함께 원칙 기반 프레임워크를 제공한다.
This “fit for purpose” framework for medical education accreditation system design builds on the common elements of medical education accreditation systems outlined by Frank and colleagues [1] and provides a principle-based framework, along with associated considerations and implications to take into account in developing and operationalizing any accreditation system for medical education programs.

이 프레임워크는 단일 모범 사례를 제공하기보다는, 인증 시스템 간의 variation이 [로컬 컨텍스트의 요구를 충족하도록 기초하고 의도적으로 설계되는 것이 적절하다는 것]을 강조한다. 즉, 형태form는 기능function을 따라야 한다. 이 프레임워크는 관리자, 정책 입안자 및 교육자에게 의료 교육 인증에 대한 다양한 접근 방식과 현지 맥락에서 적용 가능성과 적합성에 대한 지침을 제공하기 위한 것이다.

The framework highlights that, rather than a single best practice, variation among accreditation systems is appropriate if it is based on and purposely designed to meet the needs of local contexts. In other words, form must follow function. This framework is intended to provide guidance to administrators, policy-makers, and educators regarding different approaches to medical education accreditation and their applicability and appropriateness in local contexts.

 

 

---

Review

 

BMC Med Educ. 2020 Sep 28;20(Suppl 1):306.

 doi: 10.1186/s12909-020-02122-4.

A "fit for purpose" framework for medical education accreditation system design

Sarah Taber 1, Nesibe Akdemir 2 3, Lisa Gorman 4, Marta van Zanten 5, Jason R Frank 4

Affiliations collapse

Affiliations

• 1Royal College of Physicians and Surgeons of Canada, Ottawa, Canada. staber@royalcollege.ca.

• 2OLVG Teaching Hospital, Amsterdam, Netherlands.

• 3VU Medical Center, School of Medical Sciences, Amsterdam, Netherlands.

• 4Royal College of Physicians and Surgeons of Canada, Ottawa, Canada.

• 5Foundation for Advancement of International Medical Education and Research, Philadelphia, PA, USA.

• PMID: 32981517

 

• PMCID: PMC7520946

 

• DOI: 10.1186/s12909-020-02122-4

Free PMC article

Abstract

Background: Accreditation is a key feature of many medical education systems, helping to ensure that programs teach and assess learners according to applicable standards, provide optimal learning environments, and produce professionals who are competent to practise in challenging and evolving health care systems. Although most medical education accreditation systems apply similar standards domains and process elements, there can be substantial variation among accreditation systems at the level of design and implementation. A discussion group at the 2013 World Summit on Outcomes-Based Accreditation examined best practices in health professional education accreditation systems and identified that the literature examining the effectiveness of different approaches to accreditation is scant. Although some frameworks for accreditation design do exist, they are often specific to one phase of the medical education continuum.

Main text: This paper attempts to define a framework for the operational design of medical education accreditation that articulates design options as well as their contextual and practical implications. It assumes there is no single set of best practices in accreditation system development but, rather, an underlying set of design decisions. A "fit for purpose" approach aims to ensure that a system, policy, or program is designed and operationalized in a manner best suited to local needs and contexts. This approach is aligned with emerging models for education and international development that espouse decentralization.

Conclusion: The framework highlights that, rather than a single best practice, variation among accreditation systems is appropriate provided that is it tailored to the needs of local contexts. Our framework is intended to provide guidance to administrators, policy-makers, and educators regarding different approaches to medical education accreditation and their applicability and appropriateness in local contexts.

Keywords: Accreditation framework; Accreditation system design; Continuous quality improvement; Medical education.