의학교육 인증에서 CQI의 평가(BMC Med Educ, 2020)

의학교육 인증에서 CQI의 평가(BMC Med Educ, 2020)

Evaluation of continuous quality improvement in accreditation for medical education

Nesibe Akdemir1,2*, Linda N. Peterson3, Craig M. Campbell4 and Fedde Scheele1,2,5,6

 

 

배경

Background

 

설계 [1]과 인증 시스템 [2, 3]의 가치는 추가 연구가 필요한 주제이다. 본 연구에서 우리는 의료 교육에서 지속적 질 개선(CQI)의 장점을 성찰한다.
The design [1], as well as the value of accreditation systems [2, 3], are topics that require additional research. In this study we reflect on the virtues of continuous quality improvement (CQI) in medical education.

의료 교육 프로그램의 인증은 프로그램이 제공하는 교육의 질을 보장하고 졸업생이 배출한다는 암묵적인 믿음이 있다 [4,5,6]. 최근 외국 의학 졸업생 교육 위원회의 발표에 의해 의학 교육 프로그램의 인가의 중요성이 더욱 증대되었다. 발표문에는 2023년까지 미국 레지던시 교육을 받을 수 있는 유일한 후보자는 세계의학교육연맹(World Medical Education)의 승인을 받은 단체로부터 적절한 공식화되고 적용된 표준에 의해 인정받은 의대 졸업생이 될 것이라고 명시돼 있다.

There is an implicit belief that the accreditation of medical education programs ensures the quality of the education these programs provide and the graduates they produce [4,5,6]. The importance of the accreditation of medical education programs has been further heightened by a recent announcement by the Educational Commission for Foreign Medical Graduates. The announcement states that, by the year 2023, the only candidates who can be certified, and therefore considered for residency education in the United States, will be graduates of medical schools that have been accredited by organizations approved by the World Federation of Medical Education as working to appropriately formulated and applied standards [7]. 

 

인증가 합의되었다는 존중에도 불구하고, 인증 과정이 실제로 의도한 결과를 달성하는지 여부에 대해서는 쓰여진 바가 없다. 많은 국가에서 의료 교육 프로그램의 인증은 전통적으로 일화적episodic 평가에 기초해 왔다[8]. 일반적으로, 에피소드 평가는 현장 방문을 포함하는 인증 기관의 [외부 검토]이며, [지정된 간격으로 반복]된다 [8, 9]. 최근에는 인가의 초점이 일화 평가에서 CQI로 옮겨가고 있다[10,11,12,13]. 서비스나 제품에 대한 품질관리에 대한 접근방법으로 산업계에서 시작된 [14,15,16,17]은 품질지표를 사용하는 조직개선의 끝없는 주기이다[18].

Despite the respect that accreditation is accorded, little has been written about whether the accreditation process actually achieves its intended outcomes. In many jurisdictions, accreditation of medical education programs has traditionally been based on episodic evaluation [8]. In general terms, an episodic evaluation is an external review by an accreditation authority that includes on-site visits and is repeated at specified intervals [8, 9]. More recently, the focus of accreditation has been shifting from episodic evaluation to CQI [10,11,12,13]. CQI, which originated in industry as an approach to quality control for services or products [14,15,16,17], is a never-ending cycle of organizational improvement that uses quality indicators [18].

앞에서 설명한 것처럼, CQI가 여러 국가에서 도입되었지만 의학 교육에 있어 CQI 시스템의 편익을 위한 문헌의 증거는 불충분하다. 그 결과는 충분한 경험적 증거 없이 사용되고 있는 새로운 관료주의 도구이다. 그런 만큼 의학교육에서 CQI의 장단점을 조사하는 것이 중요하다. 이 유틸리티 중심 평가[19]에서 우리는 거버넌스 감독에 대한 일련의 품질 기준을 사용하여 이러한 장단점을 더 잘 조명한다.

As explained before, the evidence in literature for the benefits of a CQI system in medical education is insufficient, although CQI has been introduced in several jurisdictions. The result is a new bureaucratic instrument that is being used without sufficient empirical evidence. As such, it is important to investigate the pros and cons of CQI in medical education. In this utility-focused evaluation [19] we use a set of quality criteria for governance oversight to shed more light on these pros and cons.

 

방법

Methods

 

우리는 자연주의적 효용 중심 평가를 수행하기로 결정했다[19]. 
We chose to perform a naturalistic utility-focused evaluation [19]. 

의료 교육 인증 문헌에서 확고한 이론적 배경을 사용할 수 없었기 때문에, 우리는 의료 교육 분야에서 출발하지 않은 [정부 감독에 대한 일련의 품질 기준]을 사용하기로 선택했다.
We chose to use a set of quality criteria for government oversight that did not originate from the field of medical education, because a firm theoretical background in the accreditation literature for medical education was not available.

우리 저자 팀은 기준에 따라 인증 사례의 설명자와 CQI 평가자의 역할을 모두 맡게 되었다. 저자들은 기준을 사용하여 각 시스템에 대해 토론하고 평가했으며 품질 기준에 대한 패턴을 검색했다. 이러한 토론 중에 각 시스템에 대한 자세한 질문은 해당 시스템을 담당하는 저자에 의해 답변되었습니다. 이 과정은 저자들이 각 기준에 대해 합의에 도달할 때까지 반복적으로 반복되었다.

Our author team was assigned to the roles of both descriptor of the accreditation cases and evaluator of CQI based on the criteria. The authors discussed and evaluated each system using the criteria and searched for patterns with respect to the quality criteria. During these discussions, detailed questions about each system were answered by the author responsible for that system. This process was repeated iteratively until the authors reached consensus for each criterion.

 

 

사례 예: 세 가지 인증 시스템
Case examples: three accreditation systems

 

CQI의 장단점에 대한 논의를 위한 컨텍스트를 독자에게 제공하기 위해 인증 시스템을 간략하게 소개한다. 

In the next section, the accreditation systems are briefly introduced to give the reader a context for our discussion about the pros and cons of CQI. A comprehensive description of the systems may be found on the websites of the accreditation authorities (afmc.ca; cacms-cafmc.ca; lcme.org; www.knmg.nl; www.royalcollege.ca) or obtained from the authors. 

 

미국과 캐나다의 학부 인증 제도
The American and Canadian undergraduate accreditation systems

 

북미에서는 캐나다 의과대학 인증위원회(CACMS)와 미국 및 캐나다의 의과대학 의료교육 연락위원회(LCME) 등 두 기관이 의학 학위 수여 프로그램을 인가한다. CACMS와 LCME는 그들이 인가하는 프로그램과 관련된 외부 기관이다. 인증 주기는 동료 검토 팀의 현장 방문을 포함한다. 하나의 전체 조사와 다음 조사 사이의 간격은 8년이다. 전체 조사의 내부 검토 과정은 약 2년을 필요로 하며 인적 자원과 재정적 자원의 지출의 상당부분을 차지한다.
In North America, two authorities accredit medical degree-granting programs: the Committee on Accreditation of Canadian Medical Schools (CACMS) for medical schools in Canada, and the Liaison Committee on Medical Education (LCME) for medical schools in the United States and Canada. The CACMS and the LCME are external bodies with respect to the programs they accredit. The accreditation cycle includes an on-site visit by a peer-review team; the interval between one full survey and the next is 8 years. The internal review process for the full survey requires approximately 2 years and involves a major expenditure of human and financial resources.

2009년, 캐나다 의과대학협회(AFMC)는 주기 동안 표준 준수를 달성하고 유지하기 위해 CACMS 인증 표준의 중간 지점에서 검토를 포함하는 캐나다 의과대학에 대한 의무 중간 검토 프로세스(IRP)를 승인했다. AFMC IRP는 현재 CACMS와 독립적이며, 프로세스의 효과는 현재 진행 중인 검토의 대상이다. CACMS의 승인을 받은 LCME는 인증 표준 준수를 모니터링하기 위한 CQI 프로세스를 학교에게 요구하는 인증 표준을 도입했다. 이는 2015-16학년도에 시행되었다[5]. CQI에 대한 이러한 필수 요구사항의 유효성을 결정하기 위한 연구가 필요하다.

In 2009, the Association of Faculties of Medicine of Canada (AFMC) approved a mandatory interim review process (IRP) for Canadian medical schools that includes a review of CACMS accreditation standards at the mid-point of the formal accreditation cycle, along with CQI to achieve and maintain compliance with standards throughout the cycle [8]. The AFMC IRP is currently independent of the CACMS, and the effectiveness of the process is the subject of ongoing review. The LCME, with the endorsement of CACMS, has introduced an accreditation standard requiring schools to have a CQI process to monitor compliance with accreditation standards; this came into effect during the 2015–16 academic year [5]. Research is needed to determine the efficacy of these mandatory requirements for CQI.

 

 

네덜란드 대학원 인증제도
The Dutch postgraduate accreditation system

 

네덜란드 시스템에서는 레지던시 훈련의 인증을 위한 두 가지 중요한 외부 기관이 있다: 

• CGS(레지던시 훈련의 인증을 위한 입법 대학)와 
• RGS(전문 등록 위원회). 

In the Dutch system there are two important external authorities for the accreditation of residency training:

• the CGS (Legislative College for Accreditation of Residency Training) and
• the RGS (Specialist Registration Committee). 

이들은 네덜란드 왕립 의학 협회(KNMG)의 단체들이다. CGS는 인가를 위한 규정(훈련 요건)을 설정하는 책임을 지는 반면, RGS의 역할은 이러한 규정 준수를 모니터링하는 것이다. 교육병원 각 전공과에 RGS가 의뢰한 조사팀이 5년마다 방문한다. 교습병원의 레지던시 교육과 관련하여 특별히 의무적인 내부 품질 관리 시스템은 없지만, 내부 품질 관리를 수행할 수 있는 충분한 도구와 시스템을 이용할 수 있다. 어떤 형태의 CQI를 수행하기 위해서는 대학원 의학 교육 프로그램이 필요하다.

These are bodies of the Royal Dutch Medical Association (KNMG). The CGS is responsible for setting regulations (training requirements) for accreditation, while the RGS’s role is to monitor compliance with these regulations. The medical specialties in teaching hospitals are visited every 5 years by a survey team commissioned by the RGS. There are no specific mandatory internal quality management systems regarding residency training in teaching hospitals; however, sufficient instruments and systems are made available to conduct internal quality control. The postgraduate medical education programs are required to perform some form of CQI.

 

캐나다의 지속적인 전문 개발 인증
Continuous professional development accreditation in Canada

 

CPD(Continuous Professional Development) 인증 시스템에는 공급자 기반 인증과 활동 기반 인증의 두 가지 기본 유형이 있습니다. 

There are two basic types of continuous professional development (CPD) accreditation systems: provider-based accreditation and activity-based accreditation. 

 

• 활동 기반 CPD 인증 시스템에서 제공자(의사)는 자신이 개발한 활동이 확립된 행정, 교육 및 윤리 표준을 준수하는지 여부에 대한 증거를 인가 기관에 제출한다. 인증 기관이 표준이 충족되었다는 데 동의하는 경우, 활동은 승인된다. 활동 기반 인증은 예를 들어 캐나다의 가정의학과 대학(College of Family Physicians)에 의해 사용됩니다. 

In activity-based CPD accreditation systems, providers submit evidence to the accreditation organization about whether or not an activity they have developed complies with established administrative, educational, and ethical standards. If the accreditation authority agrees that the standards have been met, the activity is approved. Activity-based accreditation is used, for example, by the College of Family Physicians of Canada. 

• 공급자 기반 CPD 인증 시스템은 [일련의 표준을 준수함을 입증하는 능력에 기초하여] 조직을 지속적인 교육의 기관 제공자로 인정한다. 인가 과정에는 종종 동료-검토 팀이 CPD 조직의 리더십, 행정 직원 및 참가자와 특정 표준을 논의할 기회를 갖는 현장 방문이 포함된다. 조직이 승인되면 인증 주기 동안 개발하는 모든 활동은 자동으로 신용 승인을 받습니다.

Provider-based CPD accreditation systems recognize organizations as institutional providers of continuing education on the basis of their ability to demonstrate adherence to a set of standards. The accreditation process frequently includes an on-site visit in which a peer-review team has the opportunity to discuss specific standards with, among others, the CPD organization’s leadership, administrative staff, and participants. Once an organization is approved, all activities it develops during its accreditation cycle are automatically approved for credit. 

 

공급자 기반 인증 시스템은 캐나다 왕립 의사 및 외과 대학(RCPSC)이 국가 전문 학회를 포함한 국가 및 지방 CPD 조직에 초점을 맞추기 위해 사용하는 반면, CACME(Continuous Medical Education, CACME)는 지속적인 의료 교육의 대학 사무소에 초점을 맞춘다. (CME) 의학의 능력에 있어서. 이 두 제공자 인가 시스템은 연속적인 인가가 표현되고 촉진되는 과정을 설명하기 위해 사용될 것이다.

A provider-based accreditation system is used by the Royal College of Physicians and Surgeons of Canada (RCPSC) to focus on national and provincial CPD organizations, including national specialty societies, while the Committee on Accreditation of Continuing Medical Education (CACME) focuses on the university offices of continuing medical education (CME) in the faculties of medicine. These two provider accreditation systems will be used to illustrate the process by which continuous accreditation is expressed and promoted.

 

 

감독 기준
Criteria for oversight

 

인증은 실제로 감독 수단이다. 서로 다른 이해관계자가 관여하고 있음에도 불구하고 의료에서 정부 및 인증 프로세스의 감독 기능은 품질 개선을 달성하는 데 있어 유사한 어려움[20, 21]과 씨름할 수 있다. 네덜란드 정부정책과학협의회(WR)는 7가지 기준을 사회적 대응 감시를 위한 기준으로 식별했다 [22](표 1) 이들의 일반적인 적용 가능성을 고려하여, 우리는 미국과 캐나다의 대학 의학 교육, 네덜란드의 대학원 의학 교육, 캐나다의 CPD에서 CQI의 장단점을 평가하기 위해 이러한 기준을 사용했다.
Accreditation is actually a method of oversight. Oversight functions of government and accreditation processes in medicine may struggle with similar difficulties in achieving quality improvement [20, 21], even though different stakeholders are involved. The Netherlands Scientific Council for Government Policy (WRR) identified seven criteria as the basis for societally responsive oversight [22] (Table 1). Given their general applicability, we used these criteria to evaluate the pros and cons of CQI in undergraduate medical education in the United States and Canada; postgraduate medical education in the Netherlands; and CPD in Canada.

 

Table 1 Summary of the seven criteria and associated tasks

 

결과

Results

 

결과는 표 2에 요약되어 있으며, 기관 차원에서 CQI의 장단점에 대한 저자의 평가를 반영하고 있다.
The results are summarized in Table 2 and reflect the authors’ evaluation of the pros and cons of CQI at the institutional level.

 

Table 2 CQI at the institutional level

 

고찰

Discussion

 

우리의 연구 결과는 의학교육의 인증를 위한 통합 시스템이 [외부 당국]과 공익에 봉사하기 위한 시기적절한 성찰과 조치를 지원하는 [로컬 CQI 시스템]으로 구성될 수 있음을 보여준다. 외부 당국은 로컬 질관리 시스템이 있다면 더 적은 capacity만을 필요로 할 수도 있습니다. CQI의 단점은

• 관련된 관료주의와 비용,
• 다른 품질 시스템에 대한 간섭의 위험,
• 열린 문화의 필요성,
• 관련된 동료의 공평성과 의존성과 관련된 잠재적인 문제이다.
  

Our findings show that an integrated system for accreditation of medical education may consist of external authorities and the local CQI system supporting timely reflection and action to serve the public interest. External authorities might even need less capacity due to local quality systems. The downside of CQI is

• the bureaucracy and costs involved,
• the risk of interference with other quality systems,
• the need for an open culture, and
• potential issues with impartiality and dependency of colleagues involved.

 

우리의 발견은 부분적으로 다른 문헌과 상충된다. 1980년대 이후 CQI는 제조업과 공학, 금융업, 교육, 의료 분야에서 사용되어 왔다. CQI를 추구하기 위해 다양한 방법(예: 계획-도-체크-액터 또는 계획-도-스터디-액트 주기, 제조 및 기타 분야의 식스 시그마 표준, "총 품질 관리")이 사용되었다 [23]. 이들 모두는 "개선 주기cycle of improvement"라는 개념을 공유하고 있다. 제조업에서, CQI는 결함을 줄이고, 비용을 낮추고, 품질과 생산성을 높이는 데 유용했습니다 [24, 25]. 건설업에서 그것은 경제적 이익, 고객 만족도 증가, 재작업 필요성 감소, 주택 사업의 결함 감소로 이어졌다 [26, 27]. 또한, CQI는 표준화 및 반복 프로세스에 쉽게 적용할 수 있습니다 [23].

Our findings partially conflict with other literature. Since the 1980s CQI has been used in manufacturing and engineering, the financial sector, education, and health care. Various methods have been used to pursue CQI (e.g., the plan-do-check-act or plan-do-study-act cycle, the Six Sigma standard in manufacturing and other fields, “total quality management”) [23]. All of these share the concept of a “cycle of improvement.” In the manufacturing industry, CQI has been useful in reducing defects, lowering costs, and increasing quality and productivity [24, 25]. In the construction industry it has led to economic benefits, increased customer satisfaction, a reduced need to re-do work, and declining defects in housing projects [26, 27]. Further, CQI is readily applicable to standardized and repetitive processes [23].

수술 치료에서 그것은 감염률을 감소시키고 수술실의 지연을 단축시키는 결과를 가져왔다 [23]. 이러한 긍정적인 문헌 보고서를 우리의 맥락에서 CQI의 평가와 비교하는 것은 긍정적인 결과의 출판 편향을 시사한다. 의료 및 의학교육에서 경제적 효과와 기타 결과를 측정하는 것은 어렵다 [28,29,30]. 우리의 맥락에서 비용 대비 편익 비율이 항상 긍정적이지는 않을 수 있다. 계획-실행-연구-행위 사이클의 모든 구성 요소를 검토하는 데 어려움이 앞에서 설명되었습니다 [30, 31, 32]. CQI에 관련된 관료주의와 비용, 다른 품질 시스템과의 간섭 위험, 개방적 문화의 필요성, 관련된 동료의 공평성과 의존성과 관련된 잠재적인 문제가 중요한 발견이다. 분석에 사용된 감독 기준은 이러한 문제를 감지하는 데 도움이 되었다.

In surgical care it has resulted in reduced infection rates and shorter delays in the operating room [23]. Comparing these positive literature reports with the evaluation of CQI in our contexts suggests a publication bias of positive results. It is difficult to measure economic effects and other outcomes in health care and medical education [28,29,30]. The cost–benefit ratio in our contexts may not always be positive. The difficulty in going through all the components of the plan-do-study-act cycle has been described before [30,31,32]. The bureaucracy and costs involved in CQI, the risk of interference with other quality systems, the need for an open culture, and potential issues with impartiality and dependency of colleagues involved are important findings. The criteria for oversight used in our analysis were instrumental to the detection of these issues.

 

결론

Conclusion

 

우리는 CQI 사용에 대한 의사 결정의 복잡성을 줄이기 위해 유틸리티 기반 평가를 수행했다. 결과는 찬성도 있고 반대도 있다. 

We performed a utility-based evaluation in the hope of reducing complexity in decision making about the use of CQI. The result is one of both pros and cons. 

 

 

 

 

---

BMC Med Educ. 2020 Sep 28;20(Suppl 1):308.

 doi: 10.1186/s12909-020-02124-2.

Evaluation of continuous quality improvement in accreditation for medical education

Nesibe Akdemir 1 2, Linda N Peterson 3, Craig M Campbell 4, Fedde Scheele 5 6 7 8

Affiliations collapse

Affiliations

• 1OLVG Teaching Hospital, Amsterdam, the Netherlands. n.c.akdemir@gmail.com.

• 2Amsterdam UMC, Amsterdam, the Netherlands. n.c.akdemir@gmail.com.

• 3Committee on Accreditation of Canadian Medical Schools, Ottawa, Canada.

• 4Royal College of Physicians and Surgeons of Canada, Ottawa, Canada.

• 5OLVG Teaching Hospital, Amsterdam, the Netherlands.

• 6Amsterdam UMC, Amsterdam, the Netherlands.

• 7Athena Institute for Transdisciplinary Research, Amsterdam, the Netherlands.

• 8Dutch Royal Medical Council, Chair Legislative College for Accreditation of Residency Training 2016-2019, Utrecht, the Netherlands.

• PMID: 32981518

 

• PMCID: PMC7520980

 

• DOI: 10.1186/s12909-020-02124-2

Free PMC article

Abstract

Background: Accreditation systems are based on a number of principles and purposes that vary across jurisdictions. Decision making about accreditation governance suffers from a paucity of evidence. This paper evaluates the pros and cons of continuous quality improvement (CQI) within educational institutions that have traditionally been accredited based on episodic evaluation by external reviewers.

Methods: A naturalistic utility-focused evaluation was performed. Seven criteria, each relevant to government oversight, were used to evaluate the pros and cons of the use of CQI in three medical school accreditation systems across the continuum of medical education. The authors, all involved in the governance of accreditation, iteratively discussed CQI in their medical education contexts in light of the seven criteria until consensus was reached about general patterns.

Results: Because institutional CQI makes use of early warning systems, it may enhance the reflective function of accreditation. In the three medical accreditation systems examined, external accreditors lacked the ability to respond quickly to local events or societal developments. There is a potential role for CQI in safeguarding the public interest. Moreover, the central governance structure of accreditation may benefit from decentralized CQI. However, CQI has weaknesses with respect to impartiality, independence, and public accountability, as well as with the ability to balance expectations with capacity.

Conclusion: CQI, as evaluated with the seven criteria of oversight, has pros and cons. Its use still depends on the balance between the expected positive effects-especially increased reflection and faster response to important issues-versus the potential impediments. A toxic culture that affects impartiality and independence, as well as the need to invest in bureaucratic systems may make in impractical for some institutions to undertake CQI.

Keywords: Accountability; Accreditation; Continuous quality improvement; Internal review; Medical education; Quality management.