졸업후의학교육에서 효과적인 평가인증: 과정에서 성과로, 그리고 뒤로 (BMC Med Educ, 2020)

졸업후의학교육에서 효과적인 평가인증: 과정에서 성과로, 그리고 뒤로 (BMC Med Educ, 2020)

Effective accreditation in postgraduate medical education: from process to outcomes and back
Glen Bandiera1*, Jason Frank2, Fedde Scheele3,4,5, Jolanta Karpinski2 and Ingrid Philibert6

 

 

 

 

배경

Background

 

의사 교육 프로그램의 인증은 [의료 커뮤니티와 대중]에게 [교육의 질과 의료 실천과의 관련성]을 보장하기 위한 것이다. 인증은 또한 의료 교육, 의사 관행 및 의료 시스템의 변화를 자극하는 수단이다[1]. 의사 교육에 대한 인증 표준의 수립은 환자 치료와 인구 건강을 개선하고, [2] 진료 비용을 절감하며, 학습자의 기대치를 충족하고, [3] 의료 교육의 형평성에 대한 우려에 대응해야 하는 필요성에 의해 추진되었다[4, 5].

The accreditation of physician education programs is meant to assure the medical community and the public of the quality of education and its relevance to medical practice. Accreditation is also a means of stimulating change in medical education, physician practice, and health care systems [1]. The formulation of accreditation standards for physician education has been driven by the need toimprove patient care and population health, reduce the cost of care [2], address learner expectations [3], and respond to concerns about equity in medical education [4, 5]. 

 

인증 과정의 일부로 결과 데이터를 수집하고 사용하는 것에 대한 관심이 높아지고 있다. 즉, 교육 프로그램의 효과를 측정하기 위한 지표로 졸업 후 의사의 전문적 실습과 관련된 결과를 사용한다[6, 7]. 졸업생들의 역량과 관련된 교육 결과를 평가하기 위한 프레임워크는 
There is a growing interest in collecting and using outcomes data as part of the accreditation process; that is, using outcomes related to physicians’ professional practice after graduation as a metric for the effectiveness of educational programs [6, 7]. Frameworks for assessing educational outcomes related to the competencies of graduates include

• the CanMeds 2015 Physician Competency Framework (Royal College of Physician and Surgeons of Canada) [8];
• the Milestones Project (US Accreditation Council for Graduate Medical Education) [9];
• Tomorrow’s Doctor (UK General Medical Council) [10], and
• the Scottish Doctor (Scottish Deans’ Medical Education Group) [11].

 

이러한 프레임워크는 학부 및 대학원 의학 교육에 걸쳐 있으며 다양한 국가의 의료 시스템 요구에 맞춰 조정되지만, 모두 [high-performing 의사의 특성을 식별]하는 데 관심을 공유합니다 [12, 13]. 동시에, 의사 교육 프로그램의 인가를 임상 결과와 연결하는 데 관심이 있으므로, [인증이 의료행위practice에 더 잘 준비된 의사를 생산함으로써 환자와 보건 시스템에 도움이 된다는 (소수의) 기존 증거]를 기반으로 한다[12,13,14].

Although these frameworks span undergraduate and postgraduate medical education and are tailored to the needs of health care systems in various countries, all share an interest in identifying the attributes of high-performing physicians [12, 13]. Concurrently, there is an interest in linking the accreditation of physician education programs to clinical outcomes, thus building on the limited existing evidence that accreditation benefits patients and health systems by producing physicians who are better prepared for practice [12,13,14]. 

 

이는 역량 기반 의료 교육(CBME)으로의 이동을 둘러싼 몇 가지 의구심에 비추어 볼 때 중요한 목표이다. CBME가 의사 진료의 모든 차원을 포착하지 못할 수 있는 환원주의적 프레임워크를 고수한다는 오해가 있다 [3] 역량 기반 접근 방식이 모든 학습자가 실습을 위해 준비되도록 하기보다는 가속 학습accelerating learning에 대한 선점을 조장할 수 있다는 우려가 있다[15].

This is an important objective in light of some misgivings that have surrounded the movement toward competency-based medical education (CBME) – which include the perception that CBME adheres to a reductionist framework that may not capture all dimensions of physician practice [3] and concerns that competency-based approaches may encourage a preoccupation with accelerating learning rather than ensuring that all learners are prepared for practice [15].

2013년 가을 캐나다 왕립의과대학은 국제 레지던시 교육회의와 연계하여 열린 정상회담에서 인증 전문가 및 교육자로 구성된 국제 그룹을 소집하여 대학원 프로그램 인증의 미래를 논의하였다. 작업 그룹은 상주 프로그램의 인증과 관련된 주제에 대한 심층적인 분석을 수행하는 데 책임이 있다. 본 논문은 레지던트 프로그램의 인증과 관련하여 교육 과정과 결과를 다루는 실무 그룹의 심의를 제시한다. 이 그룹은 세 가지 질문을 고려했다. 

• (1) 인증의 성과란 무엇인가? 
• (2) 인증에서 프로세스와 성과 척도 각각의 역할은 무엇인가?
• (3) PGME 프로그램 인증은 어떤 성과 척도를 사용할 수 있는가?

In the fall of 2013, the Royal College of Physicians and Surgeons of Canada convened an international group of accreditation experts and educators at a summit held in conjunction with the International Conference on Residency Education to discuss the future of postgraduate program accreditation. Working groups were charged with carrying out in-depth analyses of topics relevant to the accreditation of residency programs. This paper presents the deliberations of a working group that addressed educational process and outcomes in relation to the accreditation of residency programs. The group considered three questions:

• (1) What are accreditation outcomes?
• (2) What are the respective roles of process and outcome measures in accreditation?
• (3) What outcome measures can be used in the accreditation of postgraduate physician education programs?

 

 

메인 텍스트

Main text

 

자격 영역 및 인증의 교육 및 임상 결과
Competence domains and educational and clinical outcomes in accreditation

 

1998년 Donabedian은 "의료 품질에 대한 추론을 도출할 수 있는 정보를 '구조', '과정', '결과'의 세 가지 범주로 분류"될 수 있는 진료품질 평가 모델을 제안하였다[17]. 마찬가지로, 의료 교육의 인증 기준은 오랫동안

• 구조 요구사항(예: 교수진, 임상 공간 및 기술과 관련된)과
• 프로세스 요구사항(예: 절차적 볼륨, 길이 및 임상 및 교육 경험 유형과 관련된)을 통합했다[1]. 

In 1998 Donabedian proposed a model for the assessment of the quality of care in which “the information from which inferences can be drawn about the quality of care can be classified under three categories: ‘structure,’ ‘process,’ and ‘outcomes’” [17]. Similarly, accreditation criteria in medical education have long incorporated

• structural requirements (e.g., as related to faculty, clinical space, and technology) and
• process requirements (e.g., pertaining to procedural volume and length and type of clinical and didactic experiences) [1].

그러나 CBME로의 전환과 함께 의료 프로그램 인증의 품질 척도로서의 진료 성과practice outcome에 대한 강조가 최근에서야 나타났다. CBME는 의사 교육 프로그램의 졸업생들의 지식, 기술 및 속성에 초점을 맞추고 이러한 영역에서 학습자 개발에 대한 책임을 강화한다[1, 7, 13]. 이는 학습자와 미래의 인가된 프로그램 졸업자가 봉사할 사람을 포함하여 이해관계자에 대한 책임을 증가시킨다 [1, 13]. 역량 기반 프레임워크는 표 1에 제시된 비교 요약에서 알 수 있듯이 국가별로 유사하다.

However, an emphasis on practice outcomes as a quality measure in the accreditation of medical programs has emerged only recently, in tandem with the shift toward CBME. CBME focuses on the knowledge, skills, and attributes of graduates of physician education programs and enhances accountability for learner development in these domains [1, 7, 13]. This increases accountability to stakeholders, including learners and those who will be served by the future graduates of accredited programs [1, 13]. Competency-based frameworks are similar across nations, as shown by the comparative summaries given in Table 1.

 

표 1 네 가지 국가 프레임워크의 결과 중심 인증 차원
Table 1 Outcomes-focused accreditation dimensions in four national frameworks

 

학습, 환자 치료 및 의료 시스템 결과
Learning, patient care, and health systems outcomes

 

성과outcome는

• 학습 성과,
• 환자 및 인구 건강 성과,
• 보건 시스템 성과...로 분류될 수 있다.

Outcomes can be categorized as

• learning outcomes;
• patient and population health outcomes; and
• health system outcomes.

우리의 실무 그룹은 즉각적 학습 성과로 다음을 고려했다.

• 트레이닝 기간 내의 내 필기 시험
• 객관화 구조화 임상 시험[18],
• 졸업률
• 졸업생들이 치르는 표준화된 인증 시험
• 실무에서 졸업생과 이들을 고용하는 기관에 대한 설문 조사,

Our working group considered immediate learning outcomes, including

• performance on in-training written examinations,
• objective structured clinical examinations [18],
• graduation rates, and
• standardized certification examinations taken by graduates,
• along with surveys of graduates in practice and of the institutions that employ them.

현재로서는, 인증certification 시험에 대한 성과 이외에, 인증의 영향을 평가하기 위한 교육 결과의 사용은 거의 존재하지 않는다. 이는

• 연습 패턴 및 환자 결과와 관련된 가용 데이터 부족,
• 교육 프로그래밍으로 추적할 수 있는 의미 있는 조치에 대한 합의 부족
• 이러한 활동을 엄격하게 추구하기 위한 프로그램과 기관을 금지하는 자원 제약 때문일 수 있다.

이러한 많은 역사적 과제는 본 논문의 뒷부분에서 논의된 데이터 책임의 즉각적인 진화에 의해 완화될 수 있다.

At present, other than performance on certification examinations, the use of educational outcomes to assess the impact of accreditation is largely non-existent. This may be due to

• the lack of availability of data related to practice patterns and patient outcomes,
• lack of consensus on meaningful measures that can be traced to educational programming, or
• resource constraints that prohibit programs and institutions for pursuing such activities with rigour.

Many of these historic challenges may be mitigated by imminent evolutions in data stewardship discussed later in this paper. 

 

포커스 그룹 참가자들은 또한 [환자와 의료 시스템의 수준에서 성과]를 식별했다. 또한, 관련 결과는 그들이 고려 중인 인구와 사회문화 환경에 따라 달라질 수 있다고 느꼈다. 표 2는 경제 개발 상태와 관련된 샘플 이분법적 척도에 걸쳐 표 1에 요약된 의사의 역량 기대치에 매핑될 수 있는 지표의 프레임워크를 보여준다. 예를 들어, 커뮤니케이션 기술은 네 가지 프레임워크 모두에서 참조되며, 우수한 커뮤니케이션 기술은 환자 만족도 및 치료법 준수 강화와 같은 긍정적인 결과와 관련이 있다[19]. 우리는 집합적으로 표 2에 나열된 결과 측정치를 프로그램 효과의 지표로 사용할 수 있다고 제안한다. 표는 개발도상국의 PGME와 관련된 측정기준을 넘어 선진국의 [만성 및 생활습관 관련 조건에 더 큰 중점]을 두는 방식으로 의료 교육 시스템의 성과를 평가하는 성과는 두 경제 유형 간에 상대적으로 거의 차이가 없음을 보여준다.

The focus group participants also identified outcomes at level of the patient and the health care system. Furthermore, it was felt that relevant outcomes may vary depending on the population and sociocultural milieu for which they are contemplated. Table 2 shows a framework of metrics that can be mapped to the competency expectations for physicians outlined in Table 1, across a sample dichotomous scale related to state of economic development. For example, communication skills are referenced in all four frameworks, and good communication skills have been associated with positive outcomes such as patient satisfaction and increased adherence to therapy [19]. We propose that, collectively, the outcome measures listed in Table 2 could be used as indicators of program effectiveness. The table shows that, beyond metrics that relate to the emerging postgraduate medical education enterprise in developing economies, and a greater focus on chronic and lifestyle-related conditions in developed economies, outcomes to assess the performance of medical education systems vary relatively little between the two types of economies.

 

표 2 환자 진료 및 보건 시스템 결과에 기초한 인증을 위한 샘플 작업 프레임워크

Table 2 A sample working framework for accreditation based on patient care and health system outcomes

 

실무에서 교육이 결과에 미치는 영향에 대한 연구는 교육 결과와 환자 결과 간에 많은 연결을 만들었다. 예를 들어,

• 한 연구에서는 면허 시험의 의사소통 점수가 낮으면 규제 당국에 대한 환자 불만 발생 빈도가 높아질 것으로 예측한 반면 [20]
• 다른 연구에서는 면허 검사 점수 상승과 상담 속도 증가, 더 나은 처방 방법, 더 높은 유방 촬영 검사 스크리닝 비율, 노인 환자들에게 더 적절한 처방 사이의 연관성이 발견하였고, 이러한 효과의 지속성을 입증했다 [21, 22].
• 산부인과 환자에 대한 대규모 연구는 레지던시 프로그램에서의 임상 치료의 질과 졸업생들이 10년 반 동안 실천에 옮기는 치료의 질 사이의 지속적인 연관성을 보여주었다 [23].
• 보건 시스템 수준에서 연구는 레지던시 프로그램의 특성과 졸업생들의 보수적 실천 능력 사이의 연관성을 보여주었다[24].
• 또 다른 연구는 특정 지역의 레지던시 프로그램과 관련된 비용-보수적 실천 스타일이 교육 후 15년 동안 지속된다는 것을 발견했다[25].
  

Research on the impact of education on outcomes in practice has made a number of links between educational outcomes and patient outcomes. For example,

• one study found that poor communication scores in licensure examination was predictive of a greater frequency of patient complaints to regulatory authorities [20],
• while other studies found an association between higher licensing examination scores and higher rates of consultation, better prescribing practices, higher mammography screening rates, and more appropriate prescribing for elderly patients, and also demonstrated the persistence of these effects [21, 22].
• A large study of obstetrical patients showed an enduring association between the quality of clinical care in the residency program and the quality of care graduates deliver for a decade and a half into practice [23].
• At the health system level, studies have shown an association between the characteristics of residency programs and graduates’ ability to practice conservatively [24];
• another study found that a cost-conservative style of practice associated with residency programs in certain regions persisted 15 years after training [25].
  

교육 프로그램의 잠재적인 성과 중 하나는 임상 실습 "발자국footprint"에 의해 결정되는 [졸업생들의 사회적 영향]이다. 전문성, 장소 및 실습 범위에 대한 논의에서, 참가자들은 프로그램이 통제가능한 성과에만 책임을 지고 평가되어야 한다는 데 동의했다. 토론은 [보수, 의료자원 할당, 인센티브 패키지, 전문직 및 라이프스타일 고려사항 등] 다양한 요인들이 졸업생의 전공과 의료행위지역practice location선택에 영향을 미친다고 강조했다. 이러한 요인은 지역, 지역 또는 국가의 의료 요구에 가장 적합한 의사를 생산하는 개별 프로그램의 능력에 영향을 미칠 수 있다. 이로 인해

• [개별 프로그램 수준]에서 의사 인력진 고려사항에 대한 책임을 지는 것이 적절한지, 또는
• [기관이나 단체]가 이 책임을 지역적 또는 국가적 차원에서 갖는 것이 더 적절하다고 봐야하는지에 대한 의문이 제기된다.

One potential outcome of educational programs is the societal impact of the graduates, as determined by their clinical practice “footprint.” In the discussion of specialty, and location and scope of practice, participants agreed that programs should be held accountable for, and assessed against, only those outcomes within their control. The discussion emphasized that various factors influence graduates’ choice of specialty and practice location, including remuneration, health care resource allocation, incentive packages, and professional and lifestyle considerations. These factors may affect the ability of individual programs to produce physicians who represent the best fit for the health care needs of their area, region, or country. This raises the question as to

• whether it is appropriate to place responsibility for physician workforce considerations at the level of the individual program, or
• whether this responsibility should more appropriately be assumed by institutions or entities at the regional or national level.

참가자들은 최소한 대학원 교육 프로그램은 건강 인적 자원 계획과 학습자들에게 사회적 책임을 이행할 의무와 기회에 대해 교육하는 적극적인 파트너가 되어야 한다고 강조했다. 인증 기관은 이러한 사회적 의무를 다루기 위한 프로그램 시도의 설계와 영향을 평가해야 한다.

Participants emphasized that, at a minimum, postgraduate education programs should be active partners in health human resource planning and in educating learners about their obligations and opportunities to fulfill societal responsibilities. Accreditation bodies should assess the design and impact of programs’ attempts to address these societal obligations.

 

데이터 수집 및 사용 시 당면 과제
Challenges in data collection and use

 

앞의 절에서 인용한 연구는 전공의가 훈련하는 환경에서 가르치는 질과 환자 관리의 질이 향후 실천에 영향을 미친다는 것을 보여준다. 성과 척도로서 실무에서의 성과는 미래의 인가 시스템[26]의 핵심 혁신으로 제안되었지만, 현재까지 어떤 인증 프레임워크도 의료행위practice의 성과를 평가 프로세스에 통합할 수 없었다. 그 이유는 

• (1) 데이터 수집 및 측정 과제, 
• (2) 과거 교육은 고사하고 특정 개별 실무에 결과를 귀속시키는 고유의 어려움, 
• (3) 교육 완료와 인가자에 대한 많은 관심 결과 사이의 시간차를 포함한다.
  

Collectively, the studies cited in the previous section show that the quality of teaching and patient care in settings where residents train has an impact on their future practice. Performance in practice as an outcome measure has been proposed as a key innovation in the accreditation systems of the future [26], but to date no accreditation frameworks have been able to incorporate practice outcomes into their assessment process. The reasons for this include

• (1) data collection and measurement challenges;
• (2) the inherent difficulty of attributing outcomes to specific individual practice let alone to their past education; and
• (3) the time lag between the completion of training and many outcomes of interest to accreditors.
  

 

• 첫 번째 과제는 데이터 수집에 대한 부담과 비용에 관한 것으로, 임상 환경이 실제로 졸업생들의 성과에 미치는 영향의 강도에 대해 저울질해야 한다. 즉, 상관 관계나 수정 가능성이 낮다면 데이터 수집 비용을 들일 가치가 있는가? 종종 관심 결과에 대한 실현 가능하고 의미 있는 측정치를 식별하기가 어렵다. 기존 연구는 인증 기관과 면허 기관 사이의 동종 환자 모집단, 국가 청구 데이터 및 데이터 링크를 사용했지만, 모든 관련 환자 그룹 또는 모든 국가에 존재하는 것은 아니다. 또한 데이터 소유 및 사용에 대한 질문이 있으며, 이 영역에서는 개인 정보 보호 문제와 기타 법적 고려 사항을 해결하기 위한 작업이 필요합니다. 

The first challenge pertains to the burden and cost of data collection, which must be weighed against the strength of the impact of the clinical environment on graduates’ performance in practice. That is to say, is it worth the cost of data collection if the degree of correlation or potential for modification are poor? It is often difficult to identify feasible, meaningful measures for outcomes of interest. The existing studies used homogeneous patient populations, national billing data, and data links between certification and licensure authorities, but these do not exist for all relevant patient groups, or in all countries. In addition, there are questions about data ownership and use, and this area will require work to address privacy concerns and other legal considerations.

 

• 두 번째 과제는 교육 결과를 관심의 단위인 프로그램에 공평하고 공정하게 귀속시키는 능력과 관련이 있다. 교육적 성취와 실제 수행은 교육의 특성뿐만 아니라 개인의 능력에 의해 영향을 받는다. 고도로 선정된 학습자 그룹은 교육 프로그램의 효과나 인증에 관계없이 우수한 성과를 거둘 수 있으며, 졸업자가 서비스하는 초급성 환자 그룹은 교육 또는 인증 시스템의 효과와 관계없이 더 안 좋은 성과가 발생할 수 있다.

The second challenge relates to the ability to unequivocally and fairly attribute educational outcomes to the unit of interest: the program. Educational attainment and performance in practice are influenced by individual abilities as well as by the characteristics of the education. A highly selected group of learners may perform well regardless of the effectiveness of their education program or its accreditation, while a high-acuity group of patients served by graduates may experience poorer outcomes regardless of the effectiveness of the education or accreditation system. 

 

• 세 번째 과제는 많은 성과가 코호트가 훈련을 완료한 후 한참 후에야 명백해진다는 것이다. 이 시간 지연을 고려할 때, 프로그램이 의미 있는 변경을 하기에는 피드백이 너무 늦을 수 있다. 이러한 지연은 결과 조치에 의해 프로세스 조치가 일괄적으로 대체될 경우 훈련생들로 하여금 수준 미달의 교육에 대한 위험에 처하게 할 수 있다.

The third challenge is that many outcomes do not become apparent until long after a cohort completes training; given this time lag, feedback may come too late for programs to make meaningful changes. This delay could put trainees at risk for substandard education if process measures were replaced en bloc by outcome measures.

 

결과 및 프로세스 측정의 각 역할
The respective roles of outcome and process measures

 

우리의 논의에서 나온 하나의 주제는 교육 과정과 성과 사이의 관계에 관한 것이었다.

• 일부 참가자는 프로세스 요건 준수에 대한 강조를 줄이면 인증 프로세스가 교육 프로그램에 부과하는 부담을 줄일 수 있고 기술 혁신을 위한 더 큰 자유를 얻을 수 있다는 점에 주목하면서 [교육 성과에 초점을 두는 것]을 옹호했다[1].
• 그러나 대다수의 참가자는 명시적인 준수 의무가 없더라도 실무에서 이러한 요인들이 성능에 미치는 영향을 입증한 여러 연구를 고려할 때, 프로그램은 [작업 및 학습 환경의 특성과 교육 방법을 포함한] [프로세스에 주의를 기울여야 한다]고 지적했다[20, 21, 22, 23,].24,25].

One theme that emerged from our discussions pertained to the relationship between educational processes and outcomes.

• Some participants advocated a focus on educational outcomes, noting that reducing the emphasis on adherence to process requirements would reduce the burden that the accreditation process places on educational programs and would also allow them greater freedom to innovate [1].
• However, the majority of participants noted that, even in the absence of explicit compliance mandates, programs need to be attentive to process, including educational methods and attributes of the working and learning environment, given the multiple studies that have demonstrated the impact of these factors on performance in practice [20,21,22,23,24,25].

 

이들 참가자는 인가자가 결과에 대한 배타적 집중이 전공의 교육의 모범 사례를 과소평가할 수 있다고 느꼈으며, [교육, 환자 치료 및 학습 환경 관점에서 중요한 것으로 나타난] 프로세스 차원을 유지하는 것에 대한 관심을 확인했다. 그들은 또한 품질을 개선하기 위한 개입이 커리큘럼, 학습 경험, 평가, 안전하고 지지적이며 존중하는 학습 환경 보장과 같은 다양한 프로세스 차원에서 발생할 것이라고 언급했다. 말하자면, 성과의 대리지표surrogate가 될 수 있는 일부 프로세스 요소는 프로그램 성공을 위한 보다 직접적인 척도로 대체될 수 있다. 마찬가지로, 사례 수 및 작업 시간 등 오래되고 문제가 있는 지표는 객관적인 역량 평가를 대신 도입하여 폐기할 수 있다.

These participants felt that an exclusive focus on outcomes by accreditors could undervalue best practices in resident education, and affirmed their interest in retaining process dimensions that have been shown to be important from an educational, patient care, and learning-environment perspective. They also noted that interventions to improve quality will occur in various process dimensions, such as curricula, learning experiences, assessment, and ensuring a safe, supportive, and respectful learning environment. That being said, some process elements that serve as surrogates for outcomes could be replaced by more direct measures of program success. Similarly, antiquated and problematic indicators such as case counts and time on task can be retired in lieu of objective competency assessments.

 

권고안

Recommendations

 

• 역량평가가 훈련과 실무 모두에서 대학원 의학 교육의 질 평가에 유용한 데이터를 제공한다는 데 공감대가 형성됐다.
• 동시에, 참가자들은 성과를 측정하고 이 정보를 사용하여 개선을 촉진하기 위한 시기적절하고 실행 가능한 피드백을 생성하는 것이 본질적으로 어려운 일임을 인정했다.
• 그들은 또한 프로세스 척도가 고품질의 교육과 인증에 여전히 중요하다는 데 동의했다.

논의 결과, 인증에 프로세스와 결과 측정치를 사용하기 위한 일련의 권고안을 책임 있는 실체에 의해 조직되었다.

 

• There was a consensus that the assessment of competency, both in training and in practice, provides useful data for the quality assessment of postgraduate medical education.
• At the same time, participants appreciated the inherent challenges in measuring outcomes and using this information to generate timely, actionable feedback to foster improvement.
• They also agreed that process measures remain critical to high-quality education and accreditation.

The discussion resulted in a set of recommendations for the use of process and outcome measures in accreditation, organized by responsible entity.

 

 

PGME를 위한 권고
Recommendations for postgraduate education programs

 

• 권고안 1: 프로그램 수준에서 수집된 데이터는 졸업 의사가 완전히 "실습 준비"되었는지, 즉 자신이 선택한 분야의 전체 실습을 수행할 수 있는지 여부를 평가해야 한다.
  
• 권고안 2: 모든 전공의와 전임의 포트폴리오에는 경력 계획 요소가 있어야 하며, 이는 마지막 교육 기간이 잔여 격차를 해소하고 연습 준비에 대한 자신의 이해도를 높일 수 있도록 도와준다.
  
• 권고안  3: 자기성찰, 지도·멘토 지원, 프로그램 실장 검토를 통해 교육생은 주기적으로 강점이 있는 분야와 추가 개발이 필요한 분야를 파악해야 한다.
  
• 권고안 4: 프로그램은 각 졸업생이 전문직 간 팀에서 효과적으로 일하는 데 필요한 특성과 행동을 표시하도록 보장해야 한다. 평가를 위한 데이터는 동료, 교수 및 간호사, 약사 및 기타 의료 전문가로부터 제공되어야 한다.
  
• 권고안 5: 프로그램은 학습 또는 전문적 문제challenge를 가진 전공의를 해결하기 위한 노력과 효과적인 교정조치 및 개발 전략에 대해 보고해야 한다.
  
• 권고안 6: 프로그램은 졸업생들의 피드백과 같은 일부 결과 데이터를 수집해야 하며, 이 정보를 사용하여 교육 프로세스를 개선하고 혁신해야 한다.
  

 

• Recommendation 1: Data collected at the program level should assess whether a graduating physician is fully “practice ready,” that is, competent in the full spectrum of practice in his or her chosen field.

• Recommendation 2: All residents and fellow portfolios should have a career planning component, to help ensure that their final period of training addresses residual gaps and to enhance their own understanding of their readiness for practice.

• Recommendation 3: Through self-reflection, preceptor and mentor support, and program director review, trainees should periodically identify areas of strength and areas in need of further development.

• Recommendation 4: Programs should ensure that each graduate displays the characteristics and behaviours necessary to work effectively in interprofessional teams. Data to inform assessment should come from peers, faculty, and health professionals such as nurses, pharmacists, and others.

• Recommendation 5: Programs should report on their efforts to address residents with learning or professional challenges, and on remediation and development strategies they have found effective.

• Recommendation 6: Programs should collect some outcomes data, such as feedback from graduates, and use this information to improve and innovate educational processes.

인증 조직 수준의 권장 사항
Recommendations at the accrediting organization level

 

• 권고안 7: 인증 기관은 진행 중인 개선 활동에서 프로그램이 사용할 수 있도록 의미 있고, "실시간에 근접한" 피드백을 제공하는 결과 데이터를 식별해야 한다.
  
• 권고안 8: 인증 기관은 학습 환경 문제에 대한 감독에 특화된 프로세스 지표를 식별하거나 개발해야 한다.
  
• 권고안 9: 인증 기관은 프로그램 및 교육 품질 개선을 촉진하고, 인증에 가치를 창출하며, 사회적 요구를 충족시키기 위해 프로세스 결과와 환자 관리 결과 모두에 관련된 적절한 표준을 개발 및 배치해야 한다.
  

• Recommendation 7: Accrediting organizations should identify outcome data that offer meaningful, “near-real-time” feedback for use by programs in ongoing improvement activities.

• Recommendation 8: Accrediting organizations should identify or develop process indicators that specifically allow oversight of learning environment issues.

• Recommendation 9: Accrediting organizations should develop and deploy an appropriate mix of standards pertaining to both process outcomes and patient care outcomes, to promote program and educational quality improvement, create value in accreditation, and meet societal needs.

결론

Conclusion

 

인증 기관들은 지속적인 교육 품질 개선에 초점을 맞추기 시작하고 있으며, 실행 결과 조치의 사용을 중요한 진전이라고 보고 있다. 이러한 접근방식은 의료 교육에 포함시키는 데 시간이 걸릴 수 있지만 그렇지 않으면 실현 가능하지 않을 수 있는 개선으로 귀결될 것이다. 인가에서 성과의 사용은 발전이 유망한 분야이지만, 데이터 수집, 통합 및 해석의 과제를 제시하며, 더욱이 프로세스와 결과 측정치는 계속해서 집합적으로 사용될 것이다. 이 국제적인 전문가 및 이해관계자 그룹은 국가 보건 인력 계획을 위한 수단으로서 인가를 통해 과제를 강조하고, 프로세스와 결과에 대한 지속적인 이중 집중의 필요성을 확인했다. 인가자는 이러한 속성을 의미 있고 효과적이며 효율적인 방법으로 사용하는 시스템을 설계해야 할 것이다.
Accrediting bodies are beginning to focus on continuous educational quality improvement, and view the use of practice outcome measures as an important step forward. These approaches may take time to embed themselves in medical education, yet will result in improvements that otherwise may not be feasible. The use of outcomes in accreditation is a promising development, but it also presents challenges in data collection, aggregation, and interpretation; moreover, process and outcome measures will continue to be used collectively. This international group of experts and stakeholders highlights challenges with accreditation as a means for national health workforce planning, and identified the need for a continued dual focus on process and outcomes. Accreditors will need to design a system that uses these attributes in a meaningful, effective, and efficient way.

멀지 않은 미래에 임상 결과, 치료 경험 및 보건 시스템 성능을 포착하는 대규모 데이터 세트는 프로그램 품질의 다차원을 평가하고 유능한 의사를 양성하기 위한 사회적 계약이 유지되고 있음을 대중들에게 보증하기 위한 풍부한 정보의 별자리를 제공할 수 있다. 매력적인 특징은 모범적인 프로그램을 식별할 수 있는 가능성이다. 이러한 예에서는 우수한 결과에 기여하는 프로세스에 초점을 맞출 것이 확실합니다.

In the not-to-distant future, large datasets that capture clinical outcomes, experience of care, and health system performance may provide a rich constellation of information to assess multiple dimensions of program quality and assure the public that the social contract to train competent physicians is being upheld. An attractive feature is the potential to identify exemplary programs. For such exemplars, the focus will assuredly be on the processes that contribute to their superior outcomes.

 

 

 

 

 

 

 

---

BMC Med Educ. 2020 Sep 28;20(Suppl 1):307.

 doi: 10.1186/s12909-020-02123-3.

Effective accreditation in postgraduate medical education: from process to outcomes and back

Glen Bandiera 1, Jason Frank 2, Fedde Scheele 3 4 5, Jolanta Karpinski 2, Ingrid Philibert 6

Affiliations collapse

Affiliations

• 1University of Toronto, Toronto, Canada. BandieraG@smh.ca.

• 2Royal College of Physicians and Surgeons of Canada, Ottawa, Canada.

• 3OLVG Teaching Hospital, Amsterdam, The Netherlands.

• 4VU Medical Center, School of Medical Sciences, Amsterdam, The Netherlands.

• 5Athena Institute for Transdisciplinary Research, Amsterdam, The Netherlands.

• 6Department of Medical Education, Frank H. Netter MD School of Medicine at Quinnipiac University, North Haven, CT, USA.

• PMID: 32981523

 

• PMCID: PMC7520979

 

• DOI: 10.1186/s12909-020-02123-3

Free PMC article

Abstract

Background: The accreditation of medical educational programs is thought to be important in supporting program improvement, ensuring the quality of the education, and promoting diversity, equity, and population health. It has long been recognized that accreditation systems will need to shift their focus from processes to outcomes, particularly those related to the end goals of medical education: the creation of broadly competent, confident professionals and the improvement of health for individuals and populations. An international group of experts in accreditation convened in 2013 to discuss this shift.

Main text: Participants unequivocally supported the inclusion of more outcomes-based criteria in medical education accreditation, specifically those related to the societal accountability of the institutions in which the education occurs. Meaningful and feasible outcome metrics, however, are hard to identify. They are regionally variable, often temporally remote from the educational program, difficult to measure, and susceptible to confounding factors. The group identified the importance of health outcomes of the clinical milieu in which education takes place in influencing outcomes of its graduates. The ability to link clinical data with individual practice over time is becoming feasible with large repositories of assessment data linked to patient outcomes. This was seen as a key opportunity to provide more continuous oversight and monitoring of program impact. The discussants identified several risks that might arise should outcomes measures completely replace process issues. Some outcomes can be measured only by proxy process elements, and some learner experience issues may best be measured by such process elements: in brief, the "how" still matters.

Conclusions: Accrediting bodies are beginning to view the use of practice outcome measures as an important step toward better continuous educational quality improvement. The use of outcomes will present challenges in data collection, aggregation, and interpretation. Large datasets that capture clinical outcomes, experience of care, and health system performance may enable the assessment of multiple dimensions of program quality, assure the public that the social contract is being upheld, and allow identification of exemplary programs such that all may improve. There remains a need to retain some focus on process, particularly those related to the learner experience.

Keywords: Accreditation; Clinical outcomes; Competency frameworks; Outcome measures; Process measures; Societal accountability.