프로그램 이론에 따른 CBME 개입의 과정과 성과 평가 (J Eval Clin Pract. 2020)

프로그램 이론에 따른 CBME 개입의 과정과 성과 평가 (J Eval Clin Pract. 2020)
Process and outcome evaluation of a CBME intervention guided by program theory
Deena M. Hamza PhD1 | Shelley Ross PhD2 | Ivy Oandasan MD, MHSc, CCFP, FCFP3,4

 

1 소개
1 INTRODUCTION

의료 시스템은 많은 요인의 산물이며, 최근 몇 년 동안 의료 교육은 중점 분야였다. 일부 증거는 현재의 훈련 방법이 복잡하고 다양하며 끊임없이 발전하는 지역사회의 요구를 충족시키는 치료를 제공할 수 있는 의사의 개발을 지원하기 위해 개선이 필요하다는 것을 시사한다. [1978년에 처음 도입된 역량 기반 의료 교육(CBME)]은 지난 10년 동안 의료 서비스 제공자의 교육 방식을 변형함으로써 의료 시스템의 현재 문제 중 일부를 해결할 수 있는 교육 접근법으로 다시 추진력을 되찾았다. CBME에 대한 많은 정의와 해석이 문헌에서 확인되었지만, CBME에 대한 우리의 논의는 다음과 같이 정의된다.

Health care systems are a product of many factors, and in recent years, medical education has been an area of focus.1-4 Some evidence suggests current training methods need improvement to support the development of physicians who are able to provide care that meets the needs of complex, diverse, and ever-evolving communities.1-4 Competency-based medical education (CBME), originally introduced in 1978, has regained momentum over the past decade as an educational approach that can address some of the current issues in health care systems by transforming the way that health care providers are trained.5, 6 While many definitions and interpretations of CBME have been identified in the literature, our discussion of CBME is defined as:

[…] 기본적으로 [졸업 성과 능력을 지향]하고, 사회적 및 환자 요구 분석에서 도출된 [역량을 중심으로 구성]된 의사 실무 준비 방법. [시간 기반 교육을 탈-강조]하고 더 나은 [책무성, 유연성 및 학습자 중심성]을 약속합니다.7
[…] an approach to preparing physicians for practice that is
fundamentally oriented to graduate outcome abilities and
organized around competencies derived from an analysis of societal and patient needs.
It deemphasizes time-based training and promises greater accountability, flexibility, and learner-centredness.7

전 세계의 여러 보건 전문 교육 규제 기관이 CBME로의 전환을 의무화했지만, CBME가 모든 이해관계자에게 받아들여지는 것은 아니다. CBME의 가정은 증거를 뒷받침하는 확립된 교육 이론에 기초하지만, 보건 전문가 훈련 문헌에서 이러한 교육 전환의 잠재적 영향에 대한 비판적인 논쟁이 있었다. 핵심 논의 중 하나는 성과에 집중한다: CBME가 개선된 결과를 가져올지 여부를 어떻게 알 수 있으며, 더 나은 결과에 대한 확신이 없을 때 CBME로의 전환과 관련된 인적 및 재정적 비용을 정당화할 수 있는가?
Although multiple health professions education regulatory bodies around the world have mandated a shift to CBME,6, 8 CBME is not accepted across all stakeholders.8-11 While the assumptions of CBME are based on established educational theory with supporting evidence,5, 12-15 there have been critical debates in the health professions training literature regarding the potential impact of this education transformation. One of the key debates centres on outcomes: how can we know whether CBME will result in improved outcomes, and can we justify the human and financial costs associated with a transition to CBME when there is no certainty of a better outcome?16-18

 

1.1 CBME와 같은 복잡한 교육 개입을 어떻게 평가할 수 있는가?
1.1 How can we evaluate a complex education intervention, such as CBME?

[구현implementation]은 [집단 행동의 새로운 패턴을 의도적으로 도입하거나, 기존의 패턴을 수정하는 것]으로 정의된다. 이러한 [집단행동의 패턴]은 제도적으로 승인되고, 공식적으로 정의되며, 의식적으로 계획되고, 변화된 결과로 이어지도록 의도된다. 새로운 교육 모델의 구현은 복잡하다. 왜냐하면 사람들이 [집단 행동을 촉진하고 원하는 결과를 이끌어내기] 위해, [자신과 타인을 어떻게 생각하고, 행동하고, 구성하는지]가 수정되어야 하기 때문이다. 여러 저자들은 CBME 채택에 영향을 미치는 장애물을 만드는 여러 수준의 승인과 함께 관련되어야 하는 다수의 이해관계자와 설정을 고려할 때 CBME 구현에 관련된 복잡성을 강조해왔다. 비평가들은 너무 자주 [변화 구현에 관련된 복잡성]이 단지 [CBME를 엄격하게 평가할 수 없는 이유]를 설명하는 [핑계]로 사용된다고 주장했다. 우리는 CBME의 프로세스와 결과 모두에 대한 신중한 평가가 필요하고 엄격하게 수행될 수 있으며, 지속적인 CBME 구현과 개선을 지원하는 유용한 정보를 산출할 수 있다고 제안한다.

Implementation is defined as the deliberate introduction of new, or modifying existing, patterns of collective action.19 These patterns of collective action are institutionally sanctioned, formally defined, consciously planned, and intended to lead to a changed outcome.19 Implementation of new education models is complex as it involves modifying how people think, act, and organize themselves and others to promote collective action, leading to desired outcomes.19 Several authors have highlighted the complexity involved in implementing CBME, given the multiple stakeholders and settings that must be involved, along with multiple levels of approvals creating obstacles affecting adoption of CBME.20-23 Critics have argued that all too often, the complexity involved in implementing change is used as an excuse to justify why CBME cannot be rigorously evaluated.6, 11, 24-26 We propose that deliberate evaluation of both the process and outcome of CBME is needed and can be done rigorously, yielding useful information in support of ongoing CBME implementation and improvement.

CBME가 '향상된' 졸업생을 낳는지에 대한 문헌 내 비판은 성과 평가를 통해 답할 수 있다. 성과 평가는 [프로그램의 진행 상황]과 [원하는 결과 달성 상태]를 살펴보고, 의도하지 않은 결과, 투자 수익률, 지식, 태도, 행동의 변화 등의 질문에 답한다. CBME에 대한 문학적인 대화는 주로 졸업생들의 개별 역량 형태의 성과에 초점을 맞추었지만, CBME의 구현을 제정하는 데 있어 [모범 사례best practice를 이해하는 것]은 결과를 측정하는 것만큼 중요하다. 즉, CBME가 구현되는 상황을 이해하고, CBME가 구현되는 방법을 평가하면 결과가 나타나는 이유에 대한 보다 완전한 이해를 제공할 것이다.

Criticism in the literature about whether CBME results in “improved” graduates can be answered through use of outcome evaluation.8-11, 16-18 Outcome evaluation examines the progress of the program and the status of accomplishing desired results and answers the questions such as unintended outcomes, return on investment, and changes in knowledge, attitudes, and behaviours.27, 28 While literary conversations about CBME have predominantly focused on outcomes in the form of the individual competence of graduates, understanding best practices in enacting the implementation of CBME is equally as important as measuring its outcomes. In other words, evaluating how CBME is implemented with an understanding of the context within which it is implemented will provide a more a fulsome understanding of why an outcome emerges.

[프로세스 평가]는 조직 변혁을 구현하는 과정에서의 [사회적 프로세스와 메커니즘]을 탐색하고, 전향적으로prospectively 변화와 관련된 [성과 평가에 대한 다리]를 이끌어낸다. 프로세스 평가 질문은 CBME 구현 전반에 걸쳐 다음과 같은 질문과 함께 질문할 수 있다:

• CBME 활동을 구현하기 위한 장벽/촉진자는 무엇인가,
• 달성된 것은 무엇인가,
• CBME 변환의 영향을 받는 사람은 누구인가.

긍정적이든 부정적이든 결과에 영향을 미치는 요인을 이해함으로써 미래에 사용하기 위해 더 많은 정보를 도출할 수 있다.

Process evaluation explores social processes and mechanisms during the implementation of an organizational transformation and prospectively draws a bridge to the evaluation of outcomes associated with the change.29, 30 Process evaluation questions can be asked throughout the implementation of CBME with questions such as the following:

• what are the barriers/facilitators to implementing CBME activities;
• what has been accomplished; and
• who is being impacted by the CBME transformation.27 

By understanding factors that influence outcomes, whether positive or negative, more information can be derived for use in the future.

CBME의 구현은 상황에 따라 매우 다르다. 한 컨텍스트에서 작동한 CBME 개입을 적용하는 것은 다른 컨텍스트에서 실행 가능하거나 실행 가능하지 않을 수 있습니다. 그러나, [프로세스와 성과] 모두의 평가가 구현과 함께 계획된다면, 다른 사람들에 의한 기술혁신의 성공적인 채택이 더 가능성이 높을 수 있다. 이런 유형의 평가가 없다면, 상황별 메커니즘과 프로세스에 대한 정보가 부족하다. 이에 따른 리스크는 미래의 구현자가 조직 변혁의 "종교적 컬트" 문제에 빠질 수 있다는 것이다. 즉, 구현 프로세스가 "실행" 프로토콜을 준수하도록 축소되는 것이다. 하지만 [원래의 맥락에서 관찰된 결과를 뒷받침하는 필수적인 메커니즘과 프로세스]가 결여되어있기에, 구체성은 결여된 표면적인 모방만을 초래한다. 구현과 관련된 "방법"과 "이유" 질문을 알지 못하면, 구현자는 예상 결과에 영향을 미치는 필수 가능 요소 또는 장벽에 대한 유용한 정보에 접근할 수 없을 수 있다. 또한 영향 요인이 항목별 프로토콜에 포함되지 않는 경우 자체 컨텍스트에서 구현을 수행하는 방법을 모를 수 있다.

The implementation of CBME is very context dependent. Adapting a CBME intervention that worked in one context may or may not be feasible in another. However, successful uptake of an innovation by others may be more likely if evaluation of both processes and outcomes are planned alongside implementation.29, 31 Without this type of evaluation, information about contextual mechanisms and processes are lacking, and therefore, the risk is that future implementers may fall into the “cargo cult” problem of organizational transformation whereby the process of implementation is reduced to adherence to a “checklist” protocol, but essential mechanisms and processes that supported the outcomes observed in the original context are lacking, resulting in a superficial imitation lacking specificity.32 Without knowing the “how” and “why” questions related to implementation, implementers may not have access to useful information about the necessary enablers or barriers that impact anticipated outcomes. They also may not know how to carry out implementation in their own contexts if influencing factors are not included within itemized protocols.29, 31, 33

1.2 이론 기반 평가
1.2 Theory-based evaluation

이 논문은 복잡한 지역사회 기반 사회 및 의료 이니셔티브를 평가하는 데 사용되는 것과 같은 [이론 기반 평가 접근법]이 CBME에 사용될 수 있다고 제안한다. [이론 기반 평가]는 [프로그램 이론(변화 이론이라고도 함)의 개발]에서 시작되며, 프로그램 이론(변화 이론)은 [변환 또는 개입이 해결할 것으로 예상되는 문제]와 [이 변화(이 경우 CBME로의 전환)가 어떤 식으로 성공할 것인지에 대한 예상]을 명확하게 정의한다. 프로그램 이론은 [변화나 개입의 의도된 영향]을 정의한 다음, 영향을 미칠 것으로 예상되는 [단기 및 장기 성과의 연쇄]에 기여하는 요소들을 체계적으로 매핑한다. [프로그램 이론]과 함께 [단기 및 장기 성과에 대한 설명]을 포함하여 [CBME 구현과 관련된 활동을 설명하는 논리 모델]이 있어야 한다. 프로세스와 구현 결과에 영향을 미치는 기여 요인은 CBME 결과의 가정/가설을 포함한 논리 모델에서 식별되어야 한다. 
This paper proposes that theory-based evaluation approaches, such as those used in evaluating complex community-based social and health care initiatives,34-38 can be used for CBME. Theory-based evaluation begins with the development of a program theory (also called a theory of change), which clearly defines a problem that a transformation or intervention is anticipated to address, and how this change (in this case the shift to CBME) is anticipated to be successful.39-42 The program theory defines intended impacts of a change or intervention and then systematically maps factors that contribute to a chain of short- and long-term outcomes that are expected to have impact.41, 43-45 Accompanying the program theory should be a logic model, illustrating the activities involved in CBME implementation including a description of short- and long-term outcomes.46-49 Contributory factors that influence the process and the outcome of implementation should be identified in the logic model including assumptions/hypotheses of the results of CBME.50, 51

[프로그램 이론]은 [입력, 프로세스, 결과 및 영향]을 의도적으로 탐색할 수 있는 [프로그램 평가 계획의 개발을 위한 지침]역할을 한다. 본 논문에서 정의된 바와 같이 [프로세스 및 결과 평가]에서 도출된 findings는 [지속적인 개선을 위한 주기적인 기회]를 설정하며, [예상anticipated 프로그램 이론과 프로세스 및 결과를 향상]시킨다. CBME와 관련된 사람들의 경우, 여기에는 다음 두 가지의 평가에 영향을 미치는 요소를 이해하는 것이 포함된다. 

• 구현의 충실도 (즉, [제정된 프로그램]이 [구상된 프로그램]과 유사합니까?)
• 구현의 완결성 (예: WBA가 상세하고 실행 가능한 품질 피드백을 제공합니까?)

이러한 유형의 평가에서 얻은 결과는 최상의 CBME 구현 접근법에 대한 이해를 높이고 성공을 저해하거나 촉진할 수 있는 고려 요소를 강조할 수 있다.

The program theory acts as a guide for the development of a program evaluation plan that can intentionally explore inputs, processes, outcomes, and impact. The findings from a process and outcome evaluation, as defined in this paper, sets up a cyclical opportunity for ongoing improvement, enhancing the anticipated program theory and its process and outcomes.52-54 For those involved in CBME, this includes understanding elements influencing the process of evaluating the 

• fidelity (ie, does the program as enacted look like the program as conceived?) of implementation, as well as its 
• integrity (eg, do workplace-based assessments provide quality feedback that are detailed and actionable?).29, 54-56 

Findings from this type of evaluation can enhance our understanding of the best CBME implementation approaches and highlight factors for consideration that may impede or facilitate its success.

 

1.3 작업 예: 트리플 C 역량 기반 커리큘럼(트리플 C)
1.3 Worked example: Triple C Competency-based Curriculum (Triple C)

[프로세스 및 결과 평가]와 [명확하게 정의된 프로그램 이론] 사이의 연결고리는 [작업 사례worked example]를 통해 가장 잘 이해할 수 있을 것이다. 실행된 예는 결과와 프로세스 모두에 초점을 맞춘 최종적인 해결책에 도달하기 위한 문제와 문제 해결 접근 방식을 설명합니다. 프로세스 지향 작업 예제는 특정 단계를 "어떻게" 및 "왜"했는지에 대한 명시적인 설명을 제공하는 데 중점을 두고 있으며, 이러한 단계가 관찰된 솔루션에 어떻게 기여했는지 설명하는 데 도움이 될 수 있습니다. 여기, 우리는 구현과 동시에 수행된 이론 기반 프로그램 평가의 캐나다 가정의학 상주 훈련의 작업 예를 제시한다. 프로그램 이론과 평가 사이의 연관성을 설명하는 것 외에도, 이 작업 예는 프로그램 이론의 정기적인 업데이트를 지원하기 위한 발견을 발견하는 것이 어떻게 지속적인 프로그램 개선을 촉진할 수 있는지를 보여준다. 마지막으로, 이 작업 예는 CBME 혁신 또는 기타 커리큘럼 개혁을 위한 프로그램 평가를 설계하려는 개인을 위한 템플릿으로 작용할 수 있다. 

The links between process and outcome evaluation and a clearly defined program theory can best be understood by looking at a worked example. Worked examples describe a problem and the problem-solving approach to arrive at a final solution with a focus on both the outcome and the process.57-61 Process-oriented worked examples centre on providing an explicit explanation of “how” and “why” certain steps were taken and/or can help explain how they may have contributed to an observed solution.57-61 Here, we present a worked example from Canadian family medicine residency training of a theory-based program evaluation carried out concurrently with implementation. In addition to illustrating the connections between program theory and evaluation, this worked example shows how uncovering findings to support regular updating of a program theory can facilitate ongoing continuous program improvement. Finally, this worked example can act as a template for individuals looking to design program evaluation for their CBME innovations or other curriculum reforms.

1.4 배경
1.4 Background

캐나다 가정의학회(CFPC)는 캐나다의 가정의학을 인증하는 학회이다. 2010년, CFPC는 CBME의 핵심 구성요소와 일치하도록 국가 가정의학 레지던트 교육 커리큘럼과 평가 지침을 변경했다.62 CFPC의 CBME 버전은 트리플 C 역량 기반 커리큘럼(Triple C)이라고 불린다. 트리플 C에 대한 자세한 설명은 트리플 C 역량 기반 커리큘럼 보고서 1과 2에서 확인할 수 있습니다. 
The College of Family Physicians of Canada (CFPC) is the accrediting and certifying body for the discipline of family medicine in Canada. In 2010, the CFPC transformed their national family medicine residency education curriculum and assessment guidelines to align with the core components of CBME.62 The CFPC's version of CBME is called the Triple C Competency-based Curriculum (Triple C). A detailed description of Triple C can be found in the Triple C Competency-based Curriculum Reports 1 and 2.63, 64

1.5 프로그램 평가 접근방식 요약
1.5 Summary of program evaluation approach

트리플 C의 프로그램 이론의 개발은 처음에 다음과 같은 사회적 책임 접근법을 사용하여 가정의학과 레지던트 교육을 어떻게 개선해야 하는지를 확인하는 데 초점을 맞췄다. "커뮤니티, 지역 및/또는 국가(캐나다)의 우선적인 건강 문제를 해결합니다." CFPC는 서로 다른 이해관계자들과 상의하여 데이터 검토를 수행했으며, 전문가 작업 그룹을 통해 2010년부터 캐나다에서 전국적으로 시행될 가정의학 레지던트 교육 개혁을 정의하기 위해 학계와 합의된 구축 접근법을 사용했다. CFPC는 아직 트리플 C를 인증 표준에 통합하지 않았기 때문에, 전공의 프로그램에 대한 가이드로 트리플 C를 제공했다. 63 프로그램 평가 계획에 포착된 프로그램 이론을 알릴 수 있는 적응이 발생하고 학습이 생성될 것으로 예상되었으며, 이는 가정의학의 교육과정 개편을 더욱 촉진시킬 것이다. 그림 1은 트리플 C의 원래 [프로그램 이론]을 보여준다. 트리플 C는 가정의사가 제공하는 의료 서비스의 접근성 및 품질 개선이라는 장기적 목표에 도달하기 위해 의료 교육의 질을 개선하는 데 중점을 둔다.

The development of the program theory of Triple C initially focused on identifying how family medicine residency education should be improved by using a social accountability approach to: “address the priority health concerns of the community, region, and/or nation (Canada).”65 The CFPC consulted with different stakeholders conducted data reviews, and through expert working groups, used a consensus building approach with the academic community to define the family medicine residency education reform to be implemented nationally in Canada from 2010 onwards.63 CFPC offered Triple C as a guide for use by residency programs as the CFPC had not yet incorporated Triple C into accreditation standards.63 It was anticipated that adaptation would occur and learnings would be generated that could inform the program theory captured in the program evaluation plan, which would further enhance family medicine's curriculum reform. Figure 1 illustrates the original program theory of Triple C, which is centred on improving the quality of medical education to reach a long-term goal of increased access to and improved quality of care provided by family physicians.

 

이론 기반 평가는 논리 모델을 사용하여 주요 활동을 설명하고 다양한 CBME 이해관계자에게 특정한 예상 장단기 결과를 포함한다. 그림 2는 가정의학과 거주자, 졸업생, 교수진, 전반적인 학문 분야 및 인증 기관으로서의 CFPC에 대해 가정한 결과를 가진 CFPC의 [논리 모델]을 설명한다. (그림 2)
Theory-based evaluations use a logic model to describe key activities and include anticipated short- and long-term outcomes specific to various CBME stakeholders. Figure 2 describes the CFPC's logic model with outcomes hypothesized for family medicine residents, graduates, faculty, the overall discipline, and the CFPC as the accrediting body. (Figure 2)

[논리 모델(그림 2)]은 [데이터 수집 기회를 식별하기 위한 지도] 역할을 했으며, 이는 프로세스와 예상 결과 모두를 평가하는 8개 영역을 포함하는 평가 계획에 통합되었다(그림 3). 연구 결과는 CFPC의 다음 반복적인 커리큘럼 갱신 주기를 개선하고 수정하는 데 사용되었다. 학습된 교훈은 실제 경험을 바탕으로 한 독창적인 프로그램 이론을 강화한다.
The logic model (Figure 2) acted as a map to identify opportunities for data collection, which would be incorporated into the evaluation plan that included eight areas of focus evaluating both process and anticipated outcomes (Figure 3). Findings have been used to refine and revise the CFPC's next iterative cycle of curriculum renewal. Learned lessons enhance the original program theory based upon lived experience.

1.6 프로그램 평가: 가정 테스트 및 원래 프로그램 이론 수정
1.6 Program evaluation: Testing assumptions and revising the original program theory

표 1에서, 우리는 [원래의 트리플 C 프로그램 이론]을 사용한 [이론 주도의 프로그램 평가 계획]과 수집된 데이터를 기반으로 한 후속 업데이트의 과정을 설명한다. 데이터 원본은 추가 정보에 관심이 있는 사람들을 위해 공유된 참조와 함께 나열됩니다. 이러한 가정들의 프로그램 평가를 위한 원래의 프로그램 이론과 데이터 소스의 가정은 평가 결과의 몇 가지 예와 결과적인 원래의 프로그램 이론에 대한 후속 개선사항과 함께 아래에 제시되어 있다. 우리는 이것이 트리플 C의 전체 평가에 포함된 모든 평가 영역의 완전한 목록이 아니라 특정 단기 결과에 초점을 맞춘 예시적인 사례라는 것을 강조하고 싶다.

In Table 1, we illustrate the process of a theory-led program evaluation plan using the original Triple C program theory and subsequent updating based on data collected. The data sources are listed with references shared for those interested in more information. Assumptions from the original program theory and the data source(s) for program evaluation of those assumptions are presented below, along with some examples of evaluation findings and the subsequent refinements to the original program theory that resulted. We do wish to emphasize that this is an illustrative example focusing on specific short-term outcomes, and not an exhaustive list of all areas of evaluation included in the full evaluation of the Triple C.

• 가정 1.CFPC가
  [정책(인정 및 인증 기준)을 통한 가정의학과 레지던트 교육에 대한 CBME 접근방식의 발전]과,
  [레지던트 프로그램에 제공되는 변화 관리 지원]을 통해
  [캐나다 전역에서 트리플 C의 성공적인 채택]을 가능하게 할 것이다.
  
• Assumption 1.The CFPC's advancement of a CBME approach to family medicine residency education through policies (accreditation and certification standards) and change management support offered to residency programs will enable successful adoption of Triple C across Canada.

 

전공의 프로그램 구현 프로파일(RPIP, 프로그램 감독에 의한 자체 보고서 조사 완료)의 결과, 모든 프로그램이 트리플 C를 구현했지만 시기는 다양했습니다. 일부 얼리 어답터들은 이 훈련 모델을 도입한 지 1~2년 이내에 트리플 C의 대부분의 핵심 요소를 갖추었고, 다른 프로그램들은 트리플 C를 구현하는 데 몇 년이 더 걸렸다. 트리플 C의 질적 이해와 평가 연구에서 나온 연구 결과는 트리플 C의 흡수에 영향을 준 요인과 관련된 더 많은 정보를 발견했다. 트리플 C의 초기 채택자들은 CFPC가 가이드 제공을 통해 트리플 C에 대한 지원을 제공하고 프로그램 경험과 교훈을 공유할 수 있는 기회를 제공하는 데 도움이 되었다고 보고하였다. CFPC가 2000년부터 2010년까지 가정의학과 프로그램 이사 및 의장과 협업한 [공동 창작co-creation 접근 방식]도 수용도를 높이는 데 도움이 되었다. 초기 채택자들은 CFPC가 적절한 지원을 제공했다고 느꼈지만, 후기 채택자들은 특히 트리플 C의 공동 제작에 관여하지 않은 새로운 프로그램 리더들과 함께 CFPC가 더 많은 지시적이고 지속적인 지원을 제공했어야 한다고 생각했다.

Findings from the Residency Program Implementation Profile (RPIP, self-report survey completed by program directors) indicated that all had implemented Triple C across their programs but timing varied.66 Some early adopters had most core elements of Triple C in place within a year or two of the introduction of this training model, while other programs took several more years to implement Triple C.66 Findings from the Qualitative Understanding and Evaluation Study of Triple C (QUEST, qualitative study carried out in 2016 examining experiences of Program Directors, Department Chairs, administrative support personnel, postgraduate Deans, and residents through semi-structured interviews and focus groups) uncovered more information related to factors that influenced uptake of Triple C.67 Early adopters of Triple C reported that the CFPC was helpful in providing support for Triple C through the provision of guides, as well as facilitating opportunities for the sharing of program experiences and lessons learned.66, 68 The co-creation approach taken by the CFPC, collaborating with family medicine program directors and chairs from 2000 to 2010,63, 66, 69 also helped increase uptake. While early adopters felt that the CFPC provided adequate support, late adopters, particularly with new program leaders who were not involved in the co-creation of Triple C, felt that the CFPC should have provided more directive and on-going support.66, 68

1.7 원래 프로그램 이론의 업데이트
1.7 Updating the original program theory

가정 1에서는 CFPC 정책과 변경 관리 지원이 트리플 C(Triple C)의 도입을 촉진할 것이라는 가설을 세웠다. 다만 2017년 표준이 발표되기 전부터 인가 변경 예상은 변화를 가능케 하기에 충분했다. 이 연구결과는 [프로그램 개발에 대한 이해관계자의 참여(특히 리더십의 참여)]가 구현을 촉진하는 데 도움이 되었음을 시사한다. CFPC의 가이드와 프로그램 간 초기 공유는 유용했지만, 나중에 CFPC가 더 많은 것을 할 수 있었을 것이라고 생각했다. [리더십 전환shift]을 지원하기 위한 효과적인 커뮤니케이션 및 종방향 변화 관리 전략은 향후 사용을 위한 핵심 학습입니다.

In Assumption 1, it was hypothesized that CFPC policies and change management support would facilitate Triple C uptake. However, the anticipation of accreditation changes even before the standards were released in 2017 was enough to enable change. The findings suggest that stakeholder involvement in the development of Triple C, especially program leadership, helped to facilitate implementation. The CFPC's guides and early sharing across programs were useful, but later adopters who were not as involved felt the CFPC could have done more. Effective communication and longitudinal change management strategies to support leadership shifts are a key learning for future use.

• 가정 2.레지던트 프로그램에 의한 트리플 C의 채택은
  [외부 요인](예: 가정의학 교육/실천 및 의료 교육 문화와 관련된 지방 정책)과
  [내부 요인](예: 교수 참여, 학습자 인구 통계 및 의대/ 레지던스 리더십 및 인프라 지원)에 따라 달라질 것이다.
• Assumption 2.Uptake of Triple C by residency programs will vary depending upon
  external factors (eg, provincial policies related to family medicine education/practice and medical education culture) and
  internal factors (eg, faculty engagement, learner demographics, and medical school/residency leadership and infrastructure support).

RPIP의 연구 결과는 트리플 C의 시행 시기가 캐나다의 10개 주와 교육 현장에 걸쳐 위치한 17개 대학 기반 프로그램에 걸쳐 크게 다르다는 것을 보여주었다. 결국 흡수가 확인되었지만, 시간 변동성이 관심 포인트였다. 가정의학 종방향 조사의 결과는 대다수의 전공의가 트리플 C에 특화된 역량 기반 프로그램 평가 요소뿐만 아니라 가정의학을 중심으로 한 포괄적이고 지속적인 관리 경험을 경험했다는 것을 확인하였다. (FMLS 2010-2017, 캐나다의 16개 가정의학 프로그램에 걸쳐 레지던트 출입 시 가정의학과 레지던트를 대상으로 실시한 자가 보고서 조사) 

Findings from the RPIP indicated that the timing of Triple C implementation varied greatly across the 17 university-based programs situated across 10 provinces in Canada and across teaching sites.66 Although eventual uptake was identified, the time variability was a point of interest. Findings from the Family Medicine Longitudinal Survey (FMLS 2010-2017, self-report survey administered to family medicine residents at entry to and at exit from residency across 16 family medicine programs in Canada) identified that the majority of residents had experienced comprehensive and continuity of care experiences centred in family medicine as well as competency-based programmatic assessment elements specific to Triple C.66, 70 

QUEST 연구는 지지적 행정 인프라, 효과적인 의사소통 네트워크, 보호된 자원(예: 인적 및 재정적 자본 및 시간)과 이해관계자(예: 대학원 학장 및 보건부)와 협의적 접근에 참여한 프로그램이 Triple C 전환이 더 원활하다고 보고했다. 인증 검토 및 훈련 현장의 확장을 동시에 겪고 있는 사람들은 기존의 자금 지원과 리더십 지원을 활용하여 트리플 C로 전환하는 데 필요한 변화 사항을 포함할 수 있었다. 트리플 C의 핵심 구성 요소에 대한 서로 다른 해석이나 정의와 같은 특정 요인들은 구현에 어려움을 유발했다. 트리플 C의 발전에 관련된 모든 사람들 사이의 [일관된 공유 정신 모델]은 관리자, 프로그램 조언자, 커리큘럼 설계자 및 대학원 학장과 같은 이해관계자 간의 지속적인 의사소통과 협력을 통해 개발되었다. 이러한 [공유된 정신 모델]은 구현을 추진하고 지원하며, 수용을 촉진하는 데 도움이 되었습니다. 또한, 가정의학과 레지던트들을 지도하는 모든 지도교사에 대한 교수진 개발은 주의를 요하는 분야로 일방적으로 파악되었다.

The QUEST study reported that programs with supportive administrative infrastructures, effective communication networks, protected resources (eg, human and financial capital and time), and who had engaged in consultative approaches with stakeholders (eg, postgraduate deans and ministries of health) had smoother Triple C transitions.66, 68 Those who were simultaneously undergoing accreditation reviews and/or expansion of training sites were able to include changes needed to transition to Triple C, capitalizing on pre-existing funding and leadership support.66, 68 Certain factors challenged implementation, such as differing interpretations or definitions of the core components of Triple C.66, 68 Consistent shared mental models amongst all those involved in advancing Triple C were developed through ongoing communication and collaboration between stakeholders such as administrators, program advisors, curriculum designers, and postgraduate deans. These shared mental models helped to drive and support implementation66, 68 and facilitated uptake. Additionally, faculty development for all preceptors coaching family medicine residents was identified unilaterally as an area requiring attention.66, 68

1.8 원래 프로그램 이론의 업데이트
1.8 Updating the original program theory

RPIP와 FMLS의 연구 결과는 프로그램이 트리플 C를 구현했음을 확인하였다. 두 번째 가정은 외부 및 내부 요인이 트리플 C의 채택에 영향을 미칠 것이라는 점에 주목했지만 많은 세부 사항을 제공하지 않았다. 모든 프로그램이 트리플 C를 구현했지만, 시간과 관련된 변동성은 QUEST 연구를 통해 더욱 이해되었다. 이에 따라 CFPC는 지방정부와 대외정책이 전공의 교육과 전공의 교육 개혁에 어떤 영향을 미치는지, 또 어떤 방식으로 영향을 미치는지 가장 잘 이해할 수 있는 방법을 고민하게 되었다. 이 문제에 대한 프로그램 평가에서 수집된 정보가 부족하기 때문에 CFPC는 이러한 [외부 영향]을 보다 완전하게 연구할 수 있는 방법을 적극적으로 모색하고 있다. 도입uptake에 영향을 미치는 [내부 요인] 측면에서는, 기존 개혁 프로세스와 인가 검토, 신규 자원을 활용해 트리플 C를 내장한 프로그램이 어떻게 더 쉽게 전환되는지 들어볼 수 있어 흥미로웠다. 이를 통해 변경 촉진 요인에 대한 새로운 통찰력을 얻을 수 있습니다.

Findings from the RPIP and from the FMLS identified that programs had implemented Triple C. The second assumption noted that both external and internal factors would influence the uptake of Triple C but it did not offer many specifics. Although all programs implemented Triple C, the variability related to time was further understood from the QUEST study. This has prompted the CFPC to consider how best to understand how and if provincial governments and external policies influence residency education and residency education reform. Because of the lack of information that was gathered in the program evaluation about this issue, the CFPC is actively exploring how to study these external influences more fully. In terms of the internal factors influencing uptake, it was interesting to hear how programs that took advantage of existing reform processes, accreditation reviews, and new resources to embed Triple C transitioned more easily. This offers new insight on change facilitators.

• 가정 3.가정의학과 수련생들이 트리플 C를 경험한다면, 졸업생들은
  [포괄적인 가정의학을 실천하는 것]을 선택할 것이고,
  [전통적으로 서비스가 부족할 수 있는 다양한 지역사회]에서 일하는 것을 선택할 것이며,
  [지속적인 학습 욕구를 스스로 평가하고 해결]할 수 있을 것이다.
  
• Assumption 3.If family medicine trainees experience Triple C, then graduates will choose to practice comprehensive family medicine; will choose to work in diverse communities that may be traditionally underserved; and will be able to self-assess and address ongoing learning needs.

FMLS 결과: 교육 프로그램을 마친 후 트리플 C 비전을 반영한 학습 및 실습 경험이 증가했다고 보고했습니다. 또한 연구 결과는 프로그램과 CFPC가 해결해야 할 학습 및 실습 경험의 몇 가지 차이를 나타냈다. 
Findings from the FMLS: Residents reported an increase in learning and practice experiences reflecting the Triple C vision after completing their training program.66 Findings also indicated a few gaps in learning and practice experiences to be addressed by programs and the CFPC.66

National Physician Survey(NPS 2010, 범캐나다 자체 보고서 조사)에서 얻은 연구 결과. 가족 의사의 진료 범위에 특정한 질문이 트리플 C 이전 대조군으로 사용되었다. NPS는 트리플 C 이전 코호트와 트리플 C 이후 코호트를 비교함으로써 여러 임상 영역 및 환경에서 포괄적 치료를 시행하려는 거주자의 의사가 상당히 증가했음을 보여주었다. 거주자의 응답은 또한 특정 임상 영역 및 환경에서 실습하려는 의도의 감소를 보여 주었으며, 이는 이러한 발견을 추진하는 요인을 이해하기 위한 추가 평가 및 연구의 필요성을 유발했다.

Findings from the National Physician Survey (NPS 2010, Pan-Canadian self-report survey administered to physicians in practice. Questions specific to scope of practice of family physicians were used as pre-Triple C controls): the NPS illustrated a significant increase in residents' intention to practice comprehensive care in multiple clinical domains and settings by comparing pre- and post-Triple C cohorts.66, 70 Responses from residents also illustrated decreased intentions to practice in certain clinical domains and settings,66, 70 which has prompted the need for additional evaluation and research to understand factors that drive these findings.

1.9 원래 프로그램 이론 업데이트
1.9 Updating the original program theory

시간이 지남에 따라 FMLS 결과를 프로그램에 다시 공유하는 것이 트리플 C의 구현에 도움이 된다는 것은 구현과 동시에 실행되어야 하는 프로그램 평가의 필요성을 강화시켰다. 초기 프로그램 평가 계획은 CFPC가 트리플 C에 대해 무엇이 효과가 있고, 무엇이 안 되고, 무엇이 바뀌어야 하는지를 이해하도록 돕기 위해 개발되었지만, 프로그램 평가 데이터는 커리큘럼과 평가의 지역 개선을 수행하는 프로그램에도 매우 유익하다는 것이 일찍부터 분명했다.

The demonstration over time that sharing FMLS results back to programs was helpful in implementation of Triple C reinforced the need for program evaluation to run concurrently with implementation. While the initial program evaluation plan was developed to help the CFPC to understand what worked, what did not, and what needed to be changed about Triple C, it was evident early on that the program evaluation data were also immensely beneficial to programs in carrying out local improvement of their curriculum and assessment.

2 고찰
2 DISCUSSION

CBME 구현의 작업 사례로 트리플 C 역량 기반 커리큘럼을 사용하여 [프로세스와 결과]를 모두 살펴보는 [이론 기반 평가]를 통해 프로그램 이론을 개발하고 업데이트하는 방법을 시연했다.

• 이 과정은 도전이나 문제를 파악하는 것에서 시작한다. 그리고 공동체의 필요와 자산, 도전이나 문제에 대응하기 위한 전략, 전략을 원하는 결과나 결과에 연결하는 가정을 결정한다.
• 사회적 요구와 같은 문제 및 결과에 영향을 미칠 수 있는 영향 요인들은 또한 독창적인 프로그램 이론의 개발에서 확인된다.
• 일단 프로그램 이론이 개발되면, CBME의 구현을 지원하기 위한 입력과 활동, 구현의 제정 과정, 그리고 이러한 초기 투자가 어떻게 장단기적인 결과로 이어질 것으로 예상되는지 등 로직 모델에 포함되어야 할 특징들이 명백해진다.
• 우리는 또한 프로그램 이론과 로직 모델이, 어떻게 의료 교육에서 새로운 훈련 모델을 구현하는 과정과 결과에 대한 질문에 효과적으로 답하기 위해, 평가 방법론과 데이터 수집 방법의 선택을 가이드할 수 있는지 보여주었다.

Using the Triple C Competency-based Curriculum as a worked example of CBME implementation, we have demonstrated how to develop and update a program theory through theory-based evaluation that looks at both processes and outcomes.

• This process begins by
  • identifying the challenge or problem,
  • determining
    • the needs and assets of the community,
    • strategies to counter the challenge or problem, and
    • the assumptions
  • that are held that link the strategies to the desired outcomes or results.
• Influential factors that may impact the problem and outcomes, such as societal needs, are also identified in the development of an original program theory.
• Once the program theory is developed, the features that should be included in a logic model become evident, such as
  • inputs and activities to support implementation of CBME,
  • process of enacting implementation, and
  • how these initial investments are anticipated to lead to short- and long-term outcomes.
• We have also illustrated how a program theory and logic model can guide the selection of evaluation methodologies and data collection methods to effectively answer questions about the process and outcomes of implementing new training models in medical education.

우리는 우리의 작업 예에서 프로그램 평가 과정의 몇 가지 예를 제시했지만, 우리는 또한 우리의 연구에서 나타난 발견들이 어떻게 해석되고 레지던트 프로그램 구현을 위한 추가적인 개선을 위해 사용될 수 있는지 탐구했다. CFPC가 프로그램 평가를 구현과 함께 사용하여 커리큘럼 구현과 개혁을 지속적으로 알리는 "수집과 행동"을 모델링하는 것은 캐나다의 가정의학과 레지던트 프로그램에 여러 가지 이점을 가져왔다. 잘 설계된 평가의 과정과 결과가 지속적인 변화와 지속적인 거주 교육 개선을 추진하는 데 중요한 역할을 할 수 있다는 것은 분명하다. 참여자(즉, 교수, 교사, 관리자 및 주민)가 트리플 C의 성장을 뒷받침하는 실질적인 증거를 가지고 있었기 때문에 모델링 수집과 행동은 평가와 연구에 참여를 장려했다. 프로그램 평가의 결과는 이 분야의 미래를 개선하기 위한 변화를 추진하는 데 중요한 역할을 했다.

While we have presented some examples of the program evaluation process in our worked example, we have also explored how the findings that emerged from our study could be interpreted and used for further improvements for residency program implementation. The CFPC's use of a program evaluation alongside implementation, modelling “collection and action” that uses data on an ongoing basis to inform curriculum implementation and reform, has had multiple benefits to family medicine residency programs in Canada. It is clear that the process and outcomes of a well-designed evaluation can play a significant role in driving ongoing change and ongoing residency education improvement. Modelling collection and action encouraged engagement in evaluation and research since participants (ie, faculty, teachers, administrators, and residents) had tangible evidence that their efforts supported the growth of Triple C. The outcomes of the program evaluation played a significant role in driving change to improve the future of this discipline.

3 결론
3 CONCLUSION

이러한 CBME 교육 혁신에서 수행된 것과 같이 의도적으로 변화와 평가를 결합하면 새로운 혁신을 구현하고 경험한 사람들의 경험에서 귀중한 정보를 얻을 수 있습니다. "현장에서 나온from the field" 연구 결과는 [사회적 프로세스와 메커니즘이 프로그램이 경험되고 구현되는 방식]과 이러한 [숨겨진 요인의 결과로 결과가 어떻게 다를 수 있는지]에 중요한 역할을 한다는 개념을 강화한다. 또한 프로그램 평가의 결과는 현재 프로세스의 개선을 지원할 수 있을 뿐만 아니라 학습된 교훈을 조명하고 자원의 효과적이고 효율적인 사용을 지원함으로써 향후 구현을 안내할 수 있다. 평가와 업데이트된 프로그램 이론의 개발은 또한 발견을 기반으로 하는 [새로운 변화와 이론]의 도입을 촉진하는데, 이는 '바퀴의 재창조'가 아닌 [누적적 과학cumulative science]에 기여하려는 소기의 목표를 뒷받침한다.

Deliberately pairing evaluation alongside change—such as was done in this CBME education transformation—yields invaluable information from the experiences of those implementing and experiencing a new innovation. Findings “from the field” reinforce the notion that social processes and mechanisms play a significant role in the ways in which a program is experienced and implemented and in how outcomes may differ as a result of these otherwise hidden factors. In addition, findings from program evaluation can support the improvement of current processes, as well as guide future implementation by shedding light on lessons learned and supporting effective and efficient use of resources. Evaluation and the development of an updated program theory also facilitate the introduction of new changes and theories that build on findings, which supports the desired goal of contributing to cumulative science rather than “reinventing the wheel.”

향후 연구는 시간에 따른 변화를 주도, 지지 및 도전하는 요인의 추세를 식별하기 위해 진행 중인 종적 평가의 이점을 얻을 수 있으며, 이러한 요인들이 시간에 따라 변화하는지 여부, 방법 및 이유를 파악할 수 있다.

Future studies may benefit from ongoing longitudinal evaluation to identify trends in factors that drive, support, and/or challenge change over time and if, how, and why these factors shift over time.

 

---

J Eval Clin Pract. 2020 Aug;26(4):1096-1104. doi: 10.1111/jep.13344. Epub 2020 Jan 11.

 

Process and outcome evaluation of a CBME intervention guided by program theory

Deena M Hamza 1, Shelley Ross 2, Ivy Oandasan 3 4

Affiliations collapse

Affiliations

1Postgraduate Medical Education, University of Alberta, Edmonton, Alberta, Canada.

2Department of Family Medicine, University of Alberta, Edmonton, Alberta, Canada.

3Department of Education, College of Family Physicians of Canada, Toronto, Ontario, Canada.

4Department of Family and Community Medicine, University of Toronto, Toronto, Ontario, Canada.

PMID: 31927788

PMCID: PMC7496603

DOI: 10.1111/jep.13344

Abstract

Rationale: Competency-based medical education (CBME) has gained momentum as an improved training model, but literature on outcomes of CBME, including evaluation of implementation processes, is minimal. We present a case for the following: (a) the development of a program theory is essential prior to or in the initial stages of implementation of CBME; (b) the program theory should guide the strategies and methods for evaluation that will answer questions about anticipated and unintended outcomes; and (c) the iterative process of testing assumptions and hypotheses will lead to modifications to the program theory to inform best practices of implementing CBME.

Methods: We use the Triple C Competency-based Curriculum as a worked example to illustrate how process and outcome evaluation, guided by a program theory, can lead to meaningful enhancement of CBME curriculum, assessment, and implementation strategies. Using a mixed methods design, the processes and outcomes of Triple C were explored through surveys, interviews, and historical document review, which captured the experiences of various stakeholders.

Findings: The theory-led program evaluation process was able to identify areas that supported CBME implementation: the value of a strong nondirective national vertical core supporting the transformation in education, program autonomy, and adaptability to pre-existing local context. Areas in need of improvement included the need for ongoing support from College of Family Physicians of Canada (CFPC) and better planning for shifts in program leadership over time.

Conclusions: Deliberately pairing evaluation alongside change is an important activity and, when accomplished, yields valuable information from the experiences of those implementing and experiencing a program. Evaluation and the development of an updated program theory facilitate the introduction of new changes and theories that build on these findings, which also supports the desired goal of contributing toward cumulative science rather than "reinventing the wheel."

Keywords: competency-based education; continuous quality improvement; medical education; outcome evaluation; process evaluation; program evaluation.

© 2020 The Authors. Journal of Evaluation in Clinical Practice published by John Wiley & Sons Ltd.