역량중심의학교육(CBME)의 개선-지향 평가를 위한 12가지 팁(Med Teach, 2020)

역량중심의학교육(CBME)의 개선-지향 평가를 위한 12가지 팁(Med Teach, 2020)
Twelve tips for improvement-oriented evaluation of competency-based medical education
Ivy Oandasana*, Liz Martinb, Melissa McGuireb and Rochelle Zorzib

 

서론
Introduction

전 세계적으로, 의료 교육은 의사를 훈련시키기 위해 역량 기반 접근법을 채택하고 있다. 역량 기반 의료 교육(CBME)은 환자 결과를 개선하고, 환자 안전을 강화하며, 평생 학습에 전념하는 더 자신감 있는 의사를 만들기 위해 발전되고 있다(Frank et al. 2010; Touchie and Ten Cate 2016). 사회적 책임 원칙(Boelen and Woolard 2009)을 핵심으로 하여 CBME는 인구의 복잡한 의료 요구에 대응할 수 있는 실무자를 배출하는 것을 목표로 한다(Oandasan 2013; 캐나다 의과대학 인증위원회 2015; Van Melle et al. 2017; 캐나다 의과대학 협회 2018).
Around the world, medical education is adopting competency-based approaches to training physicians. Competency-based medical education (CBME) is being advanced to improve patient outcomes, enhance patient safety, and create more confident physicians committed to lifelong learning (Frank et al. 2010; Touchie and Ten Cate 2016). With the principle of social accountability (Boelen and Woollard 2009) at its core, CBME aims to produce practitioners who can respond to the complex healthcare needs of the population (Oandasan 2013; Committee on the Accreditation of Canadian Medical Schools 2015; Van Melle et al. 2017; Association of Faculties of Medicine of Canada 2018).

CBME를 도입하는 이 새로운 시대에, 의학 교육자들은 평가가 어떻게 질을 향상시키고 적응을 알리는 데 유용할 수 있는지를 고려할 필요가 있다. 이 논문은 [개선-지향적, 실용-중심적 프로그램 평가]에 대한 접근 방식을 제안한다(패턴 2008). [실용 중심 접근법]은 1970년대(Patton 1978년)에 도입되었고, 현재는 의학 교육 이외의 분야의 프로그램을 평가하는 데 일반적으로 사용된다. (그림 1) 우리는 또한 CBME 프로그램을 발전시킬 수 있는 관련적이고 유용한 정보를 산출할 가능성이 있다고 주장한다. 평가에 대한 이러한 접근 방식은 CBME 시행자들이 "우리의 CBME 프로그램이 환자 결과를 개선하고 있는가?"와 같은 질문을 던지던 것에서 "우리의 CBME 프로그램이 어떤 조건이나 맥락에서 환자 결과 개선에 기여하고 있는가?"로 옮겨간다(Wong et al. 2012; Van Melle et al. 2017). 후자의 질문에서 수집된 정보는 CBME 구현자들이 변화하는 상황에 맞춰 프로그램을 조정하기 위해 취해야 할 단계를 이해하는 데 도움이 된다. 
In this new era introducing CBME, there is a need for medical educators to consider how evaluation could be useful in improving quality and informing adaptation. This article proposes an approach to program evaluation that is improvement-oriented and utilization-focused (Patton 2008). The utilization-focused approach is well established, having been introduced in the 1970s (Patton 1978), and now commonly used to evaluate programs in disciplines outside of medical education. (Figure 1) We argue that it also holds promise for yielding relevant and useful information that can advance CBME programs. This approach to evaluation moves CBME implementers from asking questions like, “Is our CBME program improving patient outcomes?” to asking, “Under what conditions or contexts is our CBME program contributing to better patient outcomes?” (Wong et al. 2012; Van Melle et al. 2017). Information collected from the latter question helps CBME implementers understand what steps to take to adjust their programs to changing contexts.

 

 

이 12가지 팁 문서는 CBME 프로그램을 설계 및 제공하고 있으며 해당 프로그램이 적절하고 효과적이라는 것을 보장하기 위해 헌신하는 CBME 교육자와 구현자를 위해 작성되었습니다. 저자들은 [역량 기반 가정의학 교육(Triple C)](Oandasa 2013)을 위한 캐나다 가정의학대학(CFPCs; Canada College of Family Physicians 2018)의 트리플 C 커리큘럼을 설계하고 수행한 경험에서 이러한 팁을 이끌어냈다. CFPC는 2011년부터 개선 지향적이고 활용 중심적인 프로그램 평가 접근법을 사용하여 트리플 C를 평가하고 있다. 이 출판물의 실제 팁은 의료 교육자가 개선 지향적 평가를 CBME 프로그램에 통합하거나 향후 다른 커리큘럼 개혁 운동과 함께 사용하도록 고무하기 위한 것이다.
This twelve tips paper is written for CBME educators and implementers who are designing and delivering CBME programs and who are committed to ensuring their programs are relevant and effective. The authors have drawn these tips from experiences designing and carrying out the evaluation of the College of Family Physicians of Canada’s (CFPC’s; College of Family Physicians of Canada 2018) Triple C curriculum for competency-based family medicine education (Triple C) (Oandasan 2013). The CFPC has been evaluating Triple C using the improvement-oriented and utilization-focused program evaluation approach since 2011. The practical tips in this publication are intended to inspire medical educators to integrate improvement-oriented evaluation into their CBME programs or to use with other curriculum reform movements to come.

팁 1 개선 마인드로 전환
Tip 1 Shift to an improvement mindset

현재 많은 조직에서는 [프로그램이 목표를 달성했는지 여부를 판단]하는 것 이상의 이유로 프로그램 평가를 사용합니다(결과 평가: 스크립트 1991 참조). [성과 중심]의 프로그램 평가의 목적은 일반적으로 프로그램의 장점 또는 가치를 판단하는 것이다(스크립트 1991; Mark et al. 2000; 패튼 2008). 그러나 [개선 지향적 접근]에는 다른 목적이 있습니다. 개선 지향 평가는 [진행 중인 프로그램을 수정]하는 데 도움이 되는 [의도된 단기 성과]와 [의도되지 않은 단기 성과]에 대한 사용 가능한 정보를 제공하는 것을 목표로 한다. (스크립트 1991; Patton 2008; Barrett 2015) 생성된 정보는 프로그램이 올바른 궤도에 있는지 또는 과정을 수정해야 하는지 여부를 나타낼 수 있습니다. [개선 마인드]를 도입하려면, [새로운 컨텍스트와 정보]에 대응하여 [프로그램을 적응하고 수정할 수 있는 기회]를 포착해야 합니다.
Many organizations now use program evaluation for reasons beyond determining whether a program has achieved its objectives (outcome evaluation; see Scriven 1991). The purpose of outcomes-focused program evaluation is usually to judge the merit or worth of a program (Scriven 1991; Mark et al. 2000; Patton 2008). But an improvement-oriented approach has a different purpose. The improvement-oriented evaluation aims to provide usable information on intended and unintended short-term outcomes to help modify a program in progress (Scriven 1991; Patton 2008; Barrett 2015). The information generated can indicate whether your program is on the right track or whether you need to course correct. Adopting an improvement mindset will require you to seize opportunities to adapt and modify your program in response to emerging contexts and information.

CBME는 [복잡한 시스템] 내에서 운영되는 [복잡한 개입]이다(Wong et al. 2012; Yardley and Dornan 2012; Van Melle et al. 2017). [개선 지향 평가]는 복잡한 개입에 적합한데, 왜냐하면 이것은 대응적이고, 역동적이며, 개입(및 이들의 평가)이 "지저분"할 수 있기 때문이다. (Patton 2008; Wong et al. 2012). 이 접근방식은 거의 마무리되지 않습니다. 대신, 개선 지향적 평가가 순환 프로세스로 전개됩니다. 개선 마인드를 채택한다는 것은 CBME 프로그램에 대해 항상 더 많은 작업을 수행해야 한다는 것을 의미합니다.
CBME is a complex intervention operating within a complex system (Wong et al. 2012; Yardley and Dornan 2012; Van Melle et al. 2017). Improvement-oriented evaluation is suitable for complex interventions because it is responsive and dynamic (Pawson and Tilley 1997; Haji et al. 2013) and acknowledges that interventions (and their evaluations) can be “messy” (Patton 2008; Wong et al. 2012). This approach seldom has a finish line: instead, improvement-oriented evaluation unfolds as a cyclical process. Adopting an improvement mindset means recognizing that there is always more tinkering to be done with your CBME program.

팁 2 즉시 평가 사용자로부터 구매 유도
Tip 2 Generate buy-in from the immediate evaluation users

개선 지향적 프로그램 평가에는 다수의 이해관계자의 투입이 필요하다. CBME 프로그램의 이해 당사자들은 계획 단계 초기에 참여하고 평가가 개선에 초점을 맞춘다면 평가에 더 많이 참여하게 될 것입니다(Patton 2008; Davidson 2013). 이들의 참여는 평가와 관련이 있으므로 참여 의욕을 높이는 데 도움이 됩니다.

Improvement-oriented program evaluation requires input from multiple stakeholders. Your CBME program’s stakeholders will be more inclined to become involved in an evaluation if involved early in the planning stages and if the evaluation is focused on improvement (Patton 2008; Davidson 2013). Their involvement helps to make the evaluation relevant to them and therefore increases their willingness to participate.

프로그램 평가를 위해 참여buy-in를 이끌어내는 것은 어려울 수 있다. 의료 교육의 평가는 종종 [인증]과 관련이 있다. 이러한 연관성 때문에 평가의 목적을 잘못 알고 있는 일부 이해관계자(및 다른 이해관계자로부터의 방어)의 침묵에 직면할 수 있습니다. 그들의 신뢰를 얻는 것이 중요할 것이다. 평가의 목적을 명확히 하고(개선 추진에 대한 통찰력을 제공하기 위해) 평가에서 유용한 정보를 생성한다는 확신을 제공합니다. 이해관계자가 자신의 데이터를 선택하는 방법에 따라 결정해야 하며, 여기에는 인증 기준을 뒷받침하는 증거로 사용하는 것이 포함될 수 있습니다.
Generating buy-in for program evaluation can be challenging. Evaluation of medical education is often associated with accreditation. Because of this association, you might encounter reticence from some stakeholders (and defensiveness from others) who misunderstand the purpose of the evaluation. It will be important to gain their trust. Clarify the purpose of the evaluation (to offer insights to drive improvement) and provide assurance that the evaluation will generate information that is useful to them. It should be the decision of your stakeholders to use their data however they choose, which might include use as evidence to support their accreditation standing.

CFPC는 트리플 C에 대한 평가를 개발하기 시작했을 때 이해관계자들의 우려를 경험했다. CFPC는 개별 가정의학 프로그램을 인가하는 국가 기관이기 때문에, 이해 당사자들은 트리플 C의 프로그램 평가 결과를 종합하여 CFPC가 일반적으로 [가정의학 교육과 관련된 국가 결정과 정책을 지원]하기 위해 사용할 것이라는 점을 이해하는 것이 중요했다. CFPC는 개별 가정의학 프로그램의 트리플 C 결과를 평가하지 않고 프로그램의 인가 상태에 대한 결정을 위해 이를 사용한다. 대학에서 교육부서에 구분된 기능은 트리플 C의 프로그램 평가를 수행하는 것이었다. 이를 통해 CFPC의 인증 부서와 이해 상충이 발생하지 않았다. 처음에 이것을 언급하는 것은 CFPC가 인가한 17개의 대학 기반 가정의학 레지던트 프로그램에서 신뢰와 인수를 확보하는 데 매우 중요했다.
The CFPC experienced concerns from stakeholders when it began developing its evaluation of Triple C. Because the CFPC is the national body that accredits individual family medicine programs, it was important for their stakeholders to understand that the Triple C’s program evaluation findings would be in aggregate only, used by the CFPC to support national decisions and policies related to family medicine education in general. The CFPC would not assess Triple C findings from an individual family medicine program and use it to make decisions on a program’s accreditation status. A separate function of the College, the education department, was charged with conducting Triple C’s program evaluation. This ensured no conflict of interest existed with the CFPC’s accreditation department. Stating this at the outset was critical to secure trust and buy-in from the 17 university-based family medicine residency programs accredited by the CFPC.

팁 3 다양한 이해 관계자의 전략적 참여
Tip 3 Engage diverse stakeholders strategically

의료 교육 프로그램의 설계 및 제공에 [가장 직접적으로 관여하는 이해 관계자]를 제외한 [다른 주요 이해 관계자]를 식별하는 것이 중요합니다. 진행 과정에서 누구를 참여시키는지 전략적으로 파악하고 평가에서 무엇을 얻을 수 있는지, 무엇을 기여할 수 있는지 고려하십시오(Davidson 2013). 초기에 이해관계자 참여를 전략적으로 계획함으로써 궁극적으로 프로그램 평가 데이터의 활용과 평가 참여가 증대됩니다. 적시에 적합한 인재를 참여시키면 평가를 사용자 중심으로 진행할 수 있습니다(Patton 2008).
It is important that you identify other key stakeholders beyond those most directly involved in designing and delivering your medical education program. Be strategic about who you engage along the way and consider what they can get from, as well as what they can contribute to, the evaluation (Davidson 2013). Strategically planning stakeholder engagement early on ultimately drives greater evaluation participation and use of program evaluation data. Engaging the right people at the right time puts your evaluation on the path to being user-focused (Patton 2008).

누가 당신의 CBME 프로그램에 영향을 줄 수 있는지 생각해 보세요. 프로그램 변경으로 가장 큰 영향을 받는 사람은 누구입니까? 누가 커리큘럼 변경을 시작하고 중지할 권한을 가지고 있습니까? 변화를 촉진하거나 지연시킬 수 있는 참여는 누구인가? 프로그램의 다양한 이해 관계자를 식별하기 위해 이해 관계자 매핑 연습(Bryson 2004; Patton 2008)을 수행하는 것을 고려하십시오. 이를 통해 누가 평가에 참여해야 하는지, 어떻게, 어떤 용량(예: 조언, 공동 설계, 데이터 수집 지원, 데이터 해석)을 결정하는 데 도움이 됩니다. 이해관계자 참여를 일회성 이벤트가 아닌 반복적이고 지속적인 것으로 보는 것이 중요하다. 시간이 지남에 따라 CBME 프로그램 개선에 기여할 수 있는 모든 이해 관계자(예: 관리자, 강의실 교육자, 임상 교육자, 학습자)의 참여를 목표로 합니다.
Think about who can influence your CBME program. Who is most impacted by program changes? Who has the authority to initiate and halt curriculum changes? Whose engagement can facilitate change, or stall it? Consider conducting a stakeholder mapping exercise (Bryson 2004; Patton 2008) to identify your program’s various stakeholders. This will help you decide who should be involved in the evaluation, how, and in what capacity (e.g. advising, co-designing, supporting data collection, interpreting data). It is important to see stakeholder engagement as iterative and continuous, rather than a one-time event. Over time, aim to engage the full range of stakeholders who can contribute to improving your CBME program (e.g. administrators, classroom educators, clinical educators, learners).

팁 4 프로그램의 이론을 명확히 설명합니다.
Tip 4 Articulate the theory of your program

프로그램 평가를 실시하기 전에 프로그램의 [핵심 활동]과 [예상 성과]를 명확히 이해하는 것이 도움이 될 것입니다. 이러한 프로그램 구성 요소는 평가자가 평가를 계획하는 데 사용할 수 있는 [로직 모델]에서 시각적으로 묘사되는 경우가 많다(Wholey et al. 2004년, 퍼넬 앤 로저스 2011년, 반 멜레 2016년). [로직 모델]을 개발하는 프로세스는 여러분과 주요 이해 관계자가 [어떤 활동을 해야하고, 어떤 초기 결과를 측정해야 할지 합의]하는 데 도움이 될 수 있습니다(Patton 2008). (기본 논리 모델은 그림 2를 참조하십시오.) 이를 통해 프로그램이 장기적인 성과를 달성하는 데 올바른 궤도에 있는지 알 수 있습니다.

It will be helpful to have a clear understanding of your program’s core activities and expected outcomes before undertaking your program evaluation. These program components are often depicted visually by evaluators in a logic model that can be used to help plan the evaluation (Wholey et al. 2004; Funnell and Rogers 2011; Van Melle 2016). The process of developing a logic model can help you (and your key stakeholders) agree on which activities and early outcomes to measure (Patton 2008). (See Figure 2 for a basic logic model; Wholey et al. 2004) This will help you know if your program is on the right track to achieving longer-term outcomes.

 

그러나 대부분의 [로직 모델]은 충분히 멀리 가지 못한다. [변화의 이론theory of change]이란, [주요 가정 및 상황별 요인]을 포함하여, [프로그램이 작동하는 이유를 설명하는 인과적 메커니즘을 설명하는 시각적 묘사]이다. (Pawson and Tilley 1997; Patton 2008; Funnell and Rogers 2011). [변화의 이론]은 당신의 [로직 모델]을 보완할 수 있고, 당신의 프로그램이 시간이 지남에 따라 말해주기를 바라는 이야기를 공유한다. (변화 이론의 표본은 그림 3을 참조한다. 홀리 등. 2004; Van Melle et al. 2017).
Most logic models, however, don’t go quite far enough. A visual depiction that describes the causal mechanisms that account for why your program works the way it does, including key assumptions and contextual factors, is a theory of change (Pawson and Tilley 1997; Patton 2008; Funnell and Rogers 2011). A theory of change can supplement your logic model and shares the story you hope your program will tell over time. (See Figure 3 for a sample theory of change; Wholey et al. 2004; Van Melle et al. 2017).

 

당신의 프로그램의 [로직 모델]과 [변화 이론]은 가치 있는 로드맵 역할을 할 것이다. 이들은 [살아있는 문서]로서, CBME 프로그램에 대한 더 많은 정보가 수집됨에 따라, 수정될 수 있으며, 수정되어야 합니다. 평가를 통해 밝혀진 정보는 프로그램의 [변화 이론]에 개선이 필요하다는 것을 깨닫는 데 도움이 될 수 있습니다. 트리플 C를 평가할 때도 그랬다. 트리플 C 논리 모델은 커리큘럼의 핵심 요소가 서로 다른 이해관계자 그룹과 더 광범위한 의료 시스템에 어떻게 영향을 미칠 것으로 예상되는지 설명하기 위해 프로그램 이해관계자와 공동 개발되었습니다(Oandasan 2013, 페이지 126 참조). 평가가 펼쳐지고, 새로운 성과와 변화하는 맥락이 실현됨에 따라, 평가 팀은 원하는 결과를 향한 진행을 가능하게 하거나 방해할 가정과 위험을 묘사하는 [보완적인 변화 이론]을 개발했다(Van Melle et al. 2017, 페이지 755 참조).
Your program’s logic model and theory of change will serve as valuable roadmaps. As living documents, they can and should be adapted as more information is gathered about your CBME program. Information uncovered through your evaluation may help you realize that your program’s theory of change needs refinement. This was the case in evaluating Triple C. The Triple C logic model was co-developed with program stakeholders to articulate how key elements of the curriculum were expected to impact different stakeholder groups and the broader healthcare system (See the model depicted in Oandasan 2013, p. 126). As the evaluation unfolded and emergent outcomes and changing contexts were realized, the evaluation team developed a complementary theory of change that depicted assumptions and risks that would enable or hinder the progression toward desired results (See the theory of change depicted in Van Melle et al. 2017, p. 755).

팁 5 언어 확인 – 가정 확인
Tip 5 Check your language – and your assumptions

[프로그램의 변화 이론]과 [로직 모델]을 설계하면, CBME 프로그램의 목표를 명확히 할 수 있습니다. 이것은 오래된, 도전받지 않는, 또는 막연한 가정에 새로운 빛을 던질 기회를 제공할 것이다. 프로그램 이해관계자마다 주요 개념이 다르게 이해된다는 것을 발견할 수 있다. 평가 과정에서 아이디어가 다른 사람에게 도전받고 심지어 바뀌는 일도 드물지 않다.

Designing your program theory of change and logic model will compel you to clarify your CBME program’s objectives. This will provide the opportunity to cast new light on old, unchallenged, or vague assumptions. You may find that key concepts are understood differently among program stakeholders. It is not uncommon during the evaluation process for ideas to be challenged by others and even changed.

프로그램의 [가장 기본적인 구성 요소]에 대한 [공통된 이해]로 나아가는 것이 중요합니다. 이해관계자는 CBME를 어떻게 정의합니까? CBME 프로그램을 추진하는 원리는 무엇입니까? CFPC 이해관계자는 CBME를 추구하기 위한 근거를 명확히 밝히고, 사회적 책임 있는 의료교육의 원칙에 정착시키는 것이 중요하다고 보았다(Health Canada 2001). 그러나, Triple C를 평가하면서 이해관계자들이 Triple C의 의도된 결과 중 하나에 내재된 핵심 용어인 "종합적 치료comprehensive care"라는 용어에 대해 서로 다른 개념을 가지고 있다는 것이 명백해졌다. 평가는 이 용어가 이해되는 방법에 대한 불일치를 식별하는 데 도움이 되었고, 궁극적으로 CFPC는 포괄적 치료1의 정의를 다듬게 되었다(이 때문에 가정의학 전문가 프로필이 출판되었다; 캐나다 가정의학대학 2018 참조).
It is important to move towards a common understanding of the most fundamental components of your program. How do stakeholders define CBME? What are the principles driving the CBME program? CFPC stakeholders found it vital to articulate the rationale for pursuing CBME, anchoring it in the principles of socially accountable medical education (Health Canada 2001). However, in evaluating Triple C it became apparent that stakeholders held different notions of the term “comprehensive care,” a key term embedded in one of the Triple C intended outcomes (producing family medicine graduates who are confident and willing to deliver comprehensive care). The evaluation helped identify discrepancies in how this term was understood, ultimately leading the CFPC to refine its definition of comprehensive care1 (this has led to the publication of the Family Medicine Professionals profile; see College of Family Physicians of Canada 2018).

팁 6 프로그램의 컨텍스트 이해
Tip 6 Understand your program’s contexts

CBME는 진공 상태에 존재하지 않습니다. 프로그램의 [변화 이론]을 개발할 때 [프로그램과 외부 컨텍스트 사이의 관계]를 성찰하고 문서화하는 것이 중요합니다(Patton 1994; 2008). 외부 맥락에는 [사람, 규제, 경제, 사회, 문화 및 인구 건강 고려 사항]이 포함된다(파우슨 및 틸리 1997; 펀넬 및 로저스 2011; Wong et al. 2012). 이러한 상황별 클러스터의 변경 사항은 CBME 프로그램이 구현되거나 수신되는 방식에 계단식 영향을 미칠 수 있습니다. 표 1은 CBME와 관련된 세 가지 상황별 클러스터의 예를 보여줍니다. 이러한 상황 변화가 프로그램에 어떤 영향을 미치는지 또는 어떤 영향을 미치는지 생각해 보십시오. 동시에 프로그램이 이러한 컨텍스트에 어떤 영향을 미칠 수 있는지 고려하십시오.

CBME does not exist in a vacuum. It will be critical to reflect on, and document, the relationships between your program and external contexts when developing your program’s theory of change (Patton 1994; 2008). External contexts include people, regulatory, economic, social, cultural, and population health considerations (Pawson and Tilley 1997; Funnell and Rogers 2011; Wong et al. 2012). Changes in any of these contextual clusters can have cascading implications on how your CBME program is implemented or received. Table 1 provides examples of three contextual clusters relevant to CBME. Think about how these changing contexts might affect or contribute to your program. At the same time, consider how your program might impact these contexts.

프로그램의 맥락을 이해하면 이해 당사자들이 CBME의 복잡성을 이해하는 데 도움이 됩니다. 이를 통해 프로그램의 변경 이론을 재검토하고 프로그램의 의도된 결과를 재고하는 데 도움이 됩니다. 당신의 프로그램이 합리적으로 예상할 수 있는 것 이상을 달성했다고 주장하는가? 실행 중인 모든 요소를 명확하게 파악하면 프로그램이 원하는 결과를 도출할 수 있는 조건과 상황, 그리고 이러한 결과의 달성을 저해할 수 있는 위험을 이해하는 데 도움이 될 수 있다(예: Van Melle et al. 2017).
Understanding the context of your program helps stakeholders appreciate the complexity of CBME. This will help you reexamine your program’s theory of change and reconsider your program’s intended outcomes. Does your program claim to accomplish more than can be reasonably expected? A clear picture of all the factors at play can help you understand the conditions and contexts within which your program is likely to produce the desired outcomes, and the risks that might inhibit achievement of these outcomes (e.g. Van Melle et al. 2017).

팁 7 어떤 정보를 수집할지 전략적으로 판단하십시오.
Tip 7 Be strategic about what information to gather

앞의 6가지 팁을 통해 생성된 자산 외에도, 평가 질문에 답하기 위해 프로그램에 대해 어떤 정보를 수집할지 결정해야 합니다. 작게 시작하여 측정할 수 있는 것에 대해 현실적이 되도록 하십시오(파우슨과 틸리 1997). [가장 즉각적인 정보 요구]와 [행동을 유도할 정보]에만 집중하십시오.
In addition to the assets generated through the preceding six tips –

• a clear vision, buy-in, and support for that vision,
• stakeholders who are meaningfully engaged,
• a theory of change and logic model,
• substantiated assumptions and a common working language, and
• a thorough understanding of contextual factors –

you will need to make decisions about what information to gather about your program in order to answer evaluation questions. Start small and be realistic about what you can measure (Pawson and Tilley 1997). Focus only on your most immediate information needs and on information that will drive actions.

CBME 프로그램의 프로세스(프로그램이 어떻게 구현되고 있는지)와 성과(프로그램의 결과로 어떤 일이 일어났는지)에 대한 정보를 모두 수집합니다. 측정 프로세스에서 CBME가 어떻게 전달되는지 고려해야 합니다. 구현되는 과정에서 어떻게 진화했습니까? CBME의 핵심 중요 원칙이 유지되었는가? 성과를 살펴볼 때, [프로그램이 어떻게 운영]되고 있는지, [개선에 대한 관심이 어디로 향해야] 하는지에 대한 [가장 직접적인 정보]를 제공할 수 있는 [즉각적인 성과]를 고려하십시오. 동시에 프로그램의 컨텍스트에 대해 알고 있는 내용을 통합하여 보고 있는 내용을 해석할 수 있습니다.

Collect information on both your CBME program’s processes (how your program is being implemented) (Scriven 1991) and outcomes (what has happened as a result of your program) (Scriven 1991). In the measuring process, you will want to consider how your CBME is being delivered. How did it evolve as it was implemented? Were the core critical principles of CBME retained? In looking at outcomes, consider those immediate outcomes that can provide the most direct information about how your program is operating and where attention to improvement should be directed. At the same time, incorporate what you know about your program’s contexts to help interpret what you are seeing.

팁 8 조사 결과에 대한 공유된 이해를 구합니다.
Tip 8 Seek a shared understanding of the findings

개선을 위한 평가의 힘은 이해 당사자들이 조사 결과에 깊이 관여하는 것에서 비롯됩니다(Davidson 2013). 이해 관계자가 데이터 해석을 공유할 수 있는 기회를 제공합니다. 이해관계자가 수집된 정보를 의미 있게 활용할 수 있도록 지원합니다. 데이터에 대한 설명을 제공하고 정보에 응답하기 위한 조치를 제안하도록 권장한다(Torres et al. 1996; Patton 2008). 해석한 것을 공유함으로써 결과에 대한 신뢰를 높이며, 이해관계자가 정보를 사용할 가능성을 높인다(Torres et al. 1996).
The power of evaluation for improvement derives from stakeholders engaging deeply with the findings (Davidson 2013). Provide opportunities for stakeholders to share interpretation of the data. Support stakeholders in making meaning out of the information gathered. Encourage them to offer explanations for the data and to suggest actions to respond to the information (Torres et al. 1996; Patton 2008). Sharing in the exercise of interpretation leads to greater trust in the findings and a greater likelihood that stakeholders will use the information (Torres et al. 1996).

데이터로부터 의미를 만들어내기 위해서는, [이해 당사자들이 평가 팀과 협력]할 수 있는 [공식적이고 비공식적인 기회]가 있어야 한다. 이를 위해서는 누구와, 어떤 목적으로, 언제, 어떻게 어떤 정보를 공유해야 하는지를 보여주는 의사소통 및 파급dissemination 전략의 개발이 필요할 수 있다(Torres et al. 1996; Patton 2008). 이해 관계자의 실제 정보 요구, 통찰력 및 선호도에 따라 커뮤니케이션 전략을 수립해야 합니다. 예를 들어, 평가의 일상적인 운영에 밀접하게 관련된 이해 당사자는 빈번한 비공식 회의에서 나타나는 데이터에 대해 논의할 수 있다. 교수진이나 프로그램 관리자와 같은 다른 이해 관계자의 경우, 조사 결과를 발표하고 대화식 토론에 참여하는 [공식적 리트리트retreat]를 열 수 있습니다. 이러한 접근 방식은 CFPC에서 사용했으며, 새로운 데이터를 기반으로 초기 승리를 수정하고 축하할 수 있는 기회를 제공했다.

There should be formal and informal opportunities for stakeholders to work with the evaluation team to make meaning from the data. This may require the development of a communication and dissemination strategy that maps out which information will need to be shared with whom, for what purpose, when and how (Torres et al. 1996; Patton 2008). You will want to base your communication strategy on stakeholders’ actual information needs, insights and preferences. For example, stakeholders closely involved in the day-to-day operations of the evaluation can discuss data as they emerge at frequent, informal meetings. For other stakeholders, such as faculty or program administrators, you may wish to hold a more formal retreat where you present the findings and engage in an interactive discussion. These approaches were used by the CFPC, providing an opportunity to course correct and celebrate early wins based on emerging data.

팁 9 평가 주기를 일상적인 프로그램 기능에 포함
Tip 9 Embed evaluation cycles into routine program functions

[개선 중심 평가]는 일회성 이벤트가 아닌 지속적인 프로세스입니다. CBME 프로그램의 주체가 되어야 하며 조직의 의사 결정 프로세스 및 주기와 잘 일치해야 합니다. 다음을 통해 CBME 프로그래밍 및 조직에 평가를 구축할 수 있습니다.

• 주요 전략 회의에서 평가 결과를 요약하여 제시합니다.
  
• 평가 결과, 시사점, 조치 및 다음 단계의 평가 우선순위(새로운 질문, 새로운 데이터 수집 또는 지속적인 데이터 수집)에 대해 논의할 [정기적인 기회] 확립
  
• [평가 결과]를 어떻게 [공식적인 프로그램 검토/인정 프로세스에 통합할지]를 검토하기 위한 [표준 절차] 설치.

Improvement-focused evaluation is an ongoing process, not a one-shot event. It must become a mainstay of your CBME program and it should be well aligned with decision making processes and cycles of your organization. You can build evaluation into your CBME programming and your organization by:

• Presenting a summary of evaluation findings at key strategic meetings.
• Establishing regular opportunities to discuss evaluation findings, implications, actions, and the next round of evaluation priorities (new questions, new or continued data collection).
• Embedding standard procedures for considering how or whether to incorporate evaluation findings into formal program review/accreditation processes.

평가 활동과 출력을 기존 프로그램 구조와 주기에 포함시키면 평가를 통해 생성된 귀중한 정보가 의사 결정에 영향을 미치는 데 사용되도록 보장할 수 있다.

Embedding evaluation activities and outputs into existing program structures and cycles will ensure that the valuable information generated through evaluation is used to influence decision-making.

팁 10 프로그램 이상의 결과를 사용할 것을 권장합니다.
Tip 10 Encourage the use of findings beyond your program

평가 결과에는 프로그램 및 조직의 의사 결정 장치 외에도 다른 용도가 있을 수 있습니다. 다중 사용을 인정하고 장려한다(Torres et al. 1996; Preskill and Russ-Eft 2005). 다른 건강 분야, 더 넓은 평가 분야, 그리고 당신의 경험으로부터 교훈을 공유하기 위해 정책입안자들을 찾으세요. 예를 들어, 정부(의학 교육 자금 제공자)는 정보가 자신의 방향과 일치하는 증거를 입증하는 경우 [프로그램 평가의 결과]에 관심이 있을 수 있습니다. 이는 지속적인 프로그램 자금 지원을 협상하는 데 유리할 수 있다. 유사한 목표를 가진 다른 사람들 사이에서 프로그램의 결과에 대한 관심을 불러일으킬 수 있는 방법을 고려하십시오.
Beyond your program and your organization’s decision-making apparatus, there may be other uses for your evaluation findings. Appreciate and encourage multiple uses (Torres et al. 1996; Preskill and Russ-Eft 2005). Seek out counterparts in other health professions, the broader evaluation field, and policymakers to share lessons from your experience. For example, government (funders of medical education) may be interested in the findings of your program evaluation if information demonstrates evidence that aligns with their directions. This could be advantageous in negotiating ongoing program funding. Consider ways to generate interest in your program’s findings among others with similar goals.

다양한 채널을 사용하여 [평가 결과]뿐만 아니라 [평가 프로세스]를 공유합니다. 귀하의 프로그램에 대한 일반적인 논의 범위 밖의 지식 공유 기회(회의, 출판물, 온라인 커뮤니티, 대중 매체)를 고려하십시 (Torres et al. 1996; Preskill and Russ-Eft 2005). 이러한 지식 공유(단계)는 CBME의 [변화 이론]과 [로직 모델]에 내장될 수도 있습니다. CFPC는 트리플 C의 평가에 의해 생성된 데이터를 활용하는 학문적 기여의 증가에 대한 기대된 장기적 결과를 논리 모델에 포함시킴으로써 이를 달성했다. CBME 프로그램 평가의 [결과와 교훈findings and lessons을 공유]하면, CBME의 새로운 방향, 연구 질문 및 혁신이 촉진될 수 있습니다. 이는 개선 지향적 프로그램 평가를 사용하는 근본적인 동기가 될 것입니다. 즉, 이해를 심화시키고 변혁을 촉진하는 것입니다.

Use a variety of channels to share not only your findings but your evaluation process. Consider knowledge sharing opportunities–conferences, publications, online communities, popular media – outside your usual sphere of discussion about your program (Torres et al. 1996; Preskill and Russ-Eft 2005). This knowledge sharing can even be built into your CBME’s theory of change and logic model. The CFPC did this by including in its logic model the expected long-term outcome of an increase in scholarly contributions that leverage data produced by the evaluation of Triple C. Sharing the findings and lessons of your CBME program evaluation will likely foster new directions, research questions, and innovations in CBME. This should be a fundamental motive for using improvement-oriented program evaluation: to deepen understanding and drive transformation.

팁 11 평가 전문가 참여
Tip 11 Enlist an evaluation expert

CBME 프로그램 평가의 계획 및 구현에 도움을 줄 수 있는 [프로그램 평가 전문가]가 있음을 알고 있어야 합니다. 숙련된 평가자는 평가의 모든 단계를 지원하고 다른 관점을 제공할 수 있습니다. [실용 중심 사고방식]에 대해서 관련된 경험(성인 교육, 커리큘럼 설계, 건강 개입 등)을 갖춘 전문 평가자 또는 연구자를 찾습니다(예: UNODC 2013과 같은 외부 평가자 채용에 대한 다양한 지침 참조). 캐나다, 미국 및 국제 협회(Canadian Evaluation Society, American Evaluation Association, International Organization for Cooperation in Evaluation in Evaluation)는 전문 평가자와 여러분을 연결할 수 있습니다.
Know that there are program evaluation specialists that can help with the planning and implementation of a CBME program evaluation. An experienced evaluator can support any of the steps in your evaluation and offer a different perspective. Look for a professional evaluator or researcher with a utilization-focused mindset and relevant experience (in adult education, curriculum design, health interventions, etc.) (refer to various guidelines on hiring external evaluators, e.g. UNODC 2013). Associations in Canada, the U.S., and internationally (Canadian Evaluation Society; American Evaluation Association; International Organization for Cooperation in Evaluation) can connect you with professional evaluators.

적절한 평가자는 다른 맥락에서 평가를 수행한 경험이 있지만 CBME의 세부 사항을 모를 수 있습니다. 이는 괜찮습니다. 외부 관점은 CBME 프로그램에 정보를 제공하기 위해 종합적인 평가의 가능성을 보기 위해 필요한 것입니다.
The right evaluator will have experience conducting an evaluation in different contexts, but they might not know the ins and outs of CBME. This is okay: an outside perspective is often what is needed to see the potential for a comprehensive evaluation to inform your CBME program.

평가자의 오리엔테이션만은 잘 잡아주도록 하십시오. 그들에게 관련 프로그램 문서를 제공하고, 프로그램의 역사, 프로그램의 기능 방법 및 작동 상황을 안내할 수 있는 하나 이상의 "투어 가이드"를 지정한다. 예를 들어 CFPC는 트리플 C의 평가 프레임워크 개발을 돕기 위해 전문 외부 평가자를 고용한 다음 평가의 실행을 지원하고 안내할 내부 직원을 고용했다. 외부 평가자는 이 기사에서 논의된 많은 팁을 통해 CFPC를 지도했으며, 내부 평가 리드(Tip 12 참조)는 프로그램의 평가가 조직의 변화하는 전략적 우선 순위에 따라 최신 상태를 유지하도록 보장합니다.

Just be sure to orient your evaluator well. Provide them with relevant program documentation and designate one or more “tour guides” who can orient them to the history of the program, how it functions and the contexts within which it operates. The CFPC, for example, engaged a professional external evaluator to help develop the evaluation framework for Triple C and then hired a permanent internal staff person to support and guide the implementation of the evaluation. The external evaluator coached the CFPC through many of the tips discussed in this article, and the internal evaluation lead (see Tip 12) ensures that the program evaluation remains current with the organization’s changing strategic priorities.

팁 12 평가 리드 지정
Tip 12 Designate an evaluation lead

다른 문제가 프로그램 리더와 교수진의 주의를 필요로 할 때 프로그램 평가를 간과하는 것은 너무 쉽다. [교육 과정 개선]이 당신의 교육 기관에서 중요시되고 있으면(또한 그래야 한다), CBME 프로그램 평가를 옹호하고 이를 선두에 유지할 수 있는 누군가가 필요할 것입니다. 프로그램 담당자, 외부 평가자, 경영진 및 기타 이해 관계자와 소통하는 역할을 하는 내부 포인트 담당자를 지정합니다. 그들은 프로그램 평가 기능이 적절하고 유용하며 계속해서 가치를 제공하도록 보장하는 임무를 맡게 될 것이다. 그들은 평가와 당신의 프로그램에 정통해야 합니다. 또한 기관 내에서 강력하고 신뢰할 수 있는 목소리, 기관의 CBME 접근 방식 평가의 중요성을 전달할 수 있는 자율성과 노하우가 필요합니다.

It is all too easy to let program evaluation slide when other matters demand the attention of program leads and faculty. If curriculum improvement is valued in your institution – and we argue it should be – then you will need someone to champion CBME program evaluation and keep it at the forefront. Designate an internal point person whose role is to communicate with program personnel, external evaluators, executive team members, and other stakeholders. They will be tasked with ensuring that the program evaluation function remains relevant, useful and continues to provide value. They need to be well versed in the evaluation and in your program. They also need a strong, credible voice within your institution, and the autonomy and know-how to communicate the importance of evaluating your institution’s CBME approach.

결론 Conclusions

CBME는 환자와 의료 시스템의 변화하는 요구에 대응하도록 설계되었습니다. 따라서 CBME 프로그램은 각 기관의 지역적 맥락에 따라 다르게 제공될 것이다. 그러나 이러한 맥락은 정적이지 않고 역동적이다. 이는 의료 교육자들이 프로그램을 조정하고 개선하기 위해 지속적으로 프로그램을 평가하는 것을 중요하게 만든다. 이 기사는 이 혁신의 시대 동안 CBME를 평가하는 데 활용 중심적이고 개선 지향적인 접근 방식이 CBME 구현자들이 변화하는 상황에 대응할 수 있도록 할 것이라고 제안했다. 우리는 의과대학이 학습자와 전체 인구의 요구를 충족시키기 위해 지속적으로 대응하고 관련성을 갖도록 돕는 프로그램 평가의 역할을 하기를 바란다.

CBME is designed to be responsive to the changing needs of patients and the healthcare system. As such, CBME programs will be delivered differently according to each institution’s local contexts – however, these contexts are not static, they are dynamic. This makes it critical that medical educators continuously evaluate their programs with an eye to adjusting and improving their programs. This article has proposed that a utilization-focused, improvement-oriented approach to evaluating CBME, during this era of innovation, will enable CBME implementers to be responsive to their changing contexts. It is our hope that schools of medicine see a role for program evaluation in helping them continue to be responsive and relevant to meet the needs of their learners and the population at large.

 

 

---

Med Teach. 2020 Mar;42(3):272-277.  doi: 10.1080/0142159X.2018.1552783. Epub 2019 Feb 13.

Twelve tips for improvement-oriented evaluation of competency-based medical education

Ivy Oandasan 1, Liz Martin 2, Melissa McGuire 2, Rochelle Zorzi 2

Affiliations collapse

Affiliations

1Division of Academic Family Medicine, College of Family Physicians of Canada, Mississauga, Canada.

2Cathexis Consulting, Toronto, Canada.

PMID: 30757939

DOI: 10.1080/0142159X.2018.1552783

Abstract

The shift to competency-based medical education (CBME) requires a new approach to program evaluation. CBME implementers need to embed evaluation in their programs to ensure their CBME adapts to the changing demands of the healthcare system. This 12 tips paper proposes that those advancing CBME use an improvement-oriented, utilization-focused approach to program evaluation. This will yield information that can help CBME implementers to continually examine the context, process and early outcomes of their programs. The paper uses examples from the College of Family Physicians of Canada's (CFPC's) evaluation of the implementation of the Triple C Competency-based curriculum in family medicine residency programs across Canada. These practical tips will be useful to medical educators looking to integrate evaluation into their CBME programs and to those considering other curriculum reform in health professions education.