기여분석을 통해 CBME 프로그램 평가하기: 견고한 사고방식의 문제(Acad Med, 2017)

기여분석을 통해 CBME 프로그램 평가하기: 견고한 사고방식의 문제(Acad Med, 2017)

Using Contribution Analysis to Evaluate Competency-Based Medical Education Programs: It’s All About Rigor in Thinking

Elaine Van Melle, PhD, Larry Gruppen, PhD, Eric S. Holmboe, MD, Leslie Flynn, MD, MEd, Ivy Oandasan, MD, MHSc, and Jason R. Frank, MD, MAEd, for the International Competency-Based Medical Education Collaborators

CBME가 타당한 교육원칙과 교육적 실천의 진보에 기초하고 있음에도 불구하고, 우리는 그것이 (전통적인 관행에 비해서) [궁극적으로는 환자 결과를 개선하는 데 기여하는지 여부는 말할 것도 없고], 오늘날의 의료 환경에 더 잘 준비된 의사를 생산하는지 여부에 대한 증거가 거의 없다.

Despite the fact that CBME is founded on sound educational principles and advancements in educational practice,15 we have little evidence regarding whether, relative to traditional practices, it produces physicians who are better prepared for today’s practice environments, let alone whether it ultimately contributes to improved patient outcomes.

복잡한 서비스 개입으로서 CBME

CBME as a Complex Service Intervention

CBME의 특징은 모든 커리큘럼 요소가 증가하는 의학적 복잡성의 연속체를 따라 누적 학습을 촉진하는 방식으로 함께 작용한다는 것이다.4,17

A hallmark of CBME is that all curricular elements work together in a way that promotes cumulative learning along the continuum of increasing medical sophistication.4,17

CBME의 또 다른 특징은 프로그램 활동에서 비롯되는 다양한 결과이다. 이러한 결과는 

• 주로 프로그램 활동과 관련된 근접 단기 성과

• 다양한 요인으로부터 발생하는 원거리 시스템 성과 (전공의 교육을 포함할 수 있지만 여기에 국한되지 않는다.)

...로 분류될 수 있다. 

Another feature of CBME is the variety of outcomes stemming from program activities, these outcomes can be categorized as proximal shorter-term outcomes primarily associated with program activities, and distal system- wide outcomes resulting from a variety of factors, which can include but are not limited to residency education.

이러한 원거리 영향은 Kirkpatrick 모델18에서 설명한 네 번째 수준 또는 "결과"와 동등하며, 종종 달성하고 평가하기가 가장 어렵다.

These distal impacts are equivalent to the fourth, or “results,” level described in the Kirkpatrick model18 and as such are often the most challenging to attain and evaluate.

List 1.

CBME는 복잡한 서비스 개입으로 이해될 수 있습니다.16 복잡성이라는 조건 하에서, 구성요소는 다양한 조합으로 상호작용하여, 매번 서로 다른 결과가 나타나게 한다. 자녀 양육은 "한 아이를 기르는 것은 경험을 제공하지만 다음 아이의 성공을 보장하지는 않는다"는 점에서 이런 종류의 복잡성을 보여준다. 19(p9) 그리고, 부모-자녀 상호작용이 발달의 중심에 놓여있는 것과 마찬가지로 유능한 의사가 되기 위한 레지던트의 발전의 핵심에는 교수와 레지던트의 상호작용이 있다.

CBME can be understood as a complex service intervention.16 Under conditions of complexity, components interact in different combinations, leading to the emergence of different outcomes. Child rearing might be said to exemplify this kind of complexity, in that “raising one child provides experience but is no guarantee of success with the next.”19(p9) And, just as parent–child interactions lie at the heart of the development of the child toward adulthood, so too are the interactions between faculty and a resident at the heart of the resident’s progress toward becoming a competent physician.

비록 부모들은 전형적으로 가족 시스템에 주요한 영향을 끼치지만, 다른 요소들도 아이의 성장에 영향을 준다. CBME에서도 유사한 복잡성이 작용한다: 레지던트와 교수의 상호작용과 같은 여러 요인들이 레지던트의 역량 개발에 영향을 미친다(그림 1 참조). 또한 모든 학습 상황에 있어 각 레지던트는 자기조절적 학습자로서 CBME에 engage하는 고유한 경험과 능력을 갖는다. 동시에 각 교수는 이러한 이질성에 대응하는 각자의 능력을 가지고 있다.22 모든 복잡한 시스템과 마찬가지로, 가장 중요한 것은 CBME 개입 내의 개인들 간의 상호작용의 퀄리티이다.23

Although the parents typically exert the main influence in a family system, other factors also shape a child’s development. A similar complexity is at work in CBME: Multiple factors such as faculty interactions with residents influence residents’ development of competence (see Figure 1), and to any learning situation, each resident brings unique experiences and his or her own capacity to engage in CBME as a self-regulated learner.20,21 At the same time, each faculty member also has a unique ability to respond to this heterogeneity.22 As with any complex system, it is the quality of the interaction between the individuals within the CBME intervention that is most critical.23

Complex service intervention에서 맥락은 또 다른 핵심 요인이다. 레지던트들이 달성해야 할 역량은 동일하지만, 맥락화된 학습 경험과 교수와의 상호작용은 역량 확보에 필요한 구체적인 궤적에 영향을 미친다.25. 결과적으로, 어떤 두 개의 CBME 프로그램도 정확히 같지 않을 것이고, 이것은 CBME 프로그램을 평가하는 것을 더욱 어렵게 만들 것이다.

Context is another key aspect of complex service interventions.25 although residents are expected to achieve the same competencies, their contextualized learning experiences and interactions with faculty influence the specific trajectory required to attain competence. Consequently, no two CBME programs will ever be exactly alike, which makes evaluating CBME programs all the more challenging.

CBME 프로그램 평가의 과제: 기여 대 귀인

Challenges in CBME Program Evaluation: Contribution Versus Attribution

CBME를 평가하려면 사고방식의 변화가 필요하다.26 우리는 "목표는 쉽게 합의되고 정확하게 측정될 수 있으며, 그 원인과 효과를 잘 설명할 수 있는" 전통적인 접근방식에서 벗어날 필요가 있다.28

Evaluating CBME requires a change in mind-set.26 We need to move away from a traditional approach, in which “goals are easily agreed upon and can be precisely measured, and the cause and effect are well described,”27(p980) toward an appreciation that multiple possible pathways contribute to the achievement of program goals.28

귀인 분석

Attribution analysis

전통적으로 귀인 분석은 프로그램 평가에 사용되어 왔다(표 1 참조).29 이 접근법은 상대적으로 [빠르게 달성할 수 있는 명확한 목표를 가지고 있는 재현 가능한 개입]에 효과적이었다. 이러한 조건이 충족되면 프로그램 활동과 성과 사이의 직접적인 인과관계를 추론할 수 있다. 실증주의적 실험 방법은 귀인 분석에 가장 자주 사용되며, 비교 그룹과 무작위화에 의존하여 특정 결과 변수에 초점을 맞추고 "원하지 않은" 변수를 그룹 사이에 균등하게 분산시킵니다.

Traditionally, attribution analysis has been used for program evaluation (see Table 1).29 This approach has worked well for reproducible interventions with clearly definable objectives that can be achieved relatively quickly. When these conditions are met, a direct causal relationship between the program activity and outcome may be inferred. Positivist experimental methods are most often used with attribution analysis; these rely on comparison groups and randomization to focus on a specific outcome variable and distribute “unwanted” variables evenly among groups.

그러나 복잡성의 조건하에서는 성공의 길이 너무 복잡하여 사전in advance에 설명할 수 없다. 변수를 통제하는 것이 매우 어려운데, 왜냐하면 변수를 통제한다는 것은 상황에 관계없이 개입(학습 경험 및 커리큘럼)이 일관되고 재현가능한지 확인하는 작업이기 때문이다. 결과적으로, 통제와 예측가능성에 의존하는 기존의 환원주의적 방법은 프로그램 영향에 대한 의미 있는 이해를 생성하는 데 불충분해진다. 복잡성complexity의 조건에서는 "수행된 활동과 관찰된 결과 사이의 모든 연속체와 광범위한 연결과 관계"를 살펴봐야 한다. CA가 바로 그러한 접근방식을 제공한다.

Under conditions of complexity, however, the path to success is so involved that it cannot be articulated in advance.30 Controlling for variables is extremely challenging, as is the task of ensuring that interventions (learning experiences and curricula) are consistent and reproducible regardless of context. Consequently, traditional reductionist methods that rely on control and predictability tend to be inadequate in generating meaningful understanding of program impacts.27,28,31,32 Under conditions of complexity an approach is needed that examines the “full continuum and range of degrees of connection and relationship between the activities undertaken and the results observed.” 26(p376) CA provides such an approach.

기여 분석

Contribution analysis

CA에서, 평가에서 제기된 핵심 질문은 "프로그램이 관찰된 결과에 얼마나 많은 차이(또는 기여)를 만들어냈습니까?"이다. CA를 시행함에 있어 중요한 과제는 프로그램이 어떻게 그리고 왜 구현되었는지를 완전히 이해할 수 있도록 프로그램 구현의 "블랙박스"를 여는 것이다. 프로그램이 어떻게 그리고 왜 구현되었는지를 이해하는 것이 영향경로를 설명하는 데 도움이 될 것이다. 영향경로impact pathway란, [프로그램 활동]과 [예상 결과] 사이의 연계에 대한 가정을 기술하기 위하여, 이론으로부터 이끌어내는 경로이다.

In CA, the key question posed in evaluation is “How much of a difference (or contribution) has the program made to the observed outcomes?”31(p54) In undertaking CA, a critical task is to open up the “black box” of program implementation33 to ensure a full understanding of both how and why the program has been implemented.34 Understanding the both how and why will help us to describe an impact pathway: that is, a pathway that draws from theory to articulate the assumptions underlying the linkages between the program activities and expected outcomes. 

영향경로는 "변화의 이론"을 설명하는 방법이다. CA는 이 "변화의 이론"을 검증하기 위해 사용되며, "논리 및 이용 가능한 증거를 가지고, 이 경로를 확인해주거나 교정을 제안하며, 그러한 과정에서 실체가 드러난다". CA의 최종 결과는 특정 상황에서 프로그램이 어떻게 생겼는지, 어떻게 차이를 만들었는지, 그 이유는 무엇인지를 명확히 설명하는 강력하고 신뢰할 수 있는 contribution story를 만드는 것이다.

The impact pathway is a way to describe the “theory of change”; CA is used to test this theory “against logic and evidence available … and either confirms or suggests revisions … where reality appears otherwise.”31(p54) The end result is a robust and credible contribution story that provides a clear description of what a program looks like in a particular context, how it has made a difference, and why.

CA를 수행하려면 사고의 엄격함rigor in thinking이 최우선 관심사가 되는 사고방식이 필요하다(표 1 참조).26,35 rigor in thinking이란, 다양한 프로그램 활동 간의 연관성, 근위부 및 원위부 결과와의 관계, 그러한 관계의 기저에 깔린 기본적 가정에 대한 타당한 설명을 제공하는 능력을 의미한다. 그것은 다양한 이론들로부터 가정을 설명하는 방법을 이끌어낼 능력을 수반한다. 

Undertaking a CA requires a mind-set in which rigor in thinking becomes an overriding concern (see Table 1).26,35 By rigor in thinking, we mean the ability to provide a plausible description of the linkages between multiple program activities, their relationship to proximal and distal outcomes, and the underlying assumptions informing those connections. It entails the capacity to draw from different theories in articulating assumptions. 

연구 결과를 설명할 때, 엄밀한 사고방식rigor in thinking은 원래 틀을 벗어나 여러 가설을 고려할 수 있는 능력을 필요로 하며, 영향 경로 내에서 추론이 강하거나 약할 수 있는 위치를 식별할 수 있어야 한다.31,36 (CA에서도) 방법론의 엄격함rigor in methodology는 여전히 중요하지만, 그보다는 다양한 정보원에서 정보를 수집하는 데 초점을 맞추고 있으며, 이 정보들은 프로그램 활동이 관찰된 결과를 어떻게 유도하는지에 대한 해석에 도움을 준다. 사실, 복잡성의 상태에 따라, contribution story는 특정 맥락 안에서 몇 번에 걸쳐 반복적으로 이루어져야 할 수도 있다. 다음 섹션에서는 이러한 CA를 CBME에 어떻게 적용할 수 있는지 설명합니다.

In explaining findings, rigor in thinking requires the ability to consider multiple hypotheses beyond the original framing, as well as to identify where inferences may be stronger or weaker within the impact pathway.31,36 Rigor in methodology remains important, but focuses on collecting information from a variety of sources that shed light on the interpretation of how the program activities lead to observed outcomes.31 In fact, in keeping with the condition of complexity, it is expected that the contribution story will require several iterations to unfold within a particular context. In the following section we consider how such a CA could be applied to CBME.

CA를 CBME에 적용하기

Applying CA to CBME

CA는 정부 프로그램의 시행을 단순히 감시하는 관례를 벗어나는 방법으로 처음 개발되었다.

CA was first developed as a way to move past the practice of simply monitoring the implementation of government programs

CA는 평가에 대한 이론-기반 접근법으로 묘사되어왔으며, Mayne는 CA가 복잡성의 조건 하에서 신뢰할 수 있는 인과관계를 주장 할 수 있는 체계적인 방법을 제공한다고 제안하였다.

CA has been described as a theory-based approach to evaluation,38 and Mayne39 proposes that it provides a systematic way to make credible causal claims under conditions of complexity.

CA는 아직 의학교육에 적용되지 않았지만, [복수의 인과관계 주장을 엄격하고 신뢰할 수 있는 방식으로 검토해야 하는] 주요 커리큘럼 혁신 평가에 강력한 접근방식이 될 수 있다는 것이 제안되었다.

Although CA has not yet been applied to medical education, it is suggested that it can be a powerful approach to evaluating a major curriculum innovation for which multiple causal claims must be examined in a rigorous and credible fashion.27,35

CBME의 잠재적 변화 이론(그림 2 참조).

potential theory of change for CBME (see Figure 2).

1단계: 해결해야 할 원인 및 결과 문제 해결

Step 1: Set out the cause-and-effect issue to be addressed

• CBME가 복잡한 서비스 개입임을 인식하고, 이에 따라 기여와 귀인의 문제를 수용하는 것(표 1 참조)은 CA 수행에 있어 중요한 첫 번째 단계입니다. 

• 그 다음 과제는 CBME가 구현된 특정 설정에서 원하는 CA의 초점과 범위를 결정하는 것이다. 

• [특정 기관의 맥락에서의 CBME의 구현에 다른 영향요인이 어떻게 작용할 수 있는가를 명확하게 밝히는 것]은 이 개괄적인 논의의 중요한 부분이다.

• Acknowledging that CBME is a complex service intervention, and accordingly embracing the question of contribution versus attribution (see Table 1), is a critical first step in conducting a CA. 

• The challenge then is to determine the desired focus and scope of the CA in a particular setting where CBME has been implemented. 

• Clearly articulating how other influencing factors may shape the implementation of CBME in a particular institutional context is an important part of this opening discussion.

2단계: 가정된 변화 이론 개발

Step 2: Develop a postulated theory of change

CA의 핵심 과제는 CA의 초점과 범위를 포착하는 theory of change을 설명하는 것입니다. 여기서 어려운 점은 관심 결과에 가장 큰 영향을 미칠 수 있는 요인을 식별하고 강조하는 것이다. 근위부 및 원위부 결과가 시간적 선후관계 방식으로 배열되는 result chain은 theory of change의 백본을 형성한다.33,34

A central task in CA is to illustrate a theory of change that captures the focus and scope of the CA. The challenge is to identify and highlight factors that are most likely to influence the outcomes of interest. The results chain, in which the proximal and distal outcomes are arranged in a temporal fashion, forms the backbone of the theory of change.33,34

그림 2는 모든 CBME 프로그램에 맞춰 조정할 수 있는 일반 모델을 제공합니다.

Figure 2 provides a generic model that can be adapted to any CBME program.

성과를 프로그램 활동에 연결하는 것은 결과result 체인의 또 다른 중요한 요소이다. 이는 CBME 프로그램이 구현될 때 발생할 수 있는 예상 산출물을 설명하는 output box(그림 2)에 나와있다.

Linking the outcomes to program activities is another critical element of the results chain. This is captured by the outputs box of Figure 2, which describes the anticipated products that should arise as the CBME programis implemented—

따라서, [프로그램 성과] 또는 [성과와 연결된 예상 산출물]을 명확히 하는 것도 결과 사슬을 형성하는데 중요한 측면이다.

Therefore, articulating program outputs, or the anticipated products that lead to outcomes, is also an important aspect of forming a results chain.

변화 이론을 완성하려면 결과와 산출물에 대해 예상되는 가정과 위험을 설명해야 한다. 이것을 기술하는 것은 CBME 분야와 관련된 여러 이론에 근거해야 하며, 다양한 이해관계자의 가정을 반영하면서 쉽게 resonate해야 한다.34 CBME는 여러 이론들이 프로그램 활동의 기초가 되기 때문에 특히 어려울 수 있습니다.15,45

To complete the theory of change, the assumptions and risks anticipated for the outcomes and outputs should be described. The statements should be grounded in theories related to the CBME field and reflect and readily resonate with various stakeholder assumptions.34 This can be particularly challenging in CBME, where multiple theories underlie program activities.15,45

차트 1은 가정과 위험을 알리는 데 사용할 수 있는 가이드의 예입니다(그림 2 참조). 차트 1에서 

• 가정(오른쪽 열)의 목록은 CBME가 작동하는 이유를 설명하기 위해 행동 이론을 가리킵니다. 

• 위험(왼쪽 열)은 프로그램이 구현된 방법 또는 구현 이론과 관련이 있습니다. 

Chart 1 is an example of a guide that may be used to inform the assumptions and risks (see Figure 2). In Chart 1, 

• the list of assumptions (right-hand column) points toward theories of actions to explain why CBME works. 

• The risks (left-hand column) relate to how the program was implemented or the implementation theory. 

또한 프로그램이 가정과 위험을 통제할 수 있는 정도까지 주의를 기울여야 한다(그림 2의 legend 참조).

Attention must also be paid to the extent to which the program has control over the assumptions and risks (see Figure 2’s legend).

프로그램 이론(또는 theory of change의 요약을 제공하는 가장 중요한 문구)은 이 프로세스의 토대이다31

The program theory, or the overarching statement that provides a summary of the theory of change, is a grounding feature of the process31

3단계: 기존 증거 수집

Step 3: Gather existing evidence

3단계에서 초점은 논리와 이용 가능한 증거를 가지고 theory of change 을 시험하는 것이다. 광범위한 증거를 모을 수 있다. 핵심은 구체적인 증거가 무엇이며, 무엇이 가장 필요한지를 결정하는 것입니다.

In Step 3, the focus is to test the theory of change against logic and available evidence. A wide range of evidence could be gathered, and so the key is to determine where concrete evidence is available and is most needed.

그림 2에서 다음 질문 중 하나가 증거 수집의 초점을 형성할 수 있다.

in Figure 2 any one of the following questions could form the focus for gathering evidence.

1. 역량으로 발전하는 개별 레지던트의 경로는 어떻게 보이는가?

2. CBME와 관련된 커리큘럼 활동(예: 학습 경험, 교수 방법, 평가 시스템)은 이러한 경로의 개발에 어떻게 기여하는가?

3. 이러한 경로가 practice 시작 시 역량 개발에 어떻게 기여했는가?

4. 이러한 능력은 어느 정도까지 지역 인구의 건강 요구에 부합하는가?

5. 역량과 환자관리성과 사이의 관계는 무엇입니까?

1. What do pathways look like for individual residents as they progress toward competence?

2. How do the curricular activities (e.g., learning experiences, teaching methods, assessment systems) associated with CBME contribute to the development of these pathways?

3. How have these pathways contributed to the development of competence upon entry to practice?

4. To what extent are these competencies aligned with the health needs of the local population?

5. What is the relationship between the competencies and patient care outcomes?

이러한 질문은 

• 프로그램 프로세스(예: 프로그램이 의도한 대로 구현되었는가)— 질문 1과 2

• 프로그램 성과(예: 프로그램의 영향은 무엇이었습니까?—질문 3, 4, 5

를 모두 다루고 있다.

These questions cover both program processes (e.g., Was the program implemented as intended?—See questions 1 and 2) as well as outcomes(e.g., What was the impact of the program?—See questions 3, 4, and 5).

CA는 특정한 근위부 및 원위부 결과를 달성하는 과정에서 [프로그램이 어떻게 차이를 만드는지]에 대한 이야기를 하기 위해 복수의 근거 출처(예: 정량적, 정성적, 이전 연구 또는 문헌)에 의존한다.

CA relies on multiple sources of evidence (e.g., quantitative, qualitative, a review of previous studies or the literature) to tell the story of how a program is making a difference to achieve specific proximal and distal outcomes.

단계 4: 기여 스토리 구성하기

Step 4: Assemble the contribution story

이용 가능한 증거를 사용하여 이제 기여 스토리가 모일 수 있다. 1~3단계를 따랐다면, 신뢰할 수 있는 기여 스토리는 다음의 요소를 갖춰야 한다

Using the available evidence a contribution story can now be assembled. In keeping with Steps 1 to 3, a credible contribution story contains the following elements31(p87):

• 컨텍스트를 철저히 기술한다.

• 변화 이론이 타당하다.

• 활동, 결과 산출물 및 관찰된 성과를 잘 기술한다.

• 변경 이론의 핵심 링크를 뒷받침하는 증거가 제시되며, 여기에는 장점과 단점에 대한 논의도 포함된다.

• 분석 결과가 설명된다.

• 기타 영향 인자에 대해 논의한다.

• the context is thoroughly described;

• the theory of change is plausible;

• activities, resulting outputs, and observed outcomes are well described;

• the evidence behind the key links in the theory of change is presented, including a discussion of the strengths and weaknesses;

• the results of the analysis are explained; and

• other influencing factors are discussed.

그러한 이야기를 만드는 것은 체인의 어떤 연결고리가 강력한 증거에 의해 지지되고 어떤 연결고리가 약한지를 판단하는 데 도움이 된다.

Creating such a story helps to determine which links in the chain are supported by strong evidence and which may be weak.43,44,48

5단계: 추가 근거 찾기

Step 5: Seek out additional evidence

기여 스토리를 조립할 때, 이해를 증진시키거나 변화 이론의 특정한 연계를 강화하기 위해 더 많은 데이터가 필요하다는 것이 명백해질 수 있다. 전체적인 목표는 기여 스토리의 신뢰성을 향상시키는 것이기 때문에, 결과의 삼각측량은 매우 중요하다. 명백하게, 4단계와 5단계를 모두 수행하는 과정에서 변화이론이 수정될 수 있다. 실제로, 변화 이론을 만드는 것은 언제나 [프로그램 활동과 결과에 대한 지속적인 이해를 가능하게 하는 지속적이고 반복적인 과정]으로 보아야 한다.

In assembling the contribution story, it may become apparent that more data are needed to improve understanding or to strengthen certain linkages of the theory of change. Because the overall goal is to improve the credibility of the contribution story, triangulation of findings is an important consideration. In undertaking both Steps 4 and 5, it may also become apparent that the theory of change needs to be revised. Indeed, creating a theory of change should always be viewed as an ongoing, iterative process allowing for an ever-deepening understanding of program activities and outcomes.

6단계: 기여 스토리의 수정 및 강화

Step 6: Revise and strengthen the contribution story

이 새로운 증거를 사용하면 더 강력한 기여 스토리를 만들 수 있다. 실제로 바람직한 CA의 전체 프로세스는 3단계에서 6단계까지의 반복적 접근 방식이다. 

Using this new evidence, a stronger contribution story can be created. Indeed, the entire process of CA is best used as an iterative approach in which Steps 3 to 6 are seen as an ongoing cycle

CA를 이용한 프로그램 평가에 대한 접근법은 일회성 활동이 되어서는 안 되며, 그보다는 시간이 지나면서 펼쳐지는 이야기를 제공하기 위한 것이어야 한다. 실제로 한번에 모든 인과적 요인을 검토하는 것은 너무 어려울 수 있다.36 때로는 프로그램이 1년 또는 그 다음 해에는 요인 중 하나를 탐구하는 데 초점을 맞추는 것이 보다 실현 가능하여 전체적인 기여 이야기를 만들 수 있다. 특히 CBME의 경우와 같이 전반적 변화 이론이 복잡한 경우에 CA를 실행할 때는 다수의 작고 집중적인 평가를 수행하는 것이 바람직할 수 있다.

The approach to program evaluation using CA is not intended to be a one-off activity; rather, it is meant to provide a story that unfolds over time. Indeed, experience suggests that it may be too challenging to examine all causal factors at once.36 At times, it may be more feasible for a program to focus on exploring one of the factors one year and another the following year, thereby creating an overall contribution story. When the overall theory of change is particularly complex, as may be the case with CBME, conducting a number of smaller, focused evaluations may be a preferable approach when conducting a CA.31

시작하기

Getting Started

다른 이론 기반 접근방식과 달리 CA에서의 변화이론은 이해관계자의 가정을 명확히 포착해야 한다.27 따라서, CA는 (특히 시작 단계에서) 여러 이해관계자 간의 숙의와 의견 일치에 의존한다35,36 따라서 CBME를 구현하려는 사람은 초기 단계에서부터 이 과정에 참여해야 한다.

Unlike other theory-based approaches (e.g., realistic evaluation), CA requires that the theory of change clearly capture stakeholders’ assumptions.27 Consequently, CA relies on deliberation and consensus building among multiple stakeholders, particularly at the inception phase.35,36 Thus, it is recommended that those implementing CBME be engaged in this process at the outset.26,29

CBME에서 CA 의 중요성

 The Importance of CA to CBME

CBME는 복잡한 서비스 개입으로서 활동, 결과 및 이론을 연결하는 접근 방식인 평가에 대한 다른 접근 방식을 필요로 합니다. 이 접근법의 가장 중요한 도전은 변화 이론을 개발하고 이 이론을 논리와 이용 가능한 증거에 반하여 검증하는 것이다.

As a complex service intervention, CBME requires a different approach to evaluation: an approach that links activities, outcomes, and theory. The central challenge of this approach, is to develop a theory of change and then test this theory against logic and available evidence.

따라서 CA를 수행할 때 복수의 가설과 경로를 고려하는 능력과 함께 사고의 정밀성이 기초가 된다. 또한 CA는 increasing sophistication of practice의 포착을 목적으로 하고, 복잡한 정보를 통합하는 능력을 핵심 기술로 하는 현재의 프로그램 평가 경향과도 일치한다.52

Accordingly, in conducting a CA, rigor in thinking, together with the ability to consider multiple hypotheses and pathways, becomes foundational. CA is also consistent with current directions in program evaluation that aim to capture the increasing sophistication of practice51 and for which the ability to integrate complex information is becoming a key skill.52

필요한 전문 지식, 경험 및 노력의 수준을 감안할 때, CA를 수행하는 것이 모든 상황에서 실현 가능한 것은 아니라는 점을 인정하는 것이 중요합니다.

Given the level of expertise, experience, and effort required, it is important to acknowledge that undertaking a CA may not be feasible in every situation.

35 Moreau KA, Eady K. Connecting medical education to patient outcomes: The promise of contribution analysis. Med Teach. 2015;37:1060–1062. XXX

---

Acad Med. 2017 Jun;92(6):752-758. doi: 10.1097/ACM.0000000000001479.

Using Contribution Analysis to Evaluate Competency-Based Medical Education Programs: It's All About Rigor in Thinking.

Van Melle E1, Gruppen L, Holmboe ES, Flynn L, Oandasan I, Frank JR; International Competency-Based Medical Education Collaborators.

Author information

1

E. Van Melle is senior education scientist, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada, and clinician-educator, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada. L. Gruppen is professor, Department of Learning Health Sciences, University of Michigan Medical School, Ann Arbor, Michigan. E.S. Holmboe is senior vice president, Milestones Development and Evaluation, Accreditation Council for Graduate Medical Education, Chicago, Illinois. L. Flynn is vice dean of education, Faculty of Health Sciences, Queen's University, Kingston, Ontario, Canada, and clinician-educator, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada. I. Oandasan is director of education, College of Family Physicians of Canada, Mississauga, Ontario, Canada, and professor, Department of Family and Community Medicine, University of Toronto Faculty of Medicine, Toronto, Ontario, Canada. J.R. Frank is director, Specialty Education, Strategy, and Standards, Office of Specialty Education, Royal College of Physicians and Surgeons, Ottawa, Ontario, Canada.

Abstract

Competency-based medical education (CBME) aims to bring about the sequential acquisition of competencies required for practice. Although it is being adopted in centers of medical education around the globe, there is little evidence concerning whether, in comparison with traditional methods, CBME produces physicians who are better prepared for the practice environment and contributes to improved patient outcomes. Consequently, the authors, an international group of collaborators, wrote this article to provide guidance regarding the evaluation of CBME programs.CBME is a complex service intervention consisting of multiple activities that contribute to the achievement of a variety of outcomes over time. For this reason, it is difficult to apply traditional methods of program evaluation, which require conditions of control and predictability, to CBME. To address this challenge, the authors describe an approach that makes explicit the multiple potential linkages between program activities and outcomes. Referred to as contribution analysis (CA), this theory-based approach to program evaluation provides a systematic way to make credible causal claims under conditions of complexity. Although CA has yet to be applied to medicaleducation, the authors describe how a six-step model and a postulated theory of change could be used to examine the link between CBME, physicians' preparation for practice, and patient care outcomes.The authors argue that adopting the methods of CA, particularly the rigor in thinking required to link program activities, outcomes, and theory, will serve to strengthen understanding of the impact of CBME over time.

PMID:

 

28557934

 

DOI:

 

10.1097/ACM.0000000000001479