CBME의 성과 잡아내기: 요구와 도전(Med Teach, 2021)

CBME의 성과 잡아내기: 요구와 도전(Med Teach, 2021)

Capturing outcomes of competency-based medical education: The call and the challenge
Elaine Van Mellea,b , Andrew K. Halla,c , Daniel J. Schumacherd,e , Benjamin Kinneare , Larry Gruppenf , Brent Thomaa,g , Holly Caretta-Weyerh , Lara J. Cookea,i and Jason R. Franka,j ; On behalf of the ICBME Collaborators 

 

도입
Introduction

CMBE 이니셔티브가 거의 20년 동안 여러 국가에서 시행된 후에도 여전히 의문점은 남아 있다. CBME의 기대한 성과가 달성되고 있습니까?
after CMBE initiatives have been implemented in multiple countries for nearly 20years the question remains: Are the desired outcomes of CBME being achieved?

요구: 성과의 중요성
The call: The importance of outcomes

맥가히(1978)는 [의대에서 가르치는 것]과 [의료 실천에 필요한 것] 사이의 낮은 상관관계를 변화의 근거로 언급하며 CBME의 전반적인 목적은 [졸업하는 의사가 복무하는 모집단의 건강 요구]와 [의학 교육과정]를 정렬하는 것이라고 주장했다. 프랭크 외 연구진(2010)은 [사회적 책무성 원칙]을 적용하면서 '(보건직업 교육의 궁극적 목적은) 국가 내 및 국가 간 보건 형평성을 증진시키는 데 필수적인 고품질 종합 서비스의 보편적 적용범위를 보장하는 것'이라고 설명했다. 비록 CBME 결과를 평가하는 문헌이 증가하고 있지만, 이러한 목표가 달성되고 있다는 것은 아직 입증되지 않았다. 
Citing a low correlation between what is taught in medical schools and what is needed for medical practice as a rationale for change, McGaghie (1978) argued that the overall purpose of CBME was to align the medical curricula and the health needs of the population that graduating physicians serve. Applying the principle of social accountability, Frank et al. (2010) elaborated: ‘The ultimate purpose (of health professions education) is to assure universal coverage of the high-quality comprehensive services that are essential to advance opportunity for health equity within and between countries.’ Although the literature evaluating CBME outcomes is growing, it has not yet been demonstrated that these goals are being achieved. 

일부 연구에서는 CBME가 교육생에게 학습 로드맵을 제공할 수 있다고 제안하지만(Schumacher et al. 2013), [학습자에게 제공되는 피드백이 진정으로 개선되었는지 여부]는 불분명합니다(Marcotte et al. 2019; Tomiak et al. 2020). 역량 기반 시간 가변 훈련 모델이 점점 더 널리 퍼지고 있지만, 적어도 부분적으로는, 시간 가변 훈련이 환자 치료에 미치는 영향 때문에 구현하기가 쉽지 않다. 
Some studies suggest CBME may provide trainees with a road map for learning (Schumacher et al. 2013), but it is unclear if feedback to learners has truly improved (Marcotte et al. 2019; Raaum et al. 2019; Tomiak et al. 2020). Competency-based time-variable training models are becoming more widespread (Andrews et al. 2018; Litwack and Brower 2018; Mejicano and Bumsted 2018), but they remain challenging to implement in part because of the impact of time-variable training on health care systems CBME’s impact on patient care is also unknown. 

CBME의 성과에 대한 문헌은 아직 가장 초기 단계에 있는 것으로 보인다. 요약하자면 해야 할 일이 훨씬 더 많다.
Outcomes literature in CBME, it seems, is in its earliest stages. In sum, there is much more work to be done.

당면 과제: 복잡한 서비스 개입으로서의 CBME
The challenge: CBME as a complex service intervention

보건직업 교육은 효과적인 학습에서 양질의 서비스로, 보건 및 전문 교육을 개선하여 개인, 가족, 지역사회의 안녕에 필수적인 기여를 하는 일련의 사건으로 설명할 수 있다. 이러한 흐름 내에서, 다양한 다운스트림 결과에 [기여할 수도 있고 기여하지 않을 수도 있는] 수많은 투입물input을 포함하는 의료 훈련의 복잡성 때문에, 교육 개입에 따른 결과를 측정하기가 어렵다(Tamblyn 1999). 이러한 어려움은 CBME의 경우에 특히 두드러진다.
Health professions education can be described as a chain of events flowing from effective learning to high-quality services to improved health and professional education, thereby making an essential contribution to the well-being of individuals, families, and communities. Within this flow, it is difficult to measure the outcomes from any educational intervention because of the complexity of medical training, which involves innumerable inputs that may or may not contribute to a variety of downstream outcomes (Tamblyn 1999). This difficulty is particularly salient in the case of CBME.

[시간 경과에 따라 여러 결과를 초래할 수 있는 다중 활동]의 존재가 CBME를 CSI로 인정하게끔 만든다(Holmboe et al. 2017).
The existence of multiple activities, which potentially can lead to multiple outcomes unfolding over time, qualifies CBME as a CSI (Holmboe et al. 2017) where,

(…학습 경험, 교수 방법 및 평가 시스템 등) 모든 커리큘럼 요소는 점점 정교해지는 의료의 연속체에 걸쳐 누적 학습을 촉진하는 방식으로 함께 작동한다. (Van Melle et al. 2017, 페이지 752)
… all curricular elements — learning experiences, teaching methods, and systems of assessment — work together in a way that promotes cumulative learning across the continuum of increasing medical sophistication. (Van Melle et al. 2017, p. 752). 

CSI로서, CBME는 국지적 상황에 대한 개선, 재창조 및 적응이 진행 중인 역동적 시스템으로서 기능한다(Pawson et al. 2005). 예를 들어,

• 각 CBME 프로그램은 서로 다른 수의 임상 교사들을 접할 수 있으며, 이들 모두는 교육에 대한 관심과 전문 지식을 가지고 있다.
• 각 프로그램은 학습자 수와 배경 준비에 있어서도 다릅니다.

As a CSI, CBME functions as a dynamic system where refinement, reinvention, and adaptation to local circumstances are ongoing (Pawson et al. 2005). For example, 

• each CBME program has access to a different number of clinical teachers, all of whom have differing levels of interest and expertise in teaching. 
• Each program differs as well in terms of the number of learners and their background preparation. 

궁극적으로, CBME의 구현에 있어서 어떤 두 개의 프로그램은 결코 완전히 똑같지 않을 것이다.

• 실제로, 특정 설정 내의 조건에 의해 영향을 받는 활동과 자원의 끝없는 조합이 있을 수 있으며, 이 모든 것이 서로 다른 결과를 실현하도록 이끌 수 있다. 상황에 대한 이러한 민감성과 시간에 따른 적응은 CBME와 관련하여 결과를 검토할 때 독특한 문제를 제기한다.

Ultimately then, no two programs will ever be exactly alike in their implementation of CBME.

• In practice, there can be an endless combination of activities and resources, influenced by the conditions within a particular setting, all of which can lead to the realization of different outcomes. This sensitivity to context, and adaptation over time, poses a unique challenge when examining outcomes in relation to CBME. 

역설적으로, 이 문제는 논리 모델을 사용하여 가장 잘 설명된다.

Paradoxically, this challenge is best illustrated by using a logic model.


CBME 로직 모델
A CBME logic model

프로그램 평가에 사용되는 일반적인 도구인 [로직 모델]은 프로그램이 어떻게 작동하는지를, 즉 핵심 활동이 어떻게 작동하여 원하는 결과를 도출하는지를 보여주는 다이어그램입니다(Funnell and Rogers 2011; Van Melle 2016). 우리는 전형적으로 논리 모델이 프로그램의 요소들 간의 논리적이고 선형적인 관계(입력, 활동, 출력, 결과)를 보여주기 위해 사용되기 때문에 '역설적'이라고 말한다.
A common tool used in program evaluation, a logic model is a diagram that shows how a program is thought to work, that is, how key activities work to produce desired outcomes (Funnell and Rogers 2011; Van Melle 2016). We say ‘paradoxically’ because typically logic models are used to show the logical, linear relationship between elements of a program: inputs, activities, outputs, and outcomes.

보다 포괄적인 CBME 논리 모델은 보충 부록 1에 제시되어 있습니다. 초기 논리 모델 설계는 프로그램 활동과 결과 사이의 의도된 연결을 설명하는 데 도움이 될 것입니다. 시간이 지남에 따라, 모형의 세부사항은 프로그램 활동과 결과 사이의 실제 관계를 반영하도록 수정될 수 있다. CSI로서 CBME는 [특정 컨텍스트 내에서 다양한 측면이 조정됨에 따라 지속적인 개선과 타협을 겪을 것]이기 때문에 이는 매우 중요합니다. '블랙박스 개방'으로 설명되는, 프로세스를 결과에 연결하는 것은 교육 개혁 이니셔티브로서 CBME의 잠재성에 대한 강력한 이해를 확보하는 데 있어 중요한 단계이다(Cuban 2013). 따라서, 우리는 CBME 결과를 검토할 때 다음의 6가지 전략을 고려할 것을 제안합니다.
a more comprehensive CBME logic model is provided in Supplementary Appendix 1). An initial logic model design will help to illustrate intended connections between program activities and outcomes. Over time, as evidence is collected, the details of the model may be adapted to reflect the actual relationship between program activities and outcomes. This is critical because CBME, as a CSI, will undergo constant refinement and compromise as various aspects are adapted within specific contexts. Described as ‘opening the black box,’ linking processes to outcomes is a critical step in ensuring that we develop a robust understanding of the potential of CBME as an educational reform initiative (Cuban 2013). Accordingly, we propose that the following six strategies be taken into consideration when examining CBME outcomes.

관심 성과를 명확하게 식별
Clearly identify the outcome of interest

CBME와 관련된 수많은 성과가 있습니다. 이러한 샘플은 논리 모델에 캡처됩니다(그림 1 참조). 그러나 고려할 수 있는 다른 많은 CBME 관련 결과도 있다(Chan et al. 2020). 따라서, [CBME의 어떤 측면이 조사되고 있는지 신중하게 설명]하기 위해서는, 다양한 성과를 검토하는 것이 중요합니다. 예를 들어, CBME의 결과는 가장 먼저 프로그램 관련 변화가 나타나는 등 시간에 민감한 경향이 있다.

• 로직 모델에서 '근위proximal' 성과로 분류되는 이러한 결과는 프로그램 활동과 직접 관련이 있는 경향이 있으며 결과를 검토할 때 합리적인 출발점을 제공한다.
• 시간이 지남에 따라 [프로그램 변화가 누적]되면서 [시스템 전반에 걸쳐 더 많은 변화]가 나타나기 시작합니다.
• 이 모멘텀은 더 광범위하거나 많은 '원위distal' 성과를 조사할 수 있는 기반을 제공하여, CBME를 환자 치료 결과 향상과 인구 건강 요구 충족에 궁극적으로 연결할 수 있는 능력을 제공합니다. 

There are numerous outcomes affiliated with CBME. A sample of these is captured on the logic model (see Figure 1). There are many other CBME-related outcomes, however, that can also be considered (Chan et al. 2020). So, it is important when examining outcomes to carefully articulate which aspects of CBME are under investigation. For example, outcomes in CBME tend to be time sensitive, with program-related changes being the first to appear.

• Identified as ‘proximal’ on the logic model, these outcomes tend to be directly related to program activities and provide a reasonable starting point when examining outcomes.
• Over time, as program changes accumulate, more system-wide changes begin to emerge.
• This momentum paves the way for the examination of broader or more ‘distal’ outcomes and provides the capacity to ultimately connect CBME to enhanced patient care outcomes and meeting population health needs. 

산출물output과 성과outcome의 구별
Distinguish between outputs and outcomes

CBME의 영향을 평가할 때 산출과 성과를 구분하는 것이 중요하다.

• 성과는 CBME의 결과로 야기된 주요 이해관계자들의 행동, 관계 및 행동의 변화를 설명하는 것이다(Earl. et al. 2001).
• 산출은 CBME의 구성요소가 진행 중이거나 구현되었음을 나타내는 지표이다(Frye와 Hemmer 2012).

When evaluating the impact of CBME, it is important to distinguish between outcomes and outputs.

• Outcomes are a description of the changes in the behavior, relationships, and/or actions of key stakeholders brought about as a result of CBME (Earl et al. 2001).
• In contrast, outputs are indicators that a component of CBME is underway or has been implemented (Frye and Hemmer 2012).

비록 산출 지표는 프로그램 구현의 설명에 중요하지만, CBME의 영향과 관련한 결론을 도출하기는 어렵다.
Although output indicators are important for the description of program implementation, they do not allow conclusions to be drawn regarding the impact of CBME.

[교수개발]은 CBME(Hall et al. 2019; Sirianni et al. 2020)를 구현하기 위한 중요한 구성요소이므로, 이를 위한 활동 수준(세션 수와 유형, 참석 교수 수 등)을 포착하는 것이 중요하다. 그러나 이는 산출에 해당하고, 산출을 기술하더라도 교수개발 이니셔티브의 실제 성과, 즉 실무가 실제로 변경되는 정도에 대해 알려주지는 않는다. CBME를 설명하기 위해 출력 데이터가 필요하지만, CBME 구현이 성공적으로 달성되었는지 여부를 판단하려면 산출 데이터가 성과 데이터와 함께 제공되어야 합니다. 
Faculty development is important component of implementing CBME (Hall et al. 2019; Sirianni et al. 2020), so capturing the level of activity dedicated to this (number and type of sessions, number of faculty attending, etc.) is valuable. However, describing these outputs does not allow us to say anything about the actual outcome of these faculty development initiatives, that is, the extent to which practice is actually changed. Although output data are necessary to describe CBME, they must be accompanied by outcomes if we are to determine whether CBME implementation has been successfully achieved. 

귀인 대 기여를 신중하게 고려합니다.
Carefully consider attribution versus contribution

CSI의 결과를 측정할 때 가장 큰 문제는 귀인과 기여를 구분하는 것이다. 

• 귀인은 행동과 결과 사이에 직접적인 인과 관계가 있다고 가정하고 개인이 그 결과에 대해 책임지는 정도를 판단하려고 한다(Schumacher, Dornoff, et al. 2020).
• 기여는 다른 여러 변수들도 그 성과와 연결될 수 있는 특정 조치가 그 결과에 미치는 정도를 고려한다(Van Melle et al. 2017).
• 귀인 분석은 개인의 수행능력과 성과를 판단할 수 있는 풍부한 정보를 제공하는 반면,
• 기여 분석은 조사examination결과에 영향을 미치는 무수한 요소들을 신중하게 기술하고 예상할 수 있게 한다. 

A major issue when measuring outcomes of CSIs is distinguishing between attribution and contribution.

• Attribution assumes that there is a direct causal link between an action and an outcome and seeks to determine the extent to which an individual is responsible for that outcome (Schumacher, Dornoff, et al. 2020).
• In contrast, contribution considers the degree to which a particular action influences a particular outcome where several other variables can also be connected to that outcome (Van Melle et al. 2017).
• Analysis of attribution therefore provides rich information on which to judge individual performance and outcomes, whereas
• analysis of contribution allows for a careful delineation and anticipation of the myriad of factors influencing the outcome under examination. 

[귀인 (분석)]의 사례로, 슈마허 외 연구진(2018)은 소아응급과에서 일하는 전공의가 환자에게 퇴원 지침을 제공하는 주된 책임이 있음을 발견했다. 따라서 한 전공의가 여러 환자에 걸쳐서 이 활동을 완료하는 정도를 결정하는 것은 [개별 전공의의 성과에 대한 높은 충실도의 통찰력]을 제공한다.

반면, 전공의가 [정신건강 문제가 있는 환자를 치료할 수 있는 능력을 가지고 졸업하는 정도]를 검토하는 것은 아마도 수많은 기여 요인을 가지고 있을 것이다.

• 개인 수준(예: 전공의를 효과적으로 훈련할 시간과 관심을 가진 정신 건강 관리 기술을 보유한 교수진, 레지던트 프로그램에 정신 건강 교육이 존재하는지 확인하는 것을 중요시하는 프로그램 리더)
• 프로그램 수준(예: 레지던트 커리큘럼에서 정신 건강 불만이 있는 환자를 돌보는 데 있어 의미 있고 종적인 훈련 경험) 및
• 시스템 수준(예: 정신건강 문제가 있는 환자를 돌볼 자원과 인력을 보장하는 기관 지도자)

As an example of attribution, Schumacher et al. (2018) have found that residents working in the pediatric emergency department are primarily responsible for providing discharge instructions to patients. Thus, determining the extent to which they complete this activity across patients provides high-fidelity insight into the performance outcomes of individual residents. On the other hand, examining the extent to which residents graduate with the ability to provide care for patients presenting with mental health concerns probably has a myriad of contributing factors at the

• individual level (e.g. faculty with mental health care skills with the time and interest to effectively train residents, program leaders who value ensuring that mental health training exists in the residency program),
• program level (e.g. meaningful and longitudinal training experiences in caring for patients with mental health complaints in the residency curriculum), and
• systems level (e.g. institutional leaders who ensure resources and personnel to care for patients with mental health concerns are present).

[기여 분석]을 통해 조사 대상 성과에 영향을 미치는 수많은 요인에 대한 신중한 설명과 예상을 할 수 있을 것이다(Van Melle et al. 2017). 
A contribution analysis would allow for the careful delineation and anticipation of the myriad of factors influencing the outcome under examination (Van Melle et al. 2017). 

귀인 또는 기여 관점을 선택할 것인지에 대한 결정은 간단하거나 명확하지 않습니다. 귀인과 기여는 보완 개념으로 보아야 한다(Sebok-Syer et al. 2018). 
The decision about whether to select an attribution or a contribution perspective is seldom simple or clear. attribution and contribution should be viewed as complementary concepts (Sebok-Syer et al. 2018). 

구현의 충실성 및 무결성에 결과 연결
Connect outcomes to fidelity and integrity of implementation

[성과 평가]는 [구현의 충실도]를 측정하지 않고 완료될 수 없다. (계획된 프로토콜에도 불구하고) 환자 특성과 실제로 어떤 약물이 투여되었는지 문서화해야 하는 임상시험과 유사하게, 측정 전에 [CBME 구현에 대한 명확하고 명확한 설명]이 필요하며, 결과에 대한 결론을 도출해야 한다. 예를 들어, 2013년 연구에서는 역량 기반 커리큘럼이 의료 실무에 더 잘 준비된 졸업생을 배출하지 않는다고 결론지었다(Kerdijk et al. 2013). 그러나 교육 과정의 15%만이 역량 개발에 전념했고, 교육이나 학습에는 큰 변화가 없었다는 점을 고려할 때, 이 연구가 실제로 CBME 커리큘럼의 연구로 분류될 수 있을지는 의문이다. 
Outcomes evaluation is not complete without measurement of the fidelity of implementation. Analogous to clinical trials, in which it is imperative todocument patient characteristics and what drug was actu-ally given (despite planned protocols), clear and explicitdescriptions of CBME implementations are needed beforemeasurements are taken and/or conclusions are drawnregarding outcomes. For example, a 2013 study concludedthat competency-based curricula do not produce graduateswho are better prepared for medical practice (Kerdijk et al.2013). Given, however, that only 15% of the curriculum was devoted to competency development and there were not any significant changes to teaching or learning, it isquestionable if this research could actually be classified asa study of a CBME curriculum. 

그러나 프로그램이 CBME의 모든 필수 구성 요소(예: 달성된 충실도)를 구현했을 수 있지만 CBME의 진정한 의도(예: 달성된 무결성)를 여전히 실현하지 못했을 수도 있다는 점도 유의해야 합니다.
It is also critical to note, however, that a program may have implemented all of the required components of CBME (e.g. achieved fidelity) but may still not have realized the true intention of CBME (e.g. achieved integrity).

즉, 충실도는 모든 프로그램에 의해 입증되었지만, [이행의 무결성(즉, CBME 원칙이 존재한 정도)]은 매우 가변적이었다. 이상적으로는 CBME를 제안된 결과에 정확하게 연결하기 위해 [구현의 충실성]과 [구현의 무결성]을 모두 평가해야 합니다.
In other words, fidelity was demonstrated by all programs, but the integrity of implementation (i.e. the degree to which the principles of CBME were present; Patton 2016) was highly variable. Ideally, then, we should evaluate both the fidelity and integrity of implementation to ensure we are accurately connecting CBME to proposed outcomes.

따라서, 우리는 결과 평가 노력에 참여하는 저자들이 [커리큘럼, 평가, 프로그램 구조와 과정에 대한 상세한 설명]을 포함하도록 장려한다. 단순히 '우리는 CBME를 구현했고, 여기에 일어난 일이 있다'고 말하는 것은 적절하지 않다. [구현의 맥락]과 [구현 자체의 세부사항을 명확하게 설명]하는 평가 전략은 더 효과적이고 일반화될 수 있으며, 의미 있는 적응을 가져올 가능성이 더 높다(Hall et al. 2020). 

Accordingly, we encourage authors engaging in outcome evaluation efforts to include detailed descriptions of their curricula, assessments, and program structure and processes. It is not adequate to simply state ‘we implemented CBME and here is what happened.’ Evaluation strategies that clearly describe the context of implementation and the details of the implementation itself will be more impactful and generalizable and will more likely result in meaningful adaptation (Hall et al. 2020). 

예상치 못한 결과에 주의를 기울이기
Pay attention to unanticipated outcomes

활동의 다양성과 잠재적 상호작용을 감안할 때, [예상치 못한 창발적 결과]가 CSI의 특징이다. 따라서 CBME의 영향을 조사할 때 예상치 못한 결과에 주의를 기울이는 것이 특히 중요합니다. 
Given the multiplicity of activities and their potential interactions, emergent, unanticipated outcomes are a feature of a CSI. Therefore, paying attention to unexpected outcomes is particularly salient when examining the impact of CBME. 

이러한 주제를 반영하여, 최근 보고서는 CBME 평가 과정의 결과로 경험한 행정적 부담에 대한 일부 전공의들의 고민을 강조하였고, 나아가 이러한 대응을 전공의 웰니스에 대한 잠재적인 부정적 영향과 연관시켰다. 실제로, 이정표를 강조하면 엄청난 수의 평가가 이루어질 수 있다는 가능성에 대해서는 문헌에서 언급하였다(Norman et al. 2014). 이러한 새로운 우려에 주의를 기울이고 신속하게 대응하는 것은 CBME 결과를 검토하는 데 있어 중요한 측면입니다. 
Echoing this theme, a recent report highlighted some residents’ distress over the administrative burden they experienced as a result of the CBME assessment process and, furthermore, linked this response to a potential negative impact on resident wellness . Indeed, the potential that an emphasis on milestones might lead to an overwhelming number of assessments has been noted in the literature (Norman et al. 2014). Paying attention and responding quickly to these emergent concerns is an important aspect of examining CBME outcomes. 

그러나 예기치 못한 결과도 본질적으로 긍정적일 수 있다는 점에 유의해야 한다. 예를 들어 그리피스 외 연구진(2019)은 가정의학 프로그램에서 CBME를 구현하면 교수진의 교수 참여가 예상외로 향상된다는 사실을 발견했다. 예기치 못한 결과가, 본질적으로 긍정적이든 부정적이든 중요한 점은, 종종 연구 설계의 사소한 요소라는 것이다(Patton 2010).

It should be noted, however, that unanticipated outcomes can also be positive in nature. For example, Griffiths et al. (2019) found that implementation of CBME in a family medicine program unexpectedly enhanced engagement of faculty in teaching. Whether unanticipated outcomes are positive or negative in nature, the important point is that they are often a token element of a research design (Patton 2010).

방법론적 다원주의를 수용하다.
Embrace methodological pluralism

전통적으로, [무작위 통제 시험]은 의학 연구 방법론의 황금률로 칭송받고 있다. 이 표준에 반하여, '교육 연구는 (다른 과학이 신약 개발에 관여하는 것과 같은 방식으로) 실천의 기준으로 의존하기에는 너무 부드럽고, 질척거리고, 신뢰할 수 없으며, 부정확한 것으로 간주된다' (Berliner 2002, 페이지 18). 그러나 Berliner(2002)가 설명했듯이, 지역적 조건의 강력한 영향과 교육 개입에서 어디서나 볼 수 있는 무수한 상호작용은 우리의 [좁은 방법론적 도구상자 밖에서 생각해야 할 필요성]을 만들어낸다. 

Traditionally, the randomized controlled trial is hailed as the gold standard of research methodology in medicine. Against this standard, ‘educational research is considered too soft, squishy, unreliable, and imprecise to rely on as a basis for practice in the same way that other sciences are involved in … developing new drugs’ (Berliner 2002,p. 18). As Berliner (2002) goes on to describe, however, the powerful influence of local conditions and the myriad of interactions ubiquitous in educational interventions create an imperative for thinking outside of our narrow methodological toolbox.

다시 말해, CSI의 경우, 민족지학, 사례 연구, 설문 조사, 시계열 및 디자인 연구와 같은 다양한 방법을 수용해야 합니다. 이 연구는 단일 방법을 촉진하기 보다는 특정 맥락에서 어떤 메커니즘이 결과로 이어지는지를 검토하는 데 초점을 맞춰야 한다(Pawson et al. 2005; Regehr 2010; Hazi et al. 2013). 단일 방법에서 명시적이고 포괄적인 서술로 강조점을 이동하면 복잡성 조건에서 실현된 결과에 대한 귀중한 통찰력을 제공하는 데 필요한 연구인 혁신적 종합 연구를 수용할 수 있다(Pawson et al. 2005; Rycroft-Malone et al. 2012; Baxter et al. 2014). 

In other words, in the case of CSIs, we should be embracing a multitude of methods, such as ethnography, case studies, survey research, time series, and design research, to name a few. Rather than promoting a single method, this research should focus on generating a rich understanding of examining which mechanisms lead to outcomes within specific contexts (Pawson et al. 2005; Regehr 2010; Haji et al. 2013). Moving the emphasis away from a single method to creating explicit and comprehensive descriptions will allow us to embrace innovative synthesis studies, the kinds of studies required to provide valuable insights into outcomes realized under conditions of complexity (Pawson et al. 2005; Rycroft-Malone et al. 2012; Baxter et al. 2014). 

---

복잡한 서비스 개입은 다음과 같이 정의됩니다. 여러 상호 작용 구성 요소를 사용한 개입입니다.

Complex Service Intervention is defined as: An intervention with several interacting components.

복잡성의 차원은 다음과 같습니다.
The dimensions of complexity include:

   실험 및 관리 개입 내의 성분 간 및 교호작용 수입니다.
   Number of and interactions between components within the experimental and control interventions.

   개입을 전달하거나 받는 사람이 요구하는 행동의 수와 어려움.
   Number and difficulty of behaviors required by those delivering or receiving the intervention.

   개입의 대상이 되는 그룹 또는 조직 수준 수입니다.    Number of groups or organizational levels targeted by the intervention.

   결과의 수와 변동성.
   Number and variability of outcomes.

   허용되는 개입의 유연성 또는 맞춤화 정도입니다.
   Degree of flexibility or tailoring of the intervention permitted.


프로그램 평가는 다음과 같이 정의됩니다. 의사결정을 위한 프로그램의 품질에 대한 체계적인 조사.
Program Evaluation is defined as: The systematic investigation of the quality of programs for the purpose of decision-making.


논리 모델은 다음과 같이 정의됩니다. 프로그램 구성 요소가 함께 작동하여 의도된 결과를 생성하는 방법을 보여주는 일반적인 시각적 도구입니다.
Logic Model is defined as: A common visual tool that illustrates how the program components should work together to produce intended outcomes.

역량 기반 의료 교육은 다음과 같이 정의됩니다. 의사가 근본적으로 대학원 결과 능력을 지향하고 사회적 및 환자 요구 분석에서 도출된 역량을 중심으로 조직되는 실무 준비를 위한 접근 방식입니다. 시간 기반 교육을 강조하지 않고 책임, 유연성 및 학습자 중심성을 향상시킵니다.

Competency-based Medical Education is defined as: An approach to preparing physicians for practice that is fundamentally oriented to graduate outcome abilities and organized around competencies derived from an analysis of societal and patient needs. It de-emphasizes time-based training and promises greater accountability, flexibility, and learner-centeredness. 

 

Griffiths J, Dalgarno N, Schultz K, Han H, Van Melle E. 2019. Competency-based medical education implementation: are we transforming the culture of assessment? Med Teach. 41(7):811–818. 

Morcke AM, Dornan T, Eika B. 2013. Outcome (competency) based education: an exploration of its origins, theoretical basis, and empirical evidence. Adv Health Sci Educ Theory Pract. 18(4):851–863. 

Patton MQ. 2016. What is essential in developmental evaluation? On integrity, fidelity, adultery, abstinence, impotence, long-term commitment, integrity, and sensitivity in implementing evaluation models. Am J Eval. 37(2):250–265. 

 

---

Med Teach. 2021 Jun 12;1-7.

 doi: 10.1080/0142159X.2021.1925640. Online ahead of print.

Capturing outcomes of competency-based medical education: The call and the challenge

Elaine Van Melle 1 2, Andrew K Hall 1 3, Daniel J Schumacher 4 5, Benjamin Kinnear 5, Larry Gruppen 6, Brent Thoma 1 7, Holly Caretta-Weyer 8, Lara J Cooke 1 9, Jason R Frank 1 10, ; On behalf of the ICBME Collaborators

Affiliations collapse

Affiliations

• 1Royal College of Physicians and Surgeons of Canada, Ottawa, Canada.
• 2Department of Family Medicine, Queen's University, Kingston, Canada.
• 3Department of Emergency Medicine, Queen's University, Kingston,Canada.
• 4Division of Emergency Medicine, Cincinnati Children's Hospital Medical Center, Cincinnati, OH, USA.
• 5Department of Pediatrics, University of Cincinnati College of Medicine, Cincinnati, OH, USA.
• 6Department of Learning Health Sciences, University of Michigan, Ann Arbor, MI, USA.
• 7Department of Emergency Medicine, University of Saskatchewan, Saskatoon, Canada.
• 8Department of Emergency Medicine, Stanford University School of Medicine, Palo Alto, CA, USA.
• 9Department of Clinical Neurosciences, Division of Neurology, Cumming School of Medicine, University of Calgary, Calgary, Canada.
• 10Department of Emergency Medicine, University of Ottawa, Ottawa, Canada.

• PMID: 34121596
• DOI: 10.1080/0142159X.2021.1925640AbstractKeywords: Curriculum; evaluation; general; learning outcomes; management; medical education research; outcome-based; patient management.
• There is an urgent need to capture the outcomes of the ongoing global implementation of competency-based medical education (CBME). However, the measurement of downstream outcomes following educational innovations, such as CBME is fraught with challenges stemming from the complexities of medical training, the breadth and variability of inputs, and the difficulties attributing outcomes to specific educational elements. In this article, we present a logic model for CBME to conceptualize an impact pathway relating to CBME and facilitate outcomes evaluation. We further identify six strategies to mitigate the challenges of outcomes measurement: (1) clearly identify the outcome of interest, (2) distinguish between outputs and outcomes, (3) carefully consider attribution versus contribution, (4) connect outcomes to the fidelity and integrity of implementation, (5) pay attention to unanticipated outcomes, and (6) embrace methodological pluralism. Embracing these challenges, we argue that careful and thoughtful evaluation strategies will move us forward in answering the all-important question: Are the desired outcomes of CBME being achieved?