개인, 팀, 프로그램의 교육성과 평가를 위한 기여와 귀인의 힘(Acad Med, 2020)

개인, 팀, 프로그램의 교육성과 평가를 위한 기여와 귀인의 힘(Acad Med, 2020)
The Power of Contribution and Attribution in Assessing Educational Outcomes for Individuals, Teams, and Programs
Daniel J. Schumacher, MD, MEd, Eric Dornoff, Carol Carraccio, MD, MA, Jamiu Busari, MD, PhD, MHPE, Cees van der Vleuten, PhD, Benjamin Kinnear, MD, MEd, Matthew Kelleher, MD, MEd, Dana R. Sall, MD, MEd, Eric Warm, MD, Abigail Martini, and Eric Holmboe, MD

우리는 너무 반사적으로 역설들을 분리시킴으로써, 우리가 이 습관 때문에 지불하는 대가를 놓치고 있다. 역설의 극poles은 배터리의 극과 같습니다: 그들을 서로를 잡아주고, 생명의 에너지를 생성한다. 그들을 떼어 놓으면, 전류가 흐르지 않게 됩니다.
We split paradoxes so reflexively that we do not understand the price we pay for our habit. The poles of a paradox are like the poles of a battery: hold them together, and they generate the energy of life; pull them apart, and the current stops flowing.

—파커 파머1
—Parker Palmer1

CBME의 인기에도 불구하고, 우리가 서비스하는 모집단의 요구를 충족시키는 결과에 초점을 맞춘 이 접근방식으로의 의미 있는 전환은 어려운 일이었다. 간단히 말해서, 의료연수생에 대한 평가는 일반적으로 방어 가능한 타당성과 신뢰성이 부족하고 교육 및 환자 치료 결과에 대한 정보는 기껏해야 제한적이기 때문에 졸업생들이 교육 후 임상 실무에 대비할 준비가 되어 있는지 신뢰할 수 없다. 이 문제는 교육, 훈련 및 실천 연속체에 만연해 있으며, 의학연구소(현재의 국립 의학 아카데미)와 메디케어 지급 자문 위원회는 환자의 요구를 충족시키는 데 있어 레지던트 교육의 단점을 한탄하고 있다. 
However, despite the popularity of CBME, meaningful transition to this approach, which focuses on the outcome of meeting the needs of populations that we serve, has been challenging. Stated simply, we do not reliably know if graduates are prepared for clinical practice after training because assessment of medical trainees typically lacks defensible validity and reliability, and information on education and patient care outcomes is limited at best. This problem is pervasive across the education, training, and practice continuum, and the Institute of Medicine (now the National Academy of Medicine) and the Medicare Payment Advisory Commission have bemoaned the shortcomings of residency training in meeting the needs of patients.10,11 

의료 교육 프로그램 결과 및 실습 결과에 대한 이해와 개선을 확대하려면

• 진료 및 프로세스의 일부 측면이 개인에게 귀속될attributed to 수 있는 방법을 결정해야 하는 반면,
• 진료 및 프로세스의 다른 측면은 결과에 기여하는 여러 개인의 결과이다. 

Greater understanding and improvement in the area of medical education program outcomes as well as practice outcomes will require 

• determining how some aspects of care and processes can be attributed to individuals,
• whereas other aspects of care and processes are the result of several individuals contributing to the outcome.

그러나, 오직 후자만이 최근 문헌의 개념적 논의에서 초점을 받았다.
However, only the latter has received focus in recent conceptual discussions in the literature.

학자들은 최근 의료 교육 프로그램의 효과와 결과를 의미 있게 평가하기 위한 접근법으로서 [기여 분석contribution analysis]을 지지해왔다. 특히 CBME에서처럼, [결과를 생산하기 위해 여러 요소들이 어떻게 결합되어야 하는지를 결정하는 것이 중요한] 복잡한 이니셔티브에서의 기여 분석에 초점을 맞추고 있다. '기여contribution'은 서로 다른 실체가 결과에 기여하는 정도가 얼만큼인지에 주목한다. 그러나 어떻게 결과가 생성되는지에 대한 [전체 기여 스토리]에는 [개인에 기인하는 요소]가 포함되어 있는데, 개개인마다 결과에 미치는 영향의 정도가 다르다. 예를 들어 치료를 받기 위해 응급부서로 계획되지 않은 상태로 최근에 퇴원한 환자는 간호사가 제공한 퇴원 지침을 이해하지 못했거나, 주치의로부터 퇴원 지침을 받지 못했을 수 있다. 이 예에서 [개인(예: 간호사, 전공의)에 귀속attribute되는 활동]이 [환자 결과에 기여contribute]하기 위해 결합된다.
Scholars have recently advocated for contribution analysis as an approach to meaningfully evaluate the effectiveness and outcomes of medical education programs,12,13 especially for complex initiatives for which it is important to determine how several components must come together to produce an outcome, such as those of CBME.14 Contribution focuses on the extent to which different entities contribute to an outcome. However, the full contribution story for how an outcome is produced contains components that can be attributed to individuals that have varying degrees of influence on producing that outcome. For example, a recently discharged patient with an unplanned return to the emergency department to seek care may not have understood the discharge instructions given by the nurse or may not have received any discharge guidance from the resident physician. In this example, activities that are attributable to individuals (e.g., nurse, resident) combine to contribute to the outcome for the patient.

이 예에서 알 수 있듯이, 보건의료는 팀워크의 결과이며, 이것이 기여 분석contribution analysis이 제대로 주목을 받은 이유일 가능성이 높습니다. 그러나 [개인에게 귀속attribute되는 의료의 측면]에 초점을 맞추고, 개인에게 [팀 성과와 관련된 데이터]를 제공하는 것 또한 가치가 있다.

• 본 논문의 일부 저자의 최근 연구는 전공의-민감적 품질 측정을 작업하였다. 이러한 품질 측정은 [특정 질병에 대한 중요성]과 [팀 또는 팀의 다른 구성원이 아닌 전공의에 의해 측정되는 행동]의 가능성에 기초한다. 따라서 [전공의-민감적resident-sensitive 품질 측정]은 개인에게 귀속되는 치료 결과를 다룰 수 있는 노력의 한 예이다.

As this example illustrates, health care is the result of teamwork, which is likely why contribution analysis has rightly received attention. However, focusing on aspects of care attributed to individuals and providing these individuals with data related to their performance on the team also have value.

• Recent work by some authors of this paper has resulted in the creation of resident-sensitive quality measures. These quality measures are based on their importance to a specific illness as well as the likelihood of the action that is measured being performed by a resident and not by another member of the team or the team collectively. Thus, resident-sensitive quality measures are an example of an effort that can address outcomes of care attributable to individuals.15,16 

이러한 조치들은 아직 연구 중이지만, 개인이 제공하는 의료의 입증된 품질에 기초하여 부분적으로 제공되는 진료를 보상하려는 (성과 기반 인센티브 지급 시스템(메디케어 및 메디케이드 서비스 센터(CMS) 프로그램)과 같은) 관리 의료 지급 모델의 현재 추세를 감안할 때 잠재적 효용성을 가지고 있다. 게다가, 개인에게 집중하는 것이 개인의 발전을 이끄는 가장 효과적인 방법일 수도 있다. 또한, [개인 수준의 피드백]이 없다면, 부정적 결과에 대한 자신의 책임은 간과하고, 긍정적 결과에 대해서만 기여를 했다고 생각하는 편견인 [근본적인 귀인 오류]의 희생양이 되기 쉽다.

While these measures are still being studied, they have potential utility given current trends in managed care payment models, such as the Merit-based Incentive Payment System, a program of the Centers for Medicare and Medicaid Services (CMS), that seek to reimburse for care provided partly on the basis of the demonstrated quality of that care provided by individuals. Furthermore, focusing on individuals may be the most effective way to drive their personal improvement.17,18 Additionally, without individual-level feedback, it is easy to fall prey to fundamental attribution error, a bias to view oneself as responsible for positive outcomes but not for undesirable ones.19 

[프로그램 및 시스템 수준의 결과]는 미래의 [프로그램 평가와 프로그램 수준 개선]에 정보를 준다는 점에서 중요하지만, 우리는 [개개인]에 대해 졸업, 인증, 자격 증명 등을 판단해야 하(거나 할 수 있으)며, 개인에 의해 제공되는 입증된 의료 품질에 기초한 관리 의료 지급 모델(예: CMS 성과 기반 인센티브 지급 시스템)을 사용해야 할 수도 있다. 이 경우에 팀 차원의 인증이나 인증과 같은 프로세스를 수행하는 것은 실용적이지 않습니다. 이러한 노력은 팀 구성원이 바뀔 때마다 하루에 여러 번 새로운 결정을 내려야 합니다. 따라서 개인의 성과를 결정determine할 수 있는 능력이 중요하다. 요약하자면, 기여Contribution에 초점을 맞추는 것도 중요하지만, 의료의 어떤 측면이 개인에게 크게 귀속되는지에Attributed to 대해서도 초점을 맞출 필요가 있습니다.
While program- and system-level outcomes are important for informing program evaluation and program-level improvements for the future, we can and should graduate, certify, and credential individuals, and we may be required to use managed care payment models—such as the CMS Merit-based Incentive Payment System—that are based on demonstrated quality of care provided by individuals. It is not practical to carry out processes such as certifying or credentialing at the team level; such efforts would require new decisions several times a day, each time a team member changed. Thus, it is important to be able to determine an individual’s performance. In summary, while a focus on contribution is important, we also need to focus on what aspects of care can be largely attributed to individuals.

만약 우리가 비문에 인용된 파커 파머의 비유를 가까운 주제에 적용한다면, 우리는 귀인attribution과 기여contribution를 전지의 두 극으로 볼 수 있다. 두 가지 모두를 고려해야만, 우리는 [개인뿐만 아니라 팀과 프로그램에 대한 의료 교육의 결과에 대한 이해]에 요구되는 충분한 전압을 생성할 수 있다. 그러나, 우리가 [기여 분석]에만 초점을 맞추는 방식으로, "기여 분석contribution analysis을 위한 귀인 분석attribution analysis에서 벗어나기"와 같은 최근의 담론만 쫓는다면, "전류의 흐름이 중단될current stops flowing" 위험이 있다. 즉, 의학교육에서 [개인 수준]과 [프로그램 수준]의 결과를 모두 고려하지 못하게 되는 것이다.

If we apply Parker Palmer’s analogy,1 quoted in the epigraph, to the topic at hand, we can see attribution and contribution as the 2 opposite poles of a battery. By considering both, we can generate sufficient voltage to power the understanding of outcomes in medical education for individuals as well as for teams and programs. However, if we follow the recent conversation in the medical education literature, which has focused solely on contribution analysis and advocated “moving away from attribution analysis in favor of contribution analysis,”12 there’s a risk that the “current stops flowing” to consideration of both individual- and program-level outcomes in medical education. 

인용한 파머의 말은 "'그리고and'의 힘"에 있다. 즉, 기여와 귀인이 분석에 가져오는 이익을 모두 인정하고, 전체를 부분의 합보다 더 크게 만든다. 기여 분석에 대해 저술한 사람들은 다른 목적을 위한 귀속에 초점을 두는 것이 가능할 수도 있다. 그러나 귀속attribution이 [귀속-기여 연속체]에서 갖는 역할뿐만 아니라, [개인에 대한 귀속의 역할]을 명확하게 정의하는 것은 두 가지 이유로 중요하다: [귀인의 잠재력을 최대한 실현]하고, [귀인을 투명하게 만들기 때문]이다.
Heeding the words of Palmer relies on the “power of ‘and,’” that is, seeing the benefit that both contribution and attribution bring to analysis, making the whole greater than the sum of its parts. It is possible, perhaps even likely, that those who have written about contribution analysis also value a focus on attribution for different purposes. However, we believe that explicitly defining the role of attribution for individuals, as well as its role in the attribution-to-contribution continuum, is important for 2 reasons: realizing the full potential of attribution and making attribution transparent. 

프로그램 및 팀에 집중: 기여도 분석
Focusing on Programs and Teams: Contribution Analysis

[기여 분석]은 2001년에 시민 프로그램과 그들이 달성하고자 하는 결과를 질적으로 평가하는 수단으로 등장했다. 기여도 분석을 개발한 존 메인은 그 당시 변화하는 공공 행정 문화가 시민 프로그램의 결과에 대한 더 큰 책임을 요구한다고 느꼈다. 그는 [기여 분석]이 "관리자, 연구원 및 정책 입안자들로 하여금, [특정 결과에 대한 그들의 프로그램에 대한 기여도에 대한 결론]을 도출하는 데 도움을 줄 수 있다"고 생각했다. 최근 몇 년 동안, 그리고 CBME의 지속적인 추진력은 의료 교육 프로그램의 결과에서 책임에 대한 유사한 요구를 보아왔다. 이러한 상황은 의학교육학자들이 주장해온 바와 같이 [기여분석]을 이러한 목적에 매우 적합하게 만든다.
Contribution analysis emerged in 2001 as a means of qualitatively evaluating civic programs and the outcomes they are seeking to achieve. John Mayne, who developed contribution analysis, felt that the changing culture of public administration at the time required greater accountability for the outcomes of civic programs.20 He thought that contribution analysis could help “managers, researchers, and policymakers to arrive at conclusions about the contribution their program has made to particular outcomes.”20 Recent years, and the continued momentum of CBME, have seen similar calls for accountability in the outcomes of medical education programs.2–4,21 These circumstances make contribution analysis an excellent fit for this purpose, as medical education scholars have advocated.12

현실 세계는 [복잡한 특성]을 갖고 있으며, 이는 결과에 많은 영향을 미치는 요인이 다양함을 의미한다. 기여 분석의 목적은 [개별 실체가 전체 결과에 영향을 미치는 정도]를 결정하는 것이다.22 이 분석에서, 관심 결과의 동인 결정에 일정한 수준의 불확실성이 존재할 것으로 가정한다. 표 1과 같이, 메인은 [기여 분석의 6단계]를 설명한다.

• (1) 해결해야 할 원인 문제를 설명한다. 
  
• (2) 가정된 기여 이론을 개발하고 그 이론에 대한 위험을 확인한다. 
  
• (3) 기여이론을 뒷받침하기 위해 기존의 증거를 수집한다. 
  
• (4) 기여 스토리contribution story 및 쟁점을 평가한다. 
  
• (5) 추가 증거를 찾는다. 
  
• (6) 기여 스토리contribution story을 개정, 강화한다. 

The complex nature of the real world means there are many influences on an outcome. The goal of contribution analysis is to determine the extent to which individual entities affect an overall outcome.22 In this analysis, it is assumed there will be a given level of uncertainty present in the determination of the drivers of the outcomes of interest. As shown in Table 1, Mayne describes 6 steps in contribution analysis12,20:

• (1) set out the causal problem to be addressed,
• (2) develop the postulated theory of contribution and identify risks to the theory,
• (3) gather the existing evidence to support the theory of contribution,
• (4) assess the contribution story and the contestations to it,
• (5) seek out additional evidence, and
• (6) revise and strengthen the contribution story.

다음 절에서 자세히 설명한 바와 같이, 표 1은 이러한 단계를 프로그램 결과의 기여, 개별 결과의 귀속 및 CBME의 기여와 귀속 사이의 상호작용 결정에 적용할 수 있는 방법을 추가로 설명한다.
As detailed in the next section, Table 1 further delineates how these steps can be applied to determining the contribution of program outcomes, the attribution of individual outcomes, and the interactions between contribution and attribution in CBME.

 

 

개인에 초점을 맞춥니다. 속성 분석
Focusing on Individuals: Attribution Analysis

[기여 분석 프로세스]는 [귀속 분석]을 정의하는 데도 사용될 수 있다. 귀속 분석은 [상당부분이, 전적으로 개인에게 귀속되는 활동에 대한 증거적 주장을 구축]하기 위한 분석이다. 실제로, 메인은 기여 분석을 개념화하는 과정에서 [기여contribution는 개별 실체에 귀속될attributed 수 있는 것으로부터 시작된다]는 주장을 펼쳤다. 분명히, [귀속은 기여 이야기의 일부]인 것처럼 보인다. (결과가 어떻게 생산되었는지에 대한) [전체 기여 스토리]는 [그 결과를 만들어내는 과정에서 다양한 수준의 영향을 미친 개인, 활동 및 실체]를 포함한다. 

We believe that the contribution analysis process can be used to define attribution analysis as well, seeking to build an evidentiary argument for what activities can be largely or entirely attributed to individuals. Indeed, in his conceptualizations of contribution analysis, Mayne made the case that contribution begins with what can be attributed to individual entities; clearly, attribution is seen to be a part of the contribution story.20,23 The full contribution story of how an outcome is produced includes individuals, activities, and entities to whom varying degrees of influence in producing that outcome are attributed.

그러나 의대 교육에서 기여도 분석을 적용하는 논의는 attribution보다는 contribution를 중시하는 이분법에 가까웠다. 이러한 경향은 [CBME 프로그램의 결과에 초점]을 맞추는 경향 때문일 수 있다. 앞에서 논의한 바와 같이, 우리는 귀속과 기여에 대한 대화를 의학교육을 위한 "둘 중 하나either, or"가 아닌 "둘 다both, and"로 본다. 두 렌즈 모두 원하는 초점에 따라 매우 유용할 수 있다. 실제로, 메인은 귀속과 기여 사이의 연속체를 개념화했습니다.

However, discussions of applying contribution analysis in medical education have approached contribution and attribution as more of a dichotomy, advocating contribution over attribution.12,24 This tendency may be because of the focus on outcomes of CBME programs. As discussed previously, we view this conversation of attribution and contribution as a “both, and” rather than an “either, or” for medical education; both lenses can be very useful, depending on the desired focus. Indeed, Mayne conceptualized a continuum between attribution and contribution.

마인의 귀속-공헌 연속체
Mayne’s attribution–contribution continuum

그의 초기 연구에서, 메인은 "활동activity"이 점차적으로 더 원거리적인 세 가지 유형의 결과를 생성하는 결과 사슬을 설명했다.

• "출력/리치output/reach": 그림 1의 왼쪽에 표시된 이 체인은 의약품의 프로세스 조치와 유사한 "출력/리치output/reach"로 시작한다(예: 환자는 1차 진료 제공자와 문서화된 천식 조치 계획을 가지고 있다).
• "중간 결과": 조금 더 나아가서, 같은 이름의 의학의 품질 측정(예: 매년 스테로이드 과정 및 폐 기능 검사)과 유사한 "중간 결과"가 있다.
• "종료 결과": 대부분의 원거리 결과는 의학의 실제 결과 측정(예: 매년 응급 부서 방문 또는 천식 입원 횟수)과 유사한 "종료 결과"이다.

In his early work, Mayne described a results chain where an “activity” produces 3 types of progressively more distal outcomes.20 

• This chain, shown on the left side of Figure 1, begins with the “output/reach,” akin to process measures in medicine (e.g., patient has an asthma action plan documented with primary care provider).
• A little further out are “intermediate outcomes,” akin to medicine’s quality measures of the same name (e.g., steroid courses each year and pulmonary function testing).
• Most distal are “end outcomes,” akin to true outcome measures in medicine (e.g., number of emergency department visits or hospitalizations for asthma each year).

의학이 그렇듯, 메인의 모델에서는 하류downstream에 가까울수록 [결과에 영향을 미치는 (개인을 넘어서는) 추가적인 요소들]를 고려한다. 예를 들어 중간 및 최종 결과는 환자 흡입기 기술, 약물 접근, 가정 내 먼지 및 곰팡이의 존재에 의해 영향을 받을 수 있다.

As in medicine, Mayne’s model considers the additional factors beyond the individual that affect results further downstream. For example, intermediate and end outcomes can be affected by patient inhaler technique, access to medications, and the presence of dusts and molds in the home.

그림 1의 두 번째 열은 당뇨병 환자의 혈당 조절에 대한 결과 체인의 예를 보여주는데, 이는 전공의(이 예제의 초점)가 학습할 수 있는 활동이다. 

• 당뇨병 환자를 돌보는 [전공의만 고려]할 경우, 전공의의 성과를 결정하는 데 다음 사항을 사용할 수 있다. 적절한 약물 처방(예: 메트포르민) 및 적절한 선별(예: 시력검사, 소변 마이크로알부민)을 지시하는 것과 같은 프로세스 조치이다. 그림 1에서 알 수 있듯이, 이러한 활동은 대부분 개인 전공의(즉, 전공의가 소변을 주문했거나 주문하지 않은 경우)에게 귀속attributed to할 수 있다. 
• 결과 사슬을 따라 내려가면, 중간 결과 척도에는 실제 환자 식단과 운동, 약물 준수, 헤모글로빈 A1c 수치가 포함됩니다; 최종 결과 척도에는 당뇨병 신경병증, 망막병증, 뇌졸중 및 심근경색이 포함됩니다. 이러한 중간 및 최종 결과에는 척도의 달성 여부에는 기여하지만, 개별 전공의(예: 의약품 접근, 환자 약물 준수, 실제 환자 다이어트)가 제어할 수 없는 요인이 포함된다. 따라서, 이러한 측정들은 [(귀속보다는) 기여의 관점]에서 고려하기에 가장 좋은 위치에 있다.

The second column of Figure 1 shows an example of the results chain for blood sugar control in a patient with diabetes, an activity that residents (the focus of this example) can learn. When only the resident caring for a patient with diabetes is considered, the following can be used to determine that resident’s performance: process measures such as ordering the proper medication regimen (e.g., metformin) and appropriate screening (e.g., eye exams, urine microalbumin). As Figure 1 shows, these activities can be mostly attributed to the individual resident (i.e., the resident either ordered or did not order a urine microalbumin). Moving down the results chain, intermediate outcome measures include actual patient diet and exercise, medication adherence, and hemoglobin A1c levels; end outcome measures include diabetic neuropathy, retinopathy, stroke, and myocardial infarction. These intermediate and end outcomes include factors that cannot be controlled by an individual resident (e.g., access to medications, patient medication adherence, actual patient diet) contributing to whether or not the measures are achieved. Thus, these measures are best positioned to be considered through the lens of contribution rather than attribution.13

[프로세스 척도에 대한 퍼포먼스]는 개별 제공자의 모습을 반영하며, [여러 제공자에 걸친 집단적인 퍼포먼스]는 프로그램 또는 클리닉의 성과의 지표이다. 중간 및 최종 결과 측정에 대한 성과는 환자, 교육 프로그램 또는 클리닉 및 기관의 성과를 반영한다.
Performance on the process measures reflects the individual provider; performance collectively, across multiple providers, indicates the outcomes of the program or clinic. Performance on the intermediate and end outcome measures reflects the performance of the patient, training program or clinic, and institution combined.

 

귀속분석 정의
Defining attribution analysis

귀속과 기여의 연속성을 고려할 때, [기여 분석]은 개인에게 적용될 수 있다고 믿습니다. 구체적으로, [기여 분석]에 사용되는 동일한 단계가 개인에게 적용된다면, [귀인 분석]을 정의하고 개인 수행의 특정 구성요소를 결정할 수 있다고 믿는다. 이 접근법은 교육학자들이 여러 개의 변수를 집어넣어보고 "무엇이 들어맞는지what sticks"을 보기보다는, 귀인 연구를 시도할 때 증거를 수집할 수 있는 방법을 제공한다. 전공의를 사례로, 제안된 속성 분석을 위한 단계를 자세히 설명하고, 기여 분석 단계와 이러한 단계를 비교하면 표1과 같다.
Given the continuum between attribution and contribution, we believe contribution analysis can be applied to individuals. Specifically, we believe the same steps used in contribution analysis can be applied to individuals to define attribution analysis and to determine specific components of individuals’ performances that can be attributed to them. This approach provides education scholars with a method for collecting evidence when they are attempting attribution studies rather than plugging in multiple variables and seeing “what sticks.” We detail the steps for our proposed attribution analysis using residents as an example; we also compare these steps with the parallel steps of contribution analysis in Table 1:

• 1단계: 개개인의 수행performance에서 해결이 필요한 인과관계 문제causal problem를 제시합니다.
  • 전공의의 경우 의료팀의 다른 구성원이 아닌 전공의가 정기적으로 완료해야 하는 실질적인 과제를 포함한다. 이 초기 단계에서, 제안된 귀속 업무attributable task가 [평가하려는 개인의 작업 범위 내에 있어야 하는지 여부]를 고려하는 것이 중요하다. 개인은 과제를 수행해야 하는 사람(또는 사람)이 그렇게 하지 않는 기능 장애 마이크로 시스템 또는 전문가 간 팀을 보상하기 위해서만 이 과제를 수행할 수 있다. 이러한 [잠재적 귀속 요인]은 배제해야 하며, 마이크로시스템 또는 팀 성과 개선에 초점을 맞추어야 한다.
    

1. Set out the causal problem to address in individual performance. 
   1. For residents, this includes tangible tasks that residents—rather than other members of the health care team—regularly complete. At this early step, it is important to consider whether the proposed attributable task should be within the scope of work of the individual of interest. The individual may only perform this task to compensate for a dysfunctional microsystem or interprofessional team in which the person (or people) who should be performing the task is not doing so. Such potential attributable factors should be excluded and focus placed on improving the microsystem or team performance.

• 2단계: 가정된 귀인 이론theory of attribution을 개발하고 그 이론에 대한 위험을 확인한다.
  • 그 task를 완수할 수 있어야 하는 다른 사람이 누구인지 고려하면서, 이러한 작업이 해당 전공의에게 귀속되는 이유를 설명하고 정당화한다.
    

1. Develop the postulated theory of attribution and identify risks to the theory. 
   1. Explain and justify why these tasks are attributable to residents, taking into account who else could be completing the tasks.

• 3단계: 귀속 이론을 뒷받침하기 위해 기존의 증거를 수집한다. 
  • 증거는 선택된 과제가 실제로 전공의의 행동resident action를 반영한다는 것을 입증해야 한다.
    

1. Gather the existing evidence to support the theory of attribution. 
   1. Evidence should demonstrate that selected tasks actually reflect resident actions.

• 4단계: 귀속 사례와 그와 관련된 쟁점을 평가합니다.
  • 이 시점에서 생성된 큰 그림 컨텍스트를 보고 그 속성이 임상 학습 환경의 맥락에서 타당한지 여부를 평가하십시오. 이 평가에는 평가대상이 되는 프로세스 조치가 [팀의 다른 구성원 또는 팀 집단으로서가 아니라] 진정으로 [평가되는 특정 전공의에게 상당정도 귀속되는지]를 이해하려는 시도가 포함되어야 한다.

1. Assess the attribution story and the contestations to it. 
   1. Look at the big picture context created to this point and evaluate whether the attribution is valid in the context of the clinical learning environment. This evaluation should include attempting to understand whether the process measure under consideration is truly highly attributable to the resident rather than to another member of the team or to the team as a collective.

• 5단계: 추가 증거를 찾습니다.
  • 예를 들어, 가족 및 의료팀의 다른 구성원들과 함께 차트 검토 및/또는 직접 관찰을 실시함으로써 프로세스 조치가 전공의에게 귀속된다는 주장을 뒷받침할 수 있는 더 많은 정보를 계속 모색한다.
    
• Seek out additional evidence. 
  • Continue to seek out more information to support the claim that the process measure is attributable to the resident, for example, by conducting chart reviews and/or direct observation combined with discussions with a variety of stakeholders such as families and other members of the health care team.

• 6단계: 귀속 스토리를 수정하고 강화합니다.
  • 5단계에서 수집한 새로운 정보를 통합하여 전공의와 측정된 업무 간의 관계를 보다 명확하게 정렬한다.

1. Revise and strengthen the attribution story.
   1. Integrate the new information gathered in step 5 to create a clearer alignment of the relationship between the resident and the task measured.

메인의 귀인 개념화에서 더 나아가, 이러한 단계를 완료하면 [개인의 행동]과 [측정measure] 사이의 "확률적 인과관계"를 추론하는 데 도움이 될 것이다. 메인은 이 [확률론적 인과관계]를 확립하기 위해 5가지 기준을 충족해야 한다고 주장한다. 

• 개연성plausibility, 
• 계획에 따른 실행, 
  
• 핵심 요소의 증거 확인, 
  
• 다른 영향 요인을 고려  
  
• 대안적 설명이 (틀렸음)을 반증disproving

Further building from Mayne’s conceptualization of attribution, completing these steps will help to infer “probabilistic causation” between an individual’s actions and the measure.25 Mayne asserts that 5 criteria must be met to establish this probabilistic causation:

• plausibility,
• implementation according to plan,
• evidentiary confirmation of key elements,
• taking other influencing factors into account, and
• disproving alternate explanations.

 

기여와 귀속 모두 활용의 힘
The Power of Harnessing Both Contribution and Attribution

[기여 분석과 귀인 분석]을 모두 사용하여 프로그램을 집단으로 평가하는 동시에 규제당국이 인증해야 하는 개인의 진행 상황을 측정할 수 있다. 이러한 조치를 만들고 사용하면 추가 전공의 교육에 도움이 되지만 환자와 팀 구성원(예: 간호사)의 피드백을 고려하여 커뮤니케이션 및 환자 관계와 같은 더 무형의 기술에 대한 조치measures를 만들 수 있다. 이러한 접근 방식은 [가시적인 목표를 바탕으로 개인의 개선을 위한 귀중한 피드백]을 생성하는 동시에, [직원 교육을 촉진하기 위해 프로그램에 필요한 실행 가능한 피드백]을 제공합니다. "둘 중 하나"가 아니라 "둘 다"와 "그리고"라는 생각이 epigraph에 나타나 있다.
Using both contribution and attribution analyses, we can evaluate a program as a collective while also measuring the progress of the individuals that regulators must certify. Creating and using these measures will help to further resident education but can also be built upon by considering feedback from patients and team members (e.g., nurses) to create measures for more intangible skills, such as communication and patient rapport. This approach creates valuable feedback for individual improvement with tangible goals while also providing actionable feedback to programs to better facilitate the education of their staff. This “both, and” rather than “either, or” thinking is evoked in the epigraph.

결론 Conclusion

교육 결과를 환자 치료 결과와 연계하는 과제(교육의 지평선에 대한 우리의 가장 큰 과제)는 서로 얽힌 성과 가닥을 분리하고 검토하기 위한 첫 번째 단계로 기여 및 기여 분석을 사용하면 충분히 해결할 수 있을 것이다. 이러한 접근 방식을 통해 다음을 확인할 수 있다.

• 각 가닥(개개이느이 퍼포먼스에 대한 귀속attribution)이 팀 성과에 어떻게 얽혀 있는지,
• 전체 스레드(기여contribution 분석)가 팀 성과와 환자에 대한 치료 결과를 어떻게 연결하는지 

The challenge of linking educational outcomes to patient care outcomes—our greatest challenge on the education horizon—may well be served by using contribution and attribution analyses as the first step toward pulling apart and examining the intertwined performance strands. Such an approach allows us to see

• how each strand (attribution of individual performance) is intertwined in team performance and
• how the whole thread (contribution analysis) links team performance to care outcomes for patients.

이러한 노력에서 의료 교육은 [결과에 대한 개인의 책임]에 초점을 맞추는 것으로 시작되었지만, 개인과 팀 간에 책임을 공유하는 [팀 책임에 초점을 맞추는 것]으로 진화해나갈 것이며, quality improvement의 궤적을 따라가며 이익을 얻을 수 있을 것이다.

In these efforts, medical education may benefit from following the trajectory of quality improvement, which began as a focus on individual responsibility for outcomes but evolved to focus on team responsibility with shared accountability among individuals and teams.26

 

---

Acad Med. 2020 Jul;95(7):1014-1019.

 doi: 10.1097/ACM.0000000000003121.

The Power of Contribution and Attribution in Assessing Educational Outcomes for Individuals, Teams, and Programs

Daniel J Schumacher 1, Eric Dornoff, Carol Carraccio, Jamiu Busari, Cees van der Vleuten, Benjamin Kinnear, Matthew Kelleher, Dana R Sall, Eric Warm, Abigail Martini, Eric Holmboe

Affiliations collapse

Affiliation

1D.J. Schumacher is associate professor of pediatrics, Cincinnati Children's Hospital Medical Center and University of Cincinnati College of Medicine, Cincinnati, Ohio. E. Dornoff is a medical student, University of Cincinnati College of Medicine, Cincinnati, Ohio. C. Carraccio is vice president of competency-based assessment, American Board of Pediatrics, Chapel Hill, North Carolina. J. Busari is consultant pediatrician and associate professor of medical education, Maastricht University, Maastricht, the Netherlands. C. van der Vleuten is professor of education, Department of Educational Development and Research, Faculty of Health, Medicine, and Life Sciences, and scientific director, School of Health Professions Education, Maastricht University, Maastricht, the Netherlands. B. Kinnear is assistant professor of pediatrics and internal medicine, Cincinnati Children's Hospital Medical Center and University of Cincinnati College of Medicine, Cincinnati, Ohio. M. Kelleher is assistant professor of pediatrics and internal medicine, Cincinnati Children's Hospital Medical Center and University of Cincinnati College of Medicine, Cincinnati, Ohio. D.R. Sall is assistant professor of internal medicine, University of Cincinnati College of Medicine, Cincinnati, Ohio. E. Warm is professor of medicine and internal medicine program director, University of Cincinnati College of Medicine, Cincinnati, Ohio. A. Martini is a clinical research coordinator, Division of Emergency Medicine, Cincinnati Children's Hospital Medical Center, Cincinnati, Ohio. E. Holmboe is senior vice president for milestones development and evaluation, Accreditation Council for Graduate Medical Education, Chicago, Illinois.

PMID: 31833856

DOI: 10.1097/ACM.0000000000003121Abstract

Recent discussions have brought attention to the utility of contribution analysis for evaluating the effectiveness and outcomes of medical education programs, especially for complex initiatives such as competency-based medical education. Contribution analysis focuses on the extent to which different entities contribute to an outcome. Given that health care is provided by teams, contribution analysis is well suited to evaluating the outcomes of care delivery. Furthermore, contribution analysis plays an important role in analyzing program- and system-level outcomes that inform program evaluation and program-level improvements for the future. Equally important in health care, however, is the role of the individual. In the overall contribution of a team to an outcome, some aspects of this outcome can be attributed to individual team members. For example, a recently discharged patient with an unplanned return to the emergency department to seek care may not have understood the discharge instructions given by the nurse or may not have received any discharge guidance from the resident physician. In this example, if it is the nurse's responsibility to provide discharge instructions, that activity is attributed to him or her. This and other activities attributed to different individuals (e.g., nurse, resident) combine to contribute to the outcome for the patient. Determining how to tease out such attributions is important for several reasons. First, it is physicians, not teams, that graduate and are granted certification and credentials for medical practice. Second, incentive-based payment models focus on the quality of care provided by an individual. Third, an individual can use data about his or her performance on the team to help drive personal improvement. In this article, the authors explored how attribution and contribution analyses can be used in a complimentary fashion to discern which outcomes can and should be attributed to individuals, which to teams, and which to programs.