임상역량위원회가 교육을 강화하고 역량중심-시간변동 진급에 준비하는 모습 다시 그려보기(J Gen Intern Med. 2022)

임상역량위원회가 교육을 강화하고 역량중심-시간변동 진급에 준비하는 모습 다시 그려보기(J Gen Intern Med. 2022)
Reimagining the Clinical Competency Committee to Enhance Education and Prepare for Competency-Based Time-Variable Advancement
Mary Ellen J. Goldhamer, MD MPH1,2,3 , Maria Martinez-Lage, MD1,3, W. Stephen Black-Schaffer, MD1,3, Jennifer T. Huang, MD3,4, John Patrick T. Co, MD MPH1,2,3, Debra F. Weinstein, MD5,6, and Martin V. Pusic, MD PhD3,4

 

비네트:
Vignette:

레일라는 내과(IM) 레지던트 2년 차에 재학 중입니다. 미국(미국)으로 이민 오기 전에는 모국에서 IM 교육을 이수하고 2년 동안 독립적으로 수련을 받았습니다.
Leila is in her second year of internal medicine (IM) residency. Before emigrating to the United States (U.S.), she had completed IM training in her native country and practiced independently for 2 years.

6개월마다 열리는 임상 역량 위원회(CCC)의 정기 회의에서 레일라에 대한 논의는 거의 없었는데, 그녀의 평가는 일관되게 "기대 이상"이었습니다. 레일라가 레지던트 프로그램 디렉터를 만났을 때 CCC로부터 구체적인 요약 정보가 제공되지 않았습니다. 이용 가능한 평가 데이터는 일반적인 것이었으며 프로그램 디렉터는 "잘하고 있다"고 해석했습니다. 레일라는 CCC의 역할과 그것이 자신의 교육 궤도를 최적화하는 데 어떻게 도움이 되는지 궁금해하며 회의를 떠났습니다. 또한 미국으로 이민 오기 전에는 개업의였는데 왜 3년의 레지던트 과정을 마쳐야 하는지 의문을 제기했고, 모든 평가자들은 그녀의 뛰어난 실력에 주목했습니다. 레일라의 프로그램은 수련 시간이 아닌 입증된 역량에 따라 진급이 결정되는 역량 기반 시간 가변형 GME 파일럿 프로그램에 참여하고 있습니다. CCC는 이용 가능한 평가를 어떻게 활용하여 레일라의 비감독 실습 준비 상태를 판단할 수 있을까요? 
There was little discussion of Leila at the Clinical Competency Committee’s (CCC’s) regular 6-month meeting: her evaluations consistently reflected “exceeding expectations.” When Leila met with her residency program director, no specific summative information was available from the CCC. The available assessment data was generic and interpreted by the program director as “doing fine.” Leila left the meeting wondering about the CCC’s role, and how it helps optimize her educational trajectory. Leila also questions why she needs to finish 3 years of residency, since she was a practicing doctor prior to emigrating to the U.S.A., and all evaluators note her advanced skills. Leila’s program is participating in a competency-based time-variable GME pilot, where advancement is based on demonstrated competency rather than time in training. How can the CCC utilize available assessments to determine Leila’s readiness for unsupervised practice?

소개
INTRODUCTION

수련 중인 의사를 평가하는 것은 매우 중요한 활동입니다. 효과적인 평가는 교육 전반에 걸쳐 중요하므로, 강점과 약점을 파악하여 [결과를 최적화하기 위한 교육 계획을 수립]할 수 있습니다. 그런 다음 레지던트와 펠로우가 수련을 마칠 때 평가는 [무감독 실습에 대한 역량을 확인할 수 있는 기초]를 제공합니다. 또한, 의학전문대학원 교육(GME) 기간 동안 주기적인 평가를 통해 수련 중인 의사가 [자신의 학습을 스스로 평가하고 조절하는 능력을 연마]할 수 있도록 도와야 합니다.1 양질의 환자 진료에 필수적인 핵심 기술이자 경력 전반에 걸친 책임감은 정보에 입각한 자기 평가를 통해 배양할 수 있습니다.2 
Assessing physicians-in-training is a high-stakes activity. Effective assessment is important throughout training so that identified areas of strength and weakness can guide educational planning to optimize outcomes. Then, as residents and fellows complete their training, assessment provides the basis to confirm competence for unsupervised practice. Periodic assessment during graduate medical education (GME) should also help physicians-in-training hone their ability to self-assess and regulate their learning1—critical skills and a career-long responsibility essential for high-quality patient care which can be cultivated through informed self-assessment.2

평가의 중요성(그리고 역사적으로 강조되지 않았던)을 인식한 미국의학전문대학원교육인증위원회(ACGME)와 같은 의학교육 감독 기관은 [최근 몇 년간 관련 요건을 강화]했습니다.3,4,5 역량 기반 의학교육(CBME)에 대한 수용이 증가하고, [역량 기반 시간 가변(CB-TV) GME]로 논리적으로 확장되면서 효과적인 근거 기반 평가 접근법을 구현하는 것이 중요해졌습니다.6,7,8 미국, 캐나다, 스위스, 네덜란드, 그리고 전 세계적으로 ACGME-국제 인증을 통해 시행되고 있는 CCC는 수련의 평가의 방향 전환을 촉진하는 광범위한 교육 개혁의 산물입니다.4,6,9,10,11,12,13,14,15,16 또한 코로나19로 인해 일상적인 레지던트 및 펠로우십 교육이 중단되면서 진급 준비를 결정하기 위한 건전하고 신뢰할 수 있는 평가 절차의 중요성과 시급성이 증폭되고 있습니다.17,18,19,20,21,22,23 
Recognizing the importance (and historic under-emphasis) of assessment, medical education oversight organizations such as the Accreditation Council for Graduate Medical Education (ACGME) have strengthened related requirements in recent years.3,4,5 Growing acceptance of competency-based medical education (CBME), and its logical extension to competency-based, time-variable (CB-TV) GME, highlights the importance of implementing effective, evidence-based approaches to assessment.6,7,8 The implementation of CCCs in the USA, and their equivalent in Canada, Switzerland, the Netherlands, and globally through ACGME-International accreditation, is an outgrowth of widespread educational reform promoting a reorientation of trainee assessment.4,6,9,10,11,12,13,14,15,16 In addition, COVID-19’s disruption to routine residency and fellowship training amplifies the importance and urgency of having sound and trustworthy assessment processes to determine readiness for advancement.17,18,19,20,21,22,23

임상역량위원회(CCC)는 평가 정보를 해석하고 추가 조치를 결정하는 GME에서 평가의 핵심이며, 평가의 중심입니다. ACGME가 "차기 인증 시스템"의 일환으로 CCC를 시행하도록 요구하기 시작했을 때, 위원회의 주요 책임이 개괄적으로 설명되었으며, 시행의 세부 사항은 각 프로그램의 판단에 맡겨졌습니다.4,5 현재 다양한 접근법이 문헌에 기술되어 있으며, 2020년에 ACGME에서 GME 프로그램을 위한 CCC 가이드북 3판을 발행했지만, 아직 명확한 최선의 접근법이 확인되지는 않았습니다.24 
Clinical competency committees (CCCs) are the lynchpin of assessment in GME—the locus for interpreting evaluative information and determining further actions. When the ACGME initiated its requirement to implement CCCs as part of the “Next Accreditation System,” the committees’ key responsibilities were outlined, with the details of implementation left to each program’s judgment.4,5 Varying approaches have now been described in the literature, and the third edition of a CCC guidebook for GME programs was issued by ACGME in 2020; however, a clear best approach has yet to be identified.24

CCC 구조, 과정, 구성 및 결과25,26, 교수진 평가와 연수생 자가 평가27,28,29의 상관관계, 역량 코치의 역할30, 의미 있는 개별화된 학습 계획(ILP)을 개발하는 연수생의 능력 등을 평가하기 위한 연구가 진행되어 왔습니다. 31 다른 연구에서는 내과, 소아과, 응급의학과, 영상 진단, 외과 및 시술 전문과7,14,27,32,33,34,35,36,37,38,39 전공의가 역량 기반 진급 결정에 필수적인 전문과별 마일스톤 및 위임가능 전문 활동(EPA)에 대해 어떻게 평가되는지 규명하려고 노력했습니다.22,39 추가 연구에서는 레지던트 수련 중 CCC 역량 결정이 후속 감독 및 독립성 수준에 미치는 영향을 평가했습니다.7,27,35,36 
Studies have sought to evaluate CCC structure, process, composition, and outcomes25,26; correlation of faculty ratings with trainee self-assessment27,28,29; the role of competency coaches30; and trainee ability to develop meaningful individualized learning plans (ILPs).31 Other studies have sought to elucidate how trainees in internal medicine, pediatrics, emergency medicine, visual diagnostic, surgical, and procedural specialties7,14,27,32,33,34,35,36,37,38,39 are assessed on the specialty-specific Milestones and Entrustable Professional Activities (EPAs)—which is essential for competency-based advancement decisions.22,39 Additional studies have evaluated the impact of CCC competency decisions on subsequent levels of supervision and independence during residency training.7,27,35,36

매사추세츠제너럴브리검에서는 여러 레지던트 프로그램이 CB-TV GME 파일럿40 에 참여하면서(예: 진급 및 졸업이 프로그램에서 보낸 시간에만 근거하지 않고 입증된 역량에 근거하는 경우), 그 효과를 높이고 레지던트에서 독립의료행위로의 개별화된 진급에 대한 신뢰할 수 있는 데이터 기반 결정을 보장하기 위해 CCC 프로세스에 대한 면밀한 검토를 촉진했습니다.40 시범사업 참여를 고려 중인 여러 레지던트 프로그램에서 CCC에 참여하고 CCC 문헌을 검토한 결과, 레지던트 프로그램 CCC의 목표를 재개념화하고 이를 달성하기 위한 권장 사항을 제시할 수 있었습니다. 
At Mass General Brigham, the participation of several residency programs in a CB-TV GME pilot40 (e.g., where advancement and graduation are based on demonstrated competency rather than solely on time spent in a program) has stimulated closer examination of CCC processes in order to enhance their effectiveness and ensure trustworthy data-informed decisions about individualized advancement from residency to unsupervised practice.40 Our engagement with CCCs in several residency programs considering participation in the pilot, along with our review of the CCC literature, has led us to reconceptualize the goals of residency program CCCs and make recommendations for achieving them.

배경
BACKGROUND

ACGME의 "차기 인증 시스템" 및 마일스톤 프로젝트는 [측정 가능한 역량 측면에서 각 수련의의 발달 과정을 평가]하는 레지던트 프로그램을 요구하며, 이는 역량 기반 의학교육 프레임워크를 선호하는 광범위한 합의를 반영합니다.4 CCC는 수련의의 성과, 특히 시간에 따른 발달 과정을 평가하기 위해 사용 가능한 데이터를 종합하는 주요 수단입니다.4,24,41,42
The ACGME’s “Next Accreditation System” and Milestones project call for residency programs to assess the developmental progression of each trainee in terms of measurable competencies, reflecting widespread consensus favoring a competency-based framework for medical education.4 CCCs are the principal vehicle for synthesizing available data to assess trainee performance and, importantly, developmental progression over time.4,24,41,42

CCC 목표
CCC Goals

ACGME의 "프로그램 공통 요건"은 다음과 같이 CCC의 핵심 책임을 요약합니다.5

• (1) 적어도 반기마다 모든 전공의 평가를 검토하고,
• (2) 각 전공의의 전문과목별 마일스톤 달성에 대한 진척도를 결정하며,
• (3) 전공의의 반기 평가 전에 만나 각 전공의의 진척도에 대해 프로그램 책임자에게 조언한다.

The ACGME’s “Common Program Requirements” outline the following core responsibilities of the CCC:

• (1) review all resident evaluations at least semi-annually;
• (2) determine each resident’s progress on achievement of the specialty-specific Milestones; and
• (3) meet prior to the residents’ semi-annual evaluations and advise the program director regarding each resident’s progress.5 

ACGME의 "임상 역량 위원회"는 다음과 같이 명시하고 있습니다: 프로그램을 위한 가이드북"은 [이해관계자 그룹("프로그램 자체, 프로그램 디렉터, 교수진, 프로그램 코디네이터, 레지던트 및 펠로우, 기관, ACGME")으로 구성된 41개의 세부 항목]을 CCC의 "목적"으로 설명하지만(표 1, 5-7페이지), "궁극적인 목적은 대중에게 의학교육자로서의 책임성을 입증하는 것, 즉 졸업생들이 수련 중에 환자에게 질 높고 안전한 치료를 제공할 것이며, 실제 진료에 들어가서도 그렇게 할 준비가 잘 되어 있음을 보여주는 것"24이라고 명시하고 있습니다.
The ACGME’s “Clinical Competency Committees: A Guidebook for Programs” delineates (Table 1, p 5–7) 41 granular items as “purposes” of the CCC, organized by stakeholder groups (“the program itself, program directors, faculty members, program coordinators, residents and fellows, the institution, and the ACGME”), but notes that “the ultimate purpose is to demonstrate accountability as medical educators to the public: that graduates will provide high quality, safe care to patients while in training, and be well prepared to do so once in practice.”24

프로그램들은 모든 레지던트에 대한 지속적인 평가와 CCC 고려에는 상당한 시간과 자원이 필요하다고 지적합니다.24 18-22 그러나 역량 격차에 대한 인식 지연과 같이 최적이 아닌 평가로 인한 부정적인 영향은 훨씬 더 많은 비용을 초래할 수 있습니다. 게다가 불투명하고 자원이 부족한 평가 시스템으로 인해, 개인의 잠재력을 극대화하지 못하고, 심지어 역량 미달의 수련생이 졸업하게 된다면, 그 후의 사회적 비용은 훨씬 더 커질 수 있습니다. 이러한 이유로 GME 프로그램은 모든 교육생에 대한 [발달 평가를 강화]하여 [현재의 교육을 개선]하고 미래 모델로서 [입증된 역량에 기반한 시간 가변형 졸업에 대비]해야 합니다.
Programs note that ongoing assessment and CCC consideration of every resident requires considerable time and resources.24 p 18-22 However, the negative impact of sub-optimal assessment, such as delayed recognition of competency gaps, can cost considerably more. Moreover, if an opaque, under-resourced assessment system results in failing to maximize individual potential, and perhaps even allows less-than-competent trainees to graduate, the downstream costs to society are far greater. For these reasons, it is essential that GME programs strengthen the developmental assessment of all trainees to improve education today and prepare us for time-variable graduation based on demonstrated competency as a model for the future.

우리는 CCC가 세 가지 핵심 목표를 가질 것을 제안합니다.
We propose that CCCs have three core goals.

첫째, CCC는 교육을 최적화하기 위해 각 레지던트의 발달 상태를 정기적으로 반복적으로 파악하고 설명해야 합니다. 이를 위해서는 [다양하고 충분한 양의 평가 자료]를 집계하고 해석해야 하며, [충분히 다양한 환경에서 도출]되고 [직접 관찰을 통해 정보를 얻은 다중 출처("360도") 평가]에 중점을 두어야 합니다.43,44 또한 [CCC 결과]는 [개별화된 교육 계획에 통합]되어야 하며, [총괄 평가]는 [각 훈련생과 공동으로 작성한 실행 계획에 통합]되어야 합니다.24
First, the CCC must regularly and iteratively discern and describe the developmental status of each resident for the purpose of optimizing their education. This requires aggregating and interpreting a variety and sufficient volume of evaluative material—with an emphasis on multi-source (“360-degree”) evaluations, drawn from a sufficient variety of settings and informed by direct observation.43,44 It also requires that CCC findings are incorporated in an individualized educational plan, where summative assessments are incorporated into an action plan co-produced with each trainee.24

CCC의 두 번째 목표는 [유능한 의사를 배출하여 대중을 보호해야 하는 GME 프로그램의 근본적인 책임]과 관련이 있습니다. 따라서 CCC는 졸업 결정을 서포트하기 위해 각 레지던트의 무감독 실습에 대한 준비 상태를 긍정적으로 판단해야 합니다. 이를 위해서는 일관되게 적용할 수 있는 [명시적인 진급 기준]이 필요합니다.
The CCCs’ second goal relates to GME programs’ fundamental responsibility to protect the public by graduating competent physicians. Thus, CCCs must affirmatively determine each resident’s readiness for unsupervised practice to support graduation decisions. This requires having explicit promotion criteria that can be applied consistently.

우리는 CCC의 세 번째 핵심 목표는 각 레지던트가 [지속적인 학습에 대해 책임을 질 수 있는 능력], 즉 자기 평가, 자기 모니터링, 학습의 자기 조절로 다양하게 알려진 기술의 집합을 육성하는 것이라고 주장합니다.1,2 자신의 술기, 지식, 판단 수준을 이해하는 것은 좋은 진료를 제공하기 위한 핵심입니다. CBME의 중요한 원칙은 학습 통제권을 교수진에서 레지던트에게로 전환하는 것입니다. 6,45,46 의사는 진료 제공에 있어 다음을 판단해야 한다.

• 언제 도움을 구해야 하는지,
• 언제 추가 교육, 수련 또는 실습(예: 시뮬레이션)을 추구해야 하는지,
• 언제 자신의 진료 범위를 제한해야 하는지
  

이런 것들은 일반적으로 독립적인 진료에 대한 [외부의 사후 감독]에 의존하기보다는 [스스로 판단]해야 합니다. 실제로, 연구에 따르면 유능한 의사는 자신을 과소평가하는 반면, 유능하지 않은 의사는 자신을 과대평가하는 경향이 있는 것으로 나타났습니다.47 따라서 [정보에 입각한 자기평가]는 CCC 과정과 연계하여 수련 중에 배양하고 보장해야 할 관련 기술입니다.2,24 자기평가와 반성적 실천의 중요성은 최근 조화로운 ACGME 마일스톤 2.0 하위 역량인 "실습 기반 학습 및 개선-2"- "개인적 성장을 위한 반영적 실천 및 헌신"의 시행으로 강조되고 있습니다."1,48
We assert that a third key goal of CCCs is to foster each resident’s ability to take responsibility for their ongoing learning, the collection of skills variably known as self-assessment, self-monitoring, and self-regulation of learning.1,2 Understanding one’s own level of skill, knowledge, and judgment is central to providing good care. An important tenet of CBME is the shift of learning control from the faculty to the resident. 6,45,46 Physicians must discern

• when to seek help in delivering care;
• when to pursue additional education, training, or practice (e.g., simulation); or
• when to limit their scope of practice—rather than relying on external, usually post hoc oversight of their independent practice.

The ability cannot be assumed to develop spontaneously; in fact, studies have demonstrated that highly competent physicians tend to under-rate themselves while the less competent overrate themselves.47 Thus, informed self-assessment is a relevant skill to cultivate and ensure during training, linked to the CCC process.2,24 The importance of self-assessment and reflective practice is underscored by the recent implementation of the harmonized ACGME Milestone 2.0 sub-competency, “Practice-based Learning and Improvement-2”—“Reflective Practice and Commitment to Personal Growth.”1,48

CCC는 이러한 목표를 달성하는 데 어떤 성과를 거뒀을까요?
How Do CCCs Fare in Fulfilling These Goals?

형성적 및 종합적 직무기반 평가는 CCC 결정에 영향을 미칩니다.
Formative and Summative Workplace-Based Assessments Inform CCC Decisions

ACGME 공통 프로그램 요구사항 및 CCC 가이드북은 [CCC를 위한 프레임워크]를 제공하지만, 일부 증거에 따르면 CCC가 교육생의 발달 궤적을 적절히 평가하는 데 있어 이러한 요구사항을 충족하지 못하고 있습니다.5,24,25,49,50,51,52,53 2001년 ACGME 성과 프로젝트가 시작되면서 6가지 핵심 역량이 확립되었고, 미국의 역량 기반 의학교육 운동이 활성화되어 GME 교육 성과에 대한 로드맵이 정의되었습니다.3 그 이후로 ACGME는 수련의를 평가하기 위해 [형성적 평가 방법]과 [총괄적 평가 방법]을 모두 권장해 왔습니다.

• [형성적 평가 방법]의 예로는
  • 역량 기반 다원 평가(예: 교수진, 동료, 환자, 다른 의료 전문가, 자기 평가에 의한 수련의 평가),
  • 피드백을 통한 직접 관찰,
  • 객관적인 구조화된 임상 시험,
  • 차트 리뷰 등이 있습니다.5,24,43
• 이후 [2013년 '차기 인증제도'의 일환으로 전문과목별 마일스톤에 대한 연 2회 평가]가 시행되면서 수련의 [종합 평가]가 강화되었습니다.4
  • 소아과는 10년 이상 개별화된 학습 계획(ILP)을 사용해 왔으며, 최근 모든 전문과목의 수련의에게 프로그램 리더십과 함께 ILP를 공동 제작하는 것이 요구되고 있습니다.5,54,55

While the ACGME Common Program Requirements and CCC Guidebook provide a framework for CCCs, some evidence indicates that CCCs fall short of meeting these requirements in adequately evaluating the developmental trajectory of trainees.5,24,25,49,50,51,52,53 The inception of the ACGME Outcomes Project in 2001 established the six core competencies and stimulated the competency-based medical education movement in the USA, defining the roadmap for GME training outcomes.3 Since that time, the ACGME has recommended both formative and summative assessment methods to evaluate trainees.

• Examples of formative assessment methods include
  • competency-based multi-source evaluation (e.g., evaluation of trainees by faculty, peers, patients, other healthcare professionals, and self-assessment),
  • direct observation with feedback,
  • objective structured clinical examinations, and
  • chart review.5,24,43 
• Summative trainee assessment was then strengthened by the implementation of bi-annual evaluation on specialty-specific Milestones as part of the “Next Accreditation System” in 2013.4 Pediatrics has used individualized learning plans (ILPs) for more than a decade, and co-production of ILPs with program leadership is a recent requirement for trainees in all specialties.5,54,55 

[형성평가와 총괄평가 모두에 대한 요구사항]은 학습의 연속성 전반에 걸쳐 수련의를 평가할 수 있는 방법과 역량 기반 평가가 역량 기반 의학교육을 지원하는 방법을 이해하기 위한 학술 센터 간의 혁신과 협력을 이끌어냈습니다.7,56 ACGME 평가 요건은 [CCC가 [평가 과정과 시간표]를 명문화하고, [충분한 수의 평가를 수집]하며[충분한 평가 횟수는 주관적이지만], 레지던트와 직접 일한 경험이 있는 회원을 포함한 [다양한 관점을 통합]]하도록 자극했습니다.56,57,58 역량 기반 의학교육으로의 전환과 역량 기반 발전에 대한 고려와 함께, Kinnear 등은 실무 기반 평가와 CCC 과정이 역량 기반 발전을 지원할 수 있는 방법에 대한 타당성 논거를 설명했습니다.8,59
The requirement for both formative and summative assessment has led to innovation and collaboration among academic centers to understand how trainees can be assessed across the continuum of learning and how competency-based assessment supports competency-based medical education.7,56 ACGME assessment requirements have stimulated CCCs to codify a process and timetable for evaluations, to collect a sufficient number of evaluations [though what number of evaluations suffices remains subjective], and to incorporate multiple perspectives, including from members with first-hand experience working with residents.56,57,58 With the movement to competency-based medical education and consideration of competency-based advancement, Kinnear and others have described a validity argument for how workplace-based assessment and the CCC process can support competency-based advancement.8,59

그러나 동시에 여러 가지 면에서 CCC는 명시된 세 가지 목표를 지원하지 못하거나 때로는 뚜렷하게 약화시키고 있습니다.51,53,60 표 1은 세 가지 CCC 목표 달성에 대한 [현재의 장애물과 주요 조력자]를 요약한 것입니다. 이러한 장애물을 살펴보고 제안된 목표를 달성하고 역량 기반 평가 결정을 개선하기 위해 CCC에 권장되는 세 가지 "중점 영역"을 강조합니다.
At the same time, however, in several ways, CCCs are failing to support—and sometimes distinctly undermining—the three stated goals.51,53,60 Table 1 outlines current obstacles and key enablers to achieving the three CCC goals. We will explore these obstacles and highlight three recommended “focus areas” for CCCs as they aim to meet the proposed goals and enhance competency-based assessment decisions.

 

CCC 목표 달성을 위한 주요 장애물 및 권장 집중 영역
Key Obstacles and Recommended Areas of Focus to Achieve CCC Goals

중점 영역 #1: 평가 및 역량 기반 발전의 공유 모델을 통해 우수자뿐만 아니라 모든 교육생의 역량 개발을 평가하고 촉진합니다.50,56
Focus Area #1: Assess and promote the development of competency in all trainees, not just outliers, through a shared model of assessment and competency-based advancement 50,56

CCC는 역량 달성을 향한 각 교육생의 발달 궤적을 알려주는 모든 평가를 검토하고 종합하여 이 정보를 교육생에게 제공해야 합니다. 그런 다음 교육생은 CCC의 결정과 피드백을 사용하여 2년에 한 번씩 열리는 회의에서 프로그램 리더십과 함께 개별화된 학습 계획을 공동 작성할 수 있으며, 코치의 참여가 필요할 수도 있습니다. 24 p. 44-45,50
The CCC should review and synthesize all assessments that inform each trainees’ developmental trajectory towards achievement of competency and provide this information to trainees. Trainees can then use determinations and feedback from the CCC to co-produce an individualized learning plan with program leadership during bi-annual meetings, potentially with participation of a coach. 24 p. 44-45,50

특히 레지던트 수가 많은 많은 CCC는 주로 어려움을 겪고 있는 소수의 레지던트인 아웃라이어에 초점을 맞추고 있습니다. Hauer와 동료들은 캘리포니아에 있는 5개 공공 기관의 34개 레지던트 프로그램에서 CCC의 구조와 기능을 평가했습니다.60 프로그램 디렉터와의 반구조화된 인터뷰를 통해 대부분의 CCC가 모든 수련의의 개별적인 요구를 해결하기 위해 [발달적 접근 방식]을 사용하기보다는, 주로 어려움을 겪는 수련의에게 초점을 맞추는 [이상치 접근 방식]을 취하고 있음을 발견했습니다.60 슈마허와 동료들은 [어려움을 겪는 소아과 훈련생]을 식별하는 구조를 개발했지만 [반대쪽 극단, 즉 예외적으로 뛰어난 훈련생]을 식별하는 프로세스도 개발할 필요가 있다고 지적했습니다.36 이러한 접근 방식은 CCC가 고려하는 더 많은 훈련생을 포함할 수 있지만, [각 개인에 대한 철저한 평가]를 통해 [상대적 강점 또는 약점]에 대한 [세분화된 주제별 피드백을 제공]하여 [진행중인 수련에 정보를 주거나 자기 평가 능력을 개선]하기에는 여전히 부족한 부분이 있습니다.
Many CCCs, especially those with large numbers of residents, focus primarily on outliers, those few residents who are struggling. Hauer and colleagues evaluated the structure and function of CCCs in 34 residency programs at 5 public institutions in California.60 Using semi-structured interviews with program directors, they found the majority of the CCCs had an outlier approach, focusing primarily on struggling trainees rather than using a developmental approach to address the individual needs of all trainees.60 Schumacher and colleagues developed a structure for identification of the struggling pediatric trainee but noted the need to also develop a process to identify outliers at the other extreme—the exceptional trainee.36 While this approach would include more trainees under the CCC’s consideration, it still falls short of a thorough assessment of each individual to provide granular, thematic feedback about their areas of relative strength or weakness to inform ongoing training or refine the self-assessment capabilities.

모든 교육생 평가를 개별화하지 못하면 입증된 역량을 고려하지 않고, [모든 교육생에게 동일한 마일스톤 하위 역량 점수를 부여하는 "한줄긋기 채점"]으로 이어져 마일스톤 평가 프로세스가 약화되는 경우도 있습니다.52,61 이는 CCC가 [CCC 프로세스 및 기능에 대한 공유 모델이 부족]할 때 [더욱 악화]되며, 이러한 이상치 식별 및 한줄긋기 채점 규범이 확립되면 깨뜨리기 어렵습니다.50 [교육을 최적화하려는 목적 하에, 각 전공의의 발달 상태를 파악하고 설명하기 위해], CCC는 먼저 각 전공의를 검토하고 수련생이 프로그램 리더십과 함께 ILP를 공동 제작하는 데 사용할 수 있는 [총괄적 피드백]을 제공하기 위한 [공유 모델과 약속을 수립]해야 합니다.5,24,50,55,56,58,60,62 성별, 인종, 민족 및 기타 형태의 인지적 편견에 관한 편견을 포함하여 CCC 평가에 잠재적으로 영향을 미칠 수 있는 편견을 완화하기 위해서는 CCC 멤버들을 위한 교수진 개발이 필수적입니다.53,63,64 CCC는 멤버들의 다양성에 대해 신중하게 생각하고 공정하고 편견 없는 위원회 토론과 결정을 보장하기 위해 효과적인 그룹 과정의 과학을 통합하도록 권장됩니다.25,26
The failure to individualize all trainee assessments has in some cases led to “straight line scoring,” where all trainees are assigned the same milestone sub-competency score, rather than considering demonstrated competency, undermining the milestone evaluation process.52,61 This is compounded when CCCs lack a shared model on CCC process and function; these norms of outlier identification and straight-line scoring become established, and then are hard to break.50 In order to discern and describe the developmental status of each resident for the purpose of optimizing their education, the CCC must first establish a shared model and commitment to reviewing each individual resident and providing summative feedback that can be used by trainees to co-produce an ILP with program leadership.5,24,50,55,56,58,60,62 Faculty development for CCC members is essential to mitigate biases that could potentially influence CCC ratings, including bias regarding gender, race, ethnicity, and other forms of cognitive bias.53,63,64 CCCs are encouraged to think deliberately about the diversity of their membership and incorporate the science of effective group processes to ensure fair, unbiased committee discussions and decisions.25,26

중점 영역 #2: 수련의의 독립 수련 준비 상태 판단(및 촉진)을 위한 CCC 평가 및 코칭 프로세스 강화.
Focus Area #2: Strengthen CCC assessment and coaching processes for the determination (and promotion) of trainee readiness for independent practice

CCC는 [직접 관찰, 다양한 출처의 평가 및 피드백, 역량 코칭, 전문분야별 마일스톤에 대한 총괄 평가]를 통해 수집된 [작업장 기반 형성 평가]와 함께 [형성 평가와 총괄 평가 사이의 유용한 긴장]을 명시적으로 통합하도록 구성되어야 합니다.39,65,66 [코칭]은 [학습자 옹호자 역할]을 하는 사람이 [지원과 지도를 제공]하는 것입니다.67,68 코칭은 연수생을 직접 관찰하고 역량 영역에서 구체적인 피드백을 제공하여 연수생이 역량과 독립 준비를 향한 마일스톤 궤적을 따라 움직일 수 있는 기회를 제공합니다. 
The CCC should be structured to explicitly incorporate the useful tension between formative and summative assessment, with workplace-based formative assessment gathered through direct observation, multi-source evaluation and feedback, competency coaching, and summative assessment on the specialty-specific Milestones.39,65,66 Coaching is the provision of support and instruction by someone acting as a learner advocate.67,68 Coaching provides the opportunity to directly observe trainees and provide specific feedback in an area(s) of competency, moving trainees along the Milestones trajectory towards competence and readiness for independence.

학부 및 대학원 의학교육에서 대부분의 코칭 프로그램은 [학생 및 수련의 경력 개발과 건강]에 중점을 두는 반면, [임상 술기 향상과 임상 역량 달성]을 목표로 하는 방법을 활용하는 코칭을 제공하는 프로그램은 거의 없습니다.30,67,68,69,70 또한 [형성적 코칭]과 [총괄 평가]의 [잠재적 상호보완성]에 대한 관심이 충분하지 않다고 가정합니다.69,71 R2C2[관계 구축, 반응 탐색, 내용 탐색, 변화 코칭] 모델은 여러 전문과목에서 검증되었으며 환자 치료, 임상 술기, 역량 성취에 초점을 맞춘 [종단적 코칭과 "순간적" 코칭] 모두에 대한 구체적인 전략을 제공합니다.67,69,71,72 R2C2 모델과 같은 코칭 모델은 코치와 레지던트 간의 개인적인 관계 형성과 [긍정적인 상호작용]을 강조함으로써 [한편으로는 코칭과 다른 한편으로는 평가의 필요성 사이의 긴장]을 관리하기 위해 노력합니다.24,30,67,68,73,74 코치가 [CCC에서 평가자와 코치의 이중 역할]을 수행할 때, 이는 신뢰와 코치로서의 후속 능력을 약화시킵니다.65,75 설계에 근거한 것이 아니라 임상 환경의 개별 수련의와의 우연한 교차점에 근거하여 동일한 CCC 구성원이 코치와 평가자의 관점을 모두 제공하는 경우가 종종 있습니다; 우리는 이 두 가지 역할이 뚜렷하고 개별화된 관점을 제공할 수 있는 다른 사람이 수행하도록 옹호합니다.30,65,75 "보타이 프레임워크"는 CCC 과정에서 레지던트, 역량 코치, 평가자의 역할과 책임을 설명합니다(그림 1). 
The majority of coaching programs in both undergraduate and graduate medical education focus on student and trainee career development and wellness while few programs offer coaching that utilizes methods aimed to enhance clinical skills and achieve clinical competence.30,67,68,69,70 Further, we postulate that insufficient attention is paid to the potential complementarity of formative coaching and summative assessment.69,71 The R2C2 [build relationships, explore reactions, explore content, and coach for change] model has been validated across specialties and offers specific strategies for both longitudinal and “in-the-moment” coaching focused on patient care, clinical skills, and competency achievement.67,69,71,72 Coaching models such as the R2C2 model strive to manage the tension between coaching on the one hand and the need for evaluation on the other, by emphasizing creation of a personal relationship and positive interactions between the coach and resident.24,30,67,68,73,74 When coaches serve a dual role of both evaluator and coach on the CCC, this undermines trust and their subsequent ability to serve as a coach.65,75 Frequently, the same CCC member provides both a coach and evaluator perspective, not based on design but on coincidental intersection with individual trainees in the clinical environment; we advocate for these roles to be served by different persons who can provide distinct and individualized perspectives.30,65,75 The “Bow Tie Framework” delineates the roles and responsibilities of the resident, competency coach, and evaluator in the CCC process (Fig. 1).

초점 영역 #3: 학습 요구 사항을 파악하기 위해 각 교육생이 정보에 입각한 자가 평가를 장려합니다.
Focus Area #3: Promote informed self-assessment by each trainee to identify learning needs

훈련생들의 [정보에 기반한 자기평가]는 CCC 과정의 중요한 구성 요소가 되어야 합니다.
Resident-informed self-assessment should be a celebrated component of the CCC process.

자기 성찰의 중요성에 대한 인식이 높아지고 있음에도 불구하고, CCC 구조는 [레지던트의 자기 평가 기술 개발]과 [각 전문과목에서 정한 인정 기준] 사이의 [변증법dialectic을 축하하고 장려하는 메커니즘]이 제대로 개발되지 않은 경우가 많습니다.28,29,76,77 자기 조절 학습과 전문적 책임감은 모두 우수한 치료를 제공하기 위해 추가 지식, 향상된 기술 또는 직접적인 도움이 필요한 시점을 인식하는 데 달려 있습니다. 따라서 독립적 의료행위의 핵심 전제조건은 경험과 입증된 기술의 집합뿐만 아니라 특히 지속적으로 진화하는 전문직 표준과 관련하여 격차와 기회를 인식하는 능력입니다.27,31,78,79,80,81 [자기평가]와 [성찰적 실천]은 프로그램의 문화에 장려되고 통합될 수 있는 실천 기술이라는 인식이 증가하고 있습니다.1,2,28,29,31,33,78,81,82 예를 들어, [메타인지]와 [적응적 전문성]을 강조해야 한다는 요구는 [정보에 입각한 자기평가]와 [자기 모니터링]의 중요성을 명시적으로 지적합니다.1,83,84,85,86,87 자신의 한계를 판단하는 능력인 [분별력]은 [신뢰성의 핵심 요소]이며, 현대 보건전문직 평가 프레임워크에서 강조되고 있는 또 다른 핵심 요소입니다.32,88,89
Despite the growing appreciation for the importance of self-reflection, CCC structures often have under-developed mechanisms for celebrating and encouraging a dialectic between the resident’s developing skill of self-assessment and the recognized standards set forth by each specialty.28,29,76,77 Self-regulated learning and professional accountability both depend on recognizing when one needs additional knowledge, enhanced skill, or direct assistance in order to deliver excellent care. Thus, a key prerequisite for independent practice is not only a collection of experience and demonstrated skills but also the ability to recognize gaps and opportunities, especially in regard to continually evolving professional standards.27,31,78,79,80,81 There is increasing recognition that self-assessment and reflective practice are practiced skills that can be encouraged and incorporated into a program’s culture.1,2,28,29,31,33,78,81,82 For example, calls for an increased emphasis on meta-cognition and adaptive expertise explicitly point to the importance of informed self-assessment as well as self-monitoring.1,83,84,85,86,87 Discernment, the ability to judge one’s limits, is a key component of entrustability, another increasing emphasis in modern health professions assessment frameworks.32,88,89

우리는 CCC가 레지던트가 스스로 결정한 마일스톤 등급을 CCC 사후 회의의 등급과 비교하는 대신, [레지던트의 마일스톤 자기 평가]를 [CCC 심의의 일부로 통합]하는 [표준 프로세스]를 채택할 것을 제안합니다.77 이는 연수생의 관점을 CCC에 통합하고 연수생이 자신이 선택한 전문분야의 역량 발전 궤적을 인지하도록 하는 역할을 합니다.76,77 CCC는 [현저한 불일치를 해결하기 위한 메커니즘]을 마련해야 하며, 이는 [연 2회 프로그램 디렉터-연수생 회의]와 [연수생의 ILP 공동 제작 과정]에서 논의될 수 있고 논의되어야 합니다.24,62
We suggest that CCCs adopt a standard process of incorporating resident Milestone self-evaluation as part of the CCC deliberations instead of having trainees compare their self-determined Milestone ratings to those of the CCC post meeting.77 This serves to incorporate the trainee perspective into the CCC and ensures the trainee is aware of the trajectory of competence progression in their chosen specialty.76,77 CCCs will need to have a mechanism in place to address marked discrepancies, which can and should be discussed during the bi-annual program director-trainee meeting and during the process of co-producing the trainee’s ILP.24,62

또한, [개별화된 학습 계획ILP]은 수련의와 프로그램 교수진에게 역량을 향한 [미래 지향적 관점] 또는 로드맵을 통해 [단기 및 장기 목표]를 모두 정의하는 과정을 제공합니다.24,54,62 Li와 동료들의 연구에 따르면 소아과 전공의의 실행 가능한 목표 작성 능력이 레지던트 수련 과정에서 크게 향상되었습니다.31 추가 연구는 코칭과 ILP에 해당하는 학습 변화 계획의 사용에 중점을 두었습니다.90

• [이상치 식별 모델]에서 CCC 데이터는 소수의 이상치만을 식별하고 맞춤화하는 데 사용됩니다.60 이 전공의에게 문제가 확인되었나요? 그렇지 않다면 표준화된 프로그램을 계속 진행할 수 있습니다. 문제가 확인된 경우에만 평가 및 교육 계획에 대한 개별화된 접근 방식이 취해집니다.
• [미래지향적인 ILP 관점]에서는 데이터를 사용하여 문제를 식별할 뿐만 아니라, 각 레지던트가 각 역량 또는 이정표를 달성할 수 있는 시기와 방법을 매핑하여 ["앞서가는" 학습자]를 포함하여 각 학습자의 개발을 최적화하기 위한 최선의 경로를 계획하는 데 도움을 줍니다.36 그런 다음 CCC의 의견을 바탕으로 모든 레지던트가 ILP를 공동 제작하여 이 목표를 실현하는 데 사용됩니다.24,54,62,90

Further, individualized learning plans offer trainees and program faculty a process to define both short- and long-term goals through a forward-looking lens or roadmap towards competence.24,54,62 A study by Li and colleagues found that pediatric residents’ ability to write actionable goals significantly improved over the course of residency training.31 Additional studies have focused on coaching and the use of learning change plans, an ILP equivalent.90 

• Under an outlier identification model, CCC data is used to identify and customize the learning plans of only a small number of outliers.60 Have problems with this resident been identified? If not, then they can carry on in a standardized program. An individualized approach to assessment and educational planning is taken only if problems are identified.
• Under a forward-looking, ILP perspective, data are used not only to identify problems, but to map when and how each competency or milestone can be achieved by each resident, helping to chart the best path forward to optimize each learner’s development, including those “ahead of the curve.”36 Co-production of an ILP by every resident, based on the input of the CCC, is then used to actualize this objective.24,54,62,90

[ILP 프로세스]는 종단적 학습 궤적에 중점을 두는 등 레지던트의 남은 예정된 활동에 비추어 기존 데이터를 세밀하게 검토하게 합니다. [역량 기반 진급]을 활용하거나 [CB-TV GME 졸업]을 시범적으로 준비하는 프로그램의 경우, 각 레지던트의 [적절한 졸업 날짜를 결정하는 것]은 레지던트와 프로그램 모두에게 위험과 기회를 수반합니다.7,16,21,22,23,91,92,93 이러한 역동성은 [데이터 수집과 해석이 투명하고 완전히 명문화되도록 보장]하는 데 긍정적인 힘이 될 수 있습니다. 각 개별 전공의의 ILP에는 [관련 데이터 기반 예측]이 포함되어야 하며, [단기 및 장기 실행 가능한 목표]를 모두 만들어야 합니다. 이러한 데이터 기반 ILP 프로세스는 시간 가변 졸업 날짜 시범 운영 여부와 관계없이 모든 프로그램에 도움이 된다고 확신합니다.
The ILP process leads to finer-grained examination of the existing data in the light of the resident’s remaining scheduled activities, including an emphasis on longitudinal learning trajectories. For programs utilizing competency-based advancement or preparing to pilot CB-TV GME graduation, determining each resident’s appropriate graduation date involves risk and opportunity for both the resident and the program.7,16,21,22,23,91,92,93 This dynamic can be a positive force for ensuring that data collection and interpretation is transparent and fully codified. Each individual resident’s ILP should include relevant data-driven predictions, creating both short- and long-term actionable goals. We assert that this data-driven ILP process is beneficial to all programs regardless of whether they are piloting a time-variable graduation date.

목표 연결: 모든 이해관계자의 역량 강화 기술로서의 데이터 관리
Connecting the Goals: Data Management as an Enabling Skill of All Stakeholders

목표를 달성하기 위해 CCC는 효과적인 메커니즘을 활용하여 광범위한 데이터를 수집하고, 데이터의 품질과 충분성을 모두 분석하며, 강력한 보고 메커니즘을 개발해야 합니다. ACGME CCC 가이드북에는 관리 업무를 관리하기 위한 권장 사항이 포함되어 있으며 CCC의 각 구성원에 대한 역할과 책임을 정의합니다. 24 p14-16;18-22 모든 GME 프로그램은 강력한 평가를 활용해야 하지만, 입증된 역량을 기반으로 근거에 기반한 졸업 결정을 내려야 하는 필요성을 고려할 때 시간 가변 교육은 평가를 강화하는 데 더 시급한 자극을 제공합니다. 21,22,56,93
To accomplish its goals, the CCC must utilize effective mechanisms to collect a wide range of data, analyze both its quality and sufficiency, and develop robust reporting mechanisms. The ACGME CCC Guidebook includes recommendations to manage administrative tasks and defines the roles and responsibilities for each member of the CCC. 24 p14-16;18-22 While all GME programs must utilize robust assessment, time-variable training provides a more urgent stimulus to strengthen assessment, given the necessity of making evidence-based graduation decisions based on demonstrated competency. 21,22,56,93

다음은 [CCC 프로세스를 강화하기 위한 권장 사항]입니다:
The following are recommendations to strengthen the CCC process:

a)데이터 과부하를 피하기 위해 회의를 충분히 자주 개최합니다. 회의를 더 자주 개최하면 순환 기반 평가가 수개월의 지연 없이 완료되고 적시에 우려 사항을 해결하는 데 도움이 될 뿐만 아니라 학습과 일치하는 시간 척도에 따라 발달 요구 사항이 해결되도록 보장하는 데 도움이 될 수 있습니다.
a)Hold meetings frequently enough to avoid data overload. More frequent meetings should also help to ensure that rotation-based assessments are completed without many months of delay and can help address concerns in a timely fashion, as well as ensuring that developmental needs are addressed on a timescale consistent with the learning.

b) CCC 구성원에게 [데이터를 검토하고 보고할 관리 가능한 [전공의 하위 집합]을 할당하거나, 모든 전공의 데이터를 검토하는 [역량 하위 집합]을 할당하여] 업무량을 분산합니다. 이 두 가지 관점은 상호 보완적입니다.
b)Parse the workload by assigning CCC members a manageable subset of residents whose data they review and report on—or, alternatively a subset of competencies for which they review all resident data. These two perspectives are complementary.

c)형성적 평가와 종합적 평가를 통합하는 다중 소스 데이터를 활용하고, 가능한 경우 임상 결과 데이터를 통합합니다.
c)Utilize multi-source data that incorporate formative and summative assessments, incorporating clinical outcomes data when available.

d)데이터 시각화를 사용하여 개인 또는 프로그램 추세를 강조합니다.94,95 [CCC가 어느 정도로 레지던트 프로그램 책임자의 내부 지식 없이도 업무를 수행할 수 있는지]는 프로그램의 일상적인 기능을 보완적으로 점검하는 역할을 할 수 있는 능력을 측정하는 척도입니다. CCC 운영을 지원하는 [이상적인 정보 시스템]에는 개별 관찰부터 개별 레지던트 성취도 요약, 프로그램 수준의 통합 디스플레이에 이르기까지 모든 영역을 실행할 수 있는 데이터 포트폴리오가 포함됩니다. 
d)Use data visualizations to highlight individual or programmatic trends.94,95 The degree to which a CCC can carry out its work without the inside knowledge of the residency program director is a measure of its ability to serve as a complementary check on the day-to-day functioning of the program. An ideal information system to support CCC operation includes a data portfolio that can run the gamut from individual observations, through summations of individual resident achievement, to integrative displays at the program level.

그림 2에 표시된 히트 맵은 앞서 설명한 각 CCC 목표에 대한 관점을 제공할 수 있습니다.

• 각 열은 한 명의 레지던트를 나타내므로 비주얼리제이션에 프로그램의 모든 레지던트를 표시할 수 있습니다.
• 각 행은 단일 마일스톤 하위 역량(또는 EPA)을 나타내므로 열을 합치면 해당 전문과목의 역량 모델 전체를 나타냅니다.
• 각 셀은 개별 레지던트가 해당 역량에서 어떤 성과를 거두고 있는지를 나타내며, 색상의 온도는 5점 척도의 종단적 성취도를 나타냅니다.

따라서 이 표현은 레지던트를 수련 단계별로 정렬한 경우 레지던트 간 변동성을 한 눈에 파악할 수 있도록 프로그램의 현재 상태를 요약하여 보여줍니다. 역량 요소 간의 가변성은 각기 다른 성취율과 함께 표시됩니다. 분명히 어떤 역량은 다른 역량보다 개발하기 쉽습니다. 분명히 어떤 레지던트는 다른 레지던트보다 역량 개발이 더 진척된 상태입니다. 이 시각화는 모든 거주자 및 전체 역량 모델에 걸쳐 CCC의 광범위한 사명과 일치합니다. 한 가지 더 보완할 수 있는 것은 입주자의 자가 평가 데이터를 동일한 그리드에 표시하는 것입니다.
Consider the heat map shown in Figure 2 which can provide a perspective on each of the CCC goals we have described.

• Each column represents a single resident, and so, the visualization can show all residents in the program.
• Each row represents a single Milestone sub-competency (or EPA) so that the columns taken together represent the entirety of the competency model for the specialty.
• Each cell represents how that individual resident is doing on that individual competency, with the temperature of the color suggesting a five-point scale of longitudinal achievement.

As such, the representation provides a summary of the current state of the program, with the between-resident variability manifest at a glance, especially if the residents are ordered by stage of training. The variability between competency elements is also on display with their differing rate of achievement. Clearly, some competencies are easier to develop than others. Clearly, some residents are further along in their development than are others. The visualization is consistent with the breadth of the CCC’s mission, across all residents and across the entire competency model. A further embellishment would be to represent resident self-assessment data on the same grid.

 

이 예는 정적 시각화입니다. 이상적으로는 구성원들이 데이터에 대한 여러 보기를 고려하고 필요한 경우 마일스톤 진행 상황의 현재 추정치를 결정하는 세부 데이터까지 드릴다운할 수 있는 [동적 대시보드]가 CCC를 지원합니다.94,95,96 여기서 중요한 점은 CCC가 사용 가능한 [평가 데이터의 충분성]을 평가할 수 있다는 것입니다.

• 어떤 데이터가 누락되었나요?
• 누락된 이유는 무엇인가요?
• 프로그램 수준의 질 개선(QI)에 시사점이 있습니까?
• 아니면 해당 레지던트에 대한 구체적인 시사점이 있나요?

평가에 대한 통제권이 자율적인 레지던트 학습자에게 기울어져 있기 때문에 학습자가 필요한 성취 증거를 수집하는 측면에서 프로그램 기대치를 충족할 수 있는 정도는 자체 데이터 포인트가 될 수 있습니다. CCC 데이터 시각화는 전체 프로그램 수준의 맵을 제공하고 [개별 데이터 포인트 수준]까지 드릴다운할 수 있도록 CCC 회의 내에서 [동적으로 액세스]할 수 있도록 설계되어야 합니다.
Our example is a static visualization. Ideally, CCCs are supported by dynamic dashboards which allow the members to consider multiple views on the data, drilling down when necessary, to the granular data that determine the current estimate of milestone progression.94,95,96 An important point here is that the CCC can assess the sufficiency of the evaluation data available to it.

• What data is missing?
• Why is it missing?
• Are there program-level quality improvement (QI) implications?
• Or specific implications for this resident?

As the locus of control for assessment is tilted towards a self-regulated resident learner, the degree to which the learner is able to meet the program expectations in terms of collecting the necessary evidence of achievement may be its own datapoint. CCC data visualizations should be engineered to allow dynamic access within the CCC meeting to provide both an overall program-level map, and to drill down to the individual data point level.

 

결론
Conclusion

이 글에서는 [모든 레지던트]에게 정기적으로 적용되어야 하는 세 가지 핵심 CCC 목표를 제안했습니다.

• (1) 교육을 최적화하기 위한 발달 상태 파악 및 설명,
• (2) 무감독 실습 준비 상태 판단,
• (3) 자기 평가 능력 배양

이러한 목표를 실현하기 위해 CCC 프로세스를 개선하기 위한 중점 영역으로 다음과 같은 사항을 권장했습니다.

• 공유된 평가 및 역량 기반 발전 모델을 통해 우수자뿐만 아니라 모든 연수생의 역량 개발을 평가하고 촉진하며,
• 연수생의 독립적 의료행위 준비 상태를 판단하기 위해 CCC 평가 프로세스를 강화하고,
• 각 연수생의 학습 요구에 대한 정보에 입각한 자기 평가를 장려합니다.

In this article, we have proposed three core CCC goals that must be regularly applied to every resident:

• (1) discern and describe developmental status to optimize education,
• (2) determine readiness for unsupervised practice, and
• (3) foster self-assessment ability.

We have recommended areas of focus to enhance the CCC process to actualize these goals including the following:

• assess and promote the development of competency in all trainees, not just outliers, through a shared model of assessment and competency-based advancement;
• strengthen CCC assessment processes to determine trainee readiness for independent practice; and
• promote informed self-assessment of each trainees’ learning needs.

우리는 [코칭]을 통한 [형성적 피드백 제공]을 강조했으며, 강력한 [직장 기반 다중 소스 평가]를 통해 [개별화된 학습 계획]의 [공동 제작]과 연결된 [각 연수생의 발달 궤도에 대한 CCC의 결정]에 정보를 제공하는 것이 중요하다는 점을 강조해왔습니다. 또한 각 교육생의 역량 궤적에 대한 포괄적인 개요를 제공하여 강점과 성장 영역을 모두 파악할 수 있는 데이터 시각화의 중요성을 강조합니다.
We have emphasized the importance of providing formative feedback through coaching and robust workplace-based multi-source assessments to inform the CCC’s determination of the developmental trajectory of each trainee coupled with co-production of an individualized learning plan. Further, we emphasize the importance of data visualizations to provide a comprehensive overview of each trainee’s competency trajectory, noting areas of both strength and growth.

[교육기관과 프로그램]은 교육생 평가가 [중요critical]하고 [리소스 집약적인 과정]임을 인식하고, 그에 따라 우선순위를 정하고 자금을 지원해야 합니다. 참여하는 교수진은 적절한 교육을 받고 노력에 대한 보상을 받아야 합니다.64 또한 평가 참여는 [교수진의 학술적 발전에 기여]할 수 있으며, 또 다른 중요한 인센티브를 제공할 수 있습니다(그리고 그래야 합니다). [효과적인 평가를 지원하기 위한 성공적인 전략이 전파]되어야 합니다. 역량 기반 의학교육은 개별화된 진로를 촉진하며, 프로그램의 시간 가변적 진급 계획 여부에 관계없이 유연한 교육 시스템을 필요로 합니다.6,97
Institutions and programs must recognize that trainee assessment is a critical and resource-intensive process and must prioritize and fund it accordingly. Participating faculty should be appropriately trained and compensated for their effort.64 In addition, engagement in assessment may (and should) contribute to the academic advancement of faculty, providing another important incentive. Successful strategies to support effective assessment should be disseminated. Competency-based medical education promotes individualized pathways and requires flexible educational systems regardless of whether programs plan for time-variable advancement.6,97

전반적으로, 우리는 역량 기반 진급을 위해 "지금까지 어떻게 해왔습니까?"가 아니라 "우리가 당신에 대해 알고 있는 것을 고려할 때, 앞으로의 궤도를 최적화하는 데 어떻게 도움을 줄 수 있습니까?"라는 미래 지향적인 사고방식을 장려하고 있습니다. ACGME는 CCC가 이러한 목표를 실현할 수 있는 구조와 프레임워크를 제공했지만, 개별 프로그램은 역량 기반 의학교육 및 발전에서 CCC의 역할을 수행하기 위해 도구를 개념화하고 강화하며 프레임워크를 맞춤화해야만 잠재력을 실현할 수 있습니다.
Overall, we are promoting a forward-looking mindset in service of competency-based advancement, one where the question is not “how have you done until now?” but rather “given what we know about you, how can we help optimize your forward trajectory?”. The ACGME has provided the structure and framework for CCCs to actualize these goals, yet individual programs must conceptualize and strengthen the tools and personalize the framework to realize the potential of the CCC in fulfilling its role in competency-based medical education and advancement.

 

 

---

J Gen Intern Med. 2022 Jul;37(9):2280-2290. doi: 10.1007/s11606-022-07515-3. Epub 2022 Apr 20.

 

Reimagining the Clinical Competency Committee to Enhance Education and Prepare for Competency-Based Time-Variable Advancement

Mary Ellen J Goldhamer 1 2 3, Maria Martinez-Lage 4 5, W Stephen Black-Schaffer 4 5, Jennifer T Huang 5 6, John Patrick T Co 4 7 5, Debra F Weinstein 8 9, Martin V Pusic 5 6

Affiliations collapse

1Massachusetts General Hospital, Boston, MA, 02114, USA. mgoldhamer@mgh.harvard.edu.

2Mass General Brigham, Boston, MA, USA. mgoldhamer@mgh.harvard.edu.

3Harvard Medical School, Boston, MA, USA. mgoldhamer@mgh.harvard.edu.

4Massachusetts General Hospital, Boston, MA, 02114, USA.

5Harvard Medical School, Boston, MA, USA.

6Boston Children's Hospital, Boston, MA, USA.

7Mass General Brigham, Boston, MA, USA.

8University of Michigan Medical School, Ann Arbor, MI, USA.

9Michigan Medicine, Ann Arbor, MI, USA.

PMID: 35445932

PMCID: PMC9021365

DOI: 10.1007/s11606-022-07515-3

Free PMC article

Abstract

Assessing residents and clinical fellows is a high-stakes activity. Effective assessment is important throughout training so that identified areas of strength and weakness can guide educational planning to optimize outcomes. Assessment has historically been underemphasized although medical education oversight organizations have strengthened requirements in recent years. Growing acceptance of competency-based medical education and its logical extension to competency-based time-variable (CB-TV) graduate medical education (GME) further highlights the importance of implementing effective evidence-based approaches to assessment. The Clinical Competency Committee (CCC) has emerged as a key programmatic structure in graduate medical education. In the context of launching a multi-specialty pilot of CB-TV GME in our health system, we have examined several program's CCC processes and reviewed the relevant literature to propose enhancements to CCCs. We recommend that all CCCs fulfill three core goals, regularly applied to every GME trainee: (1) discern and describe the resident's developmental status to individualize education, (2) determine readiness for unsupervised practice, and (3) foster self-assessment ability. We integrate the literature and observations from GME program CCCs in our institutions to evaluate how current CCC processes support or undermine these goals. Obstacles and key enablers are identified. Finally, we recommend ways to achieve the stated goals, including the following: (1) assess and promote the development of competency in all trainees, not just outliers, through a shared model of assessment and competency-based advancement; (2) strengthen CCC assessment processes to determine trainee readiness for independent practice; and (3) promote trainee reflection and informed self-assessment. The importance of coaching for competency, robust workplace-based assessments, feedback, and co-production of individualized learning plans are emphasized. Individual programs and their CCCs must strengthen assessment tools and frameworks to realize the potential of competency-oriented education.

Keywords: COVID-19; Milestones; clinical competency committee; competency-based advancement; competency-based medical education; individualized learning plan; time-variable graduate medical education.

© 2022. The Author(s).