CBME와 쿤의 유령: 변신을 위한 지저분하고 의미있는 작업에 대한 성찰(Acad Med, 2018)

CBME와 쿤의 유령: 변신을 위한 지저분하고 의미있는 작업에 대한 성찰(Acad Med, 2018)

Competency-Based Medical Education and the Ghost of Kuhn: Reflections on the Messy and Meaningful Work of Transformation

Eric S. Holmboe, MD

Critical thoughts about the Core Entrustable Professional Activities in undergraduate medical education. Acad Med. 2018;93:371–376.

Edward Krupat는 학부 의학 교육 (UME) 및 역량 기반 의학 교육 (CBME)에서 위탁 가능한 전문 활동 (EPA)에 대한 신중한 비판을 제시했습니다 .1 Krupat는 "아마도 지금은 잠시 멈춰서 숨을 깊이들이 마시고, 우리가 뒤로 물러나거나 옆으로 옳은 방향으로 큰 걸음을 내딛고 있는지 물어보아야 할 때일 것이다. "1

In this issue of Academic Medicine, Edward Krupat has laid out some thoughtful criticisms of entrustable professional activities (EPAs) in undergraduate medical education (UME) and of competency-based medical education (CBME) in general.1 Krupat writes, however, that “perhaps now is the right time to pause, take a deep breath, and ask ourselves whether we are taking a major step in the right direction rather than a step back or to the side.”1

결과 기반 의학 교육의 주된 동력 중 하나는 20 대 후반과 21 세기 초에 [의대 졸업생들은 레지던트가 될 준비가 불충분하고, 레지던트 프로그램 졸업생들이 독립적 의료를 할 준비가 불충분하다는] 인식의 증가였습니다. 3-5 이와 동시에, The Institute of Medicine의 보고서 인 Err is Human6 및 Quality Crossing of Quality Chamm을 통해 환자가받은 진료의 질과 안전성에있어 광범위하고 심각한 결함을 보여주었습니다. 후속 보고서는 

• 건강 관리 비용을 낮추고, 

• 인구 건강을 개선하며, 

• 돌봄의 질과 안전을 향상시키는 것

...과 같은 세 가지 목적의 격차를 해소하는 데 어려움을 느낀 점을 강조했다.

One of the primary drivers for outcomes-based medical education was the growing recognition during the late 20th and early 21st centuries that graduates of medical schools were insufficiently prepared for residency and that graduates of residency programs were insufficiently prepared for practice.3–5 Concomitantly, a growing body of research, culminating in the seminal Institute of Medicine reports To Err Is Human6 and Crossing the Quality Chasm,7 demonstrated significant and widespread deficiencies in the quality and safety of care received by patients. Subsequent reports have highlighted agonizingly slow progress in addressing many of the gaps in the triple aim: 

• lowering health care costs, 

• improving population health, and 

• improving care quality and safety.8–10

Arnold Milstein11은 2010 년 미국 내과의위원회의 의학 교육 포럼에서

Arnold Milstein11 noted in his 2010 address at the American Board of Internal Medicine Foundation’s forum on medical education that

미국의 의료 교육 기관의 의사 졸업생은 일반적으로 미국의 의료 서비스 전달을 주도하거나 크게 영향을 미치기 때문에 의학교육 산업의 효율성에 대한 간접적이며 광범위한 결과 기반의 증거 중 하나는 미국 의료 시스템의 전반적인 성과입니다. 효과 성, 안전성 및 효율성에 대한 퍼포먼스 gap은 의사가 히포크라테스의 약속을 적절히 준수하고 있음을 사회가 확신할 수 없게 만든다.

[s]ince physician graduates of American medical education organizations typically lead or heavily influence U.S. health care delivery, one source of indirect, broad, outcome-based evidence [of the effectiveness of the medical education enterprise] is the overall performance of the U.S. health care system. The width of the performance gaps on the aims of effectiveness, safety and efficiency understandably reduces society’s confidence that physicians are adequately honoring their Hippocratic promises.

이러한 시스템 문제 외에도 개별 학습자에 대한 우려가 점차 증가하고 있습니다. 너무 많은 경험을 계속합니다.

• 상당한 부채의 독성 혼합,

• 기능 장애적 임상 학습 환경,

• 중요한 업무 압박

• 번 아웃

• 실업에 대한 두려움 때문에 학생들은 놀라운 수의 수련 프로그램에 지원해야합니다. 

On top of these system concerns are a growing number of concerns about our individual learners: Too many continue to experience 

• a toxic mix of substantial debt, 

• dysfunctional clinical learning environments, 

• significant work compression, and 

• burnout, as well as 

• fears of medical unemployment that lead students to apply to an astounding number of residency programs. 

솔직해지자: 일부 교육자들 사이에서 세대 간 (예 : 천년) 용어로 학습자에 대해 불평하는 경향이 있지만, 의대생들과 레지던트들 때문에 이러한 기능 장애가 생긴 것은 아니다. 교육 지도자로 봉사하는 우리들은 정말로 이러한 조건들이 인간적 교육 과정을 지지한다고 말할 수 있습니까? 교육에 관련된 모든 사람이 우리가 만들어낸 여건을 성찰하기 위해 돌아보고 반성해야 합니까?

Let’s be honest: Medical students and residents did not create these dysfunctional conditions, despite a penchant among some educators to complain about learners in generational (e.g., millennial) terms. Can those of us who serve as educational leaders really say these conditions support a humanistic educational process? Do all of us involved in education need to spend more time looking in the mirror and reflecting on the conditions we helped create?

구조와 과정에서 결과 중심의 접근으로의 전환은 실제 시도되고있는 패러다임 전환이다. 논리적으로, 특히 공공의 관점에서, UME와 GME 프로그램은 졸업생들이 자신의 발전 단계에 적합한 업무와 활동을 실제로 수행 할 수 있다는 확신을 어느 정도 가지고 있어야합니다. 역량에 대한 충분한 증거로서 더 이상 학습 과정을 완료하고 시험을 통과하는 것에 의존하는 것이 적절하지 않습니다. 교육이 그토록 간단했다면 왜 현재 수준의 품질 및 안전 문제와 의료 오류가 발생했겠습니까?

The shift from a structure and process to an outcomes-based approach is the actual paradigm shift being attempted. Logically, and especially from a public perspective, UME and GME programs should be able to conclude with some degree of accurate confidence that graduates can actually perform the tasks and activities appropriate for their stage of development. No longer is it appropriate to simply rely on completing a course of study and passing an exam as sufficient evidence of competence. If education were that straightforward, would we be experiencing the current levels of quality and safety problems and medical errors? 

이제 도전 과제는 구조와 프로세스에 중점을두고 high-functioning 학습 환경에서 이러한 역량을 포함하는 결과에 초점을 맞추어 의학교육을 재조정하는 것입니다.

The challenge now is to rebalance medical education by decreasing the emphasis on structure and process and increasing the focus on outcomes that include these competencies in a high-functioning learning environment.

역량은 복잡한 건강 관리 시스템에서 의사가 필요로하는 필수 능력의 프레임 워크와 정신 모델을 제공하여 교육 성과로의 전환을 촉진하는 데 도움이되는 하나의 메커니즘으로 만들어졌습니다. 좋든 싫든, 6 개의 핵심 역량은 (SBP 및 PBLI과 같이 과거에는 묵시적으로 거의 평가되지 않았지만) 중요한 능력에 대한 관심을 불러일으켰다.2,12,13

Competencies were created as one mechanism to help facilitate the transformation to educational outcomes by providing frameworks and mental models of the essential abilities physicians need in a complex health care system.12 Love them or hate them, the six core competencies call attention to critical abilities that previously were either ignored or at best taught implicitly and rarely assessed, such as systems-based practice (SBP) and practice-based learning and improvement.2,12,13

역량 영역의 지속적인 결함을 강조하는 데이터에도 불구하고 "환자", "품질"및 "안전"과 같은 단어는 CBME를 비판하는 문서에서 거의 사용되지 않으며, 다른 해결책이나 제안도 거의 없다. 또한 여전히 public forum의 코멘트에는 "시스템 기반의 실천이 우리의 전문 분야에 실제로 적용되지 않는다"또는 "우리는 이 품질과 안전성에서 레지던트들을 보호해서 의학을 배울 수 있게 해야 한다" 등이 나돈다.

It pains me that, despite data highlighting ongoing deficiencies in these competency domains, words like “patient,” “quality,” and “safety” are rarely used in most of the literature critical of CBME, and different solutions or suggestions are rarely offered. It also troubles me to still see in some current public forums comments such as “Systems-based practice doesn’t really apply to our specialty,” or “We need to protect residents from this quality and safety stuff so they can learn medicine.”

EPA 및 이정표 15는 역량의 적용 및 구현을 안내하는 교육 기술로 개념화 될 수 있으며, 나는 그들이 또 하나의 "빛나는 밝은 대상"이되지 않도록 철저히 연구해야한다는 것을 충분히 인식하고있다.

EPAs, and also Milestones,15 can be conceptualized as educational technologies to guide the application and implementation of the competencies, and I fully recognize that they must be rigorously studied so that they do not become yet another “shiny bright object.”16

변화를 위한 여정은 시간이 걸리고, 이정표와 EPA 경험은 다르지 않습니다. 첫 번째 마일스톤 작업은 2007 년에 시작되었으며 대학원 의학 교육 인정위원회는 현재 차기 마일스톤 개정을 계획하고 있습니다. 이 과정은 2018 년에 시작되어 몇 년이 걸릴 것입니다. Milestone은 경험이 축적되면서 시간이 지남에 따라 변할 수있는 역동적 인 프레임 워크로 여겨져 왔고 사용법에 대한 교훈을 얻었습니다 .18-20

The journey to change takes time, and the experiences with Milestones and EPAs are no different. The first Milestone work began in 2007, and the Accreditation Council for Graduate Medical Education is currently planning for the next round of Milestone revisions, a process that will begin in 2018 and take several years. The Milestones have always been viewed as a dynamic framework that will change over time as experience is gained and lessons are learned on how best to use them.18–20

Krupat에 따르면 UME 및 GME 연속체에 걸쳐 이러한 교육 기술을 통합하는 최선의 방법에 대한 더 많은 작업이 성과로의 패러다임 전환을 동반하는 투쟁의 일부로서 반드시 필요하다고 동의합니다.

I agree with Krupat that more work on how best to integrate these educational technologies across the UME and GME continuum is definitely needed as part of the struggle with the paradigm shift to outcomes.

정의에 따르면, 패러다임 전환은 더 오래된 패러다임을 유지하려는 사람들과 새로운 패러다임을 추진하려는 사람들 모두에게 지저분하고 위협적입니다. 1962 년 Thomas Kuhn21 (p5)은...

By definition, paradigm shifts are messy and threatening, both for those wanting to remain with the older paradigm and those pushing the newer paradigm. As Thomas Kuhn21(p5) noted in 1962,

대부분의 과학자들이 필연적으로 거의 모든 시간을 소비하는 [정상 과학]은 과학 공동체가 세상이 무엇인지를 알고 있다고 가정합니다. Enterprise에서 성공의 상당 부분은 (상당한 비용이 들더라도) 해당 가정을 지키려는 커뮤니티의 의지에서 비롯됩니다. [강조 추가]

Normal science, the activity in which most scientists inevitably spend almost all of their time, is predicated on the assumption that the scientific community knows what the world is like. Much of the success of the enterprise derives from the community’s willingness to defend that assumption, if necessary at considerable cost. [emphasis added]

의학 교육에서 평가 및 프로그램 평가 방법론은 현재이 패러다임 전환의 tense interface에 있습니다. 의학 교육은 연구 및 평가 설계에서 복잡성의 핵심 역할을 통합하는 방법론을 개발 한 보건 및 사회 서비스 연구 세계의 교훈을 포용함으로써 이익을 얻을 수있다 .22,23

Assessment and program evaluation methodologies in medical education currently sit at the tense interface of this paradigmatic transition. Medical education can benefit by embracing lessons from the health and social services research worlds, which have developed methodologies incorporating the critical role of complexity in research and evaluation design.22,23

평가 측면에서 균형은 20 세기의 객관식 질문 (MCQ) 및 객관적인 구조화 된 임상 시험 (OSCE)과 같은 고부담 "프록시"평가에 과도하게 의존하는 현재에서 벗어나, (특히 임상, GME에서는) 작업 기반 평가에로 변화해야합니다. MCQ 시험에 가치가 없다는 말은 아닙니다. 다만 어떤 시점에서 교육 공동체인 우리는 지난 수십년간 고부담 MCQ 시험 및 OSCE의 발전을 이뤄왔음에도, 여전히 우리가 가진 것은 작금의 의료 시스템 퍼포먼스라는 것을 인식해야 한다.

On the assessment side, the balance needs to shift from the 20th century’s heavy reliance on high-stakes “proxy” assessments, such as multiple-choice question (MCQ) examinations and objective structured clinical examinations (OSCEs), to work-based assessment in the clinical space, especially in GME. That is not to say that MCQ exams, for example, do not have value—they do— but at some point we in the educational community need to recognize that despite decades of advances in high- stakes MCQ exams and OSCEs, we have the health system performance we have.

너무나 자주, 다양한 평가 접근법의 역할에 관한 논쟁은 도움이되지 않는 이데올로기적 논쟁으로 엉망이되었습니다.

Too often, debates around the role of various assessment approaches get bogged down in unhelpful ideological arguments.

우리는 의학 교육에서 우리가하는 대부분이 상호작용하고 상호의존적인 여러 구성 요소를 possessing하는 개입이라고 정의되는 "복잡한 개입"을 구현해야한다는 사실을 받아 들여야합니다 .22이 렌즈를 통해 UME 및 GME의 EPA와 GME의 마일스톤을 사용하여, 가변적이고 진화하는 맥락에 포함 된 여러 상호 작용하는 구성 요소와의 진정한 복잡한 중재로 간주됩니다. EPAs와 Milestone은, 개입의 목적으로 사용하더라도, 쉽게 무작위 배정 될 수있는 치료약이 아닙니다. 무작위 통제 연구 (RCTs)는 적절한 경우 계속해서 역할을 수행해야하지만, 의학 교육 연구는 복잡성의 영향을 교육 개입의 결과 및 성과에 반영하는 방법론적 접근법을 사용해야합니다 .23

We need to embrace the reality that most of what we do in medical education involves implementing “complex interventions,” simply defined as interventions possessing multiple interacting and interdependent components.22 Through this lens, using EPAs in UME and GME, and Milestones in GME, are viewed as truly complex interventions with multiple interacting components embedded in variable and evolving contexts. EPAs and Milestones, when treated as interventions, are not therapeutic pills that can be easily randomized. While randomized controlled trials (RCTs) should continue to play a role where appropriate, research in medical education also needs to use methodological approaches that incorporate the effects of complexity on the implementation and outcomes of educational interventions.23

품질과 안전에 대한 기관의 퍼포먼스 수준은 (그 기관에서 수련받은) 개별 졸업생의 미래 수행능력과 연관되어 있다.

an institution’s level of performance in quality and safety is associated with the future practice of its individual graduates,

복잡한 개입의 구현은 오랜 성공의 여정을 가지고 있으며, 깨지기 쉽고, 길을 따라 돌연변이를 일으키며, 맥락에 크게 의존하고, 스스로를 되돌린다. 무작위화는 성공이나 실패를 가져 오는 메커니즘과 상황에 대한 통찰력을 제공하지 않으며, 통제그룹은 성공적인 실행에 기여하는 것이 무엇인지를 이해하는 데 아무런 도움이되지 않습니다 .27

Implementations of complex interventions have long success journeys, are fragile, mutate along the way, depend heavily on context, and feed back on themselves.23,27 Randomization does not provide any insights into the mechanism and contexts that produce success or failure, and control groups contribute nothing to understanding what contributes to successful implementation.27

마지막으로, 우리 모두가 연속체에서 의학 교육을 변화시키기 위해 노력할 때, 우리는 우리가 논쟁에서 양극성을 다루는 방식을 재고 할 필요가 있습니다. 현재의 교육 담론은 너무 많은 양의 "극단적 인 양극화"나 "이분법"을 중심으로 높은 이해력 테스트와 업무 기반의 평가, 정량적 대 정량적 접근법, 환원주의 대 전체주의, 프로세스 대 결과, 기타 등등. 이러한 either-or 식의 논쟁은 종종 재미있는 이념적 exercise가 되긴 하지만, 일반적으로 도움이 안되고, 환자에게 도움이 된다거나 이 분야를 궁극적으로 발전시키지 못한다. 존슨의 polarity thinking 모델은 긴장과 어려움을보다 생산적으로 활용하기위한 더 나은 접근 방법 일 수 있습니다. 이 모델은 양극성을 "both-and" 관점으로 바라보며, 그룹과 개인이 각 극의 이점과 한계를 평가하도록 유도하여 한계에 주의하면서도 동시에 양극의 강점을 활용합니다.

Finally, as we all work to change medical education across the continuum, we need to rethink how we handle polarities in our debates. At the current time, too much of the educational discourse revolves around many “either–or” polarities or dichotomies, such as high-stakes tests versus work-based assessments, quantitative versus qualitative approaches to assessment, reductionism versus holism, process versus outcome, and so forth. Such either–or arguments are typically unhelpful—engaging in them often makes for a fun ideological exercise but in the end does not move the field forward or ultimately help patients. Johnson’s28 model of polarity thinking may be a better approach to leverage tensions and challenges more productively. In this model, polarities are viewed as “both–and,” encouraging groups and individuals to assess the benefits and the limitations of each pole and thus leverage the strengths of the polarity while being attentive to the limitations.

1 Krupat E. Critical thoughts about the Core Entrustable Professional Activities in undergraduate medical education. Acad Med. 2018;93:371–376.

2 Holmboe ES, Sherbino J, Englander R, Snell L, Frank JR; ICBME Collaborators. A call to action: The controversy of and rationale for competency-based medical education. Med Teach. 2017;39:574–581.

20 Holmboe ES, Call S, Ficalora RD. Milestones and competency-based medical education in internal medicine. JAMA Intern Med. 2016;176:1601–1602.

---

Acad Med. 2018 Mar;93(3):350-353. doi: 10.1097/ACM.0000000000001866.

Competency-Based Medical Education and the Ghost of Kuhn: Reflections on the Messy and Meaningful Work of Transformation.

Holmboe ES1.

Author information

1

E.S. Holmboe is senior vice president, Milestone Development and Evaluation, Accreditation Council for Graduate Medical Education, Chicago, Illinois.

Abstract

The transition, if not transformation, to outcomes-based medical education likely represents a paradigm shift struggling to be realized. Paradigm shifts are messy and difficult but ultimately meaningful if done successfully. This struggle has engen dered tension and disagreements, with many of these disagreements cast as either-or polarities. There is little disagreement, however, that the health care system is not effectively achieving the triple aim for all patients. Much of the tension and polarity revolve around how more effectively to prepare students and residents to work in and help change a complex health care system.Competencies were an initial attempt to facilitate this shift by creating frameworks of essential abilities needed by physicians. However, implementation of competencies has proven to be difficult. Entrustable professional activities (EPAs) in undergraduate and graduate medical education and Milestones in graduate medical education are recent concepts being tried and studied as approaches to guide the shift to outcomes. Their primary purpose is to help facilitate implementation of an outcomes-based approach by creating shared mental models of the competencies, which in turn can help to improve curricula and assessment. Understanding whether and how EPAs and Milestones effectively facilitate the shift to outcomes has been and will continue to be an iterative and ongoing reflective process across the entire medical education community using lessons from implementation and complexity science. In this Invited Commentary, the author reflects on what got the community to this point and some sources of tension involved in the struggle to move to outcomes-based education.

PMID:

 

28857789

 

DOI:

 

10.1097/ACM.0000000000001866