CBME의 도입: 우려와 도전을 해결하고 있는가? (Med Educ, 2015)

CBME의 도입: 우려와 도전을 해결하고 있는가? (Med Educ, 2015)

Implementation of competency-based medical education: are we addressing the concerns and challenges?

Richard E Hawkins,1 Catherine M Welcher,2 Eric S Holmboe,3 Lynne M Kirk,4 John J Norcini,5

Kenneth B Simons6 & Susan E Skochelak7

도입 INTRODUCTION

CBME 모델은 대중에게 더 나은 책임감, 과학적 지식의 빠른 확장 및 의료 관행의 변화에 대한 인식된 요구에 의해 추진된다.1-5 역량을 측정 가능한 하위역량 또는 이정표로 구분하는 역량 기반 프레임워크는 개별 역량의 달성에 초점을 맞추고, 주로 [지식 기반 검사와 글로벌 등급]으로 구성된 기존의 평가 접근 방식을 넘어 [환자 진료의 평가 및 수행능력 기반 교육 성과]를 수용하는 프레임워크로 전환한다.4 CBME는 의사 성과와 환자 관리의 궁극적인 결과에 초점을 맞춤으로써, 자신이 서비스하는 인구와 지역사회의 요구에 부응하는 기술을 가진 전문가를 배출하고 그들이 실천하는 의료 시스템과 지역사회의 요구를 충족시키려 한다.7

Models of CBME are driven by the perceived need for better accountability to the public, rapid expansions in scientific knowledge and changes in medical practice.1–5 Competency-based frameworks, which break down competencies into measurable subcompetencies or milestones, focus on the achievement of individual competencies and move beyond the conventional approach to assessment, consisting primarily of knowledge-based examinations and global ratings, to one that embraces the assessment of patient care and performance-based education outcomes.4 By focusing on the ultimate outcomes of physician performance and patient care, CBME seeks to produce professionals whose skills are responsive to the needs of the populations and communities they serve6 and meet the needs of the health care systems and communities in which they practise.7

• 역량 기반 프레임워크는 구조, 컨텐츠, 프로세스 기반 이점을 제공합니다. CBME의 인식된 이점에는 다음과 같은 것들이 있다: 

• 결과 및 학습자 성취도에 초점을 맞춘다. 

• 형성 평가를 수용하는 다면적인 관찰 기반 평가 접근방식을 요구

• 유연한 학습과 교육의 연속성을 따라 시간적으로 독립적인 학습 궤도 지원

• 교육, 평가 및 규제를 위한 공통언어와 기대치를 공유하여 모든 이해당사자에 대한 투명성과 책임성을 제고합니다.

Competency-based frameworks offer structural, content- and process-based benefits. Perceived advantages of CBME include: 

• a focus on outcomes and learner achievement; 

• requirements for a multifaceted, observation-based assessment approach that embraces formative assessment; 

• support of flexible learning and a time-independent trajectory along the continuum of education, and 

• increased transparency and accountability to all stakeholders with a shared set of expectations and a common language for education, assessment and regulation.1,6,8,9

CBME에 대한 광범위한 열정과 그러한 프레임워크의 주목할 만한 장점에도 불구하고, 아래에 기술된 수많은 조항은 CBME 구현에 대한 우려를 제기하거나 문제를 밝혀냈으며, 결과적으로 주의를 권했다. 현재의 검토는 이러한 우려와 과제를 개략적으로 설명한 다음 CBME의 구현에 대한 그들의 함의를 논의하는 동시에 이러한 우려와 과제에 대한 교육계의 반응을 요약하기 위한 것이다.

Despite widespread enthusiasm for CBME and the noted advantages of such a framework, numerous articles, delineated below, have raised concerns or identified challenges in the implementation of CBME, and consequently have advised caution. The present review is intended to outline these concerns and challenges and to then discuss their implications for the implementation of CBME, while also summarising the responses of the education community to these concerns and challenges.

(i) 역량 기반 프레임워크 구현의 실질적인, 행정적, 물류 요건 및 관련 결과와 관련된 사항 

(i) those that relate to the practical, administrative and logistical requirements and the related consequences of implementing competency-based frameworks, and 

(ii) 주로 개념적 또는 이론적 의미에 대한 사항.

(ii) those that have more conceptual or theoretical implications.

그러나 두 범주 사이의 선이 때때로 흐리게 나타납니다. 예를 들어, 심리측정학적 문제는 교수진의 개발 요구를 증가시키거나 시간 독립적 프로그래밍의 구현을 방해하는 장애물이 될 때 행정적 및 물류적 문제를 야기할 수 있다.

However, the line between the two categories is occasionally blurred. For example, psychometric issues may create administrative and logistical challenges when they increase faculty development needs or become obstacles that prevent the implementation of time-independent programming.

실용적이고 물류적인 과제

PRACTICAL AND LOGISTICAL CHALLENGES

개별적이고 유연한 학습 계획을 수용하는 CBME의 구조 모델 부족

Lack of structural models for CBME that accommodate individual, flexible learning plans

CBME 모델은 유연한 학습 계획을 통해 개별 학습 요구를 지원하는 데 사용될 수 있다. 비록 이것이 장점으로 인식되지만, 이 결과는 프로그램 구조와 자원에 관한 중요한 의미를 가질 수 있으며, 효과적으로 관리되지는 않는다면, 혼란스러운 학습 환경을 초래할 수 있다.2, 18,19 개별 학습 요구와 교육자 간의 학습 속도의 가변성을 수용하기 위한 모범 사례와 모델은 아직 개발되지 않았다. 학부 의료 교육(UME) 및 대학원 의학 교육(GME) 수준에서 구현된 CBME 프로그램은 개인의 역량 성취에 기초하여 조기 졸업을 지원할 수 있지만, 이러한 장점은 특히 GME에서 교수 및 역할 모델링에 대한 부정적인 영향을 상쇄할 수 있다.

Models of CBME can be used to support individual learning needs through flexible learning plans. Although this is perceived as an advantage, this outcome may have significant implications regarding programme structure and resources, and, if not effectively managed, could result in a chaotic learning environment.2,18,19 Best practices and models for accommodating individual learning needs and variability in the pace of learning among trainees have not yet been developed. Programmes of CBME implemented at the undergraduate medical education (UME) and graduate medical education (GME) levels may support early graduation based on the individual achievement of competencies, but this perceived advantage may be offset by the potential for adverse impacts on teaching and role modelling, particularly in GME. 

가장 재능 있는 수련생들의 조기 퇴진은 프로그램의 교육 문화 모두에 영향을 미칠 수 있으며, 교사로서 레지던트의 손실을 보상하기 위한 추가적인 교수진의 필요성을 암시할 수 있다. 또한 교육 경험 전반에 걸친 불확실한 전환 시기(로테이션 대 로테이션 , 연도별)는 전공의 일정을 혼란스럽게 하여 의료 제공에 인력진의 영향과 영향을 미칠 수 있다.18

The early departure of the most talented trainees may impact both the educational culture of the programme and imply a need for additional faculty development to cover the loss of residents as teachers. In addition, the uncertain timing of transitions (rotation-to-rotation, year-to-year) across the education experience may have workforce implications and impact on health care delivery by disrupting resident schedules.18

[비동기식asynchronous 졸업 가능성]이 있는 개인화되고 유연한 학습 계획은 교육 프로그램의 관리와 자금후원에 영향을 미친다.18 교육자원의 사용과 교육 기간에 비례하여 자금을 지원하는 정책과 절차는 개발되지 않았다. 졸업 시기의 변동성은 교육과 실습의 연속체, 특히 UME에서 GME로의 전환에 대한 관리 문제를 야기할 수 있다. 마지막으로, 의사의 면허와 인증 그리고 프로그램의 인가에 대한 함의는 충분히 탐구되지 않았다.

Individualised and flexible learning plans with the potential for asynchronous graduation have implications regarding the administration and funding of education programmes.18 Policies and procedures that support financing in proportion to the use of educational resources and duration of training have not been developed. Variability in the timing of graduation may create challenges in managing transitions across the continuum of education and practice, particularly the UME to GME transition. Lastly, implications for the licensure and certification of physicians and accreditation of programmes have not been fully explored.

CBME 프로그램에 대한 관리 요구사항 증가 및 교수진 개발 필요성 증가

Increased administrative requirements for CBME programmes and need for increased faculty development

교육자가 제기하는 우려 중 하나는 CBME의 구현으로 인해 발생할 수 있는 행정적 요구사항의 증가를 가리킨다.9 더 상세한 평가 및 채점 시스템과 문서는 많은 프로그램 리더들이 관리하기 너무 번거로울 수 있다.20 내과 훈련 프로그램에서 교육 리더에 대한 최근의 연구는 마일스톤 구현의 복잡성과 [모든 이정표]에 대해 [모든 전공의]를 평가할 수 있는지에 대한 우려를 나타냈다. 이 우려에는 평가의 품질과 정확성을 보장하기 위해 광범위한 교수개발 및 교육생의 직접적인 관찰 참여의 필요성을 포함한다. 교육자들이 학습 경험의 질을 보장하는 것보다 역량 기반 프로그램을 관리하는 데 더 많은 시간을 소비할 수 있다는 우려가 있다.

One of the concerns raised by educators refers to the increase in administrative requirements that may result from the implementation of CBME.9 The more detailed assessment and scoring systems and documentation required may become too cumbersome for many programme leaders to manage.20 A recent study of education leaders in internal medicine training programmes revealed concerns about the complexity of implementing the milestones and the feasibility of evaluating every resident on every milestone, including the need for extensive faculty development and engagement in direct observation of trainees to ensure quality and accuracy in assessment.13 There is a fear that educators may spend more time on administering a competency-based programme than on ensuring the quality of the learning experiences.3,21

역량 정의, 개발, 구현 및 평가 방법의 불일치

Inconsistencies in how competencies are defined, developed, implemented and assessed

역량의 정의, 개발, 구현 및 평가 방법에 대한 합의와 일관성이 결여되어 있다는 우려가 있다. 국가 전체에 걸쳐, 교육의 연속성을 따라 그리고 전문성들 사이에 상당한 이질성이 있다.1,9,17,19,22 더 나아가, 행동에서 파생된 역량과 교육 목적, 목표, 결과 사이의 관계는 종종 불분명하다.22 이러한 혼동은 [다양한 국제 규제 및 교육 기관에 의한 역량, 역량, 역량 프레임워크, 역할 및 성과에 대한] 서로 다른 개념화로 인해 야기되는 기존의 불확실성 수준을 더욱 악화시킨다.

There are concerns about the lack of consensus and consistency in how competencies are defined, developed, implemented and assessed. There is considerable heterogeneity across countries, along the continuum of education and among specialties.1,9,17,19,22 Furthermore, the relationship between behaviour-derived competencies and education goals, objectives and outcomes is often unclear.22 This confusion further aggravates an existing level of uncertainty created by different conceptualisations of competence, competencies, competency frameworks, roles and performance by a variety of international regulatory and education bodies.23–25

전공에 따라서는, 역량 간 마일스톤 구조의 차이가 교수사용자에게 어려움을 야기한다.13 교수진은 역량, 마일스톤 및 신뢰할 수 있는 전문 활동(EPA)의 다른 프레임워크에 기초한 교육 및 평가 접근 방식에 직면할 가능성이 있다. 역량 프레임워크 전반의 불일치뿐만 아니라 역량 자체에 관한 표준화된 접근법과 언어의 부족은 교육과 규정의 연속성에 걸친 CBME의 일반화된 채택에 중요한 도전을 제기한다.6,26

Within specialties, differences between the milestone structure across competencies creates difficulty for faculty users.13 Faculty staff will be likely to confront education and assessment approaches based on different frameworks of competencies, milestones and entrustable professional activities (EPAs). The inconsistency across competency frameworks, as well as the lack of a standardised approach and language regarding competencies themselves, present significant challenges to the generalised adoption of CBME across the continuum of education and regulation.6,26

실용적이고 물류적인 문제와 교육계의 대응

Practical and logistical issues and the response of the education community

CBME 모델의 도입에 반대하는 잠재적 주장 중 하나는 현재의 의료 교육 시스템이 잘 작동하고 환자와 의료 시스템 모두의 요구를 충족시킨다는 것이다. 그러나, 우리는 우리의 졸업생들이 현재의 환자 진료 및 의료 시스템 요구를 잘 해결할 준비가 되어 있지 않으며, 그것들을 더 잘 준비하기 위해서는 추가적인 노력이 필요하다는 것을 알고 있다.27–30 CBME의 구현에 반대하는 일부 주장의 근본적인 결함은 현재 또는 이전 모델이 우리에게 도움이 되었다는 가정에 기초한다.4 광범위한 전문 협회, 재단 및 정부 기관에서 발행한 15건의 보고서는 미국 의료 교육 시스템이 어떻게 공공 및 의료 시스템의 요구를 충족시키기 위한 사회적 계약을 이행하지 않았는지를 확인한다.29

One of the potential arguments against the introduction of CBME models is that our current medical education systems work well and meet the needs of both patients and health care systems. However, we know that our graduates are not well prepared to address current patient care and health care system needs and additional effort is necessary to better prepare them.27–30 A fundamental flaw in some of the arguments against the implementation of CBME is based on this assumption that the current or previous model has served us well.4 Fifteen published reports from a broad spectrumof professional associations, foundations and government agencies identify how the US medical education systemhas not fulfilled its societal contract to meet the needs of the public and our health care system.29

CBME의 이행을 지지하는 사람들의 마음속에서, 의학 교육에 대한 이전의 접근 방식을 시대착오적인 것으로 보는 관점은 [더 책임 있는 패러다임으로의 전환]을 위한 주장에 더 많은 지지를 제공한다.19

In the minds of those advocating for the implementation of CBME, views of our previous approaches to medical education as anachronistic lend further support to arguments for a transition to a more accountable paradigm.19

개별적이고 유연한 학습 계획을 수용하는 CBME의 구조 모델 부족

Lack of structural models for CBME that accommodate individual, flexible learning plans

우리가 CBME로 전환하든 안하든, 우리는 직접 관찰, 평가, 피드백의 양과 질을 개선할 필요가 있다. CBME 프레임워크의 구현은 위에서 확인한 결손을 해결할 학습 결과를 명시적으로 함으로써 실제로 그러한 필요성을 뒷받침한다. 잘 구성된 CBME 모델은 실제로 해결책의 일부가 될 수 있다. 

• 우리의 교육 시스템과 졸업생들의 강점과 약점의 정의를 서포트하는 프레임워크, 

• 우리의 교육 프로그램의 목표에 대한 의사소통과 공유된 이해를 용이하게 하는 프레임워크

• 학습자 및 프로그램의 저성능에 대한 해결 및 개선 진행 상황을 추적하는 프레임워크.

Whether or not we move to CBME, we need to improve the quantity and quality of direct observation, assessment and feedback. The implementation of a CBME framework actually supports that need by making explicit the learning outcomes that will address the deficits identified above. Well-constructed CBME models may indeed be part of the solution in that they may provide a framework 

• to support the definition of the strengths and weakness of our education systems and graduates, 

• to facilitate communication and a shared understanding about the objectives of our education programmes, and 

• to track progress in addressing and remediating the underperformance of our learners and programmes.31

최근의 연구는 이러한 가정을 뒷받침한다. 기존 학부 커리큘럼에 대한 ACGME(Accreditation Council for College for College) 일반 역량 프레임워크를 매핑하면 커리큘럼에서 [실무 기반 학습과 개선, 시스템 기반 학습 영역은 최소]로만 다루고, [의료 지식]을 현재 과도하게 강조함overemphasis을 보여준다.32

Recent research supports this assumption. Mapping of the Accreditation Council for Graduate Medical Education (ACGME) general competency framework to an existing undergraduate curriculum shows the current overemphasis on medical knowledge in the curriculum, with minimal to modest coverage of practice-based learning and improvement and systems-based learning domains.32

시간 기반 교육 프로그램에서 역량 기반 교육 프로그램으로 전환하는 과정에서 물류 장애물을 해결하는 것은 구현에 상당한 난제가 될 수 있다. 

• 지식 습득에 초점을 두고, 기존의 MCQ(다중 선택 질문) 테스트 형식을 사용하여 평가와 연계되는 교육 활동은, 특히 시험이 컴퓨터 기반 형식을 통해 제공된다면, 개별 학습자의 요구와 성취율에 따라 유연한 관리를 수행할 수 있다. 

• 임상 훈련에서 유연한 프로그래밍을 위한 모델은, 특히 학습자 개발을 지원하기 위해 신뢰할 수 있는 평가에 대한 의존성과 교육 연속체의 전환에 관한 결정을 필요로 하기 때문에, 어려운 문제이다.

Addressing the logistical hurdles in transitioning from time-based to competency-based education programmes presents significant challenges to implementation.18 

• Educational activities that focus more on knowledge acquisition and are linked to assessment using traditional multiple-choice question (MCQ) testing formats, particularly if delivered via computer-based formats, are amenable to flexible administration based on individual learner needs and achievement rates. 

• Models for flexible programming in clinical training present challenges, particularly as they require dependence on trustworthy assessments to support learner development and decisions regarding transition across the education continuum.

교육 프로그램 리더가 전체적으로 학습자의 역량을 평가해야 할 필요성은 [유연하고 독립적인 학습 계획]을 시행함에 있어 [속도-제한 단계]여서, 행정 및 규제 시스템에 미치는 영향을 완화하고 있다. 비용 효율적인 관리와 신뢰할 수 있는 심리 측정 결과의 달성을 보장하기 위해, 주어진 시간에 학습자에게 [최소 숫자 이상의 역량 평가]를 제공해야 하는 필요성이 있기 때문에, 이는 1년 이내에 가능한 로테이션 횟수를 제한할 것이다. 모델은 임상 환경에서 학습자 성취도의 변화를 수용할 수 있도록 개발되어야 한다.

The need for education programme leaders to assess the competence of learners in aggregate is rate-limiting in implementing flexible, independent learning plans, moderating the impact on administrative and regulatory systems. The need to deliver competence assessments to a minimum number of learners at a given time to ensure both cost-effective administration and the attainment of trustworthy psychometric outcomes will limit the number of potential transitions to no more than a few per year. Models will need to be developed to accommodate variation in learner achievement in the clinical setting.

CBME 프로그램에 대한 관리 요구사항 증가 및 교수진 개발 필요성 증가

Increased administrative requirements for CBME programmes and need for increased faculty development

CBME 프레임워크의 채택이 학습자 [성과 평가와 문서화에 대한 기대]가 높아지고, [기록 보관 및 보고에 대한 행정적 요구]에 대한 기대치를 높일 것이라는 데는 의심의 여지가 없다. [직장 내 교육생에 대한 의미 있는 감독 및 직접적인 관찰, 학습자 개발을 알리기 위한 고품질 피드백 제공, 교육자가 교육의 연속성을 따라 다음 단계로 나아갈 준비가 되어 있도록 신뢰할 수 있는 다면적인 평가 도구의 적용]을 위해서 더 많은 노력과 추가 자원의 배치가 필요할 것이다. 마찬가지로, 특히 역사적으로 잘 다루어지지 않았던 영역(예: 품질과 안전, 팀 기반 관리 및 관리)에서 학습자를 가르치고 평가할 수 있도록 교직원들의 노력이 필요하다.42

There is little doubt that the adoption of CBME frameworks will result in increased expectations for the assessment and documentation of learner achievement and administrative requirements for record keeping and reporting. Meaningful supervision and direct observation of trainees in the workplace, the provision of high-quality feedback to inform learner development, and the application of trustworthy, multifaceted assessment tools to ensure that trainees are ready to move to the next step along the continuum of education will require increased effort and deployment of additional resources.18,19,26,27,41,42 Similarly, increased efforts are necessary to prepare faculty staff to teach and assess learners, particularly in domains that historically have not been well addressed (e.g. quality and safety, team-based care and stewardship).42

의료 교육에 대한 전통적인 접근 방식이 사회적 요구를 충족하지 못하며, [역량 기반 모델이 해결책을 제공할 수 있음]을 입증하기 위해서는, 증가하는 관리 업무, 학습자 성과를 직접 관찰해야 한다는 요구 및 강력한 교수진 개발에 대한 요구 사항을 해결할 수 있는 방법을 고려해야 한다.18 CBME를 구현하는 담당자의 수락과 인수는 이러한 과제를 극복하기 위한 효율적인 방법의 개발에 달려있다. 43 교육자와 연구자들은 이러한 요구를 해결하기 위한 모범 사례와 모델을 식별하기 위해 계속 노력해야 한다. 일부 발표된 연구는 EPA 프레임워크 내에서 역량 기반 모델 구현에 대한 실현 가능한 접근법을 포함하여, 역량 기반 프레임워크의 구현을 가이드 하는 데 도움이 된다.

Having demonstrated that traditional approaches to medical education have not met societal needs, and that a competency-based model may provide a solution, we need to consider ways to address the increased administrative workload, demands for increased direct observation of learner performance, and requirements for robust faculty development.18Acceptance and buy-in from those responsible for implementing CBME will depend on the development of efficient methods to overcome these challenges.43 Educators and researchers should continue work to identify best practices and models for addressing these needs. Some published work exists to help guide the implementation of competency-based frameworks, including feasible approaches to implementing competency-based models within an EPA framework.44–47

직접 관찰을 임상 워크플로우에 효율적으로 도입하기 위한 많은 조직적 전략과 창조적 기법이 있다.49 로테이션 기반 커리큘럼에서 종방향 통합 경험으로 이동하는 것과 같은 [구조적 혁신]은 학습자-환자 및 학습자-교사 관계의 향상된 연속성으로 이어지며, 감독, 멘토링 및 평가의 질과 양을 개선하여 효율성을 높입니다.36–38

there are a number of organisational strategies and creative techniques for efficiently introducing direct observation into clinical workflow.49 Structural innovations, such as moving from a rotation-based curriculum to a longitudinal integrated experience, lead to enhanced continuity of the learner–patient and learner–teacher relationships and may increase efficiency by improving the quality and quantity of supervision, mentoring and assessment.36–38

테크놀로지가 어느 정도 가능성을 보여주고 있다. [전자 포트폴리오 및 학습 플랫폼 배치 및 웹 기반 평가 시스템]은 교육 및 평가 프로세스와 규제 당국에 보고할 수 있는 문서 간의 효율적인 연결의 예이다. [디지털화된 플랫폼]을 사용한 지시와 평가의 시작과 '플립된' 교실 사용과 같은 혁신은 프로그램과 기관 간의 자원 공유를 허용함으로써 규모의 경제를 창출하고 교수진 자원의 효율적인 재분배를 지원할 수 있다. 만약 법적으로 GME 자금조달과 거버넌스에 관한 의학연구소 보고서의 권고를 따를 경우, GME를 스폰서하는 교육기관에 대한 직접 지급 및 혁신에 대한 자금후원은 이러한 활동을 지원하기 위한 추가 자원을 제공할 수 있다.52

Technology holds some promise. Deployments of electronic portfolios and learning platforms, and web-based assessment systems are examples of efficient linkages between the education and assessment processes and documentation that enables reporting to regulatory authorities.50 Innovations, such as the initiation of instruction and assessment using digitalised platforms and the use of ‘flipped’ classrooms, may create economies of scale by allowing resource sharing across programmes and institutions, and support the efficient reallocation of faculty resources.51 Should legislation follow the recommendations of the Institute of Medicine report on GME financing and governance, direct payment to education institutions sponsoring GME and funding of innovations may provide additional resources to support these activities.52

교수개발 활동을 임상 학습 요구 사항 또는 행정 및 규제 요구 사항과 연결하는 것은 교수진 참여에 대한 인센티브를 제공하는 동시에 효율성을 높이는 방법입니다. 교육 활동의 혁신과 교육학술화동을 인정하는 학술 시상 프로그램을 통해 교수개발 기회에 대한 접근을 보장하고, 참여에 대한 인센티브를 제공하는 것은 참여 촉진에 도움이 될 수 있다.27

Linking faculty development activities to clinical learning needs or administrative and regulatory requirements is a way both to provide incentives for faculty participation and to enhance efficiency. Ensuring access to faculty development opportunities and providing incentives for participation through academic award programmes that recognise innovation and scholarship in educational activities may help promote engagement.27

역량 정의, 개발, 구현 및 평가 방법의 불일치

Inconsistencies in how competencies are defined, developed, implemented and assessed

[어떻게 역량을 개발하고 정의내리는지]의 차이는 교육의 연속성을 따라 다른 공동체, 상황 및 전문 분야에서 성공적인 실시에 대한 기대의 차이를 적절하게 반영할 수 있다. 그러나 (커리큘럼 구성요소를 정의하고, 학습 목표를 구성하며, 조직 평가 접근법 및 교수개발에 활용하는) [역량 프레임워크의 불필요한 변화]는 학습자가 교육의 연속성을 통과할 때 학습자를 혼란스럽게 하고 성취도를 떨어뜨릴 수 있다. 그들은 또한 그들의 책임이 여러 연속체에 걸쳐 있고, 전공을 넘나들 수 있는 교육자들의 일을 복잡하게 만든다.

Differences in how competencies are developed and defined may appropriately reflect differences in expectations for successful practice within different communities, contexts and specialties along the continuum of education.22 However, unnecessary variation in competency frameworks that define curriculum components, comprise learning objectives, organise assessment approaches and inform faculty development may confuse learners and compromise their achievement as they traverse the continuum of education. They also complicate the work of educators, whose responsibilities may span the continuum and cross specialties.

언어 및 역량 프레임워크의 불일치는 연구 의제를 개발하고 CBME의 맥락에서 교수 및 평가에서 모범 사례를 공유하는 데 중요한 장애물이 된다.19,26 또한 마일스톤 기반 접근법 또는 EPA 기반 접근법 측면에서 다른 모델의 채택, 또는 다양한 교육 또는 규제 기관의 접근 방식 간의 질적 또는 정량적 특성 등은 학습자를 혼란시키거나 좌절시키고 대중에게 관심의 결과에 영향을 미칠 수 있는 잠재성을 가질 수 있습니다. 현재 CBME 모델 간의 의견 일치 개발에 대한 국제적인 관심이 존재한다. 교육 및 평가에 대한 보다 일관된 정의와 모델을 개발하기 위해 다양한 이해관계자가 노력하는 것이 확실히 유익할 것이다.

Inconsistency in language and competency frameworks presents a significant obstacle to developing a research agenda and sharing best practices in teaching and assessment in the context of CBME.19,26 Furthermore, the adoption of models that differ in terms of being either milestone-based or EPA-based approaches, or in qualitative or quantitative characteristics within either approach by various education or regulatory organisations will confuse and frustrate learners and have the potential to impact on outcomes of interest to the public.56,57 There currently exists international interest in developing consensus among CBME models; it would certainly be beneficial for various stakeholders to work towards developing more consistent definitions and models for education and assessment.22,43

이론적 및 개념적 과제

THEORETICAL AND CONCEPTUAL CHALLENGES

임상적 역량은 그 하위 역량의 합으로 표현되지 않는다.

Clinical competence is not represented by the sum of its subcompetencies

여러 전문가는 CBME가 임상 역량만큼 복잡하고 어려운 것을 학습 또는 평가 목적으로 포착할 수 있는지에 대한 우려를 제기해 왔다. 그들은 역량이 부분의 합보다 많고 환원주의, 행동주의 접근방식을 사용한 [개별 역량의 증명]은 의사가 [다양한 수준의 복잡성과 다른 맥락에서 다양한 환자를 돌볼 수 있는 임상적 능력이 있다는 것]을 의미하지 않는다고 주장한다.

Several experts have raised concerns about whether CBME can capture, for learning or assessment purposes, something as complex and challenging to measure as clinical competence. They assert that competence is more than the sum of its parts and that demonstration of individual competencies using a reductionist, behaviourist approach does not mean that a physician is clinically competent to care for a variety of patients of varying degrees of complexity and in different contexts.3,4,19,58,59

이러한 우려와 함께 진전된 주장은 수동 거래를 위해 처음 개발된 역량 기반 커리큘럼의 기원과 관련이 있다. [CBME 모델]은 고차원의 기술과 복잡한 판단이 요구되는 상황이 아니라 더 일상적인 작업과 덜 복잡한 기술과 능력을 포함하는 ['저수준' 기술 및 직업 직업에 더 잘 적용된다는 우려]가 제기되었다.

An argument advanced along with these concerns relates to the origins of competency-based curricula, which were first developed for manual trades.21 Concerns have been expressed that CBME models are better applied to ‘lower-level’ technical and vocational occupations that involve more routine tasks and less complex skills and abilities, not to situations in which higher-order skills and complex judgements are required.3,4,60,61

의학교육에서 역량은 (의사소통, 전문성, 시스템 기반 관행 등) [총체적global, 복잡한 구조]이며, 초기에는 특정한 '객관적' 평가를 배제하는 일반성generality의 수준에서 기술되었다. 일반적인 역량을 평가하고 측정 가능한 학습 결과를 정의하려는 노력은 역량을 이론적으로 더 '객관적' 및 표준화된 평가에 적합하도록 관찰 가능한 행동의 [더 단순하고 지정된 단위로 분할하도록] 이끌었다. 평가 접근 방식에는 종종 체크리스트 기반의 성과 채점이 포함된다.

Competencies, as characterised in medical education, are global, complex constructs (communication skills, professionalism, systems-based practice) that were initially delineated at a level of generality that precluded specific, ‘objective’ assessment.62 Efforts to assess the general competencies and define measurable learning outcomes led to the division of the competencies into simpler, specified units of observable behaviours that were theoretically amenable to more ‘objective’ and standardised assessment.4,6,19 Assessment approaches often involved checklist-based scoring of performance

이 환원주의적 접근방식은 [개별 직무를 수행할 수 있는 학습자의 능력]에 대한 평가를 지원했지만, [환자 치료 상황에서 그러한 과제를 통합하는 능력]에 대한 판단에는 도움이 덜 되었다. 임상적 역량의 일부 측면은 측정하기가 어렵고 정량화할 수 있는 ['객관적' 평가 데이터에 대한 욕구]와 [유능한 의사의 진정한 표현]을 포착해야 하는 가장 중요한 필요성 사이에 긴장감이 존재한다.

This reductionist approach supported assessments about learners’ ability to perform discrete tasks, but was less helpful in informing judgements about the integration of those tasks in patient care situations.6 Some aspects of clinical competence are difficult to measure, and a tension existed between the desire for quantifiable, ‘objective’ assessment data and the overarching need to capture authentic representation of the competent physician.63

또한 이 접근방식에 대한 비판자들은 모의 환자와의 관찰된 만남과 같은 통제된 세션은 실제 임상 작업의 맥락을 정확하게 재현하지 못하며, 학습자 행동의 채점에 대한 체크리스트 기반 접근법은 thoroughness를 얻는 대신, 전문성을 희생시킨다고 주장한다.

Critics of this approach have also posited that controlled sessions, such as an observed encounter with a simulated patient, do not accurately recreate the context of real clinical work, and checklist-based approaches to scoring learner behaviours favours thoroughness at the expense of expertise.64,65

예를 들어, 가장 잘 조직된 의료 관행과 가장 복잡한 환자의 혼란을 재현하는 것은 통제된 세션에서 불가능할 수 있으며, 적절한 질문을 하는 것이 가장 짧은 시간 내에 가장 많은 질문을 하는 것보다 더 중요할 수 있다. 그것의 구성 요소를 나타내려는 학습 목표를 평가함으로써 더 높은 수준의 역량을 반드시 확인할 수는 없으며, 개별 과제에서 역량을 보여준 학습자도, 실제 임상적 맥락에서 복잡하고 다면적인 환자 프레젠테이션에 직면할 때에는 어려움을 겪을 수 있다.3, 3,4,66

For example, replicating the chaos of even the most well-organised medical practice and the most complicated patients may not be possible in a controlled session, and asking the right question may be more important than asking the most questions in the least amount of time. Higher-level competence cannot necessarily be ascertained by assessing learning objectives that intend to represent its building blocks, and learners who demonstrate competence in the discrete tasks may struggle when confronted with complex, multifaceted patient presentations in real clinical contexts.3,4,66

여기서, 다양한 임상적 맥락과 복잡성은 역량있는 의사에게 이러한 구성 요소를 효과적으로 활용할 수 있는 '창조적이고 유연한 역량'과 경험을 통해 얻은 직관적인 의사 결정 및 상황 이해를 요구한다.20 [업무 역할work roles을 개별 업무로 나누는 행동주의 접근방식]은 [개별 업무]와 [복잡한 실제 상황의 기초가 되는 전체적인 의미] 사이의 연결을 포착하지 못할 수 있다. 9,61,67

Here, varying clinical contexts and complexity require the competent practitioner to have a ‘creative and flexible capacity’ to utilise those building blocks effectively4 and an intuitive decisionmaking and situational understanding that is gained through experience.20 A behaviourist approach that divides work roles into discrete tasks may not capture the connections between the individual tasks and the overall meaning underlying complex, real-world situations.9,61,67

이러한 맥락에서, 그러한 평가 방법에 내재된 '원자화'가 평가 결과의 무의미화trivialization로 이어질 수 있으며, 따라서 그러한 결과의 타당성에 심각한 위협이 될 수 있다는 우려가 표명되었다.64

In this context, concerns that the ‘atomisation’ intrinsic to such assessment methods may lead to the trivialisation of assessment results, and thereby pose serious threats to the validity of those results, have been expressed.64

이러한 이론적 우려는 교수진들이 훈련생의 [임상적 역량에 대한 전체적인 인상]을 형성할 때 [개별 영역을 선형적으로 합산하지 않는다]는 연구 결과에 의해 뒷받침된다. 63 특정 영역의 결여는 탁월하다고 판단되는 전공의의 등급을 떨어뜨리지 않았다. 반대로, 특정 영역의 우수성도 문제 거주자의 등급을 실질적으로 높이지 않는다.

These theoretical concerns are supported by research showing faculty staff do not sum individual domains in a linear manner when formulating overall impressions of a trainee’s clinical competence.63 Deficiencies in specific domains did not detract from the ratings of residents judged to be outstanding; conversely, excellence in selected domains did not materially enhance ratings of problematic residents.

또한, [시험 준비식 행동과 낮은 표준]을 강화하는 측면에서, 체크리스트를 가지고 하는 [환원주의적 접근법과 채점 형식에 대한 우려]가 제기되었으며, 또한 우수성과 전문적 실무에 대한 심층적이고 성찰적 참여를 강조하지 않았습니다.9,20,58,61 그러한 접근방식은 커리큘럼의 내용을 제한할 수 있으며, '시험에 대한 교육'을 초래하여 학생들은 평가해야 할 지정된 역량으로 학습을 제한할 수 있다.

There have also been concerns raised about the reductionist approach and scoring format that deploys checklists to make pass/fail decisions in terms of reinforcing test-taking behaviours and a lower standard, as well as de-emphasising a drive for excellence and deep and reflective engagement in professional practice.9,20,58,61 Such approaches may limit the content of the curriculum and result in ‘teaching to the test’,3,60 whereby students limit learning to the specified competencies that are to be assessed.

역량은 임상 내용 또는 맥락과 분리된 일반 속성으로 존재하지 않는다.

Competencies do not exist as general attributes separate from their clinical content or context

또 다른 질문은 역량이 실제로 행사되는 내용 또는 치료의 맥락 밖에 구별되는 유일한 실체로 존재하는지에 관한 것이다.9 이러한 역량의 초기 표현은 전문가들이 [모든 의사 안에 존재하고, 모든 임상적 맥락에 걸쳐 일반화될 수 있는 실체]로 보는 것을 반대하도록 이끌었다.

Another question concerns whether competencies actually exist as distinct or sole entities outside the content or the context of care in which they are exercised.9 This initial representation of the competencies led experts to object to their characterisation as entities that exist within physicians and are generalisable across all clinical contexts.

[내용 또는 맥락 특이성]의 개념 또는 실제 임상 관행의 [사례 의존적 특성]은 [역량이 환자 치료 컨텍스트 외부에 독립적인 능력으로 존재하지 않음]을 시사한다.62 교육생은 임상 내용(예: 가슴 통증 대 우울증)이나 상황(예: 1차 진료 클리닉 대 중환자실)이 달라졌을 때 균질한 수행능력을 보이지 않을 것이다.

The concept of content or context specificity, or the case-dependent nature of real-world clinical practice, suggests that competencies do not exist as independent abilities outside of the patient care context.62 Trainees will not perform uniformly relative to their medical knowledge or patient care skills on cases reflecting different clinical content (such as chest pain versus depression) or context (such as in the primary care clinic versus the intensive care unit).

현재의 역량 프레임워크에 대한 비판은 그것이 경험적이고 증명된 전문적 실무 특성 모델이 아닌 [합의 기반 프로세스에 의해 도출되었다는 사실]을 언급한다. 결과적으로, 파생된 역량은 특별히 측정할 수 있는 개별 실체로 존재하지 않을 수도 있다.62 모호하거나 예상치 못한 평가 결과는 타당하지 않은 도구의 사용이나 열악한 교수진의 준비를 반영하지 않을 수 있지만, 역량이 실제로 환자진료 시행에서 별개의 실체로 존재하지 않기 때문에 발생할 수 있다.62 실제로, 평가 방법들은 [독립적인 구조로서의 역량]을 확실하게 분리하지 못할 수 있다.62,63

Criticism of the current competency framework refers to the fact that it was derived by a consensusbased process rather than an empiric, evidencedriven model of professional practice characteristics; consequently, the derived competencies may not even exist as discrete entities that are specifically measurable.62 Ambiguous or unexpected assessment results may not reflect the use of invalid tools or poor faculty preparation, but may occur because the competencies may not actually exist as distinct entities in the exercise of patient care.62 In fact, assessment methods may not reliably separate the competencies as independent constructs.62,63

일반적으로 사용되는 평가 방법을 포함하는 연구는 항목이 '전통적인' 의학적 지식과 대인관계 기술 차원으로 묶이는 경향이 있거나 또는 일반 역량 프레임워크와 특별히 관련이 없는 다른 방법으로 모이는 경향이 있다는 것을 보여준다. 68,69 전문가들은 [직업적 역할의 기능적 분석]은 매우 어려울 수 있다고 지적한다. 그리고 직무 활동을 정확하게 설명해주는 역량을 광범위하게 식별하는 것도 문제이다. 이와 같이, 파생된 역량 목록은 불완전하고 논쟁의 여지가 있을 수 있다.

Research involving commonly used assessment methods shows that items tend to cluster into ‘traditional’ medical knowledge and interpersonal skills dimensions or in other ways not specifically related to the general competency framework.68,69 Experts point out that functional analyses of occupational roles can be very difficult, and the identification of a range of competencies that accurately address work activities can be problematic.9 As such, the derived list of competencies may be incomplete and debatable.66

역량 기반 프레임워크가 현대 의사의 필요한 지식, 기술 및 능력을 적절하게 포착하지 못함

Competency-based frameworks do not adequately capture the knowledge, skills and abilities requisite of contemporary physicians

격차Gap는 프레임워크에 중요한 역량이나 하위 역량을 포함시키지 못하거나 교육 프로그램의 역량 또는 하위 역량의 강조가 부족하기 때문에 발생할 수 있다. 우려되는 점은 CBME가 커리큘럼 콘텐츠를 [구체적이고 더 쉽게 정의 및 측정할 수 있는 것]으로 제한한다는 것이다.3 의사의 교육 및 전문적 개발에 중요한 교육적으로 중요한 프로세스, 내용 및 구조적 요소를 제거하는 측정 가능한 결과에 대한 유일한 집중은 학습 기회와 잠재력을 상실할 수 있다.70

Gaps may result from the failure to include an important competency or subcompetency in the framework or the underemphasis of competencies or subcompetencies in education programmes. Concerns are that CBME limits curricular content to that which is concrete and can be more easily defined and measured.3 A singular focus on measurable outcomes that eliminates more educationally salient processes, content and structural elements critical to the education and professional development of physicians may result in the loss of learning opportunities and potential.70

행동 중심의 역량 모델에서 관심을 받지 못하게 되는 영역의 예로는 [태도, 겸손, 개인적 가치, 책임, 성찰, 그리고 사건이 전개될 때 대응하는 능력]이 포함된다.20,66 최근의 연구는 교직원들은, 전공의의 전반적 역량에 대한 인상을 형성할 때, 일반적으로 역량이라고 생각되지 않는 속성(성향, 직원들에게 미치는 영향)을 중요하기 보고 있다는 것을 보여준다. 

Examples of domains that may receive limited attention in competency models that are behaviours-focused include: attitudes; humility; personal values; responsibility; reflection, and the ability to respond to events as they unfold.20,66 Recent research shows that faculty members may weigh attributes (disposition, impact on staff) that are generally not considered competency domains when formulating an impression about a resident’s overall competence.63

연습생들 스스로도 [역량 기반 프로그램의 단축으로 인해 발생할 수 있는 임상적 역량의 잠재적 격차Gap]에 대해 우려하고 있다는 증거가 있다. Kjaer 등은 33% 더 짧은 역량 기반 프로그램의 도입으로 인해 전통적인 모델보다 [의료행위를 할 자격이 덜하다고 느낀 연습생]이 발생했다는 것을 발견했다. 이 연구가 학습자의 관점에서 입증하듯이, [효과적인 연습생, 궁극적으로는 의사]가 되기 위해서는 경험과 같은 다른 요소들이 필요합니다. [일정 기간 동안 교육 환경과 보건 시스템 문화에 우리의 훈련생들을 몰두시키는 것]이 그들이 임상적 판단이나 능력을 더 잘 개발할 수 있도록 하는 데 중요하다면, 핵심 역량의 증명에 기초한 졸업은 궁극적으로 환자와 의사에게 어떤 위험을 초래할 수 있다.

There is evidence that trainees themselves have concerns about potential gaps in clinical competency that may result from shorter competency-based programmes.70 Kjaer et al.70 found that the introduction of a 33% shorter competency-based programme resulted in trainees who felt less qualified to enter practice than did the traditional model. As this study demonstrates from the perspective of the learner, being an effective trainee and ultimately practitioner requires other components, such as experience (i.e. time).20,74 If steeping our trainees in the learning environment and health system culture for some defined period of time is important to enabling them to better develop their clinical judgement or acumen, then graduation based upon demonstration of core competencies may pose some eventual risks to patients and physicians.

일부는, 역량 프레임워크는 중요하다고 인식되는 영역과 관련되거나 포함되지 않을 수 있다. 또한, 일단 (역량 프레임워크가) 채택되면, 프레임워크는 혁신이나 새로운 아이디어의 통합에 적응할 수 없을 것이라는 우려가 있다.현재 프레임워크에서 [표현되거나 적절히 다루어지지 않는 영역]은 다음과 같다. 

• 과학역량,

• 환자 안전 능력,

• 문화적 역량,

• 스튜어드십,

• 직업간의 협동과 팀워크

• 인도주의적 대응

in the opinions of some, this framework may not be relevant to or inclusive of domains that are perceived to be important. In addition, there are concerns that, once adopted, current frameworks are not amenable to innovation or the incorporation of new ideas.75 Among those domains that are not felt to be represented or adequately covered in the current framework are those of science competency,76 patient safety competencies,77 cultural competency,78 stewardship,79 interprofessional collaboration and teamwork80,81 and humanitarian response.82

현재 평가 접근법이 모든 역량을 적절히 다루지 않는다.

Current assessment approaches do not adequately address all competencies

마지막으로, 역량에 대한 현재의 평가 접근방식은 [개별 역량에 대한 타당한 평가 방법의 가용성이 다르다는 이유로] 역량에 중요한 영역을 강조하거나 축소한다. 평가에 사용된 방법과 도구의 신뢰성과 타당성은 고품질 형태 평가의 필요성을 충족시키지 못하거나 역량 기반 환경에서 필요한 방어가능한 총괄적(통과/실패) 판단을 허용하지 않는다. [신뢰할 수 있는 평가 툴과 중요한 평가 전략의 부족]은 역량 기반 모델의 채택이 늦춰지는 데 기여하는 주요 요인 중 하나이며, 여전히 구현에 가장 중요한 과제 중 하나이다.

Lastly, the current assessment approach to competencies emphasises or de-emphasises domains important to competence in relation to the differential availability of valid assessment methods for the individual competencies. The reliability and validity of methods and tools used in assessment do not meet the need for high-quality formative assessment or allow for the defensible summative (pass/fail) judgements necessary in a competency-based environment. The perceived lack of trustworthy assessment tools and an overarching assessment strategy is one of the primary factors contributing to the slow adoption of competency-based models and remains one of the most significant challenges to implementation.1,6,20

[평가의 가용성]은 역량 프레임워크가 수용 또는 구현되는 방법에 있어 중요한 원동력이 될 수 있다. 평가 도구가 존재하거나 품질이 높은 영역은 좋은 평가 방법이 존재하지 않는 영역보다 더 많은 관심을 받게 될 것이다.86 다시, 관심의 이슈는 인간주의, 전문성, 이타주의, 학식과 같은 역량 프레임워크의 영역이 측정하기가 어렵고, 결과적으로 평가와 교육 활동에서 강조되지 않을 수 있다는 사실을 의미한다.17 어떤 속성은 더 암묵적이고 특별히 특징적이거나 측정 가능하지 않을 수 있다. 이는 명확하게 명시되어 평가된 역량만 가르치기 때문에 교수진의 '시험용 교육teaching to the test'에 대한 우려를 악화시킬 수 있다.3,60

The availability of assessments may be an important driving factor in how competency frameworks are accepted or implemented; domains for which assessment tools exist or are of high quality will receive more attention than those in which good assessment methods do not exist.86 Again, issues of concern refer to the fact that domains in competency frameworks such as humanism, professionalism, altruism and scholarship are difficult to measure, and consequently may be underemphasised in assessment and then in educational activities.17 Some attributes may be more tacit and not specifically characterised or measurable.20,87 This may aggravate concerns about faculty staff ‘teaching to the test’ because only competencies that are clearly specified, and thus assessed, will be taught.3,60

이론적 및 개념적 과제에 대한 논의

Discussion of the theoretical and conceptual challenges

임상적 역량은 그 하위 역량의 합으로 표현되지 않는다.

Clinical competence is not represented by the sum of its subcompetencies

CBME와 평가에 대한 많은 비판은 처음에는 특정 교수 또는 평가 접근법에 쉽게 부합되지 않는 [일반적인 자질로서의 역량 표현]에 초점을 맞춘 다음 [그 역량을 별개의 측정 가능한 행동]으로 나누는 후속 작업에 집중했다. 그런 다음, 평가 방법으로 체크리스트 및 통제된 설정에서의 관찰을 하게 되는데, 이는 학습 및 평가 목적으로 [일반 역량을 관찰 가능한 요소로 세분화하는 데 필요한 것]으로 인식되었다. 초기 초점은 환자 치료 상황에서 이러한 과제의 통합보다는 보다 기본적인 과제의 학습자 성과에 초점을 맞추었다.

Much of the criticism of CBME and assessment focused initially on the representation of the competencies as general qualities that were not easily amenable to specific teaching or assessment approaches and then on subsequent work to divide the competencies into discrete, measurable behaviours.19 Assessment methods then included, to a large extent, the use of checklists and observation in controlled settings.4,20,48 This was perceived as necessary to disaggregate the general competencies into observable elements for the purposes of learning and assessment. The initial focus was on learner performance of more basic tasks, rather than on the integration of those tasks in patient care situations.6,88

비록 이러한 방식이 [복잡한 환자 프레젠테이션에 응답하는 노련한 의사의 성과]를 포착하는 데에는 이상적이지 않을 수 있지만, 상대적으로 초보적인 학습자를 대상으로 하는 개발적 관점에서 합리적일 수 있다. 왜냐하면 논리적으로 보면, 초보에게 [개별 기술의 숙달]은 진정한 임상적 맥락에서 [그 기술들의 통합]에 선행할 수 있다.

Although not the ideal way to capture the performance of seasoned practitioners in responding to complex patient presentations, such an approach may be reasonable from a developmental perspective in targeting more novice learners, for whom the mastery of individual skills may logically precede the integration of those skills in more authentic clinical contexts.4

사실, 복잡한 기술을 마스터하는 '구성 요소적 접근법'의 가치는 이론과 학습 과학의 증거에 의해 잘 뒷받침된다.89 복잡한 인지-인지 또는 인지-운동 기술은 많은 복잡한 고차적 기술처럼 더 단순한 요소들의 시퀀스에서 형성된다. [단순한 구성 요소나 기술]은 [안정적인 순서로 반복된 연습]을 통해 [통일된 고차원의 기술]로 형성될 수 있으며, 개별 구성 요소 간의 결합을 강화합니다. 역량에 대한 관점이 더 커짐에 따라, 단순하거나 더 복잡한 개별 기술은 다양한 임상적 맥락에서 필요에 따라 선택되거나 통합될 수 있다.90

In fact, the value of ‘componential approaches’ to mastering complex skills is well supported by theory and evidence from the learning sciences.89 Complex cognitive–perceptual or cognitive–motor skills are formed from a sequence of more simple components, as are many complex, higher-order skills. Simple components or skills can be formed into unitary complex, higherorder skills by repeated exercise in a stable sequence, strengthening bonds between the individual components. Depending on one’s larger view of competence, individual simple or more complex skills may be selected or integrated as needed in a variety of clinical contexts.90

학습자 개발 요구를 충족하는 것 외에도, 학습 및 평가에 대한 과제 기반 또는 '환원주의적' 접근방식이 활용될 수 있는 다른 상황이 있다. [성과가 나쁘거나 임상 결과가 좋지 않은 학습자에 대한 평가]는 근본적인 결손의 교정조치를 진단하고 서포트하기 위하여, [특정 지식, 기술 또는 행동 하위 역량에 초점을 맞춘 통제된 맥락에서 관찰]로부터 이익을 얻을 수도 있다. 하위 역량과 마일스톤 자체가 환자 치료 및 건강 결과와 증거 기반 관계를 가지므로, 개별적으로 숙달되어야 하며, 평가 및 학습의 '환원주의 모델'에 대한 주장이 제기될 수 있다.

In addition to meeting learner development needs, there are other situations in which a task-based or ‘reductionist’ approach to learning and assessment may be utilised. Assessment of learners with poor performance or poor clinical outcomes might also benefit from observation in controlled contexts with a focus on selected knowledge, skills or behavioural subcompetencies in order to diagnose and support the remediation of underlying deficits. An argument can also be made for a ‘reductionist model’ of assessment and learning to the extent that the subcompetencies and milestones themselves have evidence-based relationships to patient care and health outcomes, and thus should be individually mastered.

개별 과제와 하위 역량을 가르치고 평가하는 것은 개발적 및 진단적 관점에서 가치가 있지만, 일반적으로 고급 학습자의 교육 및 평가는 점점 더 실제에 가까운authentic 임상 상황에서 보다 통합적이고 건설적인 접근방식을 필요로 한다. 역량을 구성 요소 지식과 기술로 세분하는 것은 [가변적이고 복잡한 임상 상황의 맥락에서 의미 있는 전체로서 구성 요소를 통합하는 능력]에 대한 [신뢰할 수 있는 평가]로 이어지지 않는다. 실제로 CBME 프레임워크의 중요한 목표와 알려진 장점 중 하나는 [MCQ 검사와 주기적인 글로벌 등급을 사용하여 평가]를 넘어서서, 평가에 [의사가 클리닉에서 수행하는 일을 포착하기 위해 환자 치료와 결과에 중요한 수행능력 영역]을 포함하는 것이다.

Although teaching and assessing individual tasks and subcompetencies have value from a developmental and diagnostic perspective, in general, the teaching and assessment of more advanced learners require a more integrative and constructivist approach in increasingly authentic clinical situations.42,91,92 Breaking down competencies into their component knowledge and skills cannot lead to trustworthy assessment of the ability to integrate such components as a meaningful whole within the context of variable and complex clinical situations.72 Indeed, one of the important goals and purported advantages of CBME frameworks refers to the intent to move beyond assessment using MCQ examinations and periodic global ratings to include performance domains critical to patient care and outcomes in a variety of clinical contexts in order to capture what the physician does in the clinic.41

각 단계를 다른 단계를 기반으로 구축해야 하는 경우 마일스톤은 '발달적progressive'으로 분류되었다. 마일스톤는 여러 행동이 성공적인 데모를 통해 정점에 도달한 경우 '첨가적additive'으로, 사전 결정된 일련의 단계가 필요한 경우 '설명적descriptive'으로 구분되었다.

Milestones were characterised as ‘progressive’ if their execution required that each step be built on another. Milestones were characterised as ‘additive’ if multiple behaviours culminated in successful demonstration, and as ‘descriptive’ if they required a proscribed set of predetermined steps.

이 접근법에는 발달적 연속체에 분포하는 [더 작은 단계나 작업 각각에 대한 전제조건의 입증]이 내포되어 있으며, 그 뒤에 환자 치료 맥락에서의 통합이 뒤따른다. 그런 다음 평가 요구는 통제되고 체크리스트 기반의 도구 사용에 대한 접근 방식에서 탈피하여, 교수들이 직장에서의 일상적인 활동 맥락 안에서 학습자 역량을 개념화하는 방법을 보다 확실하게 포착하고, 전체론적인 접근 방식으로 발전한다.

Implicit in this approach is the prerequisite demonstration of each of the smaller steps or tasks along the developmental continuum, followed by their integration in the patient care context.81 Assessment needs then evolve away from a controlled, checklist-based approach to the use of tools that more authentically capture how faculty staff conceptualise learner competence within the context of their daily activities in the workplace,93 with a more holistic approach that focuses on the whole as greater than the sum of its parts.64

역량은 임상 내용 또는 맥락과 분리된 일반 속성으로 존재하지 않는다.

Competencies do not exist as general attributes separate from their clinical content or context

[임상적 맥락과 무관한 별개의 실체로서의 역량] 문제와 관련하여, ACGME 역량 자체는 (하나의 역량 프레임워크로서) 모든 의사 학습자에게 적용할 수 있는 맥락-독립적인 영역으로 개발되었다. 그러나 EPA와 마일스톤의 도입은 잘 인식되고 중요한 전문 활동과 책임의 맥락에서 역량 기반 성과를 달성하는 데 도움이 되었다.

With regard to the question of competencies as distinct entities independent of clinical context, the ACGME competencies themselves, as one competency framework, were developed as context-independent domains meant to apply to all physician learners.88 However, the introduction of EPAs and milestones has served to place competency-based achievement in the context of well-recognised and important professional activities and responsibilities.19,45,63,84,88,94

EPA와 마일스톤이 공유된 교육 프레임워크와 공통 언어를 제공하지만, 과연 이것이 [개별 영역을 식별하는 평가 프로세스와 결과]를 제공하는지는 확실하지 않다.63 이론적인 전과 일치하는 방식으로 학습자를 차별할 수 있는 역량 기반 평가의 능력을 뒷받침하는 근거에도 불구하고.지식 및 기술 개발에 대한 기대, 98 환자 치료 환경에서 [역량의 상호의존적이고 상호 관련성]은 평가에서 각 역량의 개별적 식별separate identification을 방해할 수 있다.63,68

Although EPAs and milestones provide a shared education framework and a common language, it is not clear that either provides for an assessment process and outcome that identify discrete domains.63 Despite an evidence base supporting the ability of competency-based assessment to discriminate among learners in a manner consistent with theoretical expectations for knowledge and skill development,98 the interdependent and interrelated nature of competencies in the patient care context may preclude their separate identification during assessment.63,68

EPA는 역량 영역 간의 통합과 상호 관계를 볼 수 있는 렌즈를 제공하며, 역량 자체와 관련 마일스톤은 학습, 평가 및 피드백을 지원하기 위한 프레임워크와 공유된 정신 모델 및 공통 언어를 제공한다.6, 13, 63, 94–97.

EPAs then provide a lens through which to view the integration and interrelationships between competency domains, and the competencies themselves and related milestones provide a framework and a shared mental model and common language to support learning, assessment and feedback.6,13,63,94–97

마일스톤은 보다 구체적인 언어와 특정 수준을 제공하여 시간이 지남에 따라 연습생 진행에 대한 기대를 표현하는데 도움이 됩니다.13

The milestones offer more concrete language and a level of specificity that is felt to help represent expectations for trainee progression over time.13

따라서 EPA는 [학습자의 추상적인 역량을 임상 작업 맥락에 조작화하는 역할]을 하는 반면, 역량은 [학습자 자체의 특징]을 나타낸다.47

Thus, EPAs serve to operationalise the more abstract competencies into the context of the learner’s clinical work,84 and are representative of that work, whereas the competencies denote features of the learners themselves.47

마일스톤과 EPA는 학습자 성과 개념화와 역량 개발에 대한 서로 다른 접근방식을 나타내지만(표 1), 이 두 가지를 통합하면 [EPA 프레이밍의 임상 상황에 대한 상황적 현저함salience을 보강]하면서, [마일스톤 구조를 통해 방어 가능한 평가] 결과를 지원할 수 있다.

Although milestones and EPAs represent different approaches to the conceptualising of learner performance and development of competence (Table 1), they can be integrated in a manner that has the potential to support defensible assessment results through the milestones structure while reinforcing the contextual salience of EPA framing to clinical care.45,46 

각각의 EPA는 연속적인 층을 드러내도록 매핑될 수 있다. 

• 역량 영역, 

• 보다 일반적인 영역 내의 역량, 

• 각각의 이정표

Each EPA can be mapped to reveal successive layers of 

• competence domains, 

• competencies within those more general domains, and 

• respective milestones.46,95

요인 분석 등으로 보면, [각 역량의 순위] 사이에 높은 상관 관계를 보인다는 것은 놀랄 일이 아니다.

it should be no surprise that a tool such as factor analysis, shows high intercorrelations between numerical rankings of individual competencies.68,103,104

그러나 '보장되지 않는 확실성을 포기하고, 임상 성과 패턴 평가에 대한 증거 기반 접근법으로 나아가라'는 권고안은 여러 가지 이유로 시기상조이며 과도해 보인다.

• 첫째, 치료 품질과 환자 결과 간의 관계를 뒷받침하는 근거 기반이 자체인 역량들을 대상으로 한 다양한 평가 방법의 결과의 타당성을 보여주는 문헌이 있다.

• 둘째로, 내과와 소아과에서의 역량 프레임워크는 적어도 부분적으로 이미 증거 주도형이며, 기존의 임상 연구는 의사 소통 기술과 같이 선택된 역량에 대해 증거 기반 이정표가 채택될 수 있다고 제안한다.

• 셋째, 다양한 이해관계자들이 역량 프레임워크가 학습 환경에서 역량에 대한 유효한 공유 정신 모델이라고 생각하는 것을 제안하는 연구가 있다.

However, the recommendation to ‘abandon the unwarranted certainty and move toward a more evidence-based approach to assessing patterns of clinical performance’ seems premature and excessive for several reasons.62 

• Firstly, there is literature showing the validity of results from different assessment methods targeting competencies that themselves have an evidence base supporting their relationship between quality of care and patient outcomes.98,105 

• Secondly, competency frameworks in internal medicine and paediatrics, at least in part, are already evidence driven,106,107 and existing clinical research suggests that evidence-based milestones could be adopted for selected competencies, such as communication skills.49 

• Thirdly, there is research suggesting that various stakeholders find the competency framework to be a valid, shared mental model for competence in the learning environment.97

역량 기반 프레임워크가 현대 의사의 필요한 지식, 기술 및 능력을 적절하게 포착하지 못함

Competency-based frameworks do not adequately capture the knowledge, skills and abilities requisite of contemporary physicians

현재 CBME 프레임워크는 의도적으로 팀워크, 인구 관리, 품질 개선 및 책임감과 같은 이전 교육 모델에서 잘 다루어지지 않았다고 많은 사람들이 느끼는 현대 의사에게 중요한 영역을 다루고 있다..28–30

Current CBME frameworks are deliberate in addressing domains that are important for contemporary physicians, which many feel have not been well covered in previous educational models, such as teamwork, population management, quality improvement and stewardship.28–30

[EPA를 통해 다양한 내용과 맥락을 가진 다양한 사례의 샘플을 입수하고 신뢰할 수 있는 판단을 내릴 수 있는 능력]은 [광범위한 환자 프레젠테이션의 넓은 범위 내에서 새로운 임상적 과제에 대응하는데 필요한 역량을 학습자가 수행할 수 있는 능력]에 관한 어느 정도의 확신을 제공한다.63,84

The ability to obtain and make reliable judgements on a diverse sample of cases with varying contents and contexts through EPAs does provide some assurance regarding the abilities of the learner to execute a range of competencies in responding to new clinical challenges within the broad universe of possible patient presentations.63,84

이러한 복잡한 '시스템 관련system-related' 역량을 최적으로 포착하려면 학습과 평가를 환자 문제의 맥락에 의미 있게 포함시키고, 성능 또는 품질 기반 도구의 배열을 배치하여 환자 치료 맥락에 대한 다중 역량의 통합을 평가할 수 있는 접근법이 필요하다. [다양한 역량은 환자 상황과 환경 자원에 기초하여 상호 보상적으로 운영exercised]될 수 있으며, 이는 환자 치료 결과를 결정하는 데 있어 [의사의 행동과 임상적 맥락 사이의 상호작용이 존재함]을 보여준다.95

Optimally capturing these complex ‘system-related’ competencies requires approaches that meaningfully embed learning and assessment into the context of patient problems, deploying an array of performanceor quality-based tools, and thus enabling assessment of the integration of multiple competencies into the patient care context. Various competencies may be exercised in a compensatory manner based on the patient situation and environmental resources, demonstrating the interaction between physician behaviour and clinical context in determining patient care outcomes.95

현재 평가 접근법이 모든 역량을 적절히 다루지 않는다.

Current assessment approaches do not adequately address all competencies

역량에 대한 현재의 평가 접근방식은 개별 역량에 대한 유효한 평가 방법의 차이 가용성과 관련하여 역량에 중요한 영역을 강조하거나 축소할 우려가 있다.

There is concern that the current assessment approach to competencies emphasises or de-emphasises domains important to competence in relation to the differential availability of valid assessment methods for the individual competencies.

평가 결과에 대한 신뢰도는 역량 영역에 따라 다를 수 있습니다. 예를 들어, MCQ 검사를 통한 지식 평가 또는 객관적인 구조 임상 검사(OSCE)를 통한 임상 기술 평가의 결과는 일반적으로 타당도 추론을 뒷받침하기에 적절한 데이터를 제공하는 반면, 팀워크, 전문성 또는 의료 서비스를 평가하는 방법에 대해서 동일한 수준의 지지적 연구supporting research는 존재하지 않을 수 있다. 질 좋은 그러나, 직장에서 학습자를 평가하려는 움직임과 관련하여, [MCQ 시험에 사용된 보다 전통적인 심리 측정 접근법과 잘 맞지 않을 수 있는 역량]에 대한 보다 진실authentic하고, 통합적이며, '질적' 평가에 대한 사고의 진화가 있었다.91,108 일반 역량 강화의 도입작업은 역량을 통합된 현상으로 보는 평가를 이끄는 데 도움을 주고 있으며, 정량적 수치 데이터와 더불어 질적, 서술적 및 서술적 정보의 적용을 요구한다.64

Confidence in assessment results may vary across competency domains. For example, results from assessing knowledge with MCQ examinations or from assessing clinical skills with objective structured clinical examinations (OSCEs) generally provide data adequate to support valid inferences, whereas the same level of supporting research may not exist to support methods to assess teamwork, professionalism or health care quality. However, in relation to the move to assess learners in the workplace, there has been an evolution in thinking about more authentic, integrative, ‘qualitative’ assessments of the competencies that may not fit well with more traditional psychometric approaches that have been used in MCQ examinations.91,108 The introduction of a general competency framework is helping to lead assessment toward viewing competence as integrated phenomena, requiring the application of qualitative, descriptive and narrative information, in addition to quantitative numerical data.64

수치 등급에 수반되는 [서술적 코멘트]는 종종 평가와 피드백 과정을 풍부하게 하며, 평가에 사용된 역량 프레임워크와 반드시 일치하지는 않지만 개선을 위한 영역을 식별하는 데 더 민감할 수 있다. 서술적 설명 자체와 마찬가지로, 서면 또는 구두oral 질적 논평은 고유한 정보를 제공하고, 특히 수치적 데이터로 평가하기 어려운 분야(예: 전문성 및 대인관계 기술)에서 정량적 평가를 보완하고 맥락적으로 제공한다. 일부 코멘트는 학습자를 성과와 성취의 궤적을 따라 위치시키고, 개선의 적절성을 다루며, 추가적인 개선 필요성을 식별하는 전체적인 합성적 인상을 추가할 수 있다.

Narrative comments accompanying numerical ratings often enrich the assessment and feedback process and may be more sensitive in identifying areas for improvement, although they may not necessarily align with the competency framework used in the assessment.109–114 As with narrative descriptions themselves, written or oral qualitative comments contribute unique information and complement and contextualise quantitative ratings, particularly in areas that are difficult to assess with numerical data (such as professionalism and interpersonal skills).111,113,115 Some comments may add a holistic, synthetic impression that locates learners along a trajectory of performance and achievement, addressing the adequacy of improvement, as well as identifying additional improvement needs.114

[글로벌 등급 척도 및 학습자 성과에 대한 서술적 설명이 포함된 접근방식]을 사용하여 [실제 임상 환경에서 학습자 성과를 다루는 평가 도구]는 일반적으로 평가 결과 측면에서 주관적이거나 신뢰성이 낮은 것으로 간주된다. 그러나 작업장 내 평가는 어느 정도의 '주관적' 전문적 판단의 혜택을 받을 수 있으며, 연구자에 따라서는 이를 극복해야 할 문제가 아니라 실제로 평가의 필수 부분으로 본다.

Assessment tools that address learner performance in real clinical settings, often using global rating scales and approaches involving narrative descriptions of learner performance, are generally considered more subjective or less reliable in terms of their assessment results. However, assessment in the workplace may benefit from some degree of ‘subjective’ professional judgement, which some may actually consider as a necessary part of assessment, not as a problem to overcome.42,91,116

[임상 작업의 직접관찰, unannounced SP, 다중 소스 피드백]과 관련된 평가 양식은 복잡하고 통합된 역량에 대한 학습자의 숙달에 대한 보다 확실하고 완전한 평가와 다양한 맥락에서 자신의 역량에 대한 전체적인 인상을 제공할 수 있다.84

Assessment modalities involving direct observation of clinical work, unannounced standardised patients and multi-source feedback may provide more authentic and complete appraisals of the learner’s mastery of complex and integrated competencies and a more holistic impression regarding his or her competence in a range of contexts.84

단, 학습자 평가를 위한 EPA 기반 모델 또는 마일스톤을 채택할 때, 교육자는 더 쉽게 이해되는 평가 '규칙'과 표본 추출 전략에 의존할 수 있다. 예를 들어 [EPA를 수행할 수 있는 훈련생의 능력에 대한 신뢰할 수 있는 추정치]에 대해서, 최소한 이론적으로는, EPA 내에서 중요한 이정표를 달성하려면 해당 임상 영역에서 [X개의 서로 다른 사례의 샘플]이 필요할 수 있다. 밝혀진 바와 같이, 가장 일반적으로 사용되는 평가 방법은 총 시험 시간의 4-8시간이면 충분한 신뢰성을 달성할 수 있다.64

However, in adopting an EPA-based model or milestones for learner assessment, educators can fall back on more easily understood assessment ‘rules’ and sampling strategies to potentially increase reliability.64,117 For example, a reliable estimate of a trainee’s ability to perform an EPA and perhaps, at least theoretically, achieve critical milestones within an EPA may require a sample of X different cases in that clinical area. As it turns out, most commonly used assessment methods can achieve sufficient reliability with 4–8 hours of total testing time.64

일반적으로 평가 도구는 강점과 약점, 그리고 각 평가도구의 사용에 적합한 목적과 맥락을 가지고 있는 것으로 볼 수 있다.33 평가를 커리큘럼 목표와 연계된 전반적인 [평가 프로그램의 일부]로 보는 것은 각 평가가 개별적 자질과 관련하여 기여하는 방법에 대한 광범위한 사고를 가능하게 한다.64,117

In general, assessment instruments may be viewed as having strengths and weaknesses and appropriate purposes and contexts for their use.33 Viewing assessments as part of an overall assessment programme linked to curricular goals allows for broader thinking about how each assessment contributes in relation to its individual qualities and depending on the purpose and context of the assessment.64,117

신뢰성이 낮은 도구는 지속적으로 학습 및 개선을 위한 영역을 알리기 위해 사용할 수 있지만, 다양한 간격으로 결과를 집계(따라서 더 신뢰할 수 있는 결과를 산출)한다면, (비록 형성적 목적과 종합적 목적을 혼합하는 데 어려움이 있을 수 있지만), 학습자 진행에 관한 종합적인 판단을 지원할 수 있다.91

Tools of lower reliability can be used to inform areas for learning and improvement on an ongoing basis, but results can be aggregated (and thus yield more reliable findings) at various intervals to support summative judgements regarding learner progress,118,119 although there may be challenges in mixing formative and summative purposes.91

Schwirth와 Ash는 역량 기반 프레임워크에서 형성 평가와 총괄 평가가 모두 필요하다는 점을 지적합니다. 그렇게 해야, 평가의 형성적 특성과 총괄적 특징을 결합하여 시너지 효과가 발생하기 때문이다. 왜냐하면 순수한 총괄적 평가에 의해서 유도되는 시험 응시 행동test-taking behavior을 억제하게 되며, 또한 학습자들이 형성적 평가를 더 심각하게 받아들이도록 장려하기 때문이다. 

Schuwirth and Ash118 point to the need for both formative and summative assessment in a competency-based framework and the synergistic value of combining the formative and summative features of assessment in inhibiting the test-taking behaviours induced by purely summative assessment, as well as encouraging learners to take formative assessment more seriously. 

이러한 평가 배치의 성공에 있어 중요한 것은, 학습과 개선을 유도하기 위해 제공되는 [형성적 지향에 대한 자신감]을 가질 수 있는 (심리측정적 역치threshold의 달성을 지원하기 위한) 교수진의 적절한 준비이다. 교육 프로그램 리더는 레지던트 평가를 위한 마일스톤을 성공적으로 도입하기 위해 광범위한 교수개발이 필요함을 인정해야 한다. 

Critical to the success of deploying such assessments is the adequate preparation of faculty staff to support the attainment of a psychometric threshold that instils confidence in the formative directions provided to guide learning and improvement.98 Education programme leaders recognise the need for extensive faculty development to successfully introduce milestones for assessing residents.13

결론들

CONCLUSIONS

실습 기반 학습 및 개선, 시스템 기반 실습 및 전문성 등을 다루는 고차원의 역량 포함을 통해, CBME는 졸업생이 진화하는 의료 시스템에서 성공할 수 있도록 충분히 준비하지 못한 의료 교육 시스템의 결함을 시정하기 위해 노력하고 있습니다.

Through the inclusion of higher-order competencies that address practice-based learning and improvement, systems-based practice and professionalism, Competency-based medical education seeks to correct deficiencies in our medical education systems that have failed to sufficiently prepare graduates to succeed – to learn and to practise – in our evolving health care systems.

그러나 [CBME의 실용적 성격에 대한 인식]은 의학교육에 내재된 일부 고등 교육 가치가 위협받고 있으며, 역량의 통합적이고 복잡하며 맥락적 성격을 간과하고 있다. 마찬가지로, 어떤 사람들은 이것이 의학 기술에 내재된 능력의 측면(인본주의, 탁월함에 대한 열망 등)에 대한 관심을 감소시킬 것을 우려한다.

However, perceptions of the utilitarian nature of CBME fuel fears that some higher education values intrinsic to medical education are threatened and the integrated, complex and contextual nature of competence is overlooked.3,4,19,25,58–61 Similarly, some fear this will result in decreased attention to aspects of competence intrinsic to the art of medicine (humanism, aspiration to excellence and so on).

그러나, CBME와 관련된 사고의 진화 및 평가 관행에 대한 검토는 이러한 두려움과 우려를 해결하기 위한 노력이 진행 중임을 시사한다. 평가는, 교육의 동인으로서, 역량이라는 맥락적이고 통합된 특성 및 측정하기가 더 어려운 영역의 우수성을 수용하기 위해 진화하고 있으며 '역량에서 수월성으로의 발전'을 지지한다.43

However, a review of the evolution in thinking and the assessment practices associated with CBME suggests there are efforts underway to address these fears and concerns. Assessments, as drivers of education, are evolving to embrace the contextual, integrated nature of competence and the salience of those domains that are more difficult to measure, and are supportive of the ‘progression from competence to excellence’.43

무엇보다, [역량 기반 결과와 관련되지 않은 모든 콘텐츠와 경험을 교과 과정에서 제거하는 엄격한 실용주의 또는 직업적 접근 방식]은 학습자의 전문적 발전과 성숙을 지원하는 [교육 과정의 풍부함을 떨어뜨릴 것]이다.19

A strictly utilitarian or vocational approach that removes from the curriculum all content and experiences that do not specifically relate to competency-based outcomes will detract from the richness of the education process supporting our learners’ professional development and maturation.19

CBME의 advocate와 implementer에 의한 언어의 광범위한 사용, 그리고 'competence'과 'competency'과 관련된 의미의 뉘앙스와 관련하여 중요한 과제가 남아 있다. 'competence'과 'competency'이라는 용어는 규제자, 교육자 및 의료 교육계의 다른 사람들이 일치하거나 합의된 방식으로 정의되지 않았다. 역량, 지역사회 요구와의 연계, 역량 개발 진보를 중심으로 조직된 정의된 교육 결과의 개념이 대부분의 정의에 스며들기는 하지만, 그 결과 CBME는 다양한 방식으로 정의되고 말았다. 수많은 정의는 역량과 역량에 대한 공유된 이해를 복잡하게 하고 CBME의 구현을 혼동하고 혼란스럽게 한다. 언어와 프레임워크의 일관성을 개발하려는 현재의 노력이 신속하게 진전되고 가능한 한 연구와 증거에 의해 정보를 제공받는 것이 매우 중요하다.

Significant challenges remain in relation to the widely varying use of language by advocates and implementers of CBME, and the nuances of meaning associated with ‘competence’ and ‘competency’.25,90 The terms ‘competence’ and ‘competency’ have not been defined in a way that is consistent or agreed upon by regulators, educators and others in the medical education community. It follows that a wide variety of CBME definitions exist, although the concepts of defined education outcomes organised around competencies, alignment with community needs and developmental progression of competence permeate most definitions.19,120 Numerous definitions complicate a shared understanding of competence and competencies and confound and confuse the implementation of CBME. It is critically important that current efforts to develop consistency in language and frameworks progress expeditiously, and that they are, as far as possible, informed by research and evidence.

---

Review

 

. 2015 Nov;49(11):1086-102.

 doi: 10.1111/medu.12831.

Implementation of competency-based medical education: are we addressing the concerns and challenges?

Richard E Hawkins 1, Catherine M Welcher 1, Eric S Holmboe 2, Lynne M Kirk 3, John J Norcini 4, Kenneth B Simons 5, Susan E Skochelak 6

Affiliations 

Affiliations

• 1Medical Education Outcomes, American Medical Association, Chicago, Illinois, USA.
• 2Milestone Development and Evaluation, Accreditation Council for Graduate Medical Education, Chicago, Illinois, USA.
• 3Department of Internal Medicine, Faculty of Medicine, University of Texas Southwestern, Dallas, Texas, USA.
• 4Foundation for Advancement of International Medical Education and Research (FAIMER), Philadelphia, Pennsylvania, USA.
• 5Graduate Medical Education, Medical College of Wisconsin, Milwaukee, Wisconsin, USA.
• 6Medical Education, American Medical Association, Chicago, Illinois, USA.

• PMID: 26494062
 
• DOI: 10.1111/medu.12831

Abstract

Context: Competency-based medical education (CBME) has emerged as a core strategy to educate and assess the next generation of physicians. Advantages of CBME include: a focus on outcomes and learner achievement; requirements for multifaceted assessment that embraces formative and summative approaches; support of a flexible, time-independent trajectory through the curriculum; and increased accountability to stakeholders with a shared set of expectations and a common language for education, assessment and regulation.

Objectives: Despite the advantages of CBME, numerous concerns and challenges to the implementation of CBME frameworks have been described, including: increased administrative requirements; the need for faculty development; the lack of models for flexible curricula, and inconsistencies in terms and definitions. Additionally, there are concerns about reductionist approaches to assessment in CBME, lack of good assessments for some competencies, and whether CBME frameworks include domains of current importance. This study will outline these issues and discuss the responses of the medical education community.

Methods: The concerns and challenges expressed are primarily categorised as: (i) those related to practical, administrative and logistical challenges in implementing CBME frameworks, and (ii) those with more conceptual or theoretical bases. The responses of the education community to these issues are then summarised.

Conclusions: The education community has begun to address the challenges involved in implementing CBME. Models and guidance exist to inform implementation strategies across the continuum of education, and focus on the more efficient use of resources and technology, and the use of milestones and entrustable professional activities-based frameworks. Inconsistencies in CBME definitions and frameworks remain a significant obstacle. Evolution in assessment approaches from in vitro task-based methods to in vivo integrated approaches is responsive to many of the theoretical and conceptual concerns about CBME, but much work remains to be done to bring rigour and quality to work-based assessment.

© 2015 John Wiley & Sons Ltd.