CBME에서 평가의 역할 (Med Teach, 2010)

CBME에서 평가의 역할 (Med Teach, 2010)

The role of assessment in competency-based medical education

ERIC S. HOLMBOE1, JONATHAN SHERBINO2, DONLIN M. LONG3, SUSAN R. SWING4 & JASON R. FRANK5, FOR THE INTERNATIONAL CBME COLLABORATORS

1American Board of Internal Medicine, USA, 2McMaster University, Hamilton, Canada, 3Johns Hopkins University, Baltimore, USA, 4Accreditation Council for Graduate Medical Education, USA, 5Royal College of Physicians and Surgeons of Canada and University of Ottawa, Canada

도입

Introduction

역량 기반의 의학 교육 (CBME)은 강력하고 다면적 인 평가 시스템을 필요로한다 (Norcini 외. 2008).

Competency-based medical education (CBME), by definition, necessitates a robust and multifaceted assessment system (Norcini et al. 2008).

CBME에서는 학습자가 발달과 필요한 능력을 획득할 수 있도록, 고품질의 피드백을 자주 받을 수 있도록 형성 평가에관심을 둬야 한다. 또한 특정 지식 분야, 기술, 태도에 문제가 있는 학습자에 대해서는 remedial action를 안내하는 '조기 경보 시스템'을 제공 할 수 있습니다.

For trainees, CBME requires enhanced attention to formative assessment to ensure they receive frequent and high-quality feedback to guide their development and the acquisition of the necessary competen- cies (Carraccio et al. 2002; Bing-You & Trowbridge 2009). For those trainees with deficiencies in certain knowledge areas, skills, or attitudes, CBME can provide an ‘‘early warning system’’ to guide remedial action;

프로그램 수준에서 효과적인 평가는 학습자의 진급에 대한 프로그램 수준의 결정이 신뢰성 있고 공정하게 이루어 지도록하는 데 필요한 정보와 판단을 제공합니다 (Hawkins & Holmboe 2008). 효과적인 평가란, 현재와 같이 역량의 대리지표로서 'dwell time'에 대한 의존도를 감소시켜야 한다. (Carraccio 외. 2002).

At the program level, effective assessment provides the information and judgment necessary to enable program-level decisions about trainee advancement to be made reliably and fairly (Hawkins & Holmboe 2008). Effective assessment also potentially reduces dependence on educational ‘‘dwell time’’ as a proxy for competence – a characteristic that describes most current medical education programs (Carraccio et al. 2002).

미국에서 교육 프로그램에서의 역량에 대한 aggregated measurement는 프로세스와 구조를 덜 강조하되, 교육성과의 달성을 좀 더 강화하는 방식으로 인증 시스템을 발전시켜왔다. 그리고 이러한 시스템은 지속적인 품질 향상에 중점을 둘 것입니다 (Goroll 외 2004; Nasca 2008).

In the United States, aggregated measurement of competence in training programs has been proposed as a way to allow the accreditation system to evolve in a manner that places more emphasis on the attainment of educational outcomes and less on process and structure; such a systemwould thus be focused on continuous quality improvement (Goroll et al. 2004; Nasca 2008).

마지막으로 강력하고 정확한 평가는 의학 교육에 부여되는 특권이라고 볼 수 있는 "전문적인 자기 규제"에 필수적이지만, 전 세계적으로 회의와 냉소주의에 휩싸여있다. 예를 들어, 호주, 캐나다 및 영국 정부는 의학 교육 규제에보다 직접적으로 관여하고 있으며 유사한 흐름이 미국에서 시작되고 있습니다 (Chantler & Ashton 2009, Shaw 외 2009, Medicare 지불 자문위원회 2009). 거의 모든 국가에서 의사의 양성은 공공 자금으로 상당한 재정 지원이 이뤄지는 매우 값 비싼 business이다.

Finally, robust, accurate assessment is essential to profes- sional self-regulation, a privilege granted to medical education but increasingly viewed with skepticism and cynicism world- wide. For example, the governments in Australia, Canada, and the United Kingdom have become more directly involved in the regulation of medical education, and similar conversations are beginning to occur in the United States (Chantler & Ashton 2009; Shaw et al. 2009; Medicare Payment Advisory Commission 2009). Training a physician is a very expensive enterprise for which, in almost every country, substantial financial support is provided from the public purse.

훈련과 평가의 세팅

The setting of training and assessment

심리 측정의 필수요소에 기반한 전통적인 측정 방법은 WBA에 대해 의심스러운 시선을 보냈는데, 임상적 환경에 편견이 내재되어 있고, 진점수에 대한 결정을 어렵게 만드는 맥락적 요소를 '보정'하기가 어렵기 때문이다 (Rethans et al., 2002; Williams et al., 2003; Govaerts et al., 2007).

Traditional approaches to measurement, based in the psychometric imperative, have been leery of work-based assessment, given the biases inherent in the clinical setting and the challenges of ‘‘adjusting’’ for contextual factors that make it difficult to determine the ‘‘true’’ score, or rating, of competence (Rethans et al. 2002; Williams et al. 2003; Govaerts et al. 2007).

임상 마이크로시스템

Clinical microsystems

피훈련자가 일하고 배우는 주된 임상 단위 (예 : 외래 진료소, 병원 병실, 수술실 및 집중 치료실)가 마이크로 시스템입니다. 넬슨 (Nelson)과 동료들에 의해 정의 된 바와 같이, 임상 마이크로시스템은 환자의 특정 하위군에 대한 치료를 제공하기 위해 정기적으로 함께 일하는 소수의 사람들이다. 그것은 임상 및 사업 목표, 연계 된 프로세스 및 공유 된 정보 환경을 갖추고 성과를 산출합니다. "(Nelson et al., 2007).

The predominant clinical units where trainees work and learn – for example, ambulatory clinics, hospital wards, surgical suites, and intensive care units – are microsystems. As defined by Nelson and colleagues, a clinical microsystem is ‘‘a small group of people who work together on a regular basis to provide care to discrete subpopulations of patients. It has clinical and business aims, linked processes, and a shared information environment, and produces performance out- comes’’ (Nelson et al. 2007).

마이크로 시스템은 업무 중심의 교육 및 평가를위한 환경을 제공합니다. 논리적으로 CBME의 전제 조건은 훈련생이 경쟁력 확보를 위해 기능적인 마이크로 시스템에서 일하고 학습하는 것이지만 평가 시스템은 필연적으로 교육 시스템에 내장embed된다. 따라서 교육자는 다양한 마이크로시스템의 문화와 기능이 평가 프로세스에 어떻게 영향을 미치는지 신중하게 고려해야한다 (Rethans et al., 2002). 불행히도, 연수생은 종종 기능 장애가있는 마이크로 시스템에서 배우고 일한다는 실질적인 증거가 있습니다. 이러한 현실은 일반적으로 CBME의 주요한 장애물이며, 특히 평가에 큰 장애가 될 수있다 (Bowen et al., 2005; Reddy et al., Hafferty & Levinson 2008).

Microsystems provide the context for work-based training and assessment. Although it follows logically that a prerequi- site for CBME would be that trainees work and learn in functional microsystems to enhance the attainment of compe- tency, the assessment system is also inevitably embedded in the microsystems of the training program, making it important for educators to carefully consider how the culture and functionality of these multiple microsystems affect assessment processes (Rethans et al. 2002). Unfortunately, there is substantial evidence that trainees too often learn and work in dysfunctional microsystems. This reality may be a major impediment to CBME in general and to assessment in particular (Bowen et al. 2005; Reddy et al. in press; Hafferty & Levinson 2008).

효과적인 평가 시스템의 필수 구성 요소

Necessary components of an effective assessment system

평가는 복잡한 적응adaptive 시스템의 맥락에서 보아야한다 (McDaniel & Driebe 2001; Nelson et al., 2007). 복잡한 적응 시스템은 몇 가지 중요한 특성을 공유합니다. 첫째, 그들은 서로에게서 배우고, 적응하고, 따라서 변화 할 수있는 능력을 가진 개인을 포함하여 여러 상호연결된 요소로 구성됩니다 (Suchman 2006). 평가 시스템은 trainee와 협력적으로 여러 평가 방법 및 도구를 사용하는 여러 '에이전트agent'로 구성되어 있다.

Assessment should be viewed in the context of a complex adaptive system(McDaniel & Driebe 2001; Nelson et al. 2007). Complex adaptive systems share several important character- istics. First, they consist of multiple interconnected elements, including individuals who have the capacity to learn from one another, to adapt, and therefore to change (Suchman 2006). Assessment systems consist of multiple ‘‘agents’’ (e.g., faculty members, peers, patients, and other non-physician health care providers) using multiple assessment methods and tools (e.g., exams, mini-CEX, audit, multi-source feedback, simulation, etc.) in collaboration with the trainee in a competency-based training model.

1. 평가는 지속적이고 빈번해야합니다.

1. Assessment needs to be more continuous and frequent

CBME는 총괄평가보다 형성평가를 강조한다. 이것은 총평 평가가 중요하지 않다는 것을 말하는 것이 아닙니다. 사실상 의학교육 공동체는 연수생이 궁극적으로 감독받지 않은 상태에서 의료행위를 할 수 있는지를 대중에게 공개 할 의무가있다. 교육 이론 (McCowan 1998; Hodge 2007)도 뒷받침하듯, 형성평가에 대한 강조는 "deliberate practice"(Ericsson 2006, 2007)을 통한 전문성 개발 작업과도 일치합니다. Deliberate practice의 개념은 효과적인 코칭, 멘토링 및 피드백의 필요성을 강조합니다. 피드백은 피드백을 제공하기 위한 목적으로 시행되는 평가의 질을 뛰어넘지 못한다. 부정확한 평가는 비효율적 인 피드백과 발달 지연을 초래합니다. 그러나 효과적인 피드백은 전문성 개발을위한 강력한 도구가 될 수 있습니다 (Hattie & Timperley 2007).

As Carraccio and colleagues have outlined (2002), a compe- tency-based education program emphasizes formative over summative assessment. This is not to say that summative assessment is unimportant; indeed, the medical education community has a professional obligation to the public to ensure that its trainees are ultimately competent for unsuper- vised practice. A greater emphasis on formative assessment, while supported by educational theory (McCowan 1998; Hodge 2007), is also consistent with work on the development of expertise through ‘‘deliberate practice’’ (Ericsson 2006, 2007). The deliberate practice concept highlights the need for effective coaching, mentoring, and feedback. Feedback is only as good as the assessment that informs it: inaccurate potentially assessment leads to ineffective feedback and delayed development. However, effective feedback can be a powerful tool for professional development (Hattie & Timperley 2007).

Hattie와 Timperley가 교육의 연속체에 대한 광범위한 검토에서 언급했듯이 피드백은 학습자 진행을 돕기 위한 가장 강력한 '개입'일 수 있습니다 (Hattie & Timperley 2007). 임상 교육의 피드백은 평가 시스템에 단단히 통합된 특정 기술을 포함하는 복잡한 프로세스입니다 (van der Ridder 외. 2008). 고립적으로 수행한 자기평가는 효과가 없을뿐만 아니라 위험할 수 있다 (Davis 외 2006, Eva & Regehr 2008). 또한 피드백은 역량 기반 시스템에서 특히 중요한 "self-directed assessment seeking" (Eva & Regehr 2008)을 위해 연수생을 안내하는 핵심 구성 요소입니다. 효과적인 CBME 시스템은 견고한 평가와 견고한 피드백을 지속적으로 연결해야합니다.

As noted by Hattie and Timperley in their extensive review across the continuum of education, feedback may be the most potent ‘‘intervention’’ in helping learners progress (Hattie & Timperley 2007). Feedback in clinical education is a complex process involving specific skills that must be tightly integrated into the assessment system (van der Ridder et al. 2008). We now know that, when performed in isolation, self-assessment is not only ineffective but is potentially dangerous (Davis et al. 2006; Eva & Regehr 2008). Furthermore, feedback is a key component that guides trainees in more meaningful self- directed assessment-seeking behaviour that is critical in a competency-based system (Eva & Regehr 2008). An effective CBME system must continuously link robust assessment with equally robust feedback on a continuous basis.

2. 평가는 발달 적 관점을 사용한 준거기반 평가여야 한다.

2. Assessment must be criterion-based, using a developmental perspective

교육 기관 내에서 피훈련자 간 상대평가를 기반으로 한 규범적 접근은 진정한 결과를 달성하는 것을 매우 어렵게 만듭니다. 결과적으로 적절한 기대치 아래로 기준이 설정되는 상황이 빈번하게 발생한다.

A normative approach to assessment, based on comparable trainees within an institution, makes the attainment of true outcomes very difficult. As a result, standards are too often set below appropriate expectations.

(한 연구의) Baseline 평가에서 본질적으로 모든 레지던트들은 중심관 삽입을 독립적으로 수행 할 때 최소한의 안전 기준을 충족시키지 못했습니다. 즉, 단순히 올바른 혈관에 혈류를 옮기는 것만으로는 충분하지 않았습니다. 실제로, 레지던트들의 기본 성과는 현저하게 유사하여,이 상황에서의 평가에 대한 규범 적 접근이 그룹의 대부분의 구성원이 유능하다는 잘못된 판단을 이끌어 낼 수 있다는 사실을 보여주었다. 사실 모든 사람들이 중앙을 삽입 할 능력이 없었기 때문이다 라인 안전 (Barsuk 외. 2009).

At the baseline assessment, essen- tially all the residents failed to meet the criteria for minimal safety in independently performing central line insertion: in other words, simply getting the line into the right vessel was not enough. In fact, the baseline performance among the residents was remarkably similar, making the point that a normative approach to assessment in this situation could have led to a mistaken judgment that most members of the group were competent, when in fact everyone was incompetent to insert central lines safely (Barsuk et al. 2009).

적절한 기준은 발달적이어야한다. 일반적으로 마일스톤 또는 벤치 마크라고하는 발달 조건으로 기준을 정의하면 프로그램에서 연수생이 적절한 "궤적"에 있는지 여부를 결정할 수 있습니다 (Green et al. 2009). 실제로 이정표는 평가를위한 청사진이되고 평가 방법과 도구의 적절한 선택에 도움이 되며, 연수생이 발달적으로 있어야하는 곳의 전반적인 내러티브 또는 '이야기'를 만드는 데 도움이 될 수 있습니다 (Green et al. 2009) .

Criteria should also to be developmental in nature, where appropriate. Defining the criteria in developmental terms, commonly called milestones or benchmarks, allows programs to determine whether the trainee is on an appropriate ‘‘trajectory’’ (Green et al. 2009). Milestones, in effect, become the blueprint for assessment and help to guide the appropriate selection of assessment methods and tools, and can help to create the holistic narratives or ‘‘stories’’ of where trainees should be developmentally (Green et al. 2009).

3. 역량 기반의 의학 교육은 연수생이 궁극적으로 할 역할에 중점을 두고 있으며, 확고한 WBA가 필요합니다.

3. Competency-based medical education, with its emphasis on preparation for what the trainee will ultimately do, requires robust work-based assessment

특히 시뮬레이션은 학습 초기 단계에서 즉각적인 평가와 피드백을 비롯한 deliberate practice를 위한 장소를 제공하고 환자를 잠재적인 위험으로부터 보호합니다 (Issenberg 외. 2005). 그럼에도 불구하고 평가는 "authentic"한 환자 접촉와 빈번한 직접 관찰에 근거해야만한다. WBA가 전통적인 양식 (Norcini 2003)보다 우수하다는 강력한 증거가 없지만 WBA는 CBME의 필수 구성 요소이며 특히 형성 평가 및 피드백의 필요성이 커지면 더욱 그렇습니다.

Simulation, in particular, provides a venue for deliberate practice, including immediate assessment and feedback during the early stages of learning, while protecting patients from potential harm (Issenberg et al. 2005). Nonetheless, assess- ment must also be based on ‘‘authentic’’ encounters and frequent direct observation (Carraccio et al. 2002; Williams et al. 2003; Govaerts et al. 2007). Although some have noted the lack of strong evidence that work-based assessments are better than more traditional forms (Norcini 2003), we believe that work-based assessment is an essential component of CBME, especially given the greater need for formative assessment and feedback.

결과적으로, CBME 평가 시스템에서는 교수진에 대한 요구 사항은 전혀 적지 않다. 교수진은 매일 연수생과 나란히 work하므로 실시간 평가 및 피드백을 제공 할 수있는 훌륭한 위치에 있습니다. 그들은 연수생의 퍼포먼스를 정확하게 관측해야 한다.

As a result, a CBME assessment system places more, not fewer, demands on faculty. Faculty work side by side with trainees on a daily basis and are therefore in an excellent position to provide real-time evaluation and feedback. They need to be keen and accurate observers of trainee perfor- mance,

연구 결과에 따르면 교수들은 종종 연수생의 임상 기술의 결함을 확인하지 못하는 것으로 나타났습니다 (Herbers et al., 1989; Kalet et al 1992; Holmboe 2004).

studies have demonstrated that faculty frequently fail to identify deficiencies in trainees’ clinical skills (Herbers et al. 1989; Kalet et al 1992; Holmboe 2004).

주요 과제 중 하나는 교수들을 어떻게 더 정확한 관찰자로, 더 나은 수행능력 평가자로 훈련시키는 것이다. 또한 직접 관찰 할 수 없는 경우 다른 감독활동과 협력적으로 관찰 및 판단하는 것도 효과적인 평가에 중요한 요소입니다 (Kennedy et. 2007).

One of the major be more challenges will be how best to train faculty to and accurate observers better assessors of performance, In addition, faculty corroboration of trainee findings and judgments through other supervisory activities beyond direct observation are also important inputs into effective assessment (Kennedy et al. 2007).

4. 훈련 프로그램은 최소한의 퀄리티 기준을 충족하는 평가 도구를 사용해야합니다.

4. Training programs must use assessment tools that meet minimum standards of quality

지역 사회는 여러 가지 '자가 재배'평가 도구를 개발하지 않고 국가 또는 지역 내의 모든 프로그램에서 사용할 핵심 평가 도구 세트를 채택해야합니다. 의학교육은 평가도구의 선택과 사용에 있어서 너무 많은 변화를 겪었으며, 이는 의료 서비스에서의 가변성과 유사하다 (Fisher et al., 2003). 평가 도구의 품질 평가를 안내하기 위해 여러 프레임 워크를 사용할 수 있습니다. 이들 중 하나 인 유틸리티 지수 (van der Vleuten 1996)는 간단하지만 유용한 공식입니다.

The community needs to move away from developing multiple ‘‘home-grown’’ assessment tools and work instead toward the adoption of a core set of assessment tools that will be used across all programs within a country or region. Medical education has suffered from too much variability in the choice and use of assessment tools, akin to the variability seen in the delivery and quality of health care (Fisher et al., 2003). Several frameworks are available to guide the evalua- tion of the quality of assessment tools. One of these, the utility index (van der Vleuten 1996), is a simple but useful formula:

유용성 = 타당도 x 신뢰성 x 교육적 영향 x 수용력 x 비용 효과 성 :

Utility = validity x reliability x educational impact x acceptability x cost effectiveness:

우리는 "완벽한"평가 도구를 기다릴 수는 없다. 오히려 목적에 맞는 최상의 도구 조합을 사용해야합니다. "충분이 좋다"는 것은 도구가 만족할만한 정신측정학적 특징을 갖는지 여부에만 의존하지 않는다는 사실도 중요합니다.

However, a word of caution is in order: we cannot wait for the ‘‘perfect’’ assessment tools but, rather, must use the best combination of tools available for the purpose. It is also important to highlight the fact that being ‘‘good enough’’ does not depend only on whether a tool has satisfactory psychometric characteristics.

예를 들어 직접 관찰을 위해 가장 잘 연구 된 평가 도구는 mini-CEX이며, 이에 대한 적어도 20 개의 연구가 현재 인쇄되고 있지만, 우리는 여전히 mini-CEX을 최대한 활용하는 방법에 대한 완전한 이해가 부족합니다 (Kogan et al. 2009). 이는 어떤 WBA 도구도 그것을 사용하는 개인의 수준을 넘을 수 없다는 인식이 부족하기 때문이다 (Landy & Farr 1980; Murphy & Cleveland 1995). CBME가 궁극적으로 성공하기 위해서는 더 나은 평가 도구뿐만 아니라 도구를 사용할 숙련된 평가자가 필요합니다.

For example, the best- studied assessment tool for direct observation is the mini-CEX; although at least 20 studies of this tool are nowin print, we still lack a full understanding of how best to utilize it (Kogan et al. 2009). The primary reason for this state of affairs is the lack of recognition that any work-based assessment tool is only as good as the individual using it (Landy & Farr 1980; Murphy & Cleveland 1995). For CBME to be ultimately successful, we need not only a combination of better assessment tools but also more skilled faculty and other assessors who will use them.

5. 우리는 평가에 대한보다 "질적 인"접근법을 기꺼이 받아 들여야한다.

5. We must be willing to incorporate more ‘‘qualitative’’ approaches to assessment

평가에 대한 질적 접근에는 서술적 자료와 평가 세션 중 발생하는 대화 등이 포함될 수 있습니다. 특히 전문성 (Hemmer et al., 2000; Battistone et al. 2001)과 같은 어려운 역량과 관련하여 평가 세션에서 가치 있고 방어 가능한 정보를 얻을 수 있으며, 포트폴리오를 평가에도 reliable하게 사용될 수 있음을 보여 주었다 Driessen et al., 2005).

Qualitative approaches to assessment could include written narrative and the synthesis of conversations that occur during evaluation sessions. Research has shown that valuable and defensible information can be obtained during evaluation sessions, especially with respect to difficult competencies such as professionalism(Hemmer et al. 2000; Battistone et al. 2001), and that qualitative methods can be used reliably to judge portfolios (Driessen et al. 2005).

어떤 사람들은, 숫자 대신 Words로 효과적인 판단이 가능함에도, 평가의 객관화에 너무 많은 강조가 있다고 주장했다 (Govaerts et al., 2007). 예를 들어, 교수진의 DOA 결과는 평가 척도에서의 숫자 또는 판단적 언어 또는 서술적 묘사가 될 수 있다. 이 세 가지 모두가 판단력을 발휘할 수있는 능력을 가지고 있지만, 서술적 묘사만이 연수생의 개선과 학습 계획 수립에 필요한 구체적 정보를 제공합니다.

Some have argued that there is too much emphasis on the ‘‘objectification’’ of assessment when judgment can just as effectively be expressed in words instead of numbers (Govaerts et al. 2007). For example, the results of a direct observation assessment by faculty could be synthesized into 

• a number on a rating scale, 

• a categorization using words of judgment (e.g., ‘‘satisfactory’’), or 

• a narrative description (e.g., ‘‘the trainee appropriately began the patient interview with an open-ended question and effectively gathered key information for diagnosis’’). 

All three have the capacity to provide a judgment, but the narrative example provides the level of specificity needed by the trainee to make improvements and develop learning plans.

6. 평가는 그룹의 지혜를 이끌어 내고 연수생의 적극적인 참여를 필요로합니다.

6. Assessment needs to draw upon the wisdom of a group and to involve active engagement by the trainee

어떤 개인도 고립된 상태에서 연수생의 역량에 대해서 판단을 내리면 안 되며, 특히 총괄 결정에 대해서는 더욱 그러하다(Swing 외. 2010). CBME 시스템의 평가는 레지던트를 평가 프로세스에 적극적으로 참여시켜야합니다. 의사에게와 마찬가지로 "자기 주도적 평가 탐색"의 개념은 피훈련자에게도 똑같이 중요한 개념이다 (Eva & Regehr 2008). CBME는 피훈련자의 적극적인 참여를 요구하며, 평가에서 피훈련자를 empower시켜야 한다.

No single individual should make judgments about the competence of a trainee in isolation, especially for summative decisions (Swing et al. 2010). Assessment in a CBME system must actively engage the resident in the assessment process. The concept of ‘‘self-directed assessment seeking’’ for practis- ing physicians is an equally important concept for trainees (Eva & Regehr 2008). CBME demands active involvement by the trainee, and programs must empower trainees in assess- ment.

자신의 의료행위에 대한 신뢰할 수 있고 유효한 평가를 찾고, 스스로 수행하는 능력을 갖추 었는지 확인하는 것은 역량 유지에 필수적입니다 (Duffy 외. 2008).

Ensuring that all physicians have the skills to seek and perform reliable and valid assessments of their own practice performance is essential to the maintenance of competence (Duffy et al. 2008).

미래의 평가 개념

Future concepts for assessment

최근까지 우리는 '시스템'을 주로 평가를 위한 맥락으로 간주했습니다. 그러나 이제 우리는 의사들이 마이크로 시스템 내에서 성공적으로 작업하기 위해 특정 지식, 기술 및 태도를 필요로한다는 것을 인식하기 시작했습니다. 이러한 마이크로시스템 역량의 예로 팀 구성원으로 효과적으로 일하는 것, 의사가 아닌 의료 서비스 제공자와 효과적인 전문 직업인 간 상호 작용 등이 있습니다. 시스템을 역량의 "맥락"으로 바라보는 것과 시스템 자체를 특정한 측면의 "역량"으로 바라보는 것 사이의 구분선은 점점 희미 해지고 있습니다. 다시 말해, 역량의 한 요소는, 의사와 시스템 사이의 효과적인 상호작용이며, 이를 통해 프로세스를 효과적으로 완료하거나, 임상 진료 프로세스를 개선하기 위한 시스템을 변화를 이룬다.

Until recently, we have viewed the ‘‘system’’ mainly as context for assessment. However, we are now beginning to recognize that physicians need specific knowledge, skills, and attitudes to work successfully within microsystems. Examples of such microsystem competencies include working effectively as a member of a team and effective interprofessional interactions with non-physician health care providers. The dividing line between systems as providing a ‘‘context’’ for competency and as a specific facet of ‘‘competency’’ is increasingly blurred, for competency is not only demonstrated within the specific context of a system but also pertains to engagement with the system itself. In other words, one element of competency is how effectively a trainee or physician interacts with the system, either to get a task or process done well, or to change the system in order to improve a clinical care process.

피훈련자는 자신의 일하고 선도하는 마이크로 시스템에 책임이있을 때 이러한 기술이 필요할 것입니다. CBME의 경우, 평가를위한 필수적인 철학적 질문은 마이크로 시스템에 대해서 어떤 '보정'이, 얼마나, 연수생의 평가에 포함되어야 하는지, 피훈련자와 마이크로 시스템과의 어떤 상호 작용을 역량으로 봐야 할 것이지 등은 반드시 고려해야 할 질문이다.

Trainees will need these skills when they become responsible for working and leading microsystems of their own. For CBME, an essential philosophical question for assessment will be what and how much ‘‘adjustment’’ for the microsystem should be part of the assessment of trainees, and what aspect of trainees’ interactions with their microsystems is itself a competency.

마지막으로, 평가 시스템의 판단 측면 인 평가는 통합적이고 종합적이어야합니다. CBME의 주요 비판 중 하나는 학습 및 평가를 일련의 '체크박스'으로 축소시키는 경향이 있다는 것입니다 (Leung 2002; Talbot 2004).

Finally, evaluation – the judgment aspect of the assessment system – must be integrative and synthetic. One of the major criticisms that has been made of CBME is that it has a propensity to reduce learning and assessment to a series of ‘‘checkboxes’’ (Leung 2002; Talbot 2004).

인간의 판단은 당분간은 평가 프로세스의 일부가 될 것입니다. CBME 시스템의 작업 기반 평가 측면에 대한 도전은 인간의 관찰 및 판단의 품질을 최대화하는 것입니다

Human judgment, will be part of the assessment process for the foreseeable future. The challenge for the work-based assess- ment aspects of the CBME system is to maximize the quality of human observation and judgment.

연구 의제

Research agenda

다른 긴급한 필요 영역은 교수진을 더 나은 평가자로 양성하는 방법을 결정하는 것입니다. 환자, 동료 및 기타 건강 관리 제공자와 같은 다른 사람의 평가도 중요하지만 시뮬레이션이 많이 제공된다는 사실에도 불구하고 교수진은 프로세스에서 제거 할 수 없으며 제거해서도 안됩니다.

The other urgent area of need is to determine how to train faculty to be better evaluators. Although assessments by others such as patients, peers, and other health care providers are also critical, and despite the fact that simulation has much to offer, faculty cannot and should not be removed from the process.

마지막으로 평가 프레임 워크는 전문 지식을 고려해야합니다. 역량 기반의 의학 교육 모델에서 평가 방법을 연구 할 때 CBME는 역량을 궁극적 인 국가로 추구하지 않고 오히려 전문성이 최종 목표임을 인식해야합니다.

Finally, our assessment frameworks need to account for expertise. As we study approaches to assessment within the competency-based model of medical education, we must remember that CBME does not seek competence as an ultimate state, but rather recognize that expertise is the end goal.

---

Med Teach. 2010;32(8):676-82. doi: 10.3109/0142159X.2010.500704.

The role of assessment in competency-based medical education.

Holmboe ES1, Sherbino J, Long DM, Swing SR, Frank JR.

Author information

1

American Board of Internal Medicine, USA. eholmboe@abim.org

Abstract

Competency-based medical education (CBME), by definition, necessitates a robust and multifaceted assessment system. Assessment and the judgments or evaluations that arise from it are important at the level of the trainee, the program, and the public. When designing an assessment system for CBME, medical education leaders must attend to the context of the multiple settings where clinical training occurs. CBME further requires assessment processes that are more continuous and frequent, criterion-based, developmental, work-based where possible, use assessment methods and tools that meet minimum requirements for quality, use both quantitative and qualitative measures and methods, and involve the wisdom of group process in making judgments about trainee progress. Like all changes in medical education, CBME is a work in progress. Given the importance of assessment and evaluation for CBME, the medical education community will need more collaborative research to address several major challenges in assessment, including "best practices" in the context of systems and institutional culture and how to best to train faculty to be better evaluators. Finally, we must remember that expertise, not competence, is the ultimate goal. CBME does not end with graduation from a training program, but should represent a career that includes ongoing assessment.

PMID:

 

20662580

 

DOI:

 

10.3109/0142159X.2010.500704

[Indexed for MEDLINE]