역량-바탕 세계에서 평가의 개념적 진화(Med Teach, 2017)

역량-바탕 세계에서 평가의 개념적 진화(Med Teach, 2017)

Evolving concepts of assessment in a competency-based world

Peter Harrisa, Farhan Bhanjib,c, Maureen Toppsd, Shelley Rosse , Steven Liebermanf, Jason R. Frankb,g,

Linda Snellb,c and Jonathan Sherbinoh; on behalf of the ICBME Collaborators

도입

Introduction

역량 기반 의료 교육(CBME)은 커리큘럼 설계와 훈련생 평가에 대한 접근방식으로서, CBME의 근본적인 목표는 의료 전문가의 교육을 향상시켜 일관된 고품질 환자 치료를 제공하는 것이다(Caracio et al. 2002; Frank et al. 2010). CBME는 훈련생과 practitioner의 역량을 체계적으로 향상시키기 위해 노력하고 있으며, 역량이 달성되고 유지되는지 확인하는 것뿐만 아니라, 수월성excellence을 장려합니다.

Competency-based medical education (CBME) is an approach to curriculum design and trainee assessment whose fundamental aim is to improve the training of health care professionals so that they deliver consistent, high-quality patient care (Carraccio et al. 2002; Frank et al. 2010). CBME strives to systematically enhance abilities in trainees and practitioners, not only ensuring that competence is achieved and maintained, but also encouraging excellence.

역량 기반 평가 설계는... 

• 학습자에게 제공하는 피드백의 양과 질을 개선하는 동시에, 성찰 연습 및 평생 학습을 위한 기술 개발을 지원한다. 

• 지속적인 품질 개선 프로세스의 일환으로 평가 데이터를 활용한다. 

• 가장 중요하게는, 관련 영역에서 입증된 역량을 가진 의사가 의료를 제공하도록 하기 위함이다.

Competency-based assessment is designed 

to improve the quantity and quality of feedback to learners, while supporting the practice of reflection and the development of skills for lifelong learning; 

to utilize assessment data as part of a continuous quality improvement process; 

and, perhaps most importantly, to ensure that patient care is delivered by providers with demonstrated competence in the relevant domains.

역량 프레임워크와 CBME 평가

Competency frameworks and CBME assessment

역량 프레임워크는 효과적인 전문적 의료행위에 필요한 역량의 statement로 구성된 조직된 스키마이다.

A competency framework is an organized schema composed of statements of the abilities required for effective professional practice.

CBME는 어떤 학습 활동이든 프레임워크에 의해 정의된 하나 이상의 역량과 관련되어야 하는 구조를 제공한다.

It provides a structure within which learning activities should relate to one or more that of the competencies defined by framework.

CBME는 학습에 대한 고립된, 고부담의, 일시적인, 총괄평가보다는 학습을 위한 평가를 강조한다. 이 접근법은 통합적이며, 맥락의존적이고, 전문직업적 역량의 시연가능한 선택과 연결되어있고, 직무의 상호의존성과 역량에 필요한 평가의 다양성을 강조하는 Govaerts(2008)의 설명과 잘 들어맞는다.

CBME emphasizes assessment for learning rather than isolated, high stakes, point-in-time, summative examinations of learning. This approach fits well with the Govaerts (2008) description of integrated, context-dependent, demonstrable choices linked to professional domains, and emphasizes the interdependency of tasks and the multiplicity of assessments required for competency.

또한 학습자와 임상의사가 전문가와 동료의 직접적인 관찰과 건설적 피드백을 활용하는 평가 방법을 "buy-in"하는 것이 필수적입니다.

and it is essential that learners and clinicians “buy in” to assessment methods that utilize the direct observation and constructive feedback of experts and peers.

CBME는 다양한 환자를 대상으로 여러 번 여러 번 마주치는 관찰자를 요구해야 하는 과제를 제시합니다.

CBME presents the challenge of requiring multiple observers of multiple encounters at multiple times with diverse patients

역량에 대한 총괄적 판단은 고립적으로 내려져서는 안 된다(Holmboe et al. 2010). 대신, 복수의 관찰과 평가점수가 모여져서 판단을 내릴 훈련자의 실제 그림을 전달하는 방식으로 결합되어야 한다. "결정 순간"은 "평가 순간" 에서 분리되어야 하며(Schuwrence & van der Vleuten 2011), 데이터 수집은 종합적인 결정을 뒷받침할 만큼 충분히 풍부해질 때까지 계속되어야 한다.

Summative judgments of competence should not be made in isolation (Holmboe et al. 2010); rather, multiple observations and ratings need to be combined in a manner that conveys a real picture of the trainee to be judged collectively. “Decision moments” need to be disconnected from “assessment moments” (Schuwirth & van der Vleuten 2011), and data collection should continue until it is rich enough to support a summative decision.

CBME의 평가는 단순히 역량의 부재를 확인하는 것에서 그치면 안되며, 역량 향상에 초점을 맞춰야 한다.

Assessment in CBME should focus on improving competence, not simply on identifying incompetence (Schuwirth & Ash 2013).

CBME평가의 타당성 개념

Conceptualizing validity in CBME assessment

평가의 타당성은 특히 총괄 평가에서 가장 큰 관심사이다. 20세기 중반에, 의학 교육에서의 정신측정학의 도입은 [판단의 정확성 판단을 목적으로 하는 평가 데이터의 엄격한 interrogation]을 위한 체계적인 접근법을 제공했다. 그러나, 전통적인 타당성 representation은 결정의 정확성을 제한적이고 피상적으로만 이해할 수 있게 만든다(즉, 내용, 준거, 구인 타당도)

The validity of an assessment, particularly a summative assessment, is of paramount concern. During the mid-20th century, the adoption of psychometrics in medical education offered a systematic approach to the rigorous interrogation of assessment data in order to determine the accuracy of a judgment. However, it is now understood that traditional representations of validity (i.e. content, criterion, and construct validity) can result in a limited and superficial understanding of the accuracy of a judgment.

특히, 전통적인 정신측정적 접근법은 양적 데이터만이 역량의 판단에 사용하게 만들며(Hodge 2013), 종종 측정하기 쉬운 지식이나 기술에 초점을 맞추고, 역량 척도는 과도하게 환원적인 것으로 대체시킨다(Govaert et al.)

Specifically, a traditional psychometric approach allows only quantitative data to inform a judgment of competence (Hodges 2013), often focusing on knowledge or skills that are easy to measure, and leading to overly reductionist surrogates of competence (Govaerts et al. 2007).

25년 전, 메시크(1989년)는 양적 점수의 통계적 정확성을 넘어서는 타당성 정의를 제안했다. 타당성은 "경험적 근거와 이론적 합리성이 추론/시험 점수/다른 평가 방식에 기초한 조치의 적절성과 적합성을 뒷받침하는 정도에 대한 통합된 평가적 판단"이다. 이러한 개념화를 바탕으로, 케인(1992)은 타당성을 최종 판단의 "진실성"에 대한 [추론의 거미줄]로 해석했다. 이 개념에 따르면 타당성은 "숫자"가 아니라 의사의 "진짜" 역량에 대한 최종 판단을 뒷받침하는 '주장'이다.

More than 25 years ago, Messick (1989, p. 5) proposed a definition of validity that moved past the statistical accuracy of quantitative scores: “Validity is an integrated evaluative judgement of the degree to which empirical evidence and theoretical rationales support the adequacy and appropriateness of inferences and actions based on test scores or other modes of assessment.” Building on this conceptualization, Kane (1992) construed validity as a web of inferences about the “truth” of a summative judgment. By this conception, validity is not a “number” but, rather, an argument that supports the final judgment about “true” physician competence.

기본적으로, 네 가지 핵심 추론은 

• 관찰에서 점수로 이동, 

• 단일 점수에서 글로벌 점수로 이동, 

• 총괄 판단으로 외삽, 

• 이러한 데이터를 평가 프로그램의 구조에 도움되는 정보로 연결하는 것이다.

Essentially, four key inferences are made in building a validity argument: moving from observation to score; moving from a single to a global score; extrapolating to a summative judgment; and linking these data to the constructs that inform the assessment program (Schuwirth & van der Vleuten 2012; Cook et al. 2015).

CBME의 평가는 [교육자 그룹에 의해 평가 프로그램이 신중히 설계되어야 하며], [교수진은 학습과 퍼포먼스의 문서화를 모두 서포트하는 방식으로 평가 도구를 사용]해야 한다.

Assessment in CBME requires the deliberate design of a program of assessment by a group of educators and the use of assessment tools by teaching faculty in a manner that both supports learning and documents performance.

질적 평가

Qualitative assessment

많은 출처로부터 잠재적으로 풍부한 정성적 평가 정보를 이용할 수 있다.

Many sources of potentially rich qualitative assessment information are available

질적 접근법은 특히 "전문직업성과 같은 도메인-독립적인 역량"을 평가하는데 유용하며, 학습자의 개발을 안내하는 실행 가능한 피드백을 제공하는 데 유용하다.

Qualitative approaches are especially useful in assessing what van der Vleuten et al. (2010, p. 709) refer to as “domain-independent competencies” such as professionalism and in providing actionable feedback to guide learners in their development.

지금까지 정성적 평가의 구현은 교수 및 학생의 시간과 노력(예를 들어, 포트폴리오의 컴파일 및 평가)부담 뿐만 아니라, 신뢰도와 타당도에 대한 전통적인 심리측정적 구인에 의해서도 저해되어 왔다. 이러한 전통적인 개념에서는 질적 데이터는 표준화된 시험을 통해 얻은 점수에 비해 나쁜 것으로 여겨져왔다.

To date, the implementation of qualitative assessment has been hampered not only by the time and effort it demands of faculty and often learners – for example, in the compilation and assessment of portfolios (Donato & George 2012) – but also by an emphasis on the traditional psychometric constructs of reliability and validity, under which qualitative data may fare poorly in comparison with scores obtained through standardized testing.

소위 "심리측정학 담화" (Hodge 2006)는 의학 교육에서 질적 평가 방법의 사용과 refinement를 억제해왔지만, 질적 방법의 사용이 점차 늘어나면서, 신뢰성과 타당성에 대한 전통적 강조는 새로운 구인인 trustworthiness와 authenticity에 의해서 되욱 강화되었다.

The so-called “psychometric discourse” (Hodges 2006) has inhibited the use and refinement of methods of qualitative assessment in medical education, but as the use of these methods has increased the traditional emphases on reliability and validity has been augmented by new constructs such as trustworthiness and authenticity (Govaerts et al. 2007).

광범위한 영역에서 다양한 유형과 평가 포인트의 필요성이 광범위하게 받아들여진다(van der Vleuten & Schuwer 2005). 이러한 다수의 평가 지점들(이 중 다수는 본질적으로 질적 자료이다)을 통합하는 것은 그 자체가 질적 평가이다.

The need for multiple types and points of assessment across a broad range of domains is broadly accepted (van der Vleuten & Schuwirth 2005). Integrating these multiple points of assessment – many of which are qualitative in nature – is itself an exercise in qualitative assessment.

마일스톤과 평가

Milestones and assessment

CBME는 퍼포먼스의 발전상황과 최종수준을 모두 반영할 수 있는 마일스톤의 개발을 촉진한다. 마일스톤는 "발달 연속체를 따라 정의된, 관찰가능한 개인의 역량에 대한 마커"이다(이 호에서 Englander et al. 2017). 이들은 준거 기반이며, 마일스톤을 모두 모으면, 특정 역량 또는 성과를 통한 학습자의 개발 여정을 표로 만들 수 있다.

CBME promotes the development of milestones that can reflect both progression and exit levels of performance. A milestone is a “defined, observable marker of an individual’s ability along a developmental continuum” (Englander et al. 2017, in this issue). They are criterion-based and, when taken together, chart the developmental journey of a learner through a particular competency or performance.

progressive step을 포함하는 이정표는 DP과 피드백에 대한 강조와 잘 들어맞는다. 이들은 [예상된 순차적 행동]에 대해 명확히 표현된 근거를 제공하고, 학습자와 평가자를 위한 공유된 정신 모델을 encourage한다.

Milestones that incorporate progressive steps align well with an emphasis on deliberate practice and feedback. They provide a clearly articulated basis for expected, sequential behaviors and encourage a shared mental model for learners and assessors that can guide learning.

평가에 대한 프로그래밍 방식 접근 방식은 진행 상황을 매핑하는 마일스톤에 의존합니다. 그들은 프로그램과 훈련생 모두에게 정보를 제공하고, 한 시점에 개인의 지위를 집합적으로 기술한다.

Programmatic approaches to assessment rely on milestones to map progress. They are informative for both programs and trainees, and collectively describe an individual’s status at a point in time.

반복적으로 수집된 개인화된 자료를 통해 

• 훈련자의 교육 궤적을 추적할 수 있으며, 

• 표준 이하의 성과를 조기에 탐지할 수 있고, 

• 분야에서의 성취도를 조기에 입증한 경우에는 가속 옵션option of acceleration을 사용할 수 있다.

repeated personalized data allow a trainee’s educational trajectory to be tracked and enable the early detection of substandard performance or the option of acceleration where achievement in an area is demonstrated early.

프로그램 수준에서의 결정 외에도, 훈련생들은 자기평가 기술을 개발할 수 있는 도구를 제공하는 평가 시스템을 요구한다. 지금의 훈련 및 평가 시스템은 훈련생들에게 자신을 정확하게 평가하고(Davis et al. 2006) 행동 중 성찰이나 행동 후 성찰을 수행하는 방법을 가르치는 것에 어려움을 겪고 있다.

In addition to program decisions , trainees require assessment systems to provide them with the tools to develop skill in self-assessment. Current systems of training and assessment have struggled with the challenge of teaching trainees how to assess themselves accurately (Davis et al. 2006) and to carry out reflection-on-practice or reflection-in-practice (Eva & Regehr 2005).

CBME는 guided 자기평가를 용이하게 하기 위해 교사와 학습자 사이의 정기적인 의사소통을 요구한다. 최종 목표는 독립적인 연습 동안 평생 학습을 지원할 강화된 자기성찰 기술을 개발하는 것이다.

CBME requires regular communication between teacher and learner to facilitate guided self-assessment; the ultimate goal is to develop enhanced self-reflection skills that will support lifelong learning during independent practice.

피드백과 학생 성과

Feedback and student outcomes

기존의 접근 방식과 달리, CBME는 성과 달성 마일스톤에 대한 이해와 투명성을 높였으며, 따라서 교육자와 교육 기관 모두에 대한 책임감을 높여준다. CBME에 사용되는 실무 중심의 역량 프레임워크는 피드백과 평가를 빈번하게 사용한다면 trainee의 향상된 관심을 촉진할 수 있다.

In comparison with the traditional approach, CBME provides greater understanding and transparency of achievement milestones, and thus improved accountability for both trainees and training organizations. The more practice-focused competency frameworks used in CBME can also foster improved attention to trainees, given the more frequent use of feedback and assessments.

평가는 관찰된 행동과 원하는 행동 사이의 차이를 줄이겠다는 목표를 가지고, 바람직한 관행을 식별하고 장려해야 한다.

Assessments should identify and encourage desired practice, with the goal of reducing the differences between observed and desired practice.

훈련생과 공유하는 형성적 피드백은 비효과적이거나 안전하지 않은 행동을 교정하는 데 도움을 줄 수 있으며, 효과적인 행동을 강화한다(Bazrafkan et al. 2013).

Formative feedback shared with trainees can help them correct behavior that is ineffective or unsafe, and reinforces behaviors that are effective (Bazrafkan et al. 2013).

형성적 피드백을 공유하기 위해서는 학습자가 자신의 강점과 약점을 인식할 수 있는 안전한 환경을 조성해야 한다(Bazrafkan et al. 2013).

The sharing of formative feedback creates a safe environment where learners can gain awareness of their strengths and weaknesses (Bazrafkan et al. 2013).

임상의들의 참여가 극대화되고 지속되기 위해서는, 평가는 실제 임상의들의 활동과 resonate하도록 임상의 작업흐름과 연계되어야 한다. CBME에서 WBA에 대한 강조가 증가하면 학습자와 평가자 사이의 열린 대화와 풍부한 대화를 통해 개발을 촉진할 수 있는 기회가 생깁니다. 교수진은 이러한 피드백을 전달하고 긍정적이고 안전한 환경을 조성하는 데 능숙해야 하며, 학습자는 중요한 피드백을 기꺼이 받아들여야 합니다.

Assessment needs to link to (and be embedded in) clinical workflow, resonating with practising clinicians so that their participation is maximized and sustained. The increased emphasis on workplace assessment in CBME should create the opportunity for an open and rich dialogue between learners and their assessors to promote development. Faculty must be skilled in conveying this feedback and in creating a positive and safe environment, and learners will need to be willing to accept critical feedback.

일단 무능의 영역이 확인된다면, 협력적 접근법은 반복된 평가의 수행을 촉진한다. CBME는 "경계성" 레지던트가 통과/실패 판단의 결과의 영향을 받기보다는, 각각의 중요한 이정표를 진정으로 달성하도록 만든다. remediation과 enrichment은 CBME라는 동면의 양면이다.

A collaborative approach fosters repeated assessment once an area of dyscompetence (Frank et al. 2010) has been identified and remediated. This allows “borderline” residents not to be pushed through as an effect of dichotomous pass/fail judgments, but to truly achieve each significant milestone. Remediation and enrichment are the two sides of the CBME coin (Schuwirth & van der Vleuten 2011).

현재 많은 평가 시스템이 경계성 또는 failing 교육자에게 상당한 노력과 에너지를 집중하고 있으며, 한 가지 이유는 "Fail 주는 것에 fail"한 것을 극복할 적절한 준비가 되지 않은 문화 때문이다. CBME는 교육자들이 좀 더 천천히 진보하는 사람들을 돕도록(배제하도록)할 것을 요구하며, 동시에 이미 표준을 충족하는 학습자에게는 accelerating과 challenging하도록 만든다.

Many assessment systems currently focus substantial effort and energy on the borderline or failing trainee with a culture that is not adequately prepared to overcome the “failure to fail” (Dudek et al. 2005). CBME challenges educators to assist (or exclude) those progressing more slowly, while shifting more attention to accelerating and challenging learners who are satisfying the standards.

학습자는 [특정 분야의 학습에 대해 "역량"을 달성하여 완료되었다고 생각할 위험]이 있으며, 의사로 역할을 하는 내내 지속적으로 학습을 해야할 필요를 인식하지 못할 수도 있다. CBME의 평가는 성취 또는 달성 실패뿐만 아니라 수월성excellence에 관한 언어를 개발할 필요가 있다.

In view of the risk that learners may infer that their learning in a particular area is complete on achieving “competence” and fail to appreciate the need for continual learning throughout their career, assessment in CBME needs to develop a language around excellence and not just around the achievement, or failure to achieve, competence.

Authentic 환경에서의 평가

Assessment in the authentic environment

Holmboe et al. (2010)은 학습과 평가가 발생하는 임상 마이크로 시스템을 묘사한다. 개개 역량 및 역량 집합을 달성하기 위하여 수행하는 deliberate practice와 관련된 WBA는 잦은 형성 평가와 다수 관찰자에 의한 지원을 필요로 한다.

Holmboe et al. (2010) describe the clinical microsystems in which learning and assessment occur. Work-based assessment related to the deliberate practice of both individual and sets of competencies requires support by frequent formative assessment and multiple observations.

최근의 연구는 평가 도구에서 명확한 임상적 앵커clinical anchors가 사용되었을 때 평가자 간 일치가 향상됨을 보여주었다. 평가자 훈련의 어려움 중 하나를 줄이는 방법은, 평가 도구에서 (임상 평가자의 언어를 더 많이 사용함으로써) recognizable clinical rating을 사용하는 것이다.

Recent work noted enhanced agreement when clear clinical anchors were used in an assessment tool. One of the difficulties of assessor training may be reduced by the greater use of recognizable clinical ratings (that is, use the language of clinical assessors) in assessment tools.

평가자의 경우, 이러한 다수의 관찰은 적절히 구성된 역량 위원회의 구성원 간에 공유되어야 한다. 이 위원회는 "안전한 장소"에서 합법적으로 기능함으로써 개인 훈련자의 니즈에 대해 자유롭게 토론할 수 있다.

For the assessors, these multiple observations ought to be shared among the members of a properly constituted competency committee that can function in a “safe place” legally (along the lines of peer-review or morbidity meetings) to allow free discussion about the needs of individual trainees.

"군중의 지혜" 또는 [역량 판단을 위한 집단 과정]이 중요하다는 증거가 대두되고 있다. 어떤 하나의 방법이나 다수 방법의 조합도 의사에게 필요한 모든 능력을 평가할 수 없기 때문에, 그룹 판단은 역량에 대해 가능한 최선의 결정을 내릴 수 있게 해준다. 또한 그룹 프로세스는 단일 평가자 도구를 누적한 것보다 프로페셔널리즘과 관련된 문제를 더 잘 식별할 수 있다(Hemmer et al. 2000).

There is emerging evidence that the “wisdom of crowds” or a group process in making judgments of competence is important. Since no single method or combination of methods can assess all of the competencies required of a physician, group judgment can produce the best possible decisions about competence. Additionally, the group process may be better able to identify issues concerning professionalism than cumulative single-assessor tools (Hemmer et al. 2000).

교수자를 서포트하는 것으로는 적절한 시간을 확보해줌으로써, 작업 기반 평가를 완료하고 후보자의 전체 진행 상황을 "판단"하는 그룹에 참여할 수 있게 해야한다.

Faculty support to ensure that adequate time is dedicated for completing work-based assessments and participating in groups that “judge” the overall progression of the candidate is critical.

1~2개월마다 로테이션이 바뀜으로서 생기는 파편적 학습 환경은 평가의 연속성을 떨어뜨린다. 각 평가자(또는 평가자 팀)이 [각 학습자를 대상으로 아무 정보도 없이 시작하는 것]이 매번 반복되지 말아야 합니다. 임상에서 우리는 관리에 필수적인 임상 세부 사항을 공유하지 않은 상태로 환자를 인계하지 않는다. 학습자를 인계할 때도 마찬가지이다. 불완전한 핸드오버는 불필요한 위험을 발생시킬 수 있습니다. 발달 궤적에 대한 ownership은 학습자에게 달려 있지만, 적절한 이정표 또는 EPA를 달성하고 있는지 여부를 결정하기 위해서는 그 정보가 교수진과 공유되어야 합니다. 성과 결과를 전향적으로 제공함으로써, 우리는 그 다음의 평가자들이 entrustment 결정을 내릴 때, 그러한 정보의 가치에 반하여 생길 수 있는 편향의 위험을 balance해야 한다.

The fragmented learning environment created by a change of rotations every one or two months results in a lack of continuity in assessment. The perpetual cycle of each assessor (or assessor team) starting from scratch with each learner should not be acceptable. In the clinical context, we do not hand over a patient without sharing clinical details essential for care, and we should expect a similar forwarding of information in the handover of learners. An incomplete handover can create unnecessary risk. Although ownership of the developmental trajectory rests with the learner, it also needs to be shared with faculty to determine whether the appropriate milestones or EPAs are being achieved. In feeding performance results forward, we must balance any risk of biasing subsequent assessors against the value of such information to their entrustment decisions.

학습과 평가 연속체

The learning and assessment continuum

매일 75건 이상의 새로운 무작위 통제 임상시험과 11건의 체계적인 리뷰가 출판되고 있으며, 의학 지식은 그 어느 때보다 빠르게 확장되고 있다(Bastian et al. 2010). 확립된established 의사들이 새로운 의학 지식을 그들의 후배들만큼 일관되게 통합하지 않는 다는 것은 놀라운 일이 아니다. (Lipner et al. 2011) 또한 (지속적 학습과 적절한 지속적인 평가에 대한) CBME 접근방식을 적용한다면, 사용빈도가 떨어지면서 자연적으로 발생하는 지식과 기술의 쇠퇴와 연령의 영향을 완화할 수 있으며, 적어도 그러한 상태를 인식할 수 있다(Baxter et al. 2014). Lockyer 등은 평가가 임상의사의 CPD에서도 일상화되기 위해서는 레지던트 교육 이후까지 확장되어야 한다고 주장하였다.

Medical knowledge is expanding faster than ever with the publication of over 75 new randomized controlled trials and 11 systematic reviews every day (Bastian et al. 2010). It should not surprise us if established physicians are not integrating new medical knowledge as consistently as their junior colleagues (Lipner et al. 2011). Additionally, the decay in knowledge and skills that occurs naturally with infrequent use and the effects of age can be mitigated or at least recognized with a CBME approach to continuing learning and appropriate ongoing assessment (Baxter et al. 2014). As Lockyer et al. (2017b) discuss in this issue, assessment needs to extend beyond the completion of residency training to become routine within clinicians’ continuing professional development (CPD).

CBME는 학습 개발에 대한 정보의 논리적 구조를 제공하여 다음 교육 단계로 나아가게 할 수 있으며, CPD로 나아가게 해준다. 성과에 대한 유익한 평가는 CPD 프로파일을 구성하거나, 세부전공 또는 practice focus에도 영향을 미칠 수 있습니다.

CBME can provide a logical structure for information on learning development to flow forward to the next training stage and into CPD. An informative appraisal of achievements can help structure the CPD profile or possibly influence areas of subspecialization or practice focus.

결론

Conclusions

CBME로 전환하는 근거 중 하나는, 교육자와 교육 기관 모두가 성과 수준에 대해서 더 명확하게 이해할 수 있으며, 책무성을 더 높여준다는 것이다. 이러한 명확하고 보다 실무 중심적인 역량 프레임워크의 한 가지 함축적 의미는 모든 훈련생들에게 더 많은 관심을 기울이는 것이다.

The rationale for moving to CBME includes a clearer understanding of levels of achievement and improved accountability of both trainees and training organizations. One implication of these clearer and more practice-focused competency frameworks is greater attention to all trainees.

CBME에서의 평가는 역량 프레임워크에 기초해야 하며, 바람직한 성과와 관찰된 성과 간의 차이에 기초한 교육 계획을 개발해야 한다.

Assessment within CBME should be based on competency frameworks and develop an educational plan based on the differences between desired and observed performance.

CBME에서 평가의 초점은 명확하고, 정기적이며, 예상되는 피드백을 바탕으로 한 개인의 발달에 있다. CBME에서의 평가는 단순히 역량을 갖추는 것이 아니라, 학습자와 프로그램이 탁월함을 추구하도록 inspire하는 것입니다.

The focus for assessment in CBME is on individual development based on clear, regular, and expected feedback. Assessment in CBME is not simply about meeting bare competence, but is also intended to inspire learners and programs to strive for excellence.

CBME 맥락에서 타당성이란 단일 도구의 통계 분석에서 벗어나, 평가 프로그램에서 도출된 추론 및 행동에 대한 평가로 전환해야 한다. Miller의 고전적 서술의 "does" 수준을 목표로 하는 진정한 직장 기반 평가는 이러한 타당성의 개념에 매우 중요합니다. Progression이나 능력에 대한 판단은 "군중의 지혜"을 포함해야 한다.

Validity in the context of CBME requires a shift away from the statistical analysis of single tools toward the evaluation of inferences and actions that derive from program of assessment. Authentic workplace-based assessment targeted at the “does” level of Miller’s classic description is critical to this notion of validity. Judgments of progression or competence need to involve the “wisdom of crowds”

Cook DA, Brydges R, Ginsburg S, Hatala R. 2015. A contemporary approach to validity arguments: a practical guide to Kane's framework. Med Educ. 49:560–575.

Lockyer J, Bursey F, Richardson D, Frank JR, Snell L, Campbell C; ICBME Collaborators. 2017a. Competency-based medical education and for continuing professional development: a conceptualization change. Med Teach. 39:617–622. ==

Englander R, Frank JR, Carraccio C, Sherbino J, Ross S, Snell L; ICBME Collaborators. 2017. Toward a shared language for competency-based medical education. Med Teach. 39:582–587. ==

Schuwirth LWT, van der Vleuten C. 2012. Programmatic assessment and Kane’s validity perspective. Med Educ. 46:38–48.

---

Med Teach. 2017 Jun;39(6):603-608. doi: 10.1080/0142159X.2017.1315071.

Evolving concepts of assessment in a competency-based world.

Harris P1, Bhanji F2,3, Topps M4, Ross S5, Lieberman S6, Frank JR2,7, Snell L2,3, Sherbino J8; ICBME Collaborators.

Author information

1

a Office of Medical Education , University of New South Wales , Sydney , Australia.

2

b Royal College of Physicians and Surgeons of Canada , Ottawa , Canada.

3

c Centre for Medical and Department of General Internal Medicine , McGill University , Montreal , Quebec, Canada.

4

d Cumming School of Medicine , University of Calgary , Calgary , Canada.

5

e Department of Family Medicine , University of Alberta , Edmonton , Canada.

6

f Office of the Dean of medicine, University of Texas Medical Branch , Galveston , TX , USA.

7

g Department of Emergency Medicine , University of Ottawa , Ottawa , Canada.

8

h Division of Emergency Medicine, Department of Medicine , McMaster University , Hamilton , Canada.

Abstract

Competency-based medical education (CBME) is an approach to the design of educational systems or curricula that focuses on graduate abilities or competencies. It has been adopted in many jurisdictions, and in recent years an explosion of publications has examined its implementation and provided a critique of the approach. Assessment in a CBME context is often based on observations or judgments about an individual's level of expertise; it emphasizes frequent, direct observation of performance along with constructive and timely feedback to ensure that learners, including clinicians, have the expertise they need to perform entrusted tasks. This paper explores recent developments since the publication in 2010 of Holmboe and colleagues' description of CBME assessment. Seven themes regarding assessment that arose at the second invitational summit on CBME, held in 2013, are described: competency frameworks, the reconceptualization of validity, qualitative methods, milestones, feedback, assessment processes, and assessment across the medical education continuum. Medical educators interested in CBME, or assessment more generally, should consider the implications for their practice of the review of these emerging concepts.

PMID:

 

28598736

 

DOI:

 

10.1080/0142159X.2017.1315071