역량바탕교육: 이정표인가 맷돌인가?(J Grad Med Educ, 2014)

역량바탕교육: 이정표인가 맷돌인가?(J Grad Med Educ, 2014)

Competency-Based Education: Milestones or Millstones1?

Geoff Norman, PhD John Norcini, PhD Georges Bordage, MD, PhD

CanMEDS 역량은 네덜란드, 덴마크, 멕시코 등 16개국에 의해 채택 및 조정되었다.5 게다가 카네기 재단의 영향력 있는 플렉스너 100주년 기념사업은 CBE 채택을 강력히 추천했고 다음과 같은 주장을 했다. "OBE의 채택은 의학 졸업생들이 복잡한 상황에서 효과적으로 대응할 수 있도록 더 잘 준비할 것이며 필요한 역량의 깊이와 폭을 계속해서 효율적으로 확장할 것이다."

CanMEDS competencies have been adopted and adapted by 16 countries, including the Netherlands, Denmark, and Mexico.5 Moreover, the Carnegie Foundation’s influential Flexner centenary strongly recommended adopting CBE and made the claim that ‘‘Adoption of OBE [outcome-based or competency-based education] would better equip medical graduates to respond effectively in complex situations and efficiently continue to expand the depth and breadth of the requisite competencies.’’6,7

Harden8(p666)은 OBE/CBE에 대한 여러 가지 이점을 설명합니다.

Harden8(p666) ascribes a number of advantages to OBE/ CBE:

OBE는 다양한 이점을 제공하는 커리큘럼 계획을 위한 정교한 전략입니다. 이해관계자를 engage시키는 직관적인 접근입니다. 그것은 학생 중심의 접근을 장려하며 동시에 더 나은 책임감과 퀄리티 보증을 위한 경향을 서포트한다. 그것은 무시될지도 모르는 교육과정의 분야를 강조한다. 예를 들면 윤리나 태도...

OBE is a sophisticated strategy for curriculum planning that offers a number of advantages. It is an intuitive approach that engages the range of stakeholders . . . it encourages a student-centred approach and at the same time supports the trend for greater accountability and quality assurance . . . [it] highlights areas in the curriculum which may be neglected . . . such as ethics and attitudes . . ..

유감스럽게도, 이 선언들은 증거보다는 믿음의 문제로 보인다.

Regrettably, these declarations appear to be more a matter of faith than of evidence.

CBE의 주된 목적은 투명성입니다. 투명성 덕분에 전문직과 대중은 훈련 프로그램이 실습을 위한 지식과 기술을 갖춘 유능한 의사들을 배출한다는 것을 확신할 수 있습니다. 이 전제를 반박하기는 어렵다; 문제는 CBME의 제안된 메커니즘이 약속을 이행할 수 있느냐이다.

The primary intent of CBE is, we believe, transparency, so that the profession and the public can be confident that a training program is producing competent physicians who are equipped with the knowledge and skills for practice. It is hard to challenge that premise; the issue is whether the proposed mechanisms can deliver on the promise.

3가지 수준의 잠재적인 문제: 개념적, 심리학적, 그리고 로지스틱적.

potential problems at 3 levels: conceptual, psychometric, and logistic.

개념적 문제

Conceptual Problems

CBE의 한 가지 이점은 역량이 (적어도 표면상으로는) 단순함의 미덕을 가지고 있다는 것이다. 그들은 일반적으로 수가 (적어도 최상위 수준에서는) 적다. CanMEDS는 8가지 역할을 나열하고, ACGME는 6가지 능력을 가지고 있으며, Scottish 닥터는 7가지 능력을 가지고 있다. 놀랍게도, 많은 specifications들 사이에 중복되는 부분이 거의 없는 것 같다.9

One purported advantage of CBE is that the competencies appear, on the surface, to have the virtue of simplicity. They are generally few in number, at least at the top level. CanMEDS lists 8 roles, ACGME has 6 competencies, and the Scottish Doctor lists 7. Remarkably, there appears to be little overlap among many of the specifications.9

비록 역할의 경제economy of roles가 CBE를 그것의 역사적 선조라 할 수 있는 행동 목표와 CBE를 차별화하는 하나의 특징으로 홍보되지만, 이 간결함은 각 역할 또는 역량에 대한 하위 역량에서 빠르게 상실된다. 예를 들어, 스코틀랜드의 닥터는 12개 역량의 86개의 하위역량을 열거한다.

although an economy of roles is touted as 1 feature that sets CBE apart from its historical predecessor, behavioral objectives, this parsimony is rapidly lost in the further, more detailed specification of each role or competency. For example, the Scottish Doctor lists 86 subcompetencies under 12 competencies.

(역량의 확산에도 불구하고) 역량이 행동 목표와 다소 다르다는 주장은 유지되기가 어렵다. 실제로, Morcke와 동료들은 1970년대의 행동 목표 운동과 결과나 역량에 대한 현재의 관심 사이의 직접적인 경계를 설명했다. 행동 목표와 역량 사이의 유사성에 비추어 볼 때, 행동 목표의 궁극적인 종말을 초래한 요인들을 고려해야 한다: 

• 분명한 교육 이점의 증거 부족 

• 목표를 지정하고 교육 및 평가 접근방식을 구현하는 데 필요한 많은 노력 

• 저수준 목표의 득세

The argument that competencies are somehow different from behavioral objectives is difficult to maintain in the face of this proliferation of competencies. Indeed, Morcke and colleagues7 described a direct lineage between the behavioral objectives movement of the 1970s and current interest in outcomes or competencies. In view of the similarity between behavioral objectives and competencies, one should consider the factors that led to the ultimate demise of behavioral objectives: lack of evidence of clear educational benefits, the effort required to specify objectives and then implement educational and assessment approaches, and the dominance of low-level objectives.

게다가 행동주의에 대한 상세한 비판 중 일부는 CBE에 대한 도전에서 이미 다시 논의되고 있다. 특히, Harden이 논의한 바와 같이, CBE의 장점은 (시험에 합격함으로써 증명되는 지식의 단순한 숙달보다) 임상 능력의 특성에 대한 보다 전체적인holistic 관점을 장려한다는 것이다. 그러나 역설적으로 역량의 상세 규격specification 요건은 그러한 전체적인 관점을 완화시킬 수 있다. 왜냐하면 Morcke 등이 지적한 바와 같이 인본주의, 이타주의, 전문성, scholarship과 같은 자질은 객관적이고 측정 가능한 용어로 정의하기 어려우며 따라서 평가에서 짧게 넘어갈 수 있기 때문이다.

Moreover, some of the detailed critiques of behaviorism have been revisited in challenges to CBE. In particular, as discussed by Harden,8 a purported advantage of CBE is that it encourages a more holistic view of the nature of clinical competence than simple mastery of a body of knowledge evidenced by passing an examination. However, paradoxically, the requirement for detailed specification of competencies may mitigate against such a holistic view, as pointed out by Morcke et al,7 since qualities, such as humanism, altruism, professionalism, and scholarship, are difficult to define in objective, measurable terms, and thus may receive short shrift in assessment.

심리측정적 측면

Psychometric Considerations

비록 역량의 긴 목록은 CBE가 행동 목적과 구별될 수 있다는 개념에 부합하지만, 두 가지 접근법은 측정 수준에서 다르다. 행동주의 연구 의제와 일관되게 행동 목표 달성은 2진법으로 여겨졌다.

Although the long lists of competencies belie the notion that CBE is distinguishable from behavioral objectives, the 2 approaches do diverge at the level of measurement. Consistent with the behaviorist research agenda, achievement of behavioral objectives was viewed as binary.

아마도 적절하게 CBE 운동은 역량 성취에 대해 보다 현실적인 관점을 취해왔다. 아무리 역량이 원자적이라 하더라도(다음 절에서 우리가 복귀하는 지점) 달성도를 단계적 함수로 기술하는 것은 비현실적이라는 인식이 있다. 어린이들은 어느 날까지 기어가다가 갑자기 다음 날 걷지 않습니다: 걷는 것은 몇 주 또는 몇 달 동안 일어나는 점진적인 숙달 과정입니다.

Perhaps appropriately, the CBE movement has taken a more realistic perspective on the achievement of competencies. There is recognition that, however atomistic a competency is specified (a point we return to in the next section), describing its achievement as a step function is unrealistic. A child does not crawl one day and walk the next: Walking is a gradual process of mastery that occurs over weeks or months.

능력의 점진적인 취득에 대한 개념은 비선형 성장 곡선으로 표현되어 왔다. 여기서 능력의 성장은 처음에는 빠르지만, 그 다음에는 감속된다.15

This notion of the gradual acquisition of competence has been represented as a nonlinear growth curve, where growth of competence is initially rapid, but then decelerates (FIGURE 1).15

간단한 운동 능력simple motor skill이 그러한 곡선들과 유사한 동력 법칙을 따른다는 가설을 뒷받침하는 몇 가지 증거가 있다. 그러나 이러한 곡선은 단순한 반복 작업(한 스터디에서 시가 롤링)과 단일 세션에서만 파생됩니다.

There is some evidence to support the hypothesis that simple motor skills do follow a power law that resembles those curves. However, such curves are derived from a simple repetitive task (in one study, cigar-rolling) and a single session.

그러나 전체 세션에서 단조로움monotonic 성장이 있습니다(FIGURE 2).16 특정한 능력 수준(Y축의 한 점)이 달성되고 "달성되지 않음"이 있을 수 있으며, 역량이 달성되는 경우 여러 점이 있을 수 있다는 것을 암시합니다.

but there is monotonic growth across sessions (FIGURE 2).16 The implication is that a particular level of competence—a point on the y-axis—can be achieved and ‘‘unachieved,’’ and there may be multiple points where competence is achieved.

또한, 이러한 곡선이 레지던트 환경에서 특정 역량의 성장에 대한 더 유효한 표현일 수 있지만, "..."... 상상할 수 있는 거의 모든 형태의 학습 곡선이 발견될 수 있고 발견되었다는 점을 강조해야 한다."

Further, although these curves may be a more valid representation of the growth in specific competencies in the residency setting, it should be emphasized that ‘‘ . . . learning curves of almost every conceivable shape can and have been found.’’16

매 4개월마다 맥마스터 학부생에게 시행되는 180개 항목, 객관식 테스트(그림 3). 이러한 테스트의 연속적인 관리로부터의 성장 곡선은 이정표에 대해 가정된 것과 유사하다(FIGURE 1).

 the 180-item, multiple-choice test administered to McMaster undergraduates every 4 months (FIGURE 3). The growth curve from the successive administration of those tests is similar to those postulated for Milestones (FIGURE 1).

이러한 사례로부터 보자면, ACGME 역량 획득의 상세한 사양은 (특정 시점에 독립적인 관찰과 일치하는 수준의 달성으로 식별할 수 있는 정도까지 하려면) 비현실적인 샘플이 요구된다는 것은 명백하다.

It is apparent from these examples that detailed specification of the acquisition of any ACGME competency, to the point that it can be identified with the attainment of a level consistent with independent practice, at a particular point in time, will require an unrealistic sample of observations.

마찬가지로 CanMEDS 역할에 기반한 글로벌 등급 평가는 요인 분석에서 5개의 요인을 산출했지만 전체 내부 일관성 0.97을 가지며 척도 간의 차이가 없음을 보여 주었다.

Similarly, an evaluation of a global rating based on the CanMEDS roles,17 although it yielded 5 factors in a factor analysis, had an overall internal consistency of 0.97, again showing a lack of discrimination between scales.

이것은, 역량이 너무 광범위해서 차별화discrimination하지 못하는 것은 단순히 평가자가 용어의 의미를 적절하게 정의하고 내재화하지 못하는 능력의 반영일 수 있다. 그것은 마치 "유럽 지리를 얼마나 잘 아는가?"와 "다음 서유럽 국가들의 수도는 어디인가?"와 같은 질문의 차이와 유사하다. 따라서 전반적인 평가 개선은 보다 상세한 수준의 관찰에서야 발생할 수 있다.

It may be that these competencies are so broad that the lack of discrimination simply reflects the inability of assessors to adequately define and internalize the meaning of the terms. It may be likened to the difference between a question like ‘‘How well do you know European geography?’’ and ‘‘What are the capitals of the following western European countries?’’ It is possible then, that improved overall assessment may result from observations at a more detailed level.

한 편으로는, 상대적으로 객관적인 문서화가 가능하도록 역량의 상세히 규격하는 것은 레지던트 당 압도적 수의 평가를 초래한다. 그러나 반대로, 여러 역량을 함께 묶는 것은 정확하고 도움이 되는 피드백을 주지 못하게 만들고, 역량을 달성하는 것이 무엇을 의미하는지에 의문을 갖게 한다. 더욱이, 평가자들은 심지어 global 수준에서도 개인의 능력을 구별할 수 없는 것으로 보이며, 최소한의 신뢰도 달성하려면 많은 관찰이 필요하다.

On the one hand, detailed specification of competencies so that relatively objective documentation can be obtained results in an overwhelming number of assessments per resident. On the other hand, lumping competencies together precludes accurate and helpful feedback and leads to questioning precisely what it means to achieve competence. Moreover, it appears that judges cannot discriminate individual competencies even at this global level of specification, and many observations are needed to achieve even minimal levels of reliability.

광범위한 수준에서 합리적인 총괄 평가는 가능하지만, 그러한 형성평가를 위해서는 반드시 보다 상세한 수준의 관찰에 기초해야 한다.

reasonable summative assessment is possible at a broad level, but that formative assessment must necessarily be based on observations at a more detailed level.

로지스틱 문제

Logistic Problems

역량 기반 교육은 모든 숙달학습이 갖는 로지스틱 문제와 그 이상의 물류 문제를 추가로 안고 있다. 일부 학습자가 다른 학습자보다 더 빨리 능력을 획득할 수 있거나, 더 정확히 말하면, 어떤 학습자는 다른 학습자보다 더 빨리 어떤 능력을 획득할 수 있다고 가정하는 것은 매력적일 수 있다. 일정 수준의 개별화는 가능할지도 모른다. 한 레지던트가 특정 절차procedure에 대해 조기에 "완수"한 후 다른 절차procedure에 시간을 투자할 수 있다. 그러나 모든 시점에서 특정 역량을 평가할 수 있는 교수진을 확보하는 것은 현실적이지 않다. 게다가, 다양한 훈련 시간을 갖는 것은 실용적이지 않다.

Competency-based education has all the logistical problems of mastery learning and many more. However attractive it may be to presume that some learners may attain competency more quickly than others or, more precisely, that some learners may achieve some competencies more quickly than others do . Some individualization may be possible; one resident may ‘‘sign off’’ on a particular procedure early and then redirect time to a different procedure. However, it is not practical to have faculty available to assess particular competencies at any point in time. Moreover, it is simply not practical to have variable training times.

레지던트의 계약은 특정 기간(일반적으로 1년)으로 이뤄지며, 레지던트가 프로그램을 조기에 또는 나중에 종료하도록 허용하는 계약을 작성하기는 어려울 것이다. 현재 교육기관들은 개인화된 훈련 기간을 가진 레지던트를 기준으로 일정과 예산을 계획할 수 없다. 현재 해당 연도 내에 역량을 획득하지 못한 소수의 레지던트에게는 교정조치를 위한 추가 시간이 x개월로 부여된다. 비록 이것이 레지던트 프로그램 계획을 방해하더라도, 그 수가 적을 때에는 감당할 수 있다. 현재로서는 각 레지던트의 수련 기간을 개인화하는 것이 불가능하기 때문에, 먼저 역량을 성취하여 레지던트가 졸업한다면 비용이나 시간을 절약할 수 있다는 주장은 의심스럽다.

Contracts are given to residents for specific periods (usually a year), and it would be difficult to create a contract to allow residents to leave a program earlier or later. Currently, institutions cannot plan schedules and budgets based on residents having individualized lengths of training. Currently, those few residents who do not achieve competencies within that year are given x number of months additional time for remediation. That disrupts residency program schedules but is manageable because the numbers are small. At present, individualizing training periods for each resident is not feasible, thus the claims that Milestones can save money or time by possibly graduating residents earlier appear specious.

이 관점의 함축은 불안하다. 역량 기반 교육은 서로 다른 개인이 다른 시점에 서로 다른 영역에서 역량을 획득할 것을 약속한다. 그것이 교육 자원의 할당과 레지던트 수련시간의 "가상적" 효율성을 가져올 수 있지만, 그것은 GME의 현재의 현실과 양립할 수 없다.

The implication of this viewpoint is unsettling. Competency-based education promises that different individuals will achieve competency in different domains at different times. Although that may lead to hypothetical efficiencies in allocation of educational resources and resident time, it is incompatible with the current realities of GME.

CBE를 위한 장점이 있습니까?

Is There Any Advantage for CBE?

지정된 역량에 대해 4가지 이상의 역할을 수행할 수 있습니다.

• 1. 학생 또는 레지던트의 학습 유도

• 2. 침상 및 진료소에서 레지던트와 학생에게 매일 피드백 제공

• 3. 로테이션 종료 또는 프로그램 종료 시 합격/불합격 결정

• 4. 라이선스 및 인증에 합격/불합격 결정

One can envision at least 4 distinct roles for specified competencies:

• 1. Guiding learning for a student or resident

• 2. Giving daily feedback to residents and students at the bedside and in clinic

• 3. Making pass/fail decisions at the end of a rotation and the end of a program

• 4. Making pass/fail decisions for licensure and certification

학습 유도

Guiding Learning

역량의 상세한 사양은 여러 수준에서 유용성을 가질 수 있다. 첫째, 각 레지던트가 최소한 모든 역량에 노출되는 것을 보장할 수 있는 프로그램 계획에 사용할 수 있다.

A detailed specification of competency may have utility on a number of levels. First, it can be used in program planning to ensure that each resident is at least minimally exposed to every competency.

둘째, 그러한 설명은 현재처럼 진단 procedure와 같은 스킬 분야에서 의무적으로 요구되는 절차 수를 계산하기 보다는, 달성한 역량 정도를 측정하는 procedure log를 도입하여 특정 기술에 대해 쉽게 조작할 수 있다.

Second, such a description could also easily be operationalized for specific skills, such as diagnostic procedures, by introducing a procedure log that measures degrees of competence rather than counts the number of procedures, as is currently mandated in procedural specialties.

평가와 피드백

Assessment and Feedback

최소한, 특정 역량의 인증 요건은 지금껏 역사적으로 늘 부족했던 "레지던트 퍼포먼스의 관찰" 증가로 이어져야 한다. 모든 역량에 대해 충분한 수의 관찰을 "sign off"하는 것이 결코 실현 가능하지 않을 수 있지만, 관찰이 증가하는 것 자체로 이점이 있을 것이다.

At minimum, the requirement for certification of specific competencies must inevitably lead to increased observation of resident performance, an area that is historically underserved. Although it may never be feasible to conduct sufficient numbers of observations to ‘‘sign off’’ on all competencies, increased observation would bring its own benefits.

합격과 탈락 결정

Determining Pass and Fail in Programs

역량 프레임워크는 테스트 샘플링을 위해 쉽게 사용할 수 있는 청사진을 제공한다. 다시, '모든' 역량을 '충분히' 관찰할 수 없다는 것은 충분히 인식하지만, 청사진은 훈련 중인 평가 및 시험 내용의 대표성에 대한 신뢰도를 높일 수 있다. 결과적으로, 그것은 프로그램이 전공의 수련의 목표의 달성을 인증할 수 있는 자신감을 증가시킬 수 있다.

the competency framework provides a readily available blueprint for test sampling. Again, the impossibility of observing all competencies sufficiently is recognized, but the blueprint can provide increased confidence on the representativeness of the content of in-training assessments and examinations. In turn, that may increase the confidence with which programs can certify achievement of residency program objectives.

인증과 증명

Accreditation and Certification

마찬가지로 역량 프레임워크는 전문과목 학회가 검사 specification에 사용할 수 있는 자연스러운 blueprint입니다. CBE가 보드 시험을 대체할 가능성이 없다는 것은 자명하다. 그러나 competency statement는 콘텐츠의 대표성(유효성)을 보장하고, 궁극적으로 레지던트의 성과에 대한 평가를 개선하기 위한 보드시험을 설계하기 위한 자연스러운 출발점이다.

Similarly, the competency framework is a natural blueprint for specialty boards to use in examination specification. It is self-evident, that CBE is unlikely to replace board examinations. However, the competency statement is a natural starting point for design of board examinations, again directed at assurance of content representativeness (validity), and ultimately, improved assessment of resident performance.

인증 위원회가 인증 절차에 기초할 보다 체계적인 증거를 확보한다는 점도 장점이다.

A further advantage is that certifying boards will have more systematic evidence on which to base accreditation procedures.

역량 기반 교육은 가장 열성적인 지지자들이 주장하는 장점들을 결코 달성하지 못할 것이다. 교육 연구 한 세기는 교육적인 "만병통치약"이 없다는 것을 분명히 보여준다. 그럼에도 불구하고, (단순 시간 투입이 아니라) 역량 성취라는 포커스를 향한 변화는, 점진적이라도 입증 가능한 이익을 가질 가능성이 높다. 문제는 administrative elephant를 만들지 않으면서 이점을 극대화하기 위해 리소스를 전략적으로 재할당해야 한다는 것입니다.

Competency-based education may never achieve the many virtues attributed to it by its most enthusiastic proponents. A century of educational research clearly demonstrates that there are no educational ‘‘wonder drugs.’’ Nevertheless, the change of focus toward achievement of competency, rather than putting in time, is likely to have demonstrable, if incremental, benefits. The challenge is to reallocate resources strategically to maximize benefit while avoiding creating an administrative elephant.

7 Morcke AM, Dornan T, Elka B. Outcome (competency) based education: an exploration of its origins, theoretical basis and empirical evidence. Adv Health Sci Educ Theory Pract. 2013;18(4):851–863.

---

J Grad Med Educ. 2014 Mar;6(1):1-6. doi: 10.4300/JGME-D-13-00445.1.

Competency-based education: milestones or millstones?

Norman G, Norcini J, Bordage G.

PMID:

 

24701301

 

PMCID:

 

PMC3963762

 

DOI:

 

10.4300/JGME-D-13-00445.1

Free PMC Article