CBME에서 양과 질에 대한 잘못된 이분법(Adv in Health Sci Educ, 2014)

CBME에서 양과 질에 대한 잘못된 이분법(Adv in Health Sci Educ, 2014)

The false dichotomy of quality and quantity in the discourse around assessment in competency-based education

Olle ten Cate

오래되었지만 유용한 정의에 따르면, 역량 기반 의료 교육(CBME)의 의도된 결과는 "국지적 조건에 부합하여, 국지적 요구를 충족시킬 수 있도록 정의된 수준의 숙련도로 의술을 수행할 수 있는 의료 전문가"이다.

According to an old but useful definition, the intended outcome of competency-based medical education (CBME) is ‘‘a health-professional who can practice medicine at a defined level of proficiency, in accord with local conditions, to meet local needs’’ (McGaghie et al. 1978).

보다 현대적인 정의에는 "

• 졸업 성과능력의 근본적 지향적인 실천을 위한 의사 준비 방법 

• 사회적 요구와 환자 요구의 분석에서 파생된 역량에 관련하여 조직화된다. 

• 시간 기반 훈련을 강조하지 않으며 책임성, 유연성 및 학습자 중심성을 높인다"(Frank et al. 2010)가 있다.

More modern definitions include ‘

• ‘An approach to preparing physicians for practice that is fundamentally oriented to graduate outcome abilities and 

• the organization around competencies derived from an analysis of societal and patient needs. 

• It de-emphasizes time based training and promises a greater accountability, flexibility, and learner-centeredness’’ (Frank et al. 2010)

"의료전문직 교육이란 한 개 이상의 의료 역량의 고정된 숙련도를 목표로 하는 것이다" (10 Cate 2014a, b)

‘‘Education for the medical profession that is targeted at a fixed level of proficiency in one or more medical competencies’’ (ten Cate 2014a, b).

질과 양 사이의 대조는 그것이 이것 또는 저것과 같은 "둘 중 하나" 상황을 암시함으로써 오해를 만든다. 즉 시간과 절차 수를 기록하여 역량을 획득하거나, 성능을 측정함으로써 역량을 획득한다고 보는 것이다.

The contrast between quality and quantity is such a misunderstanding, as it suggests that they represent an ‘‘either–or’’ situation. Either you achieve competence by documenting time and number of procedures, or you achieve it by measuring performance.

새로운 치과 교육 프로그램의 최근 현장 검토 결과...

a recent on-site review of a new dental education program

기존의 치과대학 커리큘럼에서 학생들은 양적 기준(예: 추출물 수, 근관 치료, 왕관 및 교량)을 충족하도록 요구받았다. 반대로 새로운 커리큘럼은 수행된 절차procedure의 양보다는 역량 기반 교육의 현대적인 접근방식을 따랐다. 여기서 우리가 충격을 받은 것은 학생들이 (학교가 최소한의 양적 기준을 요구하지 않았다는 이유로) independent practice을 위한 적절한 기준을 충족시키지 못할 것을 매우 걱정했다는 것이다. 학교는 대신 학생들에게 전자 포트폴리오로서 치과 시술에 관한 역량에 대한 증거를 제공할 책임을 부여한다.

Whereas in the former dental curriculum the students were required to meet quantitative criteria (such as numbers of extractions, root canal treatments, crowns and bridges completed), the new curriculum follows a modern approach of competency-based education that stresses attained competencies rather than quantity of procedures done. It struck our review committee how worried students were that they would not meet adequate standards for independent practice, as the school had ceased to require minimum quantitative standards but instead put responsibility on students to provide proof of their competence in dental procedures in their electronic portfolio. 

위에서 인용한 CBME의 정의 어느 곳에도 학습자 평가에 있어 연습의 양이나 경험의 양이 중요하지 않다고 이야기하지 않지만, 이러한 혼란은 쉽게 이해할 수 있다. 역량 기반 교육은 기준에 따라 역량을 평가해야 하지만, 이러한 기준을 충족하는 시간은 유연해야 한다. 따라서 CBE에서 시행된 경험이나 절차의 양이 학생이 "인증"을 받는 순간에 모든 학습자에게 동등하다고 말할 수는 없다. 그러나 그렇다고 해서 "우리는 역량 기반 교육을 채택했고 따라서 직무나 절차 수 등과 같은 경험의 양은 신경쓰지 않으며, 학습자의 질만을 검토한다"는 주장은 타당하지 않다.

Nowhere in definitions of CBME cited above is to be found that quantity of exercises or experiences in the evaluation of learners is unimportant, but the confusion is easily understood. While competency-based education requires evaluation of standard levels competence, the time to meet these standards must be flexible. Hence in CBE it cannot be stated that the quantity of experiences or procedures practiced should be equal for all learners at the moment of certification. The argument however, that ‘‘we have adopted competency-based education, and therefore we look at the quality of the learners, not at quantity of experiences, such as time on tasks or numbers of procedures’’ is not valid.

'양'을 버리는 것이 위험한 또 다른 이유가 있다. 개인의 진보를 문서화하는 포트폴리오 접근법은 집단 평가 절차를 위한 합리적인 대안이며, workplace 학습에 매우 적합하며, CBE 프로그램에서 점점 더 많이 사용된다.

There is another reason why abandoning quantity may be dangerous. To document individual progress, a portfolio approach is a sensible alternative for mass assessment procedures, very apt for workplace learning, and increasingly used in CBE programs.

일반적으로 포트폴리오는 학습자가 수집, 소유 및 제어하는 문서 컨테이너가 된다.(Challis 1999). 하지만, 이것의 성공에는 학습자와 교사 모두의 상당한 노력이 필요합니다. (Driessen et al. 2005) 학생들이 주로 채우고 읽으며, 철저하게 평가할 시간과 기술이 부족하다는 이유로 교사가 거의 읽지 않는 포트폴리오는 역량의 척도로서 쓸모가 없다.(Driessen et al. 2007).

Portfolios are usually presented as containers of documentation, to a large extent collected, owned and controlled by the learner (Challis 1999). Its success however requires quite a bit of effort from both learners and teachers (Driessen et al. 2005). Portfolios that are predominantly filled and read by the students themselves, and hardly by teachers because of a lack of time and skill to thoroughly evaluate them, cannot serve well as measures of competence (Driessen et al. 2007).

어떤 경우에는 학습자에게 너무 많은 책임이 주어져서 학습자는 자기 평가뿐만 아니라 그들의 능력을 수준까지 증명해야 한다. 이러한 상황은 포트폴리오의 복잡한 평가를 수행할 시간이 부족할 뿐만 아니라 포트폴리오에 대한 엄격한 평가 도구가 부족하기 때문에 발생할 수 있습니다. 또한 이러한 상황은 학습자가 자신의 학습(및 평가)에 대해 책임을 져야 한다는 구성주의 교육 철학에 의해 종종 보호됩니다. 하지만 이것이 단지 교사들의 부담을 경감하기 위한 방패막이 구실이라면, 그것이야말로 구성주의가 선호받지 못한 이유일 것이다. 이렇게 이뤄지는 포트폴리오는 단순히 말해서 부적절한 기준의 유지에 불과하다.

In some cases too much emphasis is laid on the responsibility of learners to not only self-assess but also prove their competence to a level . This policy may not only be caused by a lack of time to do the cumbersome evaluation of portfolios , but also by a lack of rigorous assessment tools for portfolios. The policy is often defended by a constructivist educational philosophy that learners should take responsibility for their own learning (and assessment). If such defense serves as an excuse to alleviate teacher burden, rather than a deliberate educational policy, it may be one of the reasons why constructivism has attained a less favorable press (Kirschner et al. 2006). The result is simply an inadequate maintenance of standards.

지금껏 너무 자주 'quantity'만으로 역량을 결정하기에 충분한 것으로 여겨져 왔다: "이 절차를 다섯 번 했다면, 더 이상 당신을 평가할 필요가 없다."와 같은 것이다. 물론 실제 능력은 관찰되고 평가되어야 한다. 그러나 학습자가 감독 없이도 할 수 있다고 믿기 전에(Cianciolo 및 Kegg 2013), 학습자가 그것을 얼마나 자주 수행했는지를 확실히 알 필요도 있습니다.

Too often quantities have been regarded as sufficient to determine competence: ‘‘if you have done this procedure five times, then I don’t need to evaluate you any further’’; Actual competence must be observed and assessed. But before trusting a learner to work unsupervised (Cianciolo andKegg 2013), it sure helps to know how often procedures have be done

합리적 접근 방식은 학습자가 감독 없이도 일을 수행할 수 있는지에 대한 공식적 entrustment 평가를 받기 전에 사전 조건을 충족하도록 요구하는 것이다.

and a logical approach is to require learners to meet some pre-conditions before they are eligible for evaluation and for a formal entrustment decision to work unsupervised.

역량 기반 교육에서 질적 평가를 수행해야 하는 필요성과는 별개로, 노력의 경험의 quantity는 중요하다. 최소 숫자의 절차를 완료해야 하는 프로그램도 역량-기반일 수 있다. 어떤 프로그램이 만약 특정 횟수의 procedure나 특정 기간의 수련을 요구하지 않는다면, 그 프로그램은 모든 의도된 역량을 타당하게 평가해야 하는 책임이 오히려 커진다(Lurie et al. 2009). 어쩌면 그 치대생들은 정말 타당한 논지를 가지고 있었을지도 모른다.

clearly quantity of effort and experience is important and by no means in contrast with the need to evaluate qualitatively in competency-based education. A program that requires minimum numbers of procedures completed may well be competency-based. A program that does not require numbers of procedures or months of effort takes on a great responsibility to validly assess all intended competencies, which is not an easy task (Lurie et al. 2009). The dental students may really have had a valid point.

Driessen, E., van Tartwijk, J., van der Vleuten, C., &Wass, V. (2007). Portfolios in medical education: Why do they meet with mixed success? A systematic review. Medical Education, 41(12), 1224–1233.

---

Adv Health Sci Educ Theory Pract. 2015 Aug;20(3):835-8. doi: 10.1007/s10459-014-9527-3. Epub 2014 Jun 8.

The false dichotomy of quality and quantity in the discourse around assessment in competency-based education.

Ten Cate O1.

Author information

1

Center for Research and Development of Education, University Medical Center Utrecht, Universiteitsweg 98, 3584 CG, Utrecht, The Netherlands, t.j.tencate@umcutrecht.nl.

Abstract

Competency-based medical education stresses the attainment of competencies rather than the completion of fixed time in rotations. This sometimes leads to the interpretation that quantitative features of a program are of less importance, such as procedures practiced and weeks or months spent in clinical practice. An educational philosophy like "We don't require numbers of procedures completed but focus on competencies" suggests a dichotomy of either competency-based or time and procedures based education. The author argues that this dichotomy is not useful, and may even compromise education, as long as valid assessment of all relevant competencies is not possible or feasible. Requiring quantities of experiences of learners is not in contrast with competency-based education.

PMID:

 

24908558

 

DOI:

 

10.1007/s10459-014-9527-3