평가에 관한 교수개발: 역량중심교육과정의 잃어버린 고리(Acad Med, 2011)

평가에 관한 교수개발: 역량중심교육과정의 잃어버린 고리(Acad Med, 2011)

Faculty Development in Assessment: The Missing Link in Competency-Based Medical Education

Eric S. Holmboe, MD, Denham S. Ward, MD, PhD, Richard K. Reznick, MD, Peter J. Katsufrakis, MD, MBA, Karen M. Leslie, MD, Vimla L. Patel, PhD, Donna D. Ray, MD, and Elizabeth A. Nelson, MD

가장 처음 도입된 역량바탕 프레임워크는 CanMEDS로 1990년대 중반 도입되었다. 이후 ACGME는 레지던트와 펠로우에 대한 일반역량을 개발 및 도입하였다.

One of the first competency-based frameworks to be introduced was CanMEDS in the mid-1990s.14 The Accreditation Council for Graduate Medical Education followed with the development and introduction of the general competencies framework for residency and fellowship in 2001.15

CBME는 복잡한 상황과 맥락에 따른 성과에 좌우되기 때문에 피교육자가 다음 단계로 진행하기에 정말 준비가 되었는가를 평가하기 위한 강건한 평가법과 평가절차가 반드시 필요하다. 그 결과, CBME의 도입시기부터 의학교육자들은 평가도구의 성배를 찾아다녔다.

CBME, because it is driven by complex situational and context-dependent outcomes, requires robust assessment and evaluation processes to determine whether a trainee is truly prepared to enter the next stage of his or her career. As a result, since the inception of CBME, medical educators have been seeking the holy grail of evaluation tools.

그러나 다양한 평가법과 도구들도 비판적으로 학생을 관찰하고, 질문하고, 그들의 수행능력을 실제 환자가 있는 현장에서 판단하는 교수를 대체하지는 못했다. 시험이나 표준화환자로 측정된 피교육자의 능력 또는 역량이 실제 근무지 기반 수행능력으로 '전이'됨을 확인하는 것은 반드시 교수의 책임이 된다. 왜냐하면 발달의 궤적에 있어서 CBME는 더 빈번한, 더 적시의, 건설적이고 실제 상황에서의 평가에 의존해야 하며 '대리지표'로서의 총괄평가에 의존해서는 안되기 때문이다.

However, these methods and tools cannot replace the importance of faculty who are enabled to critically observe, question, and judge trainee performance in actual patient care situations.24 Ensuring that a trainee’s capability or competence, as measured by exams and standardized patients, translates, or “transfers,” into actual work-based performance with patients and families is an essential faculty responsibility.25 Because of its emphasis on developmental trajectories, CBME requires more frequent, timely, formative, and authentic assessment and less dependence on “proxy,” summative assessments.10

전문성의 개발, 그리고 고립된 자기평가의 오류에 대한 근거들은 이러한 관점을 지지한다. 예컨대 SP만을 이용하여 피교육자를 평가하는 것은 비용이 비쌀 뿐만 아니라, 더 중요하게는 정기적으로 지속적 피드백을 주지 못한다.

This perspective is supported by evidence from work in the development of expertise and the perils of isolated selfassessment. For example, exclusively using standardized patients to judge whether a trainee was acquiring competence in clinical skills would not only be expensive but, more important, would not provide the learner with regular and ongoing feedback

또한 많은 문헌이 대부분의 의사들이 자신의 강점과 약점을 외부 자료나 피드백 없이는 발견하지 못한다는 것을 보여준다.

Furthermore, a substantial body of literature clearly demonstrates that most physicians cannot determine their own strengths and weaknesses without external data and feedback.28 ***

평가자로서의 교수: 도전과 기회

Faculty as Evaluators: Challenges and Opportunities

분절된 학습환경

The fractured learning environment

현재 의과대학 교수는 주로 임상현장에서 피교육자와 근무하게 되고, 이 말은 외래, 클리닉, 병동, 수술장, ICU 등의 microsystem을 의미한다. 이런 임상현장은 근무지기반 훈련과 평가가 이루어지는 맥락이라 할 수 있다.

At present, medical faculty work with trainees primarily in clinical units, referred to by some as microsystems, such as an ambulatory clinic or officebased setting, a hospital ward, a surgical suite, an intensive care unit, or other such sites.29 These clinical units are the context for work-based training and assessment.

피교육자가 열악한 임상 microsystem에서 교육을 받는다면 임상현장에서의 역량, 질적 향상, 시스템 기반 진료를 충분히 배우고 있는지를 알기가 어렵다.

It is hard to conceive that trainees can effectively acquire competency in clinical care, quality improvement, or systems-based practice if they practice in poorly functioning clinical microsystems.

입원환자에 대해 보면, 너무 많은 교수들이 그들의 교육하고 평가하는 장소에 아주 잠시만 머무를 뿐이다. 예를 들면 내과나 소아과 교수는 입원 환자 회진을 2주~4주 정도만 돌게 된다. 이러한 로테이션 구조는 전문과 수련 문화에 너무 깊이 뿌리내리고 있지만, 이러한 microsystem에서의 로테이션이 학습자의 역량에 대한 평가에 대한 교수의 능력에 어떤 영향을 주는지 잘 알지 못한다.

In the inpatient setting, too many faculty are transients in the very clinical units where they teach and assess. For example, faculty in internal medicine and pediatrics often rotate on inpatient clinical services for just two to four weeks. This rotational structure is deeply ingrained within these specialty training cultures, yet we know little about how rotating through these microsystems affects the faculty’s ability to accurately assess competence of their learners.32

현재 의학교육 시스템에서 환자 경험과 시간의 불연속성은 지속적 평가와 피드백을 어렵게 한다. Hirsh 등은 이러한 '연속성'을 의학교육의 "조직 원리"로 강조해야 한다고 주장한다.

This lack of continuity in both patient experience and time with faculty for trainees in the current medical education system makes longitudinal assessment and feedback very difficult. Hirsh and colleagues34 argued for the importance of continuity as an “organizing principle” for medical education

분절된 학습환경과 연속성의 부족은 교수들로 하여금 자신들이 받은 느낌을 동료교수들에게 전달하는 "feed forward"를 주저하게 만든다. 그들은 이러한 feed forward가 교수들에게 편견을 심어줄까 걱정한다. 그러나 그 결과는 정보의 공유를 통한 피교육자의 발달 및 의미있는 전략 수립이 아니라 '매 번 새로 시작하는' 평가일 뿐이다.

Compounding the fractured learning environment and lack of continuity is the substantial reluctance on the part of faculty to “feed forward” information to their colleagues about trainees over fear of “biasing” the receiving faculty.36,37 However, the end result is a perpetual cycle of “starting over” with assessment instead of using the shared information for the trainee’s development and creation of meaningful action plans.

교수들은 시스템의 과학을 이해해야 하며, 어떻게 학제간 팀에서 효과적으로 일하는가를 알아야 하며, 자율성에 대해서 전통적 과점이 아니라 보다 '관계중심적'관점으로 초점을 옮겨야 한다. '관계적 자율성'에서는 인간은 서로 연결되어있으며 상호의존적이고, 자율성이라는 것은 사회적으로 구성되며 다른 사람에 의해서 주어지는 것임을 의미한다.

To do this, faculty must understand the science of systems and how to work effectively in interdisciplinary teams, and they must move away from traditional views to a more relational view of autonomy. Relational autonomy recognizes that human agents are interconnected and interdependent, meaning that autonomy is socially constructed and must be granted by others.42,43

미래의 교수개발은 어떻게 시스템 요인이 교육과 진료의 질에 영향을 주며, 시스템 기반 진료환경에서 교수들이 피교육자 역량 평가을 위해 어떤 준비가 되어야하는가를 다뤄야 한다.

Future faculty development will need to incorporate training about how system factors affect the quality of both teaching and patient care, and also how faculty must be prepared to assess their trainees’ competencies in systems-based practice

몇 가지 이유로 외래환경이 입원환자보다 지속적 평가와 피드백에 더 적합하다.

For several reasons, the outpatient setting holds potentially more promise than inpatient settings for longitudinal assessment and feedback for most specialties.44 

First, many trainees in specialties such as internal medicine, family medicine, and pediatrics work with a stable group of faculty preceptors who can observe these trainees over time.24 

Second, because trainees often have their own panel of patients, assessment methods such as a medical record audit can be combined with reflection guided by faculty.45 

Finally, as so much of medicine has moved into the outpatient setting, it follows logically that more training and assessment should occur here as well.

전통적 평가 역할 

Traditional assessment roles

예측가능한 미래에 두 가지의 역할이 계속 중요할 것이다. (1)지식과 임상추론의 프로빙을 위한 질문, (2)면담, 신체진찰, 상담, 기타 의사소통 기술에 판단을 위한 직접 관찰

For the foreseeable future, two traditional faculty roles in assessment will continue to be essential: (1) questioning to probe knowledge and clinical reasoning and (2) direct observation to judge the clinical skills of medical interviewing, physical examinations, counseling, and other communication skills as well as procedural skills.

교수들은 추론 과정을 강조하는 질문 기술을 개발해야 한다.

Faculty need to develop the skills to ask questions that emphasize the reasoning process and incorporate key findings and lessons from a growing body of evidence from research on cognition.46,47 Practical approaches exist to help faculty acquire these skills.46,48 These questioning skills apply equally well to the evaluation of procedural skills. ***

비록 교수들이 피교육자의 수행능력을 비판적으로 정확하게 관찰할 수 있어야 하지만, 일부 연구결과는 교수들이 피교육자의 부족한 점을 정확히 찾아내지 못한다는 것을 보여준다.

Although faculty need to be critical and accurate observers of trainee performance, limited published research demonstrates that faculty frequently fail to identify deficiencies in trainees’ clinical skills.24,49–51

확실하게 하기 위해서 교수들은 기본적 psychometric과 quality properties에 대한 평가가 이루어진 도구를 활용해야 하며, 최근의 연구는 최소한의 질적 기준을 만족하는 관찰도구들을 정리했다. 그러나 평가서식을 재설계하는 것이 전체 평가의 10%만을 설명한다는 점에서 의학교육자들은 교수들을 더 효과적인 관찰과 평가로 눈을 돌려야 한다.

To be sure, faculty should only use tools that have been evaluated for basic psychometric and quality properties, and a recent systematic review identified a small group of observation tools that meet minimal quality criteria for use.55 However, given that the redesign of evaluation forms only explains up to 10% of the variance in ratings,56 medical educators must now shift their attention to developing more effective methods to train faculty in observation and assessment.

추가적으로 교수들을 숫자에만 기반한 스케일 평가에만 유지하지 않도록 해야 한다. CBME는 질적 평가에 상당히 의존하게 될 것이다.

In addition, we must help faculty and programs move away from rating scales based on just numbers, as CBME will require a greater reliance on descriptive or “qualitative” assessment.57

교수들은 숫자로 하는 평가는 피교육자에 대한 판단을 종합하여 대표할 수 있게 나타내는 것에 그치지 않는 다는 것을 인식해야 한다. 궁극적으로 평가도구는 그 도구를 사용하는 사람의 수준 만큼만 좋은 것이다.

Faculty need to recognize that numeric ratings are nothing more than a process to synthesize and then represent a composite judgment about a trainee. Ultimately, evaluation tools are only as good as the individuals using them;

Albanese 등은 교육 커뮤니티와 기관이 어떻게 교수개발을 구성해야 하는가에 대한 유용한 프레임워크를 제시한다.

Along those lines, recent work by Albanese and colleagues60 provides a useful framework about how the educational community and institutions might structure faculty development activities using an integrated systems model (ISM).

• Changes in assessment and supervision that are also mission critical for the institution and help to build system

“reserve” will be more likely implemented.

• The further a faculty member moves along the stages of change, the higher the likelihood of adoption that can also produce individuals more likely to become champions for the change. 

• Enlisting the assistance of respected educational faculty to help implement the change helps to promote broader

and more rapid uptake by other faculty.

• Helping faculty mentally picture how the change in the educational program will affect and improve their own educational practices will also assist in the adoption of new knowledge and skills.

Assessment by faculty must be grounded in the principles of CBME

CBME에서는 준거와 발달을 기반으로 한 평가가 필요하다. 발달적 용어로 준거를 정의해야 하는데 이는 흔히 milestone이나 benchmark라고 명명되고, 교수나 프로그램 관리자들로 하여금 피교육자들이 적절한 '궤적'상에 있는가를 판단할 수 있게 한다.

CBME requires assessment be criterion based and developmental. Defining the criteria in developmental terms, commonly called milestones or benchmarks, allows faculty and program directors to determine whether the trainee is on an appropriate “trajectory.”62

Milestone은 교육과정과 평가의 청사진이 될 수 있다.

Milestones, in effect, can become the blueprint for curriculum and assessment.62

다양한 연구로부터 평가의 가장 큰 문제 중 하나는 교수들이 적절한 수행능력이 어느 정도인지에 대한 동의가 부족하다는 것이다. 이와 같은 교수진 내에서의 합의의 부족은 신뢰도와 타당도의 가장 큰 적이다. 또한 피교육자들에게 교수로부터 받는 이질적인 평가와 피드백에 대한 부당한 짐을 지우게 된다.

Multiple studies highlight that one of our biggest and most refractory problems in assessment is the lack of agreement among faculty about what constitutes satisfactory performance across competencies regardless of the competency framework.20,54 This lack of agreement among faculty is a major threat to the reliability and validity of decisions about trainee competence.54,56 In addition, it places an unfair burden on trainees to make sense of the disparate ratings and feedback they receive from faculty.

궁극적으로 교수들은 피교육자를 다른 교수에게 넘길 때 의미있는 수행능력 자료를 제공하는 것에 대한 두려움을 벗어나야 한다. 이는 특히 현재 우리의 로테이션 모델에서 중요하다. forward feeding 없이는 피교육자들은 피상적, 비구체적 평가와 피드백에 머물고 말 것이다.

Ultimately, faculty must become less fearful of providing meaningful performance data—including strengths and developmental needs— about the trainee during educational handoffs.36,37 This is especially important in our current rotational model of training—without “forward feeding” of information, trainees may end up in a perpetual cycle of superficial, nonspecific assessment and feedback..

Assessment requires competent faculty 

교수의 임상역량은 효과적 평가를 위해서 중요한 요소이지만, 아직까지 이 부분은 충분한 관심을 받지 못하고 있다. 여러 프로그램들은 교수들이 - 비록 아주 높은 수준은 아니더라도 - 교육과 평가에 충분한 지식/술기/태도 역량을 갖추었음을 전제로 하고 있다. 그러나 우리는 여러 학생들과 전공의가 임상 술기에 상당히 부족한 부분이 있음을 알고 있고, 따라서 나중에 이들이 교수가 되었을 때 중요한 부분이 부족할 수 있다는 것이 그다지 놀라운 사실만은 아니다. 여러 문헌들이 이를 뒷받침하는데, 심장 청진기술에 대한 연구에서 교수들은 3학년 학생들보다 딱히 더 나은 기술을 가지고 있지 않았다. 다른 연구에서는 가정의학의사, 인턴, 외과의사들이 informed decision making skill이 부족함을 보여줬다.

Clinical competence of faculty is a crucial component of effective assessment, yet this issue has received little attention to date. Programs operate on the assumption that faculty possess sufficient, if not high, levels of knowledge, skills, and attitudes in the competencies they are responsible for teaching and assessing. We have known for some time that numbers of students and residents graduate with significant deficiencies in clinical skills,24 so it might not be surprising that those who later become faculty may possess important deficiencies in clinical skills. A growing body of literature supports this concern. For example, a study of cardiac auscultation skills found that faculty were no more skilled than thirdyear medical students.68*** Another study highlighted substantial deficiencies in informed decision-making skills among family medicine physicians, internists, and surgeons,69***

이러한 결과가 시사하는 바는 CBME를 위한 교수개발은 평가능력에 대해서 임상술기 수련만 필요한 것은 아니라는 점이다. 새로운 21세기에 필요한 역량 개발이 필요하다. 대부분의 교수들은 이러한 역량에 대한 어떠한 공식적 교육도 받은 적이 없다. 그 결과 피교육자가 그러한 역량을 학습할 때 교수도 같이 학습하게 되며, collaborative model이 더욱 필요한 것이다.

The implication of these findings is that CBME-focused faculty development will need to incorporate clinical skills training with training in assessment. In addition to improving the clinical skills of faculty, faculty development will also need to incorporate training in the “new” competencies crucial to 21st century practice: evidence-based practice using point-of-care clinical decision support and information; health information technology; teamwork; care coordination; systems functionalities; advocacy; and contextaware professionalism, to name a few. The majority of faculty working today never received formal training in any of these competencies.29 In effect, there are a number of new competencies that faculty will need to learn as their trainees learn them, necessitating more collaborative models of faculty training.

한 명의 교수가 모든 부분에 전문가가 되어야 한다는 것도 안디ㅏ.

This is not to say that a single faculty member need be an expert in all competencies; rather, trainees should be taught and evaluated by those individuals that truly possess the highest level of knowledge and skill in the domain of interest, and those individuals may not be physicians.

Faculty as coach and mentor in assessment

대부분의 피교육자는 감독자 없이 진료를 하게 된다.

Ultimately, the majority of trainees will graduate from their programs and enter unsupervised practice.

포트폴리오는 스스로에 대한 평가를 할 수 있게 도와주는 강력한 도구이다.

Portfolios are a potentially powerful tool for engaging trainees in their own assessment.71

Next Steps: Preparing Faculty for the CBME Era

교수개발이 CBME의 속도결정단계라는 합의가 늘어나고 있다.

There is a growing consensus that the rate-limiting step in the evolution to CBME is faculty development.72

교수가 교육, 평가, 피드백을 포함하는 코치로서 전문가 역할을 할 수 있어야 한다.

The role of faculty as expert “coaches” must encompass teaching, assessment, and feedback.

아직 우리는 효과적인 교수개발 모델이 없다.

We have yet to develop the most effective faculty development models. The good news from a recent systematic review is that the faculty who participate in educational training activities report 

(1) high levels of satisfaction, 

(2) positive changes in their attitudes, 

(3) increased understanding of educational principles and teaching skills, 

(4) changes in behavior as noted by their students, and 

(5) greater involvement in teaching.75

교수개발에서 행동 변화까지.

However, few studies have investigated whether faculty training translates into actual behavior changes among trainees. In addition, most faculty development is designed as a one-time “bolus” activity and less often as a longitudinal designed program.

---

Acad Med. 2011 Apr;86(4):460-7. doi: 10.1097/ACM.0b013e31820cb2a7.

Faculty development in assessment: the missing link in competency-based medical education.

Holmboe ES1, Ward DS, Reznick RK, Katsufrakis PJ, Leslie KM, Patel VL, Ray DD, Nelson EA.

Author information

• 1American Board of Internal Medicine, Philadelphia, Pennsylvania 19106, USA. eholmboe@abim.org

Abstract

As the medical education community celebrates the 100th anniversary of the seminal Flexner Report, medical education is once again experiencing significant pressure to transform. Multiple reports from many of medicine's specialties and external stakeholders highlight the inadequacies of current training models to prepare a physician workforce to meet the needs of an increasingly diverse and aging population. This transformation, driven bycompetency-based medical education (CBME) principles that emphasize the outcomes, will require more effective evaluation and feedback byfaculty.Substantial evidence suggests, however, that current faculty are insufficiently prepared for this task across both the traditional competencies of medical knowledge, clinical skills, and professionalism and the newer competencies of evidence-based practice, quality improvement, interdisciplinary teamwork, and systems. The implication of these observations is that the medical education enterprise urgently needs an international initiative of faculty development around CBME and assessment. In this article, the authors outline the current challenges and provide suggestions on where faculty development efforts should be focused and how such an initiative might be accomplished. The public, patients, and trainees need the medical education enterprise to improve training and outcomes now.

© by the Association of American Medical Colleges.

PMID:

 

21346509

 

[PubMed - indexed for MEDLINE]