새로운 도구상자를 이용해서 교육자 평가하기(Acad Med, 2014)

새로운 도구상자를 이용해서 교육자 평가하기(Acad Med, 2014)

Evaluating Educators Using a Novel Toolbox: Applying Rigorous Criteria Flexibly Across Institutions

Maryellen E. Gusic, MD, Constance D. Baldwin, PhD, Latha Chandran, MD, MPH, Suzanne Rose, MD, MSEd, Deborah Simpson, PhD, Henry W. Strobel, PhD, Craig Timm, MD, and Ruth Marie E. Fincher, MD

Boyer (1)는 교육 기관이 scholarship of teaching을 포함하도록 scholarship 제도를 재정립해야한다고 주장하였다. 이 연구를 토대로 교육자의 인정과 승진은 방향으로 나아갔습니다 .2-4 그러나 많은 기관은 교육자의 작업을 체계적으로 평가하기위한 기준이 부족합니다 .5-7 의학 교육의 사명을 발전시키기 위해서는 AHC에서 유연하게 사용할 수있는 교육자의 성과를 평가할 수있는 특정 기준을 가진 객관적인 프로세스를 구현해야합니다.

There has been progress toward recognition and promotion of educators based on the work of Boyer,1 who argued that academic institutions should redefine scholarship to include the scholarship of teaching.2–4 However, many institutions lack defined criteria for systematically evaluating the work of educators.5–7 To further advance the medical education mission, we must implement an objective process with specific criteria for evaluating the performance of educators that can be used flexibly by academic health centers.

교육자 평가에 관한 AAMC 특별 전담 팀

AAMC Task Force on Educator Evaluation

The AAMC Task Force on Educator Evaluation은 교육에 중점을 둔 교수진을 지원하기 위해 교육 기관에서 사용할 수있는 교육자 평가를위한 객관적인 프로세스를 만들기 위해 2010 년에 소집되었습니다.

The AAMC Task Force on Educator Evaluation, in which all the authors have participated, was convened in 2010 to create an objective process for evaluating educators that can be used by institutions to support faculty whose careers focus on education.

태스크 포스의 주요 산출물은 교수진의 교육적 기여에 대한 객관적인 평가를 위하여, 명확한 기준을 포함하는 교육자 평가 도구 상자(the Toolbox for Evaluating Educators)입니다. 이 도구 상자는 MedEdPORTAL에 게시된 professional development materials 집합의 핵심이며, 승격 및 테뉴어 위원회 위원에게 성과 지표를 적용하고 특정 설정에서 사용에 대해 토론 할 수있는 실습 기회를 제공하기 위해 워크숍 형식으로 제공됩니다 .9

The task force’s principal product is the Toolbox for Evaluating Educators, which contains explicit criteria for objective evaluation of the educational contributions of faculty. The toolbox is the centerpiece of a set of professional development materials published on MedEdPORTAL, presented in workshop format to provide promotion and tenure committee members with hands-on opportunities to apply the performance indicators and discuss use in their specific setting.9

명확한 목표

Clear Goals

연구 분야에서는 academic advancement 분야에서 널리 인정되고 표준화된 자격이 있다. 여기에는 동료 검토 논문, 국가 연구 발표, 기금 지원이 주로 포함된다.11,12 우리의 목표는 이와 유사하게 잘 이해 된 기준에 근거하여 교육자의 성과의 질에 관하여 홍보위원회 및 기타 의사 결정권자가 객관적인 증거에 도달하게 하는 것이다. 

In the research arena, well-accepted, standardized qualifications for academic advancement focus on peer-reviewed publications, national presentations of scientific work, and funded grants.11,12 Our goal is to enable promotion committees and other decision makers to reach objective, evidence-based decisions about the quality of educators’ performance, based on equally well-understood criteria.

목표 1 : 교육 기관이 가치있는 교육 기부를 결정하는 것

Objective 1: To Determine What Educational Contributions Are Valued by Our Institutions

적절한 준비

Adequate preparation

전국의 의과 대학에서 교육자의 성과와 발전에 관한 의사 결정의 현재 상태를 조사하기 위해 전국 설문 조사를 통해 정보를 수집했습니다. 또한 설문지 작성 과정에서 AAMC 구성 그룹의 대표자 인 태스크 포스의 각자에게 2010 년 11 월에 개최된 annual AAMC meeting에 초대 할 그룹의 주요 구성원 이름을 제출하도록 요청 받았다. 

To examine the current state of decision making regarding educator performance and advancement at medical schools nationwide, we obtained information using a national survey. In addition, during the development of the questionnaire, each person on the task force, as a representative of an AAMC constituent group, was asked to submit names of key members of their group to be invited to a stakeholder meeting held in November 2010, at the annual AAMC meeting;

적절한 방법

Appropriate methods

AAMC의 Vovici Survey Platform을 사용하여 최종 조사 (Supplemental Digital Appendix 1, http://links.lww.com/ ACADMED / A200 참조)를 AAMC GFA의 117 명의 대표에게 미국 및 캐나다 의과 대학에서 전자 배포했습니다.

The final survey (see Supplemental Digital Appendix 1, http://links.lww.com/ ACADMED/A200) was electronically distributed using the AAMC’s Vovici Survey Platform to 117 primary representatives of the AAMC GFA at U.S. and Canadian medical schools.

중요한 결과와 효과적인 발표

Significant results and effective presentation

설문 조사 응답자는 117 명의 기본 GFA 담당자 중 77 명이 연락하여 66 %의 응답률을 보였습니다.

Survey respondents included 77 of the 117 primary GFA representatives contacted, a 66% response rate.

승진 및 진급 결정 (예 : 보조금, 교육 시간, 멘토링 영향)에서 특정 종류의 증거의 중요성에 대한 질문에 대해 거의 모든 유형의 증거가 현재 환경 (26 개 중 26 개)보다 이상적으로 중요하다고 평가되었습니다. 28 항목). 28 개 항목 중 11 개 항목 (39 %)은 현재 중요성 때문에 3.5 개 항목보다 높게 평가되었습니다. 가장 높은 평가는 교육 장학금 (평균 4.3), 교육의 질 (4.0), 교육 리더로서의 역할 (3.8), 새롭고 향상된 교과 과정 개발 (3.8), 지역 / 전국 교육 기관에서의 리더십 3.7). 응답자들은 이상적으로 "교육자의 작품의 질 결정"에 대한 가장 중요한 증거는 동료 심사를 거친 장학금, 국가 인정, 다른 곳에서의 교육자 직업의 채택 및 교육 보조금이어야한다고 믿습니다.

In response to questions about the importance of specific kinds of evidence in promotion and advancement determinations (e.g., grants, teaching hours, mentoring impact), nearly all types of evidence were rated as more important in the ideal than in the current environment (26 of 28 items). 

Eleven out of 28 items (39%) were rated over 3.5 for their current importance. The most highly rated were evidence of educational scholarship (mean = 4.3), quality of teaching (4.0), role as an educational leader (3.8), development of new/ improved curricula (3.8), and leadership in regional/national educational organizations (3.7). Respondents believed that ideally, the most important evidence for “determining the quality of an educator’s work” should be peer-reviewed scholarship, national recognition, adoption of the educator’s work elsewhere, and educational grants.

목표 2 : 엄격한 근거 중심의 틀을 사용하여 교육적 기여의 구조적 평가를위한 지침을 작성한다.

Objective 2: To Create Guidelines for the Structured Evaluation of Educational Contributions, Using a Rigorous, Evidence-Based Framework

적절한 준비

Adequate preparation

Toolbox for Evaluating Educators를 개발하면서 모든 의사 결정자 (교육자가 아닌 교사 및 교육자)가 사용할 수있는 증거 기반의 도구를 만들고 가능하면 간결하지만 다양한 교육자의 성과를 검토하는 데 유용 할 정도로 포괄적 인 도구를 만들려고했습니다 (다른 학문적 계급, 임상 또는 기초 과학).

In developing the Toolbox for Evaluating Educators, we sought to create tools that were evidence based, practical for use by all decision makers (noneducators and educators), and as succinct as possible, but sufficiently comprehensive to be useful in reviewing the performance of diverse educators (different academic ranks; clinical or basic science).

적절한 방법

Appropriate methods

GEA 2006 컨센서스 컨퍼런스, Boyer, Glassick, 10 및 다른 사람들, 13-16의 연구 결과와 우리 국가 조사에서 얻은 결과를 토대로, 5 개 영역의 각 과목별로 개발 된 태스크 포스가 평가할 구체적인 기준의 포괄적 인 세트

• 품질의 증거 (예 : 확립 된 모델의 사용, 강력한 평가, 학습 결과)

• 학술 접근법 (관련 교육 문헌 및 모범 사례에 대한 지식 적용)

• 학술활동 (다른 사람들의 적용/적응을 위해 공개적으로 보급 된 동료 심사를 거친 product를 제작하는 것).

Building on the recommendations from the GEA 2006 consensus conference,4,8 the work of Boyer,1 Glassick,10 and others,13–16 and the findings from our national survey, the task force developed for each of the five domains ofeducational activity a comprehensive set of specific criteria to assess 

• evidence of quality (e.g., use of established models, strong evaluations, learning outcomes), 

• scholarly approach (applying knowledge of the relevant education literature and best practices), and 

• scholarship (producing peer-reviewed, publicly disseminated products that are available for adoption/adaptation by others). 

중요한 결과와 효과적인 발표

Significant results and effective presentation

최종 양식의 도구 상자는 동료 검토를 거쳐 MedEdPORTAL, 9에 사용자 가이드 및 광범위한 리소스 목록과 함께 게시됩니다.

The toolbox in its final form has been peer reviewed and is published on MedEdPORTAL,9 along with a user’s guide and extensive resource list.

도구 상자에 대한 사용자 안내서는 고려해야 할 두 가지 원칙을 제공합니다. 어떤 교육자도 다섯 가지의 모든 교육자 활동 영역 모두에서 광범위한 활동을 할 것으로 예상되어서는 안됩니다. 또한 각 영역 내에서 교육자에게 모든 기준을 충족시키는 증거를 제공할 것을 요구해서도 안된다. 도구 상자의 기준 목록은 의도적으로 포괄적입니다. 다양한 보건 전문가 교육자의 작업에 적용 할 수 있으며 교육자의 진보 결정에 사용되는 기관 벤치 마크와의 통합을 용이하게 만들기 위해서 유연하게 만들었다. 개별 교육 기관은 교육자가 진보를위한 기관 차원의 기준을 충족시키기 위해 얼마나 많은 기준을 충족시켜야하는지 내부적으로 결정해야합니다.

The user’s guide for the toolbox provides two principles for consideration: No one educator should be expected to have extensive activity in all five educator activity domains; and within each domain, no educator should be expected to provide evidence to satisfy every criterion. The toolbox’s criteria lists are intentionally comprehensive: they can be applied to the work of a variety of health professions educators, and they are sufficiently flexible to facilitate incorporation with institutional benchmarks used in educator advancement decisions. Institutions must decide internally how many and which criteria should be met in order for an educator to meet institutional standards for advancement.

목표 1과 2 : 사려 깊은 비판

Objectives 1 and 2: Reflective Critique

도구 상자에는 교육 기관이 자체적 인 가치 판단을 적용 할 수있는 유연성을 제공하기 위해 평가 기준에 부합하는 지표 또는 가중치가 포함되어 있지 않습니다. 우리는 교육자의 포트폴리오에 얼마나 많은 도메인을 반영해야하는지 또는 특정 순위로 승격하기 위해 충족되어야하는 기준의 수에 대한 제안을 하지 않을 것이다.

the toolbox does not contain metrics or weights to accompany the criteria for evaluation, to allow flexibility for academic institutions to apply their own value judgments. We provide no suggestions for how many domains should be reflected in an educator’s portfolio or the number of criteria that must be met for promotion to a specific rank.

평가 기준을 개발할 때 발생할 수있는 잠재적 위험 중 하나는 의사 결정권자가 의도하지 않은 목적으로 의사 결정자를 사용할 수 있다는 것입니다. 예를 들어, 기준 목록을 체크리스트로 사용하고 "달성 된 항목의 퍼센트"를 측정하는 것은 그 목적을 오해 할 수 있습니다.

One of the potential risks of developing evaluation criteria is that decision makers may use them for unintended purposes. For example, use of the criterion lists as checklists and measuring “percent of items accomplished” would be a misinterpretation of their purpose.

이 툴박스는 주로 프로모션 프로세스 평가를위한 것이지만, 교육자의 학술 커리어에 걸쳐 종단적으로 사용할 수도 있다.

임명시 그리고 새로운 교수진 오리엔테이션 중에,

멘토링 대화 중,

새로운 직무에 대한 기대가 정의되면

연간 실적 리뷰에서.

The toolbox is intended primarily for assessment in the promotion process, but it can be used longitudinally throughout the educator’s academic career: 

at appointment and during new faculty orientation, 

during mentoring conversations, 

when expectations for new job roles are defined, and 

in annual performance reviews.

Future Directions

8 Simpson D, Fincher RM, Hafler JP, et al. Advancing educators and education: Defining the components and evidence of educational scholarship. http://tinyurl. com/7evolwy. Accessed January 4, 2014.

---

Acad Med. 2014 Jul;89(7):1006-11. doi: 10.1097/ACM.0000000000000233.

Evaluating educators using a novel toolbox: applying rigorous criteria flexibly acrossinstitutions.

Gusic ME1, Baldwin CD, Chandran L, Rose S, Simpson D, Strobel HW, Timm C, Fincher RM.

Author information

1

Dr. Gusic is executive associate dean for educational affairs, Dolores and John Read professor of medical education, and professor of pediatrics, Indiana University School of Medicine, Indianapolis, Indiana. Dr. Baldwin is professor of pediatrics, University of Rochester Medical Center, Rochester, New York, and director, Academic Pediatric Association Educational Scholars Program. Dr. Chandran is professor of pediatrics and vice dean for undergraduate medical education, Stony Brook University School of Medicine, Stony Brook, New York. Dr. Rose is professor of medicine and senior associate dean for education, University of Connecticut School of Medicine, Farmington, Connecticut. Dr. Simpson is medical education program director, Aurora Health Care, and adjunct professor of family and community medicine, Medical College of Wisconsin, Milwaukee, Wisconsin. Dr. Strobel is associate dean for faculty affairs and alumni relations and distinguished teaching professor, Department of Biochemistry and Molecular Biology, University of Texas Medical School at Houston, Houston, Texas. Dr. Timm is senior associate dean for education and professor of internal medicine and cardiology, University of New Mexico School of Medicine, Albuquerque, New Mexico. Dr. Fincher is professor of medicine and vice dean for academic affairs emerita, Medical College of Georgia, Georgia Regents University, Augusta, Georgia.

Abstract

Valuing faculty as educators is essential for medical schools to fulfill their unique mission of educating physicians. The 2006 Consensus Conference on Educational Scholarship, sponsored by the Association of American Medical Colleges (AAMC) Group on Educational Affairs, provided educators seeking academic promotion with a portfolio-based format for documenting activities in five domains, using evidence of quantity, quality, a scholarly approach, and educational scholarship. Yet, the lack of a rigorous, widely accepted system to assess educator portfolio submissions during the promotion and tenure process continues to impede the ability to fully value educators and educational scholars.The AAMC Task Force on Educator Evaluation was formed in 2010 to establish consensus guidelines for use by those responsible for the rigorous evaluation of the educational contributions of faculty. The task force delineated the educational contributions currently valued by institutions and then fulfilled its charge by creating the Toolbox for Evaluating Educators, a resource which contains explicit evidence-based criteria to evaluate faculty in each of the five domains of educator activity. Adoption of such criteria is now the rate-limiting step in using a fair process to recognize educators through academic promotion. To inform institutional review and implementation of these criteria, this article describes the iterative, evidence- and stakeholder-based process to establish the criteria. The authors advocate institutional adoption of these criteria so that faculty seeking academic promotion as educators, like their researcher colleagues, can be judged and valued using established standards for the assessment of their work.

PMID:

 

24662201

 

DOI:

 

10.1097/ACM.0000000000000233