교수개발 연구의 리프레이밍(Acad Med, 2011)

Reframing Research on Faculty Development 

Patricia S. O’Sullivan, EdD, and David M. Irby, PhD

의학교육에서 FD는 1950년대에 시작되었고, 이후 수십년간 AAMC의 Curriculum and Assessment 의 활동과 HRSA의 재정지원을 통해서 발전되어왔다. FD에 대한 연방 재정지원은 일차의료교육을 지원하였으며, 주로 일반내과와 가정의학 분야를 지원하였다.

Faculty development in medical education began in the 1950s and advanced in subsequent decades through the activities of the Association of American Medical Colleges’ Curriculum and Assessment unit (formerly the Division of Medical Education) and the funding of the Health Resources and Services Administration.2 Federal funding supported faculty development for teaching in primary care, particularly in general internal medicine and family medicine,

FDP는 여러 유형의 교사에 대하여 다양한 교육 니즈를 위해 진행된다.

Faculty development programs address a variety of instructional needs for four different types of teachers:

• 학생, 레지던트, 펠로우 (1) students, residents, and fellows who are required to teach but have little expertise and/or are launching their medical education careers,
• 교육에 약간만 참여하는 교수 (2) faculty members who teach at universities or community-based sites, but for whom teaching is a small component of their responsibilities,
• 교육이 주 역할인 교수 (3) faculty members who have a major teaching role, and
• 의학교육자와 교수개발자가 되고자 하는 교수 (4) faculty members who want to become medical education researchers and faculty developers. Programs vary depending on which groups are being targeted.

이러한 FDP에 참여하는 것은 교수들에게 교육에 대한 열정을 공유하는 유사한 마인드를 가진 새로운 지적, 사회적 커뮤니티에 들어오게 한다.

Participation in such faculty development programs should provide faculty members with entry into a new intellectual and social community of like- minded individuals who share a passion for teaching.

FDP의 다양한 기능을 고려하였을 때, 그리고 연구가 실천을 이끌 수 있다고 할 때, 어떻게 연구의 틀은 어떠해야 하는가?

Given these multiple functions of faculty development and the need for research that can guide practice, how should the research be framed?

교수개발 프레임워크와 관련 연구 접근법

Faculty Development Frameworks and Associated Research Approaches

이 그림에서 연구 모델은 선형적이다. 프로그램이 교수에게, 교수는 피훈련자에게, 피훈련자는 환자와 건강 성과에 영향을 준다.

In this figure, the research model is defined in a linear manner: The programinfluences the faculty member, who influences trainees, who in turn impact patient care and health outcomes.

Fig 1에 보여진 것처럼, 이 모델은 교육이 한 명의 교수가 학습자에게 하는 행동에 직접적인 영향을 미칠 것을 함의하고 있으며, 이것이 결국 환자 진료에 대한 변화로 이어질 것을 가정하고 있다. 그러나 이러한 선형적 인과관계와 점차 희석되는 일련의 사건의 효과를 기대하는 것은 비현실적일 수 있다.

As shown in Figure 1, this model implies a direct impact of the education of one faculty member on the behavior of learners, who then bring about change in patient care. It may be unrealistic to attribute linear cause and effect to such an attenuated chain of events.

교사 교육의 전문성개발 프레임워크

Professional development frameworks in teacher education

전통적인 의학교육의 교수개발 모델에서, Webster-Wright는 최근의 리뷰를 통해서 교수개발을 '전문성개발(professional development)'에서 '지속적인 전문성 학습(“continual professional learning.”)'의 개념으로 옮겨가야 한다고 강조했다.

In contrast to the traditional model of faculty development in medical education, Webster-Wright14 in a recent review emphasized a shift fromfaculty development, frequently called professional development, to “continual professional learning.”

이러한 관점은 근무지(workplace)에서 전문성개발에 대한 지원이 얼마나 중요한가를 강조한다. 근무지에서는 교육이 이루어지면서 다른 사람과의 연결(connection)이 생기고, 그러한 근무지 세팅에서 학습의 시간이 있기 때문이다. 따라서 FD연구는 어떻게 교사들이 학습하고, 일상적인 교육 행위적 맥락에서 어떻게 의미를 함께 만들어가는가(co-construct)에 초점을 둬야 한다.

This perspective highlights the importance of support for professional development in the workplace, connection with others in the settings in which teaching occurs, and time for learning within the work setting.15,16 Therefore, faculty development research, including medical education, should include a focus on how teachers learn and co-construct meaning in the context of everyday teaching practice.

고등교육에서 다른 사람들은 'communities of practice (COP)' 를 전문성학습을 강화하는 강력한 프레임워크라고 주장한다. Desimone의 모델을 활용하면, FD는 (교실과 진료실에서의) 교육행위에 들어가있어야(be embedded)있어야 하며, 연구를 통해 밝혀야 할 것은 다음과 같은 것들이다.

Others in higher education and professions education embrace the concept of “communities of practice” as a powerful framework for enhancing professional learning.17–20 Using Desimone’s21 model, faculty development should be embedded in teaching practice (classroomand/or clinical), and research should investigate

• 어떻게 교사가 새로운 교육과 관련된 내용과 스킬을 개인/집단으로서 학습하는가
  how teachers learn new pedagogical content and skills individually and together,
• 어떻게 교사가 스스로의 학습에 적극적으로 참여하는가
  how teachers can be actively engaged in their own learning, and
• 어떻게 교사의 지식과 신념이 기대되는 변화와 연결될 수 있는가
  how teacher knowledge (about successful education methods) and beliefs (about how students and residents learn and the forces that influence and motivate learning) can be connected with expected changes.

코크란 리뷰에 따르면, CME의 참가자들은 전문직업적 행위에 있어서 small-to-moderate 정도의 향상을 보이며, 환자진로 outcome에 있어서는 smaller 향상과 연결된다. 상호작용적인 것과 강의적 자료를 모두 사용하는 세션의 성과가 가장 좋으며, 상호작용(interactive session)만 하는 것이 가장 효과가 적다. 다른 CME에 대한 리뷰와 달리 코크란 리뷰에서는 교육미팅만 하는 것과 대비하여 multifaceted intervention(outreach services, reminders, feedback, support services, and educational materials)의 유의미한 효과는 찾아내지 못했다.  저자들은 CME프로그램에 참여하지 않는 사람들을 대상으로 할 것을 권고했는데, 왜냐하면 이런 것에 참여하는 사람들은 이미 잘 하고 있을 가능성이 높기 때문이다.

According to the most recent Cochrane review,4 participation in continuing medical education meetings makes a small-to-moderate improvement in professional practice with associated smaller improvement in patient care outcomes. Sessions that included both interactive and didactic material had the best outcomes; interactive sessions alone were the least effective. In a surprising contrast to other reviews of continuing medical education, this Cochrane review did not find any statistically significant effect of multifaceted interventions— such as outreach services, reminders, feedback, support services, and educational materials—compared with educational meetings alone. The authors of the report recommended targeting activities to those who do not choose to participate in continuing medical education programs, because those attending may already be performing well.

FD와 CME는 공통점이 많으며 의사들은 종종 두 개 프로그램에 모두 참여한다.

Faculty development and continuing medical education share much in common, and physicians often participate in both types of programs.

근무지 학습 프레임워크

Workplace learning framework

지난 10년간 많은 연구가 임상현장의 학습과 연관되어있다. 이러한 연구에서는 근무지 기반 학습에 참여하는, 그리고 그 결과로 학습과 실천을 가져오는 세 가지 요인을 강조한다. (과제, 관계, 업무연습)

A surge of research in the past decade on learning in the workplace23,24 is directly relevant to clinical learning in medicine and other health professions. This body of research suggests that three factors (tasks, relationships, and work practices) affect participation in the workplace and, consequently, learning and practice.

• 학습자가 하도록 선택된 과제, 할당된 책임, 그러한 과제의 순서 등이 학습자가 직무에 얼마나 중심(또는 변두리)에 참여할 수 있게 되는가에 영향을 준다.
  The tasks that are selected for the learner, the responsibilities assigned, and the sequencing of those tasks all impact how centrally or peripherally a learner will be able to participate in the work.
• 커뮤니티 내에서의 관계가 보다 inviting한 환경, 적절한 지도(guidance), 개인의 관심(engagement) 등을 만들거나 향상시켜서 참여를 강화한다.
  Relationships within the practice community can enhance participation by creating an inviting environment, providing guidance, and encouraging personal engagement.
• 직무의 구조, 시간의 압박, 근무량, 직무 흐름 등
  The structure of the work, time pressures, workload, and work flow all influence participation.

FD 모델의 리프레이밍

Reframing the Model for Faculty Development in Medical Education

교육 연구 프레임워크과 논쟁

Educational Research Frameworks and Debates

지금까지 FD연구에서 성공을 측정하기 위해 사용된 척도는 다음과 같다.

To date, the methods used in faculty development research, both quantitative and qualitative, have included the following measures to indicate program success: 

• Participant satisfaction with the faculty development programs 
• Participant self-report of use of knowledge and skills 
• Analysis of participants’ curricula vitae 
• Interviews with participants and sometimes with their learners 
• Learner rating of participants’ teaching 
• Observations of participants’ simulated and actual teaching 
• Changes in participants’ learners’ performance on examinations 
• Changes in participants’ learners’ impact on patient care outcomes

이 연구들은 퍼실리테이터, 프로그램, 맥락, 다른 사람과의 관계에 대한 통찰이 결여되어 있다.

These studies lack much of the insight needed about facilitators, programs, contexts, and relationships to help others craft successful faculty development programs.

연구자들은 지난 20년간 교육 연구의 특성과 퀄리티에 대한 많은 논쟁을 해왔다. NRC의 보고서에 따르면 전통적인 실험적, 유사-실험적 설계를 활용한 연구의 성과와 무작위배정을 포함한 교육 연구에서 엄격한 연구법의 성과를 리뷰하였다. 많은 교육커뮤니티에서는 NRC보고서에 관하여 우려를 표시하였는데, 왜냐하면 여기서는 전통적인 연구 설계와 성과에 초점을 맞추었기 때문이며, 교육의 프로세스와 맥락이라는 중요한 차원을 설명하지 못했기 때문이다. 유사한 논쟁이 IOM의 보고서에서도 따랐으며, 이 보고서는 책무성, 최선의 근거, 엄격한 교육연구 방법의 사용 등이 중심이었다.

Researchers have engaged in a vigorous debate over the nature and quality of educational research during the last two decades. The report fromthe National Research Council (NRC)30 reviewed outcome studies that employed traditional experimental and quasi-experimental designs and rigorous methods in educational research including randomization.31 Many in the education community voice concerns about the NRC report because of its focuses on outcomes and traditional research designs, which fail to address the important dimensions of educational process and context.32,33 A similar debate accompanies Institute of Medicine reports,34,35 which center on accountability, best evidence, and use of rigorous educational research methods.36

Albert는 의학교육연구의 논쟁을 정리하며, 인식론, 방법론, 목적, 퀄리티에 대한 것이라고 요약했다. 그는 의학교육연구는 두 종류의 연구자 사이에서 고군분투하고 있는데, 하나는 지식의 진보와 이론의 성립을 중요시하는 집단과, 실제로 교육을 하는 사람들이 필요로 하는 니즈에 따르는 집단이 있다.

Albert37 summarizes these debates in medical education research as being about epistemology, methodology, purpose, and quality. He depicts medical education research as a struggle between two groups of researchers: those who seek to advance knowledge and build theories versus those who are responsive to practitioners’ needs for guidance.

Bredo는 모든 연구방법들은, 엄격하게 적용되기만 한다면, 모두 사용될 수 있으며, 굳이 엄격하게 환원주의 또는 전체론에 제약될 필요가 없다고 말한다. Bredo는 또한 다양한 관점을 순환적(cyclical)으로 사용하면서 단 하나의 접근법이 지배하거나 연구 노력을 제한하지 않게끔 해야 한다고 했다.

Bredo concludes that all research methods, when rigorously applied, should be employed, rather than being constrained by strict adherence to reductionistic or holistic paradigms. Importantly, Bredo suggests employing different perspectives in a cyclical manner to guide and constrain the exploration so that no single approach dominates and limits the research endeavor.

일반 교육연구 커뮤니티에서 실험주의자와 맥락주의자(experimentalist, contextualist) 사이의 논쟁은 일상의 의학교육에서도 나타난다.

The controversies within the general educational research community between experimentalists and contextualists are mirrored in the practitioner community of day-to-day medical teaching, where university-based educational research is often viewed as inconclusive, impractical, and irrelevant.43

두 가지 권고

We make two recommendations related to the nature of the research on faculty development and its use. 

• 1. Promote high-quality, thematic, sustained, and cumulative research programs using various methods/models/paradigms in medical education. 
  
• 2. Embrace the use of an incremental and cyclical approach to research, as advocated by Bredo,42 in order to develop a deeper understanding of how faculty development actually works.

새로운 FD 모델을 위한 연구 질문들

Educational Research Questions for a New Model of Faculty Development

우리는 holistic 관점과 reductionist 관점의 연구를 모두 권고한다. 각 요소들간 관계와 연결을 밝히는 것, 그리고 각 요소들이 어떻게 도달하고자 하는 프로세스와 성과를 이루는지 등을 모두 연구해야 한다.

We encourage research on the overall model (a holistic perspective) and on each separate component (a reductionist perspective), on the relationships or associations among the components, and on how each component leads to desired process and performance outcomes.

Steinert 등은 엄격한 연구방법을 활용하여 프로세스-지향 연구를 요구하였다.

Steinert and colleagues,11 in a systematic review of faculty development, called for process- oriented studies and the use of rigorous research methods.

이러한 프로세스-지향 연구는 프로그램 내에서의 관계와 근무지 내에서의 관계 모두에 대한 것이다. FD연구는 전통적으로 개인에 초점을 두어왔지만 이제는 근무현장에서의 팀과 communities of teaching의 역할을 연구해야 한다.

This process-oriented inquiry leads to research on relationships within the program and within the academic workplace. Faculty development research has traditionally centered on the individual but now must also examine the role of the teams and communities of teaching practice in the workplace.

For example,

• does it make a difference if participants in faculty development programs come as members of an intact work team(e.g., a team-taught course leadership team, a residency program leadership team, or a curriculum committee)?
• What are the relationships within the faculty development program and within the workplace?
• How do these relationships impact the achievement of desired outcomes?
• What happens if only one individual froma particular course or clinical education program participates in a faculty development program?
• How do they engage their colleagues?

This line of research would put us a step closer to understanding how change in practice occurs within the teaching environment.

CME와 QI연구로부터, 교수개발은 변화를 평가하기 위한 다양한 척도를 개발할 필요가 있다.

Drawing on the continuing medical education and quality improvement literature, faculty development programs need to develop a wide set of measures to assess change. Examples might include

• process measures related to program implementation,
• participant networks established through the program and subsequent organizational support for education and change, and
• the creation of a faculty development community or a teaching commons.9,10

참가자들에 대한 연구

While studying participants, we encourage researchers to test this expanded faculty development model as it applies to different career pathways, including the paths that students, residents, fellows, all teaching faculty, and those specializing in medical education may choose to take. Questions might focus on,

• What is the community with which each type of participant interrelates?
• What is the developmental trajectory of each individual or cohort of teachers?
• What are the differences in skills needed based on the role of the participant in the faculty development program?

우리는 또한 조직과 맥락적 요인을 봐야 한다.

We also assert that organizational and contextual factors strongly shape the success of faculty development programs and should be studied. This is critical because the context often is quite complex, uniquely local, and embedded in patient care. Research questions might include,

• How do teachers make changes in these contexts?
• How would the new teaching approaches impact the teacher’s relationships with others in that environment?
• How does the local workplace culture impact changes in teaching and learning?

Faculty development programs not only need to provide participants with optimal approaches and best teaching practices but also need to support participant interactions within their teaching context. If this were done, would it result in the desired learning outcomes?

퍼실리테이터

Finally, our model calls for illuminating the underexplored role of the facilitator. Whereas articles in the literature discuss the notion of mentor and coach, research on the facilitator is not as well developed in faculty development. Questions to be addressed might include,

• Who serves in this facilitator role?
• How can this role be operationalized and sustained?
• How does this role impact the other programmatic components and result in change?

However, these questions provide the reader with a coherent narrative about research across these interesting and related arenas and lead to two additional recommendations.

• 3. Test this expanded model of faculty development examining all the components and interrelationships with an emphasis on studying processes to better ascertain their impact on desired outcomes. 
• 4. Test the application of the expanded faculty development model to various learners and career paths.

Educational Research and Financing

펀딩과 관련한 권고

Regarding research funding, we offer these further recommendations:

• 5. Establish a National Institute or Center for Health Professions Education Research with associated training, career development, investigator-initiated research, and centers of excellence funding mechanisms. Such a center should be multidisciplinary and interprofessional. 
• 6. Advocate state, local, and private funding to support educational research and faculty development.

38 Bligh J, Brice J. What is the value of good medical education research? Med Educ. 2008; 42:652–653. 

39 Eva KW. Broadening the debate about quality in medical education research. Med Educ. 2009;43:294–296. 

40 Monrouxe LV, Rees CE. Picking up the gauntlet: Constructing medical education as a social science. Med Educ. 2009;43:196–198.

Reframing research on faculty development.

교육스킬 교수개발: 집중 장기 모델(Acad Med, 2004)

Faculty Development in Teaching Skills: An Intensive Longitudinal Model

Karan A. Cole, ScD, L. Randol Barker, MD, ScM, Ken Kolodner, ScD, Penelope Williamson, ScD, Scott M. Wright, MD, and David E. Kern, MD, MPH

교육스킬(TS)을 가르치는 것은 임상가-교육자(clinician-educator)의 professional development에 중요한 단계이다. TS프로그램은 효과적인 것으로 보고되고 있으며, 지난 15년간 그 availability에 있어서 엄청난 발전을 이루어왔다. 그러나 최근의 국내 조사결과를 보면, 의대 교수들에 대한 TS에 관한 FD활동이 계속 진행중인 교육병원은 39%에 불과하며, 평균적으로 50% 이하의 교수만이 참여한다.

Training in teaching skills is a critical step in the professional development of clinician– educators. 1–5 Teaching skills programs have been shown to be effective,6–18 and considerable progress has been made in increasing their availability in the past 15 years. However, according to a recent national survey, only 39% of teaching hospitals have ongoing faculty development activities in teaching skills for their department of medicine faculty, and, on average, fewer than 50% of their faculty participate.19

TS프로그램에서 사용되는 교수법 중 흔한 것으로는 강의, 토론, 원격교육, 코칭, 스킬연습(실습)이 있으나 성찰을 사용한다고 보고한 결과는 적다.

Among teaching skills programs that include more common teaching approaches (lecture, discussion, distance learning, coaching, and skills practice),6–11,16,20 few report using reflection.6–8 

성찰이란 한 사람의 경험에 대해 생각/감정/신념/행동을 인식하고 의식적으로 해석을 위해 주의를 기울이는 것이다.

Reflection is defined as giving conscious attention to one’s interpretations of expe- rience through awareness of thoughts, feelings, beliefs, and behaviors.21

TS는 임상가-교육자의 학생/환자/동료에 대한 태도/신념/행동에 대한 변화를 향상시키고자 설계되었다. 프로그램의 목표는 다음과 같다.

The TS portion is designed to promote change in clini- cian-educator attitudes, beliefs, and behaviors towards learn- ers, patients, and colleagues. Program goals are to enhance participants’ 

• (1) teaching effectiveness, 
• (2) professional ef- fectiveness beyond teaching, 
• (3) teaching enjoyment, and 
• (4) learning effectiveness.

프로그램 설계

Program Design

프로그램 구조: 다음에 대한 지속적 기회의 제공

The program structure assists learning by providing ongoing opportunities for 

• (1) 관계 개발과 협력을 통한 참가자와 퍼실리테이터 간 신뢰 구축
  building trust among participants and facilitators through relationship development and collabora- tion, and for 
• (2) 관찰-실습-수업 내 TS적용-성찰 의 사이클
  cycles of observing, practicing, and applying teaching skills in the classroom and in work settings, and reflecting upon these experiences. 

The program runs from Sep- tember to June each year, for 3.5 hours weekly. Participants spend the majority of this time in stable working groups that include one or two facilitators and four to eight participants.

종합적 목표

The program’s overall learning goals are for participants to experience, value, and improve skills in 

• (1) 자기주도학습과 자아발견의 촉진
  facilitating self- directed learning and self-discovery, and 
• (2) 협력적, 지지적, 그러나 도전을 불러일으키는 학습환경 만들기
  creating a col- laborative, supportive, yet challenging learning environ- ment.

내용 영역

Seven content areas are addressed in individual sessions, or modules, which are five to seven weeks in duration. Each module builds upon and incorporates skills learned previ- ously. For each, specific learning objectives are provided, to- gether with targeted readings.

Content areas include: 

• 성인학습 개념 Adult learning concepts 
• 시간 관리 Time management 
• 피드백 제공과 피드백 끌어내기 Feedback provision and elicitation 
• 소그룹 리더십과 참여 Small-group leadership and participation 
• 환자-의사 소통 Physician–patient communication 
• 임상상황에서 가르치기(precept) Precepting in clinical settings 
• 강의 Lectures 
• 팀 내에서 리더십과 운영 Leadership and management of work teams

기본적 교육 전략: 다음의 병렬적 프로세스

A fundamental educational strategy for the program is the implementation of a parallel process whereby 

• 퍼실리테이터가 참가자들이 학습할 스킬을 정함(model)
  facilitators model the skills that are being learned by program partici- pants, 
• 참가자와 퍼실리테이터의 신뢰 구축
  develop trust among themselves, and 
• 스스로의 지식/태도/기술을 바탕으로, 경험, 자기평가, 피드백을 통한 협력적 작업
  use experience, self-appraisal, and feedback to work collaboratively on their own knowledge, attitudes, and skills.

교육 방법

Educational methods used across content areas include 

• 정보제공 in- formation provision (readings, demonstration, presenta- tions), 
• 성찰을 동반한 경험학습 experiential learning with reflection (role-play, sim- ulated learners, real-life applications, and videotaping, all of which are learner centered and self-directed, and involve self-appraisal, feedback, problem solving, and discussion), and 
• 자기-인식 시간 personal awareness sessions (sharing of meaningful ex- periences with emotional content).

단일 모듈에 관한 설명

Description of One Module (skip)

The feedback module illustrates how structural components, learning goals, parallel processes, and specific educational methods are applied to a content area to support learning (see Figure 1). 

• Prior to this module, participants have been introduced to the concepts of adult learning. 
• The first of the five sessions in this module begins with videotaping each participant while he or she is providing feedback to a standardized learner. 
• A demonstration follows, from which participants identify those behaviors that are more or less effective. 
• Discussion then bridges to a didactic summary of core concepts and skills that incorporate adult learning concepts. A syllabus names expected participant outcomes and contains selected readings, a detailed skills glossary, and scenarios for skills practice. 
• Participants then observe their videotapes, self-assess, get feedback from the facilitator and each other, and identify learning strengths, needs, and resources for improving their skills throughout the module.

The first hour of most subsequent small-group sessions is reserved for the participants to share meaningful aspects of their professional and personal lives. 

• These personal awareness sessions utilize a process described by Novack and colleagues.27 
• The emphasis of these unstructured sessions is to focus on feelings with the chance to observe and practice active listening and emotion-handling skills (not interrupting, validating and empathizing with feelings). 
• The reflection and self-disclosure that occur often help participants to recognize and address attitudes, beliefs, and feelings that influence their capacity to use new skills and concepts. 
• In addition, these sessions reduce the sense of isolation that so often accompanies the professional life of a clinician–educator.28

In the skills session that follows, participants describe recent or distant real-life experiences with feedback. 

• Group members help their fellow participants identify accomplishments, learning needs, and ways to address them. 
• Participants choose resources for their learning, such as discussion of readings, problem solving, solicitation of other members’ thinking and experience, skills practice (usually in role plays based upon self-selected situations), or observation of videotapes. 
• They also direct their learning by asking for specific feedback about their performance. 
• Personal reflection and learning may occur if they also explore related attitudes and feelings.

Participants identify their progress in providing effective feedback and new learning needs based upon their selfappraisal and others’ feedback. 

• There is time for two or three participants to go through this process in a single session. 
• Usually, more than one participant’s needs are met in learning activities that focus upon on the needs of one participant. 

A self-summary of significant learning completes each session and informs planning for the next week.

Among participants, providing “negative” feedback is universally identified as difficult. 

• In addition to practicing skills, individuals are helped to recognize and explore their thoughts and feelings about providing negative feedback and to hear others’ perspectives. 
• They also experience other members’ support and empathy. New insights and motivation for change occur.

Throughout the module, a parallel process is applied. 

• Facilitators use effective feedback skills and support learnercentered participant discovery and learning while they lead the experiential and reflective activities. They keep the group focused on each individual’s stated needs, and help individuals build relationships and learn from each other. 
• Participants observe these skills, and also have direct experience with the methods as learners. 
• Following each session, co-facilitators of each small group use reflective learning by meeting to talk about their co-facilitation, their beliefs and feelings related to challenges encountered, and alternative ways to respond. They also plan for the next session.

The final feedback session includes 

• videotaping each participant providing feedback to a standardized learner, 
• reviewing these videotapes (as in the first session), 
• summarizing participants’ learning, and 
• planning for future applications. 

Group members explore their shared experience and the relative helpfulness of the learning and facilitation methods, and complete an evaluation instrument. 

At the end of the module, all facilitators meet as a team, share new insights, and use the verbal and written input from the participants to plan for upcoming modules. A module on small-group leadership, participation, and process follows that offers opportunities for continued practice and application of feedback skills.

METHOD

131명의 TS프로그램 참가자와 131명의 비-참가자

All 131 TS program participants and 131 program nonpar- ticipants between 1988 and 1996 were recruited for the present study.

Design and Methodology

사전-사후 연구 설계. 일부 post-only 연구설계

A pre–post study design with comparison group measured changes in participants’ and nonparticipants’ self-assessments of perceptions and skills, and a post-only study design with- out a comparison group measured the participants’ assess- ments of programmatic components.

Outcome Variables, Instruments, and Measures

개인 수준 성과변인

Individual outcome variables.

• 교육 효과성 Teaching effectiveness, measured as skill levels for deter- mining learner needs, actively involving learners, lectur- ing, small-group teaching, one-on-one teaching, teaching in the presence of the patient, giving feedback, evaluating learners, and global teaching 
• 전문직으로서의 효과성 Professional effectiveness other than teaching, measured as skill levels for working in groups, time management, and administration 
• 교육 즐김 Teaching enjoyment 
• 학습 효과성 Learning effectiveness, measured as self-directed learning competence, a mean score of nine items assessing individ-ual self-perceptions as a nondependent learner, the ability to relate collaboratively with peers and teachers as helpers, an understanding of the assumptions of self-directed learn- ing, and the ability to utilize the various stages of the self-directed learning process.

프로그램 수준 성과변인

Program evaluation outcome variables.

• 전반적인 프로그램 질 Overall program quality 
• 교육법, 퍼실리테이션, 학습환경 Educational methods, facilitation, and learning environment 
• 참여의 교육적, 전문가적 능력에 대한 효과 Impact of participation on teaching and professional abilities.

RESULTS

Response Rate

Baseline Sample Characteristics

Outcome Variables at Baseline

Pre- and Postprogram Comparisons

Program Evaluation

프로그램 효과의 눈에 띄는 결과는 참가자의 교육스킬과 전문직스킬(professional skill)이 비참가자의 베이스라인 이상으로 올라갔다는 것이다. 

A noteworthy measure of this program’s effectiveness is that it brought participants’ appraisals of their teaching and professional skills up to the baseline level of nonparticipants’ self-appraisals of their teaching and professional skills; more of the nonparticipants had reported prior training in teach- ing skills.

또 다른 눈에 띄는 결과는 교육-즐김(teaching enjoyment)가 참가자 그룹 내에서 유지된 반면, 대조군에서는 감소한 것이며, 이는 프로그램이 임상가-교육자가 직면하는 문제에 대해서 완충 효과가 있을 수 있다는 것을 시사한다. Gerrity 등은 20개의 임상가-교육자의 커리어 만족도에 대한 연구에서 교육에서 오는 만족도를 상쇄시키는 2 개의 공통적 요인을 발견했는데, 하나는 교육과 진료 사이의 긴장(tension)이었고, 다른 하나는 교육스킬에 대한 의구심이었다.

Also remarkable is the finding that teaching enjoyment was maintained in the participant group while it declined in the comparison group, suggesting that the program may buffer some of the challenges faced by clinician–educators. In Gerrity and colleagues,31 review of 20 studies on clini- cian–educator career satisfaction, two commonly expressed factors that counterbalance the satisfaction derived from teaching were found to be the tension between teaching and patient care, and doubts about teaching skill.

참가자들이 성찰을 동반한 경험적 학습법을 정보-제공 방식보다 더 선호한다는 것이 고무되었다.

We were encouraged that participants rated experiential learning methods with reflection significantly higher than they rated information provision.

자기인식(personal awareness) 세션이 정보-제공에 비해서 낮게 나온 결과는 7명의 '전혀 유용하지 않음' 응답 결과를 제외하면 통계적으로 차이가 없다.

The lower rating of personal awareness sessions compared with information provision was no longer significant once seven participants who rated personal awareness sessions as “not at all useful” to their teaching were omitted from the analysis.

비록 상대적으로 낮은 평가에도 불구하고 자기인식(personal awareness)세션은 평균적으로 참가자들의 학습에 중간 이상 정도로 유용하다는 평가를 받았다. 우리는 이 세션이 참가자간 합력적, 지지적 관계를 형성하고 위험을 감수하게끔 해주는 데 중요하다고 생각한다. 또한 자기인식을 촉진시켜서 교육효과성을 향상시킬 수도 있을 것이다.

Notwithstanding their relatively lower rating, personal awareness sessions were rated, on average, as more than moderately useful to participants’ learning. We believe that they were important for promoting the collaborative and supportive relationships among our participants, enabling them to take risks,25 and to promote their personal aware- ness, which can enhance their teaching effectiveness.23

우리는 잦은 빈도로, 지속적으로, 집중적으로, 같은 참가자들에게 미팅을 하고, 또한 관계의 중요성을 강조한 것이 학습그룹 내에서 신뢰를 형성하는데 중요했다고 생각한다. 또한 각 세션의 길이는 스킬을 연습하고 다양한 수준의 성찰을 하기에 충분했으며, 이것들 각각만으로 가능한 효과보다 더 큰 효과를 얻을 수 있었다고 생각한다. 이러한 구조가 Schon이 reflective practice라고 말한 action과 reflection-on-action의 지속적 사이클을 가능하게 했으며, 프로그램 참가자들이 이러한 프로세스를 지속적으로 사용할 수 있게끔 해주었다.

We believe that frequent, ongoing, intensive meetings among the same individuals, with an emphasis on relationships are important to achieving trust in learning groups. In addition, the length of each session allows for time to engage in both skills practice and multiple levels of reflection, which may have more impact than any of these alone. This structure also facilitates suc- cessive cycles of action and reflection-on-action described by Schon33 as reflective practice, and could promote ongoing use of this process by program participants.

우리는 성찰학습의 성과가 있었는지는 알 수 없다(insights and reassessment of assumptions that, according to Mezirow,34 result in a shift in perspective, or transforma- tional learning 등). 그러나 참가자들이 프로그램을 마치고 나갈 때 관계의 중요성과 태도/신념/감정에 대한 성찰의 중요성, 그리고 학습자와의 연결성이 높아질 가능성, 학습자의 자기주도성에 대한 지지, 학습자들이 비판적 성찰이 가능해게 도와주는 것 등을 알게 되었을 것이다. 이것은 관점의 변화를 가져오며, 궁극적으로 구체적 스킬의 향상보다 더 중요하다.

We also do not know whether reflective learning outcomes (insights and reassessment of assumptions that, according to Mezirow,34 result in a shift in perspective, or transforma- tional learning) occurred. However, we speculate that par- ticipants leave our program with 

• an increased valuing of relationships and of reflection on attitudes, beliefs, and feel- ings, and 
• an increased likelihood of connecting with learners, of supporting their self-directedness, and of helping them be critically reflective. 

These anticipated shifts in perspective may ultimately be more important than enhancement of specific skills.

Acad Med. 2004 May;79(5):469-80.

Faculty development in teaching skills: an intensive longitudinal model.

최고의 FDP를 인정해 줄 시기 (Med Teach, 2015)

Is it time to recognize excellence in faculty development programs?

David M. Irby, Patricia S. O’sullivan & Yvonne Steinert

FP은 피할 수 없는 것이나 종종 그 가치가 절하되는 기관적 자원이다. 교수의 역량과 조직의 활력을 진전시키는 것이 필수적

Faculty development is an indispensable and often under- valued institutional resource. Yet, it is essential for the advancement of faculty competence and organizational vitality.

FD는 다음의 것을 뜻한다. FD의 목표는 교수들로 하여금 다양한 학문적 역할을 잘 할 수 있도록 하고, 활력과 수월성을 갖춘 조직을 만드는 것이다.

Faculty development refers to "all activities health professionals pursue to improve their knowledge, skills and behaviors as teachers and educators, leaders and managers, and researchers and scholars (Steinert 2014)". The goal of faculty development is to empower faculty members to excel in their varying academic roles, and to create organizations characterized by vitality and excellence (Wilkerson & Irby 1998; McLean et al. 2008).

우수한 FD평가를 위한 작업은 2015년 Third Annual International Conference on Faculty Development in the Health Professions과 함께 열린 APMEC에서 시작되었으며, 23명의 교수개발자들이 참여하여 다음의 여섯 가지 만듬.

Work on the creation of criteria for excellence in faculty development began at the Asia Pacific Medical Education Conference, which was held in conjunction with the Third Annual International Conference on Faculty Development in the Health Professions, in Singapore in February 2015. Twenty-three faculty developers from aroundthe world participated in a small group process generating sixgeneral criteria for excellence in faculty development. 

(1) FDP는 인증받은 전문직 대학에서 시행되어야 하며, 조직의 미션과 목표와 합치되어야 하며, 그 미션을 달성하

는데 필요한 지원을 받아야 한다.

(2) FDP는 조직적, 체계적으로 설계되어야 하고, 근거에 기반해야 하고, 교육, 리더십, 학술역량의 향상에 초점을 두어야 한다.

(3) FDP는 넓고, 깊고, 다양한 접근법을 제공해야 하며, 학습기회의 장기적 진전이 되어야 한다.

(4) FDP는 FD에 전문성을 가진 교수가 진행해야 하며, FD를 제공할 수 있는 기술을 가진 개인의 수를 확장시킬 수 있는 능력이 있어야 한다.

(5) FDP는 지속적인 프로그램 평가를 수행해야 하며, 개인, 조직에 대한 영향력을 평가하고, 가능하다면 지역사회에 대한 영향도 평가해야 한다.

(6) FDP는 FD 및 교수-학습의 혁신, 그리고 관련 학술역량을 촉진해야 한다.

(1) The faculty development program takes place in an accredited professional school, is aligned with organiza- tional mission and goals, and receives the support needed to achieve its mission. 

(2) The faculty development program is systematically designed, evidence-based, and focused on improving educational practice, leadership and scholarship. 

(3) The faculty development program offers breadth, depth, diversity of approaches, and longitudinal progression of learning opportunities. 

(4) The faculty development programis conducted by faculty members with expertise in faculty development and builds capacity by expanding the number of individuals skilled in offering faculty development. 

(5) The faculty development program engages in ongoing program evaluation and examines impact on individuals, organization and where possible the community. 

(6) The faculty development program promotes innovation and scholarship in faculty development, and teaching and learning.

Med Teach. 2015 May 29:1-2. [Epub ahead of print]

Is it time to recognize excellence in faculty development programs?

교수개발에서 프로젝트의 진정한 가치(Acad Med, 2010)

The Essential Value of Projects in Faculty Development

Maryellen E. Gusic, MD, Robert J. Milner, PhD, Elizabeth J. Tisdell, EdD, Edward W. Taylor, EdD, David A. Quillen, MD, and Luanne E. Thorndyke, MD

교수개발에는 좁은 개념과 넓은 개념이 있지만, 교수 개발에 대해서는 필요하며 긍정적이다라는 것에 대해서는 보통 동의한다. FD는 다음과 같이 정의된다 FD는 또한 교수에게 활력을 불어넣고 조직을 새롭게 하기 위한 전략이다.

There are both narrow and broad conceptions of faculty development in the literature and the academic medical community, but it is generally agreed that developing faculty is both positive and necessary. Faculty development has been defined as “any planned activity designed to improve an individual’s knowledge and skills in areas considered essential to the performance of a faculty member.”1 Faculty development is also a strategy to promote faculty vitality and institutional renewal.2

비록 Bland가 교수의 다양한 역할 책임(의사, 연구자, 행정가, 교사)에 대해서 블루프린트를 발전시켰지만 한 기관의 모든 미션을 아우르면서 교수의 니즈에 따라 운영한 종합적인 FDP의 구조와 성과에 대한 연구는 부족하다.

And although Bland9 advanced a blueprint to prepare faculty for their various role responsibilities (practitioner, researcher, administrator, teacher), there is little published information on the structure and outcomes of comprehensive faculty development programs that are responsive to the needs of faculty across all missions of an institution.10,11

펜스테이트 JFDP에서 프로젝트 평가

Evaluation of Projects in Penn State’s JFDP

참가자들은 프로그램 진행 중 개별 프로젝트를 정한다. 프로젝트를 고를 때는 교수의 학문적 관심을 반영하며, 기초 혹은 임상 연구를 포함하 수도 있고, 연구비 준비, 새로운 임상 서비스 라인 생성, 교육 프로그램 개발 등도 포함될 수 있다.

Participants identify an individual project to work on during the program. The selection of a project reflects the faculty member’s academic interests and may involve basic and clinical research studies, grant preparation, creation of new clinical service lines, or development of educational programs.

프로젝트는 참가자들에게 있어서는 새로운 도전이 되는데, 참가자가 소속한 교실의 장이 승인해야 한다. 프로젝트의 목표는 현실적이여야 하며, 실현가능해야 하고, 중요한 것이어야 한다.

The project is expected to be a new venture for the participant, and it must be approved by the participant’s departmental chair. The goals of the project must be realistic, feasible, and significant.

시니어 교수가 참가자들의 가이드로서 선정되어 프로젝트 작업을 지원한다. 'functional mentoring'의 원칙에 입각하여, 멘토링 관계는 프로젝트를 중심으로 형성되며, JFDP프로그램과 프로젝트의 기대성과와 타임라인에 따라 이뤄진다.

A senior faculty mentor is selected for each participant to guide and support project work. Using the principles of functional mentoring,18 the mentoring relationship is centered around the project and driven by the expected outcomes and timelines of the project and the JFDP program.

설문지와 CV상에서 학문적 성과물을 찾아서 Morzinski and Schubot의 프레임워크에 따라 분석했다. 반구조화 면접.

The academic products reported on the survey and on curricula vitae were analyzed using a framework adapted from Morzinski and Schubot.17 Semistructured interviews were conducted with six volunteer respondents, representative of all project types and stages. We then analyzed the transcripts of the semistructured interviews and the responses to the open- ended survey questions using a grounded theory approach19 to categorize the information and identify common themes. Codes were assigned and discrepancies resolved through discussionamong the investigators.

프로젝트 진행

Progress on projects

프로젝트를 분류하기 위해서 Glassick의 접근법을 활용하였다: 계획-시행-평가

To classify the status of projects, we used Glassick’s20 approach to scholarship as a guide to identify three stages of progress on a project: planning, implementation, and evaluation.

프로그램 참가자들의 학문적 진전

Academic progress of program participants

프로젝트의 효과에 대한 인식

Participants’ perceptions of project impact

실재하는 성과를 만들어냄

Producing tangible outcomes.

중요한 장점 중 하나는 새로운 스킬과 지식을 습득하게 하고, 그것을 잘 조직화하여 실재하는 학업적 성과를 달성하게 해주는 것이다. "문헌 좃와 프로젝트 준비에 익숙해졌다" "설문 설계에 익숙해졌다"

An important benefit of the project identified by participants in the JFDP is that it helped themto obtain new skills and knowledge and to organize their efforts to achieve tangible academic products. “became familiar with literature search and preparation for project” and “became familiar with survey design.”

참가 교수들은 새로운 지식과 스킬의 습득, 연구비를 따내고 논문을 마치고, 리더십 위치에 가고, 논문을 출판한 것 등을 성과로 보았다.

Participating faculty identified the acquisition of new skills and knowledge, completed grants and manuscripts, and leadership positions and publications as products of their participation.

커리어 발전(리더 혹은 집행부 보직 맡게 됨)도 있었다.

Additional outcomes included career advancement, such as appointments to leadership and administrative positions.

설문에서 많은 응답자들이 커리어 진전에 대해서 리더십과 관련된 성과를 기술했다.

In the survey data, many respondents highlighted leadership outcomes related to their career progression,

커리어의 포커스를 개발함

Developing a career focus.

참가자들은 프로젝트를 학문적 포커스를 개발하고 노력을 집중하는데 중요한 도구였다고 응답

Participants viewed the project as an important tool to help themconcentrate their efforts and develop an academic focus.

프로젝트가 커리어의 포커스에 대해서 중요한 것으로 "내 연구의 새로운 문을 열어주었다" 가 있음.

The importance of the project on developing a career focus was revealed in survey responses such as “The project has opened a new door for my research”

만약 프로그램 기간의 성과가 없었더라도 프로젝트 작업을 하는 것의 가치를 인정했으며, 왜냐하면 학문적 커리어에 포커스를 제공했기 때문이라 했다.

Participants perceived value in working on a project even if it did not come to fruition during the program, because the project provided a focus for their academic career.

FDP에서 프로젝트의 핵심 특징

Key Features of Projects in Faculty Development Programs

우리의 결과는 개인들의 학문적 성과를 이끌어냈음을 보여준다. 더 나아가 교수들은 프로그램이 끝나고도 프로젝트를 하면서 academic career의 focus를 개발했다.

Our findings indicate that work on projects within a comprehensive faculty development programleads to individual academic achievements. Further, faculty may continue to work on projects past the completion of the programand develop a focus for their academic career.

이는 교육 관련 FDP에서 프로젝트의 유용성에 대한 연구를 확장한 것이다. 학문적 발전에서 프로젝트가 효과가 있다면 그 특징은 무엇일까?

These findings expand the work of others who have demonstrated the utility of projects in educational faculty development programs.3,4,7,8 Given the impact of projects on academic development, what are the key features of projects in faculty development programs that lead to academic achievement?

프로젝트 작업의 이점은 다음과 같다.

The benefits of project work can be summed up as follows: 

• 지식 기술 개발 Knowledge and skill development through application
• 커리어-포커스 발견 Identification of a career focus 
• 인정 Recognition within the department, institution, and profession 
• 학문적 성취 Scholarly achievement and academic productivity 
• 커리어 발전속도 촉진 Facilitation of career advancement (promotion, leadership position)
• 시간 확보를 정당화해줌 Justification of protected time for academic work 
• 멘토링 Development of mentoring relationships 
• 협력적 네트워크 Formation of collaborative networks

FDP에서 프로젝트는 학습자들로 하여금 프로젝트에서 얻은 지식과 기술을 교육과정에 적용하게 해준다. 프로젝트의 성과는 학습의 적용을 보여준다.

Faculty development programs can provide knowledge and allow practice of skills. Project work enables learners to transfer the knowledge and skills gleaned fromthe curriculumand apply these in the contextof their projects. The outcomes of their projects demonstrate the application of their learning.

학문적 포커스 차원에서 교수들은 학업 커리어를 비교적 미분화된 상태에서 시작한다. 그리고 어쩌면 그들이 도달하고자 하는 것과 해야 하는 것 사이의 균형에 대해서 모호해할 수 있다. 프로젝트는 새로운 잠재적 포커스를 찾는 '시운전(test drive)' 기회가 될 수 있다.

Faculty begin their academic careers relatively undifferentiated in terms of anacademic or scholarly focus and may be uncertain as to the balance of mission responsibilities that they wish to assume. Project work provides the opportunity to “test drive” a potential new area of focus.

따라서 노력을 집중하여 기관 차원에서 도움이 되는 결과물(새로운 교육과정)을 만들 수도 있고, 전문성을 인정받을 수도 있다(과목 디렉터로 임명됨)

Thus, concentrated effort results in a product (a new curriculum) that benefits the institution (a new course) and leads to recognition of expertise (appointment as course director). 

JFDP의 경험은 프로젝트, 아카데믹 포커스, 전문성 인정, 커리어 개발, 승진와 리더십 지위 임명 등의 관계를 보여준다.

Our experience in the JFDP demonstrates this relationship between project work, academic focus, recognition for expertise, and career advancement, including promotion and appointment to leadership positions.

프로젝트를 요구하는 FDP는 교수들로 하여금 그들의 일을 학문적 인 것으로 translate하게 해준다. 그러나 프로젝트를 그 scholarship이 가져올 명확한 기대에 따라 구조화하는 것이 필요하다. Glassick은 학문적 접근(scholarly approach)에는 여섯 개의 요소가 있다고 했다.

A faculty development programthat requires projects enables faculty to translate their work into scholarship. However, it is essential to establish a structure for project work with the explicit expectation that scholarship will result. Glassick20 defined a scholarly approach as having six components:

• clear goals,
• adequate preparation,
• appropriate methods,
• significant results,
• effective communication, and
• reflective critique.

Glassick’s principles are embedded in the JFDP.

교수들은 시간 활용에 있어서 서로 상충하는 요구를 받으며, scholarly work에 투자할 시간이 없을 수도 있다.

Faculty face competing demands on their time and may not be able to devote effort to scholarly work.14 

프로젝트에 투자할 확보된 시간을 요구하는 FDP에 참여하는 것은 scholarly work를 촉진한다. JFDP는 시간과 노력의 공식적 헌신을 요구하며, 참가자가 이렇게 시간을 쓰도록 하게 주임교수 혹은 분과장 교수의 동의를 요구한다.

Participation in a faculty development programthat requires protected time to work on a project facilitates scholarly work. The JFDP requires a formal commitment of time and effort (at least four hours per week) and agreement to this release time by the participant’s chair or division chief.

교수의 성공은 더 경험이 많은 동료의 충고와 지지에 따라 달라질 수 있다. 그러나 교수들은 멘토링이나 지지를 얻는데 차이가 있다. functional mentoring의 개념에 따라서 JFDP의 프로젝트는 멘토를 찾는데 초점을 두고 멘토링 관계를 만든다.

Successful faculty depend on the advice and assistance of more experienced colleagues.24,25 However, they may have mixed experiences in securing mentoring and obtaining the support they need.26 Using the concept of functional mentoring,18 the project in the JFDP is the focal point for identifying a mentor and establishing a mentoring relationship. Project work provides the focus for mentoring.

Best Practices

FDP 프로젝트는 다음을 따르길 권고한다.

To achieve the benefits of project work for faculty, we recommend the following framework for incorporation of projects within faculty development programs:

• 프로젝트에 쓸 확보된 시간을 제공하라 Provide protected time for project work 
• 프로젝트를 교수가 투입하는 노력과 맞추라 Ensure projects are aligned with faculty effort assignments 
• 프로젝트에 대한 학문적 접근의 프레임워크 구축 Establish a framework for a scholarly approach to projects 
• 프로젝트 성과에 대한 공식적 기대 제공 Provide a formal expectation for scholarship as a project outcome 
• 멘토링과 프로젝트에 관한 참가자의 니즈에 초점 Focus mentoring on participants’ needs for their projects 
• 멘토링 관계의 모니터링, 멘토 지원 Monitor the mentoring relationships; provide support for mentors 
• 프로그램 기간 내의 진전을 위한 지원 Provide support during the programto ensure progress 
• 참가자들에게 명확한 성과를 요구 Require participants to define explicit outcomes 
• 프로그램 기간 내에 진행상황 모니터링을 위한 타임라인과 마일스톤 설정 Establish timelines and milestones during the programto monitor progress 
• 진행상황 검토와 발표를 위한 기회 제공 Provide opportunities for presentation and review of progress 
• 성공을 인정해줌 Recognize success (formal presentation, certificate, celebration event) 
• 성과에 대한 평가 Evaluate project outcomes

17 Morzinski JA, Schubot DB. Evaluating faculty development outcomes by using curriculum vitae analysis. FamMed. 2000;32:185–189.

18 Thorndyke LE, Gusic ME, Milner RJ. Functional mentoring: A practical approach with multilevel outcomes. J Contin Educ Health Prof. 2008;28:157–164.

The essential value of projects in faculty development.

의학교육에서 교수개발, 교사 훈련과 교사 인증: 20년 후는 어떨까? (Med Teach, 2000)

Faculty development, teacher training and teacher accreditation in medical education: twenty years from now

DAN E. BENOR

Recanati School for Community Health Professions, Ben-Gurion University, Israel

의학교육에 이미 영향을 미치고 있는 사회적 요인 중 (   )은 점차 그 영향력이 더 커질 것이고, 누군가는 교육의 개인별 맞춤화와 강력한 자기-실현의 개념으로서 강조할 것이다. 의학을 가르치는 것은 더 이상 학생에게 흠잡을 데 없는 '구루'로서 보여지는 것은 아닐 것이다.

Among the sociological factors which already influence medical education and will influence it more and more, one may note the individualization of education as well as the powerful concept of self-actualization (Williams et al., 1999). Medical teachers will no longer be perceived by students as `gurus’ whose wisdom is irreproachable (Hardy & Conway, 1988).

더 나아가 사회는 의학교육 목표를 설정하고 우선순위를 정하는데 더 많이 관여할 것이다. '관리 의학교육(Managed medical education)'는 우리가 좋든 싫든 눈 앞에 와있다.

Furthermore, society will be involved more and more in setting and priori- tizing objectives for medical education. `Managed medical education’ is around the corner, whether we like it or not (Hafferty, 1999).

미래 의과해가

The future medical school

병원 밖에서 보내는 시간은 매우 늘어날 것이며, 병동에서 보내는 시간보다 더 많을 것이다. 학생들은 스스로의 학습 속도를 조절할 것이다. 현재와 같은 구조의, 시간이 제한된 교육과정은 사라질 것이다.

The time spent outside the hospital will be considerable, and may exceed the time on the wards. Students will pace their own learning (Ludmerer, 2000). The structured, time-restricted curriculum as we know it today will probably vanish.

그러나 의과대학의 두 가지 역할은 유지될 것이다. 하나는 질관리이다. 탈-중앙화된 학습은 개별 학생들로 하여금 자기자신의 전문가적 기술을 스스로의 속도에 맞춰 개발할 수 있게 해주며, 학습의 수단을 정하게 해준다. 이는 강력한 질-관리 메카니즘을 필요로 할 것이다.

Two roles of the medical school as we know it will, however, endure. One is quality control (Kamien, 1996; Kasselbaum et al., 1997). Decentralized studies will allow the individual student to develop his or her professional skills at he or she’s own pace, choosing a preferred modality for learning. This necessitates a strong quality-control mechanism.

또 다른 기능은 - 지금은 이차적인 목표이지만 - 도덕적 가이드를 제공하는 것이다. 다른 사람을 하나의 온전한 인간으로서 바라볼 수 있는 의사를 길러내는 데에는 엄청난 노력이 든다. 더 나아가 삶의 정서적, 심리사회적 문제를 해결하기 위해서는 더 많은 노력이 필요할 것이다. 학생의 스스로의 불안과 딜레마, 윤리적 불확실성에 대한 관심도 더 많이 필요할 것이며, 그 어떤 것도 지금보다 더 흔하고 더 심각할 것이다.

The other role, which is presently a secondary mission in spite of much rhetoric, is moral guidance. A lot of effort will be needed to educate a humane physician who can relate to another human being as a whole. Moreover, much effort will be needed to address the emotional and psychosocial problems of life, which will prevail. No less attention will be required to relate to the student’ s own anxieties, dilemmas and ethical uncertainties, which will be incomparably more frequent and more solemn than today.

미래의 의학교육자

The future medical teacher

미래 의학교육자(Medical Teacher)의 첫 번째 역할은 학생들에게 직접 가르치기 보다는 스스로 배울 수 있도록 기회를 제공하고 적절한 자원이 있는 곳을 가르쳐주는 것이다.

The prime role of the medical teacher of the future will be to provide his or her students with learning opportunities and to direct them to the proper resources rather than to `teach’ 

교사는 지금과 같이 지식의 일차적 출처로 남지 않을 것이며, "나도 잘 모르니 같이 찾아보자"라고 말할 수 없는 교사는 살아남지 못할 것이다.

Teachers who try to remain in the present position as the primary source of knowledge, and who will not be able to say ª I don’ t know; let’ s look it upº , will not survive.

두 번째로, 미래 의학교육자는 학생들의 미래의 삶의 도덕적, 정서적 미로로부터 학생들을 이끌 수 있어야 한다.

Second, the future medical teacher will have to be able to guide the student through the moral and emotional labyrinth of future life.

세 번째로, 미래 의학교육자는 학생들의 수행능력을 정교한 평가도구로 평가할 수 있어야 한다.

Third, the future medical teacher will have to be able to evaluate students’ performance by applying sophisticated evaluation measures.

교사의 유형은 다양한 의학교육자의 역할에 따라 구분될 것이다.

Instead, it may be envisaged that the differentroles of the medical teacher of the future will be split betweenseveral types of teachers

더 나아가 이러한 유형의 교사는 더 인간적이고, 더 돌봄을 중시하고, 의사소통을 중요시하는 명백한 사회의 요구로부터 나타난다. 미래에는 지금과 같은 불분명한 불만족이 보다 뚜렷해지고, 명확해질 것이다.

Moreover, this kind of teacher will emerge froman explicit societal demand for more humane, caring and communica- tive medicine. The presently murmured dissatisfaction will become blunt, clear and exacting in the future (Neufeld et al, 1998, 2000; Cohen, 1998).

However, we will be able to cultivate this kind of medical teacher if, and only if, we ascribe appropriate status to the role. This, in turn, depends also upon the training with which they will be provided, its depth, earnestness, profes- sionalism and prestige.Teacher training and faculty develop- ment in the future, therefore, will be of unprecedented importance.

오늘날의 교사훈련과 교수개발

Teacher training and faculty development today

지난 수백년간 교육은 과학이나 임상 전문가의 한 부분으로 인식되어왔다.

For centuries teaching expertise was assumed to be a part of clinical or scientific expertise (Irby, 1993;Wilkerson & Irby, 1998).

20세기 중반이 지나서야 의과대학에서의 교육이 내용전문성과 무관한 것임이 인정되기 시작했다.

Only in the second half of the 20th century has teaching in a medical school been acknowledged as a skill which is independent of content expertise.

그러나 교수개발의 개념은 더 천천히 전파되었다. 1977년 72개의 의과대학에서만 교수개발을 통한 교육 개선을 목적으로 하는 의학교육단위(medical education unit)가 있었다. 이는 그 당시 존재하던 의과대학의 4% 수준이다. 더 나아가 이 소수의 의과대학 중에서도 교수들 중 매우 일부만이 그런 프로그램에 참여했다.

The concept of teacher training and faculty develop- ment, however, was propagated slowly. By 1977 only 72 medical schools had established medical education units that attempted to improve teaching through teacher educa- tion (Jason & Westberg, 1982). This constitutes less than 4% of the medical schools which existed at the time. Moreover, even in these scarce schools only a small minority of the faculty members participated in any form of faculty development activities (idem).

교수개발 프로그램이 확산되기 시작한 것은 1970년대와 1980년대에 행동주의 이론이 확산되면서부터이다. 그 당시 학교들은 단기 워크숍, 세미나, 마이크로티칭 등을 통해서 교사들을 훈련시키기 시작했다.

The proliferation of teacher training programmes started in the late 1970s and the 1980s, alongside the dissemina- tion of behavioural theories. At that time schools started to train their teachers through short workshops, seminars and microteaching techniques (Wilkerson & Irby, 1998).

이런 행동주의적 접근법은 '저-추론(low inference)' 활동으로 강조되었으며, 이는 교사의 교실 내 행동에 대한 것임을 의미한다. 이 행동에는 목소리의 톤을 조절하는 것이나, 발표의 명확성, 요약하는 전략, 주요 개념을 강조하는 법, 보조자료의 활용 등이 있다. '교사 훈련'이라는 용어는 행동주의적 접근과 맞는다.

The behavioural approach has also stressed what was named `low inference’ activities (Murray, 1983), meaning teachers’ behaviours in the classroom. These behaviours range from time management to tone of voice, clarity of presentation, strategies of summing up and reinforcing major concepts, using teaching aids and so on. The term`teacher training’ concurred with the behavioural approach.

학생 중심으로 변화하기 시작한 것은 1980년대 인지 이론이 발전한 것과 일치한다. 교수개발활동의 초점이 변화하기 시작한 것인데, 의미의 적극적 구성과 개념 구조의 형성을 강조했다(construction of meaning, conceptual construct)

The shift to student orientation coincided with the flourishing of cognitive theories of education in the 1980s.A change in the focus of faculty development activity had occurred: the emphasis was now laid upon active construc-tion of meaning and the creation of conceptual constructs(Bruer, 1993;Wilkerson &Irby, 1998).

The teacher’s mission was shifted from transferring factual knowledge to assisting students to discover hidden truths, to assimilate emerging concepts, and to put these into use for further learning (Shulmann, 1987). In other words, the orientation took another shift from teaching to learning. Under this paradigm students’ satisfaction and success had become a major component in assessing teachers’ performance.

 Various new training formats have emerged, in addition to the more familiar short workshops and seminars. These included mentoring, counselling,discussion groups and linking teachers with one another for non-threatening, sincere feedback (Skeff et al., 1997).

1990년대에는 교수개발활동이 단순한 훈련에서 더 나아가 개인과 조직의 성장과 발전의 과정으로 확장되었다. '교수개발'이라는 용어가 단순한 레토릭에서 벗어난 것은 바로 그 시기였다. 의학을 가르치는 사람이 된다는 것은 단순히 스킬을 익히는 것이 아니며, 이것은 교사, 학생, 직원으로 구성된 아카데믹 커뮤니티에 사회하되어가는 과정이라는 것이다.

The last decade of the century witnessed the first attempts to broaden the scope of faculty development activity from merely training into a process of personal and institutional growth and development. It was only then that the term `faculty development’ ceased to be simply rhetoric. It was argued that becoming a medical teacher is more than the acquisition of appropriate skills; instead, it is a socialization process into the academic community which comprises teachers, students and staff support personnel (Wilkerson & Irby, 1998). 

초보 교사는 더 노련한 교사와 지내면서 자기 자신의 기관 내 역할(institutional profile)을 만들어간다. 이러한 학습은 새로운 형태의 OTJ 학습이며, 교육 경험을 쌓아가며 시도와 실패 끝에 배우는 것과는 매우 다르다.

The neophyte teacher rubs shoulders with the older ones in shaping his or her own institutional profile (Benor & Mahler, 1987; Evans, 1995). Such learning of educational matters is a new sort of on-the-job learning, which is very different from learning by trial and error from teaching experiences.

현존하는 가장 효과적인 FDP는 'multiphasic'하다고 불리기도 한다. 여기서는 다양한 교육적 개념과 실천이 교사의 발달단계에 맞춰 서로 달라야 한다고 가정한다.

The most effective faculty development programmes which are currently comprehensive prevalent, programmes, however, sometimes are called the also `multiphasic’ (Bland & Stritter, 1988; Benor & Mahler,1989; Hitchcock et al., 1993; Quirk et al., 1998; Wilkerson& Irby, 1998). They assume that distinct educational concepts and practices are suitable for different stages of the teacher’ s development.

일부 대학에서 초기에 시도한 것은 학생들의 평가이용하는 것이며, 이것이 교수들이 교육을 개선하게 동기부여를 할 것이라고 그저 가정한 것이다. 그럼에도 이것은 교사-중심에서 학생-중심으로의 태도 변화의 전주곡이 되었다. 그러나 교사의 포트폴리오에 학생들의 평가가 포함되는데는 추가적인 20년 혹은 그 이상의 시간이 필요할 것이다.

These early attempts were accompanied in a few schools by students’ ratings of teaching, which were supposed to affect teaching merely by motivating teachers towards improvement (Eble & McKeachie, 1985). Nevertheless, these modest preludes signify the beginning of a major atti- tudinal change in education from teacher to student orienta- tion. It would take, however, another two decades or so to make students’ ratings of teaching a required component of the teacher’s portfolio.

초보 교사는 학계와 소속 기관의 커뮤니티에 사회화되어야하며, 이를 통해서 기관의 교육철학과 접근을 이해하고 그것에 동화되어야 한다. 일단 커뮤니티에 흡수되고 나면, 새로운 교수들은 기본적 교육 도구를 습득해야 하며, 교수학습의 이론을 대략이라도 접해야 한다. 더 경험이 많은 교사는 교육의 구체적인 측면에 대해서 추가적 훈련을 필요로 할 수 있다. 마지막으로 교육 리더는 교육과정 전체 혹은 일부를 관장하는 사람으로서, 의사결정자의 위치에 있을 경우 리더십은 물론 교육적 추론에 대해 또 다른 것을 알아야 한다.

The neophyte must be socialized into the academic and institutional community, both to understand and to assimilate the institutional educational philosophy and approaches. Once absorbed into the community, the new faculty member needs to acquire basic educational tools as well as a glance at the theory of teaching and learning. The more experienced teacher may need additional training in specific aspects of education, such as evaluation techniques, in order to develop further his or her skills, strengthen weaknesses and experiment with variations. Finally, educational leaders, who govern the medical school curriculum or parts of it, and who are in a decision-making position, need yet another kind of exposure to educational reasoning as well as to issues of leadership. A

따라서 포괄적, 다-시기적 접근법은 교육의 특징은 형태가 아니라 그 순서에 있는 것이며, 피훈련자의 'bite size'에 따라 점진적으로 차이가 난다. 다른 말로는 교육자들을 교육시키는 것이도 교육 원칙이 적용되어야 한다.

The unique- ness of the comprehensive, multiphasic approach is, therefore, not in the format but rather in the sequencing of the training, which is gradual in accordance with the `bite size’ of the trainee. In other words, the educational principles have been applied, at last, to education of the educators.

포괄적 교수개발 모델: Ben-Gurion 대학의 사례

A model of comprehensive faculty development: the case of Ben-Gurion University

오리엔테이션 시기에는 소그룹 활동 중심의 2일 워크숍을 한다.

This Orientation phase is a two-day workshop based on small-group activity. 

이 워크숍에서는 교육과정의 개괄과 승진과 테뉴어 정책에 이르기까지 학교 생활의 모든 측면을 다룬다. 이 프레임워크에서 참가자들은 학장과 핵심 교수들을 만나게 되며 학생도 만난다. 이 시기에서 기대하는 바는 태도의 변화이다. 새로운 교사들은 기관의 목적이 임의로 설정된 것이 아니며, 교육과정이 실제로 정해진 건강 요구에 대한 이해가능한 해결책임을 발견하게 된다.

The workshop then provides information on every aspect of the school’s life, from an overview of the curriculum to promotion and tenure policies. Within this framework the participants meet the dean and key faculty members, as well as students. The expected outcome of this phase is an atti-tudinal change. The new teachers discover that the institutional objectives are not arbitrary, and that the curriculumis indeed an understandable solution to definedhealth needs

두 번째 시기에는 '기초 교육 스킬'이라는 제목으로 3일짜리 집중적 워크숍을 한다.

The second phase, entitled Basic Instructional Skills, is an intensive three-day workshop. 

이 워크숍은 모듈 형태이며, 각 모듈은 단일한 교육 개념을 다루고 있다. 

The workshop is modular. Each module relates to a single major educational concept, such as 

• defining and formulating educational objectives, 
• selecting an appropriate teaching method from a wide-ranging menu, 
• preparing teaching materials and, finally, 
• evaluating attain- ment of the objectives.

세 번째 시기는 더 경험이 많은 교사들을 대상으로 설계된 것으로, 교육 프로그램의 모든 측면에서 다양한 활동을 제공한다. 

The third phase, designed for more experienced teachers, offers a variety of activities in all aspects of the educational programme. Among these are 

• improving lecturing skills, 
• raising the cognitive level of instruction, 
• writing test items, 
• designing clinical evaluation, 
• activating student participation in learning, 
• preparing audio-visual aids, 
• teaching physical diagnosis, 
• teaching communication skills, 
• tutoring problem-based self-learning groups and more.

2020년의 교수개발

Teacher training and faculty development in 2020

교수개발은 일상적인 것이 될 것이다.

Faculty development will become commonplace.

이것은 더 많은 대중(public)의 참여를 통해 달성할 수 있다. 이는 학교는 물론 개별 교사에 대한 인증절차까지 가져오게 될 것이다. 정부, 대학, 의료공급자는 더 비용-효과적인 의학교육을 원할 것이고, 결국 더 효율적인 의학교육자가 필요할 것이다.

This will be achieved through more involvement of the public in education (Neufeld et al., 1998, 2000), which may also bring about accreditation procedures of both schools and individual teachers. Governments, universities and healthcare providers will prescribe a more cost-efficient medical education (Hafferty, 1999) which, in turn, will require efficient medical teachers.

반대로, Medical teacher의 시간은 지금보다, 그리고 점차 더 귀중하고 비싼 것이 될 것이다. 따라서 Teacher training도 비용효과적이고 경제적이고 시간-효율적이고 간결해야 한다.

On the other hand, the time of medical teachers will be valuable, scarce and expensive, no less than today and prob- ably more so. Thus teacher training will also have to be cost efficient, economical, time efficient and thus concise. 

어떤 식으로든 이런 훈련이 'all or none' type이 되지는 않을 것이다. 다른 말로는 종합적, 다-시기적, 맞춤형 접근법이 될 것이다.

By no means will training be an `all or none’ type. In other words, a comprehensive, multiphasic, almost `hand tailored’ approach is indicated (Figure 2).

그러나 모든 medical teacher을 대상으로 하는 두 가지 훈련활동이 있을 것인데, 하나는 기관과 학계에 관한 오리엔테이션이다. 모든 신임 교수들은 그들의 교육적 책임과 경험이 어떠하든 소속 기관과 그 기관의 미션, 접근법, 방법에 익숙해져야 한다. 그들의 교육적 역할이 무엇이든, '큰 그림'을 볼 수 있어야 한다. 또한 그들 자신을 이러한 기관 전체의 맥락 안에서 인식할 수 있어야 한다.

There are, however, two training activities that will aim at all medical teachers. The first is an orientation to the institution and to the academic community. All new faculty members, whatever their educational responsibility and experience, must be acquainted with their own institution and endorse its educational mission, approaches and methods. In order to identify with their educational role,they have to have `the big picture’ , and to perceive themselves within this institutional context.

두 번째 공통 활동은 정보 수집에 필요한 모든 테크닉에 능숙해지는 것이다. 그 교수의 미래 역할이 무엇이든, 이 기술이 반드시 필요할 것이다. 20년 후 대부분의 전문직은 이 기술을 - 기관의 도움이 있든 없든 - 어느 정도로는 마스터해야 할 것이다. 이 교육훈련은 따라서 이 기술을 습득하여 학생들에게 전수할 수 있게끔 하는데 있다. 다른말로는 학생들이 어떻게 정보의 능동적 '수렵자'가 될 수 있으며, 어떻게 습득한 정보를 크로스-체크 할 수  있는지, 어떻게 비판적 평가를 할 수 있는지, 어떻게 사용할지 등이다.

The second common activity will be acquiring proficiency in all techniques of information retrieval.Whatever the future role of the faculty member may be, it will include this particular skill. It may be envisaged that most of the profes- sionals 20 years from now will master this skill to some extent, with or without institutional intervention. The training will be aimed, therefore, at acquiring the capability to transfer this skill to students. In other words, to teach students 

• how to be active `hunters’ of information, 
• how to cross-check the data obtained, 
• how to critically evaluate them, and, finally, 
• how to use them.

단순히 학습자원의 리소스로 역할하게 될 대다수의 교수들은 추가적 교육훈련이 필요하지 않겠지만, 나머지, 즉 '평가자' 혹은 medical teacher를 전문으로 하는 사람은 추가적 입문 교육이 필요하다.

The majority of the faculty who are specialists and will serve merely as resource people for the students may be exempted from further training, unless they are interested. For the rest, namely the `evaluators’ and the `real’ , career medical teachers, another introductory activity is indicated.

교수개발 시스템의 주 노력은 '진정한' 혹은 '직업' medical teacher를 대상으로 해야 한다. 정의상 이들이 교육훈련에 쏟을 시간이 더 많을 것이다. 첫 번째 공통시기가 지난 이후, 이들 교사는 교육 스킬의 집중 훈련을 받아야 한다. 다른 말로는 지식의 리소스가 아니라 학습의 촉진자 역할을 받아들이고 수행하기 위해서 배워야 한다.

The main effort of the faculty development system should be directed, however, at the fewer `real’ , or career, medical teachers. By definition they will have more time for training,since teaching is their main thrust. After the first common phases, these teachers will have to have intensive training in tutoring skills. In other words, they have to learn, to accept and to practise the role of promoters and facilitators of learning rather than that of a source of knowledge

이후, 이 분야에서 일정한 경험을 쌓은 다음에 직업 교사들은 성인학습 프로세스에 대해서 배워야 한다. 이는 교육이론과 방법론에 대한 소개과정을 말한다.

Later on, after gaining some experience in the field, the career teachers will have to know more about adult learning processes.This means an introduction to educational theories and methodologies.

medical teacher의 자격과 인증

Certification and accreditation of medical teachers

슬쩍 보기에 의과대학은 교사훈련과 교수개발의 자기통제를 통해서 외부의 개입을 막아야 한다고 보일 수 있다.

At first glance it seems that medical schools should try their best to vanquish such external interference by self- regulation of teacher training and faculty development. 

그러나 최근의 추세는 외부의 평가자(국가 수준이든 어떻든)를 통해서 자격을 인정받는 방식이다. 이 프로세스는 의학교육을 해치거나 학교의 자율성을 위험에 빠뜨리기 보다는 그 반대이다. 외부 인증기관이 있는 국가에서 대학은 보다 명확하고 합의된 최소한의 가이드라인을 제공받을 수 있다.

However, the global trend today is to follow the American example, and endorse certification procedures via external examiners, whether nationwide or otherwise. This process did not harm medical education, and did not jeopardize schools’ autonomy. On the contrary: in those countries that have external certification, schools are provided with clear, agreed guidelines, which describe the minimal future professional.

우리의 아이들을 가르치는 선생님들은 자격증이 필요하다. 의사가 될 우리 학생들은 왜 동등한 특권을 누리지 못하는가?

The teachers of our children, while they are young, should be certified.Why should our children, who elect to become physicians,not have the same privilege? 

더 나아가, 의사에게 자격증을 부여하는 작업은 의사에 의해서 이뤄지고, 이들 역시 평가 전문가로서 의사의 역할에 대한 전문직간 포괄적 합의를 대표하는 사람이다.

Moreover, certification of physicians will be done by physicians, who are also evaluation experts, and who represent wide agreement between professionals on the doctor’ s role. 

더 나아가 medical teacher들은 외부 자격증에 관심을 가질 수도 있다. 전문직-역할 갈등에 대해서많은 것이 쓰여지고 논의된 바 있다.

Furthermore, medical teachers may be interested in such external certification. A lot has been written and spoken about the `profession-role conflict’ (Bazuin &Yonke, 1978).

최근 임상적, 과학적 역량을 바탕으로 고용되거나 승진한 의사들이 교사의 역할을 하는데 어려움을 겪는다. 교육은 부가적 업무가 되고, 가끔은 짐이며, 어떤 식으로든 그 개인의 가장 중요한 역할이 되지 않는다. 자격증을 주는 절차는 이 갈등을 줄여줄 수 있다. 그러한 과정을 겪는 medical teacher는 스스로를 교사-의사로서 더 인식할 것이며 교육 의무를 갖는 의사로서 덜 인식하게 될 것이다.

Nowadays the physician who has been hired and promoted for his or her clinical or scientific competences finds it hardto identify with a teacher’s role. Teaching becomes an extratask, sometimes a burden, but by no means the main thrustof the individual. A formal certification procedure may andwill alleviate this conflict.The medical teachers who undergosuch a procedure will perceive themselves more easily asteacher-physicians rather than clinicians who teach

자격증 시험을 떨어진 교수는 어떻게 되는가? 사실상 아무 일도 일어나지 않는다. 우리가 나아가는 이 경쟁적 세계에서 기관 그 자체는 교육을 자신의 주 진로로 선택한 교수의 숫자를 충분히 확보할 것이다. 다만 차이는 미래의 '아이비리그'가 의사면허시험에서 졸업생의 성공만을 고려할 것이냐 아니면 교사의 성공도 같이 고려할 것이냐일 것이다.

What will happen to faculty members who fail the certification examinations? In fact, nothing. In the competi-tive world toward which we are heading, the institutions themselves will guarantee both a sufficient number of faculty members who elect education as their main career path,and their success. The only difference, perhaps, would be that the Ivy League of the future would take into considera-tion not only graduates’ success in the national certification examinations, but also that of their teachers. 

Faculty development, teacher training and teacher accreditation in medical education: twenty years from now.

FDP의 교육-스킬에 있어서 장기 효과성에 대한 질적 평가(Med Educ, 2007)

Qualitative assessment of the long-term impact of a faculty development programme in teaching skills

Amy M Knight, Joseph A Carrese & Scott M Wright

FDP의 평가는 보통 프로그램이 끝난 직후에 시행되나 많은 경우 이러한 평가는 양적평가가 된다. 질적연구 설계는 특정 주제에 대해서 대상자의 관점을 더 폭넓고 깊게 확인할 수 있게 해준다. 비록 많은 FDP 성과 연구들이 질적연구방법을 사용했지만, 대부분은 20명 이하의 참가자만을 대상으로 하거나, 6개월 이내에 시행된 바 있다.

Evaluations of FDPs are usually performed immedi- ately or soon after their conclusion and the majority of these assessments have been quantitative in nature.6 Qualitative study designs may better identify the breadth and depth of subjects’ perspectives on a particular topic.7 Although several studies of FDP outcomes have used qualitative methodologies,8–14 most have included fewer than 20 participants8–11 or have occurred within 6 months of the conclusion of the programme.8,9,13

9개월짜리, 매주 반일동안 교육스킬에 대해 진행되는 FDP가 1987년부터 진행되어왔다. 프로그램 종료 직후의 평가와 장기 follow-up 설문의 양적연구 결과는 출판된 적 있다.

A 9-month, 1 half-day per week FDP in teaching skills (FDP⁄ TS) has been offered annually at our institu- tion since 1987. An immediate post-programme evaluation15 and results froma quantitative long-term follow-up survey16 have previously been published.

프로그램

Programme description

5~8명씩. 1~2명의 퍼실리테이터와 만남. 9월 초부터 5월 말까지. 매주 반일. 모듈별 운영. 모듈당 길이는 1~6주. 프로그램 목표. 

Participants in the FDP⁄ TS meet in groups of 5–8 participants with 1–2 facilitators between early September and late May for 1 half-day each week to work on modules that vary in length from 1 to 6 weeks. Programme goals are for participants to experience and gain expertise in concepts believed to be critical to educating medical learners, such as learner-centredness, self-directed learning, and the building of a supportive learning environment.

모듈 토픽

Module topics include 

• giving and eliciting feedback, 
• precepting (1-to-1 teaching), 
• time management, 
• communication and interviewing, 
• negotiation and conflict management, 
• giving lectures and presenta- tions, and 
• small-group leadership skills.

The programme has been described in detail elsewhere.15

연구 설계

Survey design

자료 수집

Data collection

분석

Analysis

• Handwritten responses to the open-ended question about programme impact were transcribed verbatim and analysis was independently performed by 2 investigators (AMK and SMW) using an editing analysis style .18 
• Categories and subcategories of themes were generated and conceptually organised by each investigator. 
• A third investigator (JAC) independently compared these generated themes with the transcribed subject comments, looking for completeness, congruence and coherence. 
• The 3 investigators then had a series of meetings to discuss the analyses. 
• Final domains and subcategories were agreed on by all 3 investigators, and the number of responses related to each subcategory was tabulated. 
• Several representative quotes were selected for inclusion by consensus. The year in which programme participation began is provided with each quote.

RESULTS

프로그램 효과의 질적 평가

Qualitative assessment of programme impact

Table 2에 나와있음.

Table 2 also notes how many responses to the open-ended question were related to each of the subcategories. Each domain was represented in comments from 1 or more respondents from each of the 14 cohorts studied. Descriptions of each domain and its subcategories follow, with supporting quotes.

내적 성장

Intrapersonal development

성찰과 자기인식

Commitment to reflection and self-awareness

우선순위와 목표 설정

Prioritising and setting goals

조직관리, 시간관리 기술

Organisation and time-management skills

Listening to and communicating with others

피드백 주고 받는 능력

Ability to give and elicit feedback

갈등관리와 협상 기술

Conflict management and negotiation skills

리더십과 그룹 참여 스킬

Leadership and group participation skills

교사로서의 발전

Development as a teacher

전반적인 교육기술, 능력

Overall teaching skills and abilities

학습자 중심 교육, 지지적 학습환경 조성

Being learner-centred and creating a supportive learning environment

프로그램은 일부 참가자들이 (1)보다 학습자중심이 되고 (2)학습자를 존중하게 되고 (3)학습자의 요구에 신경쓰며 (4)긍정적 학습 환경을 조성하게 도와주었다.

The FDP⁄ TS has helped some past participants to: 

1 become more learner-centred; 

2 have more respect for learners; 

3 be more aware of learners’ needs, and 

4 establish a positive learning climate.

배운 교육법을 지속적으로 사용하고, 다른 교수들이 발전하게 도와줌

Continuing to use teaching methods learned and helping other teachers improve

커리어 발전

Career development

FDP담당 교수들과 동료를 만남으로써 얻은 것

Benefits from exposure to FDP faculty and peers

일부 응답자들은 FDP/TS 담당 교수들을 만나고 이들이 지속적으로 롤모델과 멘토 역할을 해주었다고 했음. 다른 참가자들과 네트워킹의 가치와 friendship을 형성하는 가치를 알게 되었다고 했음.

Some respondents noted benefits deriving from being exposed to FDP⁄ TS faculty who had continued to serve as role models and mentors. They also appreciated the value of networking and forming friendships with other participants:

진로와 진로 계획에 대한 영향

Influence on career path and planning

일부 참가자들은 프로그램에서 (1)교육자로서 그들의 커리어에서 무엇을 기대할 수 있는가 (2)성공을 염두에 둔 커리어 설계는 어떻게 해야 하는게 등을 배웠다고 함

Some participants credited the programme with giving them perspectives on: 

1 what to expect from their careers (particularly as educators), and 

2 how to structure their careers with success and advancement in mind.

전문성 향상으로 인한 기회

Opportunities due to expertise gained

DISCUSSION

지난 참가자에서는 (1)학습자-중심, (2)지지적 학습환경 구축, (3)효과적인 피드백 제공을 할 수 있게 되었다고 응답함.

Past participants were also more likely to describe themselves as: 

1 learner-centred; 

2 building supportive learning environments, and 

3 giving effective feedback.15 

이러한 폭넓은 효과는 프로그램의 장기적 성격으로 인한 것이며, FDP담당 교수 및 다른 참가자들과 관계를 맺을 기회를 주었기 때문으로 생각된다.

This broad impact probably results from the longitudinal nature of the programme4 and the opportunities it provides for building relationships with programme faculty and other participants.

FDP에 대한 많은 장기 follow-up 연구는 학문적 성공의 객관적 지표(프리젠테이션, 출판, 리더십 위치) 등에 초점을 두었다. 이렇게 협소하게 정의된 ㅍ로그램의 성과는 참가자들에게 더 깊고 지속적으로 일어나는 변화, 그리고 개인적 성장이나 타인과의 관계적 측면을 잘 보여주지 못할 수 있다.

Many long-term follow-up studies of longitudinal FDPs have focused on objective markers of academic success, such as presentations, publications and leadership positions.10,12,19–22 These narrowly defined quantitative programme outcomes may preclude the detection of deeper and more sustained changes in participants’ professional or personal growth and relationships with others.

FDP/TS 참가자들은 프로그램에서 프로그램 담당 교수들과 다른 참가자들과 관계를 발전시킬 수 있는 기회에 대해 높은 가치를 두었다. 이는 다른 연구에서도 나타난 바 있다. 학문적 동료들과 네트워크를 형성하는 것은 커리어 성공과 연관되어 있으며, FDP의 중요한 부산물이다.

Past participants in the FDP⁄ TS highly valued opportunities provided by the programme to develop relationships with programme faculty and other participants. This finding has been borne out in other studies of FDPs.8–10,12–14 The development of a network of academic colleagues has been shown to be associated with career success23–25 and is an import- ant by-product of FDPs such as that described in this manuscript.

이 다양한 응답들이 개방형 문항에서 자발적으로, 아무런 요구가 없는 상태에서 얻은 응답이라는 것이 중요하다. 또한 더 적게 언급된 카테고리가 더 많이 언급된 것들보다 덜 중요하다고 생각해서는 안된다.

It is important to note that the variety of responses to the open-ended question about programme impact were spontaneous and unsolicited, and we should not assume that those subcategories mentioned fewer times are less valid than those mentioned more frequently.

15 Cole KA, Barker LR, Kolodner K, Williamson PR, Wright SM, Kern DE. Faculty development in teaching skills: an intensive longitudinal model. Acad Med 2004;79:469–80.

18 Crabtree BF, Miller WL. Doing Qualitative Research, 2nd edn. Thousand Oaks, CA: Sage 1999;145–61.

Med Educ. 2007 Jun;41(6):592-600.

Qualitative assessment of the long-term impact of a faculty development programme in teaching skills.

교수개발: 꿈의 영역? (Med Educ, 2009)

Faculty development: a ‘Field of Dreams’?

Yvonne Steinert,1,2,3 Peter J McLeod,1,2,4 Miriam Boillat,1,2,3 Sarkis Meterissian,2,6 Michelle Elizov1,2,4 &

Mary Ellen Macdonald2,7,8

목적: FD 워크숍 참석자들은 종종 '가장 FD가 필요한 사람들이 가장 참석하지 않는다'라고 코멘트한다.

OBJECTIVES Participants in faculty develop- ment workshops often comment that ‘those who need faculty development the most attend the least’.

"만들면, 올 것이다" Kinsella 1980

‘If you build it, [they] will come.’ Kinsella, 19801

임상교육자들은 더 이상 내용전문가라는 사실 만으로 성공하지 못한다. 다른 연구자들도 임상교육자로 성공하기 위해서 필요한 스킬에 대해서 언급한 바 있다

Clinical teachers can no longer succeed with mere content expertise. Others4,5 have identified the skills required to succeed as teachers, including the ability to 

• 적절한 환경 만들기 create an appropriate environment, 
• 학습자 관찰하고 평가하기 observe and assess learners, 
• 피드백 제공하기 provide feedback, 
• 다양한 세팅에서 가르치기 teach in multiple settings, and 
• 효과적 롤 모델 되기 role model effectively.

FDP에 대한 다양한 연구에도 불구하고, 참석과 참여에 대한 연구는 부족하다. 교육-개선 목적 프로그램 참여의 장애에 대해서는 지금까지 단 하나의 연구가 있었는데 여기에는 다음과 같은 것들이 있따.

Despite many published descriptions of faculty development programmes and activities,5–7 the liter- ature on attendance and participation is scant. To our knowledge, there is only one descriptive paper8 that outlines potential barriers to participation in teaching improvement programmes. These barriers include: 

• 교사의 태도와 오해 the attitudes and misconceptions of teach- ers; 
• 기관의 불충분한 지원 insufficient support from the institution, and 
• 교육개선방법의 이점에 대해 확신을 주는 근거의 부족 a lack of convincing research on the benefits of teaching improvement methods. 

참여에 대한 가능성을 낮추는 요인으로는..

Non-participant attitudes that diminish the likelihood of participation comprise: 

• FDP의 필요성을 평가절하하는 경향 a tendency to underestimate the need for faculty development programmes; 
• 교육스킬의 효용성에 대한 신념 부족 lack of belief in the utility of teaching skills, and 
• 교육자 훈련이 excellence 교육과 무관하다는 신념 a belief that teacher training is unrelated to teaching excellence.8

방법

METHODS

설계

Design

포커스그룹의 장점

We selected focus groups13 as the primary method of data collection for this descriptive study. Focus groups, which encourage participants to 

• recount their beliefs and practices, 
• provide an opportunity for group interaction and 
• trigger memories of hitherto forgotten experiences,14 

allowed us to meet our study objectives.

참가자 모집

Subject recruitment

포커스그룹

Focus groups

의료인류학자 진행

A medical anthropologist, who was not involved in our programme, conducted the focus groups. The focus group questions were pilot tested with members of the Centre for Medical Education and tapped four main areas of inquiry: 

질문 영역

• perceptions of faculty development; 
• reasons for non-participation; 
• perceptions of effec- tive teaching methods and preferred learning formats, and 
• perceived barriers to participation. 

프로브 질문의 목적, facilitator의 역할

‘Probes’ accompanied each question to stimulate thinking, to encourage faculty members to give detailed responses, and to solicit examples of more general observations.13 The facilitator...

• took minimal field notes during the focus groups, but 
• wrote more extensive notes within 24 hours of the session in order to record her impressions, 
• capture main themes and 
• facilitate preliminary data analysis. 

한 그룹에서 어떤 주제가 등장하면 이후 그룹에서 다시 확인함

The focus group questions evolved slightly as the process unfolded; when salient issues emerged in one group, they were reiterated in subsequent groups to test their relevancy.

데이터 분석

Data analysis

• We audiotaped and transcribed all focus groups using standard rules of transcription.14 
• We removed iden- tifiers and names from the final transcripts. 
• All transcripts were reviewed by one of the investigators for accuracy. 
• Content analysis guided the data analysis. 
• Three of the investigators independently read all transcripts, using multiple close readings; 
• recurrent themes were identified and agreed upon, and 
• similar themes noted across transcripts were assembled and analysed together, for both specialties. 
• Additional codes for newly emerging topics were created as needed. 
• The final step in the analysis included the development of major categories and 
• the identification of exemplar quotations illustrating each theme.

결과

RESULTS

세 가지 주요 카테고리

We grouped our findings into three main categories: 

1 What are faculty members’ perceptions of faculty development? 

2 Why do some faculty members not participate? 

3 How can we get faculty members to attend more often?

FD에 대한 교수들의 인식은?

What are faculty members’ perceptions of faculty development?

다수의 참여자들이 FD의 필요성을 인식했으며, '어떻게 가르쳐야 하는가에 대한 지도'를 전혀 받지 못했는지에 대해 지적했다. 한 참가자는 FD를 '교수를 위한 문법학교'라고 했다.

A number of participants perceived the need for faculty development and commented on howthey had never been given ‘instructions on howto teach’. One participant likened faculty development to ‘grammar school’ for teachers:

'아이가 학교에 가는 것과 비슷합니다. 아이들은 말하는 법을 이미 알지만, 그들은 자신들의 예술을 더 정제할 수 있게 해주는 문법을 배우고, 더 효과적으로 할 수 있게 됩니다'

‘It’s sort of like kids going to school; they all know how to speak, except that they are learning the grammar which allows them to refine their art and perhaps be more effective at doing it.’

한 참가자는 CME와 임상기술을 업데이트 하는 것 등과 '혼란'이 있어 보일 수 있는 점을 지적했다. 또 다른 사람은 FD를 '교육기술에 대한 CME'라고 했다.

One participant described what might be seen as a possible ‘confu- sion’ with continuing medical education (CME) and the updating of clinical skills. Another viewed faculty development as ‘CME for teaching skills’.

FD의 역할이 진로개발을 촉진해주는 것이라는 점은 여러 참여자가 언급했으며, 이 질문에 들어있다.

The role of faculty development in promoting career development was also noted by many of the partici- pants, as reflected in this rhetorical question:

'대학 커뮤니티에서 FD란 단지 더 잘 가르치는 것, 혹은 더 생산성높은 구성원이 되는 것만 의미할까?'

‘Does faculty development just mean teaching or being a productive member of the [university] community?’

왜 일부 교수들은 참여하지 않는가?

Why do some faculty members not participate?

• clinical reality, which includes volume of work and a lack of (protected) time; 

• a perceived lack of direction from, and connec- tion to, the Faculty of Medicine; 

• a perceived lack of recognition and financial reward for teaching, and 

• the geographically central location of faculty development activities and other logistical issues.

임상 현실, 과도한 근무량과 시간 부족

Clinical reality, volume of work and lack of (protected) time

의과대학과에서의 방향제시 혹은 의과대학과의 연결성에 대한 인식 부족

Perceived lack of direction from, and connection to, the Faculty of Medicine

다수의 참가자들은 대학에서 방향을 제시해주거나 커리어 가이드를 해줌으로써 개인적 차원의 목표나 전문직 차원의 목표를 도달할 수 있게 도와주기를 바랐다. 이러한 정서는 대학 교수로서 처음 시작할 때 프로그램(패키지)에 대한 오리엔테이션을 제공받고 싶은 바람을 포함하고 있었으며, 처음에 어떤 식으로 해야하는지에 대한 조언을 누군가가 주기를 바라는 것도 있었다.

A number of participants highlighted a desire for direction or career guidance from the university to help themto achieve personal and professional goals. This sentiment included a strong wish for an orien- tation programme or package on first starting at the university, as well as the desire to have someone tell them what to do at the outset:

참가자들은 개인적/커리어 개발에 관련하여 멘토십에 대한 강한 희망을 나타냈으며, 어떤 정보원에 접근가능한지(승진이나 테뉴어 관련 정보, 연구비 제안서 작성) 등도 있었다. 추가로 대학 차원의 중요한 지원으로서 구조적, 교육 도구의 제공이나 파킹 바우처, 온라인 교육 등이 있었다.

Participants also expressed a strong preference for mentorship to help promote personal and career development, as well as knowledge about what resources they could access (e.g. information on promotion and tenure, grant writing possibilities and support). In addition, they voiced a desire for instrumental support from the university, ranging from the provision of structural and educational tools, to parking vouchers and online resources.

교육에 대한 인정 혹은 재정적 보상 부족

Perceived lack of recognition and financial reward for teaching

다수의 포커스그룹 참여자들은 4시간 워크숍은 너무 길고, 강력하게 '짧은 교육'을 선호했다. 실제로, 여러 참여자들은 그랜드라운드에서 교육 주제를 다룰 것을 요청하거나, FD를 모듈 형식으로 혹은 '위성(파견) 워크숍'형식으로 해주기를 바랐다.

A number of focus group participants commented that a 4-hour workshop was too long, and voiced a strong preference for ‘short snappers’. In fact, several participants requested educational topics at grand rounds, faculty development in a modular format, or ‘satellite workshops’:

어떻게 더 자주 참여하게 만들 수 있을까?

How can we get faculty members to attend more often?

지역에서 (그리고 더 짧은) 프로그램 제공

Offer local (and shorter) activities

교육을 인정하고 보상해주기

Recognise and reward teaching

FD를 요구(기대)사항으로 만들기

Make faculty development an expectation

여러 참여자들이 FD가 모든 임상교육자에게 의무화 될 것을 제안했다. 의무화에 반대하는 일부도 있었으나, 이들도 FD가 '기대사항(expectation)'이 되어야 한다고 제안했다.

Several participants suggested that participation in faculty development be mandatory for all clinical teachers. Others balked at this idea, but did suggest that faculty development be made an ‘expectation’:

상호연결성의 인식 확립하기

Build a sense of connection

DISCUSSION

가장 놀라운 결론은 참여자들이 FD를 교수로서 한 개인의 일반적 성장에 대한 것으로 인식하고 있었으며, 단순히 스킬 습득으로 인식하지 않는다는 점이었다. 사실 교수개발은 교수를 포괄적 관점에서 개발하는 것이며, 여기에는 personal and career 개발이 포함된다. 단순히 교육/연구/행정에 관한 특정한 역량 향상이 아니다.

One of the most surprising results of this inquiry was the finding that partic- ipants perceive faculty development as referring to a person’s general development as a faculty mem- ber, not just his or her skills acquisition. In fact, faculty development was perceived as the develop- ment of faculty in the broadest sense, which included personal and career development, and not merely the enhancement of specific competencies related to teaching, research or administration.

또 다른 기대하지 못한 결과는 많은 참여자들이 FD에 대해 물었을 때 '대학에 대한 실망'을 표했다는 점이다. 다수가 '단절'을 느꼈고, 이는 종종 심리적 문제였다.

Another unexpected finding was that many of the 16 focus group participants, when asked to describe their views on faculty development, described a sense of disappointment with the university at large. Many felt ‘disconnected’, often in a psychological sense.

많은 경우에 우리의 결과는 Baldwin이 generalist academic doctors의 요구도 조사 결과와 비슷하다. 이 연구자들도 심대한 변화를 이루기 위해 필요한 세 가지 포괄적 니즈를 발견했다.

In many ways, our findings resonate with the obser- vations of Baldwin et al.9 in their needs assessment of generalist academic doctors. These researchers found that participants identified three global needs requiring significant change: 

• a better understanding of and rewards for their academic activities; 
• better networking with one another, and 
• more control over their time and responsibilities.

다양한 방식으로 본 연구는 FDP가 학자로서의 스킬을 다룰 것을 강조했으며, 이는 FD에서 간과되는 영역이다.

In diverse ways, our study’s findings underscore the need for faculty development programmes to address professional academic skills, often neglected in faculty develop- ment,16 as well as institutional goals and priorities.7

Morzinski 등은 professional academic growth를 이루기 위해서 FD에서 멘토링의 중요성을 강조했는데, 여기에는 가치/지식/동료관계 등이 포함된다. 우리의 결과는 FD가 진로개발에 보다 초점을 맞출 것을 권고한다. 초기 연구에서 Steinert는 FD가 조직개발에 초점을 맞출 것을 강조했다. 또한 학문적 활동으로서 교육의 촉진, 교육적 문화 배양, 교육 리더십/혁신/수월성에 대한 보상 등도 강조했다.

Morzinski et al.17 highlighted the importance of mentoring as a faculty development strategy to address professional academic growth, which includes the values, knowledge and collegial relations needed to succeed as an academic. The findings of our inquiry further reinforce the need for faculty development to focus on career development. In an earlier paper, Steinert16 highlighted the need for faculty development to focus on organisational development: to play a role in promoting teaching as a scholarly activity and to create an educational climate that encourages and rewards educational leadership, innovation and excellence.

Skeff 등의 연구 및 Liben의 연구에 더하여 본 연구는 교수들이 중앙-기반(centrally based) FDP에 참여하지 않는 이유가 '시간이 없어서'라고 하였다.

The results of our study also build upon those of Skeff et al.8 and complement the findings of a more recent survey by Liben et al.,19 who observed that faculty members do not participate in centrally based activities because they ‘cannot afford the time’.

초반에 말한 것처럼 Skeff 등은 FDP 참여에 다양한 장애를 언급했는데, 흥미롭게도 우리 연구의 참여자는 기관 차원의 지원 부족만을 주요 장애로 언급했다. Skeff가 언급한 '태도'의 문제(FDP의 필요성이 낮다든가 교육스킬의 효용성이 없다든가)를 언급한 사람은 매우 소수였다.

As we noted at the outset, Skeff et al.8 described a number of barriers to participation in faculty devel- opment activities. Interestingly, the participants in our study only highlighted insufficient institutional support as a major deterrent. Very few of our teachers identified the attitudes noted by Skeff et al.,8 includ- ing a tendency to underestimate the need for faculty development programmes or a lack of belief in the utility of teaching skills.

Faculty development: a 'field of dreams'?

새천년의 교수개발: 도전과 미래 방향(Med Teach, 2000)

Faculty development in the new millennium: key challenges and future directions
YVONNE STEINERT
Department of Family Medicine, Sir Mortimer B. Davis Jewish General Hospital and Faculty of
Medicine, McGill University, Canada

FD는 의학교육에서 매우 중요한 요소가 되었다. FD활동은 모든 교육연속체에서 교사의 효과성 향상을 위해 설계된다.

Faculty development has become an increasingly important component of medical education. Faculty development activities have been designed to improve teacher effectiveness at all levels of the educational continuum

이 논의에서 FD는 다음의 정의를 따른다. "기관이 교수들의 역할을 새롭게(renew)하거나 도와(assist)하기 위해서 활용하는 광범위한 활동". 즉, FD는 교수로서 일을 수행하는데 필수적으로 여겨지는 영역에 있어서 개인의 지식이나 스킬을 향상시키기 위해 설계된 모든 활동이며, 여기에는 교육, 연구, 행정이 모두 포함된다. 더 나아가 FD는 기관이나 교수들을 다양한 역할에 대비시키고 생산성과 생명력을 유지하기 위한 프로그램들도 포함한다.

For the purpose of this discussion, faculty development refers to that broad range of activities that institutions use to renew or assist faculty in their roles (Centra, 1978). That is, faculty development is considered to be any planned activity designed to improve an individual’ s knowledge and skills in areas considered essential to the performance of a faculty member, including teaching, research and administra- tion (Sheets & Schwenk, 1990). Moreover, faculty develop- ment includes those programs designed to prepare institutions and faculty members for their various roles and to sustain their productivity and vitality (Bland et al., 1990).

교수개발의 포커스

The focus of faculty development

지금까지, FDP의 대다수는 교수의 교육스킬 개발에 초점을 두어 왔으며, 개인의 성장이나 교수/조직적 요소(의사결정, 변화 프로세스)에는 관심을 덜 가져왔다. 비록 다른 FD 활동이 기술된 바 있지만, 교육 개선 또는 교육 효과성을 지나치게 강조한 측면이 있으며, 더 포괄적인 프로그램이 고려되어야 한다. 특히 FDP는 리더십이나 조직관리 스킬, 프로페셔널 학문 스킬, 조직개발 등이 교육개선 프로그램의 '메뉴'에 포함되어야 한다. 추가로, 특정 내용(정보 테크놀로지, 프로페셔널리즘, EBM) 과 '교육자들 교육시키기' 프로그램도 필요하다.

To date, the majority of faculty development programs have focused on the improvement of faculty members’ teaching skills (Hitchcock et al., 1993; Irby, 1996), with minimal attention being paid to the personal development of faculty members or organizational elements such as decision- making or the change process (Lipetz et al., 1986). Although other faculty development initiatives have been described, most notably in the area of research (e.g. Hekelman et al., 1995; Holloway et al., 1988), there has clearly been an over-emphasis on teaching improvement and instructional effectiveness, and more comprehensive programs should be considered. In particular, faculty development programs designed to enhance leadership and management skills, professional academic skills, and organizational develop- ment should be added to the `menu’ of teaching improve- ment programs. In addition, we should offer programs that focus on the teaching of speci®c content areas (e.g. informa- tion technology; professionalism; evidence-based medicine) and `educating the educators’ .

리더십과 관리 기술

Leadership and management skills

유례없는 헬스케어 분야의 변화가 교수의 역할과 보상체계를 바꿔놓고 있다. 내적, 외적 영향력에 의해 의사들은 점점 관리자적 역할과 리더십 역할을 맡아야 하게 되었으며, 그러나 아직 어떻게 우리가 교수들을 이 역할에 대비시킬지는 잘 모른다. 일부 프로그램이 이 목적으로 설계되었으나 리더십, 관리자, 행정스킬 개발 등에 대한 강조가 더 필요하다.

Extraordinar y changes in health care delivery have signi®cantly altered faculty roles and rewards (Bland & Simpson, 1997). In response to internal and external forces, physicians are being asked to take on increasing administra- tive and leadership roles, and yet, how do we formally prepare our faculty members for these challenges? Several programs designed to address this need have been described (e.g. McGaghie et al., 1981; Morahan et al., 1998; Steinert et al., 1997a); however, an increased emphasis on leadership, management, and administrative skill development is essential in these times of change.

이런 분야에 해당하는 프로그램에는 다음과 같은 것이 있을 수 있다.

Content areas for such programs might include: 

• 조직의 구조 understanding `formal’ and `informal’ organizational structures; 
• 현 정치, 경제, 조직 압력 분석 analyzing current economic, political, and organizational pressures and trends; 
• 리더십과 관리 스킬 leadership and management skills; 
• 갈등 관리와 협상 conflict management and negotiation; 
• 시간 관리 time management; 
• 수행능력 평가 performance appraisal; and 
• 재정 관리 financial management (Bogdewic et al., 1997; Burke et al., 1997; Irby, 1996). 

Bogdewic이 말한 것처럼 조직과 리더십 스킬은 전통적인 의미에서 교수가 맡는 교육/연구/진료적 역할에 부가적인 것이 아니라, 이제는 핵심적 중요성을 갖는 스킬이다.

As Bogdewic and colleagues (1997) have said, organizational and leadership skills can no longer be thought of as an adjunct to the traditional roles of teaching, research, and service. These skills are of central importance.

프로페셔널 학문 스킬

Professional academic skills

프로페셔널 학문 스킬은 학자로서 성공하기 위해 필요한 가치/지식/동료관계 등을 말한다. 이 스킬은 학계의 핵심 가치, 규범, 기대치에 대한 이해, 어떻게 생산성 높은 커리어를 관리하는지, 경험이 많고 박식한 동료와의 네트워크를 갖추는지 등을 필요로 한다.

Professional academic skills encompass the values, knowledge, and collegial relations needed to succeed as an academic (Morzinski et al., 1996). These skills include an understanding of the underlying values, norms and expecta- tions of academia, knowing how to manage a productive career, and establishing a network of experienced and knowledgeable professional colleagues (Bland et al., 1990; Wilkerson & Irby, 1998).

관련 토픽

Examples of topics to be addressed include: 

• academic promotion 달성 how to achieve academic promotion; 
• 멘토 찾고 함께 일하기 how to identify and work with a mentor; 
• 동료와 함께 일하기 how to work with colleagues; and 
• 전문가 네트워크 개발 how to develop professional networks (Bland et al., 1990; Hitch- cock et al., 1997).

조직 개발

Organizational development

여러 저자들이 조직시스템의 변화와 리더십 전략이 더 생산성높은 교육환경을 만들기 위해 필요하다고 주장한다. 그러나 비록 1980년대부터 조직개발이 FD의 한 부분이 되었지만, 이 분야에 특정한 FD노력은 미미하다. 이 영역에 포함되는 것들.

Several authors have suggested that changes in organizational systems and leadership strategies may be needed to promote more productive educational environments (Bland et al., 1990; Bogdewic et al., 1997). However, although organizational development became part of the language of faculty development in the 1980s (Ramsey & Hitchcock, 1980), few faculty development efforts have speci® cally targeted this content area. Initiatives in this domain should include 

• 참여적 조직 정책과 구조 efforts to create participative and empowering organizational policies and structures; 
• 우수한 교육의 평가와 보상 procedures to evaluate and reward teaching excellence; and 
• 교육과정 운영과 교실간 협력 programs to enhance curriculum administration and collaboration across departmental boundaries (Irby, 1996). 

Lipetz 등은 "FD의 클라이언트는 누구인가?"라는 흥미로운 질문을 던졌다. 명백히, 우리는 개인과 조직의 니즈를 연결시켜야 하며, 조직개발과 개인의 스킬개발의 짝을 이룰 수 있어야 한다.

Lipetz and colleagues (1986) have posed an interesting question: ªWho is the client in faculty development? º Clearly, we need to link individual and organizational needs (Bland & Simpson, 1997), and we should pair organizational development with individual skill development (Baxley et al., 1999).

특정 내용분야의 교육

The teaching of specific content areas

Cruess & Cruess 는 의학교육의 모든 레벨에서 변화하는 사회적 기대에 부응할 것을 강조했다. 커뮤니케이션 기술은 충분한 관심을 받지 못하고 있다. 비록 이 주제가 전통적으로 도제교육과 롤모델 분야에서 다뤄졌지만, 현재의 의료전달체계 맥락에서는 이러한 트레이닝 방법의 가능성은 낮으며, 더 공식화되고(formal) 조직적 방법이 필요하다.

Cruess & Cruess (1997a,b) have highlighted the need to teach professionalism at all levels of medical education in response to changing societal expectations. Communica- tion skills are also not receiving the attention they deserve. Although these subjects have traditionally been addressed through apprenticeship and role modeling, the current context for health care delivery negates the potential of these training methods, and we need to consider more `formal’ , systematic methodologies for addressing these content areas.

컴퓨터와 정보 테크놀로지. 

At the same time, computers and information technolo- gies are transforming many aspects of our personal and professional lives (Irby & Hekelman, 1997). As a result, the demand for training in this area will increase signi®cantly in the next decade. Crandall and colleagues (1997) outline a series of skills that might be included in such faculty develop- ment initiatives: 

• accessing and managing the medical literature; 
• planning and delivering lesson plans and presenta-tions; 
• using computers for research and writing; and
• integrating computers into clinical practice.

교육자들 교육시키기

Educating the educators

교수개발자들은 개개 교수들의 교육 효과성을 향상시키기 위한 프로그램의 전달 측면에서 성공을 거뒀다. 그러나 이제는 교육에 있어서 리더십을 발휘할 수 있는 개인들을 어떻게 더 발전시킬 수 있는지, 어떻게 그들이 '교육의 멘토'로서 역할을 할 수 있는지, 혁신적 FDP를 어떻게 설계하고 전달할 수 있는지 고민할 시간이다.

Faculty developers have succeeded in delivering programs designed to enhance individual teachers’ instructional effectiveness. It is now time, however, to further develop individuals who will be able to provide leadership to educational programs, act as `educational’ mentors, and design and deliver innovative faculty development programs.

Cusimano & David가 기술한 것과 같이, 다른 사람을 교육하는 방법에 대해서 훈련된 사람이 더 많아야 한다. 그리하여 의학교육이 지속적으로 변화의 동력에 반응할 수 있게 해야 한다. 또한 우리는 교육 측면의 학자를 더 양성해서, 이들이 교육에 접근할 때 교육과 교육과정의 프로세스와 성과에 대해 질문하도록 해야 하며, 의학교육 연구를 수행하게 해야 한다.

As Cusimano & David (1998) have stated, there is an enormous need for more health care professionals trained in methods of educating others so that medical education will continue to be responsive to driving forces of change. We must also work to encourage the development of educational scholars, individuals who approach education with questions about the process and outcome of teaching and curricula (Wilkerson & Irby, 1998) and who conduct research in medical education.

트레이닝 방법과 형식들

Training methods and formats

공식 멘토십

`Formal’ mentorships

멘토링은 교수들의 사회화/개발/성장을 촉진할 수 있는 흔한 전략이다. 

Mentoring is a common strategy to promote the socializa- tion, development, and maturation of academic medical faculty (Bland et al., 1990). It has also been recommended as a faculty development strategy by a number of educators (Bower et al., 1998; Longhurst, 1994; Morzinski et al., 1994, 1996).

Daloz 는 멘토십 모델을 세 가지 핵심 요소의 균형으로 보았다. (지지, 도전, 비전)

Daloz (1986) has described a mentorship model that balances three key elements: support, challenge, and a vision of the individual’ s future career. 

• 불확실성과 불안 줄여주기 Support refers to those activities that affirm the value of the individual or try to reduce uncertainty or anxiety (Bower et al., 1998). 
• 자신이 가진 가정을 점검하고 성찰의 가치 일깨움 Mentors challenge their colleagues by encouraging them to check out their assumptions and re¯ ect on their values and competen- cies; and 
• 롤모델링, 토론 they foster career vision through role modeling or guided discussion. 

이 세 가지 요소의 균형을 통해서 멘토는 변화와 성장에 필요한 핵심적 텐션을 만들 수 있다. 롤모델의 가치와 멘토의 가치는 Osler 시대부터 강조되어 왔으며, 이 방법이 주는 장점을 잊어서는 안된다.

By balancing these three components, mentors create a tension essential for change and growth. The value of role models and mentors has been highlighted since Osler’ s time, and we should not forget the bene®ts of this method of professional development despite new technologies and methodologies.

통합적, 장기 프로그램 

Integrated, longitudinal programs

일부 연구자들은 '통합적, 장기 프로그램'의 가치를 강조했다 

Several authors (e.g. Elliott et al., 1999; Gelula, 1997) have highlighted the value of `integrated, longitudinal programs’ such as the Teaching Scholars Program in North Carolina (Stritter et al., 1994) and at McGill University, and we should build on this new faculty development practice.

비록 이들프로그램 대부분이 교수의 교육자로서 역할에 초점을 두지만, 행정, 관리, 연구에 대한 프로그램도 쉽게 개발 가능하다.

Although the majority of these programs to date have focused on the educational role of faculty members, such programs could easily be designed to promote expertise in administration, management, and research.

분권화된 활동

Decentralized activities

많은 부분 가정의학 분야에서 처음 시작한 FDP는 종종 각 학과 단위로 혹은 중앙에서 조직되어 운영된다. 커뮤니티 프리셉터가 늘어나고 외래-기반 교육이 늘어나면서 우리는 점점 FDP를 대학 바깥으로 '수출'해야 하는 상황이 되었다. 우리는 또한 주니어와 시니어 교수의 서로 다른 니즈를 해소해주기 위해서 노력해야 하며, minority 교수를 위한 것도 필요하다. 또한 지원이 적은 환경(underserviced setting)에서 근무하는 사람들을 위한 것도 필요하다.

Faculty development programs, many of which started in Family Medicine, are often departmentally based or centrally organized (i.e. faculty-wide). Given the increasing use of community preceptors and ambulatory sites for teaching, we should now `export’ faculty development programs outside of the university setting (e.g. Anderson et al., 1991; Baxley et al., 1999; Bing-You et al., 1999; DeWitt et al., 1993). We must also work harder to address the differing needs of junior and senior faculty members (Burke et al., 1997; Lipetz 1999), minority faculty members et al., (Johnson et al., 1998; Rust et al., 1998), and individuals who work in underserviced settings (Freeman et al., 1998). Our focus to date may have been too limited.

자기주도 학습 프로그램

Self-directed learning initiatives

Ullian & Stritter 이 말한 바와 같이 교수들은 성찰, 학생평가, 동료평가 등을 통해 스스로의 니즈를 결정해야 하며, 스스로의 자기개발 활동을 설계해야 한다.

As Ullian & Stritter (1997) have said, faculty must be encouraged and taught to determine their own needs through self-reflection, student evaluation, and peer feedback, and they must learn to design their own development activities.

Harris and colleagues 는 교수 효과성의 향상에 있어서 성찰의  가치를 강조했다. 실제로 우리는 FD에서도 성찰을 개인적 성장의 방법으로 삼아야 한다.

Harris and colleagues (1995) have underscored the value of re¯ ection as a method of improving teaching effectiveness; indeed, we should take advantage of the increasing attention paid to re¯ ection as a method of personal growth (SchoÈn, 1987) in faculty develop- ment initiatives as well.

컴퓨터 기반 FD

Computer-based faculty development

컴퓨터 기반 FD의 장점

Computer-based faculty development would allow for individualized programs targeted to speci®c needs. Moreover, the technology is now in place so that interactive instructional programs can be created in all domains of faculty development (Westberg &Whitman, 1997).

프로그램 평가

Program evaluation

더 철저한 프로그램 평가

More rigorous program evaluations

    공통적으로 나타나는 문제는 대조군, 비교군의 부재, 자기보고 측정에 지나친 의존, 작은 샘플 크기 등

Common problems have included a lack of control or comparison groups, heavy reliance on self-report measures of change, and small sample sizes.

가능하다면, 더 철저한 연구를 해야 함.

Whenever possible, we should try to conduct more experimentally rigorous research studies and work to overcome commonly encountered design problems.

참여자에 의한 학습을 기록해야 하며, 가능하다면 참가자의 학생/동료/기관에 대한 효과도 기록해야 함.

Programs should document learning by par ticipants, and whenever possible, the program’ s effect on the participants’ students, colleagues, and institution (Skeff et al., 1997b).

동시에 만족도에 대한 재평가가 필요함. 비록 연구자들이 이 정보의 가치를 평가절하하긴 하지만 참가자의 만족도는 교수들이 배우고자 하는 동기부여가 되고, FD를 동료들에게 권장하는 데 중요한 변인이다. 또한 프로그램 기획자들에게 가치잇는 피드백이다. 

At the same time, we should re-assess the value of participant satisfaction data. Although researchers have denounced the value of this source of information, participant satisfaction remains an important variable if faculty members are to be motivated to learn and to recom- mend faculty development initiatives to their colleagues. Participant satisfaction also gives valuable feedback to program planners.

프로그램 평가의 다른 모델들

Other models of program evaluation

교육 관련 문헌들을 보면 프로그램 평가와 관련한 다양한 모델을 제시한다. 그 중 많은 것들은 FD에서 잘 고려되지 않고 있다. 이러한 모델을 평가 구조에 포함시키는 것은 가치가 있을 것. 

The educational literature is rich with models of program evaluation, many of which have not been systematically considered in faculty development. Incorporating aspects of these models (Popham, 1975;Wholey et al., 1994) into our evaluation schema would now be worthwhile. 

• 목표달성 모델 For example, the application of a goal attainment model (e.g.Tyler, 1942) would force us to clarify our program goals and ensure that we are assessing the attainment of our objectives; this model would also help us to consider unanticipated consequences, which occur frequently in this domain. 
• 판단 모델 A judgmental model (e.g. Scriven, 1974) would have value if faculty development programs were to become part of the accreditation process and receive feedback on program design and implementation from a group of peers and experts. 
• CIPP모델 The CIPP model (Stufflebeam, 1974) could be useful for examining the faculty development literature (Meurer & Morzinski, 1997) and for decision-making in times of budgetary restraint. CIPP is an acronym representing four levels of evaluation: 

• the program objectives and the basis for those objectives (Context); 
• the educational strategies and how they were chosen (Input); 
• the actual implementation and how it compares with planned activities (Process); and 
• how well the needs of the target population were met (Product). By

질적 방법론

Qualitative methods

양적방법론의 한계, 질적방법론의 가치

A number of authors have noted the limitations of quantita- tive methods in evaluating the effectiveness of faculty development programs and activities, and they havehighlighted the value of adding qualitative methodologies to more traditional assessments (Freeman et al., 1992; Hitch- cock et al., 1993; Skeff et al., 1997b).

더 광범위한 평가

Broader focus of evaluation

모든 경우에 'impact' 수준의 평가는 매우 값진 것이다. FD활동이 더 광범위한 시스템이나 개개인의 커리어패스에 영향을 주었는지에 하는 것. 학문적 전파(발표나 출판), 프로그램 개발(트레이닝 자료, 메뉴얼), 프로그램 수행 등에도 관심을 가져야 함.

Indeed, in all situations, it would be worthwhile to assess change at the impact level, trying to identify whether faculty development activities have had an impact on the system at large or on individuals’ career paths. We should also consider the question of academic dissemination (e.g. presentations and publications), product development (e.g. training materials and manuals), and implementation (Blumberg & Deveau, 1995).

장기 변화에 대한 평가. 즉각적 단기성과를 넘어선 평가. 6개월 혹은 그 이상 후에 평가한 연구는 매우 적음

Finally, it would be worthwhile to focus on the assess- ment of longer-term change. It is essential for us to move beyond immediate short-term outcome measures. Too few studies have assessed change at 6 months or longer (Nasmith et al., 1997).

파트너십

Partnerships

자원이 한정되고 재정적 제약이 있을 때 협력은 점점 더 중요하다. 실제로 파트너십은 여러 수준에서 가능하다.

Collaboration is becoming increasingly important in the current environment of limited resources and ®nancial constraints. Indeed, partnership is possible at a number of levels: 

• among academic institutions; 
• between academic institutions and professional societies and organizations; 
• between faculty development and continuing medical educa- tion (CME); and at an international level.

학문기관 간, 그리고 학문기간 내 협력의 필요성은 프로그램 기획/수행/평가의 모든 단계에서 강조되어왔다. Skeff 등은 다양한 전문가 조직에 의해서 주최되는 지역과 국가 단위 미팅에서 제공되는 여러 FD활동을 조화(coordinate)시킬 것을 권고했다. 

The need for collaboration amongÐand withinÐ academic institutions has been highlighted in the area of program planning, delivery and evaluation (Steinert et al., 1997b). Skeff and his colleagues (1997b) have also pointed out the need to coordinate faculty development activities that are offered at regional and national scienti®c meetings hosted by various professional organizations. The time to consolidate available activities, and avoid duplication, is upon us.

국제 파트너십도 중요하다. 북미와 유럽의 전문성을 감안할 때, 성공한 모델이 공유되어야 한다.

International partnerships also hold great promise. Medical schools in many countries wish to start academic medical programs but do not have speci®cally trained faculty available. Given the expertise in faculty development in North America and in Europe, successful models should be shared. 

• For example, Johnson & Zammit-Montebello (1990) describe an interesting program to train Maltese general practitioners in Malta with a visiting professor of Family Medicine. 
• Thompson & Spann (1997) provide an example of a faculty development program they developed for Latin American physicians, conducted in Spanish in an American University.

These models for enhancing academic skills could also be exported to other settings.

근본 원칙

Underlying principles

1. 기관의 맥락과 문화를 이해하고 이에 기반하여 FD하라

1. Understand and work within the institution’s context/culture

기관의 문화와 맞아야 하고 니즈에 반응해야 한다. 조직의 강점을 강조하고, 조직의 수장(리더)와 함께해야 한다. 추가로 현재의 맥락을 FD노력을 촉진하고 향상시킬 수 있게 활용해야. 예컨대, 큰 교육과정이나 교육의 개혁이 있는 시기에 FD활동이 중요하다. Rubeck과 Witzke가 언급한 바와 같이 "자연적으로 발생하는 기회"를 노려야 한다.

Faculty development programs need to match the institution’ s culture and be responsive to its needs (Rubeck & Witzke, 1998). They should also capitalize on the organization’s strengths and work with the leadership to ensure success. In addition, we should remember that the current context can be used to promoteÐ or enhanceÐ faculty development efforts. For example, faculty development activities during times of substantial educational or curricular reform can take on added importance. As Rubeck &Witzke (1998) have stated, we should always remember to look for ª natural opportunitiesº .

2. 니즈에 기반한 FD를 하라

2. Ensure that programs and activities are based on needs

교수의 니즈, 기관의 니즈, 학생의 니즈, 사회의 니즈, 환자의 니즈, 조직의 요구와 도전 등

Faculty development programs should anticipateÐand basethemselves onÐthe needs of faculty members as well as the institution in which they work. Student needs, patient needs, and societal needs, as well as organizational demands and challenges, should be considered in the design of all programs, for faculty development should aim to renew and assist faculty in their diverse roles and help to meet the needs of the organization in which they work.

3. 지지를 끌어내고 효과적으로 마케팅하라

3. Promote `buy in’ and market effectively

FD에 참여할지 말지에 대한 결정은 그렇게 단순하지 않다. 아래와 같은 요인이 있다.

The decision to participate in faculty development is not as simple as it might at ®rst appear. It involves 

• 특정 FDP에 관한 관심(reaction)
  the individual’ s reaction to a particular faculty development offering, 
• 특정 기술을 얻고자 하는 동기
  motiva- tion to develop or enhance a speci®c skill, 
• 시간이 가능한지
  being available at the time of the faculty development session, and 
• 필요하다는 사실을 인정하는 심리적 장벽
  overcoming the psychological barrier of admitting need (Rubeck & Witzke, 1998). 

이러한 한계를 극복하고 우리의 '상품'을 팔 때에 그러한 저항이 학습의 자원이 되게 해야 한다.

As faculty developers, it is our challenge to overcome these potential obstacles and to market our `product’ in such a way that resistance becomes a resource to learning.

4. 다양한 프로그램과 방법을 제공하라

4. Offer diverse programs and methods

다양한 교수(역할, 발달단계 등)들의 니즈를 민감하게 반영해야 함. 

The need for diverse approaches to faculty development has been highlighted by many authors (Rubeck & Witzke, 1998; Steinert et al., 1997b). As discussed earlier, we must design programs that are sensitive to the needs of different faculty members. We must also consider differing faculty roles and address the various developmental stages of faculty members.

5. 성인학습의 원리와 다른 관련 이론틀을 활용하라

5. Incorporate principles of adult learning and other relevant theoretical frameworks

많은 경우 이들 원칙은, FDP의 초점이나 형식과 무관하게, Knowles가 설명한 것처럼, FDP의 개발과 운영의 지침이 되어야 한다. 이는 우리가 다음을 기억해야 함을 말한다.

In many ways, these principles, best articulated by Knowles (1980), should continue to guide the development and implementation of all faculty development programs, irrespective of their focus or format. That is, we should remember 

• 의사들의 자기주도성과 경험 that physicians demonstrate a high degree of self-direction and that they possess many experiences that should be used as a learning resource; 
• '알아야 할 필요'를 경험한 다음에 학습할 준비가 됨 that adults will only become ready to learn after a `need to know’ is experienced; and 
• FDP는 과제-중심, 경험학습, 즉각적 적용을 강조해야 that faculty development programs should be task- centered, with an emphasis on experiential learning and immediacy of application (Carroll, 1993).

As Turnbull (1999) has so eloquently said, until recently those of us responsible for educating future physicians have emphasized the art of medical education and have tended to ignore the fundamental science of learning underlying our basic practice.The same can be said of faculty development activi- ties.

6. 실용성을 놓치지 마라

6. Remain relevant and practical

교수의 활동과 관련성이 있어야 하며 실용적이어야 한다. 경험학습이 핵심이다.

Although it is important that theory inform practice, faculty development activities and programs must remain relevant and practical. As stated above, experiential learning is key.

또한 개념과 스킬을 가르칠 때 단순하고 명확해야 한다. 비록 FD의 영역들은 복잡하지만, 교수들은 단순한 메시지, 개념, 방향을 원하며, 복잡성을 지양하고 실용성을 추구하는 것이 우리의 책임이다.

The teaching of concepts and skills in this area must also remain clear and simple. Although the domains for faculty development are complex (Rubeck &Witzke, 1998), faculty members want simple messages, concepts, and directions, and it is our responsibility to avoid complexity and promote practicality.

7.흔한 문제를 극복하기 위해 노력하라

7.Work to overcome common problems

조직 차원의 지원, 제한된 자원, 제한된 시간 등. 이를 극복하기 위한 창의적 프로그래밍, 능숙한 마케팅, 목표가 분명한 재정지원 확보, 양질의 프로그램 제공 등을 통한 극복

Common implementation problems include a institutional support, limited resources, and limited faculty time (Steinert et al., 1997b). Faculty developers must work to overcome these problems through creative program- ming, skilled marketing, targeted fundraising, and the delivery of high quality programs. lack of

8. 효과성을 평가하고 보여주라

8. Evaluate and demonstrate effectiveness

교수개발은 단순한 학문적 활동 이상이라는 것을 기억하라

The need to evaluate our programs and activities has been highlighted in a separate section. However, we must remember that the evaluation of faculty development is more than an academic exercise.

Research Article

Faculty development in the new millennium: key challenges and future directions

PDF

Full access

DOI:

10.1080/01421590078814

Yvonne Steinert^a

pages 44-50

Publishing models and article dates explained

• Published online: 03 Jul 2009

Alert me

교육효과성을 높이기 위한 FD initiative 의 systemic review (BEME Guide No. 8) (Med Teach, 2006)

A systematic review of faculty development initiatives designed to improve teaching effectiveness in medical education: BEME Guide No. 8

YVONNE STEINERT1, KAREN MANN2, ANGEL CENTENO3, DIANA DOLMANS4, JOHN SPENCER5, MARK GELULA6 & DAVID PRIDEAUX7 

1McGill University, Montreal, Canada; 2Dalhousie University, Halifax, Canada; 3Austral University, Buenos Aires, Argentina; 4University of Maastricht, Maastricht, The Netherlands; 5University of Newcastle upon Tyne, Newcastle, UK; 6University of Illinois at Chicago, Chicago, USA; 7Flinders University, Adelaide, Australia

결론: 대부분의 인터벤션은 진료를 하는 의사를 대상으로 하였다. 모든 연구는 교육의 향상을 목적으로 하여 워크숍/세미나 시리즈/단기코스/장기프로그램 등으로 분류되었다.

Results: The majority of the interventions targeted practicing clinicians. All of the reports focused on teaching improvement and the interventions included workshops, seminar series, short courses, longitudinal programs and ‘other interventions’. The study designs included 6 randomized controlled trials and 47quasi-experimental studies, of which 31 used a pre-test–post-test design. 

방법론적 한계를 감안하더라도 다음의 결과를 지지한다.

Key points: Despite methodological limitations, the faculty development literature tends to support the following outcomes: 

• FDP의 전반적인 만족도는 높다. 참가자들은 지속적으로 프로그램이 수용가능하고/유용하고/자신들의 목표와 관련된다고 응답하였다.
  Overall satisfaction with faculty development programs was high. Participants consistently found programs acceptable,useful and relevant to their objectives. 
• 응답자들은 FD와 교육에 관하여 긍정적인 태도 변화를 보고하였다.
  Participants reported positive changes in attitudes toward faculty development and teaching. 
• 참가자들은 교육 원칙에 대한 지식이 향상되었으며, 교육 기술이 향상되었다고 응답하였다. 지식 향상 점검을 위해 시험을 보았을 때에는 유의미한 향상이 있었다.
  Participants reported increased knowledge of educational principles and gains in teaching skills. Where formal tests of knowledge were used, significant gains were shown. 
• 교육 행동의 변화는 지속적으로 참가자들에 의해 보고되었으며, 학생들도 그렇게 보고하였다.
  Changes in teaching behavior were consistently reported by participants and were also detected by students. 
• 조직 차원의 변화와 학생들의 배움의 향상은 자주 연구되는 것은 아니었다. 그러나 연구 결과를 보면 교육에 대한 참여가 높아지고, 동료간의 네트워크가 확립되었다.
  Changes in organizational practice and student learning were not frequently investigated. However, reported changes included greater educational involvement and establishment of collegiate networks. 
• 경험학습, 긍정적 피드백의 제공, 효과적인 동료관계, 교수학습 원칙을 따른 잘 설계된 인터벤션, 하나의 인터벤션 내에서 다양한 교수법 활용 등이 효과적인 FD에 기여한다.
  Key features of effective faculty development contributing to effectiveness included the use of experiential learning, provision of feedback, effective peer and colleague relationships, well-designed interventions following principles of teaching and learning, and the use of a diversity of educational methods within single interventions. 

학계의 생명력은 교수의 흥미와 전문성에 달려있다. FD는 학문적 수월성과 혁신을 촉진하는데 핵심적 역할을 한다.

Academic vitality is dependent upon faculty mem-bers’ interest and expertise; faculty development has a critical role to play in promoting academic excellence and innovation. (Wilkerson & Irby,1998)

지금까지 여러 문헌에서 FD활동의 효과성을 리뷰하였다.

To date, a number of publications have reviewed the effectiveness of faculty development activities.

• FDP는 많지만, 평가는 잘 되지 않고 있으며, 주로 만족도를 평가하는 짧은 설문에 그치고 있다.
  In 1984, Sheets & Henry observed that despite the growth in faculty development programs, evaluation of these initiatives was a rare occurrence, usually consisting of short questionnaires tapping participants’ satisfaction.
• 가정의학전공 교육자들에 관한 FD에 관한 연구로부터 비슷한 결론을 도출하고, 관찰한 행동 변화에 근거한 더 철저한 평가를 요구했다.
  In 1990, Sheets & Schwenk reviewed the literature on faculty development activities for family medicine educators and made a similar observation, calling for more rigorous evaluations based on observed changes in participant behavior.
• 이전의 연구를 요약하면서, FD의 개념이 진화/확장하고 있다고 하였음. 특히, 교육 기술이 FD의 두드러지는 측면이며, 펠로우십이 새로운 교수를 모집하고 훈련시키는데 효과적이며, FD의 효과는 더 연구가 필요하다
  In 1992, Hitchcock et al. summarized earlier reviews of the faculty development literature (e.g. Stritter, 1983; Bland & Schmitz, 1986; Sheets & Schwenk, 1990) and concluded that the concept of faculty development was evolving and expanding. In particular, they observed that teaching skills were a prominent aspect of faculty development, that fellowships were being used effectively to recruit and train new faculty, and that the efficacy of faculty development needed better research documentation.
• 24개의 문헌을 리뷰하여, 비록 일부 긍정적인 성과가 보고되지만, 방법론적 약점이 단정적인 결론을 내는 것에 장애가 된다
  In 1997, Reid et al. reviewed 24 papers (published between 1980 and 1996) and concluded that despite some positive outcomes for fellowships, workshops and seminars, methodological weaknesses precluded definitive conclusions regarding faculty development outcomes.
• FD가 의학교육과 의료의 변화에 대응해야 하며, 교수들의 진화하는 역할에 지속적으로 적응해야 한다. 또한 더 철저한 프로그램평가가 필요하다. FDP는 초점을 더 확장시켜서 다양한 훈련 방법과 형식을 고려하고, 새로운 파트너십과 협력을 모색해야 한다.
  In 2000, Steinert highlighted the need for faculty development to respond to changes in medical education and healthcare delivery, to continue to adapt to the evolving roles of faculty members, and to conduct more rigorous program evaluations. She also commented that faculty development programs need to broaden their focus, consider diverse training methods and formats, and foster new partnerships and collaborations.
  

목적

Objectives

교수들의 교육역량 강화에 초점을 둔 연구에만 한정함.

The goal of this review is to determine the effect of faculty development activities on faculty members’ teaching abilities and to assess the impact of these activities on the institutions in which these individuals work. We focused specifically on programs designed to improve faculty members’ teaching abilities because the majority of faculty development programs have targeted this particular role (Hitchcock et al., 1992; Irby 1996); instructional effectiveness is central to the mission of medical education; and we wanted to limit the scope of our search to a feasible task. We did not examine faculty development programs designed to improve research or writing skills, administrative or management skills, or professional academic skills (career development). We also chose to limit the review to faculty development programs designed for teachers in medicine, and did not examine those programs specifically designed for residents or other healthcare professionals (e.g. nurses; dentists). All types of faculty development interventions (e.g. workshops, short courses and seminars, and fellowships) were included in the review.

검토 질문

Review question

FD를 효과가 있게 하는 특징은 무엇인가?

What are the features of faculty development that make it effective? 

FD가 차이를 만드는가?

Does faculty development make a difference?

•  What makes for effective faculty development?
•  Does participation in faculty development improve facultymembers’ teaching, research and administrative skills?
•  Does faculty development have an impact on the institu-tional climate and organization? 

FD인터벤션이 교사의 지식,, 태도 술기에 미치는 효과는 무엇이며, 그 교수가 속한 기관에 미치는 영향은?

What are the effects of faculty development interventions on the knowledge, attitudes and skillsof teachers in medical education, and on the institu-tions in which they work?

 In addition, we also explored the following questions: 

• What characterizes the faculty development activities tha thave been described?
• What are the methodological strengths and weaknesses ofthe reported studies? 
• What are the implications of this review for facultydevelopment practices and ongoing research in this area? 

리뷰 방법

Review methodology

그룹 형성

Group formation

An international Topic Review Group (TRG) of individualsrepresenting six countries was constituted. Three criteriaparticipation:were used to invite individuals for TRG international diversity; practical experience in faculty devel-opment and medical education; and expertise in educationalresearch methodology. 

파일럿 단계

The pilot process

A two-step pilot process was undertaken to prepare for the formal, systematic review. 

개념틀 개발

Development of a conceptual framework

그림 1

The pilot phase led to the development of a conceptual framework that guided this review (see Figure 1).

커크패트릭 모델 사용

To classify and analyze outcomes, we used Kirkpatrick’s model of educational outcomes (Kirkpatrick, 1994), which offers a useful evaluation framework for this purpose (see Figure 2).

커크패트릭은 이 성과가 위계적이지 않으며, 모델은 정책과 프로그램 개발에 더 전체적이고 포괄적인 평가를 의도한 것이라 하였음.

In his original work, Kirkpatrick (1967) asserted that these outcomes were not hierarchical and that the model is intended to provide a more holistic and comprehensive evaluation that can inform policy and program development. The model has also been used by other BEME groups (e.g. Issenberg et al., 2005) as well as other review groups (e.g. Freeth et al., 2003), and with some modifications, was well suited to our review.

포함/배제 기준

Inclusion/exclusion criteria

Based on the pilot studies, the following criteria guided theselection of articles for review:

탐색 전략, 논문 출처

Search strategy and sources of papers

A literature search was conducted on Medline and ERICusing the following key words: staff development; in-service training; medical faculty; faculty training/development; andcontinuing medical education. (A copy of the search strategyis included in Appendix I, which is available on the BEMEwebsite: http://www.bemecollaboration.org) 

선택 방법과 방법론적 질 점검

Selection methods and judgment of methodological quality

The literature search resulted in a total of 2777 abstracts. A two-stage process was employed in the selection of studies eligible for review (Freeth et al., 2003) and is outlined in Figure 3.

데이터 관리 기술

Data management techniques

Data extraction, analysis and synthesis

어떤 자료를 추출하여 분석하고 종합하였는가?

결과

Review findings

리뷰에 포함된 연구의 개괄

Overview of studies included in review

(a) Description of the interventions and expected outcomes—which will be further divided into: setting, professional discipline, focus of the intervention, program type,instructional methods, duration, and level of outcome assessed. 

(b) studies—which will be Methodological quality of the further divided into: study goal and theoretical frame-work, study design, data-collection methods, data sources, and study quality and strength of findings. 

(a) Description of the interventions and expected outcomes

세팅(국가, 기관)

Setting: Of the 53 papers reviewed, 38 studies (72%) took place in the US, the remainder being in Canada, Egypt, Israel, Malta, Nigeria, the UK, Switzerland and South Africa. Most activities were delivered in a university, hospital or community setting, with several initiatives offered by profes- sional associations.

참여 대상의 전공(내과, 가정의학과, 40%에서는 참가자의 전공 종류가 2개 이상, 기초과학자 대상 등)

참가자 수(6~399명, 평균 60명)

Professional discipline: The majority of faculty development interventions targeted practicing clinicians, with a prepon- derance of activities in family medicine and internal medicine. Interestingly, 21 of the faculty development initiatives (40%) welcomed more than one clinical discipline. Five interventions (10%) were designed for both clinicians and basic scientists; an additional two (4%) targeted basic scientists only. The number of participants in the interven- tions (which does not equal respondents for the evaluative component) ranged from six to 399, with a mean attendance of 60.

Table 2. Summary of faculty development outcomes by Kirkpatrick level.*

인터벤션의 초점: 교육 개선, 임상교육, 피드백과 평가, 소그룹 교수법, 강의기술, 학습자-중심 교육, 특정 내용 교육에 대한 것, 일반적인 교육 향상, 개인적/진로 개발, 조직변화, 행정과 리더십, 연구기술

Focus of the intervention: As a result of the selection criteria, all of the reports focused on teaching improvement. The majority aimed to improve clinical teaching, with a secondary emphasis on feedback and evaluation, small-group teaching and lecturing skills. Several studies highlighted ‘learner centeredness’ as an outcome, and several others focused on the teaching of specific content areas in addition to general teaching improvement (e.g. communication skills and medical interviewing; principles of family medicine and preventive medicine). Although the primary focus of these reports was instructional improvement, many also addressed personal/career development, organizational change, administration and educational leadership, and research skills.

프로그램 유형: 워크숍, 세미나 시리즈, 단기 코스, 장기 프로그램, 개인별 피드백, 증강(augmented) 피드백, 현장 방문. 용어의 비일관적인 그리고 다양한 사용이 분류를 어렵게 하는 측면이 있음.

Program type: The majority of activities were workshops (n¼23; 43%), of varying duration. Ten (19%) of the interventions were described as a seminar series and six (11%) as a short course. Five (10%) were described as a longitudinal program (e.g. fellowship) and nine (17%) fell under ‘other’, which included a seminar method, individual or augmented feedback, or site visits. An inconsistent and variable use of terms (e.g. workshops and seminars; seminars and short courses), complicated this classification; however, whenever possible, the authors’ terminology was used.

교수법: 강의, 소그룹토론, 상호작용 연습, 역할극, 시뮬레이션, 비디오-녹화 리뷰. 강의로만 진행되는 프로그램은 없으며, 대부분의 프로그램은 피드백이 동반된(microteaching과 같은) 실습(experiential) 부분을 포함하고 있음. 일부 프로그램은 현장훈련을 제공하며, 배운 것을 바로 적응할 수 있게 한다. 비록 교육 프로젝트와 in vivo practice가 일부 인터벤션(대부분 세미나와 단기 코스)의 일부였지만, 교사의 지속적 교육활동과 연관되어 있는 것을 묘사한 연구는 극히 적었다. 요구도 조사가 이루어진 경우는 적었다.

Instructional methods: All reports described a wide range of instructional methods that included lectures, small-group discussions, interactive exercises, role plays and simulations, films and videotape reviews of performance. No programs were completely lecture-based, and the majority included an experiential component with opportunities for guided practice with feedback (i.e. micro-teaching). Some programs offered on-site training opportunities where teachers could readily apply what they learned. Few described a direct link to teachers’ ongoing educational activities, although educational projects and in vivo practice were part of several interventions (most notably seminars and short courses). Needs assessments were used sparingly.

길이: FDP 인터벤션은 1시간에서 1년까지 다양했다. 워크숍(대체로 one-time 인터벤션)의 경우 3시간에서 1주까지 분포하고 있었으며, 중간값은 2일이었다. 세미나 시리즈(장기간에 걸쳐 진행되는 것)은 12시간에서 1달까지 분포하고 있었으며, 중간값은 14시간이었다. 단기코스는 1주에서 1달에 분포하였다. 펠로우십은 full-time와 part-time이 모두 있는데, 한 인터벤션은 18개월에 걸쳐 50시간에 달하였다.

Duration: The faculty development interventions ranged in duration from one hour to one year. Workshops, which were generally one-time interventions, ranged in duration from three hours to one week, with a median duration of two days. The seminar series, which occurred over time, ranged in duration from 12 hours to one month (with a median duration of 14 hours), and the short courses ranged from one week to one month. Fellowships were both full time and part time in nature, and one intervention, entitled a ‘longitudinal program’, was 50 hours in length over 18 months. 

평가 항목: 74%의 연구가 reaction을 평가하였으며(만족도, 유용성 인식, 수용가능성, 학습활동의 가치), 77%에서 learning을 평가하였다(태도, 지식, 술기의 변화), 72%에서 '행동'을 평가하였으며, 'Result'평가는 13%에서 조직의 변화를, 6%에서 학생/레지던트 학습의 변화를 평가하였다.

Level of outcome assessed: Table 2 shows that 39 studies (74%) assessed reaction, which included participant satisfaction, perception of program usefulness and acceptability, and value of the activity. Forty-one studies (77%) assessed learning, which included changes in attitudes, knowledge or skills. Thirty-eight (72%) assessed change in behavior. At the results level, seven studies (13%) reported change in organizational practice and three (6%) assessed change in student or resident learning.

(b) 연구의 방법론적 품질

(b) Methodological quality of the studies

연구 목표와 이론틀: 모든 연구에서 목표를 기술하였으며, 일부는 더 구체적으로 목표를 기술하였음.(FDP의 교육행동 또는 교육태도에 대한 효과성 평가). 7개를 제외한 모든 연구에서 관련 문헌을 인용하였으며, 57%에서 개념틀 혹은 이론틀(주로 성인학습, Instructional design, experiential learning, reflective practice)과 연결지었다.

Study goal and theoretical framework: All 53 reports stated their objective, sometimes quite broadly (e.g. to describe, implement and evaluate a faculty development initiative). Some reports described more specific objectives, outlining a particular study question such as assessing the effectiveness of a faculty development program on teaching behaviors (Hewson, 2000) or attitudes (Schmidt et al., 1989). One study examined the effect of experience on workshop gains (Baroffio et al., 1999), and several others assessed different methods of assessment (Nasmith et al., 1997; Hewson et al., 2001) and program evaluation (Sheets, 1985). All but seven cited the relevant literature, though often in a very limited fashion. Thirty reports (57%) placed their work within a conceptual or theoretical framework, primarily drawing upon principles of adult learning, instructional design, experiential learning and reflective practice.

연구 설계: 11% RCT, 89% quasi-experimental. 45개의 단일그룹설계 중, 69%는 pre-post test, 26%는 post-test만. 질적 접근만 활용한 경우는 없었으며, 21%는 질적연구방법 사용

Study design: Of the 53 papers reviewed, there were six (11%) randomized controlled trials. The majority of studies (n¼47; 89%) were quasi-experimental in design, with two including a comparison group in the main part of the study. Of the 45 single-group designs, 31 (69%) employed a pretest– post-test design. Fourteen studies (26%) used a post-test only. None of the reports used a qualitative approach only, though 11 (21%) incorporated a qualitative method (or analysis) in their design. 

데이터 수집: 워크숍 후 설문, pre and post 측정, 학생/레지던트/자기 평가, 교육행동 관찰 등. 설문이 가장 흔히 사용되는 방법이었음. 55%에서는 설문만 사용. 38%에서는 설문+alpha. 대부분의 설문은 특정 연구를 위해 개발되었고, 매우 소수 연구에서는 psychometric properties도 보고함. 30%는 (비디오 녹화 등) 직접 관찰 평가를 수행.

Data collection methods: Methods to evaluate faculty development programs included end-of-workshop questionnaires, pre- and post-test measures to assess attitudinal or cognitive change, student, resident and self-assessment of post-training performance, and direct observations of teaching behavior. Questionnaires were the most popular method of data collection. All but four of the interventions used a survey or questionnaire. Twenty-nine (55%) of the interventions used a questionnaire only; 20 (38%) used a questionnaire and another method (e.g. observation; expert opinion). Most questionnaires were designed for a particular study, and few reports described psychometric properties. Sixteen studies (30%) included direct observation (of live or videotaped teaching sessions) as part of their assessment methodology. 

데이터 출처: 대부분 교육에 대한 자기보고에 의존하고 있으며, 수행-기반 변화측정은 매우 제한적으로 사용되었음. 28%는 학생/레지더트의 평가를 도입하였음. 전문가 견해를 사용하기도 함. 학생의 시험점수, 레지던트 행동에 관한 환자의 평가 등도 있음. 응답률은 low 또는 unspecified.

Data sources: The majority of programs relied on selfreported ratings of teaching, with a limited use of performance-based measures of change. Fifteen studies (28%) employed student or resident ratings to assess changes in teaching behaviors. An additional two used expert opinions to assess outcomes. One study assessed student exam scores; another included patient ratings of resident behaviors. In many studies, the response rates for outcome measures were low or unspecified; statistical methods or differences were often not described.

연구의 품질과 연구결과의 견고성: 5점척도로 평가했을 때(원래는 subscale도 넣었지만 reliable하지 않았음) study quality는 평균적으로 3.14점이었으며 1점에서 5점까지 분포(1 낮음, 5 높음). strength of finding은 2.88이 평균이었고 1점에서 4점까지 분포 (1점: no clear conclusions can be drawn; 3점: conclusions can probably be based on results; 5점 results are unequivocal)

Study quality and strength of findings: Study quality was rated on a five-point scale (1¼low; 5¼high), and reviewers were asked to indicate study strengths and weaknesses. We had originally included subscales to rate the evaluation methods (e.g. appropriateness of and implementation of study design; appropriateness of data analysis), but this did not yield reliable results. We therefore chose to use an overall rating for this variable. Strength of findings was rated on a five-point scale with specific anchors (1¼no clear conclusions can be drawn; 3¼conclusions can probably be based on results; 5¼results are unequivocal). The mean rating for study quality was 3.14, with a range from 1 to 5. The mean rating for strength of findings was 2.88 (with a range of 1–4).

인터벤션 유형에 따른 결과 요약

Summary of findings by intervention type

(a) 워크숍

(a) Workshops

23개의 인터벤션이 워크숍이었으며, 대부분은 duration이 다양한 single intervention이었음.

Twenty-three of the interventions reported were described as workshops, most commonly a single intervention of varying duration.

23개 중 7개 만이 개념 또는 이론틀을 기술함

Only seven of the 23 stated a theoretical or conceptual framework.

(b) 단기 코스

(b) Short courses

54개의 인터벤션 중 6개가 단기코스 형태였고 1주에서 1달까지 분포하였다. 모두 목표를 기술하였고, 6개 중 5개에서 이론틀을 제공하였다.

Six of the 54 interventions (Sheets & Henry, 1984, 1988;Gordon & Levinson, 1990; Skeff et al., 1992b; DaRosa et al.,1996; Pololi et al., 2001) were in the form of a short course,ranging in duration from one week to one month. All hada stated objective and all but one provided a theoretical framework. 

(c) 세미나 시리즈

(c) Seminar series

10개의 연구에서 세미나시리즈를 하였고, 이것의 특징은 각 세션이 시간 간격을 두고 진행되는 것이다.

Ten studies described a seminar series characterized by the fact that the sessions were spaced over time 

(d) 장기 프로그램과 펠로우십

(d) Longitudinal programs and fellowships

한 연구에서 장기프로그램을 보고하였으며, 모두 목표를 기술했다.

One report described a longitudinal program.

All had stated objectives and all but one incorporated a theoretical framework.

우수 연구 자세히 들여다보기

The focused picture

8개의 연구가 study quality와 strenght of findings에서 4점 혹은 그 이상의 점수를 받았다. 이 연구만 따로 보면 다음과 같다.

Eight articles scored 4 (or higher) for both study quality andstrength of findings, and we chose to examine these separately in order to provide a more focused picture offaculty development. 

8개 중 4개의 연구에서 effect size를 계산 할 수 있었다. 평균점수와 SD로 effect size를 계산함. Table 3에 그 결과가 나와있다.effect size는 다양했지만 moderate to high 한 정도의 효과크기가 네 가지 모두에서 나타났다. 즉 인터벤션의 효과가 있었으며 특히 교육의 측면에서 그리고 인터벤션에서 도움을 받은 교수들의 측면에서 있었다.

Four of the eight studies included in our focused review provided data that allowed for the calculation of effect size(Baroffio et al., 1999; Skeff, 1983; Skeff et al., 1986; Mahler& Benor, 1984). Mean scores and standard deviations weredrawn from the data and were converted into effect sizes (d)using Cohen d’s calculation (Cohen, 1988). These effects areshown in Table 3, where these studies are summarized. Whileeffect sizes varied, moderate to high effect sizes were found inall four studies, highlighting the effects of the interventions,particular aspects of teaching that were affected, and groupsof teachers who might benefit from the intervention. 

(a) 인터벤션과 기대 효과

(a) Description of the interventions and expected outcomes

45분짜리 피드백 세션에서부터 1달짜리 세미나 시리즈까지 다양했다.

The interventions described in these eight reports rangedfrom a 45-minute feedback session for clinical teachers(Marvel, 1991) to a month-long seminar series designed tofacilitate dissemination of workshop concepts (Stratos et al.,1997). One study described two workshops aimed at improving tutor behavior, each consisting of several phases(Baroffio et al., 1999). Another study provided augmented feedback, consisting of norm-referenced graphic summaries of teachers’ clinical teaching performance ratings, together with individually written clinical teaching effectiveness guide-lines, to attending staff and residents (Litzelman et al., 1998).Two studies assessed the benefits of a four-day workshop designed to improve teachers’ cognitive styles (Mahler & Benor, 1984; Mahler & Neumann, 1987), and two studies assessed the impact of an intensive feedback and seminar method on clinicians’ teaching behaviors (Skeff, 1983; Skeff et al., 1986).

모든 연구에서 behavior change를 평가했으며, 이는 3단계와 4단계에 해당한다. 4개의 연구에서 참가자의 만족도를 조사하였고, 3개의 연구에서 학습의 변화를, 7개의 연구에서 교육행동의 변화를 3개에서 학생과 시스템의 변화를 평가하였다.

All of the studies assessed behavioral change, targeting level 3 or 4 of Kirkpatrick’s model. Four studies included participant satisfaction. Three studies examined changes in learning (i.e. knowledge, attitudes or skills); seven studies assessed change in teacher behavior and three assessed change at the level of the student or system. One study assessed outcome at all four levels (Skeff et al., 1986).

(b) 방법론적 품질

(b) Methodological quality of the studies

3개는 RCT. 5개는 single-group design. 1개 연구에서 non-equivalent control group을 포함함. 8개 연구에서 pre- post- test 디자인을 활용. 3개의 연구에서는 delayed post-test 활용

Three of the eight studies (38%) were randomized controlled trials; the remaining five (62%) were single-group designs, with one study including a non-equivalent control group for one part of the intervention. All eight studies employed a pre- test–post-test design, with the addition of a delayed post-test in three.

8개 중 6개에서 설문을 활용했으며(이론적 구인에 따라 reliability를 점검함). 이 6개 중 3개는 수행능력을 객관적으로 측정함. 2개는 수행능력에 대한 관측측정만 함.

Six of the eight studies (75%) used questionnaires (the majority of which were tested for reliability and based on a theoretical construct). Three of these same six studies also incorporated objective measures of performance. The two remaining studies used observed measures of performance only.

8개 모두 참가자의 자기-보고 외에 다른 자료 출처를 사용함. 5개의 연구는 교육 행동에 대한 학생, 레지던트의 평가 활용. 5개는 숙련된 관찰자의 평가를 활용

All of the eight studies used data sources other than participants’ self-report. Five of the studies incorporated student and resident ratings of teacher behavior; five utilized trained observer ratings.

Discussion

결과 요약

Summary of outcomes

FDP에 대한 높은 만족도: 참가자가 자발적으로 참여했다는 사실 외에도, 일관되게 FDP가 수용가능했고, 유용했으며, 개인 목표에 부합한다고 응답함. 실습과 스킬-기반 방법이 높은 평가를 받았음.

High satisfaction with faculty development programs: Overall satisfaction with faculty development programs was high. Notwithstanding the fact that the participants were volunteers, they consistently found the programs acceptable, useful and relevant to their personal objectives. The methods used, especially those with a practical and skills-based focus, were also valued by program participants.

교육과 교수개발에 대한 태도 변화: 두 가지 모두에서 긍정적으로 변화했다. 개인의 강점과 약점을 더 잘 인식하게 되었고, 동기부여가 더 되었으며, 교육에 대한 열의가 생겼고, professional development에 대해 긍정적으로 평가하게 되었다. 이러한 효과는 개방형 설문과 pre-post 측정에서 모두 나타났다.

Changes in attitudes towards teaching and faculty development: Participants reported a positive change in attitudes towards faculty development and towards teaching as a result of their involvement in a faculty development activity. They cited a greater awareness of personal strengths and limitations, increased motivation and enthusiasm for teaching, and a notable appreciation of the benefits of professional development. This impact was observed both in answers to open-ended questions and in pre–post measures of attitudinal change.

지식과 스킬의 습득: 교육의 다양한 측면(구체적인 교육전략, 보다 학습자-중심적 접근) 외에도 교육적 개념에 대한 지식 향상을 언급하였다. 스킬의 습득(학습자 요구사정, 성찰 촉진법, 피드백 제공법)도 이뤄졌다. 지식의 평가를 위한 시험은 흔히 사용되진 않더라도 긍정적 변화를 보여준다.

Gains in knowledge and skills: Participants often reported increased knowledge of educational concepts and principles as well as various aspects of teaching (e.g. specific teaching strategies; a more learner-centered approach). They also described gains in skills (e.g. assessing learners’ needs, promoting reflection and providing feedback). Formal tests of knowledge, though infrequently used, also demonstrated positive changes.

교육 행동의 변화: 스스로 인식한 교육행동의 변화는 지속적으로 보고되었다. 학생들의 평가에서 FDP 참가자들이 인식하는 변화를 항상 반영하는 것은 아니지만, 교육 행동에 변화가 있는 것은 명확해보인다. 예컨대 교육 행동의 변화는 23개의 워크숍 중 15개, 10개의 세미나 시리즈 중 7개에서 드러난다.

Changes in teaching behavior: Self-perceived changes in teaching behavior were consistently reported. While student evaluations did not always reflect the changes that participants perceived, there was evidence that change in teaching performance was detectable. For example, changes in teaching behavior were reported for 15 (of 23) workshops and seven (of 10) seminar series. New educational initiatives, designed and implemented during the intervention, were also described.

조직과 학생 학습의 변화: 흔히 평가되는 것은 아니지만, 이것을 평가한 소수 연구를 보면 새로운 교육활동에 더 적극적으로 참여하고, 동료들과 새로운/개선된 네트워크를 형성한다.

Changes in organizational practice and student learning: Changes in student (or resident) behavior as well as organizational practice were not frequently investigated. However, in those few studies that examined organizational practice, participants reported a greater involvement in new educational activities and the establishment of new and improved networks of colleagues. The latter outcome was most frequently noted for the seminar series and longitudinal programs.

핵심 특징 요약

Summary of ‘key features’

경험학습의 역할: 배운 내용을 적용하는 것, 스킬을 연습하는 것, 스킬에 대한 피드백을 받는 것의 중요성이 여러 연구에서 강조되었다. 모든 연구자들은 교수들이 배운 것을 연습하고, 즉각적 관련성과 실용성이 핵심이라고 하였다.

The role of experiential learning: The importance of applying what has been learned (during the intervention and afterwards), practicing skills, and receiving feedback on skills learned was highlighted by several authors (Irby et al., 1982; Coles & Tomlinson, 1994; Hewson, 2000), all of whom suggest that faculty members need to practice what they learn, and that immediate relevance and practicality is key (e.g. Sheets & Henry, 1984, 1988).

피드백의 가치: 변화를 만드는데 피드백의 역할을 여러 보고된 인터벤션에서 명백하다. 추가로 여러 연구에서 인터벤션 전략으로서 피드백 활용을 조사하였으며, systematic한 건설적 피드백이 교육 행동의 개선을 가져올 수 있음을 보여주었다. 그러나 한 연구에서 augmented feedback은 일부 부정적 효과를 보였다.

The value of feedback: The role of feedback in promoting change was evident in many of the reported interventions. In addition, several studies (Skeff, 1983; Litzelman et al., 1998) specifically examined the use of feedback as an intervention strategy and found that systematic and constructive feedback can result in improved teaching performance. However, in one study (Litzelman et al., 1998), augmented feedback was shown to have some negative effects; this potential effect should be considered and investigated further.

동료의 중요성: 많은 연구에서 동료 관계의 이점에 대해서 언급했다. 특히 동료를 롤모델로 삼는 것, 정보와 아이디어를 서로 교환하는 것, 변화를 촉진하고 유지하는데 동료의 지지의 중요성 등을 언급했다.

The importance of peers: A number of reports (DeWitt et al., 1993; Elliot et al., 1999) commented on the benefits of peer and collegial relationships. In particular, they highlighted the value of using peers as role models, the mutual exchange of information and ideas, and the importance of collegial support to promote and maintain change.

교수-학습의 원칙을 고수하는 것: 많은 FDP가 이론/개념적 프레임워크에 기반하고 있지 않지만, 많은 연구에서 성인학습을 인용하였으며 경험학습을 인용하였다. 실제로 이러한 원칙에 입각하여 진행하는 것이 더 효과적인 교수-학습을 가져온다는 컨센서스가 나타나고 있다. instructional design 원칙 역시 자주 언급된다.

Adherence to principles of teaching and learning: Although many of the programs were not grounded in a theoretical or conceptual framework, many cited principles of adult learning (e.g. Knowles, 1988) and experiential learning (e.g. Kolb, 1984) as an organizing structure. In fact, there appears to be a developing consensus that adherence to these principles promotes more effective learning and teaching. Principles of instructional design were also frequently cited.

목표 달성을 위한 다양한 교수법 활용: 앞서 언급된 바와 같이 모든 인터벤션은 여러 교수법을 활용하며(소그룹 토의, 상호작용 연습, 롤플레이, 시뮬레이션) 강의만 하는 것은 없다. 명백히 모든 프로그램은 다양한 학습스타일에 맞춰야 할 필요성과 더불어 다양한 목표를 달성하기 위해서는 다양한 방법이 필요함을 인식하고 있다.

The use of multiple instructional methods to achieve objectives: As mentioned earlier, all of the interventions included a wide range of instructional methods (e.g. smallgroup discussions; interactive exercises; role plays and simulations) and none relied on lectures alone. Apparently, each program was aware of the need to accommodate different learning styles as well as the fact that different methods are required to meet diverse objectives.

FD인터벤션과 관련한 관찰결과

Observations re faculty development interventions

맥락의 역할: 대부분의 연구는 교수 중 특정 맥락에 있는 특정 그룹의 니즈에 맞는 프로그램을 개발하였다. 이 프로그램 개발과 '맞춤형' 프로그램이 종종 성공을 이루곤 했지만, 놀라운 것은 아니다. 이러한 관찰 결과에서 배워야 할 점은 '맥락'이 핵심이라는 것이며, 연구의 결과가 일반화가능하지 않을 수 있지만, FDP의 개발의 원칙은 일반화가능할 수 있다는 점이다.

The role of context: The majority of reports describe programs that were developed to meet the needs of a particular group of faculty members, in a particular context. To the extent that this development and ‘match’ were often successful, it is not surprising that there were many reports of changes in the desired direction. One lesson to be learned from this observation is that context is key, and that although the results of these studies may not be generalizable, the principles of faculty development might be.

맥락은 또 다른 의미에서 중요한데, Kirkpatrick에 따르면 변화가 일어나려면 네 가지 조건이 맞아야 한다. (1)변하고자 하는 욕망이 있어야 하며, (2)무엇을 어떻게 할지에 대한 지식이 있어야 하고 (3)지지적 환경이 필요하며 (4)변화의 보상이 필요하다. 흥미롭게도 처음 두 개의 요소는 FDP를 통해 달성가능하나 나머지 두 개는 그렇지 않다. 그러나 우리가 바라는 변화는 이 지점에 있다.

Context is important in another way as well. According to Kirkpatrick (1994), four conditions are necessary for change to occur: the person must have the desire to change, knowledge of what to do and how to do it, a supportive work environment, and rewards for changing. Interestingly, the first two elements of change can potentially be achieved through faculty development activities; the last two cannot, and yet it is at this level that we expect change to occur.

참여의 특성: FDP에 참여하고자 하는 동기는 아직 해결되지 않은 의문이다. 왜 참여하는가? 왜 어떤 사람이 특정 프로그램에 특정 시점에 참여하고자 하는가? 지금까지 대부분의 참여자는 자발적 참여자였다. 아마 이제는 이 '자발성'을 넘어서야 할 때인지도 모른다. 개인적 차원의 것을 넘어서 FDP참여를 촉진하거나 방해하는 요인을 알아봐야 한다. '교육'이란 것은 '사회적 활동'이기 때문에, 참여의 사회적 결정요인에 대해 살펴볼 필요가 있을 수도 있다. 경험을 통해서 얻는 것과 워크숍을 통해서 얻는 것의 차이를 볼 필요도 있다.

The nature of participation: Motivation to attend faculty development activities remains an unanswered question. What motivates participation? What determines whether someone will take advantage of specific offerings at a particular time? To date, the majority of participants are volunteers. Perhaps it is time for us to move beyond ‘volunteerism’ as we strive to enhance teaching and learning. It would also be worth exploring factors beyond the individual that encourage or impede attendance. As teaching is a ‘social activity’ (D’Eon et al., 2000), the social determinants of participation merit further inquiry. It would also be worthwhile to conduct further studies to determine what is learned through workshops vs. experience. 

FD의 facilitator로 참여하는 것의 효과도 연구할 가치가 있을 것이다. "가르치는 것은 두 번 배우는 것과 같다" 라는 말이 있다. 흥미롭게도 지금까지 어떤 연구도 FD facilitator의 참여의 영향을 연구하지 않았다. FD intervention에 faciitator로 참여하기 위해서는 독특한 스킬과 자질이 필요할 것이라는 것이 우리의 생각이다.

The impact of participation on faculty development facilitators would also be worthy of investigation. It has been said that ‘‘to teach is to learn twice’’. Interestingly, no studies to date have examined the impact of participation on faculty development facilitators. It is our impression that facilitating a faculty development intervention requires a unique blend of skills and aptitudes that should be examined in greater depth.

확장 프로그램의 가치: 더 장기간 이뤄지는 프로그램(세미나 시리즈)이 단기성 프로그램보다 더 성과를 낼 가능성이 높아 보인다. 예컨대 세미나 시리즈는 네트워크를 형성시키고, 협력적 관계를 만들어준다. 이러한 인터벤션은(펠로우십 포함) FDP이후 교육활동에 더 많이 참여하게 하며, 이는 지속가능성을 시사한다. 단기 프로그램과 장기 프로그램의 더 철저한 비교가 필요하다.

The value of extended programs: Our review of findings by intervention type suggests that longer programs, extended over time (e.g. the seminar series), tend to produce outcomes not apparent in one-time interventions (e.g. short courses or workshops). For example, in several instances the seminar series resulted in the creation of networks and cooperative interactions among colleagues that are possible when a group meets over time (e.g. Rayner et al., 1997). These interventions, as well as fellowships, also reported more involvement in educational activities following the faculty development activity, implying sustainability over time. A more rigorous comparison of ‘short’ and ‘long’ interventions would be beneficial to test out the hypothesis that extended programs yield more long-term changes.

FDP의 다양한 대안 고려: 이번 연구에서 전통적인 면-대-면 방식의 FDP에 지나치게 의존하고 있음이 드러났다. 이러한 인터벤션이 일정관리에 장점이 있고, 관심이 있는 교육자들의 커뮤니티를 형성해주며, 동기를 더 부여해주는 것으로 나타나지만, 다른 방법(온라인 교육, 자기주도 학습, 피어-코칭)도 고려해봐야 하며 멘토링도 고려해봐야 한다. 여기에 속하는 일부 연구들이 'strength of findings'에서 높은 점수를 받았다.

The use of ‘alternative’ practices: The current literature demonstrates an over-reliance on traditional face-to-face methods such as workshops and seminars. Whereas these interventions seem to have the stated advantage of ease of scheduling, building a community of interested educators and increasing motivation, we should consider other methods that include online and self-directed learning, peer coaching (Flynn et al., 1994) and mentorship (Morzinski et al., 1996). It is interesting to note that some of the studies that scored highly on ‘strength of findings’ used alternative methods (e.g. individual feedback session).

방법론적 이슈와 관련한 관찰결과

Observations re methodological issues

더 철저한 연구설계의 필요성: 1992년 Hitchcock 등은 FDP를 더 철저한 질적/양적 설계로 평가해야 한다고 언급했다. 그 때부터 상황은 크게 달라진 것 같지 않다. 본 리뷰에서도 더 철저한 연구를 통해서 흔히 마주치는 연구설정상의 문제를 극복할 필요를 제시한다. 만약 가능하다면, RCT를 고려하거나 최소한 대조군을 포함해서 FDP가 정말 차이를 만드는지 더 일반화가능한 결론을 내야 할 것이다.

The need for more rigorous designs: In 1992, Hitchcock et al. commented on the need to better evaluate faculty development programs and use sound qualitative and quantitative designs to document outcomes. The situation does not seem to have changed significantly since then. The results of this review suggest the need to conduct more rigorous research studies and overcome commonly encountered design problems. If possible, we should consider the use of randomized controlled trials, or at least comparison groups, so that we can make more generalizable statements about whether faculty development does, indeed, make a difference. 

문헌을 검토한 바, 엄격한 질적연구방법이 잘 활용되지 않음을 발견했다. 동시에, 많은 저자들이 FD활동 이후에 교수들의 열정/갱신(renewal)/변화에 대한 직관적인 인상을 기술했다. 그러나 현재까지의 연구방법은 이러한 직관이나 관찰 일화를 잘 잡아내지 못하고 있다. 더 나아가 비록 FD활동이 교육활동에 대한 흥미에 불을 지핀다는 일반적 동의가 있지만, 이것이 어떻게 도달되는 것인지, 이 열망이 어떤 것인지 등이 더 면밀히 조사될 필요가 있다. 많은 경우 질적연구를더 많이 활용할 경우 얻을 수 있는 이점이 많다.

In reviewing the literature, we perceived an underutilization of rigorous qualitative methodologies. At the same time, many authors described an intuitive impression of enthusiasm, renewal and change following a particular faculty development activity. Current methods do not adequately capture these intuitions or anecdotal observations. Moreover, although there is general agreement that faculty development activities kindle interest in educational activities, how this is achieved, and what this inspires, needs to be examined more carefully. In many ways, a greater use of qualitative methods (e.g. Freeman et al., 1992) would yield considerable benefits.

FDP는 복잡한 세팅에서 이뤄지는 복잡한 인터벤션이다. 우리의 개념틀에서 지적한 바와 같이, 많은 매개변수(개인 특성, 교사의 직위와 책임) 등이 통제불가능한 외적 요인으로 작용한다. 이것이 평가가 어려운 이유이며(변화가 있다고 해서 프로그램의 기여가 아닐 수 있다), 새로운 연구방법론이 필요한 이유이다. Blumberg와 Deveau는 교육 혁신/인터벤션의 학문적 전파/교육제품(product)개발/도입을 평가하기 위한 모델을 개발하였다.  이것이 우리가 고려해야 할 것이며, 조직에 대한 영향과 더불어 기대 성과와 '기대하지 않은' 성과의 가치를 고려해야 한다.

Faculty development activities represent complex interventions in complex settings (Drescher et al., 2004). As noted in our conceptual framework, many intervening, mediating variables (e.g. personal attributes; teacher’s status and responsibilities) interact with uncontrollable, extraneous factors. This is one of the many reasons that evaluation of effectiveness is difficult (for even if changes are noted, they may not definitively be attributed to the program) and that new research methodologies are required (e.g. Campbell et al., 2000). Blumberg & Deveau (1995) have developed a model by which to evaluate an educational innovation/ intervention that looks at academic dissemination, product development and implementation. This is something that we should consider in faculty development. We should also consider the value of examining anticipated and ‘unanticipated’ outcomes (e.g. Blumberg & Deveau, 1995), including impact on the organization.

참가자 만족도에 보다 관심을 기울이기: 참가자 만족도 자료의 가치를 다시 돌아보아야 할 때이다. 비록 FDP에 대한 반응은 초보 단계의 평가이지만, 변화의 토대가 된다. 참가자들의 만족이 중요한 이유는 높은 만족도가 더 학습하고자 하는 동기를 부여해주고, 전문성-개발 활동에 참여하게 해주기 때문이다. 또한 프로그램 개발자에게 가치있는 피드백이 되기도 한다. Belfield 등이 말한 바와 같이 참가자들의 만족도는 교육의 잠재적 효과에 대한 대강의 대리지표이다. 그러나 특정 프로그램에 대한 만족도는 그러한 정보의 목적과 활용이 명확하기만 한다면중요한 정보가 되기도 한다. 우리의 견해로는 만족도를 완전히 무시하기보다는 가치를 만들어나갈 수 있어야 한다. 참가자의 경험과 스토리에 대한 질적 연구방법(네러티브 분석, 결정적 사건 분석)은 또 다른 접근법이 된다.

Attention to participant satisfaction: It is time to re-affirm the value of participant satisfaction data. Although reaction to the program is an elementary level of evaluation, it is fundamental for change to occur. Participant satisfaction is important if faculty members are to be motivated to learn and to attend professional development activities. It also gives valuable feedback to program planners. As Belfield et al. (2001) have said, participant satisfaction is a crude proxy for the substantive effects of education. However, information on the reactions of participants to a specific program provides valuable information, as long as the purpose and use of such information is made explicit. In our opinion, we must build on the value of participant satisfaction rather than discredit it completely. Applying qualitative methodologies to participants’ experiences and stories (e.g. analysis of narratives; critical incident technique) is another approach worth

pursuing as we try to understand participants’ reactions to faculty development offerings. 

성과 측정: 지금까지의 연구결과를 보면 변화 측정에 있어 자기평가와 설문에 지나치게 의존한다. 더 나아가기 위해서 새로운 평가방법을 고려해야 한다. 예컨대 Simpson 등은 교수의 교육능력을 개발하기 위한 표준화된 교육 상황을 개발하였으며, Zabar 등은 objective structured teaching examinations 를 통해서 효과를 평가했다.

Outcome measures: The literature to date suggests an overreliance on self-assessments and survey questionnaires to assess change. To move forward, we should consider the use of novel assessment methods. For example, Simpson et al. (1992) have developed standardized teaching situations to develop faculty teaching skills; Zabar et al. (2004) have utilized objective structured teaching examinations to evaluate impact.

적절한 측정은 reliable하고 valid 해야 한다. 대부분의 연구는 psychometric property를 보고하지 않았다. FD개발자들과 연구자들은 validity와 reliability가 확립된 설문지 활용을 고려할 필요가 있다. 혹은 그러한 척도를 개발하고자 노력해야 한다. 예컨대 많은 교수 효과에 대한 여러 scale이 개발되어 있으며, 가능하다면 이러한 평가도구를 사용하고 리소스를 더 공유해야 한다.

Accurately measuring change requires reliable and valid measures. The majority of studies in this review used questionnaires for which psychometric properties were not reported. Faculty developers and researchers interested in assessing change should consider using questionnaires that have already been tested for validity and reliability, or work to establish these measures. For example, a number of scales and measures of teacher effectiveness have been developed in education (e.g. Gibbs & Coffey, 2004). Whenever possible, we should try to make use of these assessment tools and collaborate in order to share resources more consistently. 

우리는 다양한 수행능력의 척도(자기평가, 비디오테입평가, 학생평가) 간 상관관계를 살펴봄으로써 모든 척도를 모든 연구에 사용하지 않아도 되게 해야 한다. 예컨대 일부 연구에서는 비디오테입 평가와 지식 검사의 강한 상관관계를 보고했다. 이들 연구결과는 입증되기만 한다면 항상 직접 관찰(비용과 시간이 많이 드는)을 사용하지 않아도 된다는 것을 시사한다. 비슷한 결과에 따르면 학생이나 레지던트의 교수 수행능력에 대한 평가를 (지식검사와 함께 사용하여) 비디오테입 녹화 대신 사용할 수 있다. 그러나 삼각측량의 가치는 축소될 필요가 없다. 대부분의 높이 평가된 연구들을 보면 성과 측정을 위해서 다양한 방법을 사용하였다.

We should also try to correlate different measures of performance (e.g. self-assessment questionnaires and videotape recordings; student assessments and faculty self-ratings) so that we do not need to include all measures of change in every study. For example, several studies (e.g. (Mahler & Benor, 1984; Sheets & Henry, 1984) found a strong correlation between videotape ratings (albeit sometimes based on single observations) and knowledge tests. These findings, if corroborated, suggest the possibility of conducting reliable evaluations without always using direct observation (which can be costly and time-consuming). Based on similar results, we might be able to use student or resident evaluations of teachers’ performance (together with knowledge tests) instead of videotaped observations. However, the value of triangulation to validate results cannot be understated. Some of the most highly rated studies (Skeff, 1983; Skeff et al., 1986) used multiple measures to assess outcome (e.g. self-ratings, videotaped observations and student ratings).

FDP의 중요한 성과는 학생들의 수행능력 향상이 되어야 한다. 우리는 따라서 교수들의 교육행동과 학생들의 성과와의 관계를 봐야 한다. 즉, 더 철저하게 학생과 레지던트의 자료를 수집해야 하며, 학생들의 교육 역량에 대한 평가는 매우 유용하다. 이러한 방식이 더 활용되어야 하나, 학생과 레지던트의 지식/태도/술기에 대한 평가가 더 면멸히 이뤄져야 한다.

An important outcome of faculty development is improved student performance. We must therefore work to seek evidence of a relationship between changes in faculty members’ teaching behaviors and learner outcomes. That is, we need to collect student and resident data (including indices of learner behaviour) more rigorously. Student evaluations of teaching competencies are invaluable; they need to be augmented, however, by a careful assessment of changes in students’ and residents’ own knowledge, attitudes and skills. 

응답 편향에 관심가지기: 편향된 응답에도 관심을 기울여야 한다. Skeff등이 언급한 바와 같이 FDP 이후의 자기평가는 종종 기대보다 낮거나 더 떨어지기도 하는데, 이는 개개인이 시작시에는 스스로를 과대평가하다가 과정이 끝나면 스스로를 더 정확하게 평가하기 때문일 수 있다. Skeff 등이 말한 바와 같이 더 조직적으로 후향적 사전-, 사후- 검사를 평가하여 이러한 편향을 극복해야 한다. 한 흥미로운 연구에서 후향적 사전-검사의 결과는 (일반적인 사전검사보다) 학생의 교수에 대한 워크숍-이전 평가가 더 정확함을 보여준다. 이에 더하여 후향적 사전- 사후- 검사는 태도 측면에서 유의미한 결과를 보여주는데, 이는 전통적인 사전- 사후- 에서는 잘 드러나지 않는다.

Attention to response shift bias: The notion of ‘response shift bias’ warrants more careful attention. As noted by Skeff et al. (1992a), post-course self-ratings are often lower than expected, and occasionally decrease, when increases are expected. This may occur because individuals overrate themselves at the beginning of a course, and then after the course (when they have a better idea of what is meant by different aspects of teaching and learning), they rate themselves more accurately (Nayer, 1995). As Skeff et al. have argued, we should more systematically consider the value of retrospective pre–post testing to overcome this possible response shift bias. In an interesting study (Skeff et al., 1992a), retrospective pre-tests correlated better with students’ pre-workshop evaluations of their teachers’ performance than did the regular pre-test. In addition, the retrospective pre- and post-tests showed significant differences in attitudes towards teaching that were not apparent in more traditional pre- and post-tests.

시간 변화에 따른 변화 평가: 소수의 연구에서 시간 변화에 따른 FDP성과의 유지를 보았다. 많은 경우 1년까지 그 변화가 유지됨을 보여주었다.

Assessment of change over time: A few studies assessed the maintenance of change over time. Most of them (Mahler & Benor, 1984; Skeff et al., 1986; Steinert et al., 2001)

FD 전략간 비교: 비록 우리가 효과적인 FDP의 '핵심 특징'을 따로 떼어 놓았지만, FDP의 어떤 요소가 가장 유용한지에 대한 비교 연구는 거의 없으며, 한 방법이 다른 방법보다 우월한지에 대한 연구도 없다. 예컨대 비록 워크숍이 가장 흔한 방식이지만, 많은 연구자들이 지속적 변화를 가져오기에는 너무 짧다고 지적한다. 그러나 워크숍은 여전히 가장 많이 쓰이는 방법이다. 우리의 연구에 따르면 더 긴 인터벤션이 더 오래 지속되는 성과를 가져온다.

Comparison of faculty development strategies: Although we have attempted to tease apart key ‘features’ of effective faculty development, there is little comparative research on which components of faculty development interventions are most useful (e.g. micro-teaching; role plays) and whether one method (e.g. seminar series) is more effective than another (e.g. short courses). For example, although workshops are one of the most common methods, many have suggested that they are too short to bring about lasting change. At the same time, they persist as a method of choice. Our findings suggest that longer interventions may have more durable outcomes. This, too, requires further investigation.

이론과 실천에 기반한 FD: 리뷰 결과에 따르면 단 하나의 '완벽한 인터벤션'을 찾으려는 노력을 경계해야 한다. 실제로 다양한 접근법이 존재하며, 적절한 활용이란 환경에 따라 다 다르다. 그러나 FDP는 이론과 실제적 근거에 기반해야 한다. 아직 교육이론이 어떻게 학습이 일어나는지에 대한 통합된 이해를 제공해주지는 못하나, 학습에 있어 상당한 지지를 받는 모델이나 원칙이 있고, 이것을 기획/성과측정/효과분석에 활용해야 한다. 여기에는 다음과 같은 것들이 있다.

Grounding faculty development in theory and practice: Based on the findings of our review, we should caution ourselves against searching for the single ‘perfect intervention’. In fact, an array of approaches exists and their appropriate use may differ from activity to activity and across settings. However, the work of faculty development should be grounded in both theory and empirical evidence. While educational theory has not yet provided us with a unified understanding of how learning occurs, there are well-supported models and principles of learning that can inform us in planning interventions, measuring outcomes and analysing effects (Mann, 2002). These include principles that draw

• 인지과학 on the science of cognition (e.g. how individuals make meaning of information and store it in memory) (Regehr & Norman, 1996);
• 사회적 학습 on understandings of social learning (e.g. how learning occurs from and with others;
• 환경 the influence of the learning environment) (Bandura, 1986);
• 경험 learning through experience (Kolb, 1984);
• 성찰 and making meaning of learning and experience through reflection (Scho¨n, 1987; Moon, 1999).
• 실천 커뮤니티에의 참여 More recently, the idea of learning through participation in communities of practice has also been explored (Lave & Wenger, 1991; Boud & Middleton, 2003), and this notion will have important implications for faculty development.

프로그램과 다양한 전공간 협력: 자원을 공유하고 프로그램간 협력을 해야 한다. 교육 영역에서 배울 것이 많은데, 우리의 결과를 보면 다른 대학 교수들의 트레이닝의 리뷰에서의 결과와 유사하다. 많은 경우 이들 연구로부터 배우고 우리에게 적용해야 한다.

Collaborating across programs and disciplines: The value of sharing resources and collaborating across programs has been highlighted earlier in this review. There is also much for us to learn from colleagues in the field of education. For example, many of our findings resemble what has been found in reviews of research on training of university teachers (Gibbs & Coffey, 2004); in many ways, it would be wise to learn from these studies and incorporate their methodologies (and findings) into our work.

FDP 실천에 대한 함의

Implications for practice:

We need to:

• 우리의 성공을 토대로 하자. 성공적 프로그램에 들어있는 식별가능한, 복제가능한 요소들을 활용하자
  Build on our successes. The literature describes successful programs, with recognizable, replicable elements. It is now important to tease apart the elements that work.
• 이론과 교육 원칙을 설계와 개발에 더 잘 활용하자. 더 나아가 이론을 실천에 연결시켜야 한다. 교수들의 실제 교육행위를 더 잘 이해하고, 실제로 맞닥뜨리는 문제를 이해하여 이 정보를 이론에 관련지어 더 향상된 인터벤션을 개발과 효과성 평가로 이끌어야 한다.
  Make more deliberate use of theory (particularly theories of learning) and educational principles in the design and development of our faculty development programs. Further, we need to link theory with practice, in an iterative cycle of asking questions in practice, studying these questions and testing our answers. We also need to better understand teachers’ educational practices and the real problems that teachers encounter so that we can use this knowledge to inform theory, which can help us in developing improved interventions and evaluating effectiveness.
• 맥락의 중요성을 인정하자. 조직문화, 교육과정, 교사와 학생이 모두 '맥락'에 기여한다.
  Acknowledge the importance of context. The organizational culture, the curriculum, teachers and students all contribute to a context that is critical to the effectiveness of educational change.
• 장기간에 걸쳐 진행되는 프로그램을 개발하자. 학습, 실천, 성장을 축적하자
  Develop more programs that extend over time, to allow for cumulative learning, practice and growth.
• 학습자 간 성찰과 배움을 촉진하는 프로그램을 개발하자. 그들이 스스로를 교사로 인식하게 하자. 이것이 교수자-지도 인터벤션이 아니라 지속적인 자기주도발전의 토대가 될 것이다.
  Develop programs that stimulate reflection and learning among participants, raising their awareness of themselves as teachers. This would form the basis for ongoing self-directed development rather than the need to primarily have ‘teacher-directed’ interventions.
• 자발적 참여의 문제를 다시 생각하자. 많은 경우 효과적인 교육을 위해 필요한 전제조건은 참여가 없으면 달성되지 않는다. 더 나아가 FD의 자발성이란 특징을 생각할 때 조직문화와 그 조직이 교수-학습에 있어 어디에 가치를 두는지를 고려해야 한다.
  Re-examine the question of voluntary participation. In many contexts, the requirement to prepare for teaching effectiveness may not be met unless participation is expected and required. Moreover, the voluntary nature of faculty development raises questions about the institutional culture and the values (both explicit and implicit) that it places on teaching and learning. 

연구에 대한 함의

Implications for future research:

We need to:

• 더 철저한 연구를 수행하자. 통제그룹과 비교집단, 질적연구를 활용하자. 성과를 더 잘 정의하고, 프로그램의 시작시부터 평가를 계획하고 연구를 함께 하는 동료들과 협력하라
  Conduct more rigorous research studies, using control or comparison groups and qualitative methodologies. This requires careful definitions of outcomes, planning for evaluation at the inception of any program, and closer collaboration with research colleagues. We must also find a way to corroborate anecdotal observations and capture faculty members’ stories.
• 결과 중심의 연구가 아닌 과정 중심의 연구를 하자. 즉, 어떻게 변화가 일어나는 것인지 더 잘 이해할 필요가 있다. (어떻게 교수의 신념이 변하는가, 인터벤션이 교수의 성찰기술을 향상시켰는가) 질적연구방법이 더 적합할 것이다.
  Carry out process-oriented studies in addition to outcomeoriented ones. That is, we need to better understand how change occurs, both as a result of the intervention and within the individual (e.g. how did teachers’ beliefs change; did the intervention result in improving teachers’ reflective skills). In fact, qualitative methods may be more appropriate here.
• 수행능력-기반 변화를 측정하고 이를 위한 척도를 개발하자.
  Continue to develop and utilize performance-based measures of change. The use of these methods, which do exist, is an essential and natural next step. 
• 데이터 수집에 다양한 방법을 사용하자
  Use multiple methods and data sources to allow for triangulation of data.
• 평가도구의 타당도와 신뢰도를 평가하자. 적절한 도구가 있다면 새로운 도구 개발에 앞어서 먼저 고려되어야 한다. 표준화된/비교가능한 도구를 사용하자.
  Assess and report the validity and reliability of instruments used. Further, where appropriate instruments exist, these should be considered in preference to developing new instruments. Using standardized or comparable measures across studies will help to understand the field and improve the quality of research in this area.
• 다양한 변수가 예측불가능하게 돌아가는 복잡한 환경에서 이뤄지는 인터벤션에 대한 연구를 장려하자. 여러 요인 간 상호작용이 있는 연구를 더 해야 한다.
  Promote studies in which an intervention is recognized as occurring in a complex environment in which many unforeseen and unpredictable variables play a role. We need to conduct more studies in which the interaction between different factors is investigated, highlighting under what conditions and why an intervention might be successful or not.
• 서로 다른 FD 방법 간 비교하자
  Compare different faculty development methods to enable an analysis of which features of faculty development contribute to changes in teacher performance.
• 시간에 따른 변화를 평가하자.
  Assess change over time. This is important both in determining any enduring effects, and in understanding which interventions or factors may be associated with more sustained change. Longitudinal follow-ups may also help us to understand the development of faculty members throughout their careers.
• 기관이나 조직에 대한 FD의 효과를 더 철저하게 평가할 수 있는 수단 개발
  Develop means of assessing the impact of faculty development on the institution/organization in a more rigorous and systematic fashion.
• 이론/개념틀 안에서 연구 진행. 결과 해석에 이론 활용
  Embed our research studies in a theoretical or conceptual framework, and utilize theory in the interpretation of our results.
• 의학 외 분야와 협력
  Collaborate with colleagues within and outside medicine.

HITCHCOCK, M.A., STRITTER, F.T. & BLAND, C.J. (1992) Faculty development in the health professions: conclusions and recommenda-tions, Medical Teacher, 14(4), pp. 295–309. 

A systematic review of faculty development initiatives designed to improve teaching effectiveness in medicaleducation: BEME Guide No. 8.

평가에 관한 교수개발: 역량중심교육과정의 잃어버린 고리(Acad Med, 2011)

Faculty Development in Assessment: The Missing Link in Competency-Based Medical Education

Eric S. Holmboe, MD, Denham S. Ward, MD, PhD, Richard K. Reznick, MD, Peter J. Katsufrakis, MD, MBA, Karen M. Leslie, MD, Vimla L. Patel, PhD, Donna D. Ray, MD, and Elizabeth A. Nelson, MD

가장 처음 도입된 역량바탕 프레임워크는 CanMEDS로 1990년대 중반 도입되었다. 이후 ACGME는 레지던트와 펠로우에 대한 일반역량을 개발 및 도입하였다.

One of the first competency-based frameworks to be introduced was CanMEDS in the mid-1990s.14 The Accreditation Council for Graduate Medical Education followed with the development and introduction of the general competencies framework for residency and fellowship in 2001.15

CBME는 복잡한 상황과 맥락에 따른 성과에 좌우되기 때문에 피교육자가 다음 단계로 진행하기에 정말 준비가 되었는가를 평가하기 위한 강건한 평가법과 평가절차가 반드시 필요하다. 그 결과, CBME의 도입시기부터 의학교육자들은 평가도구의 성배를 찾아다녔다.

CBME, because it is driven by complex situational and context-dependent outcomes, requires robust assessment and evaluation processes to determine whether a trainee is truly prepared to enter the next stage of his or her career. As a result, since the inception of CBME, medical educators have been seeking the holy grail of evaluation tools.

그러나 다양한 평가법과 도구들도 비판적으로 학생을 관찰하고, 질문하고, 그들의 수행능력을 실제 환자가 있는 현장에서 판단하는 교수를 대체하지는 못했다. 시험이나 표준화환자로 측정된 피교육자의 능력 또는 역량이 실제 근무지 기반 수행능력으로 '전이'됨을 확인하는 것은 반드시 교수의 책임이 된다. 왜냐하면 발달의 궤적에 있어서 CBME는 더 빈번한, 더 적시의, 건설적이고 실제 상황에서의 평가에 의존해야 하며 '대리지표'로서의 총괄평가에 의존해서는 안되기 때문이다.

However, these methods and tools cannot replace the importance of faculty who are enabled to critically observe, question, and judge trainee performance in actual patient care situations.24 Ensuring that a trainee’s capability or competence, as measured by exams and standardized patients, translates, or “transfers,” into actual work-based performance with patients and families is an essential faculty responsibility.25 Because of its emphasis on developmental trajectories, CBME requires more frequent, timely, formative, and authentic assessment and less dependence on “proxy,” summative assessments.10

전문성의 개발, 그리고 고립된 자기평가의 오류에 대한 근거들은 이러한 관점을 지지한다. 예컨대 SP만을 이용하여 피교육자를 평가하는 것은 비용이 비쌀 뿐만 아니라, 더 중요하게는 정기적으로 지속적 피드백을 주지 못한다.

This perspective is supported by evidence from work in the development of expertise and the perils of isolated selfassessment. For example, exclusively using standardized patients to judge whether a trainee was acquiring competence in clinical skills would not only be expensive but, more important, would not provide the learner with regular and ongoing feedback

또한 많은 문헌이 대부분의 의사들이 자신의 강점과 약점을 외부 자료나 피드백 없이는 발견하지 못한다는 것을 보여준다.

Furthermore, a substantial body of literature clearly demonstrates that most physicians cannot determine their own strengths and weaknesses without external data and feedback.28 ***

평가자로서의 교수: 도전과 기회

Faculty as Evaluators: Challenges and Opportunities

분절된 학습환경

The fractured learning environment

현재 의과대학 교수는 주로 임상현장에서 피교육자와 근무하게 되고, 이 말은 외래, 클리닉, 병동, 수술장, ICU 등의 microsystem을 의미한다. 이런 임상현장은 근무지기반 훈련과 평가가 이루어지는 맥락이라 할 수 있다.

At present, medical faculty work with trainees primarily in clinical units, referred to by some as microsystems, such as an ambulatory clinic or officebased setting, a hospital ward, a surgical suite, an intensive care unit, or other such sites.29 These clinical units are the context for work-based training and assessment.

피교육자가 열악한 임상 microsystem에서 교육을 받는다면 임상현장에서의 역량, 질적 향상, 시스템 기반 진료를 충분히 배우고 있는지를 알기가 어렵다.

It is hard to conceive that trainees can effectively acquire competency in clinical care, quality improvement, or systems-based practice if they practice in poorly functioning clinical microsystems.

입원환자에 대해 보면, 너무 많은 교수들이 그들의 교육하고 평가하는 장소에 아주 잠시만 머무를 뿐이다. 예를 들면 내과나 소아과 교수는 입원 환자 회진을 2주~4주 정도만 돌게 된다. 이러한 로테이션 구조는 전문과 수련 문화에 너무 깊이 뿌리내리고 있지만, 이러한 microsystem에서의 로테이션이 학습자의 역량에 대한 평가에 대한 교수의 능력에 어떤 영향을 주는지 잘 알지 못한다.

In the inpatient setting, too many faculty are transients in the very clinical units where they teach and assess. For example, faculty in internal medicine and pediatrics often rotate on inpatient clinical services for just two to four weeks. This rotational structure is deeply ingrained within these specialty training cultures, yet we know little about how rotating through these microsystems affects the faculty’s ability to accurately assess competence of their learners.32

현재 의학교육 시스템에서 환자 경험과 시간의 불연속성은 지속적 평가와 피드백을 어렵게 한다. Hirsh 등은 이러한 '연속성'을 의학교육의 "조직 원리"로 강조해야 한다고 주장한다.

This lack of continuity in both patient experience and time with faculty for trainees in the current medical education system makes longitudinal assessment and feedback very difficult. Hirsh and colleagues34 argued for the importance of continuity as an “organizing principle” for medical education

분절된 학습환경과 연속성의 부족은 교수들로 하여금 자신들이 받은 느낌을 동료교수들에게 전달하는 "feed forward"를 주저하게 만든다. 그들은 이러한 feed forward가 교수들에게 편견을 심어줄까 걱정한다. 그러나 그 결과는 정보의 공유를 통한 피교육자의 발달 및 의미있는 전략 수립이 아니라 '매 번 새로 시작하는' 평가일 뿐이다.

Compounding the fractured learning environment and lack of continuity is the substantial reluctance on the part of faculty to “feed forward” information to their colleagues about trainees over fear of “biasing” the receiving faculty.36,37 However, the end result is a perpetual cycle of “starting over” with assessment instead of using the shared information for the trainee’s development and creation of meaningful action plans.

교수들은 시스템의 과학을 이해해야 하며, 어떻게 학제간 팀에서 효과적으로 일하는가를 알아야 하며, 자율성에 대해서 전통적 과점이 아니라 보다 '관계중심적'관점으로 초점을 옮겨야 한다. '관계적 자율성'에서는 인간은 서로 연결되어있으며 상호의존적이고, 자율성이라는 것은 사회적으로 구성되며 다른 사람에 의해서 주어지는 것임을 의미한다.

To do this, faculty must understand the science of systems and how to work effectively in interdisciplinary teams, and they must move away from traditional views to a more relational view of autonomy. Relational autonomy recognizes that human agents are interconnected and interdependent, meaning that autonomy is socially constructed and must be granted by others.42,43

미래의 교수개발은 어떻게 시스템 요인이 교육과 진료의 질에 영향을 주며, 시스템 기반 진료환경에서 교수들이 피교육자 역량 평가을 위해 어떤 준비가 되어야하는가를 다뤄야 한다.

Future faculty development will need to incorporate training about how system factors affect the quality of both teaching and patient care, and also how faculty must be prepared to assess their trainees’ competencies in systems-based practice

몇 가지 이유로 외래환경이 입원환자보다 지속적 평가와 피드백에 더 적합하다.

For several reasons, the outpatient setting holds potentially more promise than inpatient settings for longitudinal assessment and feedback for most specialties.44 

First, many trainees in specialties such as internal medicine, family medicine, and pediatrics work with a stable group of faculty preceptors who can observe these trainees over time.24 

Second, because trainees often have their own panel of patients, assessment methods such as a medical record audit can be combined with reflection guided by faculty.45 

Finally, as so much of medicine has moved into the outpatient setting, it follows logically that more training and assessment should occur here as well.

전통적 평가 역할 

Traditional assessment roles

예측가능한 미래에 두 가지의 역할이 계속 중요할 것이다. (1)지식과 임상추론의 프로빙을 위한 질문, (2)면담, 신체진찰, 상담, 기타 의사소통 기술에 판단을 위한 직접 관찰

For the foreseeable future, two traditional faculty roles in assessment will continue to be essential: (1) questioning to probe knowledge and clinical reasoning and (2) direct observation to judge the clinical skills of medical interviewing, physical examinations, counseling, and other communication skills as well as procedural skills.

교수들은 추론 과정을 강조하는 질문 기술을 개발해야 한다.

Faculty need to develop the skills to ask questions that emphasize the reasoning process and incorporate key findings and lessons from a growing body of evidence from research on cognition.46,47 Practical approaches exist to help faculty acquire these skills.46,48 These questioning skills apply equally well to the evaluation of procedural skills. ***

비록 교수들이 피교육자의 수행능력을 비판적으로 정확하게 관찰할 수 있어야 하지만, 일부 연구결과는 교수들이 피교육자의 부족한 점을 정확히 찾아내지 못한다는 것을 보여준다.

Although faculty need to be critical and accurate observers of trainee performance, limited published research demonstrates that faculty frequently fail to identify deficiencies in trainees’ clinical skills.24,49–51

확실하게 하기 위해서 교수들은 기본적 psychometric과 quality properties에 대한 평가가 이루어진 도구를 활용해야 하며, 최근의 연구는 최소한의 질적 기준을 만족하는 관찰도구들을 정리했다. 그러나 평가서식을 재설계하는 것이 전체 평가의 10%만을 설명한다는 점에서 의학교육자들은 교수들을 더 효과적인 관찰과 평가로 눈을 돌려야 한다.

To be sure, faculty should only use tools that have been evaluated for basic psychometric and quality properties, and a recent systematic review identified a small group of observation tools that meet minimal quality criteria for use.55 However, given that the redesign of evaluation forms only explains up to 10% of the variance in ratings,56 medical educators must now shift their attention to developing more effective methods to train faculty in observation and assessment.

추가적으로 교수들을 숫자에만 기반한 스케일 평가에만 유지하지 않도록 해야 한다. CBME는 질적 평가에 상당히 의존하게 될 것이다.

In addition, we must help faculty and programs move away from rating scales based on just numbers, as CBME will require a greater reliance on descriptive or “qualitative” assessment.57

교수들은 숫자로 하는 평가는 피교육자에 대한 판단을 종합하여 대표할 수 있게 나타내는 것에 그치지 않는 다는 것을 인식해야 한다. 궁극적으로 평가도구는 그 도구를 사용하는 사람의 수준 만큼만 좋은 것이다.

Faculty need to recognize that numeric ratings are nothing more than a process to synthesize and then represent a composite judgment about a trainee. Ultimately, evaluation tools are only as good as the individuals using them;

Albanese 등은 교육 커뮤니티와 기관이 어떻게 교수개발을 구성해야 하는가에 대한 유용한 프레임워크를 제시한다.

Along those lines, recent work by Albanese and colleagues60 provides a useful framework about how the educational community and institutions might structure faculty development activities using an integrated systems model (ISM).

• Changes in assessment and supervision that are also mission critical for the institution and help to build system

“reserve” will be more likely implemented.

• The further a faculty member moves along the stages of change, the higher the likelihood of adoption that can also produce individuals more likely to become champions for the change. 

• Enlisting the assistance of respected educational faculty to help implement the change helps to promote broader

and more rapid uptake by other faculty.

• Helping faculty mentally picture how the change in the educational program will affect and improve their own educational practices will also assist in the adoption of new knowledge and skills.

Assessment by faculty must be grounded in the principles of CBME

CBME에서는 준거와 발달을 기반으로 한 평가가 필요하다. 발달적 용어로 준거를 정의해야 하는데 이는 흔히 milestone이나 benchmark라고 명명되고, 교수나 프로그램 관리자들로 하여금 피교육자들이 적절한 '궤적'상에 있는가를 판단할 수 있게 한다.

CBME requires assessment be criterion based and developmental. Defining the criteria in developmental terms, commonly called milestones or benchmarks, allows faculty and program directors to determine whether the trainee is on an appropriate “trajectory.”62

Milestone은 교육과정과 평가의 청사진이 될 수 있다.

Milestones, in effect, can become the blueprint for curriculum and assessment.62

다양한 연구로부터 평가의 가장 큰 문제 중 하나는 교수들이 적절한 수행능력이 어느 정도인지에 대한 동의가 부족하다는 것이다. 이와 같은 교수진 내에서의 합의의 부족은 신뢰도와 타당도의 가장 큰 적이다. 또한 피교육자들에게 교수로부터 받는 이질적인 평가와 피드백에 대한 부당한 짐을 지우게 된다.

Multiple studies highlight that one of our biggest and most refractory problems in assessment is the lack of agreement among faculty about what constitutes satisfactory performance across competencies regardless of the competency framework.20,54 This lack of agreement among faculty is a major threat to the reliability and validity of decisions about trainee competence.54,56 In addition, it places an unfair burden on trainees to make sense of the disparate ratings and feedback they receive from faculty.

궁극적으로 교수들은 피교육자를 다른 교수에게 넘길 때 의미있는 수행능력 자료를 제공하는 것에 대한 두려움을 벗어나야 한다. 이는 특히 현재 우리의 로테이션 모델에서 중요하다. forward feeding 없이는 피교육자들은 피상적, 비구체적 평가와 피드백에 머물고 말 것이다.

Ultimately, faculty must become less fearful of providing meaningful performance data—including strengths and developmental needs— about the trainee during educational handoffs.36,37 This is especially important in our current rotational model of training—without “forward feeding” of information, trainees may end up in a perpetual cycle of superficial, nonspecific assessment and feedback..

Assessment requires competent faculty 

교수의 임상역량은 효과적 평가를 위해서 중요한 요소이지만, 아직까지 이 부분은 충분한 관심을 받지 못하고 있다. 여러 프로그램들은 교수들이 - 비록 아주 높은 수준은 아니더라도 - 교육과 평가에 충분한 지식/술기/태도 역량을 갖추었음을 전제로 하고 있다. 그러나 우리는 여러 학생들과 전공의가 임상 술기에 상당히 부족한 부분이 있음을 알고 있고, 따라서 나중에 이들이 교수가 되었을 때 중요한 부분이 부족할 수 있다는 것이 그다지 놀라운 사실만은 아니다. 여러 문헌들이 이를 뒷받침하는데, 심장 청진기술에 대한 연구에서 교수들은 3학년 학생들보다 딱히 더 나은 기술을 가지고 있지 않았다. 다른 연구에서는 가정의학의사, 인턴, 외과의사들이 informed decision making skill이 부족함을 보여줬다.

Clinical competence of faculty is a crucial component of effective assessment, yet this issue has received little attention to date. Programs operate on the assumption that faculty possess sufficient, if not high, levels of knowledge, skills, and attitudes in the competencies they are responsible for teaching and assessing. We have known for some time that numbers of students and residents graduate with significant deficiencies in clinical skills,24 so it might not be surprising that those who later become faculty may possess important deficiencies in clinical skills. A growing body of literature supports this concern. For example, a study of cardiac auscultation skills found that faculty were no more skilled than thirdyear medical students.68*** Another study highlighted substantial deficiencies in informed decision-making skills among family medicine physicians, internists, and surgeons,69***

이러한 결과가 시사하는 바는 CBME를 위한 교수개발은 평가능력에 대해서 임상술기 수련만 필요한 것은 아니라는 점이다. 새로운 21세기에 필요한 역량 개발이 필요하다. 대부분의 교수들은 이러한 역량에 대한 어떠한 공식적 교육도 받은 적이 없다. 그 결과 피교육자가 그러한 역량을 학습할 때 교수도 같이 학습하게 되며, collaborative model이 더욱 필요한 것이다.

The implication of these findings is that CBME-focused faculty development will need to incorporate clinical skills training with training in assessment. In addition to improving the clinical skills of faculty, faculty development will also need to incorporate training in the “new” competencies crucial to 21st century practice: evidence-based practice using point-of-care clinical decision support and information; health information technology; teamwork; care coordination; systems functionalities; advocacy; and contextaware professionalism, to name a few. The majority of faculty working today never received formal training in any of these competencies.29 In effect, there are a number of new competencies that faculty will need to learn as their trainees learn them, necessitating more collaborative models of faculty training.

한 명의 교수가 모든 부분에 전문가가 되어야 한다는 것도 안디ㅏ.

This is not to say that a single faculty member need be an expert in all competencies; rather, trainees should be taught and evaluated by those individuals that truly possess the highest level of knowledge and skill in the domain of interest, and those individuals may not be physicians.

Faculty as coach and mentor in assessment

대부분의 피교육자는 감독자 없이 진료를 하게 된다.

Ultimately, the majority of trainees will graduate from their programs and enter unsupervised practice.

포트폴리오는 스스로에 대한 평가를 할 수 있게 도와주는 강력한 도구이다.

Portfolios are a potentially powerful tool for engaging trainees in their own assessment.71

Next Steps: Preparing Faculty for the CBME Era

교수개발이 CBME의 속도결정단계라는 합의가 늘어나고 있다.

There is a growing consensus that the rate-limiting step in the evolution to CBME is faculty development.72

교수가 교육, 평가, 피드백을 포함하는 코치로서 전문가 역할을 할 수 있어야 한다.

The role of faculty as expert “coaches” must encompass teaching, assessment, and feedback.

아직 우리는 효과적인 교수개발 모델이 없다.

We have yet to develop the most effective faculty development models. The good news from a recent systematic review is that the faculty who participate in educational training activities report 

(1) high levels of satisfaction, 

(2) positive changes in their attitudes, 

(3) increased understanding of educational principles and teaching skills, 

(4) changes in behavior as noted by their students, and 

(5) greater involvement in teaching.75

교수개발에서 행동 변화까지.

However, few studies have investigated whether faculty training translates into actual behavior changes among trainees. In addition, most faculty development is designed as a one-time “bolus” activity and less often as a longitudinal designed program.

Acad Med. 2011 Apr;86(4):460-7. doi: 10.1097/ACM.0b013e31820cb2a7.

Faculty development in assessment: the missing link in competency-based medical education.

교수개발프로그램의 전이(transfer)를 높이기 위한 12가지 팁(Medical Teacher, 2014)

Twelve tips for increasing transfer of training from faculty development programs

STEPHEN L. YELON, J. KEVIN FORD & WILLIAM A. ANDERSON Michigan State University, USA

Introduction

임상적으로 교수가 될 준비가 잘 되었다고 해도, 교수로서 맡아야 할 새로운 학문적 역할에 모두 준비된 것은 아니다. 교수개발의 정의는 아래와 같다. 교수개발의 수단으로는 멘토링, 자기주도학습, 웹기반학습, 워크숍, 펠로우십 프로그램 등등이 있다.

Physicians who choose a career in academic medicine are generally well prepared clinically to serve as faculty; however, they may not be as well prepared to be successful in their new academic roles (Steinert et al. 2006). Medical schools have provided training in essential academic skills through faculty development programs. Steinert et al. (2006) define the term faculty development as the “broad range of activities that institutions use to renew or assist faculty in their academic roles”. Medical schools have largely focused faculty development efforts on new faculty, addressing the knowledge, skills and attitudes necessary for instruction, scholarship, and administration (Bland et al. 1990). Faculty developers have taught these skills via mentoring, self-directed learning initiatives, web-based learning, workshops, and full or part-time fellowship programs (Steinert 2000).

미시간주립대학의 교수개발 프로그램 개요(1)

The Michigan State University’s (MSU) Primary Care Faculty Development Program is one example of a successful national on-campus/at-home, part time faculty development fellowship program that ran from 1978 to 2012. The overall goal of the program was to prepare new primary care physicians for full-time careers in academic medicine. The fellowship curriculum addressed the basic roles of instruction, research, and leadership and also included other domains such as the use of computer technology, and adjustment to working in the academic community. For each role, there were objectives for all participants to attain. For example, for instruction, fellows, as the program’s participants were known, were to plan and present a lesson, teach a psychomotor skill, give feedback, and carry out selected clinical teaching approaches.

미시간주립대학의 교수개발 프로그램 개요(2)

Six hundred and one academic physicians from medical schools and primary care residencies completed this fellowship. Fellows spent a total of four weeks at MSU learning and practicing teaching, research or leadership skills in workshops, seminars and small group activities. At their home institutions, fellows completed assignments and projects to practice new skills or to demonstrate their attainment of program objectives.

미시간주립대학의 교수개발 프로그램 개요(3)

The MSU faculty development fellowship program used both formative and summative evaluation strategies. Fellows consistently expressed high satisfaction with their learning. Generally, fellows stated they were able to master most, if not all, of the program learning objectives, and, subsequently, supervisors noted positive changes in fellows’ faculty behavior.

교육의 현장전이에 대한 효과를 평가하는 것이 어렵다. 현장전이(Transfer)의 정의와 영향을 미치는 세 가지 주요 요소(학습자 특성, 훈련설계방식, 근무환경)

One of the most challenging outcome evaluation questions for the MSU Faculty Development Fellowship Program was a question of transfer of training, that is, the degree to which fellowship program graduates used at their home institutions the methods of instruction they acquired. Transfer is defined as the extent to which trained knowledge and skills are applied to the work context. Systematic reviews of training transfer research have identified three major factors affecting the extent of transfer to the job: 

• trainee characteristics (e.g. trainee motivation to learn), 
• training design features (e.g. incorporation of learning principles), and 
• work environmental factors (e.g. supervisory support for training) (Baldwin & Ford 1988; Blume et al. 2010; Grossman & Salas 2011).

MSU 교수개발 프로그램의 평가결과 요약. 신뢰할 수 있고, 실용적이고, 필요한 것을 적용한다. 조직이 필요로 하고, 배운 내용을 적용하는 것에 대한 보상이 있고 그것을 지원받을 수 있기에 적용한다.

MSU fellowship program faculty systematically investigated the transfer of instructional skills from the MSU program over the past 15 years (Yelon et al. 1997 2004, 2013; Sleight & Reznich 2006). In brief, the researchers uncovered a continuous, dynamic, transfer process whereby individual fellows perceived the utility of a method learned in the program, became ready to use it, applied it, and learned from its application. Fellows decided to use a method when they perceived its credibility, practicality and need. Immediately, and over years, in different ways and in varied contexts, fellows applied behavioral skills such as presenting a lecture, teaching a psychomotor skill, and giving feedback, as well as intellectual skills, such as planning, analyzing, and evaluating instruction. Fellows reported continuing to use what they learned because their well-designed plans were effective in addressing recognized institutional needs, and because they were supported and rewarded for application.

'전이'란 복잡하고 점진적으로 나타나는 단계로서, 훈련 이전, 훈련 중, 훈련 후에 걸쳐서 나타난다.