교육펠로우십 프로그램: 공통의 주제와 이슈(Acad Med, 2006)

교육펠로우십 프로그램: 공통의 주제와 이슈(Acad Med, 2006)

Educational Fellowship Programs: Common Themes and Overarching Issues

Larry D. Gruppen, PhD, Deborah Simpson, PhD, Nancy S. Searle, EdD,

Lynne Robins, PhD, David M. Irby, PhD, and Patricia B. Mullan, PhD

Searle 이 언급한 바와 같이, 교육스킬을 강화하고 교육자 공통체를 만들고, 교육 리더를 양성하기 위한 펠로우십 프로그램이 여러개 늘어나고 있다.

As Searle et al.1 note in the opening article, there is a growing number of fellowship programs designed to augment teaching skills, create communities of educators, and develop educational leaders.

이러한 트렌드를 촉진하는 요인으로는 교육에 있어서 scholarship의 정의가 확장되었다는 것을 인지한 것, 개별 기관과 인증기구 수준에서의 (교육과정, 교육teacching, 평가와 관련된 의사결정은 교육원칙과 근거에 기반해야 한다는) 요구사항이 늘어나는 것progressive expectation 등이 있다. ACGME는 “careful study of existing research on general competencies for physicians” 가 필요하며, 이것을 위해서는 “increasingly more useful, valid and reliable methods of assessing resident’s attainment” 가 필요하다고 하였다 .이들 요인은 교수들에게 (교육)원칙과 교육에서의 최선의 실천을 잘 수행할 것을 요구하기에 이르렀다.

Factors fostering this trend include the growing awareness of education within a broadened definition of scholarship2–4 and the progressive expectation, at both institutional and accreditation levels,5,6 that curricular, teaching, and learner assessment decisions should be informed by educational principles and evidence. The Accreditation Council for Graduate Medical Education derived its general competencies through a “careful study of existing research on general competencies for physicians” and requires “increasingly more useful, valid and reliable methods of assessing resident’s attainment” of these competencies.6 These factors have created a demand for faculty who are well versed in the principles and best practices in education.

교육과정 설계와 Educational Scholarship을 위한 포괄적 접근

A Systematic Approach to Curriculum Design and Educational Scholarship

 

이번 호에 실린 educational fellowship 프로그램을 본 독자들은 프로그램간 유사성에 매우 놀랄 것이다. 이와 관련된 요소들로는 다음이 있다.

A reader of the educational fellowship program descriptions in this issue will be struck by the similarities among the programs, which are derived from related elements:

• 기관 차원에서 극복해야 하는 (도전)과제들 a pervasive set of institutional challenges,

• 교육과정 설계를 위한 포괄적 접근 a systematic approach to curriculum design, and

• (도전)과제들을 해결하기 위한 교육전략 educational strategies to meet these challenges.

교육 혁신 평가를 위한 준거

Criteria for Evaluating Educational Innovation

우리는 Glassick의 준거를 사용하고자 함

We used Glassick’s criteria8 for evaluating educational innovations

These include

• 명확한 목표 clear goals;

• 적절한 준비 adequate preparation (ie, providing access to existing scholarship in the field);

• 적절한 방법 appropriate methods, including modifying methods when appropriate;

• 유의한 결과 significant results;

• 효과적 의사소통 effective communication (ie, effectively sharing ideas and findings); and

• 성찰적 비평 reflective critique.

명확한 목표, 적절한 준비, 적절한 방법

Clear goals, adequate preparation, and appropriate methods

펠로우십 프로그램과 교육자들을 진척advancing시키기 위한 유사한 문제들로부터 시작했기에, 각 프로그램은 명확한 목적과 목표를 설정하였다. 각 프로그램의 교육과정 내용을 살펴보면, 모든 프로그램이 단순히 "교육스킬의 향상"만을 위한 것은 아님을 알 수 있다.

Stemming from the common problem of advancing educational programs and educators, each of the programs developed a clear set of goals and objectives for its curriculum. A review of each program’s curricular content reveals that all programs emphasize more than “just” teaching skills,

각 프로그램에서 참여자들의 선발은 프로그램의 목적과 목표에 따라 이루어졌고, 이것에 잘 부합하는 교수를 선발하는 준비과정이었다. 

For each program, participant selection is matched to program goals and objectives in order to prepare faculty who matched the targeted programmatic emphases in education.

프로그램의 기간과 빈도는 대체로 매주 혹은 매달 3시간 정도의 세션이 있었다. 1년 이상 2년 정도 진행되었고, 총 60~160시간 정도의 contact time이 있었다. 이들 프로그램의 집중적intensive 성격은 (한시간 짜리 워크숍과 같은 짧은 세션의 시리즈에서 달성될 수 있는 것보다) 교육원칙과 교육행위에 대한 더욱 심화된 이해와 통합적 이해를 달성하려는 것을 보여준다. 프로그램의 상대적 길이는 주제와 영역간 cross-polination과, 교육자 공동체의 발달을 고취시키고자 하였다.

Our examination of the duration and frequency of sessions across programs showed that sessions typically meet for three hours, either weekly or monthly. Programs usually extend over one to two years, providing between 60 and 160 total hours of contact time. The intensive nature of these programs illustrates the need for a more in-depth and integrated understanding of educational principles and practices than can be achieved in a brief series of one-hour workshops.10 The relative length of the programs promotes greater cross-pollination across topics and domains and also fosters the development of a community of educators within cohorts.11

모든 프로그램은 학습자-중심의 능동적 학습, 펠로우들의 참여를 강조하였다. 또한 모든 프로그램은 프로그램에서 배운 원칙을 자신과 관련된 real-world problem의 해결에 적용할 수 있는 프로젝트의 개발을 요구하였다. 대부분의 프로그램은 일정 수준의 멘토링을 제공하였으며, 이는 멘토를 공식적으로 지정해주는 것부터 프로그램의 스텝들이 펠로우들과 상호작용하는 과정에서 비공식적으로 이뤄지는 지도까지 다양했다.

All of the programs emphasize learner- centered, active learning practices in the conduct of sessions and the participation of the fellows. And all of the programs require that fellows develop a project that would enable them to apply the principles learned in the program to a real-world problem relevant to the fellow and to the school. Most of the programs also provide some degree of mentoring for the fellows, ranging from the formal assignment of a mentor to the more informal guidance provided through program staff interactions with the fellows.

프로그램 사이에 유사성이 매우 많았지만, 기관의 우선순위, 니즈, 리소스에 따라 나름의 독특한 특징이 있었다. 

In the midst of the numerous similarities among programs, the presence of unique features reflects particular institutional priorities, needs, and resources.

참여자 모집도 각 기관의 우선순위나 외부의 펀딩을 반영하기도 했다. 예를 들어 Universities of Washington and Michigan 는 명시적으로 국외 펠로우를 선발하였다.University of Iowa 는 교수개발의 전문성과 리소스를 전파하기 위한 “training-the-trainers” 를 강조하였다. Medical College of Wisconsin은 외부의 펀딩의 우선순위에 따라서 일차의료 전공(가정의학, 의학, 소아과학)을 선발하였다.

Recruitment of participants also reflects institutional priorities and/or extramural funding targets. For example, the Universities of Washington and Michigan have explicitly identified foreign fellows as a population from which to draw participants. The University of Iowa has a unique emphasis on “training-the-trainers” for disseminating faculty development expertise and resources. The Medical College of Wisconsin’s program, due to its external funding priorities, enrolls faculty from the primary care specialties of family medicine, medicine, and pediatrics.

 

유의한 결과와 효과적 의사소통

Significant results and effective communication

각 프로그램은 (효과를 보여주기 위해서) 각 목표와 관련된 증거를 제시하였다.

Each program report presents evidence associated with its specific objectives, including

• 지원 현황 enrollment data,

• 펠로우가 주도한 교육과정 이니셔티브 fellow- authored curriculum initiatives,

• 리더십 보직 leadership positions, and

• 학문 활동 scholarly activities (eg, numbers of peer-reviewed publications, presentations, acceptances of educational materials to peer-reviewed educational repositories).

대부분의 프로그램은 프로그램-특이적인 교육과정 구조와 교육자료와 교육성과를 disseminate하여 프로그램의 졸업생들에게 요구되는 scholarly approach를 modeling하고자 했다.

The majority of programs have also disseminated their program-specific curriculum structure, materials, and outcomes in professional presentations and publications thus modeling the scholarly approach expected of their graduates.

교육자 공동체 형성은 공통의 성과 중 하나였다. 초기의 공동체는 같이 트레이닝을 받는 집단으로만 구성되었으나 시간이 지남에 따라서 institution-wide한 효과가 나타났다.

A common outcome reported across all programs is the creation of a community of educators. Initially, this growth has occurred within training cohorts, but over time has evolved into an institution- wide effect.

정도의 차이는 있지만, 모든 프로그램은 interdisciplinary fellow cohorts가 있었다.

To varying degrees, all the programs have interdisciplinary fellow cohorts.

펠로우들의 status도 프로그램간 다양했다.

Variation in fellow status is also present across programs,

 

프로그램 차원의 interdisciplinary goals 은 교육 공동체 내에서의 connection 조성, 공동의 이니셔티브 촉진, 공동의 문제에 대한 해결책 제시 등이 있다. 실제로 이들 프로그램의 interdisciplinary한 특징은 참여 펠로우들로부터 가장 흔하게 언급되는 펠로우십 프로그램의 강점 중 하나이다. 이러한 결과는 Lenning and Ebbers12가 한 다음의 말과도 잘 부합한다. 프로그램 졸업생이 늘어남에 따라서 기관들은 교육자의 critical mass를 보유했음을 깨닫게 된다. 

The interdisciplinary goals of the programs represent an explicit effort to foster connections among members of the educational community and to stimulate shared initiatives and solutions to common problems. Indeed, the interdisciplinary nature of these programs is one of the strengths most frequently cited by participating fellows. This echoes the observation of Lenning and Ebbers12 that

 

 

“교수자들이 얻는 것은 faculty benefits (related to learning communities) include

• 고립에서의 탈피 diminished isolation,

• 교수 동료간 공동의 목표와 협력 a shared purpose and cooperation among faculty colleagues,

• 교육과정 통합이 늘어남 increased curricular integration,

• 개인의 전공학문에 대한 참신한 접근법 a fresh approach to one’s discipline, and

• 학생의 학습에 대한 만족도 향상 increased satisfaction with their students’ learning.”

 

As the number of program graduates increases, institutions recognize that they have a critical mass of educators

성찰적 비평

Reflective Critique to Improve Educational Fellowship Programs

목표의 명확성에 대하여..

Clear goals

The nine programs, by virtue of their longevity, have each developed clear goals and objectives in response to their institutional, departmental, and faculty needs assessments. As programs mature, it is clear that these goals and objectives must be responsive to changing institutional priorities and needs. This evolutionary process is most apparent in the older programs (eg, the Medical College of Wisconsin), which have transformed considerably in response to changes in faculty workload and roles, but all programs have modified their curricula and structure on the basis of summative feedback from their fellows, faculty, and directors. This continuous improvement effort to identify goals in keeping with emerging institutional priorities ensures that each program has the opportunity to respond to changes in the environment and the fellows’ needs, with program redesign centered on clear goals aligned with institutional priorities.

적절한 준비와 적절한 방법에 대하여..

Adequate preparation and appropriate methods

이 이슈에서 말한 각 프로그램은 (주로) 각 의과대학의 교육전문가들이 기획/개발/시행한 것이다. 이 프로그램들에서는 외부 전문가들도 활용했다. 

Each of the programs described in this issue drew on educational experts within the medical school to plan, develop, and implement the program. The programs also make use of outside experts in providing expertise for individual sessions.

프로그램의 구조/형식/교육방법 등에 대한 선택도 면대면, 이러닝, 프로젝트 수행 등을 혼합한 형태로 점차 진화하고 있다. 새로운 교육 형태가 등장함에 따라서 펠로우십을 설계하고 수행하기 위해 필요한 전문성도 함께 진화해야 하며 이 부분을 과소평가해서는 안 된다.

Selection of the structure, format, and instructional delivery methods has continued to evolve, with programs used a blended format of face-to-face, e-learning, and project requirements. As new formats for delivering instruction emerge, the expertise needed to design and deliver fellowship programs must evolve. Institutions program should not underestimate the importance of such expertise

 

 

유의한 결과와 효과적 의사소통에 대하여..

Significant results and effective communication

따라서 프로그램의 성과가 명확히 드러나야 하며, 핵심 이해관계자들 사이에서 공유되어야 한다. 이 성과를 보여주어야 하는 이유는 자명한데, 왜냐하면 대부분의 프로그램에서 프로그램이 펠로우와 기관에 주는 impact를 심층적으로 평가하는데 몰두engaged in하고 있기 때문이다. 이 프로그램 평가는 "참가자 만족"이라는 단기 성과를 넘어서서 행동적 성과behavioral outcome 및 졸업생의 생산성과 같은 다른 근거들까지도 포괄한다. 구체적으로는, 각 프로그램이 참가자들의 CV를 분석하여 학문적 성취와 리더십의 변화를 분석하고 있으며, 펠로우의 네러티브, 인터뷰, 자기평가를 통한 질적 분석도 수행하고 있다.

Therefore the program outcomes must be clearly demonstrated and shared with key stakeholders. The need to demonstrate these outcomes is clear, as almost all of the programs have engaged in an in- depth assessment of their program’s impact on the fellows and the institution. These program evaluations have gone beyond the short-term levels of “participant satisfaction” and have included examination of behavioral outcomes and other evidence of graduates’ productivity.14 Specifically, the majority of programs have conducted analyses of participants’ curriculum vitae to measure academic productivity and leadership, and have carried out qualitative analyses of fellows’ narratives, interviews, and self-evaluations.

평가 자료를 집합적으로 분석함으로써 프로그램이 성공적이었는지를 알 수 있을 것이다.

Aggregated analysis of the evaluation data across programs reveals that the programs are successful in promoting and advancing graduates as individuals.

대부분의 프로그램은 이제 막 기관 차원의 효과(학습 환경, 넓은 맥락에서의 교육 변화)를 살펴보기 시작하였다. 개별 학자scholar 수준에서 몇몇 프로그램은 졸업생이 교육 행정 관련한 참여presence가 늘어났음을 보여주었다.

Most of the evaluations have only begun to look at institutional impact, in terms of learning environment and the larger context of educational change. At the individual scholar level, several programs note an increased presence of program graduates in the school’s educational administration:

모든 프로그램이 공통적으로 당면한 평가 관련한 네 가지 문제가 있다.

Four common evaluation challenges remain to be addressed by all programs independent of their focus on individual or institutional outcomes.

 

• 첫째, 대조군의 부재
  First, the lack of a control or comparison group limits the scope of the conclusions.

• 둘째, 각 프로그램은 프로그램의 결과로 어느 정도의 변화가 일어났는가를 조사해야 한다. 비록 그 과정에 온갖 복잡성과 교란요인이 있지만 관심을 둘 만한 분야이다.
  Second, programs must examine the extent to which student learning has changed as a result of these programs. Although this particular outcome measure is fraught with all of the complexities and confounding factors that plague patient- outcomes research, it is an area that warrants attention.

• 셋째, 개인수준/기관수준/피훈련자수준에서 명확한 ROI를 보여주어야 한다. 교육평가에서 그러한 분석은 매우 드문데, 적어도 한프로그램에서는 노력은 하였다. 프로그램의 "비용"을 정량화하는 것은 복잡하며, 교수와 스텝의 시간, 공간활용, 리소스 분배에 대한 집중화와 공유, 임상 생산성의 저하 등등을 포함한다. 그럼에도 불구하고 교육 프로그램들은 여러 임상 프로그램과 연구 프로그램에서 시도하는 바와 유사하게 교육 프로그램에 대한 투자를 정당화할 수 있어야 한다.
  Third, programs need to demonstrate a clear return on the investment in the educational fellowship programs at the individual, institutional, and ultimately trainee levels. Such analyses are very rare in educational evaluation, but at least one program has made such an effort.15 As the program descriptions demonstrate, quantifying the “cost” of these programs is complex and raises questions of faculty and staff time, space utilization, centralized or shared resource allocation, lost fellow clinical productivity, and the like. Similarly, the outcomes can be defined in various ways and quantification of these outcomes is challenging. Nonetheless, educational programs should be prepared to justify the investments made in them in ways that many clinical and research programs are beginning to address.

 

• 넷째, 프로그램 운영 기관들이 서로 고립isolation되어 있다. 프로그램 디렉터는 지역 또는 국가 수준의 교육미팅에서 비공식적으로 아이디어를 얻을지 모르겠지만, 이 프로그램의 효과성과 퀄리티를 향상시킬 수 있는 기회는 그것 말고도 많다. 예를 들면...
  The fourth evaluation challenge is associated with the isolation that exists between programs’ sponsoring institutions. Although program directors may share ideas informally at regional and national educational meetings, there are many opportunities for augmenting the effectiveness and quality of these programs. Possible strategies include

• 교육과정 혁신에 관한 협력 collaboration on curricular innovations,

• 내용 전문성과 세션 퍼실리테이터를 공유함 sharing content expertise and session facilitators, and

• 특정 청중 혹은 요구에 대해 특화된 프로그램 개발exploring specialized programs for particular audiences or needs.

• 추가적으로, 이들 프로그램은 다-기관 차원의 평가 연구 기회를 제공하며, 이를 통해서 효과적인 프로그램의 특성을 알게 될 수도 있다. 교육과정의 기간 또는 강도와 그 성취 사이에 dose-response relationship 가 있는가? 유의미한 성과를 얻기 위한 최소 수준의 교육instruction이 있는가? 등이 있다. 이 질문은 세심하게 다기관 연구를 설계하면 답을 얻을 수 있을지도 모른다. 아홉개 프로그램은 공통의 핵심 주제를 가지고 있었으며, 이는 리소스와 노력의 중복 투자를 의미하며, (공식적 경로이든 비공식적 경로이든) 실제 프로그램간 교육 내용의 공유는 별로 없을 것임을 시사한다. 대신, 각 프로그램이 "reinvents the wheel" 했을 것이다.
  In addition, these programs provide an opportunity for conducting multi-institutional evaluation studies, which might provide insights into program characteristics that are effective in attaining the desired outcomes. For example, is there a dose-response relationship between the duration or intensity of the curriculum and the program outcomes? Is there a minimal level of instruction that is necessary to obtain useful outcomes? These questions might be answered by carefully designed, multi- institutional studies of the programs. All of the nine programs we have analyzed have a common core of critical topics. This represents a duplication of resources and effort, but there is limited sharing of actual curricular content among the programs, either through formal or informal mechanisms. Instead, each program “reinvents the wheel” for numerous topics.

이후 발전을 위한 성찰적 비평

Reflective critique for future development

교육자 공동체를 형성하는 것은 일부 프로그램에서만 명시적으로 드러난 목표였지만, 결과적으로는 모든 프로그램에서 중요한 가치를 지니는 성과가 되었다. 그러한 공동체가 형성된 것은 기관의 전반적 환경에도 도움이 된다.

The development of a community of educators is an explicit goal for only some programs, but a clearly valued outcome for all. The development of such a community benefits the overall environment of the institution

여기서 중요한 질문이 남는다.

There remain important questions about sustaining and nurturing such a community:

• 공동체가 생산력을 가지기 위해 필요한 critical mass가 있는가?
  is there is a critical mass necessary for such a community to be productive?

• 어떤 이벤트나 이니셔티브가 공동체의 유지에 도움이 되는가?
  What events or initiatives help maintain the community?

• 효과적인 공동체와 관련된 인프라, 리더십, 리소스는?
  What are the infrastructure, leadership, and resource requirements associated with effective communities?

• 진료를 하는데 필요한 시간과 경쟁하는 가운데 어떻게 공동체가 유지될 수 있을 것인가?
  How can the community be sustained in the face of competing demands on faculty time from clinical responsibilities?

3 Fincher RE, Simpson DE, Mennin SP, et al. Scholarship in teaching: an imperative for the 21st century. Acad Med. 2000;75:887–894.

---

Acad Med. 2006 Nov;81(11):990-4.

Educational fellowship programs: common themes and overarching issues.

Gruppen LD1, Simpson D, Searle NS, Robins L, Irby DM, Mullan PB.

Author information

• 1Department of Medical Education, University of Michigan Medical School, Ann Arbor, Michigan 48109-0201, USA. lgruppen@umich.edu

Abstract

The trend toward intensive faculty development programs has been driven by a variety of factors, including institutional needs for educationalexpertise and leadership, as well as individual faculty members' motivation to augment their educational expertise, teaching skills, and leadership skills. The nine programs described in this issue possess several common features that can be ascribed to shared perceptions of pervasive needs coupled with feasible educational resources and strategies to meet these needs. All programs identify a clear set of goals and objectives for their respective curricula. Curriculum domains include not only teaching skills but also educational research, curriculum development, and educationalleadership. In spite of many similarities, each program reflects the unique character of its home institution, the faculty, educational resources, and the specific goals of the program. Each program has documented gains in such key outcomes as participant promotions, new leadership positions both locally and nationally, and scholarly productivity in the form of peer-reviewed papers and presentations. Evidence of institutional benefits includes the production of innovative curricula and a pool of educational leaders. The programs have also developed a community of knowledgeable scholars who interact with each other and serve as a catalyst for continuing change and educational improvement. Although each program was developed largely independently of the others, the common elements in their design provide opportunities to evaluate collaboratively the successful aspects of such programs and to share ideas and resources for program curricula between existing programs and with institutions considering implementing new programs.

PMID:

 

17065863

 

[PubMed - indexed for MEDLINE]