성과로직모델(Outcomes-Logic-Model)을 활용한 교수개발 프로그램 평가(Acad Med, 2006)

성과로직모델(Outcomes-Logic-Model)을 활용한 교수개발 프로그램 평가(Acad Med, 2006)

Using an Outcomes-Logic-Model Approach to Evaluate a Faculty Development Program for Medical Educators

Elizabeth G. Armstrong, PhD, and Sylvia J. Barsion, PhD

의사와 CME를 위한 FD에는 교실이나 침상 옆에서 지식과 지혜를 전수하는 전문가로서 교사를 인정positioning하는 오랜 전통이 있습니다. 그러한 전통으로 인해, CME나 FD 프로그램을 평가하는 주요 척도는 종종 참여 의사의 만족도였으며 코스 개발자는 전문 개발 경험을 평가하고 개선 방법을 모색하기 위해 평가 계획과 적절한 결과 측정을 작성하지 못하는 경우가 종종있었습니다.

Faculty development for physicians and continuing medical education (CME) each has a long tradition of positioning the teacher as an expert passing on knowledge and wisdom from the front of a classroomor the foot of a hospital bed. Concomitant with that tradition, the key metric for evaluating these programs has often been the satisfaction of participating physicians, and course developers have often failed to create assessment plans and appropriate outcome measures to evaluate the professional development experience and pave the way for improvements.

 

지난 10 년 동안 의학 교육은 의사-학습자가 자신의 학습에 적극적으로 참여할 수 있도록 지원함으로써 학습을 촉진하는 교육을 강조하기 시작했습니다. 엄격한 연구를 통해 입증 된 교육 원칙을 바탕으로 한 이 "과학적 가르침Scientific teaching"의 예가 더욱 널리 알려지고 구현되었습니다 .2

In the past decade, medical education has begun to shift froman emphasis on instruction to a facilitation of learning by providing support for the physician learner as an active participant in his or her own learning. This example of “scientific teaching,” based on educational principles shown through rigorous research to be effective, has become more widely known and implemented.2

 

여기에서 우리는이 평가 접근법을 Harvard Macy Institute for Physician Educators (HM-PE) 프로그램에 적용했습니다. 하버드 의과 대학 (HMS)에서 1994 년에 시작된 HM-PE 프로그램은 Multidisciplinary한 교수진에 의해 만들어지고 구현되었으며 이전에 HMS에서 제공 한 다른 FDP으로부터 dramatic departure을 설계되었습니다. *

Here we have applied this evaluative approach to the Harvard Macy Institute Programfor Physician Educators (HM-PE). The HM-PE program, launched in 1994 at Harvard Medical School (HMS), was created and implemented by a multidisciplinary faculty, and designed to be a dramatic departure fromother faculty development programs previously offered by HMS.*

 

* 일반적으로 HM-PE 프로그램은 내부 HMS 지원자를 위해 약 20 %의 인원을 할당하지만 나머지 80 %는 전국 및 전세계 의료 기관의 의사입니다. 이 보고서에 기술 된 연구가 수행 된 이후, HM-PE는 최근 의학 교육자 및 지도자로 봉사하는 다양한 의료 제공자의 참여 증가를 반영하기 위해 Program for Educators in the Health Professions으로 개명되었습니다 .

*Generally, the HM-PE program reserves approximately 20%of spaces for internal HMS applicants, but the other 80%of participants are physicians from medical institutions across the country and worldwide. Since the study described in this report was conducted, the HM-PE has been renamed the Program for Educators in the Health Professions, in order to reflect the increased participation in recent years of a wider set of health care providers serving as medical educators and leaders.

 

이 프로그램은 "Transformational learning"을 촉진하기 위해 설계되었다.

• (1) 능동적 학습 방법을 사용하는 교육자로서의 더 큰 역량,

• (2) 전국적으로 그리고 세계적으로 다양한 교육 기관에서의 의학 교육 방식에 대한 새로운 이해,

• (3) 의학교육과 의학교육자로서 보다 확고한 헌신

• (4) 교차 전문, 기관 간 공동체 천공동체에 대한 지속적인 참여.

The program was designed to foster “transformational learning”4 to propel participants toward

• (1) greater capability as educators using active learning methods,

• (2) new understanding of ways medical education is implemented in diverse institutions nationally and globally,

• (3) firmer commitment to the field of medical education and their identity as medical educators, and

• (4) ongoing involvement in cross-specialty, cross-institutional communities of practice.

 

성과로직모델 연구를위한 연구대상은 HM-PE 국제 프로그램에 참여한 HMS의 의학 교육자들로 구성되었습니다. 우리는이 의사들의 sample을 연구하여 (참여자 중 80 %가 다른 기관에서 참여한) FDP에 참여하는 것이 위의 네 가지 측면에 대한 경험에 영향을 주었는지 여부를 알아 냈습니다. HMS의 의사 대다수가 의사 교육자와 동일한 집중적인 교육을 받지 않은 경우에도 학습 경험이 진정으로 transformational 할 수 있을까?

The population for our outcomes-logic- model study consisted of medical educators at HMS who were participants in the HM-PE international program. We studied a sample of these physicians to learn whether participation in this faculty development program—held at their own institution but with 80%of participants fromother medical institutions—affected their experience as it pertained to the four dimensions above. Could the learning experience be truly transformational when the majority of physicians at HMS were not being exposed to the same intensive approach to being a physician educator?

성과로직모델에서 선행 연구에 의해 원하는 결과를 예측할 것으로 나타난 Activities를 식별한다. 일부 Outcome은 즉각적으로, 즉 프로그램 종료 후 또는 실행 중에 측정 할 수 있습니다. 성과로직모델은 중간 또는 장기 결과를 위해서 즉각적인 결과가 먼저 달성되어야한다고 가정합니다. HM-PE의 초기 결과 논리 모델 (표 1 참조)

In the outcomes logic model, activities are identified that have been shown by prior research to be predictive of the desired outcomes. Some outcomes are immediate, that is, measurable during orsoon after the programends. The outcomes logic model posits that these immediate outcomes must first be achieved in order to set the stage for intermediate or longer-range outcomes. A beginning outcomes logic model for HM-PE (see Table 1)

Method

 

 

표 1의 각 Outcome에 대해 우리는 프로그램 결과가 어느 정도 달성되었는지에 대한 증거를 제공하는 측정 지표를 만들었습니다. 측정 지표를 만들려면

• (1) Outcome의 성취를 나타내는 관찰가능하고 측정가능한 특성이나 변화를 정의하고

• (2) Outcome을 보여주는 참가자의 수 및 비율과 같은 특정 통계를 확인함으로써

...프로그램의 기준선과 목표를 설정하고 성취 수준을 요약하는데 활용한다.

 

이 연구의 성과로직모델은 프로그램의 효능을 검사하고 개인 성과를 평가하기위한 것이 아님을 알아 두는 것이 중요합니다.

For each outcome from Table 1, we created a measurement indicator to provide evidence as to what degree the programoutcome has been achieved. To create a measurement indicator, we needed to (1) define the specific observable, measurable characteristic or change that will represent achievement of the outcome, and (2) identify the specific statistic, such as number and percentage of participants attaining the outcome, that the programwill use to set baselines and targets as well as summarize its level of achievement. It is important to note that the outcomes logic model in this study examines the efficacy of the programand is not intended to assess individual performance.

 

 

결과 논리 모델은 표 1의 즉각적인 결과와 중간 결과가 참가자들에 의해 어느 정도 달성되었는지를 문서화하고자한다. HM-PE 프로그램을 시작하고 유지하기 위해서는 상당한 자원 (투입물)이 필요했고, 상당수의 HMS 및 그 이상의 의사 교육자들이 참여했습니다 (산출물).

The outcomes logic model seeks to document to what extent the immediate and intermediate outcomes in Table 1 were attained by participants. Significant resources (Input) were needed to start and sustain the HM-PE program, and significant numbers of physician educators fromHMS and beyond have participated (Outputs).

활동 : 프로그램은 임무를 수행하기 위해 투입물input을 가지고 무엇을합니까?

Activities: What does the program do with inputs to fulfill its mission?

50 개의 무작위 대조 연구 (randomized control studies)로부터 교수를 위한 Professional development에서 효과적인 학습 경험을 위해 필요한 4 가지 구성 요소를 확인했습니다 :

• (1) 학습 요구 평가,

• (2) 순서가 잘 배열된 다양한 활동,

• (3) Interactive한 학습 및 연습 기회,

• (4) 성과 평가.

HM-PE 프로그램은 다음과 같이 이들 구성 요소를 주소 지정합니다.

A summary of 50 randomized control studies7 identified four components required for effective learning experiences in professional development for medical faculty:

• (1) assessment of learning needs,

• (2) sequenced and multifaceted activities,

• (3) interactive learning and opportunities to practice, and

• (4) outcome evaluation.

The HM-PE programaddresses these components as follows:

 

▪ 요구사정. HM-PE에 합격 한 각 참가자는 부서장 또는 학장이 승인 한 의료 교육 프로젝트를 확인하여 자신의 기관에서 시행해야 합니다. HM-PE의 기획자는 HM-PE 프로그램을 참가자의 요구에 tailor 하기 위해 이 프로젝트에 대한 서술 된 설명을 사용합니다.

▪ Needs assessment. Each participant accepted into the HM-PE is required to identify and pursue a medical education project, approved by the department chair or dean, to be implemented at his or her own institution. The HM-PE’s planners use written descriptions of these projects to tailor the HM-PE programto the needs of the participants.

 

▪ 연속적이고 다면적인 활동. HM-PE 프로그램은 10 일간의 겨울 세션과 1 주일간의 봄 세션으로 두 번의 집약적 인 집중 체험을 제공합니다. 각 의사의 프로젝트는 겨울 세션 동안 동료 및 교수진과 논의되며, 이메일이나 전화 대화는 봄 학기 이후로 계속됩니다. 소그룹 인터랙티브 세션 및 비공식 회의는 참가자 간의 대화를 원활하게하기위한 프로그램 일정의 일부이며 전 세계 동료들의 학습 가치를 강조하기 위해 고안되었습니다.

▪ Sequenced and multifaceted activities. The HM-PE programhas as its anchors two intensive immersion experiences in residence: a ten-day winter session and a one-week spring session. Each physician’s project is discussed with peers and faculty during the winter session, with e-mail or telephone dialogue continuing into the spring session and beyond. Small-group interactive sessions and informal meetings are part of the program schedule to facilitate conversations among participants and are designed to emphasize the value of learning from colleagues worldwide.

 

 

▪ Interactive, Practice-based 학습 기회. HM-PE 교수진은 참가자들이 교수법을 연습하고, 협상을 탐구하고, 전략을 변경하고, 각 의사의 제도적 프로젝트를 조사하고 개선하고자하는 소그룹을 지원합니다. 실습 활동을 비디오로 녹화하고 동료 평가를 실시합니다. 프로그램 교수는 능동 학습 방법과 다 분야 접근법을 모델링 할 것으로 예상됩니다.

▪ Interactive, practice-based learning opportunities. The HM-PE faculty scholars facilitate small groups in which participants practice teaching methods, explore negotiation and change strategies, and examine and seek to improve each physician’s institutional project. The practice teaching activities are videotaped and followed by peer review. The programfaculty are expected to model active learning methods and a multidisciplinary approach.

 

▪ 평가. 평가는 교육 전략이 선택된 이유와 프로그램이 교과 과정의 의도 된 목표를 얼마나 성공적으로 수행했는지에 대한 증거를 얻는 것으로 시작됩니다. 이 보증이 없으면 성과로직모델이 중단됩니다. HM-PE 커리큘럼과 활동이 계획대로 수행되었는지 여부를 결정하기 위해 참여자 평가가 완료되고 두 차례의 거주residence 기간이 끝날 때 분석됩니다. 또한 HM-PE 프로그램의 책임자는 프로그램 종료 후 몇 개월 간 의사 교육자가 제출 한 프로젝트 업데이트에 대한 보고서를 검토합니다.

▪ Evaluation. Evaluation begins with obtaining evidence as to why the educational strategies were selected, and how successfully the program implemented the intended goals of the curriculum. Without this assurance, the outcomes logic model breaks down. To determine whether the HM-PE curriculumand activities were implemented as planned, participant evaluations are completed and analyzed at the end of both residence periods. In addition, the director of the HM-PE programexamines reports of project updates that are submitted by physician educators months after the program ends.

 

 

 

산출물 : 프로그램 활동의 직접적인 결과는 무엇인가?

Outputs: What are the direct outputs of program activities?

산출물은 1998 년, 1999 년, 2000 년 HM-PE 프로그램에 참여한 HMS 의사의 코호트입니다.이 프로그램은 12 년 동안 존재했으며 현재 29 개국에서 1,200 명 이상의 의사와 기타 건강 관리 서비스를 제공했습니다. 그 의사들 중 약 5 분의 1은 HMS에서 왔습니다.

The outputs are cohorts of HMS physicians who participated in the HM- PE programin 1998, 1999, or 2000. For the 12 years the programhas been in existence, it has served more than 1,200 physicians and other health care providers from29 countries. Of those physicians, about a fifth have been from HMS.

 

 

결과 : 프로그램 활동 중 및 후에 참가자들에게 어떤 혜택이 있습니까?

Outcomes: What are the benefits for participants during and after program activities?

결과를 결정하기 위해 우리는 이전 연구뿐만 아니라 프로그램 디렉터 및 이해 관계자의 프로그램, 목표 및 설정에 대한 지식을 사용했습니다. 그 다음과 중요한 단계는 결과 지표Outcome indicators를 확인하는 것이 었습니다. 즉, 과정 책임자 및 기타 이해 관계자가 동의 한 결과가 달성되었다는 증거로 사용되었습니다. 결과에 대한 "올바른"지표는 없지만 지표는 신뢰성 있고 관찰 가능해야하며 결과가 달성되면 변화 할 것으로 예상되는 행동을 측정해야합니다 .3

To determine the outcomes, we used prior research as well as course directors’ and stakeholders’ knowledge of the program, goals, and setting. The next and critical step was to identify outcome indicators: measures that course directors and other stakeholders agree serve as evidence that an outcome has been attained. There is no one “right” indicator for an outcome, but the indicator should be credible and observable, and measure behavior that is expected to change if the outcome is achieved.3

수치 적 지표가 달성되지 않았다면, 이는 의도했던 결과, 프로그램 전달, 측정 방법이 일치하지 않거나 프로그램 평가 방법이 개선되어야 한다.

If a numerical indicator was not achieved, this would suggest that the desired outcome, the programdelivery, and/or the measurement approach could be out of sync, or that the programor assessment method needs improvement.3,8

 

 

즉각적인 결과. 두 가지 즉각적인 결과가있었습니다.

Immediate outcomes. There were two immediate outcomes:

▪ Active learning methods에 대한 지식이 증가하고 학습자 중심의 교육자가 될 수있는 역량이 증가합니다.

=> 결과 지표 : HMS 참가자의 4 분의 3 이상이 적극적인 학습 방법에 대한 새로운 지식과 학습자 중심의 교육자가 될 수있는 더 큰 능력을보고합니다.

▪ Increased knowledge about active learning methods and greater capacity to be learner-centered educators. Outcome indicator: Over three quarters of the HMS participants will report new knowledge about active learning methods, and greater capacity to be learner-centered educators.

 

▪ 전국 및 전 세계적으로 의료 교육을 실시하는 방법에 대한 새로운 이해.

=> 결과 지표 : HMS 참가자 중 최소 4 분의 3은 FDP에 직접적으로 관련된 benefit이 무엇인지 알게 될 것이다. 80%의 참가자는 전국 및 전세계의 다양한 의료기관에서 근무하는 사람들이기 때문이다.

▪ New understanding of ways medical education is implemented in institutions nationally and globally. Outcome indicator: At least three quarters of the HMS participants will identify benefits they directly relate to being in a faculty development program where 80%of physicians are from diverse medical institutions, nationally and worldwide.

 

 

중간 결과. 두 가지 중간 결과가있었습니다.

Intermediate outcomes. There were two intermediate outcomes:

▪ HM-PE 프로그램은 일차 진로 방향으로서의 의학 교육에 대한 의지의 증가와 의학 교육자로서의 강한 정체성으로 이어지는 "변형적transformational" 프로그램이라고 믿는다.

=> 결과 지표 : HMS 의사 중 적어도 4 분의 3은 프로그램 직후에 의학 교육 분야에 대한 강한 의지를보고하고 5 년 후까지 유지될 것이다.

▪ Belief that the HM-PE programwas “transformational,” leading to an increased commitment to medical education as a primary career direction, and stronger identity as a medical educator. Outcome indicator: At least three quarters of the HMS physicians will report a stronger commitment to the field of medical education immediately after the program and five years later.

▪ 가상 커뮤니티, 전자 메일 및 공동 작업을 통해 의사 교육자와의 의사 소통 및 의사 소통을 지속적으로 확대합니다.

=> 결과 지표 : HM-PE 의사 중 4 분의 3은 프로그램이 시작된 후 상호 및 HM-PE 교수진과의 지속적인 관계를 유지하면서 프로그램 기간에 시작된 "가상 커뮤니티"를 포함한 광범위한 의학 교육자 네트워크를 구축 할 것입니다.
▪ Expanded network of colleagues in medical education and ongoing communications with like-minded physician educators, e.g., via virtual communities, e-mails, and collaborative activities. Outcome indicator: At least three quarters of the HM-PE physicians will continue their involvement with each other and/or HM- PE faculty after the programends, creating an expanded network of medical educators, including “virtual communities,” begun during the program.

 

 

Results

즉각적인 성과 달성

Achievement of immediate outcomes

 ▪ 13 명의 참가자 (81 %)는 학생들을 적극적 학습자로서 보는 관점을 넓어졌다고 답했다.

 ▪ 10 명의 참가자 (63 %)는 더 많은 교육 방법을 알게되었다고 답했습니다.

 ▪ 10 명의 참가자 (63 %)는 강의 횟수를 줄이고 다양한 교수 전략을 사용한다고 답했습니다.

 ▪ 13 명의 참가자 (81 %)는 Interactive 학습 사용에 자신감이 있다고 응답했습니다.

  ▪ Thirteen participants (81%) said they had an expanded view of students as active learners.

 ▪ Ten participants (63%) said they became aware of a greater array of teaching methods.

 ▪ Ten participants (63%) said they use lectures less often and use varied teaching strategies.

 ▪ Thirteen participants (81%) said they are confident in using interactive learning.

 

 

2004 년 조사에서 응답자들 각각은 미국과 전세계의 의사들의 참여가 이 프로그램의 중요하고 종종 예상치 못한 이점을 제공한다는 데 의견을 같이했습니다. 그들은 많은 이점을 확인했습니다. 외부 교수가 참여한 것의 장점은..

• (1) HMS 참여자에게 의료 교육 관행이 전 세계적으로 어떻게 다른지에 대한 노출

• (2) 아웃 - 오브 - 더 - 박스 (out-of-the-box) 사고를 조장하고, 인터뷰 대상자 몇 명이 제안한 것처럼 "하버드 대 밖에서"생각했다.

• (3) 교수 지원 및 자원과 같은 문제에 대한 광범위한 시각;

• (4) 참가자가 자신의 교육 및 훈련을 향상시키는 데 도움이되었다.

• (5) 과정을 보다 신뢰성있게 만들었습니다.

• (6) 의사 교육자와 자원 및 연결의 글로벌 네트워크를 만들었습니다. 그리고

• (7) HMS 참가자들이 본 적 없는 의학 교육 모델을 제공했다.
  

 

In the 2004 survey, each of the respondents agreed that the participation of physicians fromacross the United States and around the world provided an important and often unanticipated benefit of the program. They identified numerous advantages; the participation of faculty fromoutside HMS

• (1) exposed the HMS participants to how medical education practices differ worldwide;

• (2) fostered thinking out-of-the-box and, as a couple of interviewees suggested, thinking “out-of-the-Harvard way”;

• (3) broadened perspectives on issues such as faculty support and resources;

• (4) helped participants improve their own teaching and training;

• (5) made the course more credible;

• (6) created a global network of resources and connections with physician educators; and

• (7) provided models of medical education the HMS participants otherwise would not have seen.

 

중간 결과의 성취

Achievement of intermediate outcomes

 

HM-PE 프로그램은 의학 교육에 대한 의사의 열정과 헌신을 촉발시키는 촉매제로 설계되었습니다. 의학교육은 (Funding을 마련하고 테뉴어를 위한 학술활동을 해야하는 어려움으로 인해) 전국적으로 많은 의사들에게 쉽지 않은직업 선택이되어 왔습니다 .5

The HM-PE programwas designed to be a catalyst to spark physicians’ enthusiasm for and commitment to medical education. Nationally, this has been a challenging career choice for many physicians, pressured by the need to generate funds for the medical institution and produce scholarly work en route to tenure.5

의학 교육 분야에 대한 헌신은 다음과 관련되어 있었다.

• (1) 교육자로서의 자기 인식 / 정체성과 그들이 "올바른"분야에 있다는 느낌,

• (2) 다른 의사들이 비슷한 관심사를 공유한다는 인식,

• (3) 마음이 맞는 의사의 지속적인 공동체에의 개입,

• (4) 궁극적으로 경력 교육으로서의 의학 교육의 인정과 실행 가능성 .9

Research has demonstrated that commitment to the field of medical education is related to: (1) self-perception/identity as an educator and the feeling that they are in the “right” field, (2) appreciation that other physicians share similar interests, (3) involvement in an ongoing community of like-minded physicians, and, (4) ultimately, recognition and viability of medical education as a career path.9

HM-PE 프로그램은 참여한 해에 상관없이 2001 년 인터뷰 한 대다수의 의사의 삶에서 중요한 역할을 담당했습니다. 인터뷰 자료를 통해 참가자가 프로그램에 미치는 영향을 설명하는 세 가지 범주가 식별되었습니다.

The HM-PE program played a significant role in the lives of the vast majority of physicians interviewed in 2001, regardless of the year in which they participated. The interview data resulted in the identification of three categories to describe the program’s impact on the participants:

 

경력 변화적. 의사의 약 3 분의 1에 해당하는 프로그램은 매우 강력하여 경력 경로가 바뀌 었습니다. 그들은 그것을 자신의 커리어에서 "결정적인"또는 "변혁적" 포인트라고 부르며 의학 교육에 전념하게했습니다.

Career-altering. For about a third of physicians, the programwas so powerful that it changed their career paths. They referred to it as a “seminal” or “transforming” point in their careers, leading themto commit themselves to medical education.

 

경력 확신적, 경력 확장적. 16 명의 참가자 중 9 명은 경험적으로 활발한 학습, 조직 변화, 의학 교육의 실습 및 평가 원칙에 대한 지식과 편안함을 제공 할뿐만 아니라 열정에 대한 열정에 긍정적 인 영향을 미쳤습니다. . 그것은 "활력을 되찾기"와 "교수진을 교육자로 만드는 과정"으로 묘사되었습니다.

Career-affirming and expanding. For nine of 16 of the participants, the experience provided not only increased knowledge about and comfort with the principles of active learning, organizational change, and the practice and evaluation of medical education, but also had a profound and positive effect on their enthusiasmfor medical education. It was described as “reinvigorating” and a “course that makes educators out of faculty.”

 

경력 중립적. 인터뷰 한 두 명의 의사 만이 프로그램에 대한 자신의 경험을 겸손하게 긍정적이거나 중립적 인 것으로 묘사했으며 일상적 업무 나 미래 계획에 거의 영향을 미치지 않는다고보고했습니다.

Career-neutral. Only two of the physicians interviewed described their experience in the programas modestly positive or neutral and reported that it had little effect on their day-to-day work or future plans.

 

 

두 번째 중간 결과, 의학 교육 및 지속적인 의사 소통에서 의사 네트워크의 확장과 관련하여, 참가자의 대다수는 프로그램의 비공식 커리큘럼이 공식 커리큘럼만큼이나 중요하고, 우정Camadarie이 강력한 효과가 있었다고 했다. 같은 생각을 가진 동료들의 지원을 경험하는 것은 13 명의 의사 (81 %)가보고 한 이점이었습니다.

Regarding the second intermediate outcome, the expansion of the physicians’ network of colleagues in medical education and continued communication, the vast majority of participants reported that the program’s informal curriculumwas clearly as important as the formal curriculum, and that the camaraderie that developed had a powerful impact. Experiencing the support of like-minded colleagues was a benefit reported by 13 physicians (81%).

2001 년 인터뷰 대상자의 4 분의 3은 이 프로그램에 의해 폭 넓은 접촉 네트워크가 형성되었다고 말했다. 의사는 전자 메일을 통해 유지 관리되는 연락처 외에도 의료 회의에서 전화를 하거나, 드물게는 다른 의료기관을 방문한다고 보고했습니다.

Three fourths of the 2001 interviewees said the programhad resulted in a broadened network of contacts. In addition to contacts maintained through e-mail, physicians reported meeting at medical conferences or speaking on the telephone, and, more rarely, travel to another medical institution.

 

2004 년 자료에 따르면 16 명의 응답자 중 14 명 (90 %)은 HMS 외부에서 HM-PE 프로그램을 통해 만난 의사들과 연락을 취했고 13 명 (81 %)은 설문 조사에 앞서 12 개월 동안 연락을 취한 것으로 밝혀졌습니다 . 따라서 원래의 연결은 프로그램 완료 이후 몇 년 동안 계속되었습니다.
The 2004 data revealed that 14 of 16 respondents (90%) had been in touch with physicians they met through the HM-PE program from outside of HMS, and 13 (81%) had been in touch during the 12 months prior to being surveyed. Thus, the original connections had continued for years beyond the completion of the program.

 

Discussion

 

이 발견은 비슷한 목표와 비슷한 교수 전략을 가진 의학 능력 개발 프로그램의 평가 데이터와 일치합니다. Pololi 등의 FDP에서 참가자의 학습 환경에 대한 인식 (특히 학습자 중심의 교수 방법, 개인적 성찰 및 교수 공동체faculty collegiality)이 긍정적 변화와 관련이 있었다.

This finding is consistent with evaluation data frommedical faculty development programs with similar goals and comparable teaching strategies. Pololi et al.10: Their faculty development program was associated with positive changes in participants’ perceptions of the learning environment, especially learner-centered teaching methods, personal reflection, and faculty collegiality.

또한 데이터는 자기보고식 데이터였다. 또한 성과로직모델은 여기에 설명 된 것보다 훨씬 복잡 할 수 있습니다.

Additionally, the data are self-reported: Also, the outcomes logic model can be much more complex than depicted here.

 

2001 년과 2004 년의 데이터에는 사실 정보 ( "이 과정을 수강 한 동료와 연락을 한 적이 있습니까? 그렇다면 얼마나 자주합니까?")에 대한 응답과 지각 ( "당신은 어떻게 영향을 설명하겠습니까? 이 프로그램 중 당신의 가르침 기술에 관한 것이 있습니까? "). Maxwell11은 질적 데이터는 "통계적 또는 실험적으로 통제 할 수없는 맥락적 요인의 영향을 확인하고, 특정 상황에서의 독특한 프로세스를 이해하고, 참가자의 신념과 가치가 결과 형성에 미치는 역할을 설명하기위한 뚜렷한 이점이 있다"를 제시하고 양적 및 질적 연구의 조합이 인과 관계를 가장 잘 이해할 수 있도록한다.

Data from2001 and 2004 include both factual information (in response to “Have you been in touch with colleagues who took the course with you and if so, how often?”) and perceptions (in response to “How would you described the impact, if any, of this programon your teaching skills?”). Maxwell11 argues that qualitative data “have distinct advantages for identifying the influence of contextual factors that can’t be statistically or experimentally controlled, for understanding the unique processes at work in specific situations, and for elucidating the role of participants’ beliefs and values in shaping outcomes,” and that a combination of quantitative and qualitative research offers the best understanding of causality.

여기에 제시된 결과 논리 모델과 결과는 논리적으로 장기간 결과에 대한 미래 연구로 이어지며, 프로그램 참가 후 더 많은 시간이 지나면 더 많은 다른 요인이 인과 관계로 들어설 수 있음을 명심하십시오.

The outcomes logic model and findings presented here lead logically to a future study of longer-termoutcomes, keeping in mind that the more time that elapses following participation in the program, the more other factors enter into the causal path.

연구하고, 더 많은 환자를 만나고, 변화하는 의료 시스템을 다루는 것에 대한 강한 압박이있는시기에, 의사 교육자는 헌신적으로 활력을 잃지 않게됩니다. 심슨 (Simpson) 등 13)은 가정의학과 의사 교육자에게 중요한 활력소를 발견했다. 이들은 "협업, 협의 및 지원"을 위한 지속적인 지원 시스템을 갖고, 이것이 임상 또는 연구 환경에서 의사에게 제공되는 동일한 수준의 인정과 지원을 받을 때, 의사-교육자에게는 활력이 강화 될 것이라 했다.

In times of intense pressure to teach, conduct research, see more patients, and deal with a changing health care system, physician educators are challenged to remain committed and energized. Simpson et al.13 identified key sources of vitality for physician educators in family medicine. The researchers suggest that vitality is enhanced for physician educators who have an ongoing support systemof colleagues for “collaboration, consultation, and support,” and who receive the same level of recognition and support provided to physicians in clinical or research settings.

 

7 Mazmanian PE, Davis DA. Continuing medical education and the physician as a learner: guide to the evidence. JAMA. 2002; 288:1057–60.

13 Simpson DE, Rediske VA, Beecher A, et al. Understanding the careers of physician–educators in family medicine. Acad Med. 2001;76:259–64.

 

---

Acad Med. 2006 May;81(5):483-8.

Using an outcomes-logic-model approach to evaluate a faculty development program for medicaleducators.

Armstrong EG1, Barsion SJ.

Author information

• 1Harvard Medical School, Harvard-Macy Institute, Boston, Massachusetts, USA. elizabeth_armstrong@hms.harvard.edu

Abstract

PURPOSE:

This study used an outcomes-logic-model approach to examine the impact of participating in a nontraditional professional development program. Building and using a logic model provides a structure for the program to examine the degree that the desired learner outcomes, the program delivery methods, and the measurement approaches are aligned.

METHOD:

Structured telephone interviews were conducted in 2001 with 16 Harvard Medical School (HMS) participants in the Harvard Macy Program for Physician Educators (HM-PE): five who completed the program in 1998, five in 1999, and six in 2000. Interviews were also conducted with four Faculty Scholars, alumni of the HM-PE program who taught in subsequent programs. In 2004, online questionnaires were sent to the 16 participants and four Faculty Scholars. Immediate outcomes, such as greater use of active learning principles, and intermediate outcomes, such as commitment to medical education, were examined.

RESULTS:

Of those interviewed in 2001, 80% responded to the 2004 online questionnaire. Thirteen of 16 (81%) HMS respondents reported increased knowledge about and confidence using learner-center teaching methods; 10 of 16 (63%) said they gave fewer lectures and added alternative educational methods. Thirteen of 16 (81%) reported a stronger commitment to the field of medical education: almost one third felt the HM-PE program was a turning point in their careers.

CONCLUSIONS:

The outcomes logic model provided data to judge how well the program mission and plan were implemented, and whether outcomes had been attained.

PMID:

 

16639210

 

DOI:

 

10.1097/01.ACM.0000222259.62890.71

[PubMed - indexed for MEDLINE]