의학교육자를 위한 교수개발의 실재주의 평가: 무엇이 누구를 위하여 왜 효과가 있는가 (Med Teach, 2017)

의학교육자를 위한 교수개발의 실재주의 평가: 무엇이 누구를 위하여 왜 효과가 있는가 (Med Teach, 2017)
Realist evaluation of faculty development for medical educators: What works for whom and why in the long-term
Olanrewaju O. Sorinolaa, Jill Thistlethwaiteb, David Daviesa and Ed Peilea 

 

소개
Introduction

교수개발(FD)은 교육기관과 교수진이 교육, 연구, 행정 및 경력 관리 분야에서 자신의 역할을 수행할 수 있도록 준비시키기 위한 계획된 프로그램으로 정의되어 왔습니다(Bland 외. 1990). FD에서 교육에 대한 강조는 계속되고 있지만, 이제는 조직 및 리더십 개발을 포함한 다른 교수의 역할에 대해 더 폭넓게 다루고 있습니다(McLean 외. 2008). 보건 전문직의 FD에 관한 제1차(2011), 제2차(2013), 제3차(2015) 격년 국제 컨퍼런스의 참석자 수가 증가한 것은 FD가 개인 개발에서 집단 개발로, 단일한 목적에서 다차원적 목적으로, 대체로 조정되지 않은 활동에서 보다 정의된 활동으로 어떻게 발전해 왔는지를 반영합니다. 그러나 FD에 관한 방대한 문헌에도 불구하고 개입 방식에 대한 일관성이 거의 없으며, 교육 효과에 대한 장기적인 영향에 대한 증거는 여전히 제한적입니다. 또한 FD 개발자를 돕기 위한 활동에 대한 일반화 가능한 평가도 거의 없습니다(Steinert 외. 2006; Mcleod & Steinert 2010). 
Faculty development (FD) has been defined as a planned program to prepare institutions and faculty members for their roles in the areas of teaching, research, administration and career management (Bland et al. 1990). While the emphasis on teaching in FD continues, there is now broader coverage of other faculty roles including organizational and leadership development (McLean et al. 2008). Increasing attendances at the 1st (2011), 2nd (2013) and 3rd (2015) biennial international conferences on FD in the health professions reflect how FD has evolved from individual to collective development, from singular to multidimensional purposes, and from largely uncoordinated to more defined activities. However, despite extensive literature on FD, there is little consistency in the way that interventions are offered; evidence of long-term impact on the effectiveness of teaching is still limited. Furthermore, there are few generalizable evaluations of activities to help FD developers (Steinert et al. 2006; Mcleod & Steinert 2010).

의학 교육 개입의 결과는 상황에 따라 크게 달라집니다. "동일한" 개입의 효과는 누가, 어떤 참가자에게, 어떤 상황에서, 어떤 도구를 사용하여, 참가자가 내린 결정과 행동에 따라 크게 달라집니다(Pawson & Tilley 1997; Pawson 2013). Sorinola와 Thistlethwaite(2013)는 FD 이니셔티브의 성공에 있어 컨텍스트의 중요성을 보고했습니다. 다른 사람들이 성공적인 개입을 복제하기 위해서는 맥락을 이해하는 것이 중요합니다. 따라서 우리는 맥락 없이는 "FD가 효과적인가?"라는 질문에 답하기 어렵다고 제안합니다. 우리는 "맥락-기제-결과(CMO) 구성"(Pawson & Tilley 1997)을 사용하는 Realist 평가가 FD에서 "무엇이, 어떻게, 어떤 조건에서, 누구에게 효과가 있는지"에 답하는 것을 목표로 하기 때문에 더 유용한 평가 프레임워크라고 제안합니다. 
Outcomes of medical education interventions are highly context-dependent: the impact of the “same” intervention varies considerably depending on who delivers it, to which participants, in what circumstances, with which tools as well as the decisions and actions taken by the participants (Pawson & Tilley 1997; Pawson 2013). Sorinola and Thistlethwaite (2013) reported the importance of context on the success of FD initiatives. Understanding the context is important for others to replicate successful interventions. Therefore we suggest that, without context, it is difficult to answer the question “is FD effective?” We propose that realist evaluation, which uses a “context-mechanism-outcome (CMO) configuration” (Pawson & Tilley 1997), is a more useful evaluative framework as it aims to answer “what works, how, in which conditions, and for whom” in FD.

Realism는 우리의 신념과 구성과는 독립적으로 존재하는 실제 세계가 있다는 존재론적 관점과 이 세계에 대한 우리의 지식은 특정 관점에서 만들어진 우리 자신의 구성이라는 인식론적 입장을 결합합니다(Maxwell 2012). Realism는 프로그램이 작동하는 이유(메커니즘)와 어떤 조건(맥락)에서 어떤 맥락이 도움이 되고 어떤 맥락이 그렇지 않은지를 설명하며(Pawson & Tilley 2004; Wong 외 2012), FD와 관련된 복잡한 교육 시스템에 대한 더 깊은 이해와 해석을 제공합니다(Sayer 2000; Wong 외 2012).
Realism combines the ontological view that there is a real world that exists independently of our beliefs and constructions with an epistemological stance that our knowledge of this world is our own construction, created from a specific vantage point (Maxwell 2012). Realism explains what makes a program work (mechanism) and under what conditions (context) as certain contexts will be supportive and others will not (Pawson & Tilley 2004; Wong et al. 2012); it provides a deeper understanding and interpretation (Sayer 2000; Wong et al. 2012) of complex educational systems involved in FD.

기존 연구들은 단기적으로 FD 활동의 학습에 영향을 미치는 기제로 동기부여와 몰입을 제시했지만(Sorinola 외. 2013, 2015), 2년 이상의 장기적인 관점에서 FD를 효과적으로 만드는 기제에 대한 연구는 전무한 실정이다. 따라서 본 연구는 장기간에 걸친 FD 학습과 관련된 메커니즘이 특정 맥락과 어떻게 관련되어 교육자의 실천(결과)에 변화를 가져오는지 설명할 수 있는 Realist CMO 이론을 개발하기 위해 설계되었습니다. 이 연구에서 사용된 맥락, 메커니즘, 결과에 대한 간결한 정의는 표 1에 나와 있습니다. 
Previous studies suggested that motivation and engagement are mechanisms that influence learning from FD activities in the short-term (Sorinola et al. 2013, 2015), but there are no studies on the mechanisms that make FD effective in the long-term i.e. two years or longer. Therefore we designed this study to develop realist CMO theories to explain how the mechanisms involved in learning from FD over a long-term period relates to specific contexts and results in changes in educators’ practice (outcomes). Concise definitions of context, mechanism and outcome used in this study are provided in Table 1.

연구 방법
Methods

이 질적 연구는 대학 생의학 연구윤리위원회의 윤리적 승인을 받았습니다. 영국에는 33개의 의과대학이 있으며(Medical Schools Council 2010), 의도적 표본 추출을 통해 영국 4개 지역에서 각각 2개의 의과대학을 선정하여 각 학교의 교수개발 코디네이터(FDC)와 의학교육자 1명을 인터뷰했습니다. FDC(또는 유사한 직책)는 FD 웹페이지에서 확인하거나 해당 의과대학에 직접 연락하여 파악했습니다. 이들에게 의대생 교육을 담당하는 교육자의 세부 정보를 제공하도록 요청했으며, 2년 이상 FD 활동에 참여한 적이 있는 교육자의 세부 정보를 제공하도록 했습니다(기억하기 쉽고 장기적인 영향을 입증할 수 있도록). 알파벳 순으로 나열된 첫 번째 교육자를 인터뷰 대상으로 선정했습니다(첫 번째 교육자를 찾을 수 없는 경우 두 번째 교육자). 인터뷰에 참여한 교육자들은 대학원 과정, 종단형 반나절 과정(6~12개월), 독립형 1~2일 세션, 하이브리드 FD(워크샵/세미나와 온라인 학습의 결합) 등의 FD 활동에 참여한 경험이 있습니다. FD 참석 후 경과된 시간은 2년에서 3년이었고 개입은 없었습니다. 8개 의과대학에서 각각 한 명의 FDC와 한 명의 교육자를 인터뷰했습니다. 16명의 반구조화된 개별 1시간 인터뷰는 "인터뷰의 이론화"라는 Realism 원칙(Pawson 1996)에 따라 진행되었으며, 인터뷰와 데이터 수집은 이해관계자의 관점에서 맥락, 메커니즘 및 결과를 파악하는 데 목적이 있었습니다. Realist 방법론에 대한 전문성과 '인터뷰 이론화' 접근법의 일관성을 유지하기 위해 모든 인터뷰는 제1저자(OS)가 수행했습니다. 각 인터뷰 대상자는 코드로 식별되었습니다: FDC 1, E1 등
This qualitative study received ethical approval from the university biomedical research ethics committee. There were 33 UK medical schools (Medical Schools Council 2010); purposive sampling was used to select two medical schools from each of the four UK regions to interview the faculty development coordinator (FDC) and one medical educator from each school. The FDCs (or similar titles) were identified from the FD webpages or by direct contact with the medical school. They were requested to provide details of educators, with responsibility for teaching medical students, who had attended a FD activity two years ago or longer (for recall and demonstrable long-term impact). The first educator listed alphabetically was chosen for interview (or the second if the first was not available). The educators interviewed had attended FD activities including postgraduate courses, longitudinal half-day courses (6–12 months period), standalone 1–2 day(s) sessions and hybrid FD (combination of workshops/seminars and online learning). The time elapsed since FD attendance ranged from 2 to 3 years with no intervening intervention. One FDC and one educator at each of the eight medical schools were interviewed. The 16 semi-structured, individual, one-hour interviews were based on the realist principle of “theorizing the interview” (Pawson 1996): the interview and data collection were aimed at identifying the Contexts, Mechanisms and Outcomes from the stakeholders’ perspectives. The first author (OS) carried out all the interviews because of expertise in realist methodology and to maintain consistency of “theorizing the interview” approach. Each interviewee was identified by a code: FDC 1; E1; etc.

데이터의 타당성, 즉 수집된 데이터가 연구 대상 현상을 정확하게 설명하고 데이터와 개발된 이론적 아이디어가 잘 일치하는지 확인하기 위해 연구자가 참여자에게 연구 결과에 대한 설명을 제공하고 피드백을 요청하는 응답자(또는 구성원) 검증 과정을 거쳤습니다(Bryman 2012; Maxwell 2013). 참가자가 말한 내용의 의미를 잘못 해석하지 않도록 인터뷰 녹취록을 참가자에게 보냈습니다.
To ensure data validity, i.e. that the data collected accurately describes the phenomena being researched and show a good match between data and the theoretical ideas developed, we engaged in a process of respondent (or member) validation, whereby the researcher provides participants with an account of the findings and solicits feedback (Bryman 2012; Maxwell 2013). We sent interview transcripts to participants to avoid misinterpreting the meaning of what participants said.

데이터 분석
Data analysis

전사된 모든 인터뷰 데이터는 NVivo(10판) 소프트웨어 패키지에 입력되었습니다. 데이터 분석은 범주화 및 연결 전략을 사용하는 데 중점을 두었습니다. 범주화할 때는 설명, 평가, 인과관계 코드를 조합하여 절충적 코딩을 적용하고 데이터 소스, 코드, Realism 프레임워크 사이를 오가며 CMO의 관련 측면을 종합했습니다(Bazeley 2007; Saldaña 2013). 연결 전략은 진술과 사건을 일관된 전체로 연결하는 관계, 즉 하나가 다른 하나에 미치는 영향을 찾습니다(Miles 외. 2014). 연결을 통해 우리는 특정 결과(O)로 이어지는 FD 메커니즘(M)을 촉진하는 맥락(C)을 조정할 수 있었습니다. 우리는 Realism 프레임워크에 따라 각 CMO 이론과 관련된 데이터를 요약했습니다(Pawson 2013). 이 반복적인 과정에는 모든 저자가 각 단계마다 각 이론의 타당성을 검토하여 합의에 도달하는 과정이 포함되었습니다. 
All transcribed interview data were entered into the NVivo (10th edition) software package. Data analysis focused on using categorizing and connecting strategies. In categorizing, we applied eclectic coding using a combination of descriptive, evaluating and causation codes, moving back and forth between the data sources, the codes, and the realist framework to synthesize relevant aspects of the CMOs (Bazeley 2007; Saldaña 2013). Connecting strategy looks for relationships that connect statements and events into a coherent whole i.e. the influence of one on the other (Miles et al. 2014). Connecting enabled us to align the context (C) that facilitates an FD mechanism (M) leading to a specific outcome (O). We summarized the data relevant to each CMO theory in line with the realist framework (Pawson 2013). This iterative process involved all authors examining each theory for validity at each stage to reach a consensus.

결과
Results

데이터에서

• 참여, 동기 부여, 긍정적 인식, 전문화라는 네 가지 핵심 메커니즘이 확인되었습니다.
• 이러한 메커니즘을 촉진하는 것으로 확인된 맥락적 요인은 각각 참여적 접근/반성적 실천, 관련성, 지원적 교육 환경/ FD에 대한 접근성, 외부 영향/표준이었습니다.
• 보고된 결과는 자신감, 역량, 신뢰성, 경력 발전이었습니다.

이후 각 맥락, 메커니즘, 결과 사이의 연관성을 보여주는 네 가지 CMO 이론을 정교화했습니다(표 2). 지면 제약으로 인해 각 이론에 대한 인용문은 거의 포함하지 않았습니다. 더 많은 인용문은 부록에서 확인할 수 있습니다. 

• Four key mechanisms were identified from the data: engagement; motivation; positive perception; and professionalization.
• The contextual factors identified as facilitating these mechanisms respectively were: participatory approach/reflective practice; relevance; supportive educational setting/access to FD; and external influences/standards.
• The reported outcomes were confidence; competence; credibility; and career progression.

We subsequently elaborated four CMO theories showing the connection between each context, mechanism and outcome (Table 2). Due to space constraints, we have included few quotes under each theory. Further quotes are available in the Supplementary Appendix.

이론 1: 참여
Theory 1: Engagement

참여(표 3)는 모든 측면을 뒷받침하는 데이터와 함께 가장 강력한 CMO 이론 중 하나로 부상했습니다. 교육자와 FDC는 학습을 위한 참여의 중요성을 강조하면서 참여에 대한 설명을 대화형, 정보 제공, 자극적인 FD 활동으로 제시했습니다. 참여를 촉진하고 학습을 촉진하는 맥락은 FD 중 참여적이고 다양한 방식의 접근 방식(동료 토론, 다양한 관점, 공유된 경험, 아이디어의 이전 가능성)과 성찰적 체험 실습(자기 인식, 비판적 분석, 새로운 관점 개발)으로 장기적인 참여를 촉진하는 것으로 나타났습니다. 교육자들이 보고한 가장 중요한 성과는 콘텐츠와 관련이 없는 교육에 대한 자신감 증가였습니다. 자신감은 채택한 교수법이 효과적일 것이라는 확신이 생기고 권한이 부여되는 느낌으로 설명되었습니다. 교육자들은 FD에서 배운 다양한 교수 전략을 학생들과 함께 사용하는 데 자신감을 갖게 되었습니다. 교육자들이 가장 큰 효과를 본 것은 바로 이 개인 개발 영역이었습니다. 

• 교육자들은 교육 기회를 인식하고 활용할 수 있는 역량을 갖추게 되었고, 자발적으로 더 많은 교육을 제공했으며, 학생들이 교육 기회를 찾도록 장려했습니다. 
• 이들은 교육에 대한 동료와의 상호작용, 교육 전달, 복잡한 교육 활동을 이해하기 쉬운 요소로 세분화, 새로운 교육 기법 시도, 다양한 교육 시나리오 및 어려운 교실 역학 관계에 대처하는 데 자신감이 생겼다고 말했습니다. 

8명의 교육자 모두 16개 이상의 사례를 언급하며 강의에 대한 자신감이 향상되었다고 말했습니다:
Engagement (Table 3) was one of the more robust CMO theories to emerge, with data supporting all its aspects. Educators and FDCs emphasized the importance of engagement for learning providing descriptors of engagement as interactive, informative and stimulating FD activities. Contexts facilitating engagement and driving learning were participatory, multimodal approaches during FD (peer discussion, different perspectives, shared experiences and transferability of ideas), and reflective experiential practice (self-awareness, critical analysis and the development of a new perspective), which fostered long-term engagement. The single most important outcome reported by educators was increased confidence in teaching which was not content related. Confidence was described as increased certainty that the teaching approach adopted is likely to be effective and a feeling of empowerment. Educators became confident in using various teaching strategies learnt from FD with their own students. It was in this domain of personal development that educators noticed the greatest impact.

• They became empowered to recognize and utilize teaching opportunities, voluntarily offered more teaching, and encouraged students to seek teaching opportunities.
• They discussed confidence in interactions with colleagues about teaching, delivery of teaching, breaking down complex teaching activities into understandable components, trying out new instructional techniques, handling various teaching scenarios and difficult classroom dynamics.

All eight educators mentioned improved confidence in teaching with over 16 references made:

이 프로그램에서 가장 매력적인 점 중 하나는 상호 작용과 참여형 접근 방식이었습니다. 서로 다른 전문 분야에서 다른 방식으로 가르치는 사람들이 참석했지만, 토론과 그들의 이야기를 통해 우리 모두는 서로에게서 많은 것을 배웠습니다. 저는 FD로부터 많은 것을 배웠는데요... 많은 일을 하고, 생각하고, 시도하고, 반성해야 했기 때문입니다. 그래서 반성하는 연습이 도움이 되고, 반성을 더 많이 하게 되죠... 개인적으로는 수업에 대한 자신감과 수업 중 다양한 상황에 대처할 수 있는 능력이 향상되어 정말 유용했습니다. 성찰을 통해 배운 것을 적용하는 데 자신감이 생겼습니다. (E8)
One of the most engaging things about the programme was the interactivity and participatory approach. There were people attending from different specialties teaching in different ways, and yet from the discussion, their stories, we all learnt from each other. I learnt a lot from the FD because I had to do quite a lot of work… think… try things out and reflect. So it’s the reflective practice that’s helpful, you’re sort of forced to do more reflecting… personally I found that really useful as it improved my confidence in teaching and in dealing with various situations in my own teaching. By reflecting I became more confident to apply what I learnt. (E8)

FDC는 참여형 대화식 접근 방식과 FD에 통합된 성찰적 실습이 의도적으로 교육자의 참여를 촉진하는 데 목적이 있다는 데 동의했습니다:
FDCs agreed that the participatory interactive approach, and the reflective practice incorporated into FD were deliberately aimed at promoting educators’ engagement:

참여형 상호작용을 통해 사람들은 서로 이야기하고 영감을 얻습니다. 교육자들이 대화형 방식으로 자신의 경험을 성찰할 수 있도록 하는 것이 핵심입니다... 큰 변화를 가져왔습니다. 교육자들의 참여도가 높아졌습니다... 저는 교육 세션에서 교훈적인 교육이 아닌 상호작용을 활용하는 교육자들을 관찰했습니다. 그들은 정말 자신감이 넘쳤고 더 나은 교육을 개발하기 위해 참여했습니다. 그들이 힘을 얻고 함께 일하는 학생들에 대해 생각하는 것을 보는 것은 큰 영향을 미칩니다. (FDC4)
It’s the participatory interactivity; people talk to one another, feel inspired. Allowing educators to reflect on their experiences in an interactive way is key… it made a big difference. Educators became more engaged… I observed them at their teaching sessions making use of interactivity and less didactic teaching. They are really confident and engaged to develop teaching further. Seeing them empowered and thinking about the students they are working with is a great impact. (FDC4)

이론 2: 동기 부여
Theory 2: Motivation

동기부여는 일반적으로 행동에 에너지와 방향을 부여하여 사람들이 무엇을, 얼마나 잘, 얼마나 오래 하기로 선택하는지에 영향을 미치는 것으로 생각됩니다(Reeve 2001; Martin 2007, 2008). 우리는 동기가 FD 활동에 참여하기로 결정하고 교육자가 부족한 분야의 기술을 배우는 데 중요하다는 것을 발견했습니다. 7명의 교육자 데이터는 FD 학습의 메커니즘으로서 동기를 뒷받침했습니다. 가장 중요한 동기는 개인주의적 동기, 즉 외부 요인보다는 교육자의 필요와 관련된 동기였습니다. 교육자들은 동기를 FD와 자신의 학습 요구와의 관련성에 연결시켰으며, FD 이니셔티브가 자신의 업무를 더 잘 수행하고 역할 요구 사항을 충족하는 데 도움이 되어야 한다고 긍정했습니다:
Motivation is generally thought to be that which gives behavior energy and direction, influencing what people choose to do, how well, and for how long (Reeve 2001; Martin 2007, 2008). We found motivation to be important in deciding to attend FD activities and for educators to learn skills in areas in which they were deficient. Seven educators’ data supported motivation as a mechanism in FD learning. The most important motivation was individualistic, i.e. in relation to an educator’s need rather than external factors. Educators’ linked motivation to relevance of the FD to their own learning needs, affirming that FD initiatives should help them do their job better and meet their role requirements:

저는 의학교육에 관심이 많기 때문에 제 자신의 학습과 학부 교육에 대한 더 나은 이해를 위해 FD가 필요했습니다. 제가 선택한 FD 과정은 대그룹, 소그룹 교육, 일대일 슈퍼비전 등 다양한 맥락에서 제가 수행하는 모든 것을 다루었습니다. 이 과정은 현재 위치에서 개선할 수 있는 즉각적인 팁을 제공했습니다. 저는 지극히 실용적인 사람이고, 일을 완수해야 하기 때문에 관련성이 있는 무언가가 필요합니다. 이 과정을 수강하는 동안과 수강 후에도 학습에 대한 동기가 부여되었고 강의 스킬이 많이 향상되었습니다. 가르치는 데 더 유능해졌고 학생 피드백도 크게 향상되었습니다. (E1)
I was motivated; I needed FD for my own learning and a better understanding of undergraduate teaching as I have a real interest in medical education. The FD course I chose dealt with large group, small group teaching, one-to-one supervision, all of which I do in varied contexts. The course gave instant tips to improve from where you were. I’m terribly pragmatic, I need to get the job done therefore I need something relevant. That motivated me to learn during and after the course and my teaching skills have improved a lot. I feel more competent in my teaching and student feedback has improved significantly. (E1)

8명의 FDC는 모두 FD의 관련성(맥락)과 교육자의 학습 동기(메커니즘)를 연결하는 추가 데이터를 제공했으며, 흥미와 학습을 자극하는 전략으로서 FD 활동을 교육자의 필요에 align하는 것이 중요하다고 언급했습니다. 예를 들어
All eight FDCs provided further data linking relevance of the FD (context) to educators’ motivation to learn (mechanism) and commented on the importance of aligning the FD activities to educators’ needs as a strategy to stimulate interest and learning. For example:

의료 교육자에게 관련성이 있도록 교육 과정을 조정하는 것이 중요하다는 것을 인식하고 있습니다. 이를 통해 교육생들이 적극적으로 참여하고 학습하도록 동기를 부여하는 것을 발견했습니다. 개입 후 평가에서 교수자의 강의와 학생의 성과에 대한 피드백을 관찰한 결과, 교수자의 강의 기술이 향상되고 유능한 교육자가 늘어나는 것을 확인할 수 있었습니다. (FDC1)
It’s recognising the importance of aligning the courses so that they are relevant to the medical educators. I’ve found this motivates them to actively participate and learn. The post-intervention assessments showed improved instructional skills and more competent educators from my observation of their teaching and students feedback on their performance. (FDC1)

이 이론의 핵심 결과는 교육자의 역량이 향상되었다는 것입니다. 교육자들은 다음으로 역량을 설명했습니다:

• 교육 접근 방식의 변화(예: 교육 계획에 더 많은 시간을 할애하고, 커리큘럼을 이해함),
• 태도와 행동의 변화(예: 더 열린 마음을 갖고, 가르치는 것을 주저하지 않음),
• FD 과정에서 얻은 지식과 기술을 적용하는 데 있어서의 변화

The key outcome of this theory is the improvement in educators’ competence. Educators described competence in terms of

• changes in their teaching approach (e.g. spending more time planning teaching, understanding the curriculum),
• changes in attitudes and behavior (e.g. being more open minded, not shying away from teaching), and
• in their application of knowledge and skills gained from the FD course:

FD 과정은 역량에 관한 것입니다. 예전에는 체계 없이 아무렇게나 가르쳤어요. 하지만 FD 과정을 수강한 후부터는 체계가 생겼어요. 커리큘럼과 학생들이 무엇을 알아야 하는지 알게 되었죠. 저는 다양한 교수법에 대해 더 개방적이고 지식의 폭을 넓혔으며, FD는 제 교수법을 확장하도록 도전했습니다. 수많은 작은 힌트와 팁이 모여서 변화된 접근 방식을 제공합니다. 예를 들어 질문 통합, 사전 지식 활성화, 스노우볼링과 같은 기법..... 저는 FD 전에는 이 기법들을 사용하지 않았지만 지금은 사용하고 있습니다. 저는 더 광범위하고 정교한 템플릿을 사용할 수 있게 되었고, 제 자신의 자기 평가뿐만 아니라 제 강의에 대한 동료의 평가와 학생들의 피드백을 통해 더 유능해졌습니다. (E2)
Doing the FD course is about competence. I used to teach anyhow, with no structure. But since attending the FD course, I have developed a structure. I know the curriculum and what students need to know. I am more open to different ways of teaching, extended my knowledge and the FD challenged me to extend my teaching approach. It is the multitude of small hints and tips, which aggregate to give a changed approach. For example integrating questioning, activating prior knowledge, techniques like snowballing…. I have not used them before the FD but now I do. I have a broader and more sophisticated template to work with and I am more competent … from my own self-assessment but also from the feedback received from peer appraisal of my teaching and students feedback. (E2)

이론 3: 긍정적 인식
Theory 3: Positive perception

인식(표 3에 정의된 바와 같이)은 교수의 가치, 즉 FD에 의해 강화된 교수의 개인적 및 기관적 가치의 측면에서 메커니즘으로 개념화되었습니다. 개인적 차원에서 7명의 교육자는 FD를 통해 배운 것이 가르침의 중요성을 인식하는 데 도움이 되었다고 답했으며, 교육에 대한 열정과 흥미를 더 많이 느끼고 전문적 실천과 질 향상에 기여한 점을 높이 평가했습니다. 교육기관 차원에서 교육자들은 FD 참여로 교육에 대한 기관의 인식이 달라졌다고 답했습니다. 다른 교육 과정에 참석할 수 있도록 더 많은 지원을 받았고, 교육에 대한 아이디어와 기여도가 더 많이 고려되었으며, 승진 신청 시 교육에 대한 공로를 인정받았습니다. 한 교육자의 부정적인 의견이 한 건 있었지만, 데이터는 FD 이후 교육에 대한 제도적 가치를 긍정하는 긍정적인 의견이 압도적으로 많았습니다:
Perception (as defined in Table 3) was conceptualized as a mechanism in terms of the value of teaching: the individual and institutional values of teaching enhanced by FD. At the individual level, seven educators reported that learning from the FD helped them appreciate the importance of teaching; they felt more enthusiastic and interested in teaching and valued its contribution to their professional practice and quality improvement. At the institutional level, educators reported that FD participation had altered their institution’s perception of their teaching. They were better supported to attend other teaching courses, their ideas and contributions on teaching were considered more, and there was acknowledgment of teaching in their applications for promotion. Even though there was one negative comment by one educator, the data were overwhelmingly positive affirming the institutional value of teaching post FD:

이 기관에서 교육을 선도하는 것이 우선순위입니다. 그들은 FD 교육을 중요하게 생각하고 매우 지원합니다. 제 계약은 교육, 행정 및 소량의 연구입니다... 교육이 주된 업무입니다. FD는 도움을 쉽게 받을 수 있는 지원 환경이었어요. PGCE를 수료하고 HEA의 펠로우가 된 후 승진 절차를 밟을 때 그들은 제 가르침을 높이 평가했습니다. 교사로서 그런 신뢰를 얻으니 기분이 좋았어요. 지금은 제 자신의 가르침을 더 소중히 여기고 학생들의 학습을 돕는 데 더욱 열정적으로 임하고 있습니다. (E7)
Leading the teaching at this institution is a priority. They consider FD training important and are very supportive. My contract is teaching, administration and a small amount of research … teaching is the main one. FD was a supportive environment with easy access to help. Once I had completed the PGCE and became a fellow of the HEA, they highly valued my teaching when I went through the promotion process. It was a good feeling having that credibility as a teacher. I value my own teaching more now and become more enthusiastic in helping my students to learn. (E7)

두 그룹 모두 지지적인 교육 환경과 FD에 대한 접근성이 이러한 긍정적 인식을 촉진했다는 증거가 있었습니다. 7명의 교육자는 FDC가 자신의 필요에 부응하고, 필요할 때 추가 지원을 제공하며, 학생들을 가르치는 것을 진정으로 즐긴다고 느꼈습니다. 마찬가지로 모든 FDC가 그들이 제공하고자 했던 지지적 환경을 긍정적으로 평가했습니다:
There was evidence from both groups on the context of supportive educational environment and access to FD that facilitated this positive perception. Seven educators felt their FDC was responsive to their needs, provided additional support when needed, and genuinely enjoyed teaching them. Similarly, all the FDCs affirmed the supportive environment they aimed to provide:

저는 교육자들을 가르치고 FD 과정에 쉽게 접근할 수 있는 지지적 환경을 조성하는 데 열정을 쏟고 있습니다. 이론을 가르치는 것만으로는 충분하지 않고, 관찰하고, 관찰하는 동안 실습하게 하고, 학생들이 학생들을 가르칠 수 있도록 지원합니다... 학생들의 피드백에 따라 효과가 있었습니다... 제가 교육자들을 지지한다는 사실이 교육자들의 열정과 관심, 다양한 FD 활동에 대한 인식을 높여주었습니다. 이것이 제가 생각하는 가장 큰 영향일 것입니다. (FDC 8)
I am passionate about teaching the educators and creating a supportive environment and easy access to the FD courses. Teaching them the theory is not enough; I observe, let them practise whilst been observed and I support them in teaching their students… which based on student feedback has worked…. the fact that I am there to back up the educators has increased their enthusiasm, interest and perception of the various FD activities. That’s probably the greatest impact as far as I’m concerned. (FDC 8)

이 이론에 대한 결과는 교육자들의 신뢰도 향상이었습니다. 교육자들은 FD에 참여함으로써 학생과 동료에 대한 신뢰도가 높아졌다고 믿었습니다. 교육자들은 다음 등의 측면에서 신뢰성에 대해 논의했습니다:

• 지식과 전문 지식의 적용,
• 학생 및 동료와의 관계,
• 교육 기관에서 자신을 어떻게 바라보는지에 대한 인식,
• 교육에 대한 토론에 영향을 미칠 수 있는 능력 

The outcome for this theory was improved educators’ credibility. Educators believed that participating in FD led to more credibility with their students and peers. Educators discussed credibility in terms of

• application of knowledge and expertise,
• relationships with students and colleagues,
• perception of how they are viewed by the educational establishment, and
• the ability to influence discussions on teaching:

저에게 있어 FD는 자신감과 신뢰성이라는 두 가지 측면에 관한 것이었습니다. 자신감의 측면에서는 제가 말하는 것에 대해 더 확신을 갖게 되고, 이것이 이론과 프레임워크에 부합하며 어떤 접근법이 다른 접근법보다 더 잘 작동하는 방법을 설명할 수 있는 능력이라고 말할 수 있습니다. 이를 통해 학생들을 가르치는 데 더 많은 신뢰를 얻고 다른 사람들(동료/기관)이 제 가르침을 어떻게 평가하는지에 대한 신뢰도도 높아집니다. (E10)
Doing the FD for me was about two things; confidence and credibility. In terms of confidence it is being more assured of the things that I say; I can say this is consistent with this theory and framework and ability to explain how some approaches work better than others. This gives me more credibility in teaching my students and credibility in how others (peers/institution) value my teaching. (E10)

어떤 의미에서 PGCE를 통해 교육 기관 내에서 제 평판이 높아졌습니다. 저는 그 과정에 참여함으로써 더 많은 신뢰를 얻게 되었다는 평가를 받았습니다... 교육계 선배들과 협상하고, 커리큘럼에 기여하고, 긍정적인 변화를 이끌어낼 수 있는 더 강력한 입장에 서게 되었습니다. (E6)
In a sense doing the PGCE has enhanced my reputation within the educational establishment. I was given feedback at my appraisal of having more credibility by engaging with that process…. something that is valued… it’s put me in a stronger position to negotiate with senior educational colleagues, contribute to the curriculum, make positive changes. (E6)

이론 4: 전문화
Theory 4: Professionalization

전문화는 의학교육 교육의 표준화를 목표로 하는 자격 및 인증의 맥락에서 바라보았습니다. 교육자와 FDC는 전문화에 대해 자격/인증, 학습에 대한 목적의식, 수료 후 성취감, 경력 발전의 측면에서 이야기했습니다. 모든 FDC는 이를 FD 학습의 중요한 메커니즘으로 간주했지만 교육자의 절반만이 전문화를 메커니즘으로 논의했습니다.
Professionalization was viewed along the lines of qualification and accreditation aimed at standardizing medical education teaching. Educators and FDCs talked about professionalization in terms of qualification/accreditation, providing a sense of purpose to learning, a sense of achievement upon completion, and career progression. All FDCs viewed this as an important mechanism for FD learning but only half of the educators discussed professionalization as a mechanism.

외부 의제는 GMC, AoME, HEA가 전문 의료 교육자의 기준을 설정하고 우리가 이에 어떻게 대응할 것인가입니다. 대학은 PGCE 또는 FHEA(펠로우 오브 HEA) 자격을 가진 직원 수를 보고해야 합니다. 이러한 국가 정책으로 인해 고등 교육 부문의 교직원 구인 광고에서 FHEA를 요구하는 것을 발견했습니다. 우리의 FD 프로그램은 HEA의 인증을 받았기 때문에 교육자들은 그 인정을 받을 수 있고, 표준/품질과 우리 과정의 학습에 대해 안심할 수 있습니다. (FDC 7)
The external agenda is the GMC, AoME and HEA setting the bar for a professional medical educator and how we respond to that. Universities are expected to report the number of staff with PGCE or Fellow of HEA (FHEA). This national policy is pushing things… we’ve noticed job adverts for academic staff in the higher education sector asking for FHEA. Our FD programme is accredited with the HEA, so it enables educators’ to gain that recognition and are reassured regarding standards/quality and learning from our courses. (FDC 7)

자격증과 인증을 받는 데 확실히 도움이 됩니다. '나는 이 교육을 받았고, 이 학습을 완료했다'고 말할 수 있습니다. FD 과정에 참여하여 배웠다는 것을 인정받는 것입니다. '가르치는 데 있어 어떤 교육을 받았습니까?"라는 질문을 받았을 때 서류상의 증거와는 별개로 무언가를 얻고 있다는 것을 아는 것은 학습에 대한 원동력을 제공합니다. 이 과정이 제 학습의 원동력이 되었어요... 수료한 것이 자랑스러웠어요. 이제 저는 이 과정을 통해 교수 경력을 쌓고 있습니다. (E4)
It certainly helps getting a certificate and accreditation. I can say, ‘I’ve been to this training, I’ve completed this learning’. It is recognition that you’ve participated … learnt from the FD course. Knowing you are getting something out of it provides the impetus for learning apart from documentary evidence when asked ‘What training have you had in teaching?’ It did drive my learning… I was proud I completed it. Now I’m using it to further my teaching career. (E4)

교육자들은 FD를 통해 자격과 인정을 받음으로써 경력에 변화를 가져왔다고 말했습니다. 교육자들은 FD 이후 승진, 모듈 리더십, 교육 과정 촉진 등 다양한 기회를 얻었다고 설명했습니다. 그들은 FD가 없었다면 이러한 역할을 맡지 않았을 것이며, 이를 통해 자극과 즐거움을 느꼈다고 말했습니다. 일부는 학술적 글쓰기, 출판물, 강의 가이드 등을 개선하여 학술활동 수준이 향상되었음을 보여주었습니다:
Educators attributed career progression to the FD confirming that qualification and recognition did bring about career changes. Educators described various opportunities following FD such as promotion, module leadership and facilitation of teaching courses. They stated that without the FD they would not have taken up these roles, which they’ve found stimulating and enjoyable. Some demonstrated enhanced scholarship with improved academic writing, publications, teaching guides, etc:

FD를 하고 PGCE를 취득하면서 제 경력은 두 가지 측면에서 긍정적으로 변화했습니다. 첫째, 다른 프로그램에서 강의할 수 있게 되었습니다. 저는 학습 및 학술 개발 센터 프로그램 위원회에 초빙되어 대학 전체의 PGCE에 참여해 달라는 요청을 받았습니다. 작년에 저는 PCAP(학문적 실무 대학원 수료증)의 진행자 중 한 명이 되었습니다. 대학 전체에서 다른 학자들을 가르치고 만나고, 교육에 대해 토론하고, 평가를 할 수 있기 때문에 저는 이 일을 좋아합니다. 둘째, PGCE/PCAP에서 강의하는 것은 제 승진에 큰 도움이 되었습니다. 작년에 선임 강사로 승진했습니다.... FD가 제 승진을 정말 도와줬고, FD가 없었다면 이 모든 것을 할 수 없었을 것입니다. (E7)
Doing the FD and getting a PGCE has positively changed my career at two levels. First, it enabled me to teach on other programmes. I was invited on the Centre for Learning and Academic Development programme committee and asked to be part of the PGCE across the university. Last year, I became one of the facilitators on the PCAP (Postgraduate Certificate in Academic Practice). I love doing those teachings because I get to teach and meet other academics across the university, discuss teaching, and do assessments. Second, teaching on the PGCE/PCAP really supported my promotion; I was promoted last year to senior lecturer…. the FD really supported my promotion, I couldn’t have done all these without it. (E7)

지지되지 않는 다른 이론
Other theories unsupported

데이터 수집은 다양하지만 FD의 이론으로 완전히 부각되지는 않은 다른 CMO도 있었습니다. 피드백, 협업, 훈련된 퍼실리테이터가 바로 그것입니다. 몇몇 이해관계자가 가능한 추가 메커니즘으로 개별적으로 언급했지만, 데이터가 CMO 이론을 생성하기 위한 모든 측면을 완전히 뒷받침하지는 못했습니다.
There were other CMOs for which data collection was varied but did not fully emerge as a theory of FD. These were feedback, collaboration and trained facilitators. Even though they were mentioned individually as possible additional mechanisms by a few stakeholders, the data did not fully support all aspects to generate a CMO theory.

토론
Discussion

주요 결과
Main findings

본 연구는 교육자와 개발자를 위한 FD의 장기적인 효과에 대한 증거를 제공했습니다. 참여, 동기 부여, 긍정적 인식, 전문화(표 3)가 장기적으로 FD 개입의 효과에 영향을 미치는 네 가지 주요 메커니즘으로 나타났으며, 인터뷰에 참여한 교육자들은 개입 후 최소 2년이 지났기 때문에 이 네 가지 메커니즘이 장기적으로 FD 개입의 효과에 영향을 미치는 것으로 나타났습니다. 이론 1의 주요 전제는 깊고 효과적인 학습이 이루어지기 위해서는 참여가 중요하다는 것입니다. 참여도가 높은 학습자는 높은 수준에서 학습하고, 학습한 내용을 유지하며, 학습한 내용을 새로운 맥락으로 옮길 수 있습니다(Kearsley & Shneiderman 1998). 학습자는 더 깊은 이해를 얻고 해당 과정의 즉각적인 범위를 넘어서는 개념을 개발할 가능성이 더 높습니다. FD 참여에 대한 우리의 연구 결과는 참여와 딥러닝에 관한 문헌을 뒷받침합니다(Schaufeli 외. 2002, 2006; Miliszewska & Horwood 2004).

Our study has provided evidence of the long-term efficacy of FD for educators and developers. Engagement, motivation, positive perception and professionalization (Table 3) were the four main mechanisms impacting the effectiveness of FD intervention in the long-term, as the educators interviewed were at least two years post intervention. The major premise of Theory 1 is that engagement is important for deep and effective learning to occur. The engaged learn at high levels, retain what they learn, and can transfer what they learn to new contexts (Kearsley & Shneiderman 1998). Learners gain a deeper understanding and are more likely to develop concepts beyond the immediate scope of the course. Our findings on engagement in FD support the literature on engagement and deep learning (Schaufeli et al. 2002, 2006; Miliszewska & Horwood 2004). 

교수개발자는 교육자의 가치, 관심사 및 요구에 가장 잘 부합하는 자질을 교육에 구축함으로써 교육자가 과제 및 활동에 참여할 가능성을 높일 수 있습니다. 연구 결과에 따르면 FD 참여를 촉진하는 맥락은 FD 기간 동안 참여적이고 복합적인 접근 방식이었으며, 장기적인 참여는 반성적 실천을 통해 촉진되었습니다. 교수자 개발자는 반성적 실천의 맥락이 교육자의 개발을 향상시키는 다양한 방식(자기 인식, 비판적 분석, 새로운 관점 개발)을 이해하는 것이 중요합니다. 이러한 참여의 결과는 다양한 방식으로 표현되는 가르침에 대한 자신감으로 나타났습니다.

• 강의 전달,
• 복잡한 교수 활동을 이해하기 쉬운 구성 요소로 분해,
• 새로운 교수 기법 시도,
• 학생 및 동료와의 대화,
• 교수법 검토 등 

Faculty developers can enhance the prospects of educators being engaged in the tasks and activities by building into their teaching those qualities that are most likely to appeal to the values, interests and needs of the educators. The findings suggest that the contexts that promoted FD engagement were a participatory, multimodal approach during the FD and long-term engagement was facilitated by reflective practice. It is important for faculty developers to understand the diverse ways by which the context of reflective practice enhances the development of educators (self-awareness, critical analysis, and development of new perspectives). The outcome from this engagement was confidence in teaching expressed in various ways:

• delivery of teaching;
• breaking down complex teaching activities into understandable components;
• trying out new instructional techniques;
• dialog with students and peers; and
• examination of teaching practices.

"동기부여"라는 단어의 라틴어 어근은 "움직이다"를 의미하므로, 동기부여에 관한 이론 2는 교육자가 FD 활동에 참여하고 배우기 위해 "움직이도록" 돕는 데 있어 기대, 필요 및 가치가 수행하는 역할에 대한 이해를 제공합니다. 동기부여 이론은 시간이 지남에 따라 진화해 왔으며, 인간 심리의 복잡성 때문에 동기를 내적 또는 외적 현상으로 단순하게 이분법적으로 해석하는 것은 더 이상 사실이 아닙니다(Misch 2002; Brissette & Howes 2010). 우리는 이전에 단기적으로 FD에 대한 가장 중요한 동기는 개인주의적 동기이며, 상위 세 가지 개인적 동기는 개인 개발, 경력 개발 및 개인적 교육 관심이라고 보고한 바 있습니다(Sorinola 외. 2013, 2015). 이 연구는 더 나아가 의학교육자의 요구와 FD의 관련성 및 연계가 장기적인 동기 부여의 핵심 맥락적 요소임을 시사합니다. 이는 특히 FD에 대한 체계적 문헌고찰을 통해 "무엇이 FD 참여에 동기를 부여하는가?"라는 스타이너트 등의 질문에 대한 답변으로 FD 개발자에게 중요한 포인트입니다(스타이너트 등, 2006). 또한 FD 참석 후 교육자들이 확인한 결과로서 역량 향상을 명확히 했습니다. 교육자들은 역량을 FD 참석을 통해 얻은 지식과 경험 및 실습을 통해 개발한 전문성을 결합하여 올바른 태도로 교육에 적용하는 것으로 개념화했습니다. 
The Latin root of the word “motivation” means “to move”, hence Theory 2 on motivation provides some understanding of the role played by expectancies, needs and values in helping educators “move” to participate and learn from FD activities. Motivation theories have evolved over time; it is no longer true to construe motivation as a simple dichotomous internal or external phenomenon because of the complexity of the human mind (Misch 2002; Brissette & Howes 2010). We have previously reported that the most important motivation for FD in the short-term was individualistic with the top three individual motivators being personal development, career development and personal teaching interest (Sorinola et al. 2013, 2015). This study has gone further to suggest that relevance and alignment of the FD to the needs of medical educators is the key contextual factor for motivation in the long-term. This is an important point for FD developers especially in response to Steinert et al’s question following their systematic review of FD: “What motivates participation in FD?” (Steinert et al. 2006). We further clarified improved competence as an outcome identified by educators following FD attendance. The educators conceptualized competence as combining the knowledge from attending the FD with the expertise developed from experience and practice, applying it with the right attitude in teaching.

이론 3은 교육자들의 FD에 대한 긍정적인 인식이었습니다. 인식은 기대, 신념, 가치관 등 다양한 요인에 의해 형성되고 영향을 받으며(Weiten 2013), 완전히 편향되지 않고 필터링되지 않은 지각은 존재할 수 없습니다(Clark 2011). 지각과 기대 사이에는 많은 피드백이 있고,  인식적 경험이 종종 우리의 신념을 형성하지만, 이러한 지각은 기존의 신념에 기반하기 때문이다. 우리는 대부분의 교육자들이 FD에 대해 긍정적인 인식을 가지고 있는 것으로 나타났는데, 이는 교육자 개인이 자신의 가르침을 소중히 여기게 되었으며, 교육 기관 차원에서도 자신의 가르침을 소중히 여기게 된 것으로 나타났습니다. 이 이론은 교육자가 FD가 개인적, 직업적 성장을 가능하게 하고 지지적인 교육 환경에서 접근할 수 있다고 믿을 때 학습 가능성이 높아져 교육의 신뢰도와 중요성이 높아진다는 결과를 낳는다는 것을 확인시켜 줍니다. 신뢰도 증가는 지식의 더 나은 적용, 교육 전문성, 학생, 동료 및 교육 기관과의 더 나은 관계라는 측면에서 나타났습니다. 이는 개인과 기관 차원에서 가치를 더하는 프로그램 설계의 중요성을 뒷받침합니다.
Theory 3 was positive perception of FD by educators. Perception is shaped and affected by a variety of factors including expectancy, beliefs and values (Weiten 2013) and there can be no completely unbiased, unfiltered perception, because there is a great deal of feedback between perception and expectation, as perceptual experiences often shape our beliefs, but those perceptions are based on existing beliefs (Clark 2011). We found most educators reported a positive perception of FD as it made them value their teaching individually and significantly it also led to their teaching being valued at institutional level. The theory affirms that when educators believe that FD can enable personal and professional growth and is accessible in a supportive educational environment, they are more likely to learn leading to outcomes of increased credibility and importance of teaching. Increased credibility was expressed in terms of better application of knowledge, teaching expertise, better relationship with their students, colleagues and educational establishment. This underlies the importance of designing programs that add value at individual and institutional levels.

네 번째 이론은 의학교육의 전문화로, 외부의 영향이 의학교육을 형성하고 FD에서 중요해짐에 따라 더욱 주목받고 있습니다. 의학교육자에게는 교육 자격과 인증을 획득하기 위해 FD에 참석하여 교육에 필요한 지식을 습득하는 것이 전문화의 중요한 요소였습니다. 교육자들이 경력 발전과 교육자로서의 신뢰성을 위해 인증의 필요성을 점점 더 인식하게 되면서 이는 학습의 원동력이 되었습니다. 이는 취업 기회 증가, 승진, 교육계에서의 리더십 역할 등 다양한 방식으로 표현되었습니다. 교육에 대한 외부 규제/표준화의 맥락에서는 두 이해관계자 그룹의 지지 강도가 약간 달랐습니다. 모든 FDC는 의학교육의 표준화 필요성에 대한 미국의학위원회(GMC 2012), 고등교육아카데미(HEA 2011) 및 기타 규제 기관의 외부 이니셔티브에 큰 영향을 받은 반면, 교육자들은 영향은 덜 받았지만 교육의 책임성과 전문성을 강화하는 추세에 대해서는 인정했습니다. 이는 각 이해관계자 그룹의 전문성을 고려할 때 전혀 예상치 못한 결과는 아니었습니다. FDC는 FD 개입의 설계 및 개발에 영향을 미치는 규제 부문에 대해 더 잘 알고 있었습니다. 따라서 전문화가 FDC의 학습을 촉진하는 메커니즘으로 부상할 수 있는 충분한 데이터가 있었고, 이는 참여 교육자들도 인정했습니다.

Our fourth theory was the professionalization of medical education, which is receiving increased attention as external influences shape medical education and become important in FD. For medical educators, having the requisite knowledge in teaching by attending FD to gain teaching qualifications and accreditation was an important component of professionalization. It was a driver for learning as educators became increasingly aware of the need for accreditation for career progression and credibility as educators. This was expressed in various ways including increased job opportunities, promotions and leadership roles in education. The contexts of external regulations/standardization of teaching had slightly different strength of support from the two groups of stakeholders. While all FDCs were strongly influenced by external initiatives from the General Medical Council (GMC 2012), Higher Education Academy (HEA 2011) and other regulatory bodies on the need for standardization of medical education, the educators were less influenced but admitted recognizing the trend towards greater accountability and professionalization of teaching. This was not totally unexpected considering the expertise of each group of stakeholder; the FDCs were more aware of the regulatory sector which influences their design and development of FD interventions. Hence, there was enough data for professionalization to emerge as a mechanism used to drive learning by the FDCs, which was recognized by the participating educators.

기존 문헌과의 비교
Comparison with existing literature

본 연구 결과는 참여와 반성적 연습이 심화된 학습에 중요하다는 기존 문헌과 일치합니다. Moon(1999)은 학습자가 성찰을 통해 원래의 학습 시간 이후 더 높은 수준으로 학습을 업그레이드할 수 있다고 주장했습니다. 이러한 반성적 과정은 더 깊이 있는 학습, 이론적 교육 개념의 실제 통합, 비판적 사고와 판단력을 향상시킵니다. 이 연구는 교수 개발자가 촉진해야 하는 참여와 심층 학습을 향상시키는 반성적 실천의 맥락에 대한 추가적인 지원을 제공했습니다. 
Our finding is in agreement with the literature on engagement and reflective practice being important for deeper learning. Moon (1999) argued that by reflecting learners are able to upgrade their learning to higher levels after the original time of learning. This reflective process produces deeper learning, integration of theoretical teaching concepts into practice, and enhances critical thinking and judgement. Our study has provided further support for the context of reflective practice enhancing engagement and deeper learning which faculty developers need to promote.

동기 부여에 관한 대부분의 연구에서 동기 부여가 학습, 학습 행동, 학업 성취도 및 성공에 긍정적인 영향을 미친다고 보고했습니다(Sobral 2004; Wilkinson 외. 2007). 대부분의 교수개발자가 의사가 공식 행사에 참석하도록 동기를 부여하는 요인을 평생 의학 교육(CME)의 광범위한 분야에서 추론했기 때문에 FD의 동기 부여에 대한 문헌은 부족합니다(Harrison & Hogg 2003; McLeod & McLeod 2004).

• 오설리반과 어비(2015)는 교수개발자가 간헐적으로 FD 워크숍을 진행하는 5가지 주요 동기로 숙달, 관련성, 의무, 목적, 만족을 꼽았습니다.
• Steinert 등(2010)은 포커스 그룹을 통해 FD 활동에 정기적으로 참석하는 교사의 동기를 조사한 결과 다음의 다섯 가지 요인이 지속적인 참여를 촉진한다고 보고했습니다.
  
  • 학습 및 자기계발,
  • 교사의 필요와 관련된 주제,
  • 개인적/전문적 성장,
  • 동료와의 네트워크 기회,
  • 초기의 긍정적인 경험

Most studies on motivation have reported motivation positively influencing learning, study behavior, academic performance and success (Sobral 2004; Wilkinson et al. 2007). The literature on motivation for FD is scant as most faculty developers have extrapolated from the broad field of continuing medical education (CME) what motivates doctors to attend formal events (Harrison & Hogg 2003; McLeod & McLeod 2004).

• O’Sullivan and Irby (2015) reported mastery, relatedness, duty, purpose and satisfaction as five key motivators for occasional faculty developers to conduct FD workshops.
• Steinert et al. (2010) used a focus group to explore the motivation of teachers who regularly attend FD activities and reported five factors:
  • learning and self-improvement;
  • topics relevant to teachers’ needs;
  • enabling personal/professional growth;
  • opportunity to network with colleagues; and
  • initial positive experiences promote on-going involvement.

이번 연구는 교육자가 FD 리소스를 활용하게 만드는 요인과 어떤 조건에서 그렇게 하는지에 대한 연관성을 설명하는 동기에 대한 보다 자세한 이해를 제공했습니다. 학습 동기, 관련성 맥락, 교육자가 개발한 역량(수업 기술 향상 및 교수 행동의 변화) 사이의 연관성은 FD에서 동기 부여의 패러다임을 넓혀줍니다. 교수법 개발자는 교육자의 역량과 자율성에 대한 욕구를 충족시켜야 하는데, 각각의 욕구 충족은 그 자체로 동기부여를 촉진하지만 두 가지 욕구를 모두 충족하면 시너지 효과를 낼 수 있기 때문입니다.
Our study provided a more detailed understanding of motivation explaining the link between what makes an educator take advantage of FD resources and under what conditions they do so. The link between motivation to learn, the context of relevance and the competence developed by educators (improvement in instructional skills and changes in teaching behavior) broadens the paradigm of motivation in FD. Faculty developers need to address educators’ need for competence and autonomy as each need fulfilled on its own promotes motivation; however, fulfilling both needs creates a synergistic effect.

마지막으로, 교육은 우연이나 적성, 성향에 맡길 수 없는 핵심적인 전문 활동이라는 인식이 확산되고 있습니다(Eitel 외. 2000; Purcell & Lloyd-Jones 2003). 일부 저자들은 의학교육 학위가 교육 이론/실무에 대한 필수적인 토대를 제공하고 교육 연구, 학술활동 및 리더십의 토대를 제공한다고 제안했습니다(Cohen 외. 2005). 우리의 연구 결과는 표준이 의학교육자의 지위를 높이고, FD 제공의 질을 개선하며(Eitel 외. 2000; Wojtczak & Schwarz 2000), 교육자의 실무를 변화시키는 데 도움이 될 수 있다는 문헌을 뒷받침합니다. 그러나 교육자의 관행 변화가 학생 경험의 질에 지속적으로 긍정적인 영향을 미친다고 자신 있게 말하기에는 아직 갈 길이 멀기 때문에 이를 뒷받침할 증거를 신중하게 축적해야 합니다. 관련 CMO의 정교화는 향후 FD 영향에 대한 연구에 도움이 될 것이며, 따라서 표 4의 권장 사항도 도움이 될 것입니다.
Lastly, there is a growing acceptance that teaching is a core professional activity that cannot be left to chance, aptitude or inclination (Eitel et al. 2000; Purcell & Lloyd-Jones 2003). Some authors have suggested that a degree in medical education offers essential grounding in educational theory/practice and provides a foundation for educational research, scholarship and leadership (Cohen et al. 2005). Our findings support the literature that standards can help raise the status of medical educators, improve the quality of FD provision (Eitel et al. 2000; Wojtczak & Schwarz 2000) and change educators’ practice. However, there is still some way to go before we can state with confidence that changes in educators’ practice consistently impacts positively on the quality of student experience: evidence to support this must be carefully accumulated. Our elaboration of relevant CMOs will help future studies on FD impact hence our recommendations in Table 4.

강점과 한계
Strengths and limitations

본 연구는 여러 가지 강점을 가지고 있습니다.

• 첫째, 풍부하고 상세한 데이터를 제공하는 여러 데이터 소스(두 그룹의 이해관계자)를 사용했다는 점입니다. 모든 이해관계자(교육자/FDC)가 다양한 지식 기반과 서로 다르지만 상호보완적인 세계관을 바탕으로 CMO 이론에 대한 설명을 제공할 수 있었기 때문에 수집된 증거의 종류와 양이 이론화 수준에 충분했다고 판단했습니다.
• 둘째, 영국 4개 지역 모두에서 대표성 있는 데이터를 수집하고 응답자 검증을 활용하여 데이터의 타당성을 확보했습니다.
• 셋째, Realist 설계가 강력한 방법론을 제공했습니다. 인터뷰의 이론화 원칙은 데이터 수집이 성인 학습자로서 교육자에게 중요한 것이 무엇인지에 대한 신뢰를 주도록 보장했습니다.

Realist 접근법은 FD 개입의 모든 측면(맥락, 과정 및 결과)을 분석하여 더 깊은 수준의 이해를 얻음으로써 표면을 넘어섰습니다. 예를 들어 의학교육에서 일반적으로 사용되는 평가 방법, 예를 들어 Freeth 외(2002)가 수정한 Kirkpatrick의 모델(Kirkpatrick 1994)은 복잡한 개입의 특정 요소에 따라 결과가 어떻게 또는 왜 발생하는지 설명하지 못합니다(Yardley & Dornan 2012). 그러나 '실제 실천'에서는 과정뿐만 아니라 맥락도 교육 결과에 영향을 미치기 때문에 특정 요소나 상호작용에 따라 결과가 어떻게 그리고 왜 발생하는지 이해하지 못하면 효과를 극대화하기 어렵습니다. Realist 방법론을 통해 FD의 맥락, 메커니즘, 결과 사이의 연관성을 더 깊이 탐구할 수 있었습니다.
Our study has a number of strengths:

• first, was the use of multiple data sources (two groups of stakeholders) providing rich and detailed data. All stakeholders (educators/FDCs) were able to offer explanations on the CMO theories from varied knowledge bases and different but complementary world views, hence we believe the kind and amount of evidence collected was sufficient for the level of theorizing.
• Second, data validity was ensured by collecting representative data, i.e. from all four UK regions and utilizing respondent validation.
• Third, the realist design provided a strong methodology. The principle of theorizing the interview ensured data collection gave credence to what was important to educators as adult learners.

The realist approach went beyond the surface by analyzing all aspects of FD intervention (contexts, processes and outcomes) to gain a deeper level of understanding. The commonly used evaluation method in medical education, for example Kirkpatrick’s model (Kirkpatrick 1994), modified by Freeth et al. (2002), does not explain how or why outcomes are consequential to particular elements of complex interventions (Yardley & Dornan 2012). Yet, because contexts as well as processes impact on educational outcomes in “real practice”, unless we understand how and why effects are consequential to particular elements or interactions, it is difficult to maximize benefit. The realist methodology allowed deeper exploration of the links between contexts, mechanisms and outcomes in FD.

이 연구에는 한계가 있습니다. 

• 첫 번째는 다른 저자들이 보고한 것과 유사한 Realism 프레임워크에서 맥락과 메커니즘을 구분하는 문제입니다(Carter & New 2004; Schofield & Tolson 2010). 우리는 각 항목에 대해 매우 엄격한 조작적 정의를 사용하여 이 문제를 해결했습니다(표 1).
• 둘째, 복잡성의 문제와 서로 다른 원인이 동일한 효과를 낼 수 있는 가능성을 고려할 때, FD 활동 중에 두 가지 이상의 메커니즘이 함께 작동할 수 있으므로 인과관계가 잘못 귀속될 위험이 항상 존재합니다. 우리는 동일한 FD 개입이 무수히 많은 방식으로 변화를 유발할 수 있음을 인정하며, 따라서 각 단계마다 각 이론의 타당성을 재검토하는 반복적이고 역동적인 연구 설계를 사용합니다.
• 셋째, 일부에서는 연구 결과가 대부분 자가 보고에 의한 것이라고 주장합니다. 교육자들이 보고한 결과와 FDC가 보고한 결과 사이에 일치하는 부분이 있었기 때문에 이는 문제가 되지 않는다고 생각합니다. 또한 자체 보고는 학생 및 동료 피드백, 평가 문서, FDC의 직접 관찰을 통해 얻은 데이터에 근거한 것입니다.

The study has limitations.

• First is the issue of differentiating contexts and mechanisms in a realist framework, similar to that reported by other authors (Carter & New 2004; Schofield & Tolson 2010). We addressed this by using very tight operational definitions for each item (Table 1).
• Second, given the challenge of complexity and the possibility of different causes producing the same effect, there is always a risk of misattribution of causality as more than one mechanism may be operating in concert during FD activities. We acknowledge that the same FD intervention can trigger change in myriad ways hence our use of an iterative, dynamic, research design with each theory reexamined at each stage for validity.
• Third, some will suggest that the outcomes were mostly self-reported. We do not think this an issue as there was congruence between the outcomes reported by the educators and the FDCs. Furthermore the self-reporting was grounded in data from students and peers feedback, appraisal documents, and direct observations by the FDCs.

넷째, 인터뷰에 참여한 교육자들이 다양한 FD 개입에 참여했기 때문에 Realism적 평가의 결과가 대표성이 없거나 일반화하기 어렵다는 주장도 있습니다. 그러나 우리는 지속적 중요성을 갖는 것은 FD의 길이, 내용 또는 유형이 아니라 FD를 통한 학습이라는 Barlett과 Rappaport(2009)의 의견에 동의합니다. 또한, Realism 연구의 핵심은 맥락에서의 국지적 인과성입니다. 즉, 발견한 필요한 관계는 관련성이 있는 곳이면 어디든 존재할 것입니다(Maxwell 2012). 따라서 인간의 선택과 상호 작용이 개입되어 있더라도 특정 상황에서 개인은 항상 확실하지는 않지만 어떤 자원을 사용할 것인지에 대해 유사한 선택을 할 가능성이 높습니다(셰퍼드 외. 2009). 즉, 특정 맥락이 인간의 선택에 영향을 미쳐 반쯤 예측 가능한 행동 패턴이 발생한다는 것입니다(Pawson 2006). 따라서 우리가 보기에, 보고된 CMO는 교육자들이 FD를 통해 학습한 것과 관련하여 가장 중요하고 관련성이 높은 것이었습니다.
Fourth, some will argue that the findings of realist evaluation are unlikely to be representative or generalizable especially as the educators interviewed had attended a variety of FD interventions. However we agree with Barlett and Rappaport (2009) that it is the learning from FD rather than the particulars of length, content, or type that have lasting importance. Furthermore, the key point of realist research is local causality in context: necessary relations discovered will exist wherever their relata are present (Maxwell 2012). So, even though human agency and interaction is involved, in certain contexts, individuals are likely, though not always certain, to make similar choices about which resources they will use (Shepperd et al. 2009). In other words, particular contexts influence human choices such that semi-predictable patterns of behavior occur (Pawson 2006). So, in our view, it was appropriate that the CMOs reported were those relevant and uppermost in the mind of the educators in relation to their learning from FD.

결론
Conclusions

이 연구는 FD 메커니즘이 장기적으로 교육자의 실무에 어떤 변화를 가져오는지 보여주었습니다. 동기 부여, 참여, 긍정적 인식, 전문화 이론은 교수진 개발자에게 무엇이 누구에게 왜 효과적인지, 그리고 이 네 가지 이론 간의 중요한 상호 연관성을 이해할 수 있게 해줍니다. 참여는 동기 부여와 학습을 연결하는 다리 역할을 하지만, 교수진 개발자는 교육자의 관심사 및 요구 사항(즉, 동기 부여)을 업무에 반영하여 참여도를 더욱 높일 수 있습니다. 가치와 인식이 참여도에 영향을 미치지만, 학위 수여와 경력 발전으로 참여도가 향상되기도 합니다. 따라서 이 네 가지 영역을 동시에 해결하면 교육자와 개발자 모두에게 FD 효과를 극대화할 수 있습니다. 
Our study has shown how FD mechanisms bring about changes in educators’ practice in the long-term. The theories of motivation, engagement, positive perception and professionalization offer faculty developers an understanding of what works for whom and why and the important interconnections between the four theories. While engagement is the bridge between motivation and learning, faculty developers can further enhance engagement by building into the work, the interests and needs of the educators (i.e. motivation). Values and perceptions influence engagement however engagement is also enhanced by the granting of degrees and career progression. Therefore addressing the four areas simultaneously maximizes FD effectiveness for both educators and developers.

 

---

Med Teach. 2017 Apr;39(4):422-429. doi: 10.1080/0142159X.2017.1293238. Epub 2017 Feb 28.

Realist evaluation of faculty development for medical educators: What works for whom and why in the long-term

Olanrewaju O Sorinola 1, Jill Thistlethwaite 2, David Davies 1, Ed Peile 1

Affiliations

1a Warwick Medical School, University of Warwick, Warwick Medical School , Coventry , UK.

2b Medical Education Department, University of Technology , Sydney , Australia.

PMID: 28379088

DOI: 10.1080/0142159X.2017.1293238

Abstract

Purpose: Realism is a perspective in which entities exist independently of being perceived or independently of our theories about them. The realist framework with its principle of explanatory causation was used for an in-depth exploration of faculty development (FD) since, despite the widespread investment in FD, the evidence that it enhances the effectiveness of teaching in the long-term is still limited. The study aimed to develop realist theories that explain the connections between contexts (C), mechanisms (M) and outcomes (O) to find out what works for whom and why in FD.

Methods: Purposive sampling was used to select two medical schools from each of the four UK regions (total 8 of the 33 UK medical schools) for interview of a faculty development coordinator and a medical educator at each school. Sixteen interviews were carried out. Data were coded and summarized under contexts, mechanisms, and outcomes (CMO) to derive realist theories.

Results: We identified contexts that facilitated FD mechanisms of engagement, motivation, positive perception and professionalization, which led to educators' outcomes of improved confidence, competence, credibility and career progression.

Conclusion: Four realist theories, which support the effectiveness of FD in the long-term, were derived, enabling recommendations for FD stakeholders.