누구를 아는가? 교수의 네트워크를 교육적발달의 단계와 연결짓기 (High Educ, 2015)
Know-who? Linking faculty’s networks to stages of instructional development
Sara Van Waes • Piet Van den Bossche • Nienke M. Moolenaar • Sven De Maeyer • Peter Van Petegem
Introduction
(교육의) 책무성accountability이 커지면서 고등 교육에서의 교육의 질 향상이 점점 더 주목 받고있다 (Biggs 2003; Devlin and Samarawickrema 2010). 그러므로 초보자부터 경험 많은 교사까지의 FD가 이뤄졌다 (Baume 2006). 이러한 유형의 교수 개발은 Instructional development라고 불린다 (Centra 1989). Instructional development은 교사로서 교수의 역할을 개발하는 것을 명시적으로 목표로 삼습니다 (Taylor and Rege Colet 2010). 교수진의 학습 개발에 대한 연구는 주로 개인 능력과 처분에 기반한 개별 교수진의 기술과 지식에 중점을두고 있지만 (Cox 2004), 최근의 교육 연구는 이 개인별individual 접근법을 교육자의 전문직 상호 작용과 교류에 관한 사회적 초점social focus으로 보완했습니다 Lieberman and Pointer Mace 2008). 이 연구는 학생들의 학습과 성취에 궁극적으로 영향을주는 교수법에 대한 전문직 상호 작용professional interactions의 중요성을 인정한다 (Goddard et al., Moolenaar et al., Yasumoto et al., 2001). 이 연구는 전문 학습 공동체professional learning communities (Stoll 등, 2006)와 실천 공동체communities of practice (Little 2002)와 같은 다양한 협력 적 시도를 통해 교육자의 교수 및 학습을 향상 시키라는 요구에 부응하고있다. 교육 발전에서 사회적 측면으로의 초점의 전환은 고등 교육의 맥락에서도 일어났습니다 (Kezar 2005). 이 사회적 측면에 대한 경험적 연구가 부족하기 때문에 이 연구에서는 소셜 네트워크 관점을 사용하여 교직원의 교수 개발을 탐구합니다.
In times of growing accountability, improving teaching quality in higher education is receiving increasing attention (Biggs 2003; Devlin and Samarawickrema 2010). Therefore, the development of faculty members from novice to experienced or expert teacher has come to the fore (Baume 2006). This type of faculty development has been called in- structional development (Centra 1989). Instructional development explicitly aims to de- velop faculty in their role as a teacher (Taylor and Rege Colet 2010). While studies on faculty’s instructional development have primarily focused on the skills and knowledge of individual faculty members, based on individual abilities and dispositions (Cox 2004), recent educational studies have supplemented this individual approach with a social focus on educators’ professional interactions and exchanges (Lieberman and Pointer Mace 2008). This line of research acknowledges the importance of professional interactions for the teaching practice, which ultimately affect student learning and achievement (Goddard et al. 2007; Moolenaar et al. 2012; Yasumoto et al. 2001). This research answers a growing call to enhance educators’ teaching and learning through a variety of collaborative ini- tiatives, such as professional learning communities (Stoll et al. 2006) and communities of practice (Little 2002). This shift to a supplementary focus on the social aspect of in- structional development has also taken place within the context of higher education (Kezar 2005). As empirical studies on this social aspect are scarce, this study explores faculty members’ instructional development using a social network perspective.
소셜 네트워크 이론은 전문직 상호 작용professional interactions의 역할과 성격을 설명하는 중요한 렌즈와 도구를 제공합니다 (Scott 2000). 네트워크 연구의 증가는 개인주의적individualist 설명으로부터 관계적, 문맥적, 체계적 이해로의 전환을 이루었다 (Borgatti and Foster 2003). 네트워크 이론은 교수진의 전문직 상호 작용을 포착 할 수있는 강력한 프레임 워크를 제공합니다. 학자들은 직장workplace에서 전문가를 양성하는 데있어 소셜 네트워크의 중요성과 힘을 보여주었습니다 (Carpenter et al. 2012, Cross and Parker 2004). 특히 K-12 학교와 학구의 교육자 (Carolan 2013). 그러나 소셜 네트워크 관점 (Kezar 2014)을 채택한 고등 교육에 대한 연구는 거의 없으며 소수의 학자 만이 교수법teaching practice와 관련된 교수의 전문직 상호 작용을 조사했습니다 (Brower and Brower, 2013). 더욱이 학자들은 교육자들의 전문 네트워크와 교육 발전 단계 사이의 관계에 거의 관심을 기울이지 않았다. 따라서 교수진의 전문적 상호 작용이 교수 개발을 어떻게 형성 하는지를 이해할 필요가 커지고 있습니다. 이 연구는 교육 및 직장 학습 연구에서 기존 연구를 바탕으로 초심자, 경험이없는 비 숙련자 및 경험 많은 전문 교수진의 교수 학습 네트워크를 비교하는 최초의 사례입니다. 우리는 교수 네트워크의 구조와 다단계 특성을 파악하기 위해 소셜 네트워크 접근법을 사용했습니다. 이를 위해 벨기에 중견 대학교의 30 명의 교수진과 반 구조화 된 인터뷰가 진행되었습니다.
Social network theory provides a valuable lens and the tools to explain the role and nature of professional interactions (Scott 2000). An increase in network research has been described as part of a general shift away from individualist explanations toward more relational, contextual, and systemic understandings (Borgatti and Foster 2003). Network theory offers a powerful framework to capture faculty’s professional interactions. Scholars have demonstrated the importance and power of social networks in the development of professionals at the workplace (Carpenter et al. 2012; Cross and Parker 2004) and, in particular, of educators in K-12 schools and school districts (Carolan 2013). However, there are few studies in higher education that adopt a social network perspective (Kezar 2014), and only a handful of scholars have examined faculty’s professional interactions related to their teaching practice (Brower and Brower 2013). Moreover, scholars have paid little attention to the relationship between educators’ professional networks and stages of instructional development. As such, there is a growing need to understand how faculty’s professional interactions shape their instructional development. Building on existing re- search in educational and workplace learning studies, this study is, to our knowledge, the first to compare the instructional networks of novice, experienced non-expert, and expe- rienced expert faculty. We used a social network approach to grasp the structure and multilevel nature of faculty’s networks. To this end, semi-structured interviews were conducted with 30 teaching faculty members in a mid-sized university in Belgium.
전문가 양성을위한 사회적 조치
A social take on the development of professionals
교원의 교육 수준 향상instructional quality에 대한 조사는 오랫동안 개인 교수진의 개념과 접근 시도에 초점을 맞추어 오랫동안 개인 교수들에게만 국한되어왔다 (Kember 1997, Stes et al 2010, Trigwell et al 1994). 지난 10 년 동안 전문가의 직장 학습workplace learning에 대한 연구는 상호 작용 특성에 초점을 맞춤으로써 전문가 개발에 대한 사회적 관점social perspective을 점차 늘려 가고있다 (Boshuizen 외 2004, Hakkarainen 외 2004).
Investigations into the development of faculty’s instructional quality in higher education have long been primarily confined to individual faculty members (e.g., by focusing on individual faculty members’ conceptions and approaches to teaching, see Kember 1997; Stes et al. 2010; Trigwell et al. 1994). In the last decade, studies on professionals’ workplace learning are increasingly taking a social perspective on professionals’ development (Tynja¨la¨ 2008)by focusing on its interactive nature (Boshuizen et al. 2004; Hakkarainen et al. 2004).
이 학자들에 따르면, 능력과 전문 지식은 개인적 level에만 기인하는 것은 아닙니다. 그들은 (높은 성취가) 사회적으로 분산 된 성격을 갖는다는 것과 다른 사람들의 경험을 통한 학습의 중요성을 강조합니다. 높은 성과는 개인의 know-what(무엇을 아는가) (즉, 선언적 지식)와 know-how (절차를 아는가) (즉, 절차 적 지식)뿐만 아니라 know-who (누구를 아는가) (Borgatti and Cross 2003)에 의해 결정됩니다.
According to these scholars, competence and expertise cannot be attributed to the individual level alone. They emphasize the socially distributed nature of high performance and the importance of learning from others’ experiences. High performance is determined not only by an indi- vidual’s know-what (i.e., declarative knowledge) and know-how (i.e., procedural knowl- edge), but also by know-who (Borgatti and Cross 2003).
교육에서 professional development의 social take가 강조되면서, 교육에 대한 개인주의적 규범에 대한 근본적 변화가 필요해졌고, 교육자들의 instructional development에 관한 social perspective가 중요해졌다. (Clement and Vandenberghe 2000; Lieberman and Miller 1999). 고등 교육의 맥락에서 사생활 침해, 감정 교섭, 심지어 교원 고립 문제가 상당히 두드러졌다 (Cox 2004). 교수진은 종종 연구 프로젝트를 위해 협력하지만 대학 교육은 상대적으로 독립적인solitary 업무영역이다 (Gizir and Simsek 2005, Ramsden 1998). 최근에, 학자들은 대학 교육이 사회적으로 영향을 받으면서도 동시에 개별적으로 구성되었다는 것both individually constructed as well as socially influenced을 인정했습니다 (예 : Roxa˚ 및 Ma˚rtensson 2009). 교수진의 공동체 학습 및 학습 공동체에 관한 연구에서 교육 혁신을 위해 교수 간의 사회적 교류가 중요하다는 것을 보여주었습니다 (Anderson and McCune 2013; Furco and Moely 2012). 그러나 지금까지 고등 교육 기관에서 전문적 상호 작용이 어떻게 형성되는지에 대한 연구는 거의 없었다 (Kezar 2005). 그러므로 이제 우리는 고등 교육에서 교수진의 교수 개발을 지원하는 데있어 전문적 상호 작용의 본질과 역할을 탐구하기위한 소셜 네트워크 이론에 대해 자세히 설명 할 것이다.
In education, this social take on professional development resonated in a call for a fundamental change in the individualistic norm of teaching and advocated a social per- spective on educators’ instructional development (Clement and Vandenberghe 2000; Lieberman and Miller 1999). In the context of higher education, issues of privacy, au- tonomy, and even isolation of faculty have been quite prominent (Cox 2004). Faculty members often collaborate on research projects, but university teaching remains a relatively solitary business (Gizir and Simsek 2005; Ramsden 1998). Recently, scholars have acknowledged that university teaching is both individually constructed as well as socially influenced (e.g., Roxa˚ and Ma˚rtensson 2009). Studies on faculty’s communities of practice and learning communities have demonstrated the value of social exchanges be- tween faculty for pedagogical innovation and effective teaching (Anderson and McCune 2013; Furco and Moely 2012). However, to date, there has been little research on how professional interaction at higher education institutions takes shape (Kezar 2005). There- fore, we will now elaborate on social network theory to explore the nature and role of professional interactions in supporting faculty’s instructional development in higher education.
교육에서의 소셜네트워크 이론
Social network theory in education
소셜 네트워크 이론은 전문적인 상호 작용이나 교육자 네트워크를 확보하는 데 유용한 렌즈와 도구를 제공합니다 (Daly 2010, Moolenaar 2012). 네트워크 이론의 주요한 가정 중 하나는 개인의 행동과 수행 능력이 사회적 연결의 더 큰 그물망web of social connections에 묶이는tied 방식에 의해 크게 영향을 받는다는 것이다 (Carrington et al. 2005). 다른 말로하면, 사회적 네트워크 자체의 전반적인 구조와 네트워크 안에서 개인의 위치가 다양한 성과에 영향을 준다(Wasserman and Faust 1994).
Social network theory provides a valuable lens and the tools to capture the professional interactions or networks of educators (Daly 2010; Moolenaar 2012). One of the key as- sumptions of network theory is that individuals’ behavior and performance are significantly affected by the way that they are tied into a larger web of social connections (Carrington et al. 2005). In other words, the overall structure and individuals’ positions in their social networks matter for a range of outcomes (Wasserman and Faust 1994).
교수진의 고등 교육에 대한 사회 네트워크 이해에 대한 연구는 아직 초기 단계입니다. 이것은 K-12 학교 및 학군에 대한 연구 (Moolenaar 2012)와 같은 다른 교육 환경에서의 연구와는 대조적입니다. 최근 사회적 네트워크 이론은 학교 개혁과 개선 (Daly et al., 2010; Penuel et al. 2009), 정책 실행 (Coburn et al., 2004)에 대한 교육자들의 전문적 상호 작용의 중요성을 보여줌으로써 K-12 연구에서 유용성을 입증했다. 2012), 학교 리더십 (Daly and Finnigan 2011, Pitts and Spillane 2009), 전문 개발 프로그램 (Baker-Doyle and Yoon 2011, Hofman and Dijkstra 2010).
Scholarship on understanding faculty members’ social networks in higher education is still in its infancy. This contrasts with research in other educational settings, such as studies on K-12 schools and school districts (Moolenaar 2012). In recent years, social network theory established its usefulness in K-12 research by demonstrating the importance of educators’ professional interactions for school reform and improvement (Daly et al. 2010; Penuel et al. 2009), policy implementation (Coburn et al. 2012), school leadership (Daly and Finnigan 2011; Pitts and Spillane 2009), and professional development programs (Baker-Doyle and Yoon 2011; Hofman and Dijkstra 2010).
마찬가지로, 고등 교육 분야의 소셜 네트워크 연구가 견인을 받기 시작했습니다 (Kezar 2014). 고등 교육의 대부분의 네트워크 연구는 학생 네트워크에 초점을 두고 있으며 (Eggens 외 2008, Rienties 외 2013), 교수 네트워크를 연구하는 연구는 주로 연구 네트워크 (Finkelstein 외 2013) 또는 부서departmental 네트워크 (Roebken 2007)에 중점을 둡니다. 그러나 교수의 교수 네트워크에 대한 경험적 연구는 부족하다 (Brower and Brower, 2013). Roxa˚와 Ma˚rtensson (2009)은 교수진에 관한 106 명의 교수진의 상호 작용을 탐구했습니다. 그들은 대부분의 교수진이 중요한 사람들로 구성된 상대적으로 소규모의 네트워크에 의존하여 교수법을 토의하고 있음을 보여주었습니다. Pataraia et al. (2013)은 교수진의 네트워크가 전문적이고 감정적인emotional 지원support을 제공하면서 교수법에 관한 다양한 지식과 기술을 갖추고 있음을 발견했습니다. 또한 교수진의 네트워크 참여 후 교수 및 학습 실습 방식이 변화하였습니다. 다른 연구들은 professional development 활동에서 교수진의 상호 작용을 조사했습니다 (Jippes 외. 2013; Rienties and Kinchin 2014).
Similarly, social network research in the field of higher education scholarship has started to gain traction (Kezar 2014). Most network studies in higher education focus on student networks (Eggens et al. 2008; Rienties et al. 2013), and studies that investigated faculty networks mostly focused on research networks (Finkelstein et al. 2013) or departmental networks (Roebken 2007). There is, however, a scarcity of empirical studies on faculty’s teaching networks (Brower and Brower 2013). Roxa˚ and Ma˚rtensson (2009) explored the interactions of 106 faculty members about teaching. They showed that most faculty members relied on a relatively small network of significant people to discuss their teaching practice. Pataraia et al. (2013) found that faculty’s networks equipped them with a diverse pool of knowledge and skills about teaching, offering both professional and emotional support. Furthermore, faculty’s network participation resulted in changes in their teaching and learning practice. Other studies have examined faculty’s interactions in professional development activities (Jippes et al. 2013; Rienties and Kinchin 2014).
교수의 사회적 네트워크의 성격
Characteristics of faculty’s social networks
교수 네트워크의 특성이 자원에 액세스 할 수 있는지 여부나 자원resource 흐름에서 분리되었는지 여부를 결정합니다. 이 연구에서는 교수 네트워크의 규모, 교수 관계의 강도, 개별 교수 간의 유사성 등 교수 교습의 전문적 상호 작용에 대한 통찰력을 얻기 위해 세 가지 주요 네트워크 특성을 구체적으로 조사했습니다.
The characteristics of faculty’s networks determine whether they can access valuable resources or whether they are disconnected from the flow of resources. In this study, we specifically explored three key network characteristics to gain insight into faculty’s pro- fessional interactions around teaching:
(a) the size of faculty’s networks,
(b) the strength of faculty’s relationships, and
(c) the similarity between individual faculty members and the people they interacted with.
네트워크 규모는 교직원이 상호 작용하는 사람들의 수로 정의 할 수 있습니다. 직장 학습에 관한 연구에 따르면, 전문가가 많은 수의 사람들로부터 정보 나 피드백을 받으면 더 많은 정보를 얻게됩니다 (Burt 1992; Smither et al. 2005).
Network size can be defined as the number of people with whom a faculty member interacts. Studies in workplace learning have demonstrated that when professionals re- ceived information or feedback froma larger number of people, the information received is richer and more informative (Burt 1992; Smither et al. 2005).
관계의 강도에서 tie는 관계를 의미하며, 네트워크 개념의 '연결의 강도'을 반영합니다 (Granovetter 1973). 타이 강도는 관계의 빈도, 길이 또는 접촉 시간과 같은 관계가 얼마나 가깝거나 강한지를 나타냅니다 (Marsden and Campbell 1984). 강한 관계는 가까운 사람들을 연결하는 반면 약한 관계는 느슨한 접촉 또는 지인을 나타냅니다. 연구에 따르면 암묵적, 비 일상적 또는 복잡한 문제를 해결하기 위해서는 강력한 유대 관계가 필요합니다 (Reagans and McEvily 2003; Uzzi 1996). 대조적으로, 약한 관계는 새로운 아이디어의 형성과 중복되지 않는 non-redundant 정보의 형성에 중요하다는 것이 증명되었다 (Hansen 1999; Levin and Cross 2004).
Strength of relationships reflects the network concept ‘strength of ties’ (Granovetter 1973), where ‘tie’ means relationship. Tie strength denotes how close or strong a rela- tionship is and can be measured by, for instance, the frequency, the length, or the duration of contact (Marsden and Campbell 1984). Strong relationships connect people that are close, whereas weak ties indicate looser contacts or acquaintances. Studies have shown that strong ties are necessary to tackle tacit, non-routine, or complex matters (Reagans and McEvily 2003; Uzzi 1996). In contrast, weak ties have proved to be important for the formation of novel ideas and non-redundant information (Hansen 1999; Levin and Cross 2004).
개개인 간의 유사성은 네트워크 개념 인 '동질성추구homophily'를 반영한다. 또한 '같은 깃털 무리의 새들끼리 모인다'(McPherson et al. 2001)이라는 속담에 의해 인용된다. 연구에 따르면 사람들은 자신과 비슷한 사람들과 관계를 형성하는 경향이 있음을 보여주었습니다 (Marsden 1988). 유사성은 사람들이받는 정보, 그들이 형성하는 태도 및 그들이 겪는 상호 작용에 영향을 미쳐 결국 네트워크 붕괴를 초래할 수 있으며 (Burt 2000),보다 다양한 네트워크를 가진 사람들이 혁신을 증대시키는 경향이 있습니다 (Kilduff and Krackhardt 1994; Mehra et al 2001).
Similarity between individuals mirrors the network concept ‘homophily,’ also quoted by the proverbial expression ‘birds of a feather flock together’ (McPherson et al. 2001). Studies have demonstrated that people tend to develop relationships with people similar to them (e.g., Marsden 1988). Similarity can influence the information people receive, the attitudes they form, and the interactions they experience, which may eventually cause network decay (Burt 2000), while people with more diverse networks tend to demonstrate increased innovation (Kilduff and Krackhardt 1994; Mehra et al. 2001).
In sum, these three key social network characteristics may be used to explore faculty’s professional interactions around teaching in various stages of their career.
소셜 네트워크 특성과 개발 단계 사이의 연결
The link between social network characteristics and stages of development
다른 교육 환경에서의 소셜 네트워크 연구는 개인의 발달 단계에 따라 네트워크가 다른 것으로 나타났습니다 (예 : Moolenaar 외 2014). 교육 개발의 여러 단계에서 교수진의 교수 네트워크에 대한 통찰력을 얻으려면 이제 초보자, 경험이없는 비 전문가 및 전문가 네트워크 간의 차이점에 대한 연구를 검토 할 것입니다.
Social network research in other educational settings has indicated that networks differ depending on individuals’ stages of development (e.g., Moolenaar et al. 2014). To gain insight into faculty’s teaching networks in different stages of instructional development, we will now review research on differences between novice, experienced non-expert, and expert networks.
전문가는 종종 특정 분야에서 탁월한 경험이 풍부한 최고 실무자 또는 직업에서 최소한 적당한 정도의 성공을 거둔 전문인으로 정의됩니다 (Boshuizen 외 2004). 직장 내 문학은 초기 전문성 개발 (Hakkarainen et al. 2004)에서 개인적 및 사회적 측면의 결합이 중요하다는 주장이 많아지고 있으며, 따라서 전문가의 성과를 조사하기위한 네트워크 관점을 채택한 여러 연구가있다 (Gruber et al., 2008) . Cross and Thomas (2008)는 전문가expert performer 네트워크의 주요 특징을 확인했습니다.
- 전문가들은 전문성을 확장하고 편견과 경력 함정career traps을 배제하는 데 도움이되는 관계에 투자하는 경향이있었습니다.
- 그들의 네트워크는 유사성보다는 다양성으로 특징 지어졌습니다.
- 또한 전문가들은 대규모large 네트워크가 아닌 고품질 네트워크로 이어지는 행동에 참여했습니다.
- 그들은 네트워크의 주요 지점에 자신을 배치하고 계획을 구현할 때 네트워크를 활용했습니다.
K-12 교육에서 연구는 네트워크 개발에서 핵심 요소 인 '전문 지식 접근성'을 확인하고 (Coburn et al. 2010; Spillane et al. 2003), 교사 네트워크의 전문성에 대한 투명성을 주장했다 (Baker-Doyle 및 Yoon 2010). 그러나 전문 교육자들의 상호 작용에 관한 연구는 거의 없다.
높은 수준의 성과를 달성하려면 도메인에서의 광범위한 활동 경험이 필요합니다. 그러나 다년간의 경험을 통해 전문가 수준의 성취를 이끌어 낼 수는 없습니다. 일부 숙련 된 근로자는 경험이 남아 있으며 전문가로 발전하지 못합니다. 그들은 종종 유경험 비-전문가라고 기술된다 (Bereiter and Scar-damalia 1993). 그들의 정체된 발달은 '억지된 발달arrested development'이라고 불리우며 자동성automaticity과 관련이 있습니다. 즉, 이들의 행동은 일상화되면서 더 이상의 개선없이 안정된 상태plateau에 도달합니다 (Ericsson 2006). 경험있는 교사에 대한 K-12의 연구는 교수 및 학습에 대한 사회적 교류의 역할을 조사했다 (Bakkenes 외, 2010; Zwart 등, 2007). 그들은 경험을 교환하고 동료들로부터 아이디어를 얻는 것에 대한 가치에 관해 보고했으나 이러한 상호 작용이 어떻게 생겼는지에 대해 자세하게 설명하지 않았으며 교수법과의 관계에 대한 정보는 제한적이었습니다.
Extensive experience of activities in a domain is necessary to reach high levels of performance. Yet, having many years of experience does not invariably lead to expert levels of achievement. Some experienced workers remain experienced and do not develop into experts. They are often described as experienced non-experts (Bereiter and Scar- damalia 1993). Their stagnated development is called ‘arrested development’ and is as- sociated with automaticity, i.e., their behavior becomes routine and reaches a stable plateau without further improvement (Ericsson 2006). Studies in K-12 on experienced teachers have examined the role of social exchanges on their teaching and learning (Bakkenes et al. 2010; Zwart et al. 2007). They reported on the value of exchanging experiences and getting ideas from colleagues, but did not go into detail on what these interactions look like and provided limited information on the relationship with teaching practices. The comparison of experienced non-expert and experienced expert educators’ professional interactions is an unexplored area, which will be addressed in this study.
초보 교수들은 방금 교육 경력을 시작했기 때문에 교육 경험이 거의 없습니다. K-12 연구에 따르면 선행 적 네트워킹은 초보 교사들에게 교육 경력의 시작 단계에서 더 높은 수준의 지원 (따라서 강한 관계)을 제공했습니다. 게다가, 초보 교사들은 네트워크의 개발과 사용을 통한 광범위하고 지지적인 학습 환경 조성에 능동적이었다 (Fox et al., 2011). 그러나 최신 초등부 교수진 네트워크에 대한 연구는 거의 이루어지지 않고 있습니다.
Novice faculty just started their teaching career and thus have little teaching experience. K-12 research has indicated that proactive networking provided novice teachers with higher levels of support (and thus stronger ties) in the beginning of their teaching career. Moreover, novice teachers were proactive in creating more expansive and supportive learning envi- ronments through the development and use of their networks (Fox et al. 2011). Up to date, however, studies on the networks of beginning faculty members are scarce.
방법
Method
표본
Sample
This study was conducted in a mid-sized, multidisciplinary public university in Belgium, serving 15,000 students and employing 2,855 faculty members, among whom 830 were teaching faculty members (most of them combining teaching and research). A total of 30 faculty members (31 % female, with a minimal teaching appointment of 50 %; one par- ticipant was Russian, and all others were Belgian) were selected (response rate 93,75 %), aiming for maximum variety across different university departments.
자료 수집
Data collection
교육 향상
Instructional development
초보자, 유경험 비 전문가 및 숙련 된 전문가 교사의 3 단계로 구성된 교수 개발 단계의 교수진이 의도적으로 샘플링되었습니다. 우리는 높은 수준과 낮은 수준의 교수 경험 및 전문 지식을 결합하여 이러한 단계를 정의했습니다 (Bereiter andScardamalia 1993, Ericsson2006). 숙련 된 전문가는 높은 교수 경험과 전문 지식을 모두 가지고 있었고 경험이없는 비 전문비가는 높은 교수 경험과 낮은 전문 지식을 가지고 있었고 초보자는 낮은 교수 경험과 낮은 교수 경험을 가지고있었습니다. 교수진의 나이와 교수 경험에 대한 개요가 표 1에 나와 있습니다.
Faculty members in different stages of instructional development were purposively sampled, representing three stages: novice, experienced non-expert, and experienced expert teachers. We defined these stages by combining high and low levels of teaching experience and expertise (Bereiter and Scardamalia 1993; Ericsson2006).
Experienced experts had both high teaching experience and expertise,
experienced non-experts had high teaching experience and low expertise, and
novices had low teaching experience and low teaching expertise.
An overview of the faculty members’ age and teaching experience is provided in Table 1.
경험 많은 전문가는 적어도 10 년간의 교육 경험이 있었습니다 (Ericsson 2006). 우리는 감독자 지명과 학생 평가를 결합한 교수 전문성을 정의하기위한 철저한 전략을 사용했습니다. 첫째, 교육 위원장과 교육 고문은 자신의 부서에서 4 명의 전문 교사를 지명하도록 요청 받았다. 이러한 명칭은 교육 내용 지식, 주제 지식, 혁신적인 교육 아이디어, 교육위원회 참여 및 학생들에 대한 헌신 (Berliner 2004, Shulman 1987, Tsui 2009)의 5 가지 기준을 기반으로합니다. 둘째, 학생 평가에 대한 교수의 점수가 고려되었습니다. 수업이 끝나면 학생들은 정기적으로 교사의 강의 수행에 관한 설문지를 작성합니다. 그것은 정당한 질문에 관한 것으로, 12 개의 리커트 척도 (Spooren et al. 2007에 근거 함)로 구성된 31 개 항목으로 구성되어 있습니다. '전문 교사Expert teacher'로 선발되기 위해서는 선생님이 학생 평가에 대해 자신의학과 상위 4 분위에 점수를 매기고 교육 위원장이나 고문에 의해 지명되어야했습니다 .1
Experienced experts had at least 10 years of teaching experience (Ericsson 2006). We used a thorough strategy to define teaching expertise that combined both supervisor nominations and student evaluations.
Firstly, the chair of education and the educational advisor were asked to nominate four expert teachers in their department. These nomina- tions were based on five criteria:
pedagogical content knowledge,
subject knowledge,
innovative educational ideas,
involvement in educational boards, and
commitment toward students (Berliner 2004; Shulman 1987; Tsui 2009).
Secondly, faculty’s scores on student evaluations were taken into account. At the end of courses, students regularly fill out questionnaires on their teachers’ teaching performance. It concerns a validated question- naire consisting of 31 items, comprising 12 Likert scales (based on Spooren et al. 2007). To be selected as ‘expert teachers’, teachers both had to score in the upper quartile of their department on the student evaluations and had to be nominated by the educational chair or advisor.1
숙련 된 비 전문가 (Bereiter and Scardamalia 1993)도 최소한 10 년간의 교육 경험을 가졌습니다. 그러나 다년간의 경험만으로는 전문가 수준의 성취를 이끌어 낼 수는 없습니다. 따라서 이 교사들은 더 아래 단계로 선택되었습니다. 그들은 학생 평가에 대한 점수는 학과의 하위 4 분의 1수준이었으며, '전문 교사'로 지명되지 않았습니다. 경험이없는 비전문가 (M = 57.24; SD = 1.02)와 숙련 된 전문가 (M = 62.72; SD = 0.92)는 학생 평가 점수에서 유의미한 차이를 보였다 (p <0.01;
Experienced non-experts (Bereiter and Scardamalia 1993) also had at least 10 years of teaching experience. However, having many years of experience does not invariably lead to expert levels of achievement. Therefore, these teachers were selected on low teaching expertise. They scored in the lower quartile of their department on the student evaluations and were not nominated as ‘expert teacher’. Experienced non-experts (M = 57.24; SD = 1.02) and experienced experts (M = 62.72; SD = 0.92) differed significantly in their scores on student evaluations (p\0.01; see Fig. 1).
초심자는 3 ~ 5 년의 교사 경험을 가진 교사를 시작하고 있습니다. 대부분의 학생들은 (충분한) 학생 평가를받지 못했기 때문에, 부서별로 초심 교사를 무작위로 선발했으며 그 중 어느 것도 전문 교사로 지명되지 않았습니다.
Novices are beginning teachers with three to five years of teaching experience. As most of them had not received (sufficient) student evaluations, we randomly selected beginning teachers across departments, none of which were nominated as expert teacher.
소셜네트워크 자료
Social network data
우리는 소셜 네트워크 분석에 대한 자기 중심적 접근 방식을 취했습니다. 이것은 우리가 개인 (자아)에 중심을 둔 네트워크를 매핑했다는 것을 의미합니다 (Wellman 1993). 개인이 개인 네트워크에서 상호 작용하는 사람들을 변경자 (alters)라고합니다. 자아 중심 분석의 초점은 자아와 일련의 변경자 사이의 관계의 구조와 내용입니다. 이 연구에서는 대학 내 교수 네트워크에 대한 전반적인 설명을 얻는 대신 고유한unique 교수 구성원의 접촉이 개별 분석 수준에서 변수와 어떤 관련이 있는지 이해하는 것이 목표이기 때문에 명시적으로 자기 중심 네트워크 접근 방식을 선택했습니다 (Morrison 2002). . 게다가 자기 중심적 접근 방식은 응답자가 자신의 경계를 정할 수있게 해 주며 (Cross and Cummings 2004), 대학 외부의 전문적인 접촉에 대해 질문 할 수 있게 되었습니다. 자아 - 네트워크는 전형적으로 비공식적이고 구조화되지 않았기 때문에 데이터 수집을 정식 또는 필수 관계로 제한하고 싶지 않았다는 점에서 연구 설계와 일치했습니다 (Palonen 2005).
We took an egocentric approach to social network analysis. This means that we mapped networks that were centered on an individual (ego) (Wellman 1993). The people that an individual interacts with in his/her personal network are called alters. The focus of ego- centric analysis is the structure and content of the relationships between ego and a set of alters. In this study, we explicitly opted for an egocentric network approach as our goal was to understand how a unique faculty member’s contacts relate to variables at the individual level of analysis (Morrison 2002), rather than obtaining an overall description of faculty networks within a university. Moreover, an egocentric approach allows respondents to set their own boundaries (Cross and Cummings 2004), which made it possible to ask about professional contacts outside the university. Ego-networks are typically informal and un- structured, which matched our research design as we did not want to limit our data collection to formal or required relationships (Palonen 2005).
응답자는 반 구조적 인터뷰 가이드 ( "부록, 표 6"참조)를 사용하여 인터뷰했습니다. 인터뷰는 응답자 네트워크의 규모에 따라 45 분에서 90 분까지 지속되었습니다. 사전에 여러 가지 파일럿 인터뷰가 진행되었습니다. 인터 뷰 가이드에는 교수진이 가르치는 방법에 관해 사람들이 알게 된 종류에 대해 통찰력을 얻도록 고안된 질문이 포함되어 있습니다. 인터뷰의 이름 생성 질문은 응답자에게 그들이 가르치는 실습과 관련하여 상호 작용 한 사람을 물었습니다. 그 후 응답자는이 사람들의 이름을 포스트잇 노트에 기록했습니다. 3 개의 동심원이있는 A3 크기의 종이 한 장을 응답자의 자아 - 네트워크를 시각화하기 위해 테이블 위에 놓았다 (그림 2 참조, Hogan 외 2007). 응답자는 포스트잇 노트를 네트워크 맵에 붙여 넣으라는 요청을 받았는데, 각 서클은 연락처와의 친밀도를 결정했습니다. 네트워크 맵이 구축 된 후 네트워크의 크기, 관계의 강도 및 네트워크에있는 사람들의 유사성에 대한 통찰력을 얻기 위해 이름 해석 질문이 나왔습니다. 인터뷰는 그대로 녹음되어 기록되었습니다. 개인 네트워크 맵의 그림은 회원 확인 절차에 사용되었습니다.
The respondents were interviewed using a semi-structured interview guide (see ‘‘Ap- pendix, Table 6’’). Interviews lasted between 45 and 90 min, depending on the size of respondents’ networks. Beforehand, several pilot interviews were conducted. The inter- view guide contained questions designed to gain insight into the kind of people faculty members communicated with about their teaching practice. The name-generating question of the interview asked respondents with whom they interacted in regard to their teaching practice. Subsequently, the respondent noted the names of these people on post-it notes. A sheet of A3-sized paper with three concentric circles was placed on the table to visualize the respondent’s ego-network (see Fig. 2; adapted from Hogan et al. 2007). Respondents were asked to stick the post-it notes onto the network map, where each circle determined the degree of closeness with the contact. After the network map was constructed, name- interpreting questions were asked to gain insight into the size of the network, the strength of the relationships, and the similarity of the people in their network. The interviews were recorded and transcribed verbatim. Pictures of the personal network maps were then used for member checking procedures.
변수
Variables
We measured the size of faculty’s networks by counting the number of people in the networks.
The strength of ties was measured by three variables: frequency, length, and duration of contact.
Frequency indicates how often teachers communicated with the people in their network, both in general and regarding their teaching. Frequency was coded into a 12-point ordinal scale ranging from daily to yearly communication.
Length of contact implies how many years ago the relationship with this person started. Again, we both asked about contact in general and regarding their teaching. Duration refers to the average amount of time that conversations about teaching lasted.
Duration was coded into an 11-point ordinal scale ranging from short exchanges of 1 min to interactions that lasted an entire day.
Finally, the similarity between the faculty and the people in their networks was measured by comparing their age, teaching experience, and gender. Age and teaching experience were coded in number of years, and gender was coded as a dummy variable.
분석
Data analysis
To compare the networks of novice, experienced non-expert, and experienced expert faculty, we performed an analysis of variance for the variable network size. Equal vari- ances between the three stages could not be assumed, so nonparametric Kruskal–Wallis and Dunnett C post hoc tests were performed. For the variables regarding strength and similarity, we drew on multilevel analyses (MLWIN 2.25) as these variables concern nested data (people within relationships). Multilevel modeling enabled us to explore both the characteristics of the respondent and of the relationships of the respondent in the same analysis. In network and educational research, there has been a growing awareness of the advantages of using multilevel analysis (Wellman and Frank 2008). ‘‘Multilevel or hierarchical linear models explicitly take into account the nested data and the related dependency structure by allowing unexplained variability between ties (i.e., at level one) and also between egos (at level two)’’ (van Duijn et al. 1999, p. 188).
The data of this study have a two-level hierarchical structure. The first level reflects characteristics of relation- ships (e.g., strength), whereas the second level involves ego’s characteristics (e.g., teaching experience). Random residuals were estimated for both levels, yielding a variance pa- rameter between egos (i.e., describing differences between faculty members in different stages) and a variance parameter within egos (i.e., describing differences between rela- tionships within the networks of faculty members). In the analyses presented,2 data on a total data of 287 ties and 29 egos were used. We ran separate models for strength and similarity. The first step of the modeling was the estimation of a random intercept null model. This model only contained an estimation of the intercept for the dependent variable (faculty’s network strength, and similarity) and error terms for both levels. The null model acted as a benchmark of comparison for the following models. In the next step, model 1, the independent variable (faculty’s stages of development) was included in the model in order to test whether these three stages differed on average regarding strength and simi- larity. In model 2, a separate level 1 variance was estimated for each of the three stages to explore whether the variance of certain network characteristics within egos differed between stages (e.g., whether the networks of experienced non-expert faculty are characterized by more similarity than networks of novice or experienced expert teachers). In model 3,we examined whether faculty members were similar to the people they interacted with. We elaborated model 2 by adding the similarity characteristics of the ego (i.e., respondent’s age, teaching experience, and gender) as independent variables to the fixed part of the model. These ego characteristics are the counterpart of the dependent variable at alter level (i.e., age, teaching experience, and gender of the alters). For instance, if the independent variable is alters’ teaching experience, then the teaching experience of the ego is introduced as ex- planatory variable. Moreover, we estimated the effects of these characteristics for each group separately. As such, we could examine the extent to which ego’s characteristics differ from their alters’ characteristics (e.g., do faculty have the same teaching experience as the people in their network?), and whether this differed in the three stages. For all models, Chi-square tests were used to test differences within and between the stages.
결과
Results
Network size
Specifically, the experienced non-expert faculty stand out as they had the smallest networks.
Strength
Frequency of contact on teaching
Frequency of contact in general
Length of contact on teaching
Length of contact in general
Duration of contact on teaching
Similarity
Age
Teaching experience
Gender
결론 및 함의
Conclusions and implications
이 연구의 목적은 초보자에서 경험이없는 비 전문가 및 전문 교수진에 이르기까지 교수 개발의 여러 단계에서 교수 네트워크의 특성 (크기, 강도 및 유사성)을 탐색하고 비교하는 것이 었습니다. 본 연구에서 제안한 바와 같이 교수 네트워크 및 교육 개발과 관련된 몇 가지 주요 주제에 대해 논의 할 것입니다.
The aim of this study was to explore and compare characteristics of faculty’s teaching networks (size, strength, and similarity) in different stages of instructional development, from novice to experienced non-expert and expert faculty. We will discuss several major themes related to faculty’s networks and their instructional development, as suggested by our study.
우리의 발견은 네트워크의 발전이 단순한 time-age effect가 아니라는 것을 보여주었습니다. 숙련된 전문 교수진이 가장 큰 네트워크를 가졌고, 그 다음은 초보자와 유경험 비전문가가 교수진이있었습니다. 이는 교육전문성과 네트워크 사이즈와의 연관성을 보여주는데, 네트워크 내에서보다 다양하고 다양한 리소스에 액세스 할 수 있음을 보여주는 교육 외부의outside education 네트워크 연구와도 부합한다. 이러한 네트워크 접근성으로 인하여 전문자가들은 계획을 구현할 때 네트워크를보다 효과적으로 활용할 수 있습니다 (Cross and Thomas 2008).
Our findings showed that development of networks is not just a time–age effect. Ex- perienced expert faculty had the largest networks, followed by novice and experienced non-expert faculty. This relates teaching expertise to network size, which is in line with network research outside education showing that experts have access to more and diverse resources within their networks, enabling them to more optimally leverage their network when implementing plans (Cross and Thomas 2008).
유경험 비전문가의 네트워크가 작은 것은 교육에 관해 다른 교수들과 상호작용할 시간이 적거나 혹은 현재 상태에 만족하고 있기 때문일 것이다. 유경험 비 전문가는 작고 균질 한 네트워크에서 얻는 제한된 input 때문에 arrested development로 빠져들 수 있다 (Ericsson 2006). 이것은 고립을 유발할 수 있으며 (Bakkenes 외. 1999), 교육을 향상시키는데 필요한 네트워크 기회와 새로운 impulse을 제한할 수 있습니다. 네트워크는 활발히 work되고 support되지 않으면 정체 상태에 빠질 수 있습니다. 따라서 고등 교육 기관은 잠재적인 arrested development를 극복하고 숙련 된 교수진이 전문 교사가 될 수 있도록 자극하기 위해 교수 네트워크의 개발, 유지 및 다각화를 지원할 것을 권고받을 수 있습니다.
우리의 결과는 또한 초보자가 큰 네트워크를 가지고 있음을 보여주었습니다. 경험이 부족한 선생님은 자신이 경험이 부족하기 때문에 많은 사람들을 찾는다. 그들의 네트워크는 가르침에 대한 개념을 넓히고 네트워크에서 다른 사람들의 경험으로부터 교육 전략을 습득하는 데 도움이 될 수 있습니다 (Fox et al. 2011). 전문가는 경험과 전문 지식으로 인해 찾는 경향이 있습니다. 둘 다 커다란 네트워크를 낳지 만 다른 이유 때문입니다. 이것은 또한 초보자들은 전문가의 네트워크를 더 풍부하게 만들기 때문에 교육 개발의 여러 단계에서 사람들 사이의 발달적인 접촉이나 접촉에 영향향에 함의를 갖는다. (Fuller and Unwin 2004). 따라서 교수진의 교육 발전을 지원하는 것을 목표로하는 고등 교육 기관은 각기 다른 단계의 교수진들간의 inter-developmental contact을 구체적으로 목표로 할 수 있습니다.
Our results also demonstrated that novices have large networks. Inexperienced teachers have been shown to seek out many people because of their lack of experience. Their network may help them to broaden their conceptions on teaching and provide didactic strategies from experiences of others in their network (Fox et al. 2011). Experts tend to be sought out because of their experience and expertise. Both result in large networks but because of different reasons. This also has implications for inter-developmental contact or contact between people in different stages of instructional development, as novices have been shown to enrich experts’ networks (Fuller and Unwin 2004). As such, higher education institutions that aim to support faculty instructional development may specifically target inter-developmental contact between faculty members at different stages.
숙련 된 전문가는 또한 네트워크에서 다양성을 입증했습니다. 그들은 네트워크에있는 사람들과 그들의 가르침에 관해 이야기하는 데 훨씬 더 많은 시간을 들였고, 가르치는 경험이 많은 사람들뿐만 아니라 가르치는 데 많은 경험을 가진 사람들과 상호 작용했습니다. 이 발견은 높은 수행자가 자신의 능력을 목표로하고 확장하는 다양한 네트워크를 가지고 있다는 연구 결과와 일치합니다 (Cross and Thomas 2008). 보다 다양한 네트워크를 가진 사람들은 (진화 된 교수 개념과 접근법에 대한 전문가의 가르침을 번역 할 수 있는) 더 많은 혁신 (Mehra et al. 2001)을 보여 주었다. 대조적으로, 네트워크 다양성이 부족한 유경험 비전문가 교수는 전문성 개발이 정체될 수 있습니다. 유경험 비전문가 교수들의 네트워크는 복잡한 문제를 논의하는 데 중요한 homophily의 특성을 지녔지만 낮은 다양성으로 인해 네트워크의 쇠락decay이 발생하거나 혁신이 제한 될 수 있습니다 (Burt 2000).
Experienced experts also demonstrated more diversity in their networks. They took significantly more time to talk to people in their network about their teaching, and they interacted with people that have little teaching experience as well as with people with a lot of experience in teaching. These findings are in line with studies indicating that high performers have diverse networks that target and extend their abilities (Cross and Thomas 2008). People with more diverse networks demonstrated more innovation (Mehra et al. 2001), which could translate to experts’ teaching in terms of evolved teaching conceptions and approaches. In contrast, a lack of network diversity might cause experienced non- expert faculty to stagnate in their development toward expertise. Experienced non-experts’ networks were characterized by homophily, which is important for discussing complex matters, but little diversity may also cause decay of networks or limit innovation (Burt 2000).
숙련 된 교수진은 네트워크의 동질성으로 인해 소규모 네트워크와 중복 된 지식을 보유했기 때문에 가능한 '네트워크 인지network awareness'를 높이는 것이 정책적 함의 일 수 있습니다. 사람들이 네트워크와 혜택을 더 잘 알고있을 때 적극적으로 형성 할 수 있습니다 (Burt and Ronchi 2007, de Laat 및 Schreurs 2013). 예를 들어, professional development 활동은 교사의 네트워크 인식을 높이고 (Van Waes 외.) 자신의 능력 향상을 위한 충분히 크고 다양한 네트워크를 형성하도록 할 수 있습니다. 일부 학자들은 '네트워크 강화'가 교육 프로그램의 중요한 결과로 간주되어야한다고 제안했다 (Hatala and Fleming 2007, Van den Bossche and Segers 2013).
As experienced faculty had smaller networks and redundant knowledge in their networks due to homophily, a possible policy implication might be to raise their ‘network awareness.’ When people are more aware of their networks and their benefits, they can actively shape them (Burt and Ronchi 2007; de Laat and Schreurs 2013). For example, professional development activities can raise teachers’ network awareness (Van Waes et al. in press) toward shaping sufficiently large and diverse networks that target and extend their abilities. Some scholars suggested that enhanced networks should be regarded as an im- portant outcome of training programs (Hatala and Fleming 2007; Van den Bossche and Segers 2013).
Delimiters and areas for further research
미래 연구는 또한 우리 연구 결과에 대한 인과 적 설명에 의문을 제기해야한다. 전문가는 전문성을 위해 더 많은 것을 찾았 기 때문에 더 큰 네트워크를 가지고 있는가? 아니면이 더 큰 네트워크가 전문가 교사가되기 위해 그들을 더 잘 지원 하는가? 여기에서 연구 된 네트워크의 구조적 특성 외에도, 초심자의 네트워크, 경험이없는 비영리 단체의 네트워크의 질적 차이 (예 : 내용 및 성격)에 대한 이해를 높이기 위해 교수 네트워크의 품질 또한 추가 조사 대상이되어야합니다
Future studies should also question causal explanations for our findings: Do experts have larger networks because they are sought more for their expertise, or do these larger networks better support them in becoming expert teachers? Besides structural network characteristics as studied here, the quality of faculty networks should also be subject of further examination (Coburn et al. 2012) to increase our understanding of qualitative differences (e.g., the content and nature) in the networks of novice, experienced non- expert, and expert faculty members. Combining structural and qualitative networks methods is recommended to capture networks in their totality (Fuhse and Mu¨tzel 2011).
Furthermore, it would be interesting to supplement our findings from a social perspective on faculty members’ networks with insights from studies using an individual focus on faculty’s knowledge and skills, to examine the interplay between the knowledge and skills of an individual faculty member and his/her network.
Finally, we gathered cross-sectional data to examine different developmental stages. This approach is in line with research on expertise development in workplace learning. However, networks are dynamic (Snijders 2005), so longitudinal data may allow us to further grasp the networks in different de- velopmental stages over time and yield additional insight into the social side of faculty’s instructional development.
Table 6 Interview guide
Know-who? Linking faculty’s networks to stages of instructional development
- First Online:
- 17 March 2015
DOI: 10.1007/s10734-015-9868-8
- Cite this article as:
- Van Waes, S., Van den Bossche, P., Moolenaar, N.M. et al. High Educ (2015) 70: 807. doi:10.1007/s10734-015-9868-8
- 5Citations
- 527Downloads
Abstract
Research into faculty members’ instructional development has primarily focused on individual skills and knowledge. As collegial interactions may support or constrain faculty’s professional development in higher education, this study compared and contrasted the networks of faculty members in different stages of instructional development (novice, experienced non-expert, and experienced expert teachers). Faculty networks comprised the relations that teaching faculty members used to communicate about their teaching practice. To capture these networks, a total of 30 faculty members were interviewed. We used an egocentric network approach to examine the differences between the networks in network size, tie strength, and network diversity. Results based on analyses of variance and multilevel analyses suggested three key findings: (a) Faculty members in different stages of instructional development varied in the size of their network; (b) faculty members in different stages of development had access to different types of networks in terms of tie strength; and (c) faculty members in different stages of development varied in the diversity of teaching experience in their networks. Experienced expert teachers had larger, stronger, and more diverse networks compared with experienced non-experts. Novices also had larger networks, but they were characterized by lower tie strength and less diversity. These findings demonstrate that network development is not just a time–age effect, but suggests arrested development for experienced non-experts linked to limited network input. This provides important evidence for the role of collegial interactions throughout faculty’s development as a teacher. We further discuss the implications of this study in light of faculty members’ instructional development.
Keywords
Higher educationFaculty developmentSocial networkExpertExperienced non-expertNovice'Articles (Medical Education) > 교수개발(Faculty Development)' 카테고리의 다른 글
| 종단적 FD의 효과 평가: 학술성과 연구(Acad Med, 2016) (0) | 2017.02.10 |
|---|---|
| 교수개발을 통하여 더 인간적인 의학교육을: 자기인식과 교육스킬(Med Educ, 2005) (0) | 2017.02.10 |
| CME와 학습자로서의 의사: 근거에 따른 가이드(JAMA, 2002) (0) | 2017.02.09 |
| 국제보건전문직교육자를 위한 교수개발프로젝트: 기관 변화의 원동력? (Med Teach, 2012) (0) | 2017.02.08 |
| 펠로우십 교육을 받은 의학교육자집단 양성: FDP에 대한 프로그램책임자 입장의 관점(Acad Med, 2016) (0) | 2017.02.07 |