Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

좋은 수업은 좋은 수업이다: 효과적인 의학교육자들에 대한 내러티브 리뷰(Anat Sci Educ, 2015)

Good Teaching Is Good Teaching: A Narrative Review for Effective Medical Educators
Anthony C. Berman1,2*

도입

INTRODUCTION

• 역사적으로 교직과 효과적인 교사에 대한 많은 정의가 존재했고 지금도 존재한다. "교육은 다차원적이고 복잡한 활동"이기 때문에(Khandelwal, 2009) 그 효과를 정의하는 것은 상당히 어려운 것으로 입증되었다. 
  
• 37년 전, Gage(1978)는 가르침은 "한 사람이 다른 사람에게 배우는 것을 용이하게 하기 위한 어떤 활동"이라고 간단히 말했다.  
  
• Mursell(1954)이 일찍이 쓴 저자들은 효과적인 교사는 학생들에게 이해와 통찰력을 "극화하고 집중하기" 위해 언제 그리고 어떻게 가르치는 기회를 이용하는지를 본질적으로 알고 있는 교사였다고 썼다. 
  
• 바(1961년)는 교사의 효과를 묘사할 수 있는 적절한 수단이 없어서 좌절했던 많은 사람들 중 하나였다. 
  
• 펠리서(1984년)는 효과적인 가르침이 어떤 예술적 능력을 포함하고 있고 훌륭한 선생님들은 기본적으로 예술가라고 하지만, "우리가 훌륭한 가르침으로 인식하는 많은 것들은 과학적이거나 기술적인 본질이며, 쉽게 식별되고, 이해되며, 심지어 체계적으로 복제될 수 있다"고 주장했다. 
  
• 그럼에도 불구하고, Ornstein(1993)은 "교사의 인간적인 면은 측정하기 어렵다"고 응답했는데, 이는 나중에 다니엘슨(2007)이 지지한 생각인데, 이는 일부 교사 특성이 관찰되기 보다는 추론되어야 하기 때문이다. 스트롱게(2007)는 이 유능한 교사를 "각 음악가로부터 최고의 연주를 이끌어내 아름다운 소리를 내는 교향악단 지휘자"에 비유했다. 
  
• 보리히(2013년)는 '학생 성취를 촉진하기 위해 개인의 행동을 다른 정도로 혼합한다'는 교사를 '색깔과 질감을 그림으로 혼합해 일관성 있는 인상을 연출하는 예술가'에 비유했다. 
  
• 효과적인 교사는 계속해서 "학생들 사이에서 높은 성취도를 일관되게 만들어 내는" 특성을 보이는 교사로 정의되기 때문에, 학생 성취도의 요소이다(Arends et al., 2001).

• There have historically been and still are many definitions of teaching and effective teachers. As “teaching is a multidimensional, complex activity” (Khandelwal, 2009), defining its effectiveness has proven to be quite difficult. 
• Thirty-seven years ago, Gage (1978) made the simple statement that teaching is “any activity on the part of one person intended to facilitate learning on the part of another,” and  
• authors as early as Mursell (1954) wrote that an effective teacher was one who inherently knew when and how to take advantage of teaching opportunities in order to “dramatize and focalize understanding and insight” in students. 
• Barr (1961) was among many who were frustrated by the lack of an adequate means to describe the effectiveness of teachers. 
• Pelicer (1984) argued that, although effective teaching incorporates a certain artistic ability and that good teachers are basically artists, “much of what we do recognize as excellent teaching is of scientific or technical nature and can be readily identified, understood, and even systematically replicated.” 
• Nevertheless, Ornstein (1993) responded that “the human side of teaching is difficult to measure,” a thought later supported by Danielson (2007) because some teacher characteristics must be inferred rather than observed. Stronge (2007) likened the effective teacher to “a symphony conductor who brings out the best performance from each musician to make a beautiful sound,” and 
• Borich (2013) compared a teacher blending “individual behaviors to different degrees to promote student achievement” to an “artist who blends color and texture into a painting to produce a coherent impression.” 
• It is the element of student achievement, which has remained essential, because effective teachers continue to be defined as those who exhibit characteristics that “consistently produce high achievement among their students” (Arends et al., 2001).

본질적 특성
ESSENTIAL CHARACTERISTICS

의대생들은 의대 교육 초기뿐만 아니라 여러 해 동안 공부한 동안에도 배울 것이 많다. 종종, 그들의 초기 선생님들은 그들이 의학 학위까지 이르는 필수 과정을 마쳤다는 이유만으로 효과적인 선생님으로 생각됩니다. 그러나, Haycock (1998)은 이러한 믿음에 동의하지 않았는데, 왜냐하면 그녀는 어떤 과정도 교사들에 의해 얻어진 학위가 학생들의 학습과 직접적으로 관련이 없다는 것을 발견했기 때문이다. 의료 교사가 효과적일 수 있도록 준비하고 이들을 생산적인 의료 학습 환경에 배치하는 것은 복잡한 작업이다. 교육 효과의 개발을 위한 단일 이론이나 접근법을 결정하거나 효과적인 교사에 대한 단일 설명을 작성하는 것이 가능하다면, 모든 종류의 학교들이 그러한 교사를 모든 학습 환경에 오래 전에 배치했을 것이라는 스트롱의(2007) 가설이었다. Medical students have much to learn, not only in the early years of their medical education but also throughout their many years of study. Often, their early teachers are thought to be effective teachers just because they have completed the required courses leading to a medical degree. Haycock (1998), however, disagreed with this belief, because she found that neither courses completed nor degrees earned by teachers correlated directly with student learning. Preparing medical teachers to be effective and placing them in productive medical learning environments is a complex task. If it would be possible to determine a single theory or approach for the development of teacher effectiveness or to craft a single description of an effective teacher, it was Stronge’s (2007) hypothesis that schools of all kinds would have long ago placed such a teacher in every learning environment.

학생들을 알아가는 것이 교사의 효과의 토대이다.
Getting to Know Your Students Is the Foundation of Teacher Effectiveness

브룩필드(2006)의 의견에서 [학습자를 아는 것]은 아마도 가장 중요한 요소일 것이다. "학습의 극대화를 위해, 교사들은 그들의 과목과 그에 수반되는 교육학뿐만 아니라 그들의 학생들도 알아야 한다."(Danielson, 2007). 그러므로, 학생들이 배우는 것은 수업에 가져오는 것에 영향을 받기 때문에, 그들을 알아가는 것은 매우 중요하다. 그들이 당신을 알게 하는 것도 중요합니다. 이 두 가지 과제를 모두 수행하는 가장 좋은 방법 중 하나는 학생들에게 많은 질문을 하고, 학생들이 여러분에게 많은 질문을 하도록 격려하며, 두 경우 모두 학생들이 말하는 것을 주의 깊게 듣는 것입니다.
Knowing your learners is perhaps the most important element in the opinion of Brookfield (2006). “To maximize learning, teachers must know not only their subject and its accompanying pedagogy, but also their students” (Danielson, 2007). It is, therefore, critical to get to know them (and what they already know), since what students learn is influenced by what they bring to class (Svinicki, 2004). It is also important to let them get to know you. One of the best ways to accomplish both of these tasks is to ask many questions of your students, to encourage your students to ask many questions of you, and to listen very carefully to what the students are saying in both instances.

매우 많은 다른 선생님들이 종종 짧은 시간 동안 각 학생들과 함께 참여하기 때문에, 따라서 교대 시간 사이에 환자를 진료할 때 사용되는 것과 유사한 "handoff" 절차를 개발할 필요가 있을 수 있다. 다시 말하지만, 시간이 많이 걸리지만, 과거에 학생들과 함께 일했던 선생님들은 미래에 이 같은 학생들과 함께 일하는 선생님들에게 가치가 있다는 것을 증명할 수 있는 통찰력을 가지고 있을지도 모른다.

Because so many different teachers are involved with each student for often short periods of time, it may, therefore, be necessary to develop a “handoff” procedure similar to those used when handing off patients between shift changes. Again it is time-consuming, but teachers who have worked with students in the past may have insights that could prove valuable to teachers working with these same students in the future. 

모르는 것은 가르칠 수 없다
You Cannot Teach What You Do Not Know

간단히 말해서, 모르는 것은 가르칠 수 없다. 교육학적으로 성공하기 위해서는 [과목에서의 역량]과 [그 역량을 가지고 있다는 자신감]이 둘 다 필요하다. 상식적으로 '이해하지 못한 것은 가르칠 수 없다'는 간결한 진술을 한 클라크(1993)만큼 잘 말한 사람은 없다. 단순히 아는 것이 아니라, 선생님들은 그들의 과목을 너무 잘 알기 때문에 그들은 가장 복잡한 과목의 주제조차도 단순화할 수 있다. 그러나 교사는 모든 것을 알 필요가 없고 모든 것을 안다고 주장해서는 안 된다.
Quite simply, one cannot teach what one does not know. Both competence in the subject and confidence that you have that competence are necessary for pedagogical success. No one has ever said it better than Clark (1993), who made the concise statement that common sense dictates “one cannot teach what one does not understand.” But, in addition to simply knowing their subjects well, teachers should know their subjects so well that they are able to simplify even the most complex topics of the discipline. A teacher does not, however, need to know everything nor should a teacher ever claim to know everything.


학습 환경은 안전하고, 위협적이지 않으며, 긍정적이고, 협력적이어야 합니다.
The Learning Climate Should Be Safe, Nonthreatening, Positive, and Collaborative

교육 환경, 분위기 또는 분위기로도 알려진 학습 기후는 다면적이며 때로는 [교육 기관의 성격이나 정신]으로 표현되기도 한다(Holt and Roff, 2004). 이는 해당 기관 내에서 교육/학습 세팅의 톤으로 나타날 수 있으며, 학습 활동에 영향을 미치는 유형 및 무형 요소의 합계에 의해 제어됩니다. Loukas(2007)에 따르면, 학생들이 [친근하고, 초대하고, 지지하고, 또는 배제되고, 환영받지 못하며, 심지어 안전하지 않은] 것으로 인식되는 교육 환경을 설명하는 태도와 감정이 학습 환경을 설명한다.
Learning climate, also known as the educational environment, atmosphere, or ambiance, is multifaceted and is sometimes described as an educational institution’s personality or spirit (Holt and Roff, 2004). It can be manifested as the tone of any teaching/learning setting within that institution and is controlled by the sum total of the factors, both tangible and intangible, which impact the learning activity. According to Loukas (2007), attitudes and feelings describing educational settings, perceived by students as friendly, inviting, and supportive, or exclusionary, unwelcoming, and even unsafe, constitute a description of the learning climate.

학습 기후는 대학마다 많이 다를 뿐 아니라, 모든 학생들이 단일 기관이나 환경의 분위기를 항상 동일한 방식으로 인식하지는 않는다. [학습 풍토는 의과대학의 영혼]이라고 할 수 있기 때문에, 안전하고, 위협적이지 않으며, 긍정적이고, 학습자의 인식에 협력적일 때 가장 생산적이다. (Gen, 2001) 교사의 개입으로 일반적으로 바뀔 수 있다는 점에서 방의 온도와 같다. 최고의 교사들은 학습자들이 통제감을 가지고 있고 그들이 공정하게 평가받을 것이라고 느끼는 도전적이면서도 지지적인 분위기를 만들기 위해 끊임없이 노력한다. (Bain, 2004)
Learning climates can vary greatly, and the climate of a single institution or setting is not always perceived in the same way by all students. As a learning climate can be considered to be the very soul of a medical school, it is most productive when it is safe, nonthreatening, positive, and collaborative in the perception of the learners (Genn, 2001). It is like the temperature of the room, in that it can generally be altered via interventions by the teacher. The best teachers constantly work to create a challenging yet supportive atmosphere where learners have a sense of control and feel they will be evaluated fairly (Bain, 2004).

이러한 풍토의 근간에는 교사에 대한 학생 신뢰와 학생에 대한 교사신뢰가 있다. 유능한 교사는 학생들에 대한 신뢰가 두텁고, 학생들에게 솔직하고, 항상 세심한 배려와 존경심을 가지고 대함으로써 이러한 신뢰를 보여준다. 머셀(1954년)은 수년 전 "교실의 사회적 환경이 그곳에서 일어나는 학습에 막대한 영향을 끼친다"고 지적했다.
At the foundation of such a climate is trust, both student trust of teacher and teacher trust of student. Effective teachers have a strong trust in their students, and they demonstrate this trust by being open and honest with students, always treating them with care and respect. Mursell (1954) noted many years ago that “the social setting of the classroom has an enormous influence on the learning that takes place there.”

이것은 오늘날의 의학 교실에서도 마찬가지이다. 의료지식과 기술 습득에 공동체 의식이 도움이 될 수 있다는 점에서 임상학습 환경에서 공동체 개발의 중요성을 Kost와 Chen(2015)이 뒷받침했다. Watling 외 연구진(2014)은 "(신뢰하는) 관계가 없으면 피드백이 신뢰할 수 있는 것으로 인식될 가능성이 낮아지고 따라서 수용되고 이행될 가능성이 낮아지기" 때문에 이러한 신뢰 관계를 구축하는 것도 중요하다고 생각했다. 효과적인 교사가 되고자 하는 교사(의학 또는 다른 교사)가 학생들이 성공할 수 있도록 최선의 가능성을 가진 분위기를 조성하는 데 의도적으로 노력하는 것은 이치에 맞을 것이다.
This is just as true in today’s medical classroom. The importance of developing community in the clinical learning environment was supported by Kost and Chen (2015) in that a sense of community can assist in the acquisition of medical knowledge and skills. Building such trusting relationships was also deemed important by Watling et al. (2014), because “without such relationships, feedback was less likely to be perceived as credible and thus less likely to be accepted and acted upon.” It would make sense for a teacher wanting to become an effective teacher (medical or otherwise) to deliberately work at establishing an atmosphere having the best possibility of enabling students to succeed.

확립된 기후는 학생들에게 중요한 만큼 staff들에게도 중요한데, 학생들의 성공 가능성에 큰 영향을 미치며, 의대 교사와 학생들의 학생, 그리고 의대 교사와 서로 간의 관계의 한 요인이다. (Gen, 2001) 공동체 의식을 기르는 것은, 실제로, 학생들의 성공을 촉진하는데 도움이 되고, 학생들의 성공은 언제나 모든 교육적 노력의 핵심bottomline이 되어야 한다.

The established climate, as important for staff as it is for students, greatly impacts the likelihood of student success and is a factor of the relationships between the medical teachers and their students and between medical teachers and each other (Genn, 2001). Building a sense of community does, indeed, help facilitate student success, and student success should always be the bottom line for any educational endeavor.

유능한 교사는 효과적인 질문 방법을 알아야 한다.
An Effective Teacher Must Know How to Effectively Ask Questions

Nicholl과 Tracy(2007)가 효과적인 질문을 가장 중요한 교육 기법 중 하나로 간주했기 때문에, 질문하는 데 능숙해지지 않고 효과적인 교사가 되는 것은 불가능하지는 않더라도 상당히 어려울 것이다. 따라서, 이러한 스킬 세트를 개발하고 학생 이해도를 높이기 위한 탐색 질문을 사용하는 것이 필수적입니다(Vasan 및 DeFouw, 2005).
It would be quite difficult, if not impossible, to become an effective teacher without first becoming adept at asking questions, as Nicholl and Tracey (2007) considered effective questioning to be one of the most important teaching techniques. Thus, developing this skill set, and using probing questions to enhance student comprehension (Vasan and DeFouw, 2005), along with practicing both the encouragement and answering of student questions, is essential.


보리히 (2013)에 따르면, 유능한 교사는 질문하는 방법뿐만 아니라 질문의 유형을 구별하는 방법도 알아야 한다.질문은 여러 수준에서 할 수 있지만, 가장 생산적인 질문은 생각을 자극하는, 개방적인, 탐구적인 질문이며, 학생들이 그들의 반응을 처리할 수 있는 충분한 대기 시간을 허용하는 것은 항상 중요하다. (Sachdeva, 1996; Nichol and Tracy, 2007) 의사들은 종종 질문을 던지는 데 꽤 능숙하지만, 환자 및/또는 학생들이 질문을 처리하고 답변할 수 있는 충분한 대기 시간을 남기는 것을 종종 잊을 수 있다. 오르슈타인의 진술서,"좋은 가르침의 본질은 좋은 질문과 관련이 있다"는 많은 존경 받는 교육자들의 강력한 지지를 받아 왔다. 
According to Borich (2013), an effective teacher must not only know how to ask questionsbut also how to tell the difference between types of questions. Questions can be asked at many levels, but the most productivequestions are thought-provoking, open-ended, and probing, andit is always important to allow sufficient wait time for studentsto process their responses (Sachdeva, 1996; Nicholl and Tracey,2007). Physicians are often quite accomplished at asking ques-tions, but they can frequently forget to leave sufficient waittime for patients and/or students to process and answer thequestions that have been asked. Ornstein’s (1987) statement,“The essence of good teaching is related to good questioning,”has been strongly supported by many respected educators, 

효과적인 질문자는 종종 콘텐츠 전문가보다 훨씬 더 나은 선생님이다. 생산적인 질문을 편안하고 효과적으로 하는 방법을 배우는 것은 다른 교육 분야와 마찬가지로 의학 교육자로서 일관성 있는 성공에 중요하다(Mazur, 2009). 쿡 외 연구진(2010)에 따르면 "아마 필요한 것은 침대 곁의 과학 전문가, 정답을 가진 사람이 아니라 생산적인 질문을 중시하는 문화일 것"이라고 한다. Kost와 Chen (2015)에 따르면, 의학 교육자들은 학습자 중심적인 질문 관행을 개발하기 위해 변화를 고려해야 한다.
An effective questioner is often a far better teacher than the content expert. Learning how to comfortably and effectively ask productive questions is just as critical to consistent success as a medical educator as it is in any other area of teaching (Mazur, 2009). According to Cooke et al. (2010), “Perhaps what is needed is not a science expert as the bedside, the person with the answers, but a culture that values productive questions.” According to Kost and Chen (2015), medical educators should consider making changes in order to develop questioning practices that are more learner-centered.

효과적인 질문은 모든 학습 환경의 전체 분위기를 제어하며, 효과적인 교사의 진단 도구의 기초를 형성하고, 사고를 촉진하고, 추론 능력의 개발을 촉진함으로써 다양한 건강 직업에서 학생 학습을 촉진하는 데 엄청난 도움을 준다. (Sachdeva, 1996; Nichol and Tracy, 2007). 

Effective questioning controls the entire atmosphere of any learning environment, forming the basis of an effective teacher’s diagnostic tools and helping tremendously in facilitating student learning in all of the various health professions by prompting thinking and facilitating the development of reasoning ability (Sachdeva, 1996; Nicholl and Tracey, 2007).

학생들이 적극적으로 참여할 때 더 많은 것을 배운다.
Students Learn More When They Are Actively Involved

교육자들은 교육은 단순히 전통적인 강의를 통해 교사로부터 학생으로 정보를 전달하는 것 이상이라는 것을 배웠다(Mazur, 2009). 학생들은 그들이 적극적으로 참여할 때 더 많이 배우고 더 깊게 배운다. (Vasan and DeFouw, 2005) 실버먼(1996년)이 인용한 중국의 철학자이자 스승인 공자는 2400여 년 전 "내가 들은 것은 잊는다. 내가 본 건, 기억난다. 제가 하는 일은 이해해요." 훨씬 후, 치커링과 감슨(1987)은 "학생들은 수업시간에 앉아서 선생님들의 말을 듣고, 미리 꾸민 과제를 외우고, 답을 뱉는 것만으로 많은 것을 배우지 못한다"는 말과 함께 이 생각을 다시 찾았다. 줄(2002년)도 학생들이 '배움'을 하려면 '해야 한다'며 적극적인 학습의 필요성을 강조했다.
Educators have learned that education is more than simply transferring information from teacher to student via the traditional lecture (Mazur, 2009). Students simply learn more and learn more deeply when they are actively involved (Vasan and DeFouw, 2005). Confucious, the Chinese philosopher and teacher cited by Silberman (1996), was well aware of this over 2,400 years ago when he uttered the now famous, “What I hear, I forget. What I see, I remember. What I do, I understand.” Much later, Chickering and Gamson (1987) revisited this thought with the statement, “Students do not learn much just by sitting in classes listening to teachers, memorizing pre-packaged assignments, and spitting out answers.” Zull (2002) also emphasized the need for active learning, stating that students must “do” if they are to “learn.”

울프 외 연구진(2015)은 최근 여러 가지 추가적인 능동적 학습 전략(1분 논문, 생각 쌍 공유, 개념 지도, 조각, 생각 모자, 시뮬레이션)을 설명했다. 이는 지식 보유를 개선하고 "학습자의 요구를 전환하고 학습자의 적극적인 참여를 요구함으로써 수동적 학습보다 더 깊이 있는 이해"를 창출하는 데 도움이 될 수 있습니다. 능동적인 학습은 때때로 전통적인 훈련을 받은 교사가 교육 과정으로 통제력을 상실하게 만들 수 있지만, 학습은 관람 스포츠가 아니며 결코 관람 스포츠가 된 적도 없다! 의학 학습자들은 그들에게 주어진 새로운 정보를 실제로 적용하지 않는다면, 완벽한 오믈렛을 만드는 기술을 연습하는 것이 아니라, 그저 다른 사람들이 오믈렛을 만드는 것을 지켜보면서 완벽한 오믈렛을 만드는 법을 배우려는 요리사와 같을 것이다.
Wolff et al. (2015) recently described a number of additional active learning strategies (one-minute papers, think-pair-share, concept maps, jigsaw, thinking hats, and simulation), which can improve knowledge retention and help to create “a deeper understanding of material than passive learning can achieve by shifting the learner’s needs and requiring active participation of learners.” Active learning can sometimes cause a traditionally trained teacher to feel a loss of control with the instructional process, but learning is not and never has been a spectator sport! Without actually applying the new information presented to them, medical learners would be like chefs trying to learn how to make a perfect omelet by watching others make omelets (Hoffman, 2015) rather than by practicing the art of making a perfect omelet.

바산 외 연구원에 따르면 (2009, 2011) 및 Minhas 등(2012)은 해부학처럼 내용 밀도가 높은 자료를 학습하려고 할 때 학생들에게 능동적 학습이 특히 중요할 수 있다. 또한 학생으로서 팀 기반 및/또는 협력 학습 활동에 적극적으로 참여하는 것은 학생이 의료 팀의 일부로 더 효과적으로 참여할 수 있도록 준비하는 데 도움이 될 수 있으며, 팀 내에서 기능할 수 있는 능력은 의료 전문 분야에서 점점 더 중요해지고 있다 (Vasan 및 DeFouw, 2005; Vasan et al., 2009, 2010).1).
According to Vasan et al. (2009, 2011) and Minhas et al. (2012), active learning can be especially important for students when they are attempting to learn such content-dense materials as anatomy. Furthermore, being actively involved in team-based and/or cooperative learning activities as a student can help prepare the student to participate more effectively as part of a medical team, and the ability to function within a team has become increasingly important within the healthcare professions (Vasan and DeFouw, 2005; Vasan et al., 2009, 2011).

수업을 안내하기 위해 구체적인 학습 목표가 필요합니다.
Specific Learning Objectives Are Needed to Guide Instruction

McKimm과 Stanwick(2009)이 관찰한 바와 같이, "의료 교육은 교육 개입의 결과로 학습자가 달성해야 하는 것을 설명하기 위해 목표, 학습 성과, 학습 목표, 역량 등 다양한 용어를 사용한다." 선택된 용어와 관계없이, 최근 연구(Wattling et al., 2014)는 의학교육이 의학 학습자를 위한 목표를 명확하게 정의하는데 어려움을 겪는 경우가 많다고 제안했다.
As observed by McKimm and Stanwick (2009), “Medical education uses a range of terms – aims, learning outcomes, learning objectives, competencies – to describe what learners should achieve as a result of educational interventions.” Regardless of the chosen term, a recent study (Watling et al., 2014) suggested that medical education frequently has difficulty in clearly defining objectives for medical learners 


이러한 목표는 학생과 교사(Bassaw et al., 2003), 구체적이고 관찰 가능하며 측정 가능하고 평가 가능해야 한다. 또한 McKimm과 Stanwick(2009년)이 주장한 바와 같이, 그것들은 현실적이고 성취할 수 있어야 한다. 학생들에게 소통하고, 학습활동 내내 선생님의 집중을 받으며, 학습활동이 끝났을 때 학생이 실제로 무엇을 할 수 있어야 하는지에 대한 질문에 답할 수 있도록 단어화해야 한다(McKim과 Swanwick, 2009). 명확한 목표가 없다면, 어떤 특정한 교훈/활동이 달성되어야 하는지를 결정하거나 원하는 학습이 이루어졌는지 정확하게 평가하는 것은 불가능하다.
These objectives must be clear both to student and teacher (Bassaw et al., 2003), specific, observable, measureable, and assessable. In addition, as argued by McKimm and Stanwick (2009), they must be realistic and achievable. They should be communicated to students, focused on by the teacher throughout the learning activity, and worded so that they answer the question of what the student should be able to actually do when the learning activity has been completed (McKimm and Swanwick, 2009). Without clear objectives, it is impossible to determine what a particular lesson/activity is supposed to accomplish or to accurately assess whether the desired learning has taken place.

칸(1982년)은 "계획이 부족하면 대개 의식의 흐름 교육으로 이어지는데… 목표 없는 대화는 한 시간밖에 되지 않는다"고 확신했다. 계획은 엄격할 필요는 없지만(학습 활동이 침상 교육을 포함할 때는 엄격할 수 없다), 효과적인 교사는 계획이 어디로 향하고 있고 언제 교육 목적지에 도달했는지 알아야 한다. 스트롱(2007)은 좋은 계획을 효과적인 교육을 보장하는 것으로 여기지 않았지만, 그는 '분명 형편없는 계획이 덜 효과적인 교육으로 이어진다'고 확신했다.

Cahn (1982) was convinced that “lack of planning usually leads to stream-ofconsciousness instruction . . . amounting to nothing more than an hour of aimless talk.” Plans need not be rigid (and cannot be rigid when the learning activity involves bedside teaching), but effective teachers must know where they are headed and when they have reached their instructional destination. Although Stronge (2007) did not consider good planning to be a guarantee of effective instruction, he was definitely convinced that poor planning led to less effective instruction. 

학생 학습에 대한 평가가 지침에 통합되어야 합니다.
Assessment of Student Learning Should Be Integrated Into Instruction

Dowie(2014)는 의학교육에서 의미 있는 평가를 학생의 의도된 학습에 대해 동시에 논의하지 않고는 논의할 수 없음을 확인했다. 정확하고 효과적인 평가는 교습에 중요하며 교습과 통합되어야 한다. 따라서 교사는 수시로 학생 학습을 확인하고 그에 따라 교습을 조정해야 한다.
Dowie (2014) confirmed that meaningful assessment in medical education cannot be discussed without simultaneously discussing the intended learning of the student. An accurate, effective assessment is important to instruction and should be integrated with instruction; so, teachers should frequently check for student learning and adjust instruction accordingly.

해부학 평가는 역사적으로 스폿터 검사(학생들이 고정된 구조를 식별해야 하는 곳, 땡시), 구두 시험, 필기 시험에 의존해왔지만, 학생들이 다양한 방식으로 학습한다는 인식에 따라 하이브리드 평가의 개발이 시작되었다(Smith and McManus, 2015).
Although anatomy assessment has historically relied on spotter examinations (where students have to identify a pinned structure), oral examinations, and written examinations, the development of hybrid assessment began in response to the realization that students learn in many different ways (Smith and McManus, 2015).

치커링과 감슨(1987년)이 상기한 것처럼 "학생들은 무언가 수행하고 개선을 위한 제안을 받을 수 있는 기회가 자주 필요하다"고 말했다. 평가assessment는 평가evaluation와 같지 않다는 것을 기억하는 것이 중요하다. 평가evaluation는 제품에 다른 사람의 가치를 부여하는 반면, 평가assessment는 학생이 명시한 학습 목표와 관련하여 무엇을 할 수 있는지를 결정하는 지속적인 과정이다. 
As Chickering and Gamson (1987) reminded, “students need frequent opportunities to perform and receive suggestions for improvement.” It is important to remember that assessment is not the same as evaluation. Whereas evaluation is assigning another’s value to a product, assessment is an ongoing process of determining what a student can do in relation to the stated learning objectives. 

"시험이 목표에 부합해야 하며, 목표가 시험에 부합해서는 안 된다."
“faculty should match the test to the objectives, not the objectives to the test.”

피드백은 학생 학습의 필수적인 부분입니다.
Feedback Is an Essential Part of Student Learning

일단 목표를 향한 학생들의 진보에 대한 평가가 이루어지면, 효과적인 교사의 다음 일은 그들이 이해하는 언어로 그 평가의 결과를 학생들에게 전달하는 것이다. 마흐무드와 다지(2004)에 따르면, 학습에서 피드백의 중요성은 꽤 오랫동안 선생님들에 의해 인식되어 왔다. "교사가 공평하게 피드백을 제공하고, 모든 학생이 자신의 업무에 대한 피드백을 받는 것이 중요합니다."(Danielson, 2007). 
Once assessment of student progress toward objectives has been achieved, the next job of an effective teacher is to convey the results of that assessment to the students in language they understand. According to Mahmood and Darzi (2004), the importance of feedback in learning has been recognized by teachers for quite some time. “It is essential that teachers provide feedback equitably, that all students receive feedback on their work” (Danielson, 2007).

효과적인 교사는 "의도한 행동과 실제 행동 사이의 불일치를 인식하도록 설계된" 규칙적이고 건설적이며 구체적이고 정확한 피드백을 통해 학습 목표를 향한 구체적인 진행 상황을 학생들에게 알려야 한다(Bassaw et al., 2003). 학생들은 그들이 받는 피드백의 어조나 본질에 경시당했다고 느끼게 해서는 절대 안 된다. 오히려 확립된 학습 목표와 관련하여 성과를 개선하기 위해 긍정적인 프레임워크 내에서 도전을 받아야 한다(Lachman, 2015; van de Ridder et al., 2015). 
An effective teacher should inform students of their specific progress toward the learning objectives (Pellicer, 1984) through regular, constructive, specific, and accurate feedback, designed “to recognize the discrepancy between intended and actual behavior” (Bassaw et al., 2003). Students should never be made to feel belittled by the tone or substance of the feedback they receive. Rather they should be challenged within a positive framework to improve their performance in relation to the established learning objectives (Lachman, 2015; van de Ridder et al., 2015).

피드백은 학습 활동 중(형식 피드백)과 학습 활동 종료 시(요약 피드백) 모두 제공되어야 합니다. 학습 과정에서 두 가지 점에서 모두 중요하지만, 알렉산더 외 연구진에 따르면, 이것이 가장 잘 허용되는 형성적 피드백이라고 한다. (2009년) 학생들은 주어진 상황에서 학습 부족에 대해 무언가를 할 수 있는 충분한 시간을 가지고, 자료를 어떻게 이해했는지 보고, 자신의 진도를 반 친구들과 비교한다. 스트롱(2007)에 따르면, "학생들의 학습 성과를 증가시키는 가장 강력한 수정 기술 중 하나"라고 한다. 또한, 마흐무드와 다지(2004)는 피드백이 없으면 학습자의 성과를 향상시키는 것이 불가능하다고 결론지었다. 다니엘슨(2007)은 가끔 웃는 얼굴, 격려의 눈짓, 그리고 안심시키는 몸짓의 이점을 지지했지만, 스크리븐(1994)은 가장 유익한 피드백은 특정 학생의 성취와 관련이 있다고 조언했다. 
Feedback should be provided both during the learning activity (formative feedback) and at the conclusion of the learning activity (summative feedback). It is important at both points in the learning process, but it is the formative feedback that best allows, according to Alexander et al. (2009), students to see how they have comprehended the material and compare their progress with their classmates, with sufficient time to do something about a lack of learning in a given situation. It is definitely, according to Stronge (2007), “one of the most powerful modification techniques for increasing learning outcomes in students.” In addition, Mahmood and Darzi (2004) concluded that in the absence of feedback, it is impossible to improve learners’ performance. Danielson (2007) supported the benefit of occasional smiles, nods of encouragement, and reassuring gestures, but Scriven (1994) advised that the most beneficial feedback was related to specific student accomplishments. 

피드백은 보통 효과적인 의료 교육의 필수적인 부분으로 받아들여지지만, 의학 교육자들은 종종 "학습자의 글로벌 지식에 대한 모호한 논평"의 제공에 만족한다(Watling et al., 2014). Archer(2010)는 피드백이 구체적이고, 정보에 입각한 외부 소스에 의해 순차적으로 촉진되고, 개별 학생의 개인적 속성보다는 학습 과제에 집중될 경우 의료 환경에서 피드백의 효과가 극대화된다는 생각을 지지했다. 실제로 Watling et al. (2014)에서 확인한 바와 같이, 여러 분야에서 학생들은 [명확하지 않거나 애매한 피드백]에 의해 좌절할 가능성이 가장 높다. 또한 경험이 풍부한 의료 교육자들은 "아무리 잘 의도되거나 잘 짜여져 있더라도 피드백이 지지적인 학습 환경 내에 있지 않으면 실패할 수도 있다"고 결론지었다(Watling et al., 2014).

  Feedback is usually embraced as an essential part of effective medical education, but medical educators “often settle for the provision of vague commentary on learners’ global knowledge” (Watling et al., 2014). Archer (2010) supported the idea that the effect of feedback in a medical setting will be maximized if the feedback is specific, sequentially facilitated by an informed external source, and focused on the learning task rather than on the personal attributes of the individual student. Indeed, as confirmed by Watling et al. (2014), students in any field of learning are most likely to be frustrated by feedback that is nonspecific and/or vague. These experienced medical educators also concluded that “No matter how well intentioned or well crafted it is, feedback may be doomed to fail if it is not situated within a supportive learning climate” (Watling et al., 2014). 

교사는 명확한 의사소통을 할 수 있어야 한다.
Teachers Must Be Able to Communicate Clearly

정보와 아이디어는 학생들뿐만 아니라 동료들에게도 분명하게 전달되어야 한다. Ornstein과 Lasley (2003)가 주장했듯이, 의사소통은 단지 대화만이 아니다. 비언어적 의사소통 (즉, 눈맞춤, 몸짓, 몸짓, 자세)은 말하는 것만큼 효과적인 의사소통에 중요하다. 경청은 의사소통의 한 부분으로 기억되어야 한다. 효과적인 교사는 항상 적극적인 청취를 요구하기 때문에 위협적이지 않은 방식으로 민감하게 듣는 것을 기억해야 한다. 커뮤니케이션의 모든 측면은 긍정적으로 프레임/패키지되어야 하며(van de Ridder et al., 2015) 학생이 주어진 교사와의 상호작용을 통해 학습해야 하는 경우 긍정적인 학생 성취(Borich, 2013)와 직접적인 상관관계가 있어야 한다. 또한 의료 교육자는 학생이 실습 영역에 들어갈 때 제공자-환자 관계 및 의료팀 효과의 발전에 중요한 효과적인 의사소통 습관과 기술을 모델링할 수 있다. 

Information and ideas must be conveyed clearly not only to students but also to colleagues. Communication is not just talking, for as Ornstein and Lasley (2003) argued, nonverbal communication (i.e., eye contact, gestures, body movement, and posture) is just as important to effective communication as is speaking. Listening should be remembered as part of communication. Effective teachers must remember to listen sensitively in a nonthreatening manner, because effective teaching always requires active listening. All aspects of communication should be framed/packaged positively (van de Ridder et al., 2015) and should be directly correlated to positive student achievement (Borich, 2013) if students are to learn through interaction with a given teacher. In addition, medical educators can model the effective communication habits and skills that will be important to the development of provider–patient relationships and medical team effectiveness when the students enter their area of practice.

Bagnasco 외 연구진(2014)과 Herrmann 외 연구진(2015)은 간호학과 학생과 의대생 모두를 시뮬레이션 및 실험실 학습 활동을 위한 전문 트레이너로 통합함으로써 추가적인 이점을 얻을 수 있다고 제안했다. 의료 서비스 제공업체가 전문성 있는 의사 소통 접근 방식에 익숙해질 필요가 있기 때문입니다.

Bagnasco et al. (2014) and Herrmann et al. (2015) suggested further benefits might be gained by integrating both nursing students and medical students with an interprofessional team of trainers for simulation and laboratory learning activities, because of the need for healthcare providers to become comfortable with an interprofessional approach to communication. 

Kirch and Ast(2015)는 전문직 간 교육(의료 제공자가 여러 분야에 걸쳐 협력적으로 작업하도록 교육)을 목표로 하는 짧은 교육 활동도 의료 사업자가 미래의 동료들과 의사소통 성공을 위해 설립하는 데 도움이 될 것이라고 결론지었다. 의료 분야에서의 협업과 팀워크에 대한 강조는 계속 확대될 것으로 보입니다(Lamb and Shraiky, 2013). 

Kirch and Ast (2015) concluded that even brief educational activities aimed at interprofessional education (training health providers to work collaboratively across disciplines) would be helpful in setting healthcare providers up for communication success with their future colleagues, as it seems likely that the emphasis on collaboration and teamwork in healthcare will continue to expand (Lamb and Shraiky, 2013). 

모든 교육 활동을 위해 학습 공간을 구성해야 합니다.
Learning Spaces Should Be Organized for All Instructional Activities

"최고의 교육 기법은 혼돈의 환경에서 가치가 없기 때문에" 어떤 학습 활동이 일어나든 원활한 운영을 위해 학습 환경을 구성해야 한다(Danielson, 2007). 따라서 효과적인 교사는 교실의 외관 및 구성, 교통 흐름, 가구 배치, 재료 유형, 자원 및 모든 참가자의 안전과 같은 것들을 고려하는 것이 효과적인 지침의 중요한 요소이다(Loukas, 2007; Leander et al., 2010; Lamb and Shraiky, 2013). 
Learning environments should be organized for the smooth operation of whatever learning activity is to take place, because “the best instructional techniques are worthless in an environment of chaos” (Danielson, 2007). Thus, it is an important element of effective instruction for the effective teacher to consider such things as appearance and organization of the classroom, traffic flow, arrangement of furniture, types of materials, resources, and safety of all participants (Loukas, 2007; Leander et al., 2010; Lamb and Shraiky, 2013).

모든 발달 수준에서, 그러한 (물리적 공간의) 문제에 대해 신경쓰지 않는 것은 성공적인 교육을 방해할 수 있는 장벽으로 쉽게 이어질 수 있다. 최대한 효과적이 되고자 하는 교사는 어떤 물리적 변형을 해야 하고 또 할 수 있는지를 평가하고 반성하기 위해 항상 1차 교육기간 전에 학습환경을 방문하도록 노력하는 것이 좋다. 
At any developmental level, absence of attention to such matters can easily lead to barriers that could inhibit successful instruction. Teachers wanting to become maximally effective are advised to always try to visit the learning environment in advance of the first instructional period in order to assess and reflect upon what physical modifications should and could be made.

대형 의학 강의실의 고정된 의자처럼 학습 환경을 원하는 대로 재배치할 수 없는 경우, 교사는 기존의 물리적 배열을 최대한 활용하기 위해 의도된 수업의 전달(교사에 대한 근접성 증가)을 수정하는 것을 고려해야 한다. 교사와 모든 학생 간의 의사소통에 대한 물리적 장벽을 최소화하고 학생 간의 상호작용 가능성을 최대화하기 위해 노력한다(Lander et al., 2010; Lamb and Shraiky, 2013). 아니면, 니콜과 트레이시 (2007년)에 의해 언급되었듯이, "교사는 세션을 위해 적절한 물리적 환경을 조성할 필요가 있습니다."

If the learning environment cannot possibly be rearranged as desired, such as the fixed chairs of a large medical lecture hall, the teacher should then consider modifying the intended delivery of instruction (as in increasing teacher proximity to the students) in order to better take the greatest possible advantage of the existing physical arrangement to minimize physical barriers to communication between teacher and all students and to maximize the potential for interaction between students (Leander et al., 2010; Lamb and Shraiky, 2013). Or, as stated by Nicholl and Tracey (2007), “The teacher needs to create the right physical environment for the session.”

긍정적인 태도/처분은 항상 학생들을 위해 모델링되어야 합니다.
Positive Attitudes/Dispositions Should Always Be Modeled for Students

어떤 교육전략이 선택되든 선택되지 않든, 다룰 내용을 얼마나 잘 이해하든, 또는 학생들을 알아가는 데 얼마나 많은 시간이 걸리든 간에, [학생 학습에 긍정적인 영향을 미칠 수 있는 능력에 대한 믿음]은 필수적이다. 열정(내용, 학생, 교단에 대한)은 매우 중요하다. 효과적인 교육에 대한 열의의 중요성은 Pratt와 Collins(2002)를 포함한 많은 사람들에 의해 설명되었다. 모델 열정에 더하여 슈미트와 핀치(1998)와 칸델왈(2009)은 전반적인 긍정적인 태도와 격려가 모든 수준에서 교사의 성공에 매우 중요하다고 선언했다. 
Regardless of which instructional strategies are chosen or not chosen, how well one understands the content to be addressed, or how much time is taken in getting to know the students, the belief in one’s ability to positively impact student learning is essential. Enthusiasm (toward the content, the students, and the teaching act) is critical. The importance of enthusiasm to effective teaching was explained by many, including Pratt and Collins (2002). In addition to modeling enthusiasm, Schmidt and Finch (1998) and Khandelwal (2009) declared demonstrating an overall positive attitude and encouragement were extremely important to the success of a teacher at any level.

의학교육에서도 이러한 개인적 특성(Eluzbier and Rizk, 2001년)이 인턴과 레지던트들에게 특별한 선택을 할 때 상당한 영향을 미치는 것으로 나타났다. 효과적인 교사는 특히 환자에게 덜 유쾌한 결과를 수반할 수 있는 의학의 심각한 측면을 다룰 때 행복을 가장하거나 비현실적으로 기뻐해서는 안 되지만, 배움에 대한 열정은 전염성이 있고, 태도라는 것은 taught 되기보다는 caught 되는 것임을 기억해야 한다! 효과적인 의학 교육자가 학생들이 의학적 지식과 기술만큼이나 의학의 성공에도 태도가 중요하다는 것을 깨닫도록 돕는 것은 필수적이다. (Swartz, 2006)

In medical education, such personal characteristics were also found (Eluzbier and Rizk, 2001) to have significant influence on interns and residents as they made their specialty choices. An effective teacher ought not to feign happiness or be unrealistically joyous, especially when dealing with a serious aspect of medicine that could involve a less than pleasant outcome for a patient, but it should be remembered that enthusiasm toward learning is contagious and that attitudes are more easily caught than taught! It is essential for an effective medical educator to help students realize that their attitudes are just as important to their success in medicine as their medical knowledge and skills (Swartz, 2006).

교사가 변화하는 학생 학습 요구 사항을 충족할 수 있는 유연성
Flexibility Enables Teachers to Meet Changing Student Learning Needs

유능한 교사는 분명 학습 활동의 주요 조직자이지만, '조직성'은 경직성과 같지 않다. 교사가 항상 조직적인 것처럼 보여야 하지만, 일관적으로 성공한 교육자는 [회진 중에 발생하는 많은 침상 수업 기회 동안]뿐만 아니라 [교실에서 일어날 수 있는 교육 가능한 순간teachable moment]을 기반으로 하기 위해 학습 환경에서 일반적으로 경험하는 예기치 않은 사건에 대응해야 한다. 교육적 노력이 학생 학습을 촉진하지 않는 경우, 변화를 탐구해야 한다. 
An effective teacher is definitely a master organizer of learning activities, but organization should not equal rigidity. Although a teacher should always appear to be organized, a consistently successful educator must respond to the unexpected events typically experienced in a learning environment in order to build on teachable moments that may arise, in the classroom as well as during the many bedside teaching opportunities occurring during rounds. If instructional efforts are not facilitating student learning, change should be explored. 

성공적인 코치는 점수가 나지 않는 플레이를 지속적으로 요구해서는 안 되는 것처럼, 분명히 학생 학습의 극대화를 초래하지 않는 교육 계획을 고수해서는 안 된다. 게다가, 젤싱 외 연구진이 증명한 바와 같이. (2007) 의료 교육자는 학생들이 창의성, 환자에 대한 동정심, 리더십 능력 또는 학습에 대한 긍정적인 학생 인식을 개발할 수 있는 더 큰 기회를 제공할 수 있는 학습 접근법을 탐구하기 위해 커리큘럼과 커리큘럼 전달 모두를 자주 검토해야 한다. 필요한 수정과 조정을 허용하는 것이 중요하지만 유연성이 "혼란하고 일관성이 없거나 예측할 수 없는" 학습 환경으로 전환되어서는 안 된다(Oakes et al., 2012). 그것은 모든 분야의 교육자들에게 어렵지만 중요한 균형잡힌 행동을 만들어 준다.

As a successful coach should not continuously call plays that do not result in points being scored, one should never stick with instructional plans obviously not resulting in maximizing student learning. In addition, as demonstrated by Jelsing et al. (2007), medical educators should frequently examine both curriculum and curriculum delivery in an effort to explore learning approaches that may provide students with greater opportunity to develop creativity, compassion toward patients, leadership abilities, or positive student perception of learning. Allowing for necessary modification and adjustment is important, yet flexibility ought never to be transformed into a “confusing, inconsistent, or unpredictable” (Oakes et al., 2012) learning environment. It makes for a difficult, yet critical, balancing act for educators in all areas of study.

학생 학습 가능성을 극대화하는 멀티모달 접근 방식
A Multimodal Approach Maximizes the Likelihood of Student Learning

최대 학생 학습을 달성하기 위해, 특정 학생 모집단은 여러 교육 전략의 혼합에 노출되어야 한다. 왜냐하면 교육학을 다양화하는 것은 학생들의 두뇌의 다른 부분에서 활동을 촉발하는 경향이 있기 때문이다(Zull, 2002). 민하스 외 연구진(2012)은 다양한 교수 스타일을 멀티모달 접근법(강의와 연계하여 연습 문제 및 시각적 기반 학습)으로 결합하는 것이 학생들이 학부 해부학과 생리학 과정에서 배우는 것을 더 잘 가능하게 한다고 제안했다. 그러므로 교사의 기술 레퍼토리가 살아있는 실체가 되어야 한다. Jacobsen et al에 의해 논쟁되었다. (2008) 가장 효과적인 교사는 하나의 가장 좋은 방법이 없었기 때문에, 그들의 수업을 자주 바꾼 선생님들이었다. 레퍼토리에서 특정 교육 접근법을 선택할 때 학생들이 원하는 교육 목적과 교육 요구 모두를 고려해야 한다. 다양한 교육 방법을 사용하는 것은 학생들의 참여를 장려하고 교사들의 열정을 유지하는데 도움을 줄 수 있다. 
In order to achieve maximum student learning, a given population of students should be exposed to a mix of instructional strategies, since varying one’s pedagogy tends to trigger activity in different parts of students’ brains (Zull, 2002). The findings of Minhas et al. (2012) suggested that combining various teaching styles into a multimodal approach (practice problems and visual-based lessons in conjunction with lectures) better enabled students to learn in undergraduate anatomy and physiology courses. Thus, a teacher’s repertoire of techniques ought to be a living entity. It was argued by Jacobsen et al. (2008) that the more effective teachers were those who frequently varied their instruction, because there really was no single best way. Both the desired instructional objective and the instructional needs of the students should be considered when selecting a specific teaching approach from one’s repertoire. Using a variety of instructional methods can encourage student participation and help maintain teacher enthusiasm. 

강의는 여전히 자리를 갖고 있으며(드레이크와 파울리나, 2014) 의학교육의 주체로 남아있을 것이 틀림없지만, 강의에서 정보를 'covering'하는 것만으로 모든 건강관리 학생들에게 적용되는 의료지식이 'uncovering '되는 것은 아니라는 점을 명심해야 한다. 보건의료 학생에 대한 기대 학습 결과를 결정한 후, 바사 외 연구진(2003)은 이러한 목표에 부합하는 교육 방법의 채택을 권장했다. Schlomer 외 연구진(1997)은 의료 교육자들이 학습자와 교사 모두의 요구와 가용 자원에 기초해 레퍼토리에서 교육 전략을 선택하도록 권장했다.

Lectures still have a place (Drake andPawlina, 2014) and will no doubt remain as a staple of medi-cal education, but it should be remembered that “covering”information in a lecture will not always by itself lead to the“uncovering” of applicable medical knowledge for all health-care students. Once the have expected learning outcomes for to healthcare students been determined, Bassaw et al.(2003) encouraged the adoption of teaching methods match these objectives, and Schlomer et al. (1997) encour-aged medical educators to select teaching strategies from theirrepertoires based on the needs of both learner and teacher, aswell as on the available resources. 

교사의 기대는 자성예언이 될 수 있다.
Teacher Expectations Can Become a Self-Fulfilling Prophecy

성공에 대한 높은 기대를 갖는 것은 유능한 교사들의 또 다른 중요한 특징이다. 교사들은 학생들이 성공하기를 끊임없이 기대하고 격려해야 한다. 베인(2004)이 상기시켰듯이, 유능한 교사들은 학생들이 배우고 싶어하고 배울 수 있다고 믿는다. 라이언과 쿠퍼(2012)는 학생들에 대한 교사들의 기대가 학생들의 성취와 밀접한 관련이 있는 것 같다고 단호하게 말했다. 치커링과 감슨(1987)에 따르면, 학생들이 높은 레벨이나 낮은 레벨에서 공연하기를 기대하는 것은 스스로 성취하는 예언이 될 수 있기 때문에, 이러한 높은 기대를 학생들에게 전달하는 것은 학생 수행의 필수적인 부분이다. 스트롱게(2007)는 "유능한 선생님은 모든 학생들이 배울 수 있다고 진정으로 믿기 때문에 이것은 단순한 슬로건이 아니다"라고 이 입장을 확인했다. 교사들은 또한 [학생들의 학습에 긍정적인 영향을 미칠 수 있는 자기자신의 능력]에 대해서도 높은 기대를 가질 필요가 있다. 

Having high expectations for success is another critical characteristic of effective teachers. Teachers must constantly expect and encourage students to succeed. As Bain (2004) reminded, effective teachers believe students want to learn and are able to learn. Ryan and Cooper (2012) firmly stated teachers’ expectations for their students seem to correlate highly with students’ achievement. Communicating these high expectations to students is an essential part of student performance, since according to Chickering and Gamson (1987), expecting students to perform at either a high level or a low level can become a self-fulfilling prophecy. Stronge (2007) confirmed this position, because “the effective teacher truly believes that all students can learn – it is not just a slogan.” Teachers need also hold high expectations for themselves regarding their ability to have a positive impact on student learning. 

유능한 교사는 항상 학생들을 과제를 지속위해 노력한다.
Effective Teachers Always Strive to Keep Students on Task

'과제를 하는 시간을 대체할 수 있는 것은 없다'(치커링·감슨, 1987년)는 만큼 교사들이 지속적으로 강조해야 할 사항이다. 효과적인 교사는 계획된 전체 교육 활동에서 학생들을 효율적으로 참여시키는 방법을 알아야 한다. 이것은 학생의 참여를 극대화하기 위한 원활한 전환을 계획하는 것이 각 학습 활동 전에 항상 고려되어야 하기 때문에, 자신의 내용을 이해하는 것을 넘어서는 것이다. 꽤 오랫동안, 효과적인 교사들이 학생들의 시간을 "덜 효과적인 교사들과 다르게" 사용한다는 것을 알고 있었다(Medley, 1982년). "더 효과적인 교사들은 그들의 활동에 낭비하는 시간이 적고, 과제에 더 많은 시간을 가졌다."(Evertson and Emer, 1982년). 간단히 말해서, 일반적으로 학생들의 학습량과 참여형 교육에 소요되는 시간 사이에는 직접적인 연관성이 있다. 모든 선생님들은 학습 활동 내내 학습자들이 최대한 참여하도록 하는 것이 필수적이다.

Since “there is no substitute for time on task” (Chickering and Gamson, 1987), it is something that should be continually emphasized by teachers. Effective teachers must know how to efficiently engage students throughout the entire planned instructional activity. This goes beyond having a grasp of one’s content, as planning smooth transitions in order to maximize student engagement should always be considered in advance of each learning activity. For quite some time, both researchers and practitioners have known that effective teachers used student time “differently than less effective teachers” (Medley, 1982) and that “more effective teachers had less wasted time in their activities and more time on task” (Evertson and Emmer, 1982). Simply stated, there is usually a direct connection between the amount of student learning and the amount of time spent on engaged instruction. It is essential that all teachers seek to keep learners maximally engaged throughout learning activities,


학생들의 자존감이 학업 성취도에 영향을 미칠 수 있다
The Self-Esteem of Students Can Have an Impact on Their Academic Achievement

과거의 성공처럼 미래의 성공을 낳는 것은 없으며, 콘텐츠 분야와 관련된 긍정적인(그러나 현실적인) 자아감각과 전반적인 학습과 같은 성공을 위해 학생들을 세우는 것은 없다. 자아 이미지와 학업 성취도(Ornstein과 Lasley, 2003) 사이에 분명한 직접적인 상관관계가 있다는 점을 고려할 때, 하나를 개선하면 자연스럽게 다른 하나를 개선할 수 있을 것이다. 학생들 사이에 능력의식을 고취시키기 위해 선생님이 할 수 있는 것은 무엇이든지 간에 학생들의 성취에 생산적인 영향을 미칠 수 있다.

Nothing breeds future success like past success, and nothing sets students up for success like having a positive (but realistic) sense of self related to the content area and to learning in general. Given there is an apparently direct correlation between self-image and academic achievement (Ornstein and Lasley, 2003), improving one would naturally seem to improve the other. Whatever a teacher can do to promote a sense of competence among students can have a productive impact on student achievement.

자존감이 높은 학생들은 [교실]에서 더 높은 수준에서 성취할 가능성이 높을 뿐만 아니라, [교실 밖]에서 계속 학습하려는 의욕도 더 강할 것으로 보인다. 따라서, 효과적인 의학 교육자는 학습을 계속하도록 동기를 부여해야 하며, 또한 일단 과정이 완료되고, 학위를 취득하고, 인증을 획득하면, 계속해서 학습 동기를 얻을 가능성이 가장 큰 학생들이 교실을 떠날 수 있도록 노력해야 한다.

Not only are students with higher self-esteem more likely to achieve at higher levels in the classroom, but they are also likely to be more motivated to continue learning outside of the classroom. so, the effective medical educator must be motivated to continue learning and should also strive to have students leave the classroom with the greatest likelihood of continued motivation to learn once courses have been completed, degrees have been earned, and certifications have been achieved. 

성찰은 교사와 학생 모두에게 지속적인 개선을 이끌 수 있다.
Reflection Can Lead to Continued Improvement for Both Teachers and Students

대니얼슨(2007)은 성찰의 사용이 교사들이 자신의 강점과 개선이 필요한 분야를 더 잘 이해하면서 다음 교육 경험을 능동적으로 준비할 수 있도록 함으로써 "진정한 성장과 우수성"을 이끌었다고 생각했다. 페라로(2000년)는 성찰이 경험이 부족한 교사나 베테랑 교사 모두에게 똑같이 도움이 된다고 생각했기 때문에, 모든 교사가 자신의 교무 수행에 대해 다른 사람에게 피드백을 구함으로써 그 잠재력을 활용해야 한다는 것이 논리적으로 보일 것이다. 
Danielson (2007) considered that the use of reflection led to “real growth and therefore excellence” by allowing teachers to proactively prepare for their next instructional experiences with a better understanding of their strengths and their areas in need of improvement. Ferraro (2000) thought reflection to be equally helpful for both inexperienced and veteran teachers, so it would seem logical that all teachers should take advantage of its potential power by soliciting feedback from others regarding their teaching performances. 

베인(2004)에 따르면, 교수는 자신의 교육에 대한 피드백을 얻기 위해 다양한 방법을 사용해야 한다. (학생뿐만 아니라 동료 및 감독관도 해당) 이러한 피드백을 수집한 후에는 받은 피드백에 따라 교육을 조정(또는 유지)하는 것을 고려해야 합니다. 모든 의료 종사자가 환자와 상호작용할 때 자신의 efficacy을 알고 있어야 하듯, 의료 교육자(다른 모든 분야의 교육자로서)도 학생들과 상호작용할 때 그 효능을 알고 있어야 한다(Sch€on, 1983; Lachman and Pawlina, 2006).

According to Bain (2004), they should use a variety of ways to obtain feedback (not only from students but also from peers and supervisors) on their teaching. Once such feedback has been collected, they should consider adjusting (or maintaining) their teaching according to the feedback they have received. All medical practitioners must be aware of their efficacy when interacting with patients, and medical educators (as educators in all other arenas) must also be aware of their efficacy when interacting with students (Sch€on, 1983; Lachman and Pawlina, 2006). 

최근 연구(Wittich et al., 2013; Spampinato et al., 2014)와 마찬가지로 의학교육 영역에서도 학생들의 전문성 발달에 중요한 반영이 발견되었다. (2003)는 특히 집단 지원과 결합할 때 자기 성찰이 교직 효과의 향상으로 이어질 수 있다는 것을 발견했다.

Within the realm of medical education, just as recent studies (Wittich et al., 2013; Spampinato et al., 2014) have found reflection to be important in the development of professionalism within students, Lye et al. (2003) found that self-reflection, especially when combined with group support, can lead to improvement of teaching effectiveness. 

전문성은 모든 수준의 교육에 있어서 중요한 요소이다.
Professionalism Is a Significant Factor in Teaching at All Levels

진정한 전문 교사의 문door은 물리적으로나 비유적으로나 항상 열려 있어야 한다. '전문직업성이라는 단어의 의미와 관련해 공통적인 근거가 없다'(에스코바-포니·포니·2006년)고 해도, 교사는 학생들이 쉽게 접근할 수 있어야 하고, 비유적으로 자기 분야의 중요한 발전에 따라 효과적으로 소통하고, 자기 분야 내에서 활발하게 활동하면서 문호를 개방해야 한다.폭넓게 읽고 동료들과 협력적으로 작업한다(Bain, 2004). "의료 전문성은 다면적인 구조"이며 "의료 교육의 필수 요소"로 간주된다(스팸피나토 외, 2014).
The door of a truly professional teacher should always remain open, both physically and figuratively. Although “there is no common ground regarding the meaning of the word professionalism” (Escobar-Poni and Poni, 2006), teachers should be easily approachable by their students, and figuratively, they should keep their doors open by communicating effectively, remaining active within their disciplines, following important developments in their fields, reading extensively, and working collaboratively with their colleagues (Bain, 2004). “Medical professionalism is a multifaceted construct” and is considered to be “an essential component of medical education” (Spampinato et al., 2014).

미국 내과의사 전문성 헌장에 따르면, 전문직업성은 "사회와의 의학 계약의 기초"로 선언되었다(ABIM Foundation et al., 2002; Cruess and Cruess, 2000; Paulina et al., 2006). Cruess and Cruess (1997)가 말한 "전문직 지위는 고유한 권한이 아니다" 그리고 "전문직의 본질은 모든 수준의 의학교육에서 가르쳐져야 한다"는 관념에 따라, 에스코바르-포니와 포니(2006)와 스와르츠(2006)는 전문직업성이 (전체 해부학에서 시작하여 학생들의 의학교육 내내 계속되어) 의대와 레지던시의 모든 측면에서 다루어져야 한다고 생각했다. 

It was declared by the American Board of Internal Medicine’s Charter on Medical Professionalism to be “the basis of medicine’s contract with society” (ABIM Foundation et al., 2002; Cruess and Cruess, 2000; Pawlina et al., 2006). Following the Cruess and Cruess (1997) notions that “professional status is not an inherent right” and that “the substance of professionalism should be taught at all levels of medical education,” Escobar-Poni and Poni (2006) and Swartz (2006) considered professionalism to be something that should to be addressed in all aspects of medical school and residency, beginning with gross anatomy and continuing throughout students’ medical education. 

스와르츠(2006년)가 밝힌 의학 전문성은 "히포크라테스 선서의 지시"를 수행하고 있으며, "수년에 걸쳐 획득된 연속체"이다. 무엇보다도, 의료 교육자들은 [롤모델링이 의대생이 전문 제공자가 되는 길을 교육하는 가장 일반적인 수단]으로 인식되듯, 전문가로서 학생들의 존경을 받기 위해 노력해야 한다. 또는 와인버거(2009년)가 확인한 것처럼 "전문직업성을 가르치는 방법에는 [의학의 예술과 과학에 모두 능통한 임상의사가 전하는 롤모델링]보다 더 좋은 방법은 없다"고 말했다. 
Stated by Swartz (2006), professionalism in medicine “is carrying out the directives of the Hippocratic Oath” and, as such, “is a continuum acquired over a number of years.” Above all, medical educators should strive to be respected at all times by their students as professionals, since role modeling was found by Morihara et al. (2013) to be the most common means of educating medical students on their way to becoming professional providers. Or, as confirmed by Weinberger (2009), “there is no better way to teach professionalism than through the role modeling conveyed by a clinician who is masterful in both the art and the science of medicine.” 

고찰

DISCUSSION

의학 학위를 가지고 있다고 해서 자동적으로 효과적인 의학 교육자가 되는 것은 아니다. 해부학 전문가가 된다고 해서 자동적으로 효과적인 해부학 교사가 되는 것은 아니다. 가르치는 것은 과학이면서 동시에 예술이다. 가르침의 예술과 과학은 모두 앞서 논의한 특징의 혼합에 의해 영향을 받으며, 예술과 과학은 모두 연습을 통해 의식적으로 발전할 수 있다. 가르치는 것은 쉽지 않다. 스트롱지(2007)에 따르면, "5단 스틱 시프트 자동차의 운전석에 오르는 것과 같다. 그 비효율적인 운전자는 가까스로 차를 운전할 수 있지만, 정지 표지판마다 엔진을 꺼버린다. 효과적인 드라이버는 효과적인 교사처럼 특정 목적지로 이동하는 목표를 놓치지 않고 여러 작업과 여러 의미를 능숙하게 동시에 처리합니다." 
Having a medical degree does not automatically make one an effective medical educator; being an expert in anatomy does not automatically make one an effective anatomy teacher. Teaching is as much art as it is a science. Both the art and science of teaching are impacted by a mixture of the characteristics discussed earlier, and both the art and the science can consciously be developed through practice. Teaching is not easy. It is, according to Stronge (2007), “like getting into the driver’s seat of a 5-speed, stickshift automobile. The ineffective driver manages to get the car in gear, but cuts the engine off at every stop sign. The effective driver, like the effective teacher, adeptly and simultaneously handles multiple tasks and multiple meanings without losing sight of the goal of moving toward a specific destination.” 

해리스(2000)는 이 과정을 야구공을 방망이로 꾸준히 치는 속일 정도로 복잡한 행동에 비유했다. 야구공을 치는 행위를 말로 표현하는 것은 어렵지 않지만, "타자가 플레이트에 나설 때 많은 변수가 집중된다"는 것이다. 각각의 특징은 퍼즐 조각으로 볼 수 있지만, 퍼즐을 맞추면 "효과적인 선생님의 초상화가 모양을 잡는다" (Stronge, 2007) 이러한 그림은 모두 [descriptor의 조합]으로 그려져야 합니다. 어떤 영역을 공부하든, 학습은 본질적으로 학습이며, "의학을 배우는 것은 다른 것을 배우는 것과 근본적으로 다르지 않다."(Flexner, 1910)
Harris (2000) likened the process to the deceivingly complex act of consistently hitting a baseball with a bat. The act of hitting a baseball is not hard to describe, but “when a batter steps up to the plate, many variables come into focus.” Each characteristic can be seen as a puzzle piece, but by putting the puzzle together, “a portrait of an effective teacher takes shape” (Stronge, 2007). Any such picture must be painted with a combination of descriptors. Regardless of the area of study, learning is essentially learning, and “learning medicine is not fundamentally different from learning anything else” (Flexner, 1910).

올슈타인과 래슬리(2003)는 우수한 교사를 학생들이 다룰 내용에 관계없이 학습하는지, 어떻게 학습하는지, 그리고 학생들이 학습하도록 확실히 하기 위해 해야 할 일은 모두 하는 사람이라고 묘사했다. 그들은 계속해서 학생들의 능력과 요구에 맞는 어떤 지시 활동이나 자료도 효과적일 수 있다고 강조했다. 바이머(2013)는 어떤 분야에서든 교사의 역할은 교사 가르침보다는 학생들이 배우는 것에 초점을 맞추는 것이어야 한다고 덧붙였다.
Ornstein and Lasley (2003) described excellent teachers as those who focus totally on whether and how students learn regardless of the content to be addressed, and who do anything they have to do in order to make certain that students learn. They went on to emphasize that any instruction matching activities and materials to student abilities and needs could be effective. Weimer (2013) added that the role of teachers in any discipline should be to focus on students learning rather than on teachers teaching. 

Review

Anat Sci Educ. Jul-Aug 2015;8(4):386-94.

 doi: 10.1002/ase.1535. Epub 2015 Apr 22.

Good teaching is good teaching: A narrative review for effective medical educators

Anthony C Berman 1 2

Affiliations collapse

Affiliations

• 1Master of Arts in Teaching Program, School of Education, Hamline University, Saint Paul, Minnesota.
• 2Mayo Clinic College of Medicine, Mayo Clinic, Rochester, Minnesota.

• PMID: 25907166

• DOI: 10.1002/ase.1535

Abstract

Educators have tried for many years to define teaching and effective teachers. More specifically, medical educators have tried to define what characteristics are common to successful teachers in the healthcare arena. The goal of teacher educators has long been to determine what makes an effective teacher so that they could do a better job of preparing future teachers to have a positive impact on the learning of their students. Medical educators have explored what makes some of their colleagues more able than others to facilitate the development of healthcare professionals who can successfully and safely meet the needs of future patients. Although there has historically been disagreement regarding the characteristics that need be developed in order for teachers to be effective, educational theorists have consistently agreed that becoming an effective teacher is a complex task. Such discussions have been central to deciding what education at any level is really all about. By exploring the literature and reflecting upon the personal experiences encountered in his lengthy career as a teacher, and as a teacher of teachers, the author reaches the conclusions that teaching is both art and science, that "good teaching is good teaching" regardless of the learning environment or the subject to be explored, and that the characteristics making up an effective medical educator are really not much different than those making up effective educators in any other area.

Keywords: anatomy teachers; characteristics of effective educators; effective teachers; good teaching; medical education; medical educators; student learning.

© 2015 American Association of Anatomists.

온라인 수업으로 전환에서 너 자신을 존중하라 (Acad Med, 2018)

Honoring Thyself in the Transition to Online Teaching
Lauren A. Maggio, PhD, Barbara J. Daley, PhD, RN, Daniel D. Pratt, PhD, and Dario M. Torre, PhD, MPH, MD

점점 더 많은 보건 직업 교육(HPE) 교수진이 대면 교육(F2F) 교육을 부분적으로 또는 완전히 온라인 교육으로 전환하도록 선택하거나 요구받고 있다. 이러한 많은 교수진에게 온라인 교육/학습 환경은 익숙하지 않은 기술, 변화하는 기대, 알 수 없는 도전으로 새로운 맥락을 제시하는데, 이 모든 것은 [현재의 교육적 또는 교육학적 정체성]에 침식되거나 어긋날 수 있다.
Increasingly, health professions education (HPE) faculty are choosing or being required to transition their face- to-face (F2F) teaching to online teaching, either partially or completely. For many of these faculty members, the online teaching/learning environment presents a new context with unfamiliar technology, changing expectations, and unknown challenges—all of which may erode or chafe against their current teaching or pedagogical identity.


크리스는 교실과 임상 환경 모두에서 의대생들과 함께 일해 왔다. 크리스는 "8년 동안 저는 학생들에게 환자와 정보를 공유하는 방법을 가르치는 것을 즐겨왔습니다. 최근에 모듈을 온라인으로 전환하는 작업을 받았습니다. 직접 강의만 했던 저는 최고의 기술 실무에 대해 읽고 교육 설계 동료들을 만났습니다. 그러나 컨텐츠를 온라인으로 전환하기 위한 준비 과정에서 핵심 구성 요소인 저 자신을 잊어버렸습니다. 예를 들어, 저는 이러한 변화가 교사로서의 접근법과 정체성에 어떤 영향을 미칠지, 더 이상 저와 함께 방에 있지 않을 학습자와의 관계에 어떤 영향을 미칠지 고려하지 않았습니다." 이러한 변화를 만들면서 크리스는 그의 학생들이 온라인 강좌를 들음으로써 어떻게 환자들과 상호작용하고 가르치는 것을 배울 수 있는지에 대해 의문을 품었다. 
Chris has worked with medical students in both the classroom and clinical setting. Chris states, “For eight years, I’ve enjoyed teaching students how to share information with patients as a module in our doctoring course. I was recently tasked with moving my module online. Having only taught in person, I read about best technology practices and met with instructional design colleagues. However, in preparing to transition my content online, I forgot a key component: myself. For example, I did not consider how this transition would impact my approach and identity as a teacher or my relationship with my learners who would no longer be in the room with me.” In making this transition Chris questioned how his students could learn to interact with and teach patients by taking an online course. 

임상의 교육자인 에린은 수년간 의대생과 레지던트들을 가르쳐왔다. 에린의 연구소는 먼 곳의 임상 현장에서 공부하고 있는 점원 학생들을 위해 온라인 모듈을 제공하기로 결정했다. 에린은 "온라인 환경에서 교사로 전환하는 것은 저에게 큰 변화입니다. 선생님으로서 저의 장점은 학습자들과 개별적으로 협력하여 학습자들의 비판적 사고를 발전시키는 것입니다. 저는 우리가 학습자들이 어떻게 인지적 구조를 발전시키고 그들이 어떻게 진보된 실천을 위한 지식 기반을 형성하는지 이해하도록 도울 필요가 있다고 믿습니다. 이를 위해서는 교사와 학습자 간의 심도 있는 토론과 분석이 필요하다. 이런 온라인 환경에 적응하기 위해 교사로서 내가 누구인지, 어떻게 가르치는지를 바꿔야 할 것 같아 걱정된다. 
Erin, a clinician educator, has been teaching medical students and residents for many years. Erin’s institution has decided to offer online modules for clerkship students who are studying at distant clinical sites. Erin states, “Transitioning to teaching in an online environment is a big change for me. My strength as a teacher is how I work individually with learners to develop their critical thinking. I believe we need to help learners understand how they develop their cognitive structures and how they construct a knowledge base for advanced practice. This necessitates in-depth discussion and analysis between teacher and learner. I’m worried that I’ll have to change who I am as a teacher and how I teach to adapt to this online environment.” 

여기서 우리는 [온라인 교육]을 위티치와 동료들이 정의한 대로 정의한다: "지식과 성과를 향상시키기 위한 인터넷 기술의 사용"2 F2F에서 온라인 강의로의 전환은 교수진이 경험하는 관심 수준에 영향을 미칠 수 있다.
Here we define online teaching as Wittich and colleagues have defined it: “the use of internet technologies to enhance knowledge and performance.”2 Transitions from F2F to online teaching can vary greatly in scope, which may influence the level of concern a faculty member experiences.

혼합 학습blended learning은 F2F와 온라인 학습의 융합 및 통합으로, 두 가지 양식의 특성을 결합하여 각각의 기능을 개별적으로 향상시킨다.5
Blended learning is the fusion and integration of F2F and online learning that combines the properties of both modalities to enhance the capabilities of each separately.5

온라인 강의로의 전환의 중요한 구성 요소는 강의가 완전히 온라인이든 혼합이든 간에 [학습 과정이 특정 상황(예: 온라인 토론 포럼, 강의실, 커뮤니티 클리닉)에 위치함situated]을 이해하는 것이다. 학습이 발생하는 맥락context은 교수진과 학습자 모두에게 교육 과정의 모든 요소에 영향을 미친다. 온라인 맥락에서, 교수들은 교육학적 정체성에 중심적인 기존의 가정, 신념, 견해와 일치하지 않는다고 느끼는 방식으로 가르치는 그들 자신을 발견할 수 있다. 의대생과 교직원의 '정체성 부조화identity dissonance'로 알려진 이 부조화는 [좌절과 낮은 자기 가치감]으로 연결되었다. 또한 교수진은 실수로 이러한 불협화음을 학습자에게 전달하여 전체 학습 과정에 영향을 미칠 수 있습니다. 따라서, 특히 의무적인 경우 온라인 교육으로의 전환에 수반될 수 있는 개인적 및 직업적 과제를 모두 예측하는 것이 중요하다.

An important component of the transition to online teaching, whether the teaching will be totally online or blended, is understanding that the learning process is situated in a particular context (e.g., online discussion forum, lecture hall, community clinic). The context in which learning occurs affects all elements of the educational process for faculty members and learners alike. In the online context, faculty may find themselves teaching in ways that feel incongruent with the existing assumptions, beliefs, and views that are central to their pedagogical identity.6 This incongruence, known as “identity dissonance” in medical students and faculty members, has been linked to frustration and low self-worth.7,8 Further, faculty may inadvertently transmit this dissonance to their learners, which can impact the overall learning process.7,9 Thus, it is important to anticipate both the personal and professional challenges that may accompany a shift to online teaching, especially if mandated.


교수진이 온라인으로 강의를 마이그레이션하는 과정에서, 교수개발을 포함한 수많은 자원이 이를 지원할 수 있다. 중요한 것은, 이 교육들 중 어느 것도 교수진의 교육학적 정체성에 대한 함의를 다루지 않았으며, 이 조사에는 의과대학이 포함되지 않았다는 것이다.10
Numerous resources, including faculty development, are available to support faculty as they migrate their teaching online. Importantly, none of these trainings addressed implications for faculty members’ pedagogical identity, and the survey did not include medical schools.10

최근, 카네기 멜론 대학교는 [온라인 강의와 관련된 선도적인 연구에도 불구하고, 그것의 교수진들이 그 연구 결과를 채택하지 못한 이유]를 이해하려고 노력했다. 11 이 문제를 이해하기 위해, 인류학자 로렌 허키스는 1년 동안 교수진을 관찰하고, 인터뷰하고, 조사하고, 기록하는데 시간을 보냈다. 그녀는 특히 온라인 교육을 채택하는 것에 대한 그들의 저항에 초점을 맞췄고, 두 가지 요소가 그녀의 프로젝트에 걸쳐 공통적으로 존재한다는 것을 관찰했다.

Recently, Carnegie Mellon University sought to understand why, despite producing leading research related to online teaching, its own faculty had largely failed to adopt the findings.11 To understand this conundrum, anthropologist Lauren Herckis spent over a year observing, interviewing, surveying, and documenting faculty members. She focused specifically on their resistance to adopting online teaching and observed that two factors were common across her project.

• 첫째, 교직원들은 자신들의 관점에서 효과적인 교사, 즉 그들에게 "좋은 교육"을 구성하는 이미지인 교수들의 이미지에 매달렸다.
• 둘째로, 교수들 사이에서 훨씬 더 강한 저항의 원천은 [교사로서 그들의 개인적인 정체성을 유지해야 하는 필요성]이었다. 그들은 새로운 교수법을 시도함으로써 과거에 효과가 있었던 것에 대한 위험을 무릅쓰고 싶지 않았다. 새로운 교수법을 채택하는 것은 교직원의 교육학적인 정체성에 어긋나는 것으로 보였는데, 이는 전 유능한 교사들과 성공한 교사들의 이미지로 형성되었다. 이와 같이, 이러한 교육학적 정체성은 교수진들이 한 형태의 가르침에서 다른 형태로 이동하는 불협화음, 심지어 저항의 원천이 될 수 있다.
• First, faculty members clung to images of professors who, in their perspective, were effective teachers—that is, images of what, for them, constituted “good teaching.” 
• Secondly, an even stronger source of resistance among faculty was the need to retain their personal identity as a teacher. They did not want to risk what had worked in the past by trying new ways of teaching. Adopting new teaching approaches seemed to run against faculty members’ pedagogical identities, which were formed by images of former effective teachers and of themselves as successful teachers. As such, these pedagogical identities can be a source of dissonance, and even resistance, for faculty moving from one form of teaching to another. 

교육학적 정체성

Pedagogical Identity

가르침teaching이 특정 사람에 의하여 집행enact되기 전에, 이미 가르침이란 사회(또는 전문직 공동체)에 의해 작성되고 승인되는 사회적으로 구성된 역할이다. 교수자는 그 역할을 집행하며, [특정한 맥락에서 '교사'가 되는 것이 무엇을 의미하는지에 대한 기대된 규범에 따른 수행능력을 얼마나 받아들일 수 있는가에] 따라 판단된다. 각 맥락(문화적, 사회적, 기술적)은 교사의 역할에 조건을 부과한다. 이러한 전제조건들은 '교사됨being a teacher'에 대해 수용가능하거나 불가능한 방법의 선입견preconception을 형성한다. 결과적으로, 교사로서, 한 사람이 하는 일의 상당 부분은 그 사람이 특정한 맥락 안에서 "가르침"의 선입견preconception에 얼마나 잘 적응하는가에 기초하여 판단된다. 한 맥락에서 좋은 교사가 되는 것이 다른 맥락에서 그렇다는 것과 반드시 같지 않다.
Teaching is a socially constructed role that is written and authorized by society (or a professional community) well before it is enacted by any particular person. A person enacts the role and is judged according to how acceptable a performance s/he gives in terms of the expected norms of what it means to be “teacher” in a particular context. Each context (cultural, social, professional, or technological) imposes conditions on the role of teacher. These preconditions shape preconceptions of acceptable and unacceptable ways of being a teacher. As a result, much of what a person does, as a teacher, is judged on the basis of how well that person adapts to preconceptions of “teaching” within a particular context. To be a good teacher in one context is not necessarily the same as in another context.

시간이 지남에 따라, 개별 교사들은 [자신과 특정 상황에서 학습자들에게 효과가 있고 효과가 없는 것에 대해 사회적으로 허용되는 일련의 규범]을 개발한다. 이러한 허용 가능한 표준 내에서 유의한 변화가 발생할 수 있으며, 이는 개별 교사들이 그들 자신의 교육학적 정체성을 개발할 수 있게 한다.
Across time, individual teachers develop a socially acceptable set of norms about what works and does not work for them and their learners in particular contexts. Significant variation may occur within those acceptable norms, allowing individual teachers to develop their own pedagogical identity.

우리는 프랫의 교육 관점에 의해 유도되는 비판적 자기 성찰이 교수들이 온라인 강의로 전환될 때 잠재적인 신분 불일치를 인식하고 완화할 수 있게 해줄 것이라고 믿는다.

We believe critical self-reflection guided by Pratt’s teaching perspectives will enable faculty to recognize and mitigate potential identity dissonance as they transition to teaching online.

교육 관점

Teaching Perspectives

온라인 학습에 대한 개인적 경험, 기술 사용에 대한 자기 효능 및 동료의 온라인 교육에 대한 노출을 포함한 여러 가지 요소가 교육 신념에 기여하지만, 아래 단락은 다섯 가지 질적으로 다른 교육 관점을 설명한다. 그들은 254명의 성인을 대상으로 한 교사들을 연구한 결과이며, 그들 중 많은 수가 의료 전문가였다.
Although multiple factors contribute to teaching beliefs, including personal experiences with online learning, self- efficacy in using technology, and exposure to peers’ online teaching, the paragraphs below describe five qualitatively different teaching perspectives . They are derived from studying 254 teachers of adults, many of whom were medical professionals.1,12

전송 Transmission

주로 [전송 관점]을 갖는 교사의 일차적인 책임과 의무는 내용을 정확하고 효율적으로 제시하는 것이다. 전송 교사는 중요한 질문 및/또는 핵심 개념을 사용하여 학습자가 콘텐츠 마스터가 되게끔 해주는 과제를 가이드하면서 학습자를 그 방향으로 이끈다. 그 과정에서 이 교사들은 내용이 어떻게 또는 왜 중요한지 설명하고, 오해를 풀고, 전달 속도를 조절하고, 질문에 답하고, 적절한 피드백을 제공하며, 콘텐츠를 주요 개념으로 다시 연결한다. 그들은 성취에 대한 높은 기준을 세우고 객관적인 학습 평가 수단을 개발한다. 효과적인 전송 교사들은 그들의 주제에 대해 열정적이다. 많은 학습자들에게, 이 선생님들이 특정 과목이나 특기에 관심을 갖게 된 이유였습니다. 

The primary responsibility and commitment for teachers who predominantly identify with the transmission perspective is to present content accurately and efficiently. Transmission teachers use big questions and/or key concepts to orient learners as they guide them through tasks leading to content mastery. Along the way, these teachers explain how or why the content is important, clarify misunderstandings, adjust the pace of delivery, answer questions, provide timely feedback, and link content back to key concepts. They set high standards for achievement and develop objective means of assessing learning. Effective transmission teachers are passionate about their subject. For many learners, these teachers were the reason they became interested in a particular subject or specialty. 

견습 Apprenticeship

[견습 선생님]들은 보통 그들이 가르치는 것에 경험이 많은 실무자들이고, 직장에서의 [Authentic task와 관계에 학습자들을 참여시키기 위해 헌신]한다. 유능한 견습 교사들은 그들의 숙련된 수행의 내면을 드러내고, 학습자가 교수자 내면의 고려사항에 접근할 수 있도록 의미 있는 언어로 번역하는 데 시간을 투자한다. 또한 순서 있는 일련의 과제를 통해 학습자가 [진정한 작업에 참여할 수 있는 기회]를 제공하며, 대개 [단순에서 복잡까지 진행하며 학습자의 역량에 따라 다른 진입 지점]을 허용한다. 견습 교육을 통해 교사들은 [학습자를 특정 커뮤니티로 사회화]하려고 한다. 유능한 견습 선생님들은 [학습자가 독립적으로 무엇을 할 수 있고, 지도가 필요한 곳을 알고 있다]; 그들은 학습자가 자신의 [근위 발달 영역] 내에서 각 학습자를 참여시킨다.13 학습자가 더 유능해짐에 따라, 교사는 방향을 적게 제공하고 더 큰 책임을 제공한다. 크리스는 의대생들에게 그들의 의학적 상태에 대해 가르치는데 도움을 주기 위해 견습생 관점을 사용한다. 
Apprenticeship teachers are usually experienced practitioners of what they teach and committed to engaging learners in authentic tasks and relationships in the workplace. Effective apprenticeship teachers take time to reveal the inner workings of their skilled performance and translate those internal considerations into meaningful language that is accessible to learners. They also provide opportunities for learners to participate in authentic work through ordered sets of tasks, usually proceeding from simple to complex and allowing for different points of entry depending on the learner’s capability. Through apprenticeship teaching, teachers seek to socialize learners into a specific community. Effective apprenticeship teachers know what their learners can do independently and where they need guidance; they engage each learner within his or her zone of proximal development.13 As the learners become more competent, the teacher provides less direction and offers greater responsibility. Chris uses an apprenticeship perspective to assist medical students in teaching patients about their medical conditions. 

발달 Developmental

[발달 교사]는 학습자가 학습해야 할 추론의 형태와 관련되어 있기 때문에 학습자의 사전 지식과 믿음을 이해하고 활성화해야 한다. 그들의 주된 의무는 [복잡하고 정교한 인지 구조의 성장을 촉진]함으로써 [학습자의 추론이나 사고를 발전]시키는 것이다. 이러한 인지 구조를 개발하기 위해서는 두 가지 기술이 필수적입니다.

• (1) 학습자가 비교적 단순한 형태의 추론에서 보다 복잡한 형태의 추론으로 이동하도록 하는 질문을 사용하는 것과
• (2) 학습자가 자신만의 이해를 구성하기 위해 해결책과 답변제공을 "주차"하거나 지연시키는 것입니다.

[질문, 문제, 사례, 예시]는 이러한 교사들이 학습자를 단순한 사고와 추론 방식에서 새롭고 더 복잡하고 정교한 추론 형태로 이동시키기 위해 사용하는 다리를 형성한다. 효과적인 발달 교사는 특히 [학습 초기 단계에서 학습자의 이해 수준과 사고 방식에 자신의 지식을 맞춥adapt]니다. 에린은 학생들이 사고력을 개발하는 데 도움을 주기 위해 개발적 관점을 사용한다. 

Developmental teachers must understand and activate learners’ prior knowledge and beliefs as they relate to the form of reasoning to be learned. Their primary commitment is to developing learners’ reasoning or thinking by fostering the growth of complex and sophisticated cognitive structures. Two skills are essential to developing those cognitive structures:

• (1) using questions that challenge learners to move from relatively simple to more complex forms of reasoning, and
• (2) “parking” or delaying the provision of solutions and answers to allow learners time to construct their own understanding.

Questions, problems, cases, and examples form bridges that these teachers use to transport learners from simpler ways of thinking and reasoning to new, more complex and sophisticated forms of reasoning. Effective developmental teachers adapt their knowledge to learners’ levels of understanding and ways of thinking, particularly in early stages of learning. Erin uses a developmental perspective to assist students in developing their thinking skills. 

양육 Nurturing

[양육적 교사]들은 [기대가 명확하고 지적 도전과 정서적 지지의 균형]이 동반될 때 학습자들이 더 의욕적이고 생산적이라고 믿는다. 그들의 주된 의무는 [신뢰할 수 있는 학습자-교사 관계를 발전시키는 것]이다. 그들은 학습자의 자아개념이 위협받을 때 학습이 저해된다고 믿는다. 따라서 효과적인 육성 교사는 학습자가 교육에 대한 통제감을 느끼고, 타인과 협력적으로 일하고, 자신의 업무가 공정하고 정직하게 고려될 것으로 믿고, 자신의 노력에 대한 높은 평가를 미리 받을 수 있는 학습 환경을 조성한다. 양육적 교사는 자신의 기준을 낮추지 않으며, 학습자가 필요한 것을 하지 않게 봐주지도 않는다. 오히려, 그들은 학습자로 하여금 도전적이지만 달성 가능한 목표를 세우는 것을 돕고, 노력뿐만 아니라 성취도 인정하고, 개인의 성장과 절대 성취도 인정한다. Chris와 Erin 둘 다 각각의 지배적인 관점에 더하여 양육의 관점과 강하게 동일시한다.
Nurturing teachers believe that learners are more motivated and productive when expectations are clear and accompanied by a balance of intellectual challenge and emotional support. Their primary commitment is to developing a trusting learner–teacher relationship. They believe that learning is diminished when the learner’s self-concept is threatened. Effective nurturing teachers, therefore, create a learning environment that provides conditions in which learners feel a sense of control over their education, work collaboratively with others, believe their work will be considered fairly and honestly, and receive feedback in advance of high-stakes assessment of their efforts. Nurturing teachers do not lower their standards, nor do they excuse learners from doing what is required; rather, they help learners set challenging, but achievable goals; acknowledge effort as well as achievement; and recognize individual growth as well as absolute achievement. Both Chris and Erin identify strongly with the nurturing perspective in addition to their respective dominant perspectives. 

사회 개혁 Social reform

[사회 개혁 교사]의 일차적인 의무는 [현상을 비판하고 변화시키는 것]이다. 사회 개혁 교사들은 기존의 관행에 의문을 제기하고 학생들이 특정한 강의와 관행 내에서 어떻게 위치하고 구성되는지를 고려하도록 장려한다. 효과적인 사회 개혁 교사는 학습자가 [일반적인 관행을 분석하고 해체]하는 데 도움을 주며, [기존 관행이 어떤 방식으로 현실적 또는 윤리적 이유로 허용되지 않는 조건을 지속시키고 있는지]를 찾게 한다. 이 선생님들은 담론과 인공물을 심문interrogate하면서, 다음을 관찰한다.

• 무엇이 말해지고 무엇이 언급되지 않는가
  
• 무엇이 포함되고 무엇이 배제되는가
  
• 누가 대표되고 누가 생략되는가

그들은 학생들이 [그들 자신의 삶과 다른 사람들의 삶을 개선하기 위한 행동]을 취하기 위해 [비판적인 시각을 채택]하도록 장려한다. [비판적 해체]는 이 견해에 중심적이기는 하지만 그 자체로는 끝이 아니다. 목표는 단순히 세계에 대해 배우는 것이 아니라 오히려 그것을 개선하는 것이다. The primary commitment of the social reform teacher is to critique and change the status quo. Social reform teachers question existing practices and encourage students to consider how they are positioned and constructed within particular discourses and practices. Effective social reform teachers help learners analyze and deconstruct common practices, looking for ways in which those practices perpetuate conditions that are unacceptable for practical or ethical reasons. These teachers interrogate discourses and artifacts of practice, observing 

• what is said and what is unsaid; 
• what is included and what is excluded; and 
• who is represented and who is omitted. 

They encourage their students to adopt a critical view to take action to improve their own lives and the lives of others. Critical deconstruction, though central to this view, is not an end in itself; the goal is not just to learn about the world but, rather, to improve it.

교육 관점 인벤토리

The Teaching Perspective Inventory

HPE 교수진을 포함한 교사는 TPI(Teaching Perspectives Inventory)를 완료하여 지배적이고 "백업" 교육 관점을 결정할 수 있습니다. TPI는 5가지 대조적인 관점에서 교사의 자기 보고 행동, 의도 및 신념을 측정하고 응답자에게 교육학적 정체성의 프로파일을 제공한다.14 
Teachers, including HPE faculty, can determine their dominant and “backup” teaching perspectives by completing the Teaching Perspectives Inventory (TPI). The TPI measures teachers’ self-reported actions, intentions, and beliefs across the five contrasting perspectives and provides respondents with a profile of their pedagogical identity.14 

어떤 특정한 교육 관점이 다른 어떤 것보다 전반적으로 더 나은 것은 없다. 각각의 관점은 특정한 목표, 가치, 학습자 및 맥락과의 정렬에 따라 좋은 가르침이나 나쁜 가르침의 잠재력을 지니고 있다. 그러나, 그것들은 대조적이고 때로는 경쟁적인 교사와 학습의 관점을 나타내기 때문에, 각 교사마다 더 중요시하는 관점이 있다.

No particular teaching perspective is universally better than any other; each holds the potential for good or poor teaching, depending on its alignment with specific goals, values, learners, and contexts. However, because they represent contrasting and sometimes competing views of teaching and learning, individual teachers value some perspectives more than others.


교육 관점 및 온라인 교육으로 전환

Teaching perspectives and transitioning to teaching online

HPE 교수진이 온라인으로 교육하는 것으로 전환함에 따라, 그들은 온라인 상에서 어떻게 효과적일 수 있는지 뿐만 아니라 그들이 경력을 통해 발전시킨 기술, 능력, 지배적인 교육 관점을 존중하는 방식으로 어떻게 가르칠 수 있는지 자문할 수 있다. 표 1에서As HPE faculty transition to teaching online, they may ask themselves not only how they can be effective online but also how they might teach in a way that honors the skills, abilities, and dominant teaching perspective that they have developed over their careers. In Table 1,

고찰 및 함의

Discussion and Implications

온라인 상황으로 교육을 전환하는 것처럼 중대한 변화를 겪을 때 자기 성찰 과정에 참여하는 것이 도움이 될 수 있습니다. 성찰은 혼자서 할 수도 있고 교수개발 이니셔티브의 구성요소로 할 수도 있다. 자기 자신의 지배적인 교육적 관점포함하여 교육의 여러 차원에 대해 성찰해본다면, 성장을 촉진할 수 있다. 온라인 교육으로의 전환은 교수진이 새로운 교육학적 이해와 전략을 구축하기 위해 참조 프레임을 검토하고, 원할 경우 변환하도록 하는 "혼란스러운 딜레마"로 작용할 수 있다.15

As when experiencing any significant shift, faculty transitioning their teaching to an online context may find it helpful to engage in a process of self-reflection—either as a solitary process or as a component of a faculty development initiative. Reflecting on the different dimensions of their teaching, including their dominant teaching perspective, may nurture growth. The transition to online teaching can act as the “disorienting dilemma” nudging faculty to examine and, if desired, transform their frames of reference to build new pedagogical understandings and strategies.15 

개인의 교육학적 정체성을 훼손하지 않는 새로운 교육 접근법을 발견하는 것은 교수진이 온라인 또는 혼합된 교육 접근법의 맥락에서 그들의 교육을 보고, 적응하고, 결국 향상시킬 수 있는 성찰적 렌즈일 수 있다. 
Discovering new approaches to teaching that do not undermine a person’s pedagogical identity may be the reflective lens by which faculty can view, adapt, and eventually enhance their teaching in the context of an online or blended teaching approach. 

또한 [교육적 관점]을 이해하면 교수진이 온라인 기술을 활용할 때 [자신의 지배적 관점]을 쉽게 사용할 수 있는 방법에 대해 비판적으로 생각하게끔 도와줄 수 있다.
Additionally, understanding the teaching perspectives can assist faculty to think critically about how they might leverage online technologies to facilitate the use of their dominant perspective. 

지배적인 관점을 식별하고 존중하는 것이 교수진에게 중요하지만, 외부 힘(학습자의 요구, 내용, 기술)은 때때로 다른 관점의 요소를 채택하도록 요구할 수 있다. 예를 들어, 크리스의 지배적인 관점은 견습 교육을 하는 것이다. 그러나 그의 기관이 이러한 관점을 뒷받침할 기술 인프라가 부족할 경우, 그는 다른 관점에서 전환할 것을 고려할 필요가 있을 수 있다. 대안적 관점을 채택할 때, 교수진들은 그들의 지배적인 관점의 어떤 요소가 그들의 교육학적 정체성에 필수적인지 반성하고 그러한 요소를 가장 잘 유지하는 방법을 고려해야 한다.

Although identifying and honoring their dominant perspectives is important for faculty, external forces (learner needs, content, technology) may at times require them to adopt components of other perspectives. For example, Chris’s dominant perspective is apprenticeship teaching. However, if his institution lacks the technology infrastructure to support this perspective, he may need to consider shifting to an alternate perspective. In adopting alternate perspectives, faculty members should reflect on which elements of their dominant perspective are essential to their pedagogical identity and consider how to best retain those elements.

교수 개발

Faculty development

온라인 교육의 질은 일반적으로 비판받아 왔다.16 양질의 온라인 교육(특히 강사에 대한 학습자의 만족도 향상)을 제공하는 한 가지 요소는 교수진 개발이다.17
The quality of online education has been generally criticized.16 One pillar of providing quality online education— specifically, enhancing learners’ satisfaction with the instructors—is faculty development.17

(see Table 2).

우리는 TPI와 다섯 가지 교육 관점을 통합하면 (이미 많은 비판을 받은) 온라인 강의의 전반적인 질을 향상시킬 것으로 생각한다. 
We propose that integrating the TPI and five teaching perspectives will improve the overall quality of online teaching, which, as noted, has been criticized.16,20,21

교육적 관점을 통합하는 교수개발은 참가자가 강의를 온라인 컨텍스트로 전환하기 전, 후, 그리고 그 전에 성찰할 시간을 필요로 할 것이다. 그러한 프로그램은 교수진이 지배적인 교육 관점을 식별하고 이러한 관점을 온라인 환경에 통합하기 위한 접근 방식을 개발하는 데 중요한 역할을 할 수 있다. 이런 방식으로 교수진 개발 프로그램은 커리큘럼 개발자와 다른 사람들이 교수진들이 자신의 콘텐츠뿐만 아니라 교육학적 정체성까지 온라인 컨텍스트로 전환하면서 느끼는 불편함을 파악하고 존중하고 정상화하는 데 도움이 될 수 있다.
Faculty development that integrates the teaching perspectives would require time for participants to reflect before, while, and after they transition their teaching to an online context. Such programs could play a critical role in helping faculty identify their dominant teaching perspectives and develop approaches to integrate these perspectives into online environments. In this way, faculty development programs could help curriculum developers and others begin to identify, respect, and normalize the unease that faculty members feel as they transition not just their content but also their pedagogical identity to online contexts.

미래 연구

Future research

결론

Conclusions

HPE 교수진들이 그들의 강의를 온라인으로 옮기면서, 그들은 가르치는 것에 대한 그들의 가정과 신념에 맞지 않는 방식으로 가르치는 그들 자신을 발견할지도 모른다. 이러한 정체성 부조화는 교수진의 불만족과 좌절로 이어질 수 있으며, 학생들이 잠재적으로 suboptimal한 학습 경험을 할 수 있다.

As HPE faculty move their teaching online, they may find themselves teaching in ways that are dissonant with their assumptions and beliefs about teaching. This identity dissonance may lead to dissatisfaction and frustration for the faculty and potentially suboptimal learning experiences for students.

14 Pratt DD, Collins JB. Teaching perspectives inventory. http://www.teachingperspectives.com/tpi/. Updated 2014. Accessed May 1, 2018.

Acad Med. 2018 Aug;93(8):1129-1134.

 doi: 10.1097/ACM.0000000000002285.

Honoring Thyself in the Transition to Online Teaching

Lauren A Maggio 1, Barbara J Daley, Daniel D Pratt, Dario M Torre

Affiliations collapse

Affiliation

• 1L.A. Maggio is associate professor of medicine and associate director of distributed learning and technology, Graduate Programs in Health Professions Education, Uniformed Services University of the Health Sciences, Bethesda, Maryland; ORCID: https://orcid.org/0000-0002-2997-6133. B.J. Daley is professor of adult and continuing education, Department of Administrative Leadership, School of Education, University of Wisconsin-Milwaukee, Milwaukee, Wisconsin: ORCID: https://orcid.org/0000-0002-3054-4071. D.D. Pratt is senior scholar, Centre for Health Education Scholarship, and professor emeritus of education, University of British Columbia, Vancouver, British Columbia, Canada. D.M. Torre is associate professor of medicine and associate director of evaluation and long-term outcomes, Graduate Programs in Health Professions Education, Uniformed Services University of the Health Sciences, Bethesda, Maryland.

• PMID: 29742615

• DOI: 10.1097/ACM.0000000000002285

Abstract

Increasingly, health professions education (HPE) faculty are choosing or being required to transition their face-to-face teaching to online teaching. For many faculty, the online learning environment may represent a new context with unfamiliar technology, changing expectations, and unknown challenges. In this context, faculty members may find themselves teaching in ways that are dissonant with the existing assumptions, beliefs, and views that are central to their pedagogical or teaching identity. This "identity dissonance" may lead to dissatisfaction and frustration for faculty members and potentially suboptimal learning experiences for students. In this Perspective, the authors propose that faculty consider using Pratt's five teaching perspectives as a conceptual framework to recognize and mitigate potential identity dissonance as they transition to teaching online. Derived and refined through several years of research, these teaching perspectives are based on interrelated sets of intentions and beliefs that give direction and justification to faculty members' actions. They have been used in higher education to improve faculty satisfaction, self-reflection capabilities, and faculty development. The authors, therefore, believe that these teaching perspectives hold the potential to help HPE faculty enhance their teaching and retain their primary teaching identify, even as they shift to online teaching. Doing so may ensure that the components of teaching they enjoy and draw self-efficacy from are still central to their teaching experience. Pratt's teaching perspectives also provide a conceptual framework for creating future faculty development initiatives and conducting research to better understand and improve the experience of transitioning to online teaching.

1과 0: 인공지능의 시대에 의학교육과 이론(Med Educ, 2020)

Ones and zeros: Medical education and theory in the age of intelligent machines
Brian D. Hodges

처음에는 의학교육의 이론 활용이 다소 희박하다는 사실에 놀랐다. 나는 'T' 단어가 어떤 사람들에게는 알레르기 반응을 유발할 수 있다는 것을 관찰했다. 내가 들은 [응용 분야]에서는, 단지 일을 완수하는 데 더 큰 가치가 부여된다.
At first, I was surprised to find medical education's use of theory rather sparse. I observed that the ‘T’ word could induce an allergic reaction for some. In an applied field I was told, greater value is given to just getting things done.

요소들이 무엇이든 간에, 의학 교육은 '(어떤 이론적, 개념적인 틀이 아니라) 전통, 의식, 문화, 그리고 역사의 결과'였던 분야가 더 이상 아니다. 
Whatever the factors, medical education is moving away from being a field that has been more often ‘the result of tradition, ritual, culture, and history than of any easily expressed theoretical or conceptual framework.’4

나는 누군가의 이론적 관점을 밝히는 가장 빠른 방법은 '왜 당신은 _____가 진실이라고 믿는가?'라고 묻는것임을 발견했다. 장소가 회의 패널일 때 대화는 더욱 풍성해진다. 이 세상을 이해하려고 노력하는 사람들 사이의 논의에서 이론이 살아난다.
I discovered the quickest way to illuminate someone's theoretical perspective is to ask ‘Why do you believe that _______ is true’? The dialogue becomes even richer when the venue is a conference panel. Theory comes to life in the discussions between people who are trying to make sense of the world.

내가 [의학교육에 고정된 진실은 없다고 믿고 있으며, 모든 '진실'은 그것이 말해지는 장소와 역사적 시대의 산물]이라고 말한다면, 이를 받아들일 준비가 되어 있는 청중들이 30년 전보다 더 많이 있을 것이라고 생각한다. 헌신적인 구성주의자로서, 제 견해는, 예를 들어, '전문직업성'이라고 불리는 것이, 모든 장소와 시대에 사실이라고 말할 수 있는 것은 없다는 것입니다. 전문가의 이미지는 시간, 장소, 문화에 맞게 구성되고 재구성됩니다.5
I suspect there is a larger audience than three decades ago prepared to accept me saying that I believe there are no fixed truths in medical education; that every ‘truth’ is a product of the place and historical era in which it is uttered. As a committed constructivist, my view is that there is no one thing called ‘professionalism’, for example, that can be said to be true in all places and times. The image of a professional is constructed and reconstructed to fit time, place and culture.5

마찬가지로, 양적 영역에서는 [숫자가 사물을 아름답게 나타낼 수 있지만 숫자가 진실이라고 말할 수 없다]는 것이 더 널리 받아들여지고 있다. 자연적, 물질적, 특히 행동적 현상을 숫자로 변환하는 것은 부정확한 행위이다. 정보가 손실되는 것이다. 객관성을 전달함에도 불구하고 숫자는 진실의 하나의 가능한 표현일 뿐이다.
Similarly, in the quantitative domain, there is greater acceptance that, although numbers can beautifully represent things, numbers cannot be said to be truth. The conversion of natural, material and especially behavioural phenomena to numbers is an imprecise act. Information is lost. Numbers, despite conveying a sense of objectivity, are only one possible representation of truth.

오늘날 나는 우리의 분야에 걸쳐 이론적인 프레임워크가 견고하게 배치되는 것을 보게 되어 자랑스럽다. 치료 방식을 선택하는 임상의처럼, 의학 교육자들은 다른 문제들이 다른 관점을 필요로 한다는 생각에 익숙해지고 있다. 여러 종류의 못에다 대고 하나의 망치를 계속 휘두르려는 시도가 줄어든 것 같다
Today I am proud to see theoretical frameworks deployed robustly across our field. Like clinicians choosing treatment modalities, medical educators are becoming comfortable with the idea that different problems require different perspectives. I see fewer attempts to keep swinging at different kinds of nails with just one hammer ‒

그러나 최근까지 나는 이론에 대한 이해력이 있는 것이 우리 분야에서 '좋다'고 생각했다. 그러나 의학교육은 변곡점에 이르고 있다: 변곡점이란 [진실의 위기]이다.7 이 위기는 두 가지 기원을 가지고 있다: 하나는 정치적이고 하나는 기술적이다. 첫 번째 예로, 진실을 구성하는 데 큰 능력을 가진 정치 지도자들의 등장은 진리 이후의 시대를 이끌었다.
Until recently, however, I thought that having a grasp of theory was ‘nice to have’ in our field. But medical education is reaching an inflexion point: that inflexion point is a crisis of truth.7 This crisis has two origins: one is political and one is technological. In the first instance, the rise of political leaders with great facility for constructing truths has ushered in a post-truth era.


네덜란드 위트레흐트대 전 총장인 프랭크 미데마 교수는 발표된 전체 과학연구의 75%가 거짓일 수 있다고 지적하며 가짜뉴스의 출현을 규탄했다.8 그는 이것을 발견의 조기발표를 하는 중매화된 출판업계와 소시지 제조에 보상을 주는 학술진흥 문화 탓으로 돌린다. 진실의 위기의 이런 차원이 의학교육에서 우리에게 도달한 것일까? 의과대학과 교수진들은 미디어에서 그들의 이미지를 큐레이션 해야 한다는 압력을 확실히 알고 있다. 
Professor Frank Miedema, former President of Utrecht University in the Netherlands has decried the rise of fake news in science, noting that up to 75% of all published scientific research may be false.8 He blames this on a mediatised publication industry that prizes premature announcements of discoveries and a culture of academic promotion that rewards sausage making. Has this dimension of the crisis of truth reached us in medical education? Medical schools and faculty members are certainly aware of the pressure to curate their images in the media. 


하지만, 진실의 위기의 또 다른 근원인 인공지능과 빅데이터의 출현은 이미 우리에게 영향을 미치고 있다. 우리의 시대는 진실을 판가름할 알고리즘의 기준점을 만들기 위해 거대한 데이터베이스가 모여들고 있는 시대이다. 예를 들어 피부 병변이 있는 경우 오늘날 AI 기반 알고리즘은 병변이 악성일 가능성을 높은 정확도로 알려줄 수 있다. 즉, 만약 당신이 백인이라면, 그리고 하얀 피부를 가진 사람들로부터 데이타베이스를 축적했다면, 그것은 높은 정확도를 가질 것입니다. 하지만, 피부가 검다면 진단의 정확성은 다를 것이다. 
However, the other origin of the crisis of truth ‒ the rise of artificial intelligence and big data ‒ is already affecting us. Ours is an era in which huge databases are being amassed to create the reference points for algorithms that will adjudicate truth. For example, if one has a skin lesion, an AI-driven algorithm today can tell you with a high degree of accuracy the probability that the lesion is malignant. That is, it will have a high degree of accuracy if you are white and the database was amassed from people with white skin. If you have dark skin, the accuracy (dare I say truth) of the diagnosis will be something else. 

우리가 시험을 분석하고, 의사소통 기술을 이해하거나, 학습과 개발을 연구하기 위해 사용한 많은 이론들 중, 기계 시대의 진실은 말할 것도 없고, 진실의 의미를 심문하는 일에 부응하는 것은 거의 없다. 백신 반대 운동, 과학에 대한 불신, 입시 산업에 대한 믿음의 붕괴 또는 소셜 미디어에서의 가짜 뉴스의 전파에 직면하여, 보다 강력한 이론적 도구가 필요하다.

Of the many theories that we have used to help us analyse examinations, to understand communication skills or to study learning and development, very few are up to the task of interrogating the meaning of truth, let alone truth in a machine age. Faced with the anti-vaccination movement, the discrediting of science, the collapse of faith in the entrance examination industry or the propagation of fake news in social media, more powerful theoretical tools are needed.

Med Educ. 2020 Aug;54(8):691-693.

 doi: 10.1111/medu.14149. Epub 2020 Apr 22.

Ones and zeros: Medical education and theory in the age of intelligent machines

Brian D Hodges 1

Affiliations collapse

Affiliation

• 1Wilson Centre for Research in Education, Toronto General Hospital, University of Toronto, Toronto, ON, Canada.

• PMID: 32160340

• DOI: 10.1111/medu.14149

인간과 기계: 임상추론학습의 공생적 접근을 위하여(Med Teach, 2019)

Humans and machines: Moving towards a more symbiotic approach to learning clinical reasoning
Ralph Pinnocka , Jenny McDonaldb , Darren Ritchiec and Steven J. Durningd,e

도입

Introduction

인공지능(AI)은 헬스케어를 비롯한 많은 직업에서 대규모 변화를 가속화할 것이 확실시되는 성장현상이다. 아마도 AI가 의료에 가져올 가장 중요하고 도전적인 변화는 환자를 어떻게 진단하느냐일 것이다(마스터 2019). 
Artificial Intelligence (AI) is a growing phenomenon that is certain to accelerate wide-scale changes in many professions including healthcare. Perhaps the most significant and challenging change that AI will bring to health care is how we diagnose patients (Masters 2019). 

우리는 지금이 [학부 교과과정의 임상 추론에 대한 우리의 가르침에 AI를 어떻게 통합할 것인지] 고려해야 할 때라고 생각한다.

We believe that now is the time to consider how we will incorporate AI into our teaching of clinical reasoning in the undergraduate curriculum.

임상추론

Clinical reasoning

임상추론이란 [의사가 특정 상황과 선호도에 기초하여 환자를 진단하고 관리하기 위해 정보를 관찰, 수집 및 분석하는 데 사용하는 인지 과정]이다(Eva et al. 2007; Durning and Artino 2011). 임상 추론을 가르치려는 명시적 시도에는 다음을 포함한다.

• 인지 과정(예: 이중 프로세스 이론)과 이 두 프로세스 각각에 관련된 전략(예: 주요 특징 및 패턴 인식)을 가르치고,
• 이러한 전략의 사용의 유연성을 강조하며,
• 의도적(노력적) 실천의 필요성과 지식 획득 및 지식의 조직화(정보가 실제로 효율적이고 효과적으로 회수될 수 있도록 기억 속에서 서로 얽히거나 엮이는 방법을 참조하는 것)의 중요성을 강조하는 것
• 패턴 인식, 가설 추론 및 메타 인지(자신의 생각을 반영하는 것)은 임상 추론을 이해하는 데 있어 종종 기초적인 것으로 강조되는 임상 추론 전략이다(찰린 외 2007; 리 외 2010; 크로커리 외 2013; 게이 외 2013; 렌치 외 2016). 

Clinical reasoning is the cognitive processes physicians use to observe, collect, and analyse information to diagnose and manage a patient based on their specific circumstances and preferences (Eva et al. 2007; Durning and Artino 2011). Explicit attempts to teach clinical reasoning have included

• teaching both cognitive processes (e.g. dual process theory) and strategies pertaining to each of these two processes (e.g. key features and pattern recognition),
• emphasizing flexibility in use of these strategies,
• the need for deliberate (effortful) practice and stressing the importance of knowledge acquisition and its organization (latter referring to how information is believed to be intertwined or weaved in memory so that it can be efficiently and effectively recalled in practice).
• Pattern recognition, hypothetico-deduction and metacognition (reflecting on one’s thinking) are clinical reasoning strategies that are often emphasized as fundamental to understanding clinical reasoning (Charlin et al. 2007; Lee et al. 2010; Croskerry et al. 2013; Gay et al. 2013; Rencic et al. 2016). 
  
  인공지능

Artificial intelligence

AI라는 용어는 1950년대에 인간 지능과 학습의 측면을 정확하게 기술하여 기계로 시뮬레이션할 수 있도록 하기 위해 만들어졌다. 
The term AI was first coined in the 1950s as the precise description of aspects of human intelligence and learning such that it can be simulated by machines (Shannon and McCarthy 1956). 

수년 동안, AI에 대한 많은 정의가 제안되었다(Russell and Norvig 2009). 한 가지 핵심 쟁점은 인공지능이 의미하는 바를 정의하는 어려움과 관련이 있다. 
Over the years, many definitions of AI have been proposed (Russell and Norvig 2009). One key issue relates to the difficulty of defining what we mean by artificial intelligence. 

우리는 진단 의료 환경에서 AI를 [정확한 임상 진단을 지원하거나 만드는 것을 목표로 하는 모든 계산 과정]으로 정의한다. 따라서 AI는 임상 추론을 모방하는 것을 목표로 하는 유방 촬영의 병변 분류와 같은 특정 인식 작업recognition task을 위한 시스템을 포함할 수 있다. 예를 들어, 열이 있는 어린 아이가 더 사소한 바이러스 감염인지 아니면 생명을 위협하는 심각한 박테리아 감염인지를 진단하는 방법(Liang et al. 2019). 
we define AI in the diagnostic health care context as any computational process that has as its goal supporting or making the correct clinical diagnosis. Thus, AI can include systems for specific recognition tasks such as the classification of lesions in mammograms to more complex problems, which aim to emulate clinical reasoning. For example, howto diagnose whether a young child who presents with fever has a more trivial viral infection or a life-threatening serious bacterial infection (Liang et al. 2019). 


전통적으로 환자의 프레젠테이션 진단은 의사의 배타적 영역이었다. 보다 최근에는 진단 정확도를 높이기 위한 방법으로 환자와 다른 전문 의료진의 진단 프로세스에 대한 기여가 제안되었다(Graber et al., 2012). 
Traditionally, the diagnosis of a patient’s presentation has been the exclusive domain of physicians. More recently, contributions to the diagnostic process from the patient and other professional healthcare staff have been proposed as ways to improve diagnostic accuracy (Graber et al. 2012). 

최근 AI의 발전은 지금과같은 [진단에서의 인간의 배타적 역할]에 도전하고 있다. 따라서 임상 실무에서 임상의는 환자의 프레젠테이션과 관련된 특정 정보를 기기에 제시하거나(Zorc et al. 2019) 환자 기록에서 필요한 정보를 얻고 진단하기 위해 교과서, 데이터베이스 및 합의된 의견으로부터 정보를 사용하도록 기기를 훈련시킬 수 있다(Liang et al. 2019). 
Recent developments in AI are now challenging the exclusive role of humans in diagnosis. Thus, in clinical practice clinicians can present specific information relevant to the patient’s presentation to the machine (Zorc et al. 2019) or the machine can be trained to obtain the necessary information from the patients’ records and use information from textbooks, databases and consensus opinions to diagnose (Liang et al. 2019). 

AI가 빠르게 변화하는 기술이고 앞으로도 변화가 일어날 것이라는 점이 AI를 가르치는 과제 중 하나다.

One of the challenges of teaching AI is that it is a rapidly changing technology and changes will continue to occur. 

임상 추론을 지원하기 위한 AI의 최근 발전
Recent developments in AI to support clinical reasoning

임상 추론을 모방하려는 초기 [규칙 기반 시도]는 질병 모델이 없는 상태에서 운영되었기 때문에 대부분 실패했다(Szolovits et al., 1988). 나중에, 전문가 시스템은 이 문제를 해결하려고 시도했지만 복잡했고, 개발하는 데 수 년의 전문가 노동력이 걸렸고, 개발된 특정 영역(Lenat 및 Feigenbaum 1991)을 넘어서서 취약했다. 문제 해결에 대한 통계적 접근법(기계 학습이라고도 함)은 세기가 바뀔 무렵에 인기를 얻기 시작했으며, 지난 10여 년 동안 데이터 처리 능력과 스토리지의 발전은 이전에는 상상할 수 없었던 규모(Marcus 2018)에서 데이터를 다루는 방법을 제공하였다. 
Early rule-based attempts to emulate clinical reasoning largely failed because they operated in the absence of models of disease (Szolovits et al. 1988). Later, expert systems attempted to address this but were complex, took years of expert labour to develop and were fragile beyond the specific domains for which they were developed (Lenat and Feigenbaum 1991). Statistical approaches to problem solving (also called machine learning) began to find favour around the turn of the century and in the last decade or so, advances in data processing power and storage have provided a way of dealing with data (for purposes such as clinical reasoning) on a previously inconceivable scale (Marcus 2018). 

AI의 한 분야일 뿐인 머신러닝은 패턴인식을 활용한 영상 차별화를 컴퓨터에 가르칠 수 있게 해 임상 실무에서 상태 진단에 도움을 주는 데 활용되고 있다. 예를 들어, 기계는 흑색종의 초기 단계(Esteva et al. 2017)와 당뇨망막병증의 초기 망막 변화(De Fauw et al. 2018)를 진단하는 데 사용된다. 
Machine learning, which is just one branch of AI, makes it possible to teach computers to differentiate images using pattern recognition and is now being used to help diagnose conditions in clinical practice. For example, machines are used to diagnose early stages of melanoma (Esteva et al. 2017) and early retinal changes of diabetic retinopathy (De Fauw et al. 2018). 

기계 학습은 이미지뿐만 아니라 모든 소스의 데이터를 사용할 수 있습니다. 최근에는 인공신경망(ANN – 대뇌피질의 신경 연결성에 의해 느슨하게 영감을 받는 기계 학습 접근법)이 전자 환자 건강 기록, 진단 테스트 및 영상(Marcus 2018)을 사용하여 복잡한 환자 표시를 해결하기 위해 적용되고 있다. 이러한 네트워크는 자연어 처리를 사용하여 전자 건강 기록에서 환자 프레젠테이션의 세부 정보와 교과서, 데이터베이스 및 합의된 의견에서 가능한 원인 질환의 특징에 모두 액세스하여 특정 임상 조건을 진단하는 데 사용할 수 있다(Lang 등. 2019).
Machine learning can use data from any source, not just images. Recently, artificial neural networks (ANN – a machine learning approach which is loosely inspired by neuronal connectivity in the cerebral cortex) have been applied to solve complex patient presentations using electronic patient health records, diagnostic tests and imaging (Marcus 2018). Using natural language processing these networks can access both details of patients’ presentations from electronic health records and features of possible causative disorders from textbooks, databases and consensus opinions and use them to diagnose specific clinical conditions (Liang et al. 2019).

AI가 임상 실무에서 사용될 수 있는 방법은 무수히 많다. 우리는 의사들이 AI를 그들 자신의 추론을 대체하는 것이 아니라 진단 정확도를 향상시키기 위해 그들의 practice를 향상시키는 것으로 보아야 한다고 제안한다. AI는 의사들에게 환자의 프레젠테이션에 대해 가능한 광범위한 진단을 알리는 의사 결정 지원 도구로 점점 더 많이 사용되고 있다(Graber et al., 2012).

There are numerous ways that AI can be used in clinical practice. We suggest that doctors should view AI as augmenting their practice to improve diagnostic accuracy rather than as a substitution for their own reasoning. AI is increasingly being used as a decision support tool to alert physicians to a wide range of possible diagnoses for a patient’s presentations (Graber et al. 2012).

치료를 위해 환자를 트리아지하는 것도 AI의 또 다른 가능성 있는 역할이다. 교육 초기(일부 국가에서는 임상 전 기간으로 알려져 있음)의 학생과 지속적인 교육에서 의사가 [자신의 진단]을 [기계의 진단]과 비교할 수 있는 교육 보조 역할을 모색하고 있다. 
Triaging patients for treatment is another possible role for AI. Its role as a teaching aid where students early in their training (known as the preclinical period in some countries) and physicians in their continuing education can compare their own diagnosis with that of a machine is being explored. 

훈련 초기 의사에게 AI는 심각한 상태와 덜 심각한 상태를 구별하는 데 도움을 줌으로써 일반적인 프레젠테이션에서 진단을 지원하는 데도 사용될 수 있다. (Lang et al., 2019) 방사선과 의사가 일상적인 흉부 X선 판독 작업에서 벗어나면 중재적 시술에 더 많은 시간을 할애할 수 있다(Annarumma et al. 2019).

For doctors early in their training AI can also be used to support their diagnosis in common presentations by helping differentiate serious from less serious conditions. (Liang et al. 2019). Relieving radiologists from the task of reading routine chest x-rays will allow them more time to spend on interventional procedures (Annarumma et al. 2019).

임상 추론에 필수적인 AI 개념을 가르치기 위한 프레임워크 개념화
Conceptualising a framework to teach essential AI concepts in clinical reasoning

교사와 학습자는 임상 추론과 AI 간의 유사점과 특히, AI 개념이 임상 추론 지침에 통합될 수 있는 방법을 알아야 한다. 
teachers and learners should be aware of the parallels between clinical reasoning and AI and, in particular, ways that AI concepts can be incorporated into clinical reasoning instruction. 

기초과학
Basic sciences

기초과학 측면에서 의대생들은 일반적으로 이중처리이론에 노출되며 AI는 인간의 이중처리이론과 광범위하게 관련된다. 
In terms of the basic sciences, medical students are typically exposed to dual process theory and AI broadly relates to dual processes theory in humans. 

의대생들은 이미지 인식을 이용하여 제1종 추론과 비교할 수 있다. 예를 들어, X선에 대한 해석을 기계의 해석과 비교할 수 있습니다. 이것은 학생들에게 기계 학습의 함정을 배울 뿐만 아니라 조기 폐쇄의 편견을 인식시킬 수 있는 기회가 될 것이다. 또한 Isabel과 같은 진단 의사결정 지원 시스템은 보다 복잡한 프레젠테이션에 차등 진단을 제공하는 데 도움이 될 수 있습니다. 그런 다음 학생들은 [기계가 제공하는 감별 진단]과 [II형 사고에서 파생된 자신의 감별 진단]을 비교할 수 있습니다. 

Medical students can use image recognition to compare with their Type I reasoning. For example, they can compare their interpretation of x-rays with those of machines. This would be an opportunity for students to be made aware of the bias of premature closure as well as to learn the pitfalls of machine learning. In addition, diagnostic decision support systems such as Isabel can assist in providing differential diagnoses for more complex presentations. Students can then compare the differential diagnosis provided by the machine with their own differential diagnosis derived from Type II thinking. 

정보 수집

Information gathering

의대 학생들이 환자로부터 정보를 수집하고 분석하는 방법은 학부 교육 중에 변화한다고 여겨진다(Pinnock et al., 2019). 임상 추론의 개발 초기 단계에 있는 학생들은 별도의 인지 과정으로서 정보를 수집하고 분석한다. 아마도 그들이 '병증 스크립트'를 다듬었을 때, 그들은 '자발적으로 생각하고' 두 과정을 동시에 수행할 수 있을 것이다(Bowen 2006; Pinnock et al. 2019).).  
How medical students gather and analyse the information from patients is believed to change during their undergraduate training (Pinnock et al. 2019). Students in the early stages of development of clinical reasoning gather and analyse information as separate cognitive processes – it is only towards the end of their training, probably when they have refined their ‘illness scripts’, that they are able ‘think on their feet’ and perform both processes simultaneously (Bowen 2006; Pinnock et al. 2019). 

최근, Maicher 등(Maicher et al., 2017)은 의대생의 정보 수집 능력을 정확하게 평가하기 위해 챗봇을 사용하여 표준화된 환자를 만드는 방법을 기술했다. 이러한 가상 환자는 신중하게 시술할 수 있는 기회를 제공하고 즉각적인 피드백을 제공합니다. 의대생이 수집한 정보의 품질에 대한 평가는 임상 교사의 평가와 유사하지만 저자는 챗봇의 적용이 제한된 영역과 비교적 단순한 맥락으로 제한된다는 것을 인정한다. 마스터스(마스터즈 2019)는 AI가 학생들의 지식 격차를 파악해 대응하고 학생과 교사들에게 피드백을 제공하는 튜터링 시스템을 제공할 것으로 전망하고 있다. 

Recently, Maicher et al. (Maicher et al. 2017) described using a chatbot to create standardised patients in order to accurately assess information-gathering skills of medical students. These virtual patients provide an opportunity for deliberate practice and provide immediate feedback. Their assessments of the quality of information gathered by medical students is comparable to that of their clinical teachers but the authors acknowledge that the application of chatbots are constrained to limited domains and relatively simple contexts. Masters (Masters 2019) predicts that AI will provide tutoring systems that identify and respond to gaps in students’ knowledge and provide feedback to students and teachers. 

의사 결정, 오류 및 편견에 사용되는 데이터
Data used to make decisions, errors and biases

유형 I 및 유형 II 추론을 포함한 [임상 추론의 기초적 과학]을 학습함에 따라, 머신 의사 결정에 기초하는 AI 및 머신 러닝에 대한 광범위한 접근 방식을 소개하고 머신 정확도에 영향을 미치는 요소를 논의할 수 있다. 

• 예를 들어, 특정 컨텍스트에 수집된 데이터를 밀접하게 적합시키는 예측 모델은 해당 컨텍스트에 대해 매우 정확할 수 있지만 새로운 컨텍스트로 전송하지 못할 수 있다(즉, 모델이 특정 상황에 편향되어 있다). 
• 반대로, 특정 컨텍스트에서 합리적인 데이터 근사치를 제공하는 모델은 서로 다른 데이터 세트(즉, 모델의 분산이 더 크다)를 가진 새로운 컨텍스트에서 잘 작동할 수 있다. 

학생들이 임상 실습에서 사용에 대한 모델 적합성을 평가하기 위해 머신 러닝 모델(편향-분산 트레이드오프라고 함)의 편향과 분산을 도입하는 것이 중요할 것이다. 

As students learn the basic science of clinical reasoning, including Type I and Type II reasoning they can be introduced to the broad approaches to AI and machine learning that underlie machine decision-making and discuss factors that affect machine accuracy.

• For example, a predictive model that closely fits data gathered in a specific context may be highly accurate for that context but fail to transfer to new context (i.e. the model is biased towards a specific situation).
• Conversely, a model that provides a reasonable approximation of data in a specific context may work well in new contexts with different data sets (i.e. greater variance in the model).

It will be important that students are introduced to bias and variance in machine learning models (called the bias-variance trade-off) in order to assess model suitability for use in clinical practice. 

감별진단

Differential diagnoses

인간은 고려 중인 잠재적 진단의 수를 제한하는 제한된 인지 능력을 가지고 있지만, 기계는 원칙적으로 무한한 수의 가능한 진단을 관리할 수 있다. 그럼에도 불구하고 기계는 여전히 가장 가능성이 높은 진단을 검색하기 위한 전략이 필요하다. 그것이 패턴 인식을 통해서든, 일종의 프로그래밍된 논리 또는 추론과 진단 모델(예: 임상 가이드라인)을 함께 사용하든, 아니면 둘의 조합을 통해서든. 

While humans have a limited cognitive capacity, which limits the number of potential diagnoses under consideration, a machine can, in principle, manage an infinite number of possible diagnoses. Even so, a machine still needs a strategy to search for the most likely diagnosis, whether that is through pattern recognition, some kind of programmed logic or reasoning together with a diagnostic model (such as a clinical guideline), or a combination of the two. 

환자 중심성 및 커뮤니케이션
Patient centeredness and communication

환자들은 그들의 의사의 진단에 대한 이유를 그들에게 설명받는 것에 익숙하다. 미래 의사의 AI 과제 중 하나는 기계에서 생성된 진단에 어떻게 대처하느냐 하는 것이다. 
Patients are accustomed to having the reasons for their physician’s diagnosis explained to them. One of the challenges with AI for future physicians will be how to address machine generated diagnoses. 

현재로선 의사소통과 공감능력의 발전과 실천이 전적으로 인간의 영역 안에 있다. 그렇긴 하지만, 미래에는 이것이 항상 그런 것은 아닐 수도 있다는 징후가 있다. 인간과 유사한 아바타는 인간과 유사한 감정에 반응하고 표시하도록 훈련될 수 있습니다(예: Soul Machine).TM) 
For now, the development and practice of communicative and empathetic skills is entirely within the domain of humans. Even so, there are signs on the horizon that this may not always be the case. Human-like avatars can be trained to both respond to and display human-like emotions (e.g. Soul MachinesTM) 

학생들이 AI에 의한 진단에 대해 알아야 할 것은 무엇인가?
What will students need to know about diagnoses by AI?

학생들은 그들이 사용하고 있는 기계의 리콜(감성 또는 기계가 모든 진정한 양의 일치를 정확하게 식별하는 확률)과 양의 예측 값(기계에 의해 양의 일치로 분류된 결과가 실제로 양의 일치가 될 확률)과 같은 평가 척도를 이해할 필요가 있을 것이다. 그들은 인간과 기계의 진단에 대한 평가자간 조치와 평가 기법을 적용해야 할 것이다. 
students will need to understand evaluative measures such as the recall (sensitivity or the probability that a machine correctly identifies all true positive matches) and positive predictive value (precision or the probability that an outcome categorised by a machine as a positive match really is a positive match) of the machines they are using. They will need to apply inter-rater measures and evaluation techniques of diagnoses from humans and machines. 

머신 러닝 모델은 일반적으로 컨텍스트와 모집단마다 다르다(Marcus 2018). 이 모델은 널리 사용되기 전에 별도의 모집단의 데이터에 대해 훈련되고 검증되어야 한다. 
Machine learning models are typically context and population specific (Marcus 2018). The models will need to trained and validated on data from separate populations before widespread use. 

AI가 의사를 대체할 가능성은 낮다는 점은 인정되지만, 미래의 유능한 주치의는 AI를 활용해 진단과 치료 옵션을 강화할 가능성이 크다(마스터 2019). AI가 어떻게 자신의 장애를 진단하고 관리하는 데 사용되고 있는지를 설명하면서 환자와 더욱 효과적이고 공감적으로 소통하는 것이 미래의 의사들에게 큰 역할을 할 것이다. 
Though it is acknowledged that AI is unlikely to replace physicians, the competent physician of the future will most likely use AI to enhance diagnosis and treatment options (Masters 2019). A major role for physicians of the future will be to communicate more effectively and empathetically with patients as they explain how AI is being used to diagnose and manage their disorders. 

결론

Conclusion

AI의 윤리적 난제들이 다뤄져야 할 것이다. 여기에는 적절한 근거에 기초하지 않은 진단 또는 치료에 대한 정보를 사용하고 환자의 프라이버시를 보존하기 위해 환자 기록에서 수집된 방대한 양의 데이터를 관리하는 인간의 편견을 반영하는 알고리듬이 포함된다. 또한 학습자와 교수진에게 새로운 기술을 평가하는 방법과 이러한 기술이 임상 추론 및 기타 주제에 미치는 영향을 가르쳐야 합니다. 의학적이든 의학적이든 전문적 관행의 필수적인 요소는 자신의 결정과 행동을 지속적으로 반성하고 평가할 수 있는 능력이다. 우리 모두가 급변하는 세계와 씨름할 때, 임상 추론을 가르치는 데 AI의 요소를 통합하는 것은 우리 학생들에게 이러한 능력을 장려하고 홍보하는 것과 일치한다.
The ethical challenges of AI will need to be addressed. These include algorithms mirroring human biases, using information on diagnosis or treatment that is not based on adequate evidence and managing the extensive amount of data collected from patient records to preserve patient privacy. Learners and faculty will also need to be taught how to evaluate new technologies and their impact on clinical reasoning and other topics. An essential component of any professional practice, medical or otherwise, is the ability to continuously reflect on and evaluate one’s decisions and actions. As we all grapple with a rapidly changing world, incorporating elements of AI into teaching clinical reasoning is consistent with encouraging and promoting this ability in our students. 




Rencic J, Durning SJ, Holmboe E. Gruppen LD. 2016. Understanding the assessment of clinical reasoning. In: Assessing competence in professional performance across disciplines and professions. Cham: Springer International Publishing; p. 209–235. http://link.springer.com/10.1007/978-3-319-30064-1_11.

Med Teach. 2020 Mar;42(3):246-251.

 doi: 10.1080/0142159X.2019.1679361. Epub 2019 Oct 28.

Humans and machines: Moving towards a more symbiotic approach to learning clinical reasoning

Ralph Pinnock 1, Jenny McDonald 2, Darren Ritchie 3, Steven J Durning 4 5

Affiliations collapse

Affiliations

• 1Educational Unit, Dunedin School of Medicine, Otago University, Dunedin, New Zealand.
• 2Centre for Learning & Research in Higher Education (CLeaR), University of Auckland, Auckland, New Zealand.
• 3Dunedin School of Medicine, Otago University, Dunedin, New Zealand.
• 4Professor of Medicine and Pathology and Director Graduate Programs in Health Professions Education, Uniformed Services University of the Health Sciences, Bethesda, MD, USA.
• 5Medicine and Pathology, Uniformed Services University of the Health Sciences, Bethesda, MD, USA.

• PMID: 31658842

• DOI: 10.1080/0142159X.2019.1679361

Abstract

Artificial intelligence is a growing phenomenon that is driving major changes to how we deliver healthcare. One of its most significant and challenging contributions is likely to be in diagnosis. Artificial intelligence is challenging the physician's exclusive role in diagnosis and in some areas, its diagnostic accuracy exceeds that of humans. We argue that we urgently need to consider how we will incorporate AI into our teaching of clinical reasoning in the undergraduate curriculum; students need to successfully navigate the benefits and potential issues of new and developing approaches to AI in clinical diagnosis. We offer a pedagogical framework for this challenging change to our curriculum.

의학교육은 정보시대에서 인공지능시대로 가야 한다(Acad Med, 2018)

Medical Education Must Move From the Information Age to the Age of Artificial Intelligence
Steven A. Wartman, MD, PhD, and C. Donald Combs, PhD

윌리엄 오슬러는 [의학은 불확실성의 과학이며 확률의 예술]이라고 말한 것으로 보도되었다. 그러나 오늘날, 이러한 오랜 관점은 도전받지 않더라도 정교해지고 있습니다.
William Osler is reported to have said that medicine is a science of uncertainty and an art of probability. Yet today, this time-honored perspective is being refined, if not challenged.

의학의 관행이 정보 시대에서 인공지능 시대로 빠르게 전환되고 있는 모든 것 중 가장 근본적인 변화를 해결하는 데 더 많은 관심을 기울여야 한다.
More attention needs to be given to addressing the most fundamental change of all—the practice of medicine is rapidly transitioning from the information age to the age of artificial intelligence.

이 개혁의 근본원칙은 학생들이 '정보'와 '인공지능'의 차이를 이해하고 관리해야 한다는 것이다.

A fundamental principle of this reformulation is that students must understand and manage the difference between “information” and “artificial intelligence.”

정보 대 인공지능
Information Versus Artificial Intelligence

정보 시대(1970년대부터 2010년대까지)는 [정확하고 시기적절하며 특정 목적을 위해 체계화된 데이터]를 사용했으며, [데이터는 의미와 관련성을 제공하는 맥락에서 제시]되었으며, [데이터는 불확실성의 이해와 감소]로 이어졌다.1 이 기간 동안 의사의 주요 과제는 유효성과 이용 가능한 정보를 효과적으로 사용하는 방법을 결정하는 것이었다. 
The information age (roughly from the 1970s to the emergence of machine learning tools during the 2010s) featured the use of data that were accurate and timely, specific and organized for a purpose, and presented within a context that gave them meaning and relevance, as well as led to an increase in understanding and decrease in uncertainty.1 The primary challenges for physicians during this time were determining validity and how to effectively use the available information. 

"인공지능"이라는 용어는 추론, 의미 발견, 일반화 및/또는 경험으로부터 학습하는 능력과 같은 인간의 지적 과정을 가진 시스템의 개발에 적용된다.2 인공지능 응용 프로그램을 이용한 데이터 조작은 의학 교육에 중요한 의미를 갖는다. 대체로 [암기 기반인 현재의 커리큘럼]은 [증가하는 정보 출처에서 정보의 효과적인 통합과 활용에 대한 역량을 가르치는 커리큘럼]으로 전환해야 한다. 
the term “artificial intelligence” applies to the development of systems that are endowed with the intellectual processes characteristic of humans, such as the ability to reason, discover meaning, generalize, and/or learn from experience.2 The manipulation of data using applications of artificial intelligence has significant implications for medical education. The current, largely memorization-based curriculum must transition to one that teaches competence in the effective integration and utilization of information from a growing array of sources. 

의사들이 신뢰할 수 있는 인공지능에 기반한 의사결정 지원 소프트웨어를 사용하든, 병원이나 환자의 집, 인체 내에 배치된 로봇을 관리하든, 이 새로운 패러다임에서 교육을 받을 필요가 있을 것이다.

Whether physicians use decision support software based on reliable artificial intelligence or manage robots deployed in hospitals, patients’ homes, or within the human body, they will need to be educated in this new paradigm. 

의료교육 개혁은 20세기에 주로 초점을 맞추고 있다.
Medical Education Reform Has Largely Focused on the 20th Century

주로 재단과 정부 기관이 후원하는 국가 보고서의 발견에 바탕을 둔 의학교육 개혁 노력은 일상화되었고, 아브라함 플렉스너의 1910년 보고서 이후 몇 년에 한 번씩 추진되어 왔다. 미국 의학 협회는 2000년부터 2015년까지 의료 교육 개혁을 요구하는 15개의 국가 보고서가 있었다고 언급했다.3 이러한 제안된 개혁은 만성 질환 관리 및 치료 조정, 시스템 기반 관행, 실천 기반 개선 및 효과적인 커뮤니케이션을 포함하여 이전에 확인된 많은 개혁 분야와 유사했다. [전통, 인증에 대한 우려, 변화에 대한 교수진의 저항, 그리고 국가 이사회 시험에서 우수한 성적을 낼 수 있도록 학생들을 준비해야 하는 필요성]은 일반적으로 필요한 개혁을 방해하는 주요 요소로 간주된다. 
Efforts to reform medical education, largely based on the findings in national reports funded by foundations and government agencies, have become routine and have been rolled out every few years since Abraham Flexner’s 1910 report. The American Medical Association noted that from 2000 to 2015 there were 15 national reports calling for medical education reform.3 These proposed reforms paralleled many of the previously identified areas for reform, including the management of chronic conditions and care coordination, systems-based practice, practice- based improvement, and effective communication. Tradition, accreditation concerns, faculty resistance to change, and the need to prepare students to perform well on national board exams are generally considered the major factors impeding needed reform. 

워트먼은 2016년 강연에서 현재 파악된 많은 개혁이 21세기 의학교육에 필요하지만 충분하지 않다고 언급하며 의학교육의 '재부팅'을 주장했다.4 그는 또 의학교육 개혁의 행적은 마치 [의미 있는 변화를 채택하는 속도가 느린 산업]과 같다고 언급했다. 21세기 의료 기술 습득은 의료 교육의 보다 [급진적인 변혁]을 필요로 한다고 우리는 생각한다. 비록 "하나를 보고, 하나, 하나 가르쳐라"라는 격언이 과거에 의사들이 임상 기술을 배운 방식을 특징지었을 수 있지만, 이제 훈련이 효과적이기 위해서는 모든 수준의 학습자들이 자신의 성과를 표준과 비교하고, 역량이 달성될 때까지 계속 연습할 기회를 가져야 한다는 것이 명백하다.5 
In a 2016 lecture, Wartman advocated a “reboot” of medical education, noting that many of the current reforms that have been identified are necessary but not sufficient for 21st-century medical education.4 He also noted that the track record of medical education reform depicts an industry that is slow to adopt meaningful change. The acquisition of 21st-century skills for medical practice requires, in our opinion, a more radical transformation of medical education. Although the dictum “see one, do one, teach one” may have characterized the way physicians learned clinical skills in the past, it is now clear that, for training to be effective, learners at all levels must have the opportunity to compare their performance against a standard and to continue to practice until competence is achieved.5 

고용주들은 학부생, 대학원생, 그리고 지속적인 의학 교육의 긴밀한 통합을 위한 설득력 있는 사례를 제시하고 있다. 그들은 다음과 같은 의사가 필요하다. 

• 다른 의료 팀원과 함께 면허의 상위에 있는 작업을 수행한다. 
  
• 의료 분야 및 의료 연속체의 폭넓은 범위에 걸친 지식을 보유해야 한다. 
  
• 스마트폰, 소셜 미디어 및 기타 장치를 사용하여 데이터 플랫폼을 활용합니다. 
  
• 고객 서비스를 포함하여 결과 분석 및 성능 향상에 초점을 맞춘다.7
  

Employers are making a compelling case for a tighter integration of undergraduate, graduate, and continuing medical education. They need physicians who

• work at the top of their license with other members of the health care team;
• have knowledge that spans the breadth of the health professions and care continuum;
• leverage data platforms by using smartphones, social media, and other devices; and
• focus on analyzing outcomes and improving performance, including customer service.7

의료 교육을 지배적인 20세기 모델에서 21세기의 새로운 과제, 특히 전문적 실무에서 빅데이터와 인공지능의 응용이 증가하는 문제를 해결할 수 있는 모델로 어떻게 개혁할 것인가?

How do we reform medical education from the dominant 20th-century model into one that can address the emerging challenges of the 21st century, especially the increasing application of big data and artificial intelligence in professional practice?

21세기를 향한 의학의 부활
A Medical Education Reboot for the 21st Century

우리는 의료 교육을 재부팅하기 위한 기초는 [미래의 의료 행위가 의사, 다른 의료 전문가, 기계(소프트웨어와 하드웨어 모두 포함) 및 환자 사이의 명시적인 파트너십이 될 것]이라는 공동체의 인식에 있다고 믿는다. 
We believe that the foundation for a medical education reboot lies in the community’s recognition that future medical practice will be an explicit partnership among physicians, other health care professionals, machines (which includes both software and hardware), and patients. 

첫째, 여러 장소에서 케어가 제공될 것입니다. 기술은 환자의 내부와 내부로 이동하여 지속적인 데이터 흐름을 제공할 것입니다. 대규모 데이터 저장 및 처리 인프라는 실시간으로 보다 쉽게 액세스할 수 있게 됩니다. 환자, 보험사, 규제 당국은 편리함과 입증 가능한 결과를 주장할 것이다.
First, care will be provided in many locations. Technology will move with and inside patients, providing a continuous flow of data. Large data storing and processing infrastructures will become more readily accessible in real time. Patients, insurers, and regulators will insist on convenience and demonstrable results. 

둘째, 새롭게 구성된 의료팀이 케어를 제공할 것이다. 신성불가결한 일대일 의사-환자 관계는 여러 의료 기관과의 환자 관계로 대체될 것이다. (예: 간호사, 사회복지사, 물리 및 직업 치료사, 의료 관리자, 가정 의료 보좌관, 사회 지원 단체, 가족 및 아직 정의되지 않은 새로운 종류의 의료 제공자들. 이는 환자의 거주지와 무관하다) 의사나 팀 리더 역할을 하는 다른 사람들은 어떻게 팀 케어를 통해 가장 큰 가치를 얻을 수 있을지를 배워야 할 것이다. 이러한 연습은 새로운 연습 양식에 맞춰 팀 구성원의 연습 범위를 신중하게 재설계해야 한다.  
Second, care will be provided by newly constituted health care teams. The sacrosanct one-to-one doctor–patient relationship will be replaced by patient relationships with multiple health providers (e.g., nurses, social workers, physical and occupational therapists, care managers, home health aides, social support groups, family members, and new kinds of health care providers yet to be defined, without regard to where patients live). Physicians or others who serve as team leaders will need to learn how to gain the most value from team care. Such practice will necessitate the careful redesign of the scopes of practice of team members to align with new practice modalities. 

셋째, 여러 소스, 액세스 가능한 대용량 데이터 세트 및 인공지능의 증가하는 데이터 배열을 기반으로 관리가 이루어질 것입니다. 대규모 메타 데이터 세트의 기계 기반 분석의 통합은 환자 관리의 표준이 되어 각 환자에 대한 지속적인 모니터링으로 이어질 것이다. 새로운 해석 및 기능적 실무 기반 구조가 시간에 따라 개발되어 데이터를 관리하고 정보의 확장에 대한 유효한 평가를 제공할 것이다. 의사는 환자와 환자의 가족, 기계 및 다양한 보건 전문가의 복잡한 교차점 내에서 의사 결정이 이루어지는 환경에서 실습합니다.
Third, care will be delivered based on a growing array of data from multiple sources, accessible large data sets, and artificial intelligence. The incorporation of machine-based analysis of huge meta-data sets will become standard for patient care, leading to continuous monitoring of each patient. A new interpretive and functional practice infrastructure will be developed over time both to manage the data and to provide valid assessments of the expanding volume of information. Physicians will practice in an environment where decision making takes place within the complex intersection of patients and their families, machines, and an expanding variety of health professionals.

넷째, 마지막으로, 의학과 기계 사이의 인터페이스가 능숙하게 관리되어야 할 것이다. 기계는 많은 분야에서 더 많은 것을 알게 될 것이고 전통적으로 의사가 수행했던 더 많은 작업을 수행할 수 있게 될 것이다. 따라서 간병인은 기기가 인지적 및 신체적으로 인간을 점점 능가할 것이라는 사실에 동의해야 할 것이다.
Fourth, and finally, the interface between medicine and machines will need to be skillfully managed. Machines will know more in many areas and be able to perform more tasks that traditionally have been performed by physicians. Thus, caregivers will need to come to terms with the fact that devices increasingly will outperform humans, both cognitively and physically.


미래의 실습을 위해 필요한 기술
Necessary Skills for Future Practice

인지심리학은 사실과 개념이 사용될 맥락에서 가르치고, 실천하고, 평가할 때 가장 잘 상기되고 활용된다는 것을 입증했다. 수십 년 동안의 임상 전문성에 대한 연구는 의사들로 하여금 징후와 증상을 평가하고, 진단 테스트를 선택 및 해석하고, 임상 평가 및 치료 계획을 개발하기 위해 데이터를 합성하는 사고방식을 설명하였다.8 한 관찰자가 지적한 바와 같이, "기술이 변화하고 데이터 안개가 짙어짐에 따라 교육 표준을 새로 고치고, 다듬고, 개선해야 합니다."  
Cognitive psychology has demonstrated that facts and concepts are best recalled and put into service when they are taught, practiced, and assessed in the context in which they will be used. Several decades of research on clinical expertise have elucidated the thinking of physicians as they evaluate signs and symptoms, select and interpret diagnostic tests, and synthesize data to develop clinical assessments and care plans.8 As noted by one observer, “Educational standards need to be refreshed, refined and improved as technology changes and the data fog thickens.”9 

생물의학 과학에 대한 근본적인 이해와 임상 지식과 실무에서의 전문지식과 상호 연계성이 의학 교육의 핵심으로 남아 있어야 한다는 데는 이견이 없다. 그러나, 21세기 커리큘럼은 또한 인공지능이 지원하는 데이터가 풍부한 환경에서 의사가 보다 정확하게 연습할 수 있는 능력을 강화하기 위한 구성요소를 포함해야 한다. 한 예로, 학습자는 의사결정의 맥락에서 빅 데이터에 노출되어야 합니다. 빅 데이터의 4V에 대한 확실한 이해:

• 볼륨(과거의 양에 비해 오늘날의 데이터 양이 방대함),
• 다양성(다양한 유효성의 다양한 소스에서 데이터 제공),
• 속도(데이터가 매우 빠르게 생성되고 모멘텀이 증가함),
• 정확성(새롭게 생성되는 평가 해야 할 데이터의 품질)
  

There is no disagreement that a fundamental understanding of the biomedical sciences and their interconnectedness with clinical knowledge and expertise in practice should remain central to medical education. However, the 21st-century curriculum also should include components to strengthen physicians’ capacity to practice with more precision in a data-rich environment supported by artificial intelligence. As one example, learners must be exposed to big data in the context of decision making. They must develop a solid understanding of the four Vs of big data:

• volume (the amount of data today is vast compared with the amount in the past);
• variety (data come from many different sources of varying validity);
• velocity (data are being generated very fast, and momentum is increasing); and
• veracity (the quality of the data being generated needs to be assessed). 

학습자들도 인공지능 애플리케이션을 통한 의료 전달에서 [데이터가 어떻게 집계되고 분석되고 궁극적으로는 개인화되고 있는지]에 대한 기본적인 이해를 키울 필요가 있을 것이다. 그들은 의사결정 지원 소프트웨어, 로봇 또는 보다 정교한 소셜 미디어 애플리케이션에 구현되어 있는지 여부에 관계없이 다양한 애플리케이션을 관리하는 방법에 대해 폭넓게 생각할 필요가 있을 것이다. Yang과 Veltri10이 지적했듯이 "가장 중요한 과제는 어떻게 하면 의료 데이터를 정밀의학, 예방의학, 예측 모델링에 대한 부가 가치로 전환할 수 있느냐 하는 것이다." 

Learners also will need to develop a basic understanding of how data are being aggregated, analyzed, and ultimately personalized in health care delivery through artificial intelligence applications. They will need to be able to think broadly about how to manage the variety of applications, whether embodied in decision support software, robots, or more sophisticated social media applications. As Yang and Veltri10 noted, “The most critical challenge is how we can transform the health care data into additional values for precision medicine, preventive medicine, and predictive modeling.” 

결론

Conclusion

커리큘럼 개혁은 [혁신과 실험에 더 개방적]이고 [(종종 학생들의 미래 관행과 무관한 사실에 기초한 암기와 임상 사무직에 중점을 두는) 낡은 모델을 훨씬 뛰어넘을 수 있는] accreditor의 전폭적인 지원을 필요로 한다. 미래의 의대 졸업생들이 license의 top에 올라 value-based financing system에 적응하려면 평생교육의 새로운 양식에 참여할 필요가 있을 것이다. 
curricular reform requires the whole-hearted support of accreditors who are willing to be more open to innovation and experimentation and able to move far beyond the old model with its emphasis on fact-based memorization and clinical clerkships that are often unrelated to students’ future practice. Future medical school graduates will need to participate in new modalities of lifelong education if they are to perform at the top of their license and adapt to a value-based financing system. 

두 가지 기술(새로운 기술, 오래된 기술)이 강조되어야 하며 커리큘럼 내내 수행되어야 한다.

• 첫 번째는 데이터 플랫폼에 의해 생성된 확률의 의미를 환자에게 고유한 인간 복잡성에 직면하여 전달할 수 있는 의사의 능력을 향상시키는 통계 전문지식의 숙달이다.
• 두 번째는 진정한 동정심 있는 제공자가 되기 위한 끊임없는 훈련과 평가를 포함하는데, 이는 의학이 점점 더 첨단기술이 되어감에 따라 간과되어서는 안 되는 것이다.

Two additional skills, one new, one old, also must be emphasized and carried throughout the curriculum.

• The first is the mastering of statistical expertise that enhances the ability of the physician to communicate the meaning of the probabilities generated by data platforms to patients in the face of their uniquely human complexity.
• The second involves constant training and evaluation toward being a truly compassionate provider, something that must not be overlooked as medicine becomes increasingly high tech. 
  
  
  

4 Wartman SA. Medical education needs a reboot!! 2016 Mansbach lecture. Presented at: Eastern Virginia Medical School; October 5, 2016; Norfolk, VA. Accessed October 25, 2017.

Acad Med. 2018 Aug;93(8):1107-1109.

 doi: 10.1097/ACM.0000000000002044.

Medical Education Must Move From the Information Age to the Age of Artificial Intelligence

Steven A Wartman 1, C Donald Combs

Affiliations collapse

Affiliation

• 1S.A. Wartman is president and CEO, Association of Academic Health Centers, Washington, DC. C.D. Combs is vice president and dean, School of Health Professions, Eastern Virginia Medical School, Norfolk, Virginia.

• PMID: 29095704

• DOI: 10.1097/ACM.0000000000002044

Abstract

Noteworthy changes coming to the practice of medicine require significant medical education reforms. While proposals for such reforms abound, they are insufficient because they do not adequately address the most fundamental change-the practice of medicine is rapidly transitioning from the information age to the age of artificial intelligence. Increasingly, future medical practice will be characterized by: the delivery of care wherever the patient happens to be; the provision of care by newly constituted health care teams; the use of a growing array of data from multiple sources and artificial intelligence applications; and the skillful management of the interface between medicine and machines. To be effective in this environment, physicians must work at the top of their license, have knowledge spanning the health professions and care continuum, effectively leverage data platforms, focus on analyzing outcomes and improving performance, and communicate the meaning of the probabilities generated by massive amounts of data to patients, given their unique human complexities. The authors believe that a "reboot" of medical education is required that makes better use of the findings of cognitive psychology and pays more attention to the alignment of humans and machines in education and practice. Medical education needs to move beyond the foundational biomedical and clinical sciences. Systematic curricular attention must focus on the organization of professional effort among health professionals, the use of intelligence tools involving large data sets, and machine learning and robots, all the while assuring the mastery of compassionate care.

미래의 CPD: 질개선과 역량기반교육의 파트너십(Med Educ, 2017)

CPD of the future: a partnership between quality improvement and competency-based education
Joan Sargeant,1 Brian M Wong2,3 & Craig M Campbell4,5

도입

INTRODUCTION

에든버러 선언의 개혁 요구안에 열거된 마지막 개선은 "의학 교육을 지속하기 위한 책임을 명확히 하고 자원을 할당하는 것"이다.1 CME는 지금은 CPD라는 용어로 더 사용되는데, 이는 "의사가 의료 제공에 있어 지식, 기술, 성과 및 관계를 유지하고 강화하기 위해 수행하는 다양한 교육적 및 개발적 활동"을 포함한다.2-5 CPD에서 모든 역량의 영역을 다룰 수 있는 잠재력이 있지만, CPD는 전통적으로 의료 전문가medical expert의 역할을 강조해왔다. 그러나 최근 환자 치료 및 건강 결과를 개선하는 데 있어 범위를 확장하고 보다 명확한 역할을 보장하기 위한 여러 가지 요구가 제기되었다.6–8 
The final improvement listed in the Edinburgh Declaration’s call for reform, on which this special issue is built, is to “Clarify responsibility and allocate resources for continuing medical education”.1 Continuing medical education, or the currently favoured and more inclusive term Continuing professional development (CPD) encompasses varied educational and developmental activities which physicians undertake to maintain and enhance their knowledge, skills, performance and relationships in the provision of health care.2–5 Although it has the potential to address all domains of competency, CPD has traditionally emphasised the medical expert role. However, multiple calls have recently been made to expand its scope and ensure its more explicit role in improving patient care and health outcomes.6–8 

사례

EXAMPLE CASE


의료의 품질 및 안전 현황 및 CPD에 대한 QI 접근법 통합 요구 
CURRENT STATE OF QUALITY AND SAFETY IN HEALTH CARE, AND A CALL FOR INTEGRATING QI APPROACHES INTO CPD 

성인과 어린이의 치료 품질을 측정하는 대규모 역학 연구는 [환자가 치료의 필수 요소를 받는 것에 일관성이 없음]을 보여준다.

• 성인의 경우, 다양한 만성 조건에 걸쳐 환자는 증거 기반 개입을 약 55% 받았다.
• 유사한 시간 중 약 47%의 아동이 증거 기반 개입을 받았다.11

안타깝게도 2002년과 2013년 사이에도 이러한 품질 차이는 지속되어 왔으며, 개선은 미미함을 보여주었다.12 마찬가지로, 지난 15년 동안 환자 안전을 개선하기 위한 상당한 노력과 투자에도 불구하고 병원의 예방 가능한 부작용 발생률은 감소하지 않았다.13,14 
Large epidemiological studies measuring the quality of care in adults and children demonstrate that patients receive the essential elements of care inconsistently. In adults, across a variety of chronic conditions, patients received evidence-based interventions approximately 55% of the time;10 children similarly received evidence-based interventions approximately 47% of the time.11 Unfortunately, these gaps in quality have persisted, with comparisons between 2002 and 2013 demonstrating marginal if any improvements in care.12 Similarly, rates of preventable adverse events in hospitals have not declined despite considerable effort and investments to improve patient safety over the past 15 years.13,14 

안전한 고품질 의료 제공에 이러한 과제를 결합하는 것은 [의료 비용 증가]와 [부적절한 자원 사용]에 대한 지속적인 우려이다.15 반면 선진국이 [의료 자원 남용 문제]를 겪는 것은 놀라운 일이 아니지만, 최근의 국제 연구는 개발도상국에서도 [의료 자원 남용 사례]가 많이 있음을 시사한다. 16 이것은 높은 가치의 치료의 촉진과 자원의 적절한 사용에 대한 국제적인 관심을 자극했다.17 
Compounding these challenges to the delivery of safe, high-quality care are ongoing concerns about rising health care costs and the inappropriate use of resources.15 Whereas it is not surprising that developed countries suffer from problems of health care resource overuse, a recent international study suggests there are also numerous examples of overuse in developing countries.16 This has spurred international attention to the promotion of high-value care and the appropriate use of resources.17 

환자 의료의 질에서 지속적인 격차를 일으키는 수많은 기여자들 중, 한 가지 핵심 요인은 많은 의사들이 기본적인 [시스템 기반 역량]을 결여하고 있다는 것이다.
Among the numerous contributors to ongoing gaps in the quality of patient care, one key factor is that many physicians lack the basic systems-based competencies

최종 목표가 환자 결과를 개선하는 것이라면 CPD와 QI의 정렬이 중요한 이유
WHY AN ALIGNMENT BETWEEN CPD AND QI IS CRITICAL IF THE ULTIMATE GOAL IS TO IMPROVE PATIENT OUTCOMES

최종 공통 경로가 환자 결과를 개선하는 경우, Batalden과 Davidoff20은 더 나은 전문적 개발(CPD)과 향상된 시스템 성능(QI)이 모두 필요하며 모든 의료 전문가의 광범위한 참여가 필수적이라고 제안한다. 이러한 CPD와 QI의 정렬은 직관적이지 않을 수 있다. 
If the final common pathway is improved patient outcomes, Batalden and Davidoff20 propose that better professional development (as CPD) and improved system performance (as QI) are both needed, and that the broad engagement of all health care practitioners is essential. Such an alignment between CPD and QI may not be an intuitive one. 

기존의 CPD 접근 방식이 어떻게 보일지.
what a traditional CPD approach might look like.

CPD 주최자는 수술 합병증의 역학, 팀 커뮤니케이션과 수술 결과 간의 관계, 그리고 결과를 개선하기 위한 수술 안전 검사 목록 사용을 뒷받침하는 증거를 제공하기 위해 그랜드 라운드 프레젠테이션 또는 소규모 그룹 대화형 세션을 예약할 수 있다. 이러한 전통적인 CPD 접근 방식은 특정 매력(예: 상대적으로 실현 가능하고 비용이 저렴)을 가지고 있다. 그러나 이들의 한계는 무엇인가? 이들은 [지식과 인식의 차이]를 스스로 해결할 수 있지만, [결과를 개선하는 데 필요한 성능 및 시스템 수준의 변화]에 영향을 미칠 가능성은 낮습니다. (예: 전문가 간의 팀워크를 개선하거나 수술 체크리스트의 사용이 수술 팀의 일상적인 임상 작업흐름에 통합되도록 보장함)

Organisers of CPD might schedule grand rounds presentations or small-group interactive sessions to provide an update on the epidemiology of surgical complications, the relationship between team communication and surgical outcomes, and the evidence supporting the use of surgical safety checklists to improve outcomes.23 These traditional CPD approaches have a certain appeal (e.g. they are relatively feasible and of low cost), but what are their limitations? They might address gaps in knowledge and awareness on their own, yet they are less likely to impact the performance23 and system-level changes24 (e.g. by improving interprofessional teamwork or ensuring that the use of the surgical checklist is integrated into the daily clinical workflow of the surgical team) necessary to improve outcomes. 

일반적인 QI 접근 방식은 어떻게 보일 수 있습니까?
What might a typical QI approach look like?

QI 팀은 개선 목표를 설정하고, 프로세스 조치를 정의하며, 수술 팀의 수술 체크리스트 준수에 대한 데이터를 수집합니다. 그런 다음 퍼포먼스 데이터는 감사 및 피드백 메커니즘을 통해 수술 안전 체크리스트 사용의 일관성을 개선하기 위해 수술 팀에 제공될 수 있습니다. 
A QI team would establish an improvement aim, define process measures and gather data on surgical teams’ compliance with the surgical checklist; the performance data might then be provided to surgical teams through an audit and feedback mechanism to try and improve the consistency of the use of the surgical safety checklist. 

QI 접근법에는 몇 가지 제한이 있습니다. QI 개입이 [최전방 제공자]에게 [제안된 변경의 근거와 중요성을 인식]시키기 위해 [효과적인 CPD와 결합]되지 않는 경우, 최전방 제공자들은 변경을 완전히 채택하지 않고 개입에 대해 작업하거나 '시늉만'할 가능성이 있다. 이는 캐나다 온타리오에서와 같이 명백하지 않았는데, 캐나다 온타리오에서는 수술 체크리스트의 구현을 추진한 [하향식 규제]가 수술 결과의 개선을 초래하지 않았다.25 
the QI approach, has some limitations. If the QI intervention is not coupled with effective CPD to make frontline providers aware of the rationale behind and importance of the proposed change, there is a possibility that frontline providers will work around the intervention or ‘go through the motions’ without fully adopting the change. This was no more apparent than in Ontario, Canada, where a top-down regulation that drove the implementation of surgical checklists did not result in any improvement in surgical outcomes.25 

• CPD는 의사의 지식과 기술을 향상시키고 행동을 변화시킴으로써 환자의 결과를 개선하려고 하는 반면,
• QI는 시스템과 프로세스 변화의 접근법을 취한다.

따라서, CPD 기반 접근법의 강점과 QI 분야에서 효과적인 것으로 알려진 전략을 결합하면 각 접근법이 부여한 장점을 조화시킬 가능성이 있으며, 더 나은 환자 결과를 초래할 수 있다. 26,27 이와 유사하게, CBME도 결과 기반이며 치료의 질을 향상시키려 한다.7 

Continuing professional development seeks to improve patient outcomes by increasing physician knowledge and skills and changing behaviours, whereas QI takes the approach of system and process change. Therefore, combining the strengths of a CPD-based approach with strategies known to be effective from the field of QI has the potential to harmonise the advantages conferred by each, and may lead to better patient outcomes.26,27 Similarly, CBME is also outcomes-based and seeks to improve the quality of care.7 


역량 기반 접근법이 CPD의 미래에 어떻게 기여할 수 있을까?
HOW MIGHT A COMPETENCY-BASED APPROACH CONTRIBUTE TO THE FUTURE OF CPD?

의사 CPD를 지원하기 위한 [기존의 교육 전략]은 [전문 교사로부터 주로 수동적인 학습자에게 지식을 전파하는 주요 수단으로 강의를 사용하는 집중적인 단기 과정 모델]을 중심으로 조직되었다.28–30 목적은 의사가 임상적 관행을 알려주는 최신 증거를 최신 상태로 유지하도록 보장하는 것이었다. 이 접근법이 의사의 지식과 성과, 그리고 환자 결과에 미치는 영향은 [CPD가 지식에 영향을 미치지만(최소한 초기에는) 의사 행동과 환자 결과에 미치는 영향은 작다는 것]을 입증했다.24,29,30 
Previous educational strategies to support physician CPD were organised around an intensive short-course model that used lectures as the predominant means of disseminating knowledge from expert teachers to learners who remained largely passive.28–30 The purpose was to ensure physicians were up to date with the latest evidence informing clinical practice. The impact of this approach on physician knowledge and performance, and patient outcomes has demonstrated that although CPD does impact knowledge (at least initially), its impact on physician behaviour and patient outcomes is small.24,29,30 

니즈 평가를 개선하고, 상호 작용을 보장하며, 기술 개발(소통 및 절차적 기술)과 새로운 내용 영역(예: 전문성, 윤리, 연습 관리, 의사 건강)에 초점을 맞추기 위한 전략에도 불구하고, 위에서 설명한 의료의 품질과 안전성의 차이는 지속되었다. 지난 10년 동안 CPD 참여 문서화는 프로세스가 얼마나 능숙하게 설계되고 구현되었든 간에 그저 '틱-박스' 연습으로 간주되어 왔으며, 이것이 전문가 역량의 대체 척도로서 적절한지에 대한 비판이 계속되었다.
Despite strategies to improve needs assessment, to ensure interactivity and to focus on skills development (communication and procedural skills) and new content areas (e.g. professionalism, ethics, practice management, physician health), the gaps in the quality and safety of care described above persisted. Over the past 10 years, the documenting of participation in CPD, no matter how skilfully the process is designed and implemented, has been regarded by the profession as a ‘tick-box’ exercise that has been appropriately criticised as a surrogate measure of competence.31,32 

역량 기반 CPD로의 전환은 환자의 건강 요구와 기대치를 CPD 시스템의 핵심에 두는 것으로 구상되고 있다. 

The transition to competency-based CPD is envisioned as placing the health needs and expectations of patients at the core of a CPD system 

역량 기반 CPD로의 전환
THE TRANSITION TO COMPETENCY-BASED CPD

[역량 기반 의료 교육]은 '역량의 조직적 프레임워크를 사용하여 의료 교육 프로그램을 설계, 구현, 평가&평가하는 결과 기반 접근법'으로 정의된다.7,33 
Competency-based medical education is defined as ‘an outcomes-based approach to the design, implementation, assessment and evaluation of medical education programmes using an organising framework of competencies’.7,33 

1 능력 강조: 역량이 커리큘럼 설계의 기초가 됨
1 Emphasis on abilities: competencies serve as the foundation for curriculum design;

2 학습자 중심성: 학습자는 커리큘럼 목표를 명확히 이해하고 성취를 향한 자신의 진전을 추적할 수 있는 투명한 경로를 가지고 있다.
2 Learner-centredness: learners have a clear understanding of curricular goals and a transparent path on which to track their progress towards achievement;

3 결과에 초점을 맞춘다: 모든 졸업생은 피드백과 함께 여러 평가를 사용하여 모든 필수 영역에서 역량을 입증해야 한다.
3 Focus on outcomes: all graduates are required to demonstrate competence in all essential domains, using multiple assessments with feedback, and

4 사회적 건강 요구에 대한 대응력: 졸업생들은 환자의 요구를 충족시킬 수 있는 능력을 가지고 연습에 들어간다.

4 Responsiveness to societal health needs: graduates enter practice with the ability to meet the needs of patients.

환자 및 인구 보건 요구 사항 해결
Addressing patient and population health needs

역량 기반 CPD에서 '교육과정'은 레지던트 교육 동안 일반적으로 학습자 코호트에 적용할 수 있는 [표준화된 학습 활동 프로그램]에서 [practice-specific한 교육 전략 개발]로 전환된다. 
In competency-based CPD, the ‘curriculum’ shifts from a standardised programme of learning activities generally applicable to a cohort of learners during residency training to the development of practice-specific educational strategies. 

역량 기반 CPD에서 CPD에 참여하는 [주된 목적과 동기는 지속적인 실무 개선에 초점]을 맞출 것이다. 의사의 인식된 요구와 관심, 환자의 건강 요구 및 의료 시스템의 안전 문제를 해결하는 데 도움이 됩니다.34 

In competency-based CPD, the primary purpose and motivation for engaging in CPD will focus on continuous improvement of practice. to address a physician’s perceived needs and interests, the health needs of his or her patients, and the safety of the health care system.34 


학습 내용을 다시 업무 환경으로 전환
Shifting learning back to the workplace

전통적으로 의사들은 CPD에 참여하기 위해 직장에서 떠나온 것으로 간주해 왔다. 컨퍼런스, 외부 기술 과정 및 워크숍의 역할은 계속하겠지만, 역량 기반 CPD는 학습 장소로서 작업장workplace을 강조할 것이다. 작업장으로의 복귀는 의사에게 성능 데이터에 액세스하는 방법을 가르치고 작업장workplace에서 지속적인 QI와 CPD의 통합을 탐구하는 데 필요한 프로세스를 지원합니다.35 
Traditionally, physicians have viewed CPD as something they leave their workplace to attend. Although there will continue to be a role for conferences, external skills courses and workshops, competency-based CPD will emphasise the workplace as the place in which to learn. The shift back to the workplace will support the processes required to teach physicians how to access their performance data and explore the integration of continous QI and CPD in their workplace.35 

작업장은 의사의 진료 범위와 관련이 있는 환자 또는 공동체의 건강 요구를 반영합니다. '실천범위scope of practice'란 의료전문가의 임상 및 비임상적 역할, 책임, 활동 및 역량을 말한다. 실천범위는 시간이 지남에 따라 좁아지는 경향이 있지만, [실천범위의 확장]은 '건강 전문가가 초기 훈련을 벗어난 연습 설정에서 더 넓은 범위의 작업을 가정할 때 발생한다'.38,39 

The workplace reflects the health needs of the patients or communities that are relevant to a physician’s scope of practice. ‘Scope of practice’ refers to the clinical and non-clinical professional roles, responsibilities, activities and competencies of a health care practitioner. Although scopes of practice tend to narrow over time,36,37 an expanded scope of practice happens when ‘a health professional assumes a wider range of tasks in the practice setting that are beyond their initial training’.38,39 


역량, 성과 및 의료 결과 입증의 중요성
Importance of demonstrating competence, performance and health care outcomes

역량 기반 CPD는 [평점을 따기 위하여 참여, 만족 또는 자가 보고를 측정하는 현재의 방식]을 [학습 및 평가 활동에 대한 참여가 [환자가 경험하거나 보고하는 지속적인 역량, 성과 및 건강 결과를 입증하는 데 어떻게 기여했는지]를 입증]하는 것으로 전환한다.
Competency-based CPD will shift the current emphasis on measuring participation, satisfaction or self-report ‘for credit’ to demonstrating how engagement in learning and assessment activities has contributed to the demonstration of continued competence, performance and the health outcomes experienced or reported by patients.

이러한 결과를 추구하기 위해, 역량 기반 CPD에서 의사는 자신의 실무를 이해하고 평가하고 개선 계획을 개발, 구현 및 평가할 수 있는 전문성을 개발해야 한다. 직장 기반 평가의 데이터를 통해 의사는 동료 또는 모든 역량 영역에 걸친 특정 품질 실천 척도와 비교하여 자신의 실습을 벤치마킹하고 '개선 계획'을 수립할 수 있다. 피드백과 함께 역량, 성과 및 연습 결과를 평가하면 '인식되지 않은 요구'를 식별하고 개선 영역을 식별하고 해결할 수 있습니다.40–42 

To pursue these outcomes, competency-based CPD will require physicians to develop the expertise to understand and assess their practice, and to develop, implement and evaluate a plan to improve. Data from workplace-based assessments will enable physicians to benchmark their practice against that of their peers or specific quality measures of practice across all competency areas and to set a ‘plan for improvement’. Assessments of competence, performance and practice outcomes, when accompanied by feedback, will enable the identification of ‘unperceived needs’ and identify and address areas for improvement.40–42 

전문가 간 협업 사례 수용
Embracing interprofessional collaborative practice

의사 CPD에 대한 현재 접근법에서 역량은 전통적으로 교육, 경험, 평가 및 피드백을 통해 획득되는 개별 특성으로 간주되어 왔다. 그러나 의료 제공에 대한 팀워크의 중요성에 대한 이해도가 높아짐에 따라, '의료 분야의 의사 및 다른 동료들과 효과적으로 협력하기 위해' 협업의 역량에 대한 강조가 증가하고 있다.43
In the current approach to the CPD of physicians, competence has traditionally been viewed as an individual characteristic, acquired through education, experience, assessment and feedback. However, given our growing understanding of the importance of teamwork to health care delivery, there is increasing emphasis on competence in collaboration in order to ‘work effectively with physicians and other colleagues in the health care professions’.43

역량 기반 CPD에서는 개별 의료 전문가가 달성할 수 없는 건강 결과를 달성하기 위해 보건 전문가, 환자 및 그 가족들로 구성된 팀이 공유하는 작업에 집중할 수 있는 기회가 있다. 

In competency-based CPD there are opportunities to focus on the shared work of a team of health professionals, patients and their families in achieving health outcomes that cannot be achieved by individual health care professionals. 

의사, CPD 제공자 조직, 규제 기관 및 의료 시스템의 집단적 책임
A collective responsibility of physicians, CPD provider organisations, regulators and the health system

역량 기반 CPD의 성공적인 구현은 의사, CPD 제공자 조직, 규제 기관 및 보건 시스템의 공동 책임이어야 한다 32,47 
The successful implementation of competency-based CPD must be a collective responsibility of physicians, CPD provider organisations, regulators and the health system32,47 

• [CPD 제공자 조직]은 니즈 평가를 개발하고, 교육 환경에서 새로운 역량을 연습할 기회를 창출하며, 새로운 역량을 연습 환경에 통합하는 프로세스를 지원하기 위한 수단으로 역량을 사용할 것이다.

Continuing professional development provider organisations will use competencies as a means to develop needs assessments, to create opportunities to practise new competencies in the educational setting, and to support the process of integrating new competencies into the practice setting. 

• [의료 시스템]은 개인과 팀이 성과와 건강 결과를 지속적으로 평가하고 개선할 수 있도록 신뢰할 수 있는 데이터의 제공을 촉진하고 지원하는 데 중요한 역할을 할 것이다.
• [의료기관]은 CPD 제공 기관 및 의료 규제 당국과 협력하여 의사가 지속적으로 성능 및 그들이 일하는 보건 시스템을 개선하기 위해 데이터를 찾고 사용할 수 있도록 지원하는 안전한 환경을 제공해야 한다.

The health care system will have an important role in facilitating and supporting the provision of trustworthy data to individuals and teams to enable them to continuously assess and enhance their performance and health outcomes.

Health care institutions, working in collaboration with CPD provider organisations and medical regulatory authorities, must provide a safe environment that supports physicians to seek and use data to continuously improve performance and the health systems in which they work.

• 마지막으로, [의료 규제자와 인증을 주는 단체]는 역량 기반 CPD를 통해 지속적인 학습이 의사의 진화하는 연습 범위에 관련이 있고 환자의 요구를 충족시키는 지속적 역량 입증에 기여할 수 있도록 CPD 시스템의 기대치를 조정하는 것을 고려할 수 있다.

Finally, competency-based CPD will allow medical regulators and certifying colleges to consider tailoring the expectations of the CPD system to ensure continued learning is relevant to a physician’s evolving scope of practice and is able to contribute to the demonstrating of continued competence to meet the needs of patients. 

QI와 CBME의 CPD 통합에 대한 이론적 관점
THEORETICAL PERSPECTIVES TO INFORM THE INTEGRATION OF QI AND CBME INTO CPD

QI와 CBME의 렌즈를 통한 CPD를 고려하면 CPD범위가 확장된다; 그것은 더 이상 교육적인 개입으로만 간주되지 않는다. CPD의 교육적 구성요소는 여전히 유효하며, 사용될 경우, 물론 효과적인 학습의 원칙에 기초해야 한다. (예: 다양한 접근법, 주의사항 및 점검표 사용, 능동적 학습자 참여, 지식, 연습과의 관련성, 자신의 실천에 대한 성찰 기회 및 적용 기회 등) 그러나, 전통적인 교육 수준을 넘어서는 이론적 관점들이 요구되고 있다.

Considering CPD through the lenses of QI and CBME broadens its scope; it is no longer viewed solely as an educational intervention. Educational components of CPD are still valid and, when used, are of course to be based on the principles of effective learning (e.g. use of multiple approaches, reminders and checklists, active learner engagement, a focus on skills and attitudes rather than solely knowledge, relevance to practice, opportunity for reflection upon and application to one’s practice, among others6). However, theoretical perspectives beyond those of traditional education are now called for. 

아마도 의사 학습과 변화를 알리는 가장 영향력 있는 최근 사고는 [사회 문화적 관점]에서 발생한다. 이러한 관점은 학습과 변화가 상황에 따라 다르다는 것을 우리에게 상기시킨다. 학습과 변화는 특정한 환경에서 일어나며, 그 환경setting의 문화적, 맥락적 구조와 특성은 다른 사람들과의 상호작용과 마찬가지로 학습에 매우 큰 영향을 미친다. 우리가 잘 알고 있듯이, [서비스 수요, 시간과 공간의 가용성, 사회적 규범 및 같은 구조], [(학습 요구를 식별하기 위한) 표준과 같이 허용되는accepted 작업 방법]은 개인의 행동에 강하게 영향을 미칩니다. 이것은 다음에 영향을 끼친다.

• 배우는 것이 중요하다고 인식되는 것,
  
• 자신이 모르는 것을 폭로하는 것이 안전하다고 느끼든
  
• 학습에 제공되는 제도적 자원 및 지원
  
• 학습의 결과로서 실천을 바꾸는 능력

Perhaps the most influential recent thinking informing physician learning and change arises from socio-cultural perspectives. These perspectives remind us that learning and change are context-specific. They take place within a specific setting, and the cultural and contextual structures and characteristics of that setting very much influence the learning, as do interactions with others. As we well know,

• structures such as service demands, the availability of time and space, social norms and
• accepted ways of doing things, such as the accepted norm for identifying one’s learning needs, strongly influence individual behaviour. 

They influence

• what is perceived as being important to learn,
• whether one feels safe in revealing what one doesn’t know,
• the institutional resources and supports provided for learning, and
• the ability to change practice as an outcome of the learning. 

정보에 입각하거나 안내된 자가 평가 및 자체 모니터링
Informed or guided self-assessment and self-monitoring

의사는 자기주도형 전문가로 간주되지만, 다른 모든 사람들과 마찬가지로 외부 데이터 소스의 지침의 효익 없이 수행되는 [개별 자기 평가]에는 한계가 있다.48-50 의사는 학습 니즈를 결정하고 어떻게 하고 있는지 평가하기 위해 자신의 개인 자기 평가에 계속 의존하는 반면, 'informed' 또는 'guided' 자기 평가는 개인이 자신의 성과와 관련 학습 니즈에 대한 평가를 생성하기 위해 외부 소스를 사용할 수 있고 사용해야 한다는 것을 인식한다.49–52 실제로 외부 데이터와 피드백은 필수적입니다. 이들은 동료, 팀 구성원 또는 환자가 제공하는 비공식 언어 피드백부터 공식적인 수행평가에 이르기까지 다양한 형태를 취한다.
Although physicians are considered to be self-directed professionals, they are, like everyone else, subject to the limitations of individual self-assessment undertaken without the benefit of guidance from external sources of data.48–50 Whereas physicians continue to rely on their individual self-assessment to determine their learning needs32 and to assess how they are doing, ‘informed’ or ‘guided’ self-assessment recognises that individuals can and should use external sources to generate an appraisal of their own performance and related learning needs.49–52 In fact, external data and feedback are essential. They take many forms, ranging from informal verbal feedback provided by colleagues, team members or patients, to formal performance assessments. 

직장학습
Workplace learning

직장학습은 [일을 하고, 다른 사람들과 교류하고, 관찰하며, 일과 관련된 구조와 시스템을 관찰함으로써 일상 업무의 과정에서 일어나는 학습]을 말한다.53 직장학습의 학자들은 그 메커니즘을 이해하는 데 도움을 준다. 직장 학습은 업무 경험에서 발생하기 때문에, 그러한 [경험에 대한 성찰은 학습의 중심]이다.54–57 성찰은 [사전 지식과 성과], [관찰 또는 경험된 것] 사이의 중재자로서 기능한다.15 직장 학습은 가장 자주 비공식적이고 비정형적이며 심지어 무의식적으로 또는 기회적으로, 어쩌면 그 순간에 자발적으로 일어날 수도 있다. 이러한 이유로, 그것은 잘 보이지 않는 경향이 있고 종종 학습으로 인정되지 않는다. 그러나, 직장 학습은 계획되고, 조직되고, 명확한 목표가 있는 맥락에서 숙고되고 구조화될 수도 있다. 이를 인식하여 더 나은 환자 치료와 건강 결과를 달성하기 위해 [협력적 직장 학습을 의도적으로 구조화]하는 것이 CPD의 긍정적인 방향이라는 개념에 관심을 가져야 한다.
Workplace learning refers to the learning that occurs in the course of everyday work, through doing the work and interacting with and observing others and the structures and systems related to the work.53 Scholars of workplace learning help us to understand its mechanisms. Because workplace learning arises fromwork experiences, reflecting upon those experiences is central to the learning.54–57 Reflection functions as a mediator between prior knowledge and performance, and what was observed or experienced.15 Workplace learning is most frequently informal and unstructured58 and can even occur unconsciously59 or opportunistically, perhaps spontaneously in the moment. For this reason, it tends to be less visible and is frequently unacknowledged as learning.60,61 However, it can also be deliberate and structured in contexts in which the learning is planned, organised and has definite goals. Recognising this draws our attention to the notion that deliberately structuring collaborative workplace learning to achieve better patient care and health outcomes would be a positive direction for CPD.8 

집단역량
Collective competence

의학의 문화는 개인주의를 중시하지만, 사회학습, 자기평가, 협력적 직장학습의 관념은 우리의 사고를 개인으로부터 멀어지게 한다. Lingard 62는 우리로 하여금 [중요한 것은 개인의 능력일 뿐만 아니라 집단적 능력, 또는 전문가들 간의 공유된 능력]이라는 개념을 고려하게 하였다. 개인의 역량은 필요하지만 자동적으로 품질 관리와 동일시되지는 않는다.62 그것은 [역동적이고, 맥락과 강하게 결부되며, 신뢰, 권력, 존경에 대한 인식과 일정과 같은 구조적 또는 물질적 요인에 의해 형성되는 팀 구성원 간의 관계에 의해 영향]을 받는다. 팀 또는 집단 역량은 정적이지 않으며, (개인이 여러 팀의 구성원이 될 수 있고 구성원 자격이 변경될 수 있는 것처럼) 상황에 따라 달라질 수 있습니다. 

Although the culture of medicine values individualism, the notions of social learning, guided self-assessment and collaborative workplace learning direct our thinking away from the individual. Lingard62 challenges us to consider the notion that it is not only the competence of the individual that is important, but also collective competence, or the shared competence of the interprofessional team. Individual competence is necessary, but does not automatically equate to quality care.62 It is dynamic and strongly tied to context, and influenced by relationships among team members, which are shaped by perceptions of trust, power and respect, and by structural or material factors like schedules and staffing. Team or collective competence is not static and can vary with the situation, just as individuals may be members of multiple teams and their membership may change. 


복잡성과 시스템 이론
Complexity and systems theory

의료는 복잡한 시스템이다; 복잡도 이론은 시스템 동작과 시스템 변화를 말한다.63–65 복잡한 시스템은 역동적이고 지속적으로 상호작용하는 많은 구성요소로 구성되어 있습니다. 이러한 상호 작용은 실제로 개별 행동보다 더 중요하다.66 복잡성 이론은 개별 요인으로부터 벗어나 맥락적, 시스템 및 팀 기반 영향에 주의를 집중시킨다. 또한 개별 요소의 상호 작용과 개인 및 사회적 영향의 영향을 간과하는 환원주의적 및 선형적인 교육 및 실천적 관점으로부터 우리를 멀어지게 한다. 67세의 Lingard와 동료들은 전문가 간 관리의 복잡성에 대한 연구를 진행하면서 관리 및 팀 간 협업의 유연성, 역동성 및 예측 불가능성을 입증했습니다.

• 의료 시스템의 복잡성과 예측 불가능성에 대한 이해가 CPD의 미래를 어떻게 형성할 수 있는가?
• CPD의 내용(예: 시스템 과학 콘텐츠의 포함)과 CPD 활동의 본질(예: 환자를 돌보고 상황을 관리하는 과정에서 발생하는 비공식적이고 기회주의적인 학습을 인식하고 명시함으로써)에 어떻게 영향을 미칠 수 있는가? 

Health care is a complex system; complexity theory refers to systems behaviour and systems change.63–65 Complex systems are comprised of many components that are dynamic and continuously interactive. These interactions are actually more important than discrete individual actions.66 Complexity theory directs our attention to the contextual, systems-and team-based influences and away from individual factors. It also moves us away from a reductionist, linear view of education and practice, which overlooks the interaction of individual elements and the impact of personal and social influences. Lingard and colleagues,67 undertaking a study of the complexity of interprofessional care, demonstrated the fluidity, dynamism and unpredictability of care and of interprofessional team collaboration.

• How might understanding of the complexity and unpredictability of the health care system shape the future of CPD?
• How might it both influence the content of CPD (e.g. by the inclusion of systems science content) and the nature of CPD activities (e.g. by recognising and making explicit the informal and opportunistic learning that arises in the process of caring for a patient or managing a situation)? 

구현과학
Implementation science

지식번역의 이론과 과학, 또는 실행과학은 새로운 지식이 어떻게 실천의 복잡성에 통합되는지에 대한 우리의 이해에 기여한다. 연구에 따르면 데이터를 사용하여 변화를 만드는 과정은 직관적이거나 간단하지 않은 경우가 많습니다. 개인 및 조직의 행동 변화에 대한 여러 이론과 프레임워크에서, 영국 심리학자들은 행동 변화에 영향을 미치는 12개의 영역을 식별했으며, 이는 다음과 관련이 있다. 

• 지식; 
  
• 기술; 
  
• 사회적 또는 직업적 역할과 정체성 
  
• 능력에 대한 믿음. 
  
• 낙관주의; 
  
• 결과에 대한 믿음; 
  
• 강화, 의도 및 목표 
  
• 기억, 주의 및 결정 프로세스. 
  
• 환경 맥락 및 자원. 
  
• 사회적 영향; 
  
• 감정, 
• 행동 규정 
  

The theory and science of knowledge translation, or implementation science, contribute to our understanding of how new knowledge is integrated into the complexity of practice. Research shows that the process of using data to make change is often not intuitive or straightforward.68–70 From multiple theories and frameworks of individual and organisational behaviour change, British psychologists71,72 identified 12 domains influencing behaviour change, pertaining to:

• knowledge;
• skills;
• social or professional role and identity;
• beliefs about capabilities;
• optimism;
• beliefs about consequences;
• reinforcement, intentions and goals;
• memory, attention and decision processes;
• environmental context and resources;
• social influences;
• emotions, and
• behavioural regulation. 

공식 CPD에서 가장 자주 다루어지는 교육 영역인 지식과 기술은 이러한 영역 중 두 개만 나타낸다는 점이 눈에 띈다. 그러나 일단 변화할 필요성이 확인되면, 변화할 능력에 더 영향을 미치는 것은 종종 다른 영역이다. 구현 과학 학자들은 변화를 구현하는 과정을 안내하고 촉진자의 역할을 권고하기 위해 복잡한 프레임워크를 개발했다. 그러한 프레임워크가 CPD의 미래에 어떤 빛을 발할 수 있는가?
It is notable that knowledge and skills, the educational domains most frequently addressed in formal CPD, represent only two of these domains. Yet it is often the other domains that more frequently influence the ability to make a change once the need to do so is identified. Implementation science scholars have developed complex frameworks to guide the process of implementing change73 and recommend the role of a facilitator.74 What light can such frameworks shed upon the future of CPD? 

환자 결과를 개선하기 위한 통합 접근 방식을 설명하기 위한 사례 예제: VHA 의료 팀 교육 프로그램
A CASE EXAMPLE TO ILLUSTRATE AN INTEGRATED APPROACH TO IMPROVING PATIENT OUTCOMES: VHA MEDICAL TEAM TRAINING PROGRAMME

도입부에서 제시된 사례 시나리오에 대응하여 2006년, 재향군인보건청(VHA)은 100개 이상의 시설에 걸쳐 전국적인 의료팀 훈련 프로그램을 시행하였다. 이 교육 프로그램은 다음과 같은 요소로 구성된 다면적인 개입이었습니다.

• (i) 강의, 그룹 상호 작용 및 비디오를 포함하는 직접 학습 세션으로 구성된 수술실 직원(병원, 마취과, 간호사, 마취과 의사, 간호사 등)의 팀 기반 교육
  
• (ii) 지속적인 지원과 코칭 제공을 위한 후속 전화 인터뷰
  
• (iii) 체크리스트 사용을 통한 직장 내 학습 강화, 그리고 팀원들이 사건 중 어떻게 의사소통할 수 있는 장을 마련할 기회를 제공하고, 안전 문제가 있는 경우 모든 팀원들이 목소리를 낼 수 있도록 명시적인 격려를 포함하는 구조화된 팀 브리핑을 통해, 그리고
  
• (iv) 팀 구성원들이 잘 된 일과 개선할 수 있는 일에 대해 성찰할 수 있는 기회를 제공하는 보고 완전히 구현되었을 때, 이 광범위한 팀 훈련 프로그램은 외과적 사망률의 감소를 달성할 수 있었는데, 이는 교육 이니셔티브에 있어 드문 75년이었다.

In response to the case scenario posed in the introduction, in 2006, the Veterans Health Administration (VHA) implemented a nationwide medical team training programme across its over 100 facilities. The training programme was a multifaceted intervention that consisted of the following elements:

• (i) team-based training of operation room staff (surgeons, anaesthesiologists, nurse anaesthetists, nurses, etc.) consisting of in-person learning sessions that included a lecture, group interaction and videos;
• (ii) follow-up telephone interviews four times per year to provide ongoing support and coaching;
• (iii) the reinforcement of learning in the workplace through the use of a checklist, as well as through structured team briefings that provided team members with opportunities to set the stage for how they would communicate during the case and included the explicit encouragement of all team members to speak up if they had a safety concern, and
• (iv) debriefings that allowed team members opportunities to reflect upon what had gone well and what could be improved upon. When fully implemented, this broad-based team training programme was able to achieve a reduction in surgical mortality,75 a rare accomplishment for an educational initiative. 

결론

CONCLUSIONS

이러한 통합을 알리는 이론적 토대를 바탕으로, 우리는 미래의 CPD 시스템이 다음과 같은 프로그램을 개발해야 한다고 제안한다.
Drawing on the theoretical foundations informing this integration, we propose that the CPD system of the future should develop programmes that:

• 1 확인된 니즈를 충족시키는 데 적합한 다양한 장단기 교육 개입을 제공합니다.
  
• 2 일상 작업장에 배치한다. 
  
• 3 의료 시스템에 통합되고 이에 의해 지원된다.
  
• 4 환자 및 임상 결과를 지향한다. 
  
• 5 복수의 성과 및 결과 데이터에 의해 안내된다.
  
• 6 팀 기반. 
  
• 7 QI의 원칙과 전략을 채택하고
• 8 의사, CPD 제공자 조직, 규제 기관 및 보건 시스템에 의해 책임진다.

• 1 Offer varied short-and long-term educational interventions that are appropriate to meeting identified needs;
  
• 2 Are grounded in the everyday workplace; 
  
• 3 Are integrated into the health care system and supported by it;
  
• 4 Are oriented to patient and clinical outcomes; 
  
• 5 Are guided by multiple sources of performance and outcome data;
  
• 6 Are team-based; 
  
• 7 Employ the principles and strategies of QI, and 
  
• 8 Are taken on as a responsibility by physicians, CPD provider organisations, regulators and the health system.
  
  
  
  

6 Davis DA, Prescott J, Fordis CM Jr, Greenburg SB, Dewey CM, Brigham T, Lieberman SA, Rockhold RW, Lieff SJ, Tenner TE Jr. Rethinking CME: an imperative for academic medicine and faculty development. Acad Med 2011;86 (4):468–73. XXX

Med Educ. 2018 Jan;52(1):125-135.

 doi: 10.1111/medu.13407. Epub 2017 Oct 6.

CPD of the future: a partnership between quality improvement and competency-based education

Joan Sargeant 1, Brian M Wong 2 3, Craig M Campbell 4 5

Affiliations collapse

Affiliations

• 1Continuing Professional Development, Faculty of Medicine, Dalhousie University, Halifax, Nova Scotia, Canada.
• 2Department of Medicine, Sunnybrook Health Sciences Centre, University of Toronto, Toronto, Ontario, Canada.
• 3Centre for Quality Improvement and Patient Safety, University of Toronto, Toronto, Ontario, Canada.
• 4Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada.
• 5Department of Medicine, Faculty of Medicine University of Ottawa, Ontario, Canada.

• PMID: 28984354

• DOI: 10.1111/medu.13407

Abstract

Context: Many of those involved in continuing professional development (CPD) over the past 10 years have engaged in discussions about its goals and activities. Whereas in the past CPD was viewed as an education intervention directed towards the medical expert role, recent research highlights the need to expand the scope of CPD and to promote its more explicit role in improving patient care and health outcomes. Recent developments in quality improvement (QI) and competency-based medical education (CBME), guided by appropriate theories of learning and change, can shed light on how the field might best advance. This paper describes principles of QI and CBME and how they might contribute to CPD, explores theoretical perspectives that inform such an integration and suggests a future model of CPD.

Discussion: Continuing professional development seeks to improve patient outcomes by increasing physician knowledge and skills and changing behaviours, whereas QI takes the approach of system and process change. Combining the strengths of a CPD approach with strategies known to be effective from the field of QI has the potential to harmonise the contributions of each, and thereby to lead to better patient outcomes. Similarly, competency-based CPD is envisioned to place health needs and patient outcomes at the centre of a CPD system that will be guided by a set of competencies to enhance the quality of practice and the safety of the health system.

Conclusions: We propose that the future CPD system should adhere to the following principles: it should be grounded in the everyday workplace, integrated into the health care system, oriented to patient outcomes, guided by multiple sources of performance and outcome data, and team-based; it should employ the principles and strategies of QI, and should be taken on as a collective responsibility by physicians, CPD provider organisations, regulators and the health system.

© 2017 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

무역량의 기준을 높이기: 의사의 자기평가가 임포스터 신드롬에 대하여 드려내어주는 것(Acad Med, 2018)

“Rising to the Level of Your Incompetence”: What Physicians’ Self-Assessment of Their Performance Reveals About the Imposter Syndrome in Medicine
Kori A. LaDonna, PhD, Shiphra Ginsburg, MD, PhD, and Christopher Watling, MD, PhD

고품질의 환자 관리는 의사의 높은 기준과 세부 사항에 대한 주의를 필요로 한다.1 에러가 발생하면 의사는 죄책감, 불안 및 자기 의심으로 인해 괴로워할 수 있으며, 이는 많은 사람들이 다른 사람과 공유할 수 없거나 공유해서는 안 된다고 인식하는 투쟁struggle이다.3-5 반복적으로 느끼는 불충분한 느낌은 번아웃에 기여할 수 있다.6,7 "의식적으로 무능력한"  의사를 (또는 그들의 결함에 대한 인식이 부족한 사람들을) 돕는 데 많은 관심이 집중되어 있지만, 우리는 겉으로는 유능하다고 생각되는 의사들의 underperformance가 그들의 학습, 실습 및 웰니스에 미치는 영향에 대해서는 잘 이해하지 못하고 있다. 이러한 "무의식적으로 유능한" 의사들도 고통을 겪을 수 있지만, 그들의 요구는 [disclosure를 좌절시키는 문화]에서는 보이지 않을 수 있다.3–5 (실제 또는 상상된) 성능 저하에 대한 더 깊은 이해는 어려움을 겪고 있는 모든 의사를 지원하기 위한 전략을 파악할 수 있습니다.

High-quality patient care relies on physicians’ high standards and attention to detail.1 When errors occur, physicians may be plagued by guilt, anxiety, and self-doubt1,2—struggles that many perceive they either cannot, or should not, share with others.3–5 Recurrent feelings of inadequacy can contribute to burnout.6,7 While much attention is heaped on helping “unconsciously incompetent”8 physicians— or those who lack awareness about their deficits—we have limited understanding about the impact of underperformance on apparently competent physicians’ learning, practice, and wellness. These “unconsciously competent”8 physicians may also suffer, yet their needs may not be visible in a culture assumed to discourage disclosure.3–5 A deeper understanding about underperformance, both real and imagined, may identify strategies to support all physicians who struggle.

피드백은 성능 저하, 실패 또는 자가 의심 탐색에 중요한 "강력한 현실 점검reality check" 9가 될 수 있습니다. 그러나 가치가 있기 위해서는 피드백이 개인의 [자기 평가]와 조화를 이루어야 한다.10 의사들의 성과에 대한 통찰력은 유동적이고 맥락적이지만, 자기 평가는 부정확한 것으로 악명 높다. 8,11–15 "임포스터 증후군"은 사람들을 괴롭히는 부정확한 자기 평가의 한 형태이다. 이는 "학위, 학력, 표준화된 시험에서 높은 성취도, 동료들과 권위자로부터의 전문적인 인정을 받고 있음에도 내부의 성공감을 경험하지 못하는" 사람들을 말한다.

Feedback can be a “powerful reality check”9 critical for navigating underperformance, failure, or self-doubt. But to be valuable, feedback must reconcile with an individual’s self-assessment.10 Physicians’ insight into their performance is fluid and contextual,8 however, rendering self-assessment notoriously inaccurate.8,11–15 The “imposter syndrome” is one form of inaccurate self-assessment that afflicts those who, “despite their earned degrees, scholastic honors, high achievement on standardized tests, praise and professional recognition from colleagues and respected authorities … do not experience an internal sense of success.”16

임포스터 증후군은 완벽주의와 연관되어 있으며, 지나친 불안과 자기진작에 의해 유발되며, 고부담 평가 문화에 널리 퍼져 있다. 19 이전 연구에서 조사된 참가자 중 가정의학과 거주자의 약 30%, 내과 거주자의 약 44%(n = 48)가 자신을 임포스터로 느낀다고 보고되었다. 임포스터 증후군은 심리적인 고통의 강한 예측 변수이다; 그것은 의사들이 임상 실습에 준비가 되어 있지 않다고 느끼게 할 수 있고, 20 그리고 그것은 그들의 커리어 발전에 부정적인 영향을 줄 수 있다.23 우리는 임포스터 증후군이 어려움을 겪고 있는 학습자들을 가르치고 지원하는 학문적인 의사들의 능력에 어떤 영향을 미치는지 모른다.
The imposter syndrome is linked with perfectionism,17 is triggered by excessive anxiety and self-doubt,18 and is prevalent in the high- stakes, evaluative culture of medicine.19 Findings from previous studies show that of participants surveyed, approximately 30% of family medicine residents (n = 175)20 and 44% of internal medicine residents (n = 48)21 feel like imposters. The imposter syndrome is a strong predictor of psychological distress22; it can make physicians feel unprepared for clinical practice,20 and it can negatively affect their career advancement.23 We do not know what, if any, impact the imposter syndrome has on academic physicians’ ability to both teach and support struggling learners.

의료전문직medical profession은 의사들이 실수를 잘 처리할 수 있는 준비를 충분히 시키지 않고, 그들의 불안을 공유할 수 있도록 적절하게 지원하지도 않는다.3–5 제한된 지원으로 오류와 자기 의심과 씨름하는 의사는 두려움에 의해 움직일 수 없게 될 수 있다.25 성공한 사람들은 아마도 이러한 어려움을 효과적으로 관리할 방법을 찾고, 심지어 전문 역량의 개발에서 중요한 단계로서 이러한 어려움을 극복하는 것을 되돌아볼 수도 있다.26 지원전략을 확인하고자, 우리는 그들이 훈련과 후속 경력 동안 실수, 실패 또는 저성과에 대한 인식을 성공적으로 관리maneuvered했음을 인지한 교수 내과의사의 경험을 탐구했다.

The medical profession neither sufficiently prepares physicians to grapple with mistakes24 nor adequately supports them to share their insecurities.3–5 With limited support, physicians wrestling with errors and self-doubt may become immobilized by fear.25 Successful individuals presumably find ways to manage these struggles effectively, and they may even reflect back on navigating these difficulties as critical steps in the development of their professional competence.26 To identify support strategies, we explored the experiences of faculty physicians who perceived that they had successfully maneuvered mistakes, failures, or perceptions of underperformance during their training and subsequent careers. 

방법

Method

우리는 기초적인 사회 프로세스가 시간에 걸쳐 어떻게 전개되는지 탐구하는 정성적 연구 방법론인 건설주의적 기반 이론(CGT)을 사용하여 반복적인 데이터 수집 및 분석 프로세스를 알렸다. 건설주의자로서, 우리는 경험에 의해 색칠된colored by 렌즈를 통해 데이터를 수집하고 해석한다는 것을 염두에 둔다. 세 명의 조사관은 모두 박사 교육을 받은 의료 교육 연구원이다. 
We used constructivist grounded theory (CGT)—a qualitative research methodology that explores how a basic social process unfolds over time27—to inform the iterative data collection and analysis process. As constructivists, we are mindful that we collect and interpret data through lenses colored by our experiences. All three investigators are PhD-trained medical education researchers; 

모집 Recruitment

민감한 주제를 탐구했기 때문에, 우리는 특정 의사를 의도적으로 모집하지도 않았고 그들의 직업 단계나 규율을 바탕으로 27명의 개인을 이론적으로 표본으로 추출하지도 않았다.
Because we explored sensitive topics, we neither purposefully recruited specific physicians nor theoretically sampled27 individuals on the basis of either their career stage or discipline.

자료 수집과 분석 Data collection and analysis

약 60분 동안 진행되는 반구조적 인터뷰 동안, 참가자들에게 그들의 실패와 성과에 대한 인식을 공유하고, 그들이 어떻게 성과나 학습의 어려움을 인지하고 탐색하는지 토론하고, 그들의 경험이 학습자와의 상호 작용을 어떻게 형성했는지 설명하도록 요청하였다

During semistructured interviews lasting approximately 60 minutes, we asked participants to share both their failures and their perceptions about their performance, to discuss how they recognized and navigated performance or learning struggles, and to explain how their experiences shaped their interactions with learners (Supplemental Digital Appendix 1, http://links.lww.com/ACADMED/A507). 

모든 인터뷰는 K.L.에 의해 진행되었고, 녹음되었고, 녹음되었다. 3단계 코딩 프로세스 동안 우리는 테마를 식별하기 위해 일정한 비교 분석을 사용했다. 

• 먼저, K.L.과 C.W.는 초기 코드를 식별하기 위해 처음 두 개의 녹취록을 독립적으로 읽습니다. 
• 다음은 K.L.과 C.W.는 초기 코드를 예비 테마로 통합하여 다음 2개에서 3개의 스크립트에 적용했습니다. 
• 주제와 범주의 최종 목록은 합의에 의해 개발되었으며 각 대본을 재녹음하는 데 사용되었다. 
• 분석의 각 단계에서 우리는 S.G.와 상의하여 초기 분석을 해석하고 분석 통찰력을 탐색하기 위해 인터뷰 가이드를 개선했다. 예를 들어, 임포스터 증후군은 데이터 수집 초기에 몇몇 참여자들에 의해 도입되었다. 
• 다른 사람들이 자신의 성과에 대한 인식을 어떻게 설명했는지에 대해 반향을 불러일으키는 것 같았기 때문에, 우리는 인터뷰 가이드를 조정하여 그것을 조사했습니다. 
• 이론적으로 임포스터 증후군에 대한 샘플링 질문은 CGT 방법론의 반복적이고 새로운 성격과 일치한다.27 
  

All interviews were conducted by K.L., audio-recorded, and transcribed verbatim. During a three- staged coding process, we used constant comparative analysis to identify themes. First, K.L. and C.W. independently read the first two transcripts to identify initial codes. Next, K.L. and C.W. consolidated initial codes into preliminary themes that were applied to the next two to three transcripts. A final list of themes and categories was developed by consensus and used to recode each transcript. At each stage of the analysis, we consulted with S.G. to interpret the initial analysis and to refine the interview guide to probe analytical insights. For instance, the imposter syndrome was introduced by a few participants early in data collection. Because it seemed to resonate with how others described their perceptions about their performance, we adjusted our interview guide to probe around it. Theoretically sampling questions about the imposter syndrome aligns with the iterative and emergent nature of CGT methodology.27 

우리는 2015년 7월부터 10월까지 참가자들을 인터뷰했습니다. 우리는 참가자들의 이야기가 저성과 실패에 대한 교수진의 경험을 탐구하기에 충분하다고 판단했을 때 모집을 중단했다. 이것은 우리가 새로운 참가자들로부터 추가적인 이해를 얻지 못했다는 것을 의미하는 것이 아니라, 그것은 우리의 데이터가 우리의 탐구적 연구 질문을 충분히 만족시켰다는 것을 의미한다. 작문writing은 CGT 분석 과정에 필수적이기 때문에, 우리는 dissemination을 위한 연구 결과를 준비하면서 분석을 계속 개선했습니다. 30 서부 대학 연구 윤리 위원회는 모든 연구 절차를 승인했습니다. We interviewed participants from July to October 2015. We ceased recruitment when we determined that participants’ stories seemed sufficient for exploring faculty physicians’ experiences with underperformance and failure.28 This does not mean that we would not have gained additional understanding from new participants; rather, it means that our data sufficiently satisfied our exploratory research question.29 Because writing is integral to the CGT analytical process, we continued to refine our analysis as we prepared findings for dissemination.30 The Western University Research Ethics Board approved all study procedures.

결과

Results

일부 참가자의 저성과 실패에 대한 경험에는 좋지 않은 학업 또는 환자 결과의 가시적인 예가 포함되었지만, 참가자들은 자주 반복되는 자기 의심감self-doubt, 즉 자신의 수행능력이 부족하다거나 또는 실패했다는 인식을 더 많이 기술했다. 모든 참가자가 임포스터로 식별되는 것은 아닙니다. 대신, 우리는 임포스터 증후군이 자기 의심의 스펙트럼의 극단적인 끝에서 발생했다는 것을 확인했다. 그럼에도 불구하고, 많은 사람들에게 성공, 긍정적인 피드백, 칭찬은 훈련, 임상적 상황, 학문적 노력, 그리고 지도적 위치에서 그들의 불충분한 감정을 완충시키지 못했다. 대신, 고급 경력 단계를 포함한 일부 참가자는 자신의 지식이나 성취의 타당성에 대해 자주 의문을 제기했습니다. 

While some participants’ experiences with underperformance and failure included tangible examples of poor academic or patient outcomes, participants more commonly described recurrent feelings of self-doubt—or perceptions that they were underperforming or failing. Not all participants identified as imposters. Instead, we perceived that the imposter syndrome occurred at the extreme end of a spectrum of self-doubt. Regardless, for many, success, positive feedback, and accolades did not buffer their feelings of inadequacy in training, in clinical situations, in academic endeavors, and in leadership positions. Instead, some participants—including those at advanced career stages—frequently questioned either their knowledge or the validity of their achievements. 

자기 의심의 스펙트럼

A spectrum of self-doubt

참가자들은 의사를 역력과 자신감을 요구하는 직업으로 묘사했지만, 자신감은 깨지기 쉽고 때로는 덧없었다. 어떤 사람들에게, 자기 의심의 순간은 아주 드물게만 보고되었다.
Participants described medicine as a profession that demanded competence and confidence; confidence was, however, fragile and sometimes fleeting. For some, moments of self-doubt were reported as rare. 

[이 스펙트럼의 다른 한쪽 끝]에는 자기 의심이 유난히 지속적이고 두드러져 보이는 참가자가 있었다.
At the other end of the spectrum were participants for whom self-doubt seemed unusually persistent and prominent:

대부분의 참가자는 중간 어딘가에서 자책감에 시달리며 넘어졌습니다.
Most participants fell somewhere in the middle, experiencing fluctuating moments of self-doubt:

일부는 성별이 자기 의심증후군이나 임포스터 증후군에 대한 감정과 반응에 영향을 미친다고 인식했다.

Some perceived that gender influenced feelings of, and responses to, self-doubt or the imposter syndrome:

여성으로서, 우리는 자신감과 무능을 중심으로 매우 다르게 어울린다. 동료 여성 레지던트들 사이에서는, 남성 레지던트들이 실제로 기술을 갖기 전에 너무 자신만만해하는 경우가 많다고 생각합니다(P26). 

As women, we socialize very differently around confidence and incompetence. I think among fellow women residents, I see that they often aren’t as confident until they’re quite skilled, where male residents often are too confident before they actually have the skills. (P26) 

참가자들은 여성들이 자기 자신에 대해 더 의심하는 경향이 있는지, 아니면 단순히 그들을 더 기꺼이 공유할 것인지 확신하지 못했다. 
Participants were unsure if women were more prone to feelings of self-doubt, or if they were simply more willing to share them: 

제 경험에 비추어 볼 때 남자들은 적어도 저와 함께 그것에 대해 말을 많이 하지 않고, 여성들은 불안이나 자신에 대한 의심의 공유로부터 이익을 얻는 것 같습니다. 그리고 저는 그 경험에서 오는 공유된 경험에 대한 확신을 생각합니다. (P28) 
In my experience the men don’t speak about it as much, at least with me, and the females do seem to benefit from the sharing of the insecurities or the self- doubts, and I think the reassurance of the shared experience that comes from that. (P28) 

반복되는 자기 의심의 순간들
Recurring moments of self-doubt

자신감을 드러내야 하지만, (스스로는) 느껴지지 않는 상황에서 자기 의심은 더 심해졌다. 전환transition이나 새로운 직업상의 도전은 일반적인 촉발 요인이었다. 그리고 잦은 이직은 의학 경력의 공통적인 특징이기 때문에, 참가자들은 자기 의심이 지속적이기보다는 반복적이라고 설명했습니다. 결과적으로, 자기 의심의 구성 요소는 새로운 경력 단계에 따라 진화했지만, 좋은 인상을 주고 싶다(그리고 망쳐버리고 싶지 않다)는 느낌은 모든 수준의 교육에서 남아있었다. 
Self-doubt was exacerbated in situations where confidence must be shown, but is not felt; transitions or new professional challenges were common triggers. And because frequent transitions are a common feature of a medical career, participants described self-doubt as recurring rather than continuous. Consequently, while the constituents of self-doubt evolved with each new career stage, the feeling of wanting to impress— and to not “screw things up” (P5, P13)—lingered at all levels of training. 

참가자들은 의학을 [고성취자들에 의해 채워진 엘리트 직업]으로 특징지었습니다; 연구참여자들에게 [의과대학에 입학한 것]은 종종 역경이나 자신에 대한 의심을 갖게 된 첫 경험이었습니다:
Participants characterized medicine as an elite profession populated by high achievers; entering medical school was often participants’ first experience with adversity or self-doubt:


일부 참가자들에게 의대를 시작하는 것은 그들의 정체성과 소속감을 뒤흔들어 놓았다. 다른 이들은 자신들이 평균적일 뿐이며, 엘리트의 스펙트럼이 있다면 그것의 말단이라는 걱정을 하면서도, 스스로 의학medicine에 속한다고 자신했다. 그리고 자신감이 흔들릴 때, 때때로 자신에 대한 의심이 사라지지 않습니다. 
For some participants, starting medical school rattled their identity and sense of belonging. Others were confident that they belonged in medicine, albeit with a pervasive worry that they were on the average end of an elite spectrum of performers. And when confidence wavered, feelings of self-doubt sometimes took hold: 


레지던시 교육 동안, 참가자들은 그들이 끊임없이 비판의 대상이 되었다고 설명했습니다. 지나친 자신감과 불안감 사이의 균형을 맞추기 위해 애쓰는 참가자들에게, [피드백의 부족]은 자기 의심에 무게를 더해줄 수 있다. 참가자들은 일반적으로 성과가 없거나 실패한 학습자는 광범위한 피드백을 받게 된다는 것을 인식했습니다. 
During their residency training, participants described that they were constantly braced for critique. For participants struggling to strike a balance between overconfidence and insecurity, a paucity of feedback could tip the scales toward self-doubt. Participants perceived that extensive feedback was typically reserved for learners who were underperforming or failing: 

[도움이 되는 피드백의 부족]은 모든 직업 단계에서 문제였습니다.

• 어떤 사람들에게는 피드백이 없다는 것은 그들이 좋은 성과를 내고 있다는 것을 의미했다.
• 다른 이들에게는 피드백 부족으로 인해 자신의 능력에 대한 의구심이 생겨 신뢰도에 영향을 미쳤습니다. 
  

Lack of helpful feedback was a problem at all career stages. For some, the absence of feedback was taken to mean that they were performing well. For others, lack of feedback created doubts about their competence that affected their confidence: 

일단 practice에 들어갔을 때, 참가자들은 Academic medicine에서의 커리어란 [자기의 자신감을 흔드는, 끝이 없어 보이는 일련의 경험]으로 보았다. 예를 들어, 좋지 않은 임상 결과, 환자 불만, 열악한 교육 평가, 연구과제 탈락 및 원고 리젝트는 불안정insecurity의 연료였다.

Once they entered practice, participants viewed a career in academic medicine as a seemingly endless series of experiences that shook their confidence. For instance, bad clinical outcomes, patient complaints, poor teaching evaluations, and rejected grants and manuscripts were fodder for insecurity:

이 사업을 하려면 낯이 아주 두꺼워야 합니다. 당신의 논문이 거부되고, 보조금이 거부되고, 누군가가 당신의 일을 비판합니다. 제 생각에 그것은 임상 의사로서의 실패와 다른 면에서 매우 어려운 일입니다.

You have to have a very thick skin to be in this business, as your papers get rejected, your grants get rejected, somebody critiques your work … so that’s just as hard, I think, in different ways than the failures you have as a clinician. (P28)

때때로, 성공조차도 단점이 있었다; 진보적인 독립과 직업의 진보는 "당신의 무능의 수준까지 올라가는 것"으로 가변적으로 경험되었다. (P1, P3) 반대되는 증거에도 불구하고, 많은 참가자들은 다음과 같이 묘사했다: "매번 새로운 역할을 맡을 때마다 나는 임포스터라고 느껴졌다." (P22).
Sometimes, even success had a downside; progressive independence and career advancement were variably experienced as “rising to the level of your incompetence” (P1, P3). Despite evidence to the contrary, many participants described that: “Every time I took on a new role I felt as an imposter” (P22).

일단 practice를 하게 되면, 참가자들은 비임상 역할에서의 성과에 대한 건설적인 피드백을 거의 받지 못했습니다. 피드백이 제공되었을 때, 그것은 양날의 검으로 인식되었다. 사기꾼 같은 느낌을 지지하는 참가자들에게는, 그들의 성과에 대한 [긍정적인 피드백조차도 그들의 자신에 대한 의심을 없애주지 못했습니다].
Once in practice, participants rarely received constructive feedback about their performance in their nonclinical roles. When feedback was provided, it was perceived as a double-edged sword. For participants who endorsed feeling like imposters, even positive feedback about their performance did not erase their self-doubt:

자기의심 다루기

Managing self-doubt

자기 의심은 감정적으로 괴로울 수 있다. 한 참가자는 또한 다음과 같은 새로운 전문적 과제에 착수하는 것을 교수진들로 하여금 꺼리게 할 수 있다고 지적했다. 
Self-doubt could be emotionally distressing. One participant also indicated that it could make faculty reluctant to embark on new professional challenges: 

참가자들은 자신의 불안을 관리하기 위한 여러 가지 전략을 알아냈습니다. 레지던시 동안 일부는 다음과 같이 자신에 대한 의구심을 달랬습니다. 

Participants identified a number of strategies for managing their insecurities. During residency, some assuaged their self-doubt by: 

철저한 것, 조심하는 것, 환자와 핵심 이슈에 주의를 기울이는 것. 제가 최선을 하지 못했을 수도 있지만, 제가 할 수 있는 최선의 일을 하고 있다는 것을 아는 한, 저는 그것으로 충분했습니다. (P6) 

Being thorough, being careful, being attentive to the patient, the issues. I may not have done the best possible job, but as far as I knew I was doing the best job that I could do, and that was enough for me. (P6) 

그러나 의료의 문화적 측면은 [불안감을 지속하게 만들고, 심지어 불안감을 훈련시키는 것처럼 보였기 때문에] 관리는 어려웠다. 예를 들어, 쇼맨십은 광범위한 문화적 가치로 묘사되었다. [자신 있는 것처럼 수행하는 것]은 [실제 의료 지식이나 시술 기술을 보유하는 것]보다 더 중요하다고 인식되었습니다. 

Managing was, however, challenging because aspects of medical culture seemed to perpetuate, even to train, feelings of insecurity. For instance, showmanship was described as a widespread cultural value. Performing confidently was perceived to be as, if not more, important than possessing actual medical knowledge or procedural skill: 

[의학은 공연 예술performance art]이라는 개념도 널리 인정받았습니다; 흰 코트(가운)는 자신감 있는 의사의 역할을 하는 데 필요한 의상으로 인식되었습니다. 
The notion of medicine as performance art was also widely endorsed; the white coat was perceived as the requisite costume for playing the part of the confident physician: 

그러나, 몇몇 참가자들에게 흰 코트는 사기fraudulence를 친 것 같은 감정을 불러일으켰다.
For several participants, however, the white coat evoked feelings of fraudulence:

나는 이 책을 읽었던 것을 기억한다… '자신감의 망토'라고 불리며 사람들이 어떻게 그 흰 코트를 입고 다른 사람이 될 것인가… 나는 그 코트를 입는 것이 싫었다. 나는 정말 사기꾼처럼 느껴졌다. (P7)

I remember reading this book … called the Cloak of Confidence and how people would wear the white coat and become someone else.… I hated wearing that coat … I felt like such an imposter. (P7)

그럼에도 불구하고, 일부 참가자들에게는, 자신감에 찬 임상의 역할을 하는 것이 자신에 대한 의심에 대한 광범위한 감정을 숨기는 데 있어 매우 중요해졌다. 하지만, 참가자들은 너무 지나친 쇼맨십은 위험할 수 있다는 것을 이해했습니다. 즉, 의학문화는 자신감을 중시하지만, 교만을 혐오한다. 그러므로 자기 의심증후군 또는 임포스터 증후군은 위험 회피 직업의 유용한 특징인 [부적절하게 과도한 자기확신에 대한 보호 메커니즘]으로 인식되었다. 다시 말해, 이러한 감정들이 "약간은 자신을 겸손하게 유지하기 위해 필요한 것" (P10)이 될 수 있다.
Regardless, for some participants, acting the part of the confident clinician became critical for hiding pervasive feelings of self-doubt. However, participants understood that too much showmanship could be dangerous. That is, while medical culture values confidence, it abhors arrogance. Self-doubt or the imposter syndrome was, therefore, perceived to be a protective mechanism against inappropriate overconfidence—a useful feature of a risk-averse profession. In other words, these feelings could be “what you need to keep a little bit humble” (P10).

대처 전략을 확인했음에도 불구하고, 몇몇 참가자들에게는 불충분한 감정이 지속되었다; 의학은 이러한 투쟁struggle을 공유할 기회가 거의 없는 문화로 인식되었다. 참가자들은 자기 의심과 임포스터 증후군은 금기시되는 주제라고 설명했습니다; 이러한 감정에 대해 확신하거나 도움을 구하는 것은 "인식된 약함의 인정" (P20)과 같았습니다. 선배 동료가 이러한 감정에 대해 공개적으로 말하는 것이 "매우 도움이 되고 아마도 타당할 것"(P28)이라는 것을 알게 된 컨설턴트 참가자조차도 종종 동료나 학습자와 자신의 경험을 공유하지 않았습니다. 

Despite identifying coping strategies, feelings of inadequacy persisted for several participants; medicine was perceived to be a culture with few opportunities to share these struggles. Participants described that self-doubt and the imposter syndrome were taboo subjects; confiding or seeking help for these feelings equated to “an admission of perceived weakness” (P20). Even consultant participants who had found it “very helpful, and probably validating” (P28) for a senior colleague to speak openly about these feelings often did not share their experiences with their colleagues or with their learners: 

고찰

Discussion

교육자들은 경험과 경력의 진보에 따라 성과에 대한 불안감이 줄어들기를 바라지만, 연구 결과는 [자기의심]이 모든 경력의 단계에서 임상의사에게 다양한 방식으로 영향을 미치며, [임포스터 증후군을 경험하는 의사들]은 해로운 효과와 함께 지속적이고 경력상 무의식적인 능력에 의해 영향을 받을 수 있다는 것을 보여준다.31 
while educators would hope to see insecurities about performance lessen with experience and career progression,21 our findings show that self-doubt variably affects clinicians at all career stages and that physicians experiencing the imposter syndrome may be affected by lingering, career- long unconscious competence with detrimental effects.31 

참가자들의 커리어 궤적에 걸친 경험은 [학습자들이 갖는 자기 의심의 방아쇠]는 [경험이 많고 진료를 하는 의사]와 다를 수 있다는 것을 시사하는 듯 보인다. 즉, 우리는 전공의 시기의 참가자들이 갖는 [자기 의심 감정]은 [자신의 의학 기술과 지식이 스스로 생각했던 것만큼 좋지 않다]는 만연한 우려를 중심으로 발생한다고 추측한다. 컨설턴트로서 참여자들의 불안은 그들이 다른 사람들이 생각하는 것만큼 좋지 않다는 두려움을 시사했다.

Participants’ experiences across their career trajectories seem to suggest that the triggers for self-doubt may be different for learners than for experienced, practicing physicians. That is, we speculate that during residency, participants’ feelings of self-doubt revolved around a pervasive concern that their medical skills and knowledge were not as good as they thought they were. As consultants, participants’ insecurities suggested a fear that they were not as good as others thought they were. 

우리의 발견은 문헌에 몇 가지 기여를 한다.

• 첫째, 우리는 [뛰어난 퍼포머]들도 비록 실패하거나 실적이 저조한 사람들보다 지원 방법이 적지만 어려움을 겪는다는 것을 발견했다.
• 둘째, 우리는 자기 의심의 재발을 촉발할 수 있는 요인을 식별했고, 우리는 의료 관행으로 어디서나 전환을 탐색하는 과제에 새로운 차원을 추가했다.
• 마지막으로, 우리는 의학 문화가 [잘 하고 있는 사람은 스스로 잘 한다는 것을 잘 알고 있다는 잘못된 가정]과 ["도움이 필요한 것은 젊은 의사의 자아상과 맞지 않는다."]는 잘못된 가정 때문에 불충분한 감정을 영속시킬 것을 제안한다.
  

Our findings make several contributions to the literature.

• First, we found that even outstanding performers struggle, albeit with fewer avenues for support than those who fail or underperform.
• Second, we identified factors that can trigger a resurgence of self-doubt, and we add a new dimension to the challenge of navigating the transitions ubiquitous to medical practice.
• Finally, we propose that medical culture perpetuates feelings of inadequacy because of an incorrect assumption that those who are doing well know that they are doing well, and because “needing help does not fit with the self-image of young doctors.”11

(실수나 실패의 실제 사례가 아니라) 참가자들이 [성과에 대한 불안감을 공유하는 경향]은 이미 잘 알려진 [오류를 공개하는 것에 대한 거부감]의 반영일 수 있다. 그럼에도 불구하고, 그들의 경험은 [전환, 도전, 그리고 책임의 증가]가 자기 의심을 촉발하는 주된 용의자라고 경고한다. 우리는 학문적 의학 경력의 연속성을 따라 변천이 일정하며, 학습자와 교수진 의사 모두 새로운 학습 및 작업 환경, 임상 팀 및 전문 역할의 요구에 적응하면서 underperform할 수 있다는 점을 유념할 필요가 있다.

Participants’ tendencies to share their insecurities about their performance— rather than actual instances of their mistakes or failures—may reflect a well- described reluctance to disclose errors.3–5 Regardless, their experiences caution that transitions, challenges, and increased responsibilities are notable culprits for triggering self-doubt.16,21 We need to be mindful that transitions are constant along the continuum of an academic medical career,32,33 and that both learners and faculty physicians may underperform as they adjust to the demands of new learning and work environments, clinical teams, and professional roles.34

그러나, 우리의 연구 결과는 의사들이 [새로운 역할에서 실제 역량을 달성한 후에도] 기존의 인식된 역량perceived competence이 회복되지 않을 수 있다는 증거를 추가한다. 우리는 자기 의심을 자극하거나 악화하는 것은 [늘상 존재하는 전문적 도전]과 [거의 지속적인 변화transition]이 유발할 수 있는 예상치 못한 위험이라는 점을 이해할 필요가 있다. 우리는 또한 그러한 빈번한 전환이 필요한지 신중히 검토해야 하며, 멘토링이나 코칭으로 어느 정도 일관성을 제공함으로써 그들의 영향을 어떻게 완화시킬 수 있는지 고려해야 한다. 
However, our findings add evidence that physicians’ perceived competence may not rebound once they have achieved actual competence in their new roles. We need to understand whether the promotion or exacerbation of self-doubt is an unanticipated risk of ever-present professional challenges and of near- constant transitions. We should also carefully examine whether such frequent transitions are necessary,35,36 or consider how we might mitigate their impact by providing a degree of consistency through mentorship or coaching. 

그 동안, 우리는 원활한 전환을 위한 노력의 일환으로 이러한 감정들을 예상하고 주목해야 한다. 또한 임상의학 교육자는 학습자가 스킬 질문에 동시에 대답하고 응답에 대한 자신감을 스스로 평가하는 신뢰 기반 평가가 성능 불안정을 완화하는데 유용한 접근법이 될 수 있는지 여부를 고려할 수 있다.

In the meantime, we should anticipate and attend to these feelings as part of trying to smooth transitions. Clinician educators might also consider whether confidence- based assessments37—in which learners simultaneously answer skill questions and self-assess their confidence in their response—might be a useful approach for mitigating performance insecurities.

관찰자가 있는 경우, 전공의는 [환자 치료에 대한 평상시의 접근방식]을 [교과서 또는 체크리스트 접근방식] 38,39로 대체하였다.
we learned that in the presence of an observer, residents replaced their usual approach to patient care with one that exemplified a textbook or checklist approach38,39;

퍼포먼스를 'staging'하는 것은 마치 사기를 치는 것처럼 느껴졌고, 그래서 학습자는 inauthentic performance라고 인식한 것에 기반한 피드백의 신뢰성을 의심하게 되었다.
Staging a performance feels fraudulent and can make learners question the credibility of feedback26 based on what they perceived to be an inauthentic performance.38

Performance에 대한 불안정감은 피드백의 신뢰성과 교육적 영향에도 영향을 미쳤다. 즉, 임포스터 증후군을 경험하는 의사에게는 [어떤 형태의 피드백]도 잘 되어봐야 무시되거나, 최악의 경우엔 심지어 해로울 수 있다.

• 자신감이 부족한 사람들에게 타인의 비평은 상당한 정서적 고통을 유발하여, 스스로 불충분하다는 내적 감각을 강화시킬 수 있다.
• 긍정적인 피드백도 신뢰성이 부족하다. 사기꾼들은 그들이 느끼는 것보다 더 유능하다고 묘사하는 긍정적인 피드백을 무시한다. 
  

Insecurities about performance may also affect the credibility and educational impact of feedback; that is, for physicians experiencing the imposter syndrome, feedback in any form may be ignored at best, and detrimental at worst.

• For individuals lacking in confidence, external critiques may create significant emotional distress, reinforcing an internal sense that they are not good enough.
• Even positive feedback lacks credibility; imposters discount positive feedback that portrays them as more competent than they feel. 
  
  

반복적인 자기 의심에도 불구하고, 우리의 참가자들은 심지어 탁월하게 기능할 수 있는 방법을 개발하는 것 같았다. 그러나, 의학에서 임포스터 증후군을 탐구하는 이전 연구에 기초하여, 우리는 이러한 감정을 극복하는 데 어려움을 겪는 사람들이 개인의 건강, 학습, 그리고 직업에 상당한 비용을 초래할 수 있다고 의심한다. 자기 의심에 허덕이는 의사를 식별하고 지원하는 것은 어려운 일이다. 왜냐하면 다른 사람들에게는 일반적으로 의사들도 상당히 뛰어난 성과를 내고 있다고 인식되기 때문이다. 그리고, 우리의 데이터가 보여주듯, 그들은 자신을 드러내는 것을 꺼릴 수도 있습니다. 그러나 [이러한 감정을 멘토와 동료들과 공유하는 것]이 여기에 대처하는 중요한 방식일 수 있다.41

Despite recurrent self-doubt, our participants seemed to develop ways to function, even to excel. However, on the basis of previous research exploring the imposter syndrome in medicine,19–22,31 we suspect that those who have difficulty overcoming these feelings may incur significant costs to their personal wellness, to their learning, and to their careers.23 Identifying and supporting physicians struggling with self-doubt is challenging because, to others, they are generally perceived as performing quite well. And, as our data support, they may be reluctant to reveal themselves.23 Ye t sharing these feelings with mentors and colleagues may be an important aspect of coping.41 

따라서 의료교육자의 과제는 이러한 불안이 흔하고 재발하고, 의료문화의 특징이 자아에 대한 의심을 키울 수 있다는 인식과 이해를 발전시키는 것이며, 의료인들이 자신의 감정을 안전하게 인식하고 공유할 수 있는 기회를 개발하는 것이 매우 중요하다는 것이다. 

The challenge for medical educators, therefore, is to develop an awareness and understanding that these insecurities are common and recurrent, that features of the medical culture may foster self-doubt, and that it is critical to develop opportunities for practitioners to safely acknowledge and share their feelings. 

한계

Limitations


결론 Conclusions

의료 훈련(진정한 의료 경력)은 불안을 조장하고 어려움을 겪고 있는 사람들을 인식하고 지원하려는 노력을 제한할 수 있다. 우리는 반복되는 자기 의심이 왜 일부 교육자들이 어려움을 겪고 있는 학습자들을 상담하는데 어려움을 겪는지에 대한 하나의 설명이 될 수 있다고 추측한다.

Medical training—indeed medical careers—may both foster insecurities and limit efforts to recognize and support those struggling with them. We speculate that recurrent self-doubt may be one explanation for why some educators have difficulty counseling struggling learners. 

Acad Med. 2018 May;93(5):763-768.

 doi: 10.1097/ACM.0000000000002046.

"Rising to the Level of Your Incompetence": What Physicians' Self-Assessment of Their Performance Reveals About the Imposter Syndrome in Medicine

Kori A LaDonna 1, Shiphra Ginsburg, Christopher Watling

Affiliations collapse

Affiliation

• 1K.A. LaDonna is assistant professor, Departments of Innovation in Medical Education and Medicine, University of Ottawa, Ottawa, Ontario, Canada. S. Ginsburg is professor, Internal Medicine (Respirology), and scientist, Wilson Centre, University of Toronto, Toronto, Ontario, Canada. C. Watling is professor, Departments of Clinical Neurological Sciences and Oncology, associate dean, Postgraduate Medical Education, and scientist, Centre for Education Research and Innovation, Schulich School of Medicine and Dentistry, Western University, London, Ontario, Canada.

• PMID: 29116983

• DOI: 10.1097/ACM.0000000000002046

Abstract

Purpose: Mistakes are ubiquitous in medicine; when confronted by error, physicians may experience anxiety, guilt, and self-doubt. Feedback may be useful for navigating these feelings, but only if it matches a physician's self-assessment; self-doubt and the imposter syndrome are examples of inaccurate self-assessments that may affect receptivity to feedback. The impact of real or imagined underperformance on seemingly competent physicians is poorly understood. This study aimed to develop a deeper understanding to identify strategies to support all physicians who struggle.

Method: In 2015, 28 physicians were interviewed about their experiences with underperformance. Early in the data collection process, participants spontaneously identified the imposter syndrome as a feature of their experiences; questions about the imposter syndrome were probed in subsequent interviews.

Results: Many participants-even those at advanced career stages-questioned the validity of their achievements; progressive independence and career advancement were variably experienced as "rising to the level of your incompetence." Not all participants identified as imposters; the imposter syndrome occurred at the extreme end of a spectrum of self-doubt. Even positive feedback could not buffer participants' insecurities, which participants rarely shared with their colleagues.

Conclusions: Self-doubt variably affects clinicians at all career stages. Frequent transitions may cause a resurgence of self-doubt that may affect feedback credibility. Medical educators must recognize that it is not just the underperforming or failing learners who struggle and require support, and medical culture must create space for physicians to share their struggles.

교육자 및 연구자로서 교사를 개발하고 보상하기: 눈부신 진보와 위압적 과제(Med Educ, 2017)

Developing and rewarding teachers as educators and scholars: remarkable progress and daunting challenges
David M Irby & Patricia S O’Sullivan

도입

INTRODUCTION

1988년 세계 의료 교육 회의에서, 참가자들은 전 세계적으로 의료 교육을 개선하기 위해 고안된 의제를 추구할 것을 다짐했다. 알려진 대로 에든버러 선언은 12가지 권고안을 내놨는데, 다섯 번째 권고안은 '교사를 콘텐츠 전문가만이 아닌 교육자로 양성하고, 이 분야의 우수성을 생물 의학 연구나 임상 실습의 우수성만큼 충분히 보상하라'는 글의 초점이다. 
At the 1988 World Conference on Medical Education, participants pledged themselves to pursue an agenda designed to improve medical education worldwide. The Edinburgh Declaration,1 as it became known, made 12 recommendations; the fifth recommendation is the focus of this article: ‘Train teachers as educators, not content experts alone, and reward excellence in this field as fully as excellence in biomedical research or clinical practice’. 

그러나, 연구는 일반적으로 의학 교육과 고등 교육에서 교육보다 늘 우선순위에 있으며, 그 결과 전문적 만족, 학업 촉진, 연구자와 교육자에 대한 유지 및 보수 비율의 차이를 초래한다.3,4 이러한 차이가 발생하는 맥락에는 성별, 인종, 민족과 같은 다른 형태의 불평등도 포함된다. 이러한 불평등이 지속되는 이유는 무엇입니까? 

Yet, research continues to trump teaching in medical education and higher education generally,2 resulting in disparities in rates of professional satisfaction, academic promotions, retention and remuneration for researchers and educators.3,4 The context within which this disparity takes place includes other forms of inequities as well, such as gender, race and ethnicity.5–10 Why do these inequities persist? 

교사들을 콘텐츠 전문가만이 아니라 교육자로 양성
TRAIN TEACHERS AS EDUCATORS, NOT CONTENT EXPERTS ALONE

에든버러 선언은 교사들의 컨텐츠 지식의 단순한 향상을 넘어 교육자로서 그들의 기술과 경력을 발전시킬 것을 권고했다. 콘텐츠 지식은 필수적이지만 교수법의 우수성을 위해서는 불충분하다. 교육자들은 교육자로서 직접적인 가르침을 넘어서는 다양한 교육적 역할에 대한 지식, 전문적 실천을 위한 기술, 정체성 형성을 필요로 한다.
The Edinburgh Declaration recommended moving beyond mere improvements in teachers’ content knowledge to advance their skills and careers as educators. Content knowledge is essential but insufficient for excellence in teaching. Educators need knowledge for their various educational roles that may extend beyond direct teaching, skills for professional practice and identity formation as an educator. 

교사를 교육자로 육성
Developing teachers as educators

역사적으로, 교수를 위한 전문적 개발professional development은 그들의 컨텐츠 지식이 최신인지 확인하는 데 초점을 맞췄다. 교수진들은 연구에 몰두하고, 국내외 학회에서 연구결과를 발표하며 안식년을 완수하는 등 전문적으로 성장했다. 연구를 수행하던 이 최신 교수들은 훌륭한 연구자와 교사들로 추정되었다. 가르치는 데 특별한 지식이나 기술이 필요하지 않았다. 
Historically, professional development for faculty members focused on ensuring that their content knowledge was up to date. Faculty members grew professionally by engaging in research, presenting their work at national and international conferences and completing sabbaticals. These up-to-date professors, who were conducting research, were assumed to be good researchers and teachers. No special knowledge or skills were required for teaching. 

Shulman은 이러한 가정에 도전했다. Shulman은 효과적인 가르침을 위해서는 [학습자들이 그들의 발전 수준에서 접근 가능하고 이해할 수 있는 것으로 자신의 콘텐츠 지식을 변화시킬 수 있는 능력]이 필요함을 인식하였다. Shulman은 이러한 독특한 형태의 교사 지식을 '교육적 콘텐츠 지식 또는 PCK'라고 불렀다. 교사들은 PCK, 즉 스크립트를 개발하고, 학생들과 대화를 시작하며, 그들이 내용에 대한 더 깊은 이해를 하도록 도울 방법을 발견함으로써 실제로 이러한 지혜를 심화시킨다.13 
Shulman challenged this assumption, recognising that effective teaching requires the ability to transformone’s content knowledge into something that is accessible and understandable to learners at their levels of development.11,12 Shulman called this unique formof teacher knowledge ‘pedagogical content knowledge or PCK’. Teachers develop PCK, or teaching scripts, and deepen this wisdomin practice by entering into dialogue with their students and discovering ways to help themdevelop a deeper understanding of content.13 

이러한 관점 하에, 교직원 개발도 변화되었다.
Armed with these perspectives, the development of faculty members as teachers was transformed.

교사들은 직접적인 교육 외에도 다양한 학문적 역할을 수행하며, 추가적인 형태의 지식과 기술을 요구한다. 여기에는 멘토와 조언자, 커리큘럼 개발자, 학습의 평가자, 교육 지도자 및 학자로서의 역할이 포함된다. 또한 교육자는 혁신해야 하며, 새로운 기술을 교육에 적응시키고, 전문가 간 이니셔티브에 참여하며, 보다 광범위한 사회적 이슈(예: 건강상의 차이)에 관심을 가져야한다. 교사는 조직 환경 내에서 교육자로서의 정체성을 공동 구축하면서 개인적, 직업적 정체성의 변화를 겪는다. [교육자 역할을 정체성에 통합시키는 것]은 시간이 지남에 따라 일어나며, 더 많은 교수와 교수진 개발에 참여해야 하는지에 대한 그들의 선택에 영향을 미친다.18–21 
Teachers perform a wide variety of other academic roles besides direct instruction, requiring additional forms of knowledge and skills. These include roles as mentors and advisors, curriculum developers, assessors of learning, educational leaders and scholars.17 Educators also innovate, adapt new technologies to instruction, participate in interprofessional initiatives and attend to broader social issues (such as health disparities). Teachers undergo changes in their personal and professional identities, as they co-construct their identities as educators within their organisational environments. Integrating educator roles into their identities occurs over time, influencing their choices about whether to engage in more teaching and in faculty development.18–21 

교수진 개발을 통한 교육인적 변화
Transforming educators through development of faculty members

많은 교수진에게 있어 교육에 대한 실무 지식과 교육자의 전문적인 기술과 정체성 형성은 관찰과 연습을 통해 발전한다. 그러나, 모든 교직원은 교수개발에 참여함으로써 이러한 지식, 기술, 정체성 형성을 확장할 수 있다, 16 
For many faculty members, the practical knowledge for teaching and the professional skills and identity formation of educators develop through observation and practice. However, all faculty members can expand this knowledge, skill and identity formation by participating in faculty development,16 

기초과학이 의학의 학습을 강화할 수 있는 것처럼, 교육학pedagogical contruct은 [가르침과 교육자의 다른 여러 역할]에 대한 배움을 증진시킬 수 있다. 
Just as basic science constructs can strengthen learning of medicine,22 so pedagogical constructs can advance the learning of teaching and other educator roles.13,23,24 

고등 교육에서 교수 개발에 대한 문헌을 검토해보면, 이러한 프로그램이 교수의 가르침과 학생 학습에 미치는 긍정적인 영향을 문서화한다.25-27 보건직업 문헌의 검토는 교육 리더십, 장학금 및 네트워킹을 발전시키는 데 있어 종단적 교수개발 프로그램의 강점을 추가로 강조한다.28,29 
Literature reviews of faculty development in higher education document positive impacts of these programmes on faculty members’ teaching and student learning.25–27 Reviews in the health professions literature additionally highlight the strengths of longitudinal faculty development programmes in advancing educational leadership, scholarship and networking.28,29 

교수진 개발 프로그램들은 또한 참가자와 근무지 사이에서 실천공동체를 형성한다.32 일부에서는 '교직 공동체teaching commons의 설립'을 요구했고, 다른 일부는 일시적transitory 실천공동체(교실 및 임상 환경에서 교수 개발 워크숍, 종적 프로그램, 주제 지향적 이익 그룹)와 근무지workplace 실천공동체(교실과 임상현장)에 대해 썼다.34 

Faculty development programmes also build communities of practice among participants and in the workplace.32 Some have called for the establishment of a ‘teaching commons’33 and others have written about transitory communities of practice (faculty development workshops, longitudinal programmes, topic-oriented interest groups) and workplace communities of practice (in classroom and clinical settings).34 

고등교육 교사 인증
Certifying teachers in higher education

많은 국가들과 기관들이 [교사들과 교육자들을 위한 인증 과정]을 실행했다. 이를 통해 모든 교직원이 확립된 전문직 기준을 충족하고 고등교육에서 가르치는 데 필요한 자격 증명을 확보할 수 있습니다. 예를 들어,

• 네덜란드에서 모든 대학교 교직원은 UTQ(University Teaching Qualification) 자격증을 취득해야 합니다.
• 영국에서 Professional Standards Framework는 양질의 교육을 위한 지침과 벤치마크를 제공한다.43
• 스웨덴41과 독일40은 또한 의무적인 고등교육 교사 교육을 요구한다.
• 미국에서는 고등교육에서 교사들의 역량을 정의하기 위한 노력이 44,45건 있었지만, 교사 자격증은 교직원 개발의 자발적인 부분을 계속하고 있다.  
  

many countries and institutions have implemented certification processes for teachers and educators. This ensures, as a matter of policy, that all faculty members meet established professional standards as teachers36–40 and have the necessary credentials to teach in higher education.41,42

• In the Netherlands, for example, all university faculty members must acquire a University Teaching Qualification (UTQ) certificate.
• In the UK, the Professional Standards Framework provides guidelines and benchmarks for quality teaching.43
• Sweden41 and Germany40 also require compulsory higher education teacher training.
• In the USA, there have been some efforts to define competencies for teachers in higher education44,45 but teacher certification continues to be a voluntary part of faculty development. 

여러 기관과 전문 그룹은 전문 개발 활동을 설계하기 위한 프레임워크를 제공하는 [의료 교육자를 위한 역량 표준]을 개발하였다. [필수 교사 자격증]부터 [자발적인 전문성 개발]까지 접근법이 다양하다.48–50
Several organisations and professional groups have developed competency standards for medical educators,38,45–47 which provide a framework for designing professional development activities. Approaches range from mandatory teacher certification to voluntary professional development.48–50

역량 기반 인식 프로그램의 또 다른 예는 임상의사 교육자를 위한 캐나다 왕립 의사 및 외과의사 학위 프로그램이며, 이는 역량 집중 영역에 대한 인증이다.53 

Another example of a competency- based recognition programme is the Royal College of Physicians and Surgeons of Canada Diploma programme for clinician educators, which is certification for a focused area of competence.53 



교육의 우수성을 보상합니다.
REWARD EXCELLENCE IN TEACHING

에든버러 선언의 두 번째 부분은 [생물 의학 연구와 임상 실습의 우수성만큼이나 전적으로 가르치는 데 있어 탁월함을 보상하는 것]을 포함한다. 이러한 정책 목표를 달성하기 위해서는 구조적인 변화가 필요하다.
The second part of the Edinburgh Declaration involves rewarding excellence in teaching as fully as excellence in biomedical research and clinical practice. In order to achieve this policy goal, structural changes are required,

학술활동의 재정의

Redefining scholarship

고등교육의 학술활동scholarship은 전통적으로 발견 위주의 연구와만 관련이 있다. 그러나 1990년, Boyer는 학문적 견해의 확대를 위해 연구를 포기하고 논쟁을 재탄생시킨 강력한 사례를 만들었다.57 그는 학술활동이 [발견, 통합, 적용, 보급/교육]의 네 가지 기본적 형태로 존재한다고 주장했다. 이들 각각은 엄격함rigour으로 수행될 수 있고, 동료 검토를 위해 가시화 될 수 있으며, 학술활동의 한 형태로 간주될 수 있다. Boyer의 연구를 바탕으로 Glassick은 [적절한 준비, 명확한 목표, 적절한 방법, 중요한 결과, 효과적인 프레젠테이션 및 성찰적 비평]의 6가지 교육 학술활동 평가를 위한 표준을 제안했다.58,59 이것은 개선과 승진을 위한 교육자들의 기여를 평가하기 위한 투명한 기준을 제공했다. 
Scholarship in higher education has traditionally been associated exclusively with discovery-oriented research. However, in 1990 Boyer made a strong case for giving up the research versus teaching debate and reframing the argument in favour of an expanded view of scholarship.57 He argued that scholarship comes in four fundamental forms: discovery, integration, application and dissemination/teaching. Each of these can be performed with rigour, be made visible for peer review and be considered a formof scholarship. Building on Boyer’s work, Glassick proposed six standards for evaluating the scholarship of teaching: adequate preparation, clear goals, appropriate methods, significant results, effective presentation and reflective critique.58,59 This offered a transparent set of criteria to evaluate the contributions of educators for improvement and promotion. 

교육자 역할 구체화

Specifying educator roles

2006년 미국 의과대학연합회(AAMC)는 교육장학회의(교육장학회의)를 소집하여 [교육, 커리큘럼 개발, 조언과 멘토링, 교육 리더십과 행정, 학습자 평가] 등 5대 핵심 교육자 역할을 확정했다. 이 보고서는 또한 다음을 구분했다. 

• '교육적 수월성' 퀄리티의 측정을 수반함.
  
• '학술적 교육' 다른 사람의 업무(최상의 증거와 모범 사례)를 기반으로 함
  
• '교수학습의 학술' 다른 사람들이 그것을 기반으로 할 수 있도록 보급을 추가로 필요로 함
  

In 2006, the Association of American Medical Colleges (AAMC) convened a consensus conference on educational scholarship that identified five core educator roles: teaching, curriculum development, advising and mentoring, education leadership and administration, and learner assessment.17 The report also distinguished between

• ‘excellence in teaching’ that involves measures of quality,
• ‘scholarly teaching’ that builds on the work of others (best evidence and best practice), and
• the ‘scholarship of teaching and learning’ that additionally requires dissemination so that others can build on it. 

교육 학술활동 문서화 및 평가
Documenting and assessing educational scholarship

교직원의 교육장학금의 장점을 판단하기 위해, 교직원은 동료의 검토를 위해 그러한 기여가 가시화될 수 있는 장치가 필요했다. 교육자 포트폴리오(EP)는 교사들이 관련 교육자 역할에 대한 성과를 제시할 수 있도록 함으로써 이 공백을 메웠다. 또한 EP는 경력 개발, 멘토링 및 교수진 개발을 위한 도구 역할을 할 수 있습니다. EP는 K-12 교육 및 고등 교육에서 널리 사용되고 있습니다.63–66 영국 품질보증국에 의해 사용됩니다.63 의학 내에서, 교수진은 학술적 홍보와 의학 교육자 아카데미(AME)에 대한 응용을 위해 EP를 사용합니다. 
To judge the merits of a faculty member’s educational scholarship, faculty members needed a mechanismto make those contributions visible for peer review. The educator portfolio (EP) filled this void by allowing teachers to present their accomplishments in relevant educator roles. EPs can also serve as a tool for career development, mentoring and faculty development. The EP is in widespread practice in K-12 education62 and higher education.63–66 It is used in the UK by the Quality Assurance Agency.63 Within medicine, faculty members use EPs for academic promotions and for applications to academies of medical educators (AMEs). 

그러나 EP는 variability과 길이, 평가에 대한 부정확한 지침 및 제도적 학술 진흥 절차에 포함되지 않기 때문에 기대 편익benefits을 산출하지 못하는 경우가 많다.69–71 또한, 여러가지 교육자 역할(예: 직접 교육, 멘토링, 커리큘럼 개발, 학습자 평가 및 리더십) 사이의 구별이 항상 명확한 것은 아니며, 이러한 역할이 학습자에게 미치는 영향에 대한 정보는 종종 제공되지 않는다. 이러한 문제들 때문에, EP들은 전통적으로 품질을 평가하기가 어려웠으며, 종종 위원회는 학술 홍보 과정 중에 그것들을 간과했다.

However, EPs often fail to produce anticipated benefits because of their variability and length, imprecise guidelines for evaluation and lack of inclusion in institutional academic promotion procedures.69–71 Furthermore, distinctions are not always made among the multiple educator roles (e.g. direct teaching, mentoring, curriculumdevelopment, learner assessment and leadership) and information is often not provided on the impact of these roles on learners. Because of these problems, EPs have traditionally been difficult to evaluate for quality and often committees overlooked themduring the academic promotions process. 

교육자를 위한 서포트

Supporting educators

보건 전문 기관들은 교육적 학술활동을 강화하고 교직원을 교육자로 인식하고 보상하기 위해 두 가지 구조 전략을 채택했다: 건강 전문 교육 장학금(HPESU) 및 의료 교육 기관 아카데미. 67

Health professions institutions have employed two structural strategies to strengthen educational scholarship and to recognise and reward their faculty members as educators: health professions education scholarship units (HPESU)72–75 and academies of medical educators.67 

HPESU는 전 세계적으로 상당히 다양하지만, [보건직업 교육과 관련된 학술활동에 종사하는, 기관 내에서 인식 가능하고 일관성 있는 조직적 실체]로 정의된다. 이들 조직은 교직원에 대하여 [멘토링, 교수개발, 협업연구, 상담]을 통해 교육적 학술활동을 지원한다. HPESU는 [교육적 사명]을 옹호하며 프로그램 평가, 교육테크놀로지, 교수개발과 같은 [행정 기능]을 종종 가지고 있다. 또한, 이러한 단위는 종종 [교육과정 개발과 수행평가를 지도할 수 있는 최고의 증거]를 학술 지도자들에게 제공한다.76 이 조직은 학자로서의 교육자를 인정하고 지원하는 강력한 힘이다.
Although HPESUs vary considerably around the world, they are defined as being a recognisable, coherent, organisational entity within the institution that is engaged in scholarship related to health professions education.73 These units offer faculty members support for their educational scholarship through mentoring, faculty development, collaborative research and consultation. HPESUs advocate for the educational mission and often have administrative functions such as programme evaluation, educational technology and faculty development. In addition, these units often provide academic leaders with best evidence to guide curriculum development and performance assessment.76 They are a powerful force for recognising and supporting educators as scholars.   

교육 및 보상 교육 개선을 위한 두 번째 구조적 또는 사회문화적 접근방식은 [의료 교육자 아카데미]에 의해 제공된다. 이것은 다음과 같은 교육 수월성을 인정하고 보상하기 위한 조직 구조입니다. 

• 교육자 옹호,
• 교수 개발 촉진,
• 교육 혁신 및 장학금 장려,
• 교육자의 경력 개발 및 학업 증진

The second structural or socio-cultural approach to improving teaching and rewarding educators is provided by academies of medical educators. They are organisational structures for recognising and rewarding excellence in teaching:

• advocating for educators,
• fostering faculty development,
• stimulating educational innovation and scholarship, and
• promoting career development and academic advancement of educators.67,68,77

이러한 유형의 아카데미는 학교, 대학, 국가 차원에서 조직된다. 아카데미에 들어가는 것은 지원자에 대한 엄격한 동료 평가에서부터, 단순히 아카데미가 제공하는 활동에 참여하는 것까지 다양하다. 아카데미는 동료 교육자들 사이에 중요한 공동체 의식을 형성한다. 많은 아카데미는 직업교육에서 창의성과 장학금을 육성하기 위해 혁신 기금을 제공하고 있으며, 일반적으로 교육 관련 학술 작품을 발표하는 행사로 교육의 날education day을 스폰서한다. 교육 실천의 공동체를 대표하는 아카데미들은 [교육자들을 더 드러나게 하고visibility과 지원을 제공함으로써] academic health science school의 문화를 변화시키려 한다.

Academies are organised at the level of schools, universities and nations.78 Entry into academies varies from rigorous peer review of applicants to simply participating in activities offered by the academy. Academies create an important sense of community among fellow educators. Many academies offer innovation funding to foster creativity and scholarship in professions education and they typically sponsor education days for presentation of education-related scholarly works. Representing communities of teaching practice, academies seek to transform the culture of academic health science schools by providing visibility and support to educators. 

개혁 없는 변화

HANGE WITHOUT REFORM

그러나, 학문적 가치는 학문적 보상, 보수, 지위 및 승진에서 가르치는 것에 대한 특권을 계속 부여하고 있으며, 그 결과 지속적인 개혁 요구를 낳았다.79–81 연구자로서의 우수성과 교사로서의 우수성 사이의 연관성은 없다는 연구결과에도 불구하고 이러한 현상이 나타난다.82
Yet, academic values continue to privilege research over teaching in academic rewards, remuneration, status and promotions,2 resulting in continuing calls for reform.79–81 This happens despite research showing no association between excellence as a researcher and excellence as a teacher.82

학문적 진흥에 있어서 [제도적 관성]의 이유는 (대학 문화와 정책에 강하게 내재된) 교육보다 학술연구에 우선 순위를 두는 것에서 비롯되며, 그 결과 대학의 많은 사람들이 [연구가 다른 모든 임무보다 더 많이 보상받아야 한다]고 믿게 된다. 결국, 연구는 그 기관에 지위와 자원을 가져다 주었지만, 양질의 교육 프로그램과 교육 장학금은 거의 그렇지 않게 되었다. [연구-교육 사이의 reward 균형을 변화시키기 위한 간헐적 이니셔티브]는 진정한 개혁의 결과를 거의 초래하지 않는 것으로 인식된다. 그러나, 교사-학자들은 대학의 교육 사명을 충족시키기 위해 요구되고 정책 입안자들은 연구뿐만 아니라 교육 및 장학금 보상의 의무들을 재정립할 필요가 있다. 그러한 행동은 대학들이 가르치는 것에 대한 수사적인 찬사를 넘어 다양한 방법으로 교사들에게 실제로 보상을 주는 문화와 정책으로 옮겨갈 것이다.

The reason for institutional inertia in academic promotions derives from the century-old primacy of research and publishing scholarly work over teaching that is strongly embedded in university culture and policies, resulting in many in the university believing that research should be rewarded over all other missions.2 After all, research brings status and resources to the institution, whereas quality educational programmes and educational scholarship rarely do. Episodic initiatives to change the research–teaching balance of rewards are perceived as rarely resulting in true reform. Yet, teacher-scholars are required to meet the educational mission of universities and policymakers need to realign imperatives for rewarding teaching and educational scholarship as well as research. Such action would move universities beyond rhetorical praise for teaching toward a culture and set of policies that actually reward teachers in a variety of ways.

미래 방향

FUTURE DIRECTIONS

교육자를 모집, 개발, 보상 및 유지하려면 개혁에 대한 전체적인 접근이 필요합니다. 이 작업에는 다음이 필요합니다. 

• 학업 정책 및 성과 기대치에 변화를 조성
  
• 교육자에게 명확한 경력 궤적과 정체성을 제공
  
• 교수진 개발 프로그램 확대
  
• HPESU 및 AoME 지원 
  
• 모든 교육자에게 높은 기준을 보장하는 메커니즘 생성

To recruit, develop, reward and retain educators, a holistic approach to reform is needed going forward. This will require  

• creating changes in academic policies and performance expectations, 
• providing a clear career trajectory and identity for educators, 
• expanding faculty development programmes, 
• supporting health professions education scholarship units and academies of medical educators, and 
• creating mechanisms to ensure high standards for all educators.
  
  

예를 들어, 임상 교사는 종종 (임상 교육을 함으로써 생기는 생산성 저하를 적절히 설명하지 못하는) [높은 임상 생산성 기준]에 압도당한다.
For example, clinical teachers are often overwhelmed by high clinical productivity standards that do not adequately account for decreased productivity when teaching learners in clinical settings.

[생산성 기대치]는 교육 및 학습을 지원하도록 조정되어야 하며, 따라서 교사의 만족도, 정체성, 유지 및 전문적 성취도를 향상시켜야 한다. 
productivity expectations need to be adjusted to support teaching and learning, thereby improving teachers’ satisfaction, identity, retention and professional fulfillment. 

[학문적 보상 시스템]을 개혁하기 위해, 구현 과학implementation science에서 배운 교훈은 구조적 변혁을 위한 지침으로서 도움이 될 수 있다: 핵심 이해 당사자들과 참여시키고, 효과 연구를 수행하고, 연구 종합물을 광범위하게 보급한다.83 
To reform academic reward systems, lessons learned from implementation science may be instructive as a guide for structural transformation: engage key stakeholders, conduct effectiveness studies and broadly disseminate research syntheses.83 

'의료교육에서 새로운 프로그램과 아이디어를 성공적으로 보급하려면 적극적인 교육 리더십, 개인적 접촉, 헌신, 노력, 엄격한 측정 및 구현과학 원리에 대한 관심이 필요합니다.' 우리는 역사, 문화, 제도적 정책 및 관행을 극복하기 위해 강력하고 끈질긴 옹호가 요구될 것이라는 데 동의한다.

‘Successful dissemination of new programs and ideas in medical education takes active educational leadership, personal contacts, dedication, hard work, rigorous measurement, and attention to implementation science principles.’84 We concur that strong and persistent advocacy will be required to overcome historical, cultural and institutional policies and practices. 

교육자를 학업에 참여시키기 위해, 훈련 중에 정체성이 형성되는 학생과 전공의에게 [명확한 직업 경로를 보여줄 필요]가 있다. 일부 학교는 학생 및 전공의를 위한 [의학교육 또는 보건전문직교육에 대한 scholarly concentration]을 통해 이러한 진로선택을 투명하게 한다.85,86 교직원 수준에서도 유사한 과정이 필요하다. 많은 학교들은 교직원들을 위한 [교수개발 인증 프로그램]과 보건직 교육학자들을 위한 [종단적 교육 프로그램]을 제공한다.28,87 
To recruit educators into academic careers, a clear career pathway needs to be shown to students and residents whose identities are being formed during training. Some schools make this career option transparent through scholarly concentration on medical or health professions education for students and residents.85,86 At the faculty member level a similar process is required. Many schools offer development certification programmes for faculty members, as well as longitudinal teaching programmes for health professions education scholars.28,87 

교육지도자 역할을 맡기를 원하는 교직원을 위해 [보건직업교육 석사학위, 보건직업교육 박사학위] 등이 교수-학습의 학술활동 증진을 원하는 교직원을 위해 존재한다.49 
For those faculty members who wish to take on educational leadership roles, masters degrees in health professions education are widely available50 and doctoral programmes in health professions education exist for those who wish to advance the scholarship of teaching and learning.49 

학술적 교육자scholary educator를 배출하는 핵심 요소인 [교수개발]은 포괄적으로 이루어져야 할 것이다. 교육학적 지식과 기술을 지속적으로 제공하면서 프로그램은 커리큘럼 개발, 평가, 멘토링, 리더십, 장학금 등 다른 교육자 역할도 다룰 필요가 있을 것이다. 게다가, 교직원들은 자신들이 과거에 학생이나 전공의일 때 한번도 배운 적 없는 성찰적 관행뿐만 아니라 퀄리티와 안전, 탐구와 학술활동 등도 가르쳐야 한다. 따라서, 교수개발은 이러한 새로운 기술에 대해 교수진에게 교육하기 위해 보건 시스템뿐만 아니라 학부, 대학원 및 지속적인 보건 전문가 교육과 함께 협력하고 있습니다. 따라서, 교수개발 프로그램은 [교육기술]뿐만 아니라 [기본 콘텐츠]로 돌아가, PCK를 향상시키기 위해 이 둘을 자꾸 결합하는 완전한 동그라미full circle가 되어야 한다.

Faculty development, a key component of producing scholarly educators, will need to become comprehensive. While continuing to offer pedagogical knowledge and skills, programmes will also need to address other educator roles, including curriculum development, assessment, mentoring, leadership and scholarship. In addition, faculty members are now expected to teach quality and safety, inquiry and scholarship, as well as reflective practice, none of which were taught to them when they were students and residents. Faculty development is therefore teaming up with health systems as well as undergraduate, graduate and continuing health professions education to educate faculty members on these new skills. Thus, faculty development programmes have come full circle in returning to teaching basic content as well as educator skills and frequently combining the two to improve pedagogical content knowledge.

이와 함께 교직원 육성프로그램은 스스로 학습하고 스스로 조직화하는 [(임상현장workplace에서의) 교육 실천 공동체]를 위한 새로운 방안을 모색할 필요가 있을 것으로 보인다. 이들은 다음을 중심으로 형성되는 비공식 학습 공동체이다.3

• 공유된 책임(예: 코스 감독, 임상실습 감독 및 레지던시 프로그램 감독),
• 교육 장소(예: 강의실, 임상 및 전문가 간 팀 실습)
• 관심 교육 분야(예: 시뮬레이션, 기술 및 팀 기반 학습)2

In addition, faculty development programmes will need to find new ways to foster the development of self-teaching and self-organising communities of teaching practice in the workplace. These are informal learning communities that can form around

• shared responsibilities (e.g. course directors, clerkship directors and residency programme directors),
• locations of instruction (e.g. classroom, clinical and interprofessional team practice) and
• pedagogical areas of interest (e.g. simulations, technology and team-based learning).32

모든 교육자들이 가르치는 데 필수적인 지식과 기술을 받도록 하는 것이 정책 우선순위가 되어야 한다. 실천 공동체로서, 그 목표를 달성하는 방법은 명확하지 않다. 일부 유럽 국가에서는 이미 [고등교육 교사 자격증]이 일반적이며, 다른 학교에서는 전임자 임용 전이나 그 이후 곧 교수진 개발을 요구하는 곳도 있다. 만약 교육자들이 교사 인증의 일환으로 장학금에 참여할 것으로 기대된다면, 교육 장학금을 지원하는 새로운 메커니즘이 필요할 것이다.
Ensuring that all educators receive the essential knowledge and skills for teaching should be a policy priority. As a community of practice, how to achieve that goal is less clear. Teacher certification in higher education is already the norm in some European countries and some schools elsewhere require faculty development prior to full-time academic appointment or soon thereafter. If educators are expected to engage in scholarship as part of their teacher certification, then new mechanisms of support for educational scholarship will be needed.

16 Irby DM. Excellence in clinical teaching: knowledge transformation and development required. Med Educ 2014;48(8):776–84.

24 Gusic ME, Baldwin CD, Chandran L, Rose S, Simpson D, Strobel HW, Timm C, Fincher RM. Evaluating educators using a novel toolbox: applying rigorous criteria flexibly across institutions. Acad Med 2014;89 (7):1006–11.

45 Srinivasan M, Li S, Meyers F, Pratt D, Collins J, Braddock C, Skeff KM, West DC, Henderson M, Hales RE, Hilty DM. “Teaching as a competency”: competencies for medical educators. Acad Med 2011;86:1211–20.

31 ASPIRE. ASPIRE to excellence in faculty development AMEE Website: Association for Medical Education in Europe; 2016 http://aspire-to-excellence.org/ 

47 Sherbino J, Frank J, Snell L. Defining the key roles and competencies of the clinician-educator of the 21st century: a national mixed-methods study. Acad Med 2014;89 (5):783–9.

Med Educ. 2018 Jan;52(1):58-67.

 doi: 10.1111/medu.13379. Epub 2017 Aug 3.

Developing and rewarding teachers as educators and scholars: remarkable progress and daunting challenges

David M Irby 1, Patricia S O'Sullivan 1

Affiliations collapse

Affiliation

• 1Department of Medicine, UCSF, San Francisco, California, USA.

• PMID: 28771776

• DOI: 10.1111/medu.13379

Abstract

Context: This article describes the scholarly work that has addressed the fifth recommendation of the 1988 World Conference on Medical Education: 'Train teachers as educators, not content experts alone, and reward excellence in this field as fully as excellence in biomedical research or clinical practice'.

Progress: Over the past 30 years, scholars have defined the preparation needed for teaching and other educator roles, and created faculty development delivery systems to train teachers as educators. To reward the excellence of educators, scholars have expanded definitions of scholarship, defined educator roles and criteria for judging excellence, and developed educator portfolios to make achievements visible for peer review. Despite these efforts, the scholarship of discovery continues to be more highly prized and rewarded than the scholarship of teaching. These values are deeply embedded in university culture and policies.

Challenges: To remedy the structural inequalities between researchers and educators, a holistic approach to rewarding the broad range of educational roles and educational scholarship is needed. This requires strong advocacy to create changes in academic rewards and support policies, provide a clear career trajectory for educators using learning analytics, expand programmes for faculty development, support health professions education scholarship units and academies of medical educators, and create mechanisms to ensure high standards for all educators.

© 2017 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

의학교육으로 도약하기: 의학교육자의 경험에 대한 질적 연구(Med Educ, 2017)

Making the leap to medical education: a qualitative study of medical educators’ experiences
Julie Browne,1 Katie Webb2 & Alison Bullock2

도입

INTRODUCTION

의학교육자들은 직업과 역할 변화의 지속적인 과정의 일부로 그들의 [직업적 정체성]을 발전시킨다. 많은 의학 교육자들이 [정체성 사이의] 또는 심지어 [학문적 분야 사이의] [경계적 공간liminal space]을 차지하고 있다고 주장되어 왔다. 결과적으로, 일부 개인들은 안정적인 의료 교육자 정체성을 개발하고, 의료 교육 내에서 경쟁적인 직업 요구와 증가하는 변화의 속도에 직면하여 그것을 유지하는 것에 어려움을 겪는다. 이는 여러 의학교육자가 자신을 주로 임상 의사 또는 연구자로 보는 상황에서 특히 어려운 과제이다. 이러한 의사나 연구자로서의 직업적 정체성은 교육자 역할보다 거의 필연적으로 우선시 된다. 왜냐하면 그들은 더 나은 지원을 받고 더 많은 사회적 자본을 가지고 있고, 개인들이 그것들을 획득하는 데 더 감정적으로 투자했을 가능성이 높기 때문이다. Hu et al.9와 Sabel et al.5 모두 열등하고 불명확한 정체성으로 인식되는 것을 얻기 위해 필요한 변화를 협상하는 데 수반되는 스트레스가 프로그램이나 조직의 지원과는 관계없이 종종 후배 교육자들이 더 많이 관여하는 것을 방해한다고 제안한다.

Medical educators develop their professional identities as part of a continual process of career and role change.1 Many medical educators, it has been argued, occupy a liminal space between identities2 and even academic disciplines.3 Consequently, some individuals struggle to develop a stable medical educator identity and to maintain it in the face of competing career demands and the increasing pace of change within medical education.4,5 This is a particular challenge in circumstances in which the individual views him- or herself primarily as a clinician or researcher.6–8 These primary professional identities almost inevitably take precedence over the educator role because they are better supported and carry more social capital, and because individuals are likely to have invested more emotionally in acquiring them.5 Both Hu et al.9 and Sabel et al.5 suggest that the stress involved in negotiating the changes necessary to acquire what is perceived as an inferior and nebulous identity often deters junior educators from becoming more involved, regardless of programme or organisational support. 

이러한 긴장에도 불구하고, 일부 의학 교육자들은 역할과 정체성에 모두 편안한 지점에 도달할 수 있다; 이것은 그들이 ['의학 교육 일을 하는 사람']에서 의학교육자를 [스스로 인정하는self-acknowledged 정체성]으로 전환한 지점이다. 
Despite these tensions, some medical educators are able to arrive at a point at which they are comfortable with both role and identity; this is the point at which they have transitioned from ‘someone who does medical education work’ into the self-acknowledged identity of the medical educator. 


[심리사회적 전환 이론]을 사용하여, 우리는 의료 교육자가 되는 과정을 [비교적 안정된 상태(일차적 전문 정체성)]에서 벗어나 [다른 비교적 안정적인 상태(의료 교육자 정체성)]로 전환하는 일련의 스트레스를 받는 변화를 통해 개념화한다.10 
Using psychosocial transition theory, we conceptualise the process of becoming a medical educator as one of moving out of one relatively stable state (primary professional identity) through a series of sometimes stressful changes that lead to a transition into another relatively stable state (medical educator identity).10 

변화change와 전환transition 사이에는 차이점이 있다. 11

• 변화는 상황적이다: 그것은 새로운 교수나 지도자의 역할을 맡거나, 새로운 일을 시작하거나, 새로운 학생 또는 관리자 그룹과 마주치거나, 다른 평가 시스템 내에서 일하는 것을 포함할 수 있다.
• 그러나, 전환은 심리적인 것이다: 그것은 개인이 자신의 삶에 변화를 포함시킬 수 있도록 하기 위해 필요한 [내면의 변화]와 관련이 있다. 브리지스는 다음과 같이 말합니다. '전환이 일어나지 않는 한, 변화는 "걸리지" 않기 때문에 효과가 없을 것입니다.'11 
  

There is a difference between change and transition.11

• Change is situational: it may involve taking on a new teaching or leadership role, starting a new job, encountering a new group of students or managers, or working within a different appraisal system.
• Transition, however, is psychological: it concerns the inner alterations that are necessary to enable an individual to incorporate changes into his or her life. Bridges remarks: ‘Unless transition happens, the change won’t work because it doesn’t “take”.’11 

[일련의 변화를 성공적으로 협상]해내게 되면, 스스로 확인한self-identified 의학교육자 역할로의 전환을 이끌어낼 수 있다. 우리는 이것이 사벨과 동료들이 보고한 [의학교육으로의 '도약']을 구성하는 것이라고 제안한다.5 교육자 역할로 자기정체성self-identifying하는 것은 [의학교육 커뮤니티 내에서 자신이 정당한legitimate 참가자이며] [그 분야에서 전문적 전문지식을 개발하고 유지해야 하는 어려운 과제에 전념할 준비]가 되어있다고 느끼기 위해 반드시 필요한 전환이다.  
An individual’s success in negotiating a series of changes is what leads to transition into a self- identified medical educator role: this, we suggest, is what constitutes the ‘leap’ to medical education reported by Sabel and colleagues.5 Self-identifying with the educator role is a required transition if individuals are to feel that they are legitimate participants within the medical education community, ready to commit themselves to the difficult task of developing and maintaining specialist expertise in the field.12 

특정 변화나 변화에 적응하는 개인의 능력은 [내적 요인]이나 [외적 요인] 모두에 의해 영향을 받는다.

• 이러한 요인에 대한 개인의 반응은 [약점]과 [이를 충족시킬 수 있는 자원]에 대한 인식에 따라 달라질 것이다.13
• 내재적 성향(경험에 대한 개방성, 양심성 등)이 한몫할 수 있지만 [과거 경험과 개인적 가치, 야망]도 영향을 미친다.
• 더욱이 적응은 [변화의 시기, 성격 및 상황, 부과 또는 선택 여부, 변경이 발생하는 개별 상황, 그리고 변화가 발생하는 조건을 이해하고 수용하는지]에 따라 달라질 수 있다.
• 마지막으로, 변화에 적응하는 능력은 [이용 가능한 지원과 개인이 채택할 수 있는 전략]에 의해 영향을 받는다.14,15 

An individual’s ability to adapt to a particular change or set of changes is affected by multiple factors, both intrinsic and extrinsic.

• The individual’s response to these factors will vary depending on his or her perceptions of deficits versus resources available to meet them.13
• Intrinsic tendencies (such as openness to experience and conscientiousness) may play a part, but previous experience, personal values and ambitions also have effect.
• Moreover, adaptation may vary with the timing, nature and circumstances of the change, whether it is imposed or chosen, individual circumstances when the change occurs, and whether the terms on which the change takes place are understood and accepted.
• Finally, the ability to adjust to change is affected by the support available and the strategies the individual is able to adopt.14,15 
  
  

최근의 많은 연구들은 개인 임상 교사들이 그들의 [상충하는 여러 정체성을 저글링할 때 느끼는 인식]을 보고한다. 그러나, 제안된 해결책(예: 직업 기회 개발, 교수 시간 및 전문 개발 계획)은 종종 프로그램 또는 조직 수준인데, 이는 스트레스의 주 요인을 느끼는 수준이 여기기 때문이다.
A number of recent studies report the perceptions of individual clinical teachers as they juggle their competing identities; however, proffered solutions (e.g. in terms of developing career opportunities, time for teaching and professional development schemes) are often at a programmatic or organisational level because it is at this level that the chief stressors appear to be felt.16,17 

그러나 Monrouxe가 주장하듯이, '정체성은 고정된 인지적 스키마가 아니라 우리가 하는 것이다.' 따라서, 개인 차원에서 어떤 요소가 의학의 '수행'이나 성과를 촉진하거나 저해하는지 이해하는 것이 중요하다.12 우리는 의료 교육의 변화와 도전에 직면했을 때의 [개인의 끈기]에 대한 척도의 요소들을 탐구하는 데 관심이 있었다. 

However, as Monrouxe argues, ‘...identities are not fixed cognitive schemas; rather, identities are what we do’, and hence it is important to understand what factors, at an individual level, facilitate or impede the ‘doing’ or performance of medical education.12 We were concerned to explore the factors that may tip the scales in favour of an individual’s persistence when faced with change and challenges in medical education. 

방법

METHODS

그 후 우리는 세 개의 의료 교육 포커스 그룹 동안 수집한 데이터를 재점검했는데, 이 데이터는 여러 가지 경력 변화 동안 의료 교육자 정체성으로 성공적으로 전환하고 유지한 경험이 있는 개인과 함께 수행되었다.
We subsequently re-examined the data we had collected during three medical education focus groups, which had been conducted with individuals who had experience of transitioning successfully into and maintaining a medical educator identity during a number of career changes. 

우리는 알고 싶었다: 
We wanted to know: 

• (i) 이러한 개인들이 성공적인 self-identified 의료 교육자로 전환하는 데 도움을 주거나 방해한 요인은 무엇인가.  
  
• (ii) 의료 교육자 역할에 적응하기 어려워 의료 교육자 정체성을 거부할 위험이 있는 전문가에 대한 개인화된 지원을 개발하는 데 도움이 될 수 있는 결론을 도출할 수 있는지 여부. 
• (i) what factors at an individual level had helped or hindered these individuals in making the transition into a successful, self- identified medical educator, and  
• (ii) whether we could draw any conclusions from this that might help develop individualised support for professionals who are struggling to adjust to the medical educator role and are thus at risk of rejecting a medical educator identity. 
  
  
  

자료 수집

Data collection

자료 분석

Data analysis

심리사회적 전환 이론은 스트레스를 받는 변화를 협상하는 데 있어서 개인의 지지에 대한 필요를 탐구하는 데 유용한 도구이다. 의료 교육자로서 식별을 향한 진보가 상당한 양의 스트레스 변화를 수반할 수 있기 때문에, 20 우리는 슐로스버그의 '포 S'(4S) 모델 14가 [개인이 성공적으로 변화에 적응]하는 데 도움을 주기 위해 원래 설계되었기 때문에 포커스 그룹 데이터에 적합한 분석 프레임워크를 만들 것이라고 이론화했다. 이 모델은 [교육환경의 변화와 전환을 어려워하는 성인을 위한 지원서비스 개발의 근거]로 성공적으로 활용되고 있으며, 따라서 이러한 맥락에서 특히 유망했다.15

Psychosocial transition theory is a useful tool for exploring an individual’s need for support in negotiating stressful changes. As the progress towards identifying as a medical educator can involve a good deal of stressful change,20 we theorised that Schlossberg’s ‘Four S’ (4S) model14 would make an appropriate analysis framework for the focus group data as it was originally designed to support interventions to help individuals adapt successfully to change. It has been successfully used as a basis for developing support services for adults who are finding change and transition in education settings difficult and was therefore particularly promising in this context.15 

우리는 프레임워크 방법을 통해 데이터가 적합한지 여부를 검토하기 위해 이를 연역적으로 사용했다.21. JB와 KW는 매트릭스 프레임워크 형식을 사용하여 4S 주요 테마에 대해 데이터를 독립적으로 코드화하고 차트화했습니다. 그런 다음 저자들은 이 네 가지 프레임워크 영역 각각 내에서 하위 테마를 유도적으로 식별했다. JB와 AB는 분석이 체계적이고 일관성 있게 이루어지도록 차트 작성에 더욱 힘썼다. 마지막으로, 세 명의 연구자 모두 실무와 결론에 대한 함의에 대한 분석에 대한 검토에 참여했다. 

We used it deductively through a framework method21 to examine if the data were a good fit. JB and KW independently coded and charted the data against the 4S main themes using a matrix framework format. The authors then inductively identified sub-themes within each of these four framework areas. JB and AB worked further on charting to ensure that analysis had been systematic and coherent. Finally, all three researchers engaged in a review of the analysis for implications for practice and conclusions. 


결과

RESULTS

Schlossberg의 4S 프레임워크와 정렬된 우리의 데이터.15 그림 1의 각 사분면에 있는 17개의 글머리 부분 헤더는 우리의 자체 분석을 반영하며 Anderson 등의 계정 내의 더 큰 하위 테마 집합에서 도출된다.22
Our data aligned with Schlossberg’s 4S framework.15 The 17 bulleted subheadings in each quadrant in Fig. 1 reflect our own analysis, and are drawn from the larger set of sub-themes within Anderson et al.’s account.22

주제1. 자신

Theme 1. Self

슐로스버그의 틀에서, 15 self는 개인적인 특징과 심리적인 자원을 가리킨다.

• 변화/새로운 역할에 대해 개인이 얼마나 편안함을 느끼는지,
  
• 자신에게 기대되는 것을 얼마나 자신있게 이해하고 있는지,
  
• 이전의 경험과 기대가 어떻게 그들을 이 곳에 이르게 했는지,
  
• 현재 있는 곳이 자신이 있고자 하는 곳인지
  
• 자신의 개인적 가치가 역할에 어떻게 부합하는지

In Schlossberg’s framework,15 self refers to personal characteristics and psychological resources, such as to

• how comfortable individuals feel with the change/new role,
• how confident they are in their understanding of what is expected,
• how prior experiences and expectations have brought them to this point,
• whether it is where they want to be, and
• how their personal values align with the role.

참가자들은 [다년간의 경험을 가진 시니어 의학교육자]였으며, 다양한 경로(예: 고위직 임명, 고급 자격, 펠로우쉽, 상, 보조금 및 상)를 통해 이를 인정받았지만, 그들의 말에 따르면, 그들은 [의사, 학술, 과학자, 인문학자로서의 기존에 가지던 일차적인 정체성]에서 [의학교육자]를 향하여 지속적으로 움직여왔고 아직도 움직여가고 있었다:

Participants were senior medical educators with many years of experience and had achieved recognition for this through a number of different channels (e.g. senior appointments, higher-level qualifications, fellowships, prizes, grants and awards), but their comments revealed a continuing sense that they were moving, or had moved, towards becoming medical educators from a primary prior identity as a doctor, academic, scientist or, in two cases, humanities scholar: 


다수의 참가자는 현장의 복잡성에 대해 언급했으며, 그 중 한 참가자는 의료 교육 인력의 다양성을 통합요소로 언급했다.
A number of participants referred to the complexity of the field, for one of whom the medical education workforce’s diversity appeared to be a unifying factor:

'우리'와 '우리 중 일부'를 반복적으로 사용하는 것은 화자가 '우리' (즉, 의학 교육자)가 누구인지 분명히 알고 있음을 나타낸다. 의학교육의 다양성을 성공적으로 탐색하는 것은 의료 교육자 정체성 형성의 잠재적인 요소로 보인다.
The repeated use of ‘we’ and ‘some of us’ indicates that the speaker has a clear idea of who ‘we’ (i.e. medical educators) are. Successfully navigating medical education’s diversity appears here to be a potential factor in medical educator identity formation.

의대생들은 고등교육 내에서 신뢰를 갖기 위해서는 모든 3개 분야(과학연구, 교육, 의료실무) 모두 전문가가 돼야 한다는 불안감을 내포한 용어인 '임포스터 증후군'의 먹잇감이 될 위험이 있다. 자신의 전문지식을 편안하게 느끼는 것은 참가자들의 성공에 매우 중요했습니다.
Medical educators risk falling prey to ‘imposter syndrome’,23,24 a term that implies an uneasy sense that they need to be expert in all three fields (of scientific research, education and medical practice) in order to have credibility within higher education. Feeling comfortable in their own expertise was clearly crucial to the success of participants:

한 참가자는 [모든 것을 알 것으로 기대할 수는 없다]는 것을 받아들이는 것이 실제로 새로운 정체성을 형성하는 원동력이 될 수 있다고 제안했습니다.
One participant appeared to suggest accepting that they could not be expected to know everything might actually be a driver for forming a new identity:

네, 이것은 단지 지식의 문제가 아닙니다. 사회화, 정체성, 성격, 그리고 모든 종류의 것들입니다. 따라서 여러분은 단순한 정보의 저장소가 아닙니다. 당신은 거의 다른 사람입니다. (FG3, 참가자 P)
Yes, it’s not just about knowledge. It’s about socialisation and identity, personability and all that sort of thing. So you’re not just a repository of information. You are a different person almost. (FG3, participant P)

이 교육자에게는 [정보의 소유]가 필요하지만, 교육자 정체성의 구별되는 특징은 다른 사람의 전문적 발전의 촉진에 접근하는 방법이다. 여기서 시사하는 바는 의학교육자은 [그들이 알고 있는 것이 무엇인지]가 아니라 working relationship에서 [전문직업적 윤리와 실천적 방식]이 드러나는 방식에 의해서 정의된다는 것이다. 
For this educator, the possession of information is necessary; however, the distinguishing feature of educator identity is how one approaches the facilitation of others’ professional development. The implication here is that medical educators are defined less by what they know than by their professional ethics and the practical ways in which these are expressed in their working relationships. 

의학 교육은 value-led한 전문직의 value-led한 활동이다.25 많은 참가자들은 처음에 의사나 과학자로서의 경력을 쌓게 된 것이 그들이 추구하는 가치value라고 느꼈으며, 의료 교육에서의 그들의 노력이 이러한 가치를 뒷받침한다는 사실이 그들의 참여를 유지하는 데 중요하다고 생각했다. 

Medical education is a value-led activity within a value-led profession.25 A number of participants felt it was their values that had first led them into careers as doctors and scientists, and the fact that their work in medical education supported these values was important in maintaining their involvement: 

주제 2. 상황

Theme 2. Situation

슐로스버그의 프레임워크에서 '상황'은 변화사건의 특징을 가리킨다. 

• 무엇이 변화를 촉발시켰는지 
  
• 변화에 대한 준비정도, 
  
• 변화로 인한 추가적인 스트레스에 대처하는 현재의 능력, 
  
• 그 변화를 스스로 선택했는지
  
• 그것이 얼마나 오래 지속될 것으로 이해하는지,
  
• 결과적으로 자신의 지위가 향상되거나 손상되는지에 대한 개인의 의식

‘Situation’ in Schlossberg’s framework15 refers to the characteristics of the change event, such as 

• what triggered the change, 
• the individual’s readiness for it, 
• current ability to cope with the additional stress of change, 
• whether the change was chosen, 
• understanding of how long it will last, and 
• the individual’s sense of whether his or her status is improved or damaged as a result. 

[변화는 일생 동안 사람들에게 영향을 미치지만, 변화의 진행은 획일적이지 않다]는 슐로스버그의 견해에 따라, 연령과 삶의 단계는 참가자들에게 중요한 관심사가 되지 않는 것처럼 보였는데, 이들은 모두 적어도 의학교육분야에서 실질적인 역할을 세네번째는 하고 있었다. 그러나 임상 및 학술 업무의 변경(및 증가)과 그 영향은 지속적인 주제였습니다.

In line with Schlossberg’s view that change affects people throughout their lives, but that change is not encountered in a uniform progression,15 age and stage of life did not appear to be significant concerns for participants, all of whom were in at least their third or fourth substantial role in medical education. However, changing (and increasing) clinical and academic workloads and their impact were constant themes: 

참가자들이 의학교육 및 기타 직업 활동과 관련된 [상충적 업무량 압력]을 경험하는 방법에 영향을 미치는 가장 중요한 요인은 그들이 [의학교육에 참여하기로 선택한 정도와 그 안에서 행사할 수 있다고 느끼는 통제량]이었다. 우리의 참가자들은 스스로 선택했거나 의학교육 분야로 성공적으로 전환했지만, 그들은 교육자들이 어떻게 그들이 의학교육 역할을 하는지에 대한 [통제력이 여러 가지 이유로 감소할 수 있다]고 우려했다. 
The most significant factor affecting how participants experienced the competing workload pressures associated with medical education and their other professional activities was the degree to which they had chosen to be involved in medical education and the amount of control they felt able to exercise within it. Our participants had themselves chosen or transitioned successfully into medical education careers, but they expressed concern that educators’ control of how they occupied the role could be decreasing for a number of reasons: 

참가자들은 개인적으로 이를 받아들일 수 있는 것처럼 보였지만, [변화 속도가 증가함에 따른 후배 교육자들에 대한 우려]를 분명히 느꼈습니다.

Although participants seemed able to accept this personally, they clearly felt concern for junior educators as the rate of change increased: 

우리 모두에게 걱정되는 것 중 하나는 결국 의료 교육자가 되는 것이 임상의들에게 너무 심하게 뒤틀려서 발로 투표를 하고 의학교육을 떠날지도 모른다는 두려움입니다. (FG2, 참가자 J)

One of the things that is worrying for all of us is the fear that eventually being a medical educator is just going to be so flipping hard for clinicians that they vote with their feet and leave medical education... (FG2, participant J)

[변화의 기간이 얼마나 지속될 것 같은지]를 이해하는 것은 전환을 달성하기 위해 성공적으로 변화를 협상하는 데 중요한 요소이다. 참가자들은 이러한 변화가 의료 교육, 특히 의료 교육계에 의해 주도되지 않는 맥락에서 이것이 가능할 것이라고 비관했다.27 명확한 방향 감각이나 목표점을 정의하지 못한 것이 일부 사람들로 하여금 실패의식을 암시하게 했다. 

Understanding how long the period of change is likely to last is an important factor in negotiating change successfully in order to achieve transition. Participants were pessimistic that this would ever be possible in medical education, particularly in contexts in which the changes were not driven by the medical education community.27 This inability to define a clear sense of direction or endpoint led some to hint at a sense of failure: 

주제 3. 지원

Theme 3. Support

변화를 겪고 있는 개인에 대한 지원은 다음으로부터 도출될 수 있다. 

• 개인적 서포트 네트워크에 대한 액세스(그리고 이러한 네트워크로부터 이익을 얻으려는 의지)
  
• 제도적 뒷받침의 강도
  
• 적절한 자원의 가용성, 품질 및 관련성
  
• 스스로 참여하고자 하는 사람에 관한 다른 사람들의 태도

Support for individuals undergoing change may derive from

• access to personal support networks (and willingness to benefit from these),
• strength of institutional support,
• the availability, quality and relevance of appropriate resources, and
• the attitudes of others concerning the individual’s wish to involve him- or herself in the role.

참가자들은 멘토링, 조언, 코칭, 동료 평가 및 피드백을 포함하여 의료 교육 활동에 대한 많은 지원 소스를 식별했으며, 새로운 역할, 평가, CPD 자원 액세스 등을 담당했다. 일부 응답자들은 최근 몇 년 동안 의료 교육에 대한 공식적인 인식이 높아지면서 더 나은 지원이 이루어졌다고 생각했다. 

Participants identified a number of sources of support for medical education activities, including mentoring, advice, coaching, peer review and feedback, cover for new roles, appraisal, and access to resources for CPD. Some respondents felt that increased formal recognition of medical education in recent years had led to better support: 

그러나 참여자들은 분야, 기관, 부서, 심지어 각자의 역할에 따라 서로 협력하는 개인들 사이에서도 서포트가 다양하다고 보고했다. 임상의는 그들의 [다중적 역할에 의해 부과되는 실제적인 어려움]을 보고했다. 모두 CPD에 대한 자금과 자원을 확보하기 어렵다고 보고했다. 
However, participants reported that support varied among sectors, institutions, departments and even between individuals working alongside one another, depending on their roles. Clinicians reported practical difficulties imposed by their multiple roles: all reported that funding and resources for CPD were difficult to secure. 

이러한 지원이 부족한 이유는 다양한 요인들과 관련이 있었다. 일부의 경우, [학생 수와 기대치가 증가함]에 따라 발생한 [증가하는 업무량의 압력을 공유해야 하는 동료의 부족]과 [행정 리소스 및 전문 지식 부족]과 같은 개인적인 문제 및 일상적인 문제였습니다. 지원을 받는 데 어려움을 겪는 이유는 [의학교육의 어려움과 복잡성에 대한 높은 수준의 이해가 부족하기 때문]이라고 말했다. [강의 및 CPD를 위한 용도로 지정된 시간을 확보하는 것]은 임상 환경에서 일하는 응답자들에게 특별한 관심사였다. 
The reasons for this lack of support were associated with a variety of factors. For some, the challenges were personal and of a day-to-day nature, involving lack of administrative resource and expertise, and a shortage of colleagues with whom to share workload pressures as student numbers and expectations increase. Others attributed difficulties in obtaining support to a continued lack of high-level understanding of the challenges and complexities of medical education. Obtaining ring-fenced time for teaching and CPD was a particular concern for respondents working in clinical settings: 

이들의 주요 지원 소스는 의료 교육 분야 동료와 더 넓은 의료 교육 커뮤니티 자체에서 비공식적으로 제공되었으며, 특히 다음과 같은 정보를 찾고 있다. 
A major source of their support came informally from colleagues in medical education and from the wider medical education community itself, particularly with regard to information seeking: 

참가자들은 큐레이션된 자료에 액세스하고 이를 동료 및 학생들과 공유하는 데 모두 적극적이었다.
Participants were active both in accessing curated material and in sharing it with colleagues and students:

소셜 미디어는 이러한 의료 교육자들을 위한 비공식적인 커뮤니티 지원의 중요한 원천이었지만, 많은 사람들이 이를 시작하기 위해 개인적인 접촉이 필요하다고 보고했다.

Social media represented a significant source of informal community support for these medical educators, although a number reported that it had required personal contact to get started:

트위터에서 많은 토론을 합니다. [...] 만약 여러분이 MedEd와 같은 해시태그를 사용한다면, 여러분이 클릭할 수 있는 수많은 토론과 기사들을 불러올 것입니다.

Twitter has a lot of discussions [...] If you just use the hashtags like MedEd and things like that then it will bring up a whole host of discussions and articles that you can click on.

다시 한 번, 참가자 스스로가 교육자 정체성을 유지하기 위해 도전적인 환경을 탐색했지만, 특히 진로 지원 측면에서 다음 세대에 대한 우려가 있었습니다.
Again, although the participants themselves had navigated the challenging environment in order to maintain their educator identity, there was concern for the next generation, particularly in terms of career support:

우리는 일반적으로 대학, 특히 명확하고 투명한 진로를 만드는 것에 대한 압박감을 확실히 해야 합니다.

We need to make sure that pressure is brought to bear on, you know, universities generally, medical schools particularly about creating obvious and transparent career progression. 

대부분의 응답자는 보다 더 어린 동료들을 지원하는 것에 참여하고 잇으며, 책임을 느낀다고 보고했습니다.
Most respondents reported being involved in and feeling responsible for supporting less senior colleagues:

그러나 비공식 및 개인 네트워크는 특히 후배들에게 매우 유용하지만 가시성이 낮아서 접근성이 낮다는 인식이 있는 것으로 나타났다.

However, there appeared to be some recognition that informal and personal networks, although invaluable, were less visible and therefore less accessible, especially to junior colleagues:

주제 4. 전략

Theme 4. Strategies

전략은 변화를 [성공적으로 극복하기 위해 채택된 전략]을 포함하는 대응이다. 그룹으로서, 우리의 응답자들은 개인으로서 개발한 매우 다양한 전략을 보고했지만, 이것은 대처에 대한 공통된 접근법을 시사하는 것처럼 보였다.
Strategies are coping responses that include the tactics adopted to get through a change successfully. As a group, our respondents reported a large variety of strategies they had developed as individuals, but which appeared to suggest a common approach towards coping.

주제 3에 보고된 교육 지원을 식별하고 접근하는데 어려움이 있었음에도 불구하고, 많은 사람들은 의학교육 전문지식을 획득하기 위해 매우 전략적인 접근법을 취했고, 지식과 기술을 개발하기 위해 상당한 노력을 기울였다. 몇몇 사람들은 대학원 의학 교육 자격을 취득하는 것으로 보고되었다. 한 사람은 자신이 선택한 과정이 자신의 학습 요구에 직접 초점을 맞추지는 않았지만, 이를 적용해서 혜택을 얻을 수 있었다고 평했다. 
Despite the difficulties in identifying and accessing educational support reported in Theme 3, many had taken a highly strategic approach to acquiring medical education expertise and had gone to considerable lengths to develop knowledge and skills. Several reported undertaking postgraduate medical education qualifications. One commented that although the course he had chosen had not focused directly on his learning needs, he had been able to adapt it and benefit from it: 

이 교육자들은 집단으로서의 자기주도성이 매우 강했다. 대부분은 의학 교육 저널을 구독했으며 관련 정보를 찾기 위해 더 넓은 문헌을 훑어볼 용의가 있었다. 다른 이들은 소셜 네트워킹, 웨비나, 뉴스레터, 우편물 목록, 온라인 강좌, 원격 학습을 포함한 전자 자원 등 새로운 기술을 추천했다. 
These educators were highly self-directed as a group. Most subscribed to medical education journals and were willing to sift through wider literatures in order to find relevant information. Others recommended new technologies, including social networking, webinars, newsletters and mailing lists, electronic resources, including online courses and distance learning. 

참가자들은 거의 모두다 [일과 전문적인 협력에 대해 긍정적인 접근 방식]을 취했습니다. 그들의 논의는 그들이 서로 다른 학문 분야, 상호 전문 그룹, 국가 및 국제 조직의 동료들과 맺었던 광범위한 협력 관계에 반복적으로 반영되어 있었다.
Participants had a uniformly positive approach towards work and professional collaborations. Their discussions repeatedly reflected on the wider partnerships they had formed with colleagues from different academic disciplines, interprofessional groups and national and international organisations.


위에서 논의한 비공식 네트워크와 전문 개발 기회를 스스로 활용하고 창출하는 것 외에도, 모든 인터뷰 대상자는 소속 기관 밖에서도 공식적인 네트워크와 관계를 맺기 위해 의도적인 노력을 기울였다. 
In addition to taking advantage of and creating for themselves the informal networks and professional development opportunities discussed above, all of the interviewees had made deliberate effort to engage with formal networks beyond their own institutions. 


[전문적 인식professional recognition의 역할]이 핵심 주제였으며 참가자들이 의료교육자의 정체성으로 전환했다고 느낄 수 있도록 돕는 데 분명히 중요했다.
The role of professional recognition was a key theme and was clearly important in helping participants to feel that they had made a transition into the identity of a medical educator, 


[증가하는 규제]는 극복해야 할 과제였지만, 대부분의 참여자들은 또한 '규제'를 조직 내에서 그리고 의료 교육을 위해 더 폭넓게 advocate할 기회를 제공한다고 보았고, 이전에 poorly connected 되었던 교육 영역에 걸쳐 표준을 높이는 기회로 보았다. 
Although increasing regulation presented challenges, most participants also viewed it as providing opportunities to advocate within their organisations and more widely for medical education, and to raise standards across areas of education that had formerly been poorly connected.  

이러한 성공적인 교육자들은 개인적이고 전문적인 개발에 대한 필요성을 주장하기 위해 [의학교육을 둘러싼 문화의 변화에 의해 제공되는 기회를 신속하게 파악]했습니다.

These successful educators have been quick to identify the opportunities offered by changes in the culture around medical education to assert their need for personal and professional development:

핵심 결과 요약

Summary of key findings

그들은 미래에 대한 우려, 특히 더 많은 주니어 교육자들을 대신하여, 그들은 일반적으로 의학 교육자가 되려는 결정에 만족감을 표시했다.
Although they noted some concerns for the future, particularly on behalf of more junior educators, they generally expressed satisfaction with their decisions to become medical educators.

[자아]의 관점에서, 모든 사람들은 [의학 교육자가 되는 것]과 [그들의 개인적인 가치] 사이에서 분명한 관계를 맺을 수 있었다. 분명히, [의학교육 업무]와 [개인의 가치] 사이의 '적합도fit'는 자신이 가진 의학교육자로서의 전문적 정체성을 성공적으로 전환하기 위해 필요한 내부 조정을 위해 노력을 들일 수 있을 만큼 충분히 가까웠다. 
In terms of self, all were able to make clear connections between being a medical educator and their personal values. Clearly, the ‘fit’ between their medical education work and their personal values was close enough to allow these individuals to invest effort in making the internal adjustments necessary to successfully transition into a new professional identity as a medical educator. 

둘째로, [상황(의료 교육에 대한 참여 증가의 특징)]에서, 그들의 의료 교육자 정체성에 대한 적응에 영향을 미치는 가장 중요한 요인은 그들이 의학교육에 참여하기로 선택한 정도, 그들이 그 안에서 행사할 수 있다고 느끼는 통제력, 그리고 의학교육의 미래 방향에 영향을 미칠 수 있다는 느낌이었다
Secondly, in terms of their situation (the characteristics of their increased involvement in medical education), the most significant factors affecting their adaptation to a medical educator identity were the degree to which they had chosen to be involved in medical education, the amount of control they felt able to exercise within it and their sense that they could influence its future direction. 

셋째, 직장생활의 변화에 대처하기 위해 받은 [개인적 서포트]가 그들이 변화에 대처할 수 있도록 돕는 중요한 요소였다. 참가자들은 연구나 임상 서비스보다 덜 중요한 것으로 인식되는 의료 교육의 위상을 계획 및 양질의 교육 제공에 대한 자원 부족과 진로 및 개인 개발 기회를 포함한 교육 개선에 대한 우려와 일관되게 연결했다. 비록 참가자들이 의료 교육자 정체성으로 전환하기 위해 받은 지원 수준에 대해 일반적으로 불만족스럽지만, 비공식적인 정보 출처, 네트워킹, 자격, 역할 모델 및 멘토, AoME처럼 새롭게 알게 된 학회 및 전문적 인정 체계와 같은 모든 자원들이 그들을 위해 일하는 것을 확인했다. 
Thirdly, the personal support they had received to cope with changes in their working lives was a significant factor in helping them to deal with change. Participants consistently linked medical education’s perceived status as less important than either research or clinical service to their concerns about the shortage of resources for both planning and providing quality education and also for educational improvement including opportunities for career and personal development. Although participants were generally dissatisfied with the level of support they had received to make the transition to medical educator identity, all identified resources that had worked for them, such as informal sources of information, networking, qualifications, role models and mentors, learned societies and professional recognition schemes such as that offered by the AoME. 

넷째, 이러한 참여자들은 그들 자신의 [전략]을 개발하는 데 있어 그들의 resourcefulness과 에너지로 특징지어졌다. 우리의 연구에서 확인된 성공적인 전략에는 정보 탐색, 기술 개발, 네트워킹 및 인식 찾기에 대한 창의적이고 능동적인 접근 방식을 채택하는 것이 포함된다. 이들은 모두 교육의 기회와 정보를 찾는 데 적극적이었으며, 서로, 학생 및 교육생, 커리어 초기의 교육자를 지원하겠다는 의지를 밝혔다. 

Fourthly, these participants were characterised by their resourcefulness and energy in developing their own strategies. Successful strategies identified in our research included adopting creative and active approaches to information seeking, skills development, networking, and seeking recognition. They were all active in seeking education opportunities and information, and expressed their willingness to support one another, their students and trainees, and early career educators. 

고찰 

DISCUSSION

전환에 관한 문헌은 자연히 사별과 트라우마와 같이 삶이 변화하는 사건에 적응하기 위해 고군분투하는 사람들의 지원에 초점을 맞추는 경향이 있다. 4S 프레임워크를 사용한 상담과 같은 개입은 큰 변화에 적응하기 위해 고군분투하는 개인들을 돕기 위해 고안되었다. 그러므로 많은 사람들에게 그것은 그들의 직장 생활을 풍요롭게 하는 즐겁고 자극적이며 깊은 보람을 주는 일상적 활동을, 예컨대 의학 교육을, 중대하거나 심지어 충격적인 인생 사건으로 보는 것은 어울리지 않는 것처럼 보일 수 있다. 
The literature on transition naturally tends to focus on the support of those struggling to adapt to life- changing events such as bereavement and trauma. Interventions such as counselling using the 4S framework and others were designed to help individuals struggling to adapt to major changes. It may therefore seem incongruous to view medical education as a significant and even traumatic life event, when for many it is an enjoyable, stimulating and deeply rewarding daily activity that enriches their working lives. 

그러나 의학교육으로의 진출은 개인의 [직업적 정체성working identity]에 심각한 영향을 미치는 중대하고 때로는 고통스러운 직업의 전환을 의미한다는 것에는 의심의 여지가 없다. 이 문헌은 좌절, 실망, 스트레스, 사기가 저하 및 소모된 시기에 대한 교육자들 사이의 거의 보편적인 경험을 보고하고 있으며, 주된 직업 정체성의 붕괴에 대한 상실감과 함께 남아 있다. 나아가, 가르치고자 하는 의사를 표현하는 사람 중 실제로 상당한 의대 교육 경력을 발전시키기 위해 얼마나 많은 사람들이 나아가고 있는지를 보여주는 자료가 거의 없지만, 한 연구에서 의대 교직원의 42%가 '심각하게 사직을 고려'하는 등, 대부분의 의대에서 교직원의 retention이 주요 과제임을 우리는 알고 있다.

There is no doubt, however, that moving into medical education represents a major and occasionally painful career transition that profoundly affects the individual’s sense of his or her working identity. The literature reports an almost universal experience among educators of periods of frustration, disappointment, stress, demoralisation and burnout, coupled with a lingering sense of loss at the erosion of their primary professional identity.4–9,29 Furthermore, although there are few data to show how many of those who express a desire to teach actually go on to develop a significant medical education career, we do know that for most medical schools the retaining of teaching staff is a major challenge, with 42% of medical school faculty in one study expressing ‘serious intent to leave’.30,31 

의학 교육에 종사하는 모든 사람들이 의료 교육자 정체성으로 성공적으로 전환할 수 있거나 기꺼이 할 수 있는 것은 아니다. [교수개발을 책임지는 사람들이 개인 차원에서 이러한 꺼리거나 힘들어하는 교육자들을 지원할 수 있는 방법을 찾을 수 없다면], 교육 관행을 개선하고 확장하기 위한 학문적이고 전문적인 활동에 그들을 참여시키는 것은 거의 불가능하다. 
Not all of those working in medical education are able or willing to make a successful transition to a medical educator identity. Unless those responsible for faculty development can find a way to support these reluctant or struggling educators at a personal level, it is almost impossible to engage them in scholarly and professional activities to improve and extend their education practice. 

의학교육 경력을 시작하는 직원에게 지원을 제공할 때는 다음과 같은 특정 상황에 맞는 조언과 지원을 제공하는 것이 중요합니다.

• 자신(역할에 대한 이전의 경험과 아이디어 및 기대);
  
• 상황(예상 사항에 대한 이해와 우려를 포함하여 스스로 찾은 상황);
  
• 지원(사용 가능한 리소스, 필요한 리소스, 이러한 리소스를 어디에서 어떻게 액세스해야 하는지 여부) 
  
• 전략(이들이 어려운 의료 교육 환경에서 번창할 수 있도록 변화에 대처하기 위한 개인 전략을 개발할 수 있도록 지원).

When providing support to staff who are commencing medical education careers, it is important to tailor advice and support to their particular circumstances, including:

• Self (their previous experiences and their ideas and expectations regarding the role);
• Situation (the circumstances in which they find themselves, including their understanding of and concerns about what is expected);
• Support (the resources they have available, what they may need, and whether they know where and how to access these), and, finally,
• Strategies (helping them to develop personal strategies to cope with changes so that they are enabled to thrive in the challenging medical education environment). 

마지막으로, [의학교육자 역할, 잘 정의된 기대, 조직적으로 적절한 경계]에 대한 명확한 의사소통은 [(개인이나 의학교육 공동체에 모두에 존재할 수 있는) 정체성과 정당성에 대한 질질 끄는 불안]을 퇴치하는 데 중요하다. 이는 [기술 습득에 초점을 둔 조언, 구조적 지원, 개인 개발 및 실습을 위한 시간]과 결합되어야 한다. 두 가지 이점이 있다.

• [의학교육 역할을 하는 사람들을 (직접) 지원하는 것]과,
• [교육자가 아닌 사람들이 더 잘 이해하도록 [의료 교육자 정체성을 쉽게 알아볼 수 있는 대중적 얼굴public face]을 제공하는 것]

Finally, clear communication of the medical educator role, well-defined expectations and organisationally appropriate boundaries are important to combating lingering feelings of insecurity around identity and legitimacy in both individuals and the medical education community.32,33 These should be coupled with the provision of targeted advice on the acquisition of skills, and structural support and time for personal development and practice. This has a twofold benefit

• in both supporting those who are in medical education roles and
• in providing an easily recognisable public face of the medical educator identity to permit better understanding among those who are not themselves educators. 

Teunissen과 Westerman은 다음과 같이 주장한다: '전환transition이란 한 개인이 한 환경에서 다른 환경으로 이동하는 찰나의 순간이 아니라 역동적인 과정이다.'33 의료교육자는 다음을 통하여 교육자 역할로 전환하기 위해 고군분투할 수 있는 후배들을 도울 수 있다.

• 첫째, 변화에 적응하고 새로운 정체성으로의 전환을 만드는 능력과 동기 부여에 영향을 미치는 요인을 식별하고 이해한다.
• 둘째, 긍정적인 대응/적응 전략을 채택하도록 돕는 것이다.

Teunissen and Westerman assert that: ‘A transition is not a moment but rather a dynamic process in which the individual moves from one set of circumstances to another.’33 Medical educators can help junior colleagues who may be struggling to move into an educator role by,

• firstly, identifying and understanding the factors that influence their ability and motivation to adapt to change and to make the transition to a new identity, and,
• secondly, helping them to adopt positive coping strategies. 
  
  
  
  Appendix S1 Question guide for focus groups
  
  

Med Educ. 2018 Feb;52(2):216-226.

 doi: 10.1111/medu.13470. Epub 2017 Nov 28.

Making the leap to medical education: a qualitative study of medical educators' experiences

Julie Browne 1, Katie Webb 2, Alison Bullock 2

Affiliations collapse

Affiliations

• 1Centre for Medical Education, Cardiff University School of Medicine, Cardiff, UK.

• 2Cardiff Unit for Research and Evaluation in Medical and Dental Education (CUREMeDE), Cardiff University, Cardiff, UK.

• PMID: 29193365

• DOI: 10.1111/medu.13470

Abstract

Context: Medical educators often have prior and primary experience in other academic and clinical disciplines. Individuals seeking successful careers in the education of medical students and doctors must, at some point in their development, make a conscious transition into a new identity as a medical educator. This is a necessary move if individuals are to commit to acquiring and maintaining specialist expertise in medical education. Some achieve this transition successfully, whereas others struggle and may even lose interest and abandon the endeavour. We explored senior educators' experiences of achieving the transition into medical education and their views on what helps and what hinders the process.

Methods: In 2015 we conducted three focus groups with 15 senior medical educators. All focus group discussions were audiorecorded and transcribed verbatim. We applied transition theory to guide our deductive analysis, using Schlossberg's Four S (4S) framework to code and report participants' self-reported perceptions of those factors relating to Self, Situation, Support and Strategy that had assisted them to make a successful transition to a fully acknowledged medical educator identity. Through inductive analysis, we then identified 17 explanatory sub-themes common to all three focus groups.

Results: Background and circumstances, individual motivation, a sense of control, organisational support, and effective networking and information-seeking behaviour were factors identified as contributing to successful transition into, and maintenance of, a strong self-identity as a medical educator.

Conclusions: The experiences of established medical educators and, in particular, an exploration of the factors that have facilitated their transition to an acknowledged self-identity as a medical educator could assist in supporting new educators to cope with the changes involved in developing as a medical educator.

© 2017 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

의학교육 인증기준의 중요성(Med Teach, 2012)

The importance of medical education accreditation standards
MARTA VAN ZANTEN1, JOHN R. BOULET1 & IAN GREAVES2
1Foundation for Advancement of International Medical Education and Research (FAIMER) and Educational Commission for Foreign Medical Graduates (ECFMG), USA, 2Temple University, USA

도입

Introduction

전 세계적으로 학부 의학 교육의 구조에는 상당한 차이가 있으며(Karl 2004), 최소 기준을 충족하도록 하기 위해 교육의 질(예: 인증 시스템)을 평가하는 방법에도 차이가 있다. 인증이라는 용어는 다양한 의미를 가지지만, 본 문서의 목적상, [지정된 기관이 명확하게 정의된 표준과 절차를 사용하여 교육 기관을 검토하고 평가하는 과정]으로 정의됩니다.
There is significant variation in the structure of undergraduate medical education around the world (Karle 2004), and also differences in how organizations assess the quality of education (e.g., a system of accreditation) to ensure that minimum standards are met. The term accreditation has various meanings, but for the purpose of this article is defined as the process by which a designated authority reviews and evaluates an educational institution using a set of clearly defined standards and procedures.

최근 의학교육 프로그램의 인증 필요성에 대한 인식(Carl 2008)과 의료 직업의 세계화와 의료 종사자의 이주 증가(Echert 2002; Ray et al. 2006)에 초점을 맞추고 있음에도 불구하고, 국제적인 관점에서 인증의 practices를 기술하는 데이터는 제한적이다. 1996년 세계보건기구(WHO)가 의과대학 부서를 대상으로 실시한 조사에 따르면 의과대학의 거의 3분의 2가 외부 기관에 의해 인증받은 것으로 나타났다(Boelen & Boyer 2001). 전 세계에 위치한 9개 개발도상국의 의료 교육 인증 시스템을 비교한 연구는 엄격한 품질 보증 절차를 제정하려는 경향이 확산되고 있다고 결론짓는다(Cue to Jr., 2006). 전세계 인증 관행에 대한 반 잔텐 외 연구진(2008)은 authorities의 성격과 집행 수준에 상당한 차이variation가 있음을 입증했다. 
Despite the recent focus on the perceived need for accreditation of medical education programs (Karle 2008) and the increasing globalization of the medical profession and migration of health care workers (Eckhert 2002; Ray et al. 2006), there are limited data describing accreditation practices from an international perspective. A report based on a 1996 World Health Organization (WHO) survey of Ministries of Health and deans of medical schools indicates that almost two-thirds of medical schools are accredited by an external body (Boelen & Boyer 2001). A study comparing medical education accreditation systems in nine developing countries located throughout the world concludes that the trend toward instituting rigorous quality assurance procedures is spreading (Cueto Jr. et al. 2006). van Zanten et al.’s (2008) study of accreditation practices worldwide demonstrated that considerable variation exists in the nature of authorities and levels of enforcement. 

한국에서는, 이해관계자를 대상으로 실시한 의과대학 인증에 사용되는 기준에 관한 설문조사에서, 설문 응답자들의 직책과 이전 경험에 따라 표준의 중요도 수준이 다르지만 모든 기준의 내용 타당성이 충분하다고 판단되는 것으로 나타났다(양2002).

A survey of stakeholders regarding standards used to accredit medical schools in South Korea revealed that all standards were deemed to have adequate content validity, although the level of importance of standards varied depending on the position and previous experience of the survey respondents (Yang 2002). 

방법

Methods

설문 설계

Survey design

세계 의료 교육 연맹(WFME)은 품질 개선을 위한 국제 기준 3부작을 개발했다. 여기에는 학부 과정으로 이어지는 의과대학의 질을 평가하는 데 도움을 주기 위한 기초의학교육 표준(WFME 2003) 문서가 포함된다. 본 문서는 제한적으로 사용하도록 설계된 것이 아니라, [인증 절차 개발에 관심이 있는 국가 기관의 템플릿으로 기능]하도록 의도되었으며, 국가 및 지역 인증 절차 수립 모델로서 전 세계 국가에서 널리 사용되어 왔다(Karl 2006). 우리는 전 세계의 학부 의료 교육 프로그램을 인증하거나 평가하는 데 사용되는 기준을 설명하는 수많은 출판 문서에서 가져온 추가 기준으로 보완하여 [WFME 기준의 전체 집합으로 구성된 설문 조사]를 개발했다. WFME 표준에서 이미 다루어진 개념을 설명하는 이러한 보충 기관의 표준은 설문조사에서 반복되지 않았다. 따라서, 우리는 전 세계에서 사용되는 관련 기준의 universe를 나타내기 위해 설문조사를 설계했습니다. 
The World Federation for Medical Education (WFME) has developed a Trilogy of Global Standards for Quality Improvement. These resources include a document, Standards in Basic Medical Education, aimed at helping organizations assess the quality of medical schools leading to an undergraduate degree (WFME 2003). This document is not designed to be used restrictively, but instead is intended to function as a template for national agencies interested in developing accreditation procedures, and has been widely used in countries throughout the world as a model for establishing national and regional accreditation procedures (Karle 2006). We developed a survey that consisted of the entire set of WFME standards, supplemented with additional standards taken fromnumerous published documents describing the criteria used to accredit or evaluate undergraduate medical education programs around the world. Standards from these supplemental agencies describing concepts that were already covered in the WFME standards were not repeated in the survey. Therefore, we designed the survey to represent the universe of relevant standards used around the world. 

조사는 다음과 같이 9개의 WFME 주제 영역에 구성된 150개의 표준으로 구성되었다.
The survey consisted of 150 standards organized into the nine WFME topic areas as follows:

응답자들에게는 150개 기준서를 각각 읽어본 뒤, 학부형 의료교육 프로그램의 질적 판단과 보장에 있어 기준이 상대적으로 중요하다는 전문가 의견을 바탕으로 등급을 매기도록 지도했다.
Respondents were instructed to read each of the 150 standards, and then rate the standard based on their expert opinion of the relative importance of the standard in determining and ensuring the quality of undergraduate medical education programs.

전문가들에게 다음과 같은 척도를 제공하여 각 표준을 평가하도록 하였다.
The experts were provided with the following scale to rate each of the standards:

(1) 중요하지 않음(표준은 품질 결정에 유용하지 않음).
(2) 중요하나 필수적이지는 않다(표준은 품질 결정에 다소 유용하지만 요구되지는 않는다).
(3) 필수(표준은 품질 결정에 매우 유용하며 요구됨).
(1) Not important (the standard is not useful for determining quality).
(2) Important but not essential (the standard is somewhat useful for determining quality, but is not required).
(3) Essential (the standard is very useful for determining quality and is required).

우리는 의료교육 인증 분야 전문가 22명에게 연락하여 연구 프로젝트에 대한 설명과 익명으로 설문조사를 완료해 달라는 요청을 제공하였습니다. 이들 개인 중 다수는 지역, 지역 또는 국제 인가 기관의 현재 또는 이전 고위 직원으로, 인가 또는 의과대학 질에 대한 주제에 대해 광범위하게 출판되었다. 

We contacted 22 experts in the field of medical education accreditation and provided them with a description of the research project and a request to anonymously complete the survey. Many of these individuals are current or former senior staff of local, regional, or international accrediting agencies, and have extensively published on the topic of accreditation or medical school quality. 

분석 Analyses

결과

Results

1차 응답기간 1개월 이내 8건의 설문조사가 반송됐고, 2차 달 발송된 독촉메일 2건에서는 총 13건의 완료된 설문조사에 대해 5건의 응답(응답률 59%)이 추가됐다.  
Eight surveys were returned within the first response period ofone month, and two reminder emails sent in the second month produced an additional five responses for a total of 13completed surveys (59% response rate).  

표 1은 각 13명의 응답자에 대해 제공된 등급 수, 모든 표준에서의 평균, 등급의 표준 편차, 평균 평균 평균 편차 및 루트 평균 제곱 오차를 표시합니다.
For each of the 13 respondents, Table 1 displays thenumber of ratings provided, the mean across all standards,the standard deviation of the ratings, the mean deviation fromthe grand mean, and the root mean square error 

• 14개의 표준은 모든 평가 참가자로부터 3('필수')의 최고 등급을 받았고,
• 4개의 표준은 2.00 이하('중요하지만 필수적이지 않음')의 평균 등급을 받았다.
• 개별 표준에 대한 전문가들 간의 등급 변동성은 0(동일 합의)에서 0.76(중간 불일치)까지 다양했다.
• 모든 등급으로부터 완전한 동의가 이루어진 표준, 평균 2.00 이하의 등급을 받은 표준, 0.50 이상의 차이를 가진 표준이 표 2에 제시되어 있다.  

Fourteen standards received the highest rating of 3(‘‘Essential’’) from all survey participants, and four standards received mean ratings of equal to or less than 2.00 (‘‘Importantbut not essential’’). Variability in the ratings across the experts for individual standards ranged from 0 (unanimous agreement)to 0.76 (moderate disagreement). The results displaying the standards that had complete agreement from all raters as being‘‘Essential,’’ the standards that received mean ratings of 2.00 orless, and the standards with variances, across respondents,equal to or greater than 0.50 are presented in Table 2.  

고찰

Discussion

150개 기준 중 14개 기준이 퀄리티 결정에 필수적이라는 데 만장일치가 있었다. 이러한 필수 표준은 WFME 범주에 걸쳐 다소 고르게 분포되어 있으므로, 전문가들은 다양한 입력과 프로세스를 다루는 표준이 필수적이라고 생각한다. 이 14개의 기준은 졸업생들의 성공적인 생산에 필요한 세계적으로 인정된 주요 특징들을 설명한다. 예를 들어 

• '의과대학은 교육과정을 통해 분석적·비판적 사고를 포함한 과학적 방법과 증거 기반 의학의 원리를 가르치고 있다'는 기준에는 의학교육이 고차원의 사고를 포함시켜야 하며 많은 양의 정보를 단순 암기하는 것 이상의 것이어야 한다고 명시돼 있다.  
• '의과대학은 학생들이 환자와 접촉하고 졸업과 동시에 적절한 임상 책임을 지기 위한 충분한 임상 지식과 기술을 습득하도록 보장한다'는 표준은 커리큘럼의 일환으로 응용적 임상 교육의 본질에 대해 설명한다. 
• 다른 필수 표준은 평가 활동의 적절성을 보장한다. 필수기준은 도서관, 학교 리더십, 학교의 재정 안정성 등의 문제와도 관련이 있으며, 교과과정 전달과 직접 관련이 없는 학습의 중요한 측면을 보여준다. 
  

Of the 150 standards, there was unanimous agreementamong the respondents that 14 of the standards are essentialfor determining quality. These essential standards are some-what evenly distributed across the WFME categories, indicatingthat experts believe standards covering a range of inputs and processes are mandatory. These 14 standards describe globally accepted key features necessary for the successful production of graduates.

• For example, the standard, ‘‘The medical school teaches the principles of scientific method and evidence-based medicine, including analytical and critical thinking, throughout the curriculum,’’ states that medical education must include higher order thinking and be more than simple memorizationof a large quantity of information.
• The standard, ‘‘The medical school ensures that students have patient contact and acquire sufficient clinical knowledge and skills to assume appropriate clinical responsibility upon graduation’’ speaks to the essential nature of students’ applied clinical education as part of the curriculum.
• Other essential standards ensure the appropriateness of evaluation activities. Essential standards also related to issues such as the library, school leadership, and the school’s financial stability and demonstrate crucial aspects of learning not directly related to curriculum delivery. 

이 14개의 필수 표준에 대한 전문가들의 만장일치 합의는 이러한 것들이 모든 인가 시스템이 통합해야 하는 핵심 개념임을 시사한다. 또한 이 데이터는 인증 기관이 사용하는 이러한 표준이 세계적으로 인정된 최소 기준을 준수하는지 검증하며, 기관은 이러한 [필수적 기준에 포함된 개념]이 시스템의 일부로 구현되도록 보장해야 한다. 그러나 이것이 다른 표준이 중요하지 않다는 것을 의미하는 것은 아니다. 대신 의대 심사 과정에서 인정해야 할 인증기준의 위계구조가 있음을 시사한다.
The experts’ unanimous agreement on these 14 essential standards suggests that these are core concepts that all accrediting systems should incorporate. The data also validate that these standards that are used by accreditation agencies conform to globally accepted minimum criteria, and agencies should ensure that the concepts covered in these essential standards are implemented as part of their systems. This does not, however, mean that other standards are not important. Instead, it suggests that there is a hierarchical structure of accreditation standards that needs to be acknowledged in the process of medical school review.


평균 점수가 2점 이하인 교육 리소스 범주에는 모두 4개의 표준이 있었습니다. 표준 중 두 가지는 매우 구체적인 리소스 요구 사항을 나타냅니다. 특정 문화권에서는 의대에 필요한 인풋을 상세하게 지정하는 것이 전통이지만, 이 정도의 특수화는 세계적으로 표준이 아니다. 특히 "의과 과정은 학교 내에서 활발한 연구 프로그램의 맥락에서 설정된다." 라는 기준이 상대적으로 낮은 합계점수를 받은 것이 눈에 띈다. 지난 세기에 걸쳐 세계 대부분의 고소득 국가의 의과대학들이 연구 프로그램에 많은 자원을 투입하는 것이 점점 더 중요해지고 있지만, 이 연구의 결과에 따르면, 세계적으로 본다면 이 개념은 우선순위로 간주되지 않는다. 흥미롭게도, 미국에서 대학원 교육과 면허를 추구하는 많은 수의 의대생들을 교육하는 최근에 설립된 많은 기관들(즉, 미국 오스테오패스 학교, 카리브해에 위치한 일부 MD 허가 기관 등)은 작은 연구 프로그램만 가지고 있다. 그러므로, 1900년대 초에 Flexner (1910)가 추구했던 전통에도 불구하고, [교수진, 직원, 학생들을 위한 연구 기회를 통합한 의과대학]은, 적어도 세계적인 관점에서 볼 때, 의과대학과 관련된 연구 프로그램에 대한 이러한 강조는 오늘날 자격을 갖춘 졸업생들의 생산을 보장하는 데 더 이상 관련성이 없는 것으로 간주될 수 있다.

There were four standards, all in the Educational Resources category, where the average rating was 2 or less. Two of the standards refer to very specific resource requirements. While it is the tradition in certain cultures to specify in detail the inputs required for a medical school, this level of particularization is not the norm worldwide. Of particular interest is the relatively low aggregate rating of the standard, ‘‘The medical course is set in the context of an active research program within the school.’’ While it has become increasingly important over the past century for medical schools in most high income countries in the world to devote large resources to research programs, based on the results of this study, this concept is not considered a priority worldwide. Interestingly, many of the more recently founded institutions that educate a large number of medical students who pursue postgraduate training and licensure in the United States, (i.e., US Osteopathic schools, some MD granting institutions located in the Caribbean, etc.) have only small research programs, if at all. Therefore, despite the tradition promoted by Flexner (1910) in the early 1900s of medical schools incorporating research opportunities for faculty, staff, and students, it appears that, at least from a global perspective, this emphasis on research programs associated with medical schools may no longer be considered relevant today in ensuring the production of qualified graduates. 

9개 기준은 0.50보다 큰 평가자 variability를 가진 것으로 나타나, 품질 보장에 있어 기준의 중요도 수준에 대해 전문가들이 차이가 크다는 것을 보여주었다. 이러한 표준은 지리적 및 문화적 영역에 따라 크게 달라지는 의료 교육의 측면을 나타낼 수 있다.

• 예를 들어, 기본 과학과 임상 과학을 별도로 가르치는 것이 세계의 많은 지역에서 전통이지만, 다른 지역에서는 이러한 지식과 기술의 측면이 완전히 통합되어야 한다는 것이 관습이다.
• 토착 인구의 건강이나 사회의 다른 부문의 고려사항과 관련된 기준은 보편적인 관련성은 낮을 수 있다.
• 마지막으로, 전문가들은 양질의 교육을 보장하는 데 학생의 권리와 관련된 표준을 포함하는 것의 중요성에 동의하지 않는다.
  

Nine standards had rater variability that was greater than 0.50, indicating that the experts disagreed substantially on these standards’ levels of importance in ensuring quality. These standards likely represent aspects of medical education that significantly vary across geographic and cultural realms.

• For example, while it is the tradition in many parts of the world to separately teach basic sciences and clinical sciences, in other regions the convention is that these aspects of knowledge and skills should be fully integrated.
• Standards related to the health of indigenous populations or considerations of other sectors of society may not be universally relevant.
• Finally, experts do not agree on the importance of including standards that pertain to the rights of students in ensuring a quality education.

9개의 WFME 범주 내의 모든 표준에 대해 집계된 평균 등급은 전체적으로 전문가들이 기준의 여러 범주를 비교적 동등하게 평가했음을 보여준다. 평균평가(2.77점)가 가장 높았고, 교육자원(2.52점)과 학생(2.53점)이 가장 낮았다. 수준 높은 교사를 보장하는 표준에 대한 강조는 기대되었고, 분명히 그것은 자질을 결정하는 중요한 요소이다. (Darling Hammond 1999) 대조적으로, 학교의 물리적 자원과 학생들의 권리와 관련된 기준들이 다소 낮은 평가를 받은 것은 문화와 전통의 변화로 설명될 수 있는 흥미로운 결과이다. 예를 들어, 학생들의 학업성적 열람 및 이의신청권한을 보호하는 기준의 포함은 한 나라의 정부의 개방성과 투명성을 반영할 수 있다. 
The mean ratings, over respondents, aggregated for all the standards within each of the nine WFME categories demonstrate that, overall, the experts rated categories of standards relatively equally. Standards related to Academic Staff/Faculty received the highest mean rating (2.77), whereas the categories of standards related to Educational Resources (2.52) and Students (2.53) received the lowest. The emphasis on standards that ensure high-quality teachers was expected and clearly it is an important determinant of quality (DarlingHammond 1999). In contrast, the somewhat lower rating of standards related to a school’s physical resources and the rights of students is an interesting outcome that may be explained by variations in culture and tradition. For example, the inclusion of standards that protect the rights of students to view and challenge their academic records may reflect the level of openness and transparence of a country’s government. 

Med Teach. 2012;34(2):136-45.

 doi: 10.3109/0142159X.2012.643261.

The importance of medical education accreditation standards

Marta van Zanten 1, John R Boulet, Ian Greaves

Affiliations collapse

Affiliation

• 1Foundation for Advancement of International Medical Education and Research (FAIMER), Philadelphia, PA 19104, USA. mvanzanten@faimer.org

PMID: 22288991

• DOI: 10.3109/0142159X.2012.643261

Abstract

Introduction: The purpose of this study was to evaluate the relative and absolute importance of individual standards used by accreditation agencies throughout the world.

Method: We developed a 150-item survey that consisted of all World Federation for Medical Education standards, supplemented with additional standards used around the world. International accreditation experts rated the standards based on the importance of each standard for ensuring the quality of undergraduate medical education. A 3-point scale was employed: 1 = not important, 2 = important but not essential, 3 = essential.

Results: Thirteen of 22 chosen experts anonymously completed the survey (59%). The mean values, over raters, across individual standards ranged from 2.32 to 2.87, indicating that most of the 150 standards are at least important, and often essential, for ensuring program quality. Fourteen standards received the highest rating of 3 ("Essential") from all experts, and four standards received mean ratings ≤2.00. Variability in the ratings across the experts for individual standards ranged from 0.00 (unanimous agreement) to 0.76 (moderate disagreement).

Conclusions: While there is some global variation in experts' opinions of accreditation standards, certain standards are considered essential. Our summary data are useful for determining best practices for medical education accreditation systems.

사회적 책무성과 인증: 교육기관을 위한 새로운 프론티어(Med Educ, 2009)

Social accountability and accreditation: a new frontier for educational institutions
Charles Boelen1 & Bob Woollard2

도입

INTRODUCTION

보건의료전문인력 생산의 수월성excellence을 염원하는 교육기관은 졸업생이 시민과 사회의 건강증진에 바람직한 역량을 모두 보유할 때뿐만 아니라 이를 전문적 실무에 활용할 수 있을 때 그 지위를 부여받아야 한다. 비록 의과대학이 현재 졸업생들이 사용되는 방식이나 봉사하는 방식에 대하여 책임을 지지는 않지만held to account, 미래에는 그러한 책임이 요구될 수 있다. 교육 기관들은 점점 더 professional practitioner의 성과와 그들의 존재가 사회 복지에 미치는 영향에 대해 더 명확히 해달라는 요구를 받고 있다.
An educational institution that aspires to excellence in the production of health care professionals should be granted that status not only when its graduates possess all of the competencies desirable to improve the health of citizens and society, but when they are able to use them in their professional practice. Although medical schools are not presently held to account for the ways in which their graduates are used, and serve, their societies, such an accounting may be required in the future. Educational institutions are increasingly requested to be more explicit about their outputs of professional practitioners and the impact of their presence on social well-being. 


지난 반세기 동안, 의료 전문가의 교육의 질은 일련의 교육 발전을 통해 점진적으로 향상되었습니다.1 
Over the last half-century, the quality of education of health care professionals has progressively improved through a series of educational advances.1 

이러한 교육적 혁신은 모두 매우 유용했지만, 이러한 혁신은 [의료 분야의 인적 자원 개발에 영향을 미치는] 국제적 위기를 시정하는 데 실질적으로 기여하지 못했다.2 이러한 위기는 다음을 포함하는 기여 요소의 끔찍한 재고로 예시된다.

• 의료진의 정량적 부족
  
• 우선적인 의료 요구에 관한 특정 전공 분야의 불충분한 비율
  
• 일차 의료진의 만성적인 부족
  
• 보다 사회적이고 경제적으로 매력적인 직업적 환경으로 보건 전문가의 이동.
  
• 농촌의 과소 서비스
  
• 질병 예방 및 건강 증진을 위한 효과적인 조치의 일반적인 결여
  
• 자신의 건강 보호에 대한 책임을 지기 위해 시민들이 거의 동원되지 않음
  
• 보건의 사회적 결정요소에 보다 효과적인 영향을 주기 위해 사회부문과 협력할 수 있는 열악한 인센티브
  
• 직업적 이상을 희생하는 서비스 상품화에 대한 표류
  
• 행정 및 공공에 의한 보건 전문가에 대한 신뢰 감소
  
• 의료 전문가의 동기부여 저하  
  

Although these are all very useful, these innovations have not materially contributed to correcting the global crisis affecting human resources development in the health care sector.2 This crisis is exemplified by an appalling inventory of contributory factors, which include:

• a quantitative lack of health care staff;
• inadequate proportions of specialties with respect to priority health care needs;
• a chronic dearth of primary health care staff;
• the migration of health professionals to more socially and financially attractive working environments;
• the underserving of rural areas;
• a general deficit of effective action towards disease prevention and health promotion;
• little mobilisation of citizens to assume responsibility for protecting their own health;
• poor incentives to work in partnership with the social sector for a more effective impact on the social determinants of health;
• a drifting towards the merchandising of services at the expense of professional ideals;
• lessening trust in health professionals by administration and the public, and
• the de-motivation of health care professionals. 

그들은 그러한 위기에 어떻게 대처할 수 있을까? 교육기관이 교육, 연구, 서비스 임무를 통해 위기를 어느 정도 완화시킬 수 있는가? 교육프로그램의 설계·시행·추진이 [시민과 사회 전체의 요구에 부합]하고 [국민건강발전 과정과 밀접하게 관련]되도록 하는 방향으로 정립하는 것이 절실하다. 
How can they cope with such a crisis? To what extent cananeducational institutionhelp mitigate the crisis through its education, research and service missions? It is imperative that the design, implementation and follow-up of educational programmes be established in a manner that ensures they are relevant to the needs of citizens and society as a whole and are closely related to the process of national health development. 

사회적 책임의 다른 파트너들(정책 입안자, 보건 서비스 관리자, 보건 전문가 및 대중)이 기대, 적응 및 품질 보증에 동등하게 헌신할 것이라는 기대가 있다. 
There is an expectation that the other partners in social accountability (policy makers, health service managers, health professionals and the public) are equally committed to anticipation, adaptation and quality assurance. 

사회적 책임의 의미
WHAT SOCIAL ACCOUNTABILITY IMPLIES

세계보건기구(WHO)는 의대의 사회적 책임을 '지역, 지역 또는 국가의 우선적 건강 문제를 해결하기 위한 방향으로 그들의 교육, 연구 및 서비스 활동을 지향direct해야 하는 의무'로 정의한다. [우선적 건강 문제]는 정부, 의료 기관, 보건 전문가 및 일반 대중이 공동으로 파악해야 한다.'3
The World Health Organization (WHO) defines the social accountability of medical schools as representing: ‘the obligation to direct their education, research and service activities towards addressing the priority health concerns of the community, region, or nation they have a mandate to serve. The priority health concerns are to be identified jointly by governments, healthcare organisations, healthprofessionals andthe public.’3

이로부터, 사회적 책무성의 두 가지 특징인 [이타주의와 통합]이 등장합니다.

• 이타주의는 주로 사회의 웰빙에 초점을 맞추고 있으며
• 통합은 사회 캔버스의 필수적인 부분이다.
  

From this, two features of social accountability emerge: altruism and integration.

• Altruism focuses primarily on society’s well-being and
• integration is an integral part of the social canvas.
  
  

두 그룹의 원칙은 frame of reference로서 기능할 수 있다:

• 사람들의 보호와 관련된 휴머니즘적 원칙과
• 의료 시스템과의 관계와 관련된 시스템적 원칙.

Two groups of principles may serve as frames of reference:

• humanistic principles, which are relative to people’s protection, and
• systemic principles, which are relative to the relationship of the institution with the health care system. 
  
  

인본주의 원칙

Humanistic principles

세계보건기구가 밝힌 [네 가지 원칙]은 개인과 집단적 관점 모두에서 사람들이 권리를 갖는 건강 관리의 유형을 가리킨다. 질, 형평성, 목적적합성, 효과성.

• [질quality 원칙]은 시민들에게 신체적, 정신적, 사회적 행복 상태를 보호하고, 회복하고, 증진시킬 수 있는 최선의 조치를 제공하는 것을 추구한다.
• [형평성의 원칙]은 모든 시민이 의료 서비스에 완전히 접근할 수 있고 어떤 형태의 차별에도 직면하지 않도록 하기 위해 노력한다.
• [관련성의 원칙]은 우선적인 의료 요구에 대한 대응과 사회에서 가장 취약한 개인 또는 집단에 대한 특별 주의의 제공을 추구한다.
• [효과성의 원칙]은 가장 효과적이고 효율적인 방법으로 공공의 이익에 봉사하는 방식으로 인적 및 물질적 의료 자원을 활용하는 것을 말한다. 

Four principles, enunciated by WHO, refer to the type of health care to which people have a right, from both an individual and a collective standpoint: quality, equity, relevance and effectiveness.

• The principle of quality seeks to provide the citizen with the best possible measures to protect, restore and promote a state of physical, mental and social wellbeing.
• The principle of equity tries to ensure that every citizen has full access to health care services and does not face any form of discrimination.
• The principle of relevance seeks a response to priority health care needs and the provision of special attention to the most vulnerable individuals or groups in society.
• The principle of effectiveness refers to the utilisation of health care resources, both human and material, in a manner that serves the public interest in the most effective and efficient way. 

체계적 원칙
Systemic principles

이러한 원칙은 [의료 시스템의 복잡성]에 대한 이해와 그 안에서 가장 유용한 장소를 찾을 수 있는 능력과 관련이 있다. 제도권 내 다른 이해관계자, 즉 정책결정자, 보건시스템 관리자, 의료전문가, 시민사회 등과 제휴해 활동하면 실효성이 개선될 가능성이 높다. 위에서 설명한 인문학적 원칙을 구현하기 위해, 이들 이해관계자는 각각 조정된 역할을 수행한다.

These principles relate to the understanding of the complexity of a health care system and to the capacity to find a most useful place in it. The institution is likely to improve its effectiveness if it works in partnership with other stakeholders in the system, namely, policy makers, health system managers, health care professionals and civil society. In order to implement the humanistic principles outlined above, each of these stakeholders has a coordinated role to play.

예를 들어,

• [정책 입안자]는 일관되고 통합된 의료 시스템의 장기적인 비전을 수립해야 한다.
• [보건 시스템 관리자]는 이 비전과 일치하는 자원의 할당을 보장해야 한다.
• [의료 전문가]는 적절한 범위의 서비스를 제공할 수 있는 역량을 획득해야 하며,
• [시민]은 자신의 건강과 지역사회의 건강을 보호하는 데 더 큰 책임을 진다. 
  

For instance, the policy maker should frame a long-term vision of a health care system which is coherent and integrated;

• the health system manager should ensure an allocation of resources that is consistent with this vision;
• the health care professional should acquire competences to deliver the appropriate range of services, and
• the citizen should assume greater responsibility in protecting his or her own health and that of the community.

모든 파트너는 자신의 역할을 조정하고 시너지를 발휘하여 의료 시스템과 인적 자원을 강화해야 합니다.4 

All partners should adapt their roles and act in synergy to strengthen the system and its human resources for health.4 

완전히 사회적으로 책임을 지기 위해서는, 기관은 자신의 '제품products'(졸업생, 서비스 모델 또는 연구 결과)이 대중의 최선의 이익을 위해 사용되고 있는지에 대해 의문을 제기할 권리를 주장할 필요가 있다.

To be fully socially accountable, an institution needs to claim the right to question whether its ‘products’ (graduates, service models or research findings) are being used in the best interest of the public.

효과의 수월성

EXCELLENCE IN IMPACT

이러한 기관은 그 존재와 일의 최종 영향을 의심함으로써 더 높은 수준의 사회적 책임을 지게 된다. 
By questioning its raison d’eˆtre and the final impact of its work, such an institution undertakes a higher order of social accountability. 

전문직의 '생산자producer'로서, 교육기관은 기관의 산출물output을 활용할 사회 기관들과 일련의 관계를 맺어야 한다. 동시에, 니즈는 끊임없이 진화하기에, 커리큘럼과 목표는 지속적으로 조정되어야 한다는 것을 깨달아야 한다. 이에 필요한 일련의 관계, 정보 수집, 피드백 루프 및 변경의 영향자는 기관이 계획과 조치의 복잡성 원칙을 인식할 것을 요구한다.5-7 따라서 [원인과 결과의 선형 관계]가 아니라, [원하는 output을 정의하고, 실제 output을 측정하는, 명시적이고 적응 가능한 프로세스]를 만드는 것으로 대체되어야 하며, 졸업생이 진입하는 시스템의 요구에 적응해야 한다.

 
As a ‘producer’ of professionals, it must enter into a series of relationships with the social institutions that will utilise its output. At the same time, it must realise that needs are in constant evolution and thus its curriculum and goals must be in a state of constant adjustment. The series of relationships, information gathering, feedback loops and effectors of change needed for this require that the institution recognise principles of complexity in its plans and actions.5–7 Thus linear relationships of cause and effect need to be replaced by the creation of explicit, adaptable processes that define desired outputs and measure actual outputs while adjusting to the needs of the system their graduates are entering. 

원하는 효과impact를 얻으려면 원하는 졸업생 유형에 대한 초기 정의가 필요합니다. 그러나 이러한 졸업생이 성취되더라도, 그들의 역량이 공식적으로 인정되지 않고 의료 시스템에 의해 공정하게 보상되지 않는다면, 그들이 원하는 영향은 달성되지 않을 것이다. 이 경우, 졸업생들은 고용되지 못하거나, 혹은 인센티브를 받는 영역으로 돌아갈 것이다.   
Achieving the desired impact requires an initial definition of the type of graduates desired. However, even if such graduates are achieved, if their competencies are not formally recognised and fairly rewarded by the healthcare system, their desired impact will not be achieved. The graduates will either be underemployed or will revert to the kinds of practices that are incentivised.   

따라서 교육기관은 [보건 정책을 설계하는 사람], [의료 서비스를 조직하는 사람], 그리고 [획득된 역량이 요구되는 일자리 기회를 창출하고 서비스를 지원하는 사람] 사이의 솔직한 대화를 시작해야 한다. 
The educational institution must therefore initiate a frank conversation between those who design health policies, those who organise health care services and those who create job opportunities and support services requiring the acquired competencies. 

공익이 사익에 우세할 때, 협력은 비로소 생산적이다. 한 파트너의 구성원이 자신의 이익에 초점을 맞추고, 더 넓은 사회적 관점을 무시한다면 위협은 현실이 된다.
Partnership is productive within an institution if common interest prevails over private interests. The threat is real if the members of one partner focus on their own interests and ignore the wider social perspective.

의대교육의 창의성이 대부분 교육과정의 [사회적 목적과 도덕적 의무]보다는 [교과내용과 학습방법]에 집중되는 것이 놀라워서는 안 된다. 간단히 말해, 현재는 프로세스에 많은 focus을 두지만, impact에 focus는 충분히 주지 않고 있다. 

It should not come as a surprise that most of the creativeness in medical education concentrates on curriculum content and learning methods rather than on the social purpose and moral obligations of the curriculum. In brief, a lot of emphasis is placed on processes and not enough on impact. 

이 실망은 어제오늘의 일이 아니다! 지난 세기 초, 아브라함 플렉스너는 카네기 재단에 의해 북미 의과대학의 질에 대한 검토를 맡도록 위임받았다. 미국 의료 시스템의 형평성 부족을 의식한 그는 [아프리카계 학생들이 그들이 속한 커뮤니티의 건강상태 향상에 기여하기 위해서는] 우수한 의료교육의 혜택을 받아야 한다고 권고했다. 플렉스너는 감히 좋은 의료 교육과 인구 건강 사이의 상관관계를 만들었다. 의학교육 개선을 통해 시민들의 건강에 긍정적인 영향을 미친 것이 그 운동의 주요 동기였다. 불행히도 그의 후계자들에 의해 행해진 의과대학의 개혁이 교과과정의 [과학성scientific nature]을 강화하는 것으로 이루어졌기 때문에 이러한 기대는 부족했다. 12 

This disappointment is not new! At the beginning of last century, Abraham Flexner was mandated by the Carnegie Foundation to undertake a review of the quality of North American medical schools. Aware of lack of equity in the US health care system, he recommended that Afro-American students should benefit from excellent medical education in order to contribute to raising the health status of their communities. Flexner dared to make a correlation between good medical education and population health. Achieving a positive impact on the health of citizens through improved medical education was indeed the prime motive for the exercise. Unfortunately this expectation fell short as the reform of medical schools conducted by his successors consisted of strengthening the scientific nature of the curriculum but little else.12

역사는 그 결과를 입증했다.

• 기초과학의 교육 블록은 학생들이 환자와 사회 환경과의 접촉이 허용되기 전에 필수 통로가 되었다.
  
• 사회과학과 인문학의 도입은 제한적이고 늦다. 
• 부문과 부서는 어떻게 해서든 자신의 자율성을 지킨다.
  
• 수직적 교육은 [복잡한 건강 문제를 해결하는 데 가장 적합한 통합적 교육]을 희생함으로써 강화된다.
  
• 공중 보건 과학은 소외되어 왔다.

History has demonstrated the result:

• blocks of education in the basic sciences became a compulsory passage before students were allowed any contact with patients and the social environment;
• the introduction of the social sciences and humanities is limited and late;
• disciplines and departments guard their autonomy jealously;
• vertical teaching is enhanced at the expense of the integrated teaching best suited to address complex health issues, and
• the public health sciences have been marginalised.

이것은 선의의 의도하지 않은 결과였다. 졸업생의 영향에 대한 평가 부족과 사회의 진화하는 요구는 교육기관을 삶의 환경living environment으로부터 격리시키게 되었다. 이 모델은 100년 넘게 전 세계적으로 널리 보급되어 왔으며, 의과대학 인증의 parameter로 지속적으로 장려하고 있습니다. 이는 academe이 자신의 존재의 이유를 사회적 웰빙에 미치는 영향의 근원으로서 설정할 역사적인 기회를 놓친 것이다.13 

These were unintended consequences of good intentions. The lack of assessment of the impact of graduates and the evolving needs of society have tended to isolate the institution from the living environment. This model has remained distressingly~prevalent worldwide for over a century and continues to inspire parameters for the accreditation of medical schools. This represents an historical missed opportunity for the academe to set as its raison d’eˆtre its impact on social well-being.13 

사회적 책임의 표현
EXPRESSIONS OF SOCIAL ACCOUNTABILITY

(그림 1).
(Fig. 1).

[개념화 영역]에는 전문적으로 필요한 종류의 협업 설계와 자신의 기술을 활용하는 시스템이 포함된다.

[생산 영역]은 훈련과 학습의 주요 요소를 포함한다.

• The domain of conceptualisation involves the collaborative design of the kind of professional needed and the system that will utilise his or her skills.
• The domain of production involves the main components of training and learning. 
  

[사용적합성 영역]에는 훈련된 전문가가 최고 최선의 사용을 보장하기 위해 기관이 취하는 이니셔티브가 포함된다. 
The domain of usability involves initiatives taken by the institution to ensure that its trained professionals are put to their highest and best use. 

'사용적합성'이라는 용어가 '이용성utilization' 또는 '유용성usefulness'이라는 용어보다 선호된다. 졸업생들은 실제로 그들이 훈련받은 역량의 스펙트럼을 부분적으로만 적용하더라도, 그들이 어떤 의료 구조에서 고용되는 즉시 이용되고 유용할 수 있다. 대조적으로, [사용적합성] 개념은 [획득한 역량과 이를 실행할 기회 사이의 일치도]를 의미한다. 따라서 사용적합성 영역은 훈련의 기반이 되는 보건 전문가의 프로필이 미래 작업 환경에서 적절하게 평가되도록 기관이 시작한 프로세스를 반영해야 한다.
The term ‘usability’ is preferred to the terms ‘utilisation’ or ‘usefulness’. Graduates may indeed be utilised and useful as soon as they are employed in any health care structure, even if they only partially apply the spectrum of competencies in which they have been trained. By contrast, the notion of usability refers to the degree of concordance between their acquired competencies and their opportunities to practise them. Therefore, the domain of usability should reflect processes initiated by the institution to ensure that the profile of a health professional on which the training was based is properly valued in the future working environment.

CPU 활동의 피드백 루프가 구축되려면 [지속 가능한 일련의 파트너십]이 필요하다. 모든 주요 행위자들이 공통 가치 집합과 그러한 공통 가치를 표현하는 효과적인, 복잡하지만 효과적인 시스템을 공유하지 않는다면 사회적 책임성은 완전히 충족될 수 없다. 
A sustainable series of partnerships is necessary if feedback loops of CPU activities are to be built. Social accountability cannot be entirely fulfilled if all of the main actors do not share a common set of values and an effective, although complex, system through which to express those common values. 

표 1은 더 큰 사회적 관련성을 향한 교육 기관의 방향을 잡기 위해 특정한 규범, 지표 및 기준을 도출할 수 있는 일반적인 프레임워크를 제시한다.

Table 1 presents a general framework from which specific norms, indicators and criteria can be drawn to orient an educational institution towards greater social relevance.

현행 평가 및 인증 시스템 관련
RELATING TO CURRENT EVALUATION AND ACCREDITATION SYSTEMS

의료교육연락위원회(LCME)가 북미의 의대를 평가하고 인가하기 위한 표준을 도입한 이후, 이들로부터 영감을 받은 다양한 국가 이니셔티브를 통해 그리고 최근 세계 의료교육연맹(WFME)이 국제표준을 발행할 때까지, 생산 영역에 주안점을 두었으며 개념화 및 사용적합성 영역에는 사소한 관심만이 표시되었다(표 2).

Since the introduction of norms for evaluating and accrediting medical schools in North America by the Liaison Committee on Medical Education (LCME), through the different national initiatives inspired by these and until the more recent publication of international standards by the World Federation of Medical Education (WFME), the main emphasis has been put on the domain of production, and only minor interest shown in the domains of conceptualisation and usability14–16 (Table 2). 

1995년 WHO는 사회적 반응적 보건 정책을 옹호하는 역할advocacy role에서 의료 교육의 품질 보증에서 사회적 책임 원칙을 고려할 것을 권고했다. 세계보건기구는 규범에 관한 구체적인 제안을 하지 않았고 또한 국가들로 하여금 개정된 인가 시스템을 이용하도록 명시적으로 장려하지도 않았다. 17, 18 
In 1995, the WHO, in its advocacy role for socially responsive health policies, recommended that principles of social accountability be taken into account in the quality assurance of medical education. The WHO did not make concrete proposals regarding norms and nor did it explicitly encourage countries to avail themselves of revised accreditation systems.17,18 

인증 시스템을 구축하기 위한 많은 국가적, 지역적 노력이 진행 중이다. 기관과 국가가 사회에 대한 의무를 최적으로 반영하지 않는 인가 접근방식을 채택하는데 너무 확고하게 관여하기 전에 사회적 책임에 기초한 표준을 수용하는 이니셔티브를 시작할 필요가 절실히 있다.
Many national and regional efforts are underway to establish accreditation systems. There is a pressing need to launch an initiative that embraces standards based on social accountability before institutions and countries become too firmly engaged in adopting accreditation approaches that do not optimally reflect obligations to society.

트렌드와 기회

TRENDS AND OPPORTUNITIES

세계화가 사회적 영향에 대해 재평가됨에 따라, 사회는 이러한 투자가 공공재에 미치는 영향에 대한 보다 확실한 증거로 투자를 정당화하려고 할 것이다.
As globalisation is reassessed for its social impact, societies will seek to justify their investments with more solid evidence of the impact of these investments on the public good.

윤리적 문제: 원인과 결과
Ethical issues: causes and consequences

사람들의 건강에 영향을 미치는 인간의 노력에서 위험을 최소화하는 것(첫 번째, 해치지 않는 것)은 히포크라테스의 유산보다 더 오래되었다. 사회는 이러한 [주의cautionary 원칙]을 의사와 의사양성 기관에 요구하고 있다. 게다가, 사회는 행동에 대한 결정과 그 행동들의 장기적인 영향 사이에 관계를 확립할 것을 요구한다. 교육 전략과 인구 건강 사이의 직접적인 상관관계는 쉽게 입증할 수 없지만, 대리지표proxies는 존재한다. 우리는 사회적 책임 기관을 그렇지 않은 기관과 구별할 수 있다.1,3 사회적 책무성을 갖는 기관의 교육 프로그램이 사회의 우선적인 의료 요구에 반응하는 보건 전문가의 교육을 초래한다는 증거도 제공해야 한다. 

The aim to minimise risks (first, do not harm) in human endeavours that affect people’s health is older than the legacy of Hippocrates. Society demands this cautionary principle of its practitioners and, increasingly, of the institutions that produce them. Further, society demands that a relationship be established between decisions for actions and the long-term effects of those actions. Although a direct correlation between educational strategies and population health is not easily demonstrable, proxies exist. We can differentiate a socially accountable institution from one that is not.1,3 We should also provide evidence that the educational programmes of socially accountable institutions result in the education of health professionals who are responsive to society’s priority health care needs. 

민주주의 문제: 개방성과 투명성
Democratic issues: openness and transparency

전문가들을 위해 남겨두던 지역들이 점점 더 대중들에게 접근하기 쉬워지고 있다. 정보에 대한 폭넓은 접근과 시민들의 보다 중요한 관심은 모든 기관의 관리에 대한 의문으로 이어진다. 사회적으로 책임이 있는 기관에 대한 명백한 인정은 학생들과 더 넓은 대중 모두를 안심시킬 것이다.
Areas that used to be reserved for experts are increasingly accessible to the public. Wide access to information and the more critical attention of citizens lead to questioning of the management of any institution. The explicit recognition of a socially accountable institution will reassure both its students and the wider public.

경제 문제: 결과 및 지원
Economic issues: results and support

투명성이 높아지면 기관 간 비교가 가능해진다. 사회적 책임 원칙에 기초한 인가 규범은 공공 당국, 기금 기관 및 시민 사회가 더 높은 사회적 영향을 위한 능력을 가진 기관들을 더 잘 알 수 있도록 지원할 수 있게 할 것이다.
Greater transparency will induce comparisons among institutions. Accreditation norms based on principles of social accountability will enable public authorities, funding agencies and civil society to more knowledgably support those institutions with the capacity for a higher social impact.

정치적 문제: 시스템 접근 및 시너지 향상
Political issues: system approach and enhanced synergies

기관에 대한 좋은 통치는 [사회정치적 환경의 복잡성을 고려]하고, [(유사하거나 보완적인 임무를 가진) 다른 기관과 지속 가능한 파트너십을 구축할 수 있는 기회를 이용할 수 있는 능력]에 의해 점점 더 정의될 것이다. 우리는 정치당국이 우수성을 귀속시키고, [의료시스템의 응집성과 성과를 촉진시키는 시너지 효과를 내는 데 적성aptitude을 보이는 기관]에 우선적으로 자원을 지원할 것으로 예상할 수 있다.

Good governance of institutions will be defined increasingly by these institutions’ capacity to take into account the complexity of the socio-political environment and to take advantage of opportunities to build sustainable partnerships with other institutions with similar or complementary missions. We may anticipate that political authorities will attribute excellence and provide resources preferentially to institutions that show an aptitude to create synergies that induce greater coherence and performance of the health care system. 

결론

CONCLUSIONS

적절하게 설계되고 의무화된 인증 시스템은 복잡한 시스템의 품질과 변화에 강력한 힘이 될 수 있습니다. 이것은 특히 의료 교육 기관들에 해당된다.

Accreditation systems, properly designed and mandated, can be powerful forces for quality and change in any complex system. This is particularly true of the institutions of medical education. 

Med Educ. 2009 Sep;43(9):887-94.

 doi: 10.1111/j.1365-2923.2009.03413.x.

Social accountability and accreditation: a new frontier for educational institutions

Charles Boelen, Bob Woollard

• PMID: 19709014

• DOI: 10.1111/j.1365-2923.2009.03413.x

Abstract

Context: An association with excellence should be reserved for educational institutions which verify that their actions make a difference to people's well-being. The graduates they produce should not only possess all of the competencies desirable to improve the health of citizens and society, but should also use them in their professional practice. Four principles enunciated by the World Health Organization refer to the type of health care to which people have a right, from both an individual and a collective standpoint: quality, equity, relevance and effectiveness. Therefore, social, economic, cultural and environmental determinants of health must guide the strategic development of an educational institution.

Discussion: Social responsibility implies accountability to society for actions intended to serve it. In the health field, social accountability involves a commitment to respond as best as possible to the priority health needs of citizens and society. An educational institution should verify its impact on society by following basic principles of quality, equity, relevance and effectiveness, and by active participation in health system development. Its social accountability should be measured in three interdependent domains concerning health personnel: conceptualisation, production and utilisability. An educational institution that fully assumes the position of a responsible partner in the health care system and is dedicated to the public interest deserves a label of excellence.

Conclusions: As globalisation is reassessed for its social impact, societies will seek to justify their investments with more solid evidence of their impact on the public good. Medical schools should be prepared to be judged accordingly. There is an urgent need to foster the adaptation of accreditation standards and norms that reflect social accountability. Only then can educational institutions be measured and rewarded for their real capacity to meet the pressing health care needs of society.

새로운 의과대학 인증평가 항목 ASK 2019(Med J Chosun Univ, 2019)
최효선, 안영준
조선대학교 의과대학 의학교육학교실

서론

의과대학/의학전문대학원은 수준 높은 의학교육을 통해 의료 의 질적 향상과 사회가 요구하는 의료인을 양성하는 사회적 책무 가 있다(1). 지난 30여 년 동안 우리나라 의과대학은 시대가 요구 하는 의료인을 양성하기 위해서 의과대학의 교육환경과 수준을 향 상시키기 위한 자발적 노력을 지속해 왔다. 그 일환으로 1998년 한국의과대학인정평가위원회(ABMEK; Accreditation Board for Medical Education in Korea)가 발족되었고, 지금까지 대학교육 협의회(대교협)에서 해오던 의학교육평가를 의학계 자체적으로 전문성을 발휘하여 2000년부터 제 1주기 의학교육 평가인증을 시작 하였다(2-4). 사실 대교협의 평가는 평가 당시의 단기적 성과에 중 심을 두고 정량적으로 지표적 평가를 중심으로 하였다. 그런데 의 학교육평가인증의 목적은 의과대학/의학전문대학원의 기본의학 교육의 질을 평가하여 의학교육의 질적 향상과 의학교육의 수월성 을 추구하는 것으로(5-7) 정성적으로 교육프로그램 및 앞으로 어 떻게 할 것인가에 대한 내용을 포함하고 있다. 1주기 평가영역은 6개영역으로 교육목표, 교육과정, 학생, 교수, 시설 설비, 행정 재 정이었으며 18개 필수항목, 46개 권장항목으로 평가하였다. 이후 재단법인 한국의학교육평가원(이하 의평원)이 설립됨에 따라 의학교육평가인증 체제가 보다 체계화 되었다.

각 의과대학/의학전문대학원은 의학교육평가인증을 준비하는 것이 어려웠지만 평가인증을 통해 거듭할수록 대학의 평가 준비하 는 측면에서 재원과 시설의 외적인 요소의 확보에서 발전하여 교육 절차와 교육과정의 내실화에 중점을 두는 방향으로 발전하였다. 이러한 과정에서 의과대학 평가인증이 교육환경과 교육과정을 개선하고, 궁극적으로는 의학교육의 질을 향상시키는데 필요한 제도라는 인식이 전환되었다(8).

• 한국의학교육평가원(Korean Institute of Medical Education and Evaluation, KIMEE)은 국가 적으로도 고등교육기관의 평가인증을 위한 인정기관의 필요성이 인식되었고, 2014년 교육부 고등교육 프로그램 평가인증 인정기 관으로 지정되었다.
• 2016년에는 한국의학교육평가원이 세계의학 교육연합회(World Federation for Medical Education, WFME) 평가인증기관으로 인정을 받았다.
• 나아가 평가기준 항목은 세계 의학교육연합회(WFME)의 글로벌 기준(Global Standards)을 기반으로(9) 우리나라 의학교육 상황에 적절히 부합되며, 의학교육 의 수월성과 다양성이 존중되고, 정량적 기준이 아닌 정성적 기준 이 되도록 새롭게 개발되었다. 개정된 의학교육 평가인증 기준을 ASK 2019 (Accreditation Standards of KIMEE 2019)로 칭하고, 2019년부터 모든 대학에 본격적으로 적용될 예정이다(10). 평가 를 통한 인증 결과는 6년, 4년 또는 2년 인증, 인증유예, 불인증 등 으로 차별화하고 있다. 

의과대학/의학전문대학원 평가인증 기준항목들은 2주기, Post 2주기를 거치면서 주기별로 평가인증 기본기준 항목을 각 75문항, 97문항으로 꾸준히 개정하여 왔다.

• 모든 의과대학/의학전문대 학원은 Post 2주기 평가인증 기준 항목으로 평가인증을 받았으며, 평가영역은 대학운영체계, 기본의학교육과정, 학생, 교수, 시설·설 비, 졸업 후 교육의 6개 영역과 97개 기본항목으로 구성되어 있다 (11).
• 2019년부터 모든 의과대학/의학전문대학원은 ‘사명과 성과, 교육과정, 학생평가, 학생, 교수, 교육자원, 교육평가, 대학운영체 계와 행정, 지속적 개선’의 9개 영역, 36개 평가부문, 92개 기본항 목으로 세계의학교육연합회의 세계적 기준으로 구성된 ASK 2019 로 의학교육평가를 받게 되었다.

그런데 ASK 2019부터 새로운 용어들이 많이 등장하고, 기준항목들이 정량에서 정성으로 바뀜으로 해석에 혼란을 초래할 수 있다. 이에 Post 2주기 평가인증 기준항 목을 기본으로 ASK 2019 항목들은 어떻게 변화되었는지 살펴보 고자 한다.

본론

평가영역과 평가항목의 변화

• 우리나라 평가인증은 1주기에 교육목표와 교육과정, 학생, 교 수, 시설설비, 행정재정의 5개 영영과 필수항목 18개, 권장항목 46개로 평가를 진행했으며, 
• 2주기에는 필수, 권장 항목이라는 용 어가 기본항목으로 통합되었으며 ‘대학운영체계, 기본의학교육과 정, 학생, 교수, 시설 설비, 졸업 후교육’으로 6개 영역과 75개 기 본항목, 34개 우수항목으로 평가하였다. 
• Post 2주기에는 대학운영 체계, 기본의학교육과정, 학생, 교수, 시설 설비, 졸업 후교육의 6 개 영역과 97개 기본항목, 44개 우수항목으로 평가하였다. 
• 그런데 ASK 2019에서는 사명과 성과, 교육과정, 학생평가, 학생, 교수, 교육자원, 교육평가, 대학운영체계와 행정, 지속적 개선 등의 9개 영역과 92개 기본항목, 51개의 우수항목으로 구성되어있다. 

Post 2주기의 기본의학교육과정영역이 ASK 2019에서는 교육과정, 학 생평가, 교육자원, 교육평가, 지속적 개선 등의 항목으로 분화되어 독립적인 영역이 되었고 대학운영체계 영역은 사명과 성과, 지속 적 개선을 영역을 포함하게 되었고 졸업 후 교육영역이 사라졌다 (Table 1).

Post 2주기와 ASK 2019의 평가영역, 평가부문과기준 수 

Post  2주기는  평가영역으로  대학운영체계,  기본의학교육과정, 학생, 교수, 시설 설비, 졸업 후 교육의 6개 영역, 20개 평가부문, 기본항목  97개,  우수항목  44개로  구성되었으나  ASK  2019에서는 평가영역으로 사명과 성과, 교육과정, 학생평가, 학생, 교수, 교 육자원, 교육평가, 대학운영체계와 행정, 지속적 개선 등의 9개 영역, 36개 평가부문, 기본항목 92개, 우수항목 51개로 구성되어 전체적인  항목의  수는  크게  변화가  없으며  평가영역과  평가부문이 좀  더  다양화,  구체화되고  독립된  항목으로  구성되어  있다(Table 2-1).

기본의학교육과정  영역에서  평가부문은 기존내용을 각 전문영역별로 나누어 구체화시켰으며 이해관계자의 참여, 교육적 교류 등 관리에 관심을 보이고 있으며 학생영역, 교수영역은 축소화하여 선발 및 활동에 중점을 두고 있다. 시설, 설비 영역은 기존과 비슷하며 졸업 후 교육이 기본의학교육과정에 속하지 않기 때문에 기본의학교육과정 평가항목에는 다루어지지 않고 있다(Table 2-2)

새로운 용어 및 항목 

학생영역에서는 크게 달라진 것은 없으나 학습 부진학생을 관리 및 지도, 학년별 유급율 변동에 대한 문제점을 분석하거나 유급학 생 구제 방안, 조언자 및 조언자 양성 프로그램을 권면하고 있다. 시설설비 영역에서는 전 기준과 특별히 달라진 항목이 보이지 않 으며 졸업 후 교육영역은 내용이 생략 되었다(Table 3).

ASK 2019 준비를 위한 제언

첫째, 예산을 미리 확인하여 집행해야 한다. 행정, 교육, 교육운 영, 교수개발, 학생 활동, 시설 등에는 반드시 예산이 필요하며 집 행해야 한다. 특히 교육과정 위원회 예산은 3,000만원 이상, 학생 교육관련 직접비용은 등록금의 5% 이상, 교수활동지원은 개인당 200만원 이상, 도서비는 교수와 학생 1인당 50만원 이상, 질관리 위원회, 발전기금 관리 위원회, 학생 교류활동, 장학금지급 등의 예산을 확보하여 집행해야 하며 반드시 증빙자료를 구비해야 한 다. 정성평가 항목으로 바뀌었음에도 실제 평가에서는 정량적 기 준을 근거로 평가되기 때문에 신경을 써야 하는 내용이다.

둘째, 인력을 확보해야 한다. 행정지원으로 직원은 분야별로 5 명 이상 직원, 학생 지원과 관련된 전담직원이 있어야 하고 보직 자도 5개 분야 이상, 기초교수 25명 이상, 임상교수 85명 이상 등 이 있어야 한다. 특히 행정 지원 인력은 각 교실별 1명 이상 있어 야 한다. 갈수록 인증평가와 관련된 업무가 중요함으로 매년 실시 해야 하는 교육과정평가, 의도한 교육성과평가, 졸업성과 평가, 시 설, 복지 만족도 등을 주기적으로 평가해야 하는 전담할 인력, 센 터, 혹은 교육지원실이 필요하며, 재정적 지원과 함께 의학교육학 교실이 일부 내용을 감당하는 것도 고려해 볼 필요성이 있다. 더 나아가 인증평가에 관심을 갖고 실제 다른 의과대학 현장 평가에 참여하는 전임교원 양성이 필요하다.

셋째, 교육과 관련된 교수개발, 직원, 학생교육이 필요하다. 신임교수는 임용 1년 이내 15시간 교육과 관련된 교육을 받아야 하 고, 전임교수는 50% 이상이 연간 3시간 이상 의학교육과 관련된 연수 및 교육을 받아야 한다. 학장, 보직자에게 의과대학 인증평 가 및 의학교육과 관련된 전문적인 시각을 위해 관련교육이 필요 하다. 학생들은 기본 전공과 관련된 교육뿐만 아니라 새롭게 환자, 보호자 안전에 관련된 교육, 감염 예방 및 치료와 관련된 교육, 성, 폭력 등과 관련된 교육 등이 필요하고 직원들에게도 새롭게 교육 적 교류, 성, 학교 정책 등과 관련된 교육이 필요하므로 이에 대한 프로그램 개발이 필요하다. 뿐만 아니라 주기적인 교수개발을 위 한 프로그램개발을 의학교육학교실과 함께 진행하는 것이 도움이 될 것이다.

넷째, 절차적 정당성을 확보하고 근거 자료를 남겨야 한다. 모든 일에 관련된 규정 및 지침이 있어야 하고 이를 진행함에 있어 지침 에 따른 절차적 정당성을 확보해야 한다. 여기에는 교원뿐만 아니라 직원, 학생, 이해관계자 및 관련자 참여의 공간도 필수적이다. 지리적으로 떨어진 교육병원에 연간 2회 이상의 학장과 보직자 방문실적이 있어야 하고 해당병원 담당자에게도 교육이 필요하다. 학생평가에 있어서도 형성평가를 권장하고 모든 평가에 피드백과 근거자료를 남겨야 한다. 특히 임상 실습평가에 있어서 지식적 항목뿐만 아니라 술기적 항목의 평가와 이에 대한 피드백, 근거자료를 남겨야 한다. 이를 관리하기 위해 필요한 위원회(질 관리 위원 회 혹은 자체 평가 위원회 등)가 조직되어 이를 학기마다 점검하고 조언 받는 것이 필요하다.

다섯째, 새로운 교육과정 개발과 강의, 평가의 다양성 확보가 필요하다. 시대에 맞는 새로운 교육과정 개발이 필요하며, 이를 위해 의학 전공과정이 4년의 틀보다는 4년 6개월, 혹은 5년 교육과정으 로 확대되어 교육하는 것이 필요하며, 교수학습법에서 강의뿐만 아니라 학생들의 학습 능력을 향상 시키는 다양한 강의법이 도입 되어야 한다. 학년별 학생 수준에 따른 교육성과 기준을 개발하여 그에 맞는 다양한 평가법, 특히 지식 영역뿐만 아니라 술기, 태도 영역 등을 평가하는 다양한 방법들이 도입되어야 한다. 평가영역 을 교수 각 개인의 고유의 영역으로 두면서 무관심하기보다 다양 한 평가를 유도 하는 정책이 필요하다.

결론

ASK2019은 내용을 살펴보면 의과대학/의학전문대학원 인증 평가 근거나 규정 없이 일회적, 단기적으로 끝나는 것이 아니라 행정, 사명, 교육, 운영, 평가 등 모든 내용에 대한 근거, 관련 규정이 있어야 하며 이에 따른 주기적인 평가와 지속적인 개선을 행정, 교육, 시설에 반영하고 있는지를 평가하도록 요구하고 있다. 평가하면 학생들 성적 평가만 생각했는데 앞으로는 성적평가 뿐만 아니 라 사명, 졸업성과, 의도한 교육성과인 교육과정, 교육과정 운영, 시설, 복지 등 모든 분야에 걸쳐 확대되었고 그 평가에 대한 원칙 및 관련 규정, 더불어 분석, 개선한 것까지 근거자료를 만들고 평가를 해야 할 상황인 것이다. 대상도 학생을 넘어 전임교원, 직원, 이해 관계자, 관련 전문가, 외부 기관까지도 아우르는 정책 및 운 영이 필요할 것이다. 따라서 많은 사람들이 검토하고 미리 준비하는 것이 필요하며 적극 동참하는 것이 아주 중요하다고 생각된다.

The ASK 2019 in the accreditation of medical school
Hyoseon Choi, Youngjoon Ahn
Department of Medical Education, Chosun University College of Medicine, Gwangju, Korea
Corresponding author
Youngjoon Ahn
Department of Medical Education,College of Medicine, Chosun University, 309 Philmun-daero, Dong-gu, Gwangju 61452, Korea
Tel: +82-62-220-3981 
Fax: +82-62-220-3981
E-mail: yjoon@chosun.ac.kr
ORCID: https://orcid.org/0000-0003-2602-8004
Medical schools have a social accountability to educate competent medical trainees and to improve the quality of medicine. Accreditation Board for Medical Education in Korea was established as an accreditation board in 1993. Now, Korean Institute of Medical Education and Evaluation (KIMEE) was opened and assessed the medical curricula and environments of each medical school which included medical educational contents, teaching-learning methods, assessment, students’ elections, medical facilities and the supporting system. KIMEE will assess each medical school with new items, called ‘ASK 2019’ starting from Year 2019. According to ASK 2019, KIMEE will assess 92 basic items and 51 excellence items which are 9 domains of mission and outcome, educational curriculum, students’ assessment, students, medical professors, educational resources, educational assessment, administration and management of school, continual improvement. We will actively prepare the budget, human resources, new medical curriculum, various teaching-learning and assessment methods, administration supporting system and medical facilities to pass the accreditation of medical education and evaluation.

Keywords: Accreditation, ASK 2019, Evaluation

임상 상황에서 일반역량의 발전정도 탐지의 어려움(Med Educ, 2018)

The challenges of detecting progress in generic competencies in the clinical setting
Val
erie Dory,1,2 Carlos Gomez-Garibello,1,2 Richard Cruess,1,3 Sylvia Cruess,1,2 Beth-Ann Cummings1,2,4 & Meredith Young1,2

도입

INTRODUCTION

역량 기반 의료 교육(CBME)에서 평가는 개인의 역량 발달을 추적해야 한다.1 이를 위해서는 성과 기반 평가의 종단적 프로그램이 필요하다. 교육 단계에 관계없이 프로그램의 모든 학습자에게 시행되는 진행 목표 구조 임상 검사(진행 OSCE)는 학부 2 및 대학원 3,4 의료 교육에서 성공적으로 시범 운영되었습니다. 그러나 OSCE는 비용이 많이 들고, 이는 평가의 잠재적 빈도를 제한하며, 작업장 기반 평가(WBA)보다 진위성이 떨어진다.1 
In competency-based medical education (CBME), assessment must track individuals’ development of competencies.1 This requires a longitudinal programme of performance-based assessments. Progress objective structured clinical examinations (progress OSCEs), administered to all learners in a programme, regardless of stage of training, have been successfully piloted in undergraduate2 and postgraduate3,4 medical education. However, OSCEs are costly, which limits the potential frequency of assessments,5 and are less authentic than workplace- based assessments (WBAs).1 

따라서 CBME는 progress OSCE에만 의존할 수 없으며 프로그램의 시간 내에 예상되는 진행 정도에 민감한 종방향 WBA를 사용해야 한다. 이 민감도는 이에 따라 달라진다.

• 올바른 구성(하나 또는 여러 역량)을 목표로 하는 것
  
• 올바른 도구의 사용(타당성 증거 포함)
  
• 올바른 방식으로(평가자 및 의사 결정자가) 평가하는 것
  

Therefore, CBME cannot rely solely on progress OSCEs but requires the use of longitudinal WBAs that are sensitive to the degree of progress expected within the programme’s time frame; this sensitivity hinges on

• the targeting of the right construct (one or several competencies), and
• the use of the right instrument (with supporting validity evidence)
• in the right way (by assessors and decision makers). 

평가자는 불행히도 일관성이 없는 것으로 악명 높다. 6,7

• 다양한 측면의 성능에 초점을 맞춥니다(differential salience), 8-10
  
• 동일한 행동에 대해 다른 이유를 추론하다. 9,10
  
• 다양한 방식으로 역량을 개념화한다(수행 이론), 11
  
• 다양한 수준의 끈적임(매/비둘기 효과),
• 척도를 달리 해석하다10
  

Assessors are unfortunately notoriously inconsistent.6,7 They

• focus on different aspects of performance (differential salience),8–10
• infer different reasons for the same behaviour,9,10
• conceptualise competence in different ways (performance theories),11
• exhibit different levels of stringency (the hawk/dove effect),8 and
• interpret scales in different ways.10 

'기대 충족'과 같은 기존의 scale 앵커는 벤치마크를 명확하게 전달하지 못한다.6,10 이러한 명확성의 결여는 평가를 완료할 때 평가자의 표준 참조(즉, 학습자와 동료를 비교하기 위해)에 의존하는 경향을 복합적으로 만들 수 있다. 6,10,12 표준 참조norm-referencing는 CBME와 양립할 수 없기 때문에 특히 표준 규격이 맞지 않을 수 있다. 때때로 안전 실천safe practice 수준 아래로 떨어집니다.1 
Traditional scale anchors, such as ‘meets expectations’, fail to clearly convey benchmarks.6,10 This lack of clarity may compound assessors’ tendencies to rely on norm-referencing (i.e. to compare learners with their peers) when completing an assessment.6,10,12 Norm-referencing is incompatible with CBME, most notably because normative standards may occasionally fall below levels of safe practice.1 

표준 참조는 또한 기준을 불명확하거나 자꾸 바뀌는 것으로 만들 수 있다. 10 예를 들어, 평가자는 능력 수준보다 훨씬 낮지만 대부분의 다른 초보자와 유사하게 '기대 충족'으로 수행 중인 초보 학습자에게 점수를 부여할 수 있다.

Norm-referencing also leads to unclear and potentially shifting standards.10 For example, an assessor might score a novice learner who is performing far below a competent level but similarly to most other novices as ‘meeting expectations’. 

그럼에도 불구하고, 심사원의 변동성variability은 여러 차례에 걸쳐 여러 명의 심사원으로부터 평가를 수집함으로써 완화될 수 있다(그리고 아마도 심사원 훈련을 통해, 15–17의 영향이 일관되지 않지만).
Assessor variability can nonetheless be mitigated by collecting assessments from multiple assessors on multiple occasions14 (and perhaps through assessor training, although the effects of this are inconsistent15–17).

올바른 도구의 사용과 관련하여, 미니 임상 평가 연습(mini-CEX)과 같은 여러 도구의 사용을 지지하는 증거가 많이 있다.14,18 그러나 그러한 기기의 변화에 대한 대응성에 관한 증거는 드물고 그룹 수준에서 제한된 검출 진행률을 보여준다.20–22
With respect to the use of the right instrument, there is mounting evidence supporting the use of several instruments, such as the mini-clinical evaluation exercise (mini-CEX).14,18 However, the evidence regarding the responsiveness of such instruments to change is scarce19 and limited detecting progress at the group level.20–22

마지막으로, 종단적 WBA는 프로그램 중에 개발될 것으로 예상되는 역량을 목표로 해야 한다. 이는 CBME를 점점 더 채택하고 있는 학부 의학 교육(UGME)에서 특히 문제를 제기한다. CBME에 대한 많은 작업이 수행된 대학원 의학 교육(PGME)보다 UGME는 시간이 더 짧다(일반적으로 PGME의 2~5년과 비교했을 때 UGME의 임상 배치 1~2년). 통상적으로 UGME에서 접하는 전공의 수가 더 많다. 
Finally, longitudinal WBA must target the competencies that are expected to develop during a programme. This raises particular challenges in undergraduate medical education (UGME), which is increasingly adopting CBME. The time frame is shorter than in postgraduate medical education (PGME), in which much of the work on CBME has been conducted (typically 1 or 2 years of clinical placements in UGME compared with 2–5 years in PGME), whereas the scope of disciplines encountered is usually broader. 

다양한 분야(직업)에서 임상 배치 첫 해 동안 일반 역량의 개발을 문서화하기 위해 종적 WBA 프로그램을 구현했다. 이 연구는 검증과 연구 목적을 결합했다.

We implemented a longitudinal WBA programme to document the development of generic competencies during the first year of clinical placements in diverse disciplines (clerkship). This study combined validation and research purposes. 

방법

METHODS

우리는 병렬 데이터베이스와 함께 수렴 혼합 방법 설계를 사용했다.23 정량적 암은 다음과 같은 문제를 해결했다.

• (i) 임상 배치 연도 동안 점수는 어떻게 변화합니까?
  
• (ii) 의과대학의 첫 번째 임상 연도에 종적으로 사용될 때, 전문적인 행동의 WBA의 정신계학적 특성은 무엇인가?
  
• (iii) 점수의 변동 원인은 무엇인가?
  
• (iv) 점수는 얼마나 신뢰할 수 있는가? 정성적 팔은 평가자의 평가 경험 및 구체적으로 다음과 같은 질문을 탐구하였다.
  
• (v) 평가인은 평가 대상을 어떻게 개념화하였는가?
  
• (vi) 평가자는 어떻게 판단에 도달했으며, 어떤 요소가 영향을 미쳤다고 믿는가? 특히 평가 당시 학생이 있는 연도를 고려하였는가?

We used a convergent mixed-methods design with parallel databases.23 The quantitative arm addressed the following questions:

• (i) How do scores change over the year of clinical placements?
• (ii) What are the psychometric properties of a WBA of professional behaviours, when used longitudinally in the first clinical year of medical school?
• (iii) What are the sources of variability in scores?
• (iv) How reliable are the scores? The qualitative arm explored assessors’ experiences of the assessment and specifically the following questions:
• (v) How did assessors conceptualise the target of assessment?
• (vi) How did assessors arrive at their judgements, what factors do they believe influenced them, and, specifically, did they take account of how long into the year students were at the time of the assessment? 

연구 맥락

Study context

우리는 4년제 학부 의학 교육과정의 3학년 때 종적 WBA를 구현했다. 3년은 세 개의 임상 블록으로 구성되며, 각각 두 개의 전공단위 기반 로테이션을 통합한다(그림 1). 
We implemented a longitudinal WBA in Year 3 of a 4-year undergraduate medical curriculum. Year 3 comprises three clinical blocks, each integrating two discipline-based rotations (Fig. 1). 

학생들은 환자와 마주치거나encounter 다학제 토론 중에 이를 관찰한 모든 보건 전문가로부터 로테이션 당 두 가지 평가를 도출하도록 지시 받았다. 회전당 최소 한 개씩을 유도하는 것은 의무적이었다. 모든 중대한 사고는 코스 책임자에게 보고해야 했지만, 그렇지 않은 경우 평가는 형성적이었다.
Students were instructed to elicit two assessments per rotation from any health professional who had observed them during a patient encounter or a multidisciplinary discussion. Eliciting at least one per rotation was mandatory. Any critical incidents were to be reported to the course director, but otherwise the assessment was formative. 


평가 도구는 전문성 미니 평가 연습(P-MEX)의 전자 버전이었다.24 P-MEX는 전문성에 대한 광범위한 개념을 반영하며 임상 분야와는 무관하게 여러 일반 역량을 포괄한다. P-MEX는 4점 척도로 평가되는 글로벌 항목 1개와 21개의 구체적 항목을 가지고 있으며, 각 항목에 대해 간략한 일반적인 설명을 제공한다.24 우리는 의과대학 졸업에 기대되는 성과 수준에 맞춰 기대치를 설정했다고 명시했다. 부록 S1 및 S2는 전체 계측기를 제공합니다. 
The assessment instrument was an electronic version of the professionalism mini-evaluation exercise (P-MEX).24 The P-MEX reflects a broad conception of professionalism and covers multiple generic competencies, independent of clinical discipline. The P-MEX has one global and 21 specific items, which are rated on a 4-point scale (from ‘unacceptable’ to ‘exceeded expectations’), and gives a brief generic explanation for each point.24 We specified that expectations were set in line with the level of performance expected on graduation from medical school. Appendices S1 and S2 provide the full instrument. 


양적 부분

Quantitative arm

참여자 Participants

분석 Analyses

점수의 변동성과 신뢰성의 원인을 조사하기 위해 G String IV(http://fhsperd.mcmaster.ca/g_string)를 사용하여 일반화가능성 분석을 수행했다. 평가는 학생 성취도의 차이를 식별하기 위해 고안되었다. 따라서, 원하는 변동성의 원천(또는 분화의 측면)은 학생이었다. 변동성의 다른 원인, 특히 다음과 관련된 변동성을 조사하였다.

• (i) 학생이 배정되고, 학생들의 회전 순서를 결정한 그룹('그룹': 계층화 면)
  
• (ii) 서로 다른 평가자가 각 학생에 대해 서로 다른 사건을 관찰하여 작성한 양식('형식': '학생'에 내포된 일반화의 무작위 면)
  
• (iii) 평가 양식의 개별 항목('항목': '양식'에 내포된 일반화의 고정 측면)
  

학생들 간의 신뢰성 있는 차별화에 필요한 양식 수를 결정하기 위해, 우리는 의사결정 연구(일반성 계수 0.80으로 설정)를 수행했다.

To examine the sources of variability and reliability of scores, we performed generalisability analyses using G String IV (http://fhsperd.mcmaster.ca/g_string). Assessments are designed to identify differences in student performance. Therefore, the desired source of variability (or facet of differentiation) was students. We examined other sources of variability, specifically the variability associated with:

• (i) the group to which students were assigned and which determined the order of their rotations (‘group’: stratification facet);
• (ii) the forms completed by different assessors observing different events for each student (‘form’: random facet of generalisation nested in ‘student’), and
• (iii) the individual items on the assessment form (‘item’: fixed facet of generalisation nested in ‘form’).

To determine the number of forms required to reliably differentiate among students, we performed a decision study (generalisability coefficient set at 0.80). 

질적 부분

Qualitative arm

참여자와 모집 Participants and recruitment

우리는 분야와 전문 그룹(참석 의사, 거주자, 비의사) 측면에서 최대한의 variation를 추구했다. 우리는 이메일로 대상 평가관에게 연락했습니다. 처음에 우리는 다양한 유형의 전문직(직업 및 분야별)으로부터 충분한 '정보력'을 확보하기 위해 약 6, 7명의 참가자로 구성된 6개의 포커스 그룹이 필요할 것으로 추정했다.27 일정상의 어려움 때문에 일부 포커스 그룹을 인터뷰로 전환했는데, 이들의 심층적인 성격이 더 적은 참여자로 충분한 '정보력'을 얻을 수 있게 해 20명의 참가자를 목표로 했다. 

We sought maximal variation in terms of disciplines and professional groups (attending physicians, residents, non-physicians). We contacted targeted assessors by e-mail. We had initially estimated that we would require six focus groups of approximately six or seven participants to ensure sufficient ‘information power’ from different types of professional (by profession and discipline).27 We converted some focus groups to interviews because of scheduling difficulties and found that their more in-depth nature allowed us to obtain sufficient ‘information power’ with fewer participants and so we aimed for 20 participants. 

인터뷰 가이드 Interview guide

인터뷰 가이드(부록 S3)는 평가자 인식에 관한 문헌의 이전 조사 결과에 의해 형성된 질문과 조사와 함께 인터뷰 대상자가 판단에 영향을 미쳤다고 생각하는 요소에 초점을 맞췄다. 6,7 여기에는 다음이 포함된다. 

• Differential salience (평가자마다 수행의 다른 측면에 초점을 맞춤), 8,9 
  
• 기준 불확실성 (평가자가 임의적으로 준거를 구성함), 8 
  
• 수행능력 이론(평가자가 자신의 임상 역량 모델을 사용함)11 
  

우리는 구체적으로 참가자들이 첫 번째 훈련 기간에 후속 기간보다 더 관대하게 행동함으로써 의식적으로 그들의 기대를 조정했는지에 대해 탐구했다.
The interview guide (Appendix S3) focused on the factors that interviewees believed had influenced their judgements, with questions and probes shaped by previous findings from the literature on assessor cognition.6,7 These included

• differential salience (assessors focus on different aspects of performance),8,9
• criterion uncertainty (assessors tentatively construct criteria),8 and
• performance theories (assessors use their own models of clinical competence).11

We specifically explored whether participants consciously adjusted their expectations by being more lenient in the first training period than in subsequent periods. 


분석 Analysis

데이터는 그대로 옮겨졌다. RA와 제1저자(제1저자)는 P-MEX 양식 작성 과정에 대한 감독자의 경험을 나타내기 위해 다양한 코딩 유형을 사용하여 독립적으로 라인별 코딩을 수행한 다음 코드를 논의하기 위해 만났다.28 분석가는 간혹 눈에 띄는 차이가 있었는데, 이는 반환함으로써 쉽게 해결되었다. 더 넓은 범위의 코드로 이어졌습니다. 그들은 또한 의미를 나타내기 위해 사용되는 언어의 차이를 협상했다. 그런 다음 데이터에 매우 가까운 초기 코드를 더 추상적인 범주로 분류했다.

Data were transcribed verbatim. The RAs and the first author (first-round analysts) independently performed line-by-line coding using an eclectic array of coding types to represent supervisors’ experiences of the process of completing P-MEX forms, and then met to discuss codes.28 The analysts occasionally differed in what they had noticed, which was easily resolved by returning to the data and led to a broader range of codes. They also negotiated differences in the language used to represent meaning. They then grouped initial codes that were very close to the data into more abstract categories. 

비록 그 분석이 귀납적이었지만, 이론상으로는 첫 번째 저자의 배경에 의해 inform되었다. 예를 들어, 1차 분석가는 Gauthier 등의 3단계 평가 프로세스(관찰, 처리, 통합)에 따라 코드를 그룹화하여 '양식 완성 초대'와 '피드백 제공'에 대한 범주를 추가했다. 행동 예측의 통합 모델(계획된 행동 이론에 기초함)에 민감해진 첫 번째 저자는 참가자들이 자신의 행동을 뒷받침하는 믿음을 쉽게 드러냈고, 따라서 이 개념(행동에 대한 믿음)이 하나의 범주가 되었다는 것을 알아차렸다. 이 범주 내에서, 일부 신념은 일반 역량의 고정 대 발전적 특성을 고려하였다. 다른 사람들은 그것들을 '자연' 대 '양육' 또는 '성격' 대 '능력'으로 코딩했을지도 모르지만, 우리는 인간 속성의 암시적 이론의 Dweck 등의 언어를 사용하여 '실체' 대 '증분'으로 코딩했다.31 

Although the analysis was inductive, it was informed by the first author’s background in theory. For example, the first-round analysts grouped codes according to Gauthier et al.’s7 three phases of the rating process (observation, processing, integration), adding categories for ‘invitation to complete a form’ and ‘provision of feedback’. Sensitised to the integrative model of behaviour prediction (based on the theory of planned behaviour),29,30 the first author noticed that participants readily revealed the beliefs that underpinned their behaviours and hence this concept (beliefs about the behaviour) became a category. Within this category, some beliefs concerned the fixed versus developmental nature of generic competencies. Others might have coded them as ‘nature’ versus ‘nurture’, or ‘character’ versus ‘competence’, but we coded them as ‘entity’ versus ‘incremental’, using Dweck et al.’s language of implicit theories of human attributes.31 

두 번째 코딩 라운드에서 믿음과 행동에 대한 28개의 코드는 더 이상 연대순으로 분류되지 않고(Gauthier et al., Gauthier et al.의 7개 평가 단계에 따라), 평가자 목표에 따라(공정하고, 정확하며, 유용하고, 친절하며, 특정 믿음과 보고된 행동 사이의 관계를 조사하였다. 첫 번째 저자는 이러한 논의에서 해석적 가설과 반성을 포착하기 위해 분석 메모를 썼다.28  

In a second round of coding,28 codes about beliefs and behaviours were no longer grouped chronologically (according to our adapted version of Gauthier et al.’s7 phases of assessment), but, rather, according to assessor goals (being fair, being accurate, being useful, being kind), examining relationships between specific beliefs and reported behaviours. The first author wrote analytic memos to capture interpretive hypotheses and reflections from these discussions.28 

세 번째 분석에서는 나머지 팀원들이 서로 다른 샘플 성적표와 코드북을 조사했습니다. 연구팀은 주목할 만한 발견과 해석에 대해 토론했다. 연구팀은 전문성 전문지식을 갖춘 임상-교육자 3명과 인지심리학 전문지식을 갖춘 평가전문가 2명으로 구성됐다. 이 광범위한 전문 지식과 이론적 배경은 이론적인 수준과 실제적인 수준 모두에서 토론으로 이어졌다. 구체적으로, 토론은 평가 시스템의 평가자 기관, 전문성의 본질에 대한 오랜 논쟁, 32 그리고 신념과 행동을 형성하는 데 있어 전문가 그룹의 잠재적인 역할에 초점을 맞췄다. 이로 인해 우리는 모든 대화록에 키 코드가 있는지 또는 일부 대화록에만 있는지, 그리고 그 패턴이 참가자의 전문 그룹(예: 의사, 거주자, 비의사)과 관련이 있는지 여부를 조사하기 위해 차트 28을 생성했다.

In a third round of analysis, the remaining team members examined different sample transcripts and the codebook. The research team discussed salient findings and interpretations. The team comprised three clinician-educators, two of whom have expertise in professionalism, as well as two assessment experts, one of whom has expertise in cognitive psychology. This broad range of expertise and theoretical backgrounds led to discussions at both the theoretical and practical levels. Specifically, discussions focused on the agency of assessors in an assessment system, on the long-standing debate of the nature of professionalism,32 and on the potential role of professional group in shaping beliefs and behaviours. This prompted us to generate charts28 to examine whether key codes were present in all of the transcripts or only in some transcripts, and whether the patterns were related to the participants’ professional groups (i.e. practising physicians, residents, non-physicians). 

결과

RESULTS

자료 출처의 특징

Characteristics of data sources

질적 부분 Qualitative arm

총 1669개의 양식이 186명의 학생을 위해 완성되었다. (표 1)

A total of 1669 forms were completed for 186 students (an average of nine forms per student). (Table 1).

양적 부분 Quantitative arm

(Table 2).

점수의 변동 원인: 학생이 아닌 시간, 주로 평가자
Sources of variability in scores: not student, not time, but mainly assessors

학생 점수의 차이에도 불구하고, 이 분산의 아주 작은 비율만이 학생 역량의 차이로 인한 것이었다(표 3).
Despite some variance in student scores, only a very small proportion of this variance was attributable to differences in student competence (Table 3).

주요 분산 요인은 양식 자체였습니다(표 3).
The main source of variance was the forms themselves (Table 3).

따라서 양식과 관련된 변동은 (환자 사례와 같은) 평가의 맥락뿐만 아니라 평가자와 관련된 변동을 포함합니다. 
Variation associated with the forms would therefore contain variation associated with the assessor, as well as with the context of the assessment, including the patient case. 

그러나 우리의 포커스 그룹과 개별 인터뷰에서 생성된 데이터는 많은 평가자가 다중 관찰에 의존했음을 시사했다. 
However, data generated from our focus groups and individual interviews suggested that many assessors relied on multiple observations, 

정보가 있다면 아마 둘 이상의 encounter 정보를 사용할 겁니다. [...] 다양한 유형의 세팅처럼 유용하기 때문입니다.
I probably use information for more than one encounter, if I have it. [...] Because it is useful in sort of different types of settings.

따라서 각 양식은 여러 환자 사례에서 수행능력을 반영하여, 사례 특이성의 영향을 완화하고, 주로 평가자 변동성이 양식과 관련된 변동성으로 남게 된다.

Each form therefore may have reflected performance across multiple patient cases, mitigating the effects of case-specificity and leaving mainly assessor variability as an explanation of the variability associated with the forms.

전체적으로 높은 점수
High scores throughout

모든 항목의 평균 점수는 매우 높았다(표 4).
Average scores were very high for all items (Table 4).

참가자들은 높은 점수에 대한 두 가지 잠재적인 설명을 제공했습니다. 첫째, 많은 항목들이 임상실습 시작부터 모든 학생들이 보여주어야 할 기본적인 특성으로 보였으며, 그 이후에는 개선의 여지가 거의 없었다. 참가자들은 학생들의 태도에 초점을 맞춘 평가라고 믿었고, 많은 참가자들은 이러한 평가는 개선될 것 같지 않은 고정된 개별 특성으로 보았다. 실제로 대부분의 참가자들은 평가가 연초에 이루어졌는지 또는 연말에 이루어졌는지 여부에 관계없이 학생들을 동일한 벤치마크로 보유하는 것을 정당화하기 위해 이러한 믿음을 사용했지만, 의료 전문지식과 같은 역량에 대해서는 연도별 시기에 따라 기준을 수정할 것을 제안하기도 했다. 
Participants provided two potential explanations for the high scores. Firstly, many items were seen as basic characteristics that all students should demonstrate from the beginning of clerkship, with little room for improvement thereafter. Participants believed that the assessment focused on students’ attitudes and many participants saw these as fixed individual characteristics that were unlikely to progress. In fact, most participants used this belief to justify holding students to the same benchmark, regardless of whether the assessment took place at the beginning or end of the year, whereas some suggested that they would modify their standards according to the time of year for competencies such as medical expertise: 

그래서 P-MEX가 요구하는 것에 대해 말하자면, 저는 본과3학년 학년 초든 학년 말이든 제 기대치에 큰 변화가 없습니다. 이것들은 사실상 '의사됨physicianship'에 관한 설문지이다. 

So, in regards, to what the P-MEX asks, I don’t really have a change in my expectations in someone at the start of med 3 versus the end. These are more of a ‘physicianship’ questionnaire. 

이러한 속성을 고정된 것으로 간주하면 성능 저하에 대한 단일 관측치로부터 일반화하는 평가자의 의지도 감소하며, 평가자들이 여러 관측치에 걸쳐 집계하기를 선호하는 이유를 설명한다. 일부 참가자들에 따르면, 성적이 좋지 않은 것은 맥락적 문제 또는 학생 문제를 시사했다고 한다. 그러나 두 가지를 구별할 수 없어서, 그들은 학생에게 '의심에 대한 베네핏benefit of the doubt'을 주었다. 반대로, 긍정적인 성과는 학생들이 실제로 바람직한 속성을 가지고 있다는 것을 의미했고 따라서 일반화할 수 있었다.
Seeing these attributes as fixed also reduced assessors’ willingness to generalise from single observations of poor performance, and explains why assessors preferred to aggregate across multiple observations. According to some participants, poor performance suggested either contextual issues or student issues. Unable to differentiate between the two, they gave the student the ‘benefit of the doubt’. Conversely, positive performance implied that students did indeed possess the desirable attributes and was therefore generalisable:

만약 여러분이 무언가 약간 부적절한 것을 보거나 목격했다면, 또는 의문이 드는 것을 보았다면: '그 학생이 오늘 피곤해서 그런 건가요? 환자가 어색해서 그런가? 그 이유는... 스트레스 너무 많이 받아요?' 하지만 긍정적인 면을 위해, 저는 '그는 항상 긍정적입니다'와 같이 좀 더 일반화하려고 노력합니다.
If you’ve seen or witnessed something maybe a little inappropriate or something you start to wonder: ‘Is it because the student is tired today? Is it because the patient is awkward? Is it because... you know, it’s too stressful?’ But for positive, I try to generalise more, like ‘He’s always positive.’

고득점에 대한 두 번째 잠재적 설명은 일부 평가자가 학습자의 기분을 상하게 하거나, 학습자의 학업 진척도를 저해하거나, 원하는 전문분야에 맞는 전망을 저해할 수 있기 때문에 부정적인 평가를 서면 작성cosign하는 것을 꺼린다는 것이었다. 이로 인해 평가자는 [실제 성과에 관계없이 '기대 충족' 또는 '적용되지 않음'을 기본 점수로 사용]하고, 서술형 코멘트를 만들어 긍정적인 톤을 유지하거나 부정적인 코멘트를 완전히 생략할 수 있다. 사실, 일부 평가자들은 그들이 poor하다고 판단한 학생이 자신들에게 평가를 요청할 가능성이 없는 경우, 그들은 단순히 거절할 것이라고 추측했다.

The second potential explanation for the high scores was that some assessors were reluctant to consign negative ratings in writing because they wished to avoid doing harm by hurting the learner’s feelings, hindering the learner’s progress in the undergraduate programme, or dampening his or her prospects of matching to a desired specialty. This could lead assessors to use ‘met expectations’ or ‘not applicable’ as a default score regardless of actual performance, and to craft their narrative comments to maintain a positive tone or to omit negative comments altogether. In fact, some assessors conjectured that in the unlikely event that a student they judged as poor would request an assessment from them, they would simply decline.


주행 평가자 행동의 가치
Values driving assessor behaviours

참가자들의 행동을 정당화하면서, 참여자들은 암시적 가치와 윤리적 원칙에 의해 그들의 인지된 행위자성agency을 밝혔다. 위의 발췌문에서 알 수 있듯이, 학생들에게 해를 끼치는 것을 피하는 것은 많은 평가자들에게 중요한 원동력이었다. 몇몇 평가자들에게도 다른 가치들이 작용하고 있었다. 학생들을 돕고자 하는 열망은 평가자들이 학습 지원을 위해 상세한 피드백을 제공하고자 하는 바대로 학생의 요구의 어색함을 없애기 위해 양식을 완성하도록 동기를 부여했습니다. 
In justifying their behaviours, participants revealed their perceived agency, driven by implicit values and ethical principles. As the extract above suggests, avoiding harm to students was an important driver for many assessors. Other values were also at play for several assessors. The desire to help students motivated assessors to offer to complete the form to remove the awkwardness of the student’s asking, as did the wish to provide detailed feedback to support learning: 

전반적으로, 평가자들은 [제도적으로 존재하는 교수 지침]보다 [그들 자신의 가치]에 의해 움직이는 것처럼 보였다.

Overall, assessors appeared to be driven by their own values more than by the institutional norms of faculty instructions. 

고찰

DISCUSSION

의과대학 임상 단계에서 학생들의 일반 역량 개발을 추적하기 위해 종적 WBA를 구현했다. 평가는 실패했다. 연초부터 평가 점수가 매우 높았고 고지plateau에 도달했다. 올바른 도구를 사용하여 올바른 구조를 목표로 하는 성공적인 세로 방향 WBA에 필요한 세 가지 성분 중 몇 가지가 고장일 가능성이 높으며, 국부적으로나 다른 CBME 설정에 중대한 영향을 미칠 수 있습니다. 

• targeting the right construct,
• using the right instrument,
• (using) in the right way 

We implemented a longitudinal WBA to track students’ development of generic competencies during the clinical phase of medical school. The implementation failed: assessment scores were very high from the beginning of the year and reached a plateau. Of the three ingredients required for successful longitudinal WBA – targeting the right construct, using the right instrument, in the right way – several are likely to be at fault, with significant implications locally and for other CBME settings. 

첫 번째 쟁점은 적절한 수준을 목표로 하는 도구를 선택하는 것과 관련이 있다: 일부 평가자들은 양식의 항목이 너무 기본적이어서 모든 학생들이 처음부터 높은 점수를 받을 수밖에 없다고 생각했다. P-MEX에 대한 다른 연구들은 그렇게 높은 점수를 얻지는 못했지만, 24,25는 우리 기관에서 전문성을 가르치려는 지속적이고 실질적인 노력이 결실을 맺었고, 학생 성과 수준과 평가자의 기대치가 모두 높아졌다는 점일 수 있다. 
The first issue relates to selecting an instrument that targets the right level: some assessors felt that the items on the form were simply too basic, such that all students would inevitably score highly from the outset. Although other studies of the P-MEX have not found such high scores,24,25 it may be that sustained and substantial efforts to teach professionalism at our institution26,33 have borne fruit, and that both student performance levels and assessor expectations have increased. 

어떤 기기를 사용하든 평가자는 도구를 적절하게 사용해야 합니다. 우리의 참가자들은 다른 평가관들과 마찬가지로 'failure to fail'했다.30, 34, 35 실제로 그들은 글쓰기에 부정적인 어떤 것도 맡기는 것을 피했다. 몇 가지 신념과 가치관이 이 행동을 주도했다. 

• 첫째, 평가자들은 부정적인 수행능력의 일반성에 대해 불확실했다. 정확한 평가를 제공하는 것에 대한 그들의 우려는 [행동의 실수가 잠재적으로 상황적 요인에 기인하는 것]으로 무시했고, 복수의 관찰로부터 이끌어내도록 이끌었다. 
• 둘째로, 그들은 학생들의 평가 결과로 인한 부정적인 결과들을 경계했다. 해를 끼칠까 봐 두려워하는 것은 새로운 것이 아니다. 그러나, 우리는 이러한 두려움이 일반적인 '역량'의 고정된 성격에 대한 평가자의 믿음에 의해 고조된다고 추측한다. 고정된 속성에 대해 부정적인 피드백을 제공하는 것은 필연적으로 그 사람의 기술보다는 그 사람을 목표로 한다. 
• 게다가, 학습자의 고유한 특성에 대한 부정적인 발견을 보고하는 것은 [더 많은 훈련]을 요구하기 보다는, 평가받은 사람의 [직업에 대한 적합성]에 의문을 제기할 수 있고, 따라서 보고의 부담을 더 증가시킬 수 있다. Burack et al.36은 평가자가 전문성이 고정된 것으로 보는 유사한 경향을 발견하여 부정적인 피드백의 제공을 헛된 것으로 보게 했다. 
  

Regardless of which instrument is used, assessors must use it appropriately. Our participants, like other assessors, ‘failed to fail’.30,34,35 Indeed, they avoided consigning anything negative to writing altogether. Several beliefs and values drove this behaviour.

• Firstly, assessors were uncertain about the generalisability of negative performance. Their concern for providing an accurate assessment led them to draw from multiple observations, disregarding behavioural lapses as potentially attributable to contextual factors.
• Secondly, they were wary of any negative outcomes befalling students as a result of their assessments. This fear of doing harm is not new. However, we speculate that this fear is heightened by assessor beliefs about the fixed (rather than developmental) nature of generic ‘competencies’. Providing negative feedback about a fixed attribute inevitably targets the person rather than his or her skills.
• Furthermore, reporting negative findings about a learner’s inherent traits may cast doubt on that person’s suitability for the profession, rather than calling for more training, thus increasing the stakes of reporting. Burack et al.36 found a similar tendency for assessors to view professionalism as fixed, leading them to viewing the provision of negative feedback as futile. 

평가 설계자만이 목적 달성을 할 수 있는 것은 아니다. 평가자 또한 행위자성agency을 가지고 있으며, 평가자마다 목적의 우선순위가 서로 다를 수 있다. 평가 설계자의 주된 초점은 일반적으로 점수의 유효한 해석에 있으며, 이는 truth telling의 윤리적 원칙과 유사하다. 또한 평가의 잠재적 사용, 특히 공정한 결정(정의 원칙과 일치)과 학습 지원(효익의 원칙과 일치)에 대해서도 우려한다. 
Assessment designers are not alone in being purposeful: assessors also have agency and they may prioritise their purposes differently. Assessment designers’ primary focus is typically on valid interpretation of scores, akin to the ethical principle of truth telling. They are also concerned about the potential uses of assessment, specifically about the making of fair decisions (aligned with the principle of justice), and about supporting learning (aligned with the principle of beneficence). 

진실을 말하는 것, 정의, 이익beneficence보다, 평가자들은 악행금지non-maleficence에 의해 행동했던 것으로 보인다. 다른 연구에서 나온 연구 결과를 반영하는 이 패턴은 그들이 [보살핌을 practice의 핵심으로 하는 건강 전문가]라는 사실로 연결될 수 있습니다. 윤리적 용어로 이러한 연구 결과를 프레임화하는 것은 건강 직업 교육에 널리 퍼져 있는 'failure to fail'에 대한 더 많은 것을 밝히는 데 도움이 될 수 있습니다. 30,34,35 

Non-maleficence – before truth telling, justice and beneficence – appears to have guided their behaviour. This pattern, which echoes findings from other studies,36,42 may be linked to their being health professionals, for whom caring is at the heart of practice.42,43 Framing these findings in ethical terms could be a fruitful way of shedding further light on the pervasive ‘failure to fail’ in health professions education.30,34,35 

[의도를 갖는 행위자]로서 평가자의 개념은 우리가 평가 프로그램을 개념화하고 검증하는 방법에 더 큰 도전을 제기한다. 평가 프로그램은 Dijkstra et al.44(예: 데이터 수집, 기술 지원, 규정, 연구 및 개발)에 의해 기술된 다중 구성 요소에 의해서만 구성되는 것이 아니다. 이러한 여러 구성 요소는 (특히 다양한 프로세스를 담당하는 인적 에이전트는) "상호 작용"한다. 이와 같이, WBA 프로그램은 새롭고 예측할 수 없는 속성을 가진 복잡한 적응 시스템을 나타낸다.1 이러한 시스템 내에서 평가자은 시스템의 어포던스affordances를 탐색하고, 장벽을 우회하여, 윤리적 의제를 enact하기 위해 행위자성을 실천exercise agency한다. 예를 들어, 우리의 평가가 본질적으로 형성적이었지만, 우리의 평가 프로그램 외부에 있는 고도로 경쟁적인 레지던트 매칭 프로세스는 평가자들에게 지시를 무시하고 부정적인 관찰을 전달하는 대체 채널을 찾도록 영향을 주었다. 이는 평가 설계자가 개입을 복잡한 시스템의 작은 부분으로 보고 프로그램에 대한 외부 영향을 고려하며 예기치 않은 영향과 영향을 면밀히 모니터링해야 함을 의미한다. 
The notion of assessors as purposeful agents further challenges how we conceptualise and validate assessment programmes. Assessment programmes are not only constituted by the multiple components described by Dijkstra et al.44 (e.g. data collection, technical support, regulations, research and development). These multiple components, specifically the human agents responsible for the various processes, interact. As such, WBA programmes represent complex adaptive systems that have emergent and unpredictable properties.1 Within these systems, assessors exercise agency to enact their ethical agendas by navigating the affordances of the system and bypassing perceived barriers. For instance, although our assessment was essentially formative, the highly competitive residency matching process, external to our assessment programme, influenced assessors to defy instructions and find alternative channels to communicate negative observations. This implies that assessment designers must see their interventions as small parts of a complex system, consider external influences on their programmes, and monitor closely for unforeseen influences and effects. 

마지막으로, 평가 기관은 평가의 타당성 검사를 위한 흥미로운 과제를 제기한다. 우리의 참가자들은 지침에 저항했습니다. 집행된enacted 평가 시스템과 의도된intended 평가 시스템이 서로 달랐습니다. 그럼에도 불구하고, 그들의 행동은 비록 예상치 못한 경로를 통해 평가의 의도된 목표 중 일부를 충족시킬 수 있게 했다. 학생들은 사실 그들의 일반적인 능력에 대한 피드백을 받았으나 구두로 받았다.

Finally, assessor agency poses an intriguing challenge for assessment validation. Our participants resisted instructions: the enacted and intended assessment systems differed. Nevertheless, their behaviours enabled some of the intended goals of the assessment to be met, albeit through unexpected pathways. Students did in fact receive feedback about their generic competencies, but verbally. 

한계

Limitations


결론 CONCLUSIONS

진행 상황을 감지하지 못한 결과 우리가 선택한 평가 도구와 관련된 문제뿐만 아니라 평가자에게도 문제가 드러났습니다. 실패에 대한 실패는 이전에 문서화되었지만, 우리의 연구 결과는 평가자의 가치, 일반 역량에 대한 그들의 믿음, 평가 행동 사이의 관계를 밝혀냈다. 평가자 값을 이해하고 영향을 미치는 것은 중요하면서도 WBA 구현의 무시된 측면일 수 있다.

Our failure to detect any progress revealed issues linked to the assessment instrument we selected, but also to assessors. Although failure to fail has been documented previously,30,34,35 our findings uncovered relationships between assessors’ values, their beliefs about generic competencies, and their assessment behaviours. Understanding and influencing assessor values may be an important yet hitherto neglected aspect of WBA implementation.

Med Educ. 2018 Dec;52(12):1259-1270.

 doi: 10.1111/medu.13749.

The challenges of detecting progress in generic competencies in the clinical setting

Valérie Dory 1 2, Carlos Gomez-Garibello 1 2, Richard Cruess 1 3, Sylvia Cruess 1 2, Beth-Ann Cummings 1 2 4, Meredith Young 1 2

Affiliations collapse

Affiliations

• 1Centre for Medical Education, Faculty of Medicine, McGill University, Montreal, Quebec, Canada.

• 2Department of Medicine, Faculty of Medicine, McGill University, Montreal, Quebec, Canada.

• 3Department of Surgery, Faculty of Medicine, McGill University, Montreal, Quebec, Canada.

• 4Undergraduate Medical Education, Faculty of Medicine, McGill University, Montreal, Quebec, Canada.

• PMID: 30430619

• DOI: 10.1111/medu.13749

Abstract

Context: Competency-based medical education has spurred the implementation of longitudinal workplace-based assessment (WBA) programmes to track learners' development of competencies. These hinge on the appropriate use of assessment instruments by assessors. This study aimed to validate our assessment programme and specifically to explore whether assessors' beliefs and behaviours rendered the detection of progress possible.

Methods: We implemented a longitudinal WBA programme in the third year of a primarily rotation-based clerkship. The programme used the professionalism mini-evaluation exercise (P-MEX) to detect progress in generic competencies. We used mixed methods: a retrospective psychometric examination of student assessment data in one academic year, and a prospective focus group and interview study of assessors' beliefs and reported behaviours related to the assessment.

Results: We analysed 1662 assessment forms for 186 students. We conducted interviews and focus groups with 21 assessors from different professions and disciplines. Scores were excellent from the outset (3.5-3.7/4), with no meaningful increase across blocks (average overall scores: 3.6 in block 1 versus 3.7 in blocks 2 and 3; F = 8.310, d.f. 2, p < 0.001). The main source of variance was the forms (47%) and only 1% of variance was attributable to students, which led to low generalisability across forms (Eρ2 = 0.18). Assessors reported using multiple observations to produce their assessments and were reluctant to harm students by consigning anything negative to writing. They justified the use of a consistent benchmark across time by citing the basic nature of the form or a belief that the 'competencies' assessed were in fact fixed attributes that were unlikely to change.

Conclusions: Assessors may purposefully deviate from instructions in order to meet their ethical standards of good assessment. Furthermore, generic competencies may be viewed as intrinsic and fixed rather than as learnable. Implementing a longitudinal WBA programme is complex and requires careful consideration of assessors' beliefs and values.

© 2018 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

의학 수련생과 더닝-크루거 효과: 모른다는 것을 모르는 때(J Grad Med Educ. 2020)

Medical Trainees and the Dunning–Kruger Effect: When They Don’t Know What They Don’t Know
Mariam Rahmani, MD

1999년 심리학자인 데이비드 더닝 박사와 저스틴 크루거 박사는 '미숙련과 그것을 알지 못하는 것: 자신의 무능력을 인식하는 것의 어려움이 부풀려진 자기 평가를 초래하는 방법'이라는 제목의 세미나 기사를 썼다. 그들은 대학생들에게 유머, 문법, 논리와 관련된 시험에서 그들의 성과를 추정하도록 요구했던 4가지 실험을 설명했습니다. 그들은 성적이 좋지 않은 학생들이 종종 그들의 성적을 지나치게 과대평가한다는 사실에 놀랐다. 그들은 또한 객관적으로 좋은 성적을 낸 학생들이 종종 주관적으로 그들의 성과를 과소평가한다는 것을 알아챘다. 이 현상은 일반적으로 더닝-크루거 곡선 또는 더닝-크루거 효과로 알려져 있다.

In 1999, psychologists David Dunning, PhD, and Justin Kruger, PhD, wrote a seminal article titled ‘‘Unskilled and Unaware of It: How Difficulties in Recognizing One’s Own Incompetence Lead to Inflated Self-Assessments.’’1 They described 4 experiments in which they asked college students to estimate their performance on tests involving humor, grammar, and logic. They were struck by the finding that students who performed poorly often grossly overestimated their performance. They also noticed that students who objectively performed well often subjectively underestimated their performance. This phenomenon is commonly known as the Dunning– Kruger Curve or the Dunning–Kruger Effect. 

사람들은 많은 사회적 및 지적 영역에서 자신의 능력에 대해 지나치게 호의적인 견해를 가지고 있다. 이러한 과대평가는 부분적으로 이러한 영역에서 미숙련한 사람들이 이중의 부담을 겪기 때문에 발생한다. 이 사람들은 잘못된 결론에 도달하고 불행한 선택을 할 뿐만 아니라, 그들의 무능함은 그것을 실현하는 메타인지 능력을 빼앗는다. 
People hold overly favorable views of their abilities in many social and intellectual domains . . . this overestimation occurs, in part, because people who are unskilled in these domains suffer a dual burden: Not only do these people reach erroneous conclusions and make unfortunate choices, but their incompetence robs them of the metacognitive ability to realize it.1 

그림에는 더닝-크루저 효과의 그래픽 설명이 나와 있습니다. A 지점에서 경험이 부족한 사람들은 종종 자신의 성과에 대해 그릇된 자신감을 갖게 됩니다. 시간과 경험을 통해, 그들은 그들이 그 일의 몇 가지 복잡한 측면을 알지 못했다는 것을 깨닫는다. 이 깨달음은 그들의 신뢰감을 떨어뜨린다. 그들이 그 일에 더 많은 시간을 보낼수록, 그들은 더 많은 경험과 지혜를 얻게 되고, 결국 그들의 얻은 신뢰(점 C)를 얻게 된다. 하지만 처음처럼 자신감이 높지는 않다. 
A graphic depiction of the Dunning–Kruger Effect is shown in the FIGURE. At point A, inexperienced people often have a falsely elevated sense of confidence about their performance. With time and experience, they realize that they had been unaware of some intricate aspects of the job. This realization plunges their confidence (point B). As they continue to spend more time on the job, they acquire more experience and wisdom, ultimately gaining their earned confidence (point C). However, the confidence is never as high as it was at in the beginning. 

역설적으로, 성과가 낮은 개인이 자기 평가에서 정확성을 달성할 때까지, 그들의 성과는 향상되었다. 간단히 말해서, 무능력 영역을 식별하기 위해서는 역량이 필요하다.

Paradoxically, by the time low-performing individuals achieve accuracy in their self-assessments, their performance has improved. In a nutshell, competence is required to identify areas of incompetency.

레지던트 교육 적용 가능성
Applicability to Residency Training

일반외과, 가정의학과, 정신과 등에서 의대생, 인턴, 레지던트 등의 자기평가는 성과에 대한 객관적이고 타당한 척도가 되지 못한다는 연구 결과가 나왔다.5–9 
studies have demonstrated that self-assessments by medical students, interns, and residents in general surgery, family medicine, and psychiatry are invalid measures of their objective performance.5–9 

여러 의학 연구가 더닝-크루저 곡선의 다른 부분을 지원한다. 예를 들어, 1개의 연구에 따르면, 능력이 떨어지는 후대의 의사들은 자신의 효능을 증명된 것보다 더 높게 평가하는 경향이 있었다(점 A).10 
Several medical studies support different portions of the Dunning–Kruger Curve. For example, 1 study found that junior physicians who were less competent tended to self-rate their efficacy higher than it was demonstrated (point A).10 

한 연구에 따르면 성능이 가장 낮은 의사는 성과에 대한 객관적인 피드백을 가장 적게 받아들일 가능성이 있는 것으로 나타났다.12 다른 연구에서 의사는 부정적인 피드백을 정확하거나 유용한 것으로 인식하지 않았으며, 의료 행위를 변경하기 위해 사용할 계획도 없었다.13 
A study showed that the lowest-performing physicians are the least likely to accept objective feedback on their performance.12 In another study, physicians did not perceive negative feedback as accurate or helpful and did not plan to use it to change their practice.13 

연구자들은 또한 더 유능한 주니어 내과의사들이 자신의 효능을 덜 유능한 의사들보다 낮게 평가하는 경향이 있다는 것을 발견했다(점 B). 이것은 특히 여성들에게 해당되었다. 기술을 배우고 연습하는 데 소요되는 시간이 많을수록 객관적인 개선과 관계없이 해당 스킬(점 C)에 대한 자신감도 높아지는 것으로 나타났다.
Researchers have also found that more competent junior physicians tended to self-rate their efficacy lower than less competent ones (point B).10 This was especially true of women.14 It has also been shown that the more the time spent in learning and practicing a skill, the higher one’s self-confidence about those skills (point C), regardless of objective improvement. 

실용적 제안

Practical Suggestions

1. 프로그램 디렉터는 자신의 성과에 대한 훈련생이 예측한 자신감과 인식은 그들의 성과를 과소평가하거나 과대평가하는 훈련생들에게서 모두 실제 성과를 반영하지 못할 수 있다는 것을 알아야 한다.19–21 

1. Program directors should be aware that trainees’ projected self-confidence and perception of their own performance may not reflect their actual performance, both in trainees who underand overvalue their performance.19–21 

2. 프로그램 책임자는, 자기평가보다, 다양한 교수, 동료, 환자 및 직원이 수행한 평가에 더 많은 신뢰를 부여하는 것을 고려해야 한다. 이러한 평가는 자기 평가보다 더 정확할 수 있다. 
2. Rather than self-assessments, program directors should consider giving more credence to assessments completed by a variety of faculty, peers, patients, and staff. These assessments taken together may be more accurate than resident self-assessments alone. 

3. 지나치게 자신만만해 보이는 미숙한 주민을 위한 멘토링 시 여러 출처에서 사실과 피드백을 전달하는 것이 필요하지만, 성과 개선을 이끌어내기에는 미흡한 경우가 많다. 그러한 표준이 충족되지 않을 경우 역량과 잠재적 결과에 대한 명확한 기대치를 설정하는 것이 필요할 수 있다. 
3. When mentoring underperforming residents who appear overconfident, delivering facts and feedback from multiple sources is necessary, but often not sufficient to lead to improvement in performance. Setting clear expectations for measures of competence and potential consequences if those standards are not met may be required. 

4. 자신의 역량에 대해 불안감을 느끼는 전공의를 적절히 멘토링할 때 프로그램 책임자는 자기 의심을 허용하는 것이 성과 향상에 따라 결정되는 단계에서 중요한 단계임을 명심해야 한다. 피상적인 reassurance은 전공의의 개선을 유도하지 않습니다. 전공의는 수행능력을 향상시키고 긍정적인 자아상을 재구축하기 위해 의심과 낮은 자신감을 견뎌야 합니다. 프로그램 디렉터는 레지던트 교육 프로그램의 궁극적인 목표가 되어야 하는 학습 과정을 전공의에게 상기시키고 시간과 끈기로 개선에 대한 희망을 장려할 수 있다.
4. When mentoring adequately performing residents who remain insecure about their competence, program directors should remember that allowing for self-doubt is a critical step in the phase marked by improved performance. Superficial reassurance will not drive a resident to improve—a resident must tolerate periods of doubt and low self-confidence in order to improve performance and rebuild a positive self-image. Program directors can remind residents of the learning process and encourage hope for improvement with time and perseverance, which should be the ultimate goal of any residency training program. 

J Grad Med Educ. 2020 Oct;12(5):532-534.

 doi: 10.4300/JGME-D-20-00134.1.

Medical Trainees and the Dunning-Kruger Effect: When They Don't Know What They Don't Know

Mariam Rahmani

• PMID: 33149817