재교육에서의 감정: 의학교육 문헌의 스코핑 리뷰(MEd Educ, 2021)
Emotion in remediation: A scoping review of the medical education literature
Lynnea M. Mills1 | Christy Boscardin2 | Elizabeth A. Joyce3 | Olle ten Cate4 | Patricia S. O'Sullivan5
1 소개
1 INTRODUCTION
어려움을 겪고 있는 학습자들을 교정하는 것은 의학 교육에 있어 중요한 개입이다. 전문가와 학자들은 재교육 방법에 대한 개선을 요구해 왔으나, 이는 지금까지 큰 변화를 만들어내지는 못했다. 이는 감정과 같이 주소가 낮은 도메인을 탐색하여 교정 조치를 재도약할 수 있는 기회를 나타낸다. 감정은 심리학, 2 신경과학3 및 일반 교육과 같은 분야에서 잘 연구되고 있으며, 특히 교정과 같은 감정 수준이 높은 환경에서 의학 교육을 개선하기 위해 활용할 수 있는 학습에 대한 영향이 잘 설명되어 있다. 그러나 의학교육 재교육 문헌에서 감정이 논의되는 방법은 명확하지 않다. 교정조치의 감정 검토에서 얻은 통찰력은 잠재적으로 교정프로그램을 다시 그려보는re-envision 지침을 제공할 수 있다.
Remediation of struggling learners is a crucial intervention in medical education. Experts and scholars have called for improvement in how remediation is conducted,1 but this has so far not resulted in large-scale change. This represents an opportunity to re-envision remediation by exploring under-addressed domains such as emotion. Emotion is well-studied in fields such as psychology,2 neuroscience3 and general education,4 where it has well-described impacts on learning that could be leveraged to improve medical education, particularly in high-emotion settings like remediation. However, the ways in which emotion is discussed in the medical education remediation literature are unclear. Insights from a review of emotion in remediation can provide guidance potentially to re-envision remediation programmes.
학자들은 의학교육에서의 교정을 '의사가 되기 위한 여정을 시작했다가 진로를 이탈한 수련생들의 교정을 촉진하는 행위'로 정의한다. 의료 학습자는 여러 기술 영역에 걸쳐 어려움을 경험할 수 있고, 어려움을 겪고 있는 학습자는 모든 수준의 의료 훈련 및 실습에 널리 퍼져 있습니다.7 어려움을 겪고 있는 학습자에게 재교육을 하는 것은 환자 안전을 위해 필수적이고, 학습자 입장에서는 고부담 행위이다. 학생의 입장에서 재교육에 실패할 경우, 상당한 재정적 부담과 프로그램에서의 제적될 위험을 겪을 수도 있다.
Scholars define remediation in medical education as ‘the act of facilitating a correction for trainees who started out on the journey toward becoming a physician but have moved off course.’5 Medical learners can experience struggles across skill domains,6 and struggling learners are prevalent at all levels of medical training and practice.7 Remediating struggling learners is imperative for patient safety but is costly for institutions8 and high-stakes for learners, who may also experience significant financial cost8 and risk removal from their programmes if remediation is unsuccessful.
연구자들은 의료 교육에서 교정조치의 여러 측면을 탐구했지만 교정조치는 여전히 개선이 필요한 영역으로 남아 있다. 어려움을 겪고 있는 학습자는 일반적으로 [표준화된 시험, 임상 감독관, 동료 또는 성과 감사]에 의해 제기된 문제를 통해 식별되고, 그 다음 보통은 진행중인 프로그램이나 학업과 동시적으로 이뤄지는 재교육 프로세스에 보내진다. 저자들은 교정조치 프로그램 구현에 대해 조언하고 임상 추론, 커뮤니케이션, 전문성 등을 포함한 특정 학습자 과제에 접근하는 방법에 대한 지침과 함께 점점 더 많은 문헌을 작성했다. 교정조치에 대한 실질적인 접근방식에 대한 문헌이 증가하고 있음에도 불구하고, 효과적인 교정 프로그램을 구현하고자 하는 기관이나 개별 교육자를 위한 잘 수용된 증거 기반 지침은 없으며 교정조치의 리더는 종종 그들의 접근방식의 성공에 대한 확신이 부족하다.16 몇몇 저자들은 더 큰 성공을 달성하기 위해 교육자들이 교정조치를 수행하는 방법에 대한 중요한 재구성 및 재구성을 요구했지만, 변화를 구현하는 방법은 여전히 불분명하다.
Researchers have explored multiple aspects of remediation in medical education, but remediation remains an area in need of improvement. Struggling learners are usually identified via performance on standardised exams or through concerns raised by clinical supervisors, peers or performance audit9; they then are referred for remediation, usually via a process that occurs in parallel with their ongoing work or studies.10 Authors have advised on remediation programme implementation11, 12 and generated a growing body of literature with guidance on methods for approaching specific learner challenges, including clinical reasoning,13 communication,14 professionalism15and more. Despite the increasing literature on practical approaches to remediation, there are no well-accepted, evidence-based guidelines for institutions or individual educators looking to implement effective remediation programmes, and remediation leaders often lack confidence in the success of their approaches.16 Several authors have called for a significant reshaping and reframing of how educators conduct remediation in order to achieve greater success1, 10 but how to implement change remains unclear.
교정조치의 효과가 지속적이지 않을 수 있음을 시사하는 증거는 설명이 필요하다. 한 가지 이유는 개선을 보장하기 위해 종종 공식적 또는 비공식적 재평가를 포함하는 전통적인 교정 접근법이 '퍼포먼스'는 촉진하지만, (지식이나 행동의 안정적인 변화로 정의되는) '학습'은 촉진하지 않기 때문이다. 일부에서는 엄격하게 인지 영역 외부, 특히 마음가짐과 같은 심리학적 실체를 탐색하는 것으로 초점을 확장해야 하며, 그것이 평가와 다른 환경에서 학습을 추진하는 더 나은 방법이라고 주장한다.18 실제로, 학습자의 관점에 초점을 맞춘 교정 문헌의 하위 집합에서 학습자들은 다양한 인지적 접근을 응답했지만, (감정을 포함해서) 그들의 성공을 오로지 인지적인 요인에만 귀인하지 않는다.
Evidence suggesting that the effects of remediation may not be durable17 requires explanation. One reason may be that traditional remediation approaches, which often include a formal or informal reassessment to ensure improvement,5 promote performance but not learning, defined as a stable change in knowledge or behaviour.18 Some argue that expanding our focus outside of strictly cognitive realms, specifically into exploration of psychological entities like mindset, is a better method to drive learning in assessment and other settings.18 Indeed, in the subset of the remediation literature that has focused on learners' perspectives, the learners have varied in their responses to different cognitive approaches but attribute their success to addressing factors that are not solely cognitive, including emotions.19, 20
감정이 교정에서 학습을 개선하는 중요한 자원을 나타낼 수 있지만, 연구자들은 이 환경에서 감정을 광범위하게 탐구하지 않았다. 교정조치에 대한 사전 문헌 검토에서 연구자들은 역량 기반 의료 교육과의 관계, 전문직업성 결여, 환자 안전 우려와 같은 특정 과제를 해결하기 위한 접근방식 등등 재교육에 대한 광범위한 개요를 제시했다. 우리의 검색 작업이 끝난 후 발표된 최근의 현실주의 리뷰는, 교정 효과의 두 가지 중요한 정서 영역인 통찰력과 동기 부여와 구체적으로 어떻게 관련되는지 설명했지만, 기존의 지식 합성은 교정에서 의학 학습자의 감정의 역할에 특별히 초점을 맞추지 않았다.
Although emotion may represent an important resource to improve learning in remediation, researchers have not explored it extensively in this setting. Researchers in prior literature reviews on remediation have presented broad overviews of the remediation landscape,9, 21 including its relationship to competency-based medical education,22 as well as approaches to addressing specific challenges like professionalism lapses23 and patient safety concerns.24 A recent realist review, published after the end of our search window, described how the efficacy of remediation relates specifically to insight and motivation,25 two important affective domains, but existing knowledge syntheses have not focused specifically on the role of medical learners' emotions in remediation.
감정은 의료 활동 및 학습 환경을 포함하여 우리의 생각과 행동에 지속적인 영향을 미칩니다. 거의 틀림없이 미국의 뛰어난 감정 연구자인 리사 펠드만 배럿은, 감정을
- 우리의 내수용적 경험(내적으로 느껴지는, 생리적)의 의미를 만들고,
- 특정한 목표를 달성하는 것을 돕는 행동을 처방하며,
- 그 순간 우리의 몸이 어떻게 신체적으로 반응하는지를 조절하는 것
...으로 특징짓는다. 따라서, 감정은 학습과 작업 중에 능동적이고 수동적으로 취하는 행동을 포함하여, 인지적, 신체적 행동의 세계적 원동력이다. 연구자들은 감정과 인지가 분리될 수 없이 얽혀 있다는 것을 알고 있다. 26년, 감정과 인지가 뇌 속에 따로 존재하는 것으로 보았던 이전의 지배적인 모델과 대조된다. 즉, 의료 종사자와 학습자가 수행하는 모든 인지 처리에 감정이 관여한다는 뜻이다.
Emotion exerts a constant influence on our thoughts and behaviours, including in medical work and learning settings. Lisa Feldman Barrett, arguably the preeminent emotions researcher in the United States, characterises emotions as
- making meaning of our interoceptive (internally felt, physiologic) experiences,
- prescribing action that helps achieve a specific goal, and
- allowing us to regulate how our bodies respond physically in the moment.26
Thus, emotion is a global driver of cognitive and physical actions, including those taken actively and passively during learning and work. Researchers now know that emotion and cognition are inextricably intertwined,26 in contrast to the previously prevailing model that viewed emotion and cognition as housed separately within the brain.26, 27 This means that emotion is involved in all cognitive processing that health care workers and learners undertake.
그것의 지속적인 영향과 함께, 감정은 건강 직업 교육 문헌에서 점점 더 많은 관심을 받고 있다. 웰빙에 관한 기사의 폭발은 정서적 경험이 의료 제공자의 건강과 업무 즐거움에 지속적인 영향을 미친다는 인식을 말해준다. 연구자들은 나쁜 소식을 전달하는 동안 공감을 전달하는 학습과 같이, 인식 부하 모델에서 '내적 부하'의 일부인 학습 과제에 감정을 인식하고 관리하는 학습 활동을 설명한다. 최근에는 특히 인지 기능을 저해하는 스트레스의 역할을 검사하는 등 의료 종사자들의 감정이 업무 수행에 미치는 영향을 보여주는 연구들이 있다. 점점 더 인지도가 높아지고 있음에도 불구하고, 많은 학자들은 감정을 탈-강조de-emphasises하는 잠재 교육과정을 보았을 때, 여전히 의학 교육에서 감성을 부적절하게 고려하고 있다고 주장한다.34, 35
With its ever-present impact, emotion is receiving increasing attention in the health professions education literature. The explosion of articles on well-being28, 29 speaks to awareness that emotional experience has lasting impact on health care providers' health and enjoyment of their work. Researchers describe learning activities in which recognising and managing emotions are inherent or integral to the learning task30—part of the ‘intrinsic load’ in a cognitive load model31—such as learning to convey empathy while delivering bad news. More recently, studies illustrate the impact of health care workers' emotions on their performance, particularly examining the role of stress in hampering cognitive function.32, 33 Despite growing recognition, many scholars argue that we still continue to consider emotion inadequately in medical education, including citing a hidden curriculum that de-emphasises emotion.34, 35
많은 문헌들이 건강 관리 내에서 작업 환경에서 감정의 일반적인 존재에 관심을 기울이지만, 특히 건강 직업에서 주로 이론적인 수준에서 학습 과정에서 감정의 역할을 조사하는 더 작은 문헌들도 있다. 일반교육의 통제가치 이론은 학생들의 학습과제에 대한 동기부여와 참여를 감정을 포함한 다양한 요소와 연관짓고 있으며, 의학 교육에서 제한된 연구에 등장해 왔다. 자기 조절 학습 이론은 의학 교육 문헌에서 인기가 있다. 이 이론은 감정이 메타인지와 동기 부여에 미치는 영향 때문에 학습에서 큰 역할을 한다고 주장한다. 그러나, 학자들은 의학 교육에서 감정 개념을 정의하고 측정하는 데 어려움을 느끼고 있다. 이 영역의 경험적 연구는 어렵다, 왜냐하면 대부분의 연구들이 학습 과제에 integral한 것 보다는 incidental한 감정을 조사하기 때문이다.41 아마도 이러한 도전들 때문에, 감정에 대한 연결은 항상 문헌에 잘 기술되지 않는다, 그리고 전반적인 숫자의 의학 교육에서 감정과 학습에 대한 연구는 작다.
While much literature draws attention to the general presence of emotion in work settings within health care, there is also a smaller body of literature specifically examining the role of emotion in the learning process in health professions, primarily on a theoretical level. The control-value theory from general education relates students' motivation and engagement with learning tasks to various factors, including emotion,36 and has appeared in limited studies in medical education.37 Self-regulated learning theory is popular in the medical education literature38; this theory holds that emotion plays a large role in learning because of its impact on metacognition and motivation. However, scholars have felt stymied in defining and measuring emotion concepts in medical education39, 40; empirical research in this area is difficult, as elicitation of emotions presents ethical challenges, and because most studies investigate emotions that are incidental, rather than integral, to the learning task.41 Perhaps because of these challenges, connections to emotion are not always well-described in the literature, and the overall number of studies on emotion and learning in medical education is small.
다른 학습 상황에서 감정의 영향에 대한 요약은 의학 교육 내에서 조사에 도움이 될 수 있다. McConnell과 Eva는 다른 분야의 [학습에 대한 감정의 영향]에 관한 많은 문헌을 요약하고 의학 교육과의 관련성을 추론했다. 여기에는 감정이 인지 자원(즉, 인지 부하), 학습 전략, 기억, 자기 조절, 흥미 및 동기 부여에 대해 알려진 것이 포함된다. 여기에 더하여, 고등교육에서의 연구에 따르면 [전통적인 학습 환경과 원격 학습 환경에서 감정은 학습과 서로 다른 방식으로 연관]되어 있으며, 과정에 대한 학생들의 감정의 valence가 학습 깊이에 영향을 미친다는 것을 보여주었다. 이 두 가지 모두 의학 교육과 분명한 관련성을 가지고 있다.
A summary of the impact of emotion in other learning contexts may help inform investigations within medical education. McConnell and Eva have summarised much of the literature regarding emotion's impact on learning in other disciplines and extrapolated its relevance to medical education; this includes what is known about how emotion impacts cognitive resources (i.e., cognitive load), learning strategies, memory, self-regulation, interest and motivation.41 Adding to that, work in higher education has shown that emotion relates to students' learning differently in traditional versus remote learning settings42 and that the valence of students' emotions regarding a course affects their depth of learning4; both of these have obvious relevance to medical education.
신경과학 분야에서, 연구자들은 오랫동안 감정은 암호화encoding과 장기 보유에 영향을 미침으로써, 기억에 영향을 미친다는 것을 밝혀냈다.2 그리고 더 최근의 연구는 스트레스와 같은 감성이 학습에 영향을 미치는 특정한 생화학적 경로를 설명하였다.43 신경과학을 교육 혁신으로 전환하는 것에는 함정들이 있다.아마도, 이 번역 과정의 가능성을 검토하는 작업이 점점 더 많아지고 있다. 이러한 발견의 많은 부분을 종합하여, 학자들은 강의실을 위한 지침을 제안했고, 여기에 따르면,
- 신경전달물질에 대한 novelty의 유익한 영향을 고려하면 [다양한 교실루틴을 포함]해야 하며,
- 기억력에 대한 감정적인 개인화의 영향을 고려하면, 학습자들에게 [자기만의 기억술을 만들 것을 요구]해야 한다.
- '아하!' 학습 순간을 촉진하면 신경회로를 바꿀 가능성이 더 높기 때문에 [긍정적인 감정을 고무]시켜야 한다.
이 새로운 작품은 광범위한 학문과 의학 교육의 시행 기회를 제공할 준비가 되어 있다.
In the neuroscience field, researchers have long identified that emotion impacts memory by facilitating encoding and influencing long-term retention,2 and more recent work has elucidated specific biochemical pathways by which emotions like stress impact learning.43 Though there are pitfalls to translating neuroscience to education innovation too rapidly,44, 45 there is a growing body of work examining potential for this translation process.3, 46 Synthesising many of these findings, scholars have proposed guidelines for the classroom; these include
- varying classroom routines because of the beneficial impact of novelty on neurotransmitters,
- asking learners to create their own mnemonics because of the impact of emotional personalisation on memory, and
- encouraging positive emotions because of their greater likelihood to change neural circuitry through facilitation of ‘aha!’ learning moments.47
This novel work is poised to offer extensive opportunities for scholarship and implementation in medical education.
재교육은 학습자에게 높은 감정high-emotion 환경일 가능성이 높지만, 감정에 대한 이러한 중요한 연구가 의학 교육 내 또는 외부의 특정 교정 개입에 통합된 정도는 명확하지 않다. 왜냐하면 교정은 이미 높은 강도의 건강 직업 훈련 위에 고조된 감정을 포함할 가능성이 높기 때문이다. 학자들이 교정 조치에서 감정의 역할을 탐구한 방법을 이해하면 의료 학습자에게 교정 조치를 위한 개입과 학습 성과를 개선할 수 있다. 이 검토에서 우리는 다음과 같은 질문을 조사하는 것을 목표로 했다. 연구자들은 현재 의학 교육의 교정 개입에 관한 문헌의 감정을 어느 정도, 그리고 어떻게 고려하고 있는가?
Though remediation is likely a high-emotion setting for learners, the degree to which any of this important research on emotion has been incorporated into specific remediation interventions in or outside of medical education is unclear. Because emotion is omnipresent in learning settings, and because remediation is likely to involve heightened emotions on top of the already-high-intensity of health professions training, understanding how scholars have explored the role of emotions in remediation can likely lead to improved interventions and improved learning outcomes for remediating medical learners. In this review, we aimed to investigate the question: To what extent, and how, do authors currently consider emotions in the literature on remediation interventions in medical education?
2 방법
2 METHODS
우리는 범위 지정 문헌 리뷰를 수행하기 위해 Arcsey와 O'Malley의 프레임워크를 사용했다.48 우리의 연구 관심사가 범위 지정 방법론을 선택한 두 가지 이유, 즉 '연구 활동의 범위, 특성 및 범위를 조사하기 위해'(교정의 감정에서)와 ' 식별하기 위해'와 '범위 지정 접근법을 선택했다. 기존 문헌의 연구 격차[교정에 대한 감정]
We used Arksey and O'Malley's framework for conducting scoping literature reviews.48 We selected the scoping approach because our research interest aligned well with two of Arksey and O'Malley's reasons for choosing the scoping methodology:
- ‘to examine the extent, nature, and range of research activity’ (on emotion in remediation) and
- ‘to identify research gaps [regarding emotion in remediation] in existing literature.’48
2.1 준비
2.1 Preparation
우리의 첫 단계는 기록에서 감정을 어떻게 확인할 수 있는지 결정하는 것이었다. 우리는 여러 감정 목록을 검토하고 [Pekrun의 성취 감정 모델]을 기반으로 하고 이를 의료 교육 환경에 맞춘 MES(Medical Emotion Scale) 49가 이 검토에 가장 적합한 감정 어휘라고 결정했다. MES는 잘 기술되고 출판된 여러 감정 분류법에서 도출했으며, 이 모집단과 함께 사용하기에 적합한지 확인하기 위해 유효성 테스트를 거쳤다. 이 분류법은 학습자가 의료 훈련과 실습에서 특히 경험할 수 있는 감정 범위를 포착하여 이 검토에 가장 적합하다고 느낀다. 저자들은 기록을 읽기 전에 감정을 나타낼 수 있는 언어에 대한 공통된 이해를 얻기 위해 '부끄러움', '희망 없음', '감사함', '안심'을 포함한 단어 목록을 검토했다.
Our first step was to determine how to identify emotion in the records. We reviewed multiple emotion inventories and determined that the Medical Emotion Scale (MES),49 which builds on Pekrun's Achievement Emotions model and tailors it for the medical education setting, was the best-fit emotion lexicon for this review. The MES drew from multiple well-described, published emotions taxonomies and underwent validity testing to ensure appropriateness for use with this population. This taxonomy captures the range of emotions learners are likely to experience specifically in medical training and practice and therefore felt most applicable to this review. The authors reviewed this list of words, including ‘shame,’ ‘hopelessness,’ ‘gratitude’ and ‘relief,’ to gain a common understanding of language that might signify emotion before reading the records.
2.2 관련 연구의 파악
2.2 Identifying relevant studies
우리는 의료 교육의 교정조치를 설명하는 모든 데이터베이스 목록에 있는 영문 출판물을 식별하는 것을 목표로 했으며, 조기 온라인 출판물을 포함하여 2020년 5월 1일까지 언제든지 출판/보급했다. 연구 사서와 함께 학습자 수준에 걸친 의료 교육의 교정 조치를 목표로 PubMed, CINAHL Complete, ERIC, Web of Science 및 APA PsycInfo 검색을 개발했다. 검색 용어는 관련 없는 기사(예: 환경 독소 교정)는 제외하고 가장 광범위한 관련 출판물을 포함하도록 반복적으로 조정되었다. (전체 검색어는 부록 S1을 참조하십시오.) 우리는 의도적으로 'remediate'라는 단어 또는 그 단어의 형태를 포함하는 기록을 캡처하기 위해 고안된 검색을 만들었습니다. 우리는 집중된 검색을 생성하기 위해 대체 용어(예: '고생하는 의사를 위한 코칭' 및 '문제' 레지던트)를 포함하지 않기로 결정했다. 우리의 많은 기록에는 이러한 용어들이 포함되어 있었고, 'remediate'라는 단어의 형태도 포함되어 있었기 때문에 포착되었다. 최종 검색어에 대한 검색이 여러 번 수행되었으며, 마지막 검색은 2020년 5월 1일에 수행되었다. 추가 관련 기사를 식별하는 방법을 이해하기 위해 다양한 출판 유형에 걸쳐 포함된 10개의 레코드에 대한 전체 참조 목록을 손으로 검색했다. 새로 식별된 제목에 이어 이러한 레코드가 검색 기준을 충족하지 못하므로 검색에 레코드를 추가하지 않았음을 나타냅니다. 이 참조 검색에는 민감도가 제한적이었기 때문에 전체 레코드 집합에 대한 인용 참조 검색을 수행하지 않았다.
We aimed to identify all database-listed English-language publications describing remediation in medical education and published/disseminated any time up to 1 May 2020, including early online publication. With research librarians, we developed PubMed, CINAHL Complete, ERIC, Web of Science and APA PsycInfo searches to target remediation in medical education across learner levels. Search terms were refined iteratively to include the broadest range of relevant publications while excluding irrelevant articles (e.g., remediating environmental toxins). (See Appendix S1 for complete search terms.) We purposely created searches designed to capture records containing the word ‘remediate,’ or a form of that word. We chose not to include alternate terminologies (e.g., ‘coaching for struggling physicians’ and ‘“problem” residents’), in order to generate a focused search. Many of our records did include some of these terms and were captured because they also included a form of the word ‘remediate.’ Searches were performed multiple times with the final search terms, with the last search conducted 1 May 2020. We hand-searched complete reference lists for 10 included records, across a range of publication types, to understand how to identify additional relevant articles. Following newly identified titles indicated that these records did not specifically meet our search criteria and thus did not add records to our search. Because this search of references had limited sensitivity, we did not perform citation reference searching for the full set of records.
2.3 스터디 선택
2.3 Study selection
PubMed에서 검색 기준을 충족하는 모든 레코드는 Covidence(호주 멜본) 소프트웨어로 가져오고 다른 데이터베이스의 중복되지 않은 참조를 손으로 검토하였다. 두 명의 저자(LMM 및 CB)가 각 요약을 포함하기 위해 독립적으로 심사했다. 포함 기준: 범위 지정 방법론을 준수하는 모든 유형의 출판물 또는 학술 작업(경험적 연구, 관점 조각, 책 장 등)
- 의사 교육생 및 의사의 재교육 조치의 전부 또는 일부에 관한 기록 (의과대학 시작부터 의사로서의 경력에서 은퇴할 때까지의 모든 사람으로 정의됨).
- 특정 교정 개입을 언급하거나 이론적 접근방식 또는 개입에 대한 관점을 설명한 기록(기록의 초점이 되었는지 여부에 관계없이)을 포함.
All records meeting search criteria from PubMed were imported into Covidence (Melbourne, Australia) software and non-overlapping references from other databases were reviewed by hand. Two authors (LMM and CB) independently screened each abstract for inclusion. Inclusion criteria entailed: any type of publication or scholarly work (empirical studies, perspectives pieces, book chapters, etc.), in keeping with the scoping methodology;
- records pertaining in whole or in part to remediation of physician trainees and physicians, defined as anyone from the start of medical school up until retirement from a career as a physician; and
- records that mentioned specific remediation interventions or described theoretical approaches or viewpoints on interventions, whether they were the focus of the record or not.
무엇이 '개입'을 구성하는지 결정하기 위해, 우리는 우리의 판단을 사용하여 학습자 '결점'을 개선하기 위한 가능하거나 실제적인 접근법을 설명하는 언어를 포함한 모든 기록을 포함시켰다. 이 단계에서 우리는 또한 추상적인 내용이 없는 모든 기록과 추상적인 내용이 개입 논의에 모호했던 기록도 포함시켰다. 저자들이 기록이 포함 기준을 충족하는지 여부에 대해 동의하지 않은 경우, 우리는 합의에 도달하기 위해 논의했고 포함 측면에서 오류를 범했다.
To determine what constituted an ‘intervention,’ we used our judgement to include any record with language describing a possible or actual approach to improving learner ‘deficits.’ At this stage, we also included all records without abstracts and records where abstracts were vague about discussion of interventions. In cases where authors disagreed about whether a record met inclusion criteria, we discussed to reach consensus and erred on the side of inclusion.
우리는 우리의 검색에 집중하기 위해 의사 교육생과 의사를 위한 재교육과 관련이 없는 기록을 제외했다. 개입에 초점을 맞추고 있었기 때문에 재교육 개입의 다른 측면(예: 어려움을 겪고 있는 학습자의 식별)을 포함하여 재교육 개입이나 전략을 논의하지 않은 기록은 제외했다.
We excluded records not pertaining to remediation for physician trainees and physicians to keep our search focused. We excluded records that did not discuss remediation interventions or strategies, including those on other aspects of remediation (e.g., identification of struggling learners) because we were focused on interventions.
2.4 데이터 추출
2.4 Data extraction
전체 기록은 정성 분석 소프트웨어 Dedoose(미국 Manhattan Beach, CA, USA)에 업로드되었으며, 두 명의 독립 검토자(LMM + EAJ, CB 또는 PSO's)가 각 기록을 읽고 Qualtrics XM 조사 소프트웨어(미국 Provo, UT)를 통해 제공된 양식을 사용하여 데이터 추출을 수행하였다. 우리는 각 기록(예: 국가, 방법론 및 출판물/작업 유형)에 대한 객관적 설명자를 추출했다. 데이터 추출은 기록이 언급한 학습자 감정(예/아니오)에 초점을 맞췄다. 만약 '예'이면, 검토자는 관련 단락('요약')을 강조 표시하고 논의를 설명하였다.
Complete records were uploaded into qualitative analysis software Dedoose (Manhattan Beach, CA, USA) where two independent reviewers (LMM plus EAJ, CB or PSO'S) read each record and performed data extraction using a form delivered through Qualtrics XM survey software (Provo, UT, USA). We extracted objective descriptors for each record (e.g., country, methodology and type of publication/work). Data extraction then focused on whether the record mentioned learner emotion (Yes/No); if yes, the reviewer highlighted the relevant passages (‘excerpts’) and described the discussion.
우리는 동의어 또는 관련 개념뿐만 아니라 MES의 모든 단어를 포함했고 감정에 대한 보다 일반적인 토론(예: '감정 반응')을 포함했다. 두 검토자의 반응을 비교했다. 36개의 기록에서, 검토자들은 감정이 언급되었는지에 대해 동의하지 않았다. 이러한 불일치는 합의된 논의를 통해 해결되었는데, 검토자들이 설명한 감정이 실제로 교정 학습자들에게 해당되지 않는다는 것을 다시 읽는데 동의한 단 한 경우를 제외하고는 모두 긍정(' 언급된 감정')의 편을 잘못 들었다.
We included all words from the MES, as well as synonyms or related concepts, and more general discussion of emotion (e.g., ‘emotional reaction’). Responses of the two reviewers were compared. For 36 of the records, reviewers disagreed about whether emotion was mentioned; these discrepancies were resolved via consensus discussion, erring on side of the affirmative (‘mentioned emotion’) in all but one case,50 where reviewers agreed upon reread that the emotion described did not actually pertain to the remediating learners.
또한 MES의 발췌와 강조된 각 발췌에 대한 전문가의 판단을 사용하여 기록에서 감정 언급의 발췌(긍정, 부정 또는 중립/불명확)에 대해 코딩했다.
We also coded for the valence (positive, negative or neutral/unclear) of the emotion mentions in the records using valences in the MES and our expert judgement for each highlighted excerpt.
2.5 데이터 합성
2.5 Data synthesis
우리는 연구 정보를 특성화하기 위해 기술 데이터를 사용했다(예: 방법론). 교정 개입에 대해 검색된 모든 기록을 기준으로 했습니다. 우리는 기록에서 원자가를 포함한 감정의 존재와 성격에 대한 검토자의 합의된 결정을 수집했다. 우리는 조사 결과를 테마별로 구성한 후 팀 내에서 반복적으로 분석 내용을 논의하고 수정했습니다.
We used descriptive data to characterise study information (e.g., methodology). We based percentages on all records retrieved on remediation interventions. We compiled reviewers' consensus determinations of the presence and nature, including valence, of emotion in the records. We organised the findings into themes and then discussed and modified the analysis iteratively within the team.
2.6 반사율
2.6 Reflexivity
우리는 감정의 복잡하고 주관적인 특성 때문에 반사성이 이 검토에 특히 중요하다고 생각했습니다. 수석 연구원은 임상의이자 교육자로서 소속 기관에서 교정 프로그램을 조정하고 지역 및 국가 차원에서 교정 개발에 대한 교수진 개발을 가르쳤다. 한 저자(EAJ)는 기초과학 분야의 학습자와 함께 일하는 전문지식을 가진 연구자로 재교육과 직접 관련이 없다. 다른 저자들은 모든 수준에서 학습자를 가르친 직접적인 경험을 가진 의학 교육자이며, 연구자로서 감정과 관련된 지식 합성 분석 방법 및 이론(예: 인지 부하 이론)에 대해 폭넓은 관점을 가지고 있지만 현재 교정 프로그램과 함께 작업하지는 않는다. 우리의 상이한 역할은 우리의 접근 방식을 광범위하고 포괄적으로 만드는 데 유익한 관점을 더했을 것입니다. 우리는 또한 감정에 대한 다른 문화적 관점을 제공하는 두 나라(미국, 네덜란드)에서 왔습니다. 우리는 그 과정 내내 수시로 체크인을 하고, 감정의 본질과 '경계'에 대한 여러 가지 논의를 진행하며 사고방식을 안내하는 데 도움을 주었다.
We deemed reflexivity to be particularly important for this review, due to emotion's complex and subjective nature. The principal investigator is a clinician-educator who coordinates remediation programmes at her institution and has taught faculty development on remediation at local and national levels. One author (EAJ) is a researcher with expertise working with learners in the basic sciences and is not involved directly in remediation. The other authors are medical educators with direct experience teaching learners at all levels and, as researchers, have broad perspective on knowledge synthesis analytic methods and theories that relate to emotions (e.g., cognitive load theory) but do not currently work with remediation programmes. Our disparate roles likely added a beneficial perspective in allowing us to be broad and inclusive in our approach. We also come from two different countries (the United States and the Netherlands), offering different cultural perspectives on emotion. We checked in frequently throughout the process and engaged in multiple discussions about the nature and ‘boundaries’ of emotion to help guide our thinking.
3 결과
3 RESULTS
PubMed, CINAHL Complete, ERIC, Web of Science 및 APA PsycInfo 검색은 2020년 5월 1일까지 1644개의 레코드를 충족시켰다. 중복은 제외했고, 나머지 조항은 제목과 추상 차원에서 검토했는데, 포함기준 미달로 855건이 제외됐다. 이 단계에서 포함 기준을 충족하지 못했기 때문에 추가 32개를 제외한 231개 문서를 모두 검토했다(보통 교정조치를 기술하지만 개입은 아님). 이로 인해 전체 데이터 추출을 수행한 전체 검토에 199개의 레코드를 포함하게 되었다(그림 1). 출판일은 1971년부터 2020년까지이다. 199건의 기록 중 상세원래연구가 114건이나 전문가 지침 등 이론적 논의가 더 많이 담긴 부분(56건)이 많았고, 문헌검토, 사설, 편집자에게 보내는 편지 등이 더 적었다. 대부분은 미국 출신이었고, 영국과 캐나다 출신이 더 적었고, 그 후 세계의 다른 지역 출신이 더 적었습니다. 이 기록은 학부 및 대학원 의학 교육에서 동등한 대표성을 가진 모든 학습자 레벨을 포함했다. 기록의 약 3/4에서 교정조치가 단독 또는 주된 초점이었으며, 나머지 기록에서는 다른 교육 주제에 대해 주로 논의하는 기록의 부분적 또는 지엽적 초점이었다. 이 기록에는 지식/시험 응시 및 전문성이 주를 이루지만 다양한 영역의 교정조치가 기술되어 있다. (포함된 모든 기록의 목록은 부록 S2를 참조하고 포함된 기록에 대한 설명 정보는 부록 S3을 참조한다.)
The PubMed, CINAHL Complete, ERIC, Web of Science and APA PsycInfo searches yielded 1644 records meeting criteria through 1 May 2020. Duplicates were excluded, and the remaining articles were reviewed at the title and abstract level, where 855 were excluded for not meeting inclusion criteria. We reviewed 231 articles in full, excluding a further 32 because they did not meet inclusion criteria at this stage (usually for describing remediation but not interventions). This resulted in 199 records to include in the complete review for which we performed full data extraction (Figure 1). Publication dates ranged 1971–2020. Of the 199 records, 114 detailed original research, but a large portion (56) contained more theoretical discussions, such as expert guidelines, and a smaller number were literature reviews, editorials, letters to editors and so on. Most were from the United States, with smaller numbers from the United Kingdom and Canada and then a few each from other regions of the world. The records covered all learner levels, with equal representation from undergraduate and graduate medical education. In about three-quarters of the records, remediation was the sole or primary focus; in the rest, it was a partial or even peripheral focus in a record primarily discussing another education topic. The records described remediation in a range of domains, though predominantly knowledge/test taking and professionalism. (See Appendix S2 for a list of all included records and Appendix S3 for descriptive information for included records.)
포함된 199개의 기록 중 112개는 감정에 대한 일부 언급을 포함했고, 나머지는 교정조치에 대한 개입을 설명했지만 교정조치의 인지적 또는 기타 비친화적 측면에 초점을 맞췄다. (포함된 기록의 표와 그들이 감정에 대해 논의했는지에 대해서는 부록 S2를 참조하십시오.) 우리는 교정 과정에서 감정에 대한 언급이 세 가지 시점으로 떨어진다고 결정했다.
- 첫 번째 시점은 학습자가 교정 전에 정규 과정 또는 실습 중에 경험한 감정,
- 두 번째 시점은 학습자가 교정 조치를 위해 확인 및 참조할 때 경험한 감정,
- 세 번째 시점은 교정 중에 발생한 감정(표 1)입니다.
Of the 199 included records, 112 contained some mention of emotion1, 9-12, 15, 19-21, 51-153; the remainder described remediation interventions but focused solely on cognitive or other non-affective aspects of remediation. (See Appendix S2 for a table of included records and whether they discussed emotion.) We determined that the mentions of emotion fell into three time-points in the remediation process.
- The first time-point identified emotions that learners experienced during their regular coursework or practice prior to remediation;
- the second, emotions learners experienced upon being identified and referred for remediation;
- the third, emotions that occurred during remediation (Table 1).
이렇게 조직화하면, 서로 다른 시점에 학습자의 감정에 대한 저자의 추론이나 가정을 포함하여 문헌에 기술된 내용을 개략적으로 설명했으며, 실제 학습자의 감정은 문서화하지 않았다. 또한 이러한 주제는 교정 학습자가 독특한 감정 경험을 할 수 있다는 점에서 학습자 간의 통일성을 의미하는 것이 아니라 저자가 학습자의 감정을 인식하고 설명하는 방법에 대한 추세를 문서화하기 위한 것이다. 이 분석의 주제와 추론은 아래 선택된 주요 참조에서 지원됩니다.
This organisation outlined what the literature describes, including authors' inferences or assumptions about learners' emotions at different time-points, and did not document actual learner emotions. Additionally, these themes are not meant to imply uniformity across learners, given that remediating learners will have unique emotional experiences, but instead to document trends in how authors notice and describe learner emotions. Themes and inferences from this analysis are supported with selected key references below.
3.1 식별 전 감정(시점 1)
3.1 Emotion before identification (Time-point 1)
일부 기록에서는 학습자가 교정 개입을 시작하기 전에 경험한 감정에 대해 언급하였다. 이 논의는 저자가 언급하거나 암시했던 감정에 초점을 맞추었으며, 이는 성과에 영향을 미치는 '결함'에 기여했다. 199개 레코드 중 25개 레코드(13%)는 이 범주에만 해당하는 언급을 포함했고, 추가로 27개 레코드(14%)는 이 범주에 속하는 토론과 최소한 다른 하나를 포함했다. 이 모든 기사들은 낮은 성과에 기여할 수 있거나 그에 따른 교정과 관련될 수 있는 감정적 요인을 기술했다; 서술자는 '심리사회 스트레스 요인', 58 '감정적 문제', 63 '생리사회 기여자'74 및 '감정적 요인'을 포함했다.59 이러한 기록 중 일부는 연결 유형에 대해 명시적이지 않았지만, 다른 기록들은 재교육 필요성을 감정에 직접적으로 귀속시켰다. (예를 들어, 불안으로 인해 시험 성적이 떨어짐).
Some records mentioned emotions that learners experienced before beginning the remediation intervention; this discussion centred on emotions that the authors stated or implied contributed to ‘deficits’ that impacted performance. Twenty-five of the 199 records (13%) included mentions that fell solely into this category, and an additional 27 (14%) included discussions that fell into this category and at least one other. All these articles described emotional factors that can contribute to or are associated with poor performance and therefore remediation; descriptors included ‘psychosocial stressors,’58 ‘emotional issues,’63 ‘biopsychosocial contributors’74 and ‘affective factors.’59 Although some of these records were not explicit about the type of connection, others directly attributed the need for remediation to the emotion (e.g., anxiety leading to poor performance on exams87, 97).
이 그룹의 감정은 종종 '스트레스'와 '불안'으로 묘사되었다. '불안'이라는 용어가 일반적인 감정인지 특정 정신의학적 진단을 의미하는지는 때때로 불분명하지만, 많은 연구에서 정신 건강 장애(광범위하게 또는 특정 진단과 함께)를 성적 저하의 빈번한 요인으로 명시적으로 언급했다. 다른 사람들은 웰빙을 부르짖으며 종종 과로와 같은 어려움을 학습자의 투쟁의 잠재적인 원인으로 언급한다. 67, 78, 84 이러한 기록들 중 많은 부분에서, 저자들은 학습자를 '진단'하는 중요한 요소가 학문적 투쟁에 대한 정서적 기여자를 이해하는 것이라고 제안하면서, 이러한 요소들을 인식하는 것의 중요성을 개괄적으로 설명했다. 여러 기록에서는 [재교육 노력은 심리학적 평가 또는 외부 정신건강 및 웰빙 자원에 대한 의뢰를 포함할 수 있다]고 명시적으로 언급하였다. 68, 71
Emotions in this group were frequently described as ‘stress’62, 71, 73, 77 and ‘anxiety.’64, 93 While it was sometimes unclear if the term ‘anxiety’ meant a general emotion or a specific psychiatric diagnosis, many articles explicitly mentioned mental health disorders (either broadly or with specific diagnoses) as frequent contributors to poor performance.51, 64, 67 Others invoked well-being, often citing challenges such as burnout as a potential cause of learners' struggles. 67, 78, 84 In many of these records, the authors outlined the importance of recognising these factors, suggesting that an important component of ‘diagnosing’ the learner is understanding emotional contributors to academic struggles. Several records explicitly mentioned that remediation efforts may include psychological assessment or referrals to outside mental health and well-being resources.68, 71
일부 기록에서 이러한 선행 감정의 설명을 언급했지만, 이러한 언급은 모호했고 어떻게 해야 하는지 또는 이것이 학습에 어떤 영향을 미치는지에 대한 명확한 지침을 제공하지 않았다. 예를 들어, 한 논문은 재교육 프로그램에 '감정적 스트레스 요인에 대한 정신 건강 지원'89를 포함해야 한다고 권고했지만, 이를 더 자세히 설명하지는 않았다. 이러한 유형의 높은 수준의 의견은 우리가 검토한 기록에서 흔히 볼 수 있었다. 이 시기의 기록은 실제 학습 과정에 대한 영향보다는, 학습자의 수행(예: 시험)에 대한 감정의 영향에 크게 초점을 맞췄다.
Though some records mentioned accounting for these antecedent emotions, these mentions were vague and did not offer explicit guidance on how to do this or how this affects learning. For example, one paper recommended that remediation programmes should include ‘mental health support for emotional stressors’89 but did not describe this in more detail; this type of high-level comment was common in the records we reviewed. The records in this time-point largely focused on the impact of the emotion on the learners' performance (e.g., exams), rather than the impact on the actual learning process.
3.2 교정조치 식별/연기 시 감정(시점 2)
3.2 Emotion at identification/referral for remediation (Time-point 2)
학습자가 [자신의 성과가 저조하다는 것을 깨닫거나 통지를 받고 교정 요청을 받았을 때] 강한 감정을 느낄 수 있습니다. 18개의 레코드(9%)는 이 시점에만 해당하는 감정 참조를 포함했고, 34개의 레코드(17%)는 이 범주에 속하는 감정 언급과 적어도 한 개의 다른 레코드를 포함했다. 거의 모든 언급은 부정적으로 평가되었고 수치심, 두려움, 좌절과 같은 감정을 포함했다.52 다른 기록에서는 부정적인 감정적 토대를 나타내는 반응이나 행동을 언급하였다. 117 대부분의 경우, 저자는 이러한 감정이 학습자의 재교육 참여 능력에 영향을 미칠 수 있다고 언급하거나 암시하였고, 이러한 감정이 교정 결과에 부정적인 영향을 미칠 수 있음을 나타내는 의견도 있다. 81, 107, 118
Learners likely experience strong emotions when they realise or are notified of their underperformance and are being referred for remediation. Eighteen records (9%) contained emotion references that fell only into this time-point; an additional 34 records (17%) contained emotion mentions that fell into this category and at least one other. Almost all of these mentions were negatively valenced and included such emotions as shame, 110, 123, 126 fear114 and frustration.52 Other records mentioned reactions or behaviours that indicate negative emotional underpinnings: denial107 and defensiveness.117 In most cases, authors stated or implied that these emotions can affect learners' ability to engage with remediation, and some indicated that these emotions can negatively impact remediation outcomes. 81, 107, 118
이 시점에서의 몇몇 기록들은 특히 낙인에 대해 논했다. 오명stigma은 '부끄러움이나 불명예의 표시: 얼룩'으로 정의된다. 낙인은 학습자의 외부에 있지만 감정 조절을 통해 낙인 찍힌 개인에게 정서적으로 상당한 영향을 미칠 수 있어 검토에 낙인을 포함시켰다. 여러 기록에서 학습자가 추가 지원이 필요한 것으로 확인되면 낙인 또는 낙인에 대한 두려움을 경험하거나, 경험할 수 있다고 기술했다. 일부 저자들은 학습자에게 반복 과정을 요구하는 것과 같은 현재의 과정이 낙인에 기여할 수 있는 구체적인 방법에 대해 설명했다. [낙인]은 어려움을 겪는 학습자들이 도움을 구하지 못하게 하고 교정 프로그램의 효과를 제한할 수 있다고 지적된다. 많은 저자들은 [코칭과 도움을 찾는 행동의 정상화]하여, 교정 활동을 탈-낙인화 할 것을 요구한다. 다른 이들은 성과가 낮은 참가자만을 대상으로 하거나 평가에서 제외된 교정 코치를 제공하는 대신 [모든 학습자를 프로그램에 참여]시킬 것을 제안했습니다. 전반적으로, 이러한 주장은 교정과 관련된 오명의 크기와 영향을 줄이기 위해 모든 학습자의 지침 필요성과 성장 가능성에 대한 초점을 높여야 한다.
Several records in this time-point specifically discussed stigma. Stigma is defined as ‘a mark of shame or discredit: stain.’154 Though stigma is external to the learner, it can significantly impact the stigmatised individual emotionally, including via emotion regulation,155, 156 so we included stigma in our review. Multiple records described that learners might or do experience stigma, or fear of stigma, once they are identified as needing extra support. Some authors described specific ways in which current processes, such as requiring learners to repeat courses,19 may contribute to stigmatisation. Authors noted that stigma may prevent struggling learners from seeking assistance84, 105 and may limit remediation programmes' efficacy.116 Many authors called for a normalisation of coaching and help-seeking behaviours to destigmatise engagement in remediation.11, 91 Others suggested inviting all learners to participate in these programmes instead of targeting solely low performers92 or offering remediation coaches who are removed from assessment.83 Overall, these arguments called for increased focus on all learners' need for guidance and potential for growth, in order to reduce the magnitude and effects of stigma associated with remediation.
3.3 교정 중 감정(시점 3)
3.3 Emotion during remediation (Time-point 3)
학습자가 교정조치에 참여함에 따라 교정조치와 관련된 감정을 경험하게 되며, 이는 교정조치에 잠재적으로 활용될 수 있다. 25개(13%)의 레코드가 이 시점에서만 감정을 다루었고, 34개(17%)가 이 시점 및 적어도 한 개의 다른 시점에서의 감정을 논의하여 총 레코드의 약 1/3을 차지했다.
As learners participate in remediation, they experience emotions related to the remediation process, which could potentially be leveraged in remediation design. Twenty-five (13%) records addressed emotion only at this time-point, and 34 (17%) discussed emotion at this and at least one other time-point, totalling roughly one-third of records.
이러한 맥락에서 감정을 기술하는 50개의 레코드는 실제 또는 이론적 교정조치에 대한 특정 접근방식의 이유로 인용했으며, 교정 프로그램 설계에 감정을 의도적으로 통합했음을 나타낼 수 있다. 이러한 기록 중 소수만이 이러한 지원의 결과로 보이거나 예상되는 특정 결과를 포함했지만(예: 학습자가 예상한 스트레스보다 적은 스트레스), '지지'를 명시적으로 포함한 수많은 기록들이 제시되었다. 교정 학습자와 코치 사이의 '신뢰' 목표를 언급한 여러 기록도 있었지만, 보통 이를 달성하기 위한 메커니즘이나 감정이나 학습에 대한 기대 이익을 명시하지는 않았다.
Fifty records describing emotion in this context cited it as a reason for a particular approach to remediation, actual or theoretical, possibly indicating intentional incorporation of emotion into remediation programme design. Numerous records explicitly suggested including (emotional) ‘support,’10, 12, 19, 78, 102, 103, 127, 136, 143, 146, 148, 153 though only a small number of these records included a specific outcome seen or expected as a result of this support (e.g., less stress than learners expected139). There were also several records referencing a goal of ‘trust’ between remediating learner and coach,11, 124, 125, 130, 144 though they did not usually specify the mechanism to achieve this or the expected benefit for emotion or learning.
몇몇 기록에서는 교정 중에 사후 대응이 학습자에게 영향을 미쳤다는 것을 인지한 상세한 감정을 기록한다. 일부 기록에서는 교정 프로그램에 대한 학습자의 관점에 대한 설문조사를 기술하여 과정 중 학습자의 감정을 드러내기도 한다. 여기에는 다음이 포함된다.
- 프로세스의 긍정적인 측면에 대한 학습자의 놀라움.
- 촉진자의 '긍정적 분위기'를 학습자가 필요로함
- 더 큰 공감을 포함한 학습자의 향상된 '태도'
Several records detailed emotions that authors realised post hoc had affected learners during remediation. Some records described surveys of learners' perspectives on remediation programmes, revealing learners' emotions during the process. These included
- learners' surprise at positive aspects of the process138;
- learners' need for ‘positive mood’ in their facilitators130; and
- learners' improved ‘attitudes,’ including greater empathy.157
발췌한 모든 구절을 분석한 결과 감정에 대한 언급은 대부분 부정적으로 억제된 것으로 나타났다. 발췌한 원자가 코드의 73%는 부정적이고 12%는 긍정적이며 15%는 중립적이거나 불분명했다. 단지 27개의 기록(14%)만이 긍정적인 감정을 담고 있었다. 대부분의 긍정적인 언급은 타임 포인트 3에서 일어났다.
Our analysis of all excerpted passages indicated most mentions of emotion were negatively valenced. Seventy-three percent of excerpt valence codes were negative, 12% were positive, and 15% were neutral or unclear. Only 27 records (14%) contained any positive emotion mentions. Most positive mentions occurred at Time-point 3.
4 논의
4 DISCUSSION
의학 교육의 교정조치 개입에 관한 간행물 중 절반 이상이 감정을 명시적으로 설명했으며, 교정조치 과정 자체에서 발생하는 감정을 기술했으며, 프로그램 설계에 감정을 의도적으로 통합하는 부분을 약간 설명했다. 대부분의 연구자들은 정규 과정이나 실습(시점 1) 또는 교정을 위한 식별 및 참고(시점 2) 중에 학습자에게 발생하는 감정을 [주로 부정적]으로 설명했다. 교정 중 발생하는 감정(시점 3)은 [긍정적으로 valenced된 감정]을 포함하며, 이 시점은 교정 실천을 개선하기 위해 감정을 통합할 수 있는 잠재력을 제공한다. 타임 포인트 3의 이러한 감정 기록 중 일부는 저자들이 교정 후에야 감정을 인식했음을 나타내지만, 몇몇은 의도적으로 감정을 통합했다. 이러한 통합은 주로 학습자에게 지지적이고 신뢰할 수 있는 코칭 관계를 제공하는 데 초점을 맞췄으며, 이러한 유형의 관계가 학습자의 성장을 향상시킨다는 것을 명시적으로 또는 암묵적으로 나타냅니다.
Among publications on remediation interventions in medical education, a little over half described emotion explicitly, and about one-third described emotion occurring during the remediation process itself, with a small portion outlining intentional incorporation of emotion into programme design. Most researchers described emotions, predominantly negative, that occurred for learners during their regular coursework or practice (Time-point 1) or at identification and referral for remediation (Time-point 2). A smaller number described emotion occurring during remediation (Time-point 3), some including positively valenced emotions; this time-point offers potential for incorporation of emotion to improve remediation practices. Whereas some of these records of emotion at Time-point 3 indicated the authors recognised emotion only after remediation, several did intentionally incorporate emotion.
이러한 발견들은 학문과 실습을 위한 중요한 다음 단계를 제공한다.
- 첫째, 이러한 기록의 대부분은 재교육 조치의 이러한 측면을 구체적으로 검토하도록 설계되지 않았기 때문에, 이러한 기록들은 학습자의 감정 교정과 성공에 영향을 미치는 구체적인 방법을 조사하는 새로운 경험적 연구에 중요한 의제를 제공한다.
- 둘째, 재교육 리더의 즉각적인 다음 단계는 코치와 학습자 간의 신뢰 관계에 명시적으로 집중하는 것입니다. 여기에는 이 작업에 대한 코치를 모집할 때 관계 형성의 목표를 구체적으로 파악하는 것은 물론, 학습 개선을 위해 이러한 관계를 조성하고 유지하기 위한 교수진 개발과 코치에 대한 지원을 제공하는 것이 포함될 수 있습니다157.
후속 연구가 특정 과제를 해결하기 위한 목표 전략과 비교하여 관계에 대한 이 광범위한 초점의 상대적 영향을 설명하는 데 도움이 될 수 있다.
These incorporations focused primarily on providing supportive and trusting coaching relationships for learners, explicitly or implicitly indicating that this type of relationship improves learners' growth. These findings offer important next steps for scholarship and practice.
- First, because most of these records were not designed to examine this aspect of remediation specifically, they provide an important agenda for new empirical studies examining the specific ways in which the relationship impacts remediating learners' emotions and success.
- Second, they suggest that one immediate next step for remediation leaders is to focus explicitly on this trusting relationship between coach and learner. This could include specifically identifying a goal of relationship formation when recruiting coaches for this work, as well as providing faculty development and support for coaches around cultivating and sustaining this relationship157 in order to improve learning.
Further work can help elucidate the relative impact of this broad focus on relationship compared with targeted strategies for remediating specific challenges.
감정을 언급한 기록에서, [감정과 학습의 관계]는 일반적으로 불분명했다. 지지 관계에 초점을 맞춰 감정을 고려하는 데 목적을 둔 타임 포인트 3의 레코드 하위 집합 중, 학습자 웰빙과 같은 측면과 달리, [서포트를 학습 과정 자체에 연결하는 메커니즘]은 명확하지 않았다. (기록상으로는 분명하지 않았지만) [낙인]에 대한 논의는 학습보다는 웰빙과 관련이 있을 수 있다. 우리가 검토한 다른 기록들은 퍼포먼스에 대한 감정의 영향(예: 시험 불안)에 대해 논의하였다. [퍼포먼스]와 [학습learning]에는 중첩되는 영역이 있지만, 이 기록들은 [학습자가 기술을 사용하거나 시연하는 방법]에 대해 논의하는데, 이것은 [기술을 학습하는 것]과는 다른 개념이다.
In the records that mentioned emotion, the relationship between emotion and learning was generally unclear. Of the subset of records from Time-point 3 that were purposeful in considering emotion, focusing on supportive relationships, none was clear in a mechanism linking that support to a benefit to the learning process itself, as opposed to an aspect like learner well-being. The discussions of stigma may also have related to well-being, rather than learning; this was not clear in the records. Other records we reviewed discussed the impact of emotion on performance (e.g., test anxiety); though performance and learning overlap, these records discuss ways that learners use or demonstrate their skills, which is a different concept from learning the skills.
연구자들은 학습 개선을 위해 감정이 활용될 수 있는 방법에 대해 거의 설명하지 않았다. 이 발견은 감정과 인식을 별개의 과정으로 유지했던 이전 모델을 강화할 수 있다. 마치 인지cognition이 학습과 더 관련이 있다고 보는 것이다. 이 결과는 또한 [감정이 학습자의 학습에 어떻게 영향을 미치는지에 대한 강력하고 명확한 증거]로부터 의학교육 개입도 이익을 얻을 수 있음을 시사하기 때문에 (감정이 성능, 웰빙 및 기타 영역에 미치는 영향에 대한 기존 연구 외에) 향후 연구가 나아가야 할 방향에 대한 중요한 시사점을 가지고 있다.
Researchers rarely described ways emotions can be leveraged to improve learning. This finding may reinforce the prior model that held emotion and cognition as discrete processes, with cognition more relevant to learning. This result also has important implications for future research, as it suggests that medical education interventions could benefit from robust and clear evidence on how emotion impacts learners' learning, in addition to previously studied impacts on performance, well-being and other domains.
[감정의 조사]는 우리가 검토한 기록들에 대해 명확하게 명시된 목표가 아니었기 때문에, 일부 교육자들은 출판물에 기록되지 않은 방식으로 감정을 고려했을 수도 있다. 그럼에도 불구하고, 문헌에서 감정에 대한 강조가 상대적으로 적다는 것은 [재교육 프로그램 설계에서 감정에 대한 명시적 관심이 gap일 수 있음]을 시사한다. 시점 1과 시점 2의 감정 언급 수가 3에 비해 많다는 것은 [연구자들의 감정에 대한 인식(=감정을 문제의 원인 또는 재교육 refer와 관련된 문제로 봄)]이 [교정 프로그램 설계에 감정의 의도적 포함]과는 부합하지 않음을 나타낸다. 많은 작가들이 고군분투하는 학습자들이 경험하는 감정들을 자주 인식하고 있음에도 불구하고, [재교육 실무에 감정을 통합하는 것]의 중요성 또는 실질적인 지침에 대해서는 아직 적절한 관심이 없다.
Because an investigation of emotion was not an explicitly stated goal for any of the records we reviewed, some educators may consider emotion in ways not documented in their publications; still, the relatively small emphasis on emotion in this body of literature suggests that explicit attention to emotion in remediation programme design may be a gap. The greater number of emotion mentions at Time-points 1 and 2, compared with 3, indicates that the authors' awareness of emotion (as a cause of challenges or related to being referred for remediation) is not matched by a purposeful inclusion of emotion into the design of remediation programmes. Despite the fact that many authors frequently recognised emotions that struggling learners experience, there is not yet commensurate attention on the importance of, or practical guidance for, incorporating emotions into remediation practice.
우리의 연구 결과는 교정조치 리더가 왜 이러한 논의에 감정을 반영하지 않을 수 있는지에 대한 몇 가지 잠재적인 이유를 제시하는데, 첫 번째는 [인식 부족]이다. 검토된 기록 중 거의 절반은 재교육 개입을 기술했지만, 감정을 언급하지 않았다. 이것은 어떤 교육자들의 마음 속에는 '감정'이 전혀 고려대상이 아니었음을 나타낼지도 모른다. 대부분의 기록은 학습자 과제를 대상으로 하는 [정서적 접근법]보다는 구체적인 [인지적 전략(예: 임상 추론 프레임워크와 질문 뱅크)]에 초점을 맞췄다. 이것은 [감정을 강조하지 않는 의학교육 모델]을 강화시킬 수 있고, [인지와 감정을 별개의 과정]으로 보는 기존 모델에 뿌리둔 것일수 있다
Our findings suggest several potential reasons for why remediation leaders may not incorporate emotion in these discussions, the first being a lack of awareness. Nearly half of our reviewed records described remediation interventions and did not mention emotion; this may indicate that emotion simply is not on some educators' minds. Most records focused on specific cognitive strategies (e.g., clinical reasoning frameworks and question banks) rather than affective approaches for targeting learner challenges. This may reinforce the medical education model that does not emphasise emotion34 and may again be rooted in the prior model that viewed cognition and emotion as separate processes.
교정 프로그램에 대한 문헌에서 감정이 잘 설명되지 않는 또 다른 이유는, [정신 건강과의 관계에 대한 인식]때문일 수 있다. 일부 기록에서는 [감정과 정신건강을 동일시]하고, [감정과 관련된 문제에 대해 정신건강자원에 의뢰]할 것을 권고했다. 한 기관은 교육기관이 학습자를 웰니스 프로그램에 추천한 것을 '감정적 지원과 엄격하고 명확한 기대'를 제공하는 이전에 발표된 모범 사례를 충족한다는 증거로 들었다. 정신 건강 문제에 대한 스크리닝과 학습자를 외부 자원에 언급하는 수많은 기록에서 알 수 있듯이, 의학교육자들은 [낮은 성과와 관련된 감정은 반드시 비정상적]이며 따라서 그들의 범위 밖에 있다고 가정하고 있을지도 모른다.
Another reason that emotion is not well-described in literature on remediation programmes may be its perceived relationship to mental health. Some records lumped emotion and mental health60 and recommended referral to mental health resources for issues related to emotion.71 One cited institutions' referral of learners to wellness programmes as evidence of meeting the previously published best practice of providing ‘emotional support and rigorous, clear expectations.’78 Medical educators may assume that emotions related to underperformance are necessarily abnormal and therefore outside their purview, as illustrated by the numerous records that mention screening for mental health issues and referring learners to outside resources.
교정 문헌에서 감정에 대한 강조가 상대적으로 적은 세 번째 가능한 이유는 교육자들이 감정의 영향을 인식하지만 어떻게 설명해야 할지 확신할 수 없기 때문이다. 현재 의학 교육 문헌에는 교육자들에게 그들의 공부나 프로그램에 감정을 통합하는 방법에 대해 명시적으로 안내할 수 있는 것이 거의 없다. 예를 들어, 심리학 연구에서, 학습자들에게 스트레스를 긍정적인 관점으로 보는enhacing rather than debilitating '스트레스 마인드'를 재구성하도록 가르치는 것은 스트레스의 양과 무관한 결과에 상당한 영향을 미친다. 이는 교정 전략이 스트레스 감소에만 초점을 맞추기보다는 학습자의 사고방식을 바꾸는 연습도 포함한다면 성공할 가능성이 높다는 것을 의미한다.
A third possible reason for the relatively small emphasis on emotion in the remediation literature is that educators may recognise the impact of emotion but feel unsure how to account for it; there is currently little in the medical education literature that can explicitly guide educators on how to incorporate emotion into their studies or programmes, though disciplines outside health professions may offer insights on initial directions for this work. For example, in psychology studies, teaching learners to reframe their ‘stress mindsets,’ seeing stress as enhancing rather than debilitating, has a significant effect on outcomes that is independent of the amount of stress.158 This implies that remediation strategies are more likely to succeed if they also include exercises to shift learners' mindsets, rather than solely focusing on reducing stress.
다른 연구에서는 행동 신경과학 환경에서 [의도적으로 정서적 각성을 생성하는 것]은, [순간적 주의에 대한 영향]보다, 장기 보유를 증가시킴으로써 학습에 영향을 미칠 수 있으며, 이는 유지 문제가 있는 학습자에게 목적적 정서 각성을 포함시킴으로써 교정 환경에서 활용될 수 있다. 수학 교육의 연구는 시험에서 '초크choke'를 하는 학생들이 과제의 각 세부 사항(명시적 모니터링 이론에서 설명됨)에 지나치게 집중하기 보다는, 그들의 감정과 환경에 의한 산만 때문에 그렇게 할 가능성이 더 높음을 보여주며, 감정을 생산적으로 관리하기 위한 기술을 가르치는 것을 제안한다. 이는 표준화된 시험에서 고군분투하는 의학 학습자들을 돕기 위한 핵심 단계일 가능성이 높다. 이러한 연구는 의료 교육이 감정을 인식하고 이를 교정 조치를 포함한 교육 전략에 통합하는 방법을 조사하고 보다 명시적으로 가르칠 수 있는 중요한 요구를 제공한다.
In other studies, purposely creating emotional arousal in behavioural neurosciences settings can affect learning by increasing long-term retention more than affecting in-the-moment attention (two debated theories),159 which could be leveraged in remediation settings by including purposeful emotional arousal with learners with retention problems. Work in mathematics education shows that students who ‘choke’ on tests are more likely to do so because of distraction by their emotions and environment (described in cognitive load theory) than being hyperfocused on each detail of the task (described in explicit monitoring theory),160 suggesting that teaching skills for managing emotion productively is likely a key step in helping medical learners struggling on standardised tests. Taken together, these studies provide an important call for medical education to investigate and more explicitly teach ways to acknowledge emotions and incorporate them into education strategies, including in remediation.
우리는 또한 교정 문헌이 긍정적으로 평가된 감정을 언급한 기록은 거의 없이, [부정적인 감정에 의해 지배된다는 점에] 주목했다. 학습자는 다르고 다양한 감정을 경험할 가능성이 높지만, 자기 효능감이 낮은 일부 학습자는 코칭의 기회에 희망, 안도, 감사를 느끼는 경우가 많고, 교정 학습자는 향상되면 자부심을 느끼는 경우가 많은 것으로 추정되지만, 이러한 내용은 기록에서 자주 언급되지 않았다. 또한 긍정적인 감정이 주로 사후post hoc에 인식된다는 사실(예: 학습자가 자신이 얼마나 지지를 받았는지에 대해 놀라움을 느끼는 것)은 교육자가 교정 과정과 관련될 긍정적인 감정을 예상하지 못할 수 있음을 나타냅니다.
We also noted that the remediation literature is dominated by negative emotions, with few records mentioning positively valenced emotions. While learners are different and likely experience varied emotions, we suspect some learners with low self-efficacy often feel hope, relief and gratitude at the opportunity for coaching, and many remediating learners feel pride when they improve, but these were infrequently mentioned in the records. Furthermore, the fact that positive emotions were primarily recognised post hoc (e.g., learners feeling surprised by how supported they felt) indicates that educators may not anticipate positive emotions that will come to bear on the remediation process.
긍정적인 감정을 강조하면 개방성을 촉진하여 학습이 강화되고, 학생들이 내용에 더 깊이 참여할 수 있으며, 동기 부여가 향상되는 것으로 알려져 있는데, 이 모든 것들은 더 큰 의학교육 문헌에 통합되었으며, 재교육의 부담이더 높기 때문에 재교육 setting과 특별한 관련이 있을 가능성이 있다. 학습에 있어 감정가emotion valence에 대한 이러한 연구는, 교정 개입을 설계하는 교육자들에게 부정적인 감정의 영향을 여전히 인식하면서, 긍정적인 감정에 대한 특정 관심을 찾고 끌 수 있는 중요한 교훈을 제공한다.
Emphasising positive emotions is known to enhance learning by facilitating open-mindedness,161 enabling students to engage more deeply with content4 and improving motivation,162 all of which have been synthesised in the larger medical education literature163 and which likely have particular relevance to remediation settings because of their higher stakes. These studies on emotion valence in learning offer an important lesson for educators designing remediation interventions to seek out and draw specific attention to positively valenced emotions, while still recognising the impact of the negative emotions, then harness their power to improve learning.
우리의 연구는 여러 가지 한계를 가지고 있습니다.
- 첫째, 교정 또는 교정 학습자(예: '문제 학습자' 및 '어려운 학습자')를 설명할 수 있는 수많은 대안적 방법이 있으며, 우리는 의도적으로 'remediation'이라는 용어(또는 '치료'와 같은 동일한 뿌리를 공유하는 단어)를 사용하여 기록에 좁게 검색을 집중하도록 설계했다. 이는 사서들과 함께 이러한 대체 용어를 포함할 수 있는 검색 기준을 설계할 때 관련 없는 기록도 다수 포착했기 때문이다. 이러한 좁힘은 '수정'이라는 용어가 포함되지 않았다면 이 논의에서 중요한 관점을 나타내는 참고 문헌을 제외했을 수 있다.
- 둘째, 우리는 모든 기록의 이중적인 검토와 광범위한 포괄성을 통해 주관성을 완화하려고 시도했지만, 우리 자신의 편견이 이러한 기록을 보는 방식에 영향을 미쳤으며, 다른 사람들은 다른 결정을 내렸을 수 있다.
- 셋째, 우리는 감정에 대한 명시적인 언급을 찾았고, 따라서 자기 조절 학습에 대한 일부 기록과 같이 감정이 암묵적인 기록을 강조하지 않았다.
- 넷째, 검토 범위 지정에서 흔히 볼 수 있듯이 검토된 기록의 이질성으로 인해 개별 기록에 대한 비판적 평가를 실시하지 않았고, 저자가 학습자에게 감정을 귀속시킨 정확성에 대해서도 언급할 수 없다.
- 다섯째, 검토 범위 지정 방법론의 일반적인 한계는 여기에 적용된다: 검토가 반드시 광범위하고 특정 질문에 답하지 않으며 오히려 향후 연구를 안내하는 데 도움이 될 수 있는 보다 일반적인 '토지 배치'를 제공한다.
- 여섯째, 일부 지침48은 검토 범위 지정의 발견을 확인하기 위해 선택적 전문가 상담을 제안하는데, 이 검토에서는 하지 않았지만 교정에서 감정을 연구하는 데 중요한 추가 단계를 나타낼 수 있다.
- 일곱째, 우리는 등록된 검토 프로토콜을 사용하지 않았다. 일반적으로 검토 범위 지정에 사용되고 검토 범위 지정의 반복적이고 반사적인 과정을 방해하지만, 165 등록 프로토콜은 중복 작업을 피하고 투명성을 개선하는 데 도움이 될 수 있다.
- 마지막으로, 감정 외에도 수많은 정서적 요인이 있다.학습에 영향을 미치는 동기 및 통찰력으로서, 이러한 것들은 본 검토의 범위를 벗어나 있지만 교정 중 학습을 개선하기 위한 추가 연구 영역을 제공하며 교정 중 자기 조절 학습 및 통제 가치 이론과 관련된 진행 중인 작업에 특별한 적용 가능성을 가질 수 있다.
Our study has multiple limitations.
- First, there are numerous alternative ways to describe remediation or remediating learners (e.g., ‘problem learner’ and ‘learner in difficulty’), and we purposely designed our searches to be narrowly focused on records specifically using the term ‘remediation’ (or words sharing the same root, such as ‘remedial’). This is because, when working with our librarians to design search criteria that could encompass these alternate terms, we also captured a multitude of irrelevant records; this narrowing may have excluded references that represent important viewpoints in this discussion if they did not also include the term ‘remediation.’
- Second, though we attempted to mitigate subjectivity through double review of all records and broad inclusivity, our own biases impacted how we viewed these records, and others may have made different determinations.
- Third, we looked for explicit mentions of emotion and therefore did not highlight records where emotion was implicit, such as some records on self-regulated learning. Fourth, as is common with scoping reviews,164 and as a result of the heterogeneity of our reviewed records, we did not conduct critical appraisal of individual records and also cannot comment on the accuracy with which authors attributed emotions to learners.
- Fifth, general limitations to the scoping review methodology apply here: the review is necessarily broad and does not answer a specific question but rather gives a more general ‘lay of the land,’ which may help guide future research.
- Sixth, some guidelines48 suggest optional expert consultation to check the findings of scoping reviews, which we did not do in this review but could represent an important further step in studying emotion in remediation.
- Seventh, we did not use a registered review protocol; though uncommonly used for scoping reviews164 and arguably impeding the scoping review's iterative and reflective process,165 registered protocols may be helpful in avoiding duplicative work and improving transparency.165
- Finally, there are numerous affective factors in addition to emotion, such as motivation and insight, that affect learning; these were outside the scope of this review but offer further areas for study to improve learning during remediation and may have particular applicability in ongoing work related to self-regulated learning and control-value theory in remediation.
5 결론
5 CONCLUSIONS
재교육은 의학교육에서 중요한 프로세스이며, 여전히 개선의 여지가 있다. 교정조정을 개선하는 한 가지 방법은 감정을 보다 명확하게 통합하는 것일 수 있다. 정서는 교정 논의를 포함하여 의학 교육 문헌에서 점점 더 논의되고 있다. 그러나 본 연구는 학습자를 교정하는 감정에 대한 인식이 교정 프로그램 설계의 감정 설명과 일치하지 않는다는 것을 뒷받침한다. 이는 중요한 격차를 나타내며, 학습이 인지 영역에 속하는 상황에서 감정과 인지 영역을 별개의 영역으로 보는 선행 모델의 지속성을 나타낼 수 있다. 우리의 연구는 재교육이라는 고부담의 환경에서 감정이 학습자에게 어떤 영향을 미치는지에 대한 추가 연구를 요구하며, 잠재적인 개입 영역을 제시한다. 여기에는 지지적 재교육 코칭 관계를 강조하고, 대체로 부정적으로 여겨지는 학습 환경에서 발생할 수 있는 [긍정적인 정서]에 더 많은 관심을 기울이는 것을 포함한다.
Remediation is an important process in medical education, with room for improvement; one way to improve remediation may be through more explicit incorporation of emotion. Emotion is increasingly discussed in the medical education literature, including in discussions of remediation. However, our study supports that the awareness of emotions of remediating learners is not matched with an emphasis on accounting for emotion in the design of remediation programmes. This represents an important gap and may be indicative of the persistence of a prior model that views emotion and cognition as discrete domains, with learning falling under the realm of cognition. Our work serves as a call for further research on how emotion impacts learners in the high-stakes setting of remediation and suggests potential areas for intervention, including emphasis on supportive remediation coaching relationships and greater attention to possible positive emotions in what is largely viewed as a negatively valenced learning setting.
Emotion in remediation: A scoping review of the medical education literature
PMID: 34355413
DOI: 10.1111/medu.14605
Abstract
Objectives: Remediation can be crucial and high stakes for medical learners, and experts agree it is often not optimally conducted. Research from other fields indicates that explicit incorporation of emotion improves education because of emotion's documented impacts on learning. Because this could present an important opportunity for improving remediation, we aimed to investigate how the literature on remediation interventions in medical education discusses emotion.
Methods: The authors used Arksey and O'Malley's framework to conduct a scoping literature review of records describing remediation interventions in medical education, using PubMed, CINAHL Complete, ERIC, Web of Science and APA PsycInfo databases, including all English-language publications through 1 May 2020 meeting search criteria. They included publications discussing remediation interventions either empirically or theoretically, pertaining to physicians or physician trainees of any level. Two independent reviewers used a standardised data extraction form to report descriptive information; they reviewed included records for the presence of mentions of emotion, described the mentions and analysed results thematically.
Results: Of 1644 records, 199 met inclusion criteria and were reviewed in full. Of those, 112 (56%) mentioned emotion in some way; others focused solely on cognitive aspects of remediation. The mentions of emotion fell into three themes based on when the emotion was cited as present: during regular coursework or practice, upon referral for remediation and during remediation. One-quarter of records (50) indicated potential intentional incorporation of emotion into remediation programme design, but they were non-specific as to how emotions related to the learning process itself.
Conclusion: Even though emotion is omnipresent in remediation, medical educators frequently do not factor emotion into the design of remediation approaches and rarely explicitly utilise emotion to improve the learning process. Applications from other fields may help medical educators leverage emotion to improve learning in remediation, including strategies to frame and design remediation.
© 2021 Association for the Study of Medical Education and John Wiley & Sons Ltd.
'Articles (Medical Education) > 교수법 (소그룹, TBL, PBL 등)' 카테고리의 다른 글
임상교수자가 고군분투하는 학습자를 도울 방법이 있는가? 문헌의 체계적 통합(Adv Med Educ Pract. 2017) (0) | 2022.03.08 |
---|---|
재교육의 학습환경: 리뷰 (Clin Teach. 2018) (0) | 2022.03.08 |
의과대학에서 의사에 이르기까지 부족한 영역의 재교육: 문헌의 주제 검토(Acad Med, 2009) (0) | 2022.03.04 |
비판적 리뷰: 의과대학생의 유급 이후 동기부여(Adv in Health Sci Educ, 2016) (0) | 2022.03.04 |
고르디우스의 매듭 풀기: 의과대학에서 재교육이 필요한 재교육 문제(BMC Med Educ, 2018) (0) | 2022.03.04 |