임상환경에서 자기조절학습: 체계적 문헌고찰(Med Educ, 2018)

Self-regulated learning in the clinical context: a systematic review

Maaike A van Houten-Schat,1,2 Joris J Berkhout,3 Nynke van Dijk,4 Maaike D Endedijk,5 A Debbie C Jaarsma2 & Agnes D Diemers1

도입

INTRODUCTION

의학의 빠른 발전 속도 때문에, 의대생들과 레지던트들이 의사로서 평생 학습을 수행하는 방법을 배우는 것이 중요하다. 의대생과 레지던트의 평생 직업적 발전을 위한 한 가지 중요한 전략은 자기조절학습SRL이다.

Because of the rapid pace of developments in medical science, it is important for medical students and residents to learn how to practise lifelong learning as doctors. One important strategy for the lifelong professional development of medical students and residents is self-regulated learning (SRL).1–3

전반적으로, SRL은 [원하는 수준의 성취도에 도달하기 위한 목적으로 학습 경험 전체에서 정서적, 인지적, 행동적 과정을 modulation하는 것]을 의미한다. Sitzmann과 Ely의 메타 분석은 다양한 SRL 이론에 의해 설명된 다양한 과정을 다음과 같은 세 가지 유형으로 분류할 수 있다는 것을 보여주었다. 

• 조절 주체(골 설정) 

• 조절 메커니즘(예: 계획, 모니터링, 학습 전략, 동기 및 감정 제어) 

• 조절 평가(자체 평가, 귀인, 자기 효과).

여러 연구들이 학생들의 자기조절전략 사용이 학업결과에 긍정적인 영향을 미친다는 것을 보여주었다.

Overall, SRL refers to the modulation of affective, cognitive and behavioural processes throughout a learning experience in order to reach a desired level of achievement.5,8 A meta-analysis by Sitzmann and Ely showed that the various processes described by different theories of SRL can be categorised into the following three types: 

• regulatory agent (goal setting); 

• regulatory mechanism (e.g. planning, monitoring, learning strategies, motivation and emotion control), and 

• regulatory appraisal (self-evaluation, attributions and self-efficacy).9 

Multiple studies have shown the positive effects of students’ use of self-regulation strategies in academic outcomes.10,11

하지만, 의학 교육의 많은 부분이 교실이 아닌 근무지에서 일어난다. 근무지에 기반을 둔 학습에서 의대생들과 레지던트들은 임상 실습에서의 경험으로부터 배운다. 임상 환경에서 자기조절학습은 교실academic 환경에서의 SRL과는 다른데, 이는 임상 맥락에서 학생은 환자에게 의료 서비스를 제공하는 것에 종속되어 있기 때문에, 자신의 학습 목표에만 집중할 수 없기 때문이다. 따라서, 교실 환경에서 학습을 적절하게 스스로 조절하는 학생들도 더 복잡한 임상 환경에서는 학습을 스스로 조절하는 데 어려움을 겪을 수 있다.

However, a large part of medical education occurs in the workplace instead of in classrooms.3,12–15 In workplace-based learning, medical students and residents learn from their experiences in clinical practice.12 Self-regulated learning in a clinical context is different from SRL in an academic setting because in a clinical context the student cannot solely focus on his or her own learning goals as these are subsidiary to the provision of health care to patients.16 It may therefore be that students who adequately self-regulate their learning in an academic setting may have difficulties in self- regulating their learning in the more complex clinical setting.

우리의 연구 질문은 다음과 같다. 

(i) 임상 환경에서 의대생 및 거주자의 SRL을 연구하기 위해 어떤 이론 모델을 사용하였는가? 

(ii) 의대생과 거주자가 임상 환경에서 사용하는 SRL 전략은? 

(iii) SRL의 어떤 요소가 의대생과 거주자에게 영향을 미치는 것으로 보고되었는가? 

(iv) 의대생 및 거주자의 SRL을 지원하기 위해 어떤 개입이 사용되었으며, 개입에 어떤 영향이 있었는가?

our research questions were: 

(i) What theoretical models have been used to study medical students’ and residents’ SRL in the clinical environment? 

(ii) What SRL strategies do medical students and residents use in the clinical environment? 

(iii) Which factors of SRL have been reported to influence medical students and residents? 

(iv) What interventions have been used to support SRL in medical students and residents and what effects did the interventions have?

방법

METHODS

Selection process

Review procedure

결과

RESULTS

프로세스는 그림 1에

The study selection process for this review is depicted in Fig. 1.

학생과 전공의의 SRL을 연구하기 위해서 어떤 이론적 모델이 사용되었나?

What theoretical models have been used to study medical students’ and residents’ SRL in the clinical environment?

우리가 포함시킨 18개의 연구 중, 7개의 연구 2,3,23–27은 Zimmerman의 순환 3상 모델을 보고했고, 8개의 두 개의 연구28,29는 Knowles의 이론적 모델을 보고했고, 30의 연구31은 Pintrich.32의 원칙에 기초한 이론적 프레임워크를 사용했다고 보고했다. 비록 이 세 가지 이론은 그들의 관점이 다르지만, 능동적 참여, 목표 설정, 계획 구현, 프로세스의 자체 평가가 공통적이다.

Of the 18 studies we included, 

• seven studies2,3,23–27 reported the cyclical three-phase model of Zimmerman,8 

• two studies28,29 reported the theoretical model of Knowles,30 and 

• one study31 used a theoretical framework based on the principles of Pintrich.32 

Although they differ in their perspectives, these three theories agree upon 

• active engagement, 

• goal setting, 

• implementation of a plan and 

• self-evaluation of the process.20,33

이 검토에서 나머지 8개 연구는 특정 이론적 모델을 설명하지 않았지만, SRL을 정의할 때 동일한 프로세스(목표 설정, 계획 구현 및 자가 평가)를 언급했다.

Although the remaining eight studies34–41 in this review did not describe a specific theoretical model, they did mention the same processes (goal setting, implementation of a plan and self-evaluation) when defining SRL.

임상환경에서 학생과 전공의는 어떤 SRL전략을 사용하는가?

What SRL strategies do medical students and residents use in the clinical environment?

세 가지 연구가 각각 다른 접근 방식을 가진 이 문제를 다루었다.

Three studies addressed this question, each with a different approach.

첫째, Berkhout et al.23은 임상의 학생들의 자기 평가 SRL 행동의 5가지 다른 패턴을 기술했다: 

• 참여적 (실수하는 것을 두려워하지 않고 열심히 일하고 동기를 부여하며) 

• 지극히 기회주의적 (학습 환경에 비판적인 비정형 학습 행동은 쉽게 동기를 상실함) 

• 불확실한 (수동적, 감독자에 의존적, 배울 수 있는 안전한 환경이 필요하다.) 

• 자제하는 (높은 동기 부여와 자기 비판적, 질문하기 두려워)

• 힘이 드는 (열심히 일하고, 무엇을 해야 하는지 알려주어야 하며, 어려움에 처하는 것을 두려워해야 한다.)

Firstly, Berkhout et al.23 described five different patterns of clinical students’ self-assessed SRL behaviour: 

• engaged (hardworking, motivated and not afraid to make mistakes); 

• critically opportunistic (unstructured learning behaviour, critical of the learning environment, loses motivation easily); 

• uncertain (passive behaviour, dependent on supervisor, requires a safe environment in which to learn); 

• restrained (highly motivated and self-critical and afraid to ask questions), and 

• effortful (hard working, needs to be told what to do, and afraid to admit being in difficulty).

둘째로, 우즈 외 연구진.24는 임상 환경에서 SRL에 대한 세 가지 접근방식을 식별했다. 

• 첫 번째 접근방식인 '학습 기회가 부족하다는 인식에 묵종하는 것'은 의대 학생들이 인지하는 체계적이고 환경적인 장벽을 강조했다. 

• 두 번째 접근 방식인 '이용 가능한 기회에서 선택'에서 학생들은 서로 다른 학습 요구의 균형에 초점을 맞추었고, 어느 정도 시간이 학습보다는 서비스에 사용되어야 한다는 것을 깨달았다. 

• 마지막 접근법은 '새로운 학습 기회 창출'이었는데, 이 과정에서 학생들은 자신의 학습량을 최적화하려고 노력했다.

Secondly, Woods et al.24 identified three distinct approaches to SRL in the clinical environment. 

• The first approach, ‘acquiescing to a perceived lack of learning opportunities’, emphasised the systemic and environmental barriers that medical students perceived. 

• In the second approach, ‘choosing from available opportunities’, students focused on the balance of different learning needs and realised that some time must be spent on service rather than learning. 

• The last approach was ‘creating new learning opportunities’, in which students tried to optimise their amount of learning.

마지막으로, 사가세르 외 연구진.3은 가정의학과 레지던트의 SRL 활동에 대한 연구를 실시했다. 저자들은 SRL이 short loop and long loop으로 발생한다는 것을 확인했다.

Finally, Sagasser et al.3 conducted research on the self-regulatory activities of family practice residents. The authors identified that self-regulation of learning occurred in a short and a long loop.

어떤 요인이 영향을 미친는가?

Which factors of SRL have been reported to influence medical students and residents?

표1

Seven of the included studies addressed the factors influencing SRL. The results are summarised in Table 1.

어떤 개입이 사용된 바 있는가?

What interventions have been used to support SRL in of medical students and residents? What effects did the interventions have?

three types of intervention: 

• (i) guiding of SRL via mentoring or coaching; 

• (ii) support of SRL via learning plans and goal setting, and 

• (iii) supportive tools, such as an online environment and clinical encounter cards.

고찰

DISCUSSION

SRL의 이론적 프레임워크는 종종 결여되어 있고, 이론적 프레임워크가 사용될 때(예: Zimmerman, 8 Pintrich32 및 Knowles30) 이 프레임워크는 교실 환경에서의 연구로부터 비롯되었다. 맥락이 SRL에 미치는 알려진 영향을 고려하면, 이러한 모델은 복잡한 임상 상황에 쉽게 적용될 수 없다.

We found that a theoretical framework of SRL is often lacking, and when a theoretical framework was used (e.g. Zimmerman,8 Pintrich32 and Knowles30), this framework stemmed from research in a classroom setting. Considering the known influence of context on SRL, these models cannot be applied easily to the complex clinical context.

Berkhout et al.,23 Woods et al.24 및 Sagasser et al.3의 연구는 개인이 임상 환경에서 SRL하기 위해 사용하는 다양한 패턴, 접근 방식 또는 활동을 설명했다. 이러한 다양한 전략들은 학생들과 레지던트들의 SRL 전략 사이에 개별적인 차이가 있을 뿐만 아니라, 그 전략들도 맥락마다 다르다는 것을 암시한다.

The studies of Berkhout et al.,23 Woods et al.24 and Sagasser et al.3 described various patterns, approaches or activities that individuals use to self-regulate their learning in the clinical environment. These different strategies suggest that there are not only individual differences between students’ and residents’ SRL strategies, but that the strategies they use also differ in different contexts.

상황에 따라 SRL에 긍정적인 또는 부정적인 영향을 미칠 수 있는 많은 요인들이 있다. 이것은 [임상적 맥락에서의 학습은 SRL 프로세스에 영향을 미치는 요인들 간 상호작용이 있는 복잡한 과정]이라는 이전의 발견 2,9,42를 지원한다. 이러한 요인 중 일부는 임상 환경(시간 압력 및 환자 관련 요인)에 고유한 것이다.2

There are many factors that, depending on the circumstances, may have either positive or negative influences on SRL. This supports earlier findings2,9,42 that learning in the clinical context is a complex process, in which there is an interplay of factors affecting the SRL process. Some of these factors are unique to the clinical environment (time pressure and patient-related factors).2

SRL은 개인과 맥락 사이의 상호작용에 의해 형성된다. 이 리뷰는 학생들의 SRL 전략 사이의 개별적인 차이점을 보여주었고, 이는 임상 환경에서 학생들을 서포트하는 개인화된 접근법이 필요함을 암시한다. 멘토나 코치의 지원과 학습 계획 및 목표 설정의 사용은 의대생과 레지던트의 SRL 과정에 긍정적인 결과를 가져오는 중재인 것으로 밝혀졌다. 이것은 이러한 개입이 사람과 상황에 적응할 수 있게 한다는 사실에 의해 야기될 수 있다. 또한, 코치나 멘토의 지원은 SRL 프로세스가 잠재력을 최대한 발휘하기 위한 전제조건으로 보인다.23,26,29

Self-regulated learning is shaped by the interaction between the individual and the context. This review revealed individual differences between students’ SRL strategies, implying that an individualised approach to supporting students in the clinical environment is required. The support of a mentor or coach and the use of learning plans and goal setting were found to be interventions that have a positive outcome on medical students’ and residents’ SRL processes. This might be caused by the fact that these interventions allow for adaptation to person and context. Moreover, the support of a coach or mentor seems to be a prerequisite for the SRL process to develop to its full potential.2,3,26,29

모든 개입은 SRL의 첫 두 단계, 즉 목표 설정과 조절 메커니즘에서 긍정적인 결과를 보여주었다. 그 연구들 중 어느 것도 조절 평가에 초점을 맞추지 못했다. 학습자가 목표를 향한 진행 상황을 평가하는 SRL 프로세스의 마지막 단계 입니다. 조절 평가는 학습 경험을 완성하는 데 매우 중요하며 새로운 학습 노력의 출발점이 된다.

All of the interventions revealed a positive outcome on the first two phases of SRL, namely goal setting and regulatory mechanisms. None of the studies focused on regulatory appraisals. This is the last phase of the SRL process, in which learners assess their progress towards goals. Regulatory appraisal is crucial to completing the learning experience and serves as a starting point for new learning endeavours.

함의

Implications for practice

우리의 연구에서, 우리는 임상적 맥락에서 SRL이 아직 그것의 잠재력을 충분히 발휘하지 못하고 있다고 결론짓는다. 특히, progress를 평가하는 것은 더 많은 관심을 받을 만하다. 따라서, 우리는 두 가지 병행적 접근법을 권고한다. 

• (i), 개인의 목표 설정과 성찰 기술을 향상시키고 SRL 자신감을 향상시키기 위한 인터벤션 도입

• (ii) 학생들에게 그들의 기술을 실제로 사용할 기회를 주는 학습 환경을 조성. 

From our research, we conclude that SRL in the clinical context is not used to its full potential yet. In particular, assessing progress deserves more attention. Therefore, we recommend two parallel approaches: 

• (i), introduce interventions to improve individuals’ goal setting and reflection skills and improve their SRL confidence, and 

• (ii), create a learning environment that gives students the opportunity to actually use their skills. 

이것은 학생들이, 예를 들어, 각 환자에 대해 더 많은 시간, 더 많은 환자 접촉, 그들의 감독자로부터의 지원과 멘토의 안내를 받아야 한다는 것을 의미한다.

This means that students should get, for example, more time for each patient, more patient encounters, support from their supervisor and guidance by a mentor.

Strengths and limitations

Implications for future research

CONCLUSIONS

본 연구는 임상 환경의 SRL이 복잡한 과정이며 학생들의 SRL에 개별적 차이가 있다는 것을 보여주었다. 이것들은 개인, 사회 및 상황별 수준에서 여러 요소에 의해 영향을 받는다.

This study revealed that SRL in the clinical environment is a complex process and that there are individual differences in students’ SRL. These are influenced by multiple factors at the individual, social and contextual levels.

우리는 학습자가 목표를 향한 진행상황을 평가하는 방법에 대한 지식 격차를 확인할 수 있었다. 이러한 연구 결과는 교육자들이 임상 환경에서 SRL을 구현할 때 이중 접근법을 채택해야 하며, 

• SRL을 위해 학생의 개인 능력을 향상시키는 것과 

• 직장에서 멘토나 코치의 지원을 받을 수 있는 좋은 SRL 환경을 만드는 것에 초점을 맞춰야 한다는 것

...을 암시한다.

We were able to identify a knowledge gap in how learners assess their progress towards goals. These findings suggest that educators should adopt a dual approach when implementing SRL in the clinical context and should focus on both improving students’ individual capacities to regulate their learning and creating a good SRL climate in the workplace, possibly supported by a mentor or coach.

Self-regulated learning in the clinical context: a systematic review.

정신질환자에 대한 낙인에 대한 임상실습의 영향: 메타분석(Med Educ, 2018)

The influence of clerkship on students’ stigma towards mental illness: a meta-analysis

Eleni Petkari,1,2 Ana I Masedo Gutierrez,2,3 Miguel Xavier2,4 & Berta Moreno K€ustner2,3,5

도입

INTRODUCTION

정신 질환(MI)으로 고통 받는 사람들은 두 가지 도전에 직면해야 한다: 

• 첫째, 그 질병이 그들의 삶에 미치는 영향

• 둘째, stigma때문에 사회로부터의 혹은 스스로의 rejection과 non-acceptance로 인한 스트레스.

• first, the impact that the illness has on their lives in all its facets,1 and 

• second the stress created by rejection and non-acceptance by both themselves and society because of stigma.2,3 

사회적 인식 이론에 따르면, 낙인은 인지, 감정, 행동적 요소를 포함하는 다차원적 개념이다. 

• 인지요소는 나쁜 예후에 대한 위험성이나 믿음과 같은 고정관념을 포함하는 태도를 말하는 반면, 

• 정서요소들은 MI를 가진 사람들과의 상호작용에 대한 두려움이나 분노와 같은 편견의 표현을 포함한다. 

• 행동요소는 보통 MI를 가진 사람들과의 상호작용을 위한 의도를 나타낸다. 차별에 대해, 회피, 평가 절하 또는 사회적 거리를 통해 표현된다.

According to social cognition theory,4 stigma is a multidimensional concept that encompasses cognitive, emotional and behavioural elements. 

• Specifically, the cognitive elements refer to attitudes that include stereotypes, such as dangerousness or beliefs for a poor prognosis, 

• whereas emotional elements include the expression of prejudice, such as fear of or anger towards people with MI. 

• Finally, behavioural elements refer to intentions for interaction with people with MI, usually based on discrimination, expressed through avoidance, devaluation or social distance.3,5

증가하는 증거는, 일반 인구와 마찬가지로, 정신 건강 전문가들이 그들의 환자들에게 낙인을 표현할 가능성이 있으며, 장래의 건강 관리 전문가들은 그러한 환자들과 함께 일할 가능성을 적어도 매력적이지 않은 것으로 생각할 수도 있음을 보여준다. 낙인 문제를 해결하기 위한 지속적인 시도에서, 낙인 해소를 위한 교육적 개입은 대중들에게, 그리고 중요한 것은 장래의 보건 전문가들에게 널리 전달되어 왔다. 그러나 실제 환자와의 접촉을 포함하지 않는 안티-낙인 교육 개입은 단지 단기적인 효과만을 가지고 있는데, 아마도 MI라는 이름 뒤에 있는 인간을 평가할 기회가 부족하기 때문일 것이다. 환자와의 접촉이 긍정적인 태도를 확립하기 위한 핵심 요소인 것 같으므로, 정신 건강 관련 연구 커리큘럼이 포함된 임상실습이 포함되어야 한다.

Increasing evidence shows that, like the general population, mental health professionals are likely to express stigma towards their patients,6 and prospective health care professionals consider the possibility of working with such patients as unattractive at least.7,8 In a continuous attempt to tackle stigma, educational interventions aimed at its reduction have been widely delivered to the public9 and importantly to prospective health care professionals.10 However, anti-stigma educational interventions that do not include contact with real patients have only short-term effects,11 perhaps due to the dearth of opportunities for appreciating the human being behind the label of MI.12 As contact with patients seems to be a key element for establishing positive attitudes,13 the inclusion of a clerkship in the curriculum of mental health-related studies

임상실습은 보통 마지막 학년 또는 끝에서 두 번째 학년에 제공되고, 실제 환자와 함께 실시간 상황에서 직접 접근하여 젋은 전문직세대에게 MI를 가진 환자에 대한 긍정적이고 효율적인 접근을 교육하기 위한 이상적인 환경을 조성한다.

결과는 또한 각 개입에 대한 목표 결과에 따라 달라질 수 있으며, 초점이 개별적 낙인의 구성 요소(태도, 영향 또는 행동 의도) 중 하나 또는 단일 결과로서의 조합이냐에 따라 달라질 수 있다. 사실, 별도로 또는 조합하여 낙인의 구성요소를 선택하는 것은 실제로 개입의 효율성에 관한 상충되는 결과를 초래할 수 있다.

results may also vary depending on the targeted outcome for each intervention, and depending on whether the focus is on one of the components of stigma (attitudes, affect or behavioural intentions) separately or on their combination as one sole outcome. In fact, the selection of the stigma components either separately or in combination might actually lead to conflicting outcomes regarding the intervention’s effectiveness.

본 연구

The present study

따라서, 현재 연구는 장래의 의료 전문가들이 사무직 완료 후 결과로 표현한 오명(전반적으로 태도 [AT], [AF] 및 행동적 의도[BI])의 변화를 탐구한다. 목적은 

• (i) 임상실습이 학생의 낙인에 미치는 영향을 조사하는 모든 가용 연구에 대한 체계적인 메타 분석을 수행한다. 

• (ii) 낙인 전반과 각 구성 요소(AT, AF 및 BI)에 대한 효과 추정치를 제공한다. 

• (iii) 각 결과의 잠재적 조정 요인(즉, 대학 프로그램, 임상실습 기간, 임상실습 설정, 이론 교육, 실험 설계, 출판 연도, 연령 및 성별)을 식별해야 한다.

Thus, the current study explores changes in stigma (overall, attitudes [AT], affect [AF] and behavioural intention [BI]), expressed by prospective health care professionals as the outcome after completion of a clerkship. The aims are to 

• (i) carry out a systematic meta-analysis of all available studies that examine the effects of clerkship on health care students’ stigma, 

• (ii) provide an effect estimate for overall stigma and for each of its components (AT, AF and BI) and 

• (iii) identify potential moderating factors of each outcome (i.e. university programme, clerkship duration, clerkship setting, inclusion of theoretical training, experimental design, year of publication, age and sex).

METHODS

Literature search

Inclusion criteria

Coding procedure

stigma component (overall, attitude [AT], affect [AF] and behavioural intention [BI]),

도구들

Instruments measuring stigma

The included studies assessed stigma using 12 different instruments, with some of them measuring stigma as a whole, providing a total score. Examples of such instruments are: 

• the Mental Illness Clinician Attitudes Scale (MICA),18 examining beliefs, emotions and behaviours related to the patient’s treatment, perceived dangerousness or social interaction; 

• the Mental Health Attitudes Scale (MHAS),15 focusing on knowledge, negative stereotypes or anxiety; 

• and the Attitudes Towards Mental Illness Scale (AMI),14 examining fear or worry, as well as the willingness to have a friend or neighbour with MI. 

Other scales measured stigma components through distinct subscales that corresponded to AT, AF and BI. Examples are: 

• the Opinions towards Mental Illness Scale (OMI),19 encompassing the subscales of Authoritarianism, Benevolence, Mental Hygiene Ideology, Social Restrictiveness or Interpersonal Aetiology; 

• the Community Attitudes Towards Mental Illness Scale (CAMI),6 which is similar to the OMI with the exception of Interpersonal Aetiology; 

• and the Attributions Questionnaire (AQ-27),20 measuring the expression of Pity, Anger, Fear, Responsibility, Willingness to Help and Segregation. 

Lastly, some studies focused only on the BIs, measuring them through 

• the Social Distance Scale (SDS)21 or 

• the Devaluation Discrimination Scale (DDS),22 

both of which explore the willingness to have social interactions with people with MI (see Table S1 online for details). 

In order to proceed with the distribution of instruments and their subscales into the stigma components (overall, AT, AF and BI), we were guided by the distribution carried out in a previous meta-analysis on stigma outcomes,4 based on the social cognitive theory of stigma.

Data analyses

결과

RESULTS

최종 샘플

Final sample

22개 연구

Twenty-two studies fulfilled the inclusion criteria and were included in the meta-analysis, providing data from 22 independent samples.

낙인의 변화

Stigma changes after clerkship

크게 감소

Our analysis yielded a highly significant medium effect size for overall stigma reduction (k = 22, Hedge’s g = 0.354; p < 0.001; 95% CI, 0.26, 0.45) and improvement of AT (k = 9) (Hedge’s g = 0.308; p = 0.003; 95% CI, 0.10, 0.51) and BI (k = 10) (Hedge’s g = 0.247; p < 0.001; 95% CI, 0.17, 0.33).

Subgroup analyses

메타-회귀

Meta-regression analyses

가중된 혼합 효과 메타-규제 분석은 여성들이 전반적인 낙인 변화 수준을 더 높게 보인 반면에 출판 연도나 참여자의 연령에는 유의미한 영향이 없음을 보여주었다. 마지막으로, 전체적인 변화에 긍정적인 영향을 미치는 임상실습 시간의 경향이 있었다. 

The weighted mixed-effects meta-regression analyses revealed that women displayed higher levels of overall stigma change (k = 22, B = 0.007, standard error [SE] = 0.002, z = 3.23; p = 0.001), whereas there was no significant effect for publication year or participants’ age. Finally, there was a trend of clerkship duration influencing overall change positively (k = 22, B = 0.028, SE = 0.016, z = 1.78; p = 0.007). 

AT와 BI와 관련하여, 분석은 출판 연도와 임상실습 길이에 유의하지 않은 영향을 보여주었다. 하지만, 여성들은 AT에서 더 큰 변화를 보였고, 어린 학생들은 AT와 BI를 더 잘 보여주었다.

Regarding AT and BI, the analyses showed a non- significant effect for publication year and clerkship length. However, women showed greater change in AT (k = 6, B = 0.001, SE = 0.006, z = 1.95; p = 0.05)and BI (k = 6, B = 0.009, SE = 0.002, z = 2.76; p = 0.005) and younger students showed better AT and improved BI (k = 6, B =  0.057, SE=0.02, z =  3.02; p = 0.002). 

출판 편향

Publication bias

고찰

DISCUSSION

우리의 메타 분석의 결과는 임상실습이 학생들의 낙인에 대한 인식수준에 유익한 영향을 미친다는 것을 확인시켜준다. 좀 더 구체적으로 말하면, 그 결과는 행동적 의도를 바꾸는 것보다 [전반적인 낙인인식]과 [태도]를 바꾸는 힘이 더 크다는 것을 드러내는 반면, MI를 가진 환자에 대한 학생들에 대한 정서적 상태에 영향을 미치지 않았다. 그러한 차이는 놀랍지 않은데, 행동의 변화가 가장 어려운 것이며, 행동의 변화란 환자와의 상호작용을 증가시키고 능동적인 방식으로 도움을 제공려는 의도를 가정한다.26

The findings of our meta-analysis confirm that there is a beneficial influence of clerkship on students’ stigma levels. More specifically, the findings reveal a greater power of clerkship for changing overall stigma and attitudes than for changing behavioural intentions, whereas clerkship does not influence the student’s affective state towards patients with MI. Such differences are not surprising, given that behaviour is the most difficult component to change, as it assumes an intention to increase interaction with patients and help provision in an active way.26

현재의 연구 결과는 임상실습이 모든 대학 프로그램에 걸쳐 전반적인 낙인과 학생들의 차별적인 행동 의도를 줄이는데 도움이 된다는 것을 보여주었다. 이는 낙인을 해결하고자 할 때, 임상실습생이 환자 관리에 참여할 기회를 주는 것이 이론적 배경, 방법론 또는 학습 목표와 같은 대학 커리큘럼의 특정 구성요소보다 더 중요하다는 것을 나타낸다.

The results of the current study showed that clerkship was beneficial for reducing overall stigma and the students’ discriminatory behavioural intentions across all university programmes. This indicates that when targeting stigma the opportunity for involvement in patients’ care offered by a clerkship is more important than the specific components of university curricula, such as the theoretical background, methodology or learning targets.

특히, 입원 및 외래환자의 환경 조합에서 이뤄지는 임상실습은 (순수하게 기관화된 환경에 정착한 사무직과는 달리) 학생들의 태도를 변화시키는데 더 강력하다. 실제로 후자는 [행동적 의도]와 [전체적인 오명]에 미치는 영향은 전혀 없고 단지 작은 영향만 가지고 있다. 이러한 유의하지 않은 변화는 [학생들이 입원환자를 위험으로 간주될 수 있는 행동을 보이는 사람으로 인식하고 미래가 demoralisation된 사람들로 인식한다는 사실]로 설명할 수 있다.

Specifically, clerkships that take place in a combination of inpatient and outpatient settings are more powerful in altering students’ attitudes, as opposed to those settled in purely institutionalised conditions, in line with Sher & New.31 Indeed, the latter have no effect on attitudes at all and only a small influence on behavioural intentions and overall stigma. Such an insignificant change can be explained by the fact that students perceive the inpatients as people who display behaviours that may be considered dangerous32 and who immerse themselves in a state of demoralisation33 regarding their future.

영향력 있는 것으로 입증된 또 다른 요소는 임상실습의 한 부분으로 이론 교육을 실시하는 것이다. 특히, 이론적 훈련을 포함하지 않은 연구의 경우, [전체적인 낙인]과 [태도(=인지요소)]에 변화가 없었는데, 이는 대면 상호작용과 함께 이론적 요소를 포함시키는 것의 중요성을 보여주는 것이다.

Another element that was proven to be influential is the implementation of theoretical training as part of the clerkship. Specifically, overall stigma and attitudes remained the same for studies that did not include a theoretical training, pointing out the importance of accompanying the face-to-face interaction with such a component, in line with Economou et al.34

그러나 환자를 보다 긍정적인 방식으로 치료하려는 [의도]는 임상실습에 그러한 요소가 포함되어 있는지 여부와 무관하게 달라지는 듯 하며, 이는 결국 사회적 상호 작용에 관한 한 환자와 접촉하는 것이 가장 중요하다는 것을 암시한다.

However, the intention to treat patients in a more positive manner seems to alter independently of whether the clerkship includes such a component or not, implying eventually that when it comes to social interactions, contact with patients is all that matters.

마지막으로, 여성들은 전반적으로 낙인을 덜 보이고, 더 나은 [태도]와 [행동 의도]를 보여주었고, 비록 남성과 여성은 MI를 가진 사람들에게 다른 방식으로 행동하는 경향이 있지만, 여성이 더 우호적인 태도를 보인다고 말한 기존 리뷰를 부분적으로 입증했다. 임상실습의 영향은 [행동 의도]에 대해서는 동일한 패턴을 따르는 것처럼 보이지만, [태도]에는 영향을 미치지 않는다. 또한, 이전의 조사결과에 따라, 젊은 세대는 태도와 행동 의도에 긍정적인 영향을 미치는 것으로 보였다. 20,36

Finally, women showed less overall stigma, and better attitudes and behavioural intentions, partially corroborating an earlier review suggesting that although men and women tend to have similar attitudes they behave in a different way towards people with MI, with women being more friendly.35 The influence of clerkship seems to follow the same pattern for behaviour intentions but not for attitudes. Additionally, younger age seemed to influence positively both attitudes and behavioural intentions, in line with previous findings.20,36

Limitations

Implications for practice and research

사실, 그 낙인 구성요소들은 임상실습 후에 각자의 변화 패턴을 따르고 있으며, [행동]에는 영향이 적은 반면, [감정]에는 영향력이 없는 것으로 보인다. 그럼에도 불구하고, [감정]에 대한 연구는 다른 것에 비해서 매우 적은 편이므로 변화는 무시할 수 없다. 감정이 행동의 동기부여 메커니즘을 구성하기 때문에, 이 요소는 추가적인 탐사를 요구한다. 아마도 공감을 표적으로 삼음으로써 학생들은 두려움과 거절의 감정을 바꿀 수 있고 이런 식으로 MI를 가진 사람들을 더 호의적으로 대우하려는 그들의 의도를 높일 수 있다.

Indeed, the stigma components seem to follow their own pattern of change after clerkship, with behaviour being the less affected whilst there is a lack of change in affect. Nevertheless, changes cannot be discarded as affect has been significantly understudied compared with other stigma outcomes. As emotions constitute the motivating mechanism of actions, this component demands further exploration. Perhaps by targeting empathy, students can alter their feelings of fear and rejection and this way boost their intentions for more favourable treatment of people with MI.

학생은 사회의 구성원이기에, [MI를 가진 환자에 대해 무례하거나 부정적 꼬리표를 통해 특성을 부여하는] 사회적 맥락에서 기인하는 집단적 영향으로부터 영향을 받지 않을 수 없다. 따라서, 비록 학생들은 그들 자신이 갖고 있던 미신은 임상실습을 통해 사라지더라도, 전반적인 부정적 태도, 행동, 그리고 특히 감정은 그대로일 수 있다.

As members of a society, students cannot remain immune to group influences originating in a societal context that is characterised by disrespect towards patients with MI and attributes to them negative characteristics through labelling.38,39 Hence, although students may have their myths dispelled through their clerkship, they may largely retain their negative attitudes, behaviours and, importantly, emotions.

결과적으로, 우리의 연구결과는 더 넓은 사회적 문제에 대한 관심을 끌게 되는데, 이는 현재의 사회 구조에 도전해야 하며, stigma-free한 사고방식을 가진 시민을 양성하기 위해 더 큰 규모의 개입이 필요하다는 것을 시사한다.41

Consequently, our findings draw attention towards a wider societal issue, suggesting that there is a need for interventions on a larger scale in order to challenge the current societal structure and produce citizens with a stigma-free mindset.41

Med Educ. 2018 Jul;52(7):694-704. doi: 10.1111/medu.13548. Epub 2018 Mar 2.

The influence of clerkship on students' stigma towards mental illness: a meta-analysis.

의과대학 1학년을 위학 학습지원개입: 문헌 고찰(Med Educ, 2017)

Learning support interventions for Year 1 medical students: a review of the literature

Masego B Kebaetse,1 Maikutlo Kebaetse,2 Gaonyadiwe G Mokone,2 Oathokwa Nkomazana,3 Mpho Mogodi,1

John Wright,2 Rosemary Falama4 & Elizabeth Park5

도입

INTRODUCTION

의대를 통과하는 여행은 길고, 벅차고, 어려울 수 있는 만큼 흥미롭고 보람 있을 수 있다. 이전에 높은 학업 성취와 학습 성공을 거둔 학생도 학습 어려움을 겪을 수 있으며, 의대에서는 어려움을 겪을 수 있다.1 학생들은 능력 있고 준비된 상태로 의대 1학년에 입학하지만, failure로 귀결되는 학문적, 개인적 어려움을 겪을 수 있다.2 또한, 의대에서 필요한 행동적 속성을 갖추지 않은 채로 입학하는 학생들은 학습 내용 및 학습 기술 둘 다와 어려움을 겪을 수 있다.3 

The journey through medical school can be as exciting and rewarding as it can be long, daunting and challenging. Even students with prior high academic performance and learning success may experience learning challenges and may struggle during medical school.1 Students may enter the first year of medical school capable and prepared, but may experience academic and personal challenges that lead to failure.2 Additionally, students entering medical school without the necessary behavioural attributes may struggle with both content and learning skills.3 

일반적으로 학부 학위를 취득하고 의대에 들어오는 경우(북미의 경우)와 달리 곧바로 의과대학에 들어오는 학생들은(예: 유럽, 호주, 아시아 및 아프리카에서 일반적으로 대학 교육을 거의 받지 않았거나 받지 않은 학생) 의과대학 교육과정에서의 요구와 엄격함이 늦은 사춘기와 이른 성인기의 발달과제와 coupled될 수 있다.4 따라서, 이 의대생들이 직면하는 학습 과제는 훈련의 첫 번째 또는 초기 기간 동안 잠재적으로 더 심각할 수 있다.

For undergraduate medical students (i.e. students admitted with little or no university education, which is typical in Europe, Australia, Asia and Africa), unlike for graduate medical students, who have normally completed an undergraduate degree (typical in North America), the demands and rigour of the medical education curriculum, coupled with the developmental tasks of late adolescence and early adulthood, may pose learning challenges.4 Thus, the learning challenges that confront undergraduate medical students may potentially be more acute during the first or early years of training.

의학교육의 어느 단계에서든 학문적 실패의 원인은 학문적 및 비학문적 요인을 모두 포함한다.5 예를 들어, 학업적 실패는 다음에 기인한다

• 비효율적인 학습 및 학습 기술, 1,6,7 

• 잘못된 이해 전략,4 

• 특정 학술 및 내용 분야의 결함, 8,9 

• 자기 규제 및 인지 능력의 결여,10,11 

• 자기 주도적 학습으로 전환할 수 없음,12 

• 탄력성의 결여와 나쁜 스트레스 관리,8 

• 높은 워크로드를 관리할 수 없음, 8,13 

• 학생과 학습 환경 사이의 부족한 건강 

• 개인적인 요소들. 

The causes of academic failure at any stage of first-degree medical training include both academic and non-academic factors.5 For instance, academic failure may arise from 

• inefficient learning and study skills,1,6,7 

• poor comprehension strategies,4 

• deficiencies in specific academic and content areas,8,9 

• lack of self-regulation and metacognitive skills,10,11 

• inability to transition to self-directed learning,12 

• lack of resilience and poor stress management,8 

• inability to manage a high workload,8,13 

• poor fit between the student and the learning environment,2 

• and personal factors.8,14 

또한 학습의 어려움은 다음에 의해 악화될 수 있다. 

• 자신의 학습 결함을 발견하지 못함

• 도움을 구하기를 꺼림

Additionally, learning challenges can be precipitated by 

• students’ inability to identify their own learning deficiencies15,16 and 

• the reluctance of some medical students to seek help.17 

놀랄 것도 없이, 1학년 의대생들의 10-15%가 학업적으로 고군분투하고 있는데, 이것은 이러한 도전들이 특히 대학 의학 교육에서 첫 해 또는 초창기 동안 나타날 수 있다는 것을 암시한다.

Not surprisingly, 10–15% of Year 1 medical students struggle academically,18 which suggests that these challenges may manifest during the first or early years of medical training, particularly in undergraduate medical education.

학습 어려움을 경험함에도 불구하고, 대부분의 학생들은 다시 적절하고 효과적인 학습 지원을 통해 성공할 수 있는 지적 능력을 가지고 있다.19 사실, 많은 의과대학들은 'struggling' 학생들을 위한 교정조치를 포함하여 학습 지원 프로그램을 제공한다.20,21 Sandars et al.2는 의료 교육에서 학습 지원에 대한 두 가지 주요 접근방식인 부족-대응적 접근법과 적극적-발달적 접근법을 구별한다.

Despite experiencing learning challenges, most students have the intellect to succeed, again with appropriate and effective learning support.19 In fact, many medical schools offer learning support programmes, including remediation for ‘struggling’ students.20,21 Sandars et al.2 distinguish between two main approaches to learning support in medical education: the deficit-reactive and the proactive-developmental approaches.

부족-대응 접근 방식은 1학년 프로그램의 일부에서 실패한 학생처럼 '위험에 처한' 학생들을 대상으로 한다.2 따라서 실패한 학생이 발생할 경우 support가 시작되고, 교정조치에 집중되며, 일반적으로 학습자가 다음 평가를 통과할 수 있도록 테스트, 개입 및 재시험이 포함된다.2 부족-대응 방식의 주요 당면 과제는 다음과 같다. 

• (i) 낙인이 될 수 있음, 실패로 이어지는 핵심 이슈를 무시할 수 있는 가능성2 

• (ii) 필요한 발달적 support의 부재, 특히 학부의대생의 경우,2 

• (iii) 교정 후에도 프로그램 중에 반복되는 실패.20

The deficit-reactive approach targets students who are perceived to be ‘at risk’, such as students who fail part of the Year 1 programme.2 Support is thus triggered by failure, focuses on remediation, and generally includes testing, intervention and retesting to enable learners to pass the next assessment.2 The main challenges of the deficit-reactive approach are: 

• (i) the labelling of students, which may lead to stigmatisation2,4 and the potential to ignore the core issues that lead to failure2; 

• (ii) the lack of necessary development support, particularly for undergraduate medical students,2 and 

• (iii) repeated failure during the programme even after remediation.20

이와는 대조적으로, 적극적-발달적 접근은 특히 학부 의대 학생들의 발달 단계를 고려하고, 단지 failure에 대한 재교육 이상을 제공한다2 따라서 학생들은 평생 '학습' 기술을 습득한다.22 Sandars et al.2 는 발달적 학생 지원을 '학력, 개인적 특성 또는 생애 사건과 관계없이 모든 학생의 개인적, 직업적 성장에 중점을 두는 촉진적 접근법'라고 묘사한다. 그러므로, 무엇보다도, 이 접근법은 학습자의 낙인을 줄이는 데 도움이 된다. 또한, 이 접근방식에서 지원은 정기적으로 제공되고 training의 초반에 시작한다.5

By contrast, the proactive-developmental approach takes into consideration the developmental phase, especially of undergraduate medical students, and provides more than remediation of failure2; students thus acquire lifelong ‘learning to learn’ skills.22 Sandars et al.2 describe developmental student support as ‘a facilitated approach that has a focus on personal and professional growth for all students, irrespective of academic performance, personal characteristics or life events’. Thus, amongst other things, this approach helps reduce stigmatisation of the learner. Furthermore, in this approach, support is provided regularly and starts early in training.5

(기존에 있었던) 두 리뷰에서, 문헌은 부족-대응 접근법에 초점을 맞췄다. 비록 첫 해나 초반에 개입하는 것이 '고투하는 많은 학생들의 특징인 underperformance의 반복 사이클'를 멈출 수 있는 잠재력을 가지고 있다고 제안되었지만, 의학 교육의 학습 지원과 교정조치 노력은 의대 후반부에 중점을 두는 경향이 있다. 대조적으로, 현재 검토는 의과대학 1학년에 집중되고 있다.

In both reviews, the literature focused on the deficit-reactive approach. Although it has been suggested that intervention in the first or early years has the potential to stop the ‘cycle of underperformance that is characteristic of many struggling students’,20 learning support and remediation efforts in medical education tend to place emphasis on the latter years of medical school.20 By contrast, the present review focuses on the first year of medical school.

방법

METHODS

방법론적 프레임워크

Methodological framework

우리는 새로운 주제를 식별하기 위해 체계적인 검토의 강력한 프로세스 중 일부를 풍부하고 귀납적이며 분석적인 질적 연구 성격과 결합하여 비체계적 주제적(또는 비판적 통합 또는 비판적) 검토를 수행했다. 우리의 의도는 선택된 간행물에서 발견되는 경향과 주제를 유도적으로 분류하고 조사하는 것이었다. 우리는 알려진 것, 지식의 차이, 그리고 여전히 고려할 필요가 있는 것을 확인하는 과정을 포함하여 문헌을 광범위하게 고려했고, 문학으로부터 '개념적 기여'를 도출하려고 했다.

We conducted a non-systematic, thematic (or critical synthesis or critical) review of the literature by combining some of the robust processes of a systematic review with the rich, inductive, analytic nature of qualitative research to identify emerging themes.23–25 Our intent was to inductively categorise and examine trends and themes found in the selected publications.24,25 We considered the literature broadly in a process that included identifying what is known, gaps in knowledge and what still needs to be considered,25 and sought to derive a ‘conceptual contribution’ fromthe literature.23

우리는 검토, 협업, 목적 표본 추출의 목적을 명확히 하고 방법론적 엄격함을 보장하기 위한 대안적 관점을 고려하는 것과 같은 질적 연구의 원칙에 주의를 기울이려고 노력해왔다.24 현재 검토는 '과거 이 분야의 다른 모든 연구자와 학자들이 보여주거나 말한 것을 단순히 비유하는 것이 아니라, 오래된 문제에 대한 새로운 시각을 제공하려고 한다.'25

We have attempted to pay attention to the principles of qualitative research, such as by clarifying the purpose of the review, collaboration, purposeful sampling and considering alternative perspectives to ensure methodological rigour.24 The current review attempts to provide ‘a new perspective to an old problem, rather than simply paraphrasing what all other researchers and scholars in the field have shown or said in the past’.25

Data searching and mining

Data analysis and synthesis

결과

RESULTS

26개 문헌

After multiple reviews of titles, abstracts and full texts, 26 articles published between 1973 and 2016 were selected according to the inclusion and exclusion criteria (Fig. 1).

연구 특징

Study characteristics

Thirteen articles were published during 1973–1999,3,8,14,17,30–38 

four articles during 2000–2009,39–42 and 

nine articles during 2010–2016.11–13,43–48 

Sixteen articles came from the USA3,8,13,14,17,30,31,33–39,41,43 and the rest from Australia,40 Canada,32 Dominica,11,46 Germany,47 India,45 the Netherlands,48 South Africa42,44 and the UK.12 Of the 16 US articles, 12 were published prior to 20003,8,14,17,30,31,33–38 and 7 of these 12 articles focused primarily on minority and disadvantaged students.13,30,31,33–35,37

개입 접근법

Intervention approaches

학습지원에 대한 접근법은 세 가지 방식으로 개념화 된 것 같다. 

• 첫째, 사후 대응적 부족 접근에서 학습 지원은 일단 실패했을 때 학생들에게 교정조치 형태로 제공된다. 

• 둘째, 사전 예방적 결함 접근에서 학습 지원은 실패하기 전에 결손을 본 것으로 인식되는 특정 학생 집단에 제공된다.13,17,30–32,34–37 

• 마지막으로, 사전 예방적 발달 접근방식에서는 학습 및 개발 지원을 제공하는 방법으로 모든 학생에게 학습 지원을 제공한다.12,38–45,47

The approach to learning support seems to be conceptualised in three ways. 

• Firstly, in the reactive-deficit approach, learning support is provided in the form of remediation to students once they have failed.8,11,14,33,48 

• Secondly, in the proactive-deficit approach, learning support is provided to a specific group of students perceived to have a deficit prior to failure.13,17,30–32,34–37 

• Finally, in the proactive-developmental approach, learning support is provided to all students as a way of providing learning and development support.12,38–45,47

개입 영역

Area of intervention

내용 지식, 학문적 성공 기술, 개인 및 전문 기술, 프로그램 관련 요소를 포함한 몇 가지 분야에 집중하는 것으로 보인다.

Interventions seem to focus on several areas, including content knowledge, academic success skills, personal and professional skills, and programme-related elements.

Intervention strategies

Intervention duration

Intervention outcomes

고찰

DISCUSSION

중재: 

• (i) 사전 예방적 결함, 사후 대응적 결함 및 사전 발달적 접근 방식을 사용한다. 

• (ii) 콘텐츠 지식, 학문적 성공 기술, 개인 및 전문 기술, 프로그램 관련 요소 

• (iii) 교수-촉진, 동료-촉진, 지원 인력-촉진, 경험적 배치, 자가 학습, 부담-감소 전략

• (iv) 5주부터 2년까지 지속 기간이 다양하다. 

• (v) 일반적으로 긍정적 반응을 보였다.

The interventions: 

• (i) used proactive-deficit, reactive-deficit and proactive-developmental approaches; 

• (ii) addressed content knowledge, academic success skills, personal and professional skills, and programme-related elements; 

• (iii) utilised faculty staff-facilitated, peer-facilitated, support staff-facilitated, experiential placement, self-study and reduced-load strategies; 

• (iv) varied in duration from 5 weeks to 2 years, and 

• (v) generally showed positive results.

proactive-deficit 접근은 주로 노예제도, 제도화된 인종차별주의, 그리고 인종차별정책으로 야기된 불평등을 바로잡으려는 의도가 있는 미국과 남아프리카의 개입 프로그램의 특징이다. 이러한 연구는 소수 집단과 사회 경제적 혜택 받지 못한 학생들이 의료 교육에 접근할 수 있도록 돕는 준비 프로그램에 초점을 맞추는 경향이 있다. 이러한 접근법의 장점에도 불구하고, 소수 집단과 역사적으로 불리한 집단들에 대한 개입의 narrow focus는 제한적이다.

The proactive-deficit approach is mostly characteristic of US and South African intervention programmes, in which the intent seemed to be to redress the inequities created by slavery and institutionalised racism (USA) and apartheid (South Africa). These studies tend to focus on preparatory programmes that help minority and socio-economically disadvantaged students gain access to medical education. Despite the merits of this approach, it is limited because of the narrow focus of the interventions on minority and historically disadvantaged groups.

reactive-deficit 접근도 한계까 있다. 더욱이, 문제가 발생하는 것을 막는 대신, 문제가 발생할 때까지 기다리는 것은 spending 증가, 프로그램 완성 지연, 그리고 정서적 고갈을 초래할 수 있으며, 이 모든 것은 학생과 기관 모두에게 영향을 미친다.

The reactive-deficit approach too has limitations,2,4,20 as previously stated. Furthermore, waiting for a problem to occur rather than preventing it from occurring may result in increased spending, delayed programme completion and emotional drain, all of which affect both the student and the institution.

대조적으로, proactive-developmental 접근법은 특정 학습과 개발 기술을 다루는 경향이 있으며, 일반적으로 자기 주도적 학습의 개발과 같은 일부 교육 또는 개발 이론에 기초한다. 우리는 이것이 다른 두 가지 접근법의 단점을 해결한다는 점에서 이것이 선호되는 접근법이라고 가정한다. 비록 모든 개입 접근법에 비용이 고려되어야 하고, 모든 학습자들을 지원하는 것이 더 비용이 많이 드는 것으로 보일지라도, 우리는 의대를 통해 습득한 기술, 태도, 습관이 평생 의사들과 함께 있을 가능성이 높기 때문에 예방이 치료보다 낫다는 것을 제안한다.

By contrast, the proactive-developmental approach tends to address specific learning and developmental skills, and is generally grounded in some educational or developmental theory, such as the development of self-directed learning. We posit that this is a preferred approach in that it addresses the shortcomings of the other two approaches. Although cost is a factor to be considered in all intervention approaches, and it may appear to be more costly to support all learners, we suggest that prevention is better than cure as skills, attitudes and habits acquired through medical schools are likely to stay with doctors throughout their careers.

개입 영역이 광범위하고 일반적으로 어느 정도의 성공과 관련이 있는 경우, 콘텐츠 지식에 traditionally or prematurely focus된 프로그램은 그 효과성에 한계가 있을 수 있다.

Given that the areas of intervention were broad and generally associated with some degree of success, programmes that traditionally or prematurely focus on content knowledge may be limited in their effectiveness.

비록 어떤 경우에는 개입이 독립 프로그램으로서 제안되었지만, 우리의 연구 결과는 개입이 관련 subject matter에 포함되도록 하는 것이 더 이로울 수 있다는 것을 암시한다.

Although in some cases the intervention was offered as a stand-alone programme, our findings suggest that it may be more beneficial for the intervention to be embedded in the relevant subject matter.

어느 정도 성공을 거두는 데는 다양한 개입 전략이 사용되었다. 놀랍게도, 우리의 검토에서 오직 한 가지 연구만이 reduced-load 전략을 채택했다. 주로 의과대학 1학년에 높은 workload가 주요 스트레스와 failure의 원임임에도 그러했다.

부담을 줄이는 것은 특히 언어, 문화, 사회 경제적 요인에 의해 불이익을 받을 수 있는 개발도상국의 학생들을 조정할 수 있는 시간을 줄 것을 제안한다. 프로그램 기간을 연장하는 것 외에도, 14,50은 가능한 한 많은 기초 과학을 premedical program으로 옮겨서 의과대학 교육과정을 재편성하는 또 다른 가능한 부하 감소 전략이다.

현재의 연구결과는 intervention의 dose가 중요하고, 대규모 그룹 기반 및 단기 개입은 marginal performance를 변화시키는데 필요한 자기 조절 및 사고 방식을 개발하는 데 비효율적일 수 있음을 시사하는 것으로 보인다.46 또한 dose와 관련이 있다. 단계적으로 개입이 적어도 한 학기가 길면 콘텐츠 지식 이득의 지속성이 더 큰 것 같다.11,36,38 상대적으로 긴 지속 기간이 짧은 기간보다 효과적일 것이라고 생각한다. 왜냐하면 이러한 개입은 하룻밤 사이에 쉽게 변하지 않을 수 있는 이미 장기간에 걸쳐 확립된 습관과 결함을 바꾸려고 하기 때문이다.

The present findings seem to suggest that the dose of the intervention matters, and that large group-based and short-duration interventions are likely to be ineffective in developing self-regulation and the thinking dispositions required to turn around a marginal performance.46 Also related to dose is the persistence of results beyond the intervention phase. It seems that the persistence of content knowledge gains is greater when interventions are at least one semester long.11,36,38 We think that relatively long durations are more likely to be effective than short durations because often the intervention seeks to change long-term, entrenched habits and deficiencies that may not change overnight.

검토 결과는 일반적으로 등록률, 학업성취도, 유지율 및 완성률이 향상되었음을 보여준다. 그러나, 학생들에게서 자기효능의 상실과 심화학습 표면학습 전략으로의 전환을 보여준 한 연구는 의과대학 프로그램의 전형적인 밀집된 교과 과정이 부정적인 결과의 주요 원인이라는 것을 보여준다.40

The findings of the review generally show improved enrolment, academic performance, retention and completion rates. However, one study that showed a loss of self-efficacy in students and a shift from deep- to surface-learning strategies suggests that a dense curriculum, typical of a medical degree programme, is a major reason for the negative outcome.40

부하와 같은 외부 요인에 주의를 기울이지 않고 학습 능력과 콘텐츠 지식을 다루는 것은 비효율적인 학습 전략(예: 표면 학습)을 채택하는 결과를 초래할 수 있다. 이러한 관점은 부하를 줄이거나 최소한 그것에 주의 깊게 주의를 기울이는 것이 포괄적인 전략의 일부가 되어야 한다는 생각을 support한다. 비록 1학년 학생들에게만 해당되는 것은 아니지만, 많은 학교들이 실제로 감소하는 전략을 채택하고 있다.50–53

Addressing learning skills and content knowledge without paying attention to external factors such as load may result in students adopting ineffective learning strategies (e.g. surface learning). This view lends support to the notion that reducing the load, or, at minimum, paying close attention to it, should be part of a comprehensive strategy. Although not specific to Year 1 students, a number of schools have indeed adopted a reduced-load strategy.50–53

전반적으로, 현재 검토 결과, 2000년 이전에는 출판물이 일반적으로 프로그램 보고서(n = 13)를 나타내고, 그 이후에는 주로 개입 전 설계와 통제 그룹(n = 9)을 사용한 정량적 연구를 설명하였다.

Overall, the present review shows that prior to 2000, publications generally represented programme reports (n = 13), and, thereafter, described primarily quantitative studies that used pre-and post-intervention designs and control groups (n = 9).

그러므로, 개입은 종종 학생들이 무엇을 왜 고군분투하고 있는지에 대한 경험적 이해를 통해 명확하게 알려지지 않는 것으로 보인다.

Thus, it appears that interventions are often not explicitly informed by empirical understanding of what students are struggling with and why.

1학년의 학습 서포트 프레임워크

A potential framework for Year 1 undergraduate learning support

학습 지원과 교정조치가 교직원들에게 부담을 줄 수 있지만, 5,20,54개의 실패와 예방되지 않은 학습자 부족이 학생과 기관에 커다란 재정적, 정서적 비용을 초래할 수 있다. 2,20,21년, 우리는 1년 전 지원을 제공하는 3단계 학습 지원 프레임워크를 제안한다.g 1년 후 및 1년 후(그림 2). 우리는 이 제안이 '학계 및 행동 지원의 연속체'를 위한 틀을 넓힐 것을 제안한다.55

Although learning support and remediation may place a burden on faculty staff,5,20,54 failure and unmitigated learner deficits can come at great financial and emotional costs to students and the institution,2,20 not to mention compromised patient safety.20,21 We propose a three-phase learning support framework that provides support pre-Year 1, during Year 1 and post-Year 1 (Fig. 2). We suggest that this proposal will broaden the framework for the ‘continuumof academic and behavioural support’.55

1학년 전

Pre-Year 1

의과대학은 일반적으로 학업에 매우 성공한 학생들을 인정하지만, 이러한 학생들도 훈련 중에 어려움에 직면할 수 있다. 일부 challenge가 평생 습관과 결손에 기인한다는 점을 고려하면, 학생들이 초등교육과 중등교육 중에 이러한 경향의 일부를 획득한다고 가정하는 것이 합리적이다.

Although medical schools generally admit highly academically successful students, even these students can face challenges during training. Given that some of the challenges are attributable to lifelong habits and deficits, it is reasonable to assume that students acquire some of these tendencies during their primary and secondary education.

이러한 이유로 다음과 같이 제안한다. 

(i) 사전 교육을 통해 학문적 및 비학문적 기술의 획득을 촉진해야 한다. 

(ii) 교사 연수는 교사가 이러한 기술을 제공할 수 있도록 의도적으로 준비해야 한다. 

(iii) 교육 정책 및 커리큘럼(예: 학습자 중심 교육의 촉진) 변경이 필요할 수 있다.

For this reason, we suggest that: 

(i) the acquisition of both academic and non-academic skills should be promoted throughout pre-university education; 

(ii) teacher training should intentionally equip teachers to impart these skills, and 

(iii) educational policy and curricular (e.g. promoting learner-centred teaching) changes may be required.

1학년 기간 중

During Year 1

학부 의대생들은 성인으로 전환하고, 아직 가지고 있지 않을지도 모르는 학습 능력을 요구하는 학습 환경에 진입하고, 전문적 정체성 형성을 협상하는 등 도전적인 삶의 단계에 직면해 있다. 이 시점에서 학생들은 학업 실패와 행동적 어려움을 예방하기 위해 학습 및 개인 발달 지원이 필요하며, 이러한 지원은 성공할 수 있다.255–57

Undergraduate medical students face a challenging life phase that involves transitioning into adulthood, entering a learning environment that requires learning skills they may not already possess, and negotiating professional identity formation. It is at this point of transition that students need learning and personal development support to prevent academic failure and behavioural challenges, such that they are enabled to succeed.2,55–57

1학년 의대생들이 직면한 다양한 과도기적 과제를 고려할 때, 우리는 다음과 같은 학습 지원을 제안한다. 

• (i) 모든 학생에게 지원을 제공한다(즉, 보편화). 

• (ii) 1년의 기간을 포함하며, 커리큘럼에 포함되어 있다. 

• (iii) 학습 지원과 개인 및 전문가 형성(발달적 지원)을 모두 포함한다. 

• (iv) 위험에 처한 학생들의 조기 감지를 포함하며, 그룹 및 개별 교정 조치를 제공한다. 

• (v) 출구 전략을 포함해야 한다.

Given the various transitional challenges faced by Year 1 medical students, we propose the provision of learning support that: 

• (i) provides support to all students (i.e. is universal); 

• (ii) covers the duration of Year 1 and is embedded in the curriculum; 

• (iii) includes both learning support and personal and professional formation (development support); 

• (iv) includes the early detection of at-risk students and provides for group and individual remediation, and 

• (v) includes an exit strategy.

1학년 이후

Post-Year 1

학습의 어려움은 종종 1년을 넘어 지속되고 새로운 또는 추가의 도전들이 발생할 수 있기 때문에, 지원은 첫 해 이후부터 필요하다.

Because learning challenges often persist beyond Year 1 and new or additional challenges may arise, support is required beyond the first year.

2 Sandars J, Patel R, Steele H, McAreavey M, Association for Medical Education in Europe. Developmental student support in undergraduate medical education: AMEE Guide No. 92. Med Teach 2014;36 (12):1015–26.

Med Educ. 2018 Mar;52(3):263-273. doi: 10.1111/medu.13465. Epub 2017 Oct 23.

Learning support interventions for Year 1 medical students: a review of the literature.

보건전문직교육에서 기초의학지식의 전이에 대한 비판적 네러티브 리뷰(Med Educ, 2018)

A critical narrative review of transfer of basic science knowledge in health professions education

Jean-Marie Castillo,1,2,3,4 Yoon Soo Park,3 Ilene Harris,3 Jeffrey J H Cheung,1,5 Lonika Sood,3,6,7 Maureen

D Clark,3,8 Kulamakan Kulasegaram,1,9 Ryan Brydges,1,10 Geoffrey Norman11 & Nicole Woods1,2

도입

INTRODUCTION

1910년 Flexner 보고서 이후, 기초의학이 미래 의료에서 임상 추론에 역할을 한다는 가정 하에 기초 과학 교육을 HPE에 포함시켰다. 최근의 연구는 기초 과학 지식이 임상 지식과 임상 추론의 습득에 있어 학습자와 practitioner에게 실제로 유익하다는 것을 보여주었다. 그러나, 학생들이 실제로 기본적인 과학 지식을 임상추론에 transfer할 것을 보장하는 기초 과학 교육의 특정 교수법과 평가 접근법에 대한 문헌에서 제한적인 논의가 있었다.

Since the Flexner report of 1910,1 education in the basic sciences has been included in HPE on the assumption that it plays a role in clinical reasoning during future practice.2–4 Recent investigations have shown that basic science knowledge does indeed have benefit for learners and practitioners in their acquisition of clinical knowledge and clinical reasoning.5,6 However, there has been limited discussion in the literature about the specific instructional and assessment approaches in basic science education that ensure that students will, in fact, transfer their basic science knowledge to their clinical reasoning.7

기초 과학 지식의 전이는 하나의 학습 환경에서 습득한 기초 과학 지식을 다른 맥락에서의 임상 문제 해결에 적용하는 것으로 정의할 수 있다.8 임상 추론에 대한 기초 과학 지식의 전달을 최적화하는 목표는 HPE와 문제 해결에 관한 광범위한 문헌에서 복잡한 교육과정 문제를 제시한다.8

The transfer of basic science knowledge can be defined as the application of basic science knowledge acquired in one learning context to the solving of a clinical problemin another context.8 The goal of optimising the transfer of basic science knowledge to clinical reasoning presents a complex curricular challenge in HPE and in the broader literature on problemsolving.8

임상추론에서 기초 과학의 가치는 정적static 지식 구조의 개발을 넘어선다. 오히려, 기초과학 지식은 의학적인 문제 해결을 지원하기 위한 역동적인dynamic 정신 구조의 발전의 토대가 되어야 한다.

the value of the basic sciences in clinical reasoning goes beyond the development of static knowledge structures. Rather, basic science knowledge should also serve as the foundation for the development of dynamic mental structures to support medical problemsolving.

수십 년의 연구가 학습자들에 의한 임상적 추론에 대한 기초 과학 지식의 spontaneous transfer가 특히 어렵다는 것을 보여주었다.13~15 해부학, 생화학, 유전학 등의 기초과학 각각에 대한 지식만으로는 임상 실습의 충분한 토대를 제공하지 못한다. 그러므로, 기초 과학 교육에 대한 연구는 기초 과학 훈련이 어떻게 학생들이 그들의 기본 과학 지식을 현실 세계의 문제에 적용할 수 있도록 하는지 탐구해야 한다. 그러나, HPE의 문헌은 기본적인 과학 교육 방법의 효과와 학생들이 기본적인 과학 지식을 전수하는 것을 성공적으로 도왔는지에 관한 제한된 증거를 제공한다.16

Decades of research have demonstrated that the spontaneous transfer of basic science knowledge to clinical reasoning by learners is exceptionally difficult.13–15 Taken in isolation, knowledge of the basic sciences, such as anatomy, biochemistry and genetics, does not provide a sufficient basis for clinical practice. Therefore, research in basic science education must explore how basic science training enables students to apply their basic science knowledge to real-world problems. However, the literature in HPE provides limited evidence regarding the effectiveness of basic science teaching methods and whether they have been successful in helping students transfer their basic science knowledge.16

기존 연구를 철저히 검토하지 않으면, 학생들이 기본적인 과학 지식을 임상추론으로 transfer하는 것을 지원할 수 있는 이론, 모델 또는 모범 사례를 식별하기 어렵다. 따라서, 우리는 이용 가능한 증거를 포착하기 위해 기본적인 과학적 지식을 임상 추론에 전달하는 것에 관한 문헌의 검토와 통합을 수행하였다.

Without a thorough examination of the existing work, it is difficult to identify theories, models or best practices that might support students in the transferring of basic science knowledge to clinical reasoning. Thus, we undertook to conduct a review and synthesis of the literature on the transfer of basic science knowledge to clinical reasoning to capture the available evidence.

방법

METHODS

본 연구는 문헌에서 증거를 수집하기 위해 체계적인 탐색 전략을 기반으로 한 비판적 서술적 검토다. 단일의 경험적 질문에 관련된 대답을 제공하도록 설계된 체계적인 검토 결과와 대조적으로, 우리는 기초 과학 교육 맥락에서 지식 전이의 개념을 더 잘 이해하고자 했다. 따라서, 'transfer out'/'transfer in' 개념적 프레임워크를 사용하여, 기존 문헌에서 전이가 개념화 및 평가되는지, 평가된다면 어떻게 평가되는지를 이해하기 위해 체계적으로 문헌을 검색한 결과를 분석하였다.

The present study is a critical narrative review, based on a systematic search strategy, to gather evidence from the literature. By contrast with the results of a systematic review, which is designed to provide an answer relevant to a single, empirical question, we aimed to gain a richer understanding of the concept of knowledge transfer in the context of basic science education. Therefore, we analysed the results of our systematic literature search using a ‘transfer out’/’transfer in’ conceptual framework in order to understand if and how transfer is conceptualised and evaluated in the existing literature.

외전이/내전이

Conceptual framework: ‘transfer out’/’transfer in’

분석18을 안내하는 데 사용된 'transfer out'/'transfer in' 개념체계는 교육 문헌 내에서 잘 정립되어 있으며, 의료 교육 문헌에서도 성공적으로 사용되고 있다. 이 프레임워크는 지식의 전이에서 두 가지 주요 특징을 식별한다. 즉, transfer out과 transfer in 이다

The ‘transfer out’/’transfer in’ conceptual framework used to guide the analysis18 is well established within the education literature and has also been used successfully in the medical education literature.19–21 The framework identifies two major dimensions in the transfer of knowledge: transfer out and transfer in.18

'트랜스퍼 아웃'은 학습 상황에서 개발된 지식을 새로운 문제 해결에 적용하는 것을 말한다. '트랜스퍼 아웃'은 수십 년 동안 연구의 초점이 되어왔던 전형적인 전이 개념화의 예를 보여준다. 예를 들어, 학생에게 환자가 피로, 체중 증가, 피부색 수정, 변비를 보이는 임상적 문제가 제시될 수 있다. 이 학생은 이전에 유사한 사례를 통해 갑상선 기능저하증과 관련된 증상을 배웠으며, 현재 자신의 지식을 갑상선 기능저하증 진단을 하고 새로운 임상 문제를 해결하기 위해 적용하고 있다.

‘Transfer out’ refers to the application of knowledge developed in a learning situation to the solving of a new problem. ‘Transfer out’ exemplifies the typical conceptualisation of transfer that has been a focus of research for decades.13 For example, a student may be presented with a clinical problemin which a patient presents with fatigue, weight gain, modification of skin colour and constipation. The student previously learned the symptoms associated with hypothyroidism through a similar case; he now applies his knowledge to diagnose hypothyroidism and solve the new clinical problem.

그러나 'transfer out'만으로는 새로운 문제를 해결하는 데 필요한 모든 것을 파악할 수 없다. 학습자에게 평생 동안 보건 전문가가 겪을 수 있는 무한한 문제를 모두 제공하도록 HPE 프로그램을 설계하는 것은 불가능할 것이다. 이론적으로, 전문가는 [높은 수준의 효율성을 보장고자] 또는 [제한된 활동 또는 상황을 위한 매우 구체적인 일상적 전문지식의 개발하고자] 지식의 학습과 적용에 있어 그 또는 그녀의 실행 범위를 엄격하게 제한할 수 있다.

Yet, ‘transfer out’ alone cannot capture the entirety of what is needed to solve new problems. It would be impossible to design an HPE programme that would provide learners with the infinite array of the problems a health professional might encounter during a lifelong practice. In theory, a professional could tightly limit his or her scope of practice to ensure a high level of efficiency in the learning and application of knowledge, and the development of highly specific routine expertise for a limited set of activities or situations.18,22,23

그러나, 이러한 극단적인 수준의 전문화는 대부분의 건강 직업에서는 불가능하다. 더욱 중요한 것은, 그것은 UME에서의 철학에 반하는 것이다. 결국, 효율적인 문제 해결은 지식의 직접적인 적용(transfer out)보다 더 많은 것을 요구한다. 효율성의 개발이 보건 전문가들에게 중요한 기술이지만, practitioner는 새로운 학습이 필요한 특이한 상황에 직면할 수밖에 없다.

However, this extreme level of specialisation is simply not possible in most health professions. More significantly, it runs counter to the generalist philosophy of undergraduate medical training. Ultimately, efficient problem solving requires more than the direct application of knowledge (i.e. more than ‘transfer out’). Although the development of efficiency is an important skill for any health professional, practitioners will inevitably encounter unusual situations that require new learning.18,22,23

'transfer in'은 새로운 학습을 용이하게 하기 위해 선행지식을 사용하는 것을 의미한다.18,24 기초과학교육의 맥락에서 'transfer in'은 사전 기초과학지식이 새로운 임상적 내용으로부터 학습을 용이하게 할 때 발생한다.

‘Transfer in’ refers to the use of prior knowledge to facilitate new learning.18,24 In the context of basic science education, ‘transfer in’ occurs when prior basic science knowledge facilitates learning from new clinical content.

예를 들어, 학생들은 우선 갑상선 호르몬이 혈액에 의해 몸 안에 퍼지고, 다수의 장기와 상호작용하며, 갑상선 호르몬의 부족은 다수의 장기에 영향을 미치는 여러 신진대사 경로를 느려지게 한다는 것을 배울 수 있다. 이러한 기본적인 과학 개념에 대한 지식은 학생들이 첫 번째 임상 문제나 주제에 대한 새로운 강의를 들을 때 아디슨 병(Adrenal hormone의 부족)에 대해 더 쉽게 배울 수 있게 한다.

For example, a student might first learn that thyroid hormones are spread in the body by the blood and interact with a multitude of organs, and that a lack of thyroid hormones results in a slowing down of several metabolic pathways affecting a multitude of organs. Knowledge of these basic science concepts might subsequently enable the student to more readily learn about Addison’s disease – a lack of adrenal hormones – when he is presented with his first clinical problem or a new lecture on the topic.

이 사례에서, 기본적인 과학 지식은 새로운 콘텐츠의 학습을 촉진하도록 transfer in할 수 있다. 이 렌즈를 이용하면, 미래 학습을 가장 잘 지원할 조기 학습 경험에 초점을 맞추는 것이 고품질 교육을 만드는데 결정적인 것이다. 실제로 'transfer in'에서 학습자의 성공은 궁극적으로 'transfer out'에 긍정적인 영향을 미치므로 임상 성과에 긍정적인 영향을 미칠 것이다.18,25

In this instance, the basic science knowledge could ‘transfer in’ and facilitate the learning of new content. Using this lens, a focus on early learning experiences that will best support future learning becomes critical in creating high-quality education. Indeed, a learner’s success at ‘transfer in’ will ultimately positively impact ‘transfer out’ and therefore clinical performance.18,25

비록 이것이 의학 교육 연구의 전이를 이해하는 비교적 새로운 방식이지만, '전입'은 종종 간과되는 기초 과학 교육의 잠재적인 가치를 탐구하는 유용한 방법을 제공한다.

Although it is a relatively new way of understanding transfer in medical education research, ‘transfer in’ provides a useful way of exploring the potential value of basic science education that is often overlooked.18,24

Search strategy

Data collection, data extraction and analysis

Ethics

결과

RESULTS

HPE 기본 과학 및 임상 추론 성과에 RCT 사용을 보고한 연구는 거의 없었다.

Few studies reported the use of randomised controlled trials of instruction in basic sciences in HPE and clinical reasoning outcomes

총 9803건의 연구가 확인되었고(복제 논문은 제외), 627건의 연구가 전체 텍스트 평가를 위해 검색되었으며 15건의 연구가 검토에 포함되었다(그림 1).

A total of 9803 studies were identified (after the exclusion of duplicate articles); 627 studies were retrieved for full-text evaluation and 15 were included in the review (Fig. 1).

임상 추론에 대한 기초과학 지식의 전이를 탐구한 검토에 포함된 15개 연구 중 93%가 'Transfer out'를, 7%(하나의 연구)는 'Transfer in'를 조사했다(표 1). 이러한 개입은 주로 의과대학(53%)과 특히 커리큘럼의 초기(1:40%, 2: 33%)와 생리학 과정(53%)에서 이루어졌다.

Of the 15 studies included in the review that explored the transfer of basic science knowledge to clinical reasoning, 93% explored ‘transfer out’ and 7% (one study) explored ‘transfer in’ (Table 1). The interventions took place predominantly in medical schools (53%), especially during the early years of the curriculum (Year 1: 40%; Year 2: 33%), and in physiology courses (53%) (Table 2).

기초과학의 교육은 'TO와 TI'에 대한 임상추론에 긍정적인 영향을 끼쳤다.

Instruction in the basic sciences positively impacted clinical reasoning for ‘transfer out’ and ‘transfer in’

검토한 논문에서, 기초과학 지식은 'transfer out'을 위한 임상 추론에 긍정적인 영향을 미쳤다. 이러한 연구는 기초과학 지식이 몇 가지 임상추론 과제에서 성과를 향상시켰다고 제안했다. 이러한 과제에는 

• 임상 기능에 잠재적으로 책임이 있는 메커니즘에 대한 설명;26 

• 환자 정보 및 후속 조치를 포함한 치료 계획의 결정, 27 

• 보다 광범위한 임상 문제 해결이 포함되었다.28–31 

In the reviewed papers, basic science knowledge positively impacted clinical reasoning for ‘transfer out’. These studies suggested that basic science knowledge enhanced performance in several clinical reasoning tasks. These tasks included: 

• the explanation of the mechanisms potentially responsible for clinical features;26 

• the determination of a therapeutic plan including patient information and follow-up,27 

• and, more broadly, clinical problem solving.28–31 

효과적인 교육 전략에는 

• 기초 및 임상 과학의 커리큘럼 통합, 

• 개념 지도의 사용, 

• 임상 사례의 분석, 

• 3차원 가상 현실의 사용이 포함되었다.

특정 매체 대 다른 매체의 사용은 'transfer out'을 강화하지 않았다(예: 현미경 vs 이미지, CD vs 강의33).

Effective teaching strategies included 

• the curricular integration of basic and clinical sciences,28 use of concept maps,26,31 

• analysis of clinical cases,27,29 and 

• use of three-dimensional virtual reality.30 

The use of a specific medium versus another did not enhance ‘transfer out’ (e.g. light microscopy versus projected images,32 or CD versus lecture33).

세심한 통제가 이루어진 소수의 연구는 기본적인 과학 지식에 의해 뒷받침되는 임상 추리 과제를 확인하고 어떻게 'transfer out'를 조성할 것인가에 대한 추론을 이끌어냈다. 첫째, 임상 기능의 기본적인 설명 메커니즘(즉, 기초 과학 지침)을 가르치는 것은 초보 진단 전문가에서 시간의 경과에 따른 진단 정확성의 유지를 지원했다.

A small number of carefully controlled studies identified clinical reasoning tasks supported by basic science knowledge and drew inferences about how to foster ‘transfer out’. First, teaching the underlying explanatory mechanisms (i.e. basic science instruction) of clinical features supported the maintenance of diagnostic accuracy over time in novice diagnosticians.

이러한 긍정적인 결과는 conceptual coherence theory에 비추어 이러한 연구의 저자들에 의해 설명되었다.38 개념적 일관성 이론CCT은 근본적인 인과 메커니즘에 대해 학습하는 것이 문제의 임상적 특성에 대한 일관성 있는 정신적 표현을 제공하고, 따라서 각 진단 범주의 특성을 이해함으로써 장기 기억력과 전달을 향상시킨다고 주장한다.38

These positive results were explained by the authors of these studies in the light of conceptual coherence theory.38 Conceptual coherence theory posits that learning about the underlying causal mechanisms provides students with a coherent mental representation of the clinical features of problems, and thus enhances long-term memory and transfer by making sense of the features of each diagnostic category.38

기초과학 지식을 analogies와 함께 가르치는 것은 임상 추론에 긍정적인 영향을 주었다. 특히, 기본적인 과학 지식의 예를 가르치는 상식적인 analogies가 'transfer out'을 뒷받침했다.39 임상 문제에 대한 설명을 필요로 하는 즉각적인 시험에서, analogy를 활용하여 가르친 경우에 그렇지 않은 경우보다 더 좋은 성과를 보였다.

Teaching basic science knowledge with analogies demonstrated a positive effect on clinical reasoning. Particularly, commonsense analogies as teaching examples of basic science knowledge supported ‘transfer out’.39 Students taught basic science knowledge with an analogy outperformed students taught basic science knowledge alone without analogies on immediate tests that required explanations of clinical problems.

여러 가지 관련 임상 문제를 연습하면서 기초 과학 지식을 가르치는 것도 이후에 'transfer out'를 촉진하였다.40 다양한 임상적 또는 전공별 맥락을 포함하여, 학생들이 기초 과학을 배우고 문제해결을 연습했을 때 임상 추론이 개선되었다. 임상추론 개선은 유사한 사례와 새로운 사례 모두에서 관찰되었다.

Teaching basic science knowledge with the practice of multiple related clinical problems promoted subsequent ‘transfer out’.40 The explanation of clinical reasoning was improved when students learned basic science and practised solving problems, including in varied clinical or disciplinary contexts. This improvement in clinical reasoning was observed for both similar and new cases.

단일한 생의학 개념을 설명하는 문제와 다수의 생의학 개념을 언급한 문제 모두에서 효과가 관찰되었기 때문에, 문제 맥락에서의 variability은 임상 추론을 강화하는 가장 중요한 요소로 식별되었다.40

The variability in the contexts of problems was identified as the most important element to enhance clinical reasoning as its effect was observed in both problems that illustrated a single biomedical concept and those that referred to multiple biomedical concepts.40

다양한 맥락에서 복수의 문제를 연습하는 가치는 문제의 심층적인 개념적 생의학적 구조를 식별하고 후속 transfer를 지원하는 데 도움이 될 수 있다.

The value of practice with multiple problems in a multitude of contexts may have helped in the identifying of the deep conceptual biomedical structure of the problems, and subsequently supported transfer.

한 연구에서는 'transfer in'에 대한 기초 과학 지식의 가치를 탐구하는 것으로 확인되었다. 이 연구는 새로운 관련 콘텐츠(미래 학습을 위한 준비)의 후속 학습을 촉진하는지 여부를 탐구함으로써 임상 기능의 기본 과학 인과 메커니즘 학습의 가치를 입증했다.20

A single study was identified as exploring the value of basic science knowledge for ‘transfer in’. This study demonstrated the value of learning basic science causal mechanisms of clinical features by exploring whether they facilitate the subsequent learning of new related content (preparation for future learning).20

기존 평가는 임상적 추론에 대한 기초과학 지식의 가치를 파악하기에는 민감성이 부족할 수 있다.

Traditional assessments may lack the sensitivity to capture the value of basic science knowledge in transfer to clinical reasoning

비록 특별히 평가 전략을 비교한 연구는 없지만, 우리의 분석은 또한 전통적인 평가가 임상 추론에 대한 기본적인 과학 지식의 가치를 획득하기에 충분한 민감성이 부족할 수 있다는 것을 암시한다. 단순 암기 시험의 성능에서 어떤 편익도 관찰되지 않았지만, 임상 추론의 평가에서는 차이가 입증되었다.34–37,40 저자들이 단지 사실적 리콜에만 집중했다면, 기초 과학 훈련의 어떠한 장점도 포착되지 않았을 것이다.

Although no study specifically compared assessment strategies, our analysis also suggests that traditional assessments may lack sufficient sensitivity to capture the value of basic science knowledge in transfer to clinical reasoning. No benefit was observed in performance on rote memory tests, whereas differences were demonstrated in assessments of clinical reasoning.34–37,40 If the study authors had focused solely on factual recall, no advantages of basic science training would have been captured.

고찰

DISCUSSION

우리의 결과는 기초과학지식의 임상적 추론에 대한 transfer을 평가하기 위한 연구가 거의 없다는 것을 보여준다. 이것에 대한 몇 가지 가능한 이유가 있다. 

• 첫째, 심리학적 개념으로서 transfer는 교육자와 연구자가 일반적으로 고려하는 lens가 아닐 수 있다. 연구자들은 기초과학 지식이 미래의 임상 실습에 중요하다는 것에 동의할 수 있지만, transfer에 초점을 맞추는 것이 바람직한지에 대해서는 덜 명백할 수 있다. 

• 둘째로, 기초 과학 교육(예: 과학적 추리, 연구 능력, 전문적 정체성 개발)과 관련된 목표의 다양성으로 인해 궁극적으로 교수진과 학생 모두에게 임상 추론과 실천에 대한 준비로부터 멀어지게 할 수 있다. 

• 셋째, 기초과학지식의 임상적 추론에 대한 전이를 가르치고 평가하기 위해서는, 교육자들은 실천과 관련된 것이 무엇인지 알아야 한다. 그러나 모든 기초과학 교육자가 임상적 관련성을 이해하는 것은 아니다. 

• 마지막으로, 기본 및 임상 과학의 통합에 대한 강조는 [전이]보다 [임상추론]으로 우리의 관심을 이동시켰을 수 있다.16 기본 및 임상 과학의 통합은 학습 목표일 뿐만 아니라 커리큘럼 전략이다.41 교육전략과 교육성과 간의 차이가 명확하지 않을 경우, transfer와 관련한 초점이 저하될 수 있다. 

Our results indicate that there are few studies designed to evaluate the transfer of basic science knowledge to clinical reasoning. There are several possible reasons for this. 

• Firstly, transfer – as a psychological concept – may not be a lens through which education is typically considered by educators and researchers. Although investigators may agree that basic science knowledge is important for future clinical practice, they may be less explicit on whether a focus on transfer is desirable. 

• Secondly, the multiplicity of objectives associated with basic science education (e.g. the development of scientific reasoning, research abilities, professional identity) might ultimately distract both faculty staff and students from preparation for clinical reasoning and practice. 

• Thirdly, in order to teach and assess the transfer of basic science knowledge to clinical reasoning, educators must know what is relevant for practice. However, not every basic science educator will understand clinical relevance. 

• Lastly, the emphasis on the integration of the basic and clinical sciences may have shifted our attention away from the critical dimension of transfer to clinical reasoning.16 Integration of the basic and clinical sciences is a curricular strategy, as well as a learning goal.41 If the difference between the instructional strategy and the educational outcome is not made clear, the focus on transfer may suffer. 

사례로서 기초과학 지식을 흔한 analogy와 함께 가르치거나, 다수의 임상 문제를 연습해보는 것이 'transfer out'을 지원하였다. 이것은 중요한데, 임상추론에 기초과학적 개념을 사용하기 위해서는, 학생들은 먼저 문제를 그 문제와 관련있는 개념으로 정확하게 분류할 수 있어야 하기 때문이다. [문제]와 [학습한 기초과학 개념] 사이의 유사성은 '깊은(개념적) 구조적 수준'에서 식별되어야 한다'8 (예를 들어, 유체 역학의 층류 흐름은 심혈관과 호흡 시스템 모두에서 식별될 수 있다39).

Teaching basic science knowledge with commonsense analogies as teaching examples,39 or with the practice of multiple related clinical problems supported ‘transfer out’.40 These studies shared a common characteristic: they emphasised the deep conceptual structure of basic science knowledge to support transfer. This is critical because, to use a basic science concept in clinical reasoning, the trainee must first accurately categorise the problem as one that is appropriate to this concept. The similarity between the problem and the known basic science concept ‘must be identified at the level of the deep (conceptual) structure’8 (e.g. laminar–turbulent flow in fluid dynamics can be identified in both the cardiovascular and the respiratory systems39).

교육적인 도전은 일반적으로 초보자들이 문제를 표면적 구조를 기반으로 식별하기 때문에 발생한다. 반면에 전문가들은 문제를 underlying principle로 본다. 8,42 새로운 문제에 직면했을 때, 초심자는 맥락과 표면 수준에서 주어진 단서들을 바탕으로 그것을 자신의 mental representation과 비교할 가능성이 더 높다. 문제의 표면적 representation은 misleading할 수 있고, 올바른 기본 과학 개념의 식별을 방해할 수 있다.39 예를 들어, 물리학 문제에 직면했을 때 전문가들은 모멘텀의 보존을 확인했지만, 초심자는 경사진 평면과 같은 맥락적 세부 사항에 집중했다.43

The educational challenge arises because novices typically identify problems based on surface structures, whereas experts ‘see the problem as an underlying principle’.8,42 When encountering a new problem, a novice is more likely to compare it with his or her mental representation based on contextual and surface-level cues. The surface representation of the problem can be misleading and can hamper the identification of the correct basic science concept.39 For example, faced with physics problems, experts identified conservation of the momentum, whereas novices focused on contextual details, such as an inclined plane.43

실천을 위한 함의

Implications for practice

기초과학에서 교육 관행을 개선하려면 다면적인 접근이 필요하다. 교수개발은 이전 개념에 대한 이해를 높이고 우리가 확인한 교육 전략을 보급하는 데 필수적이다. 실제로, 기본 과학 지식을 임상 실습으로 전이하는 것을 강화하는 것을 목표로 한다면 개인 교사의 역할이 성공에 필수적이다.5,6,44,45

Improving educational practice in the basic sciences requires a multifaceted approach. Faculty development is essential to improve understanding of the concept of transfer and to disseminate the instructional strategies we have identified. Indeed, the role of individual teachers is critical to the success of interventions aimed at enhancing the transfer of basic science knowledge to clinical practice.5,6,44,45

기초 및 임상 과학 교사 간의 긴밀한 협력은 

• 기초 과학 교육의 목적을 명확히 결정하고(예: 임상 추리 또는 과학적 추론의 개발로 전이), 

• 의미 있는 기초과학 지식이 무엇인지 식별하며,

• 영향impact을 포착할 수 있는 평가를 deliberate하게 생성하여, 전이를 평가하기 위한 임상 추론의 관련 dimension을 선택하게 해준다

Close collaboration between basic and clinical science teachers is foundational 

• to the clear determination of the objectives of basic science education (e.g. transfer to clinical reasoning or development of scientific reasoning), 

• to the identifying of meaningful practical basic science knowledge, and 

• to the selection of relevant dimensions of clinical reasoning to assess transfer through the deliberate creation of assessments that can capture impact.

또한 커리큘럼 리더는 이러한 관행을 육성하는 데 필요한 커리큘럼 구조를 만들고 이러한 협업을 육성하고 보상하는 데 필요한 기관 지원과 자원을 확보하는 것이 필수적이다.45

Further, it is essential that curriculum leaders create the curricular structures needed to nurture these practices and ensure the institutional support and resources required to foster and reward this collaboration.45

연구를 위한 함의

Implications for research

이를 위해, 'transfer out'/'transfer in' 개념적 프레임워크18은 향후 연구를 위한 중요한 지침을 제공할 수 있다. 이 프레임워크는 우리가 현재 조사하지 않는 문제를 조사하기 위해, 전통적인 transfer out의 차원을 넘어 확장된다: , 즉, 기초과학 지식이 미래의 임상 콘텐츠의 학습과 임상 추론의 개발에 어떻게 영향을 미칠 수 있는지

To this end, the ‘transfer out’/’transfer in’ conceptual framework18 may present an important guide for future research. This framework extends beyond the traditional dimension of ‘transfer out’ to examine the issues we currently do not investigate, namely: how basic science knowledge may impact the future learning of clinical content and the development of clinical reasoning.

Med Educ. 2018 Jun;52(6):592-604. doi: 10.1111/medu.13519. Epub 2018 Feb 8.

A critical narrative review of transfer of basic science knowledge in health professions education.

보건의료인교육에서 시험-강화 학습: 체계적 문헌고찰(BEME Guide No. 48) (Med Teach, 2018)

Test-enhanced learning in health professions education: A systematic review: BEME Guide No. 48

Michael L. Greena, Jeremy J. Moellerb and Judy M. Spakc

도입

Introduction

교육자들은 보통 "학습의" 평가를 생각한다. 학과 과정이 끝날 때, 학생들은 공부를 통해 이전에 배웠던 정보를 기억한다. 최근 교육자들은 평가를 교육적 전략으로 고려하는 "학습을 위한" 평가로 눈을 돌렸다(슈퍼스와 반 데어 벨루텐 2011). 평가는 학생들의 학습 행동을 유도하여 간접적으로 학습을 강화한다(리허설 효과)(Fitch et al. 1951; Newble and Jaeger 1983)

Educators commonly think of assessment “of” learning. At the end of a course of study, students recall information previously learned through studying. Recently, educators have turned their attention to assessment “for” learning (Schuwirth and Van der Vleuten 2011), considering assessment as a pedagogical strategy in and of itself. Looming assessments indirectly enhance learning by driving students’ study behaviors (rehearsal effect) (Fitch et al. 1951; Newble and Jaeger 1983).

평가는 또한 직접적으로 학습을 향상시킨다. 인지 심리학 실험실(Roediger and Butler 2011; Karpicke and Gimaldi 2012), 교실(Roediger et al. 2011; Agarwal et al. 2012)에 대한 연구는 이전에 학습한 정보(Retural practice)를 상기하면 미래에 정보를 기억하는 능력이 향상된다는 것을 일관되게 입증한다. 정보를 기억하기 위해 노력하며 신중한 시도를 하는 학생들은 같은 자료를 반복적으로 공부하는 학생들보다 더 나은 학습, 보존 및 이전을 보여준다. 이 효과는 시험의 맥락 안에서 검색 관행이 발생할 때 "시험 강화 학습(TEL)"으로 알려져 있다.

Assessment also directly enhances learning. Studies in cognitive psychology laboratories (Roediger and Butler 2011; Karpicke and Grimaldi 2012) and classrooms (Roediger et al. 2011; Agarwal et al. 2012) consistently demonstrate that recalling previously learned information (retrieval practice) enhances the ability to recall the information in the future (retrieval effect). Students who engage in effortful, deliberate attempts to recall information show better learning, retention, and transfer than students who spend the same time repeatedly studying the same material. This effect is also known as “test-enhanced learning (TEL)” when the retrieval practice occurs in the context of a test.

• 몇 가지 시험 형식은 검색 효과를 향상시킨다. 반복된 테스트는 긴 단일 테스트보다 더 나은 리콜을 촉진한다(Wheeler and Roediger 1992; Karpicke and Roediger 2008). 

• 시간 간격에 따른 간격 테스트로 연속 연속 테스트(Landauer and Bjork 1978); Cepha et al. 2006; Karpicke and Roediger 2007)에 비해 더 나은 회수 결과가 나타난다. 이러한 효과는 1분에서 30일까지 간격마다 지속된다. 

• Spacing간격이 같으면 간격이 확대되는 것보다 장기 보존이 더 효과적이다. 

• 정보의 생산을 요구하는 항목(짧은 답변, 에세이)은 정보의 인식을 요구하는 항목(다중 선택, 참/거짓)보다 더 나은 성과를 낸다. (McDaniel, Anderson 등, 2007; McDaniel, Roediger 등, 2007; Pyc 및 Rawson 2009) 

• 피드백을 받은 학생들은 더 많은 정보를 상기하고 강화된 메타 인식 인식을 즐긴다(Bangert-Drowns et al. 1991; Butler et al. 2008).

• Several test formats enhance the retrieval effect. Repeated testing promotes better recall than a long single test (Wheeler and Roediger 1992; Karpicke and Roediger 2008). 

• Spacing tests over time intervals results in better recall compared with back-to-back consecutive testing ( Landauer and Bjork 1978; Cepeda et al. 2006; Karpicke and Roediger 2007). These effects persists at spacing intervals from one minute to 30days. 

• Equal spacing intervals produce better long-term retention than expanding intervals. 

• Items that require production of information (short answer, essay) perform better then items that require recognition of information (multiple choice, true/false). (McDaniel, Anderson, et al. 2007; McDaniel, Roediger, et al. 2007; Pyc and Rawson 2009) 

• Students who receive feedback recall more information and enjoy enhanced metacognitive awareness (Bangert-Drowns et al. 1991; Butler et al. 2008).

이러한 발견들은 학습자들에게 시사하는 바가 있다. 대학생들은 대부분 재독을 학습 전략으로 사용하고 검색 실습을 거의 하지 않기 때문에 검색 효과에 대한 인식이 부족한 것으로 보인다(Karpicke et al. 2009).

These findings have implications for learners. College undergraduates appear to lack an awareness of the retrieval effect as they most commonly employ rereading as a learning strategy and very rarely engage in retrieval practice (Karpicke et al. 2009).

보다 최근에는, 조사관들이 건강직업 교육에 있어서 회복 효과를 입증했다.

More recently, investigators have demonstrated the retrieval effect in health professions education.

TEL의 표준화된 효과 크기는 0.9로 추정되어 실질적인 중요성이 크다(Kreiter et al. 2013).

The standardized effect size of TEL has been estimated at 0.9, indicating large practical importance (Kreiter et al. 2013).

방법

Methods

리뷰 문제

Review questions

우리의 체계적 검토는 질문을 다루었다: 학생이나 공급자(과목)에서, 동일한 자료(비교)를 공부하는 것에 비해 TEL (인터벤션)은 학습, 유지 또는 이전을 증가시키고, 효과의 크기는 어떻게 되는가? 몇 가지 부수적인 질문이 보충 부록 1에 열거되어 있다. 우리는 또한 TEL의 추가 연구를 위한 지역들을 조명했다. 이 mapping review에서는 TEL 문헌의 격차와 방법론적인 단점을 식별하기 위해 노력했다(부록 1 참조).

Our systematic review addressed the question: In health professions students or providers (Subjects), does TEL (Intervention) compared to studying the same material (Comparison) increase learning, retention, or transfer, and what is the magnitude of the effect (Outcome)? Several subsidiary questions are listed in Supplementary Appendix 1. We also illuminated areas for further study in TEL. In this mapping review, we sought to identify gaps and methodologic shortcomings in the TEL literature (Supplementary Appendix 1)

Search strategy

Screening and selection of studies

Inclusion and exclusion criteria

Data extraction and coding

To allow comparison of effects among heterogeneous studies, we determined the effect size (Hojat and Xu 2004; Leppink et al. 2016) if the study provided the requisite data. The effect size for comparing means is determined as the standardized mean difference (SMD). 

For comparing an intervention group to a control group: 

SMD=(meancases- meancontrols)/SDcontrols. 

For comparing two interventions: 

SMD=(meancases - meancontrols)/SDpooled. 

As a measure of the impact of an intervention, the SMD is operationally interpreted as:

• SMD = 0.20 (SMALL, negligible practical importance)

• SMD = 0.50 (MEDIUM, moderate practical importance)

• SMD = 0.80 (LARGE, crucial practical importance)

Assessment of study methodological quality

Reproducibility of data abstraction processes

Results

Reproducibility analyzes

Study retrieval, screening, and inclusion

Figure 1 shows the flow diagram of study screening and eligibility.

The characteristics of the 19 studies (including two PhD theses) appear in Table 1 (study design), Table 2 (demographics, control, and TEL interventions), and Table 3 (outcome measures and results).

연구 특성

Study characteristics (study design)

The design and conduct of the studies, all randomized controlled trials (RCTs), were generally methodologically sound (Table 1).

연구 특성

Study characteristics (demographics, control, and TEL interventions)

이 과목에는 의대생(8개 연구), 간호학생(3개), 연합 보건대학원(2개), 주민(3개), CME 프로그램 내 의사(2개), 치과 및 치과위생과 학생(1개)이 포함되었다. TEL 개입에는 짧은 응답 질문(SAQ), 다중 선택 질문(MCQ), 시뮬레이션(심폐소생술), 표준화된 환자 및 핵심 기능 질문(임상적 추론)이 포함되었다. Key feature은 수험자가 오류를 범할 가능성이 높은 실제 문제의 식별 및 해결 과정에서 어려운 단계를 나타낸다. Key feature은 짧은 응답 형식의 사례 기반 질문에 포함되어 있다(Page et al. 1995; Hrynchak et al. 2014). 짧은 답변 항목은 큐(질문에 대한 응답)와 논큐(관련 정보의 free 리콜)으로 구분되었다.

Subjects included medical students (8 studies), nursing students (3), allied health students (2), residents (3), physicians in CME programs (2), and dental and dental hygiene students (1) (Table 2). TEL interventions included short answer questions (SAQs), multiple choice questions (MCQs), simulation (cardiopulmonary resuscitation), standardized patients, and key features questions (clinical reasoning). A key feature represents a difficult step in the identification and resolution of a problem in practice in which examinees are likely to make errors. Key features are embedded in casebased questions with short answer response formats (Page et al. 1995; Hrynchak et al. 2014). The short answer items were both cued (response to a question) and non-cued (free recall of relevant information).

복수 TEL 시험을 치른 12개 연구 중, 7개 연구는 반복 시험에 동일한 항목(라센, 버틀러, 로이디거 2013; 오글스비, 2013; 돕슨 외 2015; 맥코넬 외 2015b)을 포함했고, 동일한 주제에 대해 서로 다른 항목을 포함했다(리틀과 2014년 4개 포함).새로운 강의나 e-러닝 세션에 연결된 다양한 주제에 대한 다양한 항목(Schmidmaier et al. 2011; Cook et al. 2014; Messineo et al. 2015; Raupach et al. 2016). 

이러한 모든 연구는 연속 TEL 시험을 채택한 한 연구(Dobson 등 2015)를 제외하고 1주-2주 간격으로 반복 TEL 시험을 간격 설정했다. 공동 개입에는 평가 항목에 대한 피드백(이론적 또는 근거 없는 올바른 답변)과 자체 설명이 포함됐다. 후자의 경우, 학생들은 정보의 특정 부분이 중요한 이유와 그것이 기존의 지식과 어떻게 관련되어 있는지에 대한 설명을 생성했다(Chamberland et al. 2015).

Among the 12 studies in which students took multiple TEL tests, seven included identical items on repeated tests (Larsen, Butler, Lawson, et al. 2013; Larsen, Butler, Roediger 2013; Oglesby, 2013; Dobson et al. 2015; Larsen et al. 2015; McConnell et al. 2015b), one included different items on the same topics (Ali and Ruit 2014), and four included different items on different topics (Schmidmaier et al. 2011; Cook et al. 2014; Messineo et al. 2015; Raupach et al. 2016), linked to a new lecture or e-learning session. All of these studies spaced repeated TEL tests at 1–2week intervals, with the exception of one study (Dobson et al. 2015) that employed consecutive TEL testing. Co-interventions included feedback for assessment items (correct answers with or without rationale) and self-explanation. For the latter, students generated explanations about why a particular piece of information is important and how it relates to their existing knowledge (Chamberland et al. 2015).

성과 척도와 결과

Outcome measures and results

19개 연구는 검사(MCQ, SAQ, 에세이, 핵심 기능 질문), 방사선 해석, 시뮬레이션(심장 체포 시나리오), 표준화된 환자 평가(표3)를 포함한 49가지 학습 성과를 보고했다.

The 19 studies reported 49 learning outcomes, including examinations (MCQs, SAQs, essay, key features questions), radiograph interpretation, simulation (cardiac arrest scenario), and standardized patient assessment (Table 3).

6가지 즉각적인 학습 성과 중 5개는 학습보다 TEL을 선호했다(SMD 0.09–0.44). 2

3개의 retention 성과(1주–6개월) 중 21개는 학습보다 TEL을 선호했다(SMD 0.10–2.5).

Among the six immediate learning outcomes, five favored TEL over studying (SMD 0.09–0.44). 

Among the 23 retention outcomes (1week–6months), 21 favored TEL over studying (SMD 0.10–2.5).

세 가지 연구는 transfer에 대한 TEL의 영향을 입증했다. 이 연구의 모든 7가지 전달 결과는 연구보다 TEL을 선호했다. (SMD 0.33–1.1) 시간 경과에 따라 반복적으로 결과를 측정한 모든 연구는 TEL 효과의 붕괴를 발견했다.

Three studies demonstrated the impact of TEL on transfer: All seven transfer outcomes in these studies favored TEL over studying (SMD 0.33–1.1). All of the studies that repeatedly measured outcomes over time found a decay in the TEL effect.

15개의 결과가 서로 다른 TEL 전략을 비교했다. 테스트의 수를 변화시킨 유일한 연구는 1개에 대한 세 가지 TEL 테스트의 장점을 보여주지 못했다(Ali and Ruit 2014). 한 연구는 TEL 테스트당 질문 수를 변화시켰다. 학습 결과 점수는 매우 좁은 범위에서 증가했지만 질문 수가 1에서 5에서 10으로 증가했고 그 이상을 능가하는 이점이 없었다(Cook et al. 2014). SAQ 테스트는 두 가지 연구에서 네 가지 결과(SMD 0.86 및 1.1)에서 MCQ 테스트보다 더 나은 학습 결과를 낳았다(Ali and Ruit 2014; McConnell et al. 2015b). "Context rich" MCQ(지식의 적용 필요)가 "context free" MCQ(사실 인정 필요)보다 더 잘 수행되었다(McConnell et al. 2015b). 표준화된 환자의 TEL을 가진 학생은 SAQs TEL을 가진 학생보다 표준 환자 결과 테스트(SMD 0.71)에서 더 많이 보유했지만, 필기 시험 결과 테스트(Larsen 2013a)에서는 그렇지 않았다. co-intervention으로서 자기설명은 의대생들의 시험을 강화한 것보다 공부를 훨씬 더 향상시켰다.

Fifteen outcomes compared different TEL strategies. The only study that varied the number of tests failed to show an advantage of three TEL tests over one (Ali and Ruit 2014). One study varied the number of questions per TEL test. The learning outcome scores increased, albeit within a very narrow margin, as the number of questions progressed from 1 to 5 to 10 questions, with no further advantage beyond that (Cook et al. 2014). SAQ tests resulted in better learning than MCQ tests in four outcomes in two studies (SMDs 0.86 and 1.1) (Ali and Ruit 2014; McConnell et al. 2015b). “Context rich” MCQs (requiring application of knowledge) performed better than “context free” MCQs (requiring recognition of facts) (McConnell et al. 2015b). Students with standardized patients TEL retained more than students with SAQs TEL on a standardized patient outcome test (SMD 0.71) but not on a written examination outcome test (Larsen 2013a) Self-explanation as a co-intervention enhanced studying (SMD 0.68) to a greater degree than it enhanced testing (SMD 0.28) in medical students (Larsen et al. 2013b).

고찰

Discussion

인지심리학에 관한 연구는 이전에 학습된 정보(retrieval 실습)를 상기하면 미래에 (retrieval 효과 또는 시험강화학습) 정보를 상기할 수 있는 능력이 향상된다는 것을 일관되게 입증한다. 정보를 기억하기 위해 노력하며 신중한 시도를 하는 학생들은 같은 내용을 공부하는데 같은 시간을 보내는 학생들보다 더 나은 학습, 보존 및 이전을 보여준다.

Studies in cognitive psychology consistently demonstrate that recalling previously learned information (retrieval practice) enhances the ability to recall the information in the future (retrieval effect or test-enhanced learning). Students who engage in effortful, deliberate attempts to recall information show better learning, retention, and transfer than students who spend the same time studying the same material.

이 중에서, 단지 19개만이 TEL을 동일한 자료를 학습하거나 서로 다른 TEL 전략과 비교했다. 이러한 연구에서 TEL은 다양한 건강 직업, 학습자 수준, TEL 형식 및 학습 결과에 걸쳐 일관되고 강력한 효과를 보여주었다.

Of these, only 19 compared TEL to studying the same material or to an alternate TEL strategy. TEL, in these studies, demonstrated consistent and robust effects across different health professions, learner levels, TEL formats, and learning outcomes.

19개 연구의 설계와 수행은 모두 무작위 통제 시험이었고, 비교적 높은 품질 점수에서 지적한 바와 같이 일반적으로 양호했다.

The design and conduct of the 19 studies, all randomized controlled trials, was generally sound, as indicated by relatively high quality scores.

TEL은 인지학 및 교육학자에 의해 광범위하게 연구되어 왔다. 실험실 환경 및 1차, 2차, 2차 및 2차 교실에서의 검색 실행을 위한 효과 크기는 0.5로 추정되었다. 우리의 리뷰는 보건전문가들이 이러한 발견들을 내부화하고 TEL 연구에서 확장했다는 것을 보여주었다. 첫째, 두 연구는 모두 복수의 학습자, 설정 및 TEL 형식에 걸쳐 TEL의 일관성 있고 강력한 효과를 발견한다. 인지 심리학 연구는 TEL 개입과 학습 결과를 어떤 유형의 "검사"로 제한했지만, 보건 직업 교육 연구는 방사선 해석, 심폐소생술 시뮬레이션, 표준화된 환자 외 사고 및 임상 추론과 같은 광범위한 임상 평가를 포함했다.

TEL has been extensively studied by cognitive and educational pychologists ( Roediger and Butler 2011; Brame and Biel 2015; Eisenkraemer et al. 2013). The effect size for retrieval practice in laboratory settings and primary, secondary, and post-secondary classrooms has been estimated to be 0.5 (Rowland 2014; Adesope et al. 2017) Our review revealed that health professions educators internalized and extended these findings in their TEL research. Firstly, both literatures find consistent and robust effects of TEL across multiple learners, settings, and TEL formats. While the cognitive psychology studies confined TEL interventions and learning outcomes to “examinations” of some type, health professions education studies included a wider array of clinical assessments, such as radiograph interpretation (Baghdady et al. 2014), cardiopulmonary resuscitation simulation (Kromann et al. 2009, 2010), standardized patient et encounters (Larsen al. 2013a), and clinical reasoning (Raupach et al. 2016).

인지 심리학 실험은 반복된 TEL 테스트가 단지 하나의 시험보다 더 효과적이라는 것을 보여준다. 또한 시간 경과에 따른 시험 간격은 연속 시험보다 우수하다. 우리 7개 건강직업연구의 학생들은 단 1개의 TEL 시험을 치렀고, 나머지는 1주-2주 간격으로 2-8개의 TEL 시험을 보았다. 반복실험(3주)을 단일시험과 비교한 건강전문가들만이 반복실험의 장점을 발견하지 못했다(Ali and Ruit 2014). 이 예상치 못한 결과는 데이터의 극단적인 콘텐츠 특수성에 의해 설명될 수 있다.

Cognitive psychology experiments demonstrate that repeated TEL tests are more effective than just one (Wheeler and Roediger 1992; Roediger and Karpicke 2006; Karpicke and Roediger 2008). In addition, spacing the tests over time is superior to consecutive testing ( Landauer and Bjork 1978; Cepeda et al. 2006; Karpicke and Roediger 2007). Students in seven of our health professions studies took one only one TEL test, while the remainder took 2–8 TEL tests at 1–2 week intervals. The only health professions study that compared repeated testing (3 weekly) with a single test did not reveal an advantage to repeated testing (Ali and Ruit 2014). This unexpected finding might be explained by the extreme content specificity in the data.

인지심리학 연구에서 정보생성이 필요한 항목은 정보인식이 필요한 항목보다 더 잘 수행된다(McDaniel, Anderson 등). Roediger, 2007; McDaniel, et al. 2007; Pyc and Rawson 2009). 이 효과는 "원하는 어려움"이라고 불렸다. 우리의 리뷰는 보건 직업 교육에서 이러한 발견을 확인하였고, 다중 선택 질문보다 짧은 답변 질문의 이점을 보여주었으며, 문맥이 풍부한 다중 선택 질문(지식의 적용이 필요한 질문)의 이점을 입증하였다.

In cognitive psychology studies, items requiring production of information perform better than items requiring recognition of information (McDaniel, Anderson, et al. Roediger, 2007; McDaniel, et al. 2007; Pyc and Rawson 2009). This effect has been called “desirable difficulty.” Our review confirmed this finding in health professions education, demonstrating an advantage of short answer questions over multiple choice questions, and an advantage of context rich multiple choice questions (which require application of knowledge) over context free multiple choice questions.

검색 시도 후 피드백은 시험의 니모닉 효과를 증가시킨다(Bangert-Drowns et al. 1991). 여기에는 학생이 오답을 검색하고 "학습"하는 것을 방지하기 위해 (단순히 맞고 틀린 것이 아니라) 정답을 포함해야 한다(Butler 등, 2007; Butler 및 Roediger 2008). 이는 학생들이 distractor 옵션에서 잘못된 정보에 "노출"되기 때문에 인식 항목에 특히 중요하다. 또한 피드백은 답은 맞췄지만 자신감은 낮았던 응답의 retention을 강화한다(Butler et al. 2008).

Feedback after a retrieval attempt increases the mnemonic effect of testing (Bangert-Drowns et al. 1991). It should include the correct answer (not merely right or wrong) the student from to prevent retrieving and “learning” an incorrect response (Butler et al. 2007; Butler and Roediger 2008). This is particularly important for recognition items because the students are “exposed” to incorrect information in the distractor options (Butler et al. 2006). Feedback also enhances the retention of correct but low confidence responses (Butler et al. 2008).

심리학자들은 회수 효과를 설명하기 위해 몇 가지 이론을 제시했다. 메모리는 다음과 같은 두 가지 차원을 가질 수 있다. 저장storage 강도 및 검색retrieval 강도, Deficit processing theory에 따르면, 초기 학습 동안 이 두 가지는 서로 부정적인 상관관계가 있다. 검색의 어려움(검색 강도가 낮아짐)은 저장 강도의 상승을 가져온다. 정보를 기억하는 것은 그것을 읽거나 인식하는 것보다 더 어렵다. 이는 또한 간격 효과를 설명할 수 있다. 간격 효과는 연속 시험 시 정보를 상기하는 것보다 intervening time gap을 사용하여 정보를 반복적으로 호출하는 것이 더 어렵게 만들기 때문이다.

Psychologists have proposed several theories to explain the retrieval effect ( Roediger and Butler 2011; Karpicke and Grimaldi 2012; Yeh and Park 2015) Memory may have two dimensions: storage strength and retrieval strength, which, according to the deficient processing theory, are negatively correlated during initial learning. More difficult retrieval (lower retrieval strength) results in higher gains in storage strength. Recalling information is more “difficult” than reading or recognizing it. This may also explain the spacing effect as it is more “difficult” to repeatedly recall information with intervening time gaps than to recall it on consecutive trials. 

transfer appropriate processing theory에 따라 메모리 성능은 학습 맥락이 검색 맥락과 일치할 경우에 향상된다. 시험의 실행은 단순히 자료를 다시 읽는 것보다 최종 시험의 조건에 더 가깝다. 

Memory performance, per the transfer appropriate processing theory, is enhanced to the extent that the learning context matches the retrieval context. The act of testing as practice more closely approximates the conditions on the final test than simply rereading the material. 

마지막으로, 메모리에서 정보를 검색하면 메모리 추적을 상세히 설명하고 추가 검색 경로(큐)를 만들 수 있으며, 이는 정보가 미래에 다시 성공적으로 검색될 가능성을 더 높인다. 이러한 영향은 아마도 개별 시냅스 수준의 분자 변화와 뉴런 네트워크의 보다 광범위한 수정에 동반할 것이다(Friedlander et al. 2011).

Finally, retrieval of information from memory may elaborate the memory trace and create additional retrieval routes (cues), which make it more likely that the information will be successfully retrieved again in the future. At the neuronal level, these effects presumably accompany both molecular changes at the level of individual synapses and more widespread modifications of the neuronal network (Friedlander et al. 2011).

요컨대, 보건직의 TEL은 다양한 직업, 학습자 수준, TEL 형식 및 학습 성과 전반에 걸쳐 일관되고 강력한 효과를 보여주었다.

In summary, TEL in the health professions demonstrated consistent and robust effects across different professions, learner levels, TEL formats, and learning outcomes.

이러한 발견들은 건강직의 교육자들에게 몇 가지 의미를 가진다. 교육자들은 의료 정보의 리콜, 보존 및 이전을 강화하기 위해 커리큘럼에 TEL을 포함시킬 것을 고려해야 한다. 이상적으로는 TEL "시험"을 반복하고, 시간 경과에 따라 간격을 두고, 정보생성이 필요한 항목을 활용하고, 정확한 응답과 논리로 피드백을 포함시켜야 한다.

These findings have several implications for educators in the health professions. Educators should consider including TEL in their curricula to enhance recall, retention, and transfer of medical information. Ideally, TEL “tests” should be repeated, spaced over time, utilize items that require production of information, and include feedback with the correct responses and rationale.

교육자들이 이미 과중한 교과과정에 TEL을 통합하는 것은 어려울 수 있다. 

• 그들은 각각의 강의나 다른 학습 세션에 관계된 몇 개의 짧은 답안 문제를 가진 약간의 강의 시간에 퀴즈에 넣을 수 있다. 

• 학생들은 시험을 치르기 위해 그들의 헌신적인 학습 시간을 "빌려와야" 할지도 모른다. 

• 비록 그들이 퀴즈를 끝낸 후에 정답을 볼 수도 있지만, 그럼에도 불구하고 그들은 정해진 시간 간격에 걸쳐 그것을 다시 맞출 것이다. 

• 마지막으로, 선생님은 정답에 대한 설명을 제공하기 위해 수업시간에 퀴즈를 다시 볼 것이다. 

• 이 역할에서 교수진은 짧은 질문에 대한 "정답" 답변의 범위에 대해 명확한 설명을 제공해야 한다. 

우리의 검토 결과들은 커리큘럼 시간에서의 그러한 트레이드오프가 가치가 있을 것이라는 것을 암시한다.

It may be challenging for educators to integrate TEL into already overfilled curricula. They might appropriate some didactic lecture time for a quiz, with a few short answer questions, linked to each lecture or other learning session. The students might “borrow” some of their dedicated study time to take the quiz. Even though they might see the correct answers after completing the quiz, they would nonetheless retake it over specified time intervals. Finally, the teacher would revisit the quiz in class time to provide explanations for the correct answers. In this role, faculty should provide clear explanations for the range of “correct” responses to the short answer questions. The findings in our review suggest that such tradeoffs in curricular time would be worthwhile.

더욱이, 검색 관행은 공식적인 "시험"으로 제한될 필요가 없다. 학생이 자신이 배우고 있는 자료를 고려하고, 그것을 제쳐 두고, 그것을 적극적으로 재구성할 때마다, 그녀는 검색 연습을 하는 것이다. 여기에는 질문 간 온라인 학습 모듈(DelSignore et al. 2016; Raupach et al. 2016), 질문이 있는 전자 플래시 카드(Schmidmaier et al. 201) 및 다양한 문항 생성 애플리케이션이 포함될 수 있다. 

Furthermore, retrieval practice need not be restricted to formal “tests.” Whenever a student considers the material she is learning, sets it aside, and actively reconstructs it, she is engaging in retrieval practice. These might include elearning modules with interspersed questions (DelSignore et al. 2016; Raupach et al. 2016), electronic flashcards with questions (Schmidmaier et al. 2011), and various question generating applications. 

마지막으로, 교육자들은 검색 연습을 통합하기 위해 기존의 교육 "과제" 전략을 수정할 수 있다. 교육자들은 "오픈북" 학습 활동을 "closed book" 활동으로 바꿀 수 있으며, 그 다음에는 피드백을 줄 수 있다. 인지 심리학 연구에서, 이러한 "closed book" 방식이 take home quizzes에 적용되거나(Agarwal et al. 2008)와 개념 매핑(Blunt and Karpicke 2014)에 적용되어 학습이 크게 향상되었다.

Finally, educators can modify existing educational “homework” strategies to incorporate retrieval practice. Educators can change “open book” learning activities to “closed book” activities followed by feedback. In cognitive psychology studies, these “closed book” modifications applied to take home quizzes (Agarwal et al. 2008) and concept mapping (Blunt and Karpicke 2014) greatly enhanced learning.

우리의 발견은 또한 학생들과 훈련생들에게 영향을 끼친다. 대학생들은 메타인지 능력이 떨어지는 것을 보여준다. 그들은 실제로 반복된 회상 연습을 통해 더 많이 배우지만, 이렇게 해 보기 전까지 학생들은 반복된 읽기로 더 많은 것을 배울 것이라고 예측한다(Roediger와 Karpicke 2006). 이러한 믿음과 일관되게, 학부생들은 대부분 반복적인 독서를 연구 전략으로 사용하며, 인출 연습은 매우 드물게만 실천한다(Karpicke et al. 2009). 결과적으로, 보건전문직학생들은 효과적인 학습 전략으로 여러 TEL 퀴즈나 검색 관행을 쉽게 받아들이지 않을 수 있다. 

Our findings also have implications for health professions students and trainees. College undergraduate students demonstrate poor metacognitive awareness. While they actually learn more with repeated retrieval practice, they predict, prior to engaging, that they will learn more with repeated reading (Roediger and Karpicke 2006). Consistent with this belief, undergraduates most commonly employ repeated reading as a study strategy and very rarely engage in retrieval practice (Karpicke et al. 2009). Consequently, health professions students may not readily embrace multiple TEL quizzes or retrieval practice as an effective study strategy. 

교육자들은 설득력 있는 데이터를 공유하거나 학생들이 검색 연습을 하게 하여 반복된 판독에 비해 보존 상태가 개선되는지 확인해야 할 수 있다(Dobson 및 Linderholm 2015). 일단 TEL의 장점을 설득하면, 학생들은 평가가 단지 외부 이해관계자들에 의해 행해지는 행정적인 연습이 아니라는 것을 아는 데서 만족을 얻어야 한다. 반대로, 평가는 단순 학습이 할 수 없는 방식으로 학습을 장려한다.

Educators may need to share the persuasive data or invite students to try retrieval practice and see if it improves their retention compared to repeated reading (Dobson and Linderholm 2015). Once persuaded of the virtues of TEL, students should find gratification in the knowledge that assessment is not merely an administrative exercise imposed by external stakeholders. On the contrary, assessment promotes learning in ways that studying cannot.

Med Teach. 2018 Apr;40(4):337-350. doi: 10.1080/0142159X.2018.1430354. Epub 2018 Feb 1.

Test-enhanced learning in health professions education: A systematic review: BEME Guide No. 48.

의학교육에서 거꾸로교실의 효과성에 대한 체계적 문헌고찰(Med Educ, 2017)

A systematic review of the effectiveness of flipped classrooms in medical education

Fei Chen,1 Angela M Lui2 & Susan M Martinelli1

도입

INTRODUCTION

최근 전통적인 강의 방식에서 벗어나 학생들의 높은 수준의 사고와 적극적인 참여를 장려하는 다른 교육적 접근법으로 전환하라는 요구가 제기되었다.1 이러한 접근 중 많은 관심을 받은 것은 학생들이 독립적으로 배울 수 있도록 하는 뒤집힌 교실이다. 필수 숙제로써 기본 개념들, 그리고 이것을 얻은 지식을 수업 시간 동안 사용하여 비판적 사고 기회와 지식의 적용에 관여한다. FC라는 용어는 2012년에 만들어졌고 전세계적으로 인기를 얻었다.3 FC는 교실 밖에서 독립적인 학습과 기술 사용의 통합을 촉진하고, 학습자 중심의 활동4 및 보다 효율적인 학생-교사 상호 작용을 촉진할 것을 제안한다.5

There has been a recent call for a shift in medical education away from the traditional lecture approach and toward other instructional approaches that encourage higher-order thinking and active participation from students.1 One such approach that has received much attention is the flipped classroom (FC), which allows students to independently learn foundational concepts as required homework, and then use this gained knowledge during class time to engage in critical thinking opportunities and application of knowledge. The term FC was coined in 20122 and has gained popularity worldwide.3 It is suggested that the FC promotes the integration of independent learning and use of technology outside the classroom, and learner-centred activities4 and more efficient student–teacher interactions inside the classroom.5

전통적인 교실에서는, 기초지식이 강사들에 의해 전달되는 강의를 통해 수동적으로 학생들에게 전달된다. 강의가 끝난 후, 학생들은 이 지식을 교실 밖에서 사용하고 적용한다.

In a traditional classroom, foundational knowledge is passively transferred to students during class through the means of a lecture delivered by instructors. Following the lecture, students use and apply this knowledge outside the classroom setting.

FC의 일반적인 정의는 교실 안과 밖에서 완료된 작업이 전통적인 교실에서 발생하는 것과 반대되는 접근방식이다. 

• 기초지식은 수업 전에 자기 주도적인 학습을 통해 습득된다. 

• 지식 응용과 문제 해결은 교관 중심의 학습 위주의 활동을 통해 교실 내에서 이루어진다. 

이 일반적인 정의는 광범위하여 강의실 내부 및 외부의 활동 이행의 가변성을 허용한다.8 

The general definition of the FC is an approach in which the tasks completed inside and outside of the classroom are opposite to what occurs in a traditional classroom. 

• Foundational knowledge is gained by students through self-paced learning prior to class. 

• Knowledge application and problem solving then occur inside the classroom through instructor-facilitated learner-centered activities.4,6,7 

This general definition is broad, allowing for variability in the implementation of activities inside and outside the classroom.8 

보건과학 교육 분야에서 FC의 사용에 관한 문헌은 지난 몇 년 동안 발전해 왔다. 그러나 이 일의 대부분은 약국과 간호에서 수행되었다.9–20

The body of literature on the use of the FC in the field of health science education has grown over the past several years. However, the majority of this work was carried out in pharmacy and nursing.9–20

보건과학 분야의 대부분의 연구는 FCs.5,6,9,23에 대한 학습자 선호를 입증했지만, 긍정적인 태도만으로는 교사들이 의료 교육에서 FC 접근 방식으로 전환할 수 있는 충분한 설득력 있는 증거가 될 수 없다. 전통적으로 의대 전반부에 이용되었던 비임상 강의실 및 실험실 기반 교육 환경은 다른 건강 직업과 유사할 수 있지만, 이러한 학습 환경은 의학교육 환경 전반(UME, GME, CPD)으로 보면 단연 minority에 해당한다.

Most studies in the health sciences demonstrated learner preference for FCs.5,6,9,23 However, positive attitudes alone may not be sufficiently compelling evidence for teachers to convert to an FC approach in medical education. Although the non-clinical classroom and laboratory-based educational environment traditionally utilised in the first half of medical school may be similar to other health professions, this learning environment is by far in the minority in the overall (undergraduate, graduate and continuing) medical education setting.

비록 의학 교육에서 FC의 사용을 전반적으로 수용하는 것으로 보이지만, 일부 논평들은 FC의 구현과 그 효과에 대한 강력한 증거 부족에 대한 우려를 제기하고 있으며, 따라서 그러한 25-28 교육 개혁의 비용 대 편익에 의문을 제기하고 있다. 이러한 우려는 의학 교육에서 FC의 학습 성과에 초점을 맞춘 연구를 필요로 한다.

Although there appears to be overall acceptance of the use of the FC in medical education, some commentaries have raised concerns about its implementation and the lack of strong evidence for its effectiveness, and therefore question the cost versus benefits of such 25–28 educational reform. These concerns call for research focusing on the learning outcomes of FCs in medical education.

우리는 다음과 같은 세 가지 연구 질문에 답하고자 했다. 

• (i) 의료 교육에서 FC에 발표된 연구의 범위는? 

• (ii) 조사된 연구의 연구 품질은 무엇인가? 

• (iii) 통제된 연구에서 보고한 FC의 영향은?

We sought to answer three research questions: 

• (i) What is the scope of the studies that have been published on FCs in medical education? 

• (ii) What is the research quality of the studies examined? 

• (iii) What are the effects of the FC, as reported by controlled studies?

METHOD

Literature search

Review procedure

Figure 1 summarises the review process and count of articles after each stage.

The first two authors screened the articles according to the inclusion criteria (see Table 1).

결과

RESULTS

의학교육에서 출판된 FC논문 

The scope of published studies on the FC in medical education

국가

Countries of study

Although over half of the 46 articles (n = 25) were focused on medical education in the USA, the concept of the FC in medical education has travelled internationally. The UK (n = 5), Canada (n = 3), Hong Kong (n = 2) and India (n = 2) produced multiple articles. Other countries and regions represented within this body of articles included France, Germany, Israel, New Zealand, Pakistan and Singapore.

전공

Area of specialties

There were 17 distinct medical specialties studied across the 46 articles.

교육단계

Level of medical education

Our search included all 4 years of medical school (including preclinical and clerkship), residency and fellowship.

출판된 논문의 퀄리티

The quality of published studies on FC in medical education

발표된 논문의 품질은 연구 유형 또는 설계 및 사용된 효과의 측정을 포함하여 사용된 방법론에 따라 평가되었다. Boet et al.29에서 설명한 범주를 사용하여 연구를 코드화했다.

The quality of the published articles was evaluated based on the methodology used, including the study type or design and the measure of effectiveness used. Categories described by Boet et al.29 were used to code the studies.

연구 종류

Type of study

46개의 기사에는 13개의 논평, 9개의 통제된 연구, 8개의 행동 연구, 8개의 과정 후 설계 연구, 2개의 연구 전과 후 및 2개의 문헌 검토가 포함되었다. 네 가지 연구는 과정 후 평가와 함께 연구 전후의 설계를 사용했다.

The 46 articles included 13 commentaries, nine controlled studies, eight action research studies, eight post-course design studies, two before and after studies and two literature reviews. Four studies used a before and after study design in conjunction with a post-course survey.

9개의 통제된 연구를 자세히 조사한 결과 이들 연구 중 4개가 설계 전후에 통제된 것을 사용했다(부록 S1 참조). 즉, 이러한 연구는 개입이 시행되기 전후에 치료(FC)와 통제(전통적인 강의) 그룹 모두를 조사했다.

A closer examination of the nine controlled studies showed that four of these studies used a controlled before and after design (see Appendix S1). That is, these studies examined both the treatment (FC) and control (traditional lecture) groups before and after the intervention was implemented.

효과 척도

Measures of effectiveness

본 연구의 효과성 측정은 ....

The studies’ measures of effectiveness were evaluated based on a modified version of Kirkpatrick’s framework29,30 with six levels of classification of intervention outcome: 

(1) perceptions of intervention, 

(2a) changes in attitude, 

(2b) changes in knowledge and skills, 

(3) changes in behaviours, 

(4a) changes in professional practice or 

(4b) changes in patient outcome. 

전반적으로 46개 기사 중 18개는 중재 결과를 보고하지 않았다.

Overall, 18 of the 46 articles did not report the intervention outcomes.

FC의 효과

The effects of FC

학습에 대한 FC의 영향을 평가하기 위해, 제어된 설계를 채택한 9개의 연구가 추가 분석을 위해 선택되었다. 이러한 각 연구의 요약은 표 3에 제시되어 있다.

To assess the effects of the FC on learning, the nine studies that employed a controlled design were selected for further analyses. Summaries of each of these studies are provided in Table 3.

FC에 대한 인식

Perceptions of FC

6개의 통제된 연구는 직접 FC 노출 이후 기간 또는 과정의 종료 시 관리되는 자체 보고 설문조사를 사용하여 FC에 대한 학생들의 인식을 평가했다.

• 학생들은 일반적으로 자기 진행식 학습을 위한 리소스(예: 비디오 및 슬라이드)에 쉽게 액세스할 수 있기 때문에 온라인 모듈의 유용성, 특히 접근 방식에 만족했다.

• 학생들은 또한 수업에서의 학생 참여를 증가시키는 중요한 동기부여 요소였기 때문에, 수업내 세션을 강화시키는 inclass 퀴즈와 숙제, 문제 해결 연습에 만족했다.23

Six controlled studies assessed students’ perceptions of the FC using self-reported surveys administered at the conclusion of a term or course following firsthand FC exposure.3,23,33–36 

• Students were generally satisfied with the approach, particularly the usefulness of the online modules,3 because of easy access to resources (e.g. videos and slides) for self-paced learning.33 

• Students were also satisfied with the inclass quizzes and homework problem-solving practices that reinforced the in-class sessions, as they were critical motivating factors that increased student engagement in class.23

FC이후 태도변화

Attitude changes after using the FC

세 가지 연구는 FC,33,35,36에 노출되어 긍정적인 변화를 보고한 학생들의 태도를 추적했다.

Three studies tracked students’ attitudes following exposure to the FC,33,35,36 all reporting positive changes.

지식, 기술, 태도 변화

Knowledge, skill and behaviour changes with the FC curriculum

지식과 기술의 변화는 결과 변수로써 모든 3,23,33–39개의 통제된 연구에서 평가되었다. FC와 전통적인 강의 교수 접근법으로 학생들의 지식과 기술의 변화를 조사하는 연구는 혼합된 결과를 보여주었다; 일부는 긍정적인 결과를 초래했고 다른 일부는 무시할 만한 차이를 낳았다(표 3).

Changes in knowledge and skill were assessed in all 3,23,33–39 nine controlled studies as outcome variables. Studies examining students’ changes in knowledge and skill with the FC versus the traditional lecture teaching approach revealed mixed results; some resulted in positive findings and others resulted in negligible differences (Table 3).

또한, 이 네 가지 연구 중 Hiitz 외만이 학습자의 compliance 수준을 기록하고, FC 프로토콜에 대한 non-compliance 문제(즉, 31.1% 미준수)를 보고하였다. 그렇게 함으로써 FC의 진짜 효과에 대한 finding을 compromise하였다.

Furthermore, among these four studies, only Heitz et al. documented learners’ level of compliance with the treatment and reported the issue of non-compliance with the FC protocol (i.e. 31.1% non-compliance), thereby compromising findings of the true effects of the FC.

고찰

DISCUSSION

이 문헌 리뷰는 의학 교육에서 FC에 대한 연구의 현재 상태에 대한 네 가지 주요 연구 결과를 강조한다. 

• 첫째, 최근 이 분야의 출판률이 증가하면서 의학 교육에서 FC를 평가하는 작업이 탄력을 받고 있는 것으로 보인다. 

• 둘째, FC가 학습에 미치는 영향은 일관성이 없어서, 일부 이익이 된다고 알려진 것과 전통적인 교수법에 비해 무시할 수 있는 개선만 보고된 것이 혼재한다.

• 셋째, 학생들은 FC 교수법을 좋아한다. 전반적으로, FC는 특히 학생들의 동기부여, 과업가치 및 참여도를 높이기 위한 것이라면, 의학 교육에서 유망한 교수법 접근법으로 보인다. 

• 그러나 대부분의 통제된 연구는 개입에 대한 학습자의 인식과 지식 및 기술의 변화에 초점을 맞춘 반면, 커크패트릭의 높은 수준의 분류(즉, 행동 변화, 전문적 관행 및 환자 결과)에 대해 보고된 것은 제한적이다.

This literature review highlights four key findings on the current status of research on the FC in medical education. 

• First, work evaluating the FC in medical education appears to be gaining momentum as there have been recent increases in the publication rate in this field. 

• Second, the effects of the FC on learning are inconsistent, with some purported benefits and some reports of negligible improvement over traditional teaching methods. 

• Third, students like the FC teaching method. Overall, the FC seems a promising teaching approach in medical education, particularly when the intent is to increase students’ motivation, task value and engagement. 

• However, most of the controlled studies focused on learners’ perceptions of the intervention and changes in their knowledge and skills, whereas limited outcomes were reported on the higher level of Kirkpatrick’s classification (i.e. changes in behaviour, professional practice and patient outcome).

우리의 체계적 검토는 지난 2년 동안 의학 교육에서 FC에 대한 연구의 양과 질이 모두 증가했다는 것을 발견했다.

Our systematic review found an increase in both the quantity and the quality of research on the FC in medical education in the past 2 years.

이는 의학 교육에서 FC에 관한 문헌이 지속적으로 성장하고 있을 뿐만 아니라 보다 엄격한 연구 디자인을 사용하여 진행되고 있음을 시사한다. 의료 교육에서 FC를 사용하기 위한 강력한 경험적 기반을 개발하기 위해 이 궤적을 계속해야 한다.

This suggests that the body of literature on the FC in medical education is not only continuing to grow, but is also being conducted using more rigorous research designs. This trajectory must continue in order to develop a strong empirical basis for (or against) the use of the FC in medical education.

전통적인 학습 방법과 비교하여 FC를 이용할 때 많은 연구들이 지식과 기술 집합의 증가를 조사했으며, 그 중 4개만이 효과 크기를 계산할 수 있는 충분한 통계를 제공했다. FC의 효과는 일반적으로 혼합되었고 확실하지 않았다. 이 분야에서 향후 연구에서 고려해야 할 한 가지 요인은 Heitz et al.,34에서 알 수 있듯이, 연구의 비준수 그룹이 상당히 상당하기 때문에 학생들이 FC 요건(즉, 수업 중 세션 전에 배정된 준비 작업을 완료했는가)을 준수하는 것이다. 궁극적으로, FC 요구 사항을 준수하는지 여부가 (전통적인 교실과 비교했을 때) 지식과 기술의 차이에 큰 영향을 미칠 수 있다.

A number of studies examined gain in knowledge and skill sets when utilising the FC compared with traditional learning methods, only four of which provided sufficient statistics for effect sizes to be calculated. The effects of the FC were generally mixed and inconclusive. One factor that might need to be taken into account in future research in this area is students’ compliance with the FC requirements (i.e. did the students complete the assigned preparatory work before the in-class session) because, as indicated by Heitz et al.,34 the non-compliant group in their study was quite substantial (31%). Ultimately, students’ compliance with FC requirements might drastically affect differential gains in knowledge and skill sets compared with the traditional classroom.

여러 연구들이 FC에 대한 학생들의 인식과 태도를 평가했는데, 이것은 일반적으로 긍정적인 것으로 밝혀졌다.

Multiple studies evaluated students’ perceptions of and attitudes toward the FC, which were generally found to be positive.

학생들이 FC에 대해 긍정적인 태도를 보였고, 이 테크닉이 최소한 지식과 기술 집합 습득에 관해서는 전통적인 학습 방법만큼 성공적인 것으로 밝혀짐에 따라, FC는 의료 교육의 구성요소로 고려될 수 있을 것이다.

As students demonstrated positive attitudes toward the FC and the technique was found to be at least as successful as traditional learning methods with regards to knowledge and skill set acquisition, it follows that the FC could be considered as a component of medical education.

의료 교육에서 FC의 사용을 더욱 확고히 지지(또는 반박)하기 위해서는 Kirkpatrick의 프레임워크의 더 높은 수준을 평가하기 위한 향후 연구를 수행해야 한다.

In order to more firmly support (or refute) the use of the FC in medical education, future studies should be carried out to evaluate the higher levels of Kirkpatrick’s framework.

이 분야의 대부분의 작업은 학부 의대에서 실시되었다. 이러한 연구 결과가 GME까지 일반적일지는 불확실하다. 이것은 특히 이 시기는 교실과 실험실 기반 기초 과학 교육에 초점을 맞추는 경향이 있기 때문에 의과대학 전임상 시기에 수행된 연구에 적용된다.

The majority of work in this area has been carried out in undergraduate medical education. It is unclear if these findings would be generalisable to graduate medical education. This especially holds true for the research carried out in the preclinical years of medical school as this period tends to focus on classroom and laboratory-based foundational science education.

독립적인 변수로서 그리고 학생 지식의 변화의 moderator로서 태도 변화는 검토할 가치가 있을 수 있다. 지식의 변화에 관한 연구의 많은 부분은 지식 습득을 검토했다. 궁극적으로, 이 지식의 보존과 전달retention and transfer을 살펴보는 것이 도움이 될 것이다.

Changes in attitudes, as an independent variable and moderator of change in student knowledge, could be worthy of examination. Much of the work on change in knowledge has examined knowledge acquisition. Ultimately, it would be helpful to look at knowledge retention and transfer of this knowledge

연구의 유효성을 강화하기 위해, 향후 조사는 개입의 영향을 잠재적으로 교란시킬 수 있는 상황적 변수에 대한 통제를 고려해야 한다.

In order to strengthen the validity of studies, future investigations should also consider controlling for contextual variables that might be potentially confounding the impact of interventions.

예를 들어, 무료 개방형 액세스 의약품 교육(FOAM)에 대한 노출이 증가하고 있다.2 이러한 공유되고 쉽게 접근할 수 있는 자원을 통해, FC와 기존 학습 간의 직접 비교의 타당성이 훼손될 수 있다. 다시 말해서, FC와 전통적인 강의 접근법 양쪽의 학생들이 모두 FOAM 교육에 참여한다면 FC 접근법의 진정한 효과는 약화될 수 있다.

For example, there is a rising exposure to free open access medication education (FOAM).2 With these shared and easily accessible resources, the validity of any direct comparisons between the FC and traditional learning could be compromised. In other words, the true effects of the FC approach might be attenuated if students in both FC and traditional lecture approaches are engaged in FOAM education.

마지막으로, 시간적 요인(예: 수업 시간, 수업 외 시간, 임상 작업 시간, 개인 시간)을 고려하는 것이 중요하다. FC의 영향에 대한 현재의 경험적 연구는 아직 이것들을 변수로 검토하지 않았다. 이것은 또 다른 가능한 다음 단계다.

Finally, it is important to take the temporal factors (e.g. time spent in class, outside of class and in clinical work, and personal time) into consideration. Current empirical studies on the effects of the FC have yet to examine these as variables. This is another possible next step.

CONCLUSIONS

A systematic review of the effectiveness of flipped classrooms in medical education.

거꾸로교실의 학업 성과: 메타분석(Med Educ, 2018)

Academic outcomes of flipped classroom learning: a meta-analysis

Kuo-Su Chen,1,2,3 Lynn Monrouxe,2,3 Yi-Hsuan Lu,1,2,3 Chang-Chyi Jenq,2,3,4 Yeu-Jhy Chang,2,3,5

Yu-Che Chang2,3,6 & Pony Yee-Chee Chai7

도입

INTRODUCTION

Given that the FC pedagogical model has been adopted across a wide range of disciplines, data pooling across multiple disciplines may help to increase statistical power and identify differences in the effects across different domains.

• RQ1 FC 학습 접근법이 고등교육에서 LB 학습 접근법보다 학생들의 강화된 지식과 행동과 더 관련이 있는가?

• RQ2 이것이 맥락에 따라 다른가(예: 연구 방법, 출판 연도, 출판 포럼, 학생 그룹 및 학습 환경)?

• RQ1 Is the FC learning approach associated with students’ enhanced knowledge and behaviour more than the LB learning approach in higher education?

• RQ2 Does this differ by context (e.g. research method, publication year, publication forum, student group and learning environment)?

방법

METHODS

The meta-analysis was undertaken following the PRISMA (preferred reporting items for systematic reviews and meta-analyses) statement (see Box 1 for definitions of terms used in a meta-analysis).42

Eligibility criteria

Data sources

Search strategy

‘flipped classroom’, ‘flipped education’, ‘flipped learning’, ‘reverse classroom’, ‘backward classroom’, ‘inverted classroom’ and ‘inverse classroom’.

Study selection

Assessment of methodological quality

The Effective Public Health Practice Project (EPHPP) Quality Assessment Tool44 was used to appraise methodological quality as it is suitable for both interventional (RCT, quasi-experimental) and observational (cohort, historical control and case– control) studies.

Data synthesis

Data were independently extracted by two reviewers (Y-HL and K-SC) using a standardised form. The extracted information included publication type and year, design, demographics of participants, intervention and control, and type of outcomes measured. The cognitive levels of learning outcomes measured were categorised according to the Kirkpatrick model43 and Bloom’s taxonomy.45

결과

RESULTS

연구 검색 및 선택

Study search and selection

The process is summarised in a PRISMA42 flow diagram (Fig. 1).

포함된 연구들

Scope of the included studies

Of the 46 included studies, 36 were journal articles, nine were conference abstracts and one was a thesis (Table S1).

Outcomes measured

Multiple effect measures were reported. We classified the effect measures into three categories: 

• examination scores (n = 41); 

• course grades (n = 9); and 

• objective structured clinical examinations (OSCEs) (n = 2). 

The examination scores were 

• the results of MCQ tests (n = 20) and 

• written examinations or essays (n = 3), 

• a combination of different formats (n = 5) or 

• were unclear (n = 13).

Of the 41 studies reporting examination scores, seven were before–after studies and provided pre–post score changes. All examination score outcomes evaluated knowledge change according to Kirkpatrick’s level 2 measurement (learning).43

The level of cognitive learning evaluated in these tests comprised only lower cognitive levels in one study, ranging from low to high (levels 1–6 in Bloom’s taxonomy45)in 16 studies and were not described in 24 studies.

연구의 퀄리티

Quality assessment of the included studies

방법론적 품질 평가(36개 저널, 논문 1개)는 36개 연구가 높은 편향 위험을 나타냈으며, 한 연구는 편향의 위험이 낮다는 것을 보여주었다(자세한 내용은 표 S2 참조). 가장 약한 지표는 blinding이었다. 데이터 수집, 교란 요인 및 인출 도메인에서도 위험성이 높았다.

Methodological quality assessment (36 journal articles, one thesis) showed that 36 studies exhibited a high risk of bias and one study had a moderate risk of bias (see Table S2 for details). The weakest indicator was blinding. Risks were also high in the data collection, confounders and withdrawal domains.

낮은 보고 질은 높은 편향 위험을 야기하는 중요한 원인이었다. 많은 품질 지표가 명확하게 설명되지 않았거나 누락되었다. 자주 누락된 정보: 연구 설계, 적격 모집단, 참가자 및 중퇴자 모집단, 기준 그룹 간의 중요한 교란 요인, 결과 평가 도구의 신뢰성/유효성. 이것은 많은 연구를 편견의 높은 위험성으로 평가하게 했다.

Poor reporting quality was an important cause of a high risk of bias. Many quality indicators were not clearly described or were absent. Frequently missing information included: study design; eligible population; participant and dropout populations; important confounders between groups at baseline, and the reliability/validity of outcome assessment tools. This resulted in many studies being rated with a high risk of bias.

메인그룹, 서브그룹 메타분석

Main and subgroup meta-analyses

2개 연구로도 가능함

Following Valentine et al.,57 we note that it is possible to undertake a meta-analysis with as few as n = 2 studies.

성과 척도에 따라

Meta-analyses by outcome measures

Data pooling of all 46 studies was undertaken according to the type of outcome measure reported. Significantly higher examination scores, pre–post examination score improvements and course grades for the FC approach were identified (Table 2, Fig. 2). However, no significant effect was noted when the outcome measure was an OSCE score.

맥락에 따라 

Subgroup analyses by context

A subgroup analysis was undertaken for the outcome of examination scores.

메타 리그레션

Meta-regression for the examination score outcome measure

Meta-regression by year (Fig. S8) showed a significant correlation (p = 0.023) between publication year and effect size (by excluding the year 2012, which had only one single study), but nosignificant relationship between sample size and outcome (p = 0.856). 

Publication bias

고찰

DISCUSSION

체계적 검토에 대한 서술적 접근법의 주관성을 피하고, 다수의 영역에서 FC 방법의 상대적 효과를 확인하기 위해 데이터를 수집하기 위해 메타 분석 접근법을 채택했다.59

Our meta-analytical approach was adopted to avoid the subjectivity of the narrative approach to systematic reviews, and to pool the data from a large number of studies to ascertain the relative effectiveness of the FC method across a number of domains.59

우리는 (우리가 검색한 전자 데이터베이스에 연구가 제공된다면), 모든 분야와 국가에 대한 연구를 포함하였고, 다양한 교육 환경에서 시험 점수와 과목 성적(즉, 이론적 지식과 관련된)에 대한 중국 연구의 결과를 재확인했다. 그러나 OSCE 결과(기술과 관련된)의 경우, 분석 결과 FC 조건에서 이점이 없었다. 메타 분석은 최소 두 개의 연구를 사용하여 수행될 수 있다는 주장에도 불구하고, 57 이 후자의 결과는 우리 데이터베이스에 OSCE 결과를 보고하는 연구 결과가 소수라는 점과 그 연구마다 결과가 크게 다르다는 사실에 기인할 수 있다.

We included studies across all disciplines and countries, as long as the studies were available in the electronic databases we searched, verifying the findings from the Chinese studies for examination scores and course grades (i.e. related to theoretical knowledge) across a range of educational settings. However, for the OSCE outcome (related to skills) our analysis found no advantage for the FC condition. Despite the assertion that meta-analysis can be undertaken using as few as two studies,57 this latter finding may be a result of the small number of studies reporting OSCE outcomes in our database and the fact that their results were greatly divergent.

또한 여러 연구 설계 간에 FC 유효성 불일치가 나타났다. 

RCT에서는 장점이 없었지만, 코호트 또는 준 실험 연구는 LB 조건에 비해 FC의 유의한 장점을 보여주었다. 우리 연구에서 발견된 FC 조건의 이러한 유효성 부족은 RCT에서 FC 접근법의 상당한 이점을 보여준 이전의 두 메타 분석 7,8의 결과와 직접적으로 모순된다. 이러한 불일치는 데이터 집합의 소수의 RCT가 다시 한 번 이유일 수 있다.

Our study also revealed inconsistencies in FC efficacy between different study designs: cohort or quasi-experimental studies, but not RCTs, showed a significant advantage of the FC over the LB condition. This lack of efficacy for the FC condition found in our study directly contradicts the findings from the two earlier meta-analyses,7,8 which demonstrated a significant advantage of the FC approach in RCTs. This discrepancy may reflect, once again, the small number of RCTs in our dataset.

연구 중인 특정 학생 그룹에 따르면 우리의 결과에서 더 많은 차이가 발견되었다. 따라서 의료, 약국, 비건강 과학 교육 학생 그룹은 FC 경험으로부터 이익을 얻는 것처럼 보였지만, 간호학과 다른 건강 과학 학생들에게는 그렇지 않았다.

Further differences were found in our results according to the particular student group under study. Thus, medical, pharmacy and non-health science education student groups appeared to benefit from their FC experiences, but this was not the case for nursing and other health science students.

또한, 각 종목별 FC 방법론에서 상대적인 성숙도를 고려할 때, 우리의 누적 분석은 시간이 경과함에 따라 FC 조건의 결과가 점진적으로 개선되는 경향을 시사한다는 것을 유념할 필요가 있다. 따라서 FC 방법에 대한 점진적인 이해, 새로운 기술의 활용, FC 방법과 관련된 교수 기술의 발달 성숙도 및 FC 교육 형식의 누적된 경험이 모두 결과 개선에 기여할 수 있다.7

Furthermore, when considering the relative maturity of the FC methodology in each respective discipline, it is worth noting that our cumulative analyses suggest a tendency of progressive improvement in the outcome of the FC condition over time. Thus, progressive understanding of the FC method, the utilisation of newer technology, the developing maturity of teaching skills associated with the FC method and accumulated experience in the FC teaching format may all contribute to the improvement of outcomes.7

우리의 메타분석 결과에는 몇 가지 한계가 있다. 예를 들어, 연구는 통계적 이질성이 높았다. 통계적 이질성은 많은 수준의 방법론적 다양성의 결과일 가능성이 있다.

The results of our meta-analyses have several limitations. For example, the studies had a high degree of statistical heterogeneity. It is likely that the statistical heterogeneity is a result of the large degree of methodological diversity.

이와 같이, 모든 연구가 FC 스타일의 교육의 실행을 다루었지만, 그들은 교실에서의 flipping은 형식과 내용 둘 다 달랐다. 예를 들어, FC 활동을 설계하고 이끌었던 교사의 경험과 전문지식, 클래스 전 학습 자료의 유형과 특성 등은 다른 경우가 많다. 평가된 지식의 내용 또는 인지적 수준(즉, 결과)도 다양했다.

As such, although all studies addressed the implementation of an FC style of education, they varied in both the format and content of classroom flipping. For example, the experiences and expertise of teachers who designed and led the FC activity, and the types and qualities of pre-class learning material were likely to differ. The content or cognitive level of knowledge evaluated (i.e. outcomes) also varied.

FC 조건은 더 높은 인지 수준을 촉진하기 위해 설계된다(예: 애플리케이션). 따라서, 낮은 수준의 평가(예: 리콜)는 반드시 FC 접근법에 적절한 결과로 간주되지 않을 수 있다. 우리가 포함된 연구들 사이의 학업 성과는 주로 시험 점수, OSCE, 과정 성적의 세 가지 유형으로 구성되어 있다. 이들 대부분은 Kirkpatrick 수준 2(학습) 결과를 반영한다.43 또한 OSCE는 Kirkpatrick 수준 3(행동) 결과를 반영할 수 있으며, MCQ는 단순히 암기보다 높은 인지 수준의 질문을 포함할 수 있다. (표 S2에서 확인한 바와 같이) 과목 점수 평가 공식이 연구마다 다르기 때문에 평가된 인지 수준도 달랐다. 연구 설계, 결과 및 대상 모집단의 다양성은 효과 크기의 이질성에 기여한다. 이질성이 높다는 점을 감안할 때, 우리는 FC 방법의 효능에 대해 포괄적인 결론을 도출하는데 신중해야 한다.

The FC condition is designed to promote higher cognitive levels (e.g. application). As such, lower levels of assessment (e.g. recall) may not necessarily be considered as an appropriate outcome for the FC approach. The academic outcomes amongst our included studies mainly comprised three types: examination scores; OSCEs, and course grades. Most of these reflect a Kirkpatrick level 2 (learning) outcome.43 Additionally, the OSCE may also reflect a Kirkpatrick level 3 (behaviour) outcome and the MCQ may also include questions of a higher cognitive level than mere memorisation. As the formula for assessing course grades differed between studies (as we identified in Table S2), the cognitive levels evaluated also differed. Such diversity in study designs, outcomes and target populations contributes towards the heterogeneity in effect sizes. Given that heterogeneity was high, we must be cautious in drawing sweeping conclusions around the efficacy of the FC method.

출판 편향의 문제도 다루어질 필요가 있다. 우리는 중요한 정보와 출판 편향을 누락시키지 않도록 하기 위해 이 검토에서 컨퍼런스 연구와 논문을 통합했다. 그러나, 이용 가능한 정보가 제한되어 있기 때문에 회의 연구의 방법론적인 특성은 평가할 수 없었다.

메타 분석의 또 다른 한 가지 제약은 2016년 6월에 문헌 검색을 수행했으며, 그러한 세부 프로세스를 수행하는 데 오랜 시간이 걸리는 특성 때문에

Another limitation of our meta-analysis is that the literature search was undertaken in June 2016 and because of the lengthy nature of undertaking such a detailed process

하지만, 이러한 제한에도 불구하고, 우리의 연구는 장점을 가지고 있다. 우리는 전 세계의 다양한 의료 및 비의료 교육 분야의 총 9026명의 참가자와 함께 46개 연구의 데이터를 구성하는 메타 분석을 수행했다. 이것은 우리가 알고 있는 종류의 가장 큰 연구일 뿐만 아니라 메타 분석이기 때문에 현재 FC 문헌을 지배하는 서술적 검토 방법보다 더 높은 수준의 증거 60,61을 제공한다.

However, despite these limitations, our study has strengths. We have undertaken a meta-analysis comprising data from 46 studies with a total of 9026 participants from different health care and non-health care educational disciplines across the world. This is not only the largest study of its kind that we know of, but, because it is a meta-analysis, it provides a higher level of evidence60,61 than do the descriptive review methods presently dominating the FC literature.7,27,33

우리의 연구는 주로 연구 방법, 연구 설계, 보고의 개선에 초점을 맞춘 미래 연구 제안들을 하도록 우리를 이끈다. 따라서, 잘 훈련되고 동기 부여가 된 촉진자를 포함한 FC의 표준형식은 미래 연구 연구를 위한 FC와 LB 방법을 비교하기 위한 기본 요건이 된다. 또한, FC 방법의 목적은 더 높은 인지 학습을 개선하고 행동 변화를 촉진하는 것이기 때문에, 향후 연구 설계가 FC의 효능을 기술할 것으로 예상되는 더 높은 인지 결과를 측정할 수 있을 만큼 충분히 민감하다는 것을 보장하기 위해 더 많은 주의를 기울여야 한다. 실제로, 새로운 교육학의 평가는 개념적 지식이 임상적 추리 방법과 같은 새로운 도구를 사용하여 평가되어야 한다는 것을 암시한다.62

Our study leads us to make future research suggestions, focusing mainly on improving study methods, research design and reporting. Thus, a standard format of classroom flipping, with well-trained and motivated facilitators, comprises the basic requirement for a comparison between FC and LB methods for future research studies. Further, given that the purpose of the FC method is to improve higher cognitive learning and promote behavioural change, greater attention should be given to ensuring that future research study designs are sensitive enough to measure the higher cognitive outcomes expected to delineate the efficacy of the FC. Indeed, the appraisal of a new pedagogy suggests that conceptual knowledge should be evaluated using novel tools, such as clinical reasoning measures.62

또한 미래 연구는 연구 보고를 다룰 필요가 있다. 즉, 교육 연구의 불충분한 보고의 질은 위험편향 평가 과정에 영향을 미치는 중요한 사안이다. 우리의 메타분석에 포함된 많은 연구에서, 많은 필요한 정보가 누락되었다. 예를 들어 적격 및 등록된 참가자의 수, 이들의 인구학적 특징, 중퇴율, 평가 기구의 유효성과 신뢰성에 대한 세부사항은 종종 누락되었다. 나이와 성별은 임상 연구에서 중요한 교란 요인이며, 교육 연구에서도 그렇다. 그러나, 우리의 검토의 많은 출판물들은 그러한 인구통계를 언급하지 않았다. 우리의 조사 결과와 유사하게, Horsley et al.63은 '... 건강 직업 교육 분야의 무작위 연구에 대한 보고서에는 CONSORT 성명에서 권고한 요소가 자주 누락되는 경우가 많다. 대부분의 보고서는 편견의 위험이 높거나 불명확한 것으로 평가되었다.' 따라서, 의료 교육 연구에서 연구 보고를 위한 구조화된 형식이 보장된다.

Future research also needs to address the reporting of research: the poor reporting quality of educational studies is an important issue influencing the process of risk bias assessment. In many of the studies included in our meta-analysis, a lot of necessary information was absent. For example, details of the number of eligible and enrolled participants, their demographic features, dropout rate, and the validity and reliability of assessment instruments were often missing. Age and gender are important confounders in clinical studies, and this is also the case in education research. However, many publications in our review failed to mention such demographics. Similar to our findings, Horsley et al.63 concluded that: ‘... reports of randomised studies in health professions education frequently omit elements recommended by the CONSORT statement. Most reports were assessed as having a high or unclear risk of bias.’ Thus, a structured format for reporting research in medical education studies is warranted.

Med Educ. 2018 Jun 25. doi: 10.1111/medu.13616. [Epub ahead of print]

Academic outcomes of flipped classroom learning: a meta-analysis.

CBAS와 어려워하는 전공의 탐색 및 서포트의 관계(JAMA, 2018)

Association of a Competency-Based Assessment System With Identification of and Support for Medical Residents in Difficulty

Shelley Ross, PhD; Natalia M. Binczyk, BMSc; Deena M. Hamza, PhD; Shirley Schipper, MD; Paul Humphries, MD; Darren Nichols, MD; Michel G. Donoff,MD

도입

Introduction

CBAS는 두 가지 기본에 근거한 프로그램적인 평가로 설계되었다. 하나는 AOL이며, 다른 하나는 레지던트와 공유되는 정기적 형성피드백이다(저부담 평가도구와 함께 문서화된다). CBAS는 직장 기반 교육WBL에서 레지던트에 대한 직접적인 관찰에 초점을 맞추고 있다. CBAS는 학습자를 관찰한 후, WBA의 모범 사례를 준수하여 전문가의 판단과 코칭을 촉진 및 capture하도록 지원합니다. CBAS의 평가 도구는 preceptor들이 레지던트가 업무에서 수행한 것을 묘사하고, 관찰한 것을 가정의학의 상위 역량영역에 맞춰 tag 또는 분류하도록 한다(전문성, 의사소통 기술, 임상적 추론, 의료 지식, 환자 중심 치료, 실행 관리, 절차 기술 및 적절한 프레젠테이션 우선 순위 지정). 평가가 되는 역량은 우리의 사전 CBAS 대 사후 CBAS 코호트에 유사하지만, 명확성과 이해를 높이기 위해 그러한 역량의 설명자가 변경되었습니다.

The CBAS is designed as programmatic assessment26-28 predicated on 2 fundamentals: assessment for learning20,29,30 and regular formative feedback shared with residents (documented with low-stakes assessment tools).17,21,25 The CBAS focuses on direct observation of residents in workplace-based training. In keeping with best practices of workplace-based assessment, CBAS helps to both facilitate and capture experts’ judgment and coaching after observation of learners. The assessment tools in CBAS are designed to allow preceptors to describe what they see the residents do in the workplace and tag or sort their observations according to high-level descriptions of areas of competence in family medicine (professionalism, communication skills, clinical reasoning, medical knowledge, patient-centered care, practice management, procedural skills, and appropriately prioritizing presenting issues).24 Although the competencies being assessed were similar for our pre-CBAS vs post-CBAS cohorts, the descriptors of those competencies were changed to enhance clarity and understanding.

방법

Methods

STROBE를 따름

We adhered to the Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) reporting guideline for reporting observational cohort studies.31

어떤 전공의가 하나 이상의 측면에서 어려움을 겪는지 알아내기 위해 "flag"라 불린 변수를 찾는다.

Three program directors identified variables (referred to as flags) that indicated that a resident was having difficulty with 1 or more aspects of residency training. These variables are defined in the Box.

통계 분석

Statistical Analysis

Results

전공의의 기본 인구통계학적 특성(표 1)은 국제 의료 졸업생 비율을 제외하고 사전 CBAS와 사후 CBAS 코호트가 유사했다.

The basic demographic characteristics of the residents (Table 1) were similar between the pre-CBAS and post-CBAS cohorts with the exception of the proportion of international medical graduates.

종합평가에 있어 깃발을 받은 전공의의  비율의 차이는 표 2에 제시되어 있다.

Differences in the percentage of residents receiving flags on summative assessments are presented in Table 2.

표 3은 주어진 전체 정의에 따라 resident in difficulty 기준을 충족하는 각 코호트 내 전공의 비율 변화를 보고한다.

Table 3 reports changes in the proportions of residents within each cohort who met the criteria for designationas a resident indifficulty, according tothe definitions given.

또한 평가 플래그가 전공의와  함께 해결되었다는 증빙 자료(그림)의 빈도로 CBAS 전 훈련과 사후 CBAS 훈련 간의 변화를 분석하였다.

We also analyzed changes between pre-CBAS training and post-CBAS training in the frequency of evidence of documentation that a flag on an assessment had been addressed with the resident (Figure).

고찰

Discussion

이러한 연구 결과는 CBME로의 전환을 위한 정당성을 보여주며, 특히 CBME가 전통적인 의료 교육보다 개선되었다는 증거의 필요성에 대해 과거 문헌에서 제기된 몇 가지 질문에 답하기 시작한다. CBME로 전환하기 전 프로그램에 사용된 기존의 평가 방식과 비교했을 때, 역량 기반 평가는 훈련에 어려움이 있는 레지던트를 더 잘 식별하였으며, 어떻게 전공의에 대한 concern이 해결되었는지에 대한 향상을 보여주었다.

These findings begin to answer some of the questions raised in the literature about justification for the shift to CBME,8-14 specifically, the need for evidence that CBME is an improvement over traditional medical education. Compared with the traditional assessment approach used in our program before the switch to CBME, competency-based assessment was associated with better identification of residents who encountered difficulties in training and improvement in how concerns about resident competence were addressed.

CBAS를 시행한 이후, 총괄평가에서 최소 1개의 플래그를 받는 레지던트의 비율이 크게 감소했다.

Since implementation of CBAS, there has been a significant decrease in the proportion of residents receiving at least 1 flag on a summative assessment.

여러 개의 flag을 받은 레지던트 비율이 크게 감소했다.

There were large decreases in the proportion of residents who were receiving multiple flags.

복수의 개별 로테이션에서의 flag 감소 및 어려움에 처한 레지던트로 판정되는 레지던트 비율 감소 사이에 잠재적 연관성이 발견되었다. 비록 1개의 로테이션에서 flag를 받은 레지던트 비율은 변화가 없었지만, 2개 이상의 로테이션에서 flag를 받은 레지던트의 비율은 2012년 1명을 제외하고 약 0%로 감소했다.

A potential association was found between the decrease in flags on multiple discrete rotations and the reduction in the proportions of residents who met criteria for resident in difficulty. Although the proportion of residents who received a flagged assessment from1 rotation remained stable across the study period, the proportion of residents who received a flag on assessments from more than 2 rotations decreased to approximately 0%with the exception of 1 resident in the 2012-2014 cohort.

CBAS 방식의 접근법이 전공의에 대한 더 나은 support와 관련되어있을 가능성을 보여두는 또 다른 것은 역량 부족으로 flag된 전공의가 추가적인 support를 받았다는 것이다. 이는 총괄평가에서의 flag로 나타난 경우에 레지던트와의 토론이 더 늘어났다는 것이다. 학습자가 difficulty를 겪는 것으로 확인되면, 이는 학습자와 함께 논의되어야 하나, 이러한 코칭은 facilitated될 필요가 있다. CBAS 이전에는 1개 이상의 flag를 받은 거주자 중에서 35%~40%는 전공의파일에 flag가 해결되었다거나 전공의와 논의되었다는 증거가 없었다(그림).

The likelihood that the CBAS approach to assessment is associated with better support of residents who are flagged for deficiencies in competence is further supported by the finding of an increase in documentation showing that flags on summative assessments were discussed with the resident. Identified difficulties should be discussed with learners, but such coaching needs to be facilitated. Before CBAS, 35%to 40%of the residents who received 1 or more flags had no evidence in their files that the flag had been addressed or discussed with them(Figure).

전반적으로, 본 연구는 CBAS와 같은 역량 기반 평가 프레임워크가, 역량 gap을 가진 레지던트를 더 잘 식별함을 보여준다. 또한 CBAS는 격차가 확인된 경우, 그것을 해소하고 개선하기 위해 레지던트에 대해 더 나은 서포트를 제공하는 것과 관련이 있는 것으로 보인다. 이 레지던트 프로그램의 기존 평가 접근방식은 전공의가 어려움을 겪고 있는 때를 식별하기 위한 프로세스를 마련했지만, 총괄평가가 일상적인 관찰observation과 단절되었기 때문에 그러한 시스템이 효과적이지 않았던 것으로 보인다. 어려움을 겪고 있는 레지던트를 식별하는 데 실패하는 것은 이 전공의 프로그램에만 국한되지 않습니다. 오히려, 이러한 문제는 의학교육의 여러 평가 방식에서 확인되었으며 CBME로의 변화를 정당화하는 핵심 중 하나입니다.

Overall, this study suggests that a competency-based assessment framework such as CBAS is associated with better identification of residents who have competence gaps. Furthermore, CBAS appears to be associated with better support for residents to address and ameliorate identified gaps. Although the previous assessment approach in this residency program had processes in place that were intended to identify when residents were struggling, the system was ineffective, perhaps because summative assessments were disconnected from daily observations. This failure to identify struggling residents is not unique to this one residency program; rather, this problem has been identified across multiple assessment approaches in medical education and is one of the key justifications for moving to CBME.1,15-17

이러한 연구결과는 평가절차의 개선의 결과로 기각될 수 있다. 그러나, CBME 문화에서의 평가는 반드시 달라야 하며, CBAS 접근법은 조사된 거주 프로그램의 평가에 대한 이전의 접근방식과 근본적으로 다르다. 회전의 끝을 포착하는 데 초점을 맞춘 평가와 달리, CBAS 도구, 양식 및 프로세스는 임상 코치와 공유하는 형태적 피드백의 대표 표본을 포함하여 임상 경험 전반에 걸쳐 역량을 향한 진행의 증거를 포착한다. 이러한 저평가들은 학습을 반영하고 육성할 수 있다.

It would be possible to dismiss these findings as being a result of improving processes of assessment. However, assessment in a CBME culture must be different,17,21,37-40 and the CBAS approach is fundamentally different from the previous approach to assessment in the residency program examined. In contrast to assessment that focused on capturing end of rotation judgements, the CBAS tools, forms, and processes capture evidence of progress toward competence across clinical experiences, including a representative sampling of the formative feedback shared by the clinical coaches who work with the resident. These low-stakes assessments may reflect and foster learning.

역량에 대한 총괄평가는 정기적으로 이루어진다. 고부담 ITER은 매 로테이션 종료시 완료됩니다. 고부담의 정기 발달상황 점검은 4개월마다 이루어집니다(이전에는 6개월마다). CBAS 이후의 차이점은 정기 진행상황 검토를 할 때, [현재 역량 향상의 진행]에 대하여, 전공의가 자기성찰을 문서화한 후, 교수 어드바이저(역량 코치)와 전공가 함께 토론하게 된다는 것이다. 이 때, CBAS에서 수집된 저부담평가를 guided self assessment의 기반근거로 사용한다.

Summative assessments of progress toward competence occur regularly. High stakes in training evaluation reports are completed at the end of every rotation. High-stakes periodic progress reviews occur every 4 months (previously every 6 months). The difference after CBAS is that the periodic progress review is now a shared process in which resident self-reflections on progress toward competence are documented and then discussed between the faculty advisor (competence coach) and the resident, with the low-stakes assessments collected in CBAS used as the evidence base for guided self-assessment.41

CBAS 프레임워크의 평가의 투명성과 형성평가의 정기적 제공이라는 특징은 어려움을 겪는 전공의를 조기에 식별할 수 있는 문화를 만들어냈다. 이러한 문화에 기여하는 두 가지 요소는 다음과 같습니다. 

• 역량 향상의 진행에 대한 문서화된 증거의 확산(강점과 약점을 모두 식별할 수 있음) 

• 레지던트의 학습에 대한 정기적인 토론 

레지던트가 최고의 의사가 될 수 있도록 지원하는 문화에서, flag와 같은 격차를 해소하는 것은 낙인을 찍는 것처럼 느껴질 가능성이 낮다. 

The transparent nature of assessment in the CBAS framework, as well as the regular provision of formative feedback, has created a culture in which residents in difficulty can be identified early. Two factors contribute to this culture: the proliferation of documented evidence of progress toward competence (which can identify both strengths and gaps) and the regular discussion of the resident’s learning. Addressing a gap, such as a flag, is less stigmatizing in a culture in which supporting residents to be the best physicians that they can be is the focus of assessment. 

총괄평가에서 전공의를 flagging하는 과정은 바뀌지 않았다. CBAS 도입 후에도, flag는 여전히 레지던트가 역량을 입증하지 못한 1개 이상의 주제가 있음을 의미한다. CBAS전후의 차이점은, 도입 후에는 [역량에 대한 우려]를 종종 로테이션 중에 레지던트와 논의한다는 것이다. 이는, 많은 경우에, 레지던트의 부족한 부분이 로테이션 종료 시에 이뤄지는 총괄평가 전에 해결됨을 의미한다.

The process of flagging a resident on a summative assessment has not changed: before and after CBAS, a flag means that there are 1 or more topics on which a resident has not demonstrated competence. The difference is that concerns about competence are often discussed with the resident throughout a clinical experience, which means that in many cases, deficiencies are remedied before the final summative assessment at the end of the rotation.

Limitations

Conclusions

이 다년간의 역량 기반 평가 및 전통적인 평가 구현의 비교에서 얻은 결과는 CBME의 개념 증명(Proof of Concept)을 지원합니다. 평가의 초점을 

• 직접적인 관찰에 대한 강조 

• 문서화 증가

• 학습을 위한 평가 

에 두는 것은 [1개 이상의 역량이 부족한 학습자를 발견하고], [그 부족을 어떻게 해결할 것인가]와 관련이 있다

The findings from this multiyear comparison of implementation of competency-based assessment and traditional assessment support a proof of concept for CBME. Changing the focus of assessment to an emphasis on direct observation, increased documentation, and assessment for learning may be associated with improved identification of learners who are deficient in 1 or more competency and with how those deficiencies are addressed.

CBME도입의 주요 과제(Med Teach, 2017)

Overarching challenges to the implementation of competency-based medical education

Kelly J. Caverzagiea, Markku T. Nousiainenb, Peter C. Fergusonb, Olle ten Catec , Shelley Rossd ,

Kenneth A. Harrise, Jamiu Busarif, M. Dylan Bouldg , Jacques Bouchardh, William F. Iobsti,j, Carol Carracciok

and Jason R. Franke,l, on behalf of the ICBME Collaborators

도입

Introduction

환자, 정책 입안자 및 기타 의료 옹호자들은 (IOM et al. 의료 교육 2003; MPAC 2010; Eden et al 2014) 투자에 대한 더 큰 수익을 요구하고 있다. 사실, 다수의 상위 보고서들은 의학교육에 대한 상당한 개혁을 요구해왔다. (Cooke et al. 2006; Weinberger et al. 2006; Cooke et al. 2010; Frenk et al. 2010; 이러한 변화의 필요성을 인식하고, 전세계 의료 교육의 지도자들은 의료 교육 시스템의 의미 있는 재설계를 시작하려고 노력하고 있습니다(Christensen et al. 2000; Emanuel & Fuchs 2012).

Patients, policy-makers, and other health care advocates are demanding a greater return for their investment in (IOM al. medical education 2003; MPAC 2010; Eden et 2014). In fact, multiple high-level reports have called for significant reforms to medical education (Cooke et al. 2006; Weinberger et al. 2006; Cooke et al. 2010; Frenk et al. 2010; FMEC PG Project Report 2012). Recognizing this imperative for change, leaders in medical education worldwide are striving to initiate the meaningful redesign of systems of medical education (Christensen et al. 2000; Emanuel & Fuchs 2012).

CBME

Competency-based medical education

헬스케어 담론에 1970년대 후반에 처음 소개된 이후(McGaghie et al. 1978), CBME는 여러 직업에서 탐구되었지만, 몇가지 이유로 적절한 관심을 얻지 못했다.

First introduced into health care discourse in the late 1970s (McGaghie et al. 1978), CBME was explored in multiple professions but did not gain adequate traction for reasons

1990년대 후반에는 CBME가 의료 교육에 다시 도입되었지만, 훈련의 구조와 과정(Swing 2007; Nasca et al. 2012)과 역량 평가(Ctenate)의 어려움으로 인해 진전을 이루지 못했다. 최근 몇 년 동안 CBME는 개인, 프로그램적, 그리고 제도적 결과에 중점을 두었고, 훈련이 여전히 그러한 교육적 필요성과 의사들의 교육적 요구를 충족시키면서 환자 및 모집단의 건강 요구를 충족하도록 설계되어야 한다는 이해 때문에 새로운 관심을 끌었다.

In the late 1990s, CBME was reintroduced into medical education but struggled to advance because of the continued emphasis on the structures and processes of training (Swing 2007; Nasca et al. 2012) and difficulties in assessment of competence (ten Cate 2014). In recent years, CBME has attracted renewed interest because of its emphasis on individual, programmatic, and institutional outcomes and its understanding that training should be designed to meet the health needs of the patients and populations served while still meeting the educational needs of physicians and those in training.

CBME 시스템에서 커리큘럼과 평가는 사전 정의된 성과 또는 역량에 의해 이루어진다.

In a CBME system, curricula and assessments are driven by predefined outcomes or competencies.

프로그램과 기관 수준에서, CBME 접근법은 의도된 성과를 달성하기 위한 교육 단위(예: 의과대학, 레지던트 프로그램 또는 병원)의 능력에 중점을 둔다. 연구에 따르면 훈련 프로그램 동안 겪은 의료의 질이 그 trainee의 경력 전체에 걸쳐 그가 제공하는 의료의 품질을 예측한다는 것을 보여준다. (Tamblyn et al. 2002; Asch 2009; Chen 등)

At the program and institution level, the CBME approach places emphasis on the ability of the educational unit (e.g. medical school, residency program, or hospital) to achieve intended outcomes. Research evidence shows that the quality of care provided during a physician’s training program is predictive of the quality of care provided throughout his or her career (Tamblyn et al. 2002; Asch et al. 2009; Chen et al. 2014).

역량이 지속적인 교육 및 실습 단계에서 점진적인 방식으로 배열되면 학습자가 [퍼포먼스를 지속적으로 개선하는 것]을 목표로 할 수 있습니다. 이것은, 평생 학습을 통해 mastery를 향한 drive를 촉진한다. CBME는, 본질적으로 로드맵의 역할을 하며, 커리어 전반에 걸쳐 지속적인 발전을 촉진할 수 있다.

When competencies are sequenced in a progressive fashion across the continuous stages of training and practice, learners can aim to continuously improve performance. This, in turn, facilitates the drive toward mastery through lifelong learning. Essentially acting as a roadmap, CBME can facilitate continuous development throughout one’s career.

CBME가 관심을 끄는 또 다른 이유는, 성과에 초점을 둠으로써 환자와 공공 이해관계자의 투명성을 확보하기 때문이다. CBME를 구현하기 위한 초기의 노력은, 만약 강조되지 않았다면, 교육되거나 평가되지 않은 역량 영역에 대해 인식하고 있음을 보여주었다.

CBME is also gaining traction because its focus on outcomes offers transparency for patients and public stakeholders. Early efforts to implement CBME actually demonstrate awareness of, if not an emphasis on, domains of competence that were otherwise not taught or assessed.

그러나 이러한 역량은, 그것을 기대 성과로 정의한다면, 보건 제공 시스템의 현재 및 미래 요구를 반영해야 한다는 점에 주목해야 한다. 요약하자면, CBME는 의학교육이 의료전문직에게 요구되는 사회적 계약에 따라 재편성할 수 있는 잠재력을 가지고 있다.

However, it is important to note that these competencies, when defined as expected outcomes, should reflect the current and future needs of the health delivery system. In summary, CBME has the potential to realign medical education with the social contract afforded to our profession.

CBME가 마주친 도전

Challenges confronting CBME

이 논문은 4가지 중요한 과제를 제시한다(표 1).

This paper presents four overarching challenges that deserve our collective attention (Table 1).

규제관련 이해 관계자의 조정

Alignment of regulatory stakeholders

전문직 자율 규제의 일환으로, 의학은 의학교육 프로그램의 개발과 실행을 감독하는 목적을 가진 중요한 규제 기관들을 개발했다. 이러한 감독 기관은 [환자와 인구에 대한 caring을 할 수 있는 인력을 교육하는 전문적 임무를 지원하고 유지하는] 새로운 정책과 프로세스를 구현하여 발전한다.

As part of professional self-regulation, medicine has developed important regulatory agencies whose purpose is to oversee the development and implementation of medical education programs. These oversight bodies evolve by implementing new policies and processes that support and maintain the professional mission of educating a workforce capable of caring for patients and populations.

불행하게도, 이러한 정책들 중 많은 것이 상당히 초창기에 개발되었고, 과거의 커리큘럼과 평가 접근방식에 적용되었으며, 따라서 실제로는 오히려 CBME의 실행을 방해할 수 있다.

Unfortunately, many of these policies were developed in and applied to earlier curricular and assessment approaches and, therefore, may actually preclude the implementation of CBME.

이 문제를 더 어렵게 만드는 것은 규제 기관이 종종 통합된 프로세스나 공유된 교육 데이터 없이 격리된 사일로에서 기능한다는 사실이다. 의학교육 규제 기관들은 시대에 뒤떨어진 정책을 개선하고, 평생 직업 발전과 성장을 위한 연속성을 더 지원하기 위해 협력해야 한다.

Compounding this challenge is the fact that regulatory agencies often function in isolated silos without integrated processes or shared educational data. Medical education regulatory agencies must work together to address outdated policies and further support continuity in lifelong professional development and growth.

훈련생들이 unsupervised practice를 향해 나아가는 과정에서, 안전하고 양질의 환자 관리를 제공하도록 보장하기 위해, 교수진은 [학습 단계 초반의 학습자 또는 하나 이상의 역량영역에서 어려움을 겪는 학습자를] 직접적으로 관찰하고 지도하는데 더 많은 시간과 노력을 들여야 할 수 있다. 개별화된 학습과 전문적 성장을 촉진하기 위해 교수진은 평가, 관찰, 피드백 및 코칭에서 필요한 기술을 습득, 개발해야 할 수 있습니다. 기관들은 trainee의 교육과 평가에 대해 교수들이 배운 것을 적용할 수 있도록 교수개발과 필요 시간을 지원해야 한다. 미래에는, 교육 기관은 연수생들의 전문적인 발전에 기여하는 양질의 교육과 지도력에 인센티브를 줘야 하며, 예를 들어 승진과 종신 재직권을 통해 교직원들에게 보상해야 한다.

To ensure that trainees provide safe and high-quality patient care as they work toward unsupervised practice, faculty may need to devote more time and effort to directly observing and coaching those who are early in their learning or delayed in one or more domains of competence. To facilitate individualized learning and professional growth, faculty may need to acquire enhanced skills in assessment, observation, feedback, and coaching. For their part, institutions must support faculty development and the commitment of time required for faculty to apply what they have learned to the teaching and assessment of trainees. In the future, teaching institutions must incentivize high-quality teaching and leadership that contribute to the professional development of trainees and reward engaged faculty through, for example, promotion and tenure.

규제 기관이나 정부 기관이 엄격하고 지나치게 구조화된 정책을 재고해야 하는 것처럼, AHC와 다른 교육 기관도 그렇게 해야 한다.

Just as regulatory and governmental agencies must reconsider rigid and too overly structured policies, so must academic health centers and other teaching institutions.

또한 임상 훈련 장소에서는 교육이 이루어지는 시스템과 환경을 재설계해야 한다.

Furthermore, clinical training sites will need to reengineer the systems and environments in which training occurs.

비록 이것이 의도적인 효과는 아니었지만, 현재의 시스템은 trainee에게 교육보다 임상업무의 가치가 지나치게 많이 강조되도록 진화해왔다. 이러한 문제의 해결은 시스템 전반의 학습 환경 변화에서 비롯되어야 한다(ACGME 2014).

Although this was not an intentional effect, these systems have evolved such that clinical care too often trumps educational value for a trainee. A resolution of these problems must come from system-wide changes to the learning environment (ACGME 2014).

앞으로 나아가서, 규제 및 정부 이해관계자는 의학교육 지도자 및 교육 기관과 긴밀히 협력하여, 학습 환경을 최적화하는 동시에 안전한 환자 관리를 보장하는 감독 정책을 수립해야 한다.

Moving forward, regulatory and governmental stakeholders must work closely with medical education leaders and teaching institutions to establish oversight policies that ensure safe patient care while at the same time optimizing the learning environment.

CBME의 구현은 평생학습에 기초한다. 의료교육과 관련된 정책과 규정은 이 목표를 지원하기 위해 진화해야 한다.

The implementation of CBME is predicated on lifelong learning; policies and regulations related to medical education must evolve to support this goal.

교육과 임상 재설계 노력의 통합

Integration of education and clinical redesign efforts

의료 시장의 변화에 대한 압박감 속에서, 임상 치료의 제공은 급격히 변화하고 있다. 환자 경험, 팀워크, 커뮤니케이션, 인구 건강, 그리고 양질의 비용효율적인 진료에 다시 초점을 맞추고 있다. 의료 서비스가 발전함에 따라 의학교육의 재설계는 의료 시스템의 재설계를 반영해야 한다(Ludmer 1999).

Under the pressure of changes in the health marketplace, the delivery of clinical care is changing dramatically. There has been renewed focus on patient experience, teamwork, communication, population health, and high-quality, costeffective care. As health care evolves, it is imperative that the redesign of health care education mirrors the redesign of the clinical delivery system (Ludmerer 1999).

이러한 조정이 없다면, 훈련생들은 여전히 시대에 뒤떨어지고 비효율적인 임상 학습 환경에서 연습하면서 새로운 원칙이나 관리 모델에 대해 배우게 될 수도 있다. 교육 및 임상 재설계 노력의 통합을 통해서만 우리는 우리의 현재 의학교육 시스템을 특징짓는 이분법을 극복할 수 있을 것이다. 이러한 방식에서, 훈련생들은 단순한 지식이나 임상 추론을 뛰어넘는, 중요한 환자 치료 원칙을 배우고 그 후에 적용할 수 있다.

Without this alignment, trainees may be asked to learn about emerging principles or models of care while still practicing in outdated or inefficient clinical learning environments. Only through the integration of educational and clinical redesign efforts will we be able to overcome the dichotomy that characterizes our current systems of medical education. In this way, trainees can learn and subsequently apply important principles of patient care that go beyond knowledge and clinical reasoning.

역량있는 trainee는 역량있는 기관(Asch et al. 2009)에서만 길러질 수 있다. 따라서 임상진료제공과 교육에 관한 재설계 노력은 상호적이다. 하나의 성공은 다른 하나의 성공에 달려 있다.

Competent trainees can graduate only from competent institutions (Asch et al. 2009); thus, these redesign efforts for clinical care delivery and for education are reciprocal; the success of one is dependent upon the success of the other.

또한 교육변화와 임상변화의 통합은 학습자가 자신의 개인적 관심 뿐만 아니라 환자집단의 요구에 맞는 [새로운 임상적 환경, 새롭게 부상하는 치료 모델]을 훈련할 기회를 갖게 됨을 의미한다.

Furthermore, the integration of educational and clinical change will mean that learners have opportunities to train in novel clinical settings and/or emerging models of care that align with their personal interests and the needs of a patient population.

임상적 변화와 학습의 통합이 성공하려면, AHC에 속하지 않은 의사를 포함하여, 교육을 담당하는 의사와 병원에 대한 적절한 장려책이 있어야 한다. 현재, 너무 많은 기관들이 교육을 그들의 임상 및 연구 임무에 부차적인 것으로 만들게 강요당하고 있는데, 그 이유는 교육을 지원하기 위한 자금이 임상 관리 및 연구와 관련된 수익에서 나와야 하기 때문이다. 이 목표를 달성하려면 앞에서 설명한 바와 같이 정책과 펀딩의 상당한 변화가 필요하다(Eden et al. 2014).

If the integration of clinical changes and learning is to be successful, teaching physicians and hospitals, including those that are not academic health centers, must have appropriate incentives. Currently, too many institutions are forced to place education secondary to their clinical and research missions, because the funding to support teaching must come from revenue related to clinical care and research. Accomplishing this goal will require significant policy and funding changes, as described previously (Eden et al. 2014).

성과의 정의

Defined outcomes

이러한 성과는 개별 훈련생뿐만 아니라 해당 훈련생들이 배우고 연습하는 프로그램, 교육 기관 및 학술 건강 시스템에 대해서도 정의되어야 한다.

These outcomes should be defined for individual trainees as well as the programs, teaching institutions and academic health systems in which those trainees learn and practice

범위와 영향은 다르지만, 이러한 개인 및 시스템 수준의 성과는 시스템 수준의 요구에 부합하는 개인적/전문적 성장을 촉진하기 위해 서로를 보완해야 한다.

Although different in scope and impact, these individual and systems-level outcomes must complement one another in order to facilitate personal professional growth that is aligned with systems-level needs.

또 다른 기대성과로는, 현재의 환경에 존재하는 행정부담 완화도 포함되어야 한다.

Other expected outcomes should also include the mitigation of the administrative burden that exists in the current environment.

상호 책무성

Mutual accountability

CBME의 약속을 이행하려면 개인, 기관 및 규제 기관이 정의된 성과 달성을 위해 서로 책임을 져야 한다. 

Accomplishing the promise of CBME will require that individuals, institutions, and regulatory bodies hold one another accountable for achieving the defined outcomes. 

• 이를 위해서는 개별 의사가 양질의 환자 관리와 고부가가치 교육 프로그램을 달성하기 위해 고안된 규제 감독을 받아들여야 한다. 연수생을 포함한 개인은 지속적인 전문성 개발과 역량 유지에 대한 책임을 받아들여야 할 것이다.
  This will require individual physicians to accept regulatory oversight that is designed to achieve high-quality patient care and high-value educational programs. Individuals, including trainees, would need to accept accountability for ongoing professional development and the maintenance of competence.

• 마찬가지로, 프로그램과 기관은 긍정적인 학습 환경을 촉진하고, 개인의 성장을 촉진하며, 전문적 역량의 개발과 유지를 촉진하기 위해 고안된 규제 감독을 받아들여야 할 것이다.
  Similarly, programs and institutions would need to accept regulatory oversight that is designed to promote a positive learning environment, facilitate individual growth, and foster the development and maintenance of professional competence.

• 마지막으로, 규제 기관은 지역적 맥락 안에서 CBME 접근방식으로의 전환을 촉진한다는 목표를 가지고, 각 프로그램 및 기관이 유연하게 개선해나갈 수 있도록 허용할 필요를 인식해야 한다. 종합적으로, 우리는 medicine의 토대가 되는 사회적 계약을 받아들여야 한다(Cruess & Cruess 2014; Cruess et al. 2014). 궁극적으로 우리의 책임은 대중에게 있다.

• Finally, regulatory agencies must recognize the need to allow programs and institutions the flexibility to innovate with the goal of facilitating the transition to a CBME approach within the local context. Collectively, we must embrace the social contract on which medicine is founded (Cruess & Cruess 2014; Cruess et al. 2014). Ultimately, our accountability is to the public.

도전을 극복하기 위하여

Overcoming challenges

CBME가 새로운 개념이 아닌 것처럼, CBME가 직면한 과제들도 전혀 새로운 것이 아니다(Ende et al. 1997). 다만 새로운 것은 의료 제공 시스템이 빠르게 발전하고 있다는 것이며, 의료 서비스에 더 큰 가치를 요구하고 있는 환자, 사회 및 정책 입안자들의 기대가 변화하고 있다는 것이다다(Porter 2010).

Just as CBME is not a new concept, the challenges confronting CBME are also nothing new (Ende et al. 1997). What is new, however, is the rapid evolution of the health care delivery system and the changing expectations of patients, society, and policy-makers, who are demanding greater value in health care (Porter 2010).

우리는 이 논문에 요약된 4가지 중대한 도전과제를 동시에 해결하는 것이 중요하다고 믿는다. 각각의 도전을 별개의 것으로 다루는 것은 전체의 성취를 방해할 뿐이다.

we believe it important to simultaneously address the four overarching challenges outlined in this paper. Confronting each challenge in isolation will only impede the accomplishment of the whole.

이러한 변화 과정은 시간, 인내, 외교, 그리고 자금을 필요로 할 것이지만, 많은 중요하고 필요한 변화들은 이미 진행되고 있다.

This process of transformation will take time, patience, diplomacy, and funding; however, many important and necessary changes are already under way.

Med Teach. 2017 Jun;39(6):588-593. doi: 10.1080/0142159X.2017.1315075.

Overarching challenges to the implementation of competency-based medical education.

의학 수련의 문화 바꾸기: CBME 도입을 위한 중요한 단계(Med Teach, 2017)

Changing the culture of medical training: An important step toward the implementation of competency-based medical education

Peter C. Fergusona, Kelly J. Caverzagieb, Markku T. Nousiainena and Linda Snellc,d; on behalf of the ICBME

Collaborators

도입

Introduction

20세기 초, 북미에서의 의료 교육에 관한 Flexner 보고서(Flexner 1910)는 구조 및 프로세스 기반 시스템의 개발을 이끌었다.

In the early twentieth century, the Flexner report (Flexner 1910) on medical education in North America led to the development of the structure- and process-based system

이 전통적인 시스템은 다음과 같은 몇 가지 기본적인 특징을 가지고 있다. 

• 위계적인 교사 중심 과정 

• 지식의 습득에 초점

• 다른 학습자와 비교한, 산발적인 주관적 평가 

• 정해진 시간 내에 훈련 진행

• 교육 종료 시 총괄 평가(Carracio et al. 2002).

This traditional system has several essential features, including 

• a hierarchical teacher-centered process, 

• a focus on the acquisition of knowledge, 

• sporadic subjective assessments based on comparisons with other learners, 

• progression through training in a fixed amount of time, 

• and a final summative assessment at the end of training (Carraccio et al. 2002).

CBME를 새로운 교육 패러다임으로 받아들이기 위해서는, 의학 교육의 연속에서 문화적 변화가 반드시 필요할 것이다. 이 논의에서 우리는 "문화"와 "문화적"이라는 용어를 [사회 내 특정 집단의 행동과 신념]의 의미로 사용할 것이며, 즉 이 경우 의료 연수생들의 교육에 관련된 특성을 언급하기 위해 사용합니다.

The acceptance of CBME as a new educational paradigm will not come without a cultural shift across the continuum of medical education. In this discussion, we use the terms “culture” and “cultural” to refer to the behaviors and beliefs characteristic of a particular group in society – in this case, those involved in the education of medical trainees.

CBME의 이행에 있어 중요한 도전 과제는 CBME의 장점이 무엇이며, 왜 새로운 접근방식과 행동을 채택해야 하는지를 전통주의자들에게 설득하는 것이 포함된다.

A significant challenge in the implementation of CBME will involve persuading traditionalists of the merits of CBME and of the need to adopt new approaches and behaviors.

의학교육 혁신을 가치있게 여기고 촉진하는 리더를 양성하기

Developing leaders that value and promote innovation in medical education

의학교육 프로그램의 문화는 새로운 교육 패러다임을 촉진하는 환경을 조성해야 한다. 이러한 환경은 조직 내 다양한 개인과 협력할 수 있는 강력하고 일관된 리더가 없이는 확립될 수 없다(Bland et al. 1999). [다른 사람들에게 교육과정 변화의 필요성을 이해하고 설득할 수 있는 사람]이자 [적절한 자원이 그 실행에 할당되도록 보장할 수 있는 사람]을 리더로 보유한 조직이 (이러한 종류의 리더십이 부족한 사람들보다) 새로운 교육 패러다임으로 성공적으로 전환할 가능성이 더 높다(Bland et al. 2000; Fokema et al. 2012).

The culture of medical training programs must foster an environment that promotes novel educational paradigms. Such an environment cannot be established without strong and consistent leaders who can work collaboratively with the various individuals within an organization (Bland et al. 1999). Organizations with educational leaders who understand and can convince others of the need for curricular change, and who can ensure that adequate resources are allocated to its implementation, are more likely to make a successful transition to new educational paradigms than those who lack this kind of leadership (Bland et al. 2000; Fokkema et al. 2012).

조직들은 우선 CBME의 원칙과 일치하는 교육적 미션을 개발해야 한다. 리더를 바꿀 때에는 교육에 대한 선견지명이 있는 접근방식에 헌신하는 사람 중에서 골라야 하며, 혁신을 개발하기 위해서는 보호된 시간을 주어야 한다.

Organizations must first develop an educational mission that is consistent with the principles of CBME. Change in leaders should be chosen from among those who are committed to a visionary approach to education, and they must be given protected time to develop their innovations.

리더십 자체는 전통적인 교육 시스템에서 오랫동안 무시되어 온 능력이다(Frank et al. 2015). 교육 리더십 개발을 위한 프로그램의 설립을 촉진해야 한다. 리더십 기술은 대학원 교육 프로그램에서 가르쳐야 하며, 리더십에 초점을 맞춘 교수개발 프로그램은 모든 의학 교육 기관의 일부가 되어야 한다. 효과적으로 전달되었을 때, 이러한 프로그램들은 일반적으로 잘 받아들여졌고 혁신의 문화를 촉진하는데 도움을 주었다.

Leadership is itself a competency (Frank et al. 2015) that has long been ignored in traditional educational systems. The establishment of programs to develop educational leadership should be promoted. Leadership skills must be taught in postgraduate training programs, and faculty development programs focused on leadership should be a part of every medical education organization. When delivered effectively, these programs have been generally well received and have helped to promote a culture of innovation,

변화를 지지하는 "풀뿌리" 지도자가 될 수 있는 일선 교사들과 과제를 공유하는 것은 중요하며, 커리큘럼 개발에 전념하는 개인에게 보상하기 위해 인센티브를 개발해야 한다.

It is important to share tasks with front-line teachers, who may themselves be “grassroots” leaders who support change, and incentives should be developed to reward individuals who are committed to curricular development.

CBME연구를 통해 부정적 인식 극복하기

Overcoming negative perceptions by promoting research in CBME

많은 비평가들은 CBME가 트레이닝에 해로울 것이며, 열등한 의사들을 배출할 것이라는 입장을 취하고 있다. 이 의견은 종종 연구에 아무런 근거 없는 일화로만 표현된다.

A number of critics take the position that CBME will be detrimental to training and produce inferior doctors. This opinion is often expressed anecdotally without any basis in research.

하지만 CBME의 장점 중 하나는 학습자가 교육 시간에 대해 더 많은 책임을 져야 한다는 것입니다. 비생산적인 교육 시간을 줄임으로써 교육의 효율성을 극대화하는 것은 사실 교육 기회를 증가시키는 것이며, 확실히 이러한 기회의 질을 극대화할 것이다.

However, one of the benefits of CBME is that it requires learners to be more accountable for their educational time. Maximizing the efficiency of training by decreasing nonproductive educational time may in fact increase educational opportunities and, certainly, will maximize the quality of these opportunities.

CBME에서는 trainee에 대해서 '서비스 제공자'를 우선시하고, '학습자'를 부차적으로 두는 전통적인 인식도 도전받고 있다. 두 가지 역할이 상호 배타적일 필요는 없지만, CBME는 trainee가 교육 목표 및 의미 있는 평가가 있는 활동에 시간을 쏟기 위해 특별한 노력을 기울여왔다.

The traditional perception of a trainee as a service provider first and a student second is also being challenged in competency-based approaches. Although these roles need not be mutually exclusive, in CBME a special effort is made to ensure that, in their capacity as service providers, trainees devote their time to activities that have educational objectives and meaningful assessments attached to them.

CBME에 대한 부정적 인상을 극복하기 위한 핵심은, [새로운 패러다임에 대한 두려움에는 근거가 없다는 증거를 제공하는 것]이다.

The key to overcoming negative impressions of CBME is to provide evidence that fears about this new paradigm is unfounded.

소규모 파일럿 프로젝트(Ferguson et al. 2013)를 수행함으로써, 기존 시스템에 대한 지지자들의 태도를 변화시키고, 커리큘럼 개혁에 보다 관여하고 시스템 전반의 변화를 이끌어내는 데 도움이 될 수 있다.

Carrying out small-scale pilot projects (Ferguson et al. 2013) may help to change the attitudes of adherents to traditional systems, allowing them to become more engaged in curricular reform, and paving the way to system-wide change.

교사들에 의한 수용도 높이기

Promoting acceptance by teachers

교육에 해로운 영향을 준다는 인상 외에도, CBME의 일부 비판자들은 지속적으로 변하는 듯한 교육 패러다임 때문에 계속해서 좌절하고 있다. 기존 교육 계획에 대한 만족도는 종종 시스템의 "안정성"에 대한 인상을 기반으로 합니다(Tsouroufli & Payne 2008). 그러므로 회의론자들이 현재 진행 중인 교육 개혁이 단순히 변화만을 위한 것이 아니라는 것을 인식하도록 하는 것이 중요하다.

Aside from their impressions about detrimental effects on training, some critics of CBME continue to be frustrated by seemingly constant changes in educational paradigms. Comfort with traditional training schemes is often based on an impression of the “stability” of the system (Tsouroufli & Payne 2008). It is therefore important to ensure that skeptics are made aware that the educational reforms currently under way are not being made simply for the sake of change.

또한 많은 교육자들은 [교육적 기대치의 변화 때문에 유발될 것으로 생각하는 "증가된 요구"]에 [자신의 skill set이 충분히 매칭되지 않을 것]을 우려하고 있다. 게다가, 일선의 교육자들은 종종 의사 소통, 전문성 또는 advocacy와 같은 본질적인 의사 역할에 대한 피드백을 주는 것을 불편하게 느낀다. 그러나 실제로는, 이 감독관들은 수 년 동안 훈련생들에 대해 판단을 내려왔다. CBME 모델의 한 가지 이점은 이러한 평가를 수행할 수 있는 명확하고 투명한 프레임워크를 제공한다는 것이다.

Many educators are also apprehensive that their own skill sets do not match the increased demands that they believe the changes in educational expectations will place on them (Tsouroufli & Payne 2008). Furthermore, frontline educators often feel uncomfortable giving feedback on intrinsic physician roles such as communication, professionalism, or advocacy. In reality, these experienced supervisors have such many been making judgments about trainees for years. One benefit of the CBME model is that it offers an explicit and transparent framework upon which these assessments can be made.

교육자들이 자신 있게 CBME의 요건을 충족할 수 있도록 준비되게 하려면, 광범위한 교수개발을 제공하는 것이 중요하다. 또한, CBME 프로그램의 성과에 대한 책무성을 확고히하여, 기존 시스템으로의 은근슬쩍 돌아가는 것을 방지하는 것이 중요할 것이다. 그리고 인증기준은 교육 프로그램들이 CBME의 기본 원칙이 충족하도록 갱신되어야 한다. 이것은 프로그램적 변화가 구현되고 유지되도록 하는 강력한 접근법이다.

It is equally important to provide extensive faculty development to prepare educators to confidently meet the requirements of CBME. Further, it will be important to prevent a gradual reversion to traditional systems by ensuring accountability for the outcomes of CBME programs, and accreditation standards will need to be updated to ensure that the basic tenets of CBME are being met by training programs. This is a powerful approach to ensure that programmatic change is implemented and maintained.

커리큘럼 변화에 대한 회의론을 불식시키기 위해 의료진과의 효과적인 의사소통 및 적극적인 참여가 핵심이다.

Effective communication with, and the active engagement of, clinical faculty are key to dispelling skepticism about curricular change

성취의 문화에서 평생학습의 문화로 바꾸기

Change from a culture of achievement to one of lifelong learning

공식적인 평가 도구가 부족하다는 점을 감안한다면, 기존의 교육 시스템은 어려움에 처한 학습자를 식별할 수 있는 장비를 갖추지 못했습니다. 이러한 학습자들은 종종 훈련 후반이 되어서야 발견이 되는데, 이 때에는 이미 문제를 해결하기 너무 늦은 시점이 되어버린다 (Zbieranowski et al. 2013). 학생들에게 detrimental implication을 가질 것을 우려한 나머지, 교사들은 종종 부정적인 평가를 가지고만 있으며, "F를 주지 못하는" 사고방식이 정착되었다. 엄격한 평가 프로세스가 없다면, 어려움에 처한 학습자를 식별하는 것은 직관적이며, 성과에 대한 총괄적 인상에 기초하게 된다(Aud etat et al. 2013). 결과적으로 재교육 프로세스의 기반이 되는 특정 테마를 알아내는 것이 문제가 됩니다.

Given the paucity of formal assessment tools, the traditional educational system is ill equipped to identify learners in difficulty. These learners are often identified late in training, when it is difficult to effectively address deficiencies (Zbieranowski et al. 2013). Because of the perceived detrimental implications for students teachers often withhold negative assessments, and a “failure to fail” mentality has become entrenched (Dudek et al. 2005). Without rigorous assessment processes, the identification of learners in difficulty is often intuitive and based on a global impression of the performance (Aud etat et al. 2013). As a result, it becomes problematic to identify specific themes on which to base a remediation process.

충분한 시간이 주어지면, 개인은 궁극적으로 역량을 갖추게 될 것이라는 "assumption"있다. 그러나 이러한 접근법은 학습자에게, 자신의 부족에 대한 피드백이 거의 없다면 문제를 유발할 수 있다. 어려움에 처한 학습자들은 종종 자기 평가를 잘 못하기 때문에, 문제를 일으키는 영역과 행동을 파악하고 이를 극복하기 위한 학습 기법에 대한 지침이 필요하다(Eva & Regehr 2005). 교사들은 문제가 되는 영역이 어딘지 식별할 수 있는 수단을 제공해야 한다. 가장 좋은 메커니즘은 다면 평가 프로그램으로서, CBME의 핵심 구성요소이다.

There is an assumption that, given enough time, the individual will ultimately become competent. This approach is fraught with peril, as it gives the learner little feedback about his or her deficiencies. Learners in difficulty are frequently poor self-assessors and therefore need guidance in identifying problematic areas and behaviors and in learning techniques to overcome them (Eva & Regehr 2005). Teachers need to be provided with the means to identify areas of difficulty. The best mechanism is a multi-faceted assessment program – a key component of CBME.

[문제 해결 프로세스가 건설적인 경험이 될 것]이라는 사실에 대해 학습자가 확신을 갖는 것이 중요하다. 이 과정은 개인 수준의 퀄리티 개선 이니셔티브로 재편되어야 한다. 이 reframe에는 학습은 평생에 걸친 과정이며, 재교육 조치의 진정한 목표는 학습자가 로테이션이나 레지던트를 잘 할수 있게 돕는 것이 아니라 professional practice에 도움이 될 결함을 수정하는 것이라는 이해가 포함되어야 한다(클랜드 등).

It is essential that learners be assured that the process of remediation will be a constructive experience. The process needs to be reframed as a personal Quality Improvement initiative. This reframing needs to include the understanding that learning is a lifelong process and that the real goal of remediation is not to help learners pass a rotation or a residency, but to correct deficiencies that will help them in professional practice (Cleland et al. 2013).

부정적인 함의가 [학습자가 성과를 개선하기 위해 교정조치를 받는다]는 것으로 대체되면, 재교육은 낙인찍의 과정이 되기보다는 향상을 위한 단계로 칭찬받을 것이다. 마지막으로, 교정조치가 결과에 미치는 영향에 대한 증거를 수집하기 위해 연구 노력이 필요할 것이다. remediation에 대한 CBME 접근법은 더 유능한 의사를 양성한다는 증거가 있을 때 더 쉽게 채택될 것이다(이 이슈의 Gruppen 등 참조).

Once the negative implications are replaced with an understanding that learners undergo remediation to taking be improve performance, steps to improve will applauded rather than stigmatized. Finally, research efforts will be needed to gather evidence on the effects of remediation on outcomes: the CBME approach to remediation will be more readily embraced when there is a strong body of evidence that it produces more competent physicians (see Gruppen et al. 2017, in this issue).

규제를 위한 평가에서 학습을 위한 평가로 문화를 바꾸기

Change from a culture of assessment for regulation to assessment for learning

평가의 목적은 규제에 있다거나, 한 교육단계에서 다른 단계로 옮겨갈 수 있도록 하기 위한 것이라는 인식이 남아 있다. 이러한 인상은 다소 부정적인 함의를 갖는데, 왜냐하면 평가에서의 실패는 곧 progress할 능력이 없음을 의미하기 때문이다. 일반적으로 의사들은 피드백을 원하지만 부정적인 것으로 보일 때 그것을 받아들일 준비가 되어 있지 않을 수 있다. 이는 자신의 능력에 대한 개인의 인상(자체 평가)과 객관적인 외부 측정(Mann et al. 2011) 사이의 불일치로 인해 더 어려워질 수 있다.

There is a lingering impression that assessment is for the purpose of regulation or to enable a transition from one stage of education to another. This impression carries with it a somewhat negative connotation, as failure on an assessment implies an inability to progress. In general, physicians want feedback, but they may be ill-prepared to accept it when it appears negative. This may be compounded by inconsistencies between an individual’s impression of his or her own abilities (self-assessment) and objective external measurements (Mann et al. 2011).

평생학습이라는 목표를 강조함으로써 평가에 대한 부정적 인식을 극복하는 것이 중요하다.

It is important to overcome negative perceptions of assessment by stressing the goal of lifelong learning.

따라서 성공의 열쇠는 의료 시스템 전반에 걸쳐 변화를 일으키는 것이다.

우리는 in practice에서 평가될 가능성을 포용하고, 환영해야 합니다. 이는 궁극적으로 환자와 사회 전체에 이익이 되기 때문입니다(Holmboe 2013; Sarnard et al. 2013).

We should embrace and welcome the potential to be assessed while in practice, as it will ultimately benefit our patients and society as a whole (Holmboe 2013; Sargeant et al. 2013).

결론

ㅆConclusions

오해를 극복하기 위해서는 [학습자의 역할]과 [교육 전반의 역할]에 대한 전체 믿음 시스템이 바뀌어야 할 것이다.

Overcoming misperceptions will entail the revision of entire belief systems about the role of learners and education as a whole.

Changing the culture of medical training: An important step toward the implementation of competency-based medical education.

거꾸로 교실, 설계(Med Educ, 2018)

Flipped classrooms, by design

Jacqueline E McLaughlin

'설계가 잘못된 것을 분석으로 고칠 수는 없다.'

‘You can’t fix by analysis what you bungled by design.’1

FLCL들은 더 높은 수준의 사고와 학습 성과를 높이고 학생들의 경험을 개선하기 위해 지원된다. 하지만 이 모델의 효과에 대한 논란은 계속되고 있다.

Flipped classrooms, are espoused to promote higher-order thinking, increase learning outcomes and improve student experiences. However, controversy about the model’s effectiveness persists.

FLCL에 대한 체계적 검토는 모호하고 일관되지 않으며 혼합된 결과를 보고하였다. FLCL에 대한 나 자신의 연구는 긍정적인 결과와 부정적인 결과를 낳았다. 이번 호 메타분석에서 Chen 등은 [전통 강의식] 학습 대비 [플립 강의실]의 효율성에 관한 다소 진흙 투성이인 그림을 다루려고 했으나, 또 하나의 불일치한 발견일 뿐이었다.6

Systematic reviews of flipped classroom research have reported ambiguous, inconsistent and mixed results.2,3 My own studies of flipped classrooms have resulted in positive and negative outcomes.4,5 In this month’s Medical Education meta-analysis, Chen et al. aimed to address ‘a rather muddy picture regarding the efficacy of [flipped classroom] over [traditional lecture] learning’, only to find additional disparities.6

플립 모델은 (문헌의 광범위한 설명에서 보듯), FLCL에서 pre-class, in-class, assessment 활동 설계에 상당한 유연성을 가능하게 한다.

The flipped model enables considerable flexibility in the design of pre-class, in-class and assessment activities, as seen by a wide range of flipped classroom descriptions in the literature.

만약 우리가 플립(flip)을 하나의 모델이라고 보고, 교실을 뒤집는 것을 그 모델의 개별적인 구현이라고 본다면(즉, 플립된 교실), 개별 구현의 결과는 모델 그 자체의 퀄리티가 아니라 '플립된 교실'의 퀄리티에 더 의존적일 수 있다.

아마도, 이런 식으로 생각한다면, 우리는 왜 어떤 FLCL들이 다른 FLCL들보다 더 크거나 더 많은 긍정적인 효과를 내는지 더 잘 이해할 수 있을 것이다.

Perhaps, through this lens, we can better understand why some flipped classrooms produce larger or more positive effects than others.

어떤 교육과 학습 관행이 가장 효과적인지 안다면, 주어진 FLCL에서의 퀄리티를 알 수 있을까?

If we know which teaching and learning practices are most effective, can we characterise the quality of any given flipped classroom?

학생의 적성과 더불어, 학생과 교사의 행동은 교실에서의 성취에 가장 중요한 결정 요인이다. 효과적인 교육적 실천을 위한 연구 기반 가이드에 따르면, 과목의 효과성은 행동과 매우 강력하게 연관되어 있음을 반복적으로 보여준다: 학생과 교사가 무엇을 하는가, 그리고 어떻게 그것을 하는가. 현재 대부분의 FLCL연구는 학습자와 교사의 활동이 어떤, 그리고 얼마나 많은 증거-기반 활동에 의해 촉진 또는 생산되는지에 관련하여 충분한 세부 사항을 주지 않는다..

Student and instructor behaviour, coupled with student aptitude, are the most important determinants of classroom achievement.7,8 Research-based guidelines for effective teaching practice repeatedly show that course effectiveness is strongly related to behaviour: what students and instructors do and how they do it. Currently, most flipped classroom studies lack sufficient detail concerning what and how much evidence-based behaviour their activities prompt or produce.

예를 들어, 

• 사회적 상호작용(예: 질문과 토론, 소그룹 학습) 

• 의미 있는 학습의 장려(예: 사려 깊은 과정 준비 및 조직, 학생들의 삶과 관련된 내용, 독립적인 사고 장려). 

• 프레젠테이션 품질(예: 명확성과 이해성) 

...등은 학생 성취도와 가장 밀접한 관련이 있는 교육적 요소들이다.8 

We know, for example, that 

social interaction (e.g. encouraging questions and discussion, small-group learning), 

stimulating meaningful learning (e.g. thoughtful course preparation and organisation, relating content to students’ lives, 

encouraging independent thought) and presentation quality (e.g. clarity and understandability) 

...are among the instructional elements most strongly related to student achievement.8 

성과는 또한  다음과도 연관되어 있다.

• 출석

• 자기 조절(즉, 학업에 대한 도전에 직면했을 때 지속성과 노력) 

• 학업 목표 설정, 

• 시간 및 학업 관리 

• 또래 학습.8

Achievement is also positively related to class 

• attendance, 

• self-regulation (i.e. persistence and effort when faced with academic challenge), 

• academic goal setting, 

• time and study management and 

• peer learning.8

학생들과 강사들의 행동이 모두 모여서, 뒤집힌 교실의 효과에 중요한 역할을 한다. 

Taken together, students’ and instructors’ behaviours play a critical role in the effectiveness of any flipped classroom. 

증거 기반 교육 지침을 준수하는 학습 기회와 활동을 설계하고, 이러한 활동과 그 결과로 나타난 행동을 연구에서 명확하게 설명하는 것은 FLCL 모델을 발전시키기 위한 중요한 다음 단계이다.

Designing learning opportunities and activities that adhere to evidence-based teaching guidelines, and describing those activities and resulting behaviours clearly in our research, are important next steps for advancing the flipped classroom model.

교실 활동과 마찬가지로, 대부분의 교실 연구는 assessment practice의 설계와 실행을 적절히 설명하지 못한다. 평가와 피드백 방식practice은 학생들의 행동에 대한 주요 결정 요인으로서, 이것이 학생들의 관심, 학업 목표, 시험 준비 등을 guide하기 때문이다. 

As with classroom activities, most flipped classroom studies fail to adequately explicate the design and implementation of assessment practices. Assessment and feedback practices are well-established determinants of student behaviour because they guide student attention, academic goals and preparation for examinations.3 

학생 성취도와 가장 밀접하게 관련된 평가 특성은 다음과 같습니다. 

• 학생-피어 평가 및 학생의 자기 평가, 

• 시험의 퀄리티과 공정성 

• 강사들이 학생들에게 제공하는 피드백의 특성, 품질, 빈도.8

지금까지 FLCL 연구가 잘 안 된 이유는 [유사한 주제나 내용을 다루는 과정에 대한 표준화된 평가]가 부족했기 때문이다.

To date, flipped classroom research has also been hindered by the lack of standardised assessments for courses of similar topics or content.

FLCL연구는 (MMI나 경험적 교육과 같은) 다른 교수법과 학습법의 연구와 유사한 challenge of variability에 당면해있다. 현재 대부분의 연구에서 다뤄진 FLCL은 독자나 연구자가 수업에서 이뤄진 활동 및 평가가 증거 기반 지침에 얼마나 적합지를 충분히 설명해주지 않는다.

Flipped classroom research faces the same challenge of variability seen in studies of other teaching and learning methods, such as multiple mini-interviews and experiential education. Currently, most flipped classroom designs are not described in a way that enables readers or researchers to determine the extent to which classroom activities and assessments align with evidence-based guidelines, such as those described above.

현재 플립된 강의실 연구의 한계에도 불구하고, 최선의 증거는 FLCL이 학습을 향상시킬 수 있을 것을 암시합니다.

Despite the current limitations of flipped classroom research, the best available evidence suggests that flipped classrooms can improve learning.

FLCL의 성과를 지속적으로 분석하는 것 그 자체로는 '잘못된 설계'를 고치지는 못할 것이다

6 Chen K-S, Monrouxe L, Lu Y-H, Jenq C-C, Chang Y-J, Chang Y-C, Chai PY-C. Academic outcomes of flipped classroom learning: a meta-analysis. Med Educ 2018;52 (9):910–24. XXX

8 Schneider M, Preckel F. Variables associated with achievement in higher education: a systematic review of meta-analyses. Psychol Bull 2017;143 (6):565–600. ==

Commentaries

Flipped classrooms, by design

의대생 및 레지던트의 소진경험에 대한 네러티브 리뷰(Med Educ, 2016)

A narrative review on burnout experienced by medical students and residents

Liselotte Dyrbye & Tait Shanafelt

도입

INTRODUCTION

의대생, 레지던트, 펠로우(연수생)의 대다수가 업무와 관련된 심각한 스트레스와 소진을 경험한다. Burnout은 다양한 차원의 구조로 특징지어진다. 

• 감정적 지침

• 비인격화(즉, 환자에게서 분리되거나 냉담한 느낌) 

• 낮은 개인적 성취감

번아웃은 훈련생들의 전문적 발달을 저해하고, 환자를 위험에 처하게 할 수 있으며, 자살 관념과 약물 남용을 포함한 다양한 개인적 문제를 유발할 수 있다.

A high proportion of medical students, residents and fellows (trainees) experience severe work-related stress and burnout.1,2 Burnout is a multifaceted construct characterised by various degrees of emotional exhaustion, depersonalisation (i.e. feeling detached from or callous toward patients) and a low sense of personal accomplishment.3 Burnout can undermine trainees’ professional development, place patients at risk and contribute to a variety of personal consequences, including suicidal ideation and substance abuse.4–8

검색 전략 및 선택 기준

Search strategy and selection criteria

무엇이 trainee 번아웃 정도는 어떠하며, 어떻게 다양한 단계의 training에 따라 다른가?

WHAT IS THE EXTENT OF TRAINEE BURNOUT AND HOW DOES IT VARY ACROSS DIFFERENT STAGES OF TRAINING?

연구들은 지속적으로 모든 지역 전문 분야에 걸쳐 그리고 전 세계에 걸쳐 높은 비율의 의대생들과 전공의들이 업무와 관련된 심각한 스트레스와 번아웃를 경험하고 있다는 것을 밝혀냈다. 우리의 국가 또는 복수 기관 연구에서 우리는 의대 학생의 35-45%가 높은 정서적 기진맥진, 26–38%가 높은 비인격화, 45–56%가 번아웃을 암시하는 증상을 가지고 있다는 것을 발견했다. 제한된 단면적 데이터는 더 상위 학년에서 학생들의 번아웃 발생률이 더 높다는 것을 암시한다. 이러한 증가의 대부분은 비인격화 경험의 증가에서 기인하는 것으로 보인다. 이것은 특히, 주로 냉담하거나 환자에게 분리되어 있는 것으로 드러나는 탄화의 측면인 탈인화가 전문성에 대한 부정적인 영향과 가장 강하게 연관되어 있기 때문에 더욱 우려된다.

Studies consistently find that a high proportion of medical students and residents across all residency specialties and throughout the world experience severe work-related stress and burnout.1,2,8–15 In our national or multi-institutional studies we found that 35–45% of medical students had high emotional exhaustion, 26–38% had high depersonalisation and 45–56% had symptoms suggestive of burnout (Table 1).1,4,5,16–19 Limited cross-sectional data suggest the prevalence of burnout is higher for students in more advanced years of training.12,17,19,20 Most of this increase appears to stem from an increase in the experience of depersonalisation.17,20 This is particularly concerning because depersonalisation, an aspect of burnout primarily manifested as being callous or detached toward patients, is most strongly associated with negative effects on professionalism.4,8

레지던트 프로그램 감독들은 번아웃 증상의 상당한 부담을 의대 졸업생에게 상속시킬 가능성이 높다.

Residency programme directors are likely to inherit medical school graduates with a substantial burden of burnout symptoms.21

일단 레지던트에 들어가면, 높은 정서적 피로의 유병률은 의과대학(44-50%)과 거의 같은 수준으로 지속된다. 그러나 비인간화(32–38%)과 전체적인 번아웃(60%)은 증가한다.

Once in residency the prevalence of high emotional exhaustion continues at about the same level found during medical school (44–50%).1,8,15 The prevalence of high depersonalisation (32–38%) and overall burnout (60%), however, increases.1,10

레지던트 훈련 중 번아웃이 전공에 따라 다른지는 알려지지 않았다.

It is unknown whether the prevalence of burnout varies by specialty during residency training;

전공에 따른 잠재적 차이 외에도, 번아웃 발생의 확산은 훈련 국가와 훈련생의 출신국가에 따라 달라질 수 있다. 

In addition to potential differences by specialty, the prevalence of burnout may also vary by country of training and the trainee’s country of origin. 

훈련생들 사이의 번아웃이 세계적인 현상이고, 종종 practice까지 이어진다는 것을 보여준다.

studies indicate that burnout among trainees is a global phenomenon2,9,11 and often persists into practice.28,30

번아웃의 유병률이 증가하고 있는가?

IS THE PREVALENCE OF BURNOUT INCREASING?

지난 10 년 동안 비슷한 방법론을 사용하여 수행 한 대규모 횡단면, 다기관, 국가단위 연구의 결과를 검토해보면 정서적 고갈 및 비인간화 점수의 평균뿐만 아니라, 높은 수준의 정서적 고갈, 높은 수준의 비인간화, 높은 수준의 전반적 번아웃이 의대 학생들은 사이에서 전반적으로 상승 추세를 보이고있다 (표 1).

When reviewing results from large cross-sectional, multi-institutional or national studies conducted over the last decade using similar methodologies, the mean emotional exhaustion and depersonalisation scores, as well as the prevalence of high emotional exhaustion, high depersonalisation and overall burnout, among responding medical students appear to have an upward trajectory overall (Table 1).

다른 고강도 분야와 비교하면 실제로 얼마나 심각한 수준인가?

HOW BIG A PROBLEM IS IT, REALLY, WHEN COMPARED WITH OTHER HIGHLY DEMANDING FIELDS?

자료에 따르면, 입학에 필요한 엄격한 학업 준비를 거쳤음에도 불구하고, 의대생들은 다른 직업군의 또래들과 비슷하거나 더 나은 정신 건강상태를 가지고 의대를 시작한다고 한다.

Data suggest that despite having gone through the rigorous academic preparation required for acceptance, medical students begin medical school with mental health profiles similar to or better than peers who pursue other careers.33,34

요구 조건이 매우 까다로운 다른 분야(예: 항공 산업, 경찰 또는 군)를 준비하는 훈련생보다 의료 훈련생들 사이에 번아웃 발생이 더 흔한지는 알려지지 않았다.

It is not known if burnout is more prevalent among medical trainees than trainees preparing for other highly demanding fields (e.g. the airline industry, police or military).

왜 훈련생들의 번아웃에 관심을 가져야 하는가?

WHY SHOULD WE BE CONCERNED ABOUT TRAINEES WITH BURNOUT?

Burnout은 잠재적으로 개인적 결과뿐만 아니라 심각한 전문적 결과를 가지고 온다(표 2). 데이터에 따르면, 범아웃은 의대생들의 전문적 발달을 저해하고 많은 전문적 자질(예: 정직, 무결성, 이타주의, 자기 규제)을 저하시킬 수 있다고 한다.

Burnout has potentially serious professional as well as personal consequences (Table 2). Data suggest that burnout may erode medical students’ professional development and diminish a number of professional qualities (e.g. honesty, integrity, altruism and self-regulation).

번아웃은 또한 [낮은 공감] 및 [사회에 대한 의사의 책임에 대한 낮은 이타적인 견해]와 관련이 있다. 번아웃 상태의 의대생들은 다음을 잘 못한다

(i) 이해 상충을 적절히 관리하는 방법 식별

(ii) 문제가 있는 동료의 적절한 보고

(iii) 적절한 처방에 대한 승인

이러한 발견들은 모두, 번아웃이 의대 학생들의 전문성 발달에 광범위하고 insidious한 위협이라는 것을 암시한다.

Burnout has also been associated with lower empathy scores and less altruistic views of a doctor’s responsibility to society.4,19,36,37 Medical students with burnout are also less likely to (i) identify how to appropriately manage conflicts of interest, (ii) report impaired colleagues and (iii) endorse appropriate prescribing practices.4,18 Together these findings suggest that burnout is a broad and insidious threat to medical students’ professional development.

레지던트 동안 번아웃이 갖는 의미는 확대된다. 현재 여러 연구들은 번아웃 상태의 레지던트가 보살피는 환자들이 최적의 치료를 받지 못하고 의료 오류를 경험할 위험이 증가하고 있다고 보고하고 있다. 번아웃 상태의 레지던트는 직장에서 집중하기가 더 어렵다고 말한다. 소진(burnout)은 지식과 스킬 획득 및 적용에 필요한 인지 프로세스를 방해할 수 있습니다.

During residency the implications of burnout magnify. Several studies have now reported that patients cared for by residents with burnout are at increased risk of receiving suboptimal care and experiencing a medical error.8,15,30 Residents with burnout report greater difficulty concentrating at work.38 Burnout may impede the cognitive processes needed for knowledge and skill acquisition and application.39

번아웃 경험은 훈련생들의 커리어에도 영향을 미칠 수도 있다.

The experience of burnout may also have an impact on trainees’ views of medicine as a career.

좀 더 최근의 작은 단면적 연구는 높은 수준의 정서적 고갈 상태에 있는 학생들이 더 통제 가능한 라이프스타일을 가진 전공을 선택할 가능성이 높은 반면, 낮은 개인적인 성취도를 가진 학생들은 더 소득이 높은 전공을 선택할 가능성이 더 높다는 것을 발견했다. 일단 레지던트가 번아웃되면 직업 만족도가 낮아지고, 전공 변경을 심각하게 고려하고, 의사를 완전히 포기하는 것과 관련이 있다.

A more recent small cross-sectional study found that students with high emotional exhaustion were more likely to choose a specialty with a more controllable lifestyle whereas those with low personal accomplishment were more likely to choose a higher-income specialty.42 Once in residency burnout is associated with lower career satisfaction,10,26 increased likelihood of seriously considering changing specialty, and abandoning medicine altogether.11

전문적인 영향 이외에도, 번아웃은 엄청난 개인적 영향을 미칠 수 있다. 2012년 국가 연구는 최근 번아웃이 알코올 남용 또는 의존성의 증가 위험과 독립적으로 관련이 있다고 보고했다.

Beyond its professional ramifications, burnout can have a tremendous personal impact. A 2012 national study recently reported that burnout was independently associated with an increased risk of alcohol abuse or dependence,7

자살에 대한 생각이 있는 학생들은 알코올 중독이나 의존성도 같이 공존할 가능성이 높습니다.7 번아웃, 자살 사고, 알코올 남용 및 의존성은 충동성을 높이고 자살 수행 위험을 증가시키기 때문에 특히 위험한 3인자가 될 수 있습니다.45–47

Students with suicidal ideation are also likely to have coexistent alcohol abuse or dependence.7 Burnout, suicidal ideation and alcohol abuse or dependence may be a particularly hazardous triad as alcohol increases impulsivity and the risk of completed suicide.45–47

번아웃의 다른 개인적인 영향으로는 높은 인간관계 스트레스26 및 자동차 사고 위험이 있습니다.50

Other personal ramifications of burnout include higher relationship stress26 and risk of motor vehicle incidents.50

무엇때문에 번아웃이 생기는가?

WHAT IS DRIVING BURNOUT?

의대생들이 다른 직업을 추구하는 연령 대졸자들보다 비슷하거나 더 나은 정신 건강 프로필을 가지고 있다는 연구 결과와, 의대생들의 정신건강이 의과대학을 거치며 비슷한 연령의 다른 대학졸업생들보다 나빠진다는 결과를 가지고 보면, 번아웃의 기원은 의대의 학습과 근무 환경에 뿌리를 두고 있음을 암시한다.

The finding that matriculating medical students have a similar or even better mental health profile than age-matched college graduates pursuing other careers and that medical students’ mental health deteriorates once in medical school to become worse than that of age-matched college graduates,1,34 suggests that the origins of burnout are rooted in the learning and work environment.

교육과정과 훈련 경험의 역할은 무엇인가?

What is the role of the curriculum and training experiences?

비록 일부 스트레스의 원천은 훈련과 연습 내내 지속되지만, 다른 스트레스의 원천은 다른 직업 단계에서 다양하다.

Although some sources of stress persist throughout training and into practice, other sources of stress vary at the different career stages (Table 3).

3개 이상으로 등급이 나뉘는 의대의 학생(예: A‒F 문자 등급, 명예/높은 패스/통과/마지널 패스/실패, 명예/통과/실패)이 엄격한 Pass-Fail 교육과정에 있는 학생보다 번아웃이 일어날 확률이 1.97배 증가하였다. 다른 연구들은 의과대학에서의 첫 2년 동안 Pass-Fail로 성적을 주는 것이 집단 응집력을 촉진한다는 것을 증명했으며, grading scheme이 학습 환경이 얼마나 supportive한지에 영향을 줄 수 있다고 제안한다. 또한 grading scheme은 학생들의 의대에 대한 초기 적응을 용이하게 하고, 회복탄력성에 중요한 사회적 지지 네트워크의 개발을 촉진한다.56

Students in a grading system with three or more hierarchies (e.g. A‒F letter grade; honours/high pass/pass/marginal pass/fail; honours/ pass/fail) rather than a strict pass or fail curriculum had 1.97 times increased odds of experiencing burnout. Other studies have demonstrated that pass or fail grading schemes during the first 2 years of medical school promote group cohesion,53–55 suggesting that grading scheme may influence the degree to which the learning environment is supportive, help ease the initial adjustment to medical school and facilitate development of social support networks that are important to resilience.56

마찬가지로, 3학년과 4학년 학생들에 대한 개별 연구는 로테이션적 특성과 근무부담, 번아웃 사이의 독립적 관계를 발견하지 못했다.58 이러한 연구는 커리큘럼과 임상근무 시간은 의대생들이 경험하는 번아웃의 원인은 아닐 수 있음을 시사한다.

Similarly, a separate study of third and fourth-year students found no independent relationship between clinical rotation characteristics and workload and burnout.58 These studies suggest that curricular and clinical hours may not drive the burnout experienced by medical students.

연구 결과는 일관성이 없지만, 레지던트의 번아웃에 대해서는 과도한 작업 부담(환자 수 증가, 야간 호출 빈도 증가, 근무 시간 증가, 자가 시간 감소 등)에 흔히 기인하는 것 같다.

Among residents burnout is commonly attributed to excessive workload, with higher patient volumes, more frequent overnight calls, greater work-hours and lower autonomy associated with an increased risk of burnout, although studies are inconsistent.2,11,26,30,32,59

총 근무 시간을 제한하는 것의 이점 중 일부는 업무 압축에 의해 상쇄될 수 있다. 이 경우 동일한 업무량 및 교육 요구사항을 더 짧은 시간 내에 완수해야 하기 때문이다. 그 결과 근로시간 제한이 레지던트에 정신 건강에 미치는 net 영향은 미미해진다.

It is possible that some of the benefits of limiting total work hours have been offset by work compression,64 where the same workload and educational requirements must be completed in fewer hours, such that the net effect of work-hour limitations on residents’ mental health is neutral.

감독관의 행동이 훈련생들의 번아웃 경험과도 관련이 있습니까?

Does supervisor behaviour relate to trainee experience of burnout?

• 전반적인 학습환경에 대한 불만과 교수진에게 받는 서포트의 양이 1학년과 2학년 학생들의 번아웃에 가장 강하게 관련되어 있었다. 

• 반면, 전반적인 학습환경에 대한 불만족, poor한 임상실습 구조, 시니컬한 레지던트와 같이 일하는 것 등이 3학년, 4학년 학생의 번아웃과 가장 강하게 관련되었다. 

• 또한 스스로 학대받았거나 무시당했다는 것을 인지하는 학생들이 더 많이 번아웃될 가능성이 있다는 것을 발견했다.

dissatisfaction with the overall learning environment and amount of support from faculty staff most strongly related to burnout among year 1 and year 2 students, whereas dissatisfaction with the overall learning environment, poor clerkship organisation and working with cynical residents most strongly related to burnout among year 3 and year 4 students.58 Studies have also found that students who perceive they have been mistreated or belittled are more likely to have burnout.16,58,65

마찬가지로, 슈퍼바이저와의 stressful한 관계,2 주치의의 요구,26 불충분한 자율성,26 개인적인 요구는 중요하지 않다는 인식, 시의적절한 피드백이 부족하다는 인식 등이 레지던트의 소진과 관련이 있다.

Similarly, stressful relationships with supervisors,2 attending physician demands,26 insufficient autonomy,26 a perception that personal needs are inconsequential8 and lack of timely feedback60 are associated with resident burnout.

슈퍼바이저의 행동과 trainee의 번아웃 사이의 관계를 뒷받침하는 실질적인 자료가 있지만, 인과관계에 대한 직접적인 증거는 없다. 번아웃 증세가 있는 훈련생은 학습 환경을 다르게 보고, 그 결과 학습 환경을 더 부정적으로 보게 만들 수도 있으며, 열악한 학습 환경이 번아웃을 경험하게 만들 수도 있다.

Although there are substantial data supporting a relationship between supervisor behaviour and trainee burnout, there is no direct evidence of causality. It is possible that trainees with symptoms of burnout view the learning environment differently, leading to lower ratings of factors within the learning environment, or that a poor learning environment leads to trainees experiencing burnout.

번아웃의 취약성을 증가시키는 개별 요소가 있습니까?

Are there individual factors that increase vulnerability to burnout?

인구통계학적 측면에서, 연구들은 비소수 민족 학생들이 연령, 성별, 육아, 결혼 여부 등을 통제한 후, 소수 민족 학생들보다 더 많이 번아웃할 가능성이 있다는 것을 발견했다. 비슷한 결과가 레지던트에서도 발견되었다.

With respect to demographics, studies have found non-minority students to be more likely to have burnout than ethnic minority students, after controlling for age, sex, parenting and marital status.16,58,69 Similar findings have been reported among residents2

일부 연구는 여성 의대생들과 레지던트가 또한 번아웃되거나 감정적으로 소진될 위험이 더 큰 반면, 남성 레지던트는 비인간화를 더 자주 경험할 수 있다고 하였으나, 이러한 관계는 강하지 않다고 말한다. 성격 측면에서, 한 연구는 신경과민neuroticism 정도와 정서적 피로emotional exhaustion 사이의 약하지만 통계적으로 유의한 연관성을 발견했다.68

Some studies suggest female medical students and residents may also be at greater risk of burnout58 or emotional exhaustion,2 whereas male residents may more often experience depersonalisation2 but these relationships are not strong.2 In terms of personality, a study found weak but statistically significant associations between degree of neuroticism and emotional exhaustion.68

의학 외의 삶의 스트레스 요인들도 훈련생들의 인적 자원을 고갈시킨다. 개인적인 질병, 가족 구성원들의 질병과 같은 개인적인 경험, 이혼, 가족 관련 스트레스, 그리고 재정적인 걱정으로 인해 의대생들과 레지던트들의 번아웃 위험이 증가한다.29,17,60,61

Life stressors outside of medicine also drain trainees’ personal resources. Personal experiences, such as personal illness, illness in a family member, going through a divorce, family-related stress and financial concerns increase the risk of burnout among medical students and residents.2,9,17,60,61

훈련생들 사이에 번아웃의 새로운 동인은 무엇일까?

What might be some new drivers of burnout among trainees?

많은 새로운 스트레스 요인이 다음 세대의 의사들 앞에 놓여 있다. 우선, 새 의과대학 개교로 인해 레지던트 슬롯에 대한 경쟁이 치열해지고 있습니다.

A number of new stressors are on the horizon for the next generation of doctors. For one, competition for residency slots is increasing as a result of new medical schools opening,

• 둘째, 마일스톤을 기반으로 교육을 완료할 수 있는 단축된 경로로의 유연한 진행은 평가를 가속화하고 스트레스를 증폭시킬 수 있으며, 번아웃 위험을 증가시키거나, 교육 부담을 줄이는 대신 번아웃 위험을 낮출 수 있다. 

• 셋째, 의료 지식이 기하급수적으로 증가하였고, [전문가 간 팀워크, 품질 및 안전, 인구 건강 및 데이터 분석]등과 같이 달성해야 할 새로운 역량이 등장하면서 curriculomegaly를 동반한 도전을 가져왔다.

• 넷째, 오늘날 훈련생들은 급격한 환경 및 문화적 변화를 경험하며 빠르게 발전하고 변화하는 의료 시스템에 들어가고 있다. 

• 게다가, 그들은 노동력 부족의 시대에 일할 것이다. 따라서, 훈련생들은 새로운 제약조건과 결합된 엄청난 양의 불확실성에 직면한다.71

• Second, a milestone-based flexible progression to shortened paths to completion of training could accelerate assessments and amplify stress, increasing the risk of burnout, or lead to reduced educational burden and lower risk of burnout. 

• Third, seemingly exponential growth in the medical knowledge to be learned, coupled with new competencies to be reached within fields such as interprofessional teamwork, quality and safety, population health and data analytics, increases the challenges that accompany curriculomegaly. 

• Fourth, trainees today are entering a rapidly evolving and changing health care system experiencing dramatic environmental and cultural shifts. 

• In addition, they will work in an era of workforce shortages. Hence, trainees face an enormous amount of uncertainty coupled with new constraints.71

어떤 해결책이 있는가?

WHAT SOLUTIONS OR STRATEGIES MIGHT BE EFFECTIVE?

수많은 스트레스 요인들과 개인의 선호도를 감안할 때, 만병통치약이 있을 것 같지 않다.

Given the myriad of stressors and individual preferences, a one-sized solution is unlikely.

우리는 번아웃의 근본 원인을 제거하거나 줄이고, 회복탄력성과 웰빙 증진을 열망해야 한다.

We should aspire to eliminate or reduce the root causes of burnout and promote resilience and well-being.

번아웃 위험을 줄이기 위해 훈련생들은 무엇을 해야 하는가?

What should trainees be encouraged to do to reduce their risk for burnout?

고된 훈련에도 불구하고, 모든 의료 훈련생들이 번아웃 되는 것은 아니다. 비록 번아우셍 기여하는 많은 요소들이 개인의 통제를 벗어나지만, 개인의 선택은 스트레스 요인이 웰빙에 어떻게 영향을 미치는가에 영향을 미친다. 

예를 들어, 의대생인 동안에 수입을 얻기 위해 다른 부업을 하는 것은 번아웃 위험을 증가시킨다. 또한 이미 번아웃 상태라면, 수입을 위한 고용상태는 번아웃에서 회복되지 않는 것과 밀접한 관련이 있다. 더 높은 수준의 사회적 지원을 보고한 의대생 및 레지던트는 번아웃 증상을 가질 가능성이 더 낮다. 반면에 피로가 높은 경우 번아웃 위험이 증가한다.69

For example, being employed in order to have an income while a medical student increases the risk of developing burnout, and if already burned out, employment is strongly associated with not recovering from burnout.69 Medical students and residents who report higher levels of social support are less likely to have burnout symptoms,29,69 whereas individuals with higher levels of fatigue are at increased risk of burnout.69

다음과 같은 개인 전략에 의존하면 

• 직장이나 훈련에서 의미를 찾고, 

• 오락, 취미 또는 운동에 정기적으로 참여하고, 

• 긍정적인 시각을 유지하고, 

• 지연 만족의 멘탈리티를 피하는 것(생존적 태도)

...은 번아웃의 위험을 줄여줍니다. 

Relying on a personal strategy to 

• find meaning in work or training, 

• engaging regularly in recreation, hobbies or exercise, 

• maintaining a positive outlook and 

• avoiding a mentality of delayed gratification (i.e. ‘survival attitude’) 

...lowers the risk of burnout.8,73 

다음과 같은 개인적 선택. 

• 휴식 시간에 충분한 수면을 취할 것 

• 인간관계와 사회적 지원을 만들고, 

• 건강을 유지하며, 

• 부채 부담을 줄이고, 스트레스를 관리하면 

...번아웃 위험을 줄일 수 있다(표 4). 

Personal choices that 

ensure adequate sleep during time off, 

build relationships and social support, 

maintain personal health, 

reduce debt burden and manage stress reduce the risk of burnout (Table 4).6,9,58,66,69 

자신의 정신적 웰빙의 주도권을 쥐고자 한다면, 훈련생들은 그들의 개인적인 삶과 직업적인 삶을 통합하는데 주의를 기울이는 것이 중요하다. 또한 독립적인 연구, 개인적 추적 및 휴식을 위한 적절한 시간을 할당해야 한다.

In taking ownership of their own mental well-being, it is important that trainees are attentive to integrating their personal and professional lives, with appropriate allocation of time for independent study, personal pursuits and rest.

회복탄력성은 역경에도 불구하고 긍정적인 상태를 유지하는 능력이다.74 회복력은 배울 수 있고 강화될 수 있는 기술이라는 것을 주목하는 것이 중요하다. 실제로 심리학 문헌은 사회 지원과 건설적 대처 능력이 회복력에 핵심적이라는 것을 확인한다.

Resiliency is the ability to remain positive despite adversity.74 It is important to note that resilience is a skill that can be learned and strengthened.56 In fact, the psychological literature confirms that social support and constructive coping skills are pivotal to resiliency,

훈련생들은 또한 마음챙김 훈련이 스트레스를 해소하고 자기관리 활동에 참여를 촉진하는데 유용하다고 생각할 수 있다. 마음챙김 훈련은 

• 자기 인식과 긍정적인 자기 강화, 

• 스트레스 요인들에 대한 신체적, 감정적 반응을 낮추기 위한 전략, 

• 의사소통 능력 훈련, 

• 명상 및 요가 연습

...을 포함할 수 있습니다.75,76

Trainees may also find mindfulness training useful for combating stress and promoting engagement in self-care activities. Mindfulness training can include self-awareness and positive self-reinforcement, strategies to lower physical and emotional reactions to stressors, communication skills training, meditation and yoga exercises.75,76

추가적인 전략에는 훈련생들이 의료 과오error에서 관련된 것으로 의심될 때, 교수들로부터 서포트를 요청하고 솔직한 논의를 하는 것이 포함된다. 그러한 대화는 미래의 실수를 예방하고 부적절한 자기 비난과 고통을 줄이는 데 도움이 될 수 있다. 

Additional strategies include seeking support and frank discussions with supervising faculty staff when a trainee suspects he or she may have had a role in a medical error. Such conversations can help prevent future errors and reduce inappropriate self-blame and distress.15,78

또한 교육자는 다음의 의무가 있다.

• 특별히 스트레스를 받는 특정 직무(예: 나쁜 소식 전달, 절차적 과제)에 대해서는 추가적 지침을 찾고, 

• 주어진 업무 시간 내에 처리할 수 있는 업무량에 대한 합리적인 기대치를 설정하며, 

• 교대시에는 모든 환자를 handover하여 공식적으로 업무에서 해방될 수 있도록

Trainees also have a personal responsibility to 

seek additional instruction for specific work-related tasks they find particularly stressful (e.g., relaying bad news, procedural tasks), 

set reasonable personal expectations for the amount of work-related tasks that can be completed within allowed work hours, 

and handover all patient care needs at the end of a shift to avoid extending work once officially relieved of duty.

그러나, 그렇게 하는 것은 극도로 어려울 수 있으며, 훈련자가 자신의 무능함이 교대 전에 필요한 일을 완수하는 것을 방해한다고 느끼거나, [환자에 대한 개인적인 책임]과 [아직 마치지 않았더라도 환자를 두고 병원을 떠나야 함]에 대한 상반된 메시지를 듣는 것도 스트레스를 증폭시킬 수 있다.

Doing so, however, can be extremely difficult and may amplify stress if the trainee feels their own inadequacy prevented them from getting needed work done before the end of their shift or if they hear conflicting messages about their personal responsibility for patients’ welfare and need to leave the hospital with patient-care work yet to be completed. 

또한 trainee는 변화의 문화와 지속적인 개선을 포용하여야 한다. 왜냐하면 새로운 헬스케어시스템은 환자 성과를 개선하고 비용을 절감하기 위하여 핵심 전략 및 국가 품질 우선 순위에 따라 설계 및 구현되어있기 때문이다.

Trainees will also need to embrace a culture of change and continuous improvement as new health care systems are designed and implemented consistent with key strategies79 and national quality priorities80 to improve patient outcomes and reduce costs.

또한 웰빙을 촉진하려면, trainee는 개인의 고통과 웰빙을 보정calibrate하고, 정신 건강이 환자의 학습이나 관리에 부정적인 영향을 미치는지 판단하고, 적절한 때에 도움을 구해야 합니다.

To promote well-being trainees should also take steps to calibrate personal distress and well-being, determine if their mental health is adversely impacting their learning or care of patients, and seek help when appropriate.

그러나, 자료에 따르면 의사들은 자기자신의 고통 수준을 평가하는 데 서툴다. 또한 실제로 훈련생과 의사들 모두 정신 건강 문제에 대한 도움을 구하는 것을 꺼린다. 불행히도, 번아웃 상태의 훈련생들은 도움 찾기를 꺼리는데, 왜냐하면 낙인stigma, 부정적인 개인적 경험, 사회적, 문화적 요인들 때문이다. 이는 번아웃 상태의 훈련생들을 조기에 식별하고 다루는 것이 어려워지는 이유이다.

however, data suggest that doctors in practice are poor at calibrating their own level of distress81 and both trainees and doctors in practice are reluctant to seek help for mental health concerns.30,82 Unfortunately, few trainees with burnout seek help due to perceived stigma, negative personal experiences and social and cultural factors,83 which means that early identification and treatment of trainees with burnout is difficult.

어떤 조직 단위 전략이 도움이 되는가?

What organisational-level strategies might be helpful?

조직은 1차, 2차 및 3차 예방에 참여하는 다면적 접근법이 필요하며, 이러한 접근 방식은 교육자가 번아웃할 위험을 줄이고 번아웃한 경우 회복에 도움이 됩니다(표 5).

Organisations need a multi-faceted approach that attends to primary, secondary and tertiary prevention to reduce the risk of trainees experiencing burnout and helps those with burnout recover (Table 5).

교육과정

Curriculum

한 가지 타당한 단계는 자기 관리, 웰빙 및 탄력성의 개념을 교육 커리큘럼에 도입하는 것이다. 혁신적 커리큘럼은 다음에 초점을 맞춰야 한다.

• 번아웃에 대한 인식

• 자기 관리(스트레스와 피로 감소) 

• 마음챙김

• 시험을 위한 전략 

• 건강과 개인적 관심사를 유지하는 것 

• 일과 삶의 균형 

• 고통과 의학적 실수에 대한 대처

• 부채 관리 및 적응형 대처 전략(예: 긍정적인 재정렬, 문제 해결 등) 

...이들은 일차 예방에 유용할 수 있습니다.

훈련생들이 어려움에 처한 동료를 지원하는 방법을 이해하는 데 도움이 되는 커리큘럼도 필요해 보이며, 그리고 동료들이 정신 건강 문제로 인해 손상을 입었을 때 언제, 왜, 어떻게 개인적으로 개입해야 하는지도 필요하다.

One reasonable step is to introduce the concept of self-care, well-being and resilience into the training curriculum. Innovative curricula focused on awareness of burnout, self-care (reduction of stress and fatigue), mindfulness, strategies for taking tests, maintaining health and personal interests, work-life balance, dealing with suffering and medical error, debt management and adaptive coping strategies (e.g. positive reframing, problem solving, etc.) may be useful for primary prevention.6,8,56,67,69,75,76,84–87 A curriculum that helps trainees understand how to support peers in distress, and when, why and how to personally intervene when peers are impaired due to a mental health problem, also appears to be needed.83

그러한 주제(예: 직장에서의 자기 관리, 고통, 주의 깊은 관행 및 일과 삶의 균형)를 다루기 위해 동료들과의 소그룹 회의를 촉진하는 것이 임상 시험에서 유용한 것으로 나타났다.88

Facilitated small-group meetings with colleagues to address such topics (e.g. self-care, meaning in work, dealing with suffering, mindful practice and work-life balance) have been shown to be useful in a randomised clinical trial involving doctors at the Mayo Clinic.88

그러한 교과과정을 기존의 학부 및 대학원 의학 교육 프로그램에 삽입하는 것은 수많은 난제를 안고 있다.

Inserting such a curriculum into the existing undergraduate and graduate medical education programmes has numerous challenges.

이러한 이니셔티브를 최적으로 설계, 구현, 평가 및 유지하는 데 필요한 리소스와 인프라를 확보하는 것은 어려울 수 있습니다.

Obtaining the necessary resources and infrastructure to optimally design, implement, evaluate and sustain such initiatives is likely to be difficult.

ACGME와 미국 소아과 위원회가 개발한 2013년 이정표95에 [정서적 한계에 대한 자기인식과 적절한 도움 추구]를 포함하게 한 것은 자기돌봄의 개념이 미국 대학원의 기본 원칙이 되고 있다는 증거이다.

Inclusion of selfawareness of emotional limitations and appropriate help-seeking in the 2013 milestones95 developed by the ACGME and the American Board of Pediatrics is evidence that the concept of self-care is becoming a fundamental principle in US graduate medical education.

새로운 교육 전략

New educational strategies

소모에 기여하는 (구조적) 요소를 식별하고 해결하기 위한 동시적 노력이 없이, 업무 관련 스트레스를 처리하는 방법에 대한 교육만을 제공하면 냉소주의가 증가할 수 있습니다. (예: '이것은 당신(=구조)의 문제이다.') 이와는 대조적으로, 그러한 훈련을 훈련 또는 연습 환경에 대한 구조적 변화와 결합하는 응집력 있고 동시적인 노력은 문제를 해결하겠다는 공동의 의지를 보여준다.

Providing training regarding how to deal with workrelated stress in the absence of a simultaneous effort to identify and address factors contributing to burnout can increase cynicism (e.g. ‘this is your problem’). By contrast, a cohesive and simultaneous effort that pairs such training with structural changes to the training or practice environment demonstrates a shared commitment to addressing the issue.

의과대학 첫 2년 동안 Pass-Fail 제도를 채택하는 것은 번아웃을 줄이고 웰빙을 개선하기 위한 증거 기반의 조직적 변화의 한 예이다. 다행히도, 1학년과 2학년 때 합격 또는 불합격 접근방식으로 전환한다고 해서 표준 시험이나 사무 수행에 대한 의료 지식 점수가 감소되지는 않는다는 것이 밝혀졌습니다.

Adopting a pass or fail grading scheme during the first 2 years of medical school is an example of an evidence-based organisational change to reduce burnout and improve well-being.53–55 Fortunately, studies have found that switching to a pass or fail approach in year 1 and year 2 does not decrease medical knowledge scores on standardised tests or clerkship performance.54,55 

직접적으로 연구되지는 않지만, norm-based 등급점수보다는 criterion-based 등급을 사용하면 웰빙을 촉진할 수 있는 임상 기간 동안 협력적 학습 환경을 촉진할 수 있다. 의대생들을 하나의 큰 집단에서 더 작은 학습 집단으로 재편하는 것은 스트레스, 불안, 우울증을 줄이는 것으로 단일 기관 연구에서 보여졌다.

Although not directly studied, using criterion-based grading rather than norm-based grading may facilitate a collegial learning environment during the clinical years that could promote well-being. Reorganising medical students from a single large group into smaller learning communities has been shown in a single institution study to reduce stress, anxiety and depression.96

휴식처와 사회활동을 조직하는 것은 관계와 동료들의 지원을 촉진할 수 있다. LC는 preceptor와의 관계에서 연속성을 위한 더 큰 기회를 제공할 수 있으며, 보다 의미 있는 관계를 촉진하고, 더 높은 서포트 및 환자 치료에 보다 실질적인 참여를 촉진할 수 있다.

 Organising retreats and social activities may foster relationships and peer support.56,66 Longitudinal clerkships may provide greater opportunity for continuity with a preceptor and facilitate more meaningful relationships, higher support and more substantive involvement in patient care.97

프로그램적 평가는 의과대학과 레지던트 프로그램이 훈련생들의 복지에 영향을 미치는 관리 가능한 요소들을 식별하고 해결함으로써 학습 환경을 최적화하는 핵심 방법이다.

Programmatic evaluation is a key way for medical schools and residency programmes to optimise the learning environment by identifying and addressing controllable factors that impact the well-being of trainees

힘들지만, 괴롭힘harassment을 없애는 것은 간접적으로 번아웃을 줄일 것이다.

Although challenging,99 eliminating harassment will indirectly reduce burnout.16,65

기존의 다원화된 전략이 이 문제를 효과적으로 해결하지 못했기 때문에, 이렇게 하려면 문화의 변화를 필요로 할 가능성이 높다.

Doing so is likely to require a culture change as existing multipronged strategies have not effectively addressed this problem.71,99,100

교수개발을 위한 이니셔티브는 직원들에게 문제의 범위, 일반적인 번아웃의 이유, 번아웃된 trainee의 확인 및 refer 방법, 기밀 유지 방법을 알려주어야 한다. 감독자의 행동이 훈련생들의 소진과 관련되어 있기 때문에, 교수개발은 핵심 교수진이 최적의 학습 환경을 구축하고, 효과적인 피드백을 제공하며 상호 관계를 강화하는 데 필요한 필수 교육 기술을 갖도록 해야 한다. 교직원들의 문제가 있는 행동을 대상으로 한 맞춤형 교정 계획을 수립하거나, 교육 업무의 재조정을 위해서는 학생과 레지던트의 교수평가를 활용할 수 있다.

Initiatives for faculty staff development should inform staff about the extent of the problem, common drivers of burnout, how to identify and refer trainees with burnout and how to maintain confidentiality. As supervisor behaviour relates to trainee burnout, staff development should ensure that core faculty members have the requisite teaching skills needed to establish an optimal learning climate, provide effective feedback and foster reciprocal relationships.66,85,86 Reacting to students’ and residents’ evaluations of faculty staff with individualised remediation plans targeting problematic faculty staff behaviours or reassignment of teaching duties is also necessary.71

스크리닝 도구

Screening tools

자가 교정과 관련된 고충 및 난관이 빈번하게 발생하는 점을 감안할 때, 번아웃 상태를 조기에 파악하고 심각한 개인 또는 직업적 결과를 방지할 수 있는 2차 예방 전략이 시행되어야 한다.101,102

Given the high prevalence of distress and challenges with self-calibration,81 secondary prevention strategies to promote early identification of burnout and prevention of serious personal or professional consequences should be put in place.101,102

그러한 접근방식으로, 개인 또는 의과대학과 레지던트 프로그램이 개개인을 스크리닝하고 개인화된 상담 또는 기타 지원 자원에서 가장 이익을 얻을 가능성이 높은 사람을 식별하기 위한 자가 평가 도구가 포함될 수 있다.

Such approaches may include self-assessment tools for use by individuals or by medical schools and residency programmes to screen for distress and identify those most likely to benefit from individualised counselling or other support resources.

이용할 수 있는 자가 평가 도구 중 하나인 7항목 의대생 및 의사 웰빙 지수가 현재 의대 학생, 거주자 및 실무 의사에서 검증되었다.103–105

One available self-assessment tool, the 7-item Medical Student and Physician Well-Being Index, has now been validated in medical students, residents and practising doctors.103–105

웹 기반 버전의 이 도구는 현재 여러 센터의 의료 학생과 의사 모두에게 평가되고 있습니다. 이 도구를 통해 학생 또는 의사는 다음을 수행할 수 있습니다. 

• (i) 현재 웰빙 수준이 전국의 의대생 및 의사와 어떻게 비교되는지에 대한 즉각적인 피드백을 받는다

• (ii) 웰빙 수준이 잠재적으로 심각한 개인적, 직업적 반향의 더 높은 위험을 야기하는지 확인한다

• (iii) 시간 경과에 따른 개인적 행복의 변화를 추적한다. 

• (iv) (웰빙을 촉진하고 의사들이 훈련 중에 경험한 다양한 우려에 대한 지원 제공하기 위하여 설계된) 지역 및 국가 자원에 적시에 접근한다. (예: 피로, 재정적 우려, 관계 문제, 직업 의사결정, 탄력성 등)

A web-based version of this tool is now being evaluated in both medical students and doctors across multiple centres. This tool enables students or doctors to: 

• (i) receive immediate feedback on how their current level of well-being compares with medical students and doctors nationally, 

• (ii) ascertain whether their level of well-being puts them at a higher risk of potentially serious personal and professional repercussions, 

• (iii) track changes in their personal well-being over time, and 

• (iv) access just-in-time local and national resources designed to both promote and nurture well-being and provide support for a variety of concerns experienced by doctors in training (e.g. burnout, fatigue, financial concerns, relationship issues, career decision making, resilience, etc.).

돌봄 접근

Access to care

자기평가 도구가 스트레스 인식과 도움에 어떻게 접근해야 하는지에 대한 인식을 촉진할 수 있지만, 훈련생들 사이에서 도움 탐색을 어렵게 만드는 장벽을 완전히 극복하지는 못할 것이다. 진료 시간 동안 개인적인 진료 예약을 위해 시간을 보내는 결근 정책은 진료에 대한 접근을 용이하게 하는 데 중요하다. 훈련자는 자신의 학업 평가나 승진 결정에 관여하지 않은 정신 건강 제공자에 접근해야 한다. 이상적으로 훈련생에게는 정신 건강 문제 관리와 관련된 기밀성 및 낙인에 대한 우려를 최소화하기 위해 외부 또는 외부 정신 건강 관리 제공업체를 위한 '네트워크 내' 옵션이 제공되어야 한다.83,106

Although self-assessment tools may facilitate recognition of distress and awareness of how to access help, they are unlikely to fully overcome barriers to helpseeking among trainees. An absentee policy that allows time-off for personal medical appointments during clinical hours is important to facilitate access to care. Trainees should have access to mental health providers who are not involved in their academic assessment or advancement process. Ideally, trainees should be provided ‘in-network’ options for off-campus or external mental health care providers to minimise concerns regarding confidentiality and stigma related to seeking care for mental health issues.83,106

많은 의대생들은 그들이 교수진과 동료 학생들이 다른 학생들의 정신 건강 문제의 기밀성을 지키지 않는 것을 보았다고 보고했으며, 또한 정서적 문제가 있는 학생들에 대한 차별적 행동을 하는 것을 보았다고 했다. 학생들은 또한 정신 건강 문제를 공개하는 것이 환자가 자신들을 보는 관점은 물론, 자신의 레지던트 훈련 기회에 악영향을 미칠 것에 대한 우려를 나타냈다.

A large proportion of medical students in this cohort reported that they had observed faculty staff and fellow students breeching the confidentiality of other students’ mental health issues and engaging in discriminatory behaviour toward students with emotional problems. The students also expressed concern that disclosing mental health issues would adversely impact their residency training opportunities as well as patients’ views of them. 

의대생들은 알코올이나 약물 남용을 하는 동료보다 정신 건강 문제를 겪는 동료를 덜 보고하려고 했다.

medical students were less willing to report a colleague impaired due to mental health problems than one impaired due to alcohol or substance abuse.18

레지던트는 부분적으로 그것이 특권의 상실이나 심지어 의사 개업의 면허까지 초래할 수 있다는 우려 때문에 정신 건강 문제에 대한 도움을 구하는 것을 꺼릴 수 있다.82

Residents may be reluctant to seek help for a mental health issue due in part to concern it may result in loss of privileges or even their license to practice medicine.82

또한, 학술 병원, 인증 기관 및 조직화된 의학은 개인의 행복에 무관심하고, 개인의 요구보다 업무를 우선시하며, 자신의 어려움과 취약점을 인정하지 않게 만드는 전문 문화에 맞설 필요가 있다.30

In addition, academic medical centres, accreditation organisations and organised medicine need to confront a professional culture that is indifferent to personal wellness, suggests that work should always be prioritised over personal needs, and discourages doctors from acknowledging their personal struggles and vulnerabilities.30

결론

CONCLUSION

The aims of such efforts should seek to promote more than the absence of burnout and include an environment in which trainees flourish, achieve high well-being and acquire the skills necessary to promote resilience.

Med Educ. 2016 Jan;50(1):132-49. doi: 10.1111/medu.12927.

A narrative review on burnout experienced by medical students and residents.