학업적 어려움을 겪는 의과대학생 및 전공의를 위한 개입 (BEME Guide No. 56) (Med Teach, 2019)

학업적 어려움을 겪는 의과대학생 및 전공의를 위한 개입 (BEME Guide No. 56) (Med Teach, 2019)
Interventions for undergraduate and postgraduate medical learners with academic difficulties: A BEME systematic review: BEME Guide No. 56 
Miriam Lacassea , Marie-Claude Aud
etatb,c,d,
Elisabeth Boileaue , Nathalie Caire Fonb, Marie-H
elene Dufoura, Marie-Claude Laferrieref, Alexandre Lafleurg, Eve La Rueh, Shirley Leei,j, Mathieu Nendazc,k , Emmanuelle Paquette Raynardf, Caroline Simarda , Yvonne Steinertl and Johanne Th
eor^eta 

 

소개
Introduction

의료 훈련 프로그램은 까다롭다. 대부분의 의학 학습자들은 큰 어려움 없이 훈련을 마치는 반면, 10-15%는 프로그램을 진행하는 동안 약간의 문제를 경험하게 될 것이다(야오와 라이트 2000; 파우스티넬라 외). 2004; Reamy and Harman 2006; 예이츠와 제임스 2006). 학습자의 어려움은 의학 교육에서 다양한 수준에서 큰 영향을 미칠 수 있습니다. 교사들은 학습자들이 학업상의 어려움을 겪을 때, 특히 행동장애가 있는 경우, 낙담할 수 있다(Hicks et al. 2005). 기관 및 사회 수준에서, 어려움에 처한 학습자는 또한 환자 치료와 안전의 질에 심각한 영향을 미칠 수 있다(Hicks et al. 2005). 임상 교사는 부분적으로 증거 기반 교정조치 옵션에 익숙하지 않기 때문에 종종 불만족스러운 훈련생 성과를 보고하는 데 어려움을 겪는다(Yepes-Rios et al. 2016).

Medical training programs are demanding. Whereas most medical learners will complete their training without significant difficulties, 10–15% will experience some problem during their program (Yao and Wright 2000; Faustinella et al. 2004; Reamy and Harman 2006; Yates and James 2006). Learner difficulties can have a huge impact at various levels in medical education. Teachers may become discouraged when facing learners experiencing academic difficulties, particularly for those with behavioral issues (Hicks et al. 2005). At the institutional and societal levels, learners in difficulty can also have a serious impact on the quality of patient care and safety (Hicks et al. 2005). Clinical teachers often struggle to report unsatisfactory trainee performance, in part because they are not familiar with evidence-based remediation options (Yepes-Rios et al. 2016).

박스 1은 학업 어려움, 학부생, 대학원 교육생 및 교정에 대해 본 기사에서 사용된 작업 정의를 보고한다.

Box 1 reports the working definitions used in this article for academic difficulties, undergraduate students, postgraduate trainees, and remediation.

상자 1. 정의
Box 1. Definitions/Glossary

학업상 어려움이 있는 학습자
Learners with academic difficulties

• "지식, 태도 또는 기술에 대한 문제로 인해 훈련 프로그램의 기대에 미치지 못하는 학습자"(Steinert 2008)
• “Learners who do not meet the expectations of a training program because of a problem with knowledge, attitudes, or skills” (Steinert 2008).

학부생
Undergraduate students

• 의학박사 취득 과정에 있는 학습자.
• Learners who are in the process of obtaining a medical degree.

대학원생
Postgraduate trainees

• 이미 의사 학위를 소지한 학습자(주민, 인턴, 재단 의사)는 국가별 용어에 따라 사전 등록 하우스 담당자와 선임 하우스 담당자로 알려져 있다.
• Learners who already have a medical degree, also known as residents, interns, foundation doctors – who were formerly known as pre-registration house officers and senior house officers – and specialty registrars, depending on each country terminology.

재교육
Remediation

• "표준 교육과정을 넘어서는 추가 강의는 추가 강의가 없다면 해당 직업에 필요한 기술을 습득할 수 없는 학습자에게 개별화된 것이다."(게라시오, 푸르파리 등)
  다만 '학업적 어려움'은 다양한 개인·교육적·환경적 요인에 의해 발생할 수 있으며, 일부 '학업적 어려움을 겪는 학습자를 위한 개입'은 교정 개념을 넘어설 수도 있다.
• “Additional teaching above and beyond the standard curriculum, individualized to the learner who without the additional teaching would not achieve the necessary skills for the profession.” (Guerrasio, Furfari, et al. 2014). However, ‘academic difficulties’ may be caused by a range of individual, educational and environmental factors, and some “interventions for learners with academic difficulties” may go beyond the concept of remediation.

일부 교과서에는 의료 교육의 교정조치를 목표로 하는 다양한 개입이 요약되어 있지만(Guerrasio 2013; Kalet and Chou 2014) 이러한 연구에서 제안된 대부분의 개입은 전문가 권고사항이며, 발표된 연구에서 뒷받침되지 않는다. 
Some textbooks summarize various interventions aimed at remediation in medical education (Guerrasio 2013; Kalet and Chou 2014), but most of the interventions proposed in these works are expert recommendations, not supported by published studies.

• 하우어 외. (2009)는 학부, 대학원 및 지속적인 의료 교육 수준에서 교정 개입에 대한 발표된 연구를 설명했다. 그들은 13개의 연구를 식별했으며, 주로 훈련생의 부족한 지식이나 임상 기술 또는 개업 의사의 표준 이하의 실천 성과를 교정하기 위한 소규모 단일 기관의 노력을 기술했다. 그러한 근거 부족으로, 그들은 교정조치에 대한 전략에 대한 다중 기관, 결과 기반 연구를 장려했으며, 향후 성과에 미치는 영향을 결정하기 위해 장기적인 후속 조치를 사용했다. 
• 클레랜드 외 연구진(2013)은 특정 교정조치 개입이 작동한 방법과 이유를 명확히 하기 위해 이용 가능한 증거를 종합했다. 이들은 주로 의대생을 대상으로 한 31개 연구를 선정했는데 대부분의 개입이 시험이나 평가를 통과하기 위한 성과 향상에 초점을 맞추고 있으며 어떤 형태의 추가 지원이나 가르침이 학습 진전에 중요한지에 대한 통찰력은 제공하지 않는다고 결론 내렸다. 더 최근의 연구들은 일반적으로 더 나은 품질을 가지고 있었다. 

 

• Hauer et al. (2009) described published studies on remediation interventions at the undergraduate, graduate, and continuing medical education levels. They identified 13 studies, primarily describing small, single-institution efforts to remediate deficient knowledge or clinical skills of trainees or below-standard-practice performance of practicing physicians. With such paucity of evidence, they encouraged multi-institutional, outcomes-based research on strategies for remediation, with the use of long-term follow-up to determine the impact on future performance.
• Cleland et al. (2013) synthesized the available evidence to clarify how and why certain remediation interventions worked. They selected 31 studies, mostly targeting medical students, and concluded that most interventions focus on improving performance to pass an examination or assessment and provide no insight into what types of additional support or teaching are critical, in terms of advancing learning. More recent studies were generally of better quality.

이러한 리뷰는 학업상 어려움을 겪는 학습자를 위한 대부분의 개입이 전문가의 조언에 의존하며, 거의 평가되지 않은 것으로 보인다고 언급하고 있으며, 그들은 또한 학업상 어려움을 겪는 의학 학습자를 지원하기 위한 모범 사례를 안내하기 위한 증거가 부족하다고 결론지었다.

These reviews stated that most interventions for learners experiencing academic difficulties rely on expert advice and few appear to have been assessed; they also concluded that evidence was lacking to guide best practices to support medical learners with academic difficulties.

Cleland가 여러 데이터베이스에서 검색했지만, 의료 교육에 대한 일부 관련 데이터베이스(예: 교육 소스 및 PsycINFO)는 탐색되지 않았다. 그들의 문학 리뷰는 주로 교육 측정과 프로그램 평가에 초점을 맞췄다. 또한 두 문헌 리뷰 모두 커크패트릭 계층 구조만을 따랐으며(커크패트릭 1994), 컨텍스트, 입력, 프로세스 같은 프로그램 평가의 다른 측면은 다루지 않았다(스터플빔 2003).

Although Cleland searched in multiple databases, some relevant databases for medical education were not explored (e.g. Education Source and PsycINFO). Their literature review focused primarily on educational measurement and program evaluation. Furthermore, both literature reviews extracted their data following the Kirkpatrick hierarchy only (Kirkpatrick 1994), and did not address other aspects of program evaluation, such as context, input or process (Stufflebeam 2003).

 

교육 진단
Educational diagnosis

학부 또는 대학원 의료 훈련 및 교육 진단 중 학문적 어려움을 암시하는 요소는 의학 교육 문헌에 잘 설명되어 있다(Cariaga-Lo 등 1997; Stern 등 2005; Yates 및 James 2006). 의료 교육에서 어려운 학습 상황의 분석을 지원하는 대부분의 프레임워크(샤피로 외 1987; 고든 1993; 본 외 1998; 칸 2001; 미첼 외 2005)는 교육 진단 바퀴(Lacasse 2009)로 개조된 스타이너트(2008, 2013)에 의해 제안되어 요약될 수 있다.
Factors suggestive of academic difficulties during undergraduate or postgraduate medical training and educational diagnoses are well described in the medical education literature (Cariaga-Lo et al. 1997; Stern et al. 2005; Yates and James 2006). Most of the frameworks supporting the analysis of challenging learning situations in medical education (Shapiro et al. 1987; Gordon 1993; Vaughn et al. 1998; Kahn 2001; Mitchell et al. 2005) can be summarized by the one proposed by Steinert (2008, 2013), adapted as the Educational Diagnosis Wheel (Lacasse 2009).

이 프레임워크는 학습자가 학습 환경/시스템에서 교사와 상호 작용하는 학습에 대한 [사회 구성주의적 접근방식]을 참조한다. 학습자 문제에는

• 학업적 어려움(기본, 임상, 절차적 또는 업무적 지식; 인지적(임상 추론 기술, 연구 기술, 시험 응시 기술), 대인관계, 구조적 또는 절차적 기술; 그리고 개인적, 대인관계 또는 직업적 태도
• 개인 생활 문제 (건강, 배우자/가족, 금융, 문화 적응 및 사회 생활). 
  
  

This framework refers to a socio-constructivist approach to learning, where the learner interacts with a teacher in a learning environment/system. Learner issues involve

• academic difficulties (fundamental, clinical, procedural or work setting knowledge; cognitive (clinical reasoning skills, study skills and test-taking skills), interpersonal, structural or procedural skills; and personal, interpersonal or professional attitudes) as well as 
• personal life issues (health, spouse/family, financial issues, cultural adaptation and social life).

이러한 [개인 생활 문제]에 [교사 수준(개인 생활 문제 또는 교수 개발의 격차)] 또는 [환경/시스템 수준(학습 기후 또는 학습 조건)]의 어려움이 더해져서, 역량 개발 및 결과적인 학업 성공여부에 영향을 미친다. 그러나 학문적 어려움에 기여하는 학습에 대한 이러한 차원은 역량 문제를 설명하는 것이 아니라 그에 따른 교육 진단 및 계획 관리를 설명하는 데 도움이 되어야 한다(Lacasse 2009).

These personal life issues, together with difficulties at the teacher level (personal life issues or gaps in faculty development) or environment/system level (learning climate or learning conditions) often have an impact on competency development and resulting academic success. However, these dimensions around learning which contribute to academic difficulties should not excuse competence issues but help to explain the educational diagnosis and plan management accordingly (Lacasse 2009).

 

Conceptual frameworks underlying interventions for learners experiencing academic difficulties

이론적 관점에서 학문적 어려움을 겪는 학습자에게 대부분의 개입은 학습이론을 참조한다. 예를 들어, 행동의 피드백과 모니터링은 조작적 조건화(Skinner 1974)와 사회적 학습 이론(Bandura 1986)을 참조한다. 연관 학습 전략과 개념 매핑과 같은 인지적 방법은 정보 처리 이론(Miller 1956)과 인지 부하 이론(Sweller 1988)에서 영감을 받았다. 학습/재교육 계획 및 성찰적 실천은 성인 학습(Knowles 1984)과 경험적 학습(Kolb 1984)과 같은 인문주의 이론에서 영감을 받았다. 역할 모델링과 문제 기반 학습은 인지적 견습(Collins et al. 1987)과 위치 학습(Lave and Wenger 1991)과 같은 사회 구성주의 원칙을 따른다.
From a theoretical perspective, most interventions for learners experiencing academic difficulties refer to learning theory. For example,

• feedback and monitoring of behavior refer to operant conditioning (Skinner 1974) and social learning theories (Bandura 1986);
• cognitivist methods such as associative learning strategies and concept mapping are inspired by information processing theory (Miller 1956) and cognitive load theory (Sweller 1988);
• learning/remediation plans and reflective practice are inspired by humanist theories such as adult learning (Knowles 1984) and experiential learning (Kolb 1984);
• role modeling and problem-based learning follow socio-constructivist principles, such as cognitive apprenticeship (Collins et al. 1987) and situated learning (Lave and Wenger 1991).

그러나 학문적 어려움을 겪는 학습자를 위한 개입을 설명하는 대부분의 연구는 명확한 개념 프레임워크를 제공하지 않는다(클랜드 외 2013). 그럼에도 불구하고, 보건 직업 교육은 보건 전문가 실습 개발의 한 형태이고 보건 전문가 실습은 행동의 한 형태로 보일 수 있기 때문에, 교육 개입은 그들의 설계에서 행동 변화 이론과 전략을 이용해야 한다. 제안된 변화 메커니즘으로 개입 내용을 식별하는 데 도움이 되는 행동 변화 기법(BCT) 그룹을 지정하는 신뢰할 수 있는 방법이 개발되었다. 보충 표 1에 요약된 Michie의 BCT 택사노미(Michie et al. 2015)는 행동, 분야 및 관심 영역에 걸쳐 사용될 수 있는 합의된 신뢰할 수 있는 분류법이다. 이 분류법은 데이터 추출 및 분석 과정에서 개입을 분류하는 데 매우 유용하지만 의료 교육에서는 거의 사용되지 않았다(Duncan et al. 2012; French et al. 2012). 

However, most studies describing interventions for learners experiencing academic difficulties do not provide an explicit conceptual framework (Cleland et al. 2013). Nevertheless, since health professions education is a form of health professional practice development, and health professional practices can be seen as a form of behavior, educational interventions should take advantage of behavioral change theories and strategies in their design. A reliable method has been developed to specify groups of behavior change techniques (BCTs), which help to identify intervention content with their proposed mechanisms of change. Michie’s BCT Taxonomy (Michie et al. 2015), outlined in Supplemental Table 1, is a consensually agreed, reliable taxonomy that could be used across behaviors, disciplines and areas of interest. This taxonomy is very useful to classify interventions in a process of data extraction and analysis, but it has been rarely used in medical education (Duncan et al. 2012; French et al. 2012).

Table  SEQ Table \* ARABIC 1 – Definitions and examples of Behaviour Change Techniques groupings

 

Behaviour Change Techniques groupings	Definition excerpts (selected from Michie et al., 2015) and adapted for the medical education context)	Examples of interventions in the context of medical education
Antecedents (Accommodations)	Restructure the physical/social environment; avoid/reduce exposure to cues for the behaviour; advise or arrange to use an alternative focus for attention to avoid triggers for unwanted behaviour; add objects to the environment in order to facilitate performance; alter body structure, functioning or support to facilitate behaviour change	Reduced patient load
Associations	Define environmental or social stimulus with the purpose of prompting or cueing the behaviour (with or without reward); withdraw gradually prompts to perform the behaviour; remove aversive stimulus; provide systematic confrontation with a feared stimulus to reduce response to a later encounter (exposure)	Clinical reasoning exercises and associative learning
Comparison of behaviour	Provide an observable sample of the behaviour; draw attention to others’ performance or perception of behaviour to allow comparison with the person’s own performance	Demonstration and role modeling
Comparison of outcomes	Present verbal or visual communication from a credible source in favour of or against the behaviour; advise the person to identify and compare pros and cons to change behaviour (including imagining future outcomes of both options)	Comparing adverse event rates
Covert learning	Advise to imagine performing the wanted/unwanted behaviour, followed by imagining a pleasant/an unpleasant consequence; prompt observation of the consequences for others when they perform the behaviour	Imaginary punishment/reward, vicarious consequences
Feedback and monitoring	Observe and record behaviour; monitor and provide feedback (self or others)	Videotape review
Goals and planning	Set or agree on a goal; select strategies to overcome barriers/increase facilitators; prompt detailed planning of performance; create behavioural contract	Learning plan
Identity	Identify as role model; suggest the adoption of a new perspective on behaviour to change cognitions or emotions about performance; draw attention to discrepancies between current or past behaviour and self-image in order to create discomfort	Meeting with faculty advisor/mentoring to discuss professional identity
Natural consequences	Provide information or emphasise the consequences or anticipated regret	Call back patient if inappropriate management plan decided by the learner before discharge
Regulation	Provide pharmacological support; advise on ways of reducing negative emotions to facilitate performance; advise on ways of minimising demands on mental resources to facilitate behaviour change	Psychotherapy, pharmacotherapy, etc.
Repetition and substitution	Practice the performance of the behaviour to increase habit/skill; prompt substitution of the unwanted behaviour with a wanted/neutral behaviour; repeat the wanted behaviour in an exaggerated way following an unwanted behaviour; set easy-to-perform tasks, making them difficult, but achievable (graded tasks)	Repeated rotation
Reward and threat	Provide material or social incentive as positive reinforcement to behaviour or outcome; self-incentive; inform that future punishment or removal of reward will be a consequence of performance of an unwanted behaviour	Warning letter
Scheduled consequences	Arrange for withdrawal of something valued or for aversive consequence if an unwanted behaviour is performed; arrange for reward following any approximation to the target behaviour, gradually rewarding only performance closer to the wanted behaviour; reward completion of behaviour; arrange for removal of an unpleasant consequence on performance of the wanted behaviour	Probation
Self-belief	Tell the person that they can successfully perform (persuasion about capability); advise to practise imagining performing successfully; focus on past success; prompt positive self-talk before and during behaviour	Visualization techniques
Shaping knowledge	Provide information; advise; elicit perceived causes of behaviour and suggest alternative explanations;	Didactic sessions
Social support	Advise on, arrange or provide emotional or practical support	Peer tutoring

1	Goals and planning Ex.: Remediation plan, learning plan/contract, clinical case scenarios/problem-based learning, written or verbal commitments (or contracts) of the learner regarding goals/outcomes
2	Feedback and monitoring Ex.: Direct or indirect observation and feedback, Portfolio, Video viewing of the student’s performance (for self-monitoring or feedback purposes), Practice audit or other Self-assessment activities (related to clinical competence vs #13)
3	Social support Ex.: Peer support groups, Mentoring
4	Shaping knowledge Ex.: Teaching sessions, Lectures, Self-learning modules, Directed readings
5	Natural consequences Ex.: Call back patient if part of management was inappropriate/ incomplete, Rewrite patient's record if not presented properly
6	Comparison of behaviour Ex.: Bedside teaching, Role modeling (clinical teacher observation, videos, etc.), Peer-based learning, Providing data about the performance of other colleagues, physicians
7	Associations Ex.: Prototypes, Checklists (used in the workplace) about the steps to follow
8	Repetition and substitution Ex.: Repeated rotation/year, Simulation, Practice on models Step-by-step approach, Role playing, Peer-assisted learning (to practice history or physical examination skills)
9	Comparison of outcomes Ex.: Discussion about outcome data from major medical organisations (e.g. WHO recommendations)
10	Reward and threat Ex.: Warning letter
11	Regulation Ex.: Psychotherapy, Meditation and stress reduction therapies, Pharmacotherapy
12	Antecedents Ex.: Accommodations in the workplace or within the work team (e.g. reduced number of patients, reduced distractions, etc.), Accommodations during assessments (e.g. headphones or separated room, more time allowed, etc.)
13	Identity Ex.: Teaching as a resident, Self-assessment of one’s values and strengths (in general, not clinical skills which is #2), Meeting with faculty advisor/mentoring to discuss professional identity
14	Scheduled consequences Ex.: Suspension, Delinquent assignment or task
15	Self-belief Ex.: Visualization techniques
16	Covert learning Ex.: Discussions about medical errors/ cases of medical law suits, Discussions about potential consequences of a management plan for the patient

 

 

앞에서 설명한 교육 진단과 관련될 수 있는 16개 이하의 그룹을 분류함으로써 교육 개입에 대한 이해를 촉진한다.
It facilitates understanding of educational interventions by classifying those under 16 groupings, which can be associated with the educational diagnoses depicted previously:

• 지식 형성을 이용한 개입은 지식 부족을 해결할 수 있다.
  
• 행동 비교, 연관성, 반복 및 대체 또는 결과의 비교를 사용한 개입이 스킬 문제를 해결하는 데 도움이 될 것으로 보인다.
  
• 자연스러운 결과, 예정된 결과, 보상 및 위협 또는 은밀한 학습에 기초한 개입은 태도 문제와 관련이 있는 것으로 보입니다.
  
• 규정(의료/심리적 지원), 선행(숙박), 정체성 또는 자아 믿음에 초점을 맞춘 개입이 학습자의 개인적 문제에 도움이 될 수 있습니다.
  
• 사회적 지원을 촉진하는 개입은 교사 및 환경/시스템 문제에 유용할 것이다.
  
• 목표와 계획 또는 피드백 및 모니터링에 기반을 둔 개입을 교육적 진단을 다루기 위해 사용할 수 있습니다.

• Interventions using Shaping knowledge could address Knowledge deficiencies
• Interventions using Comparison of behavior, Associations, Repetition and substitution or Comparison of outcomes seem promising to address Skills issues
• Interventions based on Natural consequences, Scheduled consequences, Reward and threat or Covert learning seem relevant for Attitude concerns
• Interventions focusing on Regulation (medical/psychological support), Antecedents (accommodations), Identity or Self-belief could help with Learners’ personal issues
• Interventions promoting Social support would be useful for Teachers’ and Environment/System problems
• Interventions grounded on Goals and planning or Feedback and monitoring may be used to address any educational diagnosis.

목표
Objectives

이 검토의 목표는 학문적 어려움을 겪고 있는 학부(UG) 및 대학원(PG) 의학 학습자를 위한 개입을 식별하고, 이론 기반 개념 프레임워크와 연결하며, 사용에 관한 문헌 기반 권장 사항을 제공하는 것이다.

The goals of this review are to identify interventions for undergraduate (UG) and postgraduate (PG) medical learners experiencing academic difficulties, to link them to a theory-based conceptual framework, and to provide literature-based recommendations around their use.

방법들
Methods

이 체계적인 검토는 BEME의 체계적인 검토 프레임워크를 따랐다. 검토는 체계적 검토 및 메타 분석에 대한 선호 보고 항목(PRISMA)에 따라 보고된다(Moher 등). 2009) (부록 1 보충). 이 검토는 BEME Collaboration에 등록되고 승인되었습니다. 검토 팀은 수락된 BEME 검토 절차를 따랐다. 이 연구 프로토콜은 2017년 4월에 동료 검토, 등록 및 BEME 웹 사이트에 게시되었다(Lacasse et al.
This systematic review followed the BEME systematic review framework (http://www.bemecollaboration.org/Publications+Research+Methodology/). The review is reported in accordance with the Preferred Reporting Items for Systematic Reviews and Meta-analyses (PRISMA) (Moher et al. 2009) (Supplemental Appendix 1). This review was registered with and approved by the BEME Collaboration. The Review team followed accepted BEME review procedures. The study protocol was peer-reviewed, registered and published on the BEME web site in April 2017 (Lacasse et al. 2017).

소스 및 전략 검색
Search sources and strategies

이 체계적인 검토는 (1) 의료 교육, (2) 전문 역량 또는 어려움, (3) 교육 지원 등의 개념을 결합한 MEDLINE, CINAHL, ERMASE, ERIC Education Source 및 PsycINFO 데이터베이스를 조사했다. (사용된 키워드 및 자세한 검색 전략은 부록 2에 제시되어 있습니다.) 문헌은 1990년 1월 1일부터 2016년 12월 31일까지 20세기 마지막 10년 동안 현재의 역량 기반 의료 교육 프로그램의 개발이 시작된 이후 검색되었다(Carraccio et al. 2002).

This systematic review searched the MEDLINE, CINAHL, EMBASE, ERIC Education Source and PsycINFO databases combining the following concepts: (1) medical education, (2) professional competence or difficulty, and (3) educational support. (The keywords used and the detailed search strategy are presented in Supplemental Appendix 2.) The literature was searched from 1 January 1990 to 31 December 2016 since the development of current competency-based medical education programs arose during the last decade of the twentieth century (Carraccio et al. 2002).

의학 학습의 교정조치 옵션에 대한 이전 리뷰에서 검색된 기사(하우어 외) 2009; 클레랜드 외 연구진)이 선정 과정에 추가되었다. 색인화되지 않은 저널(페다고기 메디칼레, 이탈리아 의학 교육 저널, 국제 보건 교육 저널 데 에스콜라 바히아나 데 메디나 에 사우드 푸블리카) 레비스타 시엔시아스 드 라 살루드, 에듀카시온 메디카 수페리오르가 수색을 당했다. 또한 해당 분야의 전문가 3명에게 이메일로 연락하여 이 검토와 관련된 연구 결과를 공유했습니다.
Articles retrieved in previous reviews about remediation options in medical learning (Hauer et al. 2009; Cleland et al. 2013) were added to the selection process. Non-indexed journals (Pédagogie Médicale, Journal of Italian Medical Education, International Journal of Health and Education Journal de Escola Bahiana de Medicina e Saúde Pública. Revista Ciencias de la Salud, Educación Médica Superior) were hand searched. In addition, three experts in the field were contacted by email to share any study results relevant to this review.

스터디 선택 기준
Study selection criteria

이 검토의 초점은 학문적 어려움을 겪고 있는 학부 및 대학원 의학 학습자들을 위한 개입에 있습니다. 따라서, 포함되기 위해서는 다음과 같은 기준을 충족해야 한다.

• 원본 연구 연구 또는 혁신 보고서
  
• 의학 분야에서 비롯되었다.
  
• 어려움에 처한 학부생 또는 대학원생에게 초점을 맞춘다.
  
• 학업상 어려움을 겪는 학습자를 지원하기 위한 하나 이상의 개입 전략을 설명한다.
  
• 적어도 한 가지 형태의 프로그램 평가를 포함해야 한다.
  
  

The focus of this review is on interventions for undergraduate and postgraduate medical learners experiencing academic difficulties. Therefore, to be included, articles needed to meet these criteria:

• original research studies or innovation reports;
• come from a medical discipline;
• focus on undergraduate students or postgraduate trainees in difficulty;
• describe at least one intervention strategy aimed at supporting learners with academic difficulties;
• include at least one form of program evaluation.

기사는 평가방법론 없이 서술만 할 경우, 개입이 기술되지 않았거나 어려운 학습자를 위해 설계된 경우, 다른 건강관리 프로그램을 대상으로 한 경우, 영어, 프랑스어, 스페인어, 독일어, 이탈리아어 이외의 언어로 작성된 경우 제외됐다.

Articles were excluded if they were only descriptive without an evaluative methodology, if no intervention was described or if the intervention was designed for learners who were not in difficulty, if they were aimed at other healthcare training programs, or if they were written in languages other than English, French, Spanish, German or Italian.

중복 제거 후, 한 검토자(EL 또는 CS)가 검색 전략으로 식별된 모든 제목과 초록을 심사하고 명백히 관련이 없는 보고서를 삭제했다. 두 번째 검토자(ML)는 나머지 제목과 개요를 검토했다. 관련성이 의심스럽다면 이 단계에서 기사는 삭제되지 않았다. 잠재적으로 관련된 모든 인용문에 대해 전체 텍스트 기사가 검색되었습니다. 나머지 글(ML, CS)은 전문을 활용해 검토자 2명이 독자적으로 평가해 포함·제외 기준에 따라 심사 대상 선정 여부를 결정했다. 과정에서 차이가 발생하는 경우 세 번째 검토자(AL)에게 자문을 구했다. 주요 기사가 모두 포함되도록 선별된 기사의 참고 문헌을 검색했다.
After the removal of duplicates, one reviewer (EL or CS) screened all titles and abstracts identified by the search strategy and eliminated obviously irrelevant reports. A second reviewer (ML) reviewed the remaining titles and abstracts. In case of doubt as to their relevance, articles were not eliminated at this stage. Full-text articles were retrieved for all potentially relevant citations. Two reviewers independently assessed the remaining articles (ML and CS) using full texts and decided if they should be selected for the review based on the inclusion and exclusion criteria. A third reviewer (AL) was consulted if differences arose in the process. Bibliographies of selected articles were searched to ensure all key articles were included.

데이터 추출
Data extraction

각 기사에 대해 심사위원이 각 개입 전략(대상 교육진단 및 행동변화 기법 그룹화)과 프로그램 평가 설계에 대한 데이터를 추출해 결과물의 효과와 품질평가를 포함시켰다. 표준화 회의에서는 범위 지정 검색으로 식별된 5개 항목을 사용하여 데이터 추출 시트를 파일럿할 수 있습니다.
For each article, the reviewers extracted data about each intervention strategy (targeted educational diagnoses and behavior change technique groupings) and program evaluation design, including effectiveness of outcomes and quality appraisal. A standardization meeting allowed to pilot the data extraction sheet using 5 articles identified by a scoping search.

두 쌍의 무작위 검토자가 선택한 모든 전체 텍스트 기사에서 독립적으로 데이터를 추출하고 데이터 추출 시트의 관련 정보를 코딩했다. 데이터 추출은 온라인 데이터 추출 양식(부록 3 보충)에 의해 촉진되었다. 포함된 모든 연구의 코드화 후, 평가자 효과를 통제하기 위하여, 여러 코더 간의 연구 코드화 결과를 비교하여 평가자 간 신뢰도를 평가하였다. 연구 설정이 클래스 내 상관관계나 Cohen의 카파를 허용하지 않았기 때문에 각 개입 전략에 관련된 BCT에 대한 동의 백분율이 계산되었다. 프로그램 평가 유형 및 MMAT 지표에 대해 클래스 내 상관관계를 계산했습니다. 3개 조항은 검토자 파일럿의 일부이고 모두 평가했기 때문에 이 분석에서 제외되었다. 코딩의 불일치는 최종 결정을 위해 세 번째 검토자(ML 또는 CS)에게 제출되었다.

Two random pairs of reviewers independently extracted data from all full-text articles selected and coded the relevant information on the data extraction sheet. Data extraction was facilitated by an online data extraction form (Supplemental Appendix 3). After codification of all included studies, inter-rater reliability was assessed by comparing results of study codification between coders, distributed according to control rater effect. Percentage of agreement on BCT involved in each intervention strategy was computed since the study setting did not allow for intra-class correlation nor Cohen’s kappa. Intra-class correlation was computed for program evaluation types and the MMAT indicators. Three articles were excluded from these analyses as they were part of the reviewers' pilot and were rated by all of them. Discrepancies in coding were submitted to a third reviewer (ML or CS) for final decision.

행동 변화 기법 그룹화
Behavior change techniques groupings

각 개입 전략에 관한 데이터 추출은 미치의 BCT 분류법(Michie et al. 2015)을 따랐다. 이 분류법이 임상 교사에게는 직관적이지 않을 수 있기 때문에, 각 BCT 그룹에 대해 제안된 개입에 대한 논의를 통해 각 16개 그룹에 대한 정의를 공통적으로 이해할 수 있었다(보완 표 1). 검토자는 모든 기사에서 검색된 각 개입 전략에 대해 최대 3개의 BCT를 추출했다.
Data extraction regarding each intervention strategy followed Michie’s BCT Taxonomy (Michie et al. 2015). Since this taxonomy might not be intuitive to clinical teachers, a discussion around suggested interventions for each BCT grouping allowed for a common understanding of definitions for each of the 16 groupings (Supplemental Table 1). The reviewers extracted up to three BCTs for each intervention strategy retrieved from every single article.

프로그램 평가 및 결과의 중요성
Program evaluation and importance of outcomes

Issenberg 외 연구진(2005)과 Freeth(2005)가 제안하고 BEME 협력에 의해 체계적인 검토를 위한 채점 표준으로 채택된 Kirkpatrick의 훈련 성과 분류의 수정 버전은 프로그램 평가 데이터 추출 중 결과를 분류하는 데 도움이 되었다. 서로 다른 수준 간의 인과 관계나 계층을 가정하지 않았다. 다음 수준은 다음과 같습니다.
A modified version of Kirkpatrick’s classification of training outcomes proposed by Issenberg et al. (2005) and Freeth (2005), and adopted by the BEME collaboration as a grading standard for systematic reviews (Hammick et al. 2010), helped to classify the outcomes during extraction of program evaluation data, without assuming any causality or hierarchy between the different levels. These levels are:

• 레벨 1: 반응;
  
• 레벨 2A: 태도 변화;
  
• 레벨 2B: 지식 및/또는 기술의 변화;
  
• 수준 3: 행동 변화 (스태이너트 외 연구진(2012)이 제안한 자체 보고/관찰);
  
• 레벨 4A: 직업관행의 변화
  
• 레벨 4B: 환자에게 유익하다.

 

• Level 1: Reaction;
• Level 2A: Change of attitudes;
• Level 2B: Change of knowledge and/or skills;
• Level 3: Behavioral change (self-reported/observed, as suggested by Steinert et al. (2012));
• Level 4A: Changes in professional practice;
• Level 4B: Benefits to patients.

데이터는 또한 성과 평가 범위를 넘어 프로그램 평가를 고려하는 스터플빔의 2003년 CIPP 모델(컨텍스트/입력/프로세스/제품)을 사용하여 추출되었다. 이 모델은 평가에 대한 의사결정 중심 접근법으로, 프로그램 관리자에게 시스템적 정보를 제공한다(Fitzpatrick 등 2011).

• 맥락은 요구 평가를 언급하고,
• 투입은 비용과 실현 가능성을 수반하며,
• 프로세스는 구현이 어떻게 전개되었는지 검토하고,
• 산출은 여기에 제시된 결과를 커크패트릭의 분류 수준에 따라 설명합니다.

Data were also extracted using Stufflebeam’s (2003) CIPP model (context/input/process/product), which considers program evaluation beyond the scope of outcomes assessment. This model is a decision-focused approach to evaluation, providing systemic information for program managers (Fitzpatrick et al. 2011).

• Context refers to needs assessments,
• Input involves costs and feasibility,
• Process examines how the implementation unfolded, and
• Products describe the outcomes, presented here according to Kirkpatrick’s classification levels.

 

결과의 효과성
Effectiveness of outcomes

각 논문의 결과 효과를 요약하기 위해 (저자가 언급한 바와 같이) 두 명의 코드 작성자(ML, CS)는 이전에 확인된 결과(독립 논문 검토자에 의해)를 4점 척도로 분석했다: 유해/보고되지 않음(0), 결론이 나지 않음(1) 약간 효과적(예: 통계적으로 유의하지만 교육적으로는 유의하지 않음) (2) 또는 유효(3). 최종 점수를 놓고 두 코더 사이에 합의가 이루어졌다.
In order to summarize the effectiveness of outcomes in each article (as stated by the authors), two coders (ML, CS) analyzed the previously identified outcomes (by independent article reviewers) on a 4-point scale:

• harmful/not reported (0),
• inconclusive (1),
• slightly effective (e.g. statistically significant, but not educationally significant) (2) or
• effective (3).

Consensus was established between the two coders for the final score.

연구의 품질 평가
Quality appraisal of studies

포함된 각 연구의 품질은 혼합 방법 평가 도구(MMAT)를 사용하여 평가되었다(Pluye et al. 2011). 이 도구는 체계적인 혼합 연구 검토에 포함된 연구를 일관성 있게 평가 또는 설명하기 위해 설계되었기 때문에 선택되었다(이 검색 전략에서 예상된 원래의 정성, 정량 및 혼합 방법 연구를 포함한 검토).
The quality of each included study was assessed using the Mixed Methods Appraisal Tool (MMAT) (Pluye et al. 2011). This tool was chosen because it is designed for concomitantly appraising and/or describing studies included in systematic mixed studies reviews (reviews including original qualitative, quantitative and mixed methods studies, which were expected with this search strategy).

MMAT는 먼저 두 가지 질문으로 방법론적 품질을 선별한 다음 설계별 질문(질적 또는 정량적 연구의 경우 4개, 혼합 방법 연구의 경우 3개)을 한다. 그런 다음 정성 및 정량 연구에 대해 충족된 기준의 수(각 기준의 25%) 또는 혼합 방법 연구에서 가장 약한 구성요소의 품질에 해당하는 점수(100점 만점)를 계산한다.

The MMAT first screens methodological quality with two questions, and then asks design-specific questions (4 for qualitative or quantitative studies, and 3 for mixed methods studies). A score (out of 100%) is then calculated, corresponding to the number of criteria met (25% for each criterion) for qualitative and quantitative studies, or to the quality of the weakest component in mixed methods studies.

추출된 증거의 합성
Synthesis of extracted evidence

수석 검토자는 광범위한 유형의 개입에서 모든 유사한 개입 전략을 그룹화하기 위해 주제별 내용 분석을 수행했다. 예를 들어, 동료 주도 스터디 그룹이나 학생이 운영하는 강의 또는 복습 프로그램과 관련된 모든 개입 전략은 "동료 과외/지원" 유형의 개입으로 분류되었다. 성문화는 데이터 손실을 방지하기 위해 보수적이었고, 합성과 권고사항의 공식화를 촉진했다. 데이터 추출 과정이 끝나면, 수석 검토자는 각 검토자 짝pair이 추출한 데이터를 기반으로 각 개입 유형에 대한 주요 BCT를 식별했다.
The lead reviewer conducted a thematic content analysis to group all similar intervention strategies in broader types of interventions. For example, all intervention strategies involving peer-led study groups or student-run instruction or review programs were labeled as “Peer tutoring/support” type of intervention. The codification was conservative, to avoid loss of data while facilitating synthesis and the formulation of recommendations. At the end of the data extraction process, the lead reviewer identified the main BCT for each type of intervention based on the data extracted by each pair of reviewers.

각 유형의 개입은 관련 교육 진단(지식, 기술, 태도, 학습자, 교사 및 환경)에 매핑되었다. 대부분의 연구가 많은 진단과 개입을 포함했기 때문에, 일부 유형의 개입은 각 기사에서 다루는 일차적 교육 진단과 항상 관련이 있는 것은 아니었다. 후자는 세 명의 검토자(MHD, ML, AL)가 각 개입 유형을 관련 진단에 매핑하는 삼각 분류 프로세스를 안내했다. 추출된 데이터를 합성하기 위해 기술 분석이 수행되었다.
Each type of intervention was mapped to the relevant educational diagnoses (knowledge, skills, attitudes, learner, teacher, and environment). Since most studies involved many diagnoses and interventions, some types of interventions were not always relevant to the primary educational diagnoses addressed in each article. The latter guided a triangulated classification process where three reviewers (MHD, ML, AL) mapped each type of intervention to relevant diagnoses. A descriptive analysis was conducted to synthesize extracted data.

GRADE 지침에서 영감을 받은 접근 방식을 사용하여 각 개입 유형에 대한 권장 강도를 설정했다. 이러한 선택은 임상 교사들의 이해를 돕기 위해 도출할 수 있는 임상적 평행선을 기반으로 이루어졌다. GRADE 점수는 일반적으로 환자에 대한 의료 개입의 맥락에서 사용되기 때문에, 우리는 의료 교육 개입에 대한 접근방식을 채택했다. 강, 보통, 약, 매우 약의 4가지 권장 수준이 있습니다. 각 개입 유형에 대해, 권고의 강도는 그림 1에 기술된 접근방식을 사용하여 설정되었다. 세 명의 검토자(MHD, AL, MN)와 함께 권고의 강도에 대한 패널 블라인드 평가는 우수한 등급 내 계수 ICC(2,1) = 0.72(<0.001))로 권고의 강점을 확립하기 위한 이 논리적 접근방식의 파일럿 버전을 확인했다.

We used an approach inspired from GRADE guidelines (www.gradeworkinggroup.org) to establish a strength of recommendation for each intervention type. This choice was made based on the clinical parallel that can be drawn, to facilitate understanding by clinical teachers. Since the GRADE scores are typically used in the context of healthcare interventions for patients, we adapted the approach to medical education interventions. There are four recommendation levels: strong, moderate, weak and very weak. For each intervention type, the strength of recommendation was established using the approach described in Figure 1. Panel-blinded assessment of the strength of recommendations with three reviewers (MHD, AL and MN) confirmed the pilot version of this logical approach to establishing strengths of recommendation with a good intra-class coefficient ICC(2,1) = 0.72 (<0.001).

 

 

 

결과.
Results

기사 설명
Description of the articles

총 14,898개의 상영된 제목 중 68개의 글이 포함 기준(그림 2)을 충족했다: 학부(UG) 학습자와 대학원(PG) 학습자 26개. 세 개의 논문이 학부 및 대학원 학습자 모두를 포함했고, 따라서 하위 분석에 대한 두 그룹 모두에 포함되었다. 발행일은 1991년부터 2016년까지이다.

Of the 14,898 screened titles, 68 articles met the inclusion criteria (Figure 2): 45 articles involved undergraduate (UG) learners and 26 involved postgraduate (PG) learners. Three articles included both undergraduate and postgraduate learners, and were therefore included in both groups for subanalyses. The publication dates ranged from 1991 to 2016.

 

 

이 기사들은 총 47,082명의 학습자가 참여했으며, 가장 일반적으로 다음과 같은 교육적 진단을 제시하였다: 지식 부족(문서의 66.2%, UG: n = 23, PG: n = 22), 불만족스러운 기술(53.9%, UG: n = 20, PG: n = 18), 학습자 개인 문제(41.5%, UG: n = 21, 8: N att). 개입 전략은 교사 문제(3.0%)나 환경/시스템 문제(1.5%)를 수정하는 것을 목표로 하는 경우가 거의 없었다.
These articles involved a total of 47,082 learners, most commonly presenting the following educational diagnoses:

• knowledge deficits (66.2% of the articles, UG: n = 23, PG: n = 22),
• unsatisfactory skills (53.9%, UG: n = 20, PG: n = 18),
• learner personal issues (41.5%, UG: n = 21, PG: n = 8) and
• attitudinal concerns (26.2%, UG: n = 6, PG: n = 13).
• Intervention strategies were seldom aimed at correcting teacher issues (3.0%) or environmental/systems issues (1.5%).

 

연구의 방법론적 품질
Methodological quality of the studies

그 연구의 방법론적 질은 다양했다. 평가 설계에는 9개의 정성 설계, 64개의 정량 설계(무작위 제어 3개, 비랜덤화 46개, 기술 15개) 및 5개의 혼합 방법 설계(질적 또는 정량 설계에 포함)가 포함되었다. MMAT 점수는 0%에서 100%까지 다양했다. MMAT에 대한 자세한 결과는 보충 표 2에 나와 있습니다. 전체 MMAT 점수는 평가자 간 신뢰성에 대해 비교되었다. 연구마다 달라지는 연구 설계에 의존했기 때문에 평가자 간 신뢰성은 각 개별 기준에 대해 계산될 수 없었다. 코더 간의 클래스 내 상관관계(2,2)는 0.27(p = 0.14)로 좋지 않았다(Koo 및 Li 2016).
The methodological quality of the studies was variable. The assessment designs involved 9 qualitative designs, 64 quantitative designs (3 randomized controlled, 46 non-randomized and 15 descriptive), and 5 mixed methods designs (also included in the qualitative or quantitative designs). MMAT scores varied from 0% to 100%. Detailed results for MMAT are provided in Supplemental Table 2. Total MMAT scores were compared for inter-rater reliability. Inter-rater reliability could not be computed for each individual criterion, as it was dependant on the study design, which varied across studies. Intra-class correlation (2,2) between coders was 0.27 (p = 0.14), which was poor (Koo and Li 2016).

질적 요소를 가진 9개의 설계 중 5개는 추가 평가 기준(수집 데이터로 해결할 수 있는 명확한 질문)을 충족했고, 따라서 점수(평균 = 41.2%, 범위 0-100%)가 매겨졌다. 질적 데이터의 출처는 5개 논문에 대한 연구 질문을 다루는 데 관련이 있었다. 다만 자료 분석 과정은 3개 논문에서만 관련성이 있었고, 3개 논문에서만 조사결과가 맥락과 어떻게 관련되는지를 적절하게 고려했다. 5개 논문 중 4개 논문에 연구자들의 영향과 연구 결과가 어떤 연관성이 있는지에 대한 적절한 고려가 있었다.
Five of the nine designs with a qualitative component met the criteria for further appraisal (clear question, which can be addressed by collected data), and were therefore scored (mean = 41.2%, range 0–100%). The sources of qualitative data were relevant to address the research question for the five articles. However, the process for analyzing data was relevant in only three articles, and how findings relate to the context was given appropriate consideration in only three of the articles. There was appropriate consideration given to how findings relate to researchers’ influence in four of the five articles.

세 가지 정량적 무작위 대조 연구는 100%의 점수를 받았다. 무작위화와 할당 은폐에 대한 명확한 설명, 완전한 결과 데이터, 낮은 철회/탈퇴.
The three quantitative randomized controlled studies had a score of 100%:

• clear description of randomization and of the allocation concealment,
• complete outcome data and
• low withdrawal/drop-out.

46개의 정량적 비-무작위화 설계 중 29개가 점수를 계산할 수 있는 기준을 충족했다(평균 = 53.3%, 범위 0–100%). 이러한 보고서의 대부분은 모집에서 선택 편향을 최소화하고(n = 27), 노출/예방 및 예후에 관한 적절한 측정(n = 23), 그룹 간 차이(n = 19), 완전한 예후 데이터/허용 응답률(n = 26)을 가졌다.

Among the 46 quantitative non-randomized designs, 29 met the criteria allowing to calculate a score (mean = 53.3%, range 0–100%). Most of these reports minimized selection bias in their recruitment (n = 27), had appropriate measurements regarding the exposure/intervention and outcomes (n = 23), controlled for difference between groups (n = 19), and had complete outcome data/acceptable response rate (n = 26).

15개의 정량적 서술 설계 중 7개만이 점수를 계산할 수 있는 기준을 충족했다(41.2%, 범위 0~100%). 모두 연구 대상 모집단을 대표하는 관련 표본 추출 전략을 제시했고 허용 가능한 응답률을 보였다. 그러나 두 연구만이 적절한 측정(원점 명확, 유효 또는 표준)을 사용했습니다.
Only seven of the 15 quantitative descriptive designs met the criteria allowing us to calculate a score (41.2%, range 0–100%). All presented a relevant sampling strategy, representative of the population under study, and showed an acceptable response rate. However, only two studies used appropriate (clear origin, valid or standard) measurements.

마지막으로, 6가지 혼합 방법 설계 중에서 MMAT 점수는 4개 항목(66.7%, 범위 0-100%)에 대해 계산할 수 있다. 이들은 모두 연구 질문을 해결하기 위한 관련 설계를 가지고 있었고 질적 데이터와 정량적 데이터의 관련 통합을 입증했다. 그러나 질적 및 정량적 설계의 데이터를 삼각측량하고 관련 한계를 논의한 논문은 두 개뿐이었다.
Finally, among the six mixed methods designs, the MMAT score could be calculated for four articles (66.7%, range 0–100%). They all had a relevant design to address the research questions and demonstrated a relevant integration of qualitative and quantitative data. However, only two articles triangulated the data from the qualitative and quantitative designs and discussed the associated limitations.

 

개입에 대한 설명
Description of the interventions

선택된 논문은 총 261개의 전략(UG: n = 169, PG: n = 102)으로 구성되었고, 많은 (n = 77, 29.5%)은 둘 이상의 BCT를 포함했다. 가장 많이 사용된 BCT는 지식 형성(27.2% 개입 전략), 피드백 및 모니터링(19.5%), 반복 및 대체(15.3%)였다. 검색된 개입 전략 중 결과 비교 또는 은밀한 학습과 관련된 것은 없었다. 정체성(0.4%), 자연적 결과(0.8%) 또는 자아신뢰(1.5%)를 기반으로 하는 사람은 거의 없었다. 그림 3은 학부 및 대학원 학습자의 각 행동 변화 기법 그룹화를 사용한 개입 전략의 비율을 비교합니다. 무작위 검토자 쌍 간 합의 비율이 48.1%였기 때문에, 다른 의견에 직면했을 때 단일 세 번째 검토자(ML)가 최종 성문화 결정을 내렸다.

The selected articles comprised a total number of 261 strategies (UG: n = 169, PG: n = 102), and many (n = 77, 29.5%) involved more than one BCT. The most commonly employed BCTs were Shaping knowledge (27.2% of intervention strategies), Feedback and monitoring (19.5%), and Repetition and substitution (15.3%). None of the retrieved intervention strategies involved Comparison of outcomes or Covert learning. Very few built on Identity (0.4%) Natural consequences (0.8%) or Self-belief (1.5%). Figure 3 compares the proportions of intervention strategies using each Behavior Change Technique Grouping in undergraduate and postgraduate learners. Since the percentage of agreement was 48.1% between the random pairs of reviewers, a single third reviewer (ML) decided on final codification when facing divergent opinions.

 

109개의 다른 유형의 개입(UG: n = 84, PG: n = 58)으로 261개의 개입 전략을 분류했다. 부록 4는 주요 BCT와의 개입 유형, 교육 수준(학부/대학원) 및 관련 교육 진단에 대해 보고한 기사가 얼마나 되는지 보여준다.

We categorized the 261 intervention strategies in 109 different types of interventions (UG: n = 84, PG: n = 58). Supplemental Appendix 4 shows how many articles reported each type of intervention with their main BCT, with the training level where they were implemented (undergraduate/postgraduate), and the educational diagnoses for which they are relevant.

프로그램 평가 및 결과의 효과
Program evaluation and effectiveness of outcomes

Stufflebeam (2003) (그림 4)에 의해 제안된 프로그램 평가의 네 가지 측면을 이용한 프로그램 평가 데이터 추출(Kirkpatrick의 네 가지 수준 중 적어도 한 가지에 대한)은 97%에서 식별되었다.

• 맥락에 대한 평가를 제공하는 연구(22%)는 대부분 평가 데이터를 필요로 하거나 개입 개발의 기초가 되는 목표를 설명했다.
• 개입 개발과 구현에 필요한 자원(입력)은 기사의 22%로 보고되었다. 일부 집중된 개입 전략은 짧지만(약 10분) 빈번한 조치를 포함했다(Drake et al. 2015). 다른 프로그램들은 평균 30시간의 교수 시간 책무를 보고했다(Guerrasio 및 Aagaard 2014; Gerratio, Garrity 등. 2014). 관련된 비용은 상당히 다양하며 대부분 의과대학 또는 학생 보험(Segal et al. 1999; Laatch 2009; Rowland et al. 2012; Gerasio and Aagard 2018)으로 충당되었다. 그러나 일부 학교에서는 추가 등록금이 요구되었다(Sayer et al. 2002). 이 검토에서는 상업적 출처로부터의 어떠한 자금도 식별하지 못했다.

Program evaluation data extraction using the four aspects of program evaluation suggested by Stufflebeam (2003) (Figure 4) identified products/outcomes (for at least one of the four levels of Kirkpatrick) in 97% of the articles.

• Studies providing an assessment of context (22%) mostly presented needs assessment data or described the goals underlying intervention development.
• The resources (Input) needed for intervention development and implementation were reported in 22% of the articles. Some focused intervention strategies involved short (about 10 minutes) but frequent actions (Drake et al. 2015). Other programs reported mean faculty time commitment of up to 30 hours (Guerrasio and Aagaard 2014; Guerrasio, Garrity, et al. 2014). The costs engaged varied significantly, and were covered mostly by medical schools or student insurance (Segal et al. 1999; Laatsch 2009; Rowland et al. 2012; Guerrasio and Aagard 2018); however, extra tuition was demanded in some schools (Sayer et al. 2002). This review did not identify any funding from commercial sources.

마지막으로, 도입 프로세스에 대한 보고 기사(25%)에서는 주로 프로그램 참여자 수(Dowell 등 2006; Brokaw 등 2011; Sanche 등 2011; Stegers-Jager 등 2013; Platt et al. 2007; Rowland 등)와 그들의 특성(DeVoe 등 2007; 2012)이 논의되었다.9; Yaghoubian 등 2012; Malakoff 등 2014; Bierer 등 2015; Bhatti 등 2016). 또한 참석률 또는 프로그램 성공 예측 변수(Rehm and Rowland 2005; Winston et al. 2014; Brennan and McGrady 2015)와 개선을 위한 제안(Guerrasio and Aagard 2018)도 제시하였다.

Finally, articles reporting on their implementation process (25%) discussed mostly the number of participants in their programs (Dowell et al. 2006; Brokaw et al. 2011; Sanche et al. 2011; Stegers-Jager et al. 2013; Platt et al. 2014), their characteristics (DeVoe et al. 2007; Rowland et al. 2012) and the strategies that were used (Segal et al. 1999; Yaghoubian et al. 2012; Malakoff et al. 2014; Bierer et al. 2015; Bhatti et al. 2016). They also presented some predictors of attendance or program success (Rehm and Rowland 2005; Winston et al. 2014; Brennan and McGrady 2015), as well as suggestions for improvement (Guerrasio and Aagard 2018).

 

논문의 68%(n = 46)는 프로그램 평가 설계에 대한 하나 이상의 개입(다중 구성요소 개입)을 평가했다. 프로그램 평가 데이터에 대한 클래스 내 상관 관계(이원 랜덤 효과 모델)는 -0.18에서 0.71까지 다양했습니다(M = 0.29).
Sixty-eight percent of the articles (n = 46) assessed more than one intervention in their program evaluation design (multi-component interventions). Intra-class correlation (two-way random effects model) for program evaluation data varied from −0.18 to 0.71 (M = 0.29).

뒷받침하는 증거의 질과 결과의 중요성에 관계없이, 대부분의 논문은 각 연구의 저자들이 언급한 결론에 기초하여 효과적인 결과(64.7%) 또는 약간 효과적인 결과(20.6%)를 보고했다. 단 10.3%의 기사만이 결론을 내릴 수 없는 뒷받침 데이터를 가지고 있었다. 한 기사는 6-8주 교정조치 임상 배치가 serial OSCE 전체에 걸쳐 성능 저하로 이어진다는 것을 입증하는 유해한 결과를 발견했다(Pell 등 2012). 두 개의 논문(Dowell 등 2006; Audetat 등 2011)은 결과를 보고하지 않았다. 클래스 내 계수는 우수한 평가자 간 신뢰도를 보여주었습니다 (ICC [2,1–4]= .97, 페이지 <. 01).
Regardless of the quality of supporting evidence and importance of outcomes, most articles reported effective (64.7%) or slightly effective (20.6%) outcomes, based on the conclusions stated from the authors of each study. Only 10.3% of the articles had inconclusive supporting data. One article found harmful outcomes, demonstrating that a 6–8-week remediation clinical placement led to a performance decline across serial OSCEs (Pell et al. 2012). Two articles (Dowell et al. 2006; Audetat et al. 2011) did not report any outcomes. Intra-class coefficient revealed an excellent inter-rater reliability (ICC[2,1–4]= .97, p <. 01).

 

권고사항의 강점이 있는 중재
Interventions with strengths of recommendations

공동 연구 참가자 수, 평균 가중 커크패트릭 수준 및 각 권장 사항의 강도를 계산할 수 있는 합동 효과는 보충 부록 4(보조 디지털 콘텐츠)에 설명되어 있다. 개입 유형 83명(76%)은 30명 이상의 공동 참여자를 포함했고, 67명(61%)은 가중 평균 커크패트릭 수준 결과가 2.5/4이었으며, 50명(46%)은 가중 평균 효과 점수가 2/3를 초과했다.
The pooled number of study participants, the mean weighted Kirkpatrick level and the pooled effectiveness that allowed us to compute the strength of each recommendation are described in Supplemental Appendix 4 (supplemental digital content). Eighty-three types of interventions (76%) involved a pooled number of participants over 30, 67 (61%) had a weighted mean Kirkpatrick level outcomes ≥2.5/4, and 50 (46%) had a weighted mean effectiveness score over ≥2/3.

24가지 유형의 개입이 "강력" 권고 기준을 충족했고(표 1에서 사용 가능), 48개는 "보통", 26개는 "약함", 11개는 "매우 약함"으로 등급이 매겨졌다.
Twenty-four types of interventions met criteria for “Strong” recommendations (available in Table 1), 48 were graded as “Moderate”, 26 as “Weak” and 11 as “Very weak”.

계산을 검증하기 위해, 우리는 세 명의 검토자에게 (각 기준에 대한 컷오프를 알지 못하면서) 그들의 판단에만 기초하여 권고의 강도를 평가하도록 요청했다. 평가자 간 신뢰성(클래스 내 상관 관계)은 0.71이었고 검토자의 권고 수준과 계산된 수준 사이의 상관 관계는 0.71에서 0.75까지 다양했다(p < 0.0001).

To validate the computation, we asked three reviewers to appraise the strength of recommendation based solely on their judgement (not being aware of the cutoffs for each criterion). The inter-rater reliability (intraclass correlation) was 0.71 and correlations between reviewer's recommendation levels and our computed level varied from 0.71 to 0.75 (p < 0.0001).

 

 

각 BCT 그룹 하에서 이러한 권고사항의 분포는 그림 5에 제시되어 있다. 각 교육 진단에 대한 각 권고사항의 강도의 빈도는 그림 6과 같다.
The distribution of these recommendations under each BCT grouping is presented in Figure 5. The frequency of the strengths of each recommendation for each educational diagnosis is illustrated in Figure 6.

 

 

 

보충 표 3과 4는 학부 및 대학원 학습자 모두에게 기여요소를 완화하는 것을 목적으로 하는 개입 유형과 학업상 어려움을 해결하기 위한 개입 유형을 요약한 것이다. 이들은 각각의 주요 BCT에 따라 분류된 109가지 유형의 개입을 각 훈련 수준에 따라 별도로 계산한 권장 강도와 함께 관련 교육 진단에 매핑한다.

Supplemental Tables 3 and 4 summarize the types of interventions aimed at relieving contributing factors and those for remediating academic difficulties, for both undergraduate and postgraduate learners. They list the 109 types of interventions classified under their respective main BCT, mapped to the relevant educational diagnoses with their strength of recommendation calculated separately for each training level.

BCT의 각 그룹에 대해 검색된 개입 유형은 아래(알파벳순)에 설명되어 있으며, 정의의 핵심 요소(보완 표 1)를 호출하고 어떤 교육 진단을 위해 권장되었는지 명시한다. 아래 제시된 권고사항의 강점은 학부 및 대학원 학습자를 위한 중재안 풀링에서 비롯되며, 따라서 보충 표 3 및 4와 다를 수 있습니다.
The types of interventions retrieved for each group of BCT are described below (alphabetical order), recalling key elements of their definition (Supplemental Table 1) and specifying for which educational diagnoses they were recommended. The strengths of recommendations presented below result from pooling of interventions for undergraduate and postgraduate learners, and may therefore differ from Supplemental Tables 3 and 4.

 

선행 사례 - 환경 재구성
Antecedents - restructuring the environment

선행 BCT 그룹의 대부분의 개입 유형은 학습 환경 문제(n = 9) 또는 학습자 개인 문제(n = 7)를 다루었다. 두 가지는 지식 또는 기술 부족을 교정하는 것을 목표로 했다. 보충 표 1에 정의된 바와 같이, 이 BCT 그룹은 물리적/사회적 환경을 재구성하여 행동에 대한 단서에 대한 노출을 방지/축소하거나 환경 또는 기타 형태의 지원을 통해 성능을 촉진하는 데 초점을 맞추고 있습니다.
Most types of interventions in the Antecedent BCT grouping addressed learning environment issues (n = 9) or learner personal issues (n = 7); two were aimed at remediating knowledge or skills deficits. As defined in Supplemental Table 1, this BCT grouping focuses on restructuring the physical/social environment to avoid/reduce exposure to cues for the behavior or add objects to the environment or other forms of support in order to facilitate performance.

학습 환경을 개선하기 위한 권고안에는 커리큘럼 내용 검토(n = 1, Strong), 관련 타이밍으로 과정 일정 조정(n = 1, Strong), 처음 2년 동안 접촉 시간 단축(n = 1, Strong)이 포함되었다(Slavin et al. 2014). 커리큘럼 감압(n = 3, Strong) (McCahan 1991; Kies and Freund 2005; Sikakana 2010), 일정/시간 요구 수정(n = 1, 보통) (Reamy and Harman 2006) 및 환자 부하 감소(Aud et al. 2011)와 같은 일부 유형의 개입은 작업량을 줄이는 것을 목표로 했다. 다른 이들은 표준 조정된 시험 수행 데이터(n = 1, Strong)와 합격/불합격 등급 시스템(n = 1, Strong) 제거와 같은 평가 정책의 재구성 작업에 초점을 맞췄다(Slavin et al. 2014). 오직 한 환경 변화(브레넌과 맥그레이디 2015년)(n = 1, 온건)건강 증진을 장려함에 집중했다. 

Recommendations to improve the learning environment involved curriculum content review (n = 1, Strong), rescheduling a course at a relevant timing (n = 1, Strong) and reducing contact hours across the first two years (n = 1, Strong) (Slavin et al. 2014). Some types of interventions aimed to reduce workload, such as curriculum decompression (n = 3, Strong) (McCahan 1991; Kies and Freund 2005; Sikakana 2010), modified schedule/ease time demands (n = 1, Moderate) (Reamy and Harman 2006) and reduced patient load (n = 1, Very weak) (Audétat et al. 2011). Others focused on restructuring assessment policies, such as eliminating norm-referenced exam performance data (n = 1, Strong) and pass/fail grading system (n = 1, Strong) (Slavin et al. 2014). Only one focused on environmental changes encouraging health promotion (n = 1, Moderate) (Brennan and McGrady 2015).

이 검토서는 [학습자의 개인적인 문제]를 수용하는 많은 종류의 조정을 확인했다. 

• 예를 들어, 학습 장애 또는 주의력 저하 장애를 가진 학부 학습자는 커리큘럼 감압(n = 3, Strong)(McCahan 1991; Kies and Freund 2005; Sikakana 2010), 시험 추가 시간(n = 2, Medium)(Walter and Croen 1993; Segal et al 1999), 필기 작성 지원, 별도의 객실 좌석(n = 1, 보통)(Walter and Croen 1993)의 도움을 받을 수 있다. 
• 대학원 수준에서 개입 유형에는 지시하는 조용한 영역(n = 1, 중간)(Katz et al 2013), 환자 부하 감소(n = 1, 약한)(Audetat et al 2011), 원정/중간 회전 제한(n = 1, 중간)(Reamy and Harman 2006)이 포함되었다.

This review identified many types of accommodations for learners’ personal issues. For example, undergraduate learners with learning disorders or attention-deficit disorders could benefit from curriculum decompression (n = 3, Strong) (McCahan 1991; Kies and Freund 2005; Sikakana 2010), extra time on tests (n = 2, Moderate) (Walter and Croen 1993; Segal et al. 1999), assistance with note taking (n = 1, Moderate) (Segal et al. 1999) and separate room seating (n = 1, Moderate) (Walter and Croen 1993). At the postgraduate level, types of interventions involved a quiet area for dictating (n = 1, Moderate) (Katz et al. 2013), reduced patient load (n = 1, Weak) (Audetat et al. 2011) and limits on away/elective rotations (n = 1, Moderate) (Reamy and Harman 2006).

코스 연장 같은 방식으로 환경 구조 조정(n = 2, 스트롱)(버치(알. 2007년;Sikakana 2010년)또는 백업 범위에 대한 요구(n = 1, 온건)(블럼 버그(알. 1995년)겨냥하고 있는 한편으론 지식과 기술 어려움으로에서 대학생 배웁니다.

Restructuring the environment with interventions such as course extension (n = 2, Strong) (Burch et al. 2007; Sikakana 2010) or backup coverage for calls (n = 1, Moderate) (Blumberg et al. 1995) aimed to remediate knowledge and skills difficulties, as studied in undergraduate learners.

 

규칙- 학업적 어려움에 기여하는 기저 조건을 어떻게 관리할 것인가
Regulation - how to manage underlying conditions contributing to academic difficulties

규제는 부정적인 감정을 줄이거나 행동 변화를 촉진하기 위해 정신적 자원에 대한 요구를 최소화하기 위해 다양한 약리적 또는 비약리적 지원을 포함한다. 개입의 이 여단 전투단의 모든 검색된 유형 학습자들의 개인적인 문제에 초점을 맞추었다. 이 여단 전투단 그룹 아래의 가장 일반적으로 검색된 것 counseling/support(n = 10, 온건)(월터와 Croen 1993년, 시걸(알. 1999년, 파월은 2004년;Reamy과 하르멘 2006년; 클 릴랜드(알. 2010년;브로코도 방송계에 있는 2011년;Mysorekar 2012년;Yaghoubian(알. 2012년;Bhatti(알. 2016년, 스파크스(알. 2016년), 의료 평가 및psychological/psychiatric 있었다. 치료(시걸(알. 1999년; 클 릴랜드(알. 2010년;브로코도 방송계에 있는 2011년;Bhatti(알. 2016년)과 스트레스 훈련(대화형 세션)(n = 3, 스트롱)(맥그래디(알. 2012년;브레넌과 맥그레이디 2015년;브레넌(알. 2016년)management/well-being(n = 4, 온건). 다른 개입 행복한 탄력과 명상 프로그램(n = 1, 스트롱)(Slavin(알. 2014년), 육체적 훈련(n = 1, 온건)(파월은 2004년), 휴식(n = 1, 온건)(파월은 2004년)과 명상(n = 1, 온건)(브레넌과 맥그레이디 2015년), 모든 개인적인 어려움의 경영에 도와 주어라. 어떤 경우에는, 학습자들 약물 남용 재활에서(n = 2, 스트롱)(Reamy과 하르멘 2006년;Bhatti(알. 2016년)에게 좋을 것이다. 공식적인 psychomotor/learning 평가 및 치료(n = 1, 스트롱)(Bhatti(알. 2016년) 같은 일부 신경 심리학적 치료, 그 임상 추론 등 인지 기능 장애를 가진 도움이 될 것이다. 시각적 처리 적자 같은 신체적 문제와 배우고 싶은 사람 시각 훈련(n = 1, 온건)(월터와 Croen 1993년)에서 도움이 될 거예요. 거주 학생 지원 서비스에(n = 1, 온건)( 클 릴랜드(알. 2010년)또한 중요한 지원 전략이다. 휴학(n = 1, Strong)(Bhatti 등 2016)도 많은 학습자에게 도움이 될 수 있으며 개인적인 문제가 해결되거나 통제된 후 다시 학습할 수 있습니다.

Regulation involves various pharmacological or non-pharmacological support to reduce negative emotions or minimize demands on mental resources to facilitate behavior change. All retrieved types of interventions for this BCT focused on learners’ personal issues. The most commonly retrieved ones under this BCT grouping were psychological/psychiatric counseling/support (n = 10, Moderate) (Walter and Croen 1993; Segal et al. 1999; Powell 2004; Reamy and Harman 2006; Cleland et al. 2010; Brokaw et al. 2011; Mysorekar 2012; Yaghoubian et al. 2012; Bhatti et al. 2016; Sparks et al. 2016), medical evaluation and therapy (n = 4, Moderate) (Segal et al. 1999; Cleland et al. 2010; Brokaw et al. 2011; Bhatti et al. 2016) and stress management/well-being training (interactive sessions) (n = 3, Strong) (McGrady et al. 2012; Brennan and McGrady 2015; Brennan et al. 2016). The other interventions promoting well-being were a resilience and mindfulness program (n = 1, Strong) (Slavin et al. 2014), physical exercise (n = 1, Moderate) (Powell 2004), relaxation (n = 1, Moderate) (Powell 2004) and meditation (n = 1, Moderate) (Brennan and McGrady 2015), that all assist in the management of personal difficulties. In some cases, learners would benefit from substance abuse rehabilitation (n = 2, Strong) (Reamy and Harman 2006; Bhatti et al. 2016). Some neuropsychological interventions, such as formal psychomotor/learning assessment and therapy (n = 1, Strong) (Bhatti et al. 2016) will help those with cognitive skills difficulties including clinical reasoning. Learners with physical problems, such as visual processing deficits, might benefit from visual training (n = 1, Moderate) (Walter and Croen 1993). Referral to student support services (n = 1, Moderate) (Cleland et al. 2010) is also an important support strategy. A leave of absence (n = 1, Strong) (Bhatti et al. 2016) may also benefit many learners and allow them to come back to learning after their personal issues are resolved or controlled.

목표 및 계획 – 학습 계획 및 계약
Goals and planning – learning plans and contracts

목표와 계획을 사용하는 대부분의 개입 유형은 지식, 기술 또는 태도 문제에 적용될 수 있습니다. 이들은 종종 학습/교화 계획(n = 5, 약함)(Chur-Hansen 1999; Rowland 등 2012; Katz 등 2013; Gerrasio, Garrity 등, 2014; Bier et al. 2015) 또는 교정 프로그램/도구(n = 4, Strong, 2002)으로 접근한다. 목표를 설정하거나 합의하고 학습을 위한 전략과 자원을 선택합니다. 학습 계획(n = 4, 중간)과 함께하는 교수 자문 회의(Harthun et al. 2005; Borman 2006; Reamy and Harman 2006; Enriquez Vilapana et al. 2008)는 학습자와 교수진 간의 행동 계약을 만드는 핵심이다. 또한 능동적 학습 전략(n = 2, 약함)(Chur-Hanzen 1999; Katz et al. 2013)과 자율적 학습(n = 1, 중간)(Walter and Croen 1993)은 학습자의 책임감과 자존감을 장려하기 위해 종종 사용된다. 또한 경향적 관심사는 시뮬레이션(n = 1, 보통)을 통한 개별 교정 훈련에 잘 반응한다(게라시오 및 아가드 2018).
Most types of interventions using Goals and planning can be applied to any of knowledge, skills or attitude concerns. These are often approached with a learning/remediation plan (n = 5, Weak) (Chur-Hansen 1999; Rowland et al. 2012; Katz et al. 2013; Guerrasio, Garrity, et al. 2014; Bierer et al. 2015) or remediation program/tool (n = 4, Strong) (Sayer et al. 2002; Brokaw et al. 2011; Sanche et al. 2011; Guerrasio et al. 2018), encouraging learners and teachers to set or agree on a goal and select strategies and resources for learning. Faculty advisor meeting with learning plan (n = 4, Moderate) (Harthun et al. 2005; Borman 2006; Reamy and Harman 2006; Enriquez Vilapana et al. 2008) is a key in creating behavioral contracts between learners and faculty. Moreover, active learning strategies (n = 2, Weak) (Chur-Hansen 1999; Katz et al. 2013) and self-regulated learning (n = 1, Moderate) (Walter and Croen 1993) are often used to encourage learner responsibility and self-esteem. Attitudinal concerns also respond well to individual remedial training with simulation (n = 1, Moderate) (Guerrasio and Aagard 2018).

교직원 및 동료 사회 지원
Faculty and peer social support

이 검토는 학습 커뮤니티(n = 1)와 사회적 이벤트(n = 1)을 사회적 지원 BCT가 포함된 학습 환경을 교정하기 위한 개입을 지원하는 강력한 권고사항으로 식별했다.

This review identified learning communities (n = 1) and social events (n = 1) (Slavin et al. 2014) as strong recommendations supporting interventions to remediate the learning environment involved the Social support BCT.

많은 저자들이 과외 및 학업 보조(n = 11, Strong)를 연구했다(Magarian and Campbell 1992; Walter and Croen 1993; Segal 등 1999; Enriquez Vilapana 등 2008; White 등). 2009; Cleland et al. 2010; Sikakana 2010; Brokaw et al. 2011; Yaghoubian et al. 2012; Bhatti et al. 2016; Sparks et al. 2016), 멘토링(n = 3, Strong) (Plat et al. 2014; Slabin et al. 2014; Bhi et et al. 2014; 2016), 동료 튜터링, 2016), 그리고 (Bhatti = 2016) 및 (Bhuident) (2016) (Bhupport (2016) (Batti = 7). 학습자의 개인적 문제와 학업적 어려움에 대한 지원으로 Miller 2014; Suranjana 등 2015). 

Many authors studied tutoring and academic assistance (n = 11, Strong) (Magarian and Campbell 1992; Walter and Croen 1993; Segal et al. 1999; Enriquez Vilapana et al. 2008; White et al. 2009; Cleland et al. 2010; Sikakana 2010; Brokaw et al. 2011; Yaghoubian et al. 2012; Bhatti et al. 2016; Sparks et al. 2016), mentoring (n = 3, Strong) (Platt et al. 2014; Slavin et al. 2014; Bhatti et al. 2016) and peer tutoring/support (n = 7, Moderate) (Hesser and Lewis 1992; Sawyer et al. 1996; Strayhorn 2000; DeVoe et al. 2007; Stegers-Jager et al. 2011; Miller 2014; Suranjana et al. 2015), as a support for learners’ personal issues and academic difficulties.

그러나 이 검토에서 회수된 사회적 지원 개입의 대부분은 지식, 기술 및/또는 태도에 초점을 맞췄다. 학습 세션은 튜토리얼 (n = 4, Strong) (Walter and Croen 1993; Schwartz and Loten 1998; Sayer et al. 2002; Sikakana 2010), 소그룹 학습(Sayer et al. 2002; Burch et al., 2013; Winston = 2014) 또는 그룹 연구(n)의 형태로 진행되었다. 성취도가 높은 학생의 배정(n = 1, 중간)을 포함하는 동료 기반 학습(Enriquez Vilapana 등 2008)도 도움이 될 수 있다.
However, the majority of social support interventions retrieved in this review focused on knowledge, skills and/or attitudinal concerns. Learning sessions took place in the form of tutorials (n = 4, Strong) (Walter and Croen 1993; Schwartz and Loten 1998; Sayer et al. 2002; Sikakana 2010), small-group learning (n = 3, Moderate) (Sayer et al. 2002; Burch et al. 2013; Winston et al. 2014) or group study (n = 3, Moderate) (Walter and Croen 1993; Shokar 2003; Rowland et al. 2012). Peer-based learning involving assignment of high-performance students (n = 1, Moderate) (Enriquez Vilapana et al. 2008) can also be helpful.

더 넓게 보면, 시갈 외 연구진(1999)이 설명한 것과 같은 학업 지원 프로그램(n = 1, 중간)은 학업상 어려움을 겪는 학습자를 지도하기 위한 많은 전략을 결합할 수 있다.

More broadly, an academic support program (n = 1, Moderate) such as the one described by Segal et al. (1999) can combine many strategies to guide learners with academic difficulties.

지식 형성… 등
Shaping knowledge… and more

이 그룹 지정에도 불구하고 이 그룹은 지식 문제 이상의 문제 해결을 지원했습니다. 검색된 모든 개입 유형(n = 15)도 기술을 대상으로 했고, 7개도 태도 문제와 관련이 있었다.
Despite its designation, this grouping supported remediation of more than knowledge issues. All retrieved types of interventions (n = 15) also targeted skills, and seven were also relevant for attitudinal concerns.

공식적인 오리엔테이션 프로그램(n = 1, 보통) 또는 시험 응시 기술 훈련(n = 2, 매우 약함)과 같은 일부 유형의 개입은 학습을 촉진하는 것을 목표로 했다.
Some types of interventions aimed at facilitating learning, such as a formal orientation program (n = 1, Moderate) (Blumberg et al. 1995), or test-taking skills training (n = 2, Very weak) (Walter and Croen 1993; Shokar 2003).

이 리뷰는 필수 컨퍼런스(n = 3, Strong) (Magarian and Campbell 1992; Yaghoubian et al. 2012; Slabin et al. 2014), 교육 세션(n = 5, Strawhorn et al. 1991; Hardy 1999; 2016)과 같은 잘 알려진 지식 형성 방법을 검색했다. 1991; Chur-Hanssen 1999; Winston 외 2014).

This review retrieved well-known methods of shaping knowledge such as required conferences (n = 3, Strong) (Magarian and Campbell 1992; Yaghoubian et al. 2012; Slavin et al. 2014), didactic sessions (n = 5, Weak) (Pickell et al. 1991; Hesser and Lewis 1992; Hardy 1999; Strayhorn 2000; Bhatti et al. 2016) and workshops (n = 3, Weak) (Pickell et al. 1991; Chur-Hansen 1999; Winston et al. 2014).

일부 저자들은 토론(n=1, 중간) (Pickell 등 1991), 임상 포럼(n=1, 매우 약함) (Hesser 및 Lewis 1992), 시험 후 행동 검토(n=1, 약함)(Rowland 등 2012)와 같은 의미 있는 학습을 촉진하는 전략을 제안했다.
Some authors proposed strategies promoting meaningful learning, such as discussions (n = 1, Moderate) (Pickell et al. 1991), clinical forums (n = 1, Very weak) (Hesser and Lewis 1992) and a review of behaviors after an exam (n = 1, Weak) (Rowland et al. 2012).

연구 보조는 지시/교정된 읽기/읽기 과제(n = 10, 중간)의 형태로 조사되었다(Magarian and Campbell 1992; Edeiken 1993; Shokar 2003; Gregg et al. 2008; 2010; LaRochelle et al. 2012; Yaghoubian et al. 2012; 2013).동일한 주제에 대한 몇 가지 텍스트를 요약할 수 있는 rner) (n = 1, 매우 약함) (Aud evolent et al. 2011), 연구 기술 훈련 (n = 8, 약함)(Harroll and Lee-Tyson, 1994; Hardy 1999; Segal et al. 1999; Powell 2004; 2012; Ste-jgers 2012; 2013).(n = 1, 약함) (Sayer et al. 2002) 또는 테스트를 사용한 연구 세션 (n = 1, 보통) (Reamy and Harman 2006). 많은 연구들이 사설 연구보다 더 나은 권고 강도에 도달했다(n = 4, 매우 약함) (Hesser 및 Lewis 1992; Sayer 등 2002; Shokar 2003; Kosir 등 2008). 

Study assistance was investigated in the form of directed/structured readings/reading assignments (n = 10, Moderate) (Magarian and Campbell 1992; Edeiken 1993; Shokar 2003; Gregg et al. 2008; Aeder et al. 2010; LaRochelle et al. 2012; Yaghoubian et al. 2012; Burch et al. 2013; Platt et al. 2014; Drake et al. 2015), compared readings (asking the learner to summarize a few texts on the same subject) (n = 1, Very weak) (Audétat et al. 2011), study skills training (n = 8, Weak) (Hesser and Lewis 1992; Carroll and Lee-Tyson 1994; Hardy 1999; Segal et al. 1999; Powell 2004; Mysorekar 2012; Stegers-Jager et al. 2013; Miller 2014), study guides/course notes produced by tutors to support learning sessions (n = 1, Weak) (Sayer et al. 2002) or study sessions with tests (n = 1, Moderate) (Reamy and Harman 2006). Many reached a better strength of recommendation than Private study (n = 4, Very weak) (Hesser and Lewis 1992; Sayer et al. 2002; Shokar 2003; Kosir et al. 2008).

지식, 기술 및 태도를 안내하는 것 외에도, 준비 과정/준비 과정/준비 과정(n = 4, Strong)(Tekian and Hruska 2004; Grumbach and Chen 2006; Sikakana 2010; Burch et al. 2013)은 또한 소수자/장애 학생 및 취약자원의 교육적 배경의 학습자와 같은 학업 어려움에 대한 개인적 위험 요소를 가진 학습자를 지원하는 것을 목표로 한다..
In addition to guiding knowledge, skills and attitudes, preparation courses/programs (n = 4, Strong) (Tekian and Hruska 2004; Grumbach and Chen 2006; Sikakana 2010; Burch et al. 2013) aimed at also supporting learners with personal risk factors for academic difficulties, such as minority/disadvantaged students and learners from under-resourced educational backgrounds.

연관성 – 임상 추론 교정
Associations – clinical reasoning remediation

임상 추론 교정을 위한 많은 유형의 개입이 BCT의 협회 그룹에 의해 나타났다.
Many types of interventions for remediation of clinical reasoning appeared under the Associations group of BCT.

첫째, 임상 추론 어려움이 학습자의 학습 장애, 인지 개입/중간(n = 5, 중간) (Walter and Croen 1993; Laatch 2009; Winston et al. 2010; Klamen and Williams 2011; Katz et al. 2013)과 같은 개인 문제로 인해 발생할 경우 임상 문제 해결을 강화하는 데 도움이 될 수 있다. 인지 기술에 주로 초점을 맞춘 다른 유형의 개입에는 문제 기반 학습(n = 4, 보통)이 포함된다(Pickell et al. 1991; Magarian and Campbell 1992; Camp et al. 1994; Burch et al. 2007), 큰 소리로 추론(n = 2, 매우 약함)(Walter and Croen 1993; Audet et et et et al. 2011; Audent, 2011), 상황 학습(nual)이 포함된다. 2011). 가설 생성, 데이터 수집, 진단 및/또는 임상 상태 관리를 개선하기 위한 임상 상관 관계(n = 1, 보통) (Pickell 등) 표준화된 임상 추론 교정 계획(n = 1, Strong)(Guerrasio 및 Aagaard 2014)은 학부 및 대학원 학습자 모두에게 효과적인 것으로 입증되었다. 과학적 글쓰기(n = 1, 보통) (Hardy 1999)와 질문쓰기(n = 1, 매우 약함) (Aeder et al. 2010)도 합성 기술을 개발하기 위한 전략으로 나타났다.

First, if clinical reasoning difficulties result from learners’ personal issues such as learning disorders, cognitive intervention/rehabilitation (n = 5, Moderate) (Walter and Croen 1993; Laatsch 2009; Winston et al. 2010; Klamen and Williams 2011; Katz et al. 2013) can help reinforcing clinical problem solving. Other types of interventions focusing mostly on cognitive skills include problem-based learning (n = 4, Moderate) (Pickell et al. 1991; Magarian and Campbell 1992; Camp et al. 1994; Burch et al. 2007), reasoning out loud (n = 2, Very weak) (Walter and Croen 1993; Audetat et al. 2011), contextual learning (n = 2, Very weak) (Walter and Croen 1993; Chur-Hansen 1999) and clinical correlations (n = 1, Moderate) (Pickell et al. 1991), to improve hypothesis generation, data collection, diagnosis and/or management of clinical conditions. Standardized clinical reasoning remediation plan (n = 1, Strong) (Guerrasio and Aagaard 2014) proved to be effective in both undergraduate and postgraduate learners. Scientific writing (n = 1, Moderate) (Hardy 1999) and question writing (n = 1, Very weak) (Aeder et al. 2010) also appeared as strategies to develop synthesis skills.

특정 고위험 의료 조건에 대한 서면 임상 프로토콜 개발(n = 1, 중간)(Blumberg 등 1995)은 고품질 의료의 일관된 전달을 촉진하거나 유도할 목적으로 환경적 또는 사회적 자극을 강조했다.

Development of written clinical protocols (n = 1, Moderate) (Blumberg et al. 1995) for specific high-risk medical conditions highlighted environmental or social stimuli with the purpose of prompting or cueing consistent delivery of high-quality care.

행동 비교 – 역할 모델링
Comparison of behaviors – role modeling

시연(n = 1, 보통)과 DVD 시청(n = 1, 보통)에서 예상된 바와 같이 학습자 자신의 성과와 비교할 수 있는 다른 사람의 성과나 행동에 대한 인식을 토론할 수 있는 기회가 역할 모델링 활동으로 제공되었다(LaRochelle et al. 2012). 일부 동기부여 활동(예: 의료 전문가를 그림자처럼 보이게 하는 하계 인턴십) (n = 1, 보통) (Tekian and Hruska 2004) 또한 학업상 어려움을 겪을 위험이 있는 학습자를 위한 예방 전략으로 역할 모델링을 사용한다.
Opportunities to discuss others’ performance or perception of behavior to allow comparison with the learner’s own performance were provided by role modeling activities, as expected in demonstration (n = 1, Moderate) (Pickell et al. 1991) and DVD viewing (n = 1, Moderate) (LaRochelle et al. 2012). Some motivational activities (e.g. summer internships allowing to shadow a medical professional) (n = 1, Moderate) (Tekian and Hruska 2004) also use role modeling as a preventive strategy for learners at risk of developing academic difficulties.

반복 및 대체
Repetition and substitution

어떠한 개입도 원치 않는 행동을 원하는/중립적인 행동으로 대체하는 것을 촉진하는 것으로 보이지 않았다. 하지만, 많은 사람들은 다양한 맥락에서 반복을 사용했습니다.

No intervention seemed to prompt substitution of the unwanted behavior with a wanted/neutral behavior. However, many used repetition, in various contexts.

감독 관행(n = 6, 중간), [(Pickell et al. 1991; Hardy 1999; Sayer et al. 2002; 2010; Audetat et al. 2011; Pell et al. 2012), 고의 관행(Guerrasio, Garrity, et al., 2014), 시뮬레이션(n = 2)(LaRochelle et al. 2012)는 다양한 상황에서 지식을 사용하고 다양한 기술을 연습하며 적절한 태도를 보여줄 수 있는 반복적인 기회를 제공했다. 이전 과정 내용 반복(n = 1, 보통) (Burch et al. 2013), 실험실 (n = 1, 중간) (Pickell et al. 1991), 신체 검사 실습 세션 (n = 1, 중간) 및 의사소통 훈련 (n = 2, 약한)과 같은 일부 유형의 개입이 집중되었다. 다른 유형의 개입에는 보충 훈련 (n = 5, 중간) (Edeiken 1993; Dowell 등 2006; Reamy and Harman 2006; Cleland 등 2010; Brokaw 등 2011) (Kies 및 Freund Rohm 2005)과 같은 보다 일반적인 전략이 포함되었다. 2012; Yaghoubian et al. 2012) 및 때로는 새로운 사이트(n = 1, 보통)에서 발생하였다(Reamy and Harman 2006). 

Supervised practice (n = 6, Moderate) [(Pickell et al. 1991; Hardy 1999; Sayer et al. 2002; Cleland et al. 2010; Audetat et al. 2011; Pell et al. 2012), deliberate practice (n = 1, Moderate) (Guerrasio, Garrity, et al. 2014), simulation (n = 2, Moderate) (Cleland et al. 2010; Guerrasio and Aagaard 2014) and standardized patient exercises (n = 1, Moderate) (LaRochelle et al. 2012) provided repeated opportunities to use knowledge, practice various skills and demonstrate appropriate attitudes in varying contexts. Some types of interventions were focused, such as repetition of previous course content (n = 1, Moderate) (Burch et al. 2013), laboratories (n = 1, Moderate) (Pickell et al. 1991), physical examination practice session (n = 1, Moderate) (Pickell et al. 1991), and communication skills training (n = 2, Weak) (Chur-Hansen 1999; Hardy 1999). Other types of interventions involved more general strategies, like supplemental training (n = 5, Moderate) (Edeiken 1993; Dowell et al. 2006; Reamy and Harman 2006; Cleland et al. 2010; Brokaw et al. 2011), which lasted up to a year (n = 6, Moderate) (Kies and Freund 2005; Rehm and Rowland 2005; Brokaw et al. 2011; Dupras et al. 2012; Pell et al. 2012; Yaghoubian et al. 2012) and sometimes took place at a new site (n = 1, Moderate) (Reamy and Harman 2006).

봉사 기회(n = 1, Strong)(Slavin 등 2014), 종단적 일렉티브(n = 1, Strong)(Slavin 등 2014) 또는 연구(Strong)(Tekian 및 Hruska 2004; Slavin 등 2014)를 제공하면/습관 통합에 초점을 맞춘 상황별 학습을 촉진하여 유지율을 높일 수 있다.

Offering service opportunities (n = 1, Strong) (Slavin et al. 2014), longitudinal electives (n = 1, Strong) (Slavin et al. 2014) or research (Strong) (Tekian and Hruska 2004; Slavin et al. 2014) may increase retention by promoting contextual learning, focusing on consolidation of habits/skills.

시험 준비는 다양한 형식으로 나타났다. MCAT 준비 (n = 1, 보통) (Hardy 1999), 검토 과정/강좌 (n = 4, 약함) (Reamy and Harman 2006; Gregg et al. 2008; Kosir et al. 2008; Burch et al. 2013), 시험 연습 (n = 3, 매우 약함) 2003 Kosarok. 실패 후 벌점이 없는 2차 시험(n = 1, 약함)(슈워츠 및 로텐 1998)이 가능한 옵션으로 연구되었다.
Exam preparation appeared in various formats: MCAT preparation (n = 1, Moderate) (Hardy 1999), review course/session (n = 4, Weak) (Reamy and Harman 2006; Gregg et al. 2008; Kosir et al. 2008; Burch et al. 2013), practice for exams (n = 3, Very weak) (Shokar 2003; Kosir et al. 2008; Aeder et al. 2010). After exam failure, a second-chance exam without penalty (n = 1, Weak) (Schwartz and Loten 1998) was studied as a possible option.

피드백 및 모니터링
Feedback and monitoring

피드백과 모니터링 기법은 이 그룹 내의 10가지 유형의 개입으로 교정 상황에서 잘 문서화되었다.
Feedback and monitoring techniques were well documented in remediation contexts, with ten types of interventions in this grouping.

대부분의 피드백 개입은 학부 및 대학원 학습자의 지식, 기술 또는 태도 문제(n = 11, 중간)에 대해 연구되었다(Blumberg et al. 1995; Chur-Hansen 1999; Sayer et al. 2002; Harthun et al. 2005; Borman 2006; Aeder et al. 2010; Cleland et al. 2010; Rowland et al. 2012). 2014; 바티 외 2016). 웹 기반 피드백(n = 1, 중간)(Drake et al. 2015)은 지식 또는 기술 문제를 해결하기 위한 기술 지원 피드백의 한 예입니다. 사전 테스트/사후 테스트 검사(n = 1, 약함) 및 키징(n = 4, 보통)과 같은 전략은 특정 지식 또는 기술에 대한 피드백을 제공했다. 비디오테이프 검토(n = 3, 약함) (보먼 2006; Reamy and Harman 2006; Rowland et al. 2012) 및 직접 관찰(n = 1, 매우 약함)(Audetat et al. 2011)은 기술이나 태도에 대한 형성적 의견을 용이하게 할 계획이다. 

Most feedback interventions were studied for knowledge, skills or attitude problems in both undergraduate and postgraduate learners (n = 11, Moderate) (Blumberg et al. 1995; Chur-Hansen 1999; Sayer et al. 2002; Harthun et al. 2005; Borman 2006; Aeder et al. 2010; Cleland et al. 2010; Rowland et al. 2012; Katz et al. 2013; Guerrasio, Garrity, et al. 2014; Bhatti et al. 2016). Web-based feedback (n = 1, Moderate) (Drake et al. 2015) was an example of technology-supported feedback to remediate knowledge or skills issues. Strategies such as pretest/posttest examinations (n = 1, Weak) (Rowland et al. 2012) and quizes (n = 4, Moderate) (Pickell et al. 1991; Borman 2006; Gregg et al. 2008; Kosir et al. 2008) provided feedback on specific knowledge or skills. Videotape review (n = 3, Weak) (Borman 2006; Reamy and Harman 2006; Rowland et al. 2012) and direct observation (n = 1, Very weak) (Audetat et al. 2011) intend to facilitate formative comments on skills or attitudes.

이 검토에서 검색된 모니터링 개입은 서비스 책임자가 이끄는 거주 달빛잡이들과의 분기별 회의를 통해 지식 및/또는 기술의 습득을 도왔다(Blumberg et al. 1995). 기술과 태도 문제는 비공식 토론(n = 1, 중간)(듀프라스 외 2012) 또는 지정된 간격으로 체크인하고 학생 학장 및 기타 학교 관계자와 개방된 커뮤니케이션 라인을 유지해야 하는 요구 사항(n = 1, 중간)(Brokaw 외 2011)을 통해 해결되었다.

Monitoring interventions retrieved in this review assisted the acquisition of knowledge and/or skills through quarterly meetings with resident moonlighters led by the service chief (n = 1, Moderate) (Blumberg et al. 1995). Skills and attitudinal concerns were tackled using informal discussion (n = 1, Moderate) (Dupras et al. 2012) or through a requirement to check-in at specified intervals and maintain open lines of communication with the Dean of Students and other school officials (n = 1, Moderate) (Brokaw et al. 2011).

성찰의 중요성(n = 1, 중간)(Gerrasio, Garrity 등 2014)은 궁극적인 관행 변화에 대한 피드백 통합을 보장하는 데 있어 핵심으로 보였다.
The importance of reflection (n = 1, Moderate) (Guerrasio, Garrity, et al. 2014) seemed a key in ensuring feedback integration for eventual changes in practice.

보상 및 위협
Reward and threat

경고 서한(n = 2, 보통)을 보내는 것(Brokaw 등 2011; Dupras 등 2012)은 향후 처벌 또는 보상 제거가 원치 않는 행동 수행의 결과라는 것을 알리는 역할을 했다. 비전문적 행동(n = 1, 약함)을 문서화하는 포인트 시스템(Malakoff et al. 2014)은 특별히 경향적 관심사를 대상으로 하는 드문 유형의 개입 중 하나였다.

Sending a warning letter (n = 2, Moderate) (Brokaw et al. 2011; Dupras et al. 2012) served to inform that future punishment or removal of reward would be a consequence of the performance of an unwanted behavior. A point system to document unprofessional behavior (n = 1, Weak) (Malakoff et al. 2014) was one of the rare types of intervention targeting attitudinal concerns specifically.

자연적 결과
Natural consequences

이 그룹에서는 오직 두 가지 유형의 개입만이 나타났으며, 둘 다 기술 교정을 목적으로 했다. 품질 보험 조정자(n = 1, 보통)의 일일 관리 검토(Blumberg 등 1995)는 고위험 의료 조건에 대한 거주자의 감독 및 성과를 개선했다. 비전문적 행동을 반성하거나 사과하기 위한 독립 프로젝트(n = 1, 중간)(Brokaw 등 2011)의 완료도 태도 변화와 관련이 있는 것으로 보였다.
Only two types of interventions appeared under this grouping, both aimed at remediating skills. Daily management reviews by a quality insurance coordinator (n = 1, Moderate) (Blumberg et al. 1995) improved supervision and performance of moonlighting residents around high-risk medical conditions. Completion of an independent project (n = 1, Moderate) (Brokaw et al. 2011) to reflect on, or apologize for, unprofessional behavior also appeared relevant for changing attitude.

예정된 결과 - 심각하고 지속적인 어려움
Scheduled consequences – for severe and persistent difficulties

학업 해고 정책(n = 1, 중간)의 시행(Steger-Jager 외 2011)과 같은 학습 환경 개입은 진전 우려가 발생할 경우 기대와 결과를 명확히 하는 것을 목표로 한다.

Learning environment interventions, such as the implementation of an academic dismissal policy (n = 1, Moderate) (Stegers-Jager et al. 2011), aim to clarify expectations and consequences if progress concerns occur.

이 BCT에 따른 개입 유형에는 학습 요구와 목표, 역량 개발 전략 및 기대 충족 실패 시 결과를 정의하는 학습 계약 (n = 5, 약함)이 포함되었다(Sayer et al. 2002; Brokaw et al. 2011; Katz et al. 2013; Sparks et al. 2016; Gerasio and Aagard 2018). 그러한 결과에는 비행 배정 또는 과제(n = 1, 보통) (Brokaw 등 2011), 보호 관찰 (n = 2, 보통) (Dupras 등 2012; Batti 등 2016), 해고/학업 철회 (n = 2, 보통) (Brokaw 등 2011; Dupras 등 2012) 및 궁극적으로 학교 정학으로부터 오는 2012년이 포함된다. 이러한 개입은 주로 기술과 태도와 관련된 어려움을 목표로 했습니다. 
Types of interventions under this BCT included learning contracts (n = 5, Weak) (Sayer et al. 2002; Brokaw et al. 2011; Katz et al. 2013; Sparks et al. 2016; Guerrasio and Aagard 2018), defining learning needs and objectives, strategies to develop competencies, and consequences if there is a failure to meet expectations. Such consequences include delinquent assignment or task (n = 1, Moderate) (Brokaw et al. 2011), probation (n = 2, Moderate) (Dupras et al. 2012; Bhatti et al. 2016), dismissal/voluntary withdrawal (n = 2, Moderate) (Brokaw et al. 2011; Dupras et al. 2012) and, ultimately, suspension from school (n = 1, Moderate) (Brokaw et al. 2011). These interventions mainly targeted difficulties related to skills and attitudes.

검색된 개입이 없는 BCT 그룹화
BCT groupings without retrieved interventions

결과, 정체성, 자아 신뢰 및 비밀 학습의 비교에 따라 개입이 검색되지 않았다.

No intervention was retrieved under Comparison of outcomes, Identity, Self-belief and Covert learning.

결과 운영
Operationalizing the results

이 BEME 검토의 결과를 운영하기 위해, 대부분의 임상 교사들은 학업상 어려움을 겪는 학습자와 직면하는 구체적인 교육 진단에 따라 개입을 모색할 가능성이 높다. 그림 6은 각 교육 진단에 따른 권고 강도와 함께 각 BCT 그룹 내에서 회수된 교정조치 개입의 분포를 보여준다. 여러 유형의 개입이 하나 이상의 진단에 대해 나타난다. 연구 결과는 또한 무료로 이용할 수 있는 앱(iOS 및 Android용)인 MedEd Dx Tx에도 제시되어 있으며, 여기에는 각 교육 진단에 대한 연구된 개입과 권장 강도가 나열되어 있다.
To operationalize the results from this BEME review, most clinical teachers are likely to search for interventions according to the specific educational diagnoses they are facing with their learners with academic difficulties. Figure 6 illustrates the distribution of the retrieved remediation interventions within each BCT grouping, with their strength of recommendation under each educational diagnosis. Many types of interventions appear for more than one diagnosis. The study results are also presented in MedEd Dx Tx, an app (for iOS and Android) available for free, which lists the studied interventions and their strength of recommendation for each educational diagnosis.

 

논의
Discussion

이 검토는 학업상 어려움을 겪고 있는 학습자를 위한 109가지 개입 유형을 식별하고 검색된 각 개입에 대한 권장 사항을 설정했습니다. 이 주제에 대한 마지막 두 가지 검토가 2008년에 수행된 이후 의료 교육의 교정조치 개입에 대한 지식을 업데이트한다(하우어 외). 2009년) 및 2012년(Cleland et al. 2013)으로, 학부 및 대학원 의료 교육생 모두를 포함하는 더 넓은 관점을 제공한다. 또한 대학원 의료 연수생들 사이의 성과를 식별하고 교정할 때 직장 기반 평가의 사용을 조사한 최근 BEME 리뷰를 기반으로 한다(Barrett et al. 2016).
This review identified 109 types of interventions for learners experiencing academic difficulties, and established recommendations for each of the retrieved interventions. It updates the knowledge on remediation interventions in medical education since the last two reviews on the subject were conducted in 2008 (Hauer et al. 2009) and 2012 (Cleland et al. 2013), offering a broader perspective that includes both undergraduate and postgraduate medical trainees. It also builds on a recent BEME review which examined the use of workplace-based assessment in identifying and remediating performance among postgraduate medical trainees (Barrett et al. 2016).

[미치 분류법]은 처음에 의료 및 환자 교육 상황에 맞게 설계되었지만(Michie 등. 2015), 대부분의 BCT 그룹이 적어도 하나의 개입과 일치하기 때문에 의학 교육에서 학문적 어려움을 겪고 있는 학습자에게 개입을 위한 좋은 프레임워크로 보인다. BCT 분류법에 따라 학문적 어려움을 겪는 학습자를 위한 개입 지도를 작성하는 것은 이러한 개입의 내용을 식별하기 위해 이론적 관점에서 도움이 됩니다. 
Even though Michie’s taxonomy was initially designed for healthcare and patient education contexts (Michie et al. 2015), it seems to be a good framework for interventions for learners experiencing academic difficulties in medical education, since most BCT groupings matched at least one intervention. Mapping interventions for learners experiencing academic difficulties under the BCT taxonomy is helpful from a theoretical perspective to identify the content of these interventions.

▷ 행동 개입이 가장 일반적이었다. 자극에 이어 대응(피드백 및 모니터링, 보상 및 위협, 자연/예약 결과)을 제공하는 학습 환경(환경 조정)은 역량 기반 교육의 맥락에서 교정조치에 대한 좋은 이론적 기반이 되는 것으로 보인다(Carraccio et al 2002; Sh).에르비노 외 2010). 피드백과 모니터링은 대학원 학습자의 개입에 비례적으로 더 일반적으로 사용되었는데, 이는 아마도 대학원 교육이 주로 임상 환경에서 일대일 교육을 수반하기 때문일 것이다(라마니 및 라인스터 2008).

Behavioral interventions were the most common: adjusting the learning environment (Antecedents), providing stimuli with opportunities for practice (Repetition and substitution) followed by response (Feedback and monitoring, Reward and threat, Natural/Scheduled consequences) appear to be good theoretical bases for remediation in the context of competency-based education (Carraccio et al. 2002; Sherbino et al. 2010). Feedback and monitoring was proportionally more commonly used in postgraduate learners’ interventions, probably because postgraduate training predominantly involves one-on-one teaching in the clinical environment (Ramani and Leinster 2008).

▷ Association의 하위로 분류되는 것 등의 인지주의 개입은 특히 임상 추론 기술 어려움의 관리와 해당 주제에 대한 최근 AMEE 가이드(Audetat et al 2017)를 목표로 했다. 

Cognitivist interventions such as those under Associations were particularly targeted towards the management of clinical reasoning skills difficulties and in line with a recent AMEE guide on the subject (Audetat et al. 2017).

▷ Regulation BCT에 따른 이번 심사에서 확인된 인본주의적 개입은 학습자 중심의 접근을 촉진하고 자기주도적 학습을 주장해 학업상 어려움을 겪는 학습자를 지원하기 위한 학습계획(목표 및 계획 수립)의 중요성을 강화했다.

Humanist interventions, identified in this review under the Regulation BCT, promoted a learner-centered approach and insisted on self-directed learning, reinforcing the importance of learning plans (Goals and planning) in supporting learners with academic difficulties.

▷ 마지막으로 사회구축주의적 접근법은 [사회적 지원]과 [행동비교]에서 학업상 어려움을 겪고 있는 학습자를 위한 개입으로 권장된다. 놀랍게도 학업상 어려움을 겪는 학습자를 위한 학부 개입으로 행동 비교가 비례적으로 더 잦았는데, 이는 임상교사들이 특히 이 정도의 훈련에서 관찰과 시연을 중시하기 때문일 것이다. 그러나 역할 모델링은 모든 수준의 교육에서 학습자의 전문적 개발을 위한 중요한 프로세스입니다(Passi et al 2013).

Finally, socio-constructivist approaches are slightly less common but still moderately recommended as interventions for learners experiencing academic difficulties, under Social support and Comparison of behaviors. Surprisingly, comparison of behavior was proportionally more frequent as an undergraduate intervention for learners with academic difficulties, maybe because clinical teachers particularly value observation and demonstrations at this level of training. However, role modeling is an important process for the professional development of learners (Passi et al. 2013), at all levels of training.

 

극소수의 개입만이 16 BCT로 분류될 수 없었다.

Very few interventions could not be classified among the 16 BCT. 

결과의 비교는 검색된 개입에 대한 주요 BCT 중에 없었다. 감독자는 부정적인 결과가 발생하지 않도록 해야 하기 때문에 이 기법은 환자 안전 문제에 의해 제한될 수 있다. 그럼에도 불구하고, 이 BCT를 사용하는 일부 개입은 의료 교육에 효과적이지만(예: 웹 기반 감사 및 피드백 모듈 Boggan et al 2017)) 학업상 어려움을 가진 학습자를 위해 특별히 테스트되지는 않았다. 

▷ Comparison of outcomes never matched as a major BCT for the retrieved interventions. This technique might be limited by patient safety issues, since supervisors should not allow adverse outcomes to occur; nevertheless, some interventions using this BCT are effective in medical education (e.g.: web-based audit and feedback module (Boggan et al. 2017)), but were not tested specifically for learners with academic difficulties. 

은밀한 학습은 원하는/원하지 않는 행동을 수행하는 것을 상상하는 방법으로 이해되며, 즐거운/불쾌한 결과를 상상하거나 다른 사람이 그 행동을 수행할 때 그 결과를 관찰하도록 유도한다. 어떤 면에서는 성찰적 실습과 유사한 접근법이며, 학업상 어려움을 겪는 학습자에게 유용할 수 있다. 

▷ Covert learning, understood as a way to imagine performing the wanted/unwanted behavior, followed by imagining a pleasant/unpleasant consequence, or by prompting observation of the consequences for others when they perform the behavior, is in some ways a an approach similar to reflective practice, and could probably be useful for learners with academic difficulties. 

자아신뢰는 이 검토에 대한 어떠한 개입도 주요 BCT로 구체적으로 식별되지 않았다. 그러나 능력과 시각화 기술에 대한 설득은 심리적 지원을 포함하는 규정 개입에 사용되었을 수 있다. 

▷ Self-belief was not specifically identified as a major BCT in any intervention in this review; however, persuasion about capability and visualization techniques might have been used in the Regulation interventions involving psychological support.

마지막으로, 정체성 BCT가 어떠한 개입과도 일치하지 않는다는 사실에도 불구하고, 지도된 성찰, 개인적 서술의 사용 및 역할 모델링(Wald et al 2015)을 포함한 [전문직 정체성 형성]의 핵심 요소는 자기 분야의 "소속감"을 느끼지 않는 일부 학습자의 삶을 변화시킬 수 있다. 게다가, 행동 비교는 (졸업후는 아니지만) 학부 학습자의 개입에 대한 주요 BCT로 사용되었습니다. 성찰적 모방과 함께 역할 모델링을 사용하는 개입은 의학 교육에서 설명되었으며(Benbassat 2014), 행동의 비교를 이용했다. 따라서 학문적 어려움을 겪는 대학원 학습자를 지원하기 위한 목적으로 특별히 유사한 개입을 사용하는 어떠한 논문도 발견하지 않은 것은 놀라운 일이다.

▷ Lastly, despite the fact that the Identity BCT did not match any intervention, key elements of professional identify formation including guided reflection, use of personal narratives and role modeling (Wald et al. 2015) might change the lives of some learners who do not feel they “belong” to their discipline. Besides, Comparison of behavior was used as the main BCT for interventions in undergraduate but not postgraduate learners. Interventions using role modeling with reflective imitation have been described in medical education (Benbassat 2014) and do use comparison of behavior; it was therefore surprising to find no article using similar interventions specifically aimed at supporting postgraduate learners experiencing academic difficulties.

상자 2와 3은 각 교육 진단에 대한 관련 개입과 함께 교육 시나리오를 보여줍니다.

Boxes 2 and 3 illustrate teaching scenarios with the relevant interventions for each educational diagnosis.

---

박스 2.
Box 2.

학부 학습자와의 교육 시나리오
Teaching scenario with an undergraduate learner

브라이언은 21살 의대 2학년 학생입니다. 그는 부모님과 함께 살고 있으며 대학 농구팀의 멤버입니다. 당신은 지난 3개월 동안 그의 문제 기반 학습 코스에서 튜터였습니다. 본 학습자에게 다음과 같은 많은 문제가 있음을 알게 되었습니다.
Brian is a 21 years old, 2nd year medical student. He lives with his parents, and is a member of the university basketball team. You have been his tutor in a problem-based learning course over the last 3 months. You have noticed many issues for this learner:

• 당신이 방금 설명한 물리병리학 또는 약리학의 개념에 대한 질문을 자주 한다.
  
• 보통 강의 시간에 책상 위에 누워있고, 종종 폭력적인 지문이 있는 티셔츠와 홀리진을 입습니다.
  
• 질문을 하거나 자신의 의견을 말하기 위해 동료들을 방해하는 경향이 있습니다.
  
• 신체검사 연습 시간에 모하메드나 리쵸와 절대 팀을 이루지 않는다. 거의 항상 메리와 함께 일하는데, 메리는 수업 전에 DVD에서 다양한 기술을 보고 인내심을 갖고 가르쳐준다.
  
• 정기적으로 지각하고, 사전 통보 없이 마지막 수업을 빠졌습니다.
  
• 숙제: 요청한 요약본보다는 지연되고 긴 연속본이 나왔으며, 일부 문장에는 의대 2학년 때 교육과정의 일부가 아닌 복잡한 개념이 담겨 있었다.
  
  
• Often asks questions about physiopathology or pharmacology concepts you have just explained.
• Commonly lies over his desk during teaching sessions, often wears t-shirts with violent prints as well as holey jeans.
• Tends to interrupt colleagues to ask a question or give his opinion.
• Never teams up with Mohamed or Lee-Chow during physical exam practice sessions. Almost always work with Mary, who patiently teaches him how to perform the various maneuvers as she saw them on the DVD that was to be watched before class.
• Is regularly late, and missed last class without advanced notice.
• Homework: delayed, long continuous text rather than the requested summary, and some sentences contained complex concepts that are not part of the curriculum in second year medical school.

그는 피드백을 잘 수용하지 않고, 끊임없이 자신의 어려움을 정당화합니다

He is not very receptive to feedback, and constantly justifies his difficulties.

교육 진단:
Educational diagnoses:

• 학습자: 건강? (주의력 결핍 장애나 다른 학습 장애? 약물 남용?), 사회적? (교육 일정에 따라 학습 시간이 제한됨).
  
• 구조적(학습 계획)과 절차적 기술(신체검사 기동) 문제.
  
• 대인관계(인종주의?)와 전문적(표절주의?) 태도 문제.
• Learner: health? (attention deficit disorder or other learning disorder? drug abuse?), social? (study time limited by training schedule).
• Structural (study planning) and procedural skills (physical exam maneuvers) issues.
• Interpersonal (racism?) and professional (plagiarism?) attitude issues.

이 BEME 검토에서 관련 개입의 선택:
Selection of relevant interventions from this BEME review:

• 공식적인 사이코모터/학습 평가 및 치료(강력), 의학적 평가 및 치료(중간), 학생 지원 서비스(중간)에 대한 의뢰(중간)
  
• 교육/학습 시간 균형에 도움이 되는 커리큘럼 압축 풀기(강력).
  
• 프로그램 책임자(중도)와의 비공식 토론.
  
• 학습 계약(약함).
  
• 학습 기술 훈련(약함)
  
• 멘토링(강력), 성취도가 높은 학생 배정(약함)입니다.
  
• 비전문적 행동(약함), 반성(중간), 독립 프로젝트 완료(중간): 예: 비전문적 행동의 영향에 대한 문헌 검토(중간), 경고 편지(중간), 체납 할당 또는 업무(중간), 지정된 간격으로 체크인해야 하는 요건 및 개방된 커뮤니케이션 라인을 유지합니다.학생부장 또는 다른 학교 관계자(중도)와의 의견 교환.
• Formal psychomotor/learning assessment and therapy (strong), medical evaluation and therapy (moderate), referral to student support services (moderate).
• Curriculum decompression (strong) to help with training/study time balance.
• Informal discussion with program director (moderate).
• Learning contract (weak).
• Study skills training (weak).
• Mentoring (strong), assignment of high performance student (weak).
• Point system to document unprofessional behavior (weak), reflection (moderate), completion of an independent project (moderate): eg.: write literature review about impact of unprofessional behavior, warning letter (moderate), delinquent assignment or task (moderate), requirement to check-in at specified intervals and maintain open lines of communication with Dean of Students or other school officials (moderate).

---

상자 3. 대학원 학습자와의 교육 시나리오
Box 3. Teaching scenario with a postgraduate learner

엘레나는 42세의 국제 졸업생입니다. 그녀는 4년 전에 당신의 나라로 이민을 갔어요. 그녀는 이민 가기 전에 6개월 동안 이비인후과 전문의로 연습했습니다. 한 달도 안 된 당신 도시로 이사왔죠 그녀는 미혼이고 아이가 없지만 250km 떨어진 마을에 가족이 있다. 그녀는 이제 막 가정의학과 레지던트 교육을 시작했고, 임상 선생님들은 몇 가지 어려움을 알아차렸다.

Elena is a 42 years old international graduate. She immigrated in your country 4 years ago. She practiced as ear, nose and throat specialist for 6 months before immigrating. She just moved in your city less than a month ago. She is single, has no children, but has family in a town 250 km away. She has just started her family medicine residency training, and clinical teachers have noticed some difficulties:

• 환자와의 만남을 위한 의제를 설정하기가 어렵습니다.
  
• 온정주의적 접근.
  
• 현재 질병에 대한 집중력 없는 역사, 일반적인 주임 불평에 대한 조기 종결.
  
• 공통적인 문제의 관리를 위한 1차 진료 지식 부족.
  
• 환자를 항상 이해하는 것은 아니다; 영어가 모국어가 아니기 때문에 언어적 도전.
  
• 환자가 말할 때도 환자 기록을 검색하는 데 많은 시간을 소비합니다. 이로 인해 일정이 지연됩니다.
  
  
• Difficulty to establish agenda for patient encounter.
• Paternalistic approach.
• Unfocused history of present illness, premature closure for common chief complaints.
• Lack of primary care knowledge for management of common problems.
• Does not always understand the patient; linguistic challenge since English is not her first language.
• Spends lots of time searching through patient records, even when patient is speaking; this causes delays in her schedule.

그녀는 약간의 어려움이 있다는 것을 알고 있습니다. 그녀는 자신의 시간 관리 문제를 모든 것이 자신의 새로운 것(보건 시스템, 작업 환경, 지역 자원)에 기인한다고 말한다. 이것은 그녀가 당직일 때 훨씬 더 명백하다. 그녀는 통찰력이 있고 피드백을 환영합니다.

She is aware that she has some difficulties. She attributes her time management issues to the fact that everything is new to her (health system, work environment and local resources). This is even more obvious when she is on call. She has good insight and welcomes feedback.

교육 진단:
Educational diagnoses:

• 학습자: 문화적 적응(언어 포함), 소셜 네트워크, 건강? (임상적 추론 어려움을 설명하는 신경심리학적 진단?)
  
• 지식 문제 설정 임상 및 작업
  
• 임상적 추론과 대인관계 기술 문제.
• Learner: cultural adaptation (including language), social network; health? (neuropsychological diagnosis explaining clinical reasoning difficulties?).
• Clinical and work setting knowledge issues;
• Clinical reasoning and interpersonal skills issues.

이 BEME 검토에서 관련 개입의 선택:
Selection of relevant interventions from this BEME review:

• 공식 오리엔테이션 프로그램(중간)
  
• 예를 들어 영어 강좌를 듣기 위해 학생 지원 서비스(중간) 및 휴가(강력)을 추천합니다.
  
• 공식적인 사이코모터/학습 평가 및 치료(강력), 인지적 개입/재활(중간)
  
• 학습 계획(중간), 멘토링(강력), 튜터링 및 학업 보조(강력), 동료 튜터링 및 지원(중간)과 함께 교수 자문 회의.
  
• 과정/세션(약함), 지시/구조화된 판독(중간), 개인 학습(매우 약함)을 검토합니다.
  
• 그룹 스터디(약함), 커뮤니티 학습(강함).
  
• 피드백(중간)
  
• 표준화된 환자 운동(중간)
  
• 정규 프로그램을 재통합하기 전에 감독된 실습(중간), 비디오테이프 검토(약함), 직접 관찰(매우 약함), 서면 임상 프로토콜(중간), 호출에 대한 백업 커버리지(중간), 보충 교육(중간)
  
• 큰 소리로 추론(매우 약함), 표준화된 임상 추론 교정 계획(강력).
  
• 커뮤니케이션 기술 훈련(약함), 시연(중간) 등 환자 중심 치료를 제공하는 방법을 예로 들 수 있습니다.
  학문적 어려움에 기여하는 요소를 목표로 하는 개입
• Formal orientation program (moderate).
• Referral to student support services (moderate) and leave of absence (strong), for example to take English courses.
• Formal psychomotor/learning assessment and therapy (strong), cognitive intervention/rehabilitation (moderate).
• Faculty advisor meeting with learning plan (moderate), mentoring (strong), tutoring and academic assistance (strong) and peer tutoring and support (moderate).
• Review course/session (weak), directed/structured readings (moderate), private study (very weak).
• Group study (weak), learning communities (strong).
• Feedback (moderate).
• Standardized patient exercises (moderate).
• Supervised practice (moderate), videotape review (weak) or direct observation (very weak), written clinical protocols (moderate), back-up coverage for calls (moderate), supplemental training (moderate) before reintegrating regular program.
• Reasoning out loud (very weak), standardized clinical reasoning remediation plan (strong).
• Communication skills training (weak), demonstration (moderate), for example: how to provide patient-centered care.

---

학문적 어려움에 기여하는 요소를 목표로 하는 개입
Interventions aimed at factors contributing to academic difficulties

학습환경
Learning environment

칼레 외 연구진(2017)이 언급한 바와 같이 교정조치는 일반적으로 개인의 관점에서 고려되어 왔다(피교정자 ± 교정자). 그러나, 그것은 본질적으로 맥락에 위치하기도 합니다. 본 리뷰는 Antecedents를 의학교육에서 학업상 어려움을 겪고 있는 학습자를 위한 가장 일반적인 BCT 그룹 중 하나로 파악함으로써 이러한 학습자를 지원하기 위한 학습 환경 재구성의 중요성을 강조합니다. 실제로 클레랜드 외 연구진(2018)은 다음을 제안했다.
As mentioned by Kalet et al. (2017), remediation has typically been considered from the perspective of the individuals (remediator ± remediated). However, it is also intrinsically situated in context. By identifying Antecedents as one of the most common group of BCTs for learners experiencing academic difficulties in medical education, this review reinforces the importance of restructuring the learning environment to support these learners. Indeed, Cleland et al. (2018) suggested:

의료 문화가 [개인의 실패를 교정하는 것]에 대한 생각에서 보다 [전체론적이고 능동적인proactive 모델]로 변화하면서, [의료 프로그램의 제도적이고 구조적인 측면]은 교육적 동맹에서 다양한 교육 및 사회적 배경의 학생들을 지원하기 위해 조정되고 설계된다.
a shift in the culture of medicine from thinking about remediating individual failings to a more holistic and proactive model, where institutional and structural aspects of a medical programme are aligned and designed to support students from a range of educational and social backgrounds in an educational alliance.

그러나 학습 환경에 초점을 맞춘 대부분의 개입 유형은 단일 연구에서 나타났다(Slavin et al. 2014). 본 연구에서 저자들은 커리큘럼 변경이 미치는 영향을 평가하고 학부 학습자들에게 긍정적인 결과를 찾아냈습니다. 따라서 특히 대학원 학습자에게 어려운 학습 환경을 지원하는 학습 환경 개입에 관한 문헌은 부족한 것으로 보인다. 추가 연구는 예를 들어 학습 지침의 보편적 설계(CAST 2018)에 명시된 대로 모든 학습자에게 다양한 참여, 대표 및 표현 수단을 제공하여 어려움에 처한 의료 학습자를 교정하기 위한 유리한 환경을 조성하기 위한 프로그램 또는 병원 수준의 개입을 고려해야 한다.

However, most of the types of interventions that focused on the learning environment emerged from a single study (Slavin et al. 2014). In this study, the authors assessed the impact of curriculum modifications and found positive outcomes for undergraduate learners. The literature therefore seems to be scarce about learning environment interventions to support learners in difficulty, particularly for postgraduate learners. Further research should consider interventions at the program or hospital levels to create a favorable environment for remediating medical learners in difficulty, for example by providing multiple means of engagement, of representation and of expression for all learners, as stated in the universal design for learning guidelines (CAST 2018).

선생님.
Teacher

이 검토는 교사별 개입 또는 교직원 개발 개입의 영향에 초점을 맞춘 두 가지 유형의 개입만을 발견했습니다. 그러나 교수 관행 강화를 위한 의료 교육에서 교수개발의 효과는 잘 문서화되어 있으며(Steinert et al. 2006; Steinert et al. 2016), 여러 저자가 의료 교사와 교육자를 위한 역량 프레임워크를 제안했다(Harris et al. 2007; Srinivasan et al. 2011; Irby 2014; Walsh et al. 2015). 추가적인 연구는 구체적인 교수진 개발 노력을 조사하고 학업상 어려움을 겪는 학습자에게 미치는 영향을 평가해야 합니다.
This review found only two types of interventions focusing on the impact of teacher-specific interventions or faculty development interventions. However, the effectiveness of faculty development in medical education to enhance teaching practices is well documented (Steinert et al. 2006; Steinert et al. 2016), and several authors have proposed competency frameworks for medical teachers and educators (Harris et al. 2007; Srinivasan et al. 2011; Irby 2014; Walsh et al. 2015). Further research should look into specific faculty development efforts and assess their impact on learners with academic difficulties.

학습자
Learner

이 검토에서는 학습자의 개인적 문제를 관리하는 데 도움이 되는 37가지 유형의 개입이 발견되었습니다. 대부분은 선례나 규정 BCT에 속했다.
This review found 37 types of interventions to help manage learners’ personal issues. Most were under the Antecedents or Regulation BCT.

학업 성공에 영향을 미칠 수 있는 학습자의 [개인적 문제]에 관한 문헌에는 건강, 배우자/가족, 재정, 문화 적응 및 사회 생활과 관련된 다양한 어려움의 원인이 기술되어 있다(Lacasse 2009). 학습자가 학업 난관에 집중하기 전에 사생활 문제를 해결할 수 있도록 하려면 휴학이 필수적일 수 있다.

The literature on learners’ personal issues that may affect academic success describes various sources of difficulties, usually related with health, spouse/family, finances, cultural adaptation and social life (Lacasse 2009). A leave of absence may be essential to allow the learner to resolve personal life issues before concentrating on academic difficulties.

건강 문제의 관리는 주로 Regulation BCT 분류에 따른 개입 유형에 의존한다. 여기에는 의료 또는 심리 상담과 재활(인지, 심리 운동, 시각 훈련, 약물 남용 등), 웰빙을 촉진하는 수용과 개입(신체 운동, 스트레스 관리, 회복력 및 마음 챙김 프로그램)이 포함된다. 이는 국가, 병원, 프로그램 및 비근로 수준에서 훈련생 복지를 다루기 위해 책임을 맡은 이해관계자들에게 알리기 위한 최근 권고사항과 일관된다(Ripp et al. 2017). 배우자/가족, 재정, 사회생활 문제에 대한 지원은 종종 가용 자원을 잘 알고 있는 학생 지원 서비스에 의해 제공될 수 있다.
Management of health issues rely mostly on the types of interventions under the Regulation BCT grouping. This includes medical or psychological consultations and rehabilitation (cognitive, psychomotor, visual training, substance abuse, etc.), accommodations and interventions promoting well-being (physical exercise, stress management, resilience and mindfulness program). This is coherent with recent recommendations at the national, hospital, program, and non-work levels meant to inform stakeholders who have taken up the charge to address trainee well-being (Ripp et al. 2017). Assistance for spouse/family, finances, and social life issues can be provided by student support services, who often know available resources very well.

국제 의학 졸업생이 흔하게 학습 장애에 직면했음에도 불구하고, 이 리뷰는 [문화적 적응]을 촉진하기 위한 개입을 평가하는 소수의 논문만을 발견했다. 위험에 처한 학습자를 위한 일부 사전 교육 프로그램은 문화적 적응에 유용할 수 있으며, 이는 국제 졸업생의 주요 과제이다(Chen 등 2011; Lineberry 등 2015; Kehoe 등 2016). 하지만, 이번 리뷰에서는 특별히 국제 졸업생들을 중심으로 학업적인 어려움을 겪고 있는 학습자들을 위한 개입은 나오지 않았습니다.

Despite commonly encountered learning difficulties in international medical graduates (Samuelowicz 1987; Zulla et al. 2008; Hashim 2017), this review found few articles assessing interventions to facilitate cultural adaptation. Some prematriculation programs for at-risk learners can be useful for cultural adaptation, which is a major challenge for international graduates (Chen et al. 2011; Lineberry et al. 2015; Kehoe et al. 2016). However, interventions for learners experiencing academic difficulties specifically oriented towards international graduates did not come out in this review.

 

학업상 어려움 해결
Remediation of academic difficulties

검색된 중재 유형의 대부분은 복합적인 지식/스킬 장애를 가진 학습자를 대상으로 연구되었으며, 또한 태도 문제와 관련이 있는 경우가 많았다.
The majority of the retrieved types of interventions were studied in learners with combined knowledge/skills difficulties; they were also often relevant to attitudinal problems.

지식, 기술 및 태도 관심사의 조합을 목표로 설계된 개입에 대한 가장 강력한 권고는 [사회적 지원]과 [목표 및 계획] 아래에 제시되었다.
[학습 계획 및 목표 지향] 교정 도구 또는 프로그램은 자기주도학습 이론을 기반으로 하고 학습자의 참여와 동기를 촉진한다(Knowles et al. 2005).
[사회적 지원]과 관련된 개입 유형(동료 또는 교직원 과외 및 멘토링, 튜토리얼 또는 그룹 스터디와 같은 소규모 그룹 학습)은 사회 구성주의와 의료 교육에서 실천 공동체 조성의 중요성에 의해 뒷받침된다.

The strongest recommendations for interventions designed to target a combination of knowledge, skills and attitudinal concerns appeared under Social support and Goals and planning. Learning plans and goal-oriented remediation tools or programs build on self-directed learning theory and promote learner engagement and motivation (Knowles et al. 2005). The types of interventions involving social support (peer or faculty tutoring and mentoring, small group learning such as tutorials or group study) are supported by socio-constructivism and the importance of creating communities of practice in medical education.

지식.
Knowledge

[지식을 형성하는 것]은 약한 권고의 비율이 가장 높은 BCT 그룹이었다. 이러한 유형의 개입은 지식만을 대상으로 하지 않았으며, 대부분은 관련 [기술이나 태도 문제]가 있는 학습자에게 사용된다. 이는 지식 부족만 고립되어 생기는 일은 거의 없다는 사실로 설명될 수 있다(Gerrasio, Garrity 등). 따라서 [지식을 형성]하려는 노력은 보다 포괄적인 기술을 개발하기 위한 다른 개입과 결합함으로써 강화될 수 있다(Schuwirth 2009).
Shaping knowledge was the BCT grouping with the highest proportion of weak recommendations. None of these types of interventions was targeted at knowledge only, most being used in learners with associated skills or attitude problems. This might be explained by the fact that knowledge deficits are rarely isolated (Guerrasio, Garrity, et al. 2014). Thus, endeavors to shape knowledge may be enhanced by combining them with other interventions aimed at developing more generic skills (Schuwirth 2009).

지시된 독서, 개인 연구, 교육 세션/컨퍼런스, 과정 확장 및 학습 가이드/과정 노트와 같은 [지식 형성] BCT 그룹 하에서 개입의 유형은 해부학, 생리학 및 약학과 같은 [기초 지식 통합]과 관련이 있는 것으로 보인다.
Types of interventions under the Shaping knowledge BCT grouping such as directed readings, private study, didactic sessions/conferences, course extension, and study guides/course notes seem relevant for fundamental knowledge consolidation such as anatomy, physiology and pharmacology.

[임상적 또는 절차적 지식]도 이러한 개입으로부터 이익을 얻을 수 있지만, 보충 훈련뿐만 아니라 아침 보고서나 다른 의미 있는 학습 활동에 참석함으로써 더욱 풍부해질 수 있다. 검토 과정은 교육 중 주요 시간에 지식의 통합을 지원합니다.

Clinical or procedural knowledge will also benefit from these interventions, but may also be enriched by attendance at morning reports or other meaningful learning activities, as well as supplemental training. Review courses support integration of knowledge at key times during training.

[작업 환경에 대한 지식]은 대부분 지도 실습과 과외의 장점을 가진 사회적 지원에 의존한다.

Knowledge of work setting relies mostly on social support, with the advantages of supervised practice and tutoring.

기술들
Skills

Associations BCT 그룹 아래의 개입 유형은 임상 추론 결손과 같은 [인지 능력 결손]을 관리하는 데 도움이 되었다. 이러한 전략은 최근 AMEE 가이드(Aud affixed et al. 2017)의 많은 권고사항과 일치하며, 학습에 대한 정보 처리 이론 및 기타 인식론적 접근법과도 일치한다(Torre et al. 2006). 백업 커버리지 또는 역할 모델링 또는 반복을 포함하는 다른 전략과 같은 수용도 임상 기술 교정과 관련이 있다. 마지막으로, 학습/시험 능력 부족은 대부분 형성되는 지식 개입과 동료 튜터링 및 지원을 사용하여 관리할 수 있다.
The types of interventions under the Associations BCT grouping were helpful in managing cognitive skills deficits such as clinical reasoning deficits. These strategies are consistent with many recommendations from a recent AMEE guide (Audétat et al. 2017); they are also congruent with information processing theory and other cognitivist approaches to learning (Torre et al. 2006). Accommodations such as back-up coverage or other strategies involving role modeling or repetition are also relevant for clinical skills remediation. Finally, study/test-taking skills deficits can be managed using mostly shaping knowledge interventions and peer tutoring and support.

[대인관계 및 절차적 기술]의 교정은 직접 관찰 또는 비디오 테이프 검토를 통해 얻은 피드백에 의해 촉진된다. 놀랍게도 임상 교육에서 직접 관찰의 중요성을 인식했음에도 불구하고 이러한 유형의 개입은 이 검토에서 두 번만 나타났다(Kogan 등 2017). 또한 교정 개입으로서의 직접 관찰의 영향에 대한 문헌이 부족하다. 실험실, 표준화된 환자 운동 및 시뮬레이션을 통한 반복은 또한 습관 형성을 장려할 것이다. 마지막으로, 의사소통 능력 훈련은 대인관계 능력의 발달에 초점을 맞춘다.
Remediation of interpersonal and procedural skills is facilitated by feedback obtained through direct observation or videotape review. Surprisingly, these types of interventions appeared only twice in this review, despite the recognized importance of direct observation in clinical teaching (Kogan et al. 2017). Furthermore, the literature is scarce about the impact of direct observation as a remediation intervention. Repetition through laboratories, standardized patient exercises and simulation will also encourage habit formation. Finally, communication skills training focuses on the development of interpersonal abilities.

[구조적 기술]에는 연습 관리와 시간 관리가 포함됩니다. 이 난이도 범주와 관련된 개입은 이 검토에서 거의 검색되지 않았다. 이는 리더십/관리 역량의 달성이 훈련 후반에 기대되거나(Lacasse 등 2014), 훈련 중에 우선되지 않기 때문일 수 있다(Quince 등 2014; Gonzalo 등 2016). 그러나 리더십 훈련을 위한 이니셔티브는 개업 의사들에게 인기가 있다(Frich et al. 2015).

Structural skills involve practice management and time management. Few interventions relevant to this category of difficulty were retrieved in this review. This might be because the achievement of leadership/management competencies are expected later in training (Lacasse et al. 2014), or are not prioritized during training (Quince et al. 2014; Gonzalo et al. 2016). Initiatives for leadership training are, however, popular for practising physicians (Frich et al. 2015).

태도
Attitude

동기부여의 부족과 관련된 [개인적인 태도 문제]는 때때로 [직업 선택에 대한 의심]과 관련이 있다. 직업상담사가 개입한 정황이 포착되지 않아 그 영향은 알려지지 않은 것으로 보인다. 그러나 이러한 어려움은 적절한 교수진 지도와 멘토링을 통해 해결할 수 있다(Indyk et al. 2011). 놀랍게도 학습자 정체성 또는 전문적 역할을 대상으로 하는 개입(Cruess 등 2014)이 검색되지 않았으며, 이는 향후 연구에서 탐색하기에 좋은 방법일 수 있다.
Personal attitude problems associated with a lack in motivation are sometimes related to doubts about career choice. The impact of interventions involving career advisors do not seem to be known, since no such intervention was retrieved. However, such difficulties can be addressed through appropriate faculty guidance and mentoring (Indyk et al. 2011). Surprisingly, no interventions targeting learner identity or professional role (Cruess et al. 2014) was retrieved, which might be good avenues to explore in future studies.

무례한 행동이나 전문가 간 협업 어려움과 같은 [대인관계 태도 문제]는 지도 연습, 빈번한 피드백 및 학습 계약에 문서화된 예정된 결과를 통해 가장 잘 해결될 수 있다.
Interpersonal attitude concerns, such as disrespectful behavior or interprofessional collaboration difficulties, might be addressed best through supervised practice, frequent feedback, and scheduled consequences documented in a learning contract.

대인관계 태도 우려에 대해 식별된 전략은 [전문직업적 문제]에도 사용될 것이다. 그러나 비전문적 행동을 문서화하는 포인트 시스템 또는 특정 간격으로 학교 관계자에 체크인해야 하는 요구 사항(Brokaw 등 2011)과 같은 일부 더 구체적인 유형의 개입을 할 수도 있다.
The strategies identified for interpersonal attitude concerns will also be used for professional issues; however, some more specific types of interventions such as a point system to document unprofessional behavior (Malakoff et al. 2014) or a requirement to check-in at specified intervals with school officials (Brokaw et al. 2011) can also be implemented.

요약하자면, 학업상 어려움을 겪는 의학 학습자를 지원하기 위해서는 우선 가능한 모든 교육적 진단을 파악해야 한다. [환경, 교사 및 학습자 개인의 문제]는 [지식, 기술 또는 태도와 관련된 학문적 어려움]을 설명하지만, 그것을 용서해주지excuse는 않는다. 이 검토는 각 교육 진단에 매핑된 일련의 개입에 대한 이론적 기초에 대한 통찰력과 권고의 강점을 통해 그 사용에 대한 지침을 제공한다.

In summary, supporting medical learners with academic difficulties first involves to identify all possible educational diagnoses. Environment, teacher and learner personal issues explain, but do not excuse academic difficulties involving knowledge, skills or attitudes. This review provides insight about the theoretical bases for a set of interventions mapped to each educational diagnosis, and guidance for their use through strengths of recommendation.

제한 사항 검토
Review limitations

이 검토에는 몇 가지 제한이 있습니다. 단일 전략을 평가한 연구가 거의 없어 학업상 어려움을 겪고 있는 학습자에 대한 개별 개입의 효과를 보고하기는 어렵다. 많은 논문이 다중 성분 개입을 평가했기 때문에 어떤 성분이 개별적으로 효과적인지 알기 어렵다. 이러한 경우에는 일부 개입에 대한 후광효과가 있다. 예를 들어, 환경 재구성(예: 환경 재구성)을 포함하는 BCT의 강력한 권고사항 수가 가장 많다. 추가 연구는 무엇이 정확히 효과적인지 더 잘 이해하기 위해 개입을 격리하려고 노력해야 한다.
This review has some limitations. It is difficult to report on the effectiveness of individual interventions for learners experiencing academic difficulties since few studies evaluated a single strategy. Many articles assessed multi-component interventions, therefore making it difficult to know which components are individually effective. In such cases, there is a halo effect for some interventions – for example, the BCT involving environment restructuration (antecedents) has the highest number of strong recommendations; however, most of the types of interventions in this category come from the same multi-component study. Further studies should try to isolate interventions to get a better understanding of what exactly is effective.

둘째, 커크패트릭의 모델을 평가 프레임워크로 선택한 것에 대한 비판이 제기되었다. 문제는 불완전성(개별 또는 문맥적 요인을 고려하지 않음), 인과관계 가정, 그리고 결과 수준이 상승함에 따라 정보의 중요성이 증가한다는 가정에 대해 보고되었다(Bates 2004). Yardley와 Dornan(2012)은 다음과 같이 보고했다.

Second, the choice of Kirkpatrick’s model as an evaluation framework has been criticized. Issues have been reported around its incompleteness (not considering individual or contextual factors), the assumption of causality, and the assumption of increasing importance of information as the levels of outcomes are ascended (Bates 2004). Yardley and Dornan (2012) reported that:

빠르게 나타나고 고전적인 실험 설계 내에서 쉽게 관찰되는 [비교적 단순한 훈련 개입]을 평가할 때 [Kirkpatrick] 수준은 학습자(특히 환자) 이외의 중요한 수혜자에게 주의를 돌릴 수 있지만 […] 복잡한 교육 개입에는 적합하지 않다.왜냐하면, 가장 중요한 결과는 장기적으로만 확인가능하고, 프로세스 평가가 […] 결과 평가만큼 중요하기 때문이다.
when evaluating relatively simple training interventions, the outcomes of which emerge rapidly and are easily observed within classical experiment designs, the [Kirkpatrick] levels can direct attention to important beneficiaries other than learners (notably patients) […], however they are […] unsuitable for […] education interventions which are complex, in which the most important outcomes are longer-term, and in which process evaluation is as important as […] outcome evaluation.

그것이 우리가 또한 결과 평가의 범위를 넘어 프로그램 평가를 고려하는 스터플빔(2003)의 CIP 모델(컨텍스트/입력/프로세스/제품)을 사용하여 데이터를 추출한 이유이다. 이를 통해 학업상 어려움을 겪는 학습자에게 필요한 사항, 자원 및 개입의 구현에 대한 흥미로운 통찰력을 제공했다.
That is why we also extracted data using Stufflebeam’s (2003) CIPP model (context/input/process/product), which considers program evaluation beyond the scope of outcomes assessment. This provided interesting insight about needs, resources and implementation of interventions for learners with academic difficulties.

무작위 검토자 짝 사이에서 평가자 간 일치도가 낮았다. 복수의 무작위 검토자 쌍을 사용하면 처음에는 데이터 추출 클러스터가 감소하여 검토자 효과에 대한 통제(잠재적 편향)가 감소하는 것으로 생각되었다. 그러나 이는 아마도 각 검토자의 전문지식이 다양하고 많은 검토자 간에 합의에 도달하는 것이 더 낮았기 때문에 평가자 간 합의를 낮출 수 있었다. 도전적인 현재 검토에서 이 문제를 극복하기 위해 코딩의 불일치를 제3의 검토자(ML 또는 CS)에게 제출하여 최종 결정을 내렸다. 또한 중재 전략의 효율성을 위한 코드화는 평가자 간 합의가 우수한 고유한 검토자 쌍(ML, CS)에 의해 수행되었다.

Inter-rater agreement was poor between reviewer random pairs. The use of multiple random pairs of reviewers was initially thought to reduce clusters of data extraction and therefore control for reviewer’s effect (potential bias); however, this might have led to lower inter-rater agreement, probably because the expertise of each reviewer varied and that reaching consensus between high numbers of reviewers is challenging. To overcome this issue for the current review, discrepancies in coding were submitted to a third reviewer (ML or CS) for final decision. Additionally, codification for effectiveness of intervention strategy was performed by a unique pair of reviewers (ML, CS), where the inter-rater agreement was excellent.

방법론적 품질에 대한 ICC도 좋지 않았다. 두 가지 요인이 평가자 간 신뢰도를 방해했을 수 있습니다. 먼저 MMAT는 두 개의 전형 문항으로 시작하므로 제시된 두 가지 기준 중 한 가지가 충족되지 않으면 나머지 문항은 기각되고 점수는 0%가 된다. 이러한 맥락에서 심사자 중 한 명이 심사 기준이 충족되었다고 간주하고 다른 한 명은 그렇지 않거나 확신하지 못하는 경우 점수 귀속에서 상당한 차이를 초래했을 수 있다. 둘째, 임상의와 연구원의 검토자들은 다양한 방법론적 배경을 가지고 있었다. 일부 방법론적 문제에 대한 다양한 의견을 극복하기 위해 방법론적 배경이 강한 검토자(CS) 중 한 명이 최종 MMAT 점수를 수정했다.
Intra-class correlation was poor for methodological quality. Two factors may have hindered inter-rater reliability. First, since the MMAT starts with two screening questions, if one of the two criteria presented is not met, the other questions are dismissed and the score is 0%. In this context, when one reviewer considered the screening criteria met and the other did not or was unsure about it, it may have led to substantial differences in scores attribution. Second, clinician and researcher reviewers had diverse methodological backgrounds. To overcome divergent opinions on some methodological questions, one of the reviewers (CS) with strong methodological background revised the final MMAT scoring.

결론
Conclusion

실천에 미치는 영향
Implications for practice

이 리뷰는 학업상 어려움을 겪는 학부 및 대학원 의학 학습자를 지원하기 위해 가장 효과적인 문헌 기반 개입을 장려하고, 프로그램 평가 격차를 파악하여 해당 분야의 추가적인 교육 연구를 촉진한다. 임상 교사 및 교육자에게 평가, 멘토링 및 교수진 개발 목적으로 사용할 문헌 기반 개입의 레퍼토리를 제공합니다. 다양한 BCT에 따라 제안된 분류는 임상 교사 및 교육자가 각 개입에 대한 이론적 기초를 더 잘 이해하고, 따라서 이들의 구현을 용이하게 하기 위한 것이다. 마지막으로, 의사가 유능하고 안전한 환자 진료를 제공하도록 훈련하는 것을 목표로 현재의 교육 프레임워크와 전략에 맞는 가장 효과적인 학습자 개입을 선택하는 데 도움이 될 것이다.

This review encourages the use of the most effective literature-based interventions to support undergraduate and postgraduate medical learners with academic difficulties, and helps identification of program evaluation gaps to stimulate further educational scholarship and research in the field. It provides clinical teachers and educators with a repertoire of literature-based interventions to use for assessment, mentoring and faculty development purposes. The proposed classification under various BCTs is intended to help clinical teachers and educators to better understand the theoretical bases for each intervention, and therefore facilitate their implementation. Finally, it will help them choose the most effective interventions for learners in difficulty that are aligned with current educational frameworks and strategies, with the objective of training physicians to be competent and provide safe patient care.

연구에 미치는 영향
Implications for research

학문적 어려움을 겪고 있는 학습자를 위한 개입의 추가 개발은 복잡한 행동 변화 개입과 관련 이론의 근본적인 내용을 더 잘 이해하고 혁신적인 전략에 유망할 수 있는 미개척 BCT를 테스트하기 위해 효과적인 BCT를 기반으로 구축되어야 합니다. 장학금 노력도 철저한 프로그램 평가의 중요성을 강화해 추천의 강점을 계산할 수 있는 데이터를 늘려야 한다. 또한 추가적인 연구는 구체적인 환경 개입과 교수진 개발 노력에 대해 조사하고 학업상 어려움을 겪는 학습자에게 미치는 영향을 평가해야 합니다.

Further development of interventions for learners experiencing academic difficulties should build upon effective BCTs to understand better the underlying content of complex behavior change interventions and the associated theories, and test the unexplored BCTs which might be promising for innovative strategies. Scholarship efforts should also reinforce the importance of thorough program evaluation to increase data allowing us to compute the strengths of recommendations. Further research should also look into specific environmental interventions and faculty development efforts and assess their impact on learners with academic difficulties.

---

Med Teach. 2019 Sep;41(9):981-1001.

 doi: 10.1080/0142159X.2019.1596239. Epub 2019 May 12.

Interventions for undergraduate and postgraduate medical learners with academic difficulties: A BEME systematic review: BEME Guide No. 56

Miriam Lacasse 1, Marie-Claude Audétat 2 3 4, Élisabeth Boileau 5, Nathalie Caire Fon 2, Marie-Hélène Dufour 1, Marie-Claude Laferrière 6, Alexandre Lafleur 7, Ève La Rue 8, Shirley Lee 9 10, Mathieu Nendaz 3 11, Emmanuelle Paquette Raynard 6, Caroline Simard 1, Yvonne Steinert 12, Johanne Théorêt 1

Affiliations collapse

Affiliations

1Department of Family Medicine and Emergency Medicine, Université Laval , Quebec City , Canada.

2Department of Family Medicine and Emergency Medicine, Université de Montréal , Montreal , Canada.

3Family Medicine Unit (UIGP), University of Geneva , Geneva , Switzerland.

4Department of Family and Emergency Medicine, Université de Sherbrooke , Sherbrooke , Canada.

5Library, Université Laval , Quebec City , Canada.

6Department of Medicine, Université Laval , Quebec City , Canada.

7Department of Education, Université Laval , Quebec City , Canada.

8Department of Family and Community Medicine, University of Toronto , Toronto , Canada.

9Unit of Development and Research (UDREM), University of Geneva , Geneva , Switzerland.

10Canadian Medical Protective Association , Ottawa , Canada.

11Department of Medicine, University Hospitals , Geneva , Switzerland.

12Institute of Health Sciences Education, Faculty of Medicine, McGill University , Montreal , Canada.

PMID: 31081426

DOI: 10.1080/0142159X.2019.1596239

Abstract

Background: Clinical teachers often struggle to report unsatisfactory trainee performance, partly because of a lack of evidence-based remediation options. Objectives: To identify interventions for undergraduate (UG) and postgraduate (PG) medical learners experiencing academic difficulties, link them to a theory-based framework and provide literature-based recommendations around their use. Methods: This systematic review searched MEDLINE, CINAHL, EMBASE, ERIC, Education Source and PsycINFO (1990-2016) combining these concepts: medical education, professional competence/difficulty and educational support. Original research/innovation reports describing intervention(s) for UG/PG medical learners with academic difficulties were included. Data extraction employed Michie's Behavior Change Techniques (BCT) Taxonomy and program evaluation models from Stufflebeam and Kirkpatrick. Quality appraisal used the Mixed Methods Appraisal Tool (MMAT). The authors synthesized extracted evidence by adapting the GRADE approach to formulate recommendations. Results: Sixty-eight articles met the inclusion criteria, most commonly addressing knowledge (66.2%), skills (53.9%) and attitudinal problems (26.2%), or learner personal issues (41.5%). The most common BCTs were Shaping knowledge, Feedback/monitoring, and Repetition/substitution. Quality appraisal was variable (MMAT 0-100%). A thematic content analysis identified 109 interventions (UG: n = 84, PG: n = 58), providing 24 strong, 48 moderate, 26 weak and 11 very weak recommendations. Conclusion: This review provides a repertoire of literature-based interventions for teaching/learning, faculty development, and research purposes.