가이드라인: 의학교육에서 재교육에 대한 Dos 와 Don'ts (Perspect Med Educ, 2019)
Guidelines: The dos, don’ts and don’t knows of remediation in medical education
Calvin L. Chou · Adina Kalet · Manuel Joao Costa · Jennifer Cleland · Kalman Winston
할 것: 효과의 증거가 있는 교육 활동
하지 말기 것: 효과 또는 위해성이 없다는 증거가 있는 교육 활동 금지(부정 효과)
잘 모름: 효과의 증거가 없는 교육 활동
Do’s Educational activity for which there is evidence of effectiveness
Don’ts Educational activity for which there is evidence of no effectiveness or of harms (negative effects)
Don’t knows Educational activity for which there is no evidence of effectiveness
도입
Introduction
의료교육의 재교육은 ‘의사가 되기 위한 여정에 나섰지만 진로를 벗어난 훈련생들을 위한 시정을 촉진하는 행위’이다.
Remediation in medical education is ‘the act of facilitating a correction for trainees who started out on the journey toward becoming a physician but have moved off course’[1].
교정조치가 필요한 훈련생들의 누적 유병률에 대한 보고서는 외과 레지던스[2]의 2.0%에서 의과대학의 3.3%까지 다양했다[3]. 보고된 교정조치 성공률은 77% [2]에서 100% [3-5]까지 다양하다. 그러나 ‘성공’에 대한 표준적 정의는 없으며, 대부분의 프로그램은 단기적인 결과만을 보고한다. 예를 들어, 한 보고서는 교정조치 후 1학기에 합격한 학생의 91%가 1학기를 통과했지만, 2년 후[6] 전체 프로그램을 완료한 학생은 61%에 불과하다는 것을 보여주었다. 또한 교정조치가 필요한 학습자를 식별하기 위해 프로그램이 사용하는 기준은 같은 기관 내에서조차 매우 다양하다.
Reports of the cumulative prevalence of trainees in need of remediation have ranged from 2.0% in surgical residencies [2] to 3.3% in medical school [3]. The reported success of remediation has ranged from 77% [2] to 100% [3–5]. However, there is no standard definition of ‘success’, and most programs report only short-term outcomes. For example, one report showed that while 91% of students passed the first semester after remediation, only 61% had completed the entire program 2 years later[6]. Additionally, the criteria programs use to identify learners needing remediation vary widely, even within the same institution.
훈련생에 대한 요구가 의료 훈련 과정에 걸쳐 변화함에 따라 교정조치의 유형이 변경되는 것은 놀랄 일이 아니다.
초기 의대생들은 지식과 기술 격차, 사고방식, 자기 규제, 학습 접근방식에 어려움을 겪는 경향이 있다[7].
임상실습 학생들은 불충분한 지식 외에도 환자 프레젠테이션 기술, 기초 커뮤니케이션 기술(예: 자기 소개), 신체 검사 기술, 개별화된 환자 계획을 작성하기 위한 지식의 적용 및 합성과 씨름할 수 있다[8, 9].
인턴과 레지던트 시기에도 있어 지식은 계속해서 투쟁의 주요 영역이 될 수 있다[5, 10, 11].
또한 이러한 의료 훈련 단계에서 학습자는 임상적 판단[2, 5, 10, 11], 커뮤니케이션 [5], 전문성[2, 4, 5, 11, 12], 시간 관리 및 조직 능력[5, 10, 13]으로 어려움을 드러낼 수 있다.
Not surprisingly, as demands on trainees shift over the course of medical training, the types of remediation challenges change. Early medical students tend to struggle with knowledge and skills gaps, ways of thinking, self-regulation, and approaches to learning [7]. In addition to insufficient knowledge, students in clerkships can struggle with patient presentation skills, foundational communication skills (e.g. introducing oneself), physical examination skills, and the application and synthesis of knowledge to create individualized patient plans [8, 9]. For residents and foundation years (the 2 years immediately after medical school in the UK), knowledge can continue to be a major area of struggle [5, 10, 11]. In addition, learners at these stages of medical training can manifest difficulty with clinical judgment [2, 5, 10, 11], communication [5], professionalism [2, 4, 5, 11, 12], time management, and organization skills [5, 10, 13].
의대생과 의사들은 고군분투하는 데 익숙하지 않다. 의대 선정은 높은 학업 능력을 필요로 하며, 의대생들은 성취에 익숙해져 있다. 결과적으로, 학업적인 실패에 직면했을 때, 많은 사람들은 [문제를 악화시키고 신속하게 적응하고 교정 작업에 집중하는 능력을 제한할 수 있는] 불균형적인 감정 반응을 경험할 수 있다. 어떤 환경에서는 실패의 경제적 부담(예: 재시험이나 과정)이 상당할 수 있으며, 이는 주로 학생이나[14] 프로그램[15]이 부담한다. 우리는 또한 일부 학습자가 자신의 어려움을 최소화, 외부화하거나 학교나 교수를 비난하고 있다는 것을 알고 있다[16, 17]. 감독관과 기관이 효과적인 교정조치를 제공하는 것이 훨씬 더 어렵다.
Medical students and physicians are not accustomed to struggling. Selection into medical school requires high academic ability, and medical students are used to achieving. Consequently, when faced with academic failure, many may experience disproportionate emotional reactions that can exacerbate the problem and limit their ability to adapt quickly and focus on remedial work. In some settings, there may be a significant economic burden of failure (e.g. retaking exams or courses) which is mostly borne by the student [14] or the program[15]. We also know that some learners minimize, externalize, and blame faculty and the institution for their struggles [16, 17], making it even more challenging for supervisors and institutions to provide effective remediation.
고군분투하는 학습자에게는, 모니터링, 상담 및 기타 비용이 많이 드는 교정조치 전략이 필요하며, 이는 프로그램 및 교수진에 큰 부담tax이 될 수 있다. 또한 프로그램의 무결성을 훼손하거나 동료의 경험에 부정적인 영향을 미칠 수 있다[18-20]. 또한, 의료 교육에서 잘 문서화된 'failure to fail'도 문제인데, 왜냐하면 왜냐하면 이로 인해 [유능하다고 볼 수 없는 의사의 전문직 진입을 막아내지 못하여] 의학이 사회와 맺은 사회적 계약에 어긋나기 때문이다.
the presence of a struggling learner requires increased monitoring, counselling, and other costly remediation strategies, which may tax program and faculty resources. It may also damage the integrity of the program or negatively influence the experience of peers [18–20]. In addition, the well-documented ‘failure to fail’ in medical education is troubling because it challenges the social contract medicine has with society by erring toward keeping marginally competent practitioners in the profession [21–23].
고군분투하는 학습자에게 근본적인 문제를 해결하지 않고, 그저 반복적으로 marginal pass를 주는 것이 일반적이다 [16, 24, 25]. 프로그램은 때때로 교정조치에 있어 학습자를 부적절하게 재평가하여 교정조치가 성공적이었는지 확인하지 못했다[26]. 그러나 궁극적으로 의료계는 높은 품질, 안전, 전문적 관리에 대한 사회적 책임을 다하는 학습자를 졸업시킬 책임이 있다[27].
It is common to give struggling learners repeated marginal passes that avoid addressing the underlying problems [16, 24, 25]. Programs sometimes inadequately reassess learners in remediation, failing to ensure remediation was successful [26]. Ultimately, however, the medical profession has a responsibility to ensure that it will graduate learners that fulfil its social responsibility for high quality, safe, professional care [27].
더욱이 훈련생과 미래 환자의 법적 결과에 대해 우려하는 기관[21]은 교정조치 및 보호관찰에 대한 공식적인 정책을 의도적으로 회피할 수 있다[32]. 이러한 현상은 전체 기관 문화에 함께 기여하며, 어려움을 겪고 있는 학습자의 효과적인 식별과 개입을 위한 장벽을 형성하며, 이들 대부분은 곧(또는 이미) 실제 의사가 될 것이다.
Moreover, institutions, concerned about legal consequences from trainees and future patients [21], may intentionally avoid having official policies on remediation and probation [32]. These phenomena, which together contribute to overall institutional culture, create barriers to effective identification of, and intervention with, struggling learners, most of whom will soon be (or are already) practising physicians.
방법
Methods
본 지침은 본 분야에서 장학금을 발행한 4개국에 기반을 둔 의료 교육자 전체의 전문가 의견의 일치에 기초하고 있으며, 의료 교육에서의 교정조치에 관한 문헌을 대상으로 한 검토로 보완되었다.
These guidelines are based on consensus of expert opinion across medical educators based in four countries who have published scholarship in this area, supplemented with a targeted review of the literature on remediation in medical education.
Results (Tab. 2)
Part I. System level/Contextual issues
우리는 ‘[기대를 설정하고 피드백을 제공하며 사려 깊고 지속적인 평가를 제공함으로써] 잠재적으로 발생가능한 많은 문제 상황을 방지할 수 있다’는 스타인어트의 주장에 동의한다[18]. 우리는 학습자들이 일반적으로 고군분투하는 이유는, 부분적으로 교육제도가 실패하게 만들기 때문이라는 것에 주목한다. 우리는 많은 경우에 학습자 투쟁의 근본적인 원인은 인간과 시스템 고장 사이의 인터페이스에서 환자 관리 오류가 발생할 수 있는 방법과 유사한 일련의 학습 컨텍스트에 위치한다고 주장한다[35].
We agree with Steinert’s statement: ‘Many potentially difficult situations can be prevented by setting expectations, giving feedback, and providing thoughtful, ongoing evaluation’ [18]. We note that it is common for learners to struggle partly because the educational system has failed them. We assert that, in many cases, the underlying cause of learner struggles is situated in a series of misalignments between them and the learning context, akin to how patient care errors may arise from the interface between human and systems failures [35].
예를 들어, 학생이 지식 시험이나 임상실습에 불합격할 때, "특정 시험을 위한 수업"과 같은 손쉬운 해결책을 가지고, 이것을 고립된 사건으로 취급하는 것은 거의 도움이 되지 않는다[7, 17, 36]. 교정조치는 development나 alignment의 부적응maldaptive 패턴을 감지하기 위한 분석에 기초할 때 가장 성공적이다. 교정조치는 대체로 개별 학습자에게 초점을 맞추지만, 이상적으로는 프로그램에 피드백을 주어야 하며, (궁극적으로 프로그램을 개선하여) 더 많은 학습자에게 이익이 되는 조정으로 이어져야 한다.
For example, when a student fails a knowledge exam or a clerkship, it is rarely helpful to treat it as an isolated event addressed by a quick fix, such as teaching to a specific exam [7, 17, 36]. Remediation is most successful when based on an analysis to detect patterns of maladaptive development or alignment. Though remediation work typically focuses on the individual learner, it should also ideally feed back to the program and lead to adjustments that ultimately benefit a larger group of learners.
가이드라인 1. 학습자가 일반적으로 교정조치가 필요하다는 것을 전체 의료 교육 커뮤니티에 광고하십시오. 이 정보는 모든 학습자에게 제공되며 제공됨(임시적)
Guideline 1. Do advertise to the entire medical education community that learners commonly need remediation, which is resourced and available to all learners (tentative)
[교정조치에 대한 예측 가능한 필요성을 개방적으로 인정하는지, 의료교육에서 교정조치의 낙인을 찍는지, 적절하게 자원을 조달하는지의 여부]는 해당 기관의 문화를 반영한다[37]. 의료 교육 프로그램은 전통적으로 교육에 대한 deficit에 기초한 접근방식을 사용해 왔으며, 그 결과 학습자는 부정적인 꼬리표를 피하기 위해 더 깊은 이해보다는 표면 성과에 초점을 맞추도록 유도되었다[38].
Whether or not an institution openly acknowledges the predictable need for remediation and works to destigmatize and adequately resource remediation in medical education is a reflection of the culture of that institution [37]. Medical education programs have traditionally used deficit-based approaches to education, which can encourage learners to focus on surface performance rather than deeper understanding to avoid negative labels [38].
보다 최근에는 프로그램들이 역량 기반 접근법의 채택을 증가시켰는데, 이 접근방식은 훈련에 소요되는 시간을 강조하지 않고, 역량 획득의 개발적, 어쩌면 시간적으로 변동할 수 있는 성격을 강조한다[39]. 이 모델에서, 대부분의 학생들은 한두 번의 지원은 필요할 수 있다.
More recently, programs have increased adoption of competency-based approaches, which de-emphasize time spent in training and emphasize the developmental, possibly time-variable, nature of the acquisition of capacities [39]. In this model, many, if not most, students might need support at one time or another [27].
실제로, 우리는 현 시대에 모든 의료 전문가들이 필요로 하는 적응력을 개발하기 위해 학습, 자기 계발, 개인 개발, 복원력 구축 및 피드백으로 실천할 수 있는 기회로서 교정조치의 명시적 재구성을 지지하고 있다[27, 40, 41]. 이 목표는 프로그램 리더쉽과 교수진들이 실질적인 방법으로 이 접근법을 구현할 것을 요구한다. 학습자와 ‘교육 동맹’이 형성되는 문화를 채택하는 것은, 결손deficit에 기초한 접근보다는, 그 사람에 대한 무조건적인 긍정적 평가가 있는 문화를 채택하는 것은 성장 마인드를 지원할 수 있다[42-44].
Indeed, we advocate explicitly reframing, and thereby destigmatizing, remediation as a special zone of learning, self-improvement, personal development, resilience building, and an opportunity to practise with feedback, all to develop the adaptive capacity needed by all medical professionals in the current era [27, 40, 41]. This goal requires that program leadership and faculty embody this approach in substantial ways. Adopting a culture in which ‘educational alliances’ are formed with learners, where there is unconditional positive regard for the person rather than taking a deficit-based approach, can support a growth mindset [42–44].
제도 기반의 프로그래밍 방식에서는 교정조치가 정상화normalize된다. 예를 들어, 한 학교는 업무의 만족스러운 완료를 요구하는 투명한 학문적 정책을 수립하고 어려움을 겪고 있는 학생들의 조기 식별과 지원을 촉진할 때 자발적인 교정조치에 참여하는 학생들의 비율을 40%에서 거의 70%로 증가시켰다[45]. 따라서 우리는 교육과정에서 학습자가 교정조치 서비스를 필요로 할 수 있다는 기대를 명시적으로 광고하고, 이러한 서비스에 접근하는 방법을 학습자에게 지시할 것을 강력히 권장한다.
An institutionally-based programmatic approach normalizes remediation. For example, one school increased the percentage of students attending voluntary remediation sessions from 40% to nearly 70% when it instituted a transparent academic policy that required satisfactory completion of tasks and facilitated early identification and support of struggling students [45]. Accordingly, we strongly encourage programs to explicitly advertise an expectation that learners may require remediation services and to direct learners on how to access these services.
가이드라인 2. 학습자의 개선을 유도하는 강력한 피드백 문화를 개발하십시오.(중등도)
Guideline 2. Do develop a robust feedback culture that impels learner improvement (moderate)
강력한 피드백 문화의 중요성은 효과적인 교육의 가장 문서화된 측면 중 하나이다 [34, 4648]. 모든 학습자는 면밀한 관찰, 효과적인 피드백 및 지속적인 형태적 평가로부터 이익을 얻는다[34]. 학습자가 현재 진행 중인 피드백 프로세스에 완전하고 능동적으로 몰입하면 이상적인 의료 행위를 특징짓는 평생 학습에 대한 동기 및 참여가 증가한다 [31, 49]. 어떻게 임상 교사들이 학생들에게 피드백을 제공하도록 지원할 것인가는 여러 해 동안 연구 활동의 초점이었다[50, 51]. 불행히도, 학생들은 지속적으로 그들이 받는 피드백에 불만을 보고한다.
The importance of a robust feedback culture is one of the best-documented aspects of effective education [34, 46–48]. All learners benefit from close observation, effective feedback, and ongoing formative assessment [34]. Immersing learners fully and actively in ongoing feedback processes increases their motivation and engagement in the lifelong learning that characterizes ideal medical practice [31, 49]. Identifying how best to support clinical teachers in delivering feedback to students has been a focus of research activity for many years [50, 51]. Unfortunately, students consistently report dissatisfaction with the feedback they receive [52–54].
멀티소스 피드백은 개선을 위한 권고사항의 영향을 강화한다.
Multisource feedback enhances the impact of recommendations for improvement.
신뢰할 수 있고 대화적이며 학습자 중심적이며 투명한 프로그램 피드백 문화를 확립하는 것은 고군분투하는 학습자가 성능 향상을 달성하고 유지하는 데 특히 중요하다. 이렇게 해야, 의료 교육 프로그램의 모든 구성원이 프로그램의 다른 구성원으로부터 피드백을 주고 받을 것을 기대하고 존중하게 된다.
Establishing a trustworthy, dialogic, learner-focused and transparent programmatic feedback culture [56, 57], where all members of the medical education program are trained to give, receive, expect and respect feedback from all other members of the program, is especially important in helping struggling learners attain and maintain performance improvements.
가이드라인 3. 선발 및 평가 시스템을 원하는 결과 및 졸업 성과에 맞춰 조정(강함)
Guideline 3. Do align selection and assessment systems with desired outcomes and graduate qualities (strong)
앞에서 언급한 바와 같이 교정조치는 개별적인 수준에서 개입하는 것 이상을 포함한다. 세계적으로, 전통적으로 의학 교육에 참여하지 않은 그룹들을 통합하는 것에 대한 관심이 증가하고 있으며, 따라서 전문 교육으로 전환하는 데 도움이 필요할 수도 있다. 학생들의 다양성을 증가시키는 것은 ‘알아서 수영하거나 빠져죽거나’가 아닌 의료 교육에서 지원 문화를 보장하기 위해 선발, 평가 및 지원 시스템을 조정할 필요성을 강조해왔다.
As mentioned earlier, remediation involves more than intervening at an individual level. Globally, there is increasing interest in incorporating groups who have not traditionally participated in medical education and therefore may need help transitioning to professional education. Increasing the diversity of students has highlighted the need to align selection, assessment, and support systems, to ensure a culture of support in medical education rather than one of ‘sink or swim.’
선발은 의료 교육에서 첫 번째, 그리고 아마도 가장 중요한 평가다[58]. 필요한 학문적, 대인관계에 기초하여 지원자를 식별할 수 있는 공정하고 정확한 선발 과정을 개발하는 ‘비인지적’ 기준을 마련하는 것은 쉽지 않다[59, 60]. 이는 ‘좋은 의사’의 역량을 정의하고 이를 성과기반 선발절차의 기초로 사용함으로써 가장 잘 달성될 가능성이 높다[61-63].
Selection is the first, and perhaps most important, assessment in medical education [58]. Developing a fair and accurate selection process capable of identifying applicants based on the necessary academic and interpersonal, ‘noncognitive’ criteria is challenging [59, 60]. This is likely best achieved by defining the competencies of a ‘good doctor’ and using them as the basis of an outcome-based selection procedure [61–63].
이후의 모든 평가, 커리큘럼 및 가르침은 높은 수준의 공정성, 신뢰성 및 타당성을 포함해야 하며, 졸업생에게 기대하는 지식, 태도 및 행동과 이상적으로 일치해야 하며, 궁극적으로 실천하는 임상의[64, 65]
All subsequent assessments, curricula and teaching must incorporate high degrees of fairness, reliability, and validity, and should ideally align with the desired knowledge, attitudes, and behaviours expected from graduates, and ultimately practising clinicians [64, 65].
가이드라인 4. 재교육의 필요성을 줄일 수 있는 전략 수립(강함)
Guideline 4. Do construct strategies aimed at averting the need for remediation (strong)
교정조치의 필요성을 잠재적으로 방지할 수 있는 두 가지 특정 전략에 대한 강력한 증거가 있다: 인출 연습과 서포트 그룹.
there is strong evidence for two specific strategies that can potentially prevent the need for remediation: retrieval rehearsal and support groups.
자주 퀴즈를 내거나 리허설을 하면 지식 시험 성적이 향상된다[66, 67]. 한 연구는 광범위한 환경에서 지식을 보유하는 것에 대한 인출 연습을 뒷받침하는 강력한 증거[68-70] 외에, 강의 전후에 객관식 질문을 통해 시험을 치른 레지던트들이 이비인후과학 시험에서 그들의 성과를 향상시켰다는 것을 보여주었다. [71].
Frequent quizzing, or retrieval rehearsal, improves performance on knowledge exams [66, 67]. In addition to strong evidence in support of retrieval rehearsal on the retention of knowledge from a wide range of settings [68–70], one study showed that residents who were tested with multiple choice questions before and after didactic lectures improved their performance on an otolaryngology in-training examination. [71].
암묵적 커리큘럼에 의해 육성된 많은 스트레스 요인은 향후 교정조치의 필요성에 영향을 미칠 수 있다. [특히 성적에 대한 기준과 기대가 주관적이고 자의적이고 기발하게 보이는] 임상실습 환경에서, 학생들은 끊임없이 평가받고 있다고 느끼고 있다고 보고한다[38, 72, 73]. 이러한 스트레스 중 일부를 완화할 수 있는 잠재력이 있는 것으로 보이는 전략은 자기 인식, 자기 관리 및/또는 주의 훈련의 증가를 목표로 하는 세션이 있는 facilitated support group이다[74-76].
Many stressors, particularly those fostered by the implicit curriculum, can influence the need for future remediation. Students report feeling that they are constantly being evaluated, particularly in the setting of clerkships where the criteria and expectations for grades are subjective and appear arbitrary and whimsical [38, 72, 73]. A strategy shown to have potential to alleviate some of that stress is the facilitated support group with sessions aimed at increasing self-awareness, self-care, and/or mindfulness training [74–76].
가이드라인 5 고군분투하는 학습자들 사이의 공통된 패턴을 인식함과 동시에, 고도로 개별화된 재교육 프로세스 운영(중간)
Guideline 5. Do deliver remediation as highly individualized processes while recognizing common patterns across struggling learners(moderate)
학습자마다 어려움은 많은 원인과 징후를 가지고 있기 때문에, (비록 필수적이지만), 단 하나의 프로그램이나 remediator가 효과적인 교정조치를 수행하는 데 필요한 모든 기술을 synthesize할 수는 없다. 따라서 효과적인 교정조치의 책임은 보완적 전문지식과 제도적 역할을 포함하는 팀에 있다. 특정 학습자를 위해 구성된 재교육 팀은 특정 분야(예: 의사소통 기술, 임상 추론), 학습 전문가, 표준화된 환자 트레이너, 정신 건강 전문가, 연설 코치 등 많은 분야에서 심층적인 전문지식을 갖춘 교원으로 구성될 수 있다[77, 78]. 팀 기반 접근방식은 고도로 맞춤화되고 다원화된 교정조치가 가능하여 고군분투하는 학습자가 성공해야 할 수 있다.
Because learner difficulties have a multitude of causes and manifestations, a single course/program director or remediator, while essential to guide and coordinate remediation, cannot adequately synthesize all the skills necessary to conduct impactful remediation. Therefore, the responsibility for effective remediation lies with teams that include complementary expertise and institutional roles. Remediation teams, assembled ad hoc for a particular learner, may comprise faculty with deep expertise in particular areas (e.g., communication skills, clinical reasoning), learning specialists, standardized patient trainers, mental health professionals, public speaking coaches, among many others [77, 78]. The team-based approach can allow for the highly customized, multipronged remediation that struggling learners need to succeed.
그러나 의료 학습자의 고군분투(지침 13 참조)에는 집단으로 효율적으로 대처할 수 있는 몇 가지 공통적인 패턴이 있다. 개별화된 경험과 집단 교정조치 경험은 모든 학생들에게 커리큘럼과 시스템 개선에 활용되어야 한다.
However, there are some common patterns to the struggles of medical learners (see Guideline 13) that can be addressed efficiently in groups. Both individualized and group remediation experience should informcurricular and systems improvements for all students.
가이드라인 6. 충분히 주의하여 교정 정보를 '피드 포워드' (중간)
Guideline 6. Do ‘feed-forward’ remediation information, with an abundance of caution (moderate)
학습자 인계는 때로는 '피드 포워드'라고도 한다. 그러나 후속 과정 감독자나 임상 감독자가 고군분투하는 학습자에 대한 정보를 받는 교정조치 관행의 논란의 여지가 있는 영역이다.
일부 학습자를 포함하는 이 관행의 주요 비판자는 학습자가 부당한 대우를 받는 명시적이든 암시적이든 낙인 및 편견에 시달릴 수 있다는 우려를 우선시한다[79].
반면에, 다른 이들은 정보의 연속성이 부족하면 어려움을 겪고 있는 학생들을 조기에 식별하고 효과적으로 개입할 수 있는 교정자의 능력을 방해한다고 주장한다 [25, 29, 80-83].
Learner handover, sometimes termed ‘feeding forward’, is a controversial area of remediation practice where subsequent course directors or clinical supervisors receive information about struggling learners. The main detractors of this practice, which include some learners, prioritize their concerns that learners may suffer from stigmatization and bias, explicit or implicit, that result in unfair treatment [79]. On the other hand, others argue that lack of continuity of information hinders the early identification of struggling students and the remediators’ ability to intervene effectively [25, 29, 80–83].
학습자 인계에 대한 접근방식은 매우 다양해 보인다. 예를 들어, 미국 학교의 약 절반은 그들이 이 관행을 하고 있다고 주장하며, 많은 학교들은 이 문제에 대한 공식적인 정책이 없다[84]. 학습자 인계에 대한 프라이버시 우려가 제기될 수 있지만, 일부 환경에서는, 교육적 이해관계가 합법적인 대학 관계자들이 명시적인 학생 동의 없이 그러한 활동에 합법적으로 참여할 수 있다[85-87].
The approach to learner handover appears to be highly variable. For example, approximately half of US schools claim that they do (or don’t) engage in the practice, and many schools lack a formal policy on this issue [84]. Though privacy concerns about learner handovers may arise, in some settings, university officials with legitimate educational interests may legally engage in such activities without explicit student consent [85–87].
고군분투하는 학습자를 교육적 목적으로 인계하는 것에 대해서, 잠재적인 해악과 편익에 대한 증거가 있어, 그렇게 하는 것에 대한 판단을 복잡하게 만든다. 대부분 비의료적 환경에서 학습자 인도를 평가하는 최근의 범위 검토에서는 성과에 대한 사전 정보가 후속 등급에 편중되며 부정적인 사전 정보가 긍정적인 사전 정보보다 더 큰 영향을 미칠 수 있다는 일부 증거가 제시된다[88]. 그러나 정보를 공유하기 위해 특정 성능 표준을 사용하면 후속 판단의 편견을 완화할 수 있다[89]. 우리가 확인할 수 있는 한, 교육적인 목적을 위해 고군분투하는 학습자에 대한 정보를 공유하는 것에 반대하는 법적 사례는 미국에서 제기되지 않았다.
There is evidence for both potential harms and benefits of educational handovers about struggling learners, making the judgment about doing so complex. A recent scoping review evaluating learner handovers in a wide variety of mostly nonmedical settings, suggests that prior information about performance biases subsequent ratings, with some evidence that negative prior information may exert a larger effect than positive prior information [88]. However, using specific performance standards to share information may mitigate bias in subsequent judgments [89]. As far as we have been able to ascertain, there has been no legal case raised in the US against sharing information about a struggling learner for educational purposes.
사전 커리큘럼의 프로그램 리더들이 학생에 대한 정보를 후속 모듈 리더에게 전달할 때, 그것은 고군분투하는 학생들을 식별하는 데 도움이 되며, 학생 실패에 대한 책임을 분산시킴으로써 'failure to fail'을 줄이고, 일부 학생에 대한 우려를 감소시키며, 전문성 문제의 탐지를 증가시킨다[24]. 마지막으로, 단순히 위험에 처한 학생에 대한 정보를 공유하는 것(예: 저소득층 배경)은 고군분투하는 학습자에게 더 많은 자원을 제공하고 성적을 향상시켰다[90].
when program leaders of a pre-clerkship curriculum feed-forward information about students to the subsequent module leader, it helps identify struggling students, reduces ‘failure to fail’ by distributing responsibility for failing a student, reduces concerns about some students, and increases the detection of professionalism problems [24]. Finally, simply sharing information about students at risk (e.g. from low-income backgrounds) resulted in more resources for struggling learners and improved grades [90].
의료전문직의 사회적 계약에 따르자면, 우리는 학습자 인계는 대부분의 경우 정당화될 수 있는 관행이라고 믿는다. 따라서 우리는 프로그램이 이러한 관행을 다음과 같은 강력한 경고와 함께 공식적으로 제도화할 것을 권고한다.
학생의 지식에 대해서 인계하는 것이며, 사생활에 대해서 민감성을 갖는다.
효과적인 교정조치 전략으로 이어질 가능성이 높은 특정 성능 표준에 근거한 low-inference 정보로 구성된다.
교정조치 목표를 지원할 수 있는 다른 교직원들과만 공유한다(지침 24 참조).
We believe that the learner handover is a practice which is in most cases justified by our profession’s social contract. We therefore recommend that programs formally institutionalize this practice with strong caveats: that it occurs with the student’s knowledge and sensitivity to the student’s privacy, consists of low-inference information based in specific performance standards that are likely to lead to an effective remediation strategy, and is shared only with other members of the faculty who can support the remediation goals (see Guideline 24).
가이드라인 7. 최전선 교육자에 대한 교수진 개발 및 가시적 지원 제공, 고군분투하는 학습자의 조기 식별, 효과적인 개입 및 적절한 의뢰 (임시적)
Guideline 7. Do provide faculty development and tangible support for frontline educators in early identification of, effective interventions for, and appropriate referral of struggling learners (tentative)
교수 remediator들은 일반적으로 교정조치 수행 능력에 대한 신뢰도가 낮다[91]. 특히 전문직업성에 대한 교정에 대해 그렇다[92]. 많은 교수진들은 무엇이 허용되고 무엇이 표준에 부합되지 않는지 확인하는 데 대해 확신하지 못하는 반면, 더 경험이 많은 교수진들은 더 효과적으로 교정할 수 있을 것이다 [93, 94].
Faculty remediators generally have low confidence in their ability to conduct remediation [91], particularly in professionalism[92]. Many faculty are unsure about identifying what is permissible and what does not meet the standard [22],while more experienced faculty likely remediate more effectively [93, 94].
교정조치는 대부분의 교직원에게 할당되거나, 교수들이 예상하는 것보다 훨씬 더 많은 시간, 전문지식 및 자원을 필요로 한다[95, 96]. 한 연구는 효율성과 조직력을 다루는 데 필요한 교수 시간의 수를 고군분투하는 거주자당 25-75시간으로 정했다[13]. 우리는 교정조치 참여가 자발적으로만 이루어질 수 없으며, 적절한 보수를 받는 고도로 숙련된 사람들에 의해 이루어져야 한다고 믿는다.
Remediation requires much more time, expertise and resources than most faculty allocate or expect [95, 96]. One study placed the number of faculty hours needed to address efficiency and organizational skills at 25–75hours per struggling resident [13]. We believe that remediation cannot be done solely on a voluntary basis and should be done by highly experienced people who are remunerated adequately.
교정조치와 관련한 교수개발은 개별적으로 그리고 제도적으로 초점을 맞춘 역량 구축 프로세스를 필요로 한다. 교정 작업에 특정한 역량, 교사 속성, 학습 이론 및 교육 전략의 집합이 제안되었다[97]. 교정 작업에 특정한 역량, 교사 속성, 학습 이론 및 교육 전략의 집합이 제안되었다[97]. 특히, 효과적인 교직원 교정자들은 다음을 할 수 있어야 한다.
모든 역량에 걸쳐 학습자의 성과를 판단한다.
촉진 기술을 개발한다.
효과적인 교정 작업에 부합하는 정서지능, 용기 및 태도를 배양한다.
우리는 특정 영역의 전문성 개발을 위하여, 선택적이고 의욕적인 교육자들의 실천공동체를 육성하기 위한 프로그램을 추천한다.
Faculty development for remediation requires both individually and institutionally focused capacity building processes. A set of specific competencies, attributes of teachers, theories of learning, and teaching strategies specific to remediation work have been proposed [97]. In particular, effective faculty remediators must be able to
judge the performance of medical learners across a full range of competencies,
develop facilitation skills, and
cultivate emotional intelligence, courage, and attitudes consistent with effective remediation work.
We recommend programs to build faculty development processes that nurture a community of practice of select, highly motivated educators that develop specialized domains of expertise.
가이드라인 8. [교정 프로세스를 수행하는 개인]과 [교정 결과를 결정하는 개인]을 분리한다.(임시적)
Guideline 8. Do separate the individuals conducting the remediation process from those who determine the outcome of remediation (tentative)
의학 교육에서 진급이나 제적 판단은 복잡하고 매우 중요한 것이다. 이상적으로, 경험 있는 교직원은 명시된 기대치에 대해 학습자의 성과를 신중하게 검토한 후 이러한 결정을 냉정하게 한다. 항상, 가용한 데이터에 상당한 불확실성이 존재한다.
Medical education promotion or dismissal judgments are complex and highly consequential. Ideally, experienced faculty make these decisions dispassionately, after careful contextual review of the learner’s performance against stated expectations. Invariably, significant uncertainty exists in the available data.
재교육자는 신뢰, 기밀성 및 경계 제한을 확립하기 위해 고군분투하는 학습자와 개인적으로 협력해야 한다[37, 41]. 따라서 본질적인 이해 상충을 피하고 방어 가능한 판단을 하기 위해, 연습생과 친밀한 교정조치를 수행하는 사람들은 최종 판결 결정을 내리는 동일한 사람이 되어서는 안 된다[37, 98]. 그러나 필요한 경험을 가진 교직원이 거의 없는 작은 기관에서는 난관이 될 수 있다.
Remediators must personally engage with the struggling learner in order to establish trust, confidentiality, and boundary limits [37, 41]. Therefore, to avoid inherent conflicts of interest and make defensible judgments, those conducting the intimate remediation with the trainee must not be the same people who make the final adjudication decisions [37, 98]. This can be a challenge in small programs with few faculty members with the necessary experience.
가이드라인 9. 적절한 과정을 보장하고, 개별 학생의 투쟁에 대한 공감을 사회에 대한 의료진의 책임과 균형을 유지하십시오(중등도).
Guideline 9. Do ensure due process, balancing empathy for individual students’ struggles with the medical profession’s responsibility to society (moderate)
학습자, 특히 도움을 가장 필요로 하는 일부 학습자들은 일반적으로 자신을 노출하는 것을 좋아하지 않으며 아마도 부당하게 'struggling'으로 분류되는 것을 두려워할 수 있다. 당황한 학습자들에게는, 개인의 프라이버시가 보호된다는 것을 아는 것이 도움이 될 수 있다[6, 83, 99]. 과정은 공정하고 기밀이어야 하며 학습자가 가능한 한 프로세스와 해고를 포함한 잠재적 결과에 대해 잘 알고 있어야 한다는 점에서 정보에 입각한 동의를 포함해야 한다.
Learners, particularly some who most need help, commonly do not like to expose themselves and may fear they have been labelled, perhaps unfairly, as ‘struggling’. It can be helpful for the embarrassed learner to know that any individual’s privacy will be protected [6, 83, 99]. The process must be fair and confidential and include informed consent, in that the learner should know as much about the processes and potential outcomes, including dismissal, as possible.
제도적 정책은 다음을 뒷받침해야 한다.
의사 결정과 교정조치의 이유를 기술하는 팀 구성원 간의 신중한 문서화 및 커뮤니케이션
또한 개별화된 교정조치 계획(목표, 교육 전략 및 평가 포함)과 진행될 일의 순서
각 교정조치 영역, 보고 구조, 시간 프레임 및 의사결정을 책임지는 사람[22].
Institutional policies must support
careful documentation and communication among team members delineating the decision and the reasons for remediation,
a written individualized remediation plan (with goals, instructional strategies, and assessments) as well as the sequence of events, and
who is responsible for each remediation area, reporting structure, time frame, and decision making [22].
Supporting data가 핵심이다. 여기에는 개입 계획 및 학습 계약, 관찰된 결과 및 학습자 및 동료와의 지속적인 토론 요약을 포함한다[37]. 개별 연습생에게 공정한 과정을 보장해야 할 책임이 있지만, 의료 교육이 유능한 의사를 배출하는 사회와의 계약을 이행하는 것도 마찬가지로 중요하다[37, 98].
Supporting data are key, including the intervention plan and learning contract, observed outcomes, and ongoing summaries of discussions with learners and colleagues [37]. While there is a responsibility to ensure fair process for the individual trainee, it is equally important that medical education fulfils its contract with society to produce competent physicians [37, 98].
가이드라인 10. 의료 교육을 선택하지 않거나 완료할 수 없는 자에 대한 동정적 대안 경로를 만들 것(임시적)
Guideline 10. Do create compassionate alternative pathways for those who do not choose to or cannot complete medical training (tentative)
대부분의 학생들이 입학한 모든 학습자가 자신이 시작한 보건 전문 프로그램을 졸업할 수 있거나 졸업해야 하는 것은 아니라는 것에 동의하지만, 이러한 학습이 교정조치 정책 및 관행에 어떻게 영향을 주고 어떻게 영향을 미치는지에 있어 지역적 차이가 크다.
While most would agree that not every learner who is admitted can, or should, graduate from the health profession program they start, there is great regional variation in how this manifests and impacts remediation policy and practice.
대체 진로에 대한 실행 가능한 옵션에 대한 카운셀링을 개발하여 모든 의료 훈련생이 이용할 수 있도록 해야 한다. [의과대학에 입학하는 많은 사람들이 졸업을 하지 못하는 나라에서 행해지는 대체 경로에 대한 연구]는 다른 나라에도 정책개발에 도움이 될 것이다[100, 101].
Counselling on viable options for alternative career paths must be developed and made available to all medical trainees. Studies of alternate pathways taken in countries where many who enter medical school do not finish would inform the development of such policies elsewhere [100, 101].
제2부. 재교육 적용 프로세스
Part II. The remediation process
위의 시스템 수준 지침은 매우 중요하지만, 궁극적으로 교정조치 프로세스는 어려움을 겪고 있는 특정 학습자의 요구에 따라 매우 개별화된다. 재교육이 효과적이려면
학습자를 식별해야 한다.
문제 영역이 명확해야 한다
근본적인 원인 또는 설명을 탐구하고 이해해야 한다
유연한 교정조치 개입을 만들고 시행해야 한다.
진척도를 평가해야 한다.
While the systems-level guidelines above are critically important, ultimately the remediation process is highly individualized to the needs of the particular struggling learner. For remediation to be effective,
the learner must be identified;
the areas of struggle clarified;
underlying causes or explanations explored and understood [18];
a flexible remediation intervention crafted [3, 90, 102, 103] and implemented; and
progress assessed.
교정조치에 대한 책임은 과목 책임교수나 또는 프로그램 책임자에게서 시작한다. 설명과 개입의 작업은 대부분 remediator-learner dyad 내에서 수행된다. 마지막으로, 책임은 과정 또는 프로그램 책임자에게 돌아가 결과를 평가한다. 궁극적으로는 처분 판단이 필요하다(지침 8 참조).
Responsibility for remediation starts with course or program directors. The work of the clarification and intervention is mostly conducted within the remediator-struggling learner dyad. Finally, the responsibility returns to course or program directors for assessment of outcome. Ultimately a disposition judgment needs to be made (see Guideline 8).
뛰어난 교정조치 대응의 중심 요소는 숙련된 피드백을 통해 결함을 직접 해결하는 적절하고 달성 가능한 개입 또는 학습 계획의 수립이다[34]. 이것은 종종 임상 환경에서는 직접 관찰에 기초한다[104]. 그러나 어려움을 겪고 있는 개별 학습자를 위한 교정조치 계획은 결코 그것만 혼자서 존재하지 않는다. 앞서 언급한 바와 같이 교정조치는 교육과정의 다른 학생들에게도 정서적 영향과 자원적 비용을 유발한다.
The centrepiece of excellent remediation responses is establishment of an appropriate, achievable intervention or learning plan that directly addresses the deficiencies via skilled feedback [34], often based on direct observation in clinical settings [104]. However, remediation plans for individual struggling learners never exist in isolation. As previously mentioned, remediation exerts emotional impacts on and resource costs to other individuals in the program.
예를 들어, 한 학습자에 대한 교정조치 개입은 특히 고군분투하는 학습자의 교정조치 활동에 필요한 시간을 충당하기 위해 추가 의무를 부과해야 하는 경우에, 동료들에 의해 부당한 특별 대우로 인식될 수 있다. 우리는 프로그램 리더쉽이 고군분투하는 학습자의 프라이버시에 대한 존중을 유지하면서, 또래들에게 명확하고, 지지적이며, 공감할 수 있는 예상 지침을 제공할 것을 권고한다.
For example, remediation interventions for one learner may be perceived by peers as unfair special treatment, especially if it requires those peers to assume extra duties to cover the time needed for the struggling learner’s remediation activities. We recommend that program leadership provides clear, supportive, empathic anticipatory guidance to peers of struggling learners, while maintaining respect for the remediating learner’s privacy.
가이드라인 11. 재교육 적용의 필요성을 조기에 감지(중등도)
Guideline 11. Do aim to detect a need for remediation early (moderate)
많은 역량 영역에서, 어려움을 겪고 있는 학습자의 조기 식별은 교정조치의 성공을 극대화할 수 있다. 지식 결핍의 경우, 의과대학의 전임상실습 단계의 어떤 평가이든, struggle한 경우는 나중의 저조한 성과를 예측한다 [22, 105-107].
Early identification of learners who struggle in many competency areas can maximize the success of remediation interventions. For knowledge deficits, early struggle on any assessment in the pre-clerkship phase of medical school predicts later underperformance [22, 105–107].
영국의 한 의과대학에서 고군분투하는 학생들에 대한 분석은 시험 수행, 비전문적 행동, 건강 문제, 사회 문제 및 필요한 예방접종을 놓치는 것을 포함한 예측 변수의 조합이 전임상실습 단계에서 교정조치의 필요성을 증가시킬 수 있다고 제안했다[108]. 또 다른 영국의 의과대학에서는, 의과대학 시작 후 4, 7, 12개월에 고생하는 전임상 학생들의 조기 식별이 일어났을 때, 과거 통제와 비교해서 더 많은 학생들이 지원 서비스에 참여했고, 일대일 교정 서비스에 종사하는 학생들은 점원 전 연구를 성공적으로 완료할 가능성이 더 높았다[45].
Analysis of struggling students at one UK medical school suggested that a combination of predictors, including performance on examinations, unprofessional behaviour, health problems, social problems, and missed required vaccinations, may augur the need for remediation in the pre-clerkship phase [108]. At another UK medical school, when early identification of struggling preclerkship students occurred at 4, 7, and 12 months after starting, more students participated in supportive services, compared with historical controls, and those engaging in one-on-one remediation services were more likely to successfully complete pre-clerkship studies [45].
임상실습시기에 고군분투하는 학생들을 조기에 식별하는 데 영향을 미치는 매개변수를 규정하는 문헌도 있다. 전임상시기의 지식과 초기 임상 수행능력은 영국[97], 네덜란드[105] 및 아랍에미리트[109]의 의료 학교에서 worplace 기분 임상 성과를 예측한다. 낮은 임상실습 점수와 의사소통 기술 또는 전문성에 대한 학생의 발전 부족은 foundational clekrship 종료 시 주어지는 높은 수준의 임상 기술 검사의 환자-공급자 상호작용 부분의 실패를 예측한다[110]. 재교육에 refer된 학생들은 인턴쉽에서 낮은 점수를 받을 가능성이 높았고 USMLE 3단계 [111]에 불합격할 가능성이 더 높았다. 게라시오는 이전에 대인관계 기술 결손이 확인된 3명의 의대생들이 어떤 레지던트 프로그램과 일치하지 않았기 때문에 그들의 의료 훈련을 계속할 수 없었다고 보고했다[3].
There is some literature that defines parameters that influence early identification of struggling students in clerkships. Pre-clerkship knowledge and early clinical performance predict workplace-based clinical performance in medical schools in the UK [97], the Netherlands [105],and United Arab Emirates[109]. Low clerkship ratings and lack of student progress on communication skills or professionalism concerns predict failure on the patient-provider interaction portion of a high-stakes clinical skills examination given at the end of foundational clerkships [110]. Students referred for remediation after their internal medicine clerkship were more likely to receive poor ratings in internship and fail USMLE Step 3 [111]. Guerrasio reported that three medical students with previously identified interpersonal skills deficits did not match into any residency program and therefore could not continue their medical training [3].
프로페셔널리즘의 실수는 의과대학에서 미래에 발생할 struggle을 예측하며, 아마도 실제로는 그 이상일 것이다. Papadakis [112]는 의대 첫 2년 동안 낮은 MCAT 점수(예전 의대)와 낮은 성적은 후속 징계 조치의 7%의 위험을 수반하지만, 같은 기간의 비전문적 행동의 식별은 이 위험을 26%로 증가시킨다는 것을 보여주었다. [전임상실습 교육과정에서는 3회 이상의 출석 요구 세션의 무단결근 및 부정적 동료 평가]와 [임상실습 기간의 비전문적 행위]와 관련이 있다[113].
Professionalism lapses predict future struggles in medical school and probably much more. Papadakis [112] showed that while low MCAT scores (pre-medical school) and low grades during the first 2 years of medical school carry a 7% risk of subsequent disciplinary action as practising physicians, identification of unprofessional behaviour in that same period increases this risk to 26%. In a pre-clerkship curriculum, three or more unexcused absences from attendance required sessions and negative peer assessment correlate with unprofessional conduct during clinical years [113].
성격 척도는 학업적 struggle을 예측할 수 있는 힘이 거의 없는 것처럼 보이지만 [114, 115] 행동과 성격 사이에는 연관성이 있을 수 있다. 의과 대학 시절 비전문적 행동을 보인 의사는 캘리포니아 심리학 자료의 6가지 척도 중 4가지에서 낮은 점수를 받았다[116]. 마지막으로, 불충분한 전문직업성은 임상 기반 학습자나 개업의가 미국 한 기관의 공식적인 보호 관찰 상태에 배치되는 통계적으로 중요한 예측 변수였다[3].
While personality measures seem to have little power to predict academic struggles [114, 115], there may be an association between behaviour and personality. Physicians who demonstrated unprofessional behaviour during medical school scored lower on four out of six scales of the California Psychological Inventory [116]. Finally, poor professionalism was the only statistically significant predictor for placement of clinically-based learners or practitioners on official probationary status at one US institution [3].
이러한 영역에서 성능이 떨어지는 학습자에게 조기에 개입하기 위하여, 그리고 학습자를 'struggling'이라고 조기 낙인찍을 때 나타날 수 있는 부정적인 결과를 완화하기 위해 최선의 접근법을 식별하기 위해서는 더 많은 연구가 필요하다(가이드라인 25).
However, more work must identify the best approaches to intervene early with underperforming learners in these domains and to mitigate the potential negative consequences of early labelling of a learner as ‘struggling’. (Guideline 25).
가이드라인 12. 사례 컨텐츠 전반에 걸쳐 여러 소스에서 관련 데이터를 수집하십시오(강함).
Guideline 12. Do collect relevant data from multiple sources across case content (strong)
이상적으로, 다중 소스 피드백은 단일 관측 도구 또는 비공식 작업 공간 기반 관찰보다 정확한 식별과 효과적인 교정조치가 용이하다[117]. 그러나 [복수의 증거를 축적하기 위해 기다리는 것]은 [고군분투하는 학습자의 식별 지연의 위험]과 균형을 이루어야 한다. 일단 고군분투하는 학습자가, 대개 객관적인 측정(예: 불합격 시험)의 결과로 확인되거나, 학습자가 예상된 능력을 입증하지 못하고 있다는 임상 교사의 우려가 확인되면, 추가 성과 데이터를 검토하는 것이 필수적이다.
Ideally, multisource feedback facilitates accurate identification and effective remediation more than a single-rater tool or informal workplace-based observation [117]. However, waiting to accumulate multiple pieces of evidence must be balanced against the risk of delayed identification of the struggling learner. Once a struggling learner is identified, usually as a result of an objective measure (for example, a failed exam) or a clinical teacher’s concern that a learner is not demonstrating the expected competency, it is imperative to review additional performance data.
이 검토는 암묵적 편견의 잠재력에 대한 인식을 갖고 수행되어야 하며 [118] 임상 역량이 사례 특이성에 의해 크게 영향을 받으므로 단일 사례에 기초하여 결정되어서는 안 된다는 사실[119] 따라서 가능한 경우 하나 이상의 임상 영역에 걸쳐 둘 이상의 상황(예: 병원, 보행 클리닉)에서 복수의 직접 관찰을 권고한다. 그것은 또한 교정자가 퍼포먼스 패턴을 평가하기 위해 학습자의 학업 기록에 접근할 수 있는 경우에 도움이 될 수 있다.
This review must be done with awareness of potential of implicit bias [118]and the fact that clinical competence is greatly impacted by case specificity and should therefore not be determined based on a single case [119]. Accordingly, when possible, we recommend multiple direct observations in more than one context (e.g. hospital, ambulatory clinic) across more than one clinical domain. It can also help if remediators have access to the academic records of the learner in order to assess for performance patterns.
가이드라인 13. 교육 또는 직장 문제를 넘어서는 학습자 struggle의 여러 가지 원인을 탐구하십시오(강함).
Guideline 13. Do explore multiple causes of learner struggle beyond educational or workplace issues (strong)
비학업적 요인들은 일반적으로 학문적 struggle에 기여하거나 그 결과로서 나타난다. 여기에는 신체적(신규 의학 조건) 및 정신 건강 문제(정신적 질환, 성격 장애, 약물 남용 포함)와 이전에 진단되지 않은 학습 장애가 포함된다[78, 108]. 분명히, 젊은 성인들은 의료 훈련의 중요한 변종과 제약에 대처하는 법을 배우면서 가족과 재정적인 문제를 다루기, 문화와 공동체의 기대를 탐색하기, 계층 구조, 그리고 모든 것을 포함한 다른 스트레스 요인들을 경험할 위험에 처해 있다. 특히, 후배 의료 학습자들은 혼란스럽고 잘 조직되지 않은 의료 제공 시스템으로 자신의 고통과 좌절감을 관리하고, 잘 인식되거나 이해되지 않는 학습 환경[120], 윤리적 딜레마와의 인지 불협화음 [121, 122] 및 열악한 롤모델링 [94]에 적응해야 한다. 또한 여러 도메인에 걸친 평가를 통해서 기술 부족과 심각성 문제 사이에 overlap이 있는지 결정할 수 있다 [123]. 스트레스에 대한 반응은 적응적이거나 부적응적일 수 있기 때문에 [124, 125] 이러한 스트레스 요인에 직면하는 일부 학습자만이 학문적 struggle에 빠지게 된다.
It is common that non-academic factors contribute to or are a consequence of academic struggles. These include physical (new-onset medical conditions) and mental health issues (including psychiatric illness, personality disorders, substance abuse) and previously undiagnosed learning disabilities [78, 108]. Obviously, young adults are at risk of experiencing other stressors including juggling family and financial challenges, navigating cultural and community expectations, dealing with hierarchy, all the while learning to deal with the significant strains and constraints of medical training. In particular, junior medical learners must learn to manage their distress about and frustration with a chaotic and poorly organized healthcare delivery system and adjust to poorly perceived or understood learning environments [120], cognitive dissonance with ethical dilemmas [121, 122] and poor role modelling [94]. Assessment across multiple domains can also determine the overlap between skill deficits and attitudinal problems [123]. Because responses to stress can be adaptive or maladaptive [124, 125], only some learners facing these stressors may present with academic struggles.
국제 의료 졸업생, URM 훈련생, 기존에 fail을 경험한 연습생은 교정조치가 필요한 것으로 식별될 가능성이 더 높다[126]. 의학적으로 잘 표현되지 않은 소수 집단 학생들은 차별의 결과로 인한 스트레스의 위험에 처할 가능성이 있다. 의학의 저조한 소수민족 학생들은 불쾌하거나 해로운 심리적인 영향을 초래하는 명백한 차별뿐만 아니라 미미한 범죄의 정기적인 경험을 보고한다 [127 비백인 후보자들은 영국의 백인 후보들에 관해 충분히 수행하지 못했다[128]. 미국에서는 나이가 많거나, 아이를 갖거나, 미국 원주민이나 태평양 섬사람으로 자칭하는 의대생들이 중퇴하는 ‘serious thought’를 더 자주 한다. 이러한 집단들은 또한 중요한 정신사회적 스트레스 요인이 있는 학문적 문제의 더 큰 위험에 처해 있다[129]. 유사한 패턴은 다른 맥락에서 볼 수 있다[130].
International medical graduates, underrepresented minority trainees, older trainees, and trainees with prior failures are more likely to be identified as needing remediation [126]. Students from underrepresented minority groups in medicine are potentially at risk of stress from the consequences of discrimination. Underrepresented minority students in medicine report regular experiences of microaggressions as well as overt discrimination leading to unpleasant or harmful psychological impact [127]. Non-white candidates underperformed with respect to white candidates in the UK [128]. In the US, medical students who are older, have a child, or self-identify as Native American or Pacific Islander have more frequent ‘serious thoughts’ of dropping out. These groups are also at greater risk of academic problems with significant psychosocial stressors [129]. Similar patterns are seen in other contexts [130].
실제 능력과 무관하게, URM 학습자들은, 그들이 일반적으로 가지고 있는 부정적인 고정관념을 확인하는 것에 대해 불안해 할 때, 학업적 환경에서 저조한 성적을 낼 위험이 있다. 고정관념적 위협[131]이라고 불리는 이 현상이 의학 교육에서 작용한다는 것은 우리의 경험이었다. 고군분투하는 학습자 문제를 해결하기 위한 전략의 사전 검토에서, Steinert는 이 역동성에 대해 명시적으로 '누가 문제인가?'라고 질문한다[18]. 다양한 시스템 수준과 대인관계 개입은 고정관념을 부주의하게 강화하지 않기 위해 이러한 동적 평가와 구조 조정 평가에 대한 인식을 높이는 것을 포함하여 고정관념 위협의 영향을 감소시킨다. 사회, 제도 및 대인관계 개입이 차별을 감소시킬 때까지 교정자들은 이러한 역학 관계를 계속 알고 있어야 하며, 학생에 대한 지지도를 포함하여 성능 저하의 중요한 근본 원인을 다루는 교정조치 전략을 설계해야 한다[132].
Independent of actual ability, underrepresented minority learners are at additional risk of underperforming in academic settings when they become anxious about confirming commonly held negative stereotypes about them. It has been our experience that this phenomenon, called stereotype threat [131], is operative in medical education. In a prior review of strategies for addressing struggling learners, Steinert speaks to this dynamic by explicitly asking, ‘whose problem is it?’ [18]. A range of systems-level and interpersonal interventions reduce the impact of stereotype threat, including raising awareness of this dynamic and restructuring assessments to avoid inadvertently reinforcing stereotypes. Until societal, institutional, and interpersonal interventions reduce discrimination, remediators must remain aware of these dynamics and design remediation strategies which address the critical underlying causes of underperformance [132], including advocacy for a student.
가이드라인 14. 고군분투하는 학습자에게 선제적으로 개입 - 그들의 이니셔티브에 의존하지 않다(강함)
Guideline 14. Do intervene proactively with struggling learners—do not rely on their initiative (strong)
고군분투하는 학습자가 식별되는 경우에도 조기 개입이 뒤따르지 않을 수 있다 [118]. 학습자가 자신을 과대평가하는 경향이 있어서, 자기 평가가 부정확하다[99, 133]. 특히 교정조치 프로그램에서, 고군분투하는 학습자의 약 7%만이 정확하게 재교육 프로그램에 self-refer했다. 정작 프로그램에 참여한 대다수 학생은 성과에 대한 만성적인 불안감을 가진 성취도가 높은 사람이었다[3]. 학업적으로 약한 학생과 피로를 겪는 학생들은 도움을 구하지 않는 경향이 있기 때문에 [129, 134] 시스템은 이러한 학습자를 식별하고 지원하기 위해 최선을 다해야 하며, 프로그램은 고군분투하는 학습자를 교정조치에 강제할 수 있는 역량, 지원 및 의지를 가지고 있어야 한다[6]. 교정조치에 동의하는 학생들은 거부하는 학생들에 비해서, 장기간에 걸쳐 시험성적을 개선한다는 것을 보여준다 [135].
Even when the struggling learner is identified, early intervention may not follow [118]. Weaker learners inaccurately self-assess, tending to overrate themselves [99, 133]. In remediation programs specifically, only about 7% of struggling learners accurately self-referred to one guidance program; the majority of people in the program were high achievers with chronic anxiety about performance [3]. Academically weaker students and those suffering burnout tend to avoid seeking assistance [129, 134], so the system must do its best to identify and support these learners and the program must have the capacity, support, and willingness to compel struggling learners into remediation [6]. Students who accept remediation demonstrate longer-term improvement in test-taking than those who decline [135].
가이드라인 15. 문제 해결을 위한 연습생에게 집중적인 종단적 튜터링을 실시하도록 함. 연구 기술, 협력적으로 설계된 계획, 빈번한 고품질 피드백 및 개별화된 평가에 중점을 둠(강함)
Guideline 15. Do have trainees in remediation undergo intensive, longitudinal tutoring with emphasis on study skills, collaboratively designed plans, frequent high-quality feedback, and individualized assessment (strong)
대부분의 교정 대상 학생들은 여러 가지 어려움을 겪기 때문에 일반적으로 ‘시험에서 성적을 잘 받게 하기 위한 수업’과 같은 제한된 개입에 응답하지 않는다[3, 7]. 성공적인 개입은 [콘텐츠 개발]과 [자기조절 학습 전략]을 결합하는 전체적인 접근방식에 의존한다. 구체적으로는 그러한 전략은 학습의 인지적 영역과 영향력 있는 영역을 모두 대상으로 하며, 예로서 관련 학술적 내용을 이용한 연구 능력에 초점을 맞춘다[6, 7, 105, 136-138].
Most remediating students have multiple challenges and therefore generally do not respond to limited interventions, such as ‘teaching to the test’ [3, 7]. Successful interventions rely on a holistic approach that combines content development and improving self-regulated learning strategies. Specifically, such strategies target both cognitive and affective domains of learning, and focus on study skills using relevant academic content as exemplars [6, 7, 105, 136–138].
이러한 성공적인 프로그램의 일반적인 특징 중 하나는 목표의 진척과 성취도를 평가하기 위해 미리 계획된 정기 회의이다. 이 때 고품질의 피드백과 평가를 통해 중간에 과정을 수정할 필요가 있는지 결정하고, 허용 가능한 수준으로 개선이 없을 경우 어떤 결과가 따르는지 설명한다[6, 139, 140]. 의료지식 교정조치의 경우, 진행 중인 소규모 그룹 작업은 하나의 주제 또는 유형의 문제에만 초점을 맞추지 않고, 특정 스터디 세션에서 내용과 유형의 문제를 혼합하는 등의 증거 기반 전략을 사용하여 학습자의 학습 능력을 향상시킬 수 있다(‘지침 4’;[68]),설명하기, 그리고 학생들에게 그들 자신의 객관식 질문을 쓰도록 한다 [6, 7, 105, 137].
One common hallmark of these successful programs incorporates regular pre-arranged meetings to assess progress and achievement of goals, with high-quality feedback and assessments determining the need for mid-course corrections and/or consequences in the absence of acceptable improvement [6, 139, 140]. For medical knowledge remediation, ongoing regular facilitated small group work can enhance learners’ study skills using evidence-based strategies, such as retrieval rehearsal (Guideline 4), mixing content and types of problems in a given study session rather than focusing only on one subject or type of problem (‘interleaved practice’;[68]), generating explanations, and having students write their own multiple-choice questions [6, 7, 105, 137].
데이터에 따르면 종단적 개입 및 후속 조치가 효과적이다. 비의료 환경에서 효과적인 프로그램은 최소 12개의 세션을 포함한다[139]. 임상실습 전 교정조치 개입에서 Winston [6]은 최대 2년간 성공을 보장하기 위해 전체 학기 출석을 의무화할 수 있는 충분한 dose effect를 발견했다. 15개 이상의 세션에 참여한 경우, 10개 이하의 세션만 참여한 경우에 비해서 장기 합격률을 두 배로 높였으며, 이는 다른 관련 연구와 일치하는 통계적으로 유의한 결과였다[30, 104, 107, 1개].37]. 교정조치의 더 긴 지속시간과 더불어 장기 추적은 최적의 결과를 도출한다[141, 142] (지침 18 참조).
Data support the benefits of longitudinal intervention and follow-up. In non-medical settings, effective programs encompassed at least 12 sessions [139]. In pre-clerkship remediation interventions, Winston [6] found a strong enough dose effect to mandate attendance for a full semester in order to ensure success for up to 2 years: 15 or more sessions doubled the long-term pass rates over 10 or fewer sessions, a statistically significant finding consistent with other relevant studies [30, 104, 107, 137]. In addition to longer duration of remediation, longer-term follow-up leads to optimal outcomes [141, 142] (see also Guideline 18).
마지막으로, 어려움을 겪고 있는 학습자들과의 교직원의 대면 시간이 증가함에 따라 보호관찰의 확률은 시간당 3.1%, 모든 부정적인 결과는 시간당 2.6% 감소하였다[3]. 물론, 실용적 이유로 교정자는 예상 개선을 위한 시간대를 지정해야 한다[94]. 우리는 시간이 교정조치의 품질의 유일한 구성요소가 아니라는 점을 강조한다(지침 26 참조).
Finally, increased faculty face time with struggling learners decreased the probability of probation (referral to administrative leadership due to unsuccessful remediation) by 3.1%per hour spent, and of all negative outcomes, by 2.6%per hour [3]. Of course, for pragmatic reasons, remediators must specify a time frame for expected improvement [94]. We emphasize that time is not the only component of worth—quality of the remediation interventions matters (see Guideline 26).
가이드라인 16. 자기조절학습에 대한 기술 평가 및 개선(강함)
Guideline 16. Do assess for and improve skills in learning self-regulation(strong)
성취도가 높은 학생들은 동기부여가 증가하며 [143] [어려움을 효과적으로 배우고 대처하는 방법]에 대한 더 많은 인식을 갖는다[144]. 이와는 대조적으로, 연구에 따르면 고군분투하는 학생들을 전형적으로
자기조절학습을 하지 않고,
서면 및 임상적 평가 형식에 대한 학습 전략을 부적절하게 선택하며,
실패에 대처하는 데 부적합한 전략을 사용하는 것으로 기술하고 있다.
이러한 부적응 전략은
단순 암기에 의존하는 것,
이전에 다른 맥락에서 작용했던 이전 전략을 엄격히 고수하는 것,
실제 지식 습득과 이해의 향상보다 공부에 소비된 시간과 노력을 강조하는 것, 그리고
실패의 이유를 외부화하는 것을 포함한다[16, 99].
High-achieving students exhibit increased motivation [143] and have more awareness about how to effectively learn and cope with difficulty [144]. In contrast, the literature describes struggling students as typically not engaging in self-regulated learning, making inappropriate choices of learning strategies for written and clinical formats of assessment, and using maladaptive strategies for coping with failure. These maladaptive strategies include relying on rote memorization, adhering rigidly to prior strategies that previously worked in other contexts, emphasizing time and effort spent studying rather than actual knowledge acquisition and improvement of understanding, and externalizing reasons for failure [16, 99].
고군분투하는 학생들에게는 일단 실패에 대한 감정적인 반응이 지나가면, 실패를 정상적인 것(더 나아가서는 반드시 겪는 것이 더 바람직한 것)으로 재구성하는 것이 중요하다. 이렇게 함으로써,
학습 접근방식을 재조정하고,
상호작용의 문제를 다시 검토하고,
성공을 향해 개선된 (학습)기술을 통합 할 수 있다.
In struggling students, once the emotional reaction to failure passes, it is important to reframe failure as a normal, even expected or desirable outcome, in order to allow for readjustment of study approaches, reexamination of interaction challenges, and incorporation of improved techniques toward success.
그러나 일부 학습자는 비난을 외부화하는데, 이는 다음과 같이 나타난다.
피드백을 처리할 수 없었다.
커리큘럼 및 평가 방법이 문제였다.
프로그램에서 더 일찍 개입하지 않은 것이 불만족이다(따라서 효과적으로 가르치겠다는 암묵적 계약을 이행하지 못한 책임이 있음)
(학습문제학생의 관리는) 치안 유지로 간주되기 때문에 공식적인 지원을 구하지 못했다
However, some learners externalize blame, which may manifest as an inability to process feedback, criticism of curriculum and assessment methods, dissatisfaction with programs that did not intervene earlier (and therefore are accountable for not upholding their implicit contract to teach effectively), and failure to seek formal support because it is viewed as policing.
고군분투하는 학습자들이 그들의 곤경을 받아들이면서 종종 모순되는 부정적인 태도들의 범위를 오락가락하는 것은 흔한 일이다. Remediator가 고군분투하는 학습자와 신뢰관계를 구축할 수 있다면, 공감하는 정서적 지도를 제공하면서 현실 점검reality checks을 제공할 수 있다.
It is common for struggling learners to cycle through a range of these often contradictory negative attitudes as they come to terms with their predicament. Remediators who are able to establish a trusting relationship with the struggling learner can provide reality checks while providing empathic emotional guidance.
교정조치는 [교정조치에 대한 학습자의 믿음과 행동의 변화를 관찰하는 렌즈]로서 remediator가 통해서 자기조절학습적 관점을 채택할 때 가장 성공적이다[145]. 처음에 학습자가 부정적이거나 공개적으로 반항적인 태도를 나타내더라도 교정조치에 대한 교정조치 및 비관론과 관련하여 어려움을 겪고 있는 학습자의 자기 효율성에 대해 다루는 것이 중요하다. 교정조치 계획의 공동 설계(예를 들어 증거 기반 연구 전략을 도입하고 학생들이 이를 적용할 과정 자료를 선택하도록 권장)는 학습자 자율성을 뒷받침한다[6]. 학습자는 개인의 성찰과 개선된 성과에 대한 증거를 수집하기 위한 구체적인 전략을 사용하여 자신의 공식적인 교정조치 계획을 개발할 수 있다[146].
Remediation is most successful when remediators adopt a self-regulated learning perspective as a lens through which to view variations in learners’ beliefs and behaviours about remediation [145]. It is important to address a struggling learner’s self-efficacy with respect to remediating and pessimism about remediation, even if the learner expresses negative or openly defiant attitudes at first. Collaborative design of the remediation plan (for example, introducing evidence-based study strategies and encouraging students to select the course material to apply them to) supports learner autonomy [6]. Learners can develop their own formal remediation plans with personal reflections and specific strategies to gather evidence of improved performance [146].
우리는 위에서 언급한 바와 같이 많은 어려움을 겪고 있는 학습자가 자신의 상황을 받아들이는데 시간이 걸리기 때문에 교육과정에서 교정조치를 시작하기 위해 학습자의 동기에만 의존해서는 안 된다는 것을 반복한다. 그러나, 한 연구는 의무적인 교정조치의 경우에도 참여 학습자가 여전히 높은 동기부여를 가질 수 있다는 것을 보여주었고[7] 이는 인내심, 지지 관계, 시간을 가지고 이러한 학습자가 자기조절능력을 강화하고 진전을 이룰 수 있음을 시사했다.
We reiterate that because it takes many struggling learners time to accept their situation, as mentioned above, programs must not rely solely on learners’ motivations to initiate remediation. However, one study showed that even with mandatory remediation, participating learners can still report high self-motivation [7], suggesting that with patience, a supportive relationship, and time, these learners can strengthen their self-regulation skills and make progress.
경미한 정도의 전문직업적 과실은 흔하다. 우리의 경험상 자기조절을 지원하는 전략은 이러한 경우에 가장 효과적인 교정조치의 주체가 된다. 학습자가 경험 있는 개인이나 전문 위원회와 자신의 행동에 대한 지지적이고 비판단적인 대화에 참여하게 되면 자기반성을 변화시키는 깊고 행동을 유발할 수 있다[147, 148]. 기타 잘 알려진 전문성 교정조치 사례에는 의무적인 정신 건강 평가와 비판적 성찰적 글쓰기 과제가 포함된다[86]. 중요한 것은 전문성 결여가 연속체에서 발생하거나, 유난히 비전문적 행동의 패턴이 있거나, 심각한 성격학적 장애의 증거가 있는 경우, 두드러지게 비전문적 행동이 교정될 가능성이 훨씬 적다는 점이다. 각각의 경우를 개별적으로 고려하는 것이 중요하다[149].
Mild to moderate lapses in professionalism are common. In our experience, strategies that support self-regulation are the mainstay of the most effective remediation in these cases. Engaging learners in supportive, non-judgmental conversations about their behaviour with experienced individuals or a professionalism committee can impel deep and behaviour altering self-reflection [147, 148]. Other well-publicized professionalism remediation practices include mandated mental health evaluation and critical reflection writing assignments [86]. Importantly, it is generally acknowledged that lapses in professionalism occur on a continuum and that markedly egregious unprofessional behaviour is much less likely to be remediable, especially if there is a pattern of unprofessional behaviour and evidence of serious characterological disorder. It is critical to consider each case individually [149].
가이드라인 17. 소규모 그룹에서, 지식과 기술을 전문 조력자와 함께 개선(중등도)
Guideline 17. Do remediate knowledge and skills in small groups with expert facilitators (moderate)
사회 인지 이론은 집단 학습의 효과가 비판적 사고의 담화 및 발전에 기초한다고 주장한다[150, 151]. 의료 교육에서 교육적 설계의 수많은 예는 문제 기반 학습과 팀 기반 학습과 같은 이 이론에 기초한다. 특히 교정조치에 있어서, 어려움을 겪고 있는 학생들은 종종 'unskilled and unaware'고 하며, 자신의 약점을 인식하지 못할 수 있다[133]. 비슷한 어려움을 겪으면서 다른 종류의 대안적 해결책을 가진 다른 사람들을 만나는 것은 집단 정체성과 사회적 규제에 대한 감각을 발전시키는데 도움이 될 수 있으며, 이는 결국 자율규제를 지원할 수 있다[152-154].
Social cognitive theory posits that the effectiveness of group learning is based in discourse and development of critical thinking [150, 151]. Numerous examples of instructional designs in medical education are based on this theory, such as problem-based and team-based learning. Particularly in remediation, struggling students are often ‘unskilled and unaware’ [133] and may not recognize their own weaknesses. Seeing others with alternative solutions to similar challenges can help develop a sense of group identity and social regulation, which may in turn support self-regulation [152–154].
이러한 집단접근법은 자기 소속에 대한 자부심을 강조하고, 서로를 지지하며, 고립되기보다는 이해감을 느끼면서 오명을 줄이는 데 도움을 줄 수 있다[102, 103]. 추가 편익은 그룹이 피드백을 주고 받는 연습을 할 때 발생한다. 이것은 자기 평가, 피드백, 그리고 어쩌면 자기 조절 학습의 평생 기술을 개발한다. 우리는 소규모 그룹의 인지 기술에 대한 교정조치의 수행 경험이 있지만, 이 전략을 사용한 전문성 교정조치의 지원을 위한 그러한 증거는 없다는 점에 주목한다.
This group approach can help reduce stigma by emphasizing the pride of belonging, supporting each other, and feeling understood rather than isolated [102, 103]. Additional benefit arises when the group practises giving and receiving feedback. This develops lifelong skills of self-assessment, feedback, and possibly self-regulated learning. We note that while there is experience doing remediation for cognitive skills in small groups, there is no such evidence to support professionalism remediation using this strategy.
교정조치가 그룹으로 수행되어야 하는 경우 전문가 교수 촉진자가 매우 중요하다. 소규모 그룹 학습의 숙련된 촉진, 정서적 지원, 명시적 설명 및 높은 품질의 작업에 대한 인정 및 협업 장려는 임상 기술 교정조치뿐만 아니라 강의실 기반 모두에서 성공으로 이끈다[6, 76, 103, 143, 153]. 훈련된 촉진자는 집단 사고groupthink와 토론의 조기종결premature closure를 방지할 수 있는데, 이는 특히 고군분투하는 학생들에게 중요하다[93, 153]. 또한 인지적 갈등과 불일치를 강조하고, 파괴적인 질문을 하고, 지적 호기심을 모델링해야 한다[155, 156]. 일반적으로 학습자는 학습을 강화하기 위해 감독자가 있는 것을 선호한다.[156] Guidance가 없다면, 학생들은 나쁜 습관을 길러 ‘역량의 착각’을 일으킬 수 있다[157, 158].
Expert faculty facilitation is crucial if remediation is to be done in groups. Skilful facilitation of small group learning, allowing for emotional support, explicit description and recognition of high quality work, and encouraging collaboration leads to success in both classroom-based as well as clinical skills remediation [6, 76, 103, 143, 153]. Trained faculty can prevent groupthink and premature closure of discussion, which is especially important for struggling students [93, 153]. In addition, faculty must highlight cognitive conflict and inconsistency, ask disruptive questions, and model intellectual curiosity [155, 156]. In general, learners prefer supervisors to be present to enhance their learning [156]; without guidance, they can develop bad habits and form ‘illusions of competence’ [157, 158].
가이드라인 18. 업데이트 적용 기간의 예상 종료 후에도 학습자 후속 조치 수행(중간)
Guideline 18. Do follow-up with learners, even after the presumed end of the remediation period (moderate)
그 증거는 많은 (전부는 아니지만) 학습자에게 underperformance는, [고립된 쉽게 해결할 수 있는 문제]가 아니라 [(오랜)시간에 걸친 패턴]이라는 것이다[159]. 여기 관련된 요인은 여러가지이다. 개인은 처음에 의료 교육과 훈련의 요구에 적응하는 데 어려움을 겪을 수 있지만, 궁극적으로 이러한 요구에 적응하거나 또는 그 대안으로 결코 독립적인 능력을 얻지 못한다. 시간을 두고 관찰하는 것만이 말해 줄 것이다. 게다가, 가장 열심히 하는 학생들조차 복잡한 삶을 살고 있고, 학업 성적은 그들의 시간과 에너지에 대한 비학력적인 요구에 따라 변동할 수 있다. 지원 기관 문화는 학습자들이 자기 모니터링을 하고 새로운 도전에 적응하는 데 도움을 구하도록 장려하고, 성취목표에 부족한 경우 사적인 논의에 invite한다. 이러한 (사전) 논의는 학습자와 교수 모두에게 [언제 어떤 유형의 지원이 필요한지] 결정하는 데 도움이 될 수 있다. 전문직업성 향상을 위해서는 학생들이 새로운 태도와 기술을 내실화하도록 하기 위한 장기적인 참여가 필요하다.
The evidence is that for many (but not all) learners, underperformance is a pattern over time rather than an isolated easily resolvable problem [159]. This is likely multifactorial. An individual may initially have difficulty adjusting to the demands of medical education and training but ultimately acclimatize, or alternatively, never gain independent ability to accommodate to these demands. Only observation over time will tell. Additionally, even the most hardy learners have complex lives, and academic performance may fluctuate with non-academic demands on their time and energy. A supportive institutional culture encourages learners to self-monitor and seek help in adjusting to new challenges and invites private discussions about underachievement. These discussions can help both learners and faculty decide when and what type of support is necessary. For professionalism remediation, long-term engagement is needed to ensure that students have internalized new attitudes and skills.
하지말 것
Don’ts
가이드라인 19. 성과에 대한 양적 학문적 지표에만 의존하지 않음(중간)
Guideline 19. Don’t rely solely on quantitative academic markers of performance (moderate)
의대에서의 학업성취도 예측의 가장 좋은 요소는 의대 이전의 학업성취도 이지만, 의대에서의 경험과 성적은 여전히 중요하다. 입학 전 적성 검사와 등급점 평균이 의과대학의 지식 시험에서 약 1/4을 차지하지만 [128, 160-162] 의과대학 내에서 성장과 발전의 여지가 많이 남아 있다. (입학시험에서) 높은 점수를 받은 의대 지원자가 더 나은 의사가 된다는 것을 보여주는 장기 추적 데이터가 거의 없다는 점을 감안할 때, 입학 전 데이터에 기초하여 remedial support를 제공하는 것은 정당화되지 않으며, 일부 학생들에게 오명을 씌울 수 있다.
The best predictor of academic performance in medical school is academic performance prior to medical school [160]; however, experiences and performance in medical school still matter. Though preadmission aptitude tests and grade-point average account for approximately one-quarter of the variance in knowledge testing in medical school [128, 160–162], much room for growth and development remains within medical school. Given that there are scant long-term follow-up data showing that medical school applicants with higher grades become better physicians, providing remedial support on the basis of pre-application data alone is not justified, and may stigmatize some students.
한 연구는 표준화된 학술 지표metrics에 대한 성과가 향후 교정조치의 필요성을 예측하지는 않지만, 모호하거나 부정적인 논평 또는 과도한 텍스트 코멘트 길이와 같은 작업장 평가의 비정형적 특성은 교정조치 필요성을 예측했다는 것을 발견했다. 우리는 신흥 연구가 이러한 연구 결과를 뒷받침할 것이라고 믿는다. Holistic한 프로그래밍 방식 포트폴리오 기반 평가 접근법은 구현하기 어렵지만 어느 정도 장래성이 있다[164]. 의학 교육에 대한 다원적 평가 데이터와 역량 또는 결과 기반 프레임워크는 학문적 지도, 승진 및 교정조치 판단의 기초가 될 수 있는 훨씬 풍부하고 포괄적인 데이터 및 의과대학 및 그 이상의 성공 예측에 대한 보다 신뢰할 수 있는 기반을 제공할 가능성이 있다.
One study found that while performance on standardized academic metrics did not predict the need for remediation in the future, atypical characteristics of workplace assessments like ambiguous or negative comments or excessive length of text comments, did [163]. We believe emerging research will support these findings. Holistic programmatic portfolio-based assessment approaches hold some promise, although they are challenging to implement [164]. Multisource assessment data and competency or outcomes-based frameworks for medical education will likely provide much richer and more comprehensive data upon which to base academic coaching, promotion, and remediation judgments and a more reliable basis for the prediction of success in medical school and beyond.
가이드라인 20. 추가 지원 없이 단순히 시간을 더 주거나, 학습자 경험을 반복하거나, 일반적이거나 모호한 조언을 하거나, '테스트에 대한 학습'만 하지 마십시오(강함).
Guideline 20. Don’t merely give more time, repeat the learner experience, give general or vague advice, or just ‘teach to the test’ without additional support (strong)
추가 지원 없이 훈련생을 약간 감속하는 것은 dismissal rate에 큰 영향을 미치지 않는다[165].
Merely decelerating a trainee without additional support does not significantly affect dismissal rates [165].
모름
Don’t knows
가이드라인 21. 교정조치의 장기적인 결과는 무엇인가?
Guideline 21. What are the long-term outcomes of remediation?
우리는 교정 프로그램의 장기적인 결과에 대해 거의 알지 못한다. 우리는 처음에 OSCE에 실패했다가 단기적인 성공을 거둔 표준 교정조치 계획에 참여한 학생들을 위해 한 5년 연구에서는 종적 개선이 없었다는 것을 알고 있다[30]. 주민에 대한 또 다른 사례-통제 연구는 교정 학습자가 결국 평균과 유사한 역량 수준에 도달했지만 더 많은 시험과 더 긴 완료 시간이 필요하다는 것을 보여주었다[95]. 임상수행시험에 실패한 학생들 중에서, Klamen과 Williams는 개선 후 점수의 개선에 주목했다[96]. 프로그램 결과에 대한 이러한 종적 추적의 보다 많은 부분이 개입의 효과를 평가하기 위해 필요하며 [166] 우리는 교정조치를 받은 학생에 대한 장기 모니터링을 강력히 권고한다. 예를 들어 의대나 레지던트에서의 교정조치는 미래에 연습의 어려움을 예측한다는 것을 강조할 수 있다. 또한, 훈련생이 일반적으로 훈련 경로를 따라 한 기관의 맥락에서 다른 환경으로 이동한다는 점을 감안할 때, 그러한 맥락에서 학습자의 진척도를 추적하면 교정조치 관행과 시스템이 기관 고유의 것이며 종적으로 지속되는 정도를 더욱 밝혀줄 수 있다.
We know very little about long-term outcomes of remediation programs. We do know that there was no longitudinal improvement in one 5-year study, for students who initially failed OSCEs and then engaged in a standard remediation plan with short-term success [30]. Another case-control study of residents showed that remediating learners eventually reached competence levels similar to the mean but needed more exams and a longer time for completion [95]. Among students who failed a clinical performance exam, Klamen and Williams noted an improvement in post-remediation scores [96]. More of this longitudinal tracking of program outcomes is necessary to evaluate the efficacy of our interventions [166], and we strongly recommend long-term monitoring of students who have undergone remediation. This kind of prospective, longitudinal follow-up may highlight, for example, that remediation in medical school or residency predicts practice difficulties in the future. Additionally, given that trainees commonly move along the training path from one institutional context to another, tracking learner progress across such contexts may further illuminate the extent to which remediation practices and systems are institution-specific and longitudinally durable.
가이드라인 22. 업데이트 적용의 최적 조합과 지속 시간은?
Guideline 22. What is the optimal blend and duration of remediation?
특히 특정 상황과 어려움에 대해서는 학습자의 교정조치의 완료를 언제 결정해야 할지 모른다. 교정조치의 이유는 특정 학생에 따라 다르며, 보통 결핍 요소는 여러가지이다. 교정조치의 복잡성을 고려할 때 케이스-바이-케이스로 하는 것이 가장 적절하다.
Especially for specific situations and difficulties, we do not know when to determine the completion of a learner’s remediation. Reasons for remediation vary for any given student, and there is rarely a single deficit. Given the complexity of remediation work, it is likely best conducted and assessed on a case-by-case basis.
그렇긴 하지만, 이 교육적 근거에 따르면, 다양한 접근법의 툴박스를 가지고 고군분투하는 학습자들을 가르치는 것이 이치에 맞는다는 것을 뒷받침한다. 핵심은 고군분투하는 학습자의 교정조치 계획의 모든 구성요소에 대해 증거 기반 접근방식을 최대화하는 것이다. 이것들은 복잡하고 매우 개별화된 개입을 하는 경향이 있다. 따라서 개입의 특정 요소가 미치는 영향을 파악하기 어려우며, 일반적인 교정조치 규칙은 파악하기 어렵다[138].
That said, the educational evidence base supports that teaching struggling learners with a toolbox of approaches makes good sense. The key is to maximize the evidence-based approach for every component of a struggling learner’s remediation plan. These tend to be complex, highly individualized interventions. Therefore, it is difficult to tease out the impact of any specific element of the intervention, making general remediation rules elusive [138].
가이드라인 23. 교정조치는 CBME와 학습자 중심의 접근방식에 어떻게 부합하는가?
Guideline 23. How does remediation fit with CBME andits approach of learner-centredness and de-emphasis of time?
이상적으로, 시간적 변동이 가능한 역량 기반 의료 교육(CBME)은 별도의 교육 활동과 무관하게 교정조치를 할 수 있다. 그러나 연습생들은 예를 들어 직업적 적합성career fit에 대한 양면성을 포함하여 여러 가지 이유로 고군분투한다. 따라서 완전히 실현된 CBME 프레임워크에서도 normal curriculum과 exclusion 사이에 'zone of remediation'이 필요할 가능성이 있다[27]. 이 zone framework는 다른 구역의 교육 관행이 다른 규칙, 역할 및 책임에 기초하는 방법을 보여준다. 이 zone들 사이를 이동하기 위한 임계값은 명시적이고 투명한 정책과 교정조치에 대한 특정 전문지식이 필요할 것이다. 지금까지는 진정으로 time-variable하게 운영가능한 CBME의 예는 거의 없지만, 그러한 시스템의 학생들이 경험한 과제를 모니터링하여 교정조치 영역에서 정책과 실행이 어떻게 진화할 필요가 있는지를 이해하는 것이 중요할 것이다.
Ideally, time-variable competency-based medical education (CBME) would make remediation as a separate educational activity irrelevant. However, trainees struggle for many reasons including, for example, ambivalence about career fit. Therefore, even in a fully realized CBME framework, there is likely to be a need for a ‘zone of remediation’ between the normal curriculum and exclusion [27]. This zone framework demonstrates how educational practice in different zones is based on different rules, roles and responsibilities. Thresholds for moving between zones would require explicit and transparent policies and specific expertise in remediation. While currently there are very few examples of truly time-variable CBME, it will be important to monitor challenges experienced by students in such a system to understand how policy and practise in the zone of remediation will need to evolve.
CBME을 향한 움직임은 교정조치에 대한 현재의 식별 및 상호접속 접근방식에 대한 대안적 패러다임의 기회를 가져온다. 하지만 그러기 위해서는 문화의 변화가 필요할 것이다. 지금까지는 [필요한 역량을 갖추기 위해 남들보다 조금 더 오래 걸리는 사람들]이라고 생각했다면, 이제는 [학습 속도를 궁극적인 성공 요인]으로 생각해야 한다.
The move towards CBME brings with it the opportunity for an alternative paradigm to the current identify-and-intervene approach to remediation. However, to do so will require a shift in culture, from regarding those who take a little longer than others to achieve the required competencies as struggling to thinking about learning pace as an individual factor in ultimate success in practice.
하지만 이것은 본질적으로 time-based and competitive한 시스템에서는 상상하기 어렵다. CBME는 사회에 대한 높은 수준의 의무를 유지하면서 학습자를 좀 더 긍정적으로 고려하고 우리의 학습자가 직면하는 많은 어려움에 대해 더 넓게 볼 수 있는 기회를 제공할 수 있다.
This is difficult to conceive of in systems which inherently remain time-based and competitive. CBME may provide an opportunity to consider ‘struggling’ learners with more positive regard and take a broader view of the many challenges that our learners encounter, while maintaining our obligation of high standards to society.
가이드라인 24. 교육적 핸드오버의 이점과 이러한 핸드오버로 인해 발생할 수 있는 부정적인 편견으로부터 학습자를 보호할 필요성 사이의 최적의 균형은 무엇인가? (자세한 내용은 지침 6을 참조하십시오.)
Guideline 24. What is the optimal balance between the benefits of educational handovers and the need to protect learners from negative bias that may arise from such handovers? (See Guideline 6 for further discussion.)
가이드라인 25. 교정조치의 필요성을 예측하는 구체적인 조치는 무엇인가?
Guideline 25. What specific measures predict the need for remediation?
몇몇 연구는 많은 수치화할 수 있는 의료 훈련 초기의 정량화가능한 성과척도들은 고군분투하는 학습자를 식별하기 위한 정보로서 신뢰성이나 구체성이 부족하다는 것을 보여준다. 성격 및 학습 능력 인벤토리는 성과 예측에 거의 추가되지 않으며 [114, 167] facking에 취약하다. 학습 스타일 평가는 학문적 성과와 관련성이 거의 없고, 있다고 해도 매우 약하다. 그러나 일부 지표는 향후 연구에 유용할 수 있다. 예를 들어, 최근의 한 연구는 1학년 의대생들에서 [수업 참여에 대한 체계적인 교수 평가]는 underperform이 시작되기 전에 fail을 예측할 수 있었다.
Several studies show that many quantifiable measures of performance carry neither reliable nor specific information to identify struggling learners early in medical training. Personality and study skills inventories add little to prediction of performance [114, 167] and are susceptible to faking [115]. Learning style assessments correlate weakly with academic performance [128], if at all [168, 169]. However, some indicators may be fruitful for future research. For example, one recent study found that systematic faculty ratings of in-class participation predicted failure of year 1 medical students before students began to underperform[170].
임상 성과에 대해서는, 미국 의과대학에서 초기에 실시한 면허 시험의 일부인 USMLE Step 1 점수는 의과대학에서의 낮은 임상 성과[171]와 낮은 지식을 약하게 예측했다. 그들은 레지던트에서의 전문직업성 문제를 예측하지 않았다[172].
For clinical performance, USMLE Step 1 scores, part of the licensing exam taken early in medical school in the US, weakly predicted low clinical performance in medical school [171] and low knowledge; they did not predict professionalism issues in residency [172].
가이드라인 26. 종단적 교정조치 프로그램(가이드라인 15)을 설정하는 것 외에 가장 효과적인 교정조치 관행은 무엇인가?
Guideline 26. Apart from establishing a longitudinal remediation program(Guideline 15), what are the most effective remediation practices?
궁극적으로 자원은 제한되며 가능한 교정조치 전략의 목록은 길며, 교정조치 정책 및 실무에 대한 정보를 제공하는 연구의 필요성을 강조한다[17].
Ultimately resources are limited, and the list of possible remediation strategies is long, highlighting the need for research that informs remediation policy and practices [17].
결론
Conclusion
교정조치는 학습자와 교수진, 개인, 시스템 및 사회적 요소가 포함된 매우 복잡한 과정이다. 좋은 소식은, 의학 교육자로서, 우리는 고군분투하는 학습자들을 위한 교육적 성과를 극대화할 수 있는 실천에 대한 인식과 전문성을 증가시키고 있다는 것이다. 이 논문은 우리가 현재 출판된 문헌에서 알고 있는 것과 교정조치에 관한 우리 자신의 광범위한 경험을 요약하고 있다. 우리는 이 분야에서 지속적인 개선을 필요로 하고 교정조치 연구에서 엄격한 가설 테스트가 여전히 도전적이지만, non-intervention으로 남기는 것은 윤리적 으로 위험하기 때문에, 낙관적일 이유가 있다고 믿는다.
Remediation is a highly complex process involving learners and faculty, individuals, systems and societal factors. The good news is that as medical educators, we have increasing awareness of and expertise in practices that can maximize educational outcomes for struggling learners. This paper summarizes what we currently know from the published literature and our own extensive experiences about remediation processes. We believe that whilst there is great need for ongoing improvement in this field, and whilst rigorous hypothesis testing in remediation studies remains challenging because of the ethical peril of a non-intervention condition, there is reason to be optimistic.
‘Do’ 가이드라인의 절반 이상이 개인 수준의 개입을 넘어선다. 이 지침은 다음과 같은 교육의 핵심 가치를 강조한다.
기대치 설정 및 투명한 교육 정책과 구조의 중요성
사회적 책임감을 동반한, 학습자에 대한 헌신과 연민의 균형
피드백 문화의 중요성, 적절한 과정 및 학습자에 대한 비판단적 긍정적 고려
학습자가 자신의 struggle 수준을 인식하지 못하는 경우의 활동
학습자가 학업적 고난을 경험할 때 원인의 모든 범위를 이해하는 총체적 접근법
우리는 우리의 지침이 의료 교육 관행의 이 영역에서 맥락, 예방 및 조기 발견의 중요성을 강조하도록 하는 것을 목표로 한다.
More than half of the ‘Do’s’ guidelines reach beyond individual interventions. These guidelines reflect the core values of education, highlighting
the importance of expectation-setting and transparent educational policies and structures;
balance of commitment to and compassion for our learners with our societal responsibility;
the importance of a culture of feedback, due process, and non-judgmental positive regard for learners;
proactivity when learners do not recognize their level of struggle; and
a holistic approach to understanding the full range of causes when learners experience academic struggle.
We aim to ensure that our guidelines underscore the importance of context, prevention, and early detection in this domain of medical education practice.
가장 일반적으로, 이 영역의 연구는 [학습자의 성과와 특정 후속 평가 및 성과 사이의 관계]와 [특정 교정조치 프로그램이 학습자가 특정 시험에 합격하는 데 어떻게 도움이 되는지] 테스트하는 데 초점을 맞추었다. 이러한 유형의 작업은 [맥락, 학습 환경 또는 재교육 인터벤션]이 특정 개인 또는 집단에 의도하지 않은 결과를 초래할 수 있는 방법에 대한 이해를 흐리게 하는 경향이 있다. 이는 교정조치 실무에서 선택을 하고 절충을 이해하는 우리의 능력을 제한한다.
Most commonly, research in this domain has focused on testing the relationship between learners’ performance on a particular assessment and performances on later assessments and how a particular remediation program assists in helping a learner pass a specific examination. This type of work tends to obscure our understanding of the ways in which the context, learning environment, or an individual remediation intervention may lead to unintended consequences for certain individuals or groups. This limits our ability to make choices and understand trade-offs in remediation practice.
34. Lefroy J, Watling C, Teunissen PW, Brand P. Guidelines: the do’s, don’ts and don’t knows of feedback for clinical education. PerspectMedEduc. 2015;4(284):99.
Guidelines: The Dos, Don'ts and Don't Knows of Remediation in Medical Education
- PMID: 31696439
- PMCID: PMC6904411
- DOI: 10.1007/s40037-019-00544-5
Abstract
Introduction: Two developing forces have achieved prominence in medical education: the advent of competency-based assessments and a growing commitment to expand access to medicine for a broader range of learners with a wider array of preparation. Remediation is intended to support all learners to achieve sufficient competence. Therefore, it is timely to provide practical guidelines for remediation in medical education that clarify best practices, practices to avoid, and areas requiring further research, in order to guide work with both individual struggling learners and development of training program policies.
Methods: Collectively, we generated an initial list of Do's, Don'ts, and Don't Knows for remediation in medical education, which was then iteratively refined through discussions and additional evidence-gathering. The final guidelines were then graded for the strength of the evidence by consensus.
Results: We present 26 guidelines: two groupings of Do's (systems-level interventions and recommendations for individual learners), along with short lists of Don'ts and Don't Knows, and our interpretation of the strength of current evidence for each guideline.
Conclusions: Remediation is a high-stakes, highly complex process involving learners, faculty, systems, and societal factors. Our synthesis resulted in a list of guidelines that summarize the current state of educational theory and empirical evidence that can improve remediation processes at individual and institutional levels. Important unanswered questions remain; ongoing research can further improve remediation practices to ensure the appropriate support for learners, institutions, and society.
Keywords: At-risk students; Feedback; Remediation; Struggling learner.
'Articles (Medical Education) > 교수법 (소그룹, TBL, PBL 등)' 카테고리의 다른 글
| 오해와 불일치: 총괄평가 피드백에 대한 집단적 환멸(Research in Education, 2017) (0) | 2020.02.25 |
|---|---|
| 피드백 갭 채우기: 피드백 사이클에서 수치심의 인정받지 못한 역할(Med Educ, 2015) (0) | 2020.02.25 |
| 롤모델링 - 가장 강력한 교육 전략(BMJ, 2008) (0) | 2020.02.11 |
| 피드백 신화에 도전하다: 가치, 학습자 참여, 즉각적 과제를 넘어선 효과(Med Educ, 2018) (0) | 2020.02.05 |
| 의학교육에서 개념지도: 분석적 문헌 고찰(Med Educ, 2010) (0) | 2020.01.31 |