실패의 예측과 예방: 위험군 학생에 대한 조기 개입(Med Teach, 2014)

실패의 예측과 예방: 위험군 학생에 대한 조기 개입(Med Teach, 2014)

Prediction and prevention of failure: An early intervention to assist at-risk medical students

KALMAN A. WINSTON1, CEES P. M. VAN DER VLEUTEN2 & ALBERT J. J. A. SCHERPBIER2

1Bangor University, UK, 2Maastricht University, UK

도입

Introduction

Struggling 학생들의 성공과 의과대학의 retention rate을 향상시키기 위해서라도 Struggler들을 도와야 한다는 도덕적 명령이 존재합니다. 이러한 학생들은 전형적으로 도움을 구하지 못하고 (Winston et al. 2010a), 교육 전반에 걸쳐 성과가 저조하다 (Cleland et al., 2005).

there exists a moral imperative to assist struggling students in order to improve their success and their institutions’ retention rates. The challenge is that these students typically fail to seek help (Winston et al. 2010a), and continue to underperform throughout their education (Cleland et al. 2005, 2008).

본질적으로, 학생들을 돕기위한 두 가지 접근 방식이 있습니다 : 실패를 예측하여 예방하는 것과 실패 후에 재교육하는 것이다. 최근 연구 결과에 따르면 작은 연구 집단 내에서 자기 규제, 메타인지 및 대화 기법을 사용하여 인지적이고 정서적인 apprenticeship을 제공하는 14 주 과정에 참여한 학생들의 결과에 상당한 장기간 이익이 나타났습니다 (Winston et al. 2010a, 2010b, 2012). 지금까지는 이와 같이 재교육을 통한 성공이 예방적인 접근보다 더 선호되었는데, 

• Struggler를 미리 예측하기 어렵고, 

• 학생들을 부정확하게 라벨링할 위험이 있으며, 

• 학생들이 스스로 도움의 필요성을 인지해야 도움이 주어졌을 때 최대의 효과가 있기 때문이다

Essentially, there are two approaches to assisting these students: prediction and prevention of failure, or remediation after failure. Recent work has shown significant longterm gains in student outcomes after participation in a 14-week course that provides a cognitive and affective apprenticeship using self-regulatory, metacognitive, and dialogic techniques within a small community of inquiry (Winston et al. 2010a, 2010b, 2012). These successful efforts at remediation have been preferred to prevention because of 

• the difficulty of predicting exactly who will struggle, 

• the risks of labelling students incorrectly, and 

• the necessity for students to admit their need for help before it can be fully effective.

누가 fail할 것인가를 정확하게 예측하기는 어렵다: 학생의 어려움과 attrition은 복잡한 원인을 가지고 있으며 (Hall 2001), 실제 사회 세계는 직접적인 모델링을 하기에는 본질적으로 지나치게 예측불가능하다 (Kahneman 2011). 

• 가장 좋은 입학전 예측 인자는 이전 GPA와 MCAT과 같은 인지 시험점수의 조합 인 것으로 보인다 (Donnon 외, 2007; Callahan et al., 2010). 이것들은 의과대학 수행능력에 대해서 약 20%의 variance를 설명한다.

• 성격과 학습 스킬 인벤토리를 포함시키는 것은 후에 '비인지적' 임상 성과를 예측하는 데는 유용 할 수 있지만, 이렇게 임상실습에 들어가기까지의 게이트키퍼 역할을 하는 기초과학 수행능력에 대한 예측에는 거의 도움이 되지 않을 수 있다 (Haight et al. 2012; McLaughlin 2012 ); 게다가, 이러한 자체보고식 설문은 faking에 취약하기 때문에 주의해서 사용해야합니다 (Griffin & Wilson 2012).

Accurate prediction of failure is challenging: student difficulty and attrition have complex causes (Hall 2001), and the real social world is inherently too unpredictable for straightforward modelling (Kahneman 2011). 

• The best pre-admission predictor appears to be a combination of prior GPA and cognitive tests such as the US Medical College Admission test (MCAT), which account for  20% of the variance in medical school performance (Donnon et al. 2007; Callahan et al. 2010). 

• Inclusion of personality and study skills inventories may be useful for predicting later ‘‘non-cognitive’’ clinical performance but add little to prediction of the basic science performance that serves as a gatekeeper for those later years (Haight et al. 2012; McLaughlin 2012); besides, such self-report inventories are susceptible to faking, and should be used with caution (Griffin & Wilson 2012).

Prediction task와 Assessment task가 유사할수록 예측도 더 정확해지는 것이 놀랍지는 않다 (Tanilon et al. 2011). 

• 2학년 성과는 최종 성과를 매우 잘 예측합니다 (Cleland et al. 2008; Rich et al. 2012). 

• 1학년때 고생하거나 실패한 학생들은 나중에도 어려움을 겪습니다 (Yates 2011, Stegers-Jager et al., 2013). 

'위험한 상태'에 대한 가장 효과적인 예측 인자는 프로그램 초기에 학생들의 성과라고 할 수 있습니다.

Unsurprisingly, the more similar the prediction task is to subsequent performance assessment tasks, the more accurate the prediction turns out to be (Tanilon et al. 2011). Second year performance is highly predictive of final performance (Cleland et al. 2008; Rich et al. 2012), and students who struggle or fail in the first year continue to have difficulty later in the same course (Yates 2011; Stegers-Jager et al. 2013). It seems likely that the most effective predictor for ‘‘at-risk-ness’’ is students’ performance early in their programmes.

목적

Aims

In this paper, we describe an attempt to take ideas from a successful remediation programme (Winston et al. 2010a) and apply them to a short course aimed at prevention of failure.

방법

Methods

맥락

Context

The school admits up to 400 new students, three times per year, to follow an accelerated curriculum, spending four four-month basic science semesters on island before advancing to their clinical rotations in mainland USA. 

• 학생들은 MCAT 점수가 평균 23 (범위는 12-36) 인 다양한 배경을 가지고 있습니다. 대부분의 미국 본토 의과 대학에 입학하지 못했습니다. 본토 의대 입학생의 평균 MCAT는 31 점입니다 (AAMC 2012). MCAT 점수가 낮으면 USMLE 합격률이 낮아집니다 (Tekian & Hruska 2004) : 우리는 25-30 %의 탈락 률을 보입니다.

• 이 MCAT 범위에서 성공 및 실패 예측은 어렵습니다. MCAT, 이전 대학 평점, 연령, 성별, 민족성을 다 같이 고려해도 학생들의 attrition의 8.7 %, 기초 과학 점수의 13.4 %만을 예측할 수 있습니다 (Meisenberg 2012). 

• Students have diverse backgrounds, with mean MCAT scores of 23 (range is 12–36): most have failed to gain entry into mainland US medical schools, where the mean MCAT of matriculants is 31 (AAMC 2012). Lower MCAT scores have been shown to correlate with lower USMLE pass rates (Tekian & Hruska 2004): we have a 25–30% attrition rate. 

• Prediction of success and failure at these MCAT ranges has proven difficult: MCAT, prior college GPA, age, gender and ethnicity combine to predict only 8.7% of our students’ attrition, and 13.4% of variance in their basic science grades (Meisenberg 2012).

For the first module (Fundamentals, of histology, biochemistry, physiology and anatomy), amid fears of too much weight on students’ first medical school exam, the exam was split into two sections: 

• the first part (henceforth referred to as ‘‘week-2-exam’’) is taken after the first two weeks and accounts for 19% of the module grade; 

• the second after five weeks, constitutes 26%. The pass mark for all modules is 60–65%.

Data collection and analysis

처음에 우리는 3 주 동안 새로운 week-2-exam에서 학생의 성적을 조사했습니다. 실패한 학생들은 (65 % 미만), 첫 학기 말이나 다음 학기에 과목을 실패했는지 여부를 추적했습니다. 1 년 후, 숫자와 퍼센티지가 너무 명확하여 통계 분석을 더 이상 할 필요가 없다고 생각했습니다. (Gorard 2010) : 많은 학생들이 2주 시험에 실패했으며, 이는 나중의 실패를 예측했습니다 ( '결과' 섹션). 무엇인가해야했지만, 무엇을 하든 학생과 CTL 교수 모두의 과도한 일정에 맞추어야 했다.

Initially, we looked at student performance in the new week- 2-exam for three cohorts. For those who failed (scored < 65%), we tracked whether they went on to fail courses at the end of that first semester or in any subsequent semester. After a year, the numbers and percentages were so clear that we felt no need for further statistical analysis (Gorard 2010): many students were failing the week-2-exam, and this was predictive of later failure (see ‘‘Results’’ section). Something had to be done, but any intervention needed to fit around the over- crowded schedules of both the students and the CTL faculty.

Intervention design

시간에 대한 학생들의 기존 요구, 어려움을 겪고있는 많은 학생들, 과로중인 CTL 교수진의 소수를 감안할 때 우리는 3 주간의 대규모 그룹 워크샵을 제공하기로 결정했습니다. 2주차 시험의 결과가 나오는 시점과 다음 시험인 5주차 시험 사이에 시간이 있었다. 각 워크샵은 2 시간 동안 지속되었으며, 6 명의 작은 그룹으로 구성된 테이블을 갖춘 대형 교실에서 열렸습니다. 워크샵 시리즈가 끝나면 참가자들은 학기 중 나머지 시간 동안 교수퍼실리테이터와 weekly 소그룹 모임에 가입 할 수 있습니다.

Given existing demands on students’ time, the large number of struggling students, and the small number of overworked CTL faculty, we decided to offer a short series of three large group workshops, in the only open time slots available in the two weeks between obtaining the week-2-exam results, and the second exam at the end of the fifth week. Each workshop lasted two hours, and was held in a large classroom with tables for seating smaller groups of six students. At the conclusion of the workshop series, participants could sign up for weekly small group meetings with a faculty facilitator for the remainder of the semester.

이 타협안은 기초 과학 내용에 능동적 인 학습 기술을 적용하면서 자기 조절, 메타인지 및 반성에 초점을 맞추기 위해 구성주의, 사회 문화적, 복합 주의자 이론을 혼합 한 Essential Lifelong Learning Skills (ELLS) 과정을 기반으로했습니다 (Winston et al., 2010a). 담론, 명시적 추론, 상호 피드백을 통해 교수 진행자가 안내하는 소그룹을 반복적으로 진행하여 학생은 서로의 인지적, 정서적 발달을 지원합니다 (Winston 외, 2010a, 2010b, 2012). 소규모 그룹으로 또는 전체 학기에 걸쳐 이 인터벤션을 제공할 만 한 자원은 없었지만, 핵심 아이디어를 제시하고 소그룹 과제를 위해 워크숍 시간의 대부분을 사용하는 것이 팀 기반 학습 (TBL) 모델의 일부 결과를 재생산해낸 것으로 보인다. 즉, weaker 학생들이 가장 큰 성과를 얻은 것으로보고됩니다 (Koles 외. 2010).

This compromise design was based on our Essential Lifelong Learning Skills (ELLS) course, which draws on a blend of constructivist, sociocultural and complexivist theories to focus on self-regulation, metacognition and reflection while applying active learning skills to basic science content (Winston et al. 2010a). Through discourse, explicit reasoning, and mutual feedback, small groups of repeating students, guided by a faculty facilitator, support each other’s cognitive and affective development (Winston et al. 2010a, 2010b, 2012). Although we did not have the resources to offer this intervention in small groups, or over a full semester, we felt that presenting key ideas and then using the majority of workshop time for small group assignments had the potential to replicate some of the findings from the team-based learning (TBL) model, in which weaker students are reported to have attained the largest performance gains (Koles et al. 2010).

각 워크숍에는 

• 핵심 아이디어에 대한 대규모 그룹 소개 및 토론, 

• CTL 교수 진행자와 소그룹 활동, 

• 통찰력을 공유 할 수있는 whole-class plenary가 포함되었습니다. 

• 각 워크샵이 끝나면 학생은 학습한 아이디어를 기초 과학 과정 자료에 적용하기 위하여 과제를 할당 받았고, 

• 자세한 과제를 완료 한 과제를 다시 가져 오라고 요청했습니다.

Each workshop included large group introduction to, and discussion of, key ideas, small group activities with circulating CTL faculty facilitators, followed by whole-class plenary to share insights. At the end of each workshop students were assigned tasks for applying the learned ideas to basic science course material, and asked to bring back completed assignments for further discussion.

• 첫 번째 워크샵에는 방금 실패한 2 주 시험과 관련된 감정에 대한 소규모 및 대규모 그룹 토론과 학생의 현재 학습 전략에 중점을 둔 활동 및 용어(공부, 학습, 복습)의 의미에 대한 인식 탐구가 포함되었습니다. 자기조절학습 이론 (Zimmerman 2000)에 대한 간략한 개요를 제공 한 후 학생들은 시간 관리 및 강의 미리 보기 활동에 참여했으며, 이 때 앞으로 사용될 용어의 사용과 정의에 주의를 기울이도록 했다. 이로써 새로운 지식과 사전 지식을 연결하는 것의 중요성을 보여주었다 (Dewey 1929).

• 두 번째 워크샵은 강연 자료의 조직 및 비판적 평가를 하였는데, 이 때 조별로 고차원 질문을 만들거나, 개념지도와 같은 학습결과물을 만들었다.

• 최종 워크샵은 MCQ에 답하고 MCQ로부터 배우는 것을 다루었으며, 문항 줄기 다시쓰기, 정답에 대한 해설 달기, 학습에 대한 자신감 확인, 구체적인 knowledge gap 확인 등을 중심으로 이루어졌다.

• 6 명의 CTL 교수 중 한 명이 지원 한 후속 소그룹 (4-7ss / group) 회의에서 ELLS 과정 (Winston et al. 2010a)에서 가져온 다른 활동을 소개하면서 이러한 아이디어를 상세히 설명했습니다.

• The first workshop included small and large group discussion of the emotions related to the just-failed week-2-exam, with activities focused on students’ current study strategies, and exploration of their perception of the meanings of terms like ‘‘study’’, ‘‘learn’’ and ‘‘review’’. After providing a brief overview of self-regulated learning theory (Zimmerman 2000), students were engaged in time-management and lecture- previewing activities, with careful attention to language use and definitions of previously learned terms that were about to appear in upcoming lectures, to demonstrate the importance of linking new learning to prior knowledge (Dewey 1929). 

• The second workshop involved organization and critical appraisal of lecture material, with groups working on asking higher order questions and the creation of study products such as concept maps. 

• The final workshop revolved around techniques for answering and learning from multiple-choice questions, including rephrasing of question stems, explanation of answer choices, and the use of confidence marking for judgments of learning and identification of specific knowledge gaps. 

• In the follow-up small group (4–7ss/group) meetings, each facilitated by one of six CTL faculty, these ideas were elaborated upon, along with introduction of other activities drawn from the ELLS course (Winston et al. 2010a).

결과

Results

고찰

Discussion

Fail에 관한 더 나은 예측 인자를 찾는 우리의 첫 번째 목적은 의대생을 대상으로 한 확실한 목표였습니다. 같은 학교 내에서 조기 및 후기 교육 사이의 이러한 연결 고리는 다른 연구결과와도 부합하는데, 학부 교육 연구 (Tanilon 외, 2011)를 비롯하여 UK (Yates 2011) 및 네덜란드 (Stegers-Jager 외. 2013)의 의과 대학 연구와도 일치한다, 따라서 의과대학에서의 초기 성과에 대한 척도는 미래의 의대 학교 성과에 대한 가장 좋은 지표입니다.

Our first aim of finding an improved predictor of failure was certainly achieved for our specific population of medical students. This link between early and late performance within the same school mirrors the findings of others, from undergraduate education studies (Tanilon et al. 2011), to medical schools in UK (Yates 2011) and Netherlands (Stegers-Jager et al. 2013), so perhaps measures of early medical school performance are our best indicators of future medical school performance.

첫째, 워크숍 시리즈가 진행됨에 따라 참석을 덜 한다던가, 뒤이은 더 효과적인 소그룹 세션에 최소한의 학생만 참석하는 것 등은 weaker 학생들에게 흔히 발견되는 낮은 수준의 help-seeking 과 일치한다 (Devoe 외. 2007; Winston et al. 2010a). 또한 학생들이 성적을 향상시킨 연습을 싫어하고 (Leggett 외. 2012), 자기보고 측정은 객관적 결과와 관련이 없다는 것을 발견했습니다 (Bowman 2010).

Firstly, the diminishing attendance as the workshop series progressed, and minimal take-up of the ensuing, and more effective, small group sessions, is in keeping with the commonly reported limited help-seeking of weaker students(Devoe et al. 2007; Winston et al. 2010a). Others have found that students dislike exercises that have improved their performance (Leggett et al. 2012) and that self-report measures are unrelated to objective outcomes (Bowman 2010).

어떤 역량을 위해 필요한 기술이 그 역량을 평가하는 데 필요한 기술과 유사하다는 점을 고려할 때 (Kruger & Dunning 1999), struggling 학생들이 그들에게 제공되는 도움에 대해서 제대로 판단하지 못하는 것은 당연합니다. 이는 그러한 개입을 의무화할 필요성을 강조한다. 이전 연구는 참여를 필수로 만들더라도 자발적으로 참여한 경우와 마찬가지로 재교육이 효과적이었다는 것을 보여주었습니다 (Winston et al. 2010a) : 학생들이 기술을 개발하고 실제 행동 변화에 필요한 노력을 기울이는 데는 시간이 걸립니다. 재교육에 대한 학생의 태도는 프로그램이 진행됨에 따라 더욱 긍정적으로 변하기 때문에 (Winston et al. 2010b) failure를 사전에 예방하려는 시도로서 학생들에게 그러한 중재의 가치를 받아들이거나 이해할 수있는 기회를 제공하기 위해서 참가를 의무화 하는 것은 합당해 보인다.

Given that the skills required for competence are similar to the skills required to evaluate that competence (Kruger & Dunning 1999), it is unsurprising that struggling students are not the best judges of the help provided for them. This reinforces the need for such interventions to be mandatory. Previous work showed that effective remediation with voluntary participation remained equally effective after participation was required (Winston et al. 2010a): it takes time for students to develop the skills and make the commitment of effort needed for real behaviour change. Students’ attitudes to remediation become more positive as the programme progresses (Winston et al. 2010b), so it makes sense to require participation in attempts at prevention of failure to afford students the opportunity to appreciate and understand the value of such interventions.

학생 설문 조사에서 긍정적 응답이 나왔음에도 불구하고, 대규모 그룹 워크샵은 전반적인 합격률에 통계적으로 유의한 차이를 만들어내지 못했으며, 소그룹 세션은 약간의 효과가있는 것으로 나타났습니다. 

• 대규모 수업은 alienating하며, 동기 부여를 떨어 뜨릴 수있다 (Etten et al 2008). 

• 반면 소규모 수업은 생각과 태도의 발달을 촉진하고 (Edmunds & Brown 2010) 더 많은 상호 작용을 유도하며, 교사에게 집중하기 좋다(Blatchford et al., 2011). 

Despite positive student surveys, our large group workshops made no statistical difference to overall pass rates, while the small group sessions appear to have had some effect. 

• Large classes can be alienating and de-motivating (van Etten et al. 2008), 

• while smaller classes promote development of thought and attitude (Edmunds & Brown 2010) and allow for more interaction and teacher attention (Blatchford et al. 2011). 

Affect는 추론과 학생 참여의 중요한 요소입니다 (Taylor 2010). 실패할 위험에 직면한 워크샵 참가자들은 익숙하지 않은 동료들과 같은 대규모의 청중 앞에서 자신의 상황에 대한 정서적인 측면을 다루기가 어려웠습니다. 교수진이 몇 차례의 미팅에서 대규모 학생들에게 제공 할 수있는 객관적인 주장은 행동에 영향을 미치지 않을 수도 있습니다 (Jonas 2010). 

Affect is an important element of both reasoning and student engagement (Taylor 2010). Confronted with the prospect of failure, it was difficult for our workshop participants to address the affective aspect of their situation before such a large audience of unfamiliar colleagues. The objective arguments faculty can deliver to a large group in a few meetings may not affect behaviours (Jonas 2010): 

• 친숙함과 신뢰에서 기인하는 긍정적 무드는 종종 변화의 선결 요건입니다 (Geertsma 1977). 

• 이러한 신뢰는 시간에 걸쳐 안정된 그룹으로 발달하는 학생들의 관계에서 비롯하며, 이 그룹에서 학생들은 상호 동기 부여와 지원을 제공하고, 서로의 공헌을 인정하게 된다 (Winston 외. 2010b). 

• 그룹에 대한 소속감과 친숙함은 긍정적 목표가 전염contagion되도록 하며, (Eren 2009) 효과적인 인지 작업 및 협동 학습을 위한 사회적 규제 기반social regulatory foundation을 제공합니다 (Volet 외. 2009). 

• the positive mood that emerges from familiarity and trust is often a prerequisite for change (Geertsma 1977). 

• Such trust emerges from the relationships that develop in stable groups over time, as students provide mutual motivation and support, and come to appreciate each other’s contributions (Winston et al. 2010b). 

• The feeling of group membership and familiarity can result in contagion of positive goals (Eren 2009), and provides the social regulatory foundation for effective cognitive work and collaborative learning (Volet et al. 2009). 

이 중 어느 것도 참가 인원의 변동이 심한 대규모 그룹에서 쉽게 달성 할 수 없으며, 시간을 늘리거나 그룹 크기를 줄이는 것이 우리의 개입 노력에 도움이 될 수 있음을 시사합니다.

None of this is readily achievable in a large group setting with variable attendance, and suggests that increasing time and reducing group size may be helpful to our intervention efforts.

대규모 그룹 환경에서도 안정된 팀과의 정기적 모임을 통해 학생 간 지지 관계가 형성 될 수 있다고하더라도, 학생들과 교사와의 관계를 구축하는 문제는 여전히 존재한다 (Cate et al. 2011). 시간이 지남에 따라 발전하는 교사 - 학생 관계는 학생 학습, 참여 및 동기 부여에 중요한 요소입니다 (Hauer 외. 2012). 소규모 그룹 세팅은 교사와 학생 간의 상호 자신감과 신뢰를 가능하게하고 진화하는 의사 소통 공간을 제공하며, 이는 피드백이 수용되는 방식에 큰 영향을 미칩니다 (Eva 외. 2010).

Even if supportive relationships among students could be created in large group settings through regular meetings with stable teams, there remains the issue of building students’ relationships with teachers, which are often undervalued (ten Cate et al. 2011). The teacher-student relationship that develops over time is a significant factor in student learning, engagement and motivation (Hauer et al. 2012). Small group settings afford the space for communication that both enables and evolves from mutual confidence and trust between teachers and students, which in turn heavily influences the way feedback is received (Eva et al. 2010). 

전문가 교사의 피드백은 자기조절 및 성공적인 재교육의 핵심 구성 요소입니다 (Winston 외. 2012). 유용한 피드백을 제공하려면 교사가 학습자를 이해하고 특정 어려움을 진단하며 학습 프로세스 개선을 위해 일반화해주어야 한다. 그러나 본 연구의 중재에서는 학습에 대한 critique은 학생의 몫으로 남겨졌고, 교사는 둘러보며 가끔 의견을 제시하기만 했다. 이러한 방식의 문제는 학생들이 자발적으로 높은 수준의 비판적 토론을 하지 못한다는 것이다 (Gillies 2011). 전문가 퍼실리테이터들은 학생들이 자신의 comfort zone을 벗어나서, 탐험적인 이야기를 하도록 가이드를 주고 challenge해 주어야 할 필요가 있다 (Stoyanova & Kennedy 2010, Winston 외. 2012).

Feedback from expert teachers is a key component of the development of self-regulation and successful remediation (Winston et al. 2012), and the provision of useful feedback requires the teacher to understand her learners, diagnose specific difficulties and offer generalizations for improvement of learning processes. However, in this intervention, critique of student learning was left to the student teams, while teachers circulated and offered occasional comments. This is problematic because students do not spontaneously produce high-level, critical discussions (Gillies 2011), and need guidance and challenges from expert facilitators to provoke them out of their comfort zones into deeper, exploratory talk (Stoyanova & Kennedy 2010; Winston et al. 2012). 

대규모 그룹 상황에서는 학생들이 가진 여러가지 우려가 잘 드러나지 않으며, challenge 되지도 않기 때문에 이러한 경청을 통한 facilitation이 매우 어렵게 된다. 따라서 우리는 후속 소그룹 세션이 대그룹 워크샵보다 결과에 장기적인 차이를 줄 것으로 기대할 수 있습니다. 또한 이번 연구 결과는 교사 경험이 학생의 출석과 참여를 유지하는 데 중요하다는 것을 제시하며, 이는 우리의 초기 연구 결과 (Winston et al. 2012)와도 일치한다. 즉 재교육의 결과는 경험이 없는 교사보다 경험이 있는 교사가 훨씬 더 낫다. 이것이 시사하는 바는 교사 - 학생과 학생 - 학생 관계를 신뢰하는 것이 성공적인 재교육과 failure 예방의 중요한 요소이며, 안정적인 소그룹은 이러한 관계를 발전시키는 데 가장 효과적인 환경을 제공 할 수 있다는 것이다.

The careful listening that is required for such facilitation is extremely difficult in a large group situation, where many student concerns are neither raised nor challenged.  Thus, we might expect the small group follow-up sessions to make more long-term difference to outcomes than the large-group workshops. The results also suggest that teacher experience matters in maintaining attendance and engagement of students, reinforcing the findings from our earlier work (Winston et al. 2012) that outcomes of remediation are significantly better for experienced than for inexperienced teachers. The implication is that trusting teacher-student and student–student relationships are an important ingredient of both successful remediation and prevention of failure, and that stable small groups may offer the most effective environment for developing these relationships.

우리의 결과는 또한 재교육와 예방의 실천이 dose effect를 설명할 필요가 있다는 점증하는 증거를 추가합니다. 이전에 우리는 15 개 이상의 ELLS 세션에 참여한 학생이 10 회 미만의 세션에 참여한 학생보다 장기 성공 가능성이 두 배 더 높음을 발견했습니다 (Winston 외. 2010a). 여기에서 워크샵과 소그룹 세션을 합친 최대 용량은 겨우 9 개였으며오직 극소수의 학생들만 이 세션을 모두 따라왔다. 다른 사람들도 마찬가지로 지원 프로그램에 대한 출석률 향상이 더 나은 결과와 관련이 있다는 것을 발견했다 (Muraskin 1997, Stegers-Jager et al., 2013) 즉, 짧은 프로그램은 장기적인 개선을 가져 오지 않는다 (Pell et al. 2012).

Our results also add to the growing evidence that the practice of remediation and prevention of failure needs to account for a dose effect. Previously, we found that students who attended more than 15 ELLS sessions were twice as likely to achieve long-term success than students who attended fewer than 10 sessions (Winston et al. 2010a). Here, the maximum dose, with workshops and small group sessions combined, was just nine, and only very few students reached this. Others have similarly found that increased attendance at support programmes correlates with better outcomes (Muraskin 1997; Stegers-Jager et al. 2013), and that short programmes do not produce long-term improvements (Pell et al. 2012). 

고립된, 짧은 개입은 거의 성공하지 못합니다 (McLaughlin 2012), 왜냐하면 행동 변화, 비판적 사고 처리의 발달 및 새로운 기술 습득은 필연적으로 시간이 걸리기 때문에, 레귤러한 환경에서 연속적인 대화와 피드백이 요구되기 때문이다.  (Paul et al., 2009), (Dewey 1910, Kahneman 2011) (학생의) 스킬 및 성향에 근본적인 변화를 주기를 원한다면 소수의 회의로는 명백하게 부족하며, 우리는 한 학기 동안, 매주 두 번씩 만나는 것이 가장 효과적인 dose를 찾아나갈 좋은 시작점이 될 것이라고 제안 할 것입니다.

Isolated, brief interventions rarely succeed (McLaughlin 2012), since behaviour change, development of critical thinking dispositions, and acquisition of new skills necessarily take time (Paul et al. 2009), requiring extended interaction with consecutive discourse and feedback in a regular environment (Dewey 1910; Kahneman 2011). A handful of meetings is clearly inadequate for fundamental change in skills and dispositions, and we would suggest that meeting twice each week for one semester would be a good place to start exploration of the most effective dose for an intervention to prevent failure in at-risk professional students.

마지막으로, 성공적인 프로그램은 다음에 대한 시스템 관점을 필요로할 것이다.

• 명확한 행정 지원 (Lieberman et al. 2010), 

• 유연한 커리큘럼 옵션, 

• 수업과 자습을 위한 시간, 

• 신중하게 설계된 지원 프로그램 대한 참여 

Finally, a successful programme probably needs a systemic perspective with 

• clear administrative support (Lieberman et al. 2010), 

• flexible curricular options, and 

• dedicated time for self study, classwork, and 

• participation in carefully designed support programmes.

Limitations and further work

Conclusions

의대 학교의 첫 2 주 후에 시험을 치르는 것은 투쟁 할 학생들의 목표 인구에 대한 초기 예측자를 찾는 우리의 목표에 매우 적합합니다. 연구를 통해 prediction task와 target task간의 유사성은 조기 개입을 목표로 할 때 충분한 정확도를 제공한다는 것을 확인했습니다.

An exam after the first two weeks of medical school seems well-suited to our aim of finding an early predictor for our target population of students likely to struggle, confirming the notion that close similarity between predictor task and target task provides sufficient accuracy for targeted early interventions.

실패 예방을 위해 치료와 마찬가지로 개입의 유형과 세부 사항이 중요 할 수 있습니다. 절충안은 심각한 문제점을 안고 있으며, 점점 더 다양 해지는 학생 집단을 성공적으로 지원하려면 업무량 및 교육 과정 유연성과 같은 시스템 문제를 해결하는 것이 중요합니다. 예방적 개입은 특정 상황에 맞춰 조정될 필요가 있다. 그러나 성공을 위해서는 적어도 한 학기 동안 최소 12 회의 미팅을 가지고, 이 미팅에 이어서 학습 내용에 적용함으로써 자기 조절 및 메타인지 기술을 가르치는 것이 필요해 보인다.

For prevention of failure, as with remediation, the type and details of intervention are likely to matter. Compromise solutions present serious challenges, and it is essential that systemic issues, such as workload and curricular flexibility, are addressed if we are to maximise the likelihood of successfully supporting our increasingly diverse student populations. Preventive interventions will need to be tailored for specific contexts, but it seems likely that a series of at least a dozen meetings over a minimum of one whole semester, following a flexible syllabus that teaches self-regulatory and metacognitive skills through application to content, would be necessary ingredients for success. 

예를 들어, 우리 자신의 맥락에서, 이것은 첫 번째 시험을 통과하지 못한 학생들에게 de=accelerated track을 제공함으로써 세심한 참여를 위한 충분한 시간과 공간을 제공하는 것과 같다. 우리의 결과에 따르면, 이상적으로는, 경험이 풍부하고 mindful한 교수 진행자가 소규모의 stable 그룹을 진행하여, 여기에 의무적으로 출석하도록 하고, 그 결과로 정서적으로 지지가되는 관계를 만들어, 충분한 학업적 강건함과 적시에 건설적인 피드백을 받게 해야 한다. 그 결과로 학생들은 시간이 지남에 따라 기술을 개발하고 적용 할 수 있게 될 것이다.

In our own context, for example, this might involve offering a de-accelerated track to students who fail the first exam, thus providing enough time and space for attentive participation. Our results suggest that, ideally, this would happen through mandatory attendance in small stable groups led by experienced, mindful faculty facilitators, in which emotionally supportive relationships allow for sufficient academic rigour and timely constructive feedback for students to develop and apply their skills over time.

Cleland J, Leggett H, Sandars J, Costa MJ, Patel R, Moffat M. 2013. The remediation challenge: Theoretical and methodological insights from a systematic review. Med Educ 47:242–251.

Paul G, Hinman G, Dottl S, Passon J. 2009. Academic development: A survey of academic difficulties experienced by medical students and support services provided. Teach Learn Med 21(3):254–260.

Eva KW, Munoz J, Hanson MD, Walsh A, Wakefield J. 2010. Which factors, personal or external, most influence students’ generation of learning goals? Acad Med 85(10):S102–S105.

Shulruf B, Poole P, Wang GY, Rudland J, Wilkinson T. 2012. How well do selection tools predict performance later in a medical programme? Adv Health Sci Educ 17(5):615–626.

Griffin B, Wilson IG. 2012. Faking good: Self-enhancement in medical school applicants. Med Educ 46(5):485–490.

Winston KA, Van der Vleuten CPM, Scherpbier AJJA. 2010a. An investigation into the design and effectiveness of a mandatory cognitive skills programme for at-risk medical students. Med Teach 32(3):236–243.

Winston KA, Van Der Vleuten CPM, Scherpbier AJJA. 2010b. At-risk medical students: Implications of students’ voice for the theory and practice of remediation. Med Educ 44:1038–1047.

Lieberman SA, Ainsworth MA, Asimakis GK, Thomas L, Cain LD, Mancuso MG, Rabek JP, Zhang N, Frye AW. 2010. Effects of comprehensive educational reforms on academic success in a diverse student body. Med Educ 44(12):1232–1240.

Winston KA, Van Der Vleuten CPM, Scherpbier AJJA. 2012. The role of the teacher in remediating at-risk medical students. Med Teach 34(11):e732–e742.

McLaughlin K. 2012. Navigating in the fog of medical school admissions data. Adv in Health Sci Educ 17:627–629.

Yates J. 2011. Development of a ‘toolkit’ to identify medical students at risk of failure to thrive on the course: An exploratory retrospective case study. BMC Med Educ 11(1):95.

---

Med Teach. 2014 Jan;36(1):25-31. doi: 10.3109/0142159X.2013.836270. Epub 2013 Oct 1.

Prediction and prevention of failure: an early intervention to assist at-risk medical students.

Winston KA1, van der Vleuten CP, Scherpbier AJ.

Author information

1

Bangor University , UK.

Abstract

BACKGROUND:

Consistent identification and prevention of failure for at-risk medical students is challenging, failing courses is costly to all stakeholders, and there is need for further research into duration, timing and structure of interventions to help students in difficulty.

AIMS:

To verify the value of a new exam two weeks into medical school as a predictor of failure, and explore the requirements for a preventative intervention.

METHODS:

Students who failed the two-week exam were invited to a series of large-group workshops and small-group follow-up meetings. Participants' subsequent exam performance was compared with non-participants.

RESULTS:

About 71% of students who performed poorly in the new exam subsequently failed a course. Attendance at the workshops made no difference to short- or long-term pass rates. Attendance at more than three follow-up small group sessions significantly improved pass rates two semesters later, and was influenced by teacher experience.

CONCLUSIONS:

Close similarity between predictor task and target task is important for accurate prediction of failure. Consideration should be given to dose effect and class size in the prevention of failure of at-risk students, and we recommend a systemic approach to intervention/remediation programmes, involving a whole semester of mandatory, weekly small group meetings with experienced teachers.

PMID:

 

24083365

 

DOI:

 

10.3109/0142159X.2013.836270