보건의료인교육에서 시험-강화 학습: 체계적 문헌고찰(BEME Guide No. 48) (Med Teach, 2018)

보건의료인교육에서 시험-강화 학습: 체계적 문헌고찰(BEME Guide No. 48) (Med Teach, 2018)

Test-enhanced learning in health professions education: A systematic review: BEME Guide No. 48

Michael L. Greena, Jeremy J. Moellerb and Judy M. Spakc

도입

Introduction

교육자들은 보통 "학습의" 평가를 생각한다. 학과 과정이 끝날 때, 학생들은 공부를 통해 이전에 배웠던 정보를 기억한다. 최근 교육자들은 평가를 교육적 전략으로 고려하는 "학습을 위한" 평가로 눈을 돌렸다(슈퍼스와 반 데어 벨루텐 2011). 평가는 학생들의 학습 행동을 유도하여 간접적으로 학습을 강화한다(리허설 효과)(Fitch et al. 1951; Newble and Jaeger 1983)

Educators commonly think of assessment “of” learning. At the end of a course of study, students recall information previously learned through studying. Recently, educators have turned their attention to assessment “for” learning (Schuwirth and Van der Vleuten 2011), considering assessment as a pedagogical strategy in and of itself. Looming assessments indirectly enhance learning by driving students’ study behaviors (rehearsal effect) (Fitch et al. 1951; Newble and Jaeger 1983).

평가는 또한 직접적으로 학습을 향상시킨다. 인지 심리학 실험실(Roediger and Butler 2011; Karpicke and Gimaldi 2012), 교실(Roediger et al. 2011; Agarwal et al. 2012)에 대한 연구는 이전에 학습한 정보(Retural practice)를 상기하면 미래에 정보를 기억하는 능력이 향상된다는 것을 일관되게 입증한다. 정보를 기억하기 위해 노력하며 신중한 시도를 하는 학생들은 같은 자료를 반복적으로 공부하는 학생들보다 더 나은 학습, 보존 및 이전을 보여준다. 이 효과는 시험의 맥락 안에서 검색 관행이 발생할 때 "시험 강화 학습(TEL)"으로 알려져 있다.

Assessment also directly enhances learning. Studies in cognitive psychology laboratories (Roediger and Butler 2011; Karpicke and Grimaldi 2012) and classrooms (Roediger et al. 2011; Agarwal et al. 2012) consistently demonstrate that recalling previously learned information (retrieval practice) enhances the ability to recall the information in the future (retrieval effect). Students who engage in effortful, deliberate attempts to recall information show better learning, retention, and transfer than students who spend the same time repeatedly studying the same material. This effect is also known as “test-enhanced learning (TEL)” when the retrieval practice occurs in the context of a test.

• 몇 가지 시험 형식은 검색 효과를 향상시킨다. 반복된 테스트는 긴 단일 테스트보다 더 나은 리콜을 촉진한다(Wheeler and Roediger 1992; Karpicke and Roediger 2008). 

• 시간 간격에 따른 간격 테스트로 연속 연속 테스트(Landauer and Bjork 1978); Cepha et al. 2006; Karpicke and Roediger 2007)에 비해 더 나은 회수 결과가 나타난다. 이러한 효과는 1분에서 30일까지 간격마다 지속된다. 

• Spacing간격이 같으면 간격이 확대되는 것보다 장기 보존이 더 효과적이다. 

• 정보의 생산을 요구하는 항목(짧은 답변, 에세이)은 정보의 인식을 요구하는 항목(다중 선택, 참/거짓)보다 더 나은 성과를 낸다. (McDaniel, Anderson 등, 2007; McDaniel, Roediger 등, 2007; Pyc 및 Rawson 2009) 

• 피드백을 받은 학생들은 더 많은 정보를 상기하고 강화된 메타 인식 인식을 즐긴다(Bangert-Drowns et al. 1991; Butler et al. 2008).

• Several test formats enhance the retrieval effect. Repeated testing promotes better recall than a long single test (Wheeler and Roediger 1992; Karpicke and Roediger 2008). 

• Spacing tests over time intervals results in better recall compared with back-to-back consecutive testing ( Landauer and Bjork 1978; Cepeda et al. 2006; Karpicke and Roediger 2007). These effects persists at spacing intervals from one minute to 30days. 

• Equal spacing intervals produce better long-term retention than expanding intervals. 

• Items that require production of information (short answer, essay) perform better then items that require recognition of information (multiple choice, true/false). (McDaniel, Anderson, et al. 2007; McDaniel, Roediger, et al. 2007; Pyc and Rawson 2009) 

• Students who receive feedback recall more information and enjoy enhanced metacognitive awareness (Bangert-Drowns et al. 1991; Butler et al. 2008).

이러한 발견들은 학습자들에게 시사하는 바가 있다. 대학생들은 대부분 재독을 학습 전략으로 사용하고 검색 실습을 거의 하지 않기 때문에 검색 효과에 대한 인식이 부족한 것으로 보인다(Karpicke et al. 2009).

These findings have implications for learners. College undergraduates appear to lack an awareness of the retrieval effect as they most commonly employ rereading as a learning strategy and very rarely engage in retrieval practice (Karpicke et al. 2009).

보다 최근에는, 조사관들이 건강직업 교육에 있어서 회복 효과를 입증했다.

More recently, investigators have demonstrated the retrieval effect in health professions education.

TEL의 표준화된 효과 크기는 0.9로 추정되어 실질적인 중요성이 크다(Kreiter et al. 2013).

The standardized effect size of TEL has been estimated at 0.9, indicating large practical importance (Kreiter et al. 2013).

방법

Methods

리뷰 문제

Review questions

우리의 체계적 검토는 질문을 다루었다: 학생이나 공급자(과목)에서, 동일한 자료(비교)를 공부하는 것에 비해 TEL (인터벤션)은 학습, 유지 또는 이전을 증가시키고, 효과의 크기는 어떻게 되는가? 몇 가지 부수적인 질문이 보충 부록 1에 열거되어 있다. 우리는 또한 TEL의 추가 연구를 위한 지역들을 조명했다. 이 mapping review에서는 TEL 문헌의 격차와 방법론적인 단점을 식별하기 위해 노력했다(부록 1 참조).

Our systematic review addressed the question: In health professions students or providers (Subjects), does TEL (Intervention) compared to studying the same material (Comparison) increase learning, retention, or transfer, and what is the magnitude of the effect (Outcome)? Several subsidiary questions are listed in Supplementary Appendix 1. We also illuminated areas for further study in TEL. In this mapping review, we sought to identify gaps and methodologic shortcomings in the TEL literature (Supplementary Appendix 1)

Search strategy

Screening and selection of studies

Inclusion and exclusion criteria

Data extraction and coding

To allow comparison of effects among heterogeneous studies, we determined the effect size (Hojat and Xu 2004; Leppink et al. 2016) if the study provided the requisite data. The effect size for comparing means is determined as the standardized mean difference (SMD). 

For comparing an intervention group to a control group: 

SMD=(meancases- meancontrols)/SDcontrols. 

For comparing two interventions: 

SMD=(meancases - meancontrols)/SDpooled. 

As a measure of the impact of an intervention, the SMD is operationally interpreted as:

• SMD = 0.20 (SMALL, negligible practical importance)

• SMD = 0.50 (MEDIUM, moderate practical importance)

• SMD = 0.80 (LARGE, crucial practical importance)

Assessment of study methodological quality

Reproducibility of data abstraction processes

Results

Reproducibility analyzes

Study retrieval, screening, and inclusion

Figure 1 shows the flow diagram of study screening and eligibility.

The characteristics of the 19 studies (including two PhD theses) appear in Table 1 (study design), Table 2 (demographics, control, and TEL interventions), and Table 3 (outcome measures and results).

연구 특성

Study characteristics (study design)

The design and conduct of the studies, all randomized controlled trials (RCTs), were generally methodologically sound (Table 1).

연구 특성

Study characteristics (demographics, control, and TEL interventions)

이 과목에는 의대생(8개 연구), 간호학생(3개), 연합 보건대학원(2개), 주민(3개), CME 프로그램 내 의사(2개), 치과 및 치과위생과 학생(1개)이 포함되었다. TEL 개입에는 짧은 응답 질문(SAQ), 다중 선택 질문(MCQ), 시뮬레이션(심폐소생술), 표준화된 환자 및 핵심 기능 질문(임상적 추론)이 포함되었다. Key feature은 수험자가 오류를 범할 가능성이 높은 실제 문제의 식별 및 해결 과정에서 어려운 단계를 나타낸다. Key feature은 짧은 응답 형식의 사례 기반 질문에 포함되어 있다(Page et al. 1995; Hrynchak et al. 2014). 짧은 답변 항목은 큐(질문에 대한 응답)와 논큐(관련 정보의 free 리콜)으로 구분되었다.

Subjects included medical students (8 studies), nursing students (3), allied health students (2), residents (3), physicians in CME programs (2), and dental and dental hygiene students (1) (Table 2). TEL interventions included short answer questions (SAQs), multiple choice questions (MCQs), simulation (cardiopulmonary resuscitation), standardized patients, and key features questions (clinical reasoning). A key feature represents a difficult step in the identification and resolution of a problem in practice in which examinees are likely to make errors. Key features are embedded in casebased questions with short answer response formats (Page et al. 1995; Hrynchak et al. 2014). The short answer items were both cued (response to a question) and non-cued (free recall of relevant information).

복수 TEL 시험을 치른 12개 연구 중, 7개 연구는 반복 시험에 동일한 항목(라센, 버틀러, 로이디거 2013; 오글스비, 2013; 돕슨 외 2015; 맥코넬 외 2015b)을 포함했고, 동일한 주제에 대해 서로 다른 항목을 포함했다(리틀과 2014년 4개 포함).새로운 강의나 e-러닝 세션에 연결된 다양한 주제에 대한 다양한 항목(Schmidmaier et al. 2011; Cook et al. 2014; Messineo et al. 2015; Raupach et al. 2016). 

이러한 모든 연구는 연속 TEL 시험을 채택한 한 연구(Dobson 등 2015)를 제외하고 1주-2주 간격으로 반복 TEL 시험을 간격 설정했다. 공동 개입에는 평가 항목에 대한 피드백(이론적 또는 근거 없는 올바른 답변)과 자체 설명이 포함됐다. 후자의 경우, 학생들은 정보의 특정 부분이 중요한 이유와 그것이 기존의 지식과 어떻게 관련되어 있는지에 대한 설명을 생성했다(Chamberland et al. 2015).

Among the 12 studies in which students took multiple TEL tests, seven included identical items on repeated tests (Larsen, Butler, Lawson, et al. 2013; Larsen, Butler, Roediger 2013; Oglesby, 2013; Dobson et al. 2015; Larsen et al. 2015; McConnell et al. 2015b), one included different items on the same topics (Ali and Ruit 2014), and four included different items on different topics (Schmidmaier et al. 2011; Cook et al. 2014; Messineo et al. 2015; Raupach et al. 2016), linked to a new lecture or e-learning session. All of these studies spaced repeated TEL tests at 1–2week intervals, with the exception of one study (Dobson et al. 2015) that employed consecutive TEL testing. Co-interventions included feedback for assessment items (correct answers with or without rationale) and self-explanation. For the latter, students generated explanations about why a particular piece of information is important and how it relates to their existing knowledge (Chamberland et al. 2015).

성과 척도와 결과

Outcome measures and results

19개 연구는 검사(MCQ, SAQ, 에세이, 핵심 기능 질문), 방사선 해석, 시뮬레이션(심장 체포 시나리오), 표준화된 환자 평가(표3)를 포함한 49가지 학습 성과를 보고했다.

The 19 studies reported 49 learning outcomes, including examinations (MCQs, SAQs, essay, key features questions), radiograph interpretation, simulation (cardiac arrest scenario), and standardized patient assessment (Table 3).

6가지 즉각적인 학습 성과 중 5개는 학습보다 TEL을 선호했다(SMD 0.09–0.44). 2

3개의 retention 성과(1주–6개월) 중 21개는 학습보다 TEL을 선호했다(SMD 0.10–2.5).

Among the six immediate learning outcomes, five favored TEL over studying (SMD 0.09–0.44). 

Among the 23 retention outcomes (1week–6months), 21 favored TEL over studying (SMD 0.10–2.5).

세 가지 연구는 transfer에 대한 TEL의 영향을 입증했다. 이 연구의 모든 7가지 전달 결과는 연구보다 TEL을 선호했다. (SMD 0.33–1.1) 시간 경과에 따라 반복적으로 결과를 측정한 모든 연구는 TEL 효과의 붕괴를 발견했다.

Three studies demonstrated the impact of TEL on transfer: All seven transfer outcomes in these studies favored TEL over studying (SMD 0.33–1.1). All of the studies that repeatedly measured outcomes over time found a decay in the TEL effect.

15개의 결과가 서로 다른 TEL 전략을 비교했다. 테스트의 수를 변화시킨 유일한 연구는 1개에 대한 세 가지 TEL 테스트의 장점을 보여주지 못했다(Ali and Ruit 2014). 한 연구는 TEL 테스트당 질문 수를 변화시켰다. 학습 결과 점수는 매우 좁은 범위에서 증가했지만 질문 수가 1에서 5에서 10으로 증가했고 그 이상을 능가하는 이점이 없었다(Cook et al. 2014). SAQ 테스트는 두 가지 연구에서 네 가지 결과(SMD 0.86 및 1.1)에서 MCQ 테스트보다 더 나은 학습 결과를 낳았다(Ali and Ruit 2014; McConnell et al. 2015b). "Context rich" MCQ(지식의 적용 필요)가 "context free" MCQ(사실 인정 필요)보다 더 잘 수행되었다(McConnell et al. 2015b). 표준화된 환자의 TEL을 가진 학생은 SAQs TEL을 가진 학생보다 표준 환자 결과 테스트(SMD 0.71)에서 더 많이 보유했지만, 필기 시험 결과 테스트(Larsen 2013a)에서는 그렇지 않았다. co-intervention으로서 자기설명은 의대생들의 시험을 강화한 것보다 공부를 훨씬 더 향상시켰다.

Fifteen outcomes compared different TEL strategies. The only study that varied the number of tests failed to show an advantage of three TEL tests over one (Ali and Ruit 2014). One study varied the number of questions per TEL test. The learning outcome scores increased, albeit within a very narrow margin, as the number of questions progressed from 1 to 5 to 10 questions, with no further advantage beyond that (Cook et al. 2014). SAQ tests resulted in better learning than MCQ tests in four outcomes in two studies (SMDs 0.86 and 1.1) (Ali and Ruit 2014; McConnell et al. 2015b). “Context rich” MCQs (requiring application of knowledge) performed better than “context free” MCQs (requiring recognition of facts) (McConnell et al. 2015b). Students with standardized patients TEL retained more than students with SAQs TEL on a standardized patient outcome test (SMD 0.71) but not on a written examination outcome test (Larsen 2013a) Self-explanation as a co-intervention enhanced studying (SMD 0.68) to a greater degree than it enhanced testing (SMD 0.28) in medical students (Larsen et al. 2013b).

고찰

Discussion

인지심리학에 관한 연구는 이전에 학습된 정보(retrieval 실습)를 상기하면 미래에 (retrieval 효과 또는 시험강화학습) 정보를 상기할 수 있는 능력이 향상된다는 것을 일관되게 입증한다. 정보를 기억하기 위해 노력하며 신중한 시도를 하는 학생들은 같은 내용을 공부하는데 같은 시간을 보내는 학생들보다 더 나은 학습, 보존 및 이전을 보여준다.

Studies in cognitive psychology consistently demonstrate that recalling previously learned information (retrieval practice) enhances the ability to recall the information in the future (retrieval effect or test-enhanced learning). Students who engage in effortful, deliberate attempts to recall information show better learning, retention, and transfer than students who spend the same time studying the same material.

이 중에서, 단지 19개만이 TEL을 동일한 자료를 학습하거나 서로 다른 TEL 전략과 비교했다. 이러한 연구에서 TEL은 다양한 건강 직업, 학습자 수준, TEL 형식 및 학습 결과에 걸쳐 일관되고 강력한 효과를 보여주었다.

Of these, only 19 compared TEL to studying the same material or to an alternate TEL strategy. TEL, in these studies, demonstrated consistent and robust effects across different health professions, learner levels, TEL formats, and learning outcomes.

19개 연구의 설계와 수행은 모두 무작위 통제 시험이었고, 비교적 높은 품질 점수에서 지적한 바와 같이 일반적으로 양호했다.

The design and conduct of the 19 studies, all randomized controlled trials, was generally sound, as indicated by relatively high quality scores.

TEL은 인지학 및 교육학자에 의해 광범위하게 연구되어 왔다. 실험실 환경 및 1차, 2차, 2차 및 2차 교실에서의 검색 실행을 위한 효과 크기는 0.5로 추정되었다. 우리의 리뷰는 보건전문가들이 이러한 발견들을 내부화하고 TEL 연구에서 확장했다는 것을 보여주었다. 첫째, 두 연구는 모두 복수의 학습자, 설정 및 TEL 형식에 걸쳐 TEL의 일관성 있고 강력한 효과를 발견한다. 인지 심리학 연구는 TEL 개입과 학습 결과를 어떤 유형의 "검사"로 제한했지만, 보건 직업 교육 연구는 방사선 해석, 심폐소생술 시뮬레이션, 표준화된 환자 외 사고 및 임상 추론과 같은 광범위한 임상 평가를 포함했다.

TEL has been extensively studied by cognitive and educational pychologists ( Roediger and Butler 2011; Brame and Biel 2015; Eisenkraemer et al. 2013). The effect size for retrieval practice in laboratory settings and primary, secondary, and post-secondary classrooms has been estimated to be 0.5 (Rowland 2014; Adesope et al. 2017) Our review revealed that health professions educators internalized and extended these findings in their TEL research. Firstly, both literatures find consistent and robust effects of TEL across multiple learners, settings, and TEL formats. While the cognitive psychology studies confined TEL interventions and learning outcomes to “examinations” of some type, health professions education studies included a wider array of clinical assessments, such as radiograph interpretation (Baghdady et al. 2014), cardiopulmonary resuscitation simulation (Kromann et al. 2009, 2010), standardized patient et encounters (Larsen al. 2013a), and clinical reasoning (Raupach et al. 2016).

인지 심리학 실험은 반복된 TEL 테스트가 단지 하나의 시험보다 더 효과적이라는 것을 보여준다. 또한 시간 경과에 따른 시험 간격은 연속 시험보다 우수하다. 우리 7개 건강직업연구의 학생들은 단 1개의 TEL 시험을 치렀고, 나머지는 1주-2주 간격으로 2-8개의 TEL 시험을 보았다. 반복실험(3주)을 단일시험과 비교한 건강전문가들만이 반복실험의 장점을 발견하지 못했다(Ali and Ruit 2014). 이 예상치 못한 결과는 데이터의 극단적인 콘텐츠 특수성에 의해 설명될 수 있다.

Cognitive psychology experiments demonstrate that repeated TEL tests are more effective than just one (Wheeler and Roediger 1992; Roediger and Karpicke 2006; Karpicke and Roediger 2008). In addition, spacing the tests over time is superior to consecutive testing ( Landauer and Bjork 1978; Cepeda et al. 2006; Karpicke and Roediger 2007). Students in seven of our health professions studies took one only one TEL test, while the remainder took 2–8 TEL tests at 1–2 week intervals. The only health professions study that compared repeated testing (3 weekly) with a single test did not reveal an advantage to repeated testing (Ali and Ruit 2014). This unexpected finding might be explained by the extreme content specificity in the data.

인지심리학 연구에서 정보생성이 필요한 항목은 정보인식이 필요한 항목보다 더 잘 수행된다(McDaniel, Anderson 등). Roediger, 2007; McDaniel, et al. 2007; Pyc and Rawson 2009). 이 효과는 "원하는 어려움"이라고 불렸다. 우리의 리뷰는 보건 직업 교육에서 이러한 발견을 확인하였고, 다중 선택 질문보다 짧은 답변 질문의 이점을 보여주었으며, 문맥이 풍부한 다중 선택 질문(지식의 적용이 필요한 질문)의 이점을 입증하였다.

In cognitive psychology studies, items requiring production of information perform better than items requiring recognition of information (McDaniel, Anderson, et al. Roediger, 2007; McDaniel, et al. 2007; Pyc and Rawson 2009). This effect has been called “desirable difficulty.” Our review confirmed this finding in health professions education, demonstrating an advantage of short answer questions over multiple choice questions, and an advantage of context rich multiple choice questions (which require application of knowledge) over context free multiple choice questions.

검색 시도 후 피드백은 시험의 니모닉 효과를 증가시킨다(Bangert-Drowns et al. 1991). 여기에는 학생이 오답을 검색하고 "학습"하는 것을 방지하기 위해 (단순히 맞고 틀린 것이 아니라) 정답을 포함해야 한다(Butler 등, 2007; Butler 및 Roediger 2008). 이는 학생들이 distractor 옵션에서 잘못된 정보에 "노출"되기 때문에 인식 항목에 특히 중요하다. 또한 피드백은 답은 맞췄지만 자신감은 낮았던 응답의 retention을 강화한다(Butler et al. 2008).

Feedback after a retrieval attempt increases the mnemonic effect of testing (Bangert-Drowns et al. 1991). It should include the correct answer (not merely right or wrong) the student from to prevent retrieving and “learning” an incorrect response (Butler et al. 2007; Butler and Roediger 2008). This is particularly important for recognition items because the students are “exposed” to incorrect information in the distractor options (Butler et al. 2006). Feedback also enhances the retention of correct but low confidence responses (Butler et al. 2008).

심리학자들은 회수 효과를 설명하기 위해 몇 가지 이론을 제시했다. 메모리는 다음과 같은 두 가지 차원을 가질 수 있다. 저장storage 강도 및 검색retrieval 강도, Deficit processing theory에 따르면, 초기 학습 동안 이 두 가지는 서로 부정적인 상관관계가 있다. 검색의 어려움(검색 강도가 낮아짐)은 저장 강도의 상승을 가져온다. 정보를 기억하는 것은 그것을 읽거나 인식하는 것보다 더 어렵다. 이는 또한 간격 효과를 설명할 수 있다. 간격 효과는 연속 시험 시 정보를 상기하는 것보다 intervening time gap을 사용하여 정보를 반복적으로 호출하는 것이 더 어렵게 만들기 때문이다.

Psychologists have proposed several theories to explain the retrieval effect ( Roediger and Butler 2011; Karpicke and Grimaldi 2012; Yeh and Park 2015) Memory may have two dimensions: storage strength and retrieval strength, which, according to the deficient processing theory, are negatively correlated during initial learning. More difficult retrieval (lower retrieval strength) results in higher gains in storage strength. Recalling information is more “difficult” than reading or recognizing it. This may also explain the spacing effect as it is more “difficult” to repeatedly recall information with intervening time gaps than to recall it on consecutive trials. 

transfer appropriate processing theory에 따라 메모리 성능은 학습 맥락이 검색 맥락과 일치할 경우에 향상된다. 시험의 실행은 단순히 자료를 다시 읽는 것보다 최종 시험의 조건에 더 가깝다. 

Memory performance, per the transfer appropriate processing theory, is enhanced to the extent that the learning context matches the retrieval context. The act of testing as practice more closely approximates the conditions on the final test than simply rereading the material. 

마지막으로, 메모리에서 정보를 검색하면 메모리 추적을 상세히 설명하고 추가 검색 경로(큐)를 만들 수 있으며, 이는 정보가 미래에 다시 성공적으로 검색될 가능성을 더 높인다. 이러한 영향은 아마도 개별 시냅스 수준의 분자 변화와 뉴런 네트워크의 보다 광범위한 수정에 동반할 것이다(Friedlander et al. 2011).

Finally, retrieval of information from memory may elaborate the memory trace and create additional retrieval routes (cues), which make it more likely that the information will be successfully retrieved again in the future. At the neuronal level, these effects presumably accompany both molecular changes at the level of individual synapses and more widespread modifications of the neuronal network (Friedlander et al. 2011).

요컨대, 보건직의 TEL은 다양한 직업, 학습자 수준, TEL 형식 및 학습 성과 전반에 걸쳐 일관되고 강력한 효과를 보여주었다.

In summary, TEL in the health professions demonstrated consistent and robust effects across different professions, learner levels, TEL formats, and learning outcomes.

이러한 발견들은 건강직의 교육자들에게 몇 가지 의미를 가진다. 교육자들은 의료 정보의 리콜, 보존 및 이전을 강화하기 위해 커리큘럼에 TEL을 포함시킬 것을 고려해야 한다. 이상적으로는 TEL "시험"을 반복하고, 시간 경과에 따라 간격을 두고, 정보생성이 필요한 항목을 활용하고, 정확한 응답과 논리로 피드백을 포함시켜야 한다.

These findings have several implications for educators in the health professions. Educators should consider including TEL in their curricula to enhance recall, retention, and transfer of medical information. Ideally, TEL “tests” should be repeated, spaced over time, utilize items that require production of information, and include feedback with the correct responses and rationale.

교육자들이 이미 과중한 교과과정에 TEL을 통합하는 것은 어려울 수 있다. 

• 그들은 각각의 강의나 다른 학습 세션에 관계된 몇 개의 짧은 답안 문제를 가진 약간의 강의 시간에 퀴즈에 넣을 수 있다. 

• 학생들은 시험을 치르기 위해 그들의 헌신적인 학습 시간을 "빌려와야" 할지도 모른다. 

• 비록 그들이 퀴즈를 끝낸 후에 정답을 볼 수도 있지만, 그럼에도 불구하고 그들은 정해진 시간 간격에 걸쳐 그것을 다시 맞출 것이다. 

• 마지막으로, 선생님은 정답에 대한 설명을 제공하기 위해 수업시간에 퀴즈를 다시 볼 것이다. 

• 이 역할에서 교수진은 짧은 질문에 대한 "정답" 답변의 범위에 대해 명확한 설명을 제공해야 한다. 

우리의 검토 결과들은 커리큘럼 시간에서의 그러한 트레이드오프가 가치가 있을 것이라는 것을 암시한다.

It may be challenging for educators to integrate TEL into already overfilled curricula. They might appropriate some didactic lecture time for a quiz, with a few short answer questions, linked to each lecture or other learning session. The students might “borrow” some of their dedicated study time to take the quiz. Even though they might see the correct answers after completing the quiz, they would nonetheless retake it over specified time intervals. Finally, the teacher would revisit the quiz in class time to provide explanations for the correct answers. In this role, faculty should provide clear explanations for the range of “correct” responses to the short answer questions. The findings in our review suggest that such tradeoffs in curricular time would be worthwhile.

더욱이, 검색 관행은 공식적인 "시험"으로 제한될 필요가 없다. 학생이 자신이 배우고 있는 자료를 고려하고, 그것을 제쳐 두고, 그것을 적극적으로 재구성할 때마다, 그녀는 검색 연습을 하는 것이다. 여기에는 질문 간 온라인 학습 모듈(DelSignore et al. 2016; Raupach et al. 2016), 질문이 있는 전자 플래시 카드(Schmidmaier et al. 201) 및 다양한 문항 생성 애플리케이션이 포함될 수 있다. 

Furthermore, retrieval practice need not be restricted to formal “tests.” Whenever a student considers the material she is learning, sets it aside, and actively reconstructs it, she is engaging in retrieval practice. These might include elearning modules with interspersed questions (DelSignore et al. 2016; Raupach et al. 2016), electronic flashcards with questions (Schmidmaier et al. 2011), and various question generating applications. 

마지막으로, 교육자들은 검색 연습을 통합하기 위해 기존의 교육 "과제" 전략을 수정할 수 있다. 교육자들은 "오픈북" 학습 활동을 "closed book" 활동으로 바꿀 수 있으며, 그 다음에는 피드백을 줄 수 있다. 인지 심리학 연구에서, 이러한 "closed book" 방식이 take home quizzes에 적용되거나(Agarwal et al. 2008)와 개념 매핑(Blunt and Karpicke 2014)에 적용되어 학습이 크게 향상되었다.

Finally, educators can modify existing educational “homework” strategies to incorporate retrieval practice. Educators can change “open book” learning activities to “closed book” activities followed by feedback. In cognitive psychology studies, these “closed book” modifications applied to take home quizzes (Agarwal et al. 2008) and concept mapping (Blunt and Karpicke 2014) greatly enhanced learning.

우리의 발견은 또한 학생들과 훈련생들에게 영향을 끼친다. 대학생들은 메타인지 능력이 떨어지는 것을 보여준다. 그들은 실제로 반복된 회상 연습을 통해 더 많이 배우지만, 이렇게 해 보기 전까지 학생들은 반복된 읽기로 더 많은 것을 배울 것이라고 예측한다(Roediger와 Karpicke 2006). 이러한 믿음과 일관되게, 학부생들은 대부분 반복적인 독서를 연구 전략으로 사용하며, 인출 연습은 매우 드물게만 실천한다(Karpicke et al. 2009). 결과적으로, 보건전문직학생들은 효과적인 학습 전략으로 여러 TEL 퀴즈나 검색 관행을 쉽게 받아들이지 않을 수 있다. 

Our findings also have implications for health professions students and trainees. College undergraduate students demonstrate poor metacognitive awareness. While they actually learn more with repeated retrieval practice, they predict, prior to engaging, that they will learn more with repeated reading (Roediger and Karpicke 2006). Consistent with this belief, undergraduates most commonly employ repeated reading as a study strategy and very rarely engage in retrieval practice (Karpicke et al. 2009). Consequently, health professions students may not readily embrace multiple TEL quizzes or retrieval practice as an effective study strategy. 

교육자들은 설득력 있는 데이터를 공유하거나 학생들이 검색 연습을 하게 하여 반복된 판독에 비해 보존 상태가 개선되는지 확인해야 할 수 있다(Dobson 및 Linderholm 2015). 일단 TEL의 장점을 설득하면, 학생들은 평가가 단지 외부 이해관계자들에 의해 행해지는 행정적인 연습이 아니라는 것을 아는 데서 만족을 얻어야 한다. 반대로, 평가는 단순 학습이 할 수 없는 방식으로 학습을 장려한다.

Educators may need to share the persuasive data or invite students to try retrieval practice and see if it improves their retention compared to repeated reading (Dobson and Linderholm 2015). Once persuaded of the virtues of TEL, students should find gratification in the knowledge that assessment is not merely an administrative exercise imposed by external stakeholders. On the contrary, assessment promotes learning in ways that studying cannot.

---

Med Teach. 2018 Apr;40(4):337-350. doi: 10.1080/0142159X.2018.1430354. Epub 2018 Feb 1.

Test-enhanced learning in health professions education: A systematic review: BEME Guide No. 48.

Green ML1, Moeller JJ2, Spak JM3.

Author information

1

a Department of Internal Medicine and Teaching and Learning Center , Yale School of Medicine , New Haven , CT , USA.

2

b Department of Neurology , Yale School of Medicine , New Haven , CT , USA.

3

c Cushing-Whitney Medical Library , Yale School of Medicine , New Haven , CT , USA.

Abstract

BACKGROUND:

Cognitive psychology studies demonstrate that subjects who attempt to recall information show better learning, retention, and transfer than subjects who spend the same time studying the same material (test-enhanced learning, TEL). We systematically reviewed TEL interventions in health professions education.

METHODS:

We searched 13 databases, 14 medical education journals, and reference lists. Inclusion criteria included controlled studies of TEL that compared TEL to studying the same material or to a different TEL strategy. Two raters screened articles for inclusion, abstracted information, determined quality scores, and calculated the standardized mean difference (SMD) for the learning outcomes.

RESULTS:

Inter-rater agreement was excellent for all comparisons. The 19 included studies reported 41 outcomes with data sufficient to determine a SMD. TEL interventions included short answer questions, multiple choice questions, simulation, and standardized patients. Five of six immediate learning outcomes (SMD 0.09-0.44), 21 of 23 retention outcomes (SMD 0.12-2.5), and all seven transfer outcomes (SMD 0.33-1.1) favored TEL over studying.

CONCLUSIONS:

TEL demonstrates robust effects across health professions, learners, TEL formats, and learning outcomes. The effectiveness of TEL extends beyond knowledge assessed by examinations to clinical applications. Educators should include TEL in healthprofessions curricula to enhance recall, retention, and transfer.

PMID:

 

29390949

 

DOI:

 

10.1080/0142159X.2018.1430354

[Indexed for MEDLINE]