평가에서 독소 빼내기: 발달평가의 역할이 있는가? (Med Educ, 2016)

평가에서 독소 빼내기: 발달평가의 역할이 있는가? (Med Educ, 2016)
Taking the sting out of assessment: is there a role for progress testing?
Debra Pugh1 & Glenn Regehr2

 

 

평가의 의도하지 않은 결과
The unintended consequences of assessment

의대 교육에서 지식과 임상 기술에 대한 평가는 역량에 대한 판단에 자주 사용된다. 이러한 평가의 목표는 능력의 정확한 추정치를 얻는 것이지만, 평가의 의도하지 않은 잠재적 결과가 있다. 예를 들어, 학습(AOL)의 평가 모델에서는 성적을 배정하거나, 학습자를 능력 있는 학습자 또는 능력 없는 학습자(합격 또는 불합격자)로 분류하는 데 중점을 둔다. 이와 같이, 학습자의 관점에서 평가와 관련된 사회적 판단 또는 'sting'으로 인지되는 요소가 있다. 
In medical education, assessments of knowledge and clinical skills are frequently used to make judgements about competence. Although the goal of these assessments is to obtain an accurate estimate of ability, there are potential unintended consequences of assessment. For example, in an assessment of learning (AOL) model, the focus is on assigning grades or categorising learners into competent or not (i.e. pass or fail).1 As such, there is a perceived component of social judgement or ‘sting’ associated with assessment from the learner's perspective.

결과적으로, AOL에 초점을 둠으로써 학습자들이 반드시 배움을 촉진하지는 않으면서, 더 높은 시험 점수만을 얻는 노력 쪽으로 방향을 잡을 수 있다는 점에서 학습자들에게 긴장감을 조성한다. 따라서 시험 환경에 의해 야기되는 내재적 압력은 원치 않는 행동을 초래할 수 있으며, 이는 깊은 이해(예: 주입식 또는 암기)를 방해하는 공부 습관을 채택하는 것에서부터 노골적인 부정행위에 이르기까지 다양하다. 비록 그 차이가 미묘해 보일지 모르지만, 어떤 사람이 그 내용을 이해하는 목표보다는 시험에 합격하는 것을 목표로 공부할 때, 학습에 상당한 영향을 미칠 수 있다. 예를 들어, 연구는 [벼락치기 학습]이 [간격 학습]과 비교할 때 자료를 장기간 보존하는 데 덜 효과적이라는 것을 입증했다. 평가 형식은 또한 학습에 영향을 미칠 수 있는데, 학생들이 [저차원의 기술lower-order skills]을 평가하도록 설계된 시험에 대해 보다 피상적인 접근 방식을 사용하여 (평가 형식을 기반으로) 공부 전략을 변경하는 것으로 나타났기 때문이다.  
As a result, the focus on AOL creates a tension for learners in that they may be oriented more toward efforts that result in higher test scores without necessarily promoting learning. The inherent pressures created by a testing environment can therefore lead to unwanted behaviours, which may range from adopting study habits that hinder deep understanding (e.g. cramming or memorising by rote) to outright cheating. Although the difference may seem subtle, when one approaches studying with the goal of passing a test rather than the goal of understanding the material, there can be a significant influence on learning. For example, studies have demonstrated that cramming is less effective at leading to long-term retention of material when compared with spaced learning.2 The format of an assessment can also have an influence on learning, as students have been shown to alter their strategy for studying based on the format of an assessment, using more superficial approaches for tests thought to be designed to assess lower-order skills.3, 4

AOL 모델에서, 학습자에게 [평가]는 극복해야 하는 장애물로 취급될 가능성이 더 높다. 따라서 일정 기준(benchmark)에만 도달하면, 학습자가 취약 영역을 다시 검토하도록 하는 인센티브가 거의 없는 경우가 많습니다. 한 사람이 매우 높은 점수를 받든, 아주 약간만 받아들일 수 있는 점수를 받든 상관없이 미리 정의된 커트 점수를 성공적으로 충족시키는 한, 학습자에게 주는 메시지는 그러한 결함들이 상대적으로 미미하며 앞으로 나아갈 준비가 되어 있다는 것이다. 설령 학습자가 개선하고자 하는 동기가 있더라도, 시험 후에 제공되는 피드백은 종종 학습을 안내할 만큼 충분히 구체적이지 않다. 
In an AOL model, assessment is more likely to be treated by the learner as an obstacle that one must overcome. Thus, there is often little incentive for learners to revisit areas of weakness once the benchmark has been reached. As long as one is successful in meeting a predefined cut-score, regardless of whether one receives a very high score or only a marginally acceptable score, the message to learners is that those deficiencies are relatively insignificant and that they are ready to move on. Even if learners were motivated to improve, the feedback provided after a test is often not specific enough to guide learning.

아마도 더 우려되는 사실은 시험 중 다른 학생의 답안을 직접 복사하고 허가되지 않은 자료에 접근하는 행동을 포함하여 의대생들 사이에 [부정행위]가 널리 퍼져있다는 것이 여러 연구에서 입증되었다는 사실이다. 심지어 교육자들도 평가 과정을 회피하기 위해 부정직한 행동을 하고 싶은 유혹을 받을 수 있는데, 이는 표준화 시험의 조직적 부정행위와 관련된 혐의로 최근 미국에서 11명의 교사를 유죄판결을 받은 것에서 입증된다.10
Perhaps more concerning is the fact that several studies have demonstrated that cheating amongst medical students, including such behaviours as directly copying answers from another student and accessing unauthorised materials during a test, is widespread.5-9 Even educators may be tempted to engage in dishonest behaviour to circumvent assessment processes, as evidenced by the recent conviction of 11 teachers in the USA on charges related to systematic cheating on standardised tests.10

평가가 학습자의 역량을 보장하는 데 중요한 역할을 하는 것은 분명하지만, 이러한 [파괴적 행동]은 현재의 평가 문화가 실제로 학습이 촉진하려고 하는 바로 그 학습을 저해하고 있는지 여부를 의심하게 할 수 있다. AOL 모델과 대조적으로, 학습을 위한 평가 모델(AFL)은 [개선을 촉진하기 위해 학습자에게 피드백을 제공하는 기회로 평가를 사용]하는 것에 초점을 맞추고 있습니다. 동의어는 아니지만, AOL은 일반적으로 '총괄' 평가를 지칭하는 반면, AFL은 일반적으로 '형성' 평가를 지칭한다. 본 논문의 목적상

• '총괄'이라는 용어는 성과를 강조하는 고부담 평가(예: 등급)를 지칭하는 반면,
• '형성'이라는 용어는 피드백 제공을 우선시하는 저부담 평가의 맥락에서 사용될 것이다.

Although assessment clearly plays an important role in ensuring the competence of learners, these subversive behaviours may lead one to question whether or not the current assessment culture is actually undermining the very learning that it is purportedly trying to promote. By contrast with the AOL model, an assessment for learning model (AFL) focuses on using assessment as an opportunity to provide feedback to learners to promote improvement.11 Although not synonymous, AOL generally refers to ‘summative’ assessment, whereas AFL generally refers to ‘formative’ assessment. For the purposes of this paper,

• the term summative will refer to high-stakes assessments that emphasise achievement (e.g. grades), whereas
• the term formative will be used in the context of lower-stakes assessments that prioritise the provision of feedback.

그러나 이러한 평가 형태 사이에 상당한 중복이 있으며 둘 다 AOL 또는 AFL 모델에서 사용될 수 있다는 점에 유의해야 한다.
However, it is important to note that there is considerable overlap between these forms of assessment and both can be used in either AOL or AFL models.

AFL 모델에서는 판단보다는 성장의 기회 창출에 초점을 두는 것(즉, 최소 역량보다는 우수성을 강조하는 것)으로 이동하기 때문에, AOL 모델에서 주로 보이는 의도하지 않은 결과의 일부를 완화할 수 있는 잠재력을 가지고 있다. AFL 모델에서 평가 프로그램은 모든 개인(고성능이든 저성능이든)이 지속적인 개선을 위해 노력하는 것을 목표로 설계될 수 있다. 이런 의미에서 시험은 학습 도구가 되므로 흔히 사용되는 용어인 시험 강화 학습이 된다.
An AFL model has the potential to mitigate some of the unintended consequences associated with an AOL model because of the shift from a focus on making judgements to a focus on creating opportunities for growth (i.e. emphasising excellence rather than minimal competence). In an AFL model, a programme of assessment can be designed with the goal of challenging every individual (whether high or low performing) to strive for continuous improvement. In this sense, tests become learning tools, hence the often-used term test-enhanced learning.12

 

발달시험의 역할
The role of progress testing

평가의 초점을 AOL에서 AFL로 바꾸려면, 형성적 또는 총괄적 이유로 학습자의 강점과 약점을 완전히 파악하기 위해 많은 도구를 통합하는 [평가 프로그램]이 필요하다. AFL 모델에서 사용하기 위해 상당한 관심을 끌고 있는 것으로 보이는 한 가지 도구는 [발달시험]이다. 설계상, 발달시험의 청사진은 광범위한 컨텐츠 도메인(즉, 프로그램에 필요한 지식의 전체 영역)에 기초한다. 시험은 진행 상황을 감시하기 위해 훈련의 다른 단계에 있는 학습자에게 반복적으로 시행된다.13

• 예를 들어, 일부 의료 프로그램은 전체 학부 커리큘럼에 기초한 필기 진도 시험을 전체 학생 단체에 정기적으로 시행한다(예: 1년에 4회).
• 유사하게, 최소한 한 곳의 전공의 프로그램은 졸업에 필요한 훈련의 목표에 기초한 연간 임상 기술 진도 시험을 프로그램의 모든 전공의에게 제공한다.
• 많은 연구들이 지식 및 임상 기술의 성장을 도표화하고 피드백 제공을 허용하기 위해 발달시험이 사용될 수 있다는 것을 입증했다. 

Changing the focus of assessment from AOL to AFL will require a programme of assessment that incorporates many tools in order to get a complete picture of learners’ strengths and weaknesses for both formative and summative reasons.1 One tool that appears to be garnering significant interest for use in an AFL model is the progress test. By design, the blueprints of progress tests are based on a broad content domain (i.e. the complete domain of knowledge required for a programme). The tests are administered repeatedly to learners at different stages in their training in order to monitor their progress.13 

• For example, some medical programmes administer a written progress test based on the entire undergraduate curriculum to the entire student body at regular intervals (e.g. four times per year).14, 15
• Similarly, at least one residency programme offers, to all residents in the programme, an annual clinical skills progress test based on the objectives of training required for graduation.16
• A number of studies have demonstrated that progress tests can be used to chart growth of knowledge and clinical skills,14-18 and allow for the provision of feedback.19

 

발달시험은 단순히 진행률을 측정하는 것 이상의 [실질적인 이점]을 가지고 있는 것으로 보입니다. 서면 진도 시험의 사용은 국가 면허 시험의 성과 향상과 관련이 있는 반면, 발달시험으로 사용되는 객관적인 구조화된 임상 시험(OSCE)은 나중에 임상 기술의 국가단위 시험에 fail할 위험에 있는 전공의를 식별하는 데 유용한 것으로 나타났다. 
Progress tests appear to have tangible benefits beyond those of simply measuring progress. The use of written progress tests has been linked to improved performance in a national licensure examination,20 whereas objective structured clinical examinations (OSCEs) used as progress tests have been shown to be useful in identifying residents at risk of subsequently failing a high-stakes national examination of clinical skills.21

그러나 무엇보다도 [진행률 시험의 포괄성]과 [상대적으로 저부담 시험적인 특성]이 결합되어 AOL이 학습에 미치는 파괴적 영향을 완화시키는 데 도움이 될 수 있다는 점이 중요하다. 예를 들어, 평가되는 내용에 제한이 없기 때문에, 표적 학습, 암기, 벼락치기, 그리고 시험에 가르치는 것과 같은 전략은 특별히 유용하지 않을 것 같다. 이것은 더 깊은 학습 전략을 촉진하는 것으로 보인다. 또한 AOL 모델에서는 시험 보안 문제로 인해 종종 [의미 있는 피드백]이 배제되는데, 문제은행이 충분히 크다면 피드백도 제공될 수 있다. 따라서, 발달시험은 극복해야 할 장애물이 아니라 중요한 학습 기회가 될 가능성이 있다. 학습자가 이러한 방식으로 발달시험을 보도록 설득할 수 있다면, 발달시험을 사용하여 평가에서 일부 '독소'를 제거하는 데 도움이 될 수 있습니다.
Perhaps more importantly, however, the comprehensiveness of progress tests, coupled with the relatively low-stakes nature of the format, may serve to mitigate some of the subversive effects of AOL on learning. For example, because there is no functional limit on the content being assessed, strategies such as targeted studying, memorisation, cramming and teaching to the test are unlikely to be particularly useful. This appears to promote deeper learning strategies.14, 22 Additionally, meaningful feedback, which is often precluded in an AOL model due to test security issues, can be provided with limited risk as long as the item bank is sufficiently large. Thus progress tests have the potential to be important learning opportunities rather than hurdles to overcome. If learners can be persuaded to view progress tests in this way, then perhaps progress tests can be used to help take some of the ‘sting’ out of assessment.

평가가 학습을 촉진하는 방법
How assessment drives learning

'평가가 배움을 이끈다'는 격언은 아마도 많은 진실을 담고 있을 것이다. 그러나 평가를 학습 도구로 전략적으로 사용하려면 평가를 촉진하는 방법을 고려해야 한다. 학습에 대한 평가 효과는 다음의 세 단계로 나눌 수 있다. 

• 시험 전(즉, 시험 인센티브 학습),
• 시험 그 자체(즉, 시험이 학습으로 직접 연결됨) 및
• 시험 후(즉, 시험이 학습으로 이어지는 후 제공되는 피드백)

The aphorism ‘assessment drives learning’ probably holds much truth. However, if one is to use assessment as a learning tool strategically, then one must consider how it promotes learning. The effects of assessment on learning can be divided into three phases:

• pre-test (i.e. tests incentivise learning),
• pure-test (i.e. tests directly lead to learning) and
• post-test (i.e. the feedback provided after a test leads to learning).23 

시험 전 학습
Pre-test learning

학습에 대한 [시험 전 효과]는 시험의 [간접 효과]라고도 하며, 시험 예상에 의해 제공되는 외적 동기를 의미한다. 즉, 임박한 시험으로 인한 압박감은 학습자에게 학습 동기를 부여하고 시험할 자료를 통합된 방식으로 학습하려는 시도를 할 수 있다. 이런 점에서는, 총괄시험조차도 명백한 검색 목적을 위해 자료를 학습하려는 의도적인 노력을 장려함으로써 학습에 긍정적인 영향을 미칠 수 있다. 그러나 학생들이 학습에 접근하는 방법은 피상적인 접근(예: 깊은 이해보다는 암기)을 촉진하는 경우 시험에 의해 부정적으로 영향을 받을 수 있다. 예를 들어, 발달시험의 자주 언급되는 이점 중 하나는 주입식 공부보다 지속적인 공부를 장려한다는 것이다. 간격 학습과 대량 실습을 비교한 180편 이상의 논문에 대한 검토가 간격 학습이 대량 실전보다 우수하다는 견해를 뒷받침했기 때문에 이 방법이 유용할 수 있다.24

The pre-test effects on learning, also termed the indirect effects of testing, refer to the extrinsic motivation provided by the anticipation of being tested. In other words, the imminent pressure caused by an impending test may provide learners with an incentive to study and attempt to learn the material to be tested in a consolidated way. In this sense, even summative testing may have a positive influence on learning by encouraging intentional efforts to learn material for the explicit purposes of retrieval. However, the way in which students approach learning may be negatively affected by a test if it promotes a superficial approach (e.g. memorising by rote rather than deeper understanding). For example, one of the often-cited benefits of progress testing is that it encourages continuous studying over cramming. This may be valuable because a review of over 180 papers comparing spaced versus massed practice supported the view that spaced learning is superior to massed practice.24

종합 평가의 사전 시험 효과를 위한 유용한 이론적 모델이 Cilliers 등에 의해 개발되었다. 이 모델은 [평가 전 학습 활동]에 영향을 미치는 [영향의 두 가지 잠재적 원천]이 있다고 가정한다.

• 과제 요구(예: 강의의 과제 유형 및 단서)와
• 시스템 설계(예: 평가의 임박성 및 일반적인 작업 부하)

이는 뒤이어 다음에 영향을 미친다.

• 인지 처리
• 메타인지 조절 활동(예: 인지된 대리인 및 대인관계 요인)

A useful theoretical model for the pre-test effects of summative assessment was developed by Cilliers et al.25 This model postulates that there are two potential sources of impact that influence pre-assessment learning activities:

• task demands (e.g. task type and cues from lecturers) and
• system design (e.g. imminence of assessment and prevailing workload).

These in turn influence

• cognitive processing and
• metacognitive regulation activities (e.g. perceived agency and interpersonal factors).

예를 들어, 시험이 임박했고 학생들이 시험이 매우 위험한 사건으로 인식한다면, 그들의 목표는 그들이 평소에 선호했던 학습 접근법이 아니더라도, 공부할 때 벼락치기나 암기와 같은 낮은 수준의 인지 전략을 채택할 수 있다. 시험 형식이 연구 행동에 어떤 영향을 미치는지에 대한 연구가 이를 뒷받침하는 것으로 보인다. 예를 들어, 학생들은 선택-응답 대 구성-응답 형식 및 파트-과제 대 전체-과제 OSCE를 사용하여 평가될 것을 알 때 학습에 대해 더 피상적인 접근법을 사용하는 것으로 나타났다.

For example, if an examination is imminent and students perceive it to be a high-stakes event, they may adopt lower-order cognitive strategies when studying, such as cramming or memorising by rote, even if that is not their usual preferred approach to learning, because their goal is to maximise their chances of success. Studies about how the test format influences study behaviour would seem to support this. For example, students have been shown to use more superficial approaches to learning when they know they will be assessed using selected-response versus constructed-response formats3 and part-task versus whole-task OSCEs.4

이 프레임워크는 종합 평가를 위해 개발되었지만, 이론적으로 발달시험의 경우에도 유사한 종류의 영향 원인(예: 과제 유형, 평가 기준 등)이 학습 접근법에 영향을 미칠 것이라고 추측할 수 있다.

• 이러한 추측을 뒷받침하기 위해, McMaster의 학생들의 학습 스타일을 학습 스타일(암기 대 개념 학습)을 평가하려는 [Mitchell의 인지 행동 검사]를 사용하여 연구한 결과, 발달시험이 도입되었을 때 암기보다는 더 깊은 학습 전략을 계속 사용한 것으로 밝혀졌다.
• 마찬가지로, 림버그 대학의 진행률 시험 성과 연구는 의미 중심의 연구 접근법의 사용이 진행률 시험 점수와 긍정적인 상관관계가 있는 반면, 암기력이나 얕은 처리를 사용하는 것은 점수와 부정적인 상관관계가 있다는 것을 보여주었다.

Although this framework was developed for summative assessment, one could speculate that, for progress testing, similar sources of impact (e.g. task type, assessment criteria, etc.) would theoretically influence approaches to learning.

• In support of this speculation, when McMaster's students’ learning styles were studied using Mitchell's cognitive Behavior Survey, which attempts to assess learning style (memorisation versus concept learning), it was found that they continued to use deeper learning strategies rather than memorisation when progress tests were introduced.14, 26 
• Similarly, a study of performance on progress tests at Limburg University demonstrated that the use of a meaning-oriented study approach was positively correlated with progress test scores, whereas the use of memorisation or shallow processing was negatively correlated with scores.22

물론, 발달시험은 [시험 전 학습의 'consolidation' 효과]를 훼손할 위험이 있는 것도 사실이다. Van Berkel 등이 다른 시험 형식과 관련된 연구 행동을 비교했을 때, 학생들은 블록 시험을  공부의 동기로 보았다. 하지만 발달시험은 (기출문제를 보는 것을 빼면 학습의 유인이) 아니었다. 

• 어쩌면 어떻게 전체 교과과정의 시험을 위해 공부하는 것에 접근할지 아는 것이 너무 어렵기 때문일지도 모른다.
• 또는 어쩌면 진행 테스트가 학습자들에 의해 중요하게 인식되지 않기 때문일 지도 모른다.

Of course, there is a risk that progress testing could actually undermine the value of the ‘consolidating’ effects of pre-assessment learning. When van Berkel et al.22 compared study behaviours in relation to different test formats, students viewed block tests, but not progress tests, as an incentive to study (other than reviewing old tests),

• perhaps because it is so difficult to know how one would approach studying for a test of the entire curriculum, 
• or perhaps because progress tests are not perceived to be important by learners.

또한 시간 경과에 따라 [간격을 둔 시험spaced testing]이 지속적인 학습을 장려할 수 있다는 일부 증거가 있지만, 학습에 대한 이러한 접근법이 항상 시험 점수를 향상시키지는 않을 수 있다. 학생들을 [정기적으로 평가된 그룹(10주 과정 중 세 번)] 또는 [수업이 끝날 때만 평가된 그룹]에 무작위로 배정한 연구에서, [더 자주 평가를 받은 학생들]은 학습 간격을 두고 전체 학습 시간에 69시간을 더 할애했지만, 최종 평가에서 대조군 학생들보다 더 잘하지는 못했다. 사실, 과정 종료 평가 그룹의 학생들은 마지막 주에 훨씬 더 많은 시간을 공부하는 데 쓴다고 보고했는데, 이것은 주입식 학습보다 간격 배움이 더 낫다는 오랜 믿음에 도전할 수 있다. 그러나 간격 학습 접근법의 입증된 이점은 없었지만, 연구는 단기 효과만 조사했기 때문에 간격 학습 그룹에서 장기 보존이 더 나을지는 명확하지 않다.

Moreover, although there is some evidence to suggest that spacing tests over time may encourage continuous study, this approach to learning may not always result in better test scores. In a study in which students were randomised to either a group that was assessed regularly (three times during a 10-week course) or a group that was assessed only at the end of the course, students who underwent more frequent assessments spaced their learning and devoted 69 hours more to overall study time than their peers, but they did no better on a final assessment.27 In fact, students in the end-of-course assessment group reported spending significantly more time studying in the final week, which may challenge the long-held belief that spaced learning is preferable to cramming. However, although there was no demonstrated benefit of a spaced-learning approach, the study only examined the short-term effects, so it is not clear if long-term retention would have been better in the spaced-learning group.

순수 시험 학습
Pure-test learning

다가오는 시험을 예상하고 준비하는 효과 외에도, [시험 행위 자체]가 학습으로 이어질 수 있는데, 이를 [시험 효과]라고 한다. 몇몇 연구들은 시험이 학습의 간접적인 효과 이상으로 직접적으로 학습에 영향을 미치는데 사용될 수 있다는 것을 증명했다. 이것은 부분적으로, [정보를 검색하는 행위]가 [반복적인 공부만 하는 것]과 비교했을 때 학습의 개선을 이끈다는 것을 암시하는 [인출 가설retrieval hypothesis]에 의해 설명될 수 있다. [인출 행위]는 정보를 [향후 인출을 위해 정보를 더 쉽게 접근할 수 있도록 인코딩]하는 데 도움이 되는 듯 하다. 이 현상을 이해하는 데 도움이 되는 유용한 비유는 도서관에 있는 책을 고려하는 것이다. 도서관은 나중에 회수하는 것을 돕기 위해 책을 보관하는 분류 시스템을 채택한다. 만약, 이 시스템을 사용하는 대신에, 책들이 나중에 어떻게 회수될지에 대한 고려 없이 단순히 책꽂이에 놓여진다면, 필요할 때 그것들을 찾는 것이 훨씬 더 어려울 것이다. 마찬가지로, [정보 인출]을 연습할 때, 그것은 뇌가 나중에 액세스하기 위해 [태깅]이나 [인코딩]을 위한 시스템을 만드는 데 도움이 된다.
In addition to the effects of anticipating an upcoming test, the act of testing itself can lead to learning, something known as the testing effect. Several studies have demonstrated that tests can be used directly to influence learning above and beyond the indirect effects of studying.28-31 This may be explained, in part, by the retrieval hypothesis, which suggests that the act of retrieving information leads to improved learning when compared with repeated study alone. It would seem that the act of retrieval helps to encode the information in a way that makes it more accessible for future retrieval.32 A useful analogy to help understand this phenomenon is to consider books in a library. Libraries employ a classification system for shelving books in order to aid later retrieval. If, instead of using this system, books were simply placed on the shelves without consideration of how they would later be retrieved, it would be far more difficult to find them when needed. Similarly, when one practices retrieving information, it helps the brain to create a system for tagging or encoding it for future access.

[시험 효과]는 즉각적인 검색뿐만 아니라 학습된 자료를 최소 몇 달 동안 보존하는 것을 향상시키는 것으로 보입니다. 특히 흥미로운 것은, 시험 효과가 [사실의 보존을 향상]시킬 뿐만 아니라, [지식의 응용을 향상]시킨다는 것인데, 이는 [반복적인 인출]이 더 나은 이해로 이어질 수 있다는 증거를 제공하는 것으로 보인다는 것이다. 
The testing effect appears to not only enhance immediate retrieval, but also the retention of learned material for at least several months.33, 34 What is particularly interesting is that the testing effect seems to lead not only to better retention of facts, but also to improved application of knowledge, providing evidence that repeated retrieval may also lead to better understanding.31, 35, 36

[시험 효과]를 변조modulate하는 것처럼 보이는 중요한 요인들이 있다. 예를 들어 동일한 자료의 반복 시험을 위한 더 많은 기회를 제공하는 것은 학습을 더욱 강화하는 것으로 나타났다. 또한 지식의 인출이 어려울 때 시험 효과가 향상되는 것으로 보인다.  예를 들어, [단순한 정보의 인식]보다는 회상을 필요로하는 [응답 구성constructed-response 형식]을 사용하는 것이다. 이는 부분적으로 [바람직한 어려움 이론]에 의해 설명될 수 있는데, 이는 도전적인 과제가 단순화된 과제보다 더 큰 학습으로 귀결된다는 것을 암시한다.
There are important factors that seem to modulate the testing effect. For example, providing more opportunities for repeated testing of the same material has been shown to further enhance learning.37 The testing effect also seems to be enhanced when the retrieval of knowledge is effortful; for example, by using constructed-response formats that require recall rather than simple recognition of information.38, 39 This may be explained, in part, by the theory of desirable difficulties,32 which suggests that challenging tasks result in greater learning than simplistic tasks.

발달시험은 시험 효과를 촉진하는 데 이상적으로 적합해 보인다.

• 발달 시험 청사진은 전체 교육과정에 기초하고 반복적으로 관리되기 때문에 학습자를 더 자주 콘텐츠에 노출시켜 [인출을 더 자주 유도함]으로써 시험 효과를 높일 수 있다.
• 발달 시험은 전형적으로 [선택-응답selected response 형식(즉, 객관식 질문)]을 채택하지만, OSCE와 같이 보다 [어려운 인출을 요구하는 다른 형식도 실현 가능한 것]으로 나타났다. 강화된 인코딩을 통해 테스트 효과를 강화하기 위해 구성된 응답 형식 또는 OSCE 형식의 사용을 증가시키는 사례가 있을 수 있다.
• [구성-응답constructed-response 형식]은 채점에 더 많은 노력을 필요로 하는 경향이 있지만, 학습의 이점은 할당된 자원의 증가를 정당화할 수 있다.

Progress tests would seem ideally suited for promoting the testing effect.

• Because progress test blueprints are based on an entire curriculum and are administered repeatedly, they expose learners to more content more often, which should enhance the testing effect by prompting retrieval more frequently.
• Although progress tests typically employ a selected-response format (i.e. multiple-choice questions), other formats that require more effortful retrieval, including OSCEs, have been shown to be feasible.40 There may be a case for increasing the use of constructed-response or OSCE formats to potentiate the testing effect through enhanced encoding.
• Although constructed-response formats tend to require more effort to mark, the benefits to learning may justify an increase in allotted resources.

 

테스트 후 학습
Post-test learning

평가가 학습에 영향을 미칠 수 있는 마지막 단계는 피드백이 제공되는 [시험 후]이다. 유의미한 피드백은 메타인지에 영향을 미칠 수 있는 잠재력 때문에 AFL 모델에서 매우 중요하다. 피드백은 강점과 약점이 있는 영역을 강조하는데 도움이 될 수 있으며, 이는 학습자가 학습을 지시하는 데 사용될 수 있습니다. 물론, 의미가 있으려면 피드백이 바른sound 데이터에 기초해야 합니다. 그러한 데이터가 시험 점수의 형태인 경우 시험 자체는 수용가능한 심리측정적 특성(예: 신뢰할 수 있는 점수)을 가져야 한다. 또한 피드백이 상대적인 강점과 약점 영역을 식별하는 형태인 경우, 특정 영역에 초점을 맞추기 위한 권고사항이 의미 있는 '신호'에 기초할 수 있도록 각 영역은 신뢰성을 보장할 수 있는 충분한 표본을 확보해야 한다.

The final phase in which assessment can influence learning is after the test, when feedback is provided. Meaningful feedback is crucial in an AFL model because of its potential to influence metacognition. Feedback can help to highlight areas of strength and weakness, which may, in turn, be used by learners to direct their learning. Of course, in order to be meaningful the feedback must be based on sound data. If those data are in the form of test scores, then the test itself should have acceptable psychometric properties (e.g. scores that are reliable). Further, if the feedback is in the form of identifying areas of relative strength and weakness, then each area should have sufficient sampling to ensure reliability so that recommendations to focus on specific areas are based on a meaningful ‘signal’.

이와 관련하여 발달시험은 신뢰할 수 있는 자료와 학습자에게 풍부한 피드백을 제공하는 자료로 활용될 수 있는 좋은 위치에 있다. 발달시험 후에 학생들에게 제공되는 결과는 종종 [개인의 발달상황에 대한 정보], [강점과 약점의 영역에 대한 요약], 그리고 [다른 학생과의 상대적 비교]를 포함한다. 발달시험은 상대적으로 저부담시험이기 때문에, 학습자들은 학습을 더 안내하기 위해 [발달시험의 사본]을 제공받을 수도 있다. 또한 진도 시험은 학습을 촉진하는 중요한 피드백의 원천으로 사용될 수 있는 국가단위 고부담시험의 저조한 성과를 예측하는 데 유용한 것으로 보인다.
Again, in this regard, progress tests are well positioned to be used as a source of both reliable data and rich feedback for learners. The results provided to students following progress tests are often accompanied by information about individual progress, summaries of areas of strengths and weaknesses,19 and normative comparisons.41 Because of their relatively low-stakes nature, learners can even be provided with copies of their progress tests to further guide their learning.15 Of interest, progress tests also appear to be useful in predicting poor performance in national high-stakes examinations,21, 26 which can be used as an important source of feedback to promote learning.

그러나 피드백을 주는 것은 간단하지 않습니다. 예를 들어, 제공된 피드백의 유형이 중요합니다. 점수나 데이터 제공에 초점을 맞춘 피드백만으로는 학습을 촉진하기에 충분하지 않은 것으로 나타났다. 사실, 성적grade를 제공하는 것은, 그것이 내러티브 코멘트를 동반하더라도, 실제로 학습을 저해할 수 있습니다. 초등학생들에게만 성적, 서술적 논평만 제공하거나 또는 둘 다 제공했던 연구에서, 서술적 평가를 받은 학생들만 유사한 과제에 대해 재시험했을 때 후속적으로 개선되는 것을 보여주었다. 게다가, 피드백이 더 상세할수록, 학생들이 더 많이 배우는 것으로 보인다. 의과대학 예비학생들이 생물의학 지식을 평가하는 자가-온라인 객관식 테스트에 참여했을 때, 정답과 부정확한 옵션에 대한 자세한 설명을 받은 학생들이 정답에 대한 정보만 받은 학생들보다 더 우수한 것으로 나타났다. 어떤 경우에는 시험 보안 문제로 인해서 상세한 피드백을 주기 어려울 수 있지만, 종합 OSCE를 포함하여 학습자에게 더 많은 피드백을 제공하기 위한 최근 혁신적인 노력이 있었다. 

Giving feedback, however, is not a straightforwardly simple process. For example, the type of feedback provided is important. Feedback focused on providing scores or data alone has not been shown to be sufficient to promote learning. In fact, providing grades, even when accompanied by narrative comments, may actually undermine learning. In a study in which grade-school children were provided with either grades alone, narrative comments alone, or both combined, only students who had received narrative comments alone showed a subsequent improvement when retested on similar tasks.42 Further, it appears that the more detailed the feedback, the more likely students are to learn. When pre-medical students participated in a self-administered online multiple-choice test assessing biomedical knowledge, those who received detailed explanations about the correct and incorrect options outperformed those who only received information about the correct answer.43 Although test security issues may preclude detailed feedback in some cases, there have been recent innovative efforts to provide increased feedback to learners, including in summative OSCEs.44

발달시험을 피드백을 제공하는 용도로 쓰는 것이 더 어려운 이유 중 하나는, 학습자들은 [피드백에 현저하게 면역]이 될 수 있기 때문이다. 피드백을 수용하는 중요한 요소는 피드백을 제공하는 소스의 인식된 신뢰도인 것으로 보인다. Telio 등은 이 결과를 설명하기 위한 [교육적 동맹 프레임워크]를 제안했는데, 이 프레임워크에서는 피드백 제공자-수신자 관계와 심리치료사-환자의 관계 사이에 유사점을 도출했다. 이 모델에서, 학습자가 피드백을 받아들이고 내면화하기 위해서는 [피드백을 제공하는 사람과의 인식된 동맹관계]가 있어야 합니다. 이 동맹은 학습자들이 그들의 잠재력을 성취하는 데 필요한 지도와 비판을 받아들이기에 충분히 취약하도록 그들 자신을 도울 수 있다. 하지만, 피드백은 학습에 해로운 영향을 미칠 수 있는 감정적인 영향을 미칠 수 있습니다. 직무에 초점을 맞춘 피드백은 학습에 가장 강력한 영향을 미치는 것으로 보이는 반면, (즉, 칭찬과 처벌의 형태로) 자아를 자극하는invokes the self 피드백은 덜 성공적인 것으로 보인다.49 아마도 자아를 자극하는invokes the self 피드백은 교육적 연대를 위협할 수 있는 사회적 판단을 수반하기 때문일 것이다. 학습자 및 교사, 평가의 형성적 의도를 훼손할 수 있습니다.
As an additional complication of the use of progress tests to provide feedback, it has been suggested that learners can be remarkably immune to feedback.45, 46 An important factor in accepting feedback appears to be the perceived credibility of the source providing feedback.47 Telio et al.48 proposed an educational alliance framework to explain this finding, in which they draw parallels between the feedback provider‒receiver relationship and that of a psychotherapist and patient. In this model, in order for feedback to be accepted and internalised by the learner, there needs to be a perceived alliance with the person providing the feedback. This alliance can help learners to allow themselves to be vulnerable enough to accept the guidance and criticism that is needed to help them achieve their potential. However, feedback can have an emotional impact, which can have detrimental effects on learning. Feedback that is focused on the task appears to have the most powerful influence on learning, whereas feedback that invokes the self (i.e. in the form of praise and punishment) appears to be less successful.49 Perhaps this is because feedback that invokes the self carries with it social judgements that may threaten the educational alliance between learner and teacher, and may undermine the formative intentions of the assessment.

요약
Summary

발달시험의 많은 특징은 바람직한 학습을 강화하는 특성과 잘 일치하는 것으로 보인다.

• 시험범위는 광범위하기에 주입식 학습을 덜 실현 가능하며, 단순히 좋은 점수를 얻는 것을 목표로 시험에 접근할 때 발생하는 것과 비교한다면, 발달시험이 간접적으로 더 지속적이고 위치적인 학습을 장려할 수 있다.
• 학습자에게 동일한 자료를 반복적으로 테스트하면 정보 인출을 연습할 수 있습니다.
• 마지막으로, 발달시험을 통해 수행능력에 대한 자세한 피드백을 제공할 수 있습니다.

Many of the features of progress tests appear to align well with the properties that enhance desirable learning.

• Broad coverage of material makes cramming less feasible and may indirectly encourage more continuous and situated learning when compared with what occurs when one approaches a test with the goal of simply getting a good grade.
• Repeatedly testing learners on the same material provides them with opportunities to practise retrieving information.
• Finally, progress tests allow for the provision of detailed feedback on performance.

그러나 발달시험의 의도하지 않은 잠재적 결과도 고려해야 한다. 만약 학습자들이 그것을 하찮거나 준비하기에 너무 벅찬 것으로 인식한다면, 발달시험은 공부에 dis-incentive적인 것으로 판명될 수 있다. 피드백 제공은 가능하지만, 그러한 피드백이 추가 학습에 의미 있게 통합되도록 보장하는 데는 잘 알려진 복잡성이 있으므로 그러한 피드백의 전달이 정의에 의해 평가되고 통합되는 것을 당연하게 여겨서는 안 된다.

However, one must also consider the potential unintended consequences of introducing progress testing. It is possible that a progress test may prove to be a dis-incentive to studying if learners perceive it as unimportant or too overwhelming to prepare for. Although provision of feedback is possible, there are well-known complexities in ensuring that such feedback is incorporated meaningfully into further learning, so it shouldn't be taken for granted that the delivery of such feedback is by definition valued and incorporated.

문제를 해결하기 위한 유일한 가능한 접근법이 진도 테스트라는 것은 아니다. 우리의 요점은, 오히려, 신중하게 구현될 경우, 발달시험이 AFL 모델에 특히 적합하다는 것이다.
This is not to say that progress tests are the only possible approach to addressing these issues. Our point, rather, is that progress testing, if implemented carefully, is particularly well suited to a model of AFL.

평가를 사용하여 학습을 최적화하는 방법
How to use assessment to optimise learning

비록 문헌들이 AOL과 AFL 사이에 분명한 차이를 이끌어냈지만, 정의가 암시하는 것보다, 사실 두 가지 사이에는 기능적인 중복이 더 많을 수 있다. 즉, 모든 평가는 학생의 현재 학습 상태를 어느 정도 평가하는 데 사용되며, 모든 평가는 추가 학습을 알리고 지원할 수 있는 잠재력을 가지고 있다. 중요한 것은 [교육자의 관점에서 본 시험의 목적]과 [학습자가 시험 목적을 해석하는 방법] 사이에 불일치가 있을 수 있으므로, 학습자 행동에 미치는 영향의 관점에서 AOL과 AFL의 구별은 보는 사람의 눈에 달려 있을 수 있다. 이런 점에서 AOL이 될 것인지, AFL이 될 것인지를 결정하는 것은 [시험 자체의 속성]이 아니라, [교육자와 학습자가 시험의 목적에 대해 추론하는 것]이다. 따라서 이분법은 다소 인위적이며, 주어진 평가 상황에서 AOL과 AFL을 학습자의 마음에 상대적으로 더 배경이나 배경에서 고려하는 것이 더 유용할 수 있다.
Although the literature has drawn clear distinctions between AOL and AFL, it may be that there is more functional overlap between them than implied by the definitions. That is, it is likely that all assessment is used to assess a student's current state of learning to some degree, and all assessment has the potential to inform and support further learning. Importantly, there may also be discordance between the purported purpose of the test from the educator's perspective and how the learners interpret the test's purpose, so from the perspective of its influence on learner behaviour, the distinction between AOL and AFL may be in the eye of the beholder. In this sense, it is not a property of the test itself that determines whether it will be AOL or AFL, but rather the inferences that educators and learners make about the purpose of the test. The dichotomy, therefore, is somewhat artificial and for any given assessment situation it may be more useful to consider AOL and AFL as being relatively more in the foreground or background in the mind of the learner.

따라서 평가에 대한 서로 다른 접근법이 다른 방법보다 더 많은 학습 기회를 촉진할 수 있으며, 따라서 학습에 대한 긍정적인 영향을 극대화하도록 발달시험이 설계될 수 있다는 것에는 의심의 여지가 없다. 위에서 논의한 바와 같이, 진도 시험 설계 시 학습 촉진에 효과적일 수 있는 전략에는 다음이 있다.

• 구성된 응답 형식 사용,
• 빈번한 저부담 시험 기회 제공,
• 간격을 둔 시험
• 상세한 피드백 제공 

Thus, there is no question that different approaches to assessment may promote opportunities for learning more than others and, as such, progress tests can be designed to maximise their positive influence on learning. As discussed above, strategies that are likely to be effective in promoting learning when designing progress tests include:

• using constructed-response formats,
• offering frequent low-stakes testing opportunities,
• spacing tests and
• providing detailed feedback.

그러나 AFL을 이용하는 것에는 [자신이 평가되고 있다는 것을 아는 것]의 심리적 결과와 같은 [개념적인 장벽]이 있다는 것을 인식하는 것이 중요하다. 평가가 학습용(예: 형성평가)으로 분류되는 경우에도 학습자는 평가를 학습 기회라기 보다는 성공하기 위해 극복해야 하는 장애물로 볼 수 있다. 50 [모든 평가]는 학습자에게 [자신이 평가의 대상이 되는 고부담 사건]으로 인식될 수 있다. 따라서,

• AOL을 전경foreground에 두는 것은, AFL 모델의 의도를 훼손할 수 있습니다.
• AOL을 배경background으로 옮기기 위해서는, 평가의 사회적 의미가 바뀌어야 한다.

However, it is important to recognise that there are conceptual barriers to the use of AFL, such as the psychological consequences of knowing that one is being assessed. Even when assessments are labelled as being for learning (e.g. formative assessment), learners may view them as hurdles that they must overcome in order to succeed, rather than as learning opportunities.50 To the learner, any assessment may be perceived as a high-stakes event where they are being judged. As such,

• the foreground of AOL may undermine the intentions of an AFL model.
• In order to move AOL to the background, the social meaning of assessment must be changed.

다시 말해서, 학습자들은 발달시험을 [잠재적으로 징벌적인 결과를 초래할 수 있는 중대한 사건]보다는 [개선의 기회]로 보도록 배울 필요가 있다. 우리는 학생들의 마음속에 [AFL을 전경화하려는 우리의 노력]을 저해하지 않도록 하기 위한 평가 과정의 조건을 만들어야 한다.

In other words, learners need to be taught to view progress tests as opportunities to improve rather than as high-stakes events with potentially punitive consequences. We must create conditions of the assessment process that will ensure that we do not undermine our own efforts to foreground AFL in the minds of our students.

이를 위한 한 가지 방법은, 학습자로 하여금 [수행에 대한 정기적인 피드백을 기대하도록 기대치를 관리하는 것]입니다. 그러나 다시 한 번, 우리가 제공하는 피드백은 학습 기회로서 인식된 가치에 중요한 영향을 미칠 것이다. 따라서 서술적 피드백을 제공하기 위해 (적어도 일정 기간 동안) 발달시험에 대한 등급을 보류하는 것을 고려할 수 있다. 이 접근방식은 특히 잘한 직무에 대해 좋은 등급으로 보상받는 것에 익숙해진 의료 훈련생에게 암묵적으로 종합적인 평가의 성격을 최소화하는 데 도움이 될 수 있다. 대신에 학습자는 진도 테스트의 결과를 [강점과 약점의 잠재적 영역을 탐색]하고, [학습 목표를 달성할 수 있는 기회]로 보도록 권장받을 수 있습니다. 물론, 학습자는 평가 전략에 다르게 반응할 수 있다. [성과 지향적인 학습자]는 총괄평가나 벤치마크를 선호할 수 있는 반면, [숙달 지향적인 학습자]는 학습과 피드백 및 자기 반성을 연계하기 때문에 형성 평가에 더 관심이 있을 수 있다. 그러나, 교육자들이 그들 자신을 증명하기 보다는 학습자의 오리엔테이션을 개선하도록 촉진하는 조건을 설정할 수 있다면, 학습자들은 발달시험에 의해 제공되는 학습 기회를 더 잘 받아들일 수 있을 것이다.

One way to accomplish this is to manage learners’ expectations so that they come to expect regular feedback on their performance. However, again, the feedback that we provide will have an important influence on its perceived value as a learning opportunity. Thus we may consider withholding grades for progress tests (at least for a period of time) in favour of providing narrative feedback. This approach could help to minimise the implicitly summative nature of assessment, especially for medical trainees who have grown accustomed to being rewarded with good grades for a job well done. Learners could instead be encouraged to view their results from the progress tests as opportunities to explore potential areas of strengths and weaknesses and generate learning goals. Of course, learners may respond differently to assessment strategies – those who are performance-oriented may prefer summative assessments or benchmarks whereas those who are mastery-oriented may be more interested in formative assessments because they link learning with feedback and self-reflection.51 However, if educators can set conditions that promote learners’ orientation toward improving rather than proving themselves, then learners may be more likely to embrace the learning opportunities provided by progress tests.

또한 실질적인 문제가 AFL 모델 통합에 장벽으로 작용할 수 있다. 즉, 교육자가 [상당한 시간 제약]에 직면할 경우 (확인된 학습 기회를 다루기 위한) 의미 있는 교정조치 또는 추가 학습 기회를 제공하기 어려울 수 있다.

• AOL 모델에서 자원은 심각한 어려움에 처한 것으로 확인된 학습자(예: 상대적으로 고부담 시험을 통과하지 못한 학습자)를 위해 예비되는 경향이 있는 반면,
• AFL 모델에서 [모든 학습자가 개선 방법에 대한 지침을 받을 것]으로 예상된다.

Practical issues may also act as barriers to the incorporation of an AFL model. Namely, educators facing significant time restraints may find it difficult to offer meaningful remediation or additional learning opportunities to address identified opportunities for learning.

• In an AOL model, resources tend to be reserved for learners who are identified as being in grave difficulty (e.g. those who have failed relatively high-stakes examinations), whereas
• in an AFL model, all learners are expected to receive guidance on how to improve.

이러한 추가적인 노력은 이미 과로한 의사와 교육자에게 스트레스를 줄 수 있습니다. 학습자가 자신의 학습을 가이드하는 데 필요한 도구를 제공하는 데 집중하는 것은 이러한 압박의 일부를 상쇄하는 데 도움이 될 수 있지만, (발달시험이 제공하는 피드백에 대한 긍정적인 학습 반응을 가장 잘 얻으려면) 교육자로서 이 과정을 가이드할 책임을 무시할 수 없다.
This added effort may stress over-worked physicians and educators. Focusing efforts on providing learners with the tools necessary to direct their own learning may help to offset some of this pressure, but we cannot ignore our responsibility as educators to guide this process if we are to most effectively support a positive learning response to the feedback that the progress test offers.

마지막으로, [학습자에 대한 (최종적) 결정]을 내리기 위해 [발달시험]을 [다른 형성적 평가와 함께 사용할지 여부와 그 방법에 대한 문제]는 매우 현실적인 문제이다. 이러한 평가의 주된 목적이 형성적일 수 있지만, 학습자에 대해 얻을 수 있는 풍부한 정보가 있을 수 있습니다. 모든 평가가 학습만을 '위한' 것일 수는 없다. 학습자의 진행 상황이나 프로그램 진행 상황에 대해 간단히 판단할 필요가 있는 경우도 있습니다. 그러나 이러한 방식으로 평가 데이터를 사용하면 학습자가 학습에서 장애물을 극복하려는 시도로 초점을 전환할 수 있기 때문에 AFL 모델을 구현하려는 시도가 저해될 수 있습니다. 교육자들의 좋은 의도에도 불구하고, AFL은 학습자의 관점을 실제로 고려하지 않을 수 있다. 모든 유형의 평가에는 묵시적 판단 또는 '독소'가 내재되어 있기에, 학습자가 어떤 평가를 저부담의 형성적 평가로 볼 것이라고 가정하는 것은 주제넘을presumptuous 수 있다. 대신, 학습자가 평가를 사용하여 학습을 안내하고 이러한 통찰력을 사용하여 평가 프로그램을 적절하게 수정하는 방법을 조사하는 것이 유용할 수 있습니다. 
Finally, the issue of if and how to use progress tests and other formative assessments to make decisions about learners is a very practical concern. Although the primary purpose of these assessments may be formative, there is likely to be rich information that can be gained about learners.52 Not all assessment can be exclusively for learning, as it is sometimes necessary to make summary judgements regarding learners’ progress or continuation in a programme. However, using assessment data in this way may undermine attempts to implement an AFL model, as learners may shift their focus from learning to simply trying to overcome a hurdle. Despite educators’ good intentions, it is possible that AFL does not really consider the perspective of the learner. It may be presumptuous to assume that learners will ever be willing to view assessment as a low-stakes, formative experience because of the implied judgements, or ‘sting’, inherent in all types of assessment. Instead, it may be useful to probe learners about how they use assessment to guide their learning and use these insights to modify programmes of assessment accordingly.50

결론 Conclusions

점점 더 많은 교육자들이 역량 기반 의학 교육(CBME)을 수용함에 따라, AFL 모델은 계속해서 탄력을 받을 것 같다.53 이것은 또한 AOL가 차지할 장소가 없다는 것을 암시하는 것은 아니다. 단, AOL을 전경(예: 고위험 평가)에 두더라도, [지속적인 학습을 촉진할 기회]를 활용할 수 있고 이용해야 한다. 이러한 일이 일어나기 위해서는 평가 경험의 고통을 덜어줄 방법을 찾아야 한다. 발달시험은 이 독소를 제거(또는 최소한 감소)하는 문제에 대한 하나의 해결책으로 제공됩니다. 발달시험은 학습자에게 주입하려는 심층적이고 의미 있으며 지속적인 학습 유형을 지원할 가능성을 높이는 많은 기능을 가지고 있습니다. 
As more and more educators embrace competency-based medical education (CBME), the AFL model is likely to continue to gain momentum.53 This is not to suggest that there is not also a place for AOL. However, even when AOL is foregrounded (e.g. for high-stakes assessment), the opportunity to promote continuous learning can and should be harnessed. For this to occur, it is necessary to find ways to take the sting out of the assessment experience; progress tests are offered as just one solution to the problem of removing (or at least lessening) this sting. Progress tests have many features that increase the likelihood that they will support the types of deep, meaningful and continuous learning that we are trying to instill in our learners.

그러나 우리는 발달시험이 자동으로 이 기능을 수행한다고 가정하여 이러한 노력을 저해하지 않도록 주의해야 한다.

• 사전 테스트, 순수 테스트 및 사후 테스트 영향을 통해 학습 관행을 형성하도록 [의도적으로 테스트를 구성]해야 합니다.
• 우리는 시험이 평가의 AFL 측면을 뒷받침하는 [사회적 구성에 의해 뒷받침]되는지 확인해야 하며,
• 우리는 학생들이 그러한 시험의 결과가 제공하는 성찰과 학습 기회를 최대한 활용할 수 있도록 하기 위한 [자원을 마련]해야 한다.

우리가 이런 노력을 하지 않는 한, 우리는 학생들의 마음속에서 진행 테스트가 우리의 커리큘럼에서 살아남기 위해 뛰어넘어야 할 또 다른 후프로 옮겨갈 위험을 무릅쓰고 있다.

However, we must be careful that we do not undermine these efforts by assuming that progress testing will automatically fulfill this function.

• We must structure the tests intentionally to ensure that they shape learning practices through their pre-test, pure-test and post-test influences.
• We must ensure that the tests are supported by social constructions that foreground the AFL aspect of the assessments, and
• we must put in place the resources to ensure that students can take full advantage of the reflection and learning opportunities that the results of such tests offer.

Unless we engage in these efforts, we run the risk that progress tests will devolve, in the minds of our students, to just another hoop they must jump through to survive our curricula.

 

 

---

Med Educ. 2016 Jul;50(7):721-9.

 doi: 10.1111/medu.12985.

Taking the sting out of assessment: is there a role for progress testing?

Debra Pugh 1, Glenn Regehr 2

Affiliations collapse

Affiliations

1Department of Medicine, University of Ottawa, Ottawa, Ontario, Canada.

2Faculty of Medicine, Centre for Health Education Scholarship, University of British Columbia, Vancouver, British Columbia, Canada.

PMID: 27295476

DOI: 10.1111/medu.12985Abstract

Context: It has long been understood that assessment is an important driver for learning. However, recently, there has been growing recognition that this powerful driving force of assessment has the potential to undermine curricular efforts. When the focus of assessment is to categorise learners into competent or not (i.e. assessment of learning), rather than being a tool to promote continuous learning (i.e. assessment for learning), there may be unintended consequences that ultimately hinder learning. In response, there has been a movement toward constructing assessment not only as a measurement problem, but also as an instructional design problem, and exploring more programmatic models of assessment across the curriculum. Progress testing is one form of assessment that has been introduced, in part, to attempt to address these concerns. However, in order for any assessment tool to be successful in promoting learning, careful consideration must be given to its implementation.Methods: We will examine the literature on how assessment drives learning and how this might apply to progress testing. We will also explore the distinction between assessment of learning and assessment for learning, including ways in which they overlap and differ. We end by discussing how the properties of an assessment tool can be harnessed to optimise learning.

Conclusions: Progress tests are one potential solution to the problem of removing (or at least lessening) the sting associated with assessment. If implemented with careful thought and consideration, progress tests can be used to support the type of deep, meaningful and continuous learning that we are trying to instill in our learners.

Objective: The purpose of this paper is to consider the implications of implementing progress testing within practice, and how this might promote or impede learning in the three phases of assessment (pre-test, pure-test and post-test).

© 2016 John Wiley & Sons Ltd.