필기시험 기반 발달시험: 스코핑 리뷰(Acad Med, 2022)

필기시험 기반 발달시험: 스코핑 리뷰(Acad Med, 2022)
Written-Based Progress Testing: A Scoping Review
Vincent Dion, Christina St-Onge, PhD, Ilona Bartman, MA, Claire Touchie, MD, MHPE, and Debra Pugh, MD, MHPE 

 

 

더 많은 교육자가 이 평가 형식이 학습 및 장기적인 지식 보존에 미치는 긍정적인 효과를 인식함에 따라 Progress 테스트가 인기를 얻고 있습니다. 1-3 Progress testing는 

• 포괄적(즉, 전체 커리큘럼을 포함하는 블루프린트), 
• 종단적(즉, 학습자를 시간에 따라 여러 차례에 걸쳐 평가함) 및 
• 단면적(즉, 서로 다른 교육 단계의 학습자는 동일한 내용을 사용하여 평가함)의 평가 형태를 말합니다. 4 

불행히도, Progress 시험이 지역 맥락 내에서 작동하도록 조정된 방법에는 많은 가변성이 있다. 평가 프로그램에서 Progress 시험을 구현하는 방법에 대한 [기관의 다양한 결정]은 발달시험의 잠재적인 긍정적인 이익을 저해하거나 강화할 수 있다. 따라서, 우리는 Progress 시험을 시행할 때 채택해야 하는 다양한 관행을 문서화하기 위해 노력했다.

Progress testing is gaining in popularity as more educators recognize the positive effects that this assessment format has on learning and long-term knowledge retention. 1–3 Progress testing refers to a form of assessment that is

• comprehensive (i.e., the blueprint covers an entire curriculum),
• longitudinal (i.e., learners are assessed on multiple occasions over time), and
• cross-sectional (i.e., learners from different stages of training are assessed using the same content). 4 

Unfortunately, there is much variability in how progress testing has been adapted to work within local contexts. The different decisions made by institutions about how to implement progress testing in their programs of assessment could either undermine or reinforce its potential positive benefits. Thus, we sought to document the variety of practices that should be adopted when implementing progress tests.

Progress 테스트는 문제 기반 학습 컨텍스트를 위해 개발되었고, 이는 원래 학생들의 바람직한 학습 행동을 극대화하기 위한 목적이 있었다. 5-7 마스트리흐트 대학과 미주리-캔자스 의과대학 은 1970년대 중반에 Progress testing 방법을 독자적으로 개발한 최초의 대학이다. 맥마스터 대학교는 1991년부터 926년까지, 위트레흐트는 2002년부터 2003년까지 이를 따랐다. 이후 Progress testing은 다양한 교육 맥락에서 폭넓게 도입되었다.

Progress testing was originally developed for problem-based learning contexts to maximize desirable learning behaviors in students. 5–7 The University of Maastricht 5 and the University of Missouri-Kansas City School of Medicine 8 were the first to independently develop the progress testing method in the mid-1970s. McMaster University followed suit in 1991–1992 6 and the University Medical Center Utrecht did so in 2002–2003. 7 Progress testing was then more broadly adopted in numerous educational contexts. 9

그 시작 이래로, Progress 시험의 사용을 위해 문서화된 많은 증거들이 있다. 이러한 종단적 평가 형식은 신뢰할 수 있는 결과 5,6을 산출하는 것으로 나타났으며 시간이 지남에 따라 학습자의 지식이 증가한다는 증거가 있다. 3,6,10–14 나아가, Progress 테스트는 학습을 촉진하는 것으로 나타났다. Progress testing의 설계는 테스트 지향적 학습 전략이 애초에 불가능하기 때문에, 그것을 사용하지 않게 만든다. 오히려 진도 시험은 심화 학습과 장기 보존을 강조하는 공부 전략을 장려한다. 따라서 특정 내용(즉, 시험을 위한 교수 및 학습)에 집중함으로써 nonprogress test가 학습자에게 미칠 수 있는 부정적인 영향이 progress testing에서는 제한적이다. 진도 테스트는 또한 자기 주도 학습을 장려할 수 있는 피드백을 제공할 수 있는 여러 기회를 제공한다.
Since its inception, there has been much evidence documented for the use of progress testing. This longitudinal assessment format has been shown to yield reliable results, 5,6 and there is evidence of an increase in learners’ knowledge over time. 3,6,10–14 Furthermore, progress testing has been shown to promote learning. 1,15 The design of progress tests discourages test-directed learning strategies because it is virtually impossible to study for a single examination when such a large volume of knowledge is assessed. 6,16 Rather, progress testing encourages studying strategies that emphasize deep learning and long-term retention. The negative effect that nonprogress tests can have on learners by focusing on specific content (i.e., teaching and learning for the test) is therefore limited. Progress tests also offer multiple opportunities to provide feedback that can encourage self-directed learning.

Progress 시험에 대한 문헌의 최근 리뷰는 대부분 Progress 시험 구현을 위한 지침을 제공하는 데 초점을 맞추고 있다. 이러한 지식 종합은 비판적 검토 방법론 18 또는 일반적인 검토를 통해 통보되었다. 17,19 이러한 종합에서 얻을 수 있는 것은 다음과 같은 것들이 있다.
Most recent reviews of the literature on progress testing 17–19 have focused on providing guidelines for implementing progress tests. These knowledge syntheses were informed by a critical review methodology 18 or by general reviews. 17,19 What can be gleaned from these syntheses are suggestions about

• progress test length,
• direction about guessing (i.e., use of the “don’t know” option),
• content creation (e.g., blueprint and item banks),
• administration frequency,
• scoring and scores/feedback reports to students,
• summative uses (for students and for comparing schools), and
• resource requirements.

점점 더 많은 기관이 Progress 테스트를 구현하기 위해 자원 투자를 고려함에 따라, 성공적인 결과와 관련된 특정 기능(즉, 학생들의 학습 증가)을 더 잘 이해할 필요가 있다. 이 연구의 목적은 현재 진행 시험 관행뿐만 아니라 구현에 대한 장벽과 촉진제 및 알려진 품질 모니터링 관행을 문서화하기 위한 문헌을 체계적으로 탐색하는 것이었다. 따라서, 우리는 실행 선택을 하는 프로그램에 대한 증거 기반 데이터를 제공하기 위해 진행률 테스트 관행의 범위, 범위 및 성격을 엄격하게 조사했다.
As more and more institutions contemplate investing resources to implement progress testing, there is a need to better understand what specific features are associated with successful outcomes (i.e., increased learning in students). The aim of this study was to systematically explore the literature to document current progress testing practices as well as the barriers and facilitators to implementation and known quality-monitoring practices. Thus, we rigorously examined the extent, range, and nature of progress testing practices to provide evidence-based data for programs making implementation choices.

방법
Method

Arcsey와 O'Malley가 제안한 원래 범위 검토 방법론에 따라, 우리의 연구는 (1) 연구 질문 식별, (2) 관련 연구 식별, (3) 연구 선택, (4) 데이터 차트 작성, (5) 결과 대조 및 보고의 5단계로 통보되었다. Levac과 동료 21명은 Arcsey와 O'Malley의 지도적 상담 연습 20을 여섯 번째 단계로 포함하는 것에 대해 논증했다. 이 범위 검토에서, 우리의 결과가 꽤 간단했기 때문에 우리는 공식적인 협의를 하지 않았다. 1~5단계는 아래에 제시되어 있습니다.

As per the original scoping review methodology proposed by Arksey and O’Malley, 20 our study was informed by 5 steps:

• (1) identifying the research question,
• (2) identifying relevant studies,
• (3) study selection,
• (4) data charting, and
• (5) collating and reporting results.

Levac and colleagues 21 made the case for including Arksey and O’Malley’s

• facultative consultation exercise 20 as a sixth step.

In this scoping review, we did not do a formal consultation as our results were fairly straightforward. Steps 1 to 5 are presented below.

1단계: 조사 질문 식별
Step 1: Identifying the research question

검토를 안내하는 주요 연구 질문은 "현재 Progress 테스트 관행, 장벽 및 구현 촉진 요인 및 알려진 품질 모니터링 관행은 무엇입니까?"였다. 보다 구체적으로, 우리는 다음을 목표로 삼았다.
The main research question guiding our review was: “What are current progress testing practices, barriers, and facilitators to implementation and known quality-monitoring practices?” More specifically, we aimed to:

• 실행된 Progress 시험의 특징(예: 길이, 투여 빈도, 목적)을 설명한다.
  
• Progress 테스트의 구현에 대한 잠재적 촉진자 및 장벽을 식별합니다.
  
• 품질 모니터링 관행과 Progress 테스트 구현의 잠재적 결과 및 결과를 조사합니다.

1. Describe the characteristics (e.g., length, frequency of administration, purpose) of implemented progress tests.
2. Identify potential facilitators and barriers to the implementation of progress testing.
3. Explore quality-monitoring practices and potential consequences and outcomes of progress testing implementation.

2단계: 관련 스터디 식별
Step 2: Identifying relevant studies

두 번째 저자는 학술 사서와 함께 연구팀원들과 협의해 검색 전략을 구체화했다. 이 검색 전략은 Supplemental Digital Appendix 1에 제시되어 있으며 Progress 테스트를 설명하는 데 사용되는 키워드에 초점을 맞추고 있습니다. 
Working with an academic librarian, the second author (C.S.-O.) elaborated a search strategy in consultation with the research team members. This search strategy is presented in Supplemental Digital Appendix 1 at https://links-lww-com-ssl.access.hanyang.ac.kr/ACADMED/B206 and focused on keywords used to describe progress tests.

최종 검색은 6개의 데이터베이스에 적용되었습니다. 학술 검색 완료, CINAHL, ERIC, 교육 출처, MEDLINE 및 PsycINFO. 우리는 교육, 심리학, 사회과학, 의학 문헌을 아우르는 데이터베이스를 검색했다. 또한, 우리는 중복이 가능한 한 적은 데이터베이스를 사용하기로 결정했다. 우리는 2018년 5월 22일(첫 번째 반복)에 초기 검색을 수행했다. 2020년 4월 21일에 검색의 두 번째 반복을 수행하여 검토를 업데이트하고 중요한 최근 데이터를 누락하지 않도록 했다.

The final search was applied to 6 databases: Academic Search Complete, CINAHL, ERIC, Education Source, MEDLINE, and PsycINFO. We searched these databases as they encompass the education, psychology, social sciences, and medical literature. Also, we made a choice to use databases that had as little overlap as possible. We conducted an initial search on May 22, 2018 (first iteration). We used the same strategy to conduct a second iteration of the search on April 21, 2020, to update our review and to avoid missing valuable recent data (see Supplemental Digital Appendix 1 at https://links-lww-com-ssl.access.hanyang.ac.kr/ACADMED/B206).

연구팀은 기존 Progress 테스트의 3가지 주요 특징(즉, 종방향, 단면 및 포괄적)을 가진 평가를 기술한 기사를 포함했다. 우리는 필기 진도 시험과 고등교육의 맥락에서 연구와 관련된 기사만을 포함했다. 영어나 프랑스어로 쓰여진 기사도 포함되어 있었다. 우리는 경험적 연구와 서면 Progress 테스트에 대한 1차 참조의 연구뿐만 아니라 동료 검토 기사를 포함했다. 우리는 지식 종합(리뷰), 사설, 목차, 회의 요약 및 주석 기사를 제외했다.

The research team included articles that described assessments that had the 3 cardinal features of traditional progress tests (i.e., longitudinal, cross-sectional, and comprehensive). We only included articles that described written progress tests and those that related to studies in the context of higher education. Articles written in either English or French were included. We included peer-reviewed articles as well as studies from empirical research and primary references to written progress tests. We excluded knowledge syntheses (reviews), editorials, tables of contents, conference abstracts, and commentary articles.

3단계: 스터디 선택
Step 3: Study selection

첫 번째 검색과 두 번째 검색 반복 동안, 2명의 팀 구성원(C.S.-O. 및 D.P.)은 포함/제외 기준을 위해 모든 제목과 요약을 선별했다. 그들은 모든 이견을 논의했고 합의가 이루어지지 않을 때 전체 텍스트 검토를 했다. 그들은 또한 눈덩이처럼 불어나는 접근법을 사용하여 포함된 참조 목록에서 추가 기사를 식별하고 자격을 위해 제목과 요약본을 선별했다.

During the initial search and the second iteration of the search, 2 team members (C.S.-O. and D.P.) screened all titles and abstracts for the inclusion/exclusion criteria. They discussed all disagreements and did a full-text review when consensus could not be reached. Using a snowball approach, they also identified additional articles from the included reference lists and screened the titles and abstracts for eligibility.

4단계: 데이터 차트 작성
Step 4: Data charting

한 팀원(C.S.-O.)은 3명의 팀원(I.B., C.T. 및 D.P.)과 검토 및 논의한 초기 추출 그리드를 개발했습니다. 엑셀(워싱턴주 레드먼드, 마이크로소프트 코퍼레이션, 엑셀 365)에서 만들어진 수정된 양식은 무작위로 고른 5개의 기사를 사용하여 4명의 팀 구성원(C.S.-O., I.B., C.T. 및 D.P.)에 의해 시범적으로 테스트되었다. 연구팀은 추출 그리드의 명확성과 표준화된 사용을 보장하기 위해 그리드를 수정했습니다.

One team member (C.S.-O.) developed an initial extraction grid that was reviewed and discussed with 3 team members (I.B., C.T., and D.P.). The revised form, created in Excel (Excel 365, Microsoft Corporation, Redmond, Washington), was pilot-tested by 4 team members (C.S.-O., I.B., C.T., and D.P.) using 5 randomly selected articles. The team revised the extraction grid to ensure its clarity and standardized use.

결과 그리드에는 17개 요소가 포함되었다: .
The resulting grid included 17 elements:

1. progress test characteristics (e.g., number of questions, question format),
2. frequency of progress test administration,
3. process for content development,
4. examinee/study population,
5. type of feedback provided (if any),
6. use of score conversion and/or equating,
7. scoring methods (e.g., formula scoring),
8. standard-setting procedures (if any),
9. institutional motivation for implementing progress testing,
10. facilitators for implementing progress testing,
11. barriers/challenges to implementing progress testing,
12. acceptance of progress testing by students and faculty,
13. use of collaborative networks,
14. study purpose,
15. study design,
16. sources of validity evidence for progress tests (i.e., content, response process, internal structure, relationship to other variables, and consequences), and
17. outcomes related to the implementation of progress testing.

처음에는 4명의 팀원(C.S.-O., I.B., C.T. 및 D.P.)에 의해 5개의 기사가 독립적으로 코딩되었다. 그리고 나서 15개의 기사가 팀원들의 다이드에 의해 코딩되었고, 이것은 연구팀이 90%의 동의율을 확립할 수 있게 해주었다. 나머지 기사는 4명의 팀원들에게 균등하게 분배되고 독립적으로 코딩되었습니다. 초기 검색에서 포함된 모든 기사에 대한 추출은 각 독립 추출의 체계적인 수정과 원본 기사와의 비교를 수행한 다섯 번째 팀 구성원(V.D.)이 발췌본을 병합하여 데두스(Dedoose, Los Angeles, Social Cultural Research Consultants, California)에 의해 검토되었다. 검색의 두 번째 반복에서 추출은 V.D.에 의해 6개의 기사에 대해 수행되었고 C.S.-O.와 D.에 의해 독립적으로 검토되었다.p.

Five articles were initially coded independently by 4 team members (C.S.-O., I.B., C.T., and D.P.). Then 15 articles were coded by dyads of team members, which allowed the research team to establish a 90% agreement rate. The remaining articles were distributed equally among the 4 team members and coded independently. Extractions for all included articles from the initial search were reviewed by a fifth team member (V.D.) who performed a systematic revision of each independent extraction and comparison with the original article to merge and export the excerpts to Dedoose (Dedoose 8.3.47, SocioCultural Research Consultants, Los Angeles, California). For the second iteration of the search, extractions were made by V.D. for 6 articles and reviewed independently by C.S.-O. and D.P.

5단계: 결과 수집 및 보고
Step 5: Collating and reporting results

발행 연도, 연구 국가, 저널, 연구 목적, 진도 테스트 구현 동기, 연구 설계, 학습자 규율 및 수준, 이해관계(즉, 낮거나 높음), 점수, 테스트 관리 빈도, 테스트 특성(항목 유형, 항목 수, 평가에 주어지는 시간)을 요약하기 위해 빈도를 사용했다. 피드백 관행 및 유효성 증거의 출처(존재 또는 부재). 우리는 이러한 기술 통계량을 계산하기 위해 Dedoose를 Excel과 함께 사용했다.
We used frequencies to summarize the numerical data: year of publication, country of study, journal, study purposes, motivations to implement progress testing, study design, learners’ discipline and level, stakes (i.e., low or high), scoring, administration frequency of the test, test characteristics (item type, number of items, time allowed for the assessment), feedback practices, and sources of validity evidence (present or absent). We used Dedoose conjointly with Excel to calculate these descriptive statistics.

우리는 포함된 기사에서 관찰한 타당성 증거의 출처에 대한 분석과 보고를 알리기 위해 [통합 이론으로서의 타당성]의 개념을 사용했다. 보다 구체적으로, 우리는 (교육 및 심리 테스트 표준 22에 따라) 타당성의 통일 이론 23에 대한 다우닝의 해석을 사용했다. 내용, 대응 프로세스, 내부 구조, 다른 변수와의 관계, 결과 등의 범주별로 타당성 증거의 소스를 구성했다. 우리는 정성적 주제 분석을 사용하여 결과에 관한 증거를 탐구했다.
We used the conceptualization of validity as a unified theory 22 to inform our analysis and reporting on the sources of validity evidence we observed in the included articles. More specifically, we used Downing’s interpretation of the unified theory of validity 23 (as per the Standards for Educational and Psychological Testing22). We organized sources of validity evidence by category: content, response process, internal structure, relationship to other variables, and consequences. We explored the evidence regarding consequences using a qualitative thematic analysis.

Arcsey와 O'Malley가 설명한 대로, 20 우리는 Dedoose를 사용하여 정성적 데이터 24,25에 대한 주제 분석을 수행했다. 이 범위 지정 검토의 목표는 진행률 테스트 사용에 대한 문헌의 깊이와 폭을 매핑하는 것이었으므로, 구현 및 품질 모니터링 프로세스 중에 종종 발생하는 요인(유효성의 문서화된 증거)에 대한 우리의 발견을 명확히 했다.
As described by Arksey and O’Malley, 20 we conducted a thematic analysis of the qualitative data 24,25 using Dedoose. Our goal for this scoping review was to map the depth and breadth of the literature on the use of progress testing, thus we articulated our findings around the factors that often come into play during the implementation and quality-monitoring processes (documented evidence of validity).

보다 구체적으로, 각 추출 범주를 하나씩 작업하면서, 한 팀 구성원(V.D.)은 모든 발췌문을 검토하고 각 추출 범주 내의 본질을 포착할 코드를 생성했다. 코딩 트리는 한 명의 다른 팀 구성원(C.S.-O.)과 반복적인 토론을 통해 생성 및 수정되었으며 모든 추출에 적용되었다. 결과 코딩 트리와 해당 발췌문은 다른 팀 구성원(I.B., C.T. 및 D.P.)에게 제시되었다. 이 세 명의 팀원들은 이어서 내부 코드 일관성을 검증했습니다. 우리는 3명의 팀 구성원 중 2명이 동일한 코드에 특정 발췌문을 독립적으로 할당했을 때 합의가 이루어졌다는 것을 고려했다. 추가적인 논의가 이어졌고, 그 결과들에 대한 우리의 최종 해석과 아래에 제시된 중요한 주제들의 식별로 이어졌다.
More specifically, working through each extraction category one-by-one, one team member (V.D.) reviewed all the excerpts and created codes that would capture the essence within each extraction category. A coding tree was created and revised through iterative discussion with one other team member (C.S.-O.) and applied to all the extractions. The resulting coding tree and corresponding excerpts were presented to the other team members (I.B., C.T., and D.P.). These 3 team members then proceeded to verify the intracode coherence. We considered that agreement was reached when 2 of the 3 team members independently assigned a specific excerpt to the same code. Additional discussion ensued and led to our final interpretation of the findings and the identification of the overarching themes presented below.

결과.
Results

우리는 체계적 검토를 위한 선호 보고 항목과 범위 검토를 위한 메타 분석(PRISMA) 확장 지침을 따랐다. 26 당사의 기사 검색 및 선택 프로세스는 그림 1에 자세히 설명되어 있습니다. 초기 검색(첫 번째 반복)에 이어, 우리는 중복된 문서와 영어 또는 프랑스어로 동료 검토 또는 작성되지 않은 기사를 제거한 다음 나머지 300개 기사의 제목과 요약을 선별했다. 우리의 포함 및 제외 기준을 적용한 후, 167개의 전문 기사가 적격성을 평가받았다. 전체 텍스트 검토와 포함된 참조 목록의 기사 추가(스노볼 접근)를 거쳐 총 97개의 기사가 나왔다. 우리는 검색의 두 번째 반복에 따라 이러한 단계를 반복했고 분석에 포함된 총 104개의 기사에 대해 7개의 기사를 추가했다. 1,3,5–14,16,27–117

We followed the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) Extension for Scoping Reviews guidelines. 26 Our article search and selection process is detailed in Figure 1. Following the initial search (first iteration), we eliminated duplicates and those articles that were not peer reviewed or written in English or French and then screened the titles and abstracts of the remaining 300 articles. After applying our inclusion and exclusion criteria, 167 full-text articles were assessed for eligibility. After the full-text review and the addition of articles from the included reference lists (snowball approach), we had a total of 97 articles. We repeated these steps following the second iteration of the search and added 7 articles for a total of 104 articles included in our analyses. 1,3,5–14,16,27–117

기술 결과
Descriptive results

숫자 데이터와 해당 인용문은 보충 디지털 부록 2에 나와 있습니다. 2005년과 2020년 사이에 79개의 논문(76.0%)이 발표되었고, 시간이 지남에 따라 진행률 테스트에 대한 기사 수가 증가하였다(그림 2 참조).

The numerical data and corresponding citations are presented in Supplemental Digital Appendix 2 at https://links-lww-com-ssl.access.hanyang.ac.kr/ACADMED/B206. We found an increase in the number of articles published on progress testing over time (see Figure 2), with 79 articles (76.0%) published between 2005 and 2020.

연구 국가 및 학술지.
Countries of study and journals.

논문의 대다수는 네덜란드(44.3%) 영국(15.4%) 독일(10.9.6%) 미국(9.8.7%) 등의 연구진이 차지했다. 기사는 4개의 주요 저널에 게재되었다: 의학교사(27명, 26.0%), 의학교육(16명, 15.4%), BMC 의학교육(8명, 7.7%), 보건과학교육의 발전(7명, 6.7%) 순이었다.
The majority of articles were from researchers in the Netherlands (44, 42.3%), the United Kingdom (15, 14.4%), Germany (10, 9.6%), and the United States (9, 8.7%). Articles were published in 4 main journals: Medical Teacher (27, 26.0%), Medical Education (16, 15.4%), BMC Medical Education (8, 7.7%), and Advances in Health Sciences Education (7, 6.7%).

연구 목적, 동기 및 방법론.
Study purposes, motivations, and methodologies.

가장 일반적으로 언급되는 5가지 연구 목적은 

• (1) 주어진 맥락에서 Progress 시험 점수의 타당성을 탐구(28, 26.9%)
  
• (2) Progress 테스트 구현 방법 설명(20, 19.2%)
  
• (3) 학교 또는 커리큘럼 비교(16, 15.4%)
  
• (4) 학습자 지식 증가(15, 14.4%)를 사용하여 커리큘럼을 평가한다.
  
• (5) Progress 시험의 합격 여부 조사(12, 11.5%)

The 5 most commonly stated study purposes were to

• (1) explore the validity of progress test scores in a given context (28, 26.9%),
• (2) describe how an institution implemented progress testing (20, 19.2%),
• (3) compare schools or curricula (16, 15.4%),
• (4) evaluate a curriculum using learner knowledge growth (15, 14.4%), and
• (5) explore the acceptance of progress testing (12, 11.5%).

Progress testing를 시행한 이유로는

• (1) 커리큘럼을 개발하거나 감독하기 위해서(21명, 20.2%)와, 
• (2) 시험 위주의 학습을 막거나, 더 깊은 학습을 장려하기 위해서(12명, 11.5%)와, 
• (3) 학습자의 지식증가를 추적하기 위해서(9명, 8.7%), 
• (4) 피드백 제공(9명, 8.7%)이 가장 많이 언급되었다.

The 4 most commonly stated reasons for implementing progress testing were to

• (1) develop or supervise a curriculum (21, 20.2%),
• (2) prevent test-driven learning or promote deeper learning (12, 11.5%),
• (3) follow learners’ knowledge growth (9, 8.7%), and
• (4) provide feedback (9, 8.7%).

대부분의 기사는 정량적 연구 설계(87, 83.7%) 또는 정량적-정량적 혼합 설계(8, 7.7%)를 사용했다. 의학 교육 분야에서는 88개 항목(84.6%), 치과 분야에서는 7개 항목(6.7%), 조산 분야에서는 2개 항목(1.9%)이었다. 대부분의 연구는 87, 83.7%의 학부 교육생과 관련된 반면, 15, 14.4%의 대학원 교육생과 관련된 연구는 적었다.
Most articles used a quantitative study design (87, 83.7%) or a mixed quantitative–qualitative design (8, 7.7%). Eighty-eight articles (84.6%) were situated in medical education, 7 (6.7%) in dentistry, and 2 (1.9%) in midwifery. The majority of studies involved undergraduate trainees (87, 83.7%), while fewer involved postgraduate trainees (15, 14.4%).

progress tests 는 형성적 목적(43명, 41.3%)이 많이 사용된 반면 총괄 목적(17명, 16.3%)은 상대적으로 적었다. 11개조(10.6%)는 progress tests 가 형태별·총괄적 목적을 모두 구현한 것으로 나타났고, 33개조(31.7%)는 의도된 목적을 구체적으로 밝히지 않았다. 숫자 맞추기 점수(10, 9.6%)보다 공식 점수 매기기('모름' 옵션을 포함)가 더 자주(64, 61.5%) 사용됐다.
Many progress tests were used for formative purposes (43, 41.3%), while relatively few were used for summative purposes (17, 16.3%). Eleven articles (10.6%) indicated that progress testing was implemented for both formative and summative purposes, while 33 (31.7%) did not specify the intended purpose. Formula scoring (which included the “don’t know” option) was used more frequently (64, 61.5%) than number-correct scoring (10, 9.6%).

테스트 작업 진행
Progress test practices.

progress tests 의 시행 빈도는 다양했지만, 1년에 1~4회 실시되는 경우가 가장 많았다. progress tests 는 연 4회(38명, 36.5%) 시행되는 경우가 많았고, 이어 연 2회(26명, 25.0%), 연 3회(13명, 12.5%), 연 1회(6명, 5.8%) 순이었다. 진도검사 한 건은 2년간 5회(1, 1.0%), 다른 한 건은 3년간 8회(1, 1.0%) 실시됐다. 7개 연구팀(6.7%)은 매년 투여 빈도가 달라졌다고 답한 반면 12개 기사(11.5%)에서는 투여 빈도가 보고되지 않았다.

The frequency of administration of progress tests varied, although 1 to 4 times per year was most common. Many progress tests were administered 4 times a year (38, 36.5%), followed by 2 times a year (26, 25.0%), 3 times a year (13, 12.5%), and 1 time a year (6, 5.8%). One progress test was administered 5 times over a 2-year period (1, 1.0%), and another was administered 8 times over a 3-year period (1, 1.0%). Seven research teams (6.7%) reported that the administration frequency varied from year to year, while there was no reported administration frequency in 12 articles (11.5%).

가장 많이 사용된 항목 유형은 객관식 및 참 또는 거짓 형식(95, 91.3%)이었다. 단답형 항목 사용을 보고한 기사는 2건(1.9%)이었고, 9건(8.7%)은 어떤 형식도 명시하지 않았다. 89개 항목(85.6%)에서 진행률 테스트는 40~400개 항목(중간값 = 200개)으로 구성됐다. 기타 진행도 검사에서는 관리 간 항목 수가 변동하거나 항목 수를 전혀 보고하지 않았다(14명, 13.5%)는 결과가 나왔다.
The item types most frequently used were multiple-choice and/or true-or-false formats (95, 91.3%). Two articles (1.9%) reported the use of short-answer items, and 9 (8.7%) did not specify any format. In 89 articles (85.6%), progress tests comprised 40 to 400 items (median = 200). Other progress tests included a variable number of items between administrations or did not report the number of items at all (14, 13.5%).

테스트 시간은 45분에서 360분까지 다양했으며, 180분이 가장 일반적인 테스트 시간(14, 13.5%)이었다. 허용된 시간과 항목 번호(25, 24.0%)를 모두 보고한 기사 중 항목당 평균 시간은 54초에서 2분(160 = 75초)으로 다양했다.
Testing time varied from 45 to 360 minutes with 180 minutes being the most common testing time (14, 13.5%). Of articles reporting both allowed time and item number (25, 24.0%), the average time per item varied from 54 seconds to 2 minutes (mean = 75 seconds).

피드백 관행.
Feedback practices.

표 1에서 보는 바와 같이 기사마다 콘텐츠의 종류와 피드백 방법이 달랐다.
As shown in Table 1, the type of content and methods of feedback varied from article to article.

진행률 시험 점수 해석의 타당성을 뒷받침하는 증거.
Evidence to support the validity of progress test score interpretation.

표 2에는 [내용 타당성 증거], 즉 품목 개발 및 품목 검토를 위해 시행한 관행이 포함되어 있습니다. 일부 progress tests 의 경우, 콘텐츠 개발은 학습자가 습득해야 할 지식을 결정하는 커리큘럼 청사진과 임상실습을 기반으로 했다.

Table 2 includes content validity evidence, that is, the practices put in place for item development and item reviewing. For some of the progress tests, content development was based on the curriculum blueprint, which determined the knowledge learners needed to acquire, and clinical practice.

[대응 프로세스 및 내부 구조와 관련된 증거]는 표 3에 제시되어 있으며, 내부 일관성 관련 추가 데이터는 보충 디지털 부록 3에 보고되어 있다.
The evidence related to response process and internal structure is presented in Table 3 with additional data related to internal consistency reported in Supplemental Digital Appendix 3 at https://links-lww-com-ssl.access.hanyang.ac.kr/ACADMED/B206.

[다른 변수와 관련된 근거]에 [progress tests 점수와 전문가로서의 미래역량 사이에 정량적 상관관계]와 질적 연관성이 나타났고, 졸업시험(9·8.7%), 교육과정 내 기타평가(13·12.5%), 기타학교 진도검사 점수(8·7.7%)가 나왔다. 20개 조항(19.2%)이 사용된 명시적 표준 설정 방법을 보고했다.
Regarding the evidence related to relationship to other variables, quantitative correlations and qualitative associations were made between progress test scores and future competence as a professional (9, 8.7%), graduation exams (9, 8.7%), other assessments in the curriculum (13, 12.5%), and other schools’ progress test scores (8, 7.7%). Twenty articles (19.2%) reported the explicit standard-setting method used.

[결과와 관련된 증거]는 정성적 데이터 분석의 결과로 아래에 제시된다.
Evidence related to consequences is presented below as the results of our qualitative data analysis.

 

테마
Themes

우리는 우리의 질적 주제 분석에서 진도 테스트 구현에 대한 이해를 알릴 수 있는 4가지 주요 주제를 확인하였다.

• (1) progress testing 구현에 대한 장벽과 과제,
• (2) progress testing 구현의 촉진자로서의 협업 확립,
• (3) progress testing 수용을 증가시키는 요인
• (4) 개별 및 프로그램 수준의 결과 및/또는 progress testing 사용의 결과.

하위 주제는 15개에서 69개의 다른 기사들에 의해 지원되었다.
We identified 4 major themes in our qualitative thematic analysis that can inform our understanding of the implementation of progress testing:

• (1) barriers and challenges to the implementation of progress testing,
• (2) established collaboration as a facilitator of progress testing implementation,
• (3) factors that increase the acceptance of progress testing, and
• (4) individual- and program-level outcomes and/or consequences of progress test use.

Subthemes were supported by 15 to 69 different articles.

주제 1: 장벽과 과제
Theme 1: Barriers and challenges.

국지적 맥락에서 진행률 시험의 구현에 대한 네 가지 주요 장벽과 과제가 식별되었다. 첫째, 진도 시험의 구현은 지역 문화와 평가 관행에 변화를 요구한다(n = 8). 예를 들어, [블록 시험 평가 문화에 익숙한 학습자]는 진도 시험을 공정하거나 가치 있는 학습 기회로 인식하지 못할 수 있다. 또한 progress testing의 구현에는 추가 자원(n = 17)이 필요하다. 6,7,9,52,54–66 교직원의 관점에서, 익숙하지 않은 형태의 평가의 구현에는 광범위한 자원, 자격 있는 직원, 시간 및 적절한 인프라가 필요하다.

Four main barriers and challenges to the implementation of progress testing in a local context were identified. First, the implementation of progress testing requires a change in local culture and assessment practices (n = 8). 14,16,48–53 For example, learners accustomed to a block test assessment culture may not perceive progress testing as fair or as a worthwhile learning opportunity. The implementation of progress testing also requires additional resources (n = 17). 6,7,9,52,54–66 From a faculty perspective, the implementation of an unfamiliar form of assessment requires extensive resources, qualified staff, time, and suitable infrastructures.

다음으로, progress testing 의 구현은 종종 새로운 콘텐츠 개발을 요구하며, 이는 난제(n = 8)를 내포한다. 5,13,56,57,63,67-69 진행률 테스트 프로그램 설정의 복잡성은 다음을 요구한다. 

• 확장된 문제 은행,
  
• 데이터를 채점하고 심리측정학 분석을 수행하기 위한 명확한 절차
  
• 결과를 보고하기 위한 피드백 메커니즘,
  
• 정기적으로 데이터를 수집하고 분석하는 능력
  
• 성적이 부진한 수험생에 대한 재교육 계획

청사진 개발은 평가된 지식이 너무 많고 과정과 테스트 내용 간의 직접적인 연결이 없기 때문에 종종 장애물로 간주된다.
Next, the implementation of progress testing often requires new content development, which poses a challenge (n = 8). 5,13,56,57,63,67–69 The complexities of setting up a progress testing program demand

• an expansive item bank,
• clear procedures for scoring and conducting psychometric analyses of data,
• a feedback mechanism for reporting results,
• an ability to regularly collate and analyze data, and
• a plan for remediation of poor-performing examinees.

Blueprint development is often considered a hurdle because of the plethora of knowledge assessed and the absence of a direct link between course and test content.

마지막으로, 다른 학교와의 협업이 우선 촉진자로 인식될 수 있지만, 새로운 협업을 만드는 것은 도전으로 가득 찰 수 있습니다(n = 5). 5,52,63,70,71 단점은 품질 관리 절차가 도움이 될 수 있는 높은 수준의 중앙 집중화의 필요성을 포함합니다. 또한 학교는 교육과정 종료 목표(예: 기초 및 임상과학 주제, 난이도, 허용 가능한 항목 품질을 구성하는 항목 포함)와 업무 및 자원의 분배에 대해 의견이 다를 수 있다.
Finally, while collaborating with other schools might be first perceived as a facilitator, the creation of new collaborations can be fraught with challenges (n = 5). 5,52,63,70,71 Downsides include the need for a high level of centralization where quality control procedures would be beneficial. Additionally, schools may have disagreements about the content needed to meet end-of-training curriculum objectives (e.g., inclusion of both basic and clinical science topics, difficulty level, what constitutes acceptable item quality) as well as the distribution of work and resources.

주제 2: progress testing 구현의 촉진자로서 협업을 확립합니다.
Theme 2: Established collaboration as a facilitator of progress testing implementation.

진행률 테스트 구현 시 새로운 협업 구축은 난제로 간주되었지만, 진행 중인 협업과 확립된 협업은 촉진자로 간주되었습니다(n = 15). 8,9,50,52,54,57,58,63,69,70,72–76 비용절감을 위한 시험자료 공유를 넘어, 학교간의 협업이 광범위한 품질관리 절차에 의해 전반적인 시험품질을 강화하고, 커리큘럼 전반에 걸친 표준과 벤치마킹 관행을 비교하며, 평가할 정보를 산출하는 기회를 제공했다. 그리고 특정 분야의 교육을 개선한다.

While establishing new collaborations was deemed a challenge when implementing progress testing, ongoing and established collaborations were considered a facilitator (n = 15). 8,9,50,52,54,57,58,63,69,70,72–76 Going beyond sharing test material to reduce cost and single-institution efforts, collaboration between schools offered opportunities to strengthen the overall test quality by extensive quality control procedures, comparing standards and benchmarking practices across curricula, and yielding information to evaluate and improve education in particular fields.

주제 3: progress testing의 수용을 높이는 요인.
Theme 3: Factors that increase the acceptance of progress testing.

progress testing 수용을 높이는 4가지 주요 요인이 파악됐다.

첫째, 진도 테스트의 운영화는 학습자 수용에 영향을 미쳤다(n = 7). 예를 들어, 빈번한 테스트는 학습자의 진도 테스트에 대한 인식을 증가시켰다. 시험 내용도 학습자의 평가(n = 11)에 기여했다. 8,11,50,53,55,61,66,80–83 내용에 대한 포괄적인 접근법을 제시한 진도 시험은 문제 기반 학습 커리큘럼의 맥락에서 더 관련성이 있는 것으로 인식되었다. 학습 과정 초기부터 조우 관련 임상적으로 맥락화된 시험 항목이 존재해 호기심을 자극해 학습 과정을 강화해 학습 동기를 높였다.
Four main factors that increase the acceptance of progress testing were identified. First, the operationalization of progress testing influenced learner acceptance (n = 7). 51,53,66,74,77–79 For example, frequent testing increased learners’ appreciation of progress testing. Test content also contributed to learners’ appreciation (n = 11). 8,11,50,53,55,61,66,80–83 Progress tests that presented a comprehensive approach to content were perceived as more relevant in the context of problem-based learning curricula. The presence of clinically contextualized test items related to encounters from early in the learning process enhanced learner motivation by stimulating curiosity and therefore reinforcing the learning process.

학습자에게 제공되는 준비는 진행률 테스트의 수용도를 증가시켰다(예: 방향, 명확한 방향, 진행률 테스트의 목적 설명). 8,48,50,51,53–56,78,84–88 주니어 학습자들 사이에서 수용도를 높이기 위해, 학습 전략을 가이드하기 위하여 progress testing의 장점 뒤에 있는 철학을 설명하려는 노력을 초기에 다루는 것이 좋다. 예를 들어, 학습자의 진도 테스트에 대한 전반적인 수용도는 일반적으로 여러 차례에 걸쳐 증가했는데, 이는 평가의 이해관계(즉, 낮거나 높음)와 무관했다.
The preparation offered to learners increased their acceptance of progress testing (e.g., orientation, clear directions, explaining the purpose of progress testing) (n = 14). 8,48,50,51,53–56,78,84–88 To enhance acceptance among junior learners, efforts in explaining the philosophy behind progress testing practices merit being addressed earlier to guide their learning strategies. For example, learners’ overall acceptance of progress tests generally increased with multiple sittings, as they became aware of their concrete knowledge growth; this was independent of the stakes (i.e., low or high) of the assessment.

학습자에게 제공된 피드백은 progress testing에 대한 평가에도 영향을 미칩니다. (예: 점수 비교, 진행률 테스트 후 문답 사본) (n = 26). 충분하고 개인화된, 상세하고 시기 적절하며 구체적인 피드백을 통해 학습자가 진행률 테스트에 대한 수용도를 높였습니다. 피드백 관행에 대한 학습자의 평가는 제공된 정보의 유형에 따라 달라집니다. (예: 차원 및/또는 전문 분야별 하위 점수, 지식 증가의 척도, 강점과 약점의 식별, 동료들과의 비교)

The feedback offered to learners also influenced their appreciation of progress testing (e.g., score comparison, copy of the questions and answers after the progress test) (n = 26). 1,10,49–51,53–55,60,69,70,77–79,84,86–96 Sufficient, personalized, detailed, well-timed, and specific feedback enhanced learners’ acceptance of progress testing. Learners’ appreciation of feedback practices depended on the type of information provided (e.g., subscores per dimensions and/or specialties, a measure of their knowledge growth, identification of strengths and weaknesses, a comparison with their peers).

마지막으로, 평가의 부담은 학습자의 평가(n = 8)에 영향을 미칠 수 있습니다. 5,16,49,50,83,88,97,98 아마도 놀라운 것은 진도 테스트의 형성적 사용이 일반적으로 고부담 총괄 평가에 비해 스트레스가 감소했다는 것입니다.

Finally, the stakes of the assessment can influence learners’ appreciation (n = 8). 5,16,49,50,83,88,97,98 Perhaps not surprisingly, the formative use of progress testing generally decreased stress compared with high-stakes summative assessments.

주제 4: 진행률 테스트 사용의 결과 및 결과.
Theme 4: Outcomes and consequences of progress test use.

우리는 progress testing의 성과와 결과를 개인 수준과 프로그램 수준의 두 가지 주요 범주로 분류했다.
We grouped outcomes and consequences of progress testing into 2 main categories: individual-level and program-level. 

개인 수준의 결과 및 결과(예: 학습자)의 경우 progress testing는 학습자가 더 깊은 학습 전략을 채택하도록 장려했다(즉, 학습에 대한 접근 방식에 영향을 미치고 새로운 학습 방법을 촉진). (n = 24) 시험이 본질적으로 포괄적이기 때문에 진도 시험에서 학습 전략으로서의 벼락치기는 제한적으로 사용된다. (즉, 전체 커리큘럼을 포함하는 시험을 위해 공부하는 것은 어렵다.)  또한 진행률 테스트는 학습자 지식의 증가에 기여했으며(n = 41), 지식 격차 식별에 사용되었다(n = 13).
For individual-level outcomes and consequences (e.g., the learners), progress testing encouraged learners to adopt deeper learning strategies (i.e., influence approach to learning and promote new ways of learning) (n = 24). 5,6,8,16,48–51,53,55,58,63,68–70,74,78,83,88,91,92,95,97,99 Cramming as a studying strategy is of limited use in progress testing because such tests are comprehensive in nature (i.e., it is difficult to study for a test that covers the entire curriculum). Progress testing also contributed to an increase in learner knowledge (n = 41) 3,5,6,8–10,12,14,49,51,55–59,65–69,84,86,87,91,93,95,98–112 and was used to identify knowledge gaps (n = 13). 3,5,6,8,11,49,53,55,66,69,83,95,113

대부분 긍정적인 결과가 관찰되었지만, 다양한 수준의 학습 성장이 발견되었다. 좀 더 구체적으로, 진도 시험에 대한 학습 곡선은 시간이 지남에 따라 감소하기 전에 커리큘럼의 초기 몇 년 동안 더 중요했으며, 이는 학습 성장이 시간에 따라 감속되었음을 시사한다(n = 6). 55,66,94,100,107,109 일부 저자들은 제한된 학습 성과, 즉 제한된 점수 증가(n = 9)를 관찰하기도 했다. 6,16,50, 74, 83,8, 98, 97, 97, 103 이러한 제한된 성과는 대부분 [블록 테스트의 존재, 본질적인 동기 부족 또는 연구의 방법론적 문제](예: 작은 표본)에 기인한다.
While mostly positive outcomes were observed, varying levels of learning growth were found. More specifically, the learning curve on progress testing was more significant in the early years of a curriculum before decreasing over time, suggesting that learning growth decelerated over time (n = 6). 55,66,94,100,107,109 Some authors even observed limited learning outcomes, that is, limited score increase (n = 9). 6,16,50,74,83,88,95,97,103 These limited outcomes were mostly attributed to the presence of block testing, a lack of intrinsic motivation, or even methodological issues with studies (e.g., small samples).

[프로그램 수준]에서, progress testing 는 프로그램 내에서 학습자 진행에 대한 포괄적이고 종적인 그림을 제공할 수 있는 평가 전략으로 간주되었다(n = 11). 따라서 Progress testing 는 종종 커리큘럼 평가를 위한 풍부한 자료 출처로 간주되었다(즉, 커리큘럼 갭을 강조) (n = 20). 

At the program level, progress testing was seen as an assessment strategy that can provide a comprehensive and longitudinal picture of learner progression within the program (n = 11). 5,6,8,56,61,70,71,77,91,98,106 As such, progress tests were often considered to be a rich source of data for curriculum evaluation (i.e., by highlighting curricular gaps) (n = 20). 1,5,6,8,10,49,54,57,61,70,75,79,89,90,100,108,114–117

논의
Discussion

주제에 대한 기사가 늘어나는 것을 볼 수 있듯 Progress testing 의 인기가 높아지고 있다. 새로운 평가 전략, 특히 Progress testing 과 같이 복잡한 전략의 구현은 잠재력을 완전히 달성하기 위해 여러 이해 관계자의 참여를 요구한다. 우리가 진보 시험의 구현에는 여러 당면 과제를 강조해 왔다, 우리도 지속적의 교육자들 및 관리자, 이상적으로는 그들의 내재적 동기 이 평가 형식으로 참여하고 있는 시험에 대한 학생들의 수용을 늘릴 수 있는 방법을 확인하였다. 증가된 내재적 동기, 차례로 학생의 학습에 기여해야 한다.

Progress testing is increasing in popularity, as can be seen by the growing number of articles on the topic. The implementation of a novel assessment strategy, especially one as complex as progress testing, requires the buy-in of several stakeholders to achieve its full potential. While we have highlighted several challenges to the implementation of progress testing, we also identified ways in which educators and administrators can increase students’ acceptance of progress testing and, ideally, their intrinsic motivation to participate in this assessment format. Increased intrinsic motivation should, in turn, contribute to student learning.

Progress testing의 성공적인 이행을 위해 잠재적인 조건 다른 학교나 기관이 참가한 강한 협력을 포함한다. 새로운 협업을 개발하는 것은 처음에는 어려울 수 있지만, 이러한 파트너십은 Progress testing의 구현 가능성을 크게 높인다. 평가 품질에 관한 최근 연구에서 보듯이, 평가 전략을 평가할 때 실현 가능성은 중요한 고려 사항이다. 프로그램, 학교 및 기타 조직은 공통 목표를 향해 협력하고 progress testing 의 개발 및 구현에 협력할 때 작업량을 공유할 수 있으므로 이 작업과 관련된 타당성을 높일 수 있다. 또한 콘텐츠 개발 등의 업무 공유를 통해 협력 당사자가 공유하는 검토 프로세스를 구현하여 progress testing 의 품질을 높일 수 있는 기회가 있다. 교수진의 부담을 줄이면 진도 시험에 대한 수용도가 높아질 수 있다. 협업의 대안은 작업을 완전히 아웃소싱(예: progress testing 구매)하여 현지 팀의 부담을 줄이는 것일 수 있습니다.
Potential conditions for the successful implementation of progress testing include a strong collaboration with other schools or organizations. While developing new collaborations can be challenging at first, 5,52,63,70,71 these partnerships greatly increase the feasibility of implementing progress testing. 8,9,50,52,54,57,58,63,69,70,72–76 As seen in recent work on the topic of assessment quality, feasibility is an important consideration when evaluating an assessment strategy. 118,119 Programs, schools, and other organizations can share the workload and thus increase the feasibility associated with this task when working together toward common objectives and collaborating on the development and implementation of progress testing. Moreover, through sharing content development and other tasks, there is an opportunity for increasing the quality of progress tests by implementing review processes shared by the collaborating parties. Reducing the burden on faculty members can increase their acceptance of progress testing. An alternative to collaboration could be to outsource the work completely (e.g., by buying a progress test), thus reducing the burden on the local team.

[학습자 수용]은 평가 전략을 구현할 때 중요한 관심사이기도 합니다. Ricci와 동료들은 학생들이 새로운 평가에 매우 비판적일 수 있다는 것을 관찰했다. 다른 저자들은 또한 학생들이 평가 방정식의 중요한 이해당사자라는 견해를 지지한다. [학생들의 참여]는 [평가가 완전한 잠재력(즉, 학생 학습에 기여)에 도달할 가능성]에 큰 영향을 미칠 수 있다. 우리의 데이터는 학생들의 사기가 저하되고 결과적으로 학습에 거의 영향을 미치지 않는 등 학생들의 진도 테스트 수용에 미치는 영향을 보여주었다. [명확한 피드백을 제공]하고 [발달시험에 대한 오리엔테이션]을 제시하는 것이 이러한 잠재적인 부정적인 결과에 대항하는 방법이었다. 게다가, 학습 패러다임을 위한 평가를 선호하기 위해 [지역 문화의 변화]는 학생들의 발달시험에 대한 수용도를 증가시켰다.
Learner acceptance is also an important concern when implementing an assessment strategy. 118,119 Ricci and colleagues 120 observed that students can be very critical of novel assessments. Other authors also support the view that students are important stakeholders in the equation of assessment. 121–126 Student buy-in can greatly impact the likelihood that an assessment will reach its full potential (i.e., contribute to student learning). 5,50,51,53,78,83,91,92,95 Our data showed the impact on student acceptance of progress testing, with lack of buy-in decreasing their morale and subsequently showing little impact on their learning. 16,53,61 Providing explicit feedback 50,53,60,77,79,84,86–88,91,92,94,95 and offering an orientation to progress testing 8,48,54–56,78,86 were ways to counter this potential negative consequence. In addition, a change in local culture, to favor an assessment for learning paradigm, increased students’ acceptance of progress testing. 50,51,53,69,70,78,83,92,95

[시험을 치르는 행위]를 통한 [적극적인 지식 생산]은 반복적인 학습 시간에 비해 정보의 장기 보존에 더 효과적이라는 것이 입증되었다. 이런 식으로 발달시험은 학습자가 반복적으로 시험을 완료해야 하기 때문에 학생 학습에 기여할 수 있다. [반복적인 테스트]는 [정보 검색의 행위]를 통해 향상된 학습과 정보 보존을 촉진한다. 발달시험은 또한 부분적으로 평가된 많은 양의 지식을 포함하는 교육의 최종 커리큘럼 목표를 사용하여 학습을 촉진한다. 진도 테스트는 테스트 지향 학습 전략(예: 테스트에 대한 공부, 암기, 주입식 주입)을 억제한다. 전체 커리큘럼을 포괄하는 한 번의 시험을 위해 공부하는 것은 사실상 불가능하기 때문이다. 게다가, 잦은 시험은 학습자들이 더 자주 공부하도록 격려하고 학습 기간을 띄워주며, 이는 다시 학습을 촉진하고 장기 보존을 강화한다. 반복 테스트는 또한 교육 초기 단계에서 어려움을 겪고 있는 학습자를 식별하는 데 도움이 되며, 이는 교수진이 신속한 교정 및 기타 개입을 제공할 수 있도록 하는 기능입니다.

Active production of knowledge through the act of taking a test has proven more effective for long-term retention of information compared with repeated studying sessions. 127–130 In this way, progress testing can contribute to student learning as it requires learners to repeatedly complete the test. Repeated testing promotes enhanced learning and information retention through the act of information retrieval. 127–130 Progress tests also promote learning, in part, through the use of end-of-training curriculum objectives, which involve a large volume of knowledge assessed. Progress testing discourages test-directed learning strategies (e.g., studying to the test, memorization by rote, cramming) because it is virtually impossible to study for a single examination that covers an entire curriculum. 6,16 In addition, frequent testing encourages learners to study more often and space out study periods, which in turn promote learning and enhance long-term retention. 127 Repeated testing also helps to identify learners who are struggling at an earlier stage in their training, a feature that allows faculty to offer rapid remediation and other interventions. 6,66

발달시험 점수는 교육과정 평가를 위한 풍부한 자료 출처를 제공하기 때문에 기관들에게 귀중한 결과이다. 발달시험 점수는 [커리큘럼 격차를 파악하고 교수개발을 지원]하는 데 사용될 수 있다. 진행률 테스트에 의해 제공되는 지식 성장의 종적 척도는 대다수의 학습자가 어려움을 겪었고 제한된 장기적 지식 보유를 가진 곳을 강조할 수 있다. 이렇게 파악된 격차는 커리큘럼 개선 결정을 안내하고 교수진 개발이 필요한 부서를 특정할 수 있습니다. 일부 커리큘럼은 발달와 관련하여 수집된 데이터를 기반으로 수정되었으며, 다른 커리큘럼은 커리큘럼의 개요를 갖는 것이 유용하다는 것을 발견했다.

Progress test scores are a valuable outcome for institutions as they provide a rich source of data for curriculum evaluation. Progress test scores can be used to identify curricular gaps and support faculty development. The longitudinal measure of knowledge growth offered by progress tests can highlight where a majority of learners have had difficulty and limited long-term knowledge retention. These identified gaps can then guide curricular improvement decisions and pinpoint departments in need of faculty development. 127 A few curricula have been revised based on data collated around progress testing, 54,89,100 while others found it useful to have an overview of their curriculum. 5,8,57,79,90,114,117

제한 사항
Limitations

이 범위 지정 검토에는 몇 가지 제한이 있습니다. 우리는 우리의 연구에 포함된 기사의 질을 평가하지 않았다. 스코핑 리뷰의 [사회 구성적 토대]와 일치하며, 그 목표는 주어진 주제에 대한 문헌의 폭과 깊이를 포착하는 것이다. 131 이 범위 검토의 주요 목표는, 기사의 품질을 평가하기보다는, 연구 설계를 기반으로 광범위하고 깊이 있는 문헌을 지도화하는map 것이었다. 마지막으로, 결과는 샘플에서 네덜란드 기사의 과잉 표현으로 인해 왜곡될 수 있다. 이는 그들이 이 평가 전략 개발에 기여했고 우리의 서술적 분석에서 보여지듯이 발달시험의 열렬한 사용자이기 때문에 예상되었다.

There are certain limitations to this scoping review. We did not assess the quality of the articles included in our study, which is consistent with the socioconstructive underpinnings of a scoping review, the goal of which is to capture the breadth and depth of the literature on a given topic. 131 Based on the study design, the main goal of this scoping review was to map broadly and deeply the literature on progress testing rather than assess the quality of articles. Finally, the results may be skewed by the over representation of articles from the Netherlands in our sample. This was expected as they contributed to the development of this assessment strategy and are, as illustrated in our descriptive analysis, fervent users of progress testing.

결론들
Conclusions

발달시험은 학습자가 교육 종료 커리큘럼 목표와 관련하여 평가되는 여러 컨텍스트에서 사용할 수 있는 종방향 평가입니다. 이 형식은 학습을 위해 테스트 강화 학습 개념화와 평가 원칙을 사용하며 주의 깊게 구현될 때 개인(예: 학습 결과) 및 프로그램(예: 커리큘럼 평가를 위한 데이터) 수준에서 긍정적인 결과를 보여준다. 학습자를 위한 시험 경험을 최적화(예: 진도 시험에 대한 근거 제공 및 빈번한 시험 기회, 시험 완료에 충분한 시간 허용, 상황별 질문 제시, 고품질 피드백 제공)하면 학습자가 발달시험에 대한 수용도를 높이고, 학습자의 발전에 미치는 잠재적 영향을 향상시킬 수 있다.

Progress tests are longitudinal assessments that can be used across multiple contexts in which learners are assessed with regards to the end-of-training curriculum objectives. This format uses a test-enhanced learning conceptualization and principles of assessment for learning and shows positive outcomes at individual (e.g., learning outcomes) and program (e.g., data for curriculum evaluation) levels when it is carefully implemented. Optimizing the test-taking experience for learners (e.g., providing a rationale for progress testing and frequent testing opportunities, allowing enough time for test completion, presenting contextualized questions, providing high-quality feedback) may enhance their acceptance of progress testing and its potential impact on their development.

 

---

Acad Med. 2022 May 1;97(5):747-757.

 doi: 10.1097/ACM.0000000000004507. Epub 2022 Apr 27.

Written-Based Progress Testing: A Scoping Review

Vincent Dion 1, Christina St-Onge 2, Ilona Bartman 3, Claire Touchie 4, Debra Pugh 5

Affiliations collapse

Affiliations

1V. Dion is an undergraduate medical education student, Faculty of Medicine and Health Sciences, Université de Sherbrooke, Sherbrooke, Québec, Canada. He was a research assistant to the Paul Grand'Maison de la Société des médecins de l'Université de Sherbrooke research chair in medical education, Sherbrooke, Québec, Canada, at the time this work was completed.

2C. St-Onge is professor, Department of Medicine, Faculty of Medicine and Health Sciences, Université de Sherbrooke, and the Paul Grand'Maison de la Société des médecins de l'Université de Sherbrooke research chair in medical education, Sherbrooke, Québec, Canada; ORCID: https://orcid.org/0000-0001-5313-0456.

3I. Bartman is medical education research associate, Medical Council of Canada, Ottawa, Ontario, Canada; ORCID: https://orcid.org/0000-0002-2056-479X.

4C. Touchie is professor of medicine, University of Ottawa, Ottawa, Ontario, Canada. She was chief medical education officer, Medical Council of Canada, Ottawa, Ontario, Canada, at the time this work was completed; ORCID: https://orcid.org/0000-0001-7926-9720.

5D. Pugh is medical education advisor, Medical Council of Canada, and associate professor, Department of Medicine, University of Ottawa and The Ottawa Hospital, Ottawa, Ontario, Canada; ORCID: https://orcid.org/0000-0003-4076-9669.

PMID: 34753858

DOI: 10.1097/ACM.0000000000004507

Abstract

Purpose: Progress testing is an increasingly popular form of assessment in which a comprehensive test is administered to learners repeatedly over time. To inform potential users, this scoping review aimed to document barriers, facilitators, and potential outcomes of the use of written progress tests in higher education.

Method: The authors followed Arksey and O'Malley's scoping review methodology to identify and summarize the literature on progress testing. They searched 6 databases (Academic Search Complete, CINAHL, ERIC, Education Source, MEDLINE, and PsycINFO) on 2 occasions (May 22, 2018, and April 21, 2020) and included articles written in English or French and pertaining to written progress tests in higher education. Two authors screened articles for the inclusion criteria (90% agreement), then data extraction was performed by pairs of authors. Using a snowball approach, the authors also screened additional articles identified from the included reference lists. They completed a thematic analysis through an iterative process.

Results: A total of 104 articles were included. The majority of progress tests used a multiple-choice and/or true-or-false question format (95, 91.3%) and were administered 4 times a year (38, 36.5%). The most documented source of validity evidence was internal consistency (38, 36.5%). Four major themes were identified: (1) barriers and challenges to the implementation of progress testing (e.g., need for additional resources); (2) established collaboration as a facilitator of progress testing implementation; (3) factors that increase the acceptance of progress testing (e.g., formative use); and (4) outcomes and consequences of progress test use (e.g., progress testing contributes to an increase in knowledge).

Conclusions: Progress testing appears to have a positive impact on learning, and there is significant validity evidence to support its use. Although progress testing is resource- and time-intensive, strategies such as collaboration with other institutions may facilitate its use.

Copyright © 2021 by the Association of American Medical Colleges.