의학교육에서 동료지원학습(PAL): 체계적 문헌고찰과 메타분석(Med Educ, 2021)

의학교육에서 동료지원학습(PAL): 체계적 문헌고찰과 메타분석(Med Educ, 2021)
Peer-assisted learning in medical education: A systematic review and meta-analysis
Clarissa Brierley BSc MSc1 | Leila Ellis BSc MBChB2 | Emily Roisin Reid BA MA1

 

 

1 도입
1 INTRODUCTION

동료 지원 학습(PAL)은 '전문 교사가 아닌 유사한 사회 집단의 사람들이, 서로 돕고 가르침을 통해, 스스로 학습하는 것'으로 정의되며, 의과대학에서 종종 시행되는 보충 교육의 한 형태이다. PAL은 고학년 학생들이 저학년 학생들을 가르치는 '니어 피어 티칭'과 같은 수준의 학생들이 교습과 튜터의 역할을 번갈아 맡는 '피아 투 피어 티칭'을 포함한 다양한 교육 방법을 포괄하는 용어이다. PAL은 의대생에게 졸업 시 GMC(General Medical Council)가 요구하는 교육 기술을 개발할 기회를 제공할 뿐만 아니라 선행학습 강화와 학업성취도 향상시킵니다. 또, 연구 결과, 커리큘럼내의 PAL은 스탭의 시간을 최적화해, 전체적인 자원의 가용성을 높이는 것으로 나타났습니다. PAL은 교직원과 학생 사이의 접촉 기회를 줄인다는 비판을 받아왔으며, PAL 학생들은 문제 기반 학습(PBL)의 맥락에서 문제를 독립적으로 분석하는 데 어려움을 겪고 있다. 따라서 PAL이 가장 큰 가치가 있는 맥락은 의학 교육에서 추가적인 관심 분야이다.

Peer-assisted learning (PAL), defined as ‘people from similar social groupings who are not professional teachers helping each other to learn and learning themselves by teaching’, is a form of supplemental teaching often implemented in medical schools.1, 2 PAL is an umbrella term encompassing a range of teaching methods, which include ‘near-peer teaching’, where students of a higher year teach students of a lower year, and ‘peer-to-peer teaching’, where students at the same level interchangeably take on the roles of tutors and tutees.3-5 PAL not only provides the opportunity for medical students to develop the teaching skills required by the General Medical Council (GMC) on graduating but also additionally helps reinforce their prior learning and improves their own academic performances.6, 7 Research has also shown that intra-curricular PAL increases overall resource availability by optimising staff time.8, 9 PAL has been criticised for reducing opportunity for contact between faculty and students, and in the context of problem-based learning (PBL), PAL students have reported difficulties in independently analysing problems.10 The context in which PAL is of greatest value is therefore an additional research area of interest within medical education.

PAL은 수십 년 동안 고등교육에 편입되어 왔으며, 영국 의과대학에서 채택되기 전에는 미국에서 시험 성적과 긍정적인 상관관계가 나타났다. 2010년 미국의 한 조사에 따르면, 응답한 의과대학 중 76%가 의학 교육 중에 어떤 형태로든 학생이 PAL에 참여하였다. PAL은 처음에는 저성취 학생을 대상으로 한 튜토리얼 프로그램 또는 이미 확립된 교육에 학생 교사를 포함시키는 프로그램의 형태를 취했습니다. 
PAL has been incorporated into tertiary education for decades, and a positive correlation with exam performance was shown in the United States before it was adopted by medical schools in the United Kingdom.11-13 A 2010 survey in the United States indicated that 76% of responding medical schools had students who engaged in some form of PAL during their medical education.14 PAL initially took the form of tutorial programmes targeted at low achieving students, or programmes that incorporated student teachers into already established teaching.12, 15-19

PAL은 1990년대 초반부터 학부 교육에서 실시되어 왔지만, PAL이 학생에게 미치는 영향에 대한 연구는 질적 연구 및 추적 기간이 짧은 학생에 대한 연구 형태로 이루어져 왔다. 이들은 학생들의 능력에 대한 인식 향상뿐만 아니라 학생들의 자기 보고 자신감 향상, 학생들의 기술과 지식의 개발도 보고했다. 2016년 체계적인 검토는 동료 교습을 통해 가르친  성과와 교직원이 가르친 성과를 비교했다. 그룹 간에 유의하게 다른 결과가 식별되지는 않았지만, PAL은 PAL의 혜택이 다를 수 있는 [다양한 교육 맥락에서 PAL 전달의 이질성]을 반영하려는 시도 없이, (마치 모든 PAL이) 단일하고 균일한 것처럼 취급되었다. 
Although PAL has been implemented in undergraduate education since the early 1990s, research into PAL's impact on students has been in the form of qualitative studies and those with short follow-up durations.8, 20-23 These reported an improvement in students' self-reported confidence, the development of students' skills and knowledge, as well as improved perception of students' abilities.8, 20-23 A systematic review in 2016 compared outcomes for undergraduate medical students taught through peer teaching with those taught by faculty.24 Although no significantly different outcomes between groups were identified, PAL was treated as a single, uniform entity, with no attempt to reflect the heterogeneity of PAL delivery in varying educational contexts, where the benefit of PAL may differ.24

본 연구는 의대생을 대상으로 실시한 PAL의 모든 무작위 연구를 체계적으로 검토했다. PAL의 효과를 확립하는 것이 주된 목적이었고, 그 대신 학업성취도를 선택했다. 두 번째 목표는 PAL이 가치를 부가할 수 있는 특정 의료 교육 환경을 식별하는 데 초점을 맞춘다. 우리는 중장기적으로 평가했을 때 임상 전과 학생의 성과, 절차적 기술 또는 이론적 지식의 가르침, 그룹 간 PAL이 학업 성취도에 미치는 영향 사이의 차이를 식별하기 시작했다.

This study systematically reviewed all randomised studies of PAL conducted using medical students as subjects. The principal aim was to establish the effectiveness of PAL, choosing academic performance as a proxy measure. The secondary aims focus on identifying the specific medical education setting where PAL may add value. We set out to identify any differences between the performance of preclinical and clinical students, the teaching of procedural skills or theoretical knowledge, and the impact of PAL on academic achievement between groups when assessed in the medium to longer term.

2 방법
2 METHODS

2.1 프로토콜 및 등록
2.1 Protocol and registration

이 검토는 체계적 검토 및 메타 분석을 위한 선호 보고 항목(PRISMA)과 증거 합성 보고 교육(STORYS) 진술에 대한 STructured approach를 준수했다. 윤리적 승인이 필요하지 않았다.
This review conformed to the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) and STructured apprOach to the Reporting In healthcare education of Evidence Synthesis (STORIES) statements.25, 26 No ethical approval was required.

2.2 검색 전략
2.2 Search strategy

4개의 전자 데이터베이스(MEDLINE, Ovid Embase, Web of Science and Education Research Complete)에 대한 문헌 검색은 2020년 4월에 C. B.에 의해 수행되었고 2021년 7월에 업데이트되었다. PAL에 대한 다양한 변형이 의료 교육 내에서 시행되고 있으며, 이 용어는 종종 서로 바꿔서 사용됩니다.4 이 다양성은 가능한 많은 관련 연구를 얻기 위해 사용된 검색어에 반영되었다. 각 데이터베이스에 대한 전자 검색 전략에는 의료 주제 제목(MeSH) 용어, 부울 조합 및 20개 키워드의 잘라내기 사용이 포함되었다. 검색어 개발 중에 대상 사서에게 상담했습니다. Embase 검색 전략은 표 S1에 요약되어 있습니다.
A literature search of four electronic databases (MEDLINE, Ovid Embase, Web of Science and Education Research Complete) was conducted by C. B. in April 2020 and updated in July 2021. Many different variations on PAL are being practised within healthcare education, and the terminology is often used interchangeably.4 This variety was reflected within the search terms used in order to obtain as many relevant studies as possible. The electronic search strategy for each database included the use of Medical Subject Headings (MeSH) terms, Boolean combinations and truncations of 20 keywords. A subject librarian was consulted during search term development. Our Embase search strategy is summarised in Table S1.

검색은 저널 기사를 포함했고 제목, 추상, 인간 연구 및 영어로 된 기사들로 제한되었다. 회색 문헌은 포함되지 않았다. 출판 시기에 대한 제한은 없었다. 검토에 포함된 모든 논문의 참조 목록에서 관련 기사를 검색했습니다. 모든 레퍼런스에 대해 전방 인용 검색을 실시했습니다. 모든 원본 연구 기사는 검토를 위해 검색되었으며, 참고 문헌 관리 프로그램인 ENDNOTE X9.2를 사용하여 검색 라이브러리를 만들었습니다.

The search incorporated journal articles and was limited to titles, abstracts, human studies and those in the English language. No grey literature was included. No limits were imposed on the time of publication. The reference lists of all papers included in the review were searched for relevant articles. We performed forwards citation searching for all references. All original research articles were retrieved for examination, and a search library was created using ENDNOTE X9.2, a bibliography management program.

2.3 연구의 선택
2.3 Study selection

기사 제목과 요약은 표 1의 포함 및 제외 기준에 따라 한 명의 검토자(C. B)가 체계적인 검토를 위해 선별 및 선정하였다.

Article titles and abstracts were screened and selected for systematic review by one reviewer (C. B.) based on the inclusion and exclusion criteria in Table 1.

학생의 학습에 영향을 주는 변수의 수를 최소한으로 억제하고, 리모트 또는 온라인 교습을 포함함으로써 발생하는 추가 편견을 피하고 싶기 때문에, 교습이 직접 행해진 연구만을 포함했습니다. 전문 스크리닝은 두 명의 저자(C. B.와 L. E.)가 수행했으며, 합의 수준은 96.4%였다. 갈등은 토론과 합의에 의해 해결되었다.

We only included studies where teaching had occurred face to face as we wished to minimise the number of variables influencing student's learning and avoid the additional biases caused by including remote or online teaching. Full-text screening was performed by two authors (C. B. and L. E.), with the agreement level being 96.4%. Conflicts were resolved by discussion and consensus.

연구는 모든 무작위 연구 암에 대해 평가에서 얻은 전체 평균 및 표준 편차 또는 표준 오차/신뢰 구간(CI)의 보고에 기초해 메타 분석에 포함되도록 선택되었다.

Studies were selected for inclusion in the meta-analysis based on the reporting of, at a minimum, the overall mean and standard deviation or standard error/confidence interval (CI) obtained at assessment for all randomised study arms.

2.4 데이터 수집
2.4 Data collection

적격 연구의 데이터 추출은 두 명의 독립 검토자(C. B.와 L. E.)에 의해 수행되었고, 이후 데이터를 교차 검사했다. 데이터 추출 양식은 학습 설계, 설정, 사용된 용어, 학생 교사와 학습자의 수와 특성, 학습 포함/제외 기준 및 1차 및 2차 결과와 같은 개별 학습 요소를 기록하기 위해 구성되었다. 개입 구분, 제공된 동료 교사 훈련, 제공된 교육의 빈도, 기간 및 세부 사항이 기록되었습니다. 연구 결과는 기록되었고, 가능한 경우 평균, 표준 편차, p 값, 표준 오차, 시험 점수 및 최대 가능 점수로 제한되었다. 피어 티칭 상호작용의 영향은 '커크패트릭의 학습 수준'의 수정된 모델을 사용하여 분류되었다. 데이터가 누락되거나 보고되지 않은 경우 해당 작성자에게 연락하여 응답이 없는 경우 2차 연락하여 4개월의 시간을 부여하였다. 개인이 포함된 연구의 품질은 Cochrane Risk of Biases Tool을 사용하여 평가되었다. 
Data extraction of eligible studies was conducted by two independent reviewers (C. B. and L. E.) who subsequently cross-checked data. A data extraction form was constructed to record individual study elements, such as study design, setting, terminology used, numbers and characteristics of student teachers and learners, study inclusion/exclusion criteria as well as the primary and secondary outcomes. Details of intervention arms, any peer teacher training provided, as well as the frequency, duration and details of teaching provided were recorded. Study outcomes were recorded and, where available, were limited to mean, standard deviation, p value, standard error, test score and the maximum possible score. The impact of peer-teaching interaction was classified using modified models of ‘Kirkpatrick's levels of learning’.27 In the event of missing or unreported data, corresponding authors were contacted and, where there was no response, contacted a second time and given 4 months to respond. The quality of the individual included studies was assessed using the Cochrane Risk of Bias Tool.28

2.5 데이터 분석
2.5 Data analysis

연구에 보고된 개입 후 평가 점수는 교육 방법의 효과성에 대한 객관적인 척도로 사용되었다. 객관식 설문지(MCQ)와 객관식 구조 임상 검사(OSCE)를 통해 학생을 평가한 경우, 가르친 자료를 검토했다. 교육에 포함된 자료가 이론적인 경우 필기 시험 결과를 연구의 주요 결과로 선택한 반면, 실용적이라면 OSCE 결과를 보고했습니다. 연속 데이터를 추출할 수 있는 경우, 95% CI의 표준화 평균 차이(SMD)가 각 연구 비교에 대해 계산되었다. 평균 또는 SD 결과가 보고되지 않은 경우 저자에게 요청하거나, 가능한 경우 답변이 없는 경우 Wan 등의 공식을 사용하여 계산했다. 
Postintervention assessment scores reported in the studies were used as an objective measure of teaching method effectiveness. Where students were assessed by both a multiple-choice questionnaire (MCQ) and an objective structured clinical examination (OSCE), the material taught was reviewed. If the material covered in teaching was theoretical, the written exam outcome was chosen as the primary outcome of the study, whereas, if practical, then the OSCE outcome was reported.29-34 Where continuous data could be extracted, the standardised mean differences (SMDs) with 95% CI were calculated for each study comparison. Where the mean or SD results were not reported, these were requested from the authors or, where possible and in the absence of a reply, calculated using the formula of Wan et al.35

또한 계획된 [하위그룹 분석]이 포함되었습니다.

• 임상 전 의료 교육 대 임상 의료 교육에서 동료 교육의 효과 분석
  
• 동료 교육이 실무/절차적 기술에 미치는 영향 분석(OSCE에 의해 평가됨) 대 이론적 지식(서면에 의한 시험에 의해 평가됨) 
  
• 그리고 단기적 지식 보유와 중기적 지식 보유에 대한 동료 교육 효과 분석.

Additionally, planned subgroup analyses included

1. analysis of effect of peer teaching in preclinical versus clinical medical education;
2. analysis of impact of peer teaching on practical/procedural skills (assessed by OSCE) versus theoretical knowledge (assessed by written examination); and
3. analysis of effect of peer teaching on short-term versus medium-term knowledge retention.

적절한 데이터를 추출할 수 없고, 해당 저자에게 연락하여 자료를 구할 수 없어, 메타분석에 포함되지 않은 기사는 6건이었다. 포함된 연구 사이의 이질성을 설명하기 위해 무작위 효과 모델을 사용했다. 연구 간의 이질성은 I2 테스트를 통해 평가되었다. 통계 분석은 검토 관리자에 대해 수행되었다. Stata를 사용하여 깔때기 그림을 만들었습니다. 

Six articles were not included in the meta-analysis as the appropriate data could not be extracted and could not be sourced by contacting the respective corresponding authors.36-41 We used a random-effect model to account for the heterogeneity amongst the included studies. The heterogeneity between studies was assessed with the I2 test. Statistical analyses were performed on Review Manager.42 The funnel plot was created using Stata.43

두 명의 검토자는 교육 개입의 결과를 평가하는 데 널리 사용되는 방법인 커크패트릭 프레임워크의 수정된 버전을 사용하여 각 연구의 교육적 영향을 독립적으로 평가했다. 참가자의 학습경험에 대한 인식(레벨 1), 참가자의 개입에 대한 인식 수정(레벨 2a)과 그들의 지식 및/또는 기술(레벨 2b), 직장으로의 학습 이전(레벨 3), 조직 관행의 변화(레벨 4a) 및 파티의 이익에 따른 연구를 분류한다.(레벨 4b)27 PRISMA가 권장한 선택, 성능, 소모, 검출 및/또는 보고 편향의 위험에 대한 연구도 분석되었다. 

Two reviewers independently assessed each study for their educational impact using the modified version of the Kirkpatrick framework, a widely used method of appraising the outcome of educational interventions.27, 44 It classifies studies according to the inclusion of

• participants' perceptions of the learning experience (Level 1),
• modification of participants' perceptions of the intervention (Level 2a) and
• their knowledge and/or skills (Level 2b),
• transfer of learning to the workplace (Level 3),
• change in organisational practice (Level 4a) and
• benefits to patients (Level 4b).27 

Studies were also analysed for risk of selection, performance, attrition, detection and/or reporting bias, as recommended by PRISMA.25

3 결과
3 RESULTS

3.1 연구의 선택
3.1 Study selection

전자 데이터베이스 검색에서 4731개의 기록을 확인했다(그림 1). 중복 제거 후, 3098개의 기록이 제목과 요약별로 선별되었고, 3033개는 포함 기준을 충족하지 못해 제외되었다. 포함된 연구의 참조 목록을 수동으로 검토한 결과 포함 대상인 다른 두 개의 연구가 확인되었다. 총 65개의 전문 기사가 적격성을 평가받았고, 38개는 제외되었다. 제외 사유는 그림 1과 같다. 체계적 검토와 정성 분석에 총 27개의 연구가 포함되었다. 이 중 21개 연구는 메타 분석에 포함하기에 충분한 데이터(각 코호트에 대해 보고된 평균 점수, SD 및 참가자 수)를 포함했다.

The electronic database search identified 4731 records (Figure 1). After removal of duplicates, 3098 records were screened by title and abstract, and 3033 were excluded for failure to meet inclusion criteria. Manual review of reference lists of included studies identified another two studies for inclusion.29, 32 A total of 65 full-text articles were assessed for eligibility, and 38 were excluded. Reasons for exclusion are shown in Figure 1. In total, 27 studies were included in the systematic review and qualitative analysis. Of these, 21 studies contained sufficient data (mean scores, SD and number of participants reported for each cohort) to be included in the meta-analysis.

3.2 연구특성
3.2 Study characteristics

포함할 수 있는 27개 기사는 표 S2에 요약되어 있다. 학생 2656명, 교사 225명(8개 기사 포함) 27개 연구 중 13개 연구는 임상 전 학생을 대상으로 한 반면 14개 연구는 임상 학생을 대상으로 했다. 프로그램을 설명하는 데 사용되는 용어는 매우 다양했으며 피어 트레이닝, 피어 튜터링, 피어 티칭, 니어 피어 티칭, 피어 주도 티칭, PAL 및 피어 어시스트 티칭이 포함되었습니다. 

The 27 articles eligible for inclusion are summarised in Table S2. A total of 2656 students and 225 student teachers (eight articles did not report the number of student teachers included30, 34, 38, 40, 41, 45-47). Of the 27 studies, 13 involved preclinical students as subjects, whereas 14 studies involved clinical students. Terminology used to describe the programmes varied greatly and included peer training,36, 45 peer tutoring,29, 39, 47 peer teaching,31, 32, 48-50 near-peer teaching,37 peer-led teaching,38 PAL31, 33, 34, 40, 41, 46, 51-57 and peer-assisted teaching.30, 58, 59

OSCE 결과 데이터는 17개 연구에서 사용되었고 MCQ 결과는 4개 연구에서 사용되었습니다. 13개의 연구에서, 참가자들은 여러 스터디 세션이 아닌 단일 학습 이벤트에 노출되었고, 주로 절차적 실무 기술을 가르쳤다. 지시의 빈도는 가변적이었다.

OSCE results data were used in 17 studies30-34, 37, 45-48, 50, 52, 53, 55, 57-59 and MCQ results for four studies.29, 49, 52, 56 In 13 studies, participants were exposed to a single learning event,32-34, 38, 40, 46-50, 53, 55, 59 rather than multiple study sessions, and it was primarily procedural practical skills that were taught. The frequency of instruction was variable.

3.3 편견의 위험
3.3 Risk of bias

포함된 연구의 편향 위험은 그림 2에 요약되어 있다. 12개 연구는 무작위화 방법을 보고하지 않았으며, 24개 연구는 배분이 은폐되었는지 여부를 명확하게 기록하지 못했다. 실험 참가자들의 눈을 멀게 하는 연구는 없었다. 9개의 연구에서 블라인딩에 대한 불충분한 정보가 제공되었지만, 검토된 대부분의 연구에서 검출 편향이 여전히 낮았다. 과반수는 모든 결과 데이터를 보고했고, 따라서 낮은 소모attrition 편향을 보였으며, 4개의 연구는 최종 분석에서 참가자가 제외되었기 때문에 보고 편향이 높았다. 그림 3에서 볼 수 있는 SMD의 깔때기 그림은 유의한 비대칭을 나타내며, 이는 연구가 결합된 효과 크기에 대해 대칭적으로 분포되지 않기 때문에 출판 편향을 시사한다.

The risk of bias of the included studies is summarised in Figure 2; 12 studies did not report the methods of randomisation, and 24 failed to clearly record if allocation was concealed. No studies overtly blinded participants. In nine studies, insufficient information was provided on blinding; however, detection bias remains low in the majority of studies reviewed. The majority16 reported all their outcome data and therefore had low attrition bias, and four studies had high reporting bias due to participants being excluded from the final analysis.32, 45 The funnel plots for SMD seen in Figure 3 show significant asymmetry, suggesting publication bias as the studies are not distributed symmetrically about the combined effect size.

 

 

3.4 결과의 종합
3.4 Synthesis of results

자격 기준을 충족하는 27개 연구 중 6개는 전체 코호트에 대한 적절한 측정 가능 결과의 보고 부족으로 인해 메타 분석에 포함될 수 없었다. 메타 분석에 포함된 모든 연구의 결과는 그림 4의 숲 그림에 요약되어 있다. 

Of the 27 studies meeting eligibility criteria, six could not be included in the meta-analysis due to a lack of reporting of appropriate measurable outcomes for the entire cohort. Results of all studies included in the meta-analysis are summarised in the forest plot in Figure 4.29-34, 37, 45-53, 55-59

메타 분석에 포함될 수 있는 연구 내에서 PAL에 참여하는 의대생은 비 PAL 수단으로 학습한 학생에 비해 중재 후 평가 결과가 개선되었다(SMD = 0.52 [95% CI 0.18 - 0.85]; 21개 연구, n = 2267; I2 = 93%) (그림 4). 5개의 연구에서 PAL 교습을 경험한 학생들의 중재 후 테스트 점수가 유의하게 향상되었음을 보여주었고, 15개의 연구는 유의미한 차이를 보여주지 않았으며, 1개의 연구에서는 (PAL보다) [PAL이 아닌 것이 더 나음]을 보여주었다. Z 점수는 3.02였고, 전체 p 값은 .003이었습니다. [초판 후 2020년 11월 8일 수정 추가] 이 항의 데이터 값은 이 버전에서 수정되었습니다.]

Within the studies eligible for inclusion in the meta-analysis, the medical students participating in PAL had improved results in their postintervention assessment compared with those who were taught by non-PAL means (SMD = 0.52 [95% CI 0.18 to 0.85]; 21 studies, n = 2267; I2 = 93%) (Figure 4). Five studies demonstrated significantly improved postintervention test scores for those students who had experienced PAL teaching, 15 studies showed no significant difference and one study showed that non-PAL was better than PAL. Z score was 3.02, with an overall p value of .003. [Correction added on 8 November 2020 after first publication. The data values in this paragraph have been corrected in this version.]

3.5 임상전 의대생 동료교육의 효과
3.5 Effect of peer teaching in preclinical versus clinical medical students

그림 S1A에서 볼 수 있듯이, PAL 교육은

• [임상 학생]의 개입 후 평가 점수를 크게 향상시켰다. (SMD = 0.63 [95% CI 0.12 - 1.14]) 11개 연구, n = 1516, I2 = 95%, p 값 = 0.02, Z 점수 = 2.42)입니다. 
• [임상 전 학생]에 대한 영향은 유의하지 않았다(SMD = 0.39[95% CI -0.04 - 0.82]; 10개 연구, n = 751, I2 = 87%, p 값 = 0.08, Z 점수 = 1.77)입니다. 

As shown in Figure S1A, PAL teaching led to a significant improvement in postintervention assessment scores of clinical students (SMD = 0.63 [95% CI 0.12 to 1.14]; 11 studies, n = 1516; I2 = 95%; p value = .02; Z score = 2.42). The impact on preclinical students was not significant (SMD = 0.39 [95% CI −0.04 to 0.82]; 10 studies, n = 751; I2 = 87%; p value = .08; Z score = 1.77). [Correction added on 8 November 2020 after first publication. The data values in the last sentence have been corrected in this version.]

3.6 동료 교습이 실제 기술 교습에 미치는 영향 대 이론적 지식
3.6 Effect of peer teaching on teaching practical skills versus theoretical knowledge

그림 S1B에서 볼 수 있듯이, PAL 교육은

• 술기를 가르친 학생들의 중재 후 평가 점수를 크게 향상시켰다(SMD = 0.69 [95% CI 0.28 ~ 1.10]; 17개 연구, n = 1758, I2 = 94%, p 값 = .001, Z 점수 = 3.27)입니다.
• 이론을 가르친 학생에 대한 영향은 크지 않았다(SMD = -0.11 [95% CI -0.29 - 0.06]; 
  네 가지 연구, n = 509, I2 = 0%, p 값 = .21, Z 점수 = 1.27)입니다.

As shown in Figure S1B, PAL teaching led to a significant improvement in postintervention assessment scores of students taught practical skills (SMD = 0.69 [95% CI 0.28 to 1.10]; 17 studies, n = 1758; I2 = 94%; p value = .001; Z score = 3.27). The impact on students taught theory was not significant (SMD = −0.11 [95% CI −0.29 to 0.06]; four studies, n = 509; I2 = 0%; p value = .21; Z score = 1.27).

3.7 동료교육이 단기 및 중기 지식 보유에 미치는 영향
3.7 Effect of peer teaching on short-term versus medium-term knowledge retention

중간값과 범위 학습 시점 평가는 각각 6주, 4~8주였습니다. 그림 S1C에서 보듯이,

• 과정 완료 후 4주 이후에 테스트한 학생들은 PAL 방법(SMD = 1.20 [95% CI 0.07 ~ 2.34)으로 학습한 경우 훨씬 더 좋은 성과를 보였다. 5가지 연구, n = 659, I2 = 97%, p 값 = 0.04, Z 점수 = 2.08)입니다. 
• 과정 이수 후 4주 이내에 평가된 학생들은 PAL 방법과 비 PAL 방법으로 학습한 경우(SMD = 0.12[95% CI -0.10 - 0.33]) 큰 차이를 보이지 않았다. 13개 연구, n = 1309, I2 = 71%, p 값 =.28, Z 점수 = 1.09)

The median and range time to point of study assessment was 6 weeks and 4 to 8 weeks, respectively. As shown in Figure S1C,

• students tested over 4 weeks after course completion performed significantly better if they had been taught by PAL methods (SMD = 1.20 [95% CI 0.07 to 2.34]; five studies, n = 659; I2 = 97%; p value = .04; Z score = 2.08).
• Students assessed within 4 weeks of course completion did not perform significantly differently if taught by PAL versus non-PAL methods (SMD = 0.12 [95% CI −0.10 to 0.33]; 13 studies, n = 1309; I2 = 71%; p value = .28; Z score = 1.09).

각 연구의 광범위한 교육적 영향을 평가하기 위해 수정된 커크패트릭 모델을 사용하여, 17개의 연구는 개입에 대한 참가자들의 반응을 보고했다(레벨 1), 15개의 태도 변화(레벨 2A), 26개의 기술 지식 수정(레벨 2B). 2명은 행동 변화(레벨 3), 1명은 조직 관행의 변화(레벨 4A), 그리고 참가자의 학생이나 동료의 변화(레벨 4B)에 주목했다. 리뷰에서 발견된 가장 높은 영향은 레벨 4A였다. 이는 저자들이 신체검사를 1학년까지 가르칠 때 4학년 지도교사만을 교사로 삼는 계획이 진행 중이라고 보고한 것에 의해 달성되었다. 그들은 그들의 연구에서처럼 신체검사가 성공할 것으로 예상했기 때문이다. 표 S2는 검토한 각 기사에 의해 달성된 영향 수준을 요약한다.

Using the modified Kirkpatrick model to evaluate the wider educational impact of each study,

• 17 studies reported the reactions of participants to the intervention (Level 1),
• 15 a change in attitude (Level 2A) and
• 26 a modification of knowledge of skills (Level 2B).
• Two noted a change in behaviour (Level 3),
• one a change in the organisation practice (Level 4A) and
• none a change amongst the participants' students or colleagues (Level 4B).

The highest impact found in the review was Level 4A. This was achieved by the authors reporting that plans were underway to only use fourth-year student preceptors as teachers when teaching physical examination to first years as they anticipated it being as successful as in their study.28 Table S2 summarises the impact levels achieved by each article reviewed.

4 토론
4 DISCUSSION

4.1 전체적인 결과
4.1 Overall outcome

이 체계적 검토의 주요 결과는 [동료들의 참여가 의대생들의 학업 성취도를 크게 향상시킨다는 것]이다. 이 연구는 21개의 PAL 프로그램을 객관적으로 평가하기 위한 정량적 척도를 배치하고, 의료 교육 내 PAL 사용 증가를 뒷받침하는 문헌에 기여한다. 
The principal finding of this systematic review is that peer involvement significantly improves medical students' academic performance. This study deploys quantitative measures to objectively assess 21 PAL programmes and contributes to the literature supporting the increased use of PAL within medical education.11, 13, 24, 60-62

2차 결과는 의대생 코호트와 PAL이 가장 유익한 맥락을 식별하려고 했다. 리뷰는 PAL이 교육의 [임상 단계에서 학생들에게 특히 유용하다]는 것을 확인했다. 학생들은 일반적으로 이 단계에서 더 독립적이며, 임상 환경에서 기술을 습득하는 데 더 많은 시간을 할애하고 교육 세션에서 더 적은 시간을 보낸다. 이러한 맥락에서 PAL의 성공은 PAL이 독립적인 학생 학습을 지원하는 데 적합한 도구라는 것을 의미합니다.
The secondary outcomes sought to identify the medical student cohorts and the context in which PAL is most beneficial. The review identified that PAL is particularly useful to students in the clinical stages of their education. Students are generally more independent at this stage, spending more time acquiring skills in clinical settings and less time at didactic teaching sessions. The success of PAL in this context implies that it is a suitable tool to support independent student learning.

또한, 연구결과는 PAL이 [practical and procedural 임상기술 교육]에 가장 적합하며, [이론적인 지식]만으로 평가한 학생에 비해, 실제 평가 결과가 크게 향상된다는 것을 보여준다. 이러한 [기술을 습득하는 것]은 의대생을 후배 의사로 만드는 데 매우 중요합니다. 분명히, [임상 과제clinical tasks]는 소그룹의 동료 보조 교육이 도움이 되며, 여기서 학생들은 그들의 기술을 연습하고 연마하면서 튜터와 동료 모두로부터 배울 수 있다. 이러한 중요한 발견을 고려할 때, 의과대학 커리큘럼은 의대생을 가까운 또래의 교육에 공식적으로 통합하는 것을 고려해야 한다. 주니어 닥터에 대한 수요가 의대생 졸업생 수를 계속 앞지르고 있고, 코호트 규모가 클수록 학교의 교육 능력 증가가 요구된다는 점을 고려하면 특히 가치가 있을 수 있다.63,64 이러한 증가된 역량은 학생들이 필요한 교육 기술을 배울 수 있도록 지원하는 한편 PAL 프로그램의 확대에 의해 제공될 수 있다. 졸업과 동시에 모든 참가자가 학습을 강화할 수 있도록 합니다.

Furthermore, findings demonstrate that PAL lends itself best to the teaching of practical and procedural clinical skills, resulting in a significant improvement in practical assessment outcomes when compared with students assessed on theoretical knowledge alone. The acquisition of these skills is critical in shaping medical students into junior doctors. Evidently, clinical tasks lend themselves to small-group, peer-assisted teaching, where students can learn both from the tutor and each other while practising and honing their techniques. Given this significant finding, medical school curricula should consider formally integrating medical students in the teaching of their near peers. This may be particularly of value given that demand for junior doctors continues to outstrip medical student graduate numbers, and larger cohort sizes demand increased teaching capacity of the schools.63, 64 This increased capacity could be delivered by the expansion of PAL programmes, while supporting students to learn teaching skills required of them upon graduating and allowing all participants to fortify their learning.6

이 리뷰는 또한 PAL이 학생의 성적에 [더 오랫동안 영향을 미친다는] 것을 확인했다. PAL에 참여하는 학생들은 수업 종료 후 [1개월 이상 경과한 후 평가]했을 때 비참가자보다 훨씬 나은 성과를 보였지만, [피어티칭 발생 직후 평가했을 때]는 개입 간에 큰 차이가 없었다. 포함된 연구는 장기적인 결과를 보고하지 않았지만, 이러한 중간 시점에서도 볼 수 있는 차이는 관심 대상이다. 정성적 연구에 따르면 PAL의 실제 경험에 영향을 미치는 [상황적 요인]이 학습 과정의 핵심이다. 이것들은 정량적으로 평가하기에는 복잡하지만, [학습에 대한 PAL의 영향]이 [중기-장기] 차원에서 확인된다는 연구의 관찰을 설명할 가능성이 높다. 
This review also identified that PAL has a longer lasting impact on student performance. Students participating in PAL performed significantly better than non-participants when assessed more than 1 month after the teaching ended, whereas there was no significant difference between the interventions when students were assessed shortly after teaching occurred. No included studies reported long-term outcomes, yet the difference seen even at these medium-term time points is of interest. Qualitative studies have suggested that contextual factors impacting on the lived experience of PAL are core to the learning process.65, 66 These are complex to evaluate quantitatively but likely account for our study's observation that PAL's effect on learning is seen in the medium to long term.

중기-장기 차원에서 PAL의 효과가 확인된다는 것과 연관된 사실은 다음이 있다.. 

• 덜 공식적인 PAL 교육 환경이 뒷받침될 때 학생들의 신뢰수준이 시간이 지남에 따라 높아진다. 
  
• PAL 환경의 역동적이고 상호작용적인 특성이 기억 형성에 도움이 된다.  
  
• 각 학생이 질문 형성과 질문에 참여할 때, 다른 또래의 학습 과정에 노출되면 상호 이해도가 높아집니다.

PAL 프로그램이 이 실습에 참여하는 의대생들의 단기 및 장기 학업 성과에 미치는 긍정적 및 부정적 영향을 규명하기 위해 여러 연구가 이전에 모색되었다. 그들은 또한 의과대학에서 동료 교사의 장기적인 효과에 대해 어떠한 결론도 도출할 수 없다고 결정했다.

They include the fact

• that student confidence levels increase over time when supported by the less formal PAL teaching setting,
• that the dynamic and interactive nature of the PAL environment aids with memory formation and
• that the exposure to other peers' learning processes as each student participates in question forming and asking leads to greater mutual understanding.67, 68 

Several studies have previously sought to establish the positive and negative effects that PAL programmes have on the short- and long-term academic outcomes of the medical students engaged in this practice.16, 60, 69-73 They also determined that it was not possible to draw any conclusions about the long-term effects of peer teaching during medical school.61, 62

주관적인 학생 평가를 이 검토의 범위를 벗어난 것으로 간주하여, 이러한 결과는 커크패트릭 프레임워크를 사용하여 각 연구에서 PAL의 교육적 영향을 분류할 때 통합되었다. 이전의 연구에 따라, 이러한 보건 교육 개입은 더 넓은 조직에 대한 영향이 없다는 점에서 더 높은 커크패트릭 수준(3과 4)에서 영향을 보여주지 못했다. 
Having regarded the subjective student assessments as beyond the scope of this review, those findings were incorporated when categorising the educational impact of PAL in each study using the Kirkpatrick framework.74 In line with previous research, these health education interventions failed to show impact at the higher Kirkpatrick levels (3 and 4) in that there was no impact demonstrated on the wider organisation.27, 75, 76

여기에 보고된 예비 조사 결과는 PAL 프로그램을 지원하고 장기적인 학업 성과를 지속적으로 평가하는 것의 중요성을 더욱 강조한다.

The preliminary findings reported here further underscore the importance of supporting PAL programmes and continuing to assess long-term academic outcomes.

4.2 연구의 강점 
4.2 Study strengths

이 검토의 주요 강점은 의과대학 환경에서 PAL의 영향을 객관적으로 평가한 고품질 연구에 대한 포괄적인 평가라는 것이다. PAL에 발표된 무작위 연구의 대부분에 대해 객관적 결과 측정이 보고된다. 평균과 SD를 사용할 수 없는 경우 SMD를 계산하고 데이터 집합을 극대화하기 위해 원시 데이터에 대해 작성자에게 직접 연락했다. 이를 통해 메타 분석에 11%(3/27)의 연구가 추가되었다. 또한, 이 검토는 PAL이 의료 교육을 강화할 수 있는 특정 환경에 새로운 초점을 두고 PAL의 영향을 평가하는 가장 포괄적인 체계적 검토이다.

The principal strength of this review is that it is a comprehensive assessment of high-quality studies, which have objectively assessed the impact of PAL in the medical school setting. Objective outcome measures are reported for the majority of randomised studies published in PAL. Where the mean and SD was not available, authors were contacted directly for the raw data to allow the computation of the SMD and maximise the dataset. In doing so, an additional 11% (3/27) of studies were added to the meta-analysis. Furthermore, this review is the most comprehensive systematic review evaluating the impact of PAL with a novel focus on the specific settings in which PAL may enhance medical education.

4.3 연구의 한계와 향후 연구 방법
4.3 Study limitations and future avenues of research

이 검토에는 몇 가지 본질적인 한계가 있다. 깔때기 그림(그림 3)은 연구의 유의한 출판 편향을 보여준다. 이들은 인구, 통제 그룹, 교육 환경 및 방법론이 서로 다른 고도로 이질적이었다. 추가적인 편견은 교육 시험이 그 성격상 임상시험만큼 정확하게 통제될 수 없다는 사실에서 비롯되며, 긍정적 결과 발표만을 선호하는 편향은 덜 바람직한 효과를 보이는 연구의 부재를 설명할 수 있다. 마찬가지로, 표준 오차(SE)에 대해 표시된 SMD의 깔때기 그림은 왜곡되기 쉬우며, 이는 출판 편향의 존재와 정도를 과대평가할 수 있다. 따라서 이 또한 근본적인 원인으로 배제할 수 없다.77.
This review has several intrinsic limitations. The funnel plot (Figure 3) shows the significant publication bias of the studies. They were highly heterogeneous, with different populations, control groups, educational settings and methodologies. Further bias stems from the fact that educational trials by their very nature cannot be controlled as precisely as clinical trials, and the bias in favour of publishing positive results may explain the absence of studies showing a less favourable effect. Equally, it has been found that funnel plots of the SMD plotted against the standard error (SE) are susceptible to distortion, which may lead to an overestimation of the existence and extent of publication bias—this therefore also cannot be excluded as the underlying cause.77

추가적인 한계는, 많은 연구에서 자원자를 사용했다는 것이고, 이는 높은 자기 선택 편향으로 이어졌을 수 있다. 이상적으로는, 장래의 연구에는, PAL의 개입을 실시하거나 받는 학생의 랜덤 배정이 포함됩니다.
An additional limitation is the use of volunteers in many of the studies, which may have led to a high self-selection bias. Ideally, future studies would include the random allocation of students to both deliver and receive the PAL intervention.

이 리뷰는 또한 PAL 프로그램에서 가르칠 학생으로 선택된 [의대생들에게 요구되는 교육 역량]에 대해서도 다루지 않았다. 교육 역량은 어떤 연구에서도 진정으로 통제되지 않았으며, 이에 대해 평가하거나 보고한 연구는 거의 없었습니다. 이것은 자주 연구되지 않는 PAL의 또 다른 측면과 관련되어 있습니다. PAL이 학생 교사에게 미치는 영향은 무엇입니까? PAL에 종사하는 172명의 최종 학년 시험에 대한 2014년 소급 분석에서는 이 학생들이 동시대 학생들보다 1-3% 더 우수한 것으로 확인되었으며, 12명의 해부학 PAL 튜터를 대상으로 한 2018년 비교 연구에서도 이러한 연구 결과가 뒷받침되었습니다. 이러한 연구결과는 PAL의 튜터로 하여금 주요 스킬을 강화하고 지식 통합을 강화해주기에, 튜티학생에게만 PAL의 교육적 영향이 있는 것이 아님을 시사한다. 관찰된 낮은 Kirkpatrick 수준에 반영되어 있는 이 문제를 다루는 빈약한 증거 기반에 접근하는 한 가지 가능한 방법은 학생 교사가 되는 학생들의 성과를 종방향으로 연구하는 것일 수 있다.

This review also did not address what teaching competencies are required of those medical students who choose to teach on PAL programmes. Teaching competency was not truly controlled for in any studies, and few studies assessed or reported on them. This relates to a further aspect of PAL, which is not often researched; what is the impact of PAL on the student teachers? A 2014 retrospective analysis of final-year examinations of 172 students engaged in PAL did establish that those students outperformed their contemporaries by 1–3%, and a 2018 comparative study of 12 anatomy PAL tutors supported these findings.7, 78 These findings point towards the educational impact of PAL being further reaching than on the tutees alone, with the delivery of PAL reinforcing key skillsets and enhancing consolidation of knowledge in the peer tutor. One potential means of approaching the poor evidence base addressing this question (as reflected in the low Kirkpatrick levels observed) may be to longitudinally study the performance of students progressing to student teachers.

메타 분석 결과를 해석할 때 고려해야 할 마지막 고려사항은 포함된 모든 연구의 커리큘럼, 학습 주제 및 그룹 크기에서 유의미한 이질성이다. 이는 표 S2에 표시된 데이터에서 명확하다. 의학 교육을 표준화하고 종합하는 것은 분명 어렵기 때문에 이러한 결과를 바탕으로 취해야 할 조치를 마련하는 것이 더욱 어려워진다. 우리의 2차 결과는 PAL이 가치가 있는 정확한 시나리오를 제시함으로써 이 복잡성을 인정하고 설명하려고 노력했고, 따라서 데이터의 본질적인 이질성을 감소시켰다.
A final consideration that must be taken into account when interpreting the results of our meta-analysis is the significant heterogeneity in the curricula, topics taught and group sizes of all included studies, which are clear from our data displayed in Table S2. It is clearly hard to standardise and synthesise medical education and thus also makes it more challenging to formulate actions to be taken based on these results. Our secondary outcomes sought to acknowledge and account for this complexity by teasing out the exact scenarios where PAL is of value, thus decreasing the intrinsic heterogeneity in the data.

5 결론
5 CONCLUSIONS

이 체계적인 검토는 PAL이 PAL에 참여하는 의대생들의 학업 성취에 큰 영향을 미친다는 것을 뒷받침하는 강력한 데이터를 제공한다. 이는 비 PAL 개입에 비해 의대생이 PAL 개입 후 더 나은 성과를 보였으며, 그 효과는 실제 임상 기술을 습득하는 동안 임상 연도의 학생에서 가장 두드러졌다. 이 효과는 중기적으로 유지되었다. 궁극적으로, 이 연구는 의대생 커리큘럼에 PAL의 공식 통합이 교육 능력의 개발을 지원하고 중장기적으로 유지되는 특히 임상 능력의 측정 가능한 향상을 보장한다는 고무적인 증거를 제공한다.

This systematic review provides robust data to support that PAL has a significant effect on the academic achievements of medical students who engage in it. It demonstrates that medical students performed better after PAL interventions compared with non-PAL interventions, with the effect being most pronounced in students in the clinical years of training during the acquisition of practical clinical skills. This effect was maintained in the medium term. Ultimately, the study provides encouraging evidence to suggest that the formal integration of PAL in medical student curricula supports both the development of teaching skills and confers a measurable improvement in academic performance, particularly in clinical skills, which are maintained in the medium to long term.

 

 

---

Med Educ. 2022 Apr;56(4):365-373.  doi: 10.1111/medu.14672. Epub 2021 Oct 24.

Peer-assisted learning in medical education: A systematic review and meta-analysis

Clarissa Brierley 1, Leila Ellis 2, Emily Roisin Reid 1

Affiliations collapse

Affiliations

1Warwick Medical School, University of Warwick, Coventry, UK.

2Torbay and South Devon NHS Foundation Trust, Torquay, UK.

PMID: 34595769

DOI: 10.1111/medu.14672

Abstract

Objectives: The prevalence of peer-assisted learning (PAL) featuring alongside the core medical curriculum is increasing; however, the evidence base for PAL's efficacy on academic performance is limited. This systematic review of randomised studies of PAL in medical school sets out to assess the impact of PAL on academic outcomes in medical school and evaluate whether PAL confers a benefit in specific educational contexts.

Methods: A literature search was conducted across MEDLINE, Ovid Embase, Web of Science and Education Research Complete. Titles and abstracts were screened, and records were selected following strict eligibility criteria. Following full-text assessment for eligibility, two reviewers independently extracted data from the final selection of records and a meta-analysis was performed. Studies were classified using a modified version of Kirkpatrick's levels of learning. Student test scores were standardised by calculating the standardised mean difference (SMD).

Results: Twenty-seven randomised controlled trials were eligible for inclusion, and twenty-one provided sufficient and complete data to enable meta-analysis. There was a significant improvement in the academic performance of medical students who received PAL compared with those in the control group (SMD = 0.52 [95% confidence interval 0.18-0.85]; p = .003). The impact of PAL was greater amongst clinical medical students (SMD = 0.63; p = .02) than preclinical medical students (SMD = 0.39; p = .08) and when used for teaching practical skills (SMD = 0.69; p = .001) compared with theory (SMD = -0.11; p = .21). Students taught by PAL also achieved better results in assessments conducted more than four weeks after course completion (SMD = 1.20; p = .04). [Correction added on 8 November 2020 after first publication. The data values in the Results section have been corrected in this version.] CONCLUSIONS: Medical students experiencing PAL benefit in terms of academic performance, relative to those not receiving PAL. PAL is of greatest value in the clinical stages of training and for practical skills. The long-term outcomes of PAL remain a priority for future research.

© 2021 Association for the Study of Medical Education and John Wiley & Sons Ltd.