협력적 스킬 학습에 그룹 크기가 중요한가? 무작위대조군 연구(Med Educ, 2021)

협력적 스킬 학습에 그룹 크기가 중요한가? 무작위대조군 연구(Med Educ, 2021)
Does group size matter during collaborative skills learning? A randomised study
Laerke Marijke Noerholk1 | Anne Mette Morcke2 | Kulamakan Kulasegaram3 | Lone N. Nørgaard4 | Lotte Harmsen4 | Lisbeth Anita Andreasen1,5 | Nina Gros Pedersen6 | Vilma Johnsson4 | Anishan Vamadevan1 | Martin Grønnebæk Tolsgaard1,4,7 

 

 

1 소개
1 INTRODUCTION

세계적으로, 의과대학들은 더 많은 수의 의대생들을 입학시키고 학급 규모를 늘림으로써 더 많은 의사들의 필요성에 대응하고 있다. 불행히도, 이러한 입학생 증가는 임상 훈련에 사용할 수 있는 한정된 자원을 고려할 때 학생들의 학습에 해로운 영향을 미칠 수 있다. 결과적으로, 교육자들은 특히 임상 기술을 배우기 위해 [기존의 일대일 견습생 모델]보다 교수 자원에 덜 의존하는 더 [비용 효율적인 교육 훈련 방법]을 요구해 왔다. 현재, 일선 연구는 학부 의료 교육에서 기술의 협업 학습 역할에 더 많은 초점을 맞추고 있다. 
Globally, medical schools are responding to the need for more doctors by admitting a greater number of medical students and increasing class sizes. Unfortunately, this increased intake may have detrimental effects on students' learning given the finite resources available for clinical training.1-3 As a result, educators have called for more cost-effective methods of training and instructional methods that rely less on faculty resources than the traditional one-to-one apprenticeship model, in particular for learning clinical skills. Currently, frontline research proposes an increased focus on the role of collaborative learning of skills in undergraduate medical education.4-6

[협력적 학습]은 '문제를 해결하거나 과제를 완료하거나 제품을 만들기 위해 협력하는 학습자 그룹'으로 정의됩니다. 최근의 연구는 시뮬레이션된 환경에서 [개별 학습]과 비교하여 [Dyad 학습(즉, 쌍으로 학습)의 형태로 하는 협력적 기술 학습]이 기술 보유를 개선하고 열등하지 않은 기술이 임상 작업 공간으로 전이된다는 것을 보여주었다. 또한, Dyad 학습은 유사하거나 더 나은 교육 결과를 생성하는 반면, 교육 자원의 절반만 요구하기 때문에 개별 학습보다 더 비용 효율적인 것으로 생각된다. 협력 학습의 긍정적인 효과는 [동료 관찰, 지식의 인지 공동 구성, 감소된 인지 부하, 사회적 상호 의존성 및 사회적 비교]와 같은 메커니즘을 통해 매개될 수 있다. 함께 일하는 학생들은 자기 효과성, 동기부여를 증가시키고 새로운 정보를 처리할 때 메타인지 능력을 향상시킴으로써 이익을 얻는 것으로 생각된다. 그러나 절차적 학습에 대한 우려는 협업 기술 학습과 관련된 [연습 시간 단축]이, 특히 [협력자의 수가 증가]할 경우, 시간이 지남에 따라 학습자의 학습에 부정적인 영향을 미칠 수 있다는 것이다. 임상 기술 훈련 중 장시간 실습 시간의 중요성은 이동 자동화를 달성하는 데 필수적이며, 이는 이전 테스트 성능을 향상시키는 것으로 다시 한번 입증되었다. 기술 훈련 중 협력자의 수가 학습자당 사용 가능한 실습 시간의 양에 영향을 미치기 때문에 학습 전이도 똑같이 손상될 수 있다.
Collaborative learning is defined as ‘groups of learners working together to solve a problem, complete a task or create a product’.7 Recent studies have shown that collaborative skills learning in the form of dyad learning (i.e. learning in pairs) compared with individual learning in a simulated setting leads to improved skills retention4, 8 and non-inferior skills transfer to the clinical workspace.9 In addition, dyad learning is thought to be more cost-effective than individual learning because it only requires half the instructional resources, while producing similar or better educational outcomes.10, 11 The positive effects of collaborative learning may be mediated through mechanisms such as peer observation,8 cognitive co-construction of knowledge,12 reduced cognitive load,5 social interdependence13 and social comparison.14 Students working together collaboratively are thought to benefit in terms of increased self-efficacy, motivation and by improving their metacognitive skills when processing new information.15, 16 Yet, concerns regarding procedural learning have been raised that the reduced hands-on time associated with collaborative skills learning may affect learners' learning negatively over time, in particular if the number of collaborators increase.15, 17 The importance of extended periods of hands-on time during clinical skills training is essential for achieving movement automaticity, which again has been shown to result in improved transfer test performances.18 As the number of collaborators during skills training will affect the amount of hands-on time available per learner, transfer of learning may be equally impaired.

협업 학습을 이해하기 위해 많은 다양한 이론이 제안되었지만, 이러한 설명 프레임워크에 대한 경험적 지원을 제공하기 위해 의학 교육 문헌에는 관찰 데이터가 거의 보고되지 않았다. 협업 학습 중 학습 활동을 이해하는 데 사용할 수 있는 한 가지 이론적 프레임워크는 ICAP 프레임워크이다. 이 프레임워크는 학습자가 학습하는 동안 서로 다른 인지 참여 모드를 반영하기 위한 명백한 행동을 기반으로 한다.12 네 가지 행동 모드는 수동적(P), 능동적(A), 건설적(C), 대화형(I)으로 설명되며, 각 모드는 학습 활동의 다른 예와 연관된다. ICAP 프레임워크는 학습 활동의 계층적 분포를 설명하는데, 여기서 [대화형 활동]이 [구성적 활동]보다 우수하고, 이는 [능동적 활동]보다 우수하며, 마지막으로 [수동적 활동]이 순서로 생각됩니다(I > C > A > P) 이와 같이, 협업 기술 학습에 대한 잠재적으로 반대되는 두 가지 가설이 기존 문헌에서 표현되었다.
Although many different theories have been proposed to understand collaborative learning, little observational data have been reported in the medical education literature to provide empirical support for these explanatory frameworks. One theoretical framework that can be used to understand learning activities during collaborative learning is the ICAP framework.12, 16 This framework is based on learners' overt behaviours to reflect different modes of cognitive engagement while learning.12 The four behavioural modes are described as passive (P), active (A), constructive (C) and interactive (I), and each mode is associated with different examples of learning activities. The ICAP framework describes a hierarchical distribution of learning activities, where interactive activities are thought to be superior to constructive activities, which are superior to active activities, that again are superior to passive activities (I > C > A > P). As such, two potentially opposing hypotheses for collaborative skills learning have been expressed in the existing literature.

• [초기 실습] 중 공동 학습은 학생들의 다양한 수준의 공개 학습 활동으로 이어진다. 인지적 참여의 수준이 높을수록 학습 성과는 더 좋아진다.
• 실습 중 [연습 시간을 줄이는 것]은 기술 학습에 부정적인 영향을 미친다.

1. Collaborative learning during initial practice leads to different levels of overt learning activities in students. The higher level of cognitive engagement, the better learning outcomes.
2. Decreasing the amount of hands-on time during practice has a negative effect on skills learning.

그러나 협력자의 수가 공개 학습 활동 또는 기술 학습에 어떻게 영향을 미칠 수 있는지에 대한 경험적 증거는 제한적이다. 이 연구는 그룹 크기가 기술 훈련 중 ICAP 활동과 후속 기술 이전에서 그룹 크기가 조정자 및/또는 학습 장애물로 작용할 수 있는지 조사하는 것을 목표로 했다. 우리의 연구의 맥락은 시뮬레이션 기반 초음파 훈련으로, 여러 임상 전문 분야에서 점점 더 관련성이 높아지고 있는 복잡한 절차 및 진단 기술을 나타낸다.

Yet, there is limited empirical evidence on how the number of collaborators may affect overt learning activities or skills learning. This study aimed to explore the impact of group size on ICAP activities during skills training and on subsequent transfer of skills to investigate whether increasing group size would serve as a mediator and/or a barrier to learning. The context of our study was simulation-based ultrasound training, representing a complex procedural and diagnostic skill that is becoming increasingly relevant in several clinical specialties.

연구 질문은 다음과 같습니다. 초음파 초보자 그룹에서 훈련 중 학습 활동과 관련하여 시뮬레이션 기반 초음파 훈련의 효과는 다이오드, 트라이아드 또는 테트라드(tetrad)에서 각각 무엇인가? 그룹 크기가 학습에 미치는 영향에 대한 통찰력을 얻는 것은 협업 기술 학습을 이해하는 데 사용되는 기존 이론에 대한 경험적 지원을 제공하는 데 도움이 될 수 있다. 또한, 그룹 규모가 스킬 학습 및 전송에 미치는 영향을 탐구하는 것은 향후 저렴한 고부가가치 스킬 교육을 제공하는 방법에 중요하다.

The research question was: In a group of ultrasound novices, what are the effects of simulation-based ultrasound training individually, in dyads, triads or tetrads with respect to learning activities during training and on subsequent skills transfer? Gaining insight into the impact of group size on learning may help provide empirical support for existing theories that are used to understand collaborative skills learning. Moreover, exploring the impact of increasing group size on skills learning and transfer is important to how we deliver low-cost high-value skills training in the future.

2 방법
2 METHODS

2.1 설정
2.1 Setting

이것은 전-후-전이 테스트 설정을 사용한 무작위 통제 시험이었다. 연구는 2019년 12월부터 2020년 10월까지 덴마크 코펜하겐 의학 교육 시뮬레이션 아카데미(CAMES)에서 수행되었으며 CONSORT 성명에 따라 보고되었다. 덴마크 수도 지역의 지역윤리위원회는 이 연구를 검토에서 면제했다. 의정서 번호: H-19063724. 

This was a randomised controlled trial using a pre-post-transfer-test set-up. The study was conducted between December 2019 and October 2020 at Copenhagen Academy for Medical Education and Simulation (CAMES), Denmark and was reported according to the CONSORT statement. The Regional Ethics Committee of the Capital Region of Denmark exempted the study from review, Protocol no: H-19063724. The study was registered at clinicaltrials.gov (NCT04167397). 

2.2 참가자
2.2 Participants

참가자들은 코펜하겐 대학의 의대 학생들이었다. 그들은 페이스북의 학생 모집 광고를 통해 모집되었다. 포함 기준은 덴마크어 숙련도와 일반 해부학 시험 합격이었다. 제외 기준은 이전의 초음파 경험과 산부인과/GYN 부서의 임상 경험이었다.
The participants were medical students from the University of Copenhagen. They were recruited via advertising on student fora on Facebook. The inclusion criteria were proficiency in Danish and a passed general anatomy exam. Exclusion criteria were prior ultrasound experience and any clinical experience from an OB/GYN department.

2.3 무작위화
2.3 Randomisation

참가자들은 1:1:1:1의 할당 비율로 개별, 다이아드, 트라이아드 또는 테트라드 훈련에 블록 랜덤화 되었다. 무작위화는 온라인에서 생성된 무작위 순열 블록을 사용하여 우리 기관의 독립 연구자에 의해 수행되었다. 코로나 19 봉쇄로 인해 일부 참가자들의 훈련은 취소되었다. 연구는 5개월 동안 중단되었고, 2020년 8월에 데이터 수집이 다시 시작되었다.

Participants were block randomised to individual, dyad, triad or tetrad training in a 1:1:1:1 allocation ratio. Randomisation was performed by an independent researcher from our institution using random permuted blocks generated online. Due to the COVID-19 lockdown, some participants' training sessions were cancelled. The study was paused for 5 months, and data collection started again in August 2020.

2.4 장비
2.4 Equipment

사전 및 사후 테스트는 복부 횡단 스캔 트레이너(영국 카디프, Medaphor, Ltd, Cardiff)를 사용하여 완료했습니다. 이 시뮬레이터에는 realistic force feedback을 제공하는 촉각 장치가 있습니다. 훈련 기간 동안, 참가자들은 임신 20-27주 동안 태아의 성장을 평가하는 연습을 했다. 교육 프로그램은 이전에 확립된 타당성 증거와 함께 내장된 자동 평가를 포함하는 9개의 모듈로 구성되었다.19 참가자들은 일관성을 보장하기 위해 비디오 교육을 통해 시뮬레이터와 과제를 소개받았으며 교육 중에는 더 이상의 지침instruction를 받지 않았다. 시뮬레이터는 각 모듈의 완료 후 이분법적인 피드백을 제공하며,(예: '태아 복부를 정확하게 확대했음')  참가자는 이를 읽고 토론할 수 있다. 필요한 경우 시뮬레이터에 대한 강사의 기술 지원이 제공되었습니다.
Pre- and post-tests were completed using the transabdominal ScanTrainer (Medaphor, Ltd, Cardiff, UK). This simulator has a haptic device that provides realistic force feedback. During the training, participants practised the assessment of fetal growth during gestational ages 20–27 weeks. The training programme consisted of nine modules containing built-in automated assessments with previously established validity evidence.19 The participants were introduced to the simulator and the tasks via video instruction to ensure consistency and received no further instruction during training. The simulator provides dichotomous feedback after the completion of each module (for example, ‘fetal abdomen correctly magnified’), which the participants were allowed to read and discuss. Technical assistance from the instructor regarding the simulator was provided if needed.

[전이 테스트]는 US/S Mentor 시뮬레이터(3D 시스템 의료, 미국 리틀턴)에서 수행되었습니다. 전송 테스트 시뮬레이터는 초음파 영상의 품질, 탐침을 다루기 위한 사용자 인터페이스, 그리고 마지막으로 초음파 스캔을 약간 더 어렵게 만들고자 태아를 고정이 아니라 움직이게 재현함으로써 훈련 시뮬레이터와 다르다. 시뮬레이터는 최적의 스캔 평면 또는 도움말 모듈에 대한 지침을 제공하지 않았습니다.

The transfer test was performed on the U/S Mentor simulator (3D systems health care, Littleton, USA). The transfer test simulator differs from the training simulator in terms of the quality of ultrasound images, the user interface for handling the probe and finally by reproducing a moving rather than a fixed fetus making the ultrasound scan slightly more difficult. The simulator provided no guidance regarding optimal scanning planes or help modules.

2.5 개입
2.5 Interventions

연구 설계는 그림 1에 설명되어 있습니다.

The study design is illustrated in Figure 1.

참가자들은 단일 훈련, 다이드 훈련, 트라이어드 훈련 또는 테트라드 훈련으로 무작위화되었다. 이들은 모두 개별 사전 테스트를 완료한 후 2시간 동안 서로 다른 그룹 크기로 교육을 받은 후, 스캔 트레이너에서 개별 사후 테스트를 수행했습니다. 7-10일 후, 그들은 U/S Mentor 시뮬레이터에서 개별 전송 테스트를 완료했습니다.

• 사전 테스트: 참가자들은 두 번째 임신 3개월 경복부 초음파 및 태아 생체측정 측정(10분)에 대한 비디오 소개와 시뮬레이터에 대한 비디오 소개(15분)를 받았다. 그 후, 그들은 양두정경(BPD), 후두전두경(OFD), 전후복부경(APAD), 복부경(TAD), 대퇴골길이(FL)의 측정을 포함한 개별 사전 테스트를 완료했다.
  
• 교육: 그런 다음 참가자들은 각각 다이오드, 트라이아드 또는 테트라드에서 태아 생체 인식 평가를 연습했다. 그들은 그룹의 크기에 상관없이 2시간의 정해진 시간 안에 훈련했다. 단체로 활동하는 참가자들에게는 단체로 훈련할 때 교대로 과제를 완료하고, 한 번에 한 명만 적극적으로 초음파 탐침을 다루도록 지도했다. 다른 참가자들은 이미지 동결, 측정값 획득, 제안, 질문 및 발견에 대해 논의할 수 있도록 허용되었습니다. 전체 교육 세션은 ICAP 프레임워크에 따라 학습 활동의 후속 코딩을 위해 비디오로 녹화되었다.
  
• 테스트 후: 2시간의 교육 세션을 마친 직후, 참가자들은 그들이 훈련한 것과 동일한 시뮬레이터를 사용하여 사전 테스트와 동일한 개별 사후 테스트를 받았다.
  
• 전이 테스트: 다음 7-10일 이내에 참가자들은 다른 시뮬레이터인 U/S Mentor 시뮬레이터(Sylel Ltd, Symbionix Ltd)에서 개별 전달 테스트를 수행하여 산부인과 2기 스캐닝 모듈에서 BPD, OFD, APAD, TAD 및 FL의 측정값을 얻었다. 그들은 두 가지 경우에 대해 측정을 수행했는데, 이 경우 태아는 스캔 중에 움직였고 다른 위치에 위치했다(뇌막 제시/브리치 제시). 참가자들은 각 사례를 완료하는 데 최대 15분이 주어졌습니다. 사후 테스트와 이전 테스트 사이의 시간 간격은 참가자 감소를 최소화하면서 유지뿐만 아니라 이전을 평가하기 위해 선택되었다.
  
  

The participants were randomised to either single, dyad, triad or tetrad training. They all completed an individual pre-test, then trained in different group sizes for 2 hours and subsequently performed an individual post-test on the Scantrainer. After 7–10 days, they completed an individual transfer test on the U/S Mentor simulator.

• Pre-test: The participants received a video introduction to second trimester transabdominal ultrasound and fetal biometry measurements (10 minutes) and then a video introduction to the simulator (15 minutes). Subsequently, they completed an individual pre-test including measurements of biparietal diameter (BPD), occipito-frontal diameter (OFD), anterior–posterior abdominal diameter (APAD), transabdominal diameter (TAD) and femur length (FL).
• Training: The participants then practised the assessment of fetal biometries individually, in dyads, triads or tetrads, respectively. They trained in a fixed time frame of 2 hours, regardless of group size. The participants working in groups were instructed that they should take turns completing the assignments when training in groups, and only one person should actively handle the ultrasound probe at a time. The other participants were allowed to help with freezing images, obtaining measurements, provide suggestions, ask questions and discuss findings. The entire training session was video recorded for subsequent coding of the learning activities according to the ICAP framework.
• Post-test: Immediately after completing the 2-hour training session, the participants underwent an individual post-test identical to the pre-test using the same simulator as they trained on.
• Transfer test: Within the next 7–10 days, the participants performed an individual transfer test on a different simulator, the U/S Mentor simulator (Symbionix Ltd, Israel), obtaining measurements of BPD, OFD, APAD, TAD and FL in an obstetric second trimester scanning module. They performed measurements on two cases, in which the fetus was moving during the scan as well as situated in different positions (cephalic presentation/breech presentation). The participants had a maximum of 15 minutes to complete each case. The time interval between post-test and transfer test was chosen to evaluate transfer as well as retention, while at the same time keeping participant attrition at a minimum.

2.6 결과
2.6 Outcomes

1차 결과는 전이 테스트 동안의 성과 점수였다. 2차 결과에는 시험 전/후의 수행평가 점수, ICAP 분포 및 그룹별 실습 시간이 포함되었다.
The primary outcome was performance scores during the transfer test. The secondary outcomes included performance scores on the pre- and post-test, ICAP distribution and hands-on time across groups.

2.7 성과 점수
2.7 Performance scores

모든 테스트 수행은 초음파 영상, 시뮬레이터 및 프로브 움직임이 시각화된 시뮬레이터에 직접 비디오로 녹화되었다. 두 명의 눈가림된 태아 의학 전문가는 각 성과를 초음파 기술의 객관적 구조 평가(OSAUS) 척도 및 전역 평가 척도(GRS)로 평가했습니다(부록 S1 참조). OSAUS 점수의 사용 및 해석에 대한 타당성 증거는 내용 증거, 대응 프로세스, 내부 구조, 다른 변수와의 관계 및 결과를 포함한 여러 이전 연구에서 수집 및 입증되었다. OSAUS 계측기에는 5포인트 리커트 척도로 평가되는 7개의 항목이 포함되어 있습니다. 첫 번째와 마지막 항목은 적절한 경우에만 평가되어야 하며, 우리의 연구는 시뮬레이션된 환경에서 이루어졌기 때문에, 이전 용도와 일치하는 항목 3-5개만 분석에 포함되었다. 또한 전문가들은 전체 GRS 점수를 5점 리커트 척도로 평가했습니다. GRS는 전문가 평가를 기반으로 하며 다양한 기술적 성과를 평가하는 데 사용되어 왔다. 두 이송 사례의 평균은 1차 결과 측정치를 만드는 데 사용되었다.
All test performances were video recorded directly on the simulators, where the ultrasound image, the simulator and the probe movements were visualised. Two blinded fetal medicine experts rated each performance on the Objective Structured Assessment of Ultrasound Skills (OSAUS) scale20 and a Global Rating Scale (GRS) (see Appendix S1). Validity evidence for the use and interpretation of OSAUS scores have been collected and demonstrated in several previous studies, including content evidence,21 response process, internal structure, relation to other variables and consequences.20, 22, 23 The OSAUS instrument includes seven items, which are evaluated on 5-point Likert scales. The first and last items should only be rated when appropriate,20 and because our study took place in the simulated setting, only items 3–5 were included in the analysis, consistent with previous uses.24-26 Additionally, the experts also rated an overall GRS score on a 5-point Likert scale. The GRS is based on an expert evaluation and has been used to evaluate various technical performances.27, 28 The mean of both transfer cases was used to create the primary outcome measures.

2.8 평가자 교육
2.8 Rater training

모든 수행평가는 두 명의 눈가림된 평가자에 의해 평가되었다. 전이 시험에서 2명의 평가자와 2명의 사례를 사용하는 것은 태아 생체측정 검사를 평가하기 위해 OSAUS 척도를 사용할 때 높은 평가자 간 신뢰성(등급 내 상관 계수 [ICC] = 0.89)을 입증한 이전 연구에 기초하여 선택되었다.
All performances were rated by two blinded raters. The use of two assessors and two cases on the transfer test was chosen based on a previous study demonstrating high inter-rater reliability (intraclass correlation coefficient [ICC] = 0.89) when using the OSAUS scale to assess fetal biometry examinations.20

우리는 태아의학 컨설턴트(LNN, LH)이거나 태아의학 박사(NGP 및 LAA)를 받은 총 4명의 평가자를 포함했다. 모든 평가자들은 매일 산부인과 초음파를 다루는 임상의로서 활동적이었다. 평가 전에 모든 평가자들은 시뮬레이터와 학생들이 완료해야 하는 과제를 모두 시도했다. 4명의 평가자들은 처음에 7개의 비디오(분석에 포함되지 않은 파일럿 비디오)를 개별적으로 평가했고, 2명씩 그룹을 지어 만나 평점의 불일치를 논의했고, 비디오의 선택된 부분을 함께 시청했다. 그 후 비디오는 4개의 그룹(A, B, C, D, 각 그룹의 24/25 참가자의 비디오)으로 나뉘었다. 모든 참가자는 평가자 2명이 평가한 영상 4개, 사전 테스트 1개, 사후 테스트 1개, 이전 테스트 2개를 받았다.
We included a total of four raters, who were either fetal medicine consultants (LNN, LH) or had PhDs in fetal medicine (NGP and LAA). All raters were active as clinicians working with obstetric ultrasound on a daily basis. Prior to rating, all raters tried both of the simulators and the assignments the students had to complete. The four raters initially rated seven videos individually (pilot videos, not included in the analysis) and met in groups of two to discuss any inconsistencies in their ratings and watched selected sections of the videos together. The videos were then divided into four groups (A, B, C and D, 24/25 participants' videos in each group). All participants had four videos evaluated by two raters, one pre-test, one post-test and two transfer tests.

2.9 ICAP 등급
2.9 ICAP rating

LMN은 Chi와 Willie의 프레임워크를 기반으로 [훈련 중 참가자들의 ICAP 활동]을 평가했다.12 ICAP 코딩 체계가 우리의 로컬 환경에 맞게 조정되었다. 예를 들어, '시뮬레이터 프로브 취급'을 능동적 행동의 예로 포함시킴으로써. 다양한 참여 모드를 숫자 버전으로 변환했습니다. 0 = 학습 활동 없음, 1 = 수동적, 2 = 능동적, 3 = 건설적, 4 = 대화적. 부호화 방식의 내용은 MGT, KK, LMN 간에 논의 및 개정되었으며, 최종 버전은 부록 S2에서 확인할 수 있다. 또한 개별 참가자별로 [체험 시간]을 별도로 등록했습니다. ICAP 등급은 연구 저자 중 두 명(LMN 및 MGT)에 의해 공동 평가되는 파일럿이 수행되었다. 평가자 간 합의는 한 평가자가 모든 평가를 완료할 수 있을 정도로 충분히 높았다. 모든 훈련 세션은 분 단위로 평가되며(참가자당 총 120회의 기간) 각 기간 동안 표시된 최고 수준의 ICAP 활동에 따라 점수가 매겨졌다.

LMN assessed participants' ICAP activities during training based on Chi and Wylie's framework.12 The ICAP coding scheme was adjusted to our local setting, e.g. by including ‘handling the simulator probe’ as an example of an active behaviour. We translated the different engagement modes into a numeric version with 0 = No learning activity, 1 = passive, 2 = active, 3 = constructive and 4 = interactive. The content of the coding scheme was discussed and revised between MGT, KK and LMN, and the final version can be seen in Appendix S2. Additionally, hands-on time was registered separately for each individual participant. A pilot was conducted, in which ICAP ratings were co-rated by two of the study authors (LMN and MGT). The inter-rater agreement was sufficiently high to allow one rater to complete all assessments. All training sessions then were rated minute by minute (a total of 120 time periods per participant) and scored corresponding to highest level ICAP activity displayed for each time period.

medu14791-sup-0002-appendix b_icap coding scheme_updated.pdf

0.15MB

2.10 통계적 분석
2.10 Statistical analyses

우리는 그룹 간의 Cohen d 1.0에 해당하는 크고 교육적으로 의미 있는 차이를 탐지하기 위해 연구를 수행했다. 90%의 검정력과 0.05의 α 값을 사용하여, 이는 각 연구 그룹의 22명의 참가자에 해당했다. 우리는 감소를 설명하기 위해 각 학습 부문에 25명의 학생을 포함시키는 것을 목표로 했다.
We powered our study to detect large and educationally meaningful differences corresponding to a Cohen's d of 1.0 between groups. Using a power of 90% and an α value of 0.05, this corresponded to 22 participants in each study group. We aimed to include 25 students in each study arm to account for attrition.

두 평가자의 점수 평균은 사전 테스트와 사후 테스트의 OSAUS 및 GRS 점수에 대해 계산되었다. 두 사례의 평균 전이 시험 점수가 계산되었다. 모든 점수는 최대 점수의 백분율로 계산되었습니다(최대 GRS 점수 = 5, 최대 OSAUS 점수 = 15).
The means of the two raters' scores were calculated for OSAUS and GRS scores on the pre- and post-tests. A mean transfer test score from the two cases was calculated. All scores were calculated as percentages of the maximum score (maximum GRS score = 5, maximum OSAUS score = 15).

Pearson 상관 계수는 실습 시간, 시험 전 점수 및 시험 후 점수를 포함한 다른 변수들이 전이 결과와 관련이 있는지 결정하기 위해 사용되었다. 우리는 전송 성능의 유의한 예측 변수에 대한 제어 우선 순위를 선택했다.
Pearson correlation coefficients were used to determine if any of the other variables including hands-on time, pre-test scores and post-test scores were associated with transfer outcomes. We chose a priori to control for significant predictors of transfer performance.

실험 전 점수를 공변량으로 조정한 경우와 조정하지 않은 경우를 사용하여 실험 대상 간 분산 분석(anova)을 사용하여 네 그룹 간에 일차 결과(평균 OSAUS 및 GRS 점수)를 비교했다. 사전 테스트와 사후 테스트의 평균 OSAUS 및 GRS 점수를 혼합 설계(2 × 2) 반복 측정 분산 분석을 사용하여 네 그룹 간에 비교함으로써 훈련의 주효과를 평가하고 훈련 유형(싱글/다이아드/트라이아드/테트라드)과의 상호작용에 대한 테스트를 수행했다. 효과 크기는 부분 eta 제곱(σp2)으로 계산되었습니다. 우리는 ICC, 일관성, 양방향 혼합 효과 모델(ICC(3,k))을 사용하여 ICAP 등급의 평가자 간 신뢰성을 계산했다. 29 GRS 및 OSAUS 데이터에 대한 별도의 일반화 가능성 분석을 수행했다.30 우리는 차별화 측면으로 참여자가 내포된 일반화 모델(랜덤화된 그룹)을 지정했다. 일반화의 측면은 사례 (2건)와 사례 (사례당 2건의 평가자)와 OSAUS 모델의 항목이었다. 우리는 (OSAUS에 대한) 설계 및 특정 사례 간, 평가자 간 및 항목 간 일반성 계수의 전반적인 신뢰성을 보고한다. 모든 통계 분석은 IBM SPSS Statistics 25를 사용하여 수행되었다.
The primary outcomes (mean OSAUS and GRS scores from the transfer test) were compared between the four groups using between-subjects analysis of variance (anova), with and without adjustment for pre-test scores as a covariate. The mean OSAUS and GRS scores from the pre- and post-tests were compared between the four groups using a mixed-design (2 × 2) repeated-measures anova to assess the main effects of training and test for interaction with the type of training (single/dyad/triad/tetrad). Effect sizes were calculated as partial eta squared (ηp2). We calculated the inter-rater reliability of the ICAP ratings using an ICC, consistency, two-way mixed-effects model (ICC (3,k)).29 We conducted separate generalizability analyses of GRS and OSAUS data.30 We specified the generalizability model with Participant nested in Group (randomised group) as the facet of differentiation. The facets of generalisation were Case (2 cases) and Rater nested in case (2 raters per case) as well as Item for the OSAUS model. We report overall reliability of the design and specific inter-case, inter-rater and inter-item (for the OSAUS) generalisability coefficients. All statistical analyses were conducted using IBM SPSS Statistics 25.

3 결과
3 RESULTS

이 연구는 총 111명의 참가자들을 네 가지 다른 훈련 조건에 무작위로 포함시켰다. 101명의 참가자들이 사전 테스트, 개입 및 사후 테스트를 완료했다. 트라이애드 그룹의 비디오 녹화 중 하나가 올바르게 저장되지 않았으며, 이 그룹에 대한 ICAP 등급이 완료되지 않았으며, 분석에서 전문가 등급만 평가되었습니다. 코로나 19 봉쇄로 인해 4명의 참가자가 후속 조치를 취하지 못했다. 참가자의 인구 통계는 표 1에 보고된다.
The study included a total of 111 participants randomised to the four different training conditions; 101 participants completed the pre-test, the intervention and the post-test. One video recording from a triad group was not correctly saved, and the ICAP ratings were not completed for this group, and only their expert ratings were evaluated in the analysis. Four participants were lost to follow-up due to the COVID-19 lockdown. The participant demographics are reported in Table 1.

3.1 1차 결과
3.1 Primary outcome

그룹 크기는 전이 테스트에서 OSAUS 점수 (F(3,93) = 1.94, p = 0.13, γp2 = 0.06) 또는 GRS 점수 (F(3,93) = 1.46, p = 0.23, γp2 = 0.05로 측정한 성능에 유의미한 영향을 미치지 않았다. 이러한 결과는 사전 테스트, 사후 테스트 또는 실제 시간을 공변량으로 조정할 때 변경되지 않았습니다. 실습 시간은 전이 성과 점수와 상관관계가 없었다.

Group size did not significantly influence performance measured by OSAUS scores (F(3,93) = 1.94, p = 0.13, ηp2 = 0.06) or GRS scores (F(3,93) = 1.46, p = 0.23, ηp2 = 0.05) on the transfer test, Table 2. These results did not change when adjusting for pre-test, post-test or hands-on time as a covariate. Hands-on time was not correlated with transfer performance scores.

3.2 2차 결과
3.2 Secondary outcomes

GRS 점수(OSUS 평균: 37.5% [12.0] 대 56.7% [16.8], F(1,93) = 113.9, p < 0.001, λp2 = 0.55, GRS 평균 [SD]: 36.8% [13.7,189] = F.18.1, P[SD]와 마찬가지로 모든 그룹에 대해 시험 전에서 시험 후까지 OSAUS 점수가 유의하게 향상되었다. 그룹 크기와 훈련 사이에 교호작용 효과가 없었습니다(F(3,93) = 1.04, p = 0.38, γp2 = 0.03). 표 2
OSAUS scores improved significantly from pre- to post-test for all groups as did GRS scores (OSAUS mean [SD]: 37.5% [12.0)] versus 56.7% [16.8]; F(1,93) = 113.9, p < 0.001, ηp2 = 0.55; GRS mean [SD]: 36.8% [13.7] versus 54.2% [18.9]; F(1,93) = 75.4, p < 0.001, ηp2 = 0.45). There was no interaction effect between group size and training (F(3,93) = 1.04, p = 0.38, ηp2 = 0.03), Table 2.

각 ICAP 활동에 소요된 시간의 분포는 학습이 없는 활동 범주인 그림 2(수동 [F(3,90) = 13,75, p = 0.001, µp2 = 0.31, 능동 [F(3,90)] = 139.28, p < 0.001, µp2 = 0.82, 구성적], [0.001, µp2 = 0.20], 0.20, 0.20, 0.30, 0.30, 0.30을 제외한 모든 학습 활동에 대해 그룹 간에 유의하게 달랐다. [F(3,90) = 43.17, p = 0.001, µp2 = 0.59] 학습 활동 없음 [F(3,90) = 1.65, p = 0.17, µp2 0 0.05].

The distribution of time spent in each ICAP activity was significantly different between the groups for all learning activities except for the no learning activity category, Figure 2 (Passive [F(3,90) = 13,75, p < 0.001, ηp2 = 0.31], Active [F(3,90) = 139.28, p < 0.001, ηp2 = 0.82], Constructive [F(3,90) = 10.73, p < 0.001, ηp2 = 0.26], Interactive [F(3,90) = 43.17, p < 0.001, ηp2 = 0.59], No learning activity [F(3,90) = 1.65, p = 0.183, ηp2 = 0.05]).

비학습 및 수동적 학습 활동(평균 0 + 1)에 보내는 시간은 그룹 크기에 따라 증가했다(평균[SD] 단수: 20.7[5.2], 다아드: 16.4[8.3], 트라이어드: 23.7[8.2], 테트라드: 29.5[7.2], F(3,90) = 13.75, p <0.001, µp2 = 0.31.2). 사후검정(Tukey)은 사분면체와 다른 모든 그룹 간에 범주 0 + 1에 소요된 시간의 백분율에서 유의한 차이를 보였다(단일: 8.78 [3.16–14.4], p = 0.001, p <0.04–11.6), p <0.001>, 트라이애드: 5.8 [0.04–11.6], p와 dyads (0.45%) 사이의 유의한 차이를 보였다. 7.27 [1.61–12.93], p = 0.006). 구성적 학습 활동과 대화형 학습 활동은 그룹 간에 상대적으로 일정했다(1,7% [3.9], 단일 그룹(1,7% [3.9], 다아드: 39.6 [13.3], 삼중항: 40.2 [9.7], 테트라드: 37.6 [8.8], F(3,90) = 78.38, p < 0.001,6202 = 72). 사후검증(Tukey)은 단일 그룹과 다른 모든 그룹 간에 범주 3 + 4(건설적 및 상호작용적)에 소요된 시간의 비율에서 유의미한 차이를 보였다(평균 차이 [95% CI] 다아드: 36.0 [28.7–43.3], p < 0.001], p <0.0–44.44.4], p < 0.001; tetrads: 34.1 [26.1.1.1.1.1], <p>.
Time spent in the non-learning and passive learning activities (category 0 + 1) increased with group size (mean per cent [SD] singles: 20.7 [5.2], dyads: 16.4 [8.3], triads: 23.7 [8.2], tetrads: 29.5 [7.2]; F(3,90) = 13.75, p < 0.001, ηp2 = 0.31), Figure 2. Post hoc testing (Tukey) showed significant differences in percentage of time spent in category 0 + 1 between tetrads and all other groups (mean per cent difference [95% CI]; singles: 8.78 [3.16–14.4], p = 0.001; dyads: 13.1 [7.6–18.5], p < 0.001; triads: 5.8 [0.04–11.6], p = 0.045) and between triads and dyads (mean per cent difference [95% CI]: 7.27 [1.61–12.93], p = 0.006). Time spent in the constructive and interactive learning activities (category 3 + 4) was relatively constant between groups compared with singles (mean per cent [SD] singles: 3.5 [3.9]; dyads: 39.6 [13.3]; triads: 40.2 [9.7]; tetrads: 37.6 [8.8]; F(3,90) = 78.38, p < 0.001, ηp2 = 0.72). Post hoc testing (Tukey) showed significant differences in percentage of time spent in category 3 + 4 (constructive and interactive) between singles and all other groups (mean per cent difference [95% CI] dyads: 36.0 [28.7–43.3], p < 0.001; triads: 36.7 [29.0–44.4], p < 0.001; tetrads: 34.1 [26.7–41.1], p < 0.001).

체험 시간의 양(각 참가자가 초음파 탐침을 다루는 훈련 시간의 백분율)은 그룹 크기가 증가함에 따라 감소하였다(단식: 58.4 [8.6], 다아드: 27.7 [5.7], 3사드: 17.0 [5.3], 테트라드: 13.7 [4.0], F(3,90) = 252.54, p <0.1,2p = 89). 특별 시험 후(Tukey)에 따르면 이 차이는 단일 그룹과 다른 모든 그룹(평균 백분율 차이 [95% CI] 다아드: 30.7 [26.1–35.3], p < 0.001], p < 0.001], tetrads: 44.6 [40.0–49.3], p < 0.001], p < 0.001], dyads: 10.7 % (3%), dymeads:0.0–49.3%) 사이에 통계적으로 유의했다. [6.0–15.4], p < 0.001; 사분면: 13.9 [9.4–18.5], p < 0.001], 그러나 삼분면과 사분면 사이는 아니다. (95% CI: 3.3 [-1.5–8.1], p = 0.29), 그림 2 및 3. 그룹 크기와 실제 시간은 음의 상관 관계가 있습니다(Pearson의 r = -0.86, p < 0.001).

The amount of hands-on time (percentage of the training time each participant was handling the ultrasound probe) decreased with increasing group size (mean per cent [SD]: singles: 58.4 [8.6], dyads: 27.7 [5.7], triads: 17.0 [5.3]; tetrads: 13.7 [4.0]; F(3,90) = 252.54, p < 0.001, ηp2 = 0.89). Post hoc testing (Tukey) revealed that this difference was statistically significant between singles and all other groups (mean per cent difference [95% CI] dyads: 30.7 [26.1–35.3], p < 0.001; triads: 41.4 [36.5–46.2], p < 0.001; tetrads: 44.6 [40.0–49.3], p < 0.001), between dyads and larger groups (mean per cent difference [95% CI] triads: 10.7 [6.0–15.4], p < 0.001; tetrads: 13.9 [9.4–18.5], p < 0.001) but not between triads and tetrads (mean per cent difference [95% CI]: 3.3 [−1.5 to 8.1], p = 0.29), Figures 2 and 3. Group size and hands-on time were negatively correlated (Pearson's r = −0.86, p < 0.001).

ICAP 등급에 대한 ICC(3,k)는 0.70(95% CI: 0.60–0.77)이었다. 우리 데이터의 일반화 이론 분석은 GRS 점수와 OSAUS 점수에 대한 사례 간 일반화 계수가 각각 0.84와 0.88로 높다는 것을 보여주었다. 사례 내 레이터 간 일반화 계수는 각각 0.72와 0.81이었다. 단일 사례 내 항목 간 일반화 계수는 0.75였으며, OSAUS 점수에 대한 비율은 0.75였다. GRS 점수에 대한 설계의 전체 신뢰도는 0.64이고 OSAUS 점수에 대해서는 0.60입니다.

The ICC (3,k) for the ICAP ratings was 0.70 (95% CI: 0.60–0.77). The generalisability theory analysis of our data showed that inter-case generalisability coefficients for the GRS and OSAUS scores were high at 0.84 and 0.88, respectively. Inter-rater generalizability coefficient within case was 0.72 and 0.81, respectively. Inter-item generalisability coefficient within a single case and rater for the OSAUS scores was 0.75. The overall reliability of the design for the GRS scores was 0.64 and 0.60 for the OSAUS scores.

4 토론
4 DISCUSSION

최대 4명의 참가자로 구성된 그룹 규모의 협업 기술 훈련은 실무 시간이 줄었음에도 불구하고 기술 전이skills transfer에는 부정적인 영향을 미치지 않았다. 모든 참가자들은 그룹 규모와 상관없이 훈련을 통해 약 15-20% 포인트를 향상시켰다. 이는 일부 참가자들이 혼자 훈련한 참가자들의 체험 시간의 25%에 불과했기 때문에 어느 정도 놀라운 일이다. 이러한 발견은 [협력적 기술 학습]의 긍정적인 효과가 더 큰 학습자 그룹으로 확장된다는 것을 증명함으로써 쌍으로 협력 학습을 포함하는 이전 연구와 일치하고 확장된다. 현재 의료 교육에서 협업 및 동료 학습 전략에 중점을 두고 있으며, 이러한 전략이 고부가가치 저비용 교육에 대한 수요를 어떻게 충족시킬 수 있는지도 포함된다. 시뮬레이션 기반 훈련에는 상당한 양의 자원(예: 강사 및 장비 비용)이 필요하며, 우리의 연구 결과는 학습 결과에 부정적인 영향을 미치지 않고 시뮬레이터: 학습자 비율을 줄임으로써 이러한 요구를 줄이는 데 도움이 될 수 있다.
Collaborative skills training in group sizes of up to four participants did not negatively impact skills transfer despite less hands-on time. All participants improved about 15–20 percentage points with training irrespective of group size. This is to some extent surprising because some participants had as little as 25% of the hands-on time of those who trained alone. These findings align with and expand on previous studies involving collaborative learning in pairs (dyad learning) by demonstrating that the positive effects of collaborative skills learning also expand to larger groups of learners.4, 8-10, 31 Currently, there is an increased focus on collaborative and peer learning strategies in medical education, including how these strategies may meet the demand for high-value low-cost education.15, 32 Simulation-based training requires a significant amount of resources (e.g. instructor and equipment costs among others), and our findings may help reduce these demands by decreasing the simulator: learner ratio without any negative effects on learning outcomes.

우리는 실습 시간을 줄이는 것과 다른 학습자를 관찰하고 상호 작용하는 시간을 늘리는 것 사이에 trade-off가 있을 수 있다고 제안한다. 우리의 연구에서, 건설적이고 상호작용적인 활동에 소비하는 시간은 다이아드, 트라이아드, 테트라드 간에 다르지 않았고, [다이아드 참가자]들이 [트라이아드 또는 테트라드 참가자들]보다 직접 체험하는 시간이 더 많았음에도 불구하고 여전히 유사한 학습 결과를 보였다. 이러한 발견은 참가자들이 협력적인 노력의 결과로 더 높은 수준의 인지 참여를 통해 줄어든 실습 시간을 보상하는 것처럼 보였다는 것을 나타낸다. 특히 초음파와 같은 절차적 기술을 훈련하는 동안 협력 학습이 유익하다는 것을 증명할 수 있다. 이러한 기술에는 [동시에 수행해야 하는 여러 작업(예: 프로브 조작, 기계 설정 조정 및 시각적 진단 작업에 참여하는 동안 환자와 통신)]이 포함되기 때문이다. 학습자 간에 과제를 분배하는 것은 학습자가 [인지 과부하 없이 학습에 계속 참여]할 수 있도록 하기 때문에 잠재적으로 유익한 전략이다. 다른 장점은 시각적 검색을 지원하고 숙련된 임상의가 일반적으로 두 번째 검사를 필요로 하는 해부학적 특징이나 병리학에 대해 논의하는 것을 포함할 수 있다.
We suggest that there may be a trade-off between decreasing hands-on time and increasing time spent on observation of and interactions with other learners. In our study, the time spent in constructive and interactive activities did not differ between dyads, triads and tetrads, and even though participants in dyads had more hands-on time than participants in triads or tetrads, they still had similar learning outcomes. These findings indicate that participants seemed to compensate for the reduced hands-on time through higher levels of cognitive engagement as a consequence of collaborative efforts. Specifically, during training of procedural skills such as ultrasound, collaborative learning can prove beneficial, as there are multiple tasks that should be performed simultaneously (e.g. manipulating the probe, adjusting machine settings and communicating with the patient while engaged in the visual diagnostic task). Distributing tasks between learners is a potentially beneficial strategy as it allows learners to stay engaged in learning without cognitive overload.5 Other advantages may include assisting visual search and discussing anatomical features or pathology that normally require a second look by an experienced clinician.

우리는 이전 연구에서 우리의 개입 시간(2시간)이 효과를 유도하기에는 충분하지만, 학습 곡선이 평평해져 (+4시간) 천장 효과로 이어지는 데 필요한 것보다 적다는 것을 알고 있다. 작업 시간 및 그에 따라 사용 가능한 실습 시간의 양은 일반적으로 학습의 가장 중요한 결정 요소이다. 그러나 우리의 연구에서, 협업 학습 중 [관찰]과 [고등 수준 ICAP 활동]은 줄어든 연습 시간보다 더 큰 효과를 갖는 것outweigh 으로 보였다. 그러나, [연습 시간]과 ICAP 활동은 모두 그룹 크기에 의해 교란되었기 때문에, 우리는 이 두 대립되는 힘이 연구에서 관찰된 학습 결과에 기여한 정도를 직접적으로 추론할 수 없다.

We know from previous studies that the duration of our intervention (2 hours) was sufficient to induce an effect but less than required for the learning curves to flatten (+4 hours) leading to a ceiling effect.19 Time-on-task and thereby the amount of hands-on time available are normally the most important determinants of learning; however, in our study, observation and higher-order ICAP activities during collaborative learning seemed to outweigh the reduced hands-on time. Yet, because hands-on time and ICAP activities were both confounded by group size, we cannot infer directly the extent to which these two opposing forces contributed to the learning outcomes observed in our study.

Shebilske 등의 최근 연구는 파일럿 훈련을 위한 비디오 과제를 학습할 때 개인, 다이아드, 트라이아드 및 테트라드 간에 유사한 학습 결과를 보여주었다. 저자들은 주로 그들의 결과의 원인을 [관찰]이 갖는 긍정적인 효과로 돌렸다. 관찰 학습은 (다른 이론들 중에서도) [미러뉴런 가설]에 의해 뒷받침되는데, [미러뉴런 가설]은 전운동 피질의 영역이 스킬의 수행과 관찰 동안 모두 활성화된다고 주장한다. 우리의 결과는 그룹 간 유사한 이전 결과에 대한 핵심 이유로 관찰을 지원하지만, 다른 사회적 및 상호 작용 메커니즘이 협업 복잡한 기술 학습, 특히 실용적인 기술 학습에 관여한다는 것을 제안함으로써 이 발견을 확장한다. [전통적인 ICAP 프레임워크]는 관찰을 수동적 활동으로 두는 반면, [임상 기술 훈련 중]에 이뤄지는 관찰은 [건설적이고 상호작용적인 활동의 기초 역할]을 하기 때문에 고차 학습 활동과 분리할 수 없다. 그러나 관찰은 참여의 인지적 수준에 관계없이 수동적 활동으로 분류되며, 이는 피로, 동기부여 또는 집중력 부족 또는 지루함의 결과로 수동적 활동과 비교될 수 없다. ICAP 프레임워크는 모든 종류의 학습 활동을 포함하도록 되어 있지만, 실제 기술을 학습하기 위한 관찰의 역할을 과소평가할 수 있다. 이러한 의미에서 관찰의 개념은 임상 기술 학습에서 그것의 역할을 완전히 이해하고 실용적인 기술 학습 동안 활동을 더 잘 개념화하기 위해 다양한 수준의 인지 참여를 포함하도록 확장될 필요가 있을 수 있다.

A recent study by Shebilske et al. demonstrated similar learning outcomes between individuals, dyads, triads and tetrads when learning a video task for pilot training.33 The authors primarily ascribed their results to the positive effects of observation.34 Observational learning is (among other theories) supported by the mirror neuron hypothesis, which claims that areas in the premotor cortex are activated both during the performance and observation of a skill.5, 31, 33, 35 Our results support observation as a key reason for similar transfer results between groups but expands this finding by suggesting that other social and interactive mechanisms are involved in collaborative complex skills learning, in particular for practical skills learning.15 While the traditional ICAP framework places observation as a passive activity,12 it is inseparable from the higher-order learning activities because it serves as a basis on which constructive and interactive activities unfold during clinical skills training. However, observation is categorised as a passive activity regardless of the cognitive level of engagement, which may not be compared with passiveness as a result of fatigue, lack of motivation or concentration or from boredom. Although the ICAP framework is supposed to cover all kinds of learning activities, it may undervalue the role of observation for learning practical skills. In this sense, the concept of observation may need to be expanded to include various degrees of cognitive engagement to fully understand its role in clinical skills learning and to better conceptualise activities during practical skills learning.

우리는 트라이애드 및 테트라드의 참가자들이 다이애드 및 단일 그룹의 참가자들보다 [비학습 및 수동 학습 범주(0 + 1)에] 더 많은 시간을 보낸다는 것을 발견했다. 이는 다이애드에 배정된 학습자 간의 헌신과 친밀도가 증가했기 때문일 수 있으며, 이는 그룹 크기가 증가함에 따라 감소할 수 있다.36 우리는 (잘못) 비학습 및 수동적 활동의 증가가 대규모 그룹의 기술 전이를 낮출 것이라고 예상했다. 이번 연구에서는 비록 그렇지 않았지만, 우리는 [[실습 시간의 양]과 [협력적 보상 효과] 사이의 균형]이 [더 큰 그룹(4명 이상의 학습자)]에 대해 어느 시점에서 피크가 될 것이라고 예상한다. 참가자가 동기를 유지하고 협업이 의미 있다고 생각하는 조건을 탐구하는 것은 이전 연구에서 학습자가 우려하는 원인이었으므로 [더 큰 크기의 그룹]을 다룰 때에는 고려해야 할 중요한 측면이다. 
We found that participants in triads and tetrads spent more time in the non-learning and passive learning categories (0 + 1) than the participants in dyads and single groups. This could be due to increased commitment and intimacy between learners in the dyad constellations, which may decrease with increasing group size.36 We (incorrectly) anticipated that the increase in non-learning and passive activities would have led to lower levels of skills transfer in the large groups. Although this was not the case, we expect that the balance between the amount of hands-on time provided and collaborative compensatory effects must at some point tip for larger groups (more than four learners). Exploring under which conditions participants remain motivated and consider it meaningful to collaborate is an important aspect to consider when dealing with larger group sizes as this has been a cause of concern voiced by learners in previous studies.37-39

4.1 강점/한계
4.1 Strengths/limitations

이 연구의 강점은 무작위 설계, 포함된 큰 표본 크기, 확립된 유효성 증거를 포함한 평가 점수 사용, 관심의 핵심 결과를 반영하기 위한 이전 테스트 사용 등이다.
Strengths of this study include the randomised design, the large sample size included, the use of assessment scores with established validity evidence and the use of transfer tests to reflect the key outcome of interest.

이 연구는 또한 몇 가지 한계를 가지고 있다. 우리는 초보자 및 복잡한 단일 임상 절차에 초점을 맞췄습니다. 향후 연구는 우리의 연구 결과가 [더 진보된 학습자]와 [다른 유형의 실제 기술]에서도 translate되는지 여부를 입증할 필요가 있다. (예: 단순 대 복잡한 기술 또는 진단 대 치료 절차). 대부분의 참가자들은 여성이었지만, 우리는 참가자들이 무작위화되고 이후 그들의 사전 테스트에서 동등하게 수행되었기 때문에 이 연구에서 성별에 초점을 맞추지 않기로 결정했다. 따라서, 우리는 이러한 맥락에서 성별의 영향에 대해 더 이상 논의하는 것이 적절하지 않다는 것을 발견했다. 학생들은 시뮬레이터에 의해서만 생성된 피드백으로 훈련했다. 지도받지 않은 연습은 강사의 감독 없이 과제를 오해하게 만들 수 있으며, 이는 더 큰 그룹이 오류와 오해를 바로잡는 데 불균일한 이점을 제공했을 수 있다. 우리는 4명의 참가자가 동기를 유지하기 위한 상한선이 될 것으로 예상했기 때문에 최대 4명의 참가자로 구성된 그룹 규모만 조사했다. 그룹 크기가 증가함에 따라 수동적이고 비학습 활동이 증가하는 것을 관찰했지만, 학습 결과가 악화되는 최적의 그룹 크기나 지점을 식별하지 못했다. 이를 위해, 우리는 여러 개의 큰 그룹을 포함하거나 이전 결과의 작은 차이를 입증하기 위해 표본 크기를 10배 증가시켜야 했는데, 둘 다 실현 불가능했을 것이다. 마지막으로, 우리가 검출하기 위해 연구에 동력을 공급한 크기보다 낮은 전이 테스트 성능에서 차이가 있었을 수 있다. 그러나 문제는 작은 차이가 일반적으로 이득이 큰 시뮬레이션 기반 의료 교육 분야 내에서 관련성이 있는지 여부이다.

The study also has some limitations. We focused on novices and on a single complex clinical procedure. Future research needs to establish whether our findings translate to more advanced learners and to different types of practical skills (e.g. simple versus complex skills or diagnostic versus therapeutic procedures). Most of the participants were women; however, we have chosen not to focus on gender in this study as the participants were randomised and subsequently performed equally on their pre-test. Therefore, we did not find it relevant to discuss the influence of gender any further in this context. The students trained with feedback only generated by the simulator. Uninstructed practice may lead to misunderstandings of the assignments without supervision by an instructor, which may have provided an uneven advantage for the larger groups to correct errors and misunderstandings. We only explored group sizes of up to four participants as we expected four participants to be the upper limit to remain motivated. While we did observe an increase in passive and non-learning activities with increasing group size, we did not identify an optimum group size or a point, in which learning outcomes worsened. To do this, we would have had to either include several larger groups or increase our sample size 10-fold to demonstrate small differences in transfer outcomes, both of which would have been infeasible. Finally, there may have been differences in transfer-test performances that were below the magnitude we powered our study to detect. The question is, however, if small differences are of relevance within the field of simulation-based medical education, where gains are usually large.

5 결론
5 CONCLUSION

최대 4명의 참가자로 구성된 그룹 규모의 협업 기술 학습은 실무 시간이 줄었음에도 불구하고 기술 이전을 손상시키지 않았다. 이 발견은 체험 시간 감소의 부정적인 효과를 능가하는 건설적이고 상호적인 학습 활동에 대한 보상적 전환과 결합된 관찰의 역할에 의해 설명될 수 있다.

Collaborative skills learning in group sizes of up to four participants did not impair skills transfer despite less hands-on time. This finding may be explained by the role of observation combined with a compensatory shift towards constructive and interactive learning activities that outweigh the negative effects of diminishing hands-on time.

 

---

Med Educ. 2022 Jun;56(6):680-689. doi: 10.1111/medu.14791. Epub 2022 Mar 16.

Does group size matter during collaborative skills learning? A randomised study

Laerke Marijke Noerholk 1, Anne Mette Morcke 2, Kulamakan Kulasegaram 3, Lone N Nørgaard 4, Lotte Harmsen 4, Lisbeth Anita Andreasen 1 5, Nina Gros Pedersen 6, Vilma Johnsson 4, Anishan Vamadevan 1, Martin Grønnebaek Tolsgaard 1 4 7

Affiliations collapse

Affiliations

1Copenhagen Academy for Medical Education and Simulation (CAMES), Copenhagen University Hospital - Rigshospitalet, Copenhagen, Denmark.

2Centre for Educational Development, Aarhus University, Aarhus, Denmark.

3Department of Family & Community Medicine, University of Toronto, Toronto, Canada.

4Center of Fetal Medicine, Department of Obstetrics, Copenhagen University Hospital - Rigshospitalet, Copenhagen, Denmark.

5Department of Gynecology and Obstetrics, Copenhagen University Hospital - Hvidovre, Copenhagen, Denmark.

6Fetal Medicine Unit, Department of Obstetrics and Gynaecology, Copenhagen University Hospital - Herlev, Copenhagen, Denmark.

7Department of Clinical Medicine, Faculty of Health and Medical Sciences, University of Copenhagen, Copenhagen, Denmark.

PMID: 35262226

PMCID: PMC9313549

DOI: 10.1111/medu.14791

Free PMC article

Abstract

Background: Collaborative skills learning in the form of dyad learning compared with individual learning has been shown to lead to non-inferior skills retention and transfer. However, we have limited knowledge on which learning activities improve collaborative skills training and how the number of collaborators may impact skills transfer. We explored the effects of skills training individually, in dyads, triads or tetrads on learning activities during training and on subsequent skills transfer.

Methods: In a randomised, controlled study, participants completed a pre-post-transfer-test set-up in groups of one to four. Participants completed 2 hours of obstetric ultrasound training. In the dyad, triad and tetrad group participants took turns actively handling the ultrasound probe. All performances were rated by two blinded experts using the Objective Structured Assessment of Ultrasound Skills (OSAUS) scale and a Global Rating Scale (GRS). All training was video recorded, and learning activities were analysed using the Interactive-Constructive-Active-Passive (ICAP) framework.

Results: One hundred one participants completed the simulation-based training, and ninety-seven completed the transfer test. Performance scores improved significantly from pre- to post-test for all groups (p < 0.001, ηp2 = 0.55). However, group size did not affect transfer test performance on OSAUS scores (p = 0.13, ηp2 = 0.06) or GRS scores (p = 0.23, ηp2 = 0.05). ICAP analyses of training activities showed that time spent on non-learning and passive learning activities increased with group size (p < 0.001, ηp2 = 0.31), whereas time spent on constructive and interactive learning activities was constant between groups compared with singles (p < 0.001, ηp2 = 0.72).

Conclusion: Collaborative skills learning in groups of up to four did not impair skills transfer despite less hands-on time. This may be explained by a compensatory shift towards constructive and interactive learning activities that outweigh the effect of shorter hands-on time.

© 2022 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.