기존의 확립된 가이드라인을 TBL 프로그램에 적용하기(Acad Med, 2014)

기존의 확립된 가이드라인을 TBL 프로그램에 적용하기(Acad Med, 2014)

Applying Established Guidelines to Team-Based Learning Programs in Medical Schools: A Systematic Review

Annette W. Burgess, PhD, MBT, MEd, MMedEd, Deborah M. McGregor, MHSc(Ed), and

Craig M. Mellis, MD, MPH

Parmlee와 동료1은 팀 기반 학습(TBL)을 "[개별 학습, 팀 활동, 즉각적인 피드백]을 포함하는 일련의 활동을 통해 학생들에게 개념적 지식을 적용할 수 있는 기회를 제공하는 능동적 학습이자 소그룹 교육 전략"으로 정의했다.

Parmelee and colleagues1 defined team-based learning (TBL) as “an active learning and small group instructional strategy that provides students with opportunities to apply conceptual knowledge through a sequence of activities that includes individual work, team work, and immediate feedback.”

가장 순수한 형태의 TBL은 고도로 구조화되어있으며, 특정 단계를 구현해야 하고, 권장되는 핵심 설계 요소가 있다.

In its purest format, TBL is highly structured and requires the implementation of specific steps and recommended core design elements.1

TBL은 최근 몇 년 동안 의학 교육에서 인기를 얻었다.1 어떤 형태로든 TBL을 채택한 의과대학의 수가 증가하고 있다.2,3

TBL has gained popularity in medical education in recent years.1 A growing number of medical schools have adopted TBL in some format.2,3

하이데트와 동료4는 의학 및 보건과학 문헌에서 TBL이 보고되고 비평되는 방식을 표준화하기 위한 일련의 지침을 제안했다.

Haidet and colleagues4 proposed a set of guidelines for standardizing the way in which TBL is both reported and critiqued in the medical and health sciences literature.

이 지침에 따라, 연구자는 프로그램의 범위(클래스 크기, 주제 등)에 대해 개략적으로 설명하는 것 외에, "TBL 방법의 기반이 되는 7가지 핵심 설계 요소"에 대해서도 보고해야 한다.4

According to these guidelines, in addition to outlining the scope (class size, subject, etc.) of the program, researchers should also report on the “seven core design elements that underlie the TBL method.”4

이러한 요소는 팀 구성, 준비 상태 보증(RA), 즉각적인 피드백, 동급 문제 해결의 순서, 4개의 S(중대한 문제, 동일한 문제, 특정 선택 및 동시 보고), 인센티브 구조 및 안전 점검이다.

These elements are 

• team formation, 

• readiness assurance (RA), 

• immediate feedback, 

• sequencing of in-class problem solving, 

• the four S’s (significant problem, same problem, specific choice, and simultaneous reporting), 

• incentive structure, and 

• peer review.

방법

Method

우리의 문헌 검색은 학부 의료 프로그램에서 TBL에 관한 147개의 잠재적 문헌을 산출했다(우리의 완전한 검색 및 연구 선택 전략은 그림 1 참조).

Our literature search yielded 147 potential publications on TBL in undergraduate medical programs (see Figure 1 for our complete search and study selection strategy).

이 전체 텍스트 분석에서 TBL 프로그램의 구현 컨텍스트 및 범위와 관련된 데이터를 추출했다(부록 1 참조).

From this full-text analysis, we extracted data related to the implementation context and scope of the TBL program (see Appendix 1),

그런 다음 우리는 하이데트와 동료4가 개발한 지침을 사용하여 TBL에 대한 문헌을 비평했다.

We then used the guidelines developed by Haidet and colleagues4 in critiquing the body of evidence on TBL.

우리는 (1) 사전 준비, (2) RA, (3) 응용 연습의 3단계를 포함하는 고전적인 TBL 프로그램을 고려했다.2

We considered a classic TBL program one that included three phases: 

• (1) advanced preparation, 

• (2) RA, and 

• (3) application exercise.2

결과

Results

최종 검토에 포함시킨 20개 기사 중 14개는 고전적인 TBL 프로그램을, 6개는 변형된 것을 기술했다. 이 연구는 10개의 다른 국가에서 실시되었으며, 미국 내 7개 대학이 이 연구의 절반(10개)을 차지한다.

Of the 20 articles we included in our final review, 14 described a classic TBL program and 6 described modified ones. The studies were conducted in 10 different countries, with seven universities in the United States representing half (10) of the studies.

TBL 프로그램 맥락

Context of TBL programs

기초과학, 의학 윤리학, 신경학, 약학, 해부학, 증거 기반 의학, 보행 치료, 정신의학, 병리학, 생리학

basic sciences, medical ethics, neurology, pharmacology, anatomy, evidence-based medicine, ambulatory care, psychiatry, pathology, and physiology.

TBL 프로그램은 임상기간(6/20)보다 임상전기간(14/20)에 더 많이 적용되었다.

TBL programs were more commonly applied during the preclinical years (14/20) than the clinical years (6/20).

기간

Scope

대부분의 TBL 프로그램들은 1시간 반에서 2시간이었다.

the majority of TBL programs were one and a half to two hours long.

전체학생 및 팀 크기

Class and team size

학급 크기는 정신과 임상실습 학생 20명부터 기초 과학 임상 애플리케이션 과정 240명까지 다양했다.13 팀당 학생 수는 4명부터 최대 12명까지 다양했다.9

Class sizes ranged from 20 students in a psychiatry clerkship12 to 240 in a basic sciences clinical application course.13 The number of students per team ranged from as low as 4 members14 to up to 12 members.9

팀 구성

Team formation

무작위 또는 알파벳 순으로 할당하는 것은 팀 구성의 가장 일반적인 방법이었다.

Random or alphabetical allocations were the most commonly described methods of team formation.

니더와 동료들은 무작위 할당 전략을 적용하는 것 외에도, 니더와 동료들은 성별 혼합을 보장하기 위한 조치를 사용했다고 보고했고, 토머스와 보웬14는 성별 혼합과 경험적 혼합을 모두 보장하기 위한 조치를 사용했다고 보고했다.

In addition to applying a random allocation strategy, Nieder and colleagues17 reported using measures to ensure gender mix, whereas Thomas and Bowen14 reported using measures to ensure both gender and experience mix.

학생들이 자신의 그룹을 스스로 선택할 수 없도록 하라는 권고에도 불구하고, 한 연구에서는 이 방법을 사용하였다.

Despite recommendations to not allow students to self-select their groups,4 one article reported using this method.7

준비도 평가

Readiness assurance

RA는 학생 개개인과 팀 수준에서 모두 평가하였다. 대부분의 기사(15/20)는 RA 프로세스를 보고하고 설명했으며, 이는 대부분 권장사과 일치했다.

RA was assessed at both the individual student and team level. The majority of the articles (15/20) reported and described the RA process, which largely was in line with recommendations.1,4

RA평가문항의 숫자는 일반적으로 10에서 13개 까지였다. 저자들이 RA에 대한 시간 할당을 설명한 몇 가지 사례에서, 그것은 12분에서 30분 사이에 상당히 달랐다.

the number typically ranged from 10 to 13. In the few instances where the authors described the time allocation for RA, it varied considerably between 12 and 30 minutes.

즉각 피드백

Immediate feedback

11개 기사는 교수들이 수업 토론을 통해 tRAT에 이어 즉각적인 피드백을 제공했다고 보고했다.

Eleven articles reported that faculty provided immediate feedback following the tRAT using a class discussion,

즉각적인 피드백을 제공하는 대안적인 방법으로는 스크래치오프 답변서, 11,13,14 청중의 응답 시스템을 포함하는 즉각적인 피드백 평가 기법이 포함되었으며, 이는 모든 학생들이 볼 수 있도록 화면에 직접 결과를 표시했다.

Alternative methods of providing immediate feedback included the immediate feedback assessment technique, which involved scratch-off answer sheets,11,13,14 electronic audience response systems, which displayed results directly on a screen for all students to see,5,8

수업 내 문제해결의 순서

Sequencing of in-class problem solving

대다수의 기사들은 그룹 내 및 그룹간 논의의 순서를 명확히 논의했지만 문제의 길이나 수에 대한 자세한 내용은 제공하지 않았다.

The majority of articles clearly discussed the sequence of intra- and intergroup discussion but did not provide detail on the length or number of problems.

네 가지 S

The four S’s

• Significance 측면에서, 몇몇 저자들은 응용application 질문이 RA 프로세스에서 일반적으로 적용되는 필수 지식 회상 질문보다 높은 수준의 사고와 문제 해결 능력을 요구한다고 강조했다.15,16,21 종종 문제는 관련성을 높이기 위해 복잡한 real-world 문제나 흔한 임상 시나리오에 기초했다. 

• Same 측면에서, 한 경우를 제외하고, 9개 팀이 같은 문제를 연구했다. 

• Specific 측면에서, MCQ는 대체로 팀이 하나의 답변을 나타낼 때 사용하는 특정 선택 방법이었다. 

• Simultaneous 측면에서, 마지막으로, 대부분의 기사들은 동시 보고의 사용을 기술했다. 팀들이 그들의 반응을 동시에 나타낼 수 있도록 Color-coded and lettered placard를 일반적으로 사용했다.

In terms of significance, several authors emphasized that the application questions required higher-level thinking and problem-solving skills than the essential knowledge recall questions typically applied during the RA process.15,16,21 Often, problems were based on complex real-world issues or common clinical scenarios to increase relevance. Next, in all but one case,9 teams worked on the same problem. In addition, MCQs were by and large the method of specific choice used for teams to indicate their single- best-fit answer. Finally, the majority of the articles described the use of simultaneous reporting. Color-coded and lettered placards were commonly used so teams could simultaneously reveal their responses.

인센티브 구조

Incentive structure

세 가지 기사는 등급 가중치를 포함한 인센티브 구조에 대한 상세한 설명을 제공했다.13,22,23 대부분의 저자들은 점수가 수여된다고 언급했지만, 마크 분포mark distribution에 대한 설명은 제공하지 않았다.

Three articles provided detailed descriptions of incentive structures, including the weighting of grades.13,22,23 The majority of authors stated that grades were awarded, but they did not provide a description of the mark distribution.

동료평가

Peer review

동료평가의 다양한 요소로 '학습에 도움됨' '팀워크' '대인관계스킬' 등을 언급했다. 동료평가는 일반적으로 코스 마지막 날에 이루어졌지만, 니더와 동료들은 주요 시험을 보는 때에 함께 세 차례의 동료평가를 했다고 보고했다.

Several other articles reported evaluating various parameters of peer review, including helpfulness of team members in terms of learning and understanding19,22,23 and team members’ teamwork and interpersonal skills.23 Although peer review typically took place on the last day of the course, Nieder and colleagues17 reported a peer review that occurred at three points throughout the course coinciding with major examinations

고찰

Discussion

의대생 수가 증가하고 교직원 수가 감소함에 따라, TBL 프로그램의 시행은 의과대학에 자원 절약 대책을 제공한다.

with an increasing number of medical students and a decreasing number of teaching staff, the implementation of TBL programs offers resource-saving measures for medical schools.

TBL 프로그램 맥락

Context of TBL programs

우리는 임상 전 해에 TBL 프로그램의 dominance를 두 가지 요인 탓으로 돌린다. 즉, 전임상교육에서 종종 한 반에 숫자가 더 크기 때문이고, 소규모 그룹 학습에 자원을 활용한다면 이 기간 동안 큰 이익을 제공할 수 있다. 교수진이 임상실습 수행 중에 TBL을 사용한 경우는 주로 예정된 수업시간이나, 학생들이 teaching block이나 weekly academic half-days로 병원에서 학교로 왔을 때였다.

We attribute the dominance of TBL programs in the preclinical years to two factors—preclinical students often are placed in larger groups during this phase of their training, and the resource application of small-group learning could provide the greatest measurable benefit during this period. When faculty used TBL during a clinical rotation or clerkship

기간

Scope

우리는 TBL 세션의 범위가 넓음을 발견했다. Searle과 동료2는 TBL에 대한 노출이 매우 미미할 때(즉, 몇 번의 세션만 있을 경우) 부정적 편향이 발생하여 방법의 편익(수업 내 참여 및 콘텐츠의 적용 증가)이 실현되지 않을 수 있다고 제안했다.

We found a large range in the number of TBL sessions (from two to eight). Searle and colleagues2 suggested that a negative bias might result when exposure to TBL is so minimal (i.e., through only a few sessions) that benefits of the method may not be realized (i.e., increased in-class engagement and application of content).

전체 학생 및 팀 규모

Class and team size

위너와 동료 21은 RA 시험에서 숫자가 너무 적은 팀(즉, 학생 2명)이 정규 팀(즉, 학생 5~7명)보다 훨씬 낮은 점수를 받았다고 보고하여 학생들을 토론에 참여시키는 최적의 팀원이 존재할 수 있음을 시사했다. Michaelsen과 동료들에 따르면 26개 팀은 5명에서 7명 사이의 학생들로 구성되어야 한다. 팀원의 숫자는 프로세스의 발달과 팀 역동을 극대화할 수 있을 만큼 작으면서, 동시에 충분한 지적 자원과 토론을 포함할 수 있을 만큼 충분히 커야 한다.

Wiener and colleagues21 reported that undersized teams (i.e., two students) scored significantly lower than regular- sized teams (i.e., five to seven students) on RA tests, suggesting that an optimal number of team members to engage students in discussion may exist. According to Michaelsen and colleagues,26 teams should consist of between five and seven students—small enough to develop process and maximize team dynamics, yet large enough to include sufficient intellectual resources and discussion.

팀 구성

Team formation

학생들은 투명한 절차에 따라 교수에 의해 팀에 배정되어야 하며, 각 팀에 다양한 학생 조합을 제공하고 기존의 사회적 또는 우정관계에 기반한 그룹이 형성되지 않도록 해야 한다. 무작위적이고 알파벳순으로 할당하는 방법은 친구들의 팀이 자기 형성을 방해할 가능성이 있지만, 이러한 방법들은 학습자 특성의 선호 다양성을 충분히 달성하지 못할 수 있다.

students should be assigned to teams by the facilitator using a transparent process, giving each team a diverse mix of students and ensuring that no preexisting social or friendship-based groupings are formed. Although random and alphabetical allocation methods are likely to prevent teams of friends from self-forming, these methods may not adequately achieve the preferred diversity of learner characteristics.

가이드라인에서는 팀들이 "가능한 한 오래 함께 지내라"고 권고하지만, 라빈드라나스와 동료7은 각 TBL 세션이 시작될 때 팀 동역학의 확립과 발전을 허용하지 않는 팀들을 개혁했다.

although guidelines1 recommend that teams “stay together as long as possible,” Ravindranath and colleagues7 reformed their teams at the start of each TBL session, which did not allow for the establishment and development of team dynamics.

준비도 평가

Readiness assurance

우리는 개인에 대한 지식과 팀의 지식을 시험함으로써, 학생들이 그들의 팀을 실망시키지 않기 위해 동기부여를 받아 수업시간 내에 수업시간을 자유롭게 할 수 있을 것으로 기대한다.

We anticipate that, by testing the knowledge of individuals and then the knowledge of the team, students will come to class prepared, motivated by not wanting to let their team down, thus freeing up class time for in-class problem- solving activities.

인센티브 구조

Incentive structure

Michaelsen과 Sweet27은 tRAT 이후의 즉각적인 피드백은 학생들에게 콘텐츠 지식과 응용 능력을 이해시키기 위한 목적으로 TBL 프로세스에 본질적inherent한 것이라고 본다. 또한 즉각적인 피드백을 제공함으로써 

• 개인과 팀 간의 경쟁을 촉진하고, 

• 지식 획득과 보존의 핵심이 되며, 

• 팀 발달에 영향을 미친다.27,28

Michaelsen and Sweet27 describe immediate feedback following the tRAT as being inherent to the TBL process to provide students with an understanding of their content knowledge and application ability. In addition, providing immediate feedback 

• encourages competition between both individuals and teams, 

• is key to knowledge acquisition and retention, and 

• affects team development.27,28

프로그램 내 문제해결의 순서

Sequencing of in-class problem solving

문제 해결 활동 동안 학생들은 복잡한 현실 문제를 해결하기 위해 팀으로 일함으로써 수업내용에 대한 지식을 적용할 기회를 가졌다. 파르므리와 동료1이 지적한 바와 같이, 학생들은 응용활동 중에 특정한 선택을 하기 위해 정보를 해석, 분석, 합성해야 하며, 필요한 경우 전체 학생들에게 자신의 선택을 방어해야 한다.

During the problem-solving activities, students had the opportunity to apply their knowledge of course content by working in teams to solve complex, real- life problems. As Parmelee and colleagues1 noted, students must interpret, analyze, and synthesize information to make a specific choice during the activity, and they must defend their choice to the class if necessary.

어떤 연구자는 tAPP를 TBL의 심장이라고 설명했지만,4 이 설계 요소는 우리가 검토한 글에서 자세히 언급된 경우는 거의 없었다.

Although some have described the tAPP as the heart of TBL,4 this design element was rarely mentioned in detail in the articles we reviewed.

네 가지 S

The four S’s

문제는 중요할 필요가 있고, 모든 팀은 같은 문제를 해결해야 하며, 그들은 그들의 대답에 특정한 선택권을 제공해야 한다. 그들은 그들과 다른 팀들이 동시에 보고해야 한다. MCQ를 사용하는 것이 표준적이었으며, 이것은 TBL을 개방형 문항을 사용하는 사례 기반 학습CBL등의 다른 액션 기반 학습 기법과 구별해주는 점이다.

the problem needs to be significant, all teams need to have the same problem to solve, and they need to provide a specific choice in their answer, which they and the other teams need to report simultaneously. The standard use of MCQs differentiates TBL from  other action-based learning techniques, such as case-based learning,16 that use open-ended questions.

즉각적 피드백

Immediate feedback

평가는 학생들의 코스 목표 달성에 큰 영향을 미치며, TBL에서는 개인의 수업 외 준비와 팀 협업을 극대화하도록 설계된다.4 그러나 우리가 검토한 많은 논문에서 저자들은 인센티브 구조를 명확하게 기술하지 않았다.

Assessment has a large effect on students’ achievement of course objectives, and, in TBL, it is designed to maximize both individuals’ out-of-class preparation and team collaboration.4 Yet, in many of the articles we reviewed, the authors did not clearly describe the incentive structure.

Michaelsen과 Sweet27은 [개별적인 기여]와 [효과적인 팀워크]에 대한 보상을 제공하고 [그룹워크에 대한 학생들의 우려를 완화]시키기 위해 효과적인 평가제도가 필요하다고 주장했다. 따라서, IRAT, tRAT, tAPP 및 동료 검토에 대한 등급이 부여되어야 한다.1

Michaelsen and Sweet27 argued that an effective grading system is necessary to provide rewards for both individual contributions and effective teamwork and to allay students’ concerns about grading for group work. Thus, grades should be given for iRAT, tRAT, tAPP, and peer review.1

동료평가

Peer review

그 기사들의 거의 절반은 동료평가에 대해 보도하지 않았다. Michaelsen29는 학생 책임을 보장하는 데 도움이 되기 때문에 동료 평가를 TBL의 핵심 요소 중 하나로 간주했다. 또한 피드백을 주는 연습을 통해 학생들은 전문적인 역량을 개발하고 피어리뷰의 책임을 가진 임상의로서 그들의 전문직으로서의 삶을 준비할 수 있다.30,31

almost half of the articles did not report on peer review. Michaelsen29 considered peer assessment to be one of the key components of TBL, because it helps to ensure student accountability. In addition,  the practice of giving feedback allows students to develop professional competencies and prepare for their professional lives as clinicians with peer review responsibilities.30,31

한계

Limitations

2001년까지 TBL 프로그램의 실행이 의학 교육 내에서 인기를 얻지 못하였기 때문에, 우리는 이 검토에서 단지 10년의 자료에 대해 보고했다.

as the implementation of TBL programs did not gain popularity within medical education until 2001,1 we have reported on only 10 years of data in this review.

결론

Conclusions

비록 Parmlee와 Michaelsen이 TBL이 "모든 구성요소가 설계와 구현에 포함될 때 가장 잘 작동한다"고 지적했지만, 3 우리의 검토 결과 TBL 프로그램의 설계, 구현 및 보고마다 광범위한 차이variation가 나타났다.

Although Parmelee and Michaelsen noted that TBL “works best when all of the components are included in the design and implementation,”3 our review revealed extensive variations in the design, implementation, and reporting of TBL programs.

그러므로, 미래에는 교수진이 프로그램의 각 특징에 대한 영향과 상대적 장점을 더 잘 이해하기 위해 표준화된 TBL 프레임워크를 고수해야 한다.

Thus, in the future, faculty should adhere to a standardized TBL framework, to better understand the impact and relative merits of each feature of their program.

4 Haidet P, Levine RE, Parmelee DX, et al. Perspective: Guidelines for reporting team- based learning activities in the medical and health sciences education literature. Acad Med. 2012;87:292–299.

---

Acad Med. 2014 Apr;89(4):678-88. doi: 10.1097/ACM.0000000000000162.

Applying established guidelines to team-based learning programs in medical schools: a systematic review.

Burgess AW1, McGregor DM, Mellis CM.

Author information

1

Dr. Burgess is executive officer, Central Clinical School, Faculty of Medicine, University of Sydney, Sydney, New South Wales, Australia. Ms. McGregor is research project officer, Workforce Education and Development Group, Faculty of Medicine, University of Sydney, Sydney, New South Wales, Australia. Professor Mellis is professor of medicine and associate dean, Central Clinical School, Faculty of Medicine, University of Sydney, Sydney, New South Wales, Australia.

Abstract

PURPOSE:

Team-based learning (TBL), a structured form of small-group learning, has gained popularity in medical education in recent years. A growing number of medical schools have adopted TBL in a variety of combinations and permutations across a diversity of settings, learners, and content areas. The authors conducted this systematic review to establish the extent, design, and practice of TBL programswithin medical schools to inform curriculum planners and education designers.

METHOD:

The authors searched the MEDLINE, PubMed, Web of Knowledge, and ERIC databases for articles on TBL in undergraduate medical education published between 2002 and 2012. They selected and reviewed articles that included original research on TBL programsand assessed the articles according to the seven core TBL design elements (team formation, readiness assurance, immediate feedback, sequencing of in-class problem solving, the four S's [significant problem, same problem, specific choice, and simultaneous reporting], incentive structure, and peer review) described in established guidelines.

RESULTS:

The authors identified 20 articles that satisfied the inclusion criteria. They found significant variability across the articles in terms of the application of the seven core design elements and the depth with which they were described. The majority of the articles, however, reported that TBL provided a positive learning experience for students.

CONCLUSIONS:

In the future, faculty should adhere to a standardized TBL framework to better understand the impact and relative merits of each feature of their program.

Comment in

• The importance of free-text responses in team-based learning design. [Acad Med. 2014]
• In reply to Badgett et al. [Acad Med. 2014]

PMID:

 

24556770

 

PMCID:

 

PMC4885587

 

DOI:

 

10.1097/ACM.0000000000000162