의과대학생의 학업성과에 TBL의 영향(Acad Med, 2010)

의과대학생의 학업성과에 TBL의 영향(Acad Med, 2010)

The Impact of Team-Based Learning on Medical Students’ Academic Performance

Paul G. Koles, MD, Adrienne Stolfi, MSPH, Nicole J. Borges, PhD, Stuart Nelson, PhD, and Dean X. Parmelee, MD

임상전 의학교육은 커리큘럼 딜레마의 진퇴양난에 빠져있다.

Preclinical medical education is increasingly impaled on the horns of a curricular dilemma.

이러한 딜레마를 해결하기 위해, 교육자들은 필수 지식을 교실 밖 독립적인 학습을 위한 접근 가능한 형식으로 구성하는 교과서, 강의록, 전자 자료 및 웹 기반 학습 단위에 점점 더 의존하고 있다. 학생들이 이러한 학습 도구에 적응함에 따라, 교수진은 강의 프리젠테이션을 위해 이전에 예약되었던 시간을 줄일 수 있으며, 면대면 시간은 능동적 교육 및 학습 전략에 더 많이 사용할 수 있다.

To address this dilemma, educators rely increasingly on textbooks, syllabi, electronic resources, and Web-based units of study that organize essential knowledge into accessible formats for independent learning outside class.1,2 As students acclimate to these learning tools,faculty may reduce hours previously reserved for lecture presentations, making face-to-face time more available for active teaching and learning strategies

그러한 능동적 학습 방법 중 하나인 문제 기반 학습(PBL)은 지난 40년 동안 학부 의대에서 그 유용성을 입증해 왔다.3 PBL은 커리큘럼 우선순위 변화에 적응할 수 있는 것처럼 보인다. 1969년 맥매스터 대학교에서 1차 학습 전략으로 도입되었으며, 두 차례의 교육과정 주요 개편에서도 살아남았다.4

Problem-based learning (PBL), one such active learning method, has demonstrated its usefulness in undergraduate medical education during the past 40 years.3 PBL seems to be adaptable to changing curricular priorities. It was introduced as the primary learning strategy at McMaster University in 1969 and has survived two major revisions of the curriculum.4

2001년 베일러 의대에 도입된 팀 기반 학습(TBL)은 의학 교육에서 PBL보다 그 역사가 훨씬 짧다. 능동적인 학습 전략으로 설계된 TBL은 학습자 중심이지만 강사 주도형이다.

Team-based learning (TBL), which was introduced at Baylor College of Medicine in 2001, has a much shorter track record than PBL in medical education.6,7 Designed as an active learning strategy, TBL is learner-centered but instructor- led.

TBL은 동료들이 서로 대화하고 경청하여 합의된 결정을 내리는 과정을 통해서, 동료들로부터 학습을 향상시킬 수 있는 여러 기회를 제공한다. 교수들은 각 팀이 자신들의 선택에 대해 공개적으로 설명하도록 요청하며, 여러 팀이 최선의 결정이 무엇인지 그 정당성에 대해 토론할 수 있도록 촉진한다.

TBL provides frequent opportunities for peers to enhance learning, as teammates talk and listen to one another to arrive at consensus decisions. Faculty invite teams to explain and support their choices publicly, and facilitate as teams debate justification for the best decision.

이상적으로, 응용 질문은 학생들이 단지 관련 지식을 얻는 것이 아니라 비판적 사고를 필요로한다. 잘 짜여진 응용 질문은 팀에게 "복잡한 문제의 분석을 기반으로 구체적인 결정을 내리도록 동기를 부여한다."10(p41)

Ideally, application questions require students to engage in critical thinking, rather than to merely retrieve relevant knowledge. Well- crafted application questions motivate teams to “make a concrete decision based on analysis of a complex issue.”10(p41)

TBL은 의대생들의 학습을 얼마나 효과적으로 촉진하는가?

How effectively does TBL promote medical students’ learning?

Nieder와 동료들은 TBL이 사용되기 전의 성과에 비해 평균 과정 시험 성과는 아무런 변화도 보이지 않았지만, TBL의 사용으로 인해 인간 구조 코스에 낙제하는 학생이 줄어들었다. Nieder와 동료들의 연구는 학업성취도가 낮은 학생들이 TBL로부터 이익을 얻을 수 있다는 것을 암시한다.

Nieder and colleagues11 showed no change in mean course examination performance compared with performance in years before TBL was used, but the use of TBL resulted in fewer students failing a human structure course. Nieder and colleagues’11 study suggests that academically weaker students may benefit fromTBL.

종합 과정 시험(CCE),

comprehensive course examinations (CCEs),

기존 문헌이 많지 않고, 일관되지 않은 이전 연구 결과를 고려하고, TBL에 대한 우리 자신의 축적된 경험을 고려할 때, 우리는 이 연구에서 다음과 같은 두 가지 질문을 받았다. 

(1) TBL에 참여하는 것이 과정 시험에서의 학생들의 성적에 영향을 미치는가? 

(2) TBL은 학업성취도가 낮은 학생 또는 더 높은 학생에게 우선적으로 혜택을 주는가?

Given the small amount of such literature, the mixed results of previous studies of academic outcomes, and our own accumulated experience with TBL, we were guided in this study by two questions: 

(1) Does participation in TBL affect students’ performance on course examinations? 

(2) Does TBL preferentially benefit academically lower- or higher-performing students?

방법

Method

분스호프트 2학년 교육과정

Boonshoft’s second-year curriculum

분쇼프트의 시스템 기반 2년 과정에서는 임상 의학에 적용할 수 있는 생리학, 병리학, 약리학의 기초지식을 강조하는 10개의 과정(두 개의 용어 사이로 구분)으로 구성되었다.

Boonshoft’s systems-based second-year curriculum consisted of 10 courses (divided between two terms) emphasizing foundational knowledge of physiology, pathology, and pharmacology applicable to clinical medicine.

표 1은 연구에 포함된 학술 용어, 과정, CCE 및 TBL 모듈을 요약한 것이다.

Table 1 summarizes the academic terms, courses, CCEs, and TBL modules included in the study.

5명에서 7명의 학생들로 구성된 팀은 학년 초에 무작위 분류에 의해 구성되었다; 학생들은 10개의 모든 과정 내내 같은 팀에 있었다.

Teams of five to seven students were formed by random sorting at the beginning of the academic year; students remained on the same teams throughout all 10 courses.

TBL 세션은 보통 2시간(RAT의 경우 40분, 응용 문제의 경우 80분)이었으며, 교수진 중 한 명이 모듈을 만들었다.

TBL sessions were usually two hours long (40 minutes for RATs, 80 minutes for the application exercise) and facilitated by two members of the faculty, one of whom had created the module.

자료 분석

Data analysis

우리는 이러한 CCE 문항 중 병리학적 기반 질문(PBQ)을 식별했다. 우리는 PBQ로 연구를 제한했다.

We identified these CCE questions as pathology-based questions (PBQs). We limited our study to PBQs

PBQ는 두 개의 하위 그룹으로 더 세분되었다. 

• TBL 관련 PBQ(TR)로 지정된 한 그룹이 있다. 이 그룹은 TBL 모듈의 사전 학습자료에 포함되거나 TBL 애플리케이션 연습 중에 논의된 지식을 평가하는 질문을 포함했다. 

• TBL과 무관한 PBQ(TU)로 지정된 두 번째 그룹은 TBL 모듈의 내용과 개념적으로 관련이 없는 질문들로 구성되었다.

PBQs were further divided into two subgroups . One subgroup, designated TBL-related PBQs (TRs), contained questions that assessed knowledge included in a TBL module’s advance assignment or discussed during aTBL application exercise. The second group, designated TBL-unrelated PBQs (TUs), consisted of questions that were conceptually unrelated to any TBL module’s content.

각 PBQ의 변별도는 질문 품질의 유용한 지표로서 CCE 항목 분석에서 얻었으며, TR과 TU에 대한 평균 차별 지수를 계산했다.

The discrimination index of each PBQ was obtained from CCE item analysis as a useful indicator of question quality, and we calculated mean discrimination indices for TRs and TUs.

결과

Results

이 705개의 PBQ는 2년간의 연구 동안 모든 CCE 질문의 26.4%를 차지했다(표 2).

These 705 PBQs accounted for 26.4%of all CCE questions during our two-year study (Table 2).

이 연구에 포함된 178명의 학생들의 점수는 표 3에 요약되어 있다.

Scores for the 178 students included in this study are summarized in Table 3.

학업성취도(표 4)를 기준으로 학생들의 성적을 분석한 결과 TU(P.001)와 비교했을 때 1/4분위 학생과 4/4분위 학생 모두 TR에서 훨씬 높은 점수를 받았다.

Analysis of students’ performance by academic quartiles (Table 4) revealed that students in both the highest (n  45) and lowest (n  45) quartiles scored significantly higher on TRs compared with TUs (P  .001).

토론 & 고찰

Discussion and Conclusions

우리의 생각에, 5.9% 더 높은 평균 점수는 학습 목표 달성이 공통적인 목표인 교육자와 학습자에게 의미가 있을 만큼 충분히 크다.

In our opinion, a 5.9%higher mean score is large enough to be meaningful for educators and learners whose common goal is achievement of learning objectives.

TBL 세션이 시작될 때 IRAT 시험이 있음을 아는 것은 학생들이 사전 과제에 포함된 지식을 독자적으로 습득하려고 노력함으로써 잘 준비하도록 동기를 부여한다. 이해하지 못한 것이나 어려웠던 내용은 동료들과 GRAT에 대한 합의를 도출하기 위해 노력하는 과정에서 향상된다. 각 팀별로 질문의 구체적인 답이 무엇인지에 대한 이유를 동료들에게 설명해야 하기 때문이다.

Knowing that the IRAT will be administered at the beginning of a TBL session motivates students to prepare well by attempting to independently master knowledge contained in the advance assignment. Gaps and deficiencies in understanding are improved as peers explain to their teammates why they favor specific answers to questions as the group works toward consensus for the GRAT.

최종 응용 연습은 각 팀이 교수가 설계한 문제를 해결하면서 응집된 지식을 활용해야 하는 과제를 주게 된다. 팀은 정보를 분석하고 단기간에 합의를 도출하기 위해 협상해야 한다. 팀들이 그들의 결정을 밝힌 후, 그룹간 토론은 각 팀들이 자신들의 결론을 뒷받침하는 증거와 추론을 반 학생들에게 설명하도록 요구한다.

The culminating application exercises challenge each team to use their aggregate knowledge as they wrestle with faculty-designed problems. Teams must analyze information and negotiate to achieve consensus within a short time. After teams reveal their decisions, the intergroup discussion requires teams to explain to the class the evidence and reasoning that support their conclusions.

TBL의 순차적 전략은 학습자들이 단순히 필수적인 사실들을 숙달하는 것을 넘어설 수 있도록 동기를 부여한다. 잘 구성된 응용 연습은 팀들이 특정 환자에게 가장 적합하거나 가능성이 높은 현실적인 상황에 지식을 적용하도록 요구한다. 합의에 도달하는 과정은 학생들은 듣기, 가르치기, 활발한 협상 기술을 개발하고 보여줄 것을 요구한다. 이어지는 팀간 논의는 모든 팀에게 그 결론에 관한 즉각적인 비교 피드백을 제공한다.

TBL’s sequential strategy motivates learners to go beyond mere mastery of essential facts. A well-crafted application exercise requires teams to apply knowledge to realistic situations, is most likely or most appropriate for a particular patient. The process of arriving at consensus demands that students develop and demonstrate listening, teaching, and vigorous negotiation skills. The interteam discussion that follows provides every team with immediate comparative feedback regarding its conclusions.

프랭크 스미스16(p87)은 장기 학습을 향상시키는 활동의 종류를 기술하면서 "우리는 우리 자신에게 흥미롭고 이해할 수 있는comprehensible 활동으로부터만 배울 수 있다. 다시 말해서, 만족스러운satisfying 활동에서 배울 수 있다"고 주장한다. "그렇지 않다면 비효율적인 암기, 즉 암기만 있을 뿐이며, 망각은 불가피하다"고 말했다.

In describing the kinds of activities that enhance long-term learning, Frank Smith16(p87) argues that “we can only learn from activities that are interesting and comprehensible to us; in other words, activities that are satisfying. If this is not the case, only inefficient rote learning, or memorization, is available to us and forgetting is inevitable.”

사분위수가 가장 낮은 학생들의 시험 성적에 더 큰 이점은 TBL의 전략과 관련이 있다. GRAT 및 애플리케이션 연습 동안 이뤄지는 [동료들 간의 날카로운 exchange]는 팀간 논의 시간에 [교수들의 management와 결합]하여 학생들이 지식의 기준을 달성하도록 돕는 [orchestrated 학습 연구소]로 볼 수 있다. 동료들은 합의된 답변에 도달하기 위하여 서로를 가르치고 있기 때문에, TBL 시작시점에서 내용 숙달력이 적은 사람들이 학습 이득이 더 클 가능성이 있는 것으로 보인다.

The larger beneficial effect on examination performance for lowest-quartile students compared with highest- quartile students correlates with TBL’s strategy. Pointed exchange among peers during the GRAT and application exercises, combined with faculty management of the interteam discussions, may be viewed as an orchestrated learning laboratory that helps students achieve a baseline of knowledge. Because peers are teaching each other while arriving at consensus answers, it seems reasonable that learning gains are likely to be greater for those who have less content mastery at the start of a TBL session.

이와 달리, 잘 준비된well-prepared 학생들은 다른 학생들과 대화하고 협상함으로써 그들 자신의 지식을 명확히 하고, 그들의 개인과 팀워크에 대한 점수를 받는다.

Well-prepared students clarify their own knowledge by verbalizing and negotiating with peers, are rewarded with grades for their individual and team efforts,

그러나 준비가 덜 된 학생들이 [동료들의 지식과 비판적 사고력]으로만 배우는 것이 아니다. 준비가 덜 된 학생이라고 해도 두 가지 요소에 의해서 앞으로 더 철저하게 준비해야 할 동기부여가 된다. 하나는, [IRAT에서 더 좋은 점수를 얻고자 하는 열망]이며, 다른 하나는 [이들도 조별 논의에 귀중한 기여를 할 것이라는 동료들의 기대]이다. intragroup teaching에서 드러나는 peer influence와, 잘 준비해와야 한다는 사회적 압력이 학업적으로 어려움을 겪는 학생도 수업 내용을 숙달하는 데 도움을 준다.17

However, students who arrive less prepared are not just enriched by their teammates’ knowledge and critical thinking skills. They are also motivated by two factors to prepare more thoroughly for future sessions: the desire to achieve a better grade on the IRAT, and their peers’ expectations that they will make valuable contributions to intrateam discussions. Peer influence, expressed through intragroup teaching and social pressure to prepare well, assists the academically challenged student in mastering course content.17

TBL이 효과적으로 구현되면 학업적으로 "위험한" 학생들도 과목의 상당 부분을 배울 수 있도록 한다.

Effective implementation of TBL enables students who are academically “at risk” to learn significant portions of course

그러나 peer tutoring과 같은 다른 교육 전략은 보건 직업 교육에서 학업 성과를 향상시키기 위해 문헌에 제시되었다.18 그러나, peer tutoring을 하기 위해서는 수업 외 시간에 상당한 시간적 헌신이 필요하다.

Other educational strategies, such as peer tutoring, have been shown in the literature to improve academic performance in health professions education.18 Peer tutoring, however, requires significant time commitments outside class.

TBL 관련 학습 편익에 대한 우리의 결론은 다른 의학 분야에는 적용되지 않을 수 있다.

our conclusions about TBL-related learning benefits may not apply to other medical science disciplines.

[TBL 모듈이 종료된 후 수 개월 이후에 시행되는 검사] 또는 [TBL을 사용한 여러 과정으로부터 얻은 지식을 평가하는 종합 시험]에 대한 수행 등을 통해서 장기 학습에 대한 잠재적 편익을 평가할 필요가 있다.

Potential benefits for longer-term learning need to be evaluated, such as performance on examinations administered several months after a TBL module or performance on comprehensive examinations assessing knowledge gained from several courses in which TBL was used.

마지막으로, 그리고 아마도 가장 중요한 한계는 콘텐츠 관련 TBL 모듈 이후 4주 이내에 검사 성과를 측정한 것이다. 따라서, 우리의 결과는 비교적 단기적인 학습에 대한 이점을 보여준다.

Finally, and perhaps the most important limitation, examination performance was measured within four weeks after content-related TBL modules. Therefore, our results show benefits for relatively short-term learning.

---

Acad Med. 2010 Nov;85(11):1739-45. doi: 10.1097/ACM.0b013e3181f52bed.

The impact of team-based learning on medical students' academic performance.

Koles PG1, Stolfi A, Borges NJ, Nelson S, Parmelee DX.

Author information

1

Department of Pathology, Boonshoft School of Medicine, Wright State University, Dayton, Ohio 45435-0001, USA. paul.koles@wright.edu

Abstract

PURPOSE:

Since team-based learning (TBL) was introduced as a medical education strategy in 2001, few studies have explored its impacton learning outcomes, particularly as measured by performance on examinations. Educators considering implementing TBL need evidence of its effectiveness. This study was conducted to determine whether student performance on examinations is affected by participation in TBL and whether TBL benefits lower- or higher-performing students.

METHOD:

The authors analyzed the performance of second-year medical students on 28 comprehensive course examinations over two consecutive academic years (2003-2004, 2004-2005) at the Boonshoft School of Medicine.

RESULTS:

The 178 students (86 men, 92 women) included in the study achieved 5.9% (standard deviation [SD] 5.5) higher mean scores on examination questions that assessed their knowledge of pathology-based content learned using the TBL strategy compared with questions assessing pathology-based content learned via other methods (P < .001, t test). Students whose overall academic performance placed them in the lowest quartile of the class benefited more from TBL than did those in the highest quartile. Lowest-quartile students' mean scores were 7.9% (SD 6.0) higher on examination questions related to TBL modules than examination questions not related to TBL modules, whereas highest-quartile students' mean scores were 3.8% (SD 5.4) higher (P = .001, two-way analysis of variance).

CONCLUSIONS:

Medical students' higher performance on examination questions related to course content learned through TBL suggests that TBL enhances mastery of course content. Students in the lowest academic quartile may benefit more than highest-quartile students from the TBL strategy.

PMID:

 

20881827

 

DOI:

 

10.1097/ACM.0b013e3181f52bed