의학/보건의료인 교육에서 TBL 활동 보고 가이드라인(Acad Med, 2012)

의학/보건의료인 교육에서 TBL 활동 보고 가이드라인(Acad Med, 2012)

Perspective: Guidelines for Reporting Team-Based Learning Activities in the Medical and Health Sciences Education Literature

Paul Haidet, MD, MPH, Ruth E. Levine, MD, Dean X. Parmelee, MD, Sheila Crow, PhD,

Frances Kennedy, PhD, P. Adam Kelly, PhD, MBA, Linda Perkowski, PhD,

Larry Michaelsen, PhD, and Boyd F. Richards, PhD

TBL은 1970년대 후반에 급속히 증가하는 학생수로 인해, 교실당 100명 이상의 학생들이 입학하게 되는 비즈니스 교육에서 문제 해결과 개념 응용 프로그램에 초점을 맞추는 수단으로 개발되었다.

TBL was developed in the late 1970s as a means of maintaining a focus on problemsolving and concept applications in business education, where rapidly rising enrollments resulted in more than 100 students per classroom.

1999년 이후 TBL은 "건강과 질병의 문제를 해결하기 위해 원칙과 기술을 현명하게 사용할 수 있는 [학습자의] 능력을 개발"하는 교육 전략을 요구하는 LCME의 입장에 부합하였기 때문에 보건의료계의 관심을 끌었다. 또한 리더십, 커뮤니케이션 및 팀워크 기술을 배양해야 한다는 요구에도 부합했다.2 또한, 교육과정 리더들은 TBL이 다른 소규모 그룹 교육 방법보다 더 적은 수의 교수진을 필요로 하기 한다는 점에서, 교수진의 시간이 지속적으로 감소하는 것을 고려할 때, TBL이 매력적이라고 생각한다.3

Since 1999, TBL has attracted interest in the health sciences because it is consistent with Liaison Committee on Medical Education accreditation standards that call for teaching strategies that “develop [learners’] ability to use principles and skills wisely in solving problems of health and disease”1 and because it helps address a growing need to cultivate learners’ leadership, communication, and teamwork skills.2 In addition, given ongoing erosion of faculty time for teaching, curriculum leaders find TBL attractive because it requires fewer faculty than other small-group instructional methods.3

점점 더 많은 수의 의과대학들이 TBL을 임상 전 및 임상 교육과정에 어떤 식으로든 채택하고 있다.5,6 2011년 11월 현재 MedEdPORTAL 온라인 커리큘럼 리소스는 다양한 기본 및 임상 과학에 걸친 40개 이상의 TBL 모듈과 자료가 올라와있다.

A growing number of medical schools are adopting TBL in some fashion in their preclinical and clinical curricula.5,6 As of November 2011, the MedEdPORTAL online curriculum resource offered more than 40 peer- reviewed TBL modules and materials spanning a variety of basic and clinical sciences.7

TBL은 다양한 조합과 순서가 있으며, 구현가능한 범위도 단일 세션부터 전체 과정까지 다양하다.38 이러한 가변성 때문에 TBL에 대한 발표된 논문을 이해, 비평, 복제 또는 비교하기가 어려울 수 있다.

TBL occurs in a variety of combinations and permutations; possible implementations range from single sessions3,37 to entire courses.38 Because of this variability, it may be difficult to understand, critique, replicate, or compare published reports about TBL

TBL의 구조

The Structure of TBL

TBL은 [실세계 시나리오에 담긴 내용의 유의미한 적용]을 강조하면서, 기초적 사실 습득 이상을 추구하고 있다. 여기에는 일반적으로 [복잡한 추론, 토론 및 "건설적 논쟁"]을 촉진하기 위해 특별히 준비된 문제에 대한 그룹 내 및 그룹 간 논의가 포함된다.

TBL moves beyond basic acquisition of facts to emphasize meaningful application of session or course content in real-world scenarios. This typically involves intra- and intergroup discussions of problems that are specifically prepared to foster complex reasoning, debate, and “constructive controversy.”48

권고안 개발

Developing the Recommendations

우리는 TBL에 대한 문헌 검색 결과와 자체 경험을 활용하여 12개 기사 각각에 대해 다음과 같은 질문을 함으로써 이러한 논의를 풍부하게 했다.

We used the results of our literature search and our own experiences with TBL to enrich these discussions by asking the following questions about each of the 12 articles:

•   보고된 교수법을 TBL이라고 부를 수 있는가?

•   그렇지 않다면 누락된 TBL 요소는?

•   TBL이라고 부를 수 있다면, 어떤 요소가 특정 방법을 TBL로 정의하는 데 가장 중요한가?

•   Can the teaching method described in the article accurately be called TBL?

•   If not, which TBL elements are missing fromthe teaching method as described?

•   If it can accurately be called TBL, which TBL elements as described are most instrumental in defining the teaching method as TBL?

TBL의 7가지 핵심 요소: 팀 구성, 준비 상태 보증(RA), 즉각적인 피드백, 동급 문제 해결 순서, "4 S", 인센티브 구조 및 안전 점검.

the seven core elements of TBL: 

• team formation, 

• readiness assurance (RA), 

• immediate feedback, 

• sequencing of in-class problem solving, 

• the “four Ss,” 

• incentive structure, and 

• peer review.

우리의 개념 모델은 핵심 요소의 특성이 학습자 참여의 매개 변수를 통해 학습 성과와 간접적으로 연계된다고 가정한다. 이 모델은 

• 콘텐츠에 대한 참여(예: 노출/사고/학습, 주제 적용)와 

• 동료와의 참여(예: 팀 내 상호작용의 효과)

...의 두 가지 유형의 상호 관련 학습자 참여를 가정한다.

This conceptual model (Figure 1) assumes that the characteristics of the employed core elements are indirectly linked to learning outcomes through the mediating factor of learner engagement. This model assumes two types of interrelated learner engagement: engagement with content (e.g., depth of exposure/thought/ learning, application of the subject matter) and engagement with peers (e.g., effectiveness of interactions within teams).

9명의 저자는 모두 58개 조항의 최종 목록을 검토하여 새 조항이 가이드라인을 변경해야 하는 문제를 제기했는지 여부를 평가하였다. (최종 기사 목록은 보충 디지털 부록 1 참조)

All nine authors reviewed the final list of 58 articles to evaluate whether the new articles raised issues that would necessitate a change in the guidelines. (For the final list of articles, see Supplemental Digital Appendix 1, http://links.lww.com/ACADMED/A72.)

TBL 보고 가이드라인

Guidelines for Reporting TBL Implementations in the Medical and Health Sciences Education Literature

우리는 

• (1) TBL 구현의 일반적인 맥락과 범위를 기술하는 것

• (2) 7가지 핵심 TBL 요소와 관련된 설계 결정을 기술하는 것

...의 두 개의 전체 섹션으로 지침을 정리했다. 우리는 저자들이 TBL 구현 결과를 보고하는 논문의 "방법" 또는 "교육과정 개발" 섹션에 이 지침을 사용할 수 있을 것으로 예상한다.

We have organized guidelines into two overall sections related to describing 

• (1) the general context and scope of the TBL implementation and 

• (2) the design decisions related to the seven core TBL elements. 

We anticipate that authors could use these guidelines to shape “method” or “curriculum development”50 sections of articles reporting results of TBL implementations.

TBL의 7가지 핵심 요소별 설계 결정 설명

Describe the design decisions specific to the seven core elements of TBL

TBL 구현의 맥락과 범위에 대한 설명에는 다음 항목에 대한 정보가 포함되어야 한다.

Descriptions of a TBL implementation’s context and scope should contain information about the following items:

•   팀당 전체 클래스 크기 및 학습자 수

•   관련 교직원의 수 및 전공(예: TBL에 대한 이전 경험)

•   과목(TBL을 사용한 전체 과정 또는 세션 중 하나)

•   구현 상황(예: 단일 세션, 과정 내 일련의 세션, 전체 과정)

•   구현 전 TBL에 대한 학습자의 친숙성 추정

•   Overall class size and number of learners per team

•   Number and background (e.g., prior experience with TBL) of faculty involved

•   Subject (either of the overall course or of the sessions that used TBL)

•   Context of the implementation (e.g., single session, series of sessions in a course, entire course)

•   Estimate of learners’ familiarity with TBL prior to the implementation

TBL 구현의 일반적인 컨텍스트 및 범위 설명

Describe the general context and scope of the TBL implementation

표 1은 7가지 핵심 요소에 대한 개요를 보여준다.

Table 1 presents an overview of the seven core elements,

7가지 핵심 요소에 대한 설명은 구현과 관련된 설계 결정의 내용, 시기, 시기, 방법 및 이유에 초점을 맞출 때 가장 유익할 것이다.

Descriptions of the seven core elements will be most informative when they focus on the what, when, who, how, and why of the design decisions related to the implementation.

팀 구성

Team formation.

TBL에서는 팀 간에 자원이 균등하게 배분되어야 한다. 학습자가 자신의 팀을 구성하도록 허용된 경우, 그러한 동등한 분포는 일반적으로 발생하지 않는다.

The TBL method calls for resources to be distributed equally across teams. Such equal distribution does not typically occur when learners are allowed to formtheir own teams,

프로세스

Processes

•   팀이 자체 구성 또는 강사에 의해 구성되었는지 여부

•   학습자에게 분류 프로세스가 투명했는지 여부

•   Whether teams were self-formed or formed by the instructor

•   Whether the sorting process was transparent to learners

요인

Factors

•   코스 또는 세션 내용에 대한 사전 지식 및 학습자의 배경

•   학습자의 전반적인 경험 수준(예: 3학년 의대생, 거주자)

•   팀 구성 프로세스에 사용된 이러한 요인 또는 기타 요인에 대한 논리적 근거

•   선택된 요소들이 팀 간에 균등하게 분포되었는지에 대한 추정치

•   Learners’ background with and prior knowledge of course or session content

•   Learners’ overall experience level (e.g., third-year medical students, residents)

•   Rationales for these or other factors used in the team formation process

•   Estimate of the success with which the selected factors were equally distributed among teams

준비도 확인

Readiness assurance.

RA 프로세스와 자료에 대한 적절한 설명은 학습자의 습득, 보존 및 지식 전달에서 관찰된 변화를 평가하는 데 도움이 될 것이다.

Adequate description of RA processes and materials will therefore help the reader evaluate observed changes in learners’ acquisition, retention, and transfer of knowledge.

구조

Structure

•   사용된 일반 RA 프로세스에 대한 설명

•   개별 학습자 및/또는 팀의 참여(예: 개별 RA 테스트 [RAT], 그룹 RAT)

•   RA 프로세스 중에 책, 노트 또는 기타 자료의 사용 허용 여부 및 방법

•   팀이 등급 결정에 이의를 제기할 수 있는지 여부 및 이를 위한 프로세스

•   Description of the general RA process employed

•   Involvement of individual learners and/ or teams (e.g., individual RA tests [RATs], group RATs)

•   Whether and how use of books, notes, or other materials was permitted during the RA process

•   Whether teams could appeal grading decisions, and the process for doing so

내용

Content

•   RA 프로세스 중에 포함되는 콘텐츠의 양과 수준

•   가능한 경우, 콘텐츠의 예

•   The amount and level of content covered during the RA process

•   Examples of content, where possible

즉각적 피드백

Immediate feedback.

RAT와 일반적인 퀴즈 간의 주요 차이점 중 하나는 성과에 대한 즉각적인 피드백이 개인과 팀 모두에게 제공되도록 하는 프로세스가 존재한다는 것이다.

One of the main differences between RATs and typical quizzes is the presence of a process to ensure that immediate feedback about performance is provided both to individuals and to teams.

따라서 즉각적인 피드백에 대한 다음 세부 사항은 중요하다.

The following details about immediate feedback are therefore important

•   즉각적인 피드백이 제공되었는지 여부
•   즉각적인 피드백을 제공하는 RA 프로세스(즉, 개별, 그룹)의 부분
•   즉각적인 피드백을 제공하기 위해 사용되는 절차

•   Whether immediate feedback was provided

•   The portions of the RA process (i.e., individual, group) for which immediate feedback was given

•   The procedures used to provide immediate feedback

수업 내 문제해결의 순서 

Sequencing of in-class problem solving.

문제 해결 또는 "응용 프로그램" 활동은 TBL 방법의 핵심이다. 응용 프로그램 활동의 순서는 과정 콘텐츠와 동급생 모두의 학습자 참여에 영향을 미칠 수 있기 때문에 중요하다.

Problem-solving, or “application,” activities represent the heart of the TBL method. The sequencing of application activities is important because it can affect learner engagement with both course content and their peers.

•   팀 내 / 팀 간 토론의 존재여부와 순서

•   각 유형의 토론에 할애된 시간의 상대적 비율

•   수행된 application activities의 활동 수

•   The presence and sequence of intrateam and interteam discussions

•   The relative proportion of time devoted to each type of discussion

•   The number of application activities performed

네 가지 S

The four Ss.

4개의 S는 팀 내 토론과 팀간 토론 모두에서 개념적 깊이를 창출하는 핵심이며, 따라서 학생의 이해, 지식 유지 및 참여와 매우 관련이 있다.

The four Ss are at the heart of creating conceptual depth in both intrateam and interteam discussions and are therefore critically related to student understanding, knowledge retention, and engagement.

•   4개의 S를 구현한 방법

•   학습자가 application activities를 수행하는 장소

•   팀별 솔루션이 전체 클래스에 보고된 방법

•   응용 프로그램 태스크의 컨텐츠 세부 정보(가능한 경우 대표 응용 프로그램 태스크 사용 가능)

•   How the four Ss were implemented

•   The location(s) where learners worked on application activities

•   How team solutions were reported to the entire class

•   Details of the application tasks’ content (where possible, make representative application tasks available)

인센티브 구조

Incentive structure.

학습자는 개별 준비, 개방된 팀 커뮤니케이션, 존중하는 의견 불일치 및 고품질 문제 해결과 같은 규범적 행동을 개발하기 위한 인센티브를 요구한다. 따라서 인센티브 구조는 학습 과정의 중요한 구성 요소다.

Learners require incentives to develop normative behaviors such as individual preparation, open team communication, respectful disagreement, and high-quality problemsolving. The incentive structure is therefore a critical component of the learning process.

•   코스의 채점 절차(또는 성적과 관련이 없는 경우, 다른 인센티브 구조)

•   인센티브의 성격과 시기

•   인센티브가 주어지는 대상자(개인 또는 팀)

•   복수의 인센티브를 사용한 경우 인센티브 가중치

•   학습자가 인센티브 구조 결정에 영향을 미치는지 여부(예: 등급 가중치에 대해 요청된 클래스 입력)

•   The grading procedures of the course (or, if grades are not relevant, any alternate incentive structures)

•   The nature and timing of the incentives

•   To whom the incentives were directed (individuals or teams)

•   The weighting of incentives, if multiple incentives were used

•   Whether learners had any influence in determining the incentive structure (e.g., class input solicited on grade weights)

동료평가

Peer review.

동료평가의 logistics를 관리하고, 학습자에게 의미 있고 정직한 피드백을 제공할 수 있는, 안전한 환경을 제공하기 위해 다양한 방법이 고안되었다.

A number of methods have been devised to manage logistics and provide learners with a safe environment in which they can provide meaningful and honest feedback to their peers.

•   동료평가를 사용했는지 여부

•   동료평가 절차의 구조 설명

•   동료 검토 프로세스 결과에 대한 평가 데이터(예: 학습자 자기 성찰 수준, 행동 변화, 만족도)

•   Whether peer-review methods were used

•   Description of the structure of peer- review procedures

•   Evaluation data regarding peer-review- process outcomes (e.g., levels of learner self-reflection, behavior changes, satisfaction)

현실에서의 가이드라인 적용

The Guidelines in Practice

예를 들어, 우리는 제안된 지침을 사용하여 TBL에 대한 3개의 초기 보고서, 338,51과 1개의 최근 보고서52를 비평했다. 우리의 비평 결과는 표 2에 나타나 있다.

As an example, we used our proposed guidelines to critique three early reports3,38,51 and one recent report52 about TBL. The results of our critique appear in Table 2.

2011년 문헌 검토에서, 우리는 팀 구성 프로세스에 관한 더 자세한 내용을 포함하고 동료 검토 프로세스를 포함하거나 포기하기로 결정한 뒤의 근거를 제공함으로써 많은 기사들이 개선될 수 있다는 점에 주목했다.

In our 2011 review of the literature, we noticed that many articles could be improved by including more detail regarding the teamformation process and by providing the rationale behind decisions to include or forgo a peer- review process.

결론

Conclusion

다른 대학원과 전문학교와 비교했을 때, 의료 및 보건과학 교육은 많은 차원에 따라 높은 수준의 가변성을 가진다. 이러한 차원의 예로는...

• 과정과 관련된 교수의 수와 전공

• 코스의 길이 

• 코스의 성적이 매겨지는지 여부

• 다양한 수준의 학습자 또는 코스 내용과 관련된 전문 지식이 있는지 여부 

• 학습자가 코스 제공과 동시에 여러 개의 경쟁적 책임을 갖는지 여부(예: 거주 의사의 환자 관리 책임)

Compared with other graduate and professional schools, medical and health sciences education settings have a high level of variability along a number of dimensions. Examples of these dimensions include 

• the number and background of faculty involved in a course, 

• the length of a course, 

• whether the course is graded, 

• whether there are multiple levels of learners or of expertise relative to the course content, and 

• whether learners have multiple competing responsibilities at the same time that the course is delivered (e.g., resident physicians’ patient care responsibilities). 

또한, 의료 및 보건 과학 교육자들은 리더십, 커뮤니케이션, 팀워크와 같은 기본적인 사실적 지식을 뛰어넘는 과정 콘텐츠에 점점 더 많이 통합되고 있다. 이 환경은 전통적으로 비건강 환경에서 사용되었던 교육 방법을 조정하여 혁신의 기회를 제공한다. 그러나 TBL과 같은 새로운 방법의 적응은 구현마다 다를 수 있으므로 특정 교수법의 효과와 결과에 대한 일반적인 결론을 도출하는 것이 어렵다.

In addition, medical and health sciences educators are increasingly incorporating into courses content that goes beyond basic factual knowledge, such as leadership, communication, and teamwork. This environment provides opportunities to innovate by adapting methods of instruction that traditionally have been used in nonhealth settings. However, adaptations of novel methods, such as TBL, may differ across implementations, making it difficult to draw general conclusions about the effect and outcomes of a particular teaching method.

예를 들어, 문제 기반 학습(PBL)의 경우, 불완전한 implementation과 교수들이 "PBL"이라는 용어를 해석하는 방식의 가변성으로 인하여 의학교육 문헌에서 모호성이 생겼으며, 이는 궁극적으로 성공적인 능동 학습 방식으로 판명된 것의 배포를 지연시켰을 수 있다.53

For example, in the case of problem-based learning (PBL), incomplete descriptions of implementations and variability in the way that faculty interpreted the term “PBL” created a degree of ambiguity in the medical education literature that may have slowed the dissemination of what ultimately proved to be a successful active-learning mode of instruction.53

17 Zgheib NK, Simaan JA, Sabra R. Using team- based learning to teach pharmacology to second year medical students improves student performance. Med Teach. 2010;32: 130–135.

---

Acad Med. 2012 Mar;87(3):292-9. doi: 10.1097/ACM.0b013e318244759e.

Perspective: Guidelines for reporting team-based learning activities in the medical and healthsciences education literature.

Haidet P1, Levine RE, Parmelee DX, Crow S, Kennedy F, Kelly PA, Perkowski L, Michaelsen L, Richards BF.

Author information

1

Pennsylvania State University College of Medicine, Hershey, USA. phaidet@hmc.psu.edu

Abstract

Medical and health sciences educators are increasingly employing team-based learning (TBL) in their teaching activities. TBL is a comprehensive strategy for developing and using self-managed learning teams that has created a fertile area for medical educationscholarship. However, because this method can be implemented in a variety of ways, published reports about TBL may be difficult to understand, critique, replicate, or compare unless authors fully describe their interventions.The authors of this article offer a conceptual model and propose a set of guidelines for standardizing the way that the results of TBL implementations are reported and critiqued. They identify and articulate the seven core design elements that underlie the TBL method and relate them to educational principles that maximize student engagement and learning within teams. The guidelines underscore important principles relevant to many forms of small-group learning. The authors suggest that following these guidelines when writing articles about TBL implementations should help standardize descriptive information in the medical and health sciences education literature about the essential aspects of TBL activities and allow authors and reviewers to successfully replicate TBL implementations and draw meaningful conclusions about observed outcomes.

PMID:

 

22373620

 

DOI:

 

10.1097/ACM.0b013e318244759e