TBL을 위한 촉진자 평가도구(Teach Learn Med, 2019)

TBL을 위한 촉진자 평가도구(Teach Learn Med, 2019)

The Facilitator Instrument for Team-Based Learning (FIT)

Ruth E. Levinea, Peggy Hsiehb, P. Adam Kellyc, Lisa Carchedid, Jennifer Gibsone, Paul Haidetf, Paul Kolesg, Lindsey Pershernh, Dawnelle Schattei, Brenda Talleyj, Dwight Wolfa, and Britta Thompsonf

배경

Background

TBL은 학생들이 교직원 시간을 크게 늘리지 않고도 대규모 학급에 내장된 작은 팀들에 참여할 수 있게 해주기 때문에 보건과학 교육에서 인기 있는 교육방법으로 자리 잡았다. TBL은 한 명의 교수만 있어도 최대 400명의 학습자로 구성된 대규모 수업에서 성공적으로 수행되는 것으로 알려져 있다.

Because TBL enables students to engage in small teams embedded within large classes without a significant increase in faculty time, it has become a popular pedagogy in health science education. TBL has been purported to be successfully conducted in large classes of up to 400 learners,9 even with only one faculty facilitator.

TBL 진행은 강의와도 다르고 PBL(문제 기반 학습)과 다른 유형의 소그룹 진행과도 다르다.10,11 PBL과 대조적으로, TBL 진행자는 종종 내용 전문가여야 하며 개념을 명확히 하고 세션에서 가장 중요한 점을 강조해야 한다. TBL 조력자는 논의를 가이드하고 많은 학습자 그룹에게 탐색질문을 던져야 한다. TBL 조력자들은 강사와는 대조적으로, 학생들에게서 말하기 보다는 그들과 대화하고 답을 끌어내야 한다. 그들은 토론과 비건설적인 논쟁을 장려하는 동시에 생산적인 논쟁이나 접선적인 토론을 방해함으로써 종종 큰 교실에서 학생들의 팀들 간의 상호작용을 촉진해야 한다.12 비록 고품질의 TBL 촉진을 달성하기 위해서는 독특한 기술이 분명히 필요하지만, 현재까지 특별히 TBL 촉진 퀄리티를 평가하기 위한 어떤 도구도 개발되지 않았다.

TBL facilitation differs from both lecture and other types of small group facilitation such as that used in Problem-Based Learning (PBL).10,11 In contrast to PBL, TBL facilitators must often be content experts, clarifying concepts and highlighting the most important points of a session. TBL facilitators must guide discussion and ask probing questions to large groups of learners. In contrast to lecturers, TBL facilitators must talk with and draw answers from students rather than talk at them. They must facilitate interactions between teams of students, often in large classrooms, by encouraging discussion and nonconstructive controversy, while discouraging productive argument or tangential discussion.12 Although a unique skill set is clearly necessary to achieve high quality TBL facilitation, to date no instrument has been developed specifically to assess the quality of TBL facilitation.

교수진 승진 및 기타 시상 및 보상과 같은 고부담 의사결정에 학습자 평가learner rating의 사용이 증가함에 따라, 13,14 TBL 촉진 품질을 정확하게 평가할 수 있는 학습자 등급 평가 도구를 보유하는 것이 중요하다. 본 연구의 목적은 의학교육에서 크고 작은 그룹 환경 모두에서 팀 기반 학습 촉진 기능의 품질을 평가하기 위한 타당성과 신뢰성의 증거를 가진 도구를 만드는 것이었다.

With the increasing high stakes use of learner ratings for decision making purposes such as faculty promotion and other awards and rewards,13,14 it is important to have a learner rating instrument that accurately evaluates the quality of TBL facilitation. The purpose of our study was to create an instrument with evidence of validity and reliability to evaluate the quality of Team-Based Learning facilitation in both large and small group settings in medical education.

the Facilitator Instrument forTBL(FIT).

방법

Methods

도구 개발

Instrument development

문항 생성

Item generation

목적적합하고, 대표적이며, 기술적인 품질의 도구를 만들도록 하기 위해, TBL 교육자 국제 연합의 3명의 핵심 지도자로 구성된 15명, "팀 기반 학습 협업" 또는 TBLC (www.teambasedlearning.org),으로 알려져 있음, TBL 촉진 품질을 평가하기 위한 도구를 만들어야 할 필요성을 확인하였다.

To ensure that we created an instrument that was relevant, representative, and of technical quality,15 a core group of 3 leaders of the international association of TBL educators, known as the “Team-Based Learning Collaborative” or TBLC (www.teambasedlearning.org), identified the need to create an instrument to evaluate the quality of TBL facilitation.

그 후 핵심 그룹은 기기에 대한 콘텐츠 유효성을 개발하고 제공하기 위해 TBL 전문가 패널을 식별했다.

The core group then identified a TBL expert panel to develop and provide content validity for an instrument.

총 12명의 전문가(핵심 3명, 패널 9명)가 있는데, 이는 문헌이 제시한 범위에 잘 포함되어 있다.20

a total of 12 experts (3 core and 9 panelists), which is well within that suggested by the literature.20

그룹(핵심 그룹 및 패널리스트)은 TBLC의 연례 회의 중 하나에서 장시간 대면했다. 문헌에 근거하여, 그룹은 TBL 촉진 구조가 단차원적이라고 가정했다.14

The group (core group and panelists) met face-toface for an extended time during one of the annual meetings of the TBLC. Based on the literature, the group assumed the TBL facilitation construct to be uni-dimensional.14

그 그룹은 고품질의 TBL 촉진과 관련된 행동에 대해 합의를 보았다.

The group came to consensus regarding the behaviors associated with high quality TBL facilitation.

도구 개발

Instrument design

모든 행동 항목은 "TBL 세션 동안 교수진 경험을 평가하기 위해 이 양식을 사용하십시오"라는 지침과 함께 전혀그렇지 않음의 1점부터 완전히 그렇다의 7점까지 7점 만점으로 평가되었다.

All behavioral items were rated on a 7-point scale from not at all ¼ 1 to completely ¼ 7 with instructions to “Please use this form to rate your experiences with faculty during your TBL session.

응답 프로세스

Response process

예비 학생들이 항목과 대응 앵커를 의도한 대로 해석할 수 있도록 하기 위해(a: 대응 프로세스 또는 유효성의 실질적인 측면) TBL에는 익숙하지만 이 평가도구 개발에 참여하지 않은 4년차 의대생 6명을 포커스 그룹에 채용했다.

To ensure that prospective students would interpret the items and response anchors as intended (aka: validresponse process or substantive aspect of ity),15,20,23 six 4th-year medical students who were familiar with TBL but were not part of the instrument’s development were recruited for a focus group.

학생들은 도구의 사본을 받아 완성하도록 한 다음, 응답 규모와 함께 각 항목을 채울 때 어떤 생각을 하고 있는지 설명해 달라는 요청을 받았다. 그들은 또한 혼란스러운 워딩도 함께 설명해 달라는 요청을 받았다. 그들의 피드백을 바탕으로, 응답 오류의 가능성을 줄이기 위해 단어 명료성을 위해 7개의 항목을 수정했다. 응답 앵커에 대한 변경은 없었다.

The students were given a copy of the instrument, asked to complete it, and then asked to describe what they were thinking about as they filled out each item along with the response scale. They were also asked to describe any confusing wording. Based on their feedback, seven items were modified for word clarity to decrease the likelihood of response error. No changes were made to the response anchors.

파일럿 테스트

Pilot test

장소와 참가자

Sites and participants

내적구조타당도

Internal structure validity

FIT의 척도 특성을 결정하기 위해 내부 구조를 분석했다.

To determine the scale properties of the FIT, we analyzed the internal structure.

맥락 민감성

Context sensitivity

파일럿에서, 우리는 FIT 복합 점수와 TBL, 나이 및 성별을 촉진하는 데 있어 자신감과 즐거움, 년수와 연간 대략적인 시간을 포함하여 촉진자의 다양한 자체 보고 특성과 상관관계를 맺었다.

In our pilot, we correlated FIT composite scores with a variety of self-reported characteristics of facilitators including number of years and approximate hours per year facilitating TBL, confidence and enjoyment in facilitating TBL, age, and gender.

결과

Results

참가자

Participants

학교 및 코스의 특성은 표 1에 기술되어 있다.

Characteristics of the schools and courses are described in Table 1.

물론, 1학년과 2학년은 과목당 90명에서 200명까지, 3학년 임상 과정(모든 정신의학 임상실습)은 규모가 6년에서 32명에 이르는 소규모였다.

Of note, the year 1 and 2 pre-clinical courses were predominately large in size, ranging from 90 to 200 students per course, and the year 3 clinical courses (all psychiatry clerkships) were small, ranging in size from 6to 32. 

(조달자의 기술 통계 자료는 표 2 참조).

(see Table 2 fordescriptive statistics of the facilitators).

내적구조타당도

Internal structure validity

탐색적 요인 분석에 근거하여 척도에 부정적으로 적재된 항목을 하나 제거하여 13개 항목을 도출하였다.

Based on exploratory factor analysis, we eliminated one item that negatively loaded on the scale, resulting in 13 items.

모든 항목이 상관성이 높았기 때문에, 가장 낮은 항목 총 상관성과 가장 낮은 항목 총 상관성을 나타내는 두 항목을 제거하여, 두 개의 추가 항목이 삭제되었다.

because all items were highly correlated, we eliminated two items that showed the lowest loadings as well as the lowest item-total correlations, resulting in the deletion of two additional items. 

FIT 항목의 최종 사본과 각 항목의 설명통계 및 항목 간 상관관계는 표 3에서 볼 수 있다. 

A final copy of the FIT items along with descriptive statistics for each item and inter-item correlations canbe seen in Table 3. 

맥락 민감성

Context sensitivity

FIT 평균 종합 점수는 6.19(SD1⁄41.10)이었다.

The FIT mean composite score was 6.19 (SD¼1.10).

표 4: 촉진자 특성 및 FIT 등급 분석

Table 4 for analysis of facilitator characteristics and FIT ratings

고찰

Discussion

TBL과 관련된 긍정적인 학습 성과는 TBL 문헌에 잘 나타나 있다. 여러 문헌에서 또한 TBL 촉진자들이 대규모 수업을 관리하고 소그룹을 촉진하기 위해 고급 교수 기술을 보유해야 한다고 강조한다.1–3,10,12,26 

The positive learning outcomes associated with TBL are well established in the TBL literature. This literature also emphasizes that TBL facilitators must possess advanced teaching skills to manage a large class and facilitate small groups.1–3,10,12,26 

교수진 승진, 급여, 수상 및 기타 고부담 결정에 대한 학습자 평가의 점점 더 큰 이해 관계 특성 때문에 TBL 촉진 기술의 유효한 척도가 필요하다.13 

The increasingly high stakes nature of learner evaluations for faculty promotion, salary, awards, and other high stakes decisions necessitates the need for a valid measure of TBL facilitation skills.13 

학급 크기가 중요한가? 일반 교육 문헌에 따르면 (일부 연구에서는 매우 거나 매우 큰 규모의 학급에서 평가가 상대적으로 높은 곡선 관계를 발견했지만) 일반적으로 학생 등급은 작은 규모의 학급에서 약간 더 높은 경향이 있다.27 TBL 문헌은 TBL 방법을 최대 400명의 학생으로 구성된 수업에서 사용할 수 있다고 한다.

Does class size matter? The general education literature suggests that student ratings of teachers tend to be slightly higher in small classes, although some studies have found the relation to be curvilinear with very small and very large classes rated highest.27 The TBL literature suggests that the TBL method can be used in classes of up to 400 students.

최근 Menenenga와 Ostebo가 TBL에 대한 학생 만족도를 조사한 결과, 가장 작은 규모(n1⁄434)가 중간 규모(n1⁄469)와 큰 규모(n1⁄420)에 비해 TBL에 대한 선호도가 가장 높고, TBL에 대한 평가가 가장 높은 것으로 나타났다.28 톰슨 외 연구진들은 학급 규모와 집단 규모가 [소규모일 경우 TBL의 성공적인 구현을 서포트하는 enabler이고] [대규모일 경우 TBL 구현에 어려움을 주는 inhibitor]라고 제안했다. 우리는 참여 유지, 팀원의 업무 수행 유지, 정교한 질문 기법 사용, 그리고 다른 촉진 행동들이 300명에 비해 30명의 학생들로 이루어지기 더 쉽다는 것을 강조한다.

A recent study by Mennenga and Ostebo regarding student satisfaction with TBL showed that the smallest class (n¼34) reported the highest level of satisfaction, had the highest preference for TBL and the most favorable assessment of TBL compared to the medium (n¼69) and large (n¼120) classes.28 Studies by Thompson et al.29–31 suggested that class size and group size was either an enabler, with small classes supporting successful implementation of TBL, or an inhibitor, with large classes making implementation challenging. We purport that maintaining engagement, keeping teams on task, using elaborative interrogation techniques, and other facilitation behaviors are easier to accomplish with 30 students compared to 300.

FIT를 사용한 TBL 촉진에 대한 평가를 고부담 결정에 사용할 경우 잠재적으로 중요한 맥락으로 클래스 크기를 고려해야 한다.

Any evaluation of TBL facilitation using the FIT should take into account class size as a potentially important context if using the instrument for any high stakes teaching decisions.

학생들은 임상실습 과정 동안 그들의 지원자들을 더 높게 평가하는가? 의과대학 전반에 걸쳐, 더 대규모로 이뤄지는 전임상 과정의 과정 내용은 소규모로 이뤄지는 임상 과정의 과정 내용과 다르며, 이 연구에 참여한 학교도 다르지 않았다. 일반 교육에 대한 포괄적인 리뷰에서, 벤튼과 캐신14는 학급 규모, 학문분야, 그리고 학생들의 동기 부여가 학습자의 등급과 관련이 있을 수 있다는 것을 발견했다. 이들은 상위 학년의 강좌가 하위 학년보다 약간 더 우수하고, 인문·예술 강좌가 수학과 과학 과목보다 높게 평가되었으며, 과목이나 내용에 대한 선행 관심도가 높은 강좌가 더 높은 평가를 받는 것으로 조사됐다. 따라서 학생들이 임상 과정 중 실제 촉진자 기술 수준 또는 어쩌면 학급 규모에 관계 없이 임상 과정 이전의 과정과 비교하여 TBL 촉진 기술을 더 높게 평가할 수 있다. 또한, 고부담의 표준화 시험(즉, USMLE Step 1)과 같은 임상 전 커리큘럼 동안 경쟁적으로 요구되는 상황에서, 학생들은 TBL과 같은 능동적인 학습 전략에 참여하기 위한 buy-in을 줄일 수 있다.

Do students rate their facilitators higher during the clerkship curriculum? Across medical schools, the course content of the larger preclinical courses is different than the course content of smaller clinical courses, and the schools involved in this study were no different. In a comprehensive review of general education, Benton and Cashin14 found that class size, academic discipline, and student motivation may be related to learner ratings. They found that higher-level courses were rated slightly better than lower-level courses, humanities and arts courses were rated higher than math and science courses, and courses in which students had prior interest in the course or material were rated higher. Therefore, it is possible that students may rate TBL facilitation skills higher during clinical courses compared to pre-clinical courses, regardless of true facilitator skill level or perhaps even class size. Moreover, with competing demands during the pre-clinical curriculum such as high stakes standardized exams (ie, USMLE Step 1), students may have less buy-in for participating in active learning strategies such as TBL.32,33

촉진자가 TBL을 얼마나 즐기는가가 중요한가? 일부 연구는 에너지/열정, 질서정연, 자존심과 같은 요소들이 교사들의 수업 관행에 긍정적인 영향을 미치는 것으로 보여졌기 때문에 교사들의 평가에 영향을 미칠 수 있다는 것을 보여주었다. 가르치는 것을 즐긴다는 것은 교육의 질에 영향을 미칠 수도 있고, 이 경우, 아마도 촉진성의 질에 영향을 미칠 수도 있다. 사실, 수학 수업에서 중학생들을 대상으로 한 이전의 연구에서, 교사들의 가르치는 것에 대한 즐거움에 대한 보고는 교실 내의 감정 전달이라고 불리는 학생들의 즐거움과 긍정적으로 연관되어 있는 것으로 나타났다.35  아마도 그것은 의과대학에서, 특히 TBL의 편의를 위해 다르지 않을 것이다. 향후 연구에서 촉진자 즐거움이 인지된 촉진자 품질에 영향을 미칠 수 있다고 밝혀진다면, 우리는 이것이 추가 조사를 위한 중요한 영역이라고 주장한다.

Does facilitator enjoyment of TBL matter? Some studies have indicated that factors such as energy/ enthusiasm, orderliness, and self-esteem may influence teacher ratings since these have been shown to positively impact teaching practices. Enjoyment of teaching can impact the quality of teaching, or for this case, perhaps the quality of facilitation.14,34 In fact, in a previous study with middle school students in math classes, teacher reports of their enjoyment of teaching were shown to be positively related to student enjoyment, referred to as emotional transmission within the classroom.35 Perhaps it is no different in medical school, specifically for TBL facilitation. If future studies indicate that facilitator enjoyment of the method can impact the perceived quality of facilitation, we purport that this is an important area for further investigation.

성별이 TBL 촉진 퀄리티와 관련된 요소인가? 교육 문헌의 검토는 교사의 평가에 성별이 미치는 영향이 뒤섞여 있음을 시사하며, 27 어떤 연구는 여성 강사에 비해 남자 강사에 대한 높은 평가 점수를 보고하고, 다른 연구는 그 반대의 모습을 보이며, 그리고 다른 연구는 여전히 교사 등급에 대한 학생 평가에서 성별 차이가 없음을 보여준다.14,36–더 자세히 설명하면, 여성 강사들이 배려하고, 접근 가능하고, 좋은 관계형 환경을 조성하는 것으로 묘사될 가능성이 더 높은 반면, 남자 강사들은 과정 계획, 능력, 지식 및 조직력에 대해 높은 평가를 받을 가능성이 더 높은 것으로 나타났다.36

Is gender a factor related to quality of TBL facilitation? A review of the education literature suggests the impact of gender on teacher evaluations is mixed,27 with some studies reporting higher evaluation scores for male instructors compared to female instructors, others showing the reverse, and still other studies no gender differences in student evaluation of teacher ratings.14,36–41 Examining this literature in greater detail indicated that female instructors were more likely to be described as caring, approachable, and fostering a good relational climate whereas, male instructors were more likely to receive high ratings for course planning, competence, knowledge, and organizational skills.36

한계

Limitations

타당성 추가 증거를 확립하기 위해, FIT는 더 많은 촉진자를 가진 다른 모집단에서 평가되어야 하며, 클래스 크기, 성별, 과정 유형, TBL 세션 길이, 방법론의 촉진자 즐거움 및 잠재적으로 추가 변수를 탐구해야 한다.

To establish additional evidence of validity, the FIT needs to be assessed in different populations with more facilitators, exploring class size, gender, course type, TBL session length, facilitator enjoyment of the methodology, and potentially additional variables.

Conclusions

1. 학습자의 반응에 적극적으로 귀를 기울였다. 

1. Actively listened to the responses of the learners. 

2. 처음에 혼란스러웠던 개념을 명확히 한다.

2. Clarified concepts when they were initially confusing. 

3. 대안적 답변에 대한 논의를 유도elicit한다. 

3. Elicited discussion of alternative answers. 

4. 질문에 대해 생각을 유도하는 질문으로 응답했다. 

4. Responded to questions with thought guiding questions. 

5. 학습자에게 증거를 가지고 의견을 지지하도록 촉구한다. 

5. Prompted learners to support opinions with evidence. 

6. 비생산적인 논의를 리디렉션한다. 

6. Redirected nonproductive discussions. 

7. 핵심 원칙을 명확히 하는 방식으로 팀 토론을 마무리했다.

7. Concluded team discussions in a way that made the key principles clear.

8. 논의된 사안의 중요성을 이해하는데 도움을 주었다.

8. Helped me understand the significance of the issues that were discussed.

9. 세션의 가장 중요한 점을 강조하였다. 

9. Highlighted the most important points of the session. 

10. 토론하는 동안 모든 팀을 참여시키려고 노력했다. 

10. Tried to engage all teams during discussions. 

11. 질문을 사용하여 내 생각을 더 심화시켜주었다. 

11. Used questions to deepen my thinking. 

12. TBL 세션 중 개인을 존중한다 *

12. Respected individuals during the TBL session *

13. 효율적인 수업시간 관리 *

13. Managed class time efficiently *

14. 말이 너무 많았다 *

14. Talked too much *

* 최종기기에서 삭제된 항목

* Item deleted in final instrument

---

Teach Learn Med. 2019 Aug 7:1-9. doi: 10.1080/10401334.2019.1646653. [Epub ahead of print]

The Facilitator Instrument for Team-Based Learning (FIT).

Levine RE1, Hsieh P2, Kelly PA3, Carchedi L4, Gibson J5, Haidet P6, Koles P7, Pershern L8, Schatte D9, Talley B10, Wolf D1, Thompson B6.

Author information

1

a Department of Psychiatry and Behavioral Sciences, The University of Texas Medical Branch , Galveston , Texas , USA.

2

b Office of Educational Programs, McGovern Medical School , Houston , Texas , USA.

3

c Department of Medicine, Tulane University School of Medicine , New Orleans , Louisiana , USA.

4

d Department of Psychiatry, University of Texas Southwestern at Austin , Austin , Texas , USA.

5

e Office of Medical Education, Tulane University School of Medicine , New Orleans , Louisiana , USA.

6

f Woodward Center for Excellence in Health Science Education, Penn State College of Medicine , Hershey , Pennsylvania , USA.

7

g Department of Pathology, Wright State University Boonshoft School of Medicine , Dayton , Ohio , USA.

8

h Department of Psychiatry, University of Texas Southwestern School of Medicine , Dallas , Texas , USA.

9

i Department of Psychiatry and Behavioral Sciences, McGovern Medical School , Houston , Texas , USA.

10

j Department of Psychiatry, University of Texas Health Science Center at San Antonio , San Antonio , Texas , USA.

Abstract

Construct: We sought to evaluate the quality of Team-Based Learning facilitation in both large and small group settings. Background: Team Based Learning (TBL) is an increasingly popular small group instructional strategy in health science education. TBL facilitation skills are unique and differ from those needed to lecture or facilitate other types of small groups. Measuring facilitation skills and providing feedback to TBL instructors is important, yet to date no valid instrument has been developed and published for this purpose. Approach: We created an 11-item instrument (ratings of each item on a 7-point scale) designed to assess TBL facilitation skills, considering major sources of validity. Twelve experts in TBL facilitation and training developed the content of the FIT. To ensure response processes were valid, we used an immediate retrospective probing technique with 4th year medical students who were not part of the study. The Facilitator Instrument for Team-Based Learning (FIT) was piloted with 2,840 medical students in 7 schools in large (year 1 and 2) and small (year 3) courses. The internal structure of the FIT was analyzed. Results: In total, 1,559 and 1,281 medical students in large and small TBL classes, respectively (response rate 88%) rated 33 TBL facilitators. The composite mean score for the FIT was 6.19 (SD = 1.10). Exploratory factor analysis and Cronbach's alpha indicated that all items loaded on 1 factor, accounting for 77% of the item variance. Cronbach's alpha for the 11 items was 0.97. Analysis of facilitator variables and course context indicated that FIT scores were statistically significantly correlated with type of class (pre-clinical or clinical) and size of class as well as the facilitator enjoyment in using TBL as a method. Gender and the amount that facilitators used TBL each year was weakly correlated, with other factors not correlated (years facilitating TBL, confidence in facilitating TBL, and age). Conclusions: Analysis of FIT scores from 2,840 medical students across multiple institutions and teaching settings suggests the utility of the FIT in determining the quality of TBL facilitation across a range of medical education settings. Future research is needed to further analyze course contexts and facilitator variables that may influence FIT scores with additional facilitators. Additionally, FIT scores should be correlated with additional measures of TBL facilitator quality, such as direct observations, especially if these data are used for summative decision-making purposes.

KEYWORDS:

TBL; Team-based learning; assessment; faculty development

PMID:

 

31389259

 

DOI:

 

10.1080/10401334.2019.1646653