의학/보건의료인 교육에서 TBL 활동 보고 가이드라인(Acad Med, 2012)

Perspective: Guidelines for Reporting Team-Based Learning Activities in the Medical and Health Sciences Education Literature

Paul Haidet, MD, MPH, Ruth E. Levine, MD, Dean X. Parmelee, MD, Sheila Crow, PhD,

Frances Kennedy, PhD, P. Adam Kelly, PhD, MBA, Linda Perkowski, PhD,

Larry Michaelsen, PhD, and Boyd F. Richards, PhD

TBL은 1970년대 후반에 급속히 증가하는 학생수로 인해, 교실당 100명 이상의 학생들이 입학하게 되는 비즈니스 교육에서 문제 해결과 개념 응용 프로그램에 초점을 맞추는 수단으로 개발되었다.

TBL was developed in the late 1970s as a means of maintaining a focus on problemsolving and concept applications in business education, where rapidly rising enrollments resulted in more than 100 students per classroom.

1999년 이후 TBL은 "건강과 질병의 문제를 해결하기 위해 원칙과 기술을 현명하게 사용할 수 있는 [학습자의] 능력을 개발"하는 교육 전략을 요구하는 LCME의 입장에 부합하였기 때문에 보건의료계의 관심을 끌었다. 또한 리더십, 커뮤니케이션 및 팀워크 기술을 배양해야 한다는 요구에도 부합했다.2 또한, 교육과정 리더들은 TBL이 다른 소규모 그룹 교육 방법보다 더 적은 수의 교수진을 필요로 하기 한다는 점에서, 교수진의 시간이 지속적으로 감소하는 것을 고려할 때, TBL이 매력적이라고 생각한다.3

Since 1999, TBL has attracted interest in the health sciences because it is consistent with Liaison Committee on Medical Education accreditation standards that call for teaching strategies that “develop [learners’] ability to use principles and skills wisely in solving problems of health and disease”1 and because it helps address a growing need to cultivate learners’ leadership, communication, and teamwork skills.2 In addition, given ongoing erosion of faculty time for teaching, curriculum leaders find TBL attractive because it requires fewer faculty than other small-group instructional methods.3

점점 더 많은 수의 의과대학들이 TBL을 임상 전 및 임상 교육과정에 어떤 식으로든 채택하고 있다.5,6 2011년 11월 현재 MedEdPORTAL 온라인 커리큘럼 리소스는 다양한 기본 및 임상 과학에 걸친 40개 이상의 TBL 모듈과 자료가 올라와있다.

A growing number of medical schools are adopting TBL in some fashion in their preclinical and clinical curricula.5,6 As of November 2011, the MedEdPORTAL online curriculum resource offered more than 40 peer- reviewed TBL modules and materials spanning a variety of basic and clinical sciences.7

TBL은 다양한 조합과 순서가 있으며, 구현가능한 범위도 단일 세션부터 전체 과정까지 다양하다.38 이러한 가변성 때문에 TBL에 대한 발표된 논문을 이해, 비평, 복제 또는 비교하기가 어려울 수 있다.

TBL occurs in a variety of combinations and permutations; possible implementations range from single sessions3,37 to entire courses.38 Because of this variability, it may be difficult to understand, critique, replicate, or compare published reports about TBL

TBL의 구조

The Structure of TBL

TBL은 [실세계 시나리오에 담긴 내용의 유의미한 적용]을 강조하면서, 기초적 사실 습득 이상을 추구하고 있다. 여기에는 일반적으로 [복잡한 추론, 토론 및 "건설적 논쟁"]을 촉진하기 위해 특별히 준비된 문제에 대한 그룹 내 및 그룹 간 논의가 포함된다.

TBL moves beyond basic acquisition of facts to emphasize meaningful application of session or course content in real-world scenarios. This typically involves intra- and intergroup discussions of problems that are specifically prepared to foster complex reasoning, debate, and “constructive controversy.”48

권고안 개발

Developing the Recommendations

All nine authors reviewed the final list of 58 articles to evaluate whether the new articles raised issues that would necessitate a change in the guidelines. (For the final list of articles, see Supplemental Digital Appendix 1, http://links.lww.com/ACADMED/A72.)

TBL 보고 가이드라인

Guidelines for Reporting TBL Implementations in the Medical and Health Sciences Education Literature

우리는 

• (1) TBL 구현의 일반적인 맥락과 범위를 기술하는 것

• (2) 7가지 핵심 TBL 요소와 관련된 설계 결정을 기술하는 것

...의 두 개의 전체 섹션으로 지침을 정리했다. 우리는 저자들이 TBL 구현 결과를 보고하는 논문의 "방법" 또는 "교육과정 개발" 섹션에 이 지침을 사용할 수 있을 것으로 예상한다.

We have organized guidelines into two overall sections related to describing 

• (1) the general context and scope of the TBL implementation and 

• (2) the design decisions related to the seven core TBL elements. 

We anticipate that authors could use these guidelines to shape “method” or “curriculum development”50 sections of articles reporting results of TBL implementations.

TBL의 7가지 핵심 요소별 설계 결정 설명

Describe the design decisions specific to the seven core elements of TBL

TBL 구현의 맥락과 범위에 대한 설명에는 다음 항목에 대한 정보가 포함되어야 한다.

Descriptions of a TBL implementation’s context and scope should contain information about the following items:

•   팀당 전체 클래스 크기 및 학습자 수

•   관련 교직원의 수 및 전공(예: TBL에 대한 이전 경험)

•   과목(TBL을 사용한 전체 과정 또는 세션 중 하나)

•   구현 상황(예: 단일 세션, 과정 내 일련의 세션, 전체 과정)

•   구현 전 TBL에 대한 학습자의 친숙성 추정

•   Overall class size and number of learners per team

•   Number and background (e.g., prior experience with TBL) of faculty involved

•   Subject (either of the overall course or of the sessions that used TBL)

•   Context of the implementation (e.g., single session, series of sessions in a course, entire course)

•   Estimate of learners’ familiarity with TBL prior to the implementation

표 1은 7가지 핵심 요소에 대한 개요를 보여준다.

Table 1 presents an overview of the seven core elements,

7가지 핵심 요소에 대한 설명은 구현과 관련된 설계 결정의 내용, 시기, 시기, 방법 및 이유에 초점을 맞출 때 가장 유익할 것이다.

Descriptions of the seven core elements will be most informative when they focus on the what, when, who, how, and why of the design decisions related to the implementation.

팀 구성

Team formation.

TBL에서는 팀 간에 자원이 균등하게 배분되어야 한다. 학습자가 자신의 팀을 구성하도록 허용된 경우, 그러한 동등한 분포는 일반적으로 발생하지 않는다.

The TBL method calls for resources to be distributed equally across teams. Such equal distribution does not typically occur when learners are allowed to formtheir own teams,

프로세스

Processes

•   팀이 자체 구성 또는 강사에 의해 구성되었는지 여부

•   학습자에게 분류 프로세스가 투명했는지 여부

•   Whether teams were self-formed or formed by the instructor

•   Whether the sorting process was transparent to learners

요인

Factors

•   코스 또는 세션 내용에 대한 사전 지식 및 학습자의 배경

•   학습자의 전반적인 경험 수준(예: 3학년 의대생, 거주자)

•   팀 구성 프로세스에 사용된 이러한 요인 또는 기타 요인에 대한 논리적 근거

•   선택된 요소들이 팀 간에 균등하게 분포되었는지에 대한 추정치

•   Learners’ background with and prior knowledge of course or session content

•   Learners’ overall experience level (e.g., third-year medical students, residents)

•   Rationales for these or other factors used in the team formation process

•   Estimate of the success with which the selected factors were equally distributed among teams

준비도 확인

Readiness assurance.

RA 프로세스와 자료에 대한 적절한 설명은 학습자의 습득, 보존 및 지식 전달에서 관찰된 변화를 평가하는 데 도움이 될 것이다.

Adequate description of RA processes and materials will therefore help the reader evaluate observed changes in learners’ acquisition, retention, and transfer of knowledge.

구조

Structure

•   사용된 일반 RA 프로세스에 대한 설명

•   개별 학습자 및/또는 팀의 참여(예: 개별 RA 테스트 [RAT], 그룹 RAT)

•   RA 프로세스 중에 책, 노트 또는 기타 자료의 사용 허용 여부 및 방법

•   팀이 등급 결정에 이의를 제기할 수 있는지 여부 및 이를 위한 프로세스

•   Description of the general RA process employed

•   Involvement of individual learners and/ or teams (e.g., individual RA tests [RATs], group RATs)

•   Whether and how use of books, notes, or other materials was permitted during the RA process

•   Whether teams could appeal grading decisions, and the process for doing so

내용

Content

•   RA 프로세스 중에 포함되는 콘텐츠의 양과 수준

•   가능한 경우, 콘텐츠의 예

•   The amount and level of content covered during the RA process

•   Examples of content, where possible

즉각적 피드백

Immediate feedback.

RAT와 일반적인 퀴즈 간의 주요 차이점 중 하나는 성과에 대한 즉각적인 피드백이 개인과 팀 모두에게 제공되도록 하는 프로세스가 존재한다는 것이다.

One of the main differences between RATs and typical quizzes is the presence of a process to ensure that immediate feedback about performance is provided both to individuals and to teams.

따라서 즉각적인 피드백에 대한 다음 세부 사항은 중요하다.

The following details about immediate feedback are therefore important

•   즉각적인 피드백이 제공되었는지 여부
•   즉각적인 피드백을 제공하는 RA 프로세스(즉, 개별, 그룹)의 부분
•   즉각적인 피드백을 제공하기 위해 사용되는 절차

•   Whether immediate feedback was provided

•   The portions of the RA process (i.e., individual, group) for which immediate feedback was given

•   The procedures used to provide immediate feedback

수업 내 문제해결의 순서 

Sequencing of in-class problem solving.

문제 해결 또는 "응용 프로그램" 활동은 TBL 방법의 핵심이다. 응용 프로그램 활동의 순서는 과정 콘텐츠와 동급생 모두의 학습자 참여에 영향을 미칠 수 있기 때문에 중요하다.

Problem-solving, or “application,” activities represent the heart of the TBL method. The sequencing of application activities is important because it can affect learner engagement with both course content and their peers.

•   팀 내 / 팀 간 토론의 존재여부와 순서

•   각 유형의 토론에 할애된 시간의 상대적 비율

•   수행된 application activities의 활동 수

•   The presence and sequence of intrateam and interteam discussions

•   The relative proportion of time devoted to each type of discussion

•   The number of application activities performed

네 가지 S

The four Ss.

4개의 S는 팀 내 토론과 팀간 토론 모두에서 개념적 깊이를 창출하는 핵심이며, 따라서 학생의 이해, 지식 유지 및 참여와 매우 관련이 있다.

The four Ss are at the heart of creating conceptual depth in both intrateam and interteam discussions and are therefore critically related to student understanding, knowledge retention, and engagement.

•   4개의 S를 구현한 방법

•   학습자가 application activities를 수행하는 장소

•   팀별 솔루션이 전체 클래스에 보고된 방법

•   응용 프로그램 태스크의 컨텐츠 세부 정보(가능한 경우 대표 응용 프로그램 태스크 사용 가능)

•   How the four Ss were implemented

•   The location(s) where learners worked on application activities

•   How team solutions were reported to the entire class

•   Details of the application tasks’ content (where possible, make representative application tasks available)

현실에서의 가이드라인 적용

The Guidelines in Practice

예를 들어, 우리는 제안된 지침을 사용하여 TBL에 대한 3개의 초기 보고서, 338,51과 1개의 최근 보고서52를 비평했다. 우리의 비평 결과는 표 2에 나타나 있다.

As an example, we used our proposed guidelines to critique three early reports3,38,51 and one recent report52 about TBL. The results of our critique appear in Table 2.

2011년 문헌 검토에서, 우리는 팀 구성 프로세스에 관한 더 자세한 내용을 포함하고 동료 검토 프로세스를 포함하거나 포기하기로 결정한 뒤의 근거를 제공함으로써 많은 기사들이 개선될 수 있다는 점에 주목했다.

In our 2011 review of the literature, we noticed that many articles could be improved by including more detail regarding the teamformation process and by providing the rationale behind decisions to include or forgo a peer- review process.

결론

Conclusion

다른 대학원과 전문학교와 비교했을 때, 의료 및 보건과학 교육은 많은 차원에 따라 높은 수준의 가변성을 가진다. 이러한 차원의 예로는...

• 과정과 관련된 교수의 수와 전공

• 코스의 길이 

• 코스의 성적이 매겨지는지 여부

• 다양한 수준의 학습자 또는 코스 내용과 관련된 전문 지식이 있는지 여부 

• 학습자가 코스 제공과 동시에 여러 개의 경쟁적 책임을 갖는지 여부(예: 거주 의사의 환자 관리 책임)

Compared with other graduate and professional schools, medical and health sciences education settings have a high level of variability along a number of dimensions. Examples of these dimensions include 

• the number and background of faculty involved in a course, 

• the length of a course, 

• whether the course is graded, 

• whether there are multiple levels of learners or of expertise relative to the course content, and 

• whether learners have multiple competing responsibilities at the same time that the course is delivered (e.g., resident physicians’ patient care responsibilities). 

또한, 의료 및 보건 과학 교육자들은 리더십, 커뮤니케이션, 팀워크와 같은 기본적인 사실적 지식을 뛰어넘는 과정 콘텐츠에 점점 더 많이 통합되고 있다. 이 환경은 전통적으로 비건강 환경에서 사용되었던 교육 방법을 조정하여 혁신의 기회를 제공한다. 그러나 TBL과 같은 새로운 방법의 적응은 구현마다 다를 수 있으므로 특정 교수법의 효과와 결과에 대한 일반적인 결론을 도출하는 것이 어렵다.

In addition, medical and health sciences educators are increasingly incorporating into courses content that goes beyond basic factual knowledge, such as leadership, communication, and teamwork. This environment provides opportunities to innovate by adapting methods of instruction that traditionally have been used in nonhealth settings. However, adaptations of novel methods, such as TBL, may differ across implementations, making it difficult to draw general conclusions about the effect and outcomes of a particular teaching method.

예를 들어, 문제 기반 학습(PBL)의 경우, 불완전한 implementation과 교수들이 "PBL"이라는 용어를 해석하는 방식의 가변성으로 인하여 의학교육 문헌에서 모호성이 생겼으며, 이는 궁극적으로 성공적인 능동 학습 방식으로 판명된 것의 배포를 지연시켰을 수 있다.53

For example, in the case of problem-based learning (PBL), incomplete descriptions of implementations and variability in the way that faculty interpreted the term “PBL” created a degree of ambiguity in the medical education literature that may have slowed the dissemination of what ultimately proved to be a successful active-learning mode of instruction.53

17 Zgheib NK, Simaan JA, Sabra R. Using team- based learning to teach pharmacology to second year medical students improves student performance. Med Teach. 2010;32: 130–135.

Acad Med. 2012 Mar;87(3):292-9. doi: 10.1097/ACM.0b013e318244759e.

Perspective: Guidelines for reporting team-based learning activities in the medical and healthsciences education literature.

중국 의학교육에서 TBL의 효과성에 대한 메타분석 (BMC Med Educ, 2018)

Meta-analysis on the effectiveness of team-based learning on medical education in China

Minjian Chen1*, Chunhui Ni2, Yanhui Hu3, Meilin Wang1, Lu Liu4, Xiaoming Ji1, Haiyan Chu1, Wei Wu5, Chuncheng Lu1, Shouyu Wang1, Shoulin Wang1, Liping Zhao6, Zhong Li7, Huijuan Zhu4, Jianming Wang8, Yankai Xia5 and Xinru Wang5

배경

Background

방법

Methods

연구 설계

Study design

In this study, we planned and conducted meta-analysis following the guidelines of preferred reporting items for systematic review and meta-analysis protocols 2015 statement recommendations [14].

문헌 검색

Literature search

포함 기준

Inclusion criteria

자료 추출과 퀄리티 평가

Data extraction and quality assessment

통계적 풀링과 이질성 평가

Statistical pooling and evaluation of heterogeneity

출판편향 평가

Publication bias evaluation

결과

Results

연구 특징과 퀄리티 평가

Study characteristics and quality assessment

The inclusion process of all studies is shown in Fig. 1.

Table 2 shows the methodological quality of the 13 included studies.

자료 통합

Data synthesis

The effectiveness of TBL on medical education was assessed by pooling theoretical examination scores, and the results on the learning attitude and self-directed learning skill are shown in the present study (Fig. 2, Table 3).

We found that TBL significantly increased students’ examination scores when compared with LBL in random-effects model (SMD= 2.46, 95% CI: 1.53–3.40, I2 =98.0%, Pheterogeneity < 0.001) (Fig. 2,Table3).

이질성 평가

Test of heterogeneity

Total methodological quality는 이질성의 원인이 아니다.

We used meta-regression method to explore the sources of heterogeneity. Table 4 shows that the total methodological quality could not explain the source of heterogeneity (P = 0.975).

educational classification이 원인일 수 있다.

Meta-regression analysis further showed that education classification might be a contributing factor of heterogeneity in nonrandomized group (P=0.073) (Table 5).

undergraduate students에서 heterogeneity가 크게 감소한다.

Figure 3 shows that the heterogeneity was dramatically decreased in nonrandomized studies of undergraduate students (5-year program)

TBL은 유의한 시험성적 향상을 가져온다.

we found TBL significantly increased examination scores in random-effects model (Fig. 3) (Table 5).

여학생만으로 구성된 medical college에서 heterogeneity는 없다.

There was no heterogeneity in the pooled analysis of the medical college students of only females (I2 = 9.4%, P heterogeneity = 0.332, Fig. 4, Table 5),

민감도 분석

Sensitivity analyses

When any research was removed from the model, the significant results of TBL effect on the students’ examination scores were unchanged in these models (SMD: 2. 26–2.67, 95% CI: 1.32–3.67, n = 13) (Fig. 5).

All the above results indicated that the findings were robust.

고찰

Discussion

보고서는 학생들이 TBL에 적극적으로 참여할 때 학습이 더 효과적이며, TBL은 미국에서 높은 학생 만족도를 야기한다고 밝히고 있다[33–35]. TBL은 능동적인 학습 교육학 접근법으로서, 교사와 교실의 부족 문제를 해결하기 위하여 학생-교사 비율이 허용된 중국 같은 의학교육에 적합하다[13].

Reports reveals that learning is more effective when students are actively involved in TBL, and TBL results in high student satisfaction in the USA [33–35]. TBL as an active learning pedagogical approach fits for the status of Chinese medical education, such as permission of a large student-teacher ratio to solve the problem of lack of teachers and classrooms [13].

우리는 TBL이 풀링된 분석에서 LBL 교육학에 비해 학생 이론 시험 점수, 학습 태도, 학습 능력을 향상시켰으며, 이론 시험 점수에 대한 TBL의 긍정적인 영향도 부분군 분석과 민감도 분석에서 검증되어 중국에서의 TBL 시행의 중요성을 나타냈다. 특히, TBL과 전통적인 LBL에 대한 이러한 연구 결과는 일본과 미국에서 수행된 연구[36–38]와도 비슷한데, 이는 본 연구에서 TBL의 긍정적 효과가 국가-특이적이진 않을 수 있음을 나타낸다.

We found that TBL improved student theoretical examination scores, learning attitude and learning skill compared to LBL pedagogy in the pooled analysis, and the positive effect of TBL on theoretical examination scores was also verified in sub-grouping analysis and sensitivity analysis, indicating the importance of the implement of TBL in China. Notably, these findings about TBL and traditional LBL were also supported by studies conducted in Japan and the USA [36–38], indicating the positive effectiveness of TBL in the present study may be not country-specific.

• 중국에서는 undergraduate course(5년 과정)는 이론적이고 실용적인 가르침에 초점을 맞추고 있어서, 이 과정의 학생들은 종종 learning basis를 가지고 있다. 

• 반면 medical college(3년 과정)은 실용적 가르침에 초점을 맞춘다. 

따라서 학생들의 이론적 시험 점수는 교육 수준과 긍정적으로 관련되는 것으로 나타나(계수 = 2.69, 95% CI:0.16–5.21, P = 0.041(표 4-5), learning basis와 learning objective가 의료 교육에 영향을 미칠 수 있음을 나타낸다.

In China, undergraduate course (5-year program) focuses on theoretical and practical teaching, and its students often have better learning basis, while medical college course (3-year program) focuses on practical teaching. The students’ theoretical examination scores appeared positively related to education levels (meta-regression for all studies, Coefficient = 2.69, 95% CI:0.16– 5.21, P = 0.041) (Fig. 3) (Tables 4-5), indicating the learning basis and learning objective may impact the effect of TBL on medical education.

이질성이 낮은 학부생에 대한 비랜덤화 연구(I2 = 57.5%, Pheterynthia = 0.052), 풀링된 분석(그림 3)에서 TBL이 중국의 undergraduate students에 대한 의학교육에 긍정적인 영향을 미치는 증거를 제공하였다.

in the nonrandomized studies of undergraduate students with lower heterogeneity (I2 = 57.5%, Pheterogeneity = 0.052), significant effect was observed in the pooled analysis (Fig. 3), providing the evidence about the positive effect of TBL on medical education in undergraduate students in China.

한계와 미래 연구

Limitations and future studies

중국에서는 편의상 서로 다른 학년을 비교하는 방식으로 대부분의 교육 연구가 실시되었다. 그러나, 우리는 무작위화되지 않은 이 설계가 그 결과를 손상시킬 수 있다는 것을 주목해야 한다. 이 메타 분석에서, 무작위화가 연구 결과(계수 =-4.28, 95% CI:-7.61–0.95, P =0.021)를 변화시키는 것으로 나타났으며, 무작위화된 연구 설계를 사용하여 교육적 연구 품질을 개선하는 것의 중요성을 강조했다.

In China, most educational studies were conducted based on the comparison of different classes for convenience. However, we should notice that this nonrandomized design may compromise the findings. In this meta-analysis, we observed that the randomization appeared to change the study results (meta-regression for all studies, Coefficient =−4.28, 95% CI:-7.61–0.95, P =0.021), emphasizing the importance of improving the educational study quality by using randomized study design.

LBL은 여전히 중국에서 의학 교육을 이론적으로 가르치는 데 가장 많이 사용되는 교육학이다. 따라서 어떤 새로운 교육학적 접근법의 효과성을 LBL과 참고자료로 비교해야 하는데, 이는 매우 실질적인 의미를 갖는다.

LBL is still the most commonly used pedagogy in theoretical teaching of medical education in China. Therefore, the effectiveness of any new pedagogical approach should be compared with LBL as a reference, which has a great practical significance.

이 연구는 학생 조사에 의한 학습 태도 및 숙련도 측정의 객관성뿐만 아니라 높은 인지 수준을 측정하기 보다는 암기를 테스트할 수 있는 연구들에서 이론적 시험에 여전히 제한되어 있었다.

the study was still limited in theoretical examination in those studies which might test memorization rather than measuring higher cognitive levels as well as the objectivity of measures of learning attitude and skill by student survey.

Conclusions

BMC Med Educ. 2018 Apr 10;18(1):77. doi: 10.1186/s12909-018-1179-1.

Meta-analysis on the effectiveness of team-based learning on medical education in China.

보건의료인 교육에서 TBL이 학습성과에 미치는 영향: BEME Guide No. 30 (Med Teach, 2013)

The effectiveness of team-based learning on learning outcomes in health professions education: BEME Guide No. 30

MIM FATMI, LISA HARTLING, TRACEY HILLIER, SANDRA CAMPBELL & ANNA E. OSWALD

University of Alberta, Edmonton, Canada

도입

Introduction

보건전문직 학생이 증가함에 따라, (능동적인 학습이 향상된 지식 유지와 기술 적용을 초래한다는 믿음으로 인해) 능동적인 학습 전략에 대한 관심이 증가하고 있다(Forsetlund 등). 2009). 전통적인 강의 기반 학습이 학생들에게 정보를 상기시키는 것을 가르치는 데는 성공할 수 있지만, 보건의료인은 비판적으로 생각하고 새로운 상황에 그들의 지식을 적용할 수 있어야 한다(Parmlee & Michaelsen 2010).

With increasing enrolment in health professions programmes, there is a growing interest in active learning strategies due to the belief that active learning results in enhanced knowledge retention and skills application (Forsetlund et al. 2009). While traditional lecture-based learning can be successful in teaching students to recall information, health professions students must also be able to think critically and apply their knowledge in novel situations (Parmelee & Michaelsen 2010).

문제 기반 학습(PBL) 사례 기반 그룹 토론, 워크샵 및 청중 응답 시스템

Problem-based learning (PBL) case-based group discussion, workshops and audience response systems.

이러한 방법들이 학생들의 참여를 증가시키는데 효과적인 것으로 입증되었지만, 그들은 또한 극도로 자원 집약적일 수 있다.

While these methods have proven to be effective in increasing student engagement, they can also be extremely resource-intensive.

팀 기반 학습(TBL)은 능동적 학습과 교수진 교육 시간의 이슈의 균형을 맞추려고 시도한다(Searle et al. 2003).

Team-based learning (TBL) attempts to balance the issues of active learning and faculty teaching time (Searle et al. 2003).

TBL은 래리 마이클슨 박사에 의해 1970년대 비즈니스 커리큘럼에서 개발되었다.

TBL was developed by Dr. Larry Michaelsen in a business curriculum in the 1970s.

Michaelsen은 TBL의 과정을 세 가지 주요 단계로 세분화하여, 

• (1) 학생에 의한 사전 준비, 

• (2) 개인 및 그룹 준비도 확인, 

• (3) 전체 학급과의 토론 및 분석을 포함한 적용(Koles et al. 2010). 

또한

• 같은 팀의 유지, 

• 즉각적인 피드백 

• 의미 있는 동료 평가 프로세스

...역시 TBL에서 학습자 중심의 교육 전략의 토대가 된다(Michaelsen & Parmelee, 개인 커뮤니케이션, 2011).

Michaelsen refined the process of TBL over the years to characterise it with three main phases: (1) advanced preparation by the students, (2) individual and group readiness assurance and (3) application, including discussion and the The analysis with entire class (Koles et al. 2010). permanence of teams, immediate feedback and a meaningful peer evaluation process are additional cornerstones of this learner-centred educational strategy (Michaelsen & Parmelee, personal communication, 2011).

보건전문직교육에서 TBL의 첫 번째 구현은 2001년 베일러 의과대학에서 보고되었다(Haidet et al. 2002). 그 후 1년이 지나지 않아 미국의 10개 의료기관이 TBL을 시범 운영하였다(Searle et al. 2003).

The first reported implementation of TBL in health professions education was at the Baylor College of Medicine in 2001 (Haidet et al. 2002). Within one year, 10 medical institutions in the United States piloted TBL (Searle et al. 2003).

임상 교육의 몇 가지 구체적인 특징은 보건의료인 교육에만 있는 특징이다. 예를 들어, 보건의료인이 될 학생들은 intense WBL에 준비가 되어있어야 하며, 종종 high stake상황으로, 팀워크와 협력같은 다양한 영역의 역량을 필요로 한다(Amin & Eng 2009). 또한, 임상추론, 환자 기반 교육, 학생-교사-환자 간의 삼각 상호작용과 같은 요소는 다른 교육 분야와는 보건의료인 교육을 구별짓는 부분이다(Amin & Eng 2009).

Some of the specific features of clinical teaching are unique to health professions education. For example, health professions students require preparation for intense workplace-based learning which is often in a high stakes setting that requires attention to multiple domains of competency such as team work and collaboration (Amin & Eng 2009). In addition, elements like clinical reasoning, patient-based teaching and tripartite interaction between students, teachers and patients set health professions education apart from other educational disciplines (Amin & Eng 2009).

연구 문제

Research question

TBL이 건강 전문가 교육에서 학습 성과를 개선하는 데 효과적인가?’’

‘‘Is TBL effective in improving learning outcomes in health professions education?’’

방법

Methods

검색 전략

Search strategy

We identified relevant studies from the electronic databases listed in Table 1. T

The specific terms and search strategies can be found for health-related databases in Table 2 and general databases in Table 3.

스크리닝과 연구 선택

Screening and selection of studies

The titles and abstracts generated from the electronic database searches were collated in a RefWorks reference management database.

방법론적 퀄리티 평가

Assessment of methodological quality

The methodological quality of included studies was evaluated independently by two reviewers (TH and MF) using 

• the Cochrane Risk of Bias tool for controlled trials (Higgins & Green 2009) and 

• the Newcastle–Ottawa Scale (NOS) for cohort studies (Wells et al. 2000).

Data were extracted and entered into an electronic data extraction form.

분석

Analysis

Our inclusion criteria allowed for a mixture of qualitative and quantitative studies. The data were synthesized with guidance from methods described by Ogawa and Malen (1991) who have developed a method for synthesis based on the exploratory case study method. Thus, evidence was iteratively synthesised by grouping studies by various constructs including by the population involved and nature of the comparison group, and summarised according to the reported outcomes which were grouped by Kirkpatrick level. The results of this synthesis were then described, categorised and summarised in Table 5.

Evidence tables detailing study characteristics (including population, intervention, comparison, outcomes, design and any modifications to classic TBL) (Table 6), results and authors’ conclusions are provided (Table 7).

결과

Results

그림 1은 연구 선택 과정의 흐름도를 나타낸다. 30030개의 연구가 확인되었고, 14개가 포함되었다(표 6).

Figure 1 presents a flow diagram of the study selection process. Three hundred and thirty studies were identified, and 14 were included (Table 6)

포함 14개 연구 중 12개가 미국에서, 1개는 레바논에서, 1개는 오스트리아에서 각각 실시되었다(위너 외 연구). 2009). 의과 8명, 약국 3명(Letcy et al. 2008; Conway et al. 2010; Zgheib et al. 2010), 치과의학(Pilegi & O'Neill 2008) 및 간호학(Menga 2010)을 포함한 13개의 학부 교육이 관련되었다.

Of the 14 included studies, 12 took place in the United States, 1 in Lebanon (Zgheib et al. 2010) and 1 in Austria (Wiener et al. 2009). Thirteen of the studies concerned undergraduate education, including eight in medicine, three in pharmacy (Letassy et al. 2008; Conway et al. 2010; Zgheib et al. 2010), one in dentistry (Pileggi & O’Neill 2008) and one in nursing (Mennenga 2010).

그 어떤 연구도 skill 향상이나 환자를 위한 개선과 같은 상위 성과를 평가하지 않았다.

None of the studies evaluated Kirkpatrick outcomes such as skills or improvements for patients.

포함된 연구의 방법론적 품질 및 편중 위험

Methodological quality and risk of bias of included studies

품질평가는 다양한 방법론적 단점을 드러내며 이는 표 8과 9의 연구에 의해 보고된다.

Quality assessment reveals various methodological shortcomings and these are reported by study in Tables 8 and 9.

11개의 코호트 연구 중 8개의 경우, 연구대상이 실제로 평균적인 보건의료전문직 학생을 대표했으며, 노출된 코호트와 노출되지 않은 코호트는 모두 동일한 커뮤니티에서 도출했다(Nieder et al. 2005; Levine et al. 2004; Letshy et al. 2008; Pilegi & O'Neill 2008; Conway et al. 2010; Mennenga 2010; Zgheib et al. 2010; Zingone et al. 2010. 한 연구는 다섯 명의 학생이 낙제로 lost되었고, 따라서 남은 코호트는 [대체로는 보건의료전문직 학생군을 대표하지만] 진정으로 대표하지는 않는다고 보았다.

For 8 of the 11 cohort studies, the learners were truly representative of the average health-care professions student, and both exposed and non-exposed cohorts were drawn from the same community (Nieder et al. 2005; Levine et al. 2004; Letassy et al. 2008; Pileggi & O’Neill 2008; Conway et al. 2010; Mennenga 2010; Zgheib et al. 2010; Zingone et al. 2010). One study lost five failing students, leading the reviewers to deem the remaining cohort somewhat, but not truly, representative of the average health professions class.

대부분의 연구는 학습 적합도, 이력 등과 관련하여 노출된 코호트와 노출되지 않은 코호트 사이의 잠재적 교란 요인에 대한 통제를 시도하지 않았다.

The majority of studies did not attempt to control for potential confounders between the exposed and non-exposed cohorts with regard to learning aptitudes, histories, etc.;

모든 연구에서는 수집 및 평가할 성과가 명확했는데, 하나는 지식 점수였고, 다른 하나는 학습자 반응이었다.

All studies had a clear definition of the outcome being assessed and collected the outcome data via record linkage for knowledge scores and via student self-reporting for learner reaction.

포함된 연구의 특징

Characteristics of included studies

표 5는 포함된 모든 연구의 중재, 대조군, 측정 결과 및 주요 결과에 대한 요약을 제공한다.

Table 5 provides a summary of the interventions, comparators, outcomes measured and main findings of all included studies.

TBL 정의와 연구에서 구현된 모델 사이의 사소한 불일치는 표 6에 설명되어 있다.

minor discrepancies between our definition of TBL and the model implemented in the study are described in Table 6.

표 6과 7은 포함된 모든 연구의 결과를 설명한다.

Tables 6 and 7 describe the results of all included studies.

지식

Knowledge

모든 14개의 연구는 TBL 그룹의 지식 기반 학습 성과를 보건 교육 커리큘럼의 non-TBL 그룹과 비교하여 평가했다.

All 14 studies evaluated knowledge-based learning outcomes in a TBL group compared with a non-TBL group in a health education curriculum,

모든 연구는 지식 결과를 보고했으며, 이러한 결과는 TBL이 시행된 학기 또는 과정 내에서 측정되었다. 7개 연구에서는 TBL 그룹의 지식 점수가 non-TBL에 비해 통계적으로 유의미하게 증가했다고 보고하였다(p50.05)

All studies reported knowledge outcomes and these were measured within the semester or course in which TBL was implemented. Seven studies reported a statistically significant increase (p50.05) in knowledge scores for the TBL group compared with a nonTBL group.

4개의 연구는 TBL과 비TBL 그룹의 지식 점수 사이에 통계적으로 유의한 차이가 없다고 보고했다(p40.05).

Four studies reported no statistically significant difference between knowledge scores of the TBL and non-TBL group (p40.05).

비교군

Comparison group

비교대상군을 어떻게 선택하는지는 TBL에서 지식 점수가 높은지 여부에 영향을 미치지 않는 것으로 보였다. 8개의 연구는 TBL을 전통적인 교육 강의와 비교했으며, 이 중 3개는 TBL 그룹의 지식 점수의 상당한 향상을 보고했다(Nieder 등, 2005; Levine 등). 2004; Koles 등 2010).

The choice of comparator did not appear to influence whether knowledge scores favoured TBL or any one alternate teaching method. Eight studies compared TBL to traditional didactic lectures, three of which reported significant improvements in knowledge scores for the TBL group (Nieder et al. 2005; Levine et al. 2004; Koles et al. 2010).

학습자 반응

Learner reaction

최소 1152명의 참가자를 포함한 7개 연구(726명 중 TBL을 받은 사람)는 TBL과 비 TBL 그룹 사이의 제어된 학습자 반응 점수를 보고했다(한 연구에서는 제어 그룹 참여자 수를 보고하지 않았다). 단 하나의 코호트 연구(p50.05)만이 TBL 그룹을 유의하게 선호한다고 보고했다(Levine 등). 2004).

Seven studies, involving at least 1152 participants (726 of whom received TBL), reported controlled learner reaction scores between a TBL and non-TBL group (one study did not report the number of control group participants). Only one (p50.05) cohort study reported a significant difference favouring the TBL group (Levine et al. 2004).

반복적인 TBL 커리큘럼이 시행된 연구는 문헌 검색에서 발견되지 않았으며, 따라서 학생들이 TBL이라는 새로운 학습 전략에 익숙해지면 reaction 점수가 시간에 따라 향상될지 여부는 불확실하다.

Studies in which a recurrent TBL curriculum was implemented were not found in the literature search, and therefore the authors were not able to determine if learner reaction scores might improve over time as students become familiar with this new learning strategy.

고찰

Discussion

여기서 제시된 연구는 TBL 커뮤니티의 설립자 및 리더와 함께 검증한 TBL의 정의를 준수했다.

the studies presented here complied with a definition of TBL that was verified with founders and leaders of the TBL community.

결과는 지식 점수에 대한 긍정적 효과와 중립적 효과를 모두 보여주며, 반면 TBL에 대한 학습자 반응은 엇갈렸다. 이러한 발견들은 TBL의 효과를 시사하는 증거를 찾는 사람들에게 유익하다. TBL이 반드시 더 나은 것은 아니지만, 적어도 전통적인 방법들과 동등한 수준의 지식 목표를 달성한다고 볼 수 있다. 단, TBL을 시행하는 커리큘럼 계획자는 학습자의 잠재적인 부정적 반응을 완화하기 위해 예방 조치를 취할 것을 권고한다.

The results show both positive and neutral effects on knowledge scores, while learner reaction towards TBL was mixed. These findings are beneficial to those who seek evidence suggesting the effectiveness of TBL in achieving the same, if not better, knowledge objectives as more traditional methods. However, curriculum planners who do implement TBL are advised to take precautions to mitigate potentially negative learner reactions to this teaching strategy.

14개의 연구가 분석에 포함되었고, 이 연구의 절반(7개)은 TBL을 선호하는 지식 점수의 통계적으로 유의한 증가(p50.05)를 보고했다.

Fourteen studies were included in the analysis and half (7) of these studies reported a statistically significant increase (p50.05) in knowledge scores favouring TBL

연구 그룹 간 통계적으로 유의한 차이가 없다고 보고된 네 가지 연구(p40.05)는 견고했고 품질 평가에서 높은 점수를 받았다(표 8과 9 참조).

The four studies reporting no statistically significant difference between the study groups (p40.05) were robust and scored high on quality assessment (see Tables 8 and 9).

학습자 반응의 통제된 비교를 보고한 7개 연구 중 단 1개만이 TBL을 선호하는 학습자 반응에서 통계적으로 유의한 차이를 보고했다(Levine 등). 2004), 한 연구는 대조군을 선호했다(Willett et al. 2011).

Of seven studies reporting a controlled comparison of learner reaction, only one reported a statistically significant difference in learner reaction favouring TBL (Levine et al. 2004), while one study favoured the comparator (Willett et al. 2011).

[TBL에서 지식 점수가 유의하게 증가했다는 것]과 [통제된 학습자 만족도 데이터]를 둘 다 보고한 네 개 연구 중 단 한 연구에서만 학습자 반응의 유의한 향상을 보고했다(Levine et al. 2004). 이러한 상충되는 지식과 학습자 만족도 결과는 TBL과 관련된 학습부하 증가(예: 사전 읽기 및 준비 필요)와 TBL에서 요구되는 동료평가에 대한 전문적 문화와 책무성 때문일 수 있다. 우리에서 대학의 근골격계 의학에 관한 임상 전 의과 학생 강좌에서 TBL을 시행한 몇몇 저자들의 최근 경험도 이러한 가설과 비슷하다.

Of the four studies that reported both a significant increase in knowledge scores for TBL and also reported controlled learner satisfaction data, only one study reported a significant increase in learner reaction (Levine et al. 2004). We hypothesise that these conflicting knowledge and learner satisfaction results may be due to the strain of increased workload associated with TBL (e.g. required advanced readings and preparation) and a change in the professional culture towards peer assessment and accountability that TBL introduces. These hypotheses are supported by some of the authors’ (AO and TH) recent experiences of TBL implementation in a preclinical medical student course on musculoskeletal medicine at our home university.

Knowledge outcome에 대한 성과는 대조군의 유형에 관계없이 일관성이 있는 것으로 보였다. 대부분의 비교 집단은 전통적인 강의로 구성되었고, CBGD와 SGL도 TBL에 대한 일반적인 대안 교육 방법이었다.

The results for knowledge outcomes appeared to be consistent regardless of the type of comparator used in the included studies. The majority of comparison groups were comprised of traditional lectures, while CBGD and SGL were also common alternative teaching methods to TBL.

이 검토의 주요 제한사항은 포함된 연구의 방법론적 품질 때문이다. 포함된 연구의 대부분은 코호트 설계였고, 대다수는 non-concurrent한 설계였다. 또한, 이러한 편의 연구의 저자들은 종종 통계적 비교를 허용하기에 충분한 통계 정보나 충분한 데이터를 보고하지 않았다.

The major limitations of this review are due to the methodological quality of the included studies. Most of the included studies were cohort designs, and the majority of them were non-concurrent. Further, the authors of these convenience studies often did not report full statistical information or sufficient data to allow for statistical comparisons.

두 번째 잠재적 제한은 이 검토에 대한 포함 기준의 제약과 관련이 있다. 한 가지 제약조건은 이 검토를 위해 등록된 프로토콜에서 수용된 TBL의 검증된 정의를 완전히 준수하는 연구에 대한 포함을 제한하는 것이었다.

A second potential limitation relates to the constraints of the inclusion criteria for this review. One constraint was restricting inclusion to studies that fully complied with the validated definition of TBL that was accepted in the registered protocol for this review.

TBL에서 강조하고자 하는 학습 전략이 지식의 적용을 강조한다는 점에서, 상위 수준의 application outcome이 보고되지 않았다는 점은 다소 실망스럽다. 우리는 TBL에 대한 미래 연구는 지식 보유와 같은 학문적 성과를 넘어서, 비판적 사고 능력과 같은 비학문적 결과를 똑같이 검토할 것을 권고한다.

This is somewhat disappointing as this learning strategy is meant to emphasise the application of knowledge, and these higher level application outcomes were not reported in the included studies. We recommend that future studies on TBL look at academic outcomes beyond knowledge retention, such as critical thinking abilities, and non-academic outcomes alike as studies of these outcomes were not found through our searches.

TBL이 학생들이 기존의 교육 전략보다 높은 지식 점수를 획득할 수 있도록 한다는 증거의 증가 외에도, 이 검토에서 포착되지 않은 TBL에 대한 다른 잠재적 이득도 존재한다. 여기에는 다음이 있다.

• 학생들 간 그룹 활동에 대한 새로운 감사appreciation, 

• 학생들이 스스로 학습에 대한 통제를 해야 한다는 요구, 

• 다른 소규모 그룹 학습 방법에 비해 교수 시간의 현저한 감소 (Searle et al. 2003; Parmelee & Michaelsen 2010).

In addition to the growing body of evidence suggesting that TBL enables students to achieve knowledge scores as high as, or higher, than traditional teaching strategies, there also exist other potential benefits to TBL not captured in this review. These include 

• a renewed appreciation for group work amongst students, 

• a demand that students take control over their learning and 

• significant reduction in faculty time as compared to many small group learning methods (Searle et al. 2003; Parmelee & Michaelsen 2010).

결론

Conclusions

어떤 연구도 TBL 그룹의 점수의 감소를 보고하지 않았으며, 우리는 이것이 이전에 습득한 지식의 적용을 강조하는 능동적인 학습 전략을 찾고 있는 커리큘럼 계획자들과 소규모 그룹 학습 활동에 대한 교수진의 수가 제한된 사람들에게 안도감을 준다.

no studies reported a decrease in scores in the TBL-group and we feel this is reassuring to curriculum planners who are looking for active learning strategies that emphasise the application of previously acquired knowledge and to those who have limited numbers of faculty for small group learning activities.

TBL에 대한 학습자 반응은 일반적으로 학생들의 지식 점수가 높아졌을 때에도 대조군 그룹보다 높지 않았다. 즉, 성적이 향상되었음에도 불구하고 학생들은 대체 교육 방법보다 TBL을 선호하지 않았다. 이는 학생들의 업무량 및 책임감이 증가했기 때문일 수 있다.

Learner reaction to TBL generally was not higher than the comparator group, even when students’ knowledge scores increased; that is, despite improved performance, students did not prefer TBL to the alternate teaching method. This may be due to the increased student workload and accountability

연구 함의

Implications for Research

(1) TBL에 대한 향후 연구는 특히 비판적 사고 능력 및 지식의 적용과 같이, 지식 보유 이상의 학문적 성과에 초점을 맞출 것을 권고한다. 이러한 결과가 있는 연구는 우리의 검색을 통해 발견되지 않았으며, 이러한 교육 전략의 기초가 되는 원칙에 핵심적이기 때문이다.

(1) We recommend that future research on TBL specifically focus on academic outcomes beyond knowledge retention, such as critical thinking abilities and application of knowledge, as studies with these outcomes were not found through our searches and are core to the principles underlying this teaching strategy.

(2) 보통 반응과 학습은 다른 학습 전략에서 유의한 상관관계를 가진다. 그런데 TBL에서는 학습자 반응이 혼합되어 있고 일반적으로 지식 보유의 명백한 증가와 비교했을 때 학습자 반응이 긍정적이지 않은 이유를 보다 자세히 검토하기 위해 향후 연구를 권고한다.

(2) We recommend future research to examine in more detail why learner reaction is mixed and generally not positive compared to evident increases in knowledge retention, as these two outcomes often have significant correlation in other learning strategies.

(3) TBL에서 철저하고 서술적인 보고를 통해 보다 강력한 1차 연구를 실시할 필요가 있음을 알게 된다. 우리는 이것이 통계적 메타분석이나 완전한 질적 메타합성 작용을 이 분야에서 수행할 수 있기를 바란다.

(3) We find that there is a definite need for more robust primary research to be conducted in TBL with thorough and descriptive reporting. We hope this will allow for statistical meta-analyses or full qualitative metasynthesis to be performed in this field.

(4) 학문적 학습 성과 향상에 관한 TBL의 효과에 대한 예비 증거를 확립한 후, TBL의 특정 요소가 어떻게, 그리고 왜 특정 방법에서 효과적이었는지에 대한 구체적인 연관성을 도출하기 위한 연구를 권고한다.

(4) Having established some preliminary evidence for the effectiveness of TBL on improving academic learning outcomes, we recommend that future research work towards drawing specific associations on how and why particular elements of TBL are effective in the way they are.

Med Teach. 2013 Dec;35(12):e1608-24. doi: 10.3109/0142159X.2013.849802.

The effectiveness of team-based learning on learning outcomes in health professions education: BEME Guide No. 30.

기존의 확립된 가이드라인을 TBL 프로그램에 적용하기(Acad Med, 2014)

Applying Established Guidelines to Team-Based Learning Programs in Medical Schools: A Systematic Review

Annette W. Burgess, PhD, MBT, MEd, MMedEd, Deborah M. McGregor, MHSc(Ed), and

Craig M. Mellis, MD, MPH

Parmlee와 동료1은 팀 기반 학습(TBL)을 "[개별 학습, 팀 활동, 즉각적인 피드백]을 포함하는 일련의 활동을 통해 학생들에게 개념적 지식을 적용할 수 있는 기회를 제공하는 능동적 학습이자 소그룹 교육 전략"으로 정의했다.

Parmelee and colleagues1 defined team-based learning (TBL) as “an active learning and small group instructional strategy that provides students with opportunities to apply conceptual knowledge through a sequence of activities that includes individual work, team work, and immediate feedback.”

가장 순수한 형태의 TBL은 고도로 구조화되어있으며, 특정 단계를 구현해야 하고, 권장되는 핵심 설계 요소가 있다.

In its purest format, TBL is highly structured and requires the implementation of specific steps and recommended core design elements.1

TBL은 최근 몇 년 동안 의학 교육에서 인기를 얻었다.1 어떤 형태로든 TBL을 채택한 의과대학의 수가 증가하고 있다.2,3

TBL has gained popularity in medical education in recent years.1 A growing number of medical schools have adopted TBL in some format.2,3

하이데트와 동료4는 의학 및 보건과학 문헌에서 TBL이 보고되고 비평되는 방식을 표준화하기 위한 일련의 지침을 제안했다.

Haidet and colleagues4 proposed a set of guidelines for standardizing the way in which TBL is both reported and critiqued in the medical and health sciences literature.

이 지침에 따라, 연구자는 프로그램의 범위(클래스 크기, 주제 등)에 대해 개략적으로 설명하는 것 외에, "TBL 방법의 기반이 되는 7가지 핵심 설계 요소"에 대해서도 보고해야 한다.4

According to these guidelines, in addition to outlining the scope (class size, subject, etc.) of the program, researchers should also report on the “seven core design elements that underlie the TBL method.”4

이러한 요소는 팀 구성, 준비 상태 보증(RA), 즉각적인 피드백, 동급 문제 해결의 순서, 4개의 S(중대한 문제, 동일한 문제, 특정 선택 및 동시 보고), 인센티브 구조 및 안전 점검이다.

These elements are 

• team formation, 

• readiness assurance (RA), 

• immediate feedback, 

• sequencing of in-class problem solving, 

• the four S’s (significant problem, same problem, specific choice, and simultaneous reporting), 

• incentive structure, and 

• peer review.

방법

Method

우리의 문헌 검색은 학부 의료 프로그램에서 TBL에 관한 147개의 잠재적 문헌을 산출했다(우리의 완전한 검색 및 연구 선택 전략은 그림 1 참조).

Our literature search yielded 147 potential publications on TBL in undergraduate medical programs (see Figure 1 for our complete search and study selection strategy).

이 전체 텍스트 분석에서 TBL 프로그램의 구현 컨텍스트 및 범위와 관련된 데이터를 추출했다(부록 1 참조).

From this full-text analysis, we extracted data related to the implementation context and scope of the TBL program (see Appendix 1),

그런 다음 우리는 하이데트와 동료4가 개발한 지침을 사용하여 TBL에 대한 문헌을 비평했다.

We then used the guidelines developed by Haidet and colleagues4 in critiquing the body of evidence on TBL.

우리는 (1) 사전 준비, (2) RA, (3) 응용 연습의 3단계를 포함하는 고전적인 TBL 프로그램을 고려했다.2

We considered a classic TBL program one that included three phases: 

• (1) advanced preparation, 

• (2) RA, and 

• (3) application exercise.2

결과

Results

TBL 프로그램 맥락

Context of TBL programs

기초과학, 의학 윤리학, 신경학, 약학, 해부학, 증거 기반 의학, 보행 치료, 정신의학, 병리학, 생리학

basic sciences, medical ethics, neurology, pharmacology, anatomy, evidence-based medicine, ambulatory care, psychiatry, pathology, and physiology.

TBL 프로그램은 임상기간(6/20)보다 임상전기간(14/20)에 더 많이 적용되었다.

TBL programs were more commonly applied during the preclinical years (14/20) than the clinical years (6/20).

기간

Scope

대부분의 TBL 프로그램들은 1시간 반에서 2시간이었다.

the majority of TBL programs were one and a half to two hours long.

전체학생 및 팀 크기

Class and team size

학급 크기는 정신과 임상실습 학생 20명부터 기초 과학 임상 애플리케이션 과정 240명까지 다양했다.13 팀당 학생 수는 4명부터 최대 12명까지 다양했다.9

Class sizes ranged from 20 students in a psychiatry clerkship12 to 240 in a basic sciences clinical application course.13 The number of students per team ranged from as low as 4 members14 to up to 12 members.9

팀 구성

Team formation

무작위 또는 알파벳 순으로 할당하는 것은 팀 구성의 가장 일반적인 방법이었다.

Random or alphabetical allocations were the most commonly described methods of team formation.

니더와 동료들은 무작위 할당 전략을 적용하는 것 외에도, 니더와 동료들은 성별 혼합을 보장하기 위한 조치를 사용했다고 보고했고, 토머스와 보웬14는 성별 혼합과 경험적 혼합을 모두 보장하기 위한 조치를 사용했다고 보고했다.

In addition to applying a random allocation strategy, Nieder and colleagues17 reported using measures to ensure gender mix, whereas Thomas and Bowen14 reported using measures to ensure both gender and experience mix.

학생들이 자신의 그룹을 스스로 선택할 수 없도록 하라는 권고에도 불구하고, 한 연구에서는 이 방법을 사용하였다.

Despite recommendations to not allow students to self-select their groups,4 one article reported using this method.7

수업 내 문제해결의 순서

Sequencing of in-class problem solving

대다수의 기사들은 그룹 내 및 그룹간 논의의 순서를 명확히 논의했지만 문제의 길이나 수에 대한 자세한 내용은 제공하지 않았다.

The majority of articles clearly discussed the sequence of intra- and intergroup discussion but did not provide detail on the length or number of problems.

네 가지 S

The four S’s

• Significance 측면에서, 몇몇 저자들은 응용application 질문이 RA 프로세스에서 일반적으로 적용되는 필수 지식 회상 질문보다 높은 수준의 사고와 문제 해결 능력을 요구한다고 강조했다.15,16,21 종종 문제는 관련성을 높이기 위해 복잡한 real-world 문제나 흔한 임상 시나리오에 기초했다. 

• Same 측면에서, 한 경우를 제외하고, 9개 팀이 같은 문제를 연구했다. 

• Specific 측면에서, MCQ는 대체로 팀이 하나의 답변을 나타낼 때 사용하는 특정 선택 방법이었다. 

• Simultaneous 측면에서, 마지막으로, 대부분의 기사들은 동시 보고의 사용을 기술했다. 팀들이 그들의 반응을 동시에 나타낼 수 있도록 Color-coded and lettered placard를 일반적으로 사용했다.

In terms of significance, several authors emphasized that the application questions required higher-level thinking and problem-solving skills than the essential knowledge recall questions typically applied during the RA process.15,16,21 Often, problems were based on complex real-world issues or common clinical scenarios to increase relevance. Next, in all but one case,9 teams worked on the same problem. In addition, MCQs were by and large the method of specific choice used for teams to indicate their single- best-fit answer. Finally, the majority of the articles described the use of simultaneous reporting. Color-coded and lettered placards were commonly used so teams could simultaneously reveal their responses.

인센티브 구조

Incentive structure

세 가지 기사는 등급 가중치를 포함한 인센티브 구조에 대한 상세한 설명을 제공했다.13,22,23 대부분의 저자들은 점수가 수여된다고 언급했지만, 마크 분포mark distribution에 대한 설명은 제공하지 않았다.

Three articles provided detailed descriptions of incentive structures, including the weighting of grades.13,22,23 The majority of authors stated that grades were awarded, but they did not provide a description of the mark distribution.

동료평가

Peer review

동료평가의 다양한 요소로 '학습에 도움됨' '팀워크' '대인관계스킬' 등을 언급했다. 동료평가는 일반적으로 코스 마지막 날에 이루어졌지만, 니더와 동료들은 주요 시험을 보는 때에 함께 세 차례의 동료평가를 했다고 보고했다.

Several other articles reported evaluating various parameters of peer review, including helpfulness of team members in terms of learning and understanding19,22,23 and team members’ teamwork and interpersonal skills.23 Although peer review typically took place on the last day of the course, Nieder and colleagues17 reported a peer review that occurred at three points throughout the course coinciding with major examinations

고찰

Discussion

의대생 수가 증가하고 교직원 수가 감소함에 따라, TBL 프로그램의 시행은 의과대학에 자원 절약 대책을 제공한다.

with an increasing number of medical students and a decreasing number of teaching staff, the implementation of TBL programs offers resource-saving measures for medical schools.

TBL 프로그램 맥락

Context of TBL programs

우리는 임상 전 해에 TBL 프로그램의 dominance를 두 가지 요인 탓으로 돌린다. 즉, 전임상교육에서 종종 한 반에 숫자가 더 크기 때문이고, 소규모 그룹 학습에 자원을 활용한다면 이 기간 동안 큰 이익을 제공할 수 있다. 교수진이 임상실습 수행 중에 TBL을 사용한 경우는 주로 예정된 수업시간이나, 학생들이 teaching block이나 weekly academic half-days로 병원에서 학교로 왔을 때였다.

We attribute the dominance of TBL programs in the preclinical years to two factors—preclinical students often are placed in larger groups during this phase of their training, and the resource application of small-group learning could provide the greatest measurable benefit during this period. When faculty used TBL during a clinical rotation or clerkship

기간

Scope

우리는 TBL 세션의 범위가 넓음을 발견했다. Searle과 동료2는 TBL에 대한 노출이 매우 미미할 때(즉, 몇 번의 세션만 있을 경우) 부정적 편향이 발생하여 방법의 편익(수업 내 참여 및 콘텐츠의 적용 증가)이 실현되지 않을 수 있다고 제안했다.

We found a large range in the number of TBL sessions (from two to eight). Searle and colleagues2 suggested that a negative bias might result when exposure to TBL is so minimal (i.e., through only a few sessions) that benefits of the method may not be realized (i.e., increased in-class engagement and application of content).

전체 학생 및 팀 규모

Class and team size

위너와 동료 21은 RA 시험에서 숫자가 너무 적은 팀(즉, 학생 2명)이 정규 팀(즉, 학생 5~7명)보다 훨씬 낮은 점수를 받았다고 보고하여 학생들을 토론에 참여시키는 최적의 팀원이 존재할 수 있음을 시사했다. Michaelsen과 동료들에 따르면 26개 팀은 5명에서 7명 사이의 학생들로 구성되어야 한다. 팀원의 숫자는 프로세스의 발달과 팀 역동을 극대화할 수 있을 만큼 작으면서, 동시에 충분한 지적 자원과 토론을 포함할 수 있을 만큼 충분히 커야 한다.

Wiener and colleagues21 reported that undersized teams (i.e., two students) scored significantly lower than regular- sized teams (i.e., five to seven students) on RA tests, suggesting that an optimal number of team members to engage students in discussion may exist. According to Michaelsen and colleagues,26 teams should consist of between five and seven students—small enough to develop process and maximize team dynamics, yet large enough to include sufficient intellectual resources and discussion.

팀 구성

Team formation

학생들은 투명한 절차에 따라 교수에 의해 팀에 배정되어야 하며, 각 팀에 다양한 학생 조합을 제공하고 기존의 사회적 또는 우정관계에 기반한 그룹이 형성되지 않도록 해야 한다. 무작위적이고 알파벳순으로 할당하는 방법은 친구들의 팀이 자기 형성을 방해할 가능성이 있지만, 이러한 방법들은 학습자 특성의 선호 다양성을 충분히 달성하지 못할 수 있다.

students should be assigned to teams by the facilitator using a transparent process, giving each team a diverse mix of students and ensuring that no preexisting social or friendship-based groupings are formed. Although random and alphabetical allocation methods are likely to prevent teams of friends from self-forming, these methods may not adequately achieve the preferred diversity of learner characteristics.

가이드라인에서는 팀들이 "가능한 한 오래 함께 지내라"고 권고하지만, 라빈드라나스와 동료7은 각 TBL 세션이 시작될 때 팀 동역학의 확립과 발전을 허용하지 않는 팀들을 개혁했다.

although guidelines1 recommend that teams “stay together as long as possible,” Ravindranath and colleagues7 reformed their teams at the start of each TBL session, which did not allow for the establishment and development of team dynamics.

Michaelsen과 Sweet27은 tRAT 이후의 즉각적인 피드백은 학생들에게 콘텐츠 지식과 응용 능력을 이해시키기 위한 목적으로 TBL 프로세스에 본질적inherent한 것이라고 본다. 또한 즉각적인 피드백을 제공함으로써 

• 개인과 팀 간의 경쟁을 촉진하고, 

• 지식 획득과 보존의 핵심이 되며, 

• 팀 발달에 영향을 미친다.27,28

Michaelsen and Sweet27 describe immediate feedback following the tRAT as being inherent to the TBL process to provide students with an understanding of their content knowledge and application ability. In addition, providing immediate feedback 

• encourages competition between both individuals and teams, 

• is key to knowledge acquisition and retention, and 

• affects team development.27,28

프로그램 내 문제해결의 순서

Sequencing of in-class problem solving

문제 해결 활동 동안 학생들은 복잡한 현실 문제를 해결하기 위해 팀으로 일함으로써 수업내용에 대한 지식을 적용할 기회를 가졌다. 파르므리와 동료1이 지적한 바와 같이, 학생들은 응용활동 중에 특정한 선택을 하기 위해 정보를 해석, 분석, 합성해야 하며, 필요한 경우 전체 학생들에게 자신의 선택을 방어해야 한다.

During the problem-solving activities, students had the opportunity to apply their knowledge of course content by working in teams to solve complex, real- life problems. As Parmelee and colleagues1 noted, students must interpret, analyze, and synthesize information to make a specific choice during the activity, and they must defend their choice to the class if necessary.

어떤 연구자는 tAPP를 TBL의 심장이라고 설명했지만,4 이 설계 요소는 우리가 검토한 글에서 자세히 언급된 경우는 거의 없었다.

Although some have described the tAPP as the heart of TBL,4 this design element was rarely mentioned in detail in the articles we reviewed.

네 가지 S

The four S’s

즉각적 피드백

Immediate feedback

평가는 학생들의 코스 목표 달성에 큰 영향을 미치며, TBL에서는 개인의 수업 외 준비와 팀 협업을 극대화하도록 설계된다.4 그러나 우리가 검토한 많은 논문에서 저자들은 인센티브 구조를 명확하게 기술하지 않았다.

Assessment has a large effect on students’ achievement of course objectives, and, in TBL, it is designed to maximize both individuals’ out-of-class preparation and team collaboration.4 Yet, in many of the articles we reviewed, the authors did not clearly describe the incentive structure.

Michaelsen과 Sweet27은 [개별적인 기여]와 [효과적인 팀워크]에 대한 보상을 제공하고 [그룹워크에 대한 학생들의 우려를 완화]시키기 위해 효과적인 평가제도가 필요하다고 주장했다. 따라서, IRAT, tRAT, tAPP 및 동료 검토에 대한 등급이 부여되어야 한다.1

Michaelsen and Sweet27 argued that an effective grading system is necessary to provide rewards for both individual contributions and effective teamwork and to allay students’ concerns about grading for group work. Thus, grades should be given for iRAT, tRAT, tAPP, and peer review.1

동료평가

Peer review

그 기사들의 거의 절반은 동료평가에 대해 보도하지 않았다. Michaelsen29는 학생 책임을 보장하는 데 도움이 되기 때문에 동료 평가를 TBL의 핵심 요소 중 하나로 간주했다. 또한 피드백을 주는 연습을 통해 학생들은 전문적인 역량을 개발하고 피어리뷰의 책임을 가진 임상의로서 그들의 전문직으로서의 삶을 준비할 수 있다.30,31

almost half of the articles did not report on peer review. Michaelsen29 considered peer assessment to be one of the key components of TBL, because it helps to ensure student accountability. In addition,  the practice of giving feedback allows students to develop professional competencies and prepare for their professional lives as clinicians with peer review responsibilities.30,31

한계

Limitations

2001년까지 TBL 프로그램의 실행이 의학 교육 내에서 인기를 얻지 못하였기 때문에, 우리는 이 검토에서 단지 10년의 자료에 대해 보고했다.

as the implementation of TBL programs did not gain popularity within medical education until 2001,1 we have reported on only 10 years of data in this review.

결론

Conclusions

비록 Parmlee와 Michaelsen이 TBL이 "모든 구성요소가 설계와 구현에 포함될 때 가장 잘 작동한다"고 지적했지만, 3 우리의 검토 결과 TBL 프로그램의 설계, 구현 및 보고마다 광범위한 차이variation가 나타났다.

Although Parmelee and Michaelsen noted that TBL “works best when all of the components are included in the design and implementation,”3 our review revealed extensive variations in the design, implementation, and reporting of TBL programs.

그러므로, 미래에는 교수진이 프로그램의 각 특징에 대한 영향과 상대적 장점을 더 잘 이해하기 위해 표준화된 TBL 프레임워크를 고수해야 한다.

Thus, in the future, faculty should adhere to a standardized TBL framework, to better understand the impact and relative merits of each feature of their program.

4 Haidet P, Levine RE, Parmelee DX, et al. Perspective: Guidelines for reporting team- based learning activities in the medical and health sciences education literature. Acad Med. 2012;87:292–299.

Acad Med. 2014 Apr;89(4):678-88. doi: 10.1097/ACM.0000000000000162.

Applying established guidelines to team-based learning programs in medical schools: a systematic review.

TBL의 이론적 토대(Med Teach, 2012)

The educational theory basis of team-based learning

PATRICIA HRYNCHAK1 & HELEN BATTY2

1School of Optometry, University of Waterloo, 200 University Ave. Waterloo, ON, N2L 3G1, 2Department of Family and Community Medicine, Faculty of Medicine, University of Toronto, 500 University Ave. Toronto, ON, M5G 1V7

나는 결코 학생들을 가르치지 않는다. 나는 단지 그들이 배울 수 있는 조건들을 제공하려고 노력할 뿐이다.

알버트 아인슈타인

I never teach my pupils. I only attempt to provide the conditions in which they can learn.

Albert Einstein

도입

Introduction

의료제공자는 환자의 요구를 충족시키기 위한 공통의 능력 세트를 필요로한다.

Health care providers require a common set of abilities to meet the needs of their patients.

이 프레임워크에 포함된 두 가지 요소는 비판적으로 생각하는 능력(의료 전문가)과 팀으로 효과적으로 일하는 능력(협업자)이다(Frank 2005).

Two of the components embedded within this framework are the ability to think critically (medical expert) and work effectively in a team (collaborator) (Frank 2005).

보건 직업에서의 전통적인 교육은 선생님과 강좌의 내용을 중심으로 이루어진다(Peters 2000). 이 강의식 모델에서, 목표는 선생님으로부터 학생에게 정보를 전달하는 것이다.

Traditional education in the health professions is centered on the teacher and the content of the courses (Peters 2000). In this didactic model, the goal is to transfer information from the teacher to the student.

강의식 모델에서 학생의 역할은 그들이 배우고 있는 것에 대해서 [실질적인 적용을 이해하는 수준]보다는 [사실을 암기]하는 것이다(Michaelsen et al. 2008, p. 76). 사실을 recall하는 것은 그 과정에서 필수적인 단계지만, 학생들은 그렇게 함으로써 자료에 대해 진정으로 이해하게 되었으며, 새로운 맥락에서 정보를 적용할 수 있을 것이라고 잘못 생각하게 된다(Michaelsen et al. 2008, 페이지 77).

the role of the student is to memorize facts rather than work at the level of understanding the practical application of what they are learning (Michaelsen et al. 2008, p. 76). Recalling facts is a vital step in the process; however, students may mistakenly believe that by doing so they have gained a true understanding of the material and will be able to apply the information in a novel context (Michaelsen et al. 2008, p. 77).

TBL(Team-based Learning)은 래리 마이클슨이 개발하고 지난 20년 동안 의료 교육에 적응한 변증법 강의의 일종이다(Michaelsen et al. 2008, p. 5).

Team-based learning (TBL) is a form of dialectic teaching developed by Larry Michaelsen and adapted to health care education in the last two decades (Michaelsen et al. 2008, p. 5).

학생들은 [관점을 제시하기 전]에 [비판적 사고를 통해 얻은 추론reason의 힘을 배우고 적용]해야 하며, [다른 사람들의 진술을 평가할 때 이것과 동일한 접근법을 적용]할 필요가 있다. 이 과정을 얼마나 잘 수행하느냐가 해당 분야에서 능력이 어느 정도인지를 정의한다(Michaelsen et al. 2008, 페이지 80)

Students need to learn and apply the power of reason gained through critical thinking before offering viewpoints and to apply this same approach when evaluating statements made by others. The extent to which a person accomplishes this process defines his or her competency in a given field. (Michaelsen et al. 2008, p. 80)

구성주의 이론

Constructivist theory

인식론은 지식의 본질을 조사하는 철학의 한 분야이다(Hunter 2008). 구성주의적 인식론에서 지식은 개인적 경험에 의해 구성되는 과정으로 간주된다. 새로운 경험은 이전의 이해에 더해져서 그존의 이해를 수정하기 위해 사용된다(Peelech & Piper 2010). [진리]의 개념은 [실제reality]의 개념으로 대체되는데, 이것은 [개인은 경험을 통해 쌓아간다]라고 세계를 보는 관점이다(Peters 2000). 따라서 이 이론에서 '지식은 자율적이고 주관적인 construction'이다(Peelech & Pieper 2010). 이와는 대조적으로 실증주의는 '지식과 진리는 개인의 마음 밖에 존재한다'고 주장한다. 따라서 실증주의에서 지식은 고정되어 있으며 한 개인에서 다른 개인으로 옮겨질 수 있다(Peters 2000).

Epistemology is the division of philosophy that examines the nature of knowledge (Hunter 2008). In constructivist epistemology, knowledge is viewed as a process that is structured by personal experiences. New experiences are used to add to and modify previous understandings (Pelech & Pieper 2010). The concept of truth is replaced by that of reality, which is a view of the world that the individual builds through experience (Peters 2000). Therefore, in this theory, ‘‘knowledge is an autonomous and subjective construction’’ (Pelech & Pieper 2010). In contrast, positivism purports that ‘‘knowledge and truth exist outside the mind of the individual’’ (Peters 2000). Positivist knowledge is, therefore, fixed and can be transferred from one individual to another (Peters 2000).

20세기 전반기 동안, 연구자들은 두 가지 주요 학습 이론을 개발했다. 하나는 행동주의 이론이며, 다른 하나는 인지 이론이다(Mohanna 2010, 페이지 45). 

• 행동주의적 관점에 따르면, 학습자는 수동적이고 자극은 학습자에게 반응을 일으킨다. 

• 인지적 관점에 따르면, 학습자는 정보에 대해 생각하고, 정보를 처리한 다음, 상황에 따라 다른 방식으로 행동한다(Mohanna 2010, 페이지 45).

During the first half of the twentieth century, researchers developed two main learning theories: The behaviorist and the cognitive theory (Mohanna 2010, p. 45). 

• In the behaviorist view, learners are passive and a stimulus produces a reaction in the learner. 

• In the cognitive view, the learners think about the information, process it, and then act upon it in different ways depending on the situation (Mohanna 2010, p. 45).

구성주의 학습 이론은 인지 학습 이론을 정교화한 것이다. 또한 구성주의적 인식론에서 도출된 것으로, "학습자에 의한 정보의 정신적 표현에 초점"을 맞추고 있다. 학습자는 환경과 경험의 새로운 정보와 일치하도록 장기 기억 표현을 재구성한다(Svinicki 2004). 이를 위해서는, 학습자가 새로운 자료를 처리하고 기존 이해와 통합하여 자신의 학습 과정을 바탕으로 자신에게 고유한 새로운 인지 구조를 형성해야 한다(문 2004).

Constructivist learning theory is a refinement of cognitive learning theory and is derived from constructivist epistemology where the ‘‘focus is on the mental representation of information by the learner’’ (Svinicki 2004, p. 242). The learner reconstructs long-term memory representations to be consistent with new information from the environment and experience (Svinicki 2004). For this to occur, learners must process the new material and integrate it with existing understandings to form a new cognitive structure that is unique to them based upon their own process of learning (Moon 2004).

구성론 이론을 교육 방법에 적용하는 4가지 주요 원칙은 표 1에 요약되어 있다.

The four main principles of applying the constructivist theory to educational methods are summarized in Table 1.

첫째, 학습의 초점은 교사보다는 학습자에게 있다. 학습자의 아이디어와 질문에 초점을 둘 수 있는 기회가 제공되어야 한다. 강사의 역할은 학생이 학습에 있어 적극적인 중심적 역할을 수행하는 전문적인 촉진자 중 하나이다(Hunter 2008). 이러한 환경은 평등주의적이고, 비위계적이며, 비권위주의적이다. '학습은 교사와 학습자 사이의 양방향 과정'이라는 인식이 있다(Davies 2000). 이전의 경험을 이해함으로써 지식이 쌓이기 때문에, 선생님의 역할은 이전에 가졌던 의견과 이해에 도전할 기회를 제공하는 것이다(Peters 2000; Torre et al. 2006). 강사는 또한 [커리큘럼과 학생 사이의 중재자] 역할을 하며, 두 사람이 의미 있는 방식으로 상호작용할 수 있도록 한다(Peters 2000).

First, the focus of the learning is on the learner rather than the teacher. An opportunity to focus on the learner’s ideas and questions should be provided. The instructor’s role is one of expert facilitator where the student takes the active central role in learning (Hunter 2008). These environments are egalitarian, nonhierarchic and nonauthoritarian. There is an acknowledgement that ‘‘learning is a two-way process between the teacher and the learner’’ (Davies 2000). As knowledge is built by making sense of prior experiences, the role of the teacher is to provide opportunities to challenge previously held opinions and understanding (Peters 2000; Torre et al. 2006). The instructor is also a mediator between the curriculum and the student, allowing the two to interact in a meaningful way (Peters 2000).

둘째, 구성주의 학습 이론에서 문제 해결은 중심적인 역할을 한다. 문제는 [학습자의 요구 및 이해 관계에 직접적 관련성]이 있어야 하며,  기존에 학습자가 갖고 있던 construct에 대한 도전에 challenge할 필요가 있다. 이전의 경험과 문제 해결에 기초한 학습은 학습자의 입장에서 자기 주도적 능력을 필요로 한다. 교사 또는 동료 학습자는 학습자가 완전한 자기 방향을 달성할 때까지 이를 지원할 수 있도록 비계를 제공할 수 있다(Davies 2000). 이 프레임워크 내에서 학습자는 학습 과정에 대해서 더 잘 이해하게 되고, 그러한 과정을 통제할 수 있는 능력이 향상된다. 이것을 메타 인식이라고 하며 학습의 자기 방향의 기초가 된다(Peters 2000).

Second, in constructivist learning theory, problem-solving plays a central role. The problems need to be of immediate relevance to the needs and interests of the learner and challenge on previously held constructs. Learning based previous experience and solving problems requires the ability for self-direction on the part of the learner. Guidance from teachers or fellow learners can provide scaffolding for learners to support them until they achieve full self-direction (Davies 2000). Within this framework, the learners’ awareness of their learning process and the ability to control those processes is enhanced. This is called metacognition and is the basis for selfdirection in learning (Peters 2000).

셋째, 사회 구성주의 이론에서는, 세계를 함께 경험함으로써 얻어지는 공통의 이해의 발달뿐만 아니라 다른 학습자와의 대화와 상호작용을 통한 학습에 대한 크게 강조한다(Svinicki 2004). 따라서 최고의 구성주의 교육 방법은 다른 학생들과 함께 일할 기회를 통해 새로운 경험을 제공할 것이다(Svinicki 2004). 예를 들어, 학생들은 관련된 실제 생활 경험에서 파생된 문제에 대해 소그룹으로 작업할 수 있다.

Third, in social constructivist theory, there is a strong emphasis on learning with dialogue and interaction with other learners as well as the development of a common understanding that is achieved by experiencing the world together (Svinicki 2004). The best constructivist instructional methods, therefore, will provide new experiences through opportunities to work with other students (Svinicki 2004). For example, students could work in small groups on problems derived from relevant real life experiences.

마지막으로, 학습자가 기존 지식을 수정하는 시기와 방법을 판단할 수 있도록 성찰이 필요하다. 성찰은 RIA와 ROA의 두 종류가 될 수 있다. 

• "Reflection in action"은 현재와 과거의 경험을 현재와 현재 일어나고 있는 새로운 경험에 적용함으로써 즉시 발생한다. 

• "Reflection on action"은 사람이 일어난 일, 그것에 기여한 일, 취한 조치가 최적인지 여부, 그리고 이 정보가 미래의 관행을 향상시키기 위해 어떻게 사용될 수 있는지를 상기할 때 발생한다(표 1).

Finally, reflection is required to allow the learners to make judgments on when and how to modify their existing knowledge. Reflection can be of two kinds: Reflection in action and reflection on action. 

• ‘‘Reflection in action’’ occurs immediately by applying current and past experience to novel experiences as they are happening. 

• ‘‘Reflection on action’’ occurs when the person recalls what happened, what contributed to it, whether the actions taken were optimal and how this information may used to enhance future practice (Mohanna 2010, p. 66) (Table 1).

학습에 대한 구성주의적 접근법의 원칙은 다양한 의료 교육 프로그램에 사용되어 왔다(Davies 2000). 고전적인 문제 기반 학습은 이 이론의 가장 초기 적용 사례 중 하나이다.

The principles of the constructivist approach to learning have been used in a variety of health care training programs (Davies 2000). Classic problem-based learning is one of the earliest applications of this theory.

문제 기반 학습은 소규모 그룹 프로세스에서 교수진 대 학생 비율이 낮기 때문에 자원이 집약적이다(Walton 1997).

problem-based learning is resource intensive due to the low faculty-to-student ratios in the small group process (Walton 1997).

TBL

Team-based learning

TBL은 원래 래리 마이클슨에 의해 1970년대에 경영학 학생들을 가르치기 위해 개발되었다(Michaelsen et al. 2008). TBL은 학습자 중심이지만 강사가 주도하는 능동적 학습 방법이다(Koles et al. 2010).

TBL was originally developed by Larry Michaelsen for instructing business students in the 1970s (Michaelsen et al. 2008). TBL is an active learning method that is learner centered but instructor led (Koles et al. 2010).

팀 내 다양성은 최대지만 팀 간의 상대적 균일성을 갖는 소규모 그룹(팀이라고 함)으로 나뉜 대규모 클래스에 활용할 수 있다. 이는 팀의 성공을 촉진할 개별 구성원의 주요 특성이 무엇인지를 결정한 다음 이러한 자질을 가진 사람들을 팀 간에 균등하게 배분함으로써 달성할 수 있다(Michaelsen et al. 2008). 이렇게 하면, 각 팀은 분석 문제를 협력적으로 해결할 때 도출할 수 있는 구성원의 지식과 경험에서 최대한의 다양성을 가진다.

This method is used for large classes that are divided into smaller groups (referred to as teams) that have maximal diversity within the teams but relative evenness between the teams. This is accomplished by deciding what the key characteristics of individual members are that would promote success of a team and then distributing people with these qualities evenly between the teams (Michaelsen et al. 2008). In that way, each team has a maximal diversity in the knowledge and experience of the members that can be drawn upon when collaboratively solving the analysis problems.

교수는 학습 목표를 설정하고 이러한 학습 목표를 다루는 모듈로 코스를 의도적으로 설계한다. 모듈은 세 개의 반복 단계로 구성된다(그림 1).

The instructor sets the learning objectives and purposefully designs the course into modules that will address those learning objectives. The modules consist of three repeating phases (Figure 1).

적용 연습. 이 문제는 다음과 같은 특성을 갖도록 설계되었다. 모든 그룹에 대해 동일하며, 문제는 학습자에게 중요하며, 그룹은 정확한 대답(예: 객관식 질문)에 대해 특정한 선택을 해야 하며, 결과는 모든 그룹에 의해 동시에 보고된다.

application exercises. The problems are designed to have the following characteristics; they are 

• the same for all of the groups, 

• the problems are significant for the learners, 

• the groups must make a specific choice for the correct answer (e.g., a multiple choice question) and 

• the results are simultaneously reported by all groups.

TBL의 중요한 구성요소는 동료 평가다. 팀 구성원은 코스 중 한두 번 다른 그룹 구성원에게 팀 성과에 대한 피드백을 제공한다.

An important component of TBL is the group evaluations. Team members give feedback to the other group members on team performance once or twice during the course.

TBL의 이론적 토대로서 구성주의

Theoretical grounding of TBL in constructivism

TBL에서 교사는 교육 목표를 설정하고, 그룹이 해결할 수 있는 학습 자료, 시험 및 적절한 문제를 개발함으로써 학습에 대한 지침 역할을 한다. 강사는 학습자에 의해 생성되는 토론을 안내한다. 강의와 같은 수동적 학습을 제공하는 전략은 이 과정에서 감소한다. 따라서, 구성주의 학습 이론에서 중요한 '학생 중심 원칙'과 '지지적 비계'는 일관되게 내재되어 있다.

In TBL, the teacher acts as a guide to learning by setting the educational objectives and developing study materials, tests, and appropriate problems for the groups to solve. The instructor guides discussion that is generated by the learners. Strategies providing passive learning such as lecturing are reduced in this process. Student centered principles and supportive scaffolding important in constructivist learning theory are consistently inherent.

TBL은 학습자가 그룹과 현재 이해도를 비교하고 GRAT 및 그룹 적용 연습에서 논란이 되는 사항에 대해 토론할 수 있도록 한다. 이것은 새로운 경험으로 얻은 정보를 기존의 정신 계획에 통합시킴으로써 학습이 일어난다는 구성주의적인 견해와 일치한다. 

TBL allows learners to compare their current understandings with those of the group and debate controversial points in the GRAT and group application exercises. This is consistent with a constructivist view that learning occurs by integrating information obtained by new experiences into existing mental schemes. 

응용 연습은 임상 실습에서 발생하는 실제적인 문제로 만들어진다. 비판적 사고는 이 능동적인 과정에서 모델링되고 학습된다.

The group application exercises are real world problems that occur in the clinical practice. Critical thinking is modeled and learned in this active process.

RIA는 GRAT 동안 그리고 애플리케이션 연습의 사례 문제를 해결할 때 학생들이 그룹의 이해도를 비교할 때 발생한다. 새로운 연결은 이해에 대한 불일치를 노출시킴으로써 이루어진다. 학생들이 모든 팀 구성원의 기여를 평가하는 순간도, ROA의 한 형태다. 학습자들은 또한 다른 그룹 멤버들로부터 받은 피드백을 활용하여 팀 멤버로서의 자신의 성과를 성찰해야 한다.

Reflection in action occurs when students compare their understanding to that of the group during the GRAT and in solving the case problems in the application exercises. New connections are made by exposing these inconsistencies in understandings. When the students are required to evaluate the contributions of all the team members it is a form of reflection on action. Learners also reflect on the feedback they receive from other group members on their own performance as team members.

보건의료인 교육에서 TBL

Team-based learning in healthcare education

"고-기능 팀"에는 몇 가지 특징이 있다. 여기에는 모든 구성원의 높은 참여 수준, 팀 식별 및 복잡한 사고 프로세스 사용 능력이 포함된다(Thompson 등 2009). TBL은 목표 달성을 촉진하고 그룹 등급을 공유함으로써 공통 목표를 향한 진정한 팀워크를 촉진한다(Morrison et al. 2010). Davidson은 TBL을 사용하여 시간이 지남에 따라 학생들이 자신이 '집단작업group work의 원리를 얼마나 이해했는지'에 대한 추정이 상당히 증가했다는 것을 발견했다.

There are several features of high-functioning teams. These include high levels of involvement by all members, team identification and the ability to use complex thought processes (Thompson et al. 2009). TBL fosters these attributes by encouraging true teamwork toward a common goal with each student facilitated in contributing to that goal and by sharing a group grade (Morrison et al. 2010). Davidson found that there was a significant increase in the students’ estimation of their ‘‘understanding of the principles of group work’’ over time using TBL (Davidson 2011).

개별 학습자에게는 "사회적 태만(무임승차)"을 감소시켜야 할 책임이 있다(즉, 사전 준비와 그룹활동 참여를 통해서 '회피'할 기회를 줄이는 것). 교수진들은 일반적으로 학생들의 준비, 출석 그리고 수업 토론의 질이 향상되는 것을 관찰할 수 있다(Thompson et al. 2007a). 헌트 외 연구진(2003)은 TBL 세션 중 외부 관찰external observation을 사용했으며, TBL에서는 강의 기반 과정에 비해 학생들의 참여도가 상대적으로 높은 것으로 나타났다. 리바인 외 연구진(2004)은 학생들이 TBL을 '전통적인 수업didactics보다 훨씬 더 효과적이고 즐거운' 것으로 평가했다.

There is accountability on the part of the individual learners with a reduction in ‘‘social loafing’’ (i.e., reduced opportunity for avoidance by students of advance preparation and engagement in the group work) (Michaelsen et al. 2008, p. 104; Koles et al. 2010). Faculty members generally see an improvement in students’ preparation, attendance and quality of class discussions (Thompson et al. 2007a). Hunt et al. (2003) used external observations during the TBL sessions and found a relatively high level of engagement of the students compared to lecture based courses. Levine et al. (2004) found that students rated TBL ‘‘significantly more effective and enjoyable than traditional didactics.’’

TBL에 대한 긍정적 연구가 쌓이고 있지만, 일부 한계도 있다(Thompson et al. 2007b). TBL이 효과적이기 위해서는 교수, 학생, 행정부의 참여buy-in가 필요하다. 기술적 측면에서 전문지식과 TBL도입을 위한 훈련이 있어야 하며, 교육과정 내 시간이 확보되어야 하고, 교수들이 TBL을 개발해야 한다. CBL보다는 교수자원이 덜 들지만, 공간, 자료, 행정지원 등 다른 자원이 필요하다. 코스의 규모와 내용 또한 중요하다(Thompson 2007b).

While the research support for TBL is building, there are also some limitations (Thompson et al. 2007b). For TBL to be effective there must be buy-in from faculty, students and the administration. There must be expertise and training in the technique as well as time provided in the curriculum and for the faculty member to do the development. While teaching personnel resources are less than in case-based learning, other resources are required such as space, materials and administrative support. The size and content of the course is also important (Thompson 2007b).

TBL에서 적절한 복잡성을 갖추어 진정으로 유용한 assignment를 만들려면 교수의 상당한 노력이 필요하다(Parmlee 2010; Zgheib et al. 2010). 자원이 부족한 시스템에서 TBL을 적용하게 되면, 교수의 참여 부족이 발생할 수 있다(Thompson et al. 2007b).

TBL requires significant instructor effort to make the assignments useful with an optimal amount of complexity (Parmelee 2010; Zgheib et al. 2010). There may be a potential lack of engagement by instructors if the method is imposed on the system with insufficient resources (Thompson et al. 2007b).

몇몇 연구는 학생들이 소규모 그룹이나 강의와 같은 다른 교육 방법보다 TBL에 대한 만족도가 낮다는 것을 발견했다(Hunt et al. 2003; Haidet et al. 2004; Willett et al. 2011). 그러나 데이빗슨은 몇 년에 걸쳐서 적극적인 학습 전략의 수용이 증가할 수 있다는 것을 발견했다(Davidson 2011). 학생들은 특히 동료평가에서 어려움을 겪는데, 특히 그룹원 간 differentiate하도록 요구받을 경우, 그리고 동료평가가 성적에 들어갈 경우 그러하다.(Nieder et al. 2005; Thompson et al. 2007a; Parmelee et al. 2009).

Several studies have found that students have lower levels of satisfaction with TBL than other teaching methods such as small group or lecture (Hunt et al. 2003; Haidet et al. 2004; Willett et al. 2011). However, Davidson found that the acceptance of active learning strategies can increase over several years (Davidson 2011). Students can also have difficulty with the group evaluation process, especially when they are required to differentiate among group members and the evaluation counts towards their grade (Nieder et al. 2005; Thompson et al. 2007a; Parmelee et al. 2009).

또한, 이 방법은 커리큘럼에 있는 다른 과목들의 요구와 잘 통합되지 않을 수 있다. 예를 들어, 개인별 학습은 학생들이 커리큘럼의 다른 부분에서 해야 하는 다른 과제와 시험과 충돌할 수 있다(Thompson et al. 2007a).

Also, the method may not integrate well with the demands of other courses in the curriculum. For example, the individual study might conflict with other assignments and examinations that the students are required to do in other parts of the curriculum (Thompson et al. 2007a).

결론

Conclusions

TBL은 구성주의적 학습원리에 기초한 효과적이고 경제적인 교수법이다.

TBL is an effective and economical teaching method based on constructivist learning principles.

Med Teach. 2012;34(10):796-801. doi: 10.3109/0142159X.2012.687120. Epub 2012 May 30.

The educational theory basis of team-based learning.

의과대학생의 학업성과에 TBL의 영향(Acad Med, 2010)

The Impact of Team-Based Learning on Medical Students’ Academic Performance

Paul G. Koles, MD, Adrienne Stolfi, MSPH, Nicole J. Borges, PhD, Stuart Nelson, PhD, and Dean X. Parmelee, MD

임상전 의학교육은 커리큘럼 딜레마의 진퇴양난에 빠져있다.

Preclinical medical education is increasingly impaled on the horns of a curricular dilemma.

이러한 딜레마를 해결하기 위해, 교육자들은 필수 지식을 교실 밖 독립적인 학습을 위한 접근 가능한 형식으로 구성하는 교과서, 강의록, 전자 자료 및 웹 기반 학습 단위에 점점 더 의존하고 있다. 학생들이 이러한 학습 도구에 적응함에 따라, 교수진은 강의 프리젠테이션을 위해 이전에 예약되었던 시간을 줄일 수 있으며, 면대면 시간은 능동적 교육 및 학습 전략에 더 많이 사용할 수 있다.

To address this dilemma, educators rely increasingly on textbooks, syllabi, electronic resources, and Web-based units of study that organize essential knowledge into accessible formats for independent learning outside class.1,2 As students acclimate to these learning tools,faculty may reduce hours previously reserved for lecture presentations, making face-to-face time more available for active teaching and learning strategies

그러한 능동적 학습 방법 중 하나인 문제 기반 학습(PBL)은 지난 40년 동안 학부 의대에서 그 유용성을 입증해 왔다.3 PBL은 커리큘럼 우선순위 변화에 적응할 수 있는 것처럼 보인다. 1969년 맥매스터 대학교에서 1차 학습 전략으로 도입되었으며, 두 차례의 교육과정 주요 개편에서도 살아남았다.4

Problem-based learning (PBL), one such active learning method, has demonstrated its usefulness in undergraduate medical education during the past 40 years.3 PBL seems to be adaptable to changing curricular priorities. It was introduced as the primary learning strategy at McMaster University in 1969 and has survived two major revisions of the curriculum.4

2001년 베일러 의대에 도입된 팀 기반 학습(TBL)은 의학 교육에서 PBL보다 그 역사가 훨씬 짧다. 능동적인 학습 전략으로 설계된 TBL은 학습자 중심이지만 강사 주도형이다.

TBL은 동료들이 서로 대화하고 경청하여 합의된 결정을 내리는 과정을 통해서, 동료들로부터 학습을 향상시킬 수 있는 여러 기회를 제공한다. 교수들은 각 팀이 자신들의 선택에 대해 공개적으로 설명하도록 요청하며, 여러 팀이 최선의 결정이 무엇인지 그 정당성에 대해 토론할 수 있도록 촉진한다.

TBL provides frequent opportunities for peers to enhance learning, as teammates talk and listen to one another to arrive at consensus decisions. Faculty invite teams to explain and support their choices publicly, and facilitate as teams debate justification for the best decision.

이상적으로, 응용 질문은 학생들이 단지 관련 지식을 얻는 것이 아니라 비판적 사고를 필요로한다. 잘 짜여진 응용 질문은 팀에게 "복잡한 문제의 분석을 기반으로 구체적인 결정을 내리도록 동기를 부여한다."10(p41)

Ideally, application questions require students to engage in critical thinking, rather than to merely retrieve relevant knowledge. Well- crafted application questions motivate teams to “make a concrete decision based on analysis of a complex issue.”10(p41)

TBL은 의대생들의 학습을 얼마나 효과적으로 촉진하는가?

How effectively does TBL promote medical students’ learning?

Nieder와 동료들은 TBL이 사용되기 전의 성과에 비해 평균 과정 시험 성과는 아무런 변화도 보이지 않았지만, TBL의 사용으로 인해 인간 구조 코스에 낙제하는 학생이 줄어들었다. Nieder와 동료들의 연구는 학업성취도가 낮은 학생들이 TBL로부터 이익을 얻을 수 있다는 것을 암시한다.

Nieder and colleagues11 showed no change in mean course examination performance compared with performance in years before TBL was used, but the use of TBL resulted in fewer students failing a human structure course. Nieder and colleagues’11 study suggests that academically weaker students may benefit fromTBL.

기존 문헌이 많지 않고, 일관되지 않은 이전 연구 결과를 고려하고, TBL에 대한 우리 자신의 축적된 경험을 고려할 때, 우리는 이 연구에서 다음과 같은 두 가지 질문을 받았다. 

(1) TBL에 참여하는 것이 과정 시험에서의 학생들의 성적에 영향을 미치는가? 

(2) TBL은 학업성취도가 낮은 학생 또는 더 높은 학생에게 우선적으로 혜택을 주는가?

Given the small amount of such literature, the mixed results of previous studies of academic outcomes, and our own accumulated experience with TBL, we were guided in this study by two questions: 

(1) Does participation in TBL affect students’ performance on course examinations? 

(2) Does TBL preferentially benefit academically lower- or higher-performing students?

방법

Method

분스호프트 2학년 교육과정

Boonshoft’s second-year curriculum

분쇼프트의 시스템 기반 2년 과정에서는 임상 의학에 적용할 수 있는 생리학, 병리학, 약리학의 기초지식을 강조하는 10개의 과정(두 개의 용어 사이로 구분)으로 구성되었다.

Boonshoft’s systems-based second-year curriculum consisted of 10 courses (divided between two terms) emphasizing foundational knowledge of physiology, pathology, and pharmacology applicable to clinical medicine.

표 1은 연구에 포함된 학술 용어, 과정, CCE 및 TBL 모듈을 요약한 것이다.

Table 1 summarizes the academic terms, courses, CCEs, and TBL modules included in the study.

5명에서 7명의 학생들로 구성된 팀은 학년 초에 무작위 분류에 의해 구성되었다; 학생들은 10개의 모든 과정 내내 같은 팀에 있었다.

Teams of five to seven students were formed by random sorting at the beginning of the academic year; students remained on the same teams throughout all 10 courses.

TBL 세션은 보통 2시간(RAT의 경우 40분, 응용 문제의 경우 80분)이었으며, 교수진 중 한 명이 모듈을 만들었다.

TBL sessions were usually two hours long (40 minutes for RATs, 80 minutes for the application exercise) and facilitated by two members of the faculty, one of whom had created the module.

자료 분석

Data analysis

우리는 이러한 CCE 문항 중 병리학적 기반 질문(PBQ)을 식별했다. 우리는 PBQ로 연구를 제한했다.

We identified these CCE questions as pathology-based questions (PBQs). We limited our study to PBQs

PBQ는 두 개의 하위 그룹으로 더 세분되었다. 

• TBL 관련 PBQ(TR)로 지정된 한 그룹이 있다. 이 그룹은 TBL 모듈의 사전 학습자료에 포함되거나 TBL 애플리케이션 연습 중에 논의된 지식을 평가하는 질문을 포함했다. 

• TBL과 무관한 PBQ(TU)로 지정된 두 번째 그룹은 TBL 모듈의 내용과 개념적으로 관련이 없는 질문들로 구성되었다.

PBQs were further divided into two subgroups . One subgroup, designated TBL-related PBQs (TRs), contained questions that assessed knowledge included in a TBL module’s advance assignment or discussed during aTBL application exercise. The second group, designated TBL-unrelated PBQs (TUs), consisted of questions that were conceptually unrelated to any TBL module’s content.

각 PBQ의 변별도는 질문 품질의 유용한 지표로서 CCE 항목 분석에서 얻었으며, TR과 TU에 대한 평균 차별 지수를 계산했다.

The discrimination index of each PBQ was obtained from CCE item analysis as a useful indicator of question quality, and we calculated mean discrimination indices for TRs and TUs.

결과

Results

이 705개의 PBQ는 2년간의 연구 동안 모든 CCE 질문의 26.4%를 차지했다(표 2).

These 705 PBQs accounted for 26.4%of all CCE questions during our two-year study (Table 2).

이 연구에 포함된 178명의 학생들의 점수는 표 3에 요약되어 있다.

Scores for the 178 students included in this study are summarized in Table 3.

학업성취도(표 4)를 기준으로 학생들의 성적을 분석한 결과 TU(P.001)와 비교했을 때 1/4분위 학생과 4/4분위 학생 모두 TR에서 훨씬 높은 점수를 받았다.

Analysis of students’ performance by academic quartiles (Table 4) revealed that students in both the highest (n  45) and lowest (n  45) quartiles scored significantly higher on TRs compared with TUs (P  .001).

토론 & 고찰

Discussion and Conclusions

우리의 생각에, 5.9% 더 높은 평균 점수는 학습 목표 달성이 공통적인 목표인 교육자와 학습자에게 의미가 있을 만큼 충분히 크다.

In our opinion, a 5.9%higher mean score is large enough to be meaningful for educators and learners whose common goal is achievement of learning objectives.

TBL 세션이 시작될 때 IRAT 시험이 있음을 아는 것은 학생들이 사전 과제에 포함된 지식을 독자적으로 습득하려고 노력함으로써 잘 준비하도록 동기를 부여한다. 이해하지 못한 것이나 어려웠던 내용은 동료들과 GRAT에 대한 합의를 도출하기 위해 노력하는 과정에서 향상된다. 각 팀별로 질문의 구체적인 답이 무엇인지에 대한 이유를 동료들에게 설명해야 하기 때문이다.

Knowing that the IRAT will be administered at the beginning of a TBL session motivates students to prepare well by attempting to independently master knowledge contained in the advance assignment. Gaps and deficiencies in understanding are improved as peers explain to their teammates why they favor specific answers to questions as the group works toward consensus for the GRAT.

최종 응용 연습은 각 팀이 교수가 설계한 문제를 해결하면서 응집된 지식을 활용해야 하는 과제를 주게 된다. 팀은 정보를 분석하고 단기간에 합의를 도출하기 위해 협상해야 한다. 팀들이 그들의 결정을 밝힌 후, 그룹간 토론은 각 팀들이 자신들의 결론을 뒷받침하는 증거와 추론을 반 학생들에게 설명하도록 요구한다.

The culminating application exercises challenge each team to use their aggregate knowledge as they wrestle with faculty-designed problems. Teams must analyze information and negotiate to achieve consensus within a short time. After teams reveal their decisions, the intergroup discussion requires teams to explain to the class the evidence and reasoning that support their conclusions.

TBL의 순차적 전략은 학습자들이 단순히 필수적인 사실들을 숙달하는 것을 넘어설 수 있도록 동기를 부여한다. 잘 구성된 응용 연습은 팀들이 특정 환자에게 가장 적합하거나 가능성이 높은 현실적인 상황에 지식을 적용하도록 요구한다. 합의에 도달하는 과정은 학생들은 듣기, 가르치기, 활발한 협상 기술을 개발하고 보여줄 것을 요구한다. 이어지는 팀간 논의는 모든 팀에게 그 결론에 관한 즉각적인 비교 피드백을 제공한다.

TBL’s sequential strategy motivates learners to go beyond mere mastery of essential facts. A well-crafted application exercise requires teams to apply knowledge to realistic situations, is most likely or most appropriate for a particular patient. The process of arriving at consensus demands that students develop and demonstrate listening, teaching, and vigorous negotiation skills. The interteam discussion that follows provides every team with immediate comparative feedback regarding its conclusions.

프랭크 스미스16(p87)은 장기 학습을 향상시키는 활동의 종류를 기술하면서 "우리는 우리 자신에게 흥미롭고 이해할 수 있는comprehensible 활동으로부터만 배울 수 있다. 다시 말해서, 만족스러운satisfying 활동에서 배울 수 있다"고 주장한다. "그렇지 않다면 비효율적인 암기, 즉 암기만 있을 뿐이며, 망각은 불가피하다"고 말했다.

In describing the kinds of activities that enhance long-term learning, Frank Smith16(p87) argues that “we can only learn from activities that are interesting and comprehensible to us; in other words, activities that are satisfying. If this is not the case, only inefficient rote learning, or memorization, is available to us and forgetting is inevitable.”

사분위수가 가장 낮은 학생들의 시험 성적에 더 큰 이점은 TBL의 전략과 관련이 있다. GRAT 및 애플리케이션 연습 동안 이뤄지는 [동료들 간의 날카로운 exchange]는 팀간 논의 시간에 [교수들의 management와 결합]하여 학생들이 지식의 기준을 달성하도록 돕는 [orchestrated 학습 연구소]로 볼 수 있다. 동료들은 합의된 답변에 도달하기 위하여 서로를 가르치고 있기 때문에, TBL 시작시점에서 내용 숙달력이 적은 사람들이 학습 이득이 더 클 가능성이 있는 것으로 보인다.

The larger beneficial effect on examination performance for lowest-quartile students compared with highest- quartile students correlates with TBL’s strategy. Pointed exchange among peers during the GRAT and application exercises, combined with faculty management of the interteam discussions, may be viewed as an orchestrated learning laboratory that helps students achieve a baseline of knowledge. Because peers are teaching each other while arriving at consensus answers, it seems reasonable that learning gains are likely to be greater for those who have less content mastery at the start of a TBL session.

이와 달리, 잘 준비된well-prepared 학생들은 다른 학생들과 대화하고 협상함으로써 그들 자신의 지식을 명확히 하고, 그들의 개인과 팀워크에 대한 점수를 받는다.

Well-prepared students clarify their own knowledge by verbalizing and negotiating with peers, are rewarded with grades for their individual and team efforts,

그러나 준비가 덜 된 학생들이 [동료들의 지식과 비판적 사고력]으로만 배우는 것이 아니다. 준비가 덜 된 학생이라고 해도 두 가지 요소에 의해서 앞으로 더 철저하게 준비해야 할 동기부여가 된다. 하나는, [IRAT에서 더 좋은 점수를 얻고자 하는 열망]이며, 다른 하나는 [이들도 조별 논의에 귀중한 기여를 할 것이라는 동료들의 기대]이다. intragroup teaching에서 드러나는 peer influence와, 잘 준비해와야 한다는 사회적 압력이 학업적으로 어려움을 겪는 학생도 수업 내용을 숙달하는 데 도움을 준다.17

However, students who arrive less prepared are not just enriched by their teammates’ knowledge and critical thinking skills. They are also motivated by two factors to prepare more thoroughly for future sessions: the desire to achieve a better grade on the IRAT, and their peers’ expectations that they will make valuable contributions to intrateam discussions. Peer influence, expressed through intragroup teaching and social pressure to prepare well, assists the academically challenged student in mastering course content.17

TBL이 효과적으로 구현되면 학업적으로 "위험한" 학생들도 과목의 상당 부분을 배울 수 있도록 한다.

Effective implementation of TBL enables students who are academically “at risk” to learn significant portions of course

그러나 peer tutoring과 같은 다른 교육 전략은 보건 직업 교육에서 학업 성과를 향상시키기 위해 문헌에 제시되었다.18 그러나, peer tutoring을 하기 위해서는 수업 외 시간에 상당한 시간적 헌신이 필요하다.

Other educational strategies, such as peer tutoring, have been shown in the literature to improve academic performance in health professions education.18 Peer tutoring, however, requires significant time commitments outside class.

TBL 관련 학습 편익에 대한 우리의 결론은 다른 의학 분야에는 적용되지 않을 수 있다.

our conclusions about TBL-related learning benefits may not apply to other medical science disciplines.

[TBL 모듈이 종료된 후 수 개월 이후에 시행되는 검사] 또는 [TBL을 사용한 여러 과정으로부터 얻은 지식을 평가하는 종합 시험]에 대한 수행 등을 통해서 장기 학습에 대한 잠재적 편익을 평가할 필요가 있다.

Potential benefits for longer-term learning need to be evaluated, such as performance on examinations administered several months after a TBL module or performance on comprehensive examinations assessing knowledge gained from several courses in which TBL was used.

마지막으로, 그리고 아마도 가장 중요한 한계는 콘텐츠 관련 TBL 모듈 이후 4주 이내에 검사 성과를 측정한 것이다. 따라서, 우리의 결과는 비교적 단기적인 학습에 대한 이점을 보여준다.

Finally, and perhaps the most important limitation, examination performance was measured within four weeks after content-related TBL modules. Therefore, our results show benefits for relatively short-term learning.

Acad Med. 2010 Nov;85(11):1739-45. doi: 10.1097/ACM.0b013e3181f52bed.

The impact of team-based learning on medical students' academic performance.

피드백의 범위를 넓혀서 근무지 학습의 Relevance 높이기(Acad Med, 2018)

Broadening the Scope of Feedback to Promote Its Relevance to Workplace Learning

Renée M. van der Leeuw, MD, PhD, Pim W. Teunissen, MD, PhD, and Cees P.M. van der Vleuten, PhD

일을 통해 배우는 것을 WBA와 맞추는 것은 도전이다. 피드백과 학습의 단절은 피드백에 대한 지식과 풍부한 연구에도 불구하고 현재 놓치고 있는 학습 기회가 있다는 것을 의미한다.

aligning learning through work with workplace-based assessment is a challenge.4–6 The disconnect between feedback and learning implies that there are learning opportunities that are now being missed—despite the knowledge and wealth of research on feedback.

다음과 같은 피드백 

"연수생들의 성과를 개선하기 위한 목적으로 관찰된 성과와 기준을 비교한 구체적인 정보."

a review described feedback as 

“Specific information about the comparison between a trainee’s observed performance and a standard, given with the intent to improve the trainee’s performance.”7

동일한 저자의 보다 최근의 메타 리뷰에서는 피드백의 주요 문헌들은 [피드백을 효과적으로 제공하는 방법 또는 메시지의 어떤 측면(즉, 출처, 형태, 내용, 타이밍)이 결과에 영향을 미치는지와 같은 피드백의 도구적 측면]에 초점을 맞춘다는 것을 보여주었다.8 "좋은 피드백을 주는 것은 결국 학습과 성과 개선으로 이어질 것이다"는 가정이 널리 퍼져인느 것으로 보인다. 그러나 이 가정은 직장에서 학습과 행동 변화에 대한 더 복잡한 이해와 잘 맞지 않는다. 따라서 이렇게 피드백을 좁게 정의하는 것은 work를 통한 학습을 지원하는 데 있어서 제한된 가치만을 가진다. 많은 연구 간행물과 의학 교육의 최근 이니셔티브는 근무지학습에서의 피드백에 사회적 상호 작용과 문화적 측면이 미치는 영향을 강조한다.

A more recent meta-review by the same authors showed that most research regarding feedback focuses on instrumental aspects, such as how to give feedback effectively and which aspects of the message (i.e., source, form, content, timing) influence the outcome.8 The pervading assumption seems to be that “giving good feedback” will lead to learning and performance improvement. This assumption does not align well with a more complex understanding of learning and behavioral change in workplaces.9–13 This narrow definition of feedback therefore has limited value in supporting learning through work. Many research publications and recent initiatives in medical education emphasize the influence of social interactions and cultural aspects on feedback in workplace learning.14–18

그럼에도 불구하고, 피드백 자체에 영향을 미칠 때, "기술적" 접근이 여전히 지배적이다.

Nevertheless, when honing in on feedback itself, the “technical” approach is still dominant,

피드백의 더 넓은 범위로서 '수행관련정보PRI'

Performance-Relevant Information as a Broader Scope for Feedback

• 피드백의 더 광범위한 범위는 특정 맥락에서의 수행과 관련하여 업무 공간의 학습에 영향을 미치는 모든 정보를 통합해야 한다. 아무리 우리가 피드백의 정의를 확대하더라도, 그것은 여전히 "주고 받는" 정보의 개념이 될 것이다. 피드백이라는 용어를 쓰는 한, 학습자로서 당신에게 주어지는 것에 대한 판단은 주로 다른 사람들에 대한 인식에 기반을 둔다. 

• 반대로 '성과 관련 정보(PRI)'의 개념에서, 기존의 관점은 [자신의 인식, 감정, 경험에 대해서, 무엇이 자신의 학습과 관련이 있다고 간주하는지]를 강조하는 방향으로 바뀐다. 이것은 새로운 접근방식이며 관찰자가 관찰한 것에 대한 시각을 제공하는 기존의 관점과는 매우 다르다.

• A broader scope for feedback should incorporate all information that affects learning in the workplace related to one’s performance within that context. Although we could have broadened the definition of feedback, it would continue to be the concept of “giving and receiving” information. With feedback, the judgment of what is given to you as a learner lies primarily in the perception of others. 

• With the concept of performance-relevant information (PRI), this perspective shifts to appreciate the importance of what a learner, with his/her perception, emotions, and experiences considers relevant, for his/her learning. This is a new approach and is very different from the perspective in which an observer provides his/her vision of what was observed.

근무지환경에서 학습자가 이용할 수 있는 수많은 학습 기회를 반영하기 위해, 우리는 먼저 범위를 넓히기 위한 개념으로서 "관련 정보"라는 용어를 선택했다. 

• 관련 정보는 학습자와 직접적으로 관련된 사실이나 세부사항을 기술하는 더 중립적인 용어인 반면, 

• 피드백은 어떤 것이 얼마나 성공적이거나 유용한가에 대한 판단을 요약한다. 

To reflect the numerous learning opportunities that are available to learners in the workplace setting, we first chose “relevant information” as a concept to broaden our scope. Relevant information is a more neutral term to describe facts or details that directly relate to the learner, whereas feedback encapsulates a judgment about how successful or useful something is. 

또한 우리는 관련 정보가 어디에서 파생될 수 있는지를 설명하고자 했으므로, PRI의 개념을 보여주기 위해 "수행performance"을 추가했다.

Because we aimed to address where the relevant information could be derived from, we added “performance,” to yield the concept of PRI.

간단히 말해, PRI는 학습자가 어떻게 직장에서 자신의 성과를 학습과 관련된 정보로 해석하는지에 초점을 맞춘다. 이 PRI는 개인의 업무 수행과 직장에서의 상호작용에 대한 해석에서 발생하는 학습에 대한 모든 잠재적인 정보의 source를 포함한다. 

• 치료 후 환자의 결과, 

• 역할 모델의 수행능력

• 평가 및 평가, 

• 의사 소통에 있어 동료와 동료의 반응, 

• 실패 또는 성공의 느낌에 대한 탐구

In short, PRI as a concept focuses on how learners interpret their performance in the workplace in terms of what is relevant information for their learning. This notion of PRI includes all potential sources of information for learning arising from the interpretation of one’s performance and interaction in the workplace. Among these are 

• patient outcomes after treatment; 

• the performance of role models; 

• evaluations and assessments; 

• responses of colleagues and peers in communication with you; and 

• exploring feelings of failure or great successes.

근무지학습은 [직장에서의 사회적 상호 작용과 경험]에서 발생하는 성과에 대한 관련 정보의 해석에 기초한다. 사회적 상호작용은 [개인이 학습을 위한 input으로서 무엇을 encounter 할지]를 결정하기 때문에 학습에 영향을 미친다.22 이는 다양한 학습자를 위해 다양한 학습 경험을 생성한다.

Workplace learning is based on an interpretation of relevant information for performance arising from social interaction and experiences in the workplace.10,22,23 Social interaction influences individual learning because the interaction determines what the individual encounters as input for learning.22 This creates a multitude of possible learning experiences for different learners.10,23

PRI에는 보다 명확한 평가 피드백에서 직장 경험, 감정 또는 환자 결과에 대한 보다 암묵적인 해석에 이르기까지 모든 범주 또는 유형의 정보가 포함된다.

PRI includes all categories or types of information, ranging from the more explicit assessment feedback to the more implicit interpretation of workplace experiences, emotions, or patient outcomes.

근무지학습

Workplace learning

성과 개선을 중심에 두는 피드백의 정의에는 측정하기 어렵거나 눈에 잘 띄지 않는 성장 또는 학습의 측면이 포함되지 않는다. 여기에는 예를 들어, 한 인간으로서의 성장, 자신이나 타인에 대한 더 깊은 통찰력, 근무지 프로세스 또는 문화적 측면에 대한 인식, 어려운 감정을 처리 방법을 경험하고 확인하는 것 등과 같은 것이 포함된다.

The definition of feedback in its primary association with performance improvement does not include aspects of growth or learning that are less visible, let alone measurable.7 for example, growth as a human being, deeper insights into oneself or others, awareness of workplace processes or cultural aspects, experiencing and identifying ways to deal with difficult emotions, or gaining confidence.

PRI의 광범위성은 [단기적으로 관찰 가능한 성과 변화에서는 도출되지 않는 학습]을 포함할 수 있는 여지를 만들어냄에 따라, 개인이 어떻게 근무지에 embed된 정보를 선택하고 이해하는지를 설명할 수도 있다. 이를 통해 직장에서의 상황에 대한 해석이 어떻게 개인적 경험을 result in 하는지를 이해하는 데 도움이 될 수 있다.

As the broader scope of PRI creates room to include learning that may not result in short-term observable performance change, it could also elucidate how individuals select and make sense of information that is embedded in the workplace. This can add to our understanding of how interpretations of situations in the workplace result in personal experiences.

평생학습

Lifelong learning

의학 교육에서는 "효과가 있는 것"에 초점을 맞추는 경향이 있다.

There is a tendency to focus on “what works” in medical education

이것은 직장 학습에 필수적인 [관계의 질과 상호작용의 중요성]으로부터 눈을 떼게 한다. 학습이 발생하는 학습자와 맥락 사이의 상호작용과 PRI에 초점을 맞추면 결과물보다는 프로세스를 강조하게 된다. 학습의 프로세스는 여러 해가 지나도 여전히 relevant한 평생학습과 매우 관련이 있는 반면, 학습 과정의 결과물은 언제나 한정된 유통기한을 가지고 있다.

It distracts attention from the importance of the quality of the relation and interaction that are vital for workplace learning.13,14 The focus on PRI and interaction between learners and their context that accommodates learning emphasizes process rather than product. This can also be highly relevant in lifelong learning, where the process of learning remains relevant throughout the years,26 whereas the product of the learning process has a constantly elapsing expiration date.

실수

Making mistakes

실수하는 것이 인간의 일부이긴 하지만, 시행착오를 위한 제한된 공간이 있는 의료 훈련 상황에서는 큰 부담이 된다. 수치심, 죄책감, 실수나 실패에 대한 두려움은 다루기 어렵다.

Although making mistakes is part of being human, the stakes are high in medical training situations in which there is limited room for trial and error. Shame, guilt, or fear of mistakes or failure are difficult to deal with.

PRI에 초점을 맞출 때 부정적인 감정을 극복하는 것이 더 쉬울 수 있는데, 그 이유는 "무슨 잘못을 했느냐" 보다는 무슨 일이 일어났고, 어떤 것이 수행과 관련이 있는지를 이해하는 데 초점이 맞추어져 있기 때문이다.

28 van den Eertwegh V, van der Vleuten C, Stalmeijer R, van Dalen J, Scherpbier A, van Dulmen S. Exploring residents’ communication learning process in the workplace: A five-phase model. PLoS One. 2015;10:e0125958.

21 Eva KW, Bordage G, Campbell C, et al. Towards a program of assessment for health professionals: From training into practice. Adv Health Sci Educ Theory Pract. 2016;21:897–913.

Acad Med. 2018 Apr;93(4):556-559. doi: 10.1097/ACM.0000000000001962.

Broadening the Scope of Feedback to Promote Its Relevance to Workplace Learning.

"교육 동맹"의 맥락에서 의과대학생의 피드백 인식과 피드백 행동(Acad Med, 2017)

Medical Student Perceptions of Feedback and Feedback Behaviors Within the Context of the “Educational Alliance”

Lucy Bowen, Michelle Marshall, PhD, and Deborah Murdoch-Eaton, MBBS, FRCPCH, MD

저학년 학생들과 비교했을 때, 졸업에 가까워지는 학생들은 자신의 학습 목표를 평가할 수 있는 능력이 더 크고, 성숙도와 관련된 요소인 자기 주도적 학습에 더 능숙하다.4 따라서 학습자가 성숙함에 따라 자신의 학습에 더 큰 책임을 지고 내부적으로 생성한 피드백에 점점 더 의존해야 한다는 가설이 있다.5–7

Compared with junior students, students nearer completion of training have a greater capacity to assess their own learning goals and are more proficient in self-directed learning, a factor related to their maturity.4 It is therefore hypothesized that as learners mature, they take greater responsibility within their own learning and should rely increasingly on internally generated feedback.5–7

학습 성과를 개선하는 효과적인 피드백을 제공하는 것은 오랫동안 의료 교육의 아킬레스건이었다. 중요한 문제는 제공된 피드백에 대한 학생들의 기억이다.

Providing effective feedback that improves learner performance has long been the Achilles’ heel of medical education. A key issue is the student’s recollection that feedback has been provided.

피드백 발생에 대한 인식은 메시지를 해석하고 이해하기 위한 중요한 전제 조건이지만, 학습자가 피드백을 항상 인식하는 것은 아닐 수 있다.4,11,12

Recognition of feedback occurring is an important prerequisite to interpreting and understanding its message, but learners may not always recognize feedback.4,11,12

이 결과로 6개의 부적응 반응이 발생하는 것으로 개념화되었다.

• 외부 피드백을 무시하거나, 

• 외부 피드백을 거부하거나, 

• 피드백을 무관한 것으로 보거나, 

• 내부와 외부 피드백 간의 관련성을 보지 않거나, 

• 외부 피드백을 내부 판단에 맞게 해석하거나, 

• 피상적인 방식으로 행동하는 등, 

Six maladaptive responses have been conceptualized as occurring as a result of this conflict, including 

• ignoring external feedback, 

• rejecting external feedback, 

• viewing feedback as irrelevant, 

• refusing to see a connection between internal and external feedback, 

• reinterpreting the external feedback to align it with internal judgment, or 

• acting on feedback in a superficial manner.17

McLean et al22는 피드백 개념화를 "telling", "Guiding", "depthing development", "다른 관점을 여는 것"으로 분류한다.

McLean et al22 categorize feedback conceptualizations as “telling,” “guiding,” “developing understanding,” and “opening up a different perspective,”

현재 best practice는 학습자를 피드백의 수동적 수신자로 위치시키고 "너무 교사 중심"이라는 비판을 받아왔다.27-30 그러나 최근에는 피드백을 양방향 대화로 다시 인식함으로써 학습자가 피드백을 받고 행동하는 데 적극적으로 참여하는 것을 더 많이 강조하게 되었다. Beaumont et al는 피드백이란 학습자가 피드백을 구할 시기와 장소를 결정해야 하는 dialogic cycle이라고 설명한다. 이 접근방식에서 학습자는 피드백을 요구하는 성과 영역 쪽으로 교육자를 "cueing"하는 자세를 취해야 하는 학습의 공동 제작자로 간주된다.32

Current best practice approaches position learners as passive receivers of feedback23–25 and have been criticized as “too teacher centred.”26 Reconceptualizing feedback as a two-way conversation has led to a greater emphasis on the learner’s active participation in receiving and acting upon feedback.27–30 Beaumont et al31 describe a dialogic cycle within which the learner must decide when and where to seek feedback. In this approach, learners are seen as coproducers of learning who need to be positioned for “cueing educators” toward areas of performance requiring feedback.32

Method

Setting

The five-year integrated hybrid curriculum is delivered over four phases. 

• Early phases (phases 1 and 2A, years 1 and 2) covering underpinning clinical and medical sciences are predominantly delivered on the university campus. Instruction comes from a defined cohort of university-based teachers responsible for whole student year cohorts and with in-depth curricular knowledge. 

Clinical exposure increases sequentially. 

• For the first half of the third year (phase 2B), small groups of learners are principally placed in hospitals or community health premises, where they are supervised by a multitude of clinicians teaching in their discipline and with less insight into wider curricular detail. 

• Teaching modes transition, with reduced structured learning in lectures and university-based small-group tutorials, and reflect an expectation of increasing self-directed learning responsive to the changing clinical environment as students move through phases 3A, 3B, and 4 (second half of year 3 through year 5).

Feedback map

Study design

For this study, we selected a qualitative methodology based on the principles of grounded theory37 to facilitate a theoretical understanding of students’ perceptions and behaviors toward feedback within the context of the educational alliance. We used the feedback map as a facilitatory tool through which to explore student engagement with the feedback process.

The study was undertaken between February and April 2015. Ethical approval for this study was granted by the University of Sheffield’s ethical review board. 

• An invitation to participate in the study’s focus groups was initially sent to all students, using the communication platform within the VLE and linkage to an online signup. No incentive was offered for participation. 

• We purposively selected study participants by year group from the respondents to be representative of the demographics of their year and the academic population. 

• We held five focus groups, one per year group, to represent students in all phases of the program and allow for exploration of potential maturational differences across the student population.4

Participants attended a briefing session at which they were provided with further written study information including processes for data collection, storage, and anonymization, and a printed copy of the feedback map. 

• After an opportunity for clarification, students signed a study participation consent form, which also stated their potential to withdraw from the study at any time (either through not attending their planned focus group or removal of their data from the study upon request). 

• To prepare for their focus group sessions to be held the following week, they were asked to consider the feedback map and were encouraged to discuss it with their peers. 

• The purpose of this was to ensure a focused and informed discussion to strengthen the data. 

We designed the focus groups to generate multiple perspectives, through both facilitated discussion and spontaneous conversation, and to explore student perceptions as well as the context and circumstances in which their views about feedback have been formed.38,39 

• A primary moderator (L.B.) facilitated discussion, with an assistant recording contemporaneous field notes and observations. 

• The moderator was purposefully selected to be nonthreatening and impartial to the results of the study. 

• The focus group discussion guide included a flexible framework of questions generated from the literature14,28,33,40–43 (see Supplemental Digital Appendix 1 at http://links.lww. com/ACADMED/A435). 

• Introductory questions initiated discussion around feedback and educational relationships, with prompted inquiries around the feedback map content if the areas had not been covered spontaneously. 

• Discussions continued until saturation was reached, with no new content emerging. 

Data analysis

• The primary moderator (L.B.) transcribed the audio-recorded discussions, and included the field notes. 

• The NVIVO software package (version 10, QSR International, London, United Kingdom) was used to assist with data management. 

• The initial scoping analysis (conducted by L.B.) identified key themes. 

• These themes were then refined by the research team (L.B., M.M., D.M.E.), using a constant comparative approach based on the principles of grounded theory,37 to elicit a theoretical understanding from the data. 

• We included systematic and iterative stages within the analysis: 

• (1) comparing themes amongst participants within a group, 

• (2) comparing themes within a group, 

• (3) comparing themes amongst different groups, and 

• (4) comparing themes amongst participants in different groups.44 

• Peer debriefing and reflexive dialogue with the research team took place throughout all stages of the analysis. 

• Two of the research team members were experienced medical educationalists (D.M.E., M.M.), and one was a recent biomedical science graduate who was new to this field (L.B.). 

• Although member checking was not performed, audio recordings were used to check authenticity of the data interpretation. 

• Our analysis focused on core messages, similarities and differences, maturational differences, relationships between themes, commonalities of themes, and conflicting views between participants.

Results

학습 문화

Learning culture

학생들은 임상 학습 환경이 영향력 있는 것으로 확인하였다. [잦은 로테이션과 짧은 배치]는 [의미 있는 교육 관계를 발전]시키는 데 이용 가능한 시간에 영향을 미쳤다. 학습자들은 학생과 지도자의 관계가 성숙해질 때 피드백 질에 대한 향상된 인식을 보고했다.

Students identified clinical learning environments as influential. Frequent rotations and shorter placements affected time available to develop meaningful educational relationships. Learners reported enhanced perceptions of feedback quality when student–supervisor relationships were able to mature.

학생들은 competence에는 중점을 두지만 excellence에는 중점을 두지 않는 학습 문화를 기술했다. 그들의 논평은, 그들이 일단 학습 단계에 만족스럽다고 여겨지는 성과 기준에 도달한 이후에는, 감독자가 추가적인 피드백을 제공하는 것으로 인식될 가능성이 낮다는 것을 보여주었다.

Students described learning cultures focusing on achieving competence but not excellence. Their comments indicated that after they reached a performance standard considered satisfactory for their stage of learning, supervisors were less likely to be recognized as providing additional feedback.

특히 임상 로테이션 중에는, 표준화된 역량 지향 평가 문서의 필수 완료를 반영하는 "tick box" 문화가 있다고 간주하였다. 학생들은 "단순히 동그라미 표를 체크하는지만 보고" 피드백을 "슬쩍 보고 넘기며", "절대 그것을 진지하게 수용하지 않는다"고 말했다(Y3:04:M).

Students considered there to be a “tick-box” culture reflecting the required completion of standardized competency-anchored assessment documentation, particularly during clinical rotations. Students described this as leading learners to “just look at the circles” and “glance over” feedback but “never really take it in” (Y3:04:M).

학습자들은 글로 쓰여진 서면 피드백의 약점을 지적하였는데, 별다른 가치가 없었고, generic nature로 한정되어 있어서 다른 상황으로의 학습의 transference를 제한했다.

Learners expressed the weaknesses of written feedback, as lacking in value and being of a limited generic nature, restricting transference of learning to other situations.

피드백 인식(그림 1)

Recognizing feedback (Figure 1)

피드백을 받고 응답할 수 있는 근본적인 전제조건인 피드백 인식의 challenge는 일부 참가자, 특히 더 저학년 학생의 코멘트에서 설명되었다.

The challenge of feedback recognition, a fundamental prerequisite to receiving and being able to respond to feedback, was illustrated in the comments of some participants, particularly those more junior.

참여자들에게 포커스 그룹 이전에 피드백 맵의 인쇄본을 제공하면서 검토와 반성의 시간을 허용한 것은, 이용 가능한 피드백 기회에 대한 인식을 높이고 토론을 생성한 것이 명백했다. 학생들은 signposting은 학습자가 피드백을 인식하고 들을 수 있도록 더 잘 준비할 수 있는 잠재력을 가지고 있다고 지적했다.

It was apparent that providing participants with a printed copy of the feedback map prior to the focus groups, allowing time for review and reflection, had resulted in an increased awareness of available feedback opportunities and generated discussion. Students indicated that signposting has potential to better prepare learners to recognize and listen for feedback.

학습자의 신념, 태도, 인식

Learner beliefs, attitudes, and perceptions.

데이터는 모든 학년의 학습자들이 실제로 피드백이 어떻게 구성되는지 종종 혼란스러워 한다는 것을 보여주었다. 학생들은 지도에 표시된 만큼의 잠재적으로 이용 가능한 피드백의 양을 받지 못했다고 느꼈다.

data revealed that learners across all program years were often confused about what actually constituted feedback. Students felt they did not receive the amount of feedback potentially available as indicated within the map.

그러나 피드백의 인지과 인식은 학생들이 피드백에 기대하는 것과 그것에 부여하는 중요성에 의해 영향을 받을 수 있다. 일부 학생들은 피드백을 "어떤 것을 적극적으로 듣기보다는 현장에서 signed off 하는 것"이라고 보았다(Y5:02:F).

However, perception and recognition of feedback may be influenced by what students expect and the importance they place upon feedback. Some students viewed feedback as “getting signed off the placement rather than actively hearing something” (Y5:02:F).

관계 

Relationships.

학생들은 감독관들과의 관계를 "주요 결정 요인"이라고 설명했다(Y4:01:M).

Students described their relationships with supervisors as a “major determinant” (Y4:01:M)

의과대학과의 관계도 중요했지만, 일부 저학년 학생들은 [academic entity로서의 의과대학]과 [개인으로서의 감독관]의 역할과 책임의 차이에 대해 잘 알지 못했다.

The student’s relationship with the medical school was also important, although some junior students had a blurred understanding of the difference between the medical school, as an academic entity, and the roles and responsibilities of supervisors as individuals.

교수 특성

Teacher attributes.

학습자들은 교육자들의 노력 수준과 참여에 대한 인식을 바탕으로 신뢰성에 대한 판단을 내렸고, 이것은 피드백과 학습에 참여하려는 동기 부여에 중요한 결과를 낳았다. 학습자들은 "집중하고 있고" "교육적인 관점에서 학생들의 최선의 이익에 기여한다"고 느끼는 교수를 더 높게 평가했다.

Learners made credibility judgments based on perceptions of educators’ effort level and engagement, with important consequences for their motivation to engage with feedback and learning. Learners valued educators who they felt were “focused” and “worked in the students’ best interests from an educational point of view” (Y1:01:M).

피드백 방식

Mode of feedback.

언어적 피드백은 서면 피드백보다 덜 인식되는 것으로 보고되었으며, 특히 임상적 맥락에서 저학년 학생들에 의해 더욱 그러했다. 고학년 학생은 "피드백에 대해 토론하고 명확히 할 수 있는 양방향 대화로서의 결과"라는 구두 피드백의 가능성을 더 자주 확인했다(Y5:01:F).

Verbal feedback was reported to be recognized less than written feedback, particularly by junior students when in a clinical context. More senior students identified the potential for verbal feedback to “result in two-way dialogue where they could discuss and clarify aspects of feedback” (Y5:01:F).

피드백 사용(Figure 2)

Using feedback (Figure 2)

우리는 모든 학년에 걸쳐 학생들이 그들의 피드백을 거의 다시 보거나 관찰하지 않는다는 것을 발견했다. 그러나, 상급 학생들은 [학습자와 교육자 사이의 공유된 책임을 인정하면서], 참여를 입증하는 것이 중요하다는 것을 알아냈다.

We found that students across all years rarely revisited or monitored their feedback. However, senior students identified the importance of demonstrating engagement, recognizing a shared responsibility between learner and educator.

학습자 신념, 태도, 인식

Learner beliefs, attitudes, and perceptions.

많은 학생들이 참여 부족과 무관심을 보고했다. 저학년은 피드백을 이용하도록 동기를 부여하는 것이 의과 대학의 책임이라고 생각했다; 몇몇은 단순히 평가에서 요구되는 최소 기준을 알고 싶어 했다. 일부 학생들은 피드백을 받는 것이 인센티브가 되어야 한다고 제안했다.

Many students reported a lack of engagement and sense of apathy. Junior students felt it was the medical school’s responsibility to motivate them to use feedback; some were focused on wanting to simply know the minimum standard required within assessments. Some students suggested that engaging with feedback should be incentivized.

다른 이들은 피드백을 포함한 학습 기회에 대한 그들의 행동에 영향을 미치는 가장 큰 장벽을 "유용성"에 대한 그들의 인식이라고 생각했다.

Others considered the biggest barrier affecting their behaviors toward learning opportunities, including feedback, to be their perceptions of “usefulness.”

특히 참여와 학습자 행동과 관련하여 학년마다 성숙도에 따른 뚜렷한 차이가 있었다. 고학년 학생들은 추가적인 자기 주도적 접근법을 표현했고, 저학년보다 피드백을 사용할 가능성이 더 높았다.

Distinct maturational differences were evident across the study cohort, particularly regarding engagement and learner behaviors: Senior students articulated an additional self-directed approach and were more likely than junior students to use feedback.

교수 특성

Teacher attributes.

신뢰성 판단은 학생들의 피드백 사용 가능성에 영향을 미쳤다. 교육자들이 "조직화된 시스템"을 가지고 있는 것을 보았을 때, 학습자들은 "progression"을 볼 수 있고 "실제로 그것을 하는 것을 볼 수 있다"고 느꼈다. (Y3:02:M)

Credibility judgments affected students’ likelihood of using feedback. When educators were seen to have an “organized system,” learners felt they could see their “progression” and they could “actually see the use of doing it” (Y3:02:M).

서면 내용에서는, 서로 동일한 피드백을 받는 학생들 사이에서 상당한 불만을 발견했다.

We found significant dissatisfaction amongst students receiving the same feedback as each other, particularly in written content;

학생들은 감독관이 개인적인 수준에서 이해한다고 느꼈을 때 높이 평가하였는데, 이는 감독관들이 학생들이 개선하는데 필요한 기술과 지식을 더 잘 이해할 수 있다는 인식을 반영한다.

Supervisors were valued when students felt understood by them on a personal level, reflecting a perception that the supervisors were better able to understand the skills and knowledge required for the students to improve.

피드백 방식

Mode of feedback.

Senior participants observed that the feedback map could be useful for realigning expectations and encouraging proactivity in seeking feedback.

교수 특성

Teacher attributes.

상사의 접근가능성은 피드백을 추구하는 행동을 촉진하는 데 중요한 요소였으며, 현장에서의 가변성이 형성된 교육 동맹 관계에 영향을 미쳤다고 보고되었다. 지도자의 태도는 학습자 참여에 중요한 결과를 가져왔다. 학생들이 devalue되었다고 느낀다면, 그들은 피드백에 덜 참여하게 되고, 따라서 그것을 탐색할 가능성이 줄어들었다.

The supervisor’s approachability was a crucial factor in facilitating feedback-seeking behaviors, and reported variability whilst on placement had an impact on the educational alliance relationships formed. Supervisor attitudes had significant consequences for learner engagement: If students felt devalued, they became less engaged with feedback and were therefore less likely to seek it.

관계

Relationships.

학생들이 상사와 좋은 관계를 갖는다면, 그들은 더 많은 피드백을 요청할 수 있을 것이다. 교육자들이 이 관계에 노력을 기울이는 것으로 인식되었을 때, 학생들은 긍정적인 반응을 보였고, 그 피드백에 더 많이 참여했으며, 감독자를 신뢰할 수 있는 사람으로 생각했다.

If students had a good relationship with their supervisor, they were more likely to be able to ask for feedback. When educators were perceived as putting effort into the relationship, students reacted positively, were more engaged with the feedback, and considered the supervisor as credible.

고찰

Discussion

[학습자의 피드백 읽고 쓰는 능력을 향상시키는 데 초점을 맞추고, 학습자가 자신의 개인적 학습 요구와 관련된 피드백을 인식하고 탐색할 수 있도록 하는 것]은 관심을 필요로 하는 교육동맹의 주요 측면으로 보인다. 관계를 개선함으로써 학습자가 피드백을 인식하는 방법에 영향을 미칠 수 있지만, 아마도 더 중요한 것은 다양한 학습 문화 내에서 받은 피드백의 가변적variable 퀄리티에 적응할 수 있는 힘을 부여하는 것이다. 이것은 학생들이 nonideal한 직장의 현실에 직면했을 때 그들 자신의 학습을 책임질 수 있도록 하는 것을 포함한다.

Shifting focus to enhancing learners’ feedback literacy skills, to enable them to recognize and seek out feedback relevant to their own personal learning needs, would seem to be the key aspect of the educational alliance in need of attention. Whilst improved relationships might influence how feedback is perceived by learners, perhaps more essential is empowering learners to adapt to the variable quality of feedback received within diverse learning cultures. This involves empowering students to take charge of their own learning when faced with the reality of a nonideal workplace.

Acad Med. 2017 Sep;92(9):1303-1312. doi: 10.1097/ACM.0000000000001632.

Medical Student Perceptions of Feedback and Feedback Behaviors Within the Context of the "Educational Alliance".

R2C2: 전공의 피드백과 코칭을 위한 근거기반모델(J Grad Med Educ, 2017)

R2C2 in Action: Testing an Evidence-Based Model to Facilitate Feedback and Coaching in Residency

Joan Sargeant, PhD

Karen Mann, PhD

Sarah Manos, MD, FRCP(C)

Ian Epstein, MD, FRCPC

Andrew Warren, MD, MSc, FRCPC

Cindy Shearer, PhD

Michelle Boudreau, MA

도입

Introduction

이 모델은 3가지 이론적 관점에서 기초한다: 휴머니즘과 인간 중심적 접근, informed 또는 guided 자기 평가, 그리고 행동 변화의 과학.19 4단계는 다음을 포함한다. 

(1) 라뽀 및 관계 구축 

(2) 피드백에 대한 반응 탐색 

(3) 피드백 내용 탐색 

(4) 변화 코칭 

The model is founded in 3 theoretical perspectives: humanism and person-centered approaches,17 informed or guided self-assessment,18 and the science of behavioral change.19 The 4 phases include 

(1) rapport and relationship building; 

(2) exploring reactions to feedback; 

(3) exploring feedback content; and 

(4) coaching for change. 

이 모델을 R2C2(관계, 반응, 내용, 코칭)라고 한다.

The model is referred to as R2C2 (relationship, reaction, content, coaching).

기존 피드백 모델에 R2C2는 몇 가지 기능을 추가한다.

• 관계 수립 

• 일방적인 전달보다는 피드백 대화 작성에 초점을 맞춘다. 

• 학습자의 성과 데이터에 능동적으로 참여시키고, 그리고 

• 감독자가 코칭할 수 있도록 한다.

To existing models of feedback, R2C2 adds several features: 

• establishing rapport; 

• focusing on creation of a feedback conversation rather than a 1-way delivery; 

• actively engaging learners in their performance data and in reflection; and 

• enabling supervisors to coach.

우리는 교육에서의 코칭의 정의를 사용한다: "[자신 인식과 개인적 책임감을 증가시킴으로써 학습과 발전을 증진시키는데 초점을 맞춘 1:1 대화]로서, 코치가 지지적이고 encouraging한 분위기 속에서 질문, 적극적인 경청, 그리고 적절한 도전을 통해 피코치에 대한 자기 주도적인 학습을 촉진하는 것"21(p17)

We use a definition of coaching from education: ‘‘a 1-to-1 conversation focused on the enhancement of learning and development through increasing self-awareness and a sense of personal responsibility, where the coach facilitates the self-directed learning of the coachee through questioning, active listening, and appropriate challenge in a supportive and encouraging climate.’’21(p17)

Methods

Design

Recruitment

Supervisor Preparation

Data Collection

Analysis

• We used template analysis to examine the feedback session transcripts, specifically to determine the use of the model overall and each phase, and to identify helpful phrases used in each phase.23,24 

• Template analysis is appropriate when using an a priori coding structure to guide the analysis. 

• The 4 stages of the R2C2 model comprised our template, and through analysis, we identified in each feedback interview the extent to which each phase was used, particular phrases used by supervisors, and residents’ responses to them. 

• We used thematic analysis for the debrief transcripts to identify strengths and limitations of the model and factors that influenced its use.25

결과

Results

일반적으로 모든 네 phase에 걸쳐 R2C2 모델을 지지

Overall, the small group of participating supervisors and residents expressed general support for the R2C2 model and reported using all 4 phases. The BOX provides sample phrases used in each phase.

Phase 1: Rapport and Relationship Building

1단계: Rapport 및 Relationship Building

1단계의 목표는 레지던트를 참여시키고 관계와 신뢰를 구축하는 것이었다. 몇몇 감독관들은 그들이 거주자들을 잘 안다고 보도했지만, 대부분은 관계를 더 발전시키기 위해 특정한 표현을 사용했다. 그들은 3가지 관계 구축 전략을 사용하는 것 같았다. 

The goal of Phase 1 was to engage the resident and build the relationship and trust. While several supervisors reported that they knew the residents well, most used specific phrases to further build the relationship. They appeared to use 3 relationship-building strategies. 

• The first, as reported in the BOX, was to engage the resident in the feedback conversation and learn his or her perspectives about progress and past experience. 

• The second was to confirm and support the resident’s perspectives, using phrases like ‘‘I still find that challenging’’ and ‘‘I find the more you do, the more comfortable you get’’ (S01). 

• The third was providing positive feedback: ‘‘You did very well with time management’’ (S02) and ‘‘In terms of communication . . . I think you really have a nice way with families’’ (S04).

• 첫 번째는 BOX에 보고된 바와 같이 레지던트를 피드백 대화에 참여시키고 진행상황과 과거 경험에 대한 그들의 관점을 배우는 것이었다. 

• 두 번째 방법은 "나도 여전히 그 그것이 쉽지 않다"와 "네가 더 많이 할수록 더 편안하게 느낄 것이다"와 같은 문구를 사용하여 레지던트의 관점을 확인해주고 지지해주는 것이었다. 

• 세 번째는 "시간관리도 잘했다" (S02)와 "소통도 잘했다. 가족과 함께 정말 좋은 길을 가고 있다고 생각한다." (S04)와 같은 긍정적 피드백을 주는 것이다.

2단계: 피드백에 대한 반응 탐색

Phase 2: Exploring Reactions to Feedback

2단계의 목적은 평가 보고서 및 피드백에 대한 레지던트의 반응을 조사하는 것이었다. 질문들은 레지던트들에게 그들이 어떻게 행동하고 있는지를 성찰해보게 하고, 그리고 자신의 행동과 피드백을 비교해보도록 격려했다. 예를 들어, "이 평가에서 여러분을 놀라게 한 것이 있었는가 아니면 그러한 피드백을 상당히 기대하고 있었는가?" (S03)

The purpose of Phase 2 was to explore residents’ reactions to their assessment report and feedback. Questions encouraged residents to reflect on and compare how they thought they were doing and their feedback. For example, ‘‘Was there anything in this evaluation that surprised you or were you pretty much expecting that sort of feedback?’’ (S03)

3단계: 피드백 콘텐츠 탐색

Phase 3: Exploring Feedback Content

3단계에서 관리자들은 레지던트와 함께 보고서의 특정 피드백을 검토하고 확인함으로써 그들이 그것을 이해했는지 확인한다. 우리의 연구에서 감독자들은 또한 이 단계를 사용하여 보다 완벽한 피드백을 제공하게 되며, 레지던트와 함께 평가를 confirm하였다.

In Phase 3, supervisors reviewed and confirmed the specific feedback in the report with residents to ensure that they understood it. In our study, supervisors also used this phase to provide more complete feedback and confirm their assessments with those of the resident:

4단계: 변화를 위한 코칭

Phase 4: Coaching for Change

4단계의 목적은 최소 1개의 퍼포먼스 갭을 확인하고 이를 해결하기 위한 계획을 개발하기 위한 것이었다. 그들은 그들을 목표와 그것을 달성할 방법(예: 시간 관리, 주니어 학습자 교육, 환자 및 가족 커뮤니케이션)을 식별했다. 3단계와 4단계는 종종 겹친다. 감독자와 레지던트는 4단계가 구체적인 조치에 대한 계획이 필요하기 때문에 가장 유용한 단계라고 확인하였다. 감독자들은 (매우 잘 하는 학생일지라도) 반성을 촉진하고 목표 설정을 안내하기 위해 촉진 코칭 접근법을 사용했다.

The purpose of Phase 4 was for the supervisor and resident together to identify at least 1 gap in performance and develop a plan to address it. They identified goals and ways to meet them (eg, time management, teaching junior learners, patient and family communication). Phases 3 and 4 often overlapped. Supervisors and residents identified Phase 4 as the most useful phase because it required planning for specific action. Supervisors used facilitative coaching approaches to promote reflection (even for students doing very well) and to guide goal setting:

전반적인 반응

Responses to R2C2 Model as a Whole

여기에 참여한 레지던트 및 감독자 그룹은 R2C2 모델이 레지던트의 평가, 피드백 및 목표에 대한 논의에 참여하는데 도움이 된다는 것을 발견했다. 감독관들은 피드백 대화를 위한 구조를 갖는 것을 높이 평가했고, 또한 4단계가 반복적으로 사용될 수 있다는 점에 주목했다. 그들은 지도할 기회를 긍정적으로 평가했으며, 특히 대화에 레지던트를 참여시키고, 성찰을 촉진하고, 목표를 파악하고, 계획을 개발할 기회가 있다는 것에 만족했다. 그들은 이 모델이 그렇지 않았더라면 간과되었을 개선 영역을 식별할 수 있을 뿐만 아니라, 잘 하고 있다고 생각해온 레지던트들과 함께 일할 때에도 유용하다는 것을 알았다.

The small group of participating residents and supervisors found the R2C2 model helpful in engaging residents in discussions about their assessment, feedback, and goals. Supervisors valued having a structure for feedback conversations, and also noted that the 4 phases could be used iteratively. They appreciated the opportunity to coach and specifically to engage the resident in conversation, promote reflection, identify a goal, and develop a plan. They found the model useful when working with residents who were doing well as it allowed for identifying areas for enhancement that might otherwise have been overlooked.

레지던트들은 그 모델이 유용하고 편안한 대화를 할 수 있다는 데 동의했다. 그들은 특히 상사와 함께 일하는 것에 대해 감사했다.

Residents agreed that the model enabled a helpful and comfortable conversation. They especially appreciated working collaboratively with the supervisor.

감독관들과 레지던트들 모두 R2C2 사용 시 당면과제에 대해 논의하였다. 그들은 각자가 피드백 세션을 준비하기 위해 미리 평가 보고서를 검토해야 할 필요성을 확인하였으나, 평가 테크놀로지는 레지던트가 자신의 보고서를 미리 볼 수 있도록 허용하지 않았다. 감독관들은 R2C2 모델의 사용법을 배울 시간이 필요하다고 언급했다. 그러나 다른 새로운 스킬과 마찬가지로, 반복적을 사용하면서 더 쉬워졌으며, 세세한 안내책자는 도움이 되는 안내서였다.

Both supervisors and residents discussed challenges in using R2C2. They identified the need for each to review the assessment report ahead of time to prepare for the feedback session, yet the assessment technology did not allow residents to view their reports beforehand. Supervisors noted that they needed to make time to learn to use the R2C2 model. As with any newskill, though, repeated use made it easier, and the trifold brochure was a helpful guide.

고찰

Discussion

아마도 가장 주목할 만한 발견은 피드백 토론에 참여하는 보고에서 레지던트와 상사의 일관성일 것이다. 일반적으로, 그들은 레지던트의 성과를 검토하고 개선을 위한 목표를 확인하기 위해 협력했다. 그들은 4단계 코칭이 생산적인 협업 작업을 가능하게 한 가장 유용하고 새로운 단계라고 설명했다. 이러한 연구 결과는 협력적 학습 관계를 지원하는 이전의 연구 결과와 일치하며, 피드백을 제공하고 받는 감독자 및 레지던트의 불안을 줄일 수 있는 가능성을 가지고 있다.12,15

Perhaps the most compelling finding was residents’ and supervisors’ consistency in reporting being engaged in the feedback discussions. In general, they worked collaboratively to review residents’ performance and identify goals for improvement. They described Phase 4, coaching, as the most helpful and novel phase as it enabled productive collaborative work. Such findings are consistent with earlier work that supports collaborative learning relationships,15 with the potential for reducing supervisor and resident anxiety in providing and receiving feedback.12,15

레지던트 및 감독자 모두 R2C2와 같은 반사 모델을 [정의된defined 코칭 단계에 사용하는 것이 피드백을 제공하고 받는 것]에 대해 이전과는 다르게 생각하게 만든다고 보았다. 피드백 대화를 개선을 위한 코칭 기회로 만드는 것은 피드백에 긍정적인 빛을 비추는 것처럼 보였다.

Both residents and supervisors observed that using a reflective model like R2C2 with a defined coaching phase prompted them to think differently about providing and receiving feedback. Framing feedback conversations as opportunities to coach for improvement seemed to shine a positive light on feedback.

J Grad Med Educ. 2017 Apr;9(2):165-170. doi: 10.4300/JGME-D-16-00398.1.

R2C2 in Action: Testing an Evidence-Based Model to Facilitate Feedback and Coaching in Residency.

PBL의 효과: 평가의 관점에서 메타분석(Review of Educational Research, 2005)

Effects of Problem-Based Learning: A Meta-Analysis From the Angle of Assessment

David Gijbels University of Antwerp

Filip Dochy University of Leuven

Piet Van den Bossche University of Maastricht

Mien Segers University of Leiden and University of Maastricht

PBL

Problem-Based Learning

캐나다에서 그 당시 의학교육의 일반적인 관행에 대한 불만으로 50년대와 60년대에 개발되었다.

PBL, as it is known today, originated in Canada in the 1950s and 1960s in response to dissatisfaction with common practices in medical education there (Barrows, 1996).

정의

Definition

문헌에서, PBL은 다양한 방법으로 정의되고 기술되어 왔다. PBL은 학습과 가르침의 많은 부분을 구체적인 문제에 anchor시키는 교육에 대한 많은 상황별 접근법을 언급하는데 사용된다(Evenson & Hmelo, 2000). 대부분의 PBL 정의에서 구체적인 문제에 초점을 맞추어 학습 프로세스를 시작하는 것을 핵심으로 말한다

In the literature, PBL has been defined and described in various ways. PBL is used to refer to many contextualized approaches to instruction that anchor much of learning and teaching in concrete problems (Evenson & Hmelo, 2000). This focus on concrete problems as initiating the learning process is central in most definitions of PBL.

Vernon과 Blake (1993, 페이지 550)는 PBL을 정의했다 : "다음을 강조하는 학습(또는 교육) 방법

(1) (실제 또는 가상의) 임상 사례에 대한 연구 

(2) 소규모 토론 그룹,

(3) 협력적 독립 연구, 

(4) 가설-연역적 추론 

(5) 정보전달보다는 그룹 progress에 집중하는 교수 지도 스타일. 

Vernon and Blake (1993, p. 550) defined PBL : “a method of learning (or teaching) that emphasizes

(1) the study of clinical cases, either real or hypothetical, 

(2) small discussion groups,

(3) collaborative independent study, 

(4) hypothetico-deductive reasoning, and 

(5) a style of faculty direction that concentrates on group progress rather than imparting information.” 

이 정의의 범위는 하나의 보편적인 정의를 내리는 것이 얼마나 어려운지를 보여준다. (Chen, Cowdroy, Kingsland, and Ostwald, 1995)

This range of definitions illustrates how difficult it is to come to one universal definition (Chen, Cowdroy, Kingsland, & Ostwald, 1995).

Savin-Baden(2000)은 PBL의 특성은 좁게 정의되지 않으며, 다양한 PBL 접근을 사용하는 다양한 상황에서 일하는 사람들이 있다고 주장한다.

Savin-Baden (2000) argues that there simply are no narrowly defined characteristics of PBL, only people working in various contexts using various PBL-approaches.

Barrows(1996)는 McMaster University의 원래 방법을 기반으로 핵심 모델을 개발했다. 의학 교육의 맥락에서 유래된 맥매스터 접근법은 많은 다른 맥락에서 확고한 기초가 되었다. (Boud & Felti, 1997) Barrows의(1996) 핵심 모델은 PBL의 6가지 핵심 특성을 설명한다.

Barrows (1996) developed a core model based on the original method from McMaster University. The McMaster approach that originated in the context of medical education has served as a robust basis for many other contexts (Boud & Feletti, 1997). Barrows’s (1996) core model describes six core characteristics of PBL:

1. 배움은 학생 중심이다.

2. 배움은 소그룹 학생 집단에서 일어난다.

3. 지도교사가 조력자 또는 안내자로 참석한다.

4. Authentic 문제는 학습 전 또는 준비단계와 같이 학습 시퀀스의 시작 부분에 나타난다.

5. 마주친 문제들은 결국 문제를 해결하는 데 필요한 지식과 문제 해결 능력을 얻기 위한 도구로 사용된다.

6. 자기 주도적 학습을 통해 새로운 정보를 얻는다.

1. Learning is student-centered.

2. Learning occurs in small student groups.

3. A tutor is present as a facilitator or guide.

4. Authentic problems are presented at the beginning of the learning sequence, before any preparation or study has occurred.

5. The problems encountered are used as tools to achieve the required knowledge and the problem-solving skills necessary to eventually solve the problems.

6. New information is acquired through self-directed learning.

PBL의 정의가 애매한 것과 마찬가지로, 기존의 강의 기반 프로그램의 구성에 대한 정의도 모호하다는 점에 유의해야 한다. 대부분의 경우 기존 교육은 대규모 그룹 강의와 강사가 제공하는 학습 목표와 과제에 의해 결정된다(Albanese & Mitchell, 1993년).

It should be noted that, just as the definition of PBL is ambiguous, so too is the definition of what constitutes a conventional lecture-based program. For the most part, conventional instruction is marked by large group lectures and instructor provided learning objectives and assignments (Albanese & Mitchell, 1993).

PBL의 주요 목적

Main Goals of PBL

고등교육의 문제 기반 학습 환경은 학생들이 학문 분야의 전문가가 되도록 유도하기 위한 것이며, 이는 discipline과 관련된 문제를 식별하고, 해결책을 분석하고, 기여할 수 있다.

Problem-based learning environments in higher education are intended to guide students to become experts in a field of study, capable of identifying the problems of the discipline and analyzing and contributing to the solutions.

전문가 성과에 대한 두 가지 일반적인 특성을 확인할 수 있다(Feltovich, Spiro, & Coulson, 1993; Gagné et al., 1993; Glaser, 1990).

Two general characteristics of expert performance can be identified (Feltovich, Spiro, & Coulson, 1993; Gagné et al., 1993; Glaser, 1990):

1. 전문가들은 논리정연한 지식을 가지고 있다. 

1. Experts possess coherent knowledge. 

그들은 주요 현상과 그들의 관계를 정확하게 나타내는 도메인에서 개념과 원칙의 잘 구성된 네트워크를 장악하고 있다. 이와는 대조적으로, 초보자들의 지식은 기본적인 원칙과 패턴을 이해하지 못하는 분절된 정의들로 구성되어 있다.

They have command of a well-structured network of concepts and principles in the domain that accurately represents key phenomena and their relationships. In contrast, beginners’ knowledge is patchy, consisting of isolated definitions without an understanding of underlying principles and patterns.

2. 전문가들은 새로운 문제를 기술하고 해결하기 위해 관련 지식 요소를 사용하는 방법을 알고 있다.

2. Experts know how to use the relevant elements of knowledge in a flexible way to describe and solve novel problems.

글레이저(1990, 페이지 447)가 지적한 바와 같이, "전문가 및 초보자는 특정 정보 항목의 리콜에 있어 동등하게 유능할 수 있지만, 더 많은 경험이란 이러한 아이템들을 문제 해결의 목표와 행동 조건과 관련지을 수 있는 것이다." 초심자는 종종 사실, 개념 및 원칙을 [적용하는 조건]과 [가장 효과적으로 사용할 수 있는 방법]은 모른 채로 사실적 지식만을 알고 있다.

As Glaser (1990, p. 447) noted, “experts and novices may be equally competent at recalling specific items of information, but the more experienced relate these items to the goals of problem solution and conditions for action.” Novices often know facts, concepts, and principles without knowing the conditions under which they apply and how they can be used most effectively.

PBL의 효과

Effects of PBL

PBL의 도입을 심사숙고한다면, 중요한 질문은 PBL을 사용하는 학생들이 전통적인 교육을 받은 학생들보다 더 효과적인 방법으로 목표에 도달하는가 하는 것이다. 알바네즈와 미첼(1993, 페이지 56)은 다음과 같이 질문을 제기하였다. 

If one ponders the implementation of PBL, a major question is: Do students who use PBL reach the goal in a more effective way than students who receive conventional instruction? Albanese and Mitchell (1993, p. 56) posed the question this way: 

"뭉뚱그려 말해보자면, 문제 기반 학습이 단순히 같은 결과를 달성하는 또 다른 방법이라면, 왜 고통스러운 커리큘럼 개정에 드는 비용과 노력을 들여야 하는가?"

“Stated bluntly, if problem-based learning is simply another route to achieving the same product, why bother with the expense and effort of undertaking a painful curriculum revision?”

알바니아인과 미첼(1993)의 리뷰는 아마도 가장 잘 알려져 있을 것이다.

The review by Albanese and Mitchell (1993) is probably the best known.

이 검토의 주요 결과는 

(a) 학생들은 PBL이 기존의 교육보다 더 nurturing하고 즐거운 것임을 알게 되었다. 

(b) PBL 졸업생은 기존 교육을 받은 학생보다 임상시험 및 교수진 평가에서 더 잘 수행했다. 

The main results of this review were that 

(a) students found PBL to be more nurturing and enjoyable than conventional instruction, and 

(b) PBL graduates performed as well, and sometimes better, on clinical examinations and faculty evaluations than did students who had received conventional instruction. 

그러나 PBL 학생들은 기초과학 시험에서 낮은 점수를 받았으며, 그들 스스로는 전통적으로 훈련된 다른 학생들과 비교했을 때 기초과학에서 준비가 덜 되어 있다고 생각했다. 더욱이, PBL 졸업생들은 전문가들이 관여하는 전향적인 추론보다는 오히려 역추론에 참여하는 경향이 있었다. 마지막으로, 학생 수가 100명을 초과할 때 PBL의 비용은 높았다.

However, PBL students scored lower on basic science examinations and viewed themselves as less well prepared in the basic sciences in comparison with their conventionally trained counterparts. Furthermore, PBL graduates tended to engage in backward reasoning rather than the forward reasoning that experts engage in. Finally, the costs of PBL were high when class sizes exceeded 100.

(1993), Vernon and Blake

PBL은 자신의 프로그램에 대한 학생들의 태도와 의견과 학생들의 임상 성적 측정 면에서 상당히 우수한 것으로 밝혀졌다. 이전의 검토 결과와는 달리, 사실 및 임상 지식에 대한 다양한 테스트에서 PBL 학생들의 점수는 전통적인 방식으로 학습한 학생들의 점수와 크게 다르지 않았다.

PBL was found to be significantly superior with respect to students’ attitudes and opinions about their programs and with respect to measures of students’ clinical performance. Contrary to the previous review findings, the scores of PBL students on miscellaneous tests of factual and clinical knowledge were not significantly different from the scores of conventionally taught students.

Berkson (1993)

그 결과는 PBL 졸업생과 기존 교수진 간의 차이를 보여주지 못했지만, PBL은 학생과 교수진 모두에게 스트레스를 주었고 터무니없이 비싼 것으로 보였다.

The results showed no distinction between graduates of PBL and conventional instruction, but PBL was stressful for both students and faculty and appeared to be unreasonably expensive.

Colliver는 PBL이 학생들의 지식 기반이나 임상적 성과를 향상시킨다는 설득력 있는 증거는 없다고 결론짓는다. 적어도 PBL 커리큘럼에 필요한 자원을 감안할 때, 그 정도만큼은 아닐 것이다. 그럼에도 불구하고, PBL은 의료 교육에 대해 더 도전적이고, 동기 부여적이며, 즐거운 접근방법을 제공할 수 있다.

Colliver concludes that there is no convincing evidence that PBL improves students’ knowledge base or clinical performance, at least not of the magnitude that would be expected given the resources required for a PBL curriculum. Nevertheless, PBL may provide a more challenging, motivating, and enjoyable approach to medical education.

Dochy et al. (2003)

그들의 메타 분석 결과는 문제 기반 학습이 학생들의 지식 적용에 통계적으로 그리고 실질적으로 중요한 긍정적인 영향을 미친다는 것을 암시한다. 문제 기반 학습이 학생들의 지식 기반에 미치는 영향은 부정적이다.

The results of their meta-analysis suggest that problem-based learning has statistically and practically significant positive effects on the students’ knowledge application. The effect of problem-based learning on the knowledge base of students tends to be negative.

PBL의 평가

Assessment in Problem-Based Learning

PBL에서 학습하는 학생들을 평가하기 위해 전통적인 객관식 시험과 논술 시험에서부터 사례 기반 평가, 자기 및 동료 평가, 성과 기반 평가 및 포트폴리오 평가와 같은 새로운 평가 기법에 이르기까지 매우 다양한 방법이 사용되었다.

Widely varied methods have been used to assess students learning in PBL, from traditional multiple-choice exams and essay exams to new assessment techniques such as case-based assessment, self and peer assessment, performance based assessment, and portfolio assessment.

이제는 7번째 특성을 Barrows의 PBL의 핵심 모델인 PBL의 6가지 특징에 더해야 한다는 것이 일반적으로 인식되고 있다. 즉, PBL에서는 학생들이 대표적인representative 문제를 분석하고 해결함으로써 배우는 것이 필수적이다. 결과적으로, 타당한 평가 시스템은 PBL 환경과 일치하는 평가 환경에서 학생들의 문제 해결 능력을 평가할 것이다. 이는 PBL의 평가가 지식 기반(의 조직화)과 학생의 문제 해결 기술을 모두 고려해야 한다는 것을 의미한다(Segers et al., 2003).

It is now generally recognized that a seventh characteristic should be added to the six characteristics in Barrows’s (1996) core model of PBL: That is, it is essential to PBL that students to learn by analyzing and solving representative problems. Consequently, a valid assessment system would evaluate students’ problem-solving competencies in an assessment environment that is congruent with the PBL environment. This means that assessment in PBL should take into account both the organization of the knowledge base and the students’ problemsolving skills (Segers et al., 2003).

다음을 함의한다

implies the following:

1. 학생들의 문제해결 능력은 authentic 평가 환경에서 평가되어야 한다. 즉, authentic 평가 과제나 문제를 이용하여 평가된다. (Baxter & Shavelson, 1994; Shavelson, Gao, 1996)

1. Students’ problem-solving skills are evaluated in an authentic assessment environment, i.e., using authentic assessment tasks or problems (Baxter & Shavelson, 1994; Shavelson, Gao, & Baxter 1996).

2. Authentic 문제는 학생들에게 novel해야 하며, 이로서 학생들이 이전에 습득한 지식과 기술을 전이하여, 문제 해결뿐만 아니라 상황 요소가 문제 분석에 미치는 영향에 대한 이해를 보여주도록 요구해야 한다. (Birenbaum & Dochy, 1996)

2. The authentic problems are novel to the students, asking them to transfer knowledge and skills acquired previously and to demonstrate understanding of the influence of contextual factors on problem analysis as well as on problem solving (Birenbaum & Dochy, 1996).

3. 문제 분석 평가 과제는 학생들이 다양한 관련 관점을 바탕으로 자신의 생각을 주장하도록 요구한다(Segers, 1997).

3. The problem-analysis assessment tasks ask students to argue for their ideas on the basis of various relevant perspectives (Segers, 1997).

4. 시험항목은 개별 개념에 대한 지식 이상의 것을 요구한다. 통합지식, 관련 아이디어와 개념의 통합을 요구하는 것 등이 강조된다. 실생활 문제는 대부분 다차원적이며, 따라서 한 연구분야에 다양한 분야를 통합하기 때문에 평가는 이러한 통합적 특성의 문제에 초점을 맞춘다(Segers, 1997년).

4. The test items ask for more than the knowledge of separate concepts: Integrative knowledge, requiring the integration of relevant ideas and concepts, is stressed. Because real-life problems are mostly multidimensional and, as such, integrate various disciplines within one field of study, assessment focuses on problems with this integrative characteristic (Segers, 1997).

5. 핵심은 [문제 해결을 위한 지식의 적용]에 대한 평가이다.

5. Assessment of the application of knowledge in problem solving is the heart of the matter.

문제해결의 이론적 프레임워크

Theoretical Framework on Problem Solving

문제 해결에 대한 Sugrue의 이해에 대한 이전의 구절은 문제 해결 평가에 의해 대상이 될 수 있는 지식 구조의 세 가지 측면 사이의 구분을 뒷받침한다.

The preceding paraphrase of Sugrue’s understanding of problem solving supports a distinction between three aspects of the knowledge structure that can be targeted by assessment of problem solving.

첫째, 개념에 대한 이해는 "attributes이나 properties을 정의하고, 동일한 이름으로 식별되는 객체, 이벤트, 사람, 기호 또는 아이디어의 범주"로 정의될 수 있다(Sugrue, 1993, 페이지 9). 그것은 인지심리학자들이 소위 말하는 선언적 지식의 범주에 속한다.

First, the understanding of concepts, which can be defined as “a category of objects, events, people, symbols or ideas that share common defining attributes or properties and are identified by the same name” (Sugrue, 1993, p. 9). It belongs to the category of what cognitive psychologists have called declarative knowledge.

다음으로, (개념을 연결하는) 원리에 대한 이해는 구별되어야 한다. Sugrue (9페이지)는 원칙을 다음과 같이 정의했다. "둘 이상의 개념 사이의 관계(흔히 인과 관계)를 특징짓는 규칙, 법, 공식 또는 if-then statement. Principles는 문제를 해석하고, 행동을 guide하고, 시스템을 문제 해결하며, 왜 어떤 일이 발생했는지 설명하거나, 일부 개념의 변경이 다른 개념에 미치는 영향을 예측하는 데 사용될 수 있다" If-then production rule또는 단계적 순서는 절차적 지식이라고 부르는 경우가 많았다(Anderson, Reynolds, Schallert, and Goetz, 1977년).

Next, understanding of the principles that link concepts should be distinguished. Sugrue (p. 9) defined a principle as “a rule, law, formula, or if-then statement that characterizes the relationship (often causal) between two or more concepts. Principles can be used to interpret problems, to guide actions, to troubleshoot systems, to explain why something happened, or to predict the effect a change in some concept(s) will have on other concepts.” If-then production rules or sequences of steps have often been called procedural knowledge (Anderson, Reynolds, Schallert, & Goetz, 1977).

마지막으로 개념과 원칙을 적용을 위해 조건 및 절차에 연결하는 것 또한 평가에 의해 목표가 되어야 한다. 

• "절차"는 "개념의 인스턴스를 분류하거나 개념의 상태를 변경하여 다른 것을 변경하기 위해 수행할 수 있는 단계 집합"으로 정의한다(Sugrue, 페이지 22). 

• "조건"은 "개념의 인스턴스(instance)의 존재를 나타내는 환경 범위 및/또는 원칙이 작동 중이거나 적용될 수 있거나 특정 절차가 적절하다"로 정의된다(Sugrue, 페이지 22). 

...조건적 지식의 범주에 넣을 수 있다(Paris, Lipson, and Wixson, 1983) 

Finally, the linking of concepts and principles to conditions and procedures for application should also be targeted by assessment. 

• A “procedure” defined as “a set of steps that can be carried out either to classify an instance of a concept or to change the state of a concept to effect a change in another” (Sugrue, p. 22) and 

• “conditions” defined as “aspects of the environment that indicate the existence of an instance of a concept, and/or that a principle is operating or can be applied and/or that a particular procedure is appropriate” (Sugrue, p. 22) 

...can be placed in the category of conditional knowledge (Paris, Lipson, & Wixson, 1983). 

지식 구조의 마지막 측면(응용을 위해 조건 및 절차에 개념과 원칙을 연결하는 것)에서 선언적 지식은 절차적 지식에 캡슐화된다.

In this final aspect of the knowledge structure—linking of concepts and principles to conditions and procedures for application—declarative knowledge becomes encapsulated in procedural knowledge.

연구질문

Research Questions

Using Sugrue’s model (1993, 1995) as a frame of reference, the research questions can be formulated as follows: What are the effects of PBL when the assessment of its main goals focuses respectively on 

(a) the understanding of concepts, 

(b) the understanding of the principles that link concepts, and 

(c) the linking of concepts and principles to conditions and procedures for application?

Method

Criteria for Inclusion

Literature Search

Coding Study Characteristics

Synthesizing Research

문학 비평은 서술, 정량적 방법, 통계적 메타 분석의 세 가지 접근법 중 하나를 취할 수 있다. 서술적 리뷰에서 저자는 체계적이고 창의적인 방법으로 문학에 대해 이해하려고 노력한다. (Van IJzendoorn, 1997) 정량적 방법은 연구 통합에 기초 수학적 절차를 사용한다(예: box score를 산출하기 위한 빈도 계산). 

Literature reviews can take any of three approaches: narrative, quantitative method, and statistical meta-analysis. In a narrative review, the author tries to make sense of the literature in a systematic and creative way (Van IJzendoorn, 1997). Quantitative methods use elementary mathematical procedures for synthesizing research studies (e.g., counting frequencies to produce box scores). 

정량적 접근법은 서술적 검토보다 더 객관적이지만 깊이는 더 적다(Dochy et al., 1999). 유리(1976)는 정량적 절차의 접근방식을 체계화하고 메타 분석이라는 용어를 도입했다. 즉, 결과를 통합하기 위한 개별 연구의 대규모 분석 결과의 통계적 분석이다(Kulik & Kulik, 1989). 

A quantitative approach is more objective than a narrative review but also has less depth (Dochy et al., 1999). Glass (1976) systematized the approach of quantitative procedures and introduced the term meta-analysis: the analysis of analyses, i.e., the statistical analysis of a large collection of analysis results from individual studies for the purpose of integrating the findings (Kulik & Kulik, 1989). 

메타분석의 두 가지 중요한 장점은 

(a) 실질적으로 다양한 연구를 통합할 수 있다. 

(b) 통합은 검토자의 결과 해석 또는 사용에 의해 크게 영향을 받지 않는다.

Two important advantages of meta-analyses are that 

(a) large numbers of studies that vary substantially can be integrated, and 

(b) the integration is not greatly influenced by the interpretation or use of the findings by the reviewers.

연구를 통합하는 가장 오래된 절차는 서술적 검토다. 서술적 또는 정성적 검토에서, 각 연구의 결과는 "표면적 가치"로 간주되고, 누군가는 결과를 포괄적 이론에 통합하려고 한다. (Hunter & Schmidt, 1990) 이것은 체계적이고, 동시에, 창조적인 방법으로 일어난다. 그러나 통합은 종종 적은 수의 연구만 고려하고 다른 모든 연구를 불충분으로 분류하는 것에서 발생한다(Glass, 1976년).

The oldest procedure for integrating studies is the narrative review. In the narrative or qualitative review, results from each study are considered at “face value,” and one tries to integrate the findings in an umbrella theory (Hunter & Schmidt, 1990). This takes place in a systematic and, at the same time, creative way. However, the integration often arises from taking only a small number of studies into account and classifying all other studies as deficient (Glass, 1976).

Van IJZendoorn(1997)은 서술적 검토자와 정량적 검토자가 동일한 방식으로 가설의 공식화와 관련 연구의 체계적 집계에 대해 설정했다고 지적했다. 이는 데이터 분석 단계에서 그들의 방법이 갈라지는 것이다. 따라서 통계적이고 정량적인 메타분석에 대한 해석은 서술적 검토의 강점인 창의성과 직관을 전제로 한다. 반 이젠도른(1997, 페이지 4)과 함께, 우리는 "서술적 요소는 항상 메타분석 접근법에 통합되어야 한다"고 결론짓는다.

Van IJzendoorn (1997) points out that the narrative reviewer and the quantitative reviewer set about the formulation of hypotheses and the systematic gathering of relevant studies in the same way; it is at the stage of data analysis that their methods diverge. Thus the interpretation of the more statistical, quantitative metaanalysis presupposes the narrative reviewer’s strengths: creativity and intuition. With Van Ijzendoorn (1997, p. 4), we conclude that “a narrative component should always be integrated in the meta-analytic approach.”

Metric for Expressing Effect Sizes

Identifying Independent Hypothesis Tests

Combining Effect Sizes Across Studies

Analyzing Variance in Effect Sizes Across Studies

결과

Results

In general, the results of the vote count were statistically significant, except for the assessment of the first level of the knowledge structure. These results suggest that students in PBL perform better at the second and third levels of the knowledge structure.

결론 및 고찰

Conclusion and Discussion

이 검토의 목적은 평가를 통해 측정하는 underlying focal construct의 각도에서 PBL의 영향을 검토하는 것이었다.

The purpose of this review was to examine the effects of PBL from the angle of the underlying focal constructs being measured with the assessment.

우리는 다양한 연구에 사용된 평가 방법을 세 가지 분석 범주로 분류하기 위해 문제 해결의 인지 요소에 대한 수그루의(1995) 모델을 사용했다. 이 세 가지 범주는 개념의 이해, 개념을 연결하는 원리의 이해 그리고 개념과 원칙을 적용을 위한 조건과 절차에 연결하는 문제 해결의 평가에 의해 대상이 될 수 있는 지식 구조의 세 가지 수준이었다.

We used Sugrue’s (1995) model on the cognitive components of problem solving to classify the methods of assessment used in various studies into three categories of analysis. These three categories were the three levels of the knowledge structure that can be targeted by assessment of problem solving: 

• understanding of concepts, 

• understanding of the principles that link concepts, and 

• linking of concepts and principles to conditions and procedures for application.

메타분석에 대한 또 다른 비판, 즉 좋은 것과 나쁜 것의 혼합을 가리키는 "쓰레기 내, 쓰레기 배출" 비평 (Hunt, 1997)도 우리의 검토에 적용될 수 있다.

Another criticism of meta-analysis, the “garbage in, garbage out” critique (Hunt, 1997), which refers to the mixing good and bad studies, may also apply to our review.

Sugrue(1993, 1995)가 제시한 모델은 문제 해결의 구성요소에 대한 하나의 가능한 프레임워크일 뿐이다. 모델의 힘은 동시에 모델의 가장 큰 약점이다.

The model presented by Sugrue (1993, 1995) is only one possible framework for the components of problem solving. The strength of the model is at the same time the greatest weakness of the model.

이러한 제한에도 불구하고, 우리는 이 검토의 연구 분석에서 몇 가지 유용한 결론을 도출할 수 있다고 생각한다. 일반적으로 PBL의 효과는 측정하는 지식 구조의 수준에 따라 달라진다. PBL은 평가 대상이 되는 focal construct가 지식 구조의 두 번째 수준인 개념을 연결하는 원칙을 이해하는 수준에 있을 때 가장 긍정적인 영향을 미쳤다. 단 하나의 연구만이 유의한 부정적 결과를 보여주었다(Martenson et al., 1985). 지식 구조의 3번째 단계에서 부정적인 발견은 발견되지 않았다.

Despite these limitations, we feel that several useful conclusions may be drawn from the analysis of studies in this review. In general, the effect of PBL differs according to the levels of the knowledge structure being measured. PBL had the most positive effects when the focal constructs being assessed were at the level of understanding the principles that link concepts, the second level of the knowledge structure. Only one study presented significant negative findings (Martenson et al., 1985). No negative findings were found at the third level of the knowledge structure.

Dochy 등과의 결론과 마찬가지로, PBL의 효과는 [개념을 연결시켜주는 원리에 대한 이해]가 평가의 중심에 있을 때 더욱 긍정적이다(가중 평균 ES = 0.795). 지식 구조의 더 복잡한 수준을 평가할 때 PBL의 효과가 더 커야 한다는 제안과 달리, 여전히 긍정적이지만, 지식 구조의 3차 레벨에 속하는 효과 크기는 더 작고(가중 평균 ES = 0.339) 통계적으로 유의하지 않다.

In line with the conclusion of Dochy et al., the effect of PBL is more positive when understanding of the principles that link concepts is at the heart of the assessment (weighted average ES = 0.795). Contrary to the suggestion that the effects of PBL should be larger when more complex levels of the knowledge structure are being assessed, the effect size belonging to the third level of the knowledge structure, although still positive, is smaller (weighted average ES = 0.339) but not statistically significant.

이러한 결과를 PBL의 주요 목표와 전문가-초보자 연구의 주요 목표와 연계하여, 전문성을 향한 학생들의 진로가 가속화되었다고 결론 내릴 수 있다(Glaser, 1990). 

• 첫째, PBL 학생들은 고도로 구조화된 개념과 원칙 네트워크를 가지고 있는 것 같다(레벨 2). 

• 둘째, PBL 학생들은 좀 더 전통적인 학습 환경의 학생들과 비교했을 때, 특정 정보 항목을 기억하는 데 있어서 동등하게 능숙하다.

Linking these results to the main goals of PBL and the expert–novice studies, it could be concluded that students’ path toward expertise has been accelerated (Glaser, 1990). 

• First, students in PBL seem to posses a highly structured network of concepts and principles (Level 2). 

• Second, students in PBL are equally competent at recalling specific items of information, as compared with students in more conventional learning environments.

학생들의 전문성 수준은 도치 외 연구진(2003)에 의한 메타 분석의 조정 변수 중 하나이다. 그들의 결과는 지식 습득에 있어서 전통적인 교육 방법의 이점이 2년 후 사라졌다는 것을 암시한다.

The expertise level of the students was one of the moderating variables in the meta-analysis by Dochy et al. (2003). Their results suggest that the advantage of the conventional education method in knowledge acquisition disappears after the second year.

PBL은 복잡한 문제를 해결할 수 있는 학생들을 교육하는 것을 목표로 한다. 교육 목표와 그에 따른 교육 원칙 및 실천요강에 부합하기 위해 문제 해결에 대한 지식 적용에 대한 평가는 PBL의 핵심이다. 따라서 PBL 학생들이 이 수준의 지식 구조를 더 잘 수행할 것으로 예상할 수 있다. PBL의 효과는 평가가 [개념을 연결하는 원칙의 이해]에 초점을 둘 때 더 크다.

PBL aims to educate students who are able to solve complex problems. To be congruent with its education goals and resulting instructional principles and practices, the assessment of the application of knowledge in solving problems is at the heart of the matter in PBL. Therefore, one could expect students in PBL to perform better at this level of the knowledge structure. The effect of PBL is larger when assessment appeals to the understanding of principles that link concepts.

효과 크기의 실질적인 유의성에 대한 평가는 교육과 다른 분야의 연구자들 사이의 논의 대상이다(Springer et al., 1999). 글래스 외 연구진(1981, 페이지 104)에 따르면, "효과 크기 측정치의 영역을 '작은', '한계', '큰' 등과 같은 서술적 형용사와 연관시키려는 시도는 전혀 지혜가 없다." 

The evaluation of the practical significance of an effect size is a subject of discussion between researchers in education and other fields (Springer et al., 1999). As Glass et al. (1981, p. 104) note, “There is no wisdom whatsoever in attempting to associate regions of the effect-size metric with descriptive adjectives such as ‘small,’ ‘moderate,’ ‘large,’ and the like.” 

Cohen(1988)과 Kirk(1996)는 행동과학의 다양한 조사 분야로서 전력분석에 사용하기 위해 기존의 운영 정의를 제공하는 데 내재된 위험이 있다고 말하며 일반 지침(ES = 0.20, 소효과, ES = 0.5, 중간 효과, ES = 0.80, 대규모 효과)을 제시하였지만 hesitant하였다.

Cohen (1988) and Kirk (1996) hesitantly suggested general guidelines (ES = 0.20, small effect; ES = 0.50, moderate effect; and ES = 0.80, large effect), stating that “there is a certain risk inherent in offering conventional operational definitions for those terms for use in power analysis in as diverse a field of inquiry as behavioral science” (Cohen, 1988, p. 25). 

일반적으로 교육 연구 분야에서는 0.33의 효과적 크기가 실질적인 중요성을 확립하는 데 필요한 최소치로 간주된다(Gall, Borg, & Gall, 1996). 이러한 관점에서 볼 때, 현재 메타 분석의 결과는 지식 구조 조직의 평가에 실질적인 중요성을 가지며(ES = 0.339), 평가가 개념과 원칙과 적용 조건 및 절차의 연계를 다룰 때(ES = 0.795) 실제로 중요하다.

In general in the field of education research, an effect size of 0.33 is seen as the minimum necessary to establish practical significance (Gall, Borg, & Gall, 1996). Considered in this light, the results of the present meta-analysis 

• are of practical significance (ES = 0.339) for the assessment of the organization of the knowledge structure, and they certainly 

• are of practical significance when assessment addresses the linking of concepts and principles to application conditions and procedures (ES = 0.795).

동질성 분석에서, 위에서 언급한 바와 같이, 평가 방법이 PBL의 보고된 효과에 중요한 영향을 미치지만, PBL의 효과를 검사할 때 PBL의 다른 moderator가 중요한 역할을 한다는 것은 분명하다. 연구 설계, 구현 범위 및 연구 연도가 PBL 효과 보고에서 가능한 온건한 변수인 것으로 나타났다(Dochy et al., 2003).

From the homogeneity analysis, it is clear that the method of assessment has an important influence in the reported effects of PBL, as stated above, but also that other moderators of PBL play a substantial role when the effects of PBL are examined. Study design, scope of implementation, and year of study have been shown to be possible moderating variables in the reporting of the effects of PBL (Dochy et al., 2003).

효과적인 피드백의 특징은? Scoping review (Adv Health Sci Educ Theory Pract. 2018)

What attributes guide best practice for effective feedback? A scoping review

Christine Ossenberg1 · Amanda Henderson1 · Marion Mitchell1

배경

Background

보건 교육 프로그램에서 성과에 대한 피드백은 직장 기반 학습의 필수적인 부분이다(van der Luw et al. 2018).

In health education programs, feedback on performance is a vital part of workplace based learning (van der Leeuw et al. 2018).

• 학습자는 피드백의 순간/발생 순간을 인식하거나 기억하지 못할 수 있고, 피드백을 가지고 뭘 해야하는지를 모를 수도 있다(Bowen et al. 2017; Groves et al. 2015; Murdoch-Eaton and Sarcin 2012). 따라서 많은 학생들이 피드백에 대한 불만을 보고한다(Boud and Molloy 2013; Carless 2015).

Learners may not recognise or recollect the moments/occasions of feedback (Bowen et al. 2017; Groves et al. 2015; Murdoch-Eaton and Sargeant 2012) or indeed know what to do with it (Nicol and MacFarlane-Dick 2006; O’Donovan et al. 2016). As such, many students report dissatisfaction with feedback (Boud and Molloy 2013; Carless 2015).

역사적으로 피드백은 전문가에서 초보자(Ajazawi and Boud 2017)로 일방적인 정보 전송으로 간주되어 왔다. 

• 프로세스로서의 피드백의 현대적 관점은 개인들 간의 상호작용을 촉진한다(Archer 2010). 

• 단순히 정보를 전달하는 것이 아니라 지식 구축에 중점을 두는 역동적인 대화의 과정이다(Killion 2015; Molloy and Boud 2013; Yang and Carless 2013).

• 그레이브릿과 피터슨은 "Dialogue는 conversation이나 아이디어의 교환 그 이상이다. 본질적으로 그것은 참가자들(교사와 학생)이 함께 생각하고 추론하는 상호존준적 관계를 포함한다"(2002, 페이지 282). 

• 따라서 대화 피드백은 학습 과정 전체에 걸친 통합을 의미하며, 다양한 참여 지점과 출처(예: 구두 및 서면)를 포함한다(McArthur 및 Huxham 2013). 

피드백의 관점이 독백에서 대화로 바뀌면서, 현재 그 효과에 기여하는 것으로 알고 있는 피드백의 그러한 측면에 대한 더 깊은 연구가 필요해졌다.

Historically, feedback has been viewed as a one-way transmission of information from expert to novice (Ajjawi and Boud 2017). Contemporary views of feedback as a process, infers interaction between individuals (Archer 2010). It is dynamic and dialogic, focusing on construction of knowledge rather than merely the delivery of information (Killion 2015; Molloy and Boud 2013; Yang and Carless 2013). Gravett and Peterson state “…dialogue is more than conversation or exchange of ideas. In essence it involves a respectful relationship, in which the participants (teacher and students) think and reason together” (2002, p. 282). Dialogic feedback, therefore, implies integration throughout the learning process and incorporates multiple points of engagements and sources (e.g. verbal and written) (McArthur and Huxham 2013). The shift from a monologic view of feedback to that of a dialogic process dictates deeper scrutiny of those aspects of feedback that are presently understood to contribute to its effectiveness.

대화식으로 피드백을 이해하려는 움직임에도 불구하고 학습자들은 피드백을 받는 과정에서 침묵하는 것처럼 보인다. 학습자의 침묵은 피드백에 대한 이전의 경험 때문일 수도 있고, 또는 (학습자의 약점을 드러낼 때 자존감을 위협하거나 두려움을 갖게 하는) 학습자와 '선생님' 사이의 불평등한 권력 관계에 기인할 수 있다. 

Despite the move to understanding feedback as a dialogic process, learners appear silent in their engagement with feedback. Learner silence may be attributed to their prior experiences with feedback (Greer et al. 2010) or perceived unequal power relations between the learner and ‘teacher’ which may threaten the learner’s self-esteem or fear of exposing their weaknesses. 

또한 '선생님'은 학습자 중심의 접근법을 피드백에 통합하는 방법에 대한 이해가 부족할 수 있다(Carless 2015). 학습자의 목소리가 지나치게 소극적이거나 학생이 침묵을 지킨다는 것은 경고신호인데, 성인 학습 원칙에 따라, 고등 교육 제공자는 학생 자신이 학습 성과를 결정하고 달성하는 데 적극적으로 참여하고 책임을 질 것으로 기대하기 때문이다(Chipchase et al. 2012).

Additionally, ‘teachers’ may have a lack of understanding of how to incorporate learner-centered approaches in feedback (Carless 2015). The apparent passivity and silence of the learner’s voice is alarming given that in line with adult learning principles, higher education providers expect students themselves to actively engage and accountable in determining and meeting their learning outcomes (Chipchase et al. 2012).

방법

Methods

Review question and relevant papers

Selection of relevant studies

Data charting

Data sorting and analysis

결과

Results

As indicated in the search strategy (Fig. 1), this review resulted in the inclusion of 61 publications. Publication years of the final sample ranged from 1975 to 2017 (Table 1).

특징

Nature of publication

용어

Terminology

23가지 용어가 사용됨

Twenty-three terms were used across the literature to label feedback elements.

세팅

Setting

근무지/임상환경과 교육환경

Findings from the analysis demonstrated that the elements that guide effective feedback were evident across two key settings: 

• workplace-based learning and the clinical learning environment (n = 41); and 

• education (i.e. primary, secondary and higher education within classroom and/or online settings) (n = 17). 

2개만이 비-서구권 국가 연구

An overwhelming 59 publications originated from western countries, with only two publications addressing feedback originating from non-western countries (Bhattarai 2007; Suhoyo et al. 2017). Characteristics of the included publications can be found in Supplementary Material 1.

요소

Feedback elements

633개 요소

Feedback elements were extracted from the 61 publications. A total of 633 elements (nonempirical, n = 571, 90%; empirical, n = 62, 10%) were extracted. That is, for every one element extracted from empirical sources, 10 were extracted from non-empirical sources

피드백 요소 적용

Application of feedback elements

피드백 특징

Feedback attributes

Emerging from the iterative process of analysis, was a core set of 11 feedback attributes from within the extracted list of feedback elements. This core set of feedback attributes describes feedback as: 

a process; 

• 기준 기반 

• 복수의 형태 및 근거 출처를 사용한다. 

• 수신자가 원하는 경우(즉, 초청 및 환영) 

• 적시에 

• 학습자에 대한 반응성(즉, 학습자의 개발 요구/학습 선호도에 따라 맞춤) 

• 빈번한

• 미래 지향적 

• 호혜적(양방향) 

• 능숙한 상호작용을 수반 

• 다차원(즉, 학습자가 여러 가지 방식으로 참여) 

• criteria-based; 

• uses multiple forms and sources of evidence; 

• desired by the recipient (i.e. invited and welcomed); 

• timely; 

• responsive to the learner (i.e. tailored to developmental needs/learning preferences of the learner); 

• frequent; 

• future-focussed; 

• reciprocal (i.e. two-way); 

• involves skilful interaction; and is 

• multidimensional (i.e. engages the learner in more than one way). 

가장 많이 나온 것

The most represented attribute was 

• '기술적 상호작용'(31%) 

• '학습자 반응적'(11%) 

• '다양한 형태 및 근거 출처 사용'(11%) 

• '미래 중심'(10%)

• ‘skillful interaction’ (31%), followed by 

• ‘responsive to learner’ (11%), 

• ‘use of multiple forms and sources of evidence’ (11%) and 

• ‘future-focused’ (10%).

제외된 것

Table 2 provides examples of these excluded items.

경험적 연구의 서포트

Support of feedback attributes in empirical studies

Analysis of evidence supporting feedback attributes identified in empirical studies is outlined in Table 3.

고찰

Discussion

이와 함께 이 특정 조사와 관련된 문학의 수가 급증하고 있다. 이 검토에 포함된 문헌의 약 50%는 2010년부터 제작되었다. 이는 문학의 부피가 이전 10년(2000~2009)에 비해 72%, 1990년부터 1999년까지 287% 증가한 것이다.

Coupled with this, is the burgeoning volume of literature related to this specific inquiry. Approximately 50% of the included literature in this review was produced from 2010. This is a 72% increase in the volume of literature compared to the previous decade (2000–2009) and a 287% increase from 1990 to 1999.

또한 이 검토는 식별된 피드백 요소가 피드백 요소의 transferability적 성향을 인정하면서, 피드백 요소가 특정 분야 또는 환경에 고유하지 않다는 것을 강조한다.

This review also highlights that feedback elements identified are not unique to one specific discipline or setting, acknowledging a propensity for the transferability of the feedback elements.

서구의 출판물이 비서구의 출판물보다 훨씬 더 많다는 것은 인정된다. Suhoyo 등은 피드백의 효과가 주로 서구의 문화권에서 탐구되었으며, 비 서구 문화권에서는 거의 연구가 수행되지 않았다는 것을 인정한다. 이 저자들은 다음과 같이 말한다.학생들의 학습과 발전을 최적화하기 위해 국제 피드백 표준을 구현할 때 문화를 고려해야 한다.(수호요 외 2017, 페이지 6). 이 시점에서 제기되는 질문은 우리의 서양적 가치와 피드백에 대한 이해가 다른 문화와 관련이 있을 수 있는지, 아니면 실제로 관련이 있는가이다.

It is recognised that publications from western countries heavily outweigh that of nonwestern countries. Suhoyo et al. acknowledge that the effectiveness of feedback has mainly been explored in western cultures with little research conducted in non-western cultures. These authors state “…culture should be considered when implementing international standards for feedback in order to optimise student learning and development” (Suhoyo et al. 2017, p. 6). The question posed at this juncture is whether our western value and understanding of feedback can, or indeed is, relevant for other cultures?

피드백 요소를 식별하는 데 사용되는 용어의 상당한 다양성이 관찰되었다(보조 자료 1).

Significant diversity in the terminology used to identify the feedback elements was observed (Supplementary Material 1).

추출된 피드백 요소의 분포는 비경험적 출처도 상당부분이 있음을 나타낸다(표 3 참조).

Distribution of the feedback elements extracted demonstrates substantial representation in non-empirical sources (refer to Table  3).

포함된 문헌에서 눈에 띄는 미숙함은 학습자가 피드백 과정에 참여하는 것과 관련이 있다.

A noted deffciency in the included literature concerned the engagement of learners in the feedback process.

이 검토서는 '능숙한 상호작용', '미래에 초점을 맞춘' 및 '학습자에 대한 반응성'을 지원하는 요소에 대한 상세한 이해를 밝혔다. 그러나, 학습자에게 피드백을 주는 것이 중요하다는 것을 입증하는 강력한 경험적 증거에도 불구하고, 'desired' 및 'reciprocal'과 관련된 요소들은 잘 이해되어있지 않다(Getzlaf et al. 2009; Winstone et al. 2016).

This review identiffed a detailed understanding of elements that support ‘skilful interaction’, ‘future-focused’ and ‘responsive to learner’. However, there is less understanding of elements that relate to ‘desired’ and ‘reciprocal’ despite strong empirical evidence demonstrating their importance in feedback to the learner (Getzlaf et al. 2009; Winstone et al. 2016).

이 문헌 검색에서 수집되고 합성된 정보는 좋은 피드백 관행을 위해 필요한 것으로 간주되는 것에 대한 증거를 제공한다. 경험적 및 비소설적 문헌의 우선 순위는 

• 피드백을 주는 데 필요한 기술과 관련된 속성('기술적 상호작용'), 

• 피드백의 목적('미래 초점'), 

• 학습자 요구에 기초한 피드백('학습자에 대한 응답')

...을 상세히 이해하는 데 있다. 

Information collected and synthesised from this literature search provides veriffcation of what is considered necessary for good feedback practice. Priority in both the empirical and non-empirical literature is given to providing a detailed understanding of attributes pertaining to 

• the skills needed to give feedback (‘skilful interactions’), 

• the purpose of feedback (‘future-focused’) and 

• the need to base feedback on learner needs (‘responsive to learner’). 

Limitations of the review

Conclusion

11개의 특징을 설명했다.

This review has articulated 11 attributes that guide best practice for effective feedback.

van der Leeuw, R. M., Teunissen, P. W., & van der Vleuten, C. P. (2018). Broadening the scope of feedback to promote its relevance to workplace learning. Academic Medicine, 93(4), 556–559.

Adv Health Sci Educ Theory Pract. 2018 Oct 3. doi: 10.1007/s10459-018-9854-x. [Epub ahead of print]

What attributes guide best practice for effective feedback? A scoping review.

피드백 문해력 발달: 피드백을 수용하도록(AEHE, 2018)

The development of student feedback literacy: enabling uptake of feedback

David Carlessa and David Boudb

aFaculty of Education, University of Hong Kong, Hong Kong, Hong Kong; bMelbourne City Centre, Deakin University, Melbourne, Australia

도입

Introduction

이전 정의(Boud and Molloy 2013; Carless 2015)를 바탕으로 한 피드백은 학습자가 다양한 출처에서 얻은 정보를 이해하고 이를 사용하여 학습 전략을 강화하는 과정으로 정의된다. 이 정의는 주로 강점, 약점, 개선 방법에 대해 학생들에게 정보를 주는 교사에 대한 피드백이라는 개념을 넘어, sense-making 및 후속 작업을 개선하기 위해 코멘트를 사용하는 과정에서 학생의 중심적 역할을 강조한다.

Building on previous definitions (Boud and Molloy 2013; Carless 2015), feedback is defined as a process through which learners make sense of information from various sources and use it to enhance their work or learning strategies. This definition goes beyond notions that feedback is principally about teachers informing students about strengths, weaknesses and how to improve, and highlights the centrality of the student role in sense-making and using comments to improve subsequent work.

학생들의 progress에 대한 자기평가에 대한 정보는 동료, 교사, 친구, 가족 또는 자동화된 컴퓨터 기반 시스템과 같은 다양한 출처에서 올 수 있다.

Information may come from different sources e.g. peers, teachers, friends, family members or automated computer-based systems to support student self-evaluation of progress.

피드백 문해력이 있는 학생의 특징

Features of student feedback literacy

피드백 인식

(1) 이러한 과정에서 업무 개선에 있어 피드백의 역할과 적극적인 학습자 역할을 이해하고 높이 평가한다.

(2) 피드백 정보가 다양한 형태로, 그리고 다양한 출처에서 온 것임을 인지한다.

(3) 테크놀로지를 이용하여 피드백에 접근, 보관, 재방문한다.

Appreciating feedback

Feedback literate students:

(1) understand and appreciate the role of feedback in improving work and the active learner role in these processes;

(2) recognise that feedback information comes in different forms and from different sources;

(3) use technology to access, store and revisit feedback.

판단 내리기

(1) 자신의 업무와 타인의 업무에 대해 건전한 학술적 판단을 할 수 있는 능력을 개발한다.

(2) 동료 피드백 프로세스에 생산적으로 참여한다.

(3) 시간 경과에 따라 자기 평가 능력을 개선하여 보다 강력한 판단을 내린다.

Making judgments

Feedback literate students:

(1) develop capacities to make sound academic judgments about their own work and the work of others;

(2) participate productively in peer feedback processes;

(3) refine self-evaluative capacities over time in order to make more robust judgments.

영향 관리

(1) 비판적 피드백을 받을 때 정서적 평형을 유지하고 방어적이 되지 않는다.

(2) 동료 또는 교사의 제안을 적극적으로 유도하고, 필요에 따라 그들과 대화를 지속한다.

(3) 내부 및 외부 피드백에 근거하여 지속적인 개선을 위해 노력하는 습관을 개발한다.

Managing affect

Feedback literate students:

(1) maintain emotional equilibrium and avoid defensiveness when receiving critical feedback;

(2) are proactive in eliciting suggestions from peers or teachers and continuing dialogue with them as needed;

(3) develop habits of striving for continuous improvement on the basis of internal and external feedback.

실천

(1) 피드백 정보에 대한 대응 조치를 취해야 할 의무를 인식하고 있다.

(2) 지속적인 개선을 목적으로 다양한 피드백 경험에서 추론할 수 있다.

(3) 피드백에 대응하기 위한 전략의 레퍼토리를 개발한다.

Taking action

Feedback literate students:

(1) are aware of the imperative to take action in response to feedback information;

(2) draw inferences from a range of feedback experiences for the purpose of continuous improvement;

(3) develop a repertoire of strategies for acting on feedback.

피드백 독해력 발달을 위한 활동

Enabling activities to develop student feedback literacy

동료피드백 써보고 받아보기

Composing and receiving peer feedback

동료의 피드백이나 동료의 리뷰는 또래들의 일에 대한 학생들의 평가와 판단을 포함한다(Nicol, Thomson, Breslin 2014). 동료의 일에 노출되는 것은 학생들이 자신의 일과 다른 이들의 작품을 비교하기 때문에 자신의 작품을 더 효과적으로 스스로 평가하도록 돕는다(McConlogue 2015). 

Peer feedback or peer review involves students evaluating and making judgments about the work of peers (Nicol, Thomson, and Breslin 2014). Being exposed to the work of peers helps students self-evaluate their own production more effectively because they are making comparisons between their own work and that of others (McConlogue 2015). 

동료에게 코멘트를 제공하는 것은 흔히 [기준 적용, 문제 진단 및 솔루션 제안]과 같은 고차적원 프로세스를 수반하는 인지적 개입이 더 많기 때문에 이를 받는 것보다 더 유익하다(Nicol, Thomson 및 Breslin 2014). 이러한 과정을 통해 안전 점검은 사회 구성주의 원칙 내에서 협력적 상호작용을 지원한다.

Providing comments to peers is often more beneficial than receiving them because it is more cognitively-engaging: involving higher-order processes, such as application of criteria, diagnosing problems and suggesting solutions (Nicol, Thomson, and Breslin 2014). Through these processes, peer review supports collaborative interaction within social constructivist principles.

동료 피드백에 대한 훈련과 지원이 없이는 예상되는 이득이 하지 않을 것이다(Patton 2012; Tai et al. 2016). 학생들은 실질적인 코칭을 받아야만 동료 평가를 통해 피드백 독해력이 발달한다. 

Without training and support for peer feedback, anticipated gains are unlikely to occur (Patton 2012; Tai et al. 2016). Students are primed to develop their feedback literacy through peer reviews when they receive substantial coaching. 

이러한 과정을 모범적으로 다루는 과정에서 교사 조사관(민 2006년)은 문제를 식별하고 설명하고 구체적인 제안을 하는 등 다양한 유형의 피드백을 모델링하기 위해 학생 에세이를 사용했다. 두 사이클 동료의 피드백이 있은 후, 교사-연구자는 학생들이 동료들의 과제물에 대한 코멘트 개선을 위한 코칭을 제공했다.

In an exemplary treatment of these processes a teacher-researcher (Min 2006) used a sample student essay to model different types of feedback, including identifying and explaining problems, and making specific suggestions. Then after two cycles of peer feedback, the teacher-researcher coached students in improving their commentaries on the work of peers. 

이를 통해 구체적이고 관련된 피드백의 작성 능력이 개선되었고, 동료 피드백의 수용이 입증되었다(Min 2006). 요컨대, 피어리뷰는 학생이 동료 피드백의 가치를 인식하고, 이를 효과적으로 수행하는 방법을 지도받음으로써 학생 피드백 읽고 쓰는 능력을 시킨다.

Reviewers demonstrated improvement in composing specific and relevant feedback, and receivers evidenced uptake of peer feedback (Min 2006). In sum, peer review seeds student feedback literacy when students appreciate the value of peer feedback and are coached in how to carry it out effectively.

모범 사례 분석

Analysing exemplars

다른 사례로부터 배우는 것은 학문적 담론으로 들어오는induction 한 부분이다. 모범사례란 퀄리티 영역을 보여주고, 평가 기대치를 명확히 하기 위해 사용되는, 신중하게 선정된 학생 과제물 표본이다(Carless and Chan 2017). 

Learning from examples of different genres is part of induction into academic discourses. Exemplars are carefully chosen samples of student work which are used to illustrate dimensions of quality and clarify assessment expectations (Carless and Chan 2017). 

기대치를 명확히 함으로써, 모범 사례는 평가 기준과 요구조건에 대한 학생 불안을 감소시킨다(Yucel et al. 2014). 또한 모범 사례는 예상치 못한 교사 판단에서 비롯될 수 있는 원치 않는 놀라움의 일부를 제거함으로써 표준과 관련하여 학생들의 평정심을 유지하는 데 도움을 줄 수 있다(2016년까지).

Through making expectations clear, exemplars reduce some of the inevitable student anxiety about assessment standards and requirements (Yucel et al. 2014). Exemplars can also help to maintain student equilibrium in relation to standards by removing some of the unwanted surprise that can arise from unexpected teacher judgments (To 2016).

교사들은 학생들이 모범사례를 따라할 것을 우려하는 경우가 종종 있다(Handley와 Williams 2011). 이러한 우려는 아마도 대학교 교수와 학생 모두에게 있어서 표본을 통해 배우고 적응adapt하는 것이 학문적 apprenticeship의 핵심 요소라는 점에서 완전히 정당화되지는 않을 것이다. 모범 사례는 모델 정답이 아니라 분석 및 진행 중인 작업과 비교할 수 있는 표본이다. 

Teachers sometimes have misgivings about the use of exemplars in that they worry that students may see them as models to be imitated (Handley and Williams 2011). These concerns are perhaps not fully justified in that learning from, and adapting, samples is a core element of academic apprenticeship for both university teachers and students. Exemplars are not model answers but samples to be analysed and compared with work in progress. 

양질의 성과물은 다양한 방식으로 나타난다는 점을 강조하기 위해 여러 가지 예를 사용할 수 있다(Sadler 1989). 교사에 대한 능숙한 해설은 양질의 일자리에 대한 주요 측면을 강조하고 교사의 판단 뒤에 숨겨진 논리를 명확히 한다(To and Carless 2016). 모범 사례에 대한 대화는 학생들의 견해와 관점을 바탕으로 하여, 퀄리티를 평가하는 작업의 복잡성에 대한 진정한 상호작용이 이루어지도록 해야 한다(Carless와 Chan 2017).

Multiple exemplars can be used to emphasise that quality is manifested in various ways (Sadler 1989). Skilful teacher-orchestrated discussion of exemplars highlights key aspects of quality work and clarifies the reasoning behind teacher judgments (To and Carless 2016). Dialogues about exemplars should build on students’ views and perspectives so that there is genuine interaction around the complexities of judging quality (Carless and Chan 2017).

교사 역할

The teacher role

활성화 활동Enabling activities은 교사들이 학습자의 능동적 참여를 위한 적절한 커리큘럼 환경을 조성하고 관련 지침, 코칭 및 모델링을 제공하는 경우에만 학생 피드백 능력 개발에 성공할 가능성이 높다. 교사의 주요 역할은 활성화 활동 위한 이론적 근거를 설명하는 것이다

• 어떻게 작동하는지 설명하고, 

• 학생들에게 잠재적인 이점을 설명하고, 

• 학생들이 해결해야 하는 과제를 설명하는 것

Enabling activities are only likely to be successful in developing student feedback literacy if teachers create suitable curriculum environments for active learner participation, and also provide related guidance, coaching and modelling. A key teacher role is to communicate the rationale for enabling activities; 

• explain how they operate, 

• elaborate the potential benefits for students, and 

• address challenges that students might encounter. 

교수들은 [학생들이 충분히 이익을 얻기 위해서는 pro-active해야 한다]는 기대를 명확히 해야한다. 대화를 통해, 교사들은 피드백에 대한 교사와 학생의 의견 불일치를 줄이기 위해 노력할 수 있다. 학자들은 그것을 학생보다 지속적인 학습에 더 중요하다고 본다. (Adcroft 2011) 학생들이 피드백을 사용할 기회를 탐색하는 방법을 배우기 위해서는 동기 부여와 안내를 필요로 한다(Price, Handley, Millar 2011).

Teachers need to set expectations that students will be pro-active if they are to benefit fully. Through dialogue, teachers can strive to reduce dissonances between teacher and student views about feedback, in that academics see it as more central to ongoing learning than students (Adcroft 2011). Students need motivating and guiding as they learn to navigate opportunities to use feedback (Price, Handley, and Millar 2011).

피드백의 흡수를 모델링하는 것은 중요하지만, 교사들이 잘 못하는 것 중 하나는 학생들이 피드백을 사용하도록 지원하고 장려하는 것이다. 학자들이 피어리뷰 방식의 피드백에 어떻게 노출되는지에 대해 논하는 것은 

• 비평에 대한 반응을 모델링하고, 

• 몇 가지 감정적인 문제들을 공유하고, 

• 행동의 필요성을 설명하기 위해 사용될 수 있다. 

Modelling the uptake of feedback is an important but underplayed part of a teacher’s repertoire in supporting and encouraging students to use feedback. Discussing how academics are exposed to feedback from peer review can be used to 

• model responses to critique, 

• share some of the emotional challenges, and 

• illustrate the need for action. 

그러한 모델링은 [자기 발전을 학문적 습관의 핵심 요소로서 강조함으로써] 교사와 학생 사이의 거리를 줄이는 데 역할을 한다. 

Such modelling plays a role in reducing distance between teachers and students by emphasising self-improvement as a core element of academic habits. 

교사 그룹은 커리큘럼 설계와 프로그램 전반의 피드백 접근 방식을 통해 학생 피드백 독해력의 발달을 지원할 수 있다(Boud and Molloy 2013). 학생들이 느끼는 피드백의 일관성, 범위, 유형 등은 [피드백이 전체 프로그램에 걸쳐서 학습 기회의 연계된 시리즈]로 여겨질 때 더욱 의미가 있다(Jessop, El Hakim, Gibbs 2014). 

Groups of teachers can support the development of student feedback literacy through curriculum design and programme-wide approaches to feedback (Boud and Molloy 2013). The consistency, range and types of feedback students experience are more meaningful when seen as a linked series of learning opportunities across an entire programme (Jessop, El Hakim, and Gibbs 2014). 

학생들에게 making judgement에 관한 실질적인 경험을 제공하는 것은 선택 사항이 아니라 커리큘럼의 전략적 부분이다(Sadler 2010). 이렇게 커리큘럼을 설계함으로써 

• 평가적 판단에 참여하는 것은 교육과 학습의 정상적인 부분이 되고, 

• 동료의 상호작용이 교육적으로 가치를 갖게 되며, 

• 학생들은 피드백을 생성하고 행동할 기회를 갖게 될 수 있다. 

이러한 종류의 커리큘럼 내에서, 학생들은 프로그램에 걸쳐 일관성 있게 포함된 활동을 통해 점차적으로 더 높은 수준의 정교함을 개발한다.

Providing students with substantial experience in making judgments is not an optional extra but a strategic part of the curriculum (Sadler 2010). Such curriculum designs establish that participation in evaluative judgment is a normal part of teaching and learning, peer interaction is seen as a worthwhile aspect of pedagogy, and students have opportunities to generate and act on feedback. Within this kind of curriculum, students develop feedback literacy through activities embedded coherently across programmes and at progressively higher levels of sophistication.

평가 설계는 학생 피드백 능력의 개발 가능성에 영향을 미치는 추가 특징이다. 그것은 중요성이 부족해서가 아니라 논문의 주요 초점에 부차적인 것이기 때문에 여기에서 간단하게 언급되었다. 교사가 평가 작업을 설계하는 방식에 따라서 생산적인 피드백 프로세스를 위한 기회가 열리 수도 닫힐 수도 있다(Carless et al. 2011). 

Assessment design is an additional feature which impacts on the prospects for the development of student feedback literacy. It is mentioned only briefly here, not due to a lack of importance but because it is secondary to the main focus of the paper. The way teachers design assessment tasks opens up or closes down opportunities for productive feedback processes (Carless et al. 2011). 

다단계 과제, 팀 프로젝트 또는 e-포트폴리오는 서로 다른 형태의 내부 및 외부 피드백 기회를 자연스럽게 수반하는 평가의 예다. 평가 설계 내에서, 교사들은 학생들이 피드백을 생성, 수신 및 사용하는 일관성 있는 반복적 시퀀스를 통해 feedback literacy에 관한 학생들의 학습 기회를 촉진한다.

Multi-stage assignments, team projects or e-portfolios are examples of assessments which naturally involve opportunities for different forms of internal and external feedback. Within assessment designs, teachers facilitate opportunities for student development of feedback literacy through coherent iterative sequences in which students generate, receive and use feedback.

함의

Implications

첫째, 피드백 과정에 대해 교사와 학생 간의 메타 대화(meta-dialog)가 필요하다. 메타 다이얼로그는 특정 작업의 세부 사항보다는 평가와 피드백의 프로세스와 전략을 논의한다. 그들은 

• [지속적인 학습에서 피드백의 역할], 

• [피드백 주기가 얼마나 효과적인지], 그리고 

• [피드백을 생산적으로 사용하는 어려움]에 초점을 맞출 수 있다. 

메타 다이얼로그는 학생들의 피드백 과정에 대한 이해와 교사와 학생 의견 사이의 좁은 차이를 용이하게 할 수 있는 기회를 제공한다.

Firstly, there is a need for meta-dialogues between teachers and students about feedback processes. Meta-dialogues discuss processes and strategies of assessment and feedback rather than the specifics of a particular piece of work. They can be profitably focused on the role of feedback in ongoing learning, how effective feedback cycles can be developed, and the challenges of using feedback productively. Meta-dialogues provide opportunities to facilitate students’ appreciation of feedback processes and narrow gaps between teacher and student perceptions of feedback.

둘째, enabling activities는 학생 피드백 문해력 개발을 지원하고 평가 판단을 촉진할 잠재력을 실현하기 위해 커리큘럼의 핵심 요소가 되어야 한다. 피드백 문해력이 높은 학생들은 [교사들에게 그들의 발달상황을 알려주고, 교사에 대한 의존도를 줄이기 위한 일환으로] 평가적 판단에 대한 능력을 개발한다. 자기 평가를 하는 반복된 경험을 통해 학생들은 내부 피드백을 생성하는 법을 배우고 점차 더 정교한 학업적 판단을 하는 전문성을 습득한다. 동료의 피드백은 학습자가 인정하고 의도적인 코칭을 포함해야 한다. 모범 사례는 모델이 아니라 고퀄리티 작업의 특성을 명확히 하고 판단을 하는데 있어서 학생들의 능력을 계발하는 대화의 기회로 보아야 한다.

Secondly, enabling activities need to become core elements of the curriculum in order to realise their potential to support the development of student feedback literacy and promote evaluative judgment. Feedback literate students develop their capacities in evaluative judgment as part of reducing their reliance on teachers to inform them about their progress. Through repeated experiences of making self-evaluations, students learn to generate internal feedback and gradually acquire expertise in making more sophisticated academic judgments. Peer feedback needs to be appreciated by learners and include purposeful coaching. Exemplars should be seen not as models but as opportunities for dialogues that clarify the characteristics of quality work and develop student capacities in making judgments.

셋째, 학생들이 함께 피드백을 토론하는 학습 활동은 특히 유용하다(Price, Handley, Millar 2011). 학생들은 그들이 받은 피드백에서 의미를 함께 구성하거나, 또는 피드백 논평의 데이터 뱅크를 활용하여 피드백에 이해해볼 수 있다. 

Thirdly, learning activities in which students discuss feedback together are particularly useful (Price, Handley, and Millar 2011). Students could co-construct meanings from feedback that they have received or alternatively they could be exposed to a databank of feedback comments and invited to make sense of them. 

넷째, 커리큘럼 설계와 관련 학습 활동은 학생 피드백 능력의 핵심 특징, 즉 실천의 필요성을 가능하게 한다. 후속 작업을 통해서 학생들은 피드백 루프를 closing하기 위해서 앞서 받은 코멘트를 어떻게 사용했는지 보여달라는 요청을 받거나 요구받을 수 있다(O'Donovan, Rust, Price 2016). 정보가 피드백이 되기 위해서는 학생들이 작업물의 향상을 위해서 피드백에 기반한 실천을 하거나 또는 학습 전략을 향상시키는 행동을 해야 한다. 이러한 교육학적 의미는 사회 구성주의 학습 이론과 대체로 일치한다.

Fourthly, curriculum design and related learning activities enable a core feature of student feedback literacy: the need for action. In subsequent work, students can be prompted or required to show how they have used previous comments as part of closing feedback loops (O’Donovan, Rust, and Price 2016). Information becomes feedback only when students act on it to improve work or learning strategies. These pedagogical implications are broadly consistent with social constructivist learning theories.

학생들의 피드백 읽고 쓰는 능력을 향상시키기 위한 커리큘럼 설계는 프로그램 전체에 체계적으로 포함되어 있다면 더 효과적으로 실행될 것이다. 예를 들어, 학생들은 첫 학기에 피드백 읽고 쓰는 능력에 대한 개념을 소개하고, 단계적 활동을 통해 그것을 점진적으로 개발할 것으로 예상할 수 있다. 피드백에 대한 학생들의 반응이 이전 피드백 경험(Price, Handley, Millar 2011)의 영향을 받는다는 점을 고려할 때, 생산적인 피드백 기풍을 확립하기 위해 첫 해에 충분한 자원을 투자하는 것이 중요하다. 학생들은 피드백의 가치를 경험해야 그 장점도 인정받을 수 있다.

Curriculum designs to enhance students’ feedback literacy will be implemented more effectively if they are systematically embedded throughout programmes. For example, students could be introduced to the notion of feedback literacy in their first semester and be expected to develop it progressively through staged activities. Given that student response to feedback is influenced by previous feedback experiences (Price, Handley, and Millar 2011), it is important that sufficient resources are invested in the first-year so that a productive feedback ethos is established. Students need to experience the value of feedback so that its benefits are appreciated.

임상실습의 수행능력 평가에서 피드백-제공 행동(Med Teach, 2015)

Feedback-giving behaviour in performance evaluations during clinical clerkships