동료에게 배우는 경험: 사회적 합치와 인지적 합치의 가치(Adv in Health Sci Educ, 2008)

Understanding the experience of being taught by peers: the value of social and cognitive congruence

Tai M. Lockspeiser Æ Patricia O’Sullivan Æ

Arianne Teherani Æ Jessica Muller



배경

Background


학생들을 선생님으로 사용하는 것은 보충 교육의 한 유형으로 의과 대학에서 일반적입니다. 미국 의과 대학을 대상으로 한 설문 조사에서 75.8 %의 의과 대학은 피어튜터링 프로그램 (1990)을 가졌다. "동료"의 정의 광범위한데, 실제 동료 (예 : 동일한 의대)와 가까운 동료(한 학년 이상 앞선 학생)을 포함하며, 대부분의 의과 대학 프로그램은 near-peer들을 사용합니다.

Using students as teachers is common among medical schools as one type of supplemental instruction. In a survey of US medical schools, 75.8% of medical schools had peer tutoring programs (1990) Although the definition of ‘‘peer’’ is broad, encompassing both actual peers (i.e. in the same medical school class) and near-peers (i.e. students one or more classes ahead of the students they are teaching), most medical school programs use near-peers.


peer-assisted learning 을 지지하는 사람들은 동료교사와 학생이 

  • 유사한 지식 기반이나 "인지적 합치"를 공유하기 때문에 동료교사가 학습자가 이해할 수있는 언어를 사용하여, 적절한 수준으로 개념을 설명할 수 있다고 말한다 (Cornwall, 1980). 

  • 또한 동료교사와 학생들은 비슷한 사회적 역할을 맡고 있으므로 '사회적 합치'를 공유한다 (Schmidt & Moust, 1995).

Advocates of peer-assisted learning suggest it is successful because the peer-teacher and students share a similar knowledge base, or a ‘‘cognitive congruence,’’ which allows the peer-teachers to use language that their learners understand and to explain concepts at an appropriate level (Cornwall, 1980). Peer- teachers and students also share a ‘‘social congruence’’ because of their similar social roles (Schmidt & Moust, 1995).


대부분의 의대에서 보완적인 peer-assisted learning 프로그램은 일대일 피어튜터링을 사용하지만, 일부 학교는 대규모 그룹 환경에서 보완적인 peer instruction를 사용합니다 (Ebbert, Morgan, & Harris, 1999; Hurley, MacKay, Scott, & James, 2003, Sawyer, Sylvestre, Girard, & Snow, 1996, Wadoodi & Crosby, 2002). 이 프로그램은 대부분 고위험 students 대신 고위험 classes를 대상으로, 탈락률을 줄이고, 학업 성적을 향상시키기 위해, '보완 교육'모델을 기반으로합니다 (Blanc & Martin, 1994). Ashwin (2003)은 이전 수행능력을 통제할 때조차, PAL세션에 참가하면 수행능력 향상이 있음을 발견했습니다. 그러나 동시에 동료 집단에 참여하는 학생들은 종종 평가에서 성공하기위한 접근법은 배웠지만, 더 깊은 학습은 아닐 수도 있다고 지적했습니다. 최근의 문헌 검토에서 Santee와 Garavalia (2006)는 피어튜터링을 받은 것과 받지 않은 것을 비교한 경우 거의 모두가 피어 접근법을 선호한다고 지적했다.

Although the majority of medical school supplemental peer-assisted learning programs use one-on-one peer tutoring, some schools employ supplemental peer instruction in a large group setting (Ebbert, Morgan, & Harris, 1999; Hurley, MacKay, Scott, &James, 2003; Sawyer, Sylvestre, Girard, &Snow, 1996; Wadoodi & Crosby, 2002). Most of these programs are based on the ‘‘Supplemental Instruction’’ model that targets high-risk classes instead of high-risk students in an attempt to reduce drop out rates and improve academic performance (Blanc & Martin, 1994). Ashwin (2003) found that more attendance in peer-assisted learning sessions related to better performance even when controlling for previous performance. However, this researcher noted that students participating in peer groups often learned approaches to succeed on assessments, but perhaps not deeper learning. In a recent review of the literature, Santee and Garavalia (2006) noted that studies comparing receiving peer tutoring to no tutoring nearly uniformly favored the peer approach.


몇몇 연구는 동료 지원 학습의 효용성을보다 전통적인 교수 주도 접근 방식과 비교했다. Santee와 Garavalia (2006)는 10 개의 연구 중 절반에서 피어 보조 그룹의 학생들이 교수 주도로 배운 학생들과 성과에 차이가 없었다고 밝혔다.

Several studies have compared the efficacy of peer-assisted learning to a more traditional faculty led approach. Santee and Garavalia (2006) found that in half of the 10 studies reviewed, students in peer-assisted groups performed no differently than students in faculty led groups.


연구에 따르면 학생들은 PAL을 중요하게 생각합니다. 학생들은 동료 교사가 유용한 피드백과 명확한 설명을 주 었음을 알았고 친구들에게 이런 종류의 학습을 권유합니다.

Research also indicates that students value peer-assisted learning. The students found the peer tutors gave useful feedback and clear explanations and they would recommend this kind of learning to friends.


Methods


두단계

This study employed a two-phase research design. 

  • First, focus groups were conducted with first- and second-year students participating in the Medical Scholars Program (MSP), described below, as learners and teachers. As a tool for qualitative research, the focus group method uses group discussion to explore the perceptions and perspectives of its participants (Morgan, 1988). 

  • Based on the results of the focus groups, a questionnaire was developed and administered to all first-year medical students.


프로그램 설명

Program description


MSP is a supplemental peer-teaching program at the University of California, San Francisco (UCSF) School of Medicine that has served as a model for at least two other supplemental medical school peer-teaching programs (Hurley et al., 2003; Sawyer et al., 1996).


포커스그룹

Focus groups


In the spring of 2005, students were recruited to participate in one of four focus groups, three for MSP learners and one for MSP teachers. We randomly selected students using a table of random numbers from the first-year class and contacted them by email to request their participation for the first two learner focus groups.


All focus groups were facilitated by one of the authors (TML). 

Lunch was served to all focus group participants. 

    • Immediately prior to all focus groups, students filled out a brief questionnaire about their participation in MSP. 

    • Then, the facilitator asked semi-structured questions about participants’ perceptions of the overall efficacy of MSP, differences in student experiences over the 6-month course of MSP, and the experience of being taught by second-year students as compared to faculty members (for the learners) or the experience of teaching first-year students (for the teachers). 

Each focus group lasted approximately 60 min and was audio-recorded.


설문

Survey


We used the results from the learner focus groups, including statements and codes, to design a questionnaire that was administered to all first-year medical students during a required session at the end of the year. Completion was both voluntary and anonymous.


분석

Analyses


Descriptive statistics were calculated for the 14 survey items. We conducted a principal components factor analysis of these items followed by a varimax rotation. Factors with eigen values greater than 1 were retained. Items with factor loadings of 0.4 were considered significant for this sample size (Stevens, 1996).


결과

Results


포커스그룹 결과

Focus group results


높은 응답률에 초점을 맞추기보다는 충분한 수의 참가자를 확보하기 위해 과다 샘플링했습니다. 인구 통계 조사에서보고 된 데이터에서 포커스 그룹의 참가자는 MSP 등록 (데이터 표시 안 됨)에 따라 전체 1 학년 클래스를 대표했습니다.

We over-sampled to ensure sufficient number of participants rather than focusing on a high response rate. From the data reported in the demographics survey, the participants in the focus groups were representative of the entire first-year class based on their enrollment in MSP (data not shown).


학습자 포커스 그룹 

Learner focus groups


near peer로부터 배우기

Learning from near-peers


1 학년 학생들은 near-peer가 인지적으로 잘 매칭되는 것이 중요함을 언급했습니다. 2 학년 MSP 동료 교사는 최근에 자료를 스스로 공부했기에, 개념에 대한 기본적인 이해에 초점을 맞추어 적절한 수준에서 가르 칠 수있었습니다.

the first-year students mentioned the importance of near-peers being good cognitive matches. The second-year MSP peer-teachers had recently learned the material themselves and could teach at an appropriate level, focusing on a basic understanding of concepts.


2 학년 학생은 가르칠 자료를 공부하고자 고심했기 때문에 개념이 왜 어려웠는지, 어떻게 배웠는지 설명 할 수있었습니다.

Because the second-year teachers had recently struggled to learn the material they were teaching, they were able to explain why a concept had been difficult for them and how they had learned it.


2학년 학생과의 만남

Exposure to second-year students


학생들은 2 학년 학생들과의 상호 작용의 사회적 중요성에 대해 논평했습니다. 특히 학년 초에 MSP의 2 학년 교사들은 의대에 대한 두려움과 걱정을 덜어주었습니다.

Students commented on the social importance of interacting with students from the second-year class. Particularly at the beginning of the year, the second-year MSP teachers helped alleviate fears and anxiety about medical school.


2 학년 학생들과 상호 작용하면서, 그들이 1학년을 무사히 넘겼다는 것을 알게되고 나서는, 그 경험이 normalized 되었고, 2학년에 무엇을 해야하는지에 대한 그림을 보여줬다고 묘사했습니다.

Interacting with the second-year students and seeing that they had made it through the first year normalized the experience of being a first-year medical student and provided the first-years with a portrayal of what to expect in the upcoming year.


단순히 2 학년 학생들과의 상호 작용하고 알게 되는 것 만으로도 MSP의 중요한 구성 요소였습니다.

Simply interacting with and getting to know the second-year students were also valuable components of MSP.


학생들은 2 학년 학생들과의 상호 작용에서 얻은 지원에 관해 대부분 말했지만, 1 학년 학생들 내에서 협력 및 우정 증진도 장점으로 언급했다.

Although the students spoke mostly about the support they received from interacting with second-year students, they also discussed the benefits of MSP in promoting collaboration and camaraderie among the first-year class.


리뷰와 통합의 필요성

Need for review and synthesis


학생들이 해부학을 배우고있을 때, 그들은 엄청난 보완적 리뷰가 필요함을 느꼈습니다.

When the students were learning anatomy, they felt an immense need for supple- mental review.


1 년이 진행됨에 따라 MSP review는 덜 중요 해지고 학생들은 공부하는 방법을 더 잘 이해하게되었습니다.

As the year progressed, the MSP review became less essential, and students had a better understanding of how to study.


MSP 세션은 과목에 포함된 다양한 개념을 연결해주었고, 배우고있는 정보를 체계화하는 명확한 수단을 제공했습니다.

The MSP sessions connected the various concepts taught in a course together and provided an explicit means of organizing the information that the students were learning.


교육 방법

Teaching modalities


2 학년 MSP 동료 교사는 교수들과는 다른 교수 스타일을 사용했습니다. 1 학년 학생들은 암기법 사용이 유용함을 발견했습니다. "나는 MSP 동료 교사가 내용을 dumb down해서 더 간단한 방법으로 가르치고, 교수가 생각하지 않는 silly mnemonics를 쓰는 더 편하다고 생각한다"고 덧붙였다. 또한 MSP는 많은 강의보다 시각적이며 상호 작용 적이었습니다. "저는 쌍방향 학습자입니다. 사람들이 나에게 퀴즈를 낼때 더 잘 기억합니다 ... MSP는 그렇게 했지만, 교수님들의 강의는 그러하지 않습니다."


The second-year MSP peer-teachers used different teaching styles than the faculty. The first-year students found the use of mnemonics helpful. ‘‘I think [the MSP peer- teachers] were more comfortable with kind of dumbing things down and just teaching it in a simpler way, and making silly mnemonics and things that I don’t think the faculty would do.’’ In addition, MSP was more visual and interactive than many of the lectures. ‘‘I’m an interactive learner, I remember things when people quiz me on them... MSP does that, lectures don’t.’’


동료교수 포커스그룹 

Teacher focus group


MSP 동료교사의 포커스 그룹에는 "교사의 이익"이라는 고유 한 주제가있었습니다. 2 학년 동료 교사는 1 학년 학생들과의 관계 계발의 가치에 관해 말했으며, 그들의 commitment to service는 이 학생들을 가르치고자 하게 만든 동기 부여 요인이었습니다. 한 동료 선생은 "MSP를 가르침으로써 성취 감을 얻었습니다. 내가 1학년 때 쉽지 않았지만 지금은 완전히 이해한 것을 가지고 다른 사람을 도울 수 있다는 것이 좋았다 "

For the single focus group of MSP teachers there was one unique theme that emerged, ‘‘Benefits for the teachers.’’ The second-year peer-teachers spoke about the value of the relationships they developed with first-year students and stated that their commitment to service was a motivating factor in their decision to teach. One peer-teacher remarked, ‘‘I got a sense of fulfillment from teaching MSP. It was great to be able to help others with things that were not easy for me in first-year but that I finally understood.’’


설문 결과

Survey results


Of the 141 students in the first-year class 139 attended the required teaching session, and 111 completed the questionnaire (80%).



결론

Conclusions


교사 역할을 한 2 학년 학생들은 자신의 학습뿐만 아니라 다른 사람들을 돕는 데서 얻는 개인적 보상에 대한 장점을 발견했습니다. 이 발견은 선생과 학습자 간의 사회적 및 인지적 합치가 강력한 PAL경험을 가져올 수 있음을 시사하는 이전 연구를 확인한다 (Cornwall, 1980; Moust & Schmidt, 1995; Schmidt & Moust, 1995).

The second-year students who served as teachers also identified advantages for their own learning as well as the personal rewards that come from helping others. These findings confirm previous research that suggests that social and cognitive congruence between teacher and learner can result in a powerful peer-assisted learning experience (Cornwall, 1980; Moust & Schmidt, 1995; Schmidt & Moust, 1995).


전반적으로 우리의 요인 분석 결과는 PAL에 대한 사고 체계를 세 가지 요소로 제안합니다.

  • 동료 교사의 장점,

  • 피어 보조 프로그램 학습 과정

  • 교원 / 교사 역할 인식

Overall, our factor analysis results suggest a framework for thinking about peer-assisted instruction which has three components—

  • the benefits of the peer-teachers, 

  • the learning process for peer-assisted programs, and 

  • the peer-teacher/faculty role perceptions.


포커스 그룹이 MSP에 대한 긍정적 인 경험을 많이 보여 주었지만 설문 조사의 평점은 '중립적'에서 '동의 함'사이였습니다. MSP에 가장 많이 참여한 학생들은 프로그램을 가장 긍정적으로 평가했습니다.

Although the focus groups revealed largely positive experiences with MSP, the survey ratings averaged between ‘‘neutral’’ to ‘‘agree.’’ We note that students with the highest participation in MSP rated the program most positively.


교수 능력을 선택 했음에도 불구하고, 2학년 MSP 동료 교사는 교수 역할을 수행하기 전에 가르치는 방법에 대해 더 가르쳐 줄 것을 요청했습니다. 우리는 "Teaching to Teach" 워크샵을 학생에게 제공함으로써이 문제를 해결하기 시작했습니다.

Despite selecting for teaching ability, the second-year MSP peer-teachers in their focus group requested more instruction about how to teach before assuming their teaching roles. We have begun to address this issue by offering a student derived and delivered ‘‘Teaching to Teach’’ workshop.


우리의 연구에 따르면, 우리는 다른 학교에 여러 가지 추천을 할 수 있다고 생각합니다. 

첫째, 학교가 제공하는 커리큘럼을 중심에 두고 보완적인 동료 교육 프로그램의 역할을 고려해야합니다.

Based on our research, we believe we can make several recommendations to other schools. 

First, the role of a supplemental peer-teaching program must be considered in light of the curriculum that the school offers.


둘째, 또래 교육은 의대 초반에 가장 효과적이며, 학생들이 겪는 과도기적 어려움의 일부를 크게 완화시킬 수 있습니다. 처음에는 학습 자료가 압도적으로 많아 학생들이 자신의 학습을 이끌어 나가는 것이 편안해질 때까지 추가 guidance와 안도감을 찾도록 유도합니다. PAL은 학생들이 특히 압도되거나 신경이 쓰이는 중요한 몇 개월 동안의 지원을 제공합니다.

Second, peer-teaching is likely to be most effective in the beginning of medical school and may greatly alleviate some of the transitional difficulties students encounter. Initially, the large volume of material to learn may be overwhelming, leading students to seek additional guidance and reassurance until they become comfortable guiding their own study. Peer-assisted learning provides support in the crucial first fewmonths when students are particularly overwhelmed or nervous.


셋째, 학교는 near peer가 동료 학생들에게 공감하고, 적절한 수준에서 가르치며, 학습을 anticipate and reframe함으로써 공헌할 수 있음을 인식해야합니다. 2 학년 MSP 교사는 교수진과 동일한 전문 지식을 가지고 있지 않지만,인지 적 합치로 이를 보상했습니다. 인지적 합치 연구는 적절한 수준에서 가르치는 능력에 중점을 둔다 (Moust & Schmidt, 1995; Schmidt & Moust, 1995). 이 연구는 1 학년 학생들이 특정 개념을 이해하는 데 어떤 것을 어려워할지를 예상 할 수있는 2학년 MSP 교사의 능력이 인지적 합치를 창출하는 데 중요한 구성 요소임을 보여주었습니다.

Third, schools should recognize the unique contribution of near-peers who can empathize with their students, teach at the appropriate level, and anticipate and reframe learning. Even though the second-year MSP teachers do not have the same content expertise as the faculty, they compensated for this with their cognitive congruence. The cognitive congruence literature focuses on the ability to teach at the right level (Moust & Schmidt, 1995; Schmidt & Moust, 1995). This study revealed that the ability of the second-year MSP teachers to anticipate problems that the first-year students might have in understanding particular concepts was a key component in creating cognitive congruence.


넷째, 학교는 팀 오리엔테이션을 향상시키는 방법으로 near peer teaching을 고려해야합니다. MSP는 2학년 학생들이 1학년 학생들에게 비공식적 지원 및 조언을 줄 수 있게 하였으며, 1학년 학생들 사이의 협력 및 우정에 대한 조언을 제공했습니다.

Fourth, because of the collaboration it promotes both between and within medical school classes, schools should consider near-peer-teaching as a way of enhancing team orientation. MSP helped foster informal support and advising of the first-year class by the second-year class as well as collaboration and camaraderie among the first-year students.


다섯째, 동료 교사는 교사 역할을 위한 준비를 해야합니다. 교육자로서의 기술을 향상시키는 데 시간을 사용하지 않는 것은 문제이다. 독특한 발견은 아니지만, 이 연구는 PAL이 동료 교사뿐만 아니라 학생들에게도 도움이된다는 증거를 제공했습니다. 2학년 MSP 교사는 1학년 자료를 검토하고 다시 배울 기회를 소중히 여겼으며, 이것을 의과대학 커뮤니티 다시 돌려 줄 수있는 기회를 얻었습니다. 그러나 그들은 교사로서 역할이 준비가 필요함을 인정했다.

Fifth, peer-teachers must be prepared as teachers. It is a disservice not to spend the time enhancing their skills as educators. Although not a unique finding, this study provided further evidence that peer-assisted learning benefits the peer- teachers as well as the students . While thesecond-year MSP teachers valued the opportunity to review and relearn materialfrom first year, they also appreciated the opportunity to give back to the medicalschool community. However, they recognized that the role of teacher was one forwhich they needed further preparation.






 2008 Aug;13(3):361-72. Epub 2006 Nov 24.

Understanding the experience of being taught by peers: the value of social and cognitivecongruence.

Author information

1
School of Medicine, Office of Medical Education, University of California, 521 Parnassus Ave, Box 0410, San Francisco, CA 94143-0410, USA. tai.lockspeiser@ucsf.edu

Abstract

BACKGROUND:

Medical schools use supplemental peer-teaching programs even though there is little research on students' actual experiences with this form of instruction.

PURPOSE:

To understand the student experience of being taught by peers instead of by faculty.

METHODS:

We conducted focus groups with first- and second-year medical students participating in a supplemental peer-teaching program at one institution. From the learner focus group themes, we developed a questionnaire and surveyed all first-year students.

RESULTS:

Focus groups revealed four learner themes: learning from near-peers, exposure to second-year students, need for review and synthesis, teaching modalities and for the peer-teachers, the theme of benefits for the teacher. Factor analysis of the survey responses resulted in three factors: second-year students as teachers, the benefit of peer-teachers instead of faculty, and the peer-teaching process. Scores on these factors correlated with attendance in the peer-teaching program (P < .05).

CONCLUSIONS:

Students valued learning from near-peers because of their recent experience with the materials and their ability to understand the students' struggles in medical school. Students with the highest participation in the program valued the unique aspects of this kind of teaching most. Areas for improvement for this program were identified.

PMID:
 
17124627
 
DOI:
 
10.1007/s10459-006-9049-8


피어티칭이 교수의 수업에 비하면 어떠한가? 체계적 고찰과 메타분석 (Med Teach, 2016)

How does peer teaching compare to faculty teaching? A systematic review and meta-analysis*

ELIOT L. REES, PATRICK J. QUINN, BENJAMIN DAVIES & VICTORIA FOTHERINGHAM

Keele University, UK




도입

Introduction


학부 의학 교육에서 학생들의 학습을 촉진하는 데 사용되는 방법은 매우 중요합니다. 피어티칭은 그 방법중 하나로, 피어 - 보조 학습 또는 near peer 교육이라고도 불리며, 최근 수십 년 동안 교육에 잘 포함되었습니다 (Ten Cate & Durning 2007b). "한 학생이 한 명 이상의 동료 학생들을 가르치는 교육 협약 (Ten Cate & Durning 2007a)"으로 정의 된 동료 교육은 교사 (Nestell & Kidd 2005)와 학생 (Graham)이 배운 새로운 지식과 기술에 대한 기회를 제공합니다 et al., 2008).

The methods used to facilitate students’ learning in undergraduate medical education are of great importance. One such method, peer teaching, also referred to as peer-assisted learning or near-peer teaching, has become well embedded in education in recent decades (Ten Cate & Durning 2007b). Defined as ‘an educational arrangement in which one student teaches one or more fellow students’ (Ten Cate & Durning 2007a), peer teaching offers opportunities for new knowledge and skills to be learned by both tutor (Nestell & Kidd 2005) and student (Graham et al. 2008).


피어티칭의 핵심 교습은 인지적, 사회적 합치이다 (Lockspeiser et al., 2008). 

  • 인지적 합치는 지성과 사고 처리에서 튜터와 학생의 유사성입니다. 피어티칭에서 학습자와 교사는 모두 교육적으로 유사한 수준에 있으며, 교수 주도의 교육에 비해 인지적 합치가 더 커집니다. 이를 통해 동료 교사는 학습자가 더 잘 이해할 수있는 방식으로 복잡하고 어려운 주제를 더 잘 설명할 수 있습니다 (Lockspeiser 외. 2008). 이는 피어튜터 학생들도 최근에 동일한 자료를 학습했기 때문이며, 초보자가 보다 수용적인 방식으로 개념을 표현할 수 있다.

  • Key to peer teaching is the elements of cognitive and social congruence (Lockspeiser et al. 2008). Cognitive congruence is the similarity of tutor and student in intellect and thought-processing. Within peer teaching, both learners and teachers are of a similar level educationally leading to greater cognitive congruence compared to faculty-led teaching. This allows peer teachers to express often complex and intimidating topics in ways, which learners are better able to understand (Lockspeiser et al. 2008). This is also assisted by the fact that peer teachers will themselves have recently covered the same material and may be able to express the concepts in a manner to which novices are more receptive.


  • 동등하게, 동료 학습자와 동료 교사는 동일하거나 유사한 사회적 지위를 가질 것으로 예상됩니다. 이 사회적 합치의 결과로, 동료 교사들은 사회 및 학업 생활에 대한 높은 이해를 바탕으로, 학습자의 필요와 우려에 대해 더 많이 이해하는 것처럼 보입니다 (Schmidt & Moust 1995).

  • Equally, peer learners and peer teachers are expected to be of the same or a similar social standing. As a result of this social congruence, peer teachers seem to express more of an understanding of their learner’s needs and concerns, by way of an increased understanding of their social and academic lives (Schmidt & Moust 1995).


문헌에 의하면 의대생은 피어티칭를 받아들이는 경향이 있다고합니다. 연구에 따르면 피어 학습자는 

  • 더 나은 학습 환경과 분위기 (Kassab 외 2005), 

  • 시험 관련 스트레스 해소 (Kommalage & Thabrew 2011) 

  • 동료들이 커리큘럼 교육에 도움이 되는 보조 도구가 됨 (Naeger et al., 2013). 

피어 교육이 널리 받아 들여지면 교과 과정 내에서 귀중한 자산이됩니다.

The literature suggests that medical students tend to be receptive to peer teaching. Studies have found that peer learners report: 

  • a better learning environment and atmosphere (Kassab et al. 2005), 

  • relief of exam-related stress (Kommalage & Thabrew 2011) and 

  • find their colleagues to be a helpful adjunct to the curriculum teaching (Naeger et al. 2013). 

The widespread acceptability of peer teaching makes it a virtuous asset within a curriculum.


피어티칭의 또 다른 역할은 '미래의 의사들'에게 조기에 자신의 교수법을 연습 할 수있는 기회를 제공하는 것입니다. 가르침은 임상의의 일에서 필수적인 부분으로서, 의사는 환자와 동료 모두에게 지식을 효과적으로 전달할 수 있어야 한다. 실제로 영국의 종합 의료 협의회 (General Medical Council) 'Good Medical Practice'가이드는 교육 분야에서의 역량의 중요성을 강조합니다 (General Medical Council 2013).

Another role of peer teaching is to offer ‘tomorrow’s doctors’ the opportunity to practice their teaching skills at an early stage in their careers. As teaching is an integral part of a clinician’s job, it is vital that they are effective at imparting knowledge upon both patients and colleagues. Indeed, in the UK the General Medical Council’s guide to ‘Good Medical Practice’ stresses the importance of competence in the art of teaching (General Medical Council 2013).


Methods


질문

Review question


How are the knowledge and skills outcomes of undergraduate medical students taught by peers different to those taught by faculty?


검색 전략

Search strategy


Selection criteria


The criteria for inclusion in this systematic review were as follows:

      • 집단   Population: Undergraduate medical students.

      • 개입   Intervention: Peer teaching.

      • 비교   Comparison: Faculty teaching.

      • 성과   Outcomes: Knowledge or skills outcomes measured through objective assessment.

      • 연구 설계   Study design: Comparative.


스크리닝

Screening and selection of studies



파일럿 연구

Pilot study



자료 추출

Data extraction



연구 퀄리티 평가

Assessment of methodological quality


The methodological quality of included studies was rated using the Medical Education Research Study Quality Instrument (MERSQI) (Reed et al. 2007). The MERSQI is a validated tool consisting of 10 items in six domains: 

    • study design, 

    • sampling, 

    • type of data, 

    • validity of evaluation instrument, 

    • data analysis and 

    • outcomes.


편향 평가

Assessment of risk of bias


Risk of bias of included studies was determined using the Cochrane collaboration risk of bias assessment tool (Higgins & Green 2011). A judgement of ‘low risk of bias’, ‘unclear risk of bias’ or ‘high risk of bias’ has been given for each source of bias for each study accompanied by supporting statements. The sources of bias considered were 

    • 무작위 순서 생성 random sequence generation (selection bias), 

    • 할당 은폐 allocation concealment (selection bias), 

    • 참가자와 연구자 블라인딩 blinding of participant and personnel (performance bias), 

    • 성과 평가의 블라인딩 blinding of outcome assessment (detection bias) and 

    • 불완전한 성과자료 incomplete outcome data (attrition bias).


자료 통합

Data synthesis


결과

Results


검색 결과

Search results


Figure 1 illustrates the flowchart of included papers.


방법론적 퀄리티

Methodological quality


The mean (SD, range) MERSQI score for included studies was 13.25 (0.65, 12.5–15.5) of 18 (Table 1).




편향 위험

Risk of bias


The risk of bias and justification for individual studies is detailed in Table 2, the overall risk of bias for included studies is illustrated in Figure 2.





연구 결과 요약

Summary of included papers


Methods, population, intervention and comparator, outcomes, and findings for each included study are detailed in Table 3.





지식

Knowledge


Only one study reported a significant difference between peer-taught and faculty-taught students’ knowledge; favouring peer-teaching. The pooled effect favours peer-teaching, but does not reach significance [standardised mean difference(SMD) = 0.07, p = 0.32] (Figure 3). 



스킬

Skills


For skills outcomes, again only one study reported significantly different outcomes between peer-taught and faculty-taught students (again in favour of peer-teaching). The pooled effect favoured peer teaching but again failed to reach significance(SMD = 0.11, p = 0.24) (Figure 4).





고찰

Discussion


포함 된 논문에 학생들의 결과에 차이가 없다고해서 모든 학생들이 학부 의학 커리큘럼의 주제를 가르치는 데 교수만큼 효과적 일 수 있다고 제안하지는 않습니다. 포함 된 연구 중 8 가지 (80 %)는 신체 검사 또는 의사 소통 기술에 대한 교육을 조사한 반면, 2 가지 연구 만이 기초 또는 임상 과학을 연구했습니다. 학생들이 의사 소통, 임상 및 절차 기술을 가르칠 때에는 효과가 비슷할지 모르지만 기본 또는 임상 과학 교육에 더 많은 전문 지식이 필요할 수도 있습니다.

That there is no difference in students’ outcomes in the included papers does not suggest that all students would be as effective as staff at teaching any topic in the undergraduate medical curriculum. Eight (80%) of the included studies investigated teaching of physical examination or communication skills, while only two studies researched basic or clinical sciences. It may be that students are equally effective at teaching communication, clinical and procedural skills, but that basic or clinical sciences teaching might require even greater expertise. 


그럼에도 불구하고,이 메타 분석은 학생 동료들이 교수로서 이러한 특정 주제를 가르치는 데 효과적임을 보여줍니다. 피어티칭의 수용 가능성(Kassab 외 2005), 피어티칭(Nassell & Kidd 2005)의 교육적 이득, 학부 학생에게 교육 역량 개발의 필요성(General Medical Council 2009, 2013)등을 고려할 때, 우리는 학생들이 동료들에게 가르침을 전하는 것이 적절하다고 제안합니다.

Nevertheless, this meta-analysis demonstrates that student peers are as effective at teaching these certain topics as faculty. Considering the reported acceptability to the peers they teach (Kassab et al. 2005), the educational benefit to the peer tutors (Nestell & Kidd 2005), and the necessity for undergraduate students to develop competency in teaching (General Medical Council 2009, 2013), we suggest that it is appropriate for students to deliver teaching to their peers.


피어티칭이 의과 대학 내에서 어떻게 구현되고 모니터되는지는 주어진 학교 내에서 피어 교육의 목표에 달려 있습니다. 예를 들면 피어티칭이 교수 및 자원에 대한 부담을 줄이기 위해서인지, 온전히 피어튜터의 교육 역량 개발만을 위한 것인지 등이다. Nestel과 Kidd는 자원 부족으로 의사 소통 기술 교사의 교원을 대체 할 동료 교사를 사용한다고보고합니다 (Nestel & Kidd 2003). 이 peer teacher들은 교사 연수 워크샵에 참석하고, 교육 세션에 대한 보수를 받았습니다.

how peer teaching is implemented and monitored within medical schools will depend on the aim of peer teaching within a given school, whether to alleviate pressure on faculty and resources, or purely for the educational development of the peer tutors. Nestel and Kidd report using peer teachers to replace faculty in communication skills training due to a shortage in resources (Nestel & Kidd 2003). These peer teachers attended a teachertraining workshop and received remuneration for the sessions they delivered.


다른 학교에서는, 학생들이 교수 교습의 보조 도구adjunct로서 교과외 교육을 제공합니다 (Naeger 외, 2013). 교수의 수업에 더하여 피어티칭을 활용하는 것은 교수 수업만 있는 것보다 낫고, 동료 교사에게도 교육적 혜택을 줄 것입니다.

In other schools, students deliver extracurricular teaching as an adjunct to faculty teaching (Naeger et al. 2013). Peer teaching in addition to faculty teaching is likely to be better than faculty teaching alone, and will still offer the educational benefit to the peer teachers.


피어 교육이 학교 커리큘럼의 일부이든 supplementary하든 관계없이, 피어 교사는 이론 및 방법을 가르치는 데 필요한 몇 가지 형식의 교육을 받아야합니다.

Regardless of whether peer-teaching form part of a school’s curriculum or is supplementary, it seems sensible that peer tutors should receive some forms of instruction on teaching theory and methods.


최근의 문헌리뷰에서 학생의 교수법 개발을 위한 3대 선도 사업으로 [피어티칭 프로그램, 교육 워크샵, 지역 사회 봉사 활동 프로그램]이 확인되었다 (Marton 외 2015).

A recent review identified peerteaching programmes, teaching workshops and community outreach programmes as the three leading initiatives for developing students’ teaching skills (Marton et al. 2015).


각 연구에서 학생들은 자발적으로 참여했다. 교육에 관심이있는 학생에게 참여할 수있는 기회가 주어지는 것이 적절하지만, 모든 학생에게 teaching 역할을 기대해야하는지, 아니면 학생의 선택으로 남아 있어야하는지에 대한 질문이 제기됩니다. 일부 교육 기관에서는 이전 학업 성과 (Sobral 2002) 또는 개인 인터뷰 (Weyrich 외 2008)에 근거하여 피어튜터가 될 학생을 선발합니다.

Within each of the studies included students volunteered to teach. While it is appropriate that those with an interest in teaching have an opportunity to engage, it raises the question of whether all students should be expected to teach or if it should remain optional. Some institutions select students to be peer tutors on the basis of previous academic performance (Sobral 2002) or performance in a personal interview (Weyrich et al. 2008).



강점과 한계

Strengths and limitations


발표된 문헌이 적음

As a review this study is limited by the availability of published literature.


미래 연구 영역

Areas for future research


피어티칭에 가장 적합한 학부 의료 커리큘럼 내의 주제는 무엇인가?

An area of interest for future study would be the topics within undergraduate medical curricula that are most appropriate for peer teaching.


그러나 교사에 대한 또래 교육의 이점이 입증 되었기 때문에 (Nestell & Kidd 2005), 성과가 저조한 학생들이이 과정에 참여하도록 장려하는 것이 효과적인 교육 전략 일 수 있습니다.

However, as advantages of peer teaching to the tutor have been demonstrated (Nestell & Kidd 2005), it is possible that it may be an effective educational strategy to encourage less well-performing students to engage with this process.



향후 토론을위한 마지막 주제는 퀄리티 보증입니다. 이 연구에 포함 된 여러 연구에서 교수진은 학습 계획 및 리소스를 검토하여 정확성을 보장 할 수 있었습니다. peer-taught session에서 고위 관리자 (super supervision)의 소개와 함께 한 단계 더 나아가는 것이 중요 할 수 있습니다. 이는 불안한 튜터에게 어려운 질문에 대한 안전망을 제공 할 수 있으며, 교육 기관이 적절한 교수법을 보장 해줄 수 있습니다. 그러나 이것(기관의 공식적 개입)은 피어 교수의 비공식성에서 오는 교육환경 측면의 특성을 disrupt함으로써 disadvantage가 될 수도 있다.

A final topic for future debate is that of quality assurance. Within many of the studies included in this article, faculty were able to review learning plans and resources in order to ensure their accuracy. It may be valuable to take this a step further, with the introduction of senior supervision in peer-taught sessions. This may provide an anxious tutor with a safety net for difficult questions, and allows the associated institution to ensure appropriate teaching practice. However, this risks disrupting the educational environment generated by the informal nature of peer teaching, and may therefore be disadvantageous.



Marton GE, McCullough B, Ramnanan CJ. 2015. A review of teaching skills development programmes for medical students. Med Educ 49: 149–160.


Ten Cate O, Durning S. 2007b. Peer teaching in medical education: Twelve reasons to move from theory to practice. Med Teach 29: 591–599.










 2016 Aug;38(8):829-37. doi: 10.3109/0142159X.2015.1112888. Epub 2015 Nov 27.

How does peer teaching compare to faculty teaching? A systematic review and meta-analysis (.).

Author information

1
a Keele University , UK.

Abstract

PURPOSE:

In undergraduate medical educationpeer-teaching has become an established and common method to enhance student learning. Evidence suggests that peer-teaching provides learning benefits for both learners and tutors. We aimed to describe the outcomes for medical students taught by peers through systematic review and meta-analysis of existing literature.

METHODS:

Seven databases were searched through 21 terms and their Boolean combinations. Studies reporting knowledge or skills outcomes of students taught by peers compared to those taught by faculty or qualified clinicians were included. Extracted data on students' knowledge and skills outcomes were synthesised through a random effects model meta-analysis.

RESULTS:

The search yielded 2292 studies. Five hundred and fifty-three duplicates and 1611 irrelevant articles were removed during title-screening. The abstracts of 128 papers were screened against the inclusion and exclusion criteria. Ten studies have been included in the review. Meta-analyses showed no significant difference in peer-teaching compared to faculty teaching for knowledge or skills outcomes, standardised mean differences were 0.07 (95% CI: -0.07, 0.21) and 0.11 (95% CI: -0.07, 1.29), respectively.

CONCLUSION:

Students taught by peers do not have significantly different outcomes to those taught by faculty. As the process of teachinghelps to develop both tutor knowledge and teaching skills, peer-teaching should be supported.

PMID:
 
26613398
 
DOI:
 
10.3109/0142159X.2015.1112888
[Indexed for MEDLINE]


의학교육에서 피어티칭의 차원과 심리학(Med Teach, 2007)

Dimensions and psychology of peer teaching in medical education

OLLE TEN CATE1 & STEVEN DURNING2

1UMC Utrecht, the Netherlands, Center for Research and Development of Education, UMC Utrecht, the Netherlands,

2Uniformed Services, University of the Health Sciences, USA




도입

Introduction


의학 교육의 가장 중요한 목표는 학습자의 점진적인 독립입니다. 효과적인 교육은 학습 과정에 orient되어있고 독립성을 육성하는 반면 (Ten Cate 외 2004), 학습에서 점차적으로 element of teaching을 통합 할 수 있습니다. 독립적 인 학습자가되기위한 중요한 기술은 자기 성찰 능력입니다. 'self-teacher', 'self-directed learner'또는 'reflection practitioner'와 같은 용어는 이 필요한 기술을 구현하기 위해 사용되어왔다. 성찰하고 자신을 가르치는 법을 배울 수있는 한 가지 방법은 다른 사람들을 가르치는 것입니다.

An overarching goal of medical education is progressive independence of the learner. While effective teaching is oriented toward the learning process, to foster independence(Ten Cate et al. 2004), learning may also gradually incorporate elements of teaching. A important skill for becoming an independent learner is the ability to self-reflect. Terms such as ‘self-teacher’, ‘self-directed learner’ or ‘reflective practitioner’ have been used in the literature to embody this needed skill. One potential way to learn to reflect and to teach oneself is by being a teacher for others.


피어티칭은 한 학생이 한 명 이상의 동료 학생들을 가르치는 교육으로 정의 할 수 있습니다. 피어 티칭의 가장 흔한 형태 중 하나인 'near-peer teacher'는 같은 적어도 1 년 이상 앞선 학생입니다.

Peer teaching can be defined as an educational arrange- ment in which one student teaches one or more fellow students. A ‘near-peer teacher’—one of the most common forms of peer teaching–is a student who is more advanced, by at least one year distance, in the same curriculum.


고등 교육에서 동료 교육, 동료 보조 학습, 동료 학습, 동료 평가, 교사의 역할에서 학생 또는 훈련생을 이용하는 것 등등은 인기가 있다 (Topping 1996, Falchikov 2001). 1960 년대와 1970 년대 초등 및 중등 교육에 구조화 된 피어 티칭 형식이 도입 된 이후 (Devin-Shehan et al., 1976), 그것은 고등 교육에서 점점 더 대중화되었다.

Peer teaching, peer assisted learning, peer tutoring, peer assessment or any other use of students or trainees in the role of teachers is popular in higher education (Topping 1996; Falchikov 2001). After the introduction of structured peer teaching formats in primary and secondary education in the 1960s and 1970s (Devin-Shehan et al. 1976), it became more and more popular in higher education.


많은 의과 대학은 여러 방법으로 동료 교육을 적용하고있다 (Moore-West 등, 1990).

Many medical schools now apply peer teaching in one way or another (Moore-West et al. 1990).


실용적인 이유, 지역 상황, 재정적 가능성, 시간 압박은 종종 교사와 커리큘럼 설계자에게 어떤 교육 방법이 가용하고 실행 가능해 보일지를 선택하게 만듭니다. 학생들이 '정규'또는 전문 교사와 비교했을 때 가지는 상대적인 편익에 대해 많은 의문없이 수십 년 또는 수세기 동안 의학 교육 교사로 일해 왔습니다. 예를 들어, 해부학은 해부학 교실에서 오랫동안 학생들을 TA로 활용하여 혜택을 얻었으며, 이러한 학생들은 일반적으로 이러한 교수 경험이 외과 및 기타 직업에서 중요한 준비라고 주장합니다 (Ocel et al., 2003).

Practical reasons, local circumstances, financial possibilities and time pressures often force teachers and curriculum designers to choose whatever teaching methods seem available and workable. Students have been used as teachers in medical education for decades or maybe even centuries, without much question about the relative benefit as compared with ‘regular’ or expert faculty teachers. For example, anatomy has long benefited from students as teaching assistants in dissection classes and these students usually claim that this teaching experience is a valuable preparation for surgical and other careers (Ocel et al. 2003).






고등교육에서 피어티칭을 분류하기 위한 세 가지 차원

Three dimensions to categorize peer teaching in higher education


피어티칭은 여러 가지 형식을 가지고 있으며, 피어티칭과 관련된 수많은 용어가 문헌에서 사용됩니다. 그것들은 표 1 (Goldschmidt & Goldschmidt 1976, Cornwall 1980, Ten Cate 1986)에 묘사 된 3 차원으로 분류 될 수있다.

Peer teaching, has several forms and numerous terms relating to peer teaching are used in the literature. They may be categorized by three dimensions illustrated in Table 1 (Goldschmidt & Goldschmidt 1976, Cornwall 1980, Ten Cate 1986).



가르치는 학생과 배우는 학생들 간의 거리

Distance between students teaching and students taught


교사가 학습자와 다른 수준에있을 때 이것을 'cross-age'또는 'cross-level teaching'이라고 종종 부릅니다. 교사와 학습자가 동일한 교육 수준에 있지만 1 년 이상 차이가 나는 경우이 프로세스를 'near-peer' 교육이라고합니다. 표 1의 사례에서 이 거리는 6년에서 7년까지 다양하며, '저학년 학생이 고학년 학생을 가르치는'reverse distance도 있다(Gustafsson 외. 2006).

When teachers are on a different level than learners this is often called ‘cross-age’ or ‘cross-level teaching’; when the teacher and learner are on the same educational level, but differ by one or more years we refer to this process as ‘near-peer’ teaching. In the examples in Table 1 this distance varies from 6 to 7 years in one which ‘junior teach programme in students often senior students’, implying a reverse distance (Gustafsson et al. 2006).




배우는 학생의 그룹 규모

Group size of students taught


두 번째 차원은 배우는 학생들의 그룹 크기입니다. 그룹 크기에는 일대일 피어티칭 (종종 피어 튜터링이라고 함), 소그룹 설정에 적용된 피어티칭, 대규모 그룹 설정의 피어티칭이 포함됩니다. 때로 학생들은 특정 주제에 대해 젊은 동료를 강의 할 수 있으므로 대규모 수업도 제공 할 수 있습니다 (Ten Cate & Heymans 1982). 교육 대상의 그룹 크기가 달라지면 필요한 지식, 기술, 태도도 달라진다 (예 : 일대일 동료 학습은 상담 기술이 필요하지만, 그룹 수업을 하려면 집단 역학을 이해해야 함). 우리는 1:1 또는 1 : 2를 1 : 3 이상의 교육과 구분하였다. 왜냐하면 그룹 역동 프로세스를 구축하려면 세 명 이상의 학생이 필요하기 때문이다.

A second dimension is the group size of students taught. Group sizes include one-to-one peer teaching (often called peer tutoring), peer teaching applied in small group settings, and peer teaching in large group settings. Occasionally students may lecture younger peers on a specific topic, and thus serve a large class (Ten Cate & Heymans 1982). Teaching in different group sizes is likely different, requiring unique sets of knowledge, skills, and attitude (e.g., one-to-one peer tutoring may benefit from counselling skills, whereas adequate group teaching requires the understanding of group dynamics). We made a distinction between one-to-one or one-to-two tutoring as individual encounters, versus one-to- three or more teaching, signifying three as minimum size of a group, as a minimum of three students is needed to establish a group dynamic process.



교육의 공식성 수준

Formality of the teaching arrangement


세 번째 차원은 교육 프로그램 내에서 교육의 공식성 수준입니다. 한 극단은 동료들이 비공식적으로 함께 작업하는 것을 포함 할 수 있습니다.

A third dimension is the formality of the teaching within the educational program. One extreme of the formality dimension could involve having peers informally working together


다른 극단은 피어티칭을 교육 프로그램의 필수 요소로 사용하는 것이다. 예를 들어 의대생은 PBL 세션이나 실험실 수업과 같은 코스에서 정규 교사를 대신 할 수 있습니다. 학생 중심의 컨퍼런스 및 심포지엄과 같은 교육 목적의 학생 중심의 교과외 활동은 교과 과정의 관점에서 볼 때 낮은 공식성 수준의 활동으로 간주됩니다.

The other extreme uses peer teachers as an obligatory part of the educational program. For example, medical students could potentially replace regular teachers in courses such as problembased learning sessions or lab classes. Student-led extra curricular activities, with an educational focus, such as student-led conferences and symposia would be considered to have low level of formality, if considered from a curricular point of view.



전문 용어 개요

Overview of terminology


여러 가지 용어와 피어 교육의 표현을 감안할 때 위에서 언급 한 세 가지 차원에서 파생 된 다음과 같은 분류와보다 자주 사용되는 용어를 적용하는 것이 좋습니다 (표 2).

Given the multiple terms and manifestations of peer teaching, we suggest the following categorization, derived from the three dimensions mentioned above, and applying the more frequently used terms (Table 2).


가장 단순화하자면, 상급 학생이 아래 학년 학생들을 가르 칠 때 'near peer teaching'을, 동기들끼리 가르칠 때 '피어티칭'을 사용할 수 있다.

In its most simplified form, we suggest to use ‘near-peer teaching’ when more advanced students teach less advanced ones (Whitman 1988) and ‘peer teaching’ when students teach fellow students on the same educational level in the same academic year. 




피어티칭의 심리학

The psychology of peer teaching


In Table 3 we have summarized the theoretical perspectives that will be discussed. These are categorised as 

(a) 인지적, 메타인지적 학습 측면 the cognitive or metacognitive level of learning or the 

(b) 정서적, 동기적 측면 affective, motivational level of learning, 


pertaining to 

(i) 배우는 학생 students being taught and 

(ii) 가르치는 학생 students who teach. 


이차원 프레임워크

This leads a two-dimensional framework. 




피어티칭은 배우는 학생에게 왜 도움이 되는가? 

Why would peer teaching be beneficial for the student who receives the teaching? 


많은 경우, 교사를 동료로 사용하는 이유는 의학 교육에서 증가하는 인력 문제를 해결하는 것입니다. 학생 교사는 충분한 지식을 가지고 있거나, 지식을 빨리 습득 할 수 있습니다. 그들은 값싼 노동력이며, 종종 교수진보다 더 유연한 일정을 가지고 있으며, 종종 열정적입니다.

In many cases, the rationale for using peers as teachers is to solve a growing man power problem in medical education. Student teachers have sufficient knowledge, or are able to gain this quickly; they are cheap labour, often have more flexible schedules than faculty and are often enthusiastic. 


인지적 합치의 개념

The concept of cognitive congruence


학습이란 기존 지식 기반의 확장으로 볼 수 있습니다초기의 인지 심리학자들은 장기 기억에 대한 지식의 조직화를 다음과 같이 묘사했다

    • 개념의 semantic network와 그것들 사이의 관계 (Lindsay & Norman 1977)

    • 첨가에 의한 네트워크의 조정으로서의 학습 (정보 추가),

    • 재구조화 (인지 스키마의 modification) 및 튜닝 (적절성과 효율성을 위한 미세 조정).

Learning can be viewed as the extension of an existing knowledge base. The organisation of knowledge in long term memory has been described by early cognitive psychologists as 

    • a semantic network of concepts and relations between them (cf Lindsay & Norman 1977) and 

    • learning as adjustment of the network by accretion (adding information), 

    • restructuring (modification of cognitive schemas) and tuning (fine adjustments for adequacy and efficiency). 


이 관점에서 학습이란 사전 지식 기반의 조정이고, 교육은 이를 돕는 것이다. 전문가들은 초보자보다 훨씬 정교하고 구조적으로 차이나는 의미론적 네트워크를 가지고 있으며, 그 결과 학생들의 인지적 문제와 요구를 이해하는 데 어려움을 겪을 수 있습니다. Cornwall (1979)은 학습자의 의미론적 네트워크와 더 가까운 의미론적 네트워크를 가진 교사가 학생의 요구를 보다 쉽게 ​​이해하고보다 효과적으로 도움을 줄 수 있다고 가정했다.

From this view, learning is the adjusting of a prior knowledge base and teaching is helping to do this. Experts have much more elaborated and differently structured semantic networks than novices and can have difficulty understanding students’ cognitive problems and needs. Cornwall (1979) postulated that a teacher with a semantic network that more closely resembles that of the learner understands these needs more easily and can offer help more efficiently.


이러한 '인지적 합치(congruence)' 가설은 배우는 학생들의 정보 처리 능력 향상과 관련이있다

This ‘cognitive congruence’ hypothesis pertains specifically to enhanced information processing by the students being taught


이 가정은 교육 심리학의 잘 알려진 개념과 관련이 있습니다. Vygotsky (1978)에 따르면 학습은 [이미 알고 이해 한 것]과 [아직 배워야하는 것] 사이의 거리가 학생의 적극적인 탐구를 자극할 때 최적화되며, 이를 ZPD라고 불린다. 이는 해결이 필요한 건설적인인지 마찰을 불러 일으킨다. 니어-피어는 새로운 정보를 처리 할 때 (학생들의인지 경험 문제를 항상 이해하지 못할 수도 있는) 콘텐츠 전문가보다 훨씬 쉽게 이 ZPD를 감지 할 수 있습니다 (Topping 2005).

This assumption is related to a well known concept from educational psychology. Accoring to Vygotsky (1978), learning is optimized if a distance between what is already known and understood and what must still be learned is just enough to stimulate active inquiry by the student, a distance called the ‘zone of proximal development’, that evokes a to constructive cognitive friction, which asks be resolved (Ten Cate et al. 2004). Near peers may sense this zone of proximal development much more easily than content experts, who may not always understand the cognitive problems student experience when processing new information (Topping 2005).


사회적 합치 또는 역할 합치의 개념

The concept of social congruence or role congruence


친구들에게 배우는 학생들도 공부에 더 많은 노력을 들이도록 동기부여가 될 수 있습니다. Sarbin (1976)에 따르면, 역할 이론에서 사회적 합치는 초등 교육 교차 연령 개인 교습 (즉, 상급반 아동이 젊은 사람을 가르치는 것)이 어떻게 어린 학생들을 자극 할 수 있는지를 설명합니다. 아이들에게 더 어린 아이들을 가르치게 하면, 이 아이들은 일반적을 교사가 활용할 수 있는 것과 동일한 보상 및 처벌 옵션을 사용할 수 없습니다. 그 결과, 이 아이들은 우정을 제공하거나 역할 모델 역할을 하는 것과 같은 대인 관계적 보상을 사용하게 된다. 이 이론은 (대규모 강의 또는 학생 주도 소그룹 강의 사이에서 선택이 이루어지는) 고등 교육에서 덜 적합 할 수 있지만, 소그룹 강의에서는 실제로 더 개인적인 관심과 더 나은 문화적 적응 및 수용으로 이어질 수 있습니다.

Students, taught by peers may also be motivated to spend more effort in studying. According to Sarbin (1976), the social congruence aspect of role theory explains how in primary education cross-age tutoring (i.e. higher class children tutor younger ones), can stimulate the younger students. Children, asked to tutor younger kids, cannot use the same reward and punishment options as regulars teachers have at their disposal. They must therefore revert to other interpersonal rewards, such as offering friendship and serving as a role model. This theory may be less appropriate in higher education, but specifically where the choice is between large class lectures or student-led small groups teaching, the latter may indeed lead to a more personal attention and better enculturation and acceptance within the particular school climate. 


또한, 권위의 지위를 가지고 있지 않은 동료와의 신뢰 관계가 자신의 무지 또는 인지적 오류를 드러내는 것을 용이하게하여, 후속 진단 및 수정을 가능하게 할 수 있습니다 (Topping 2005). 따라서 역할 이론에 따르면, 가까운 동료가 (주제에 대한 충분한 전문 지식을 갖추고 있다면) 교사보다 더 나은 학습 촉매가 될 수 있다.

Additionally, one could imagine also that a trusting relationship with a peer who holds no position of authority might facilitate self of ignorance disclosure and cognitive errors, enabling subsequent diagnosis and correction (Topping 2005). Thus, according to role theory, a near-peer may be a better catalyst for learning then a more senior teacher, provided that this near peer has sufficient content expertise on the topic.


사회 및 동기 부여 측면도 적용됩니다. 주니어 학생들은 앞으로 다가올 일들에 대해서 염려하면서 알고 싶어합니다. 니어-피어는 가치있는 역할 모델이 될 수 있으며, 자신감을 키워줄 수 있습니다. '2학년 학생들이 무사히 학년을 마친 것을 알았을 때, 그들도 했다면 나도 할 수 있다고 생각했다'(Lockspeiser et al., 2006). 학생들은 자신이 지식을 습들할 수 있다는 신념이 있어야합니다 (Weiner 1972). near-peer는 불안을 줄이고, 이러한 신념을 얻고 학습을 도울 수 있습니다.

Social and motivational aspects also apply to groups. Junior students are logically anxious to know what lies ahead and near-peers may serve as valuable role models and help build confidence in their peers: ‘just the confidence of knowing that the second- years made it, if they know this, I can do it too’ (Lockspeiser et al. 2006). Students need to have faith in their skill to acquire knowledge (Weiner 1972); near-peers may help to reduce anxietly and to get this faith and thus foster learning.


또한 '숨겨진 커리큘럼'은 주로 상급 학생에서 하급 학생들에게 전달됩니다. 상급 학생들은 명백히 아래 학년 학생들에게 중요한 역할 모델입니다. 그들은 심지어 선발 과정에서 의대 지원자를 유치하는 데 도움이 될 수 있습니다 (Drouin 외. 2006).

Also, the ‘hidden curriculum’, is largely transmitted by older to younger students. Clearly students are already important role models for their younger peers. They can even be of help to attract applicants for medical school in selection procedures (Drouin et al. 2006).


피어티칭은 가르치는 학생에게 어떤 도움이 되는가?

Why would peer teaching be beneficial for the student who provides the teaching?


18 세기 초 프랑스의 철학자 Joseph Joubert (Whitman, 1988)가 주장한 소크라테스의 '우리는 가르치면서 배운다' 또는 '배움은 두 번 배우는 것과 같다'과 같은 유명한 말은 교수법이 효과적인 학습 방법이라 주장한다. (종종 언급되었지만 잘 알려지지 않은) 정보의 recall에 차이를 가져 오는 교수법의 위계에 대한 구조로 베일러 학습 피라미드 (Bales 'Learning Pyramid)가 있다. 이 피라미드에서는 강의 듣기는 5 %, 다른 사람을 가르치는 피라미드는 80 %의 리콜로 이어집니다. 우리는 이러한 수치를 산출 한 연구를 찾을 수 없었지만, 많은 교사들은 자신의 교수법이 듣거나 읽는 것보다 훨씬 더 잘 이해하고 기억하게한다는 것을 확인했습니다.

Well known sayings such as Socrates’ ‘docendo discimus’ (we learn by teaching) or ‘to teach is to learn twice’ allegedly said by the early eighteen century French philosopher Joseph Joubert (Whitman 1988) claim that teaching is an effective way of learning. An often cited, but not well founded hierarchy of teaching methods that leads to difference in recall of received information is the Bales’ Learning Pyramid. In this pyramid, listening to lectures would lead to 5% recall, whereas the bottom of the pyramid, teaching others, leads to 80% recall. We were not able to find the studies that have yielded these figures, but the comparison has some face validity, as many teachers confirm that their own teaching makes them understand and remember things much better than listening or reading.


목표 지향적 정보 처리 및 구두 설명

Goal-oriented information processing and verbal elaboration


피어티칭은 한 학생이 한 명 이상의 less advanced 동료 학생을 가르치는 환경에 국한되어 있습니다. 이러한 교육은 동료 학생들과 단순히 시간을 보내는 것 이상의 의미가 있다. 이러한 교육에는 준비 단계얼굴을 맞대고 가르치는 단계가 있으며, 가르치는 단계는 또다시 presenting과 interaction으로 구분된다. 이 두 단계는 모두 verbalization을 포함한다.

Peer teaching, is confined to a setting in which one student teaches one or more less advanced fellow students. This teaching includes more than the session together with the students. There is a phase of preparation and a phase of face-to-face teaching; the latter can be further divided into presenting information and interaction with students, both of which involve verbalization.


필기 시험을 치러 공부하는 것과 비교했을 때 다른 사람을 가르칠 준비를 하는 것은 학습 자료에 대한 다른 접근법을 요구합니다. Bargh & Shul (1980)은 다른 학생들에게 15 분 동안 다른 사람을 가르치면서 공부하도록 요청받은 심리학 학생들이 이 시험을 위해 공부하도록 요청받은 대조군보다 예상치 못한 필기 시험에서 더 높은 점수를 받았다고 밝혔습니다.

Preparing for teaching calls for a different approach to the study material than studying to take a written examination. Bargh & Shul (1980) showed that psychology students who had been asked to study a text for 15 minutes with the task of teaching other students about it, scored higher on an unexpected written test than controls who were asked to study for this test.


    • 시험 점수를 최적화한다는 것은 교사가 무엇을 물어볼 지 상상해보아야한다는 것을 의미합니다. 이것은 독서와 암기의 목표가됩니다. 

    • 반대로, 가르치는 것을 준비하는 학생들은 자신의 목표와 우선 순위를 결정하고,이 주제가 어떻게 설명되어야하는지 선택하고, 가능한 질문에 어떻게 답해야하는지 예상 할 수 있습니다. 

차이점은 시험을 준비하는 경우 학생은 memory retrieval context에 아무런 영향을 미치지 않지만, 가르침을 준비하는 경우에는 이 context에 큰 영향을 미친다는 것입니다.

    • Optimizing an anticipated test score means that the student must try to imagine what the teacher is likely to ask; this serves as a goal during reading and memorizing. 

    • Conversely, students who prepare for teaching can determine their own goals and priorities, choose how this subject matter should be explained, and anticipate how possible questions should be answered. 

The difference is that in the case of a test the student has no influence on the memory retrieval context, but in the case of teaching he or she has a large influence on this context.


말로 해보기(Verbalization)와 암송(recitation)은 오랫동안 학습에 중요한 것으로 인식되어왔다(Dewey 1910). 고등 교육 환경에서의 동료 교수법에서 '말로 해보기'의 장점은 여러 연구에서 보여진 바 있다. 이것은 교육에서 presentation과 interaction 단계 모두에 적용될 수있다 (De Grave 외. 1996).

Verbalization and recitation has also long been recognized as important for learning (Dewey 1910). Support for the benefit of verbalization in peer teaching in higher education settings has been demonstrated in experiments by Long (1971), Gaynor & Wolking (1974), Johnson et al. (1976) and Annis (1983). This may apply to both the presentation and interaction phases of teaching (De Grave et al. 1996).





가르침의 사회적, 정서적, 동기적 장점

Social, emotional and motivational benefits of teaching


평가는 종종 의학 교육에서 학습을 유도한다고합니다. 이것이 자명 하다. 학생은 시험을 준비 할 수 밖에 없다. 하지만 그것이 학습을 유도하는 유일한 것이 아닐 수도 있습니다.

Assessment is often said to drive the learning in medical education. As this is self-evident—a test forces student to prepare for it—it may not be the only drive.


이론은 인간이 자신을 행동하게하는 몇 가지 원동력을 가지고 있음을 보여줍니다. Maslow (1987)는 인간에 만족을주기 위해 성취되어야 할 필요성에 대한 유명한 5 계층 구조를 구축했다.

Theory shows that human beings have several drives that lead them to act as they do. Maslow (1987) constructed a famous five-layer hierarchy of needs to be fulfilled to generate satisfaction in human beings,


다른 사람들의 가르침은 이러한 layer들 중 몇 가지와 관련이 있습니다. 표 4에는 매슬로 층 각각에 대해 가능한 교시 효과가 기술되어있다.

The teaching of others relates to several of these layers. In Table 4, for each of the Maslow layers, a possible effect of teaching is described.



Allen & Feldman (1976)은 역할이론에 피어티칭을 연계시켰다. 매슬로우의 모델에 따라, 역할 이론은 감정이 행동으로 이어지는 방법뿐만 아니라 행동이 감정을 유도하는 방법을 설명합니다. 사람이 authority가 있는 위치에 있을 때, 다른 사람들을 가르침으로써 자신감을 키울 수 있습니다. 예를 들면 동료에 대해서 교사 역할을 한다고 가정 할 때.

Allen & Feldman (1976) have linked role theory to peer teaching. In accordance with Maslow’s model, role theory explains not only how feelings lead to behaviour, but also how behaviour leads to feelings. Self confidence can be fostered by teaching others when persons are placed in a position of authority, e.g. when assuming a teacher role vis-a`-vis peers.


사람이 어떤 위치에 가게 되면, 위치에 따라 자신의 인식을 적응시키는 경향이 있으며 (Bem 1972), 심지어 역할이 변화할 때 즉각적으로 자신의 인식을 즉시 바꿀 수도 있습니다

A person, placed in a particular position, tends to adapt his or her self perception in accordance with the position (Bem 1972) and may even instantly change their self perception when moving from one role to another


자신이 수행하게 되는 역할이 달라지면, 인지 부조화로 인한 불안한 감정을 해결하기 위해, 기존에 가지고 있던 확신conviction이 조정될 수 있다. (Festinger 외 1956). 이것에 대한 예시로서 전형적인 학생을 전문 교사와 비교하여 생각해보십시오. 

    • 이 학생은 지금까지 상대적으로 무지한 사람의 위치에서 행동하는 법을 배우고 그에 따라 자신을 봐왔을 것이다. 

    • 교사의 입장에 서게되면, 같은 학생도 점차 자신감을 키우고 전문가의 역할을 다할 수있게됩니다. 

인지 부조화 이론은 이 학생이 수행하게 된 역할의 효과로서 자신의 expertise를 진실로 믿기 시작할 것이라고 예측합니다.

Previously held convictions may be adapted because of rolesplayed, to solve uneasy feelings of cognitive dissonance(Festinger et al. 1956). As an illustration of this, think of the typical student vis-a`-vis expert teachers. This student has learned to behave according to the position a relatively ignorant person and viewes himself or herself accordingly. Once placed in the position of a teacher, the same student my gradually build confidence and appreaciate the own role of an expert person. Cognitive dissonance theory predicts that this student will start to genuinely believe in the own expertise, as an effect of the role played.


Falchikov (2001)는 피어튜터링에서 역할 이론이 예측할 수있는 부작용을 지적한다. 일대일 동료 교육은 배우는 학생의 감정을 희생시키면서 가르치는 학생의 감정을 향상시킬 수 있습니다. 그러나 그녀는 피어튜터링의 강점을 강조한다. 

    • 빈번한 역할 변경,

    • 피어튜터로서 역할할 수 있도록 훈련시키기

    • Authority 차이를 강조하지 않는 과제 선택.

Falchikov (2001) points to possible adverse effects that role theory predicts in peer tutoring. One-to-one peer teaching may boost the teaching student’s feelings at the cost of the learning student’s ones. However, she also stresses the strengths of peer tutoring and suggests solutions, such as 

    • frequent role change, 

    • training peer tutors for their role and 

    • choosing tasks that do not particularly stress authority differences.


또 다른, 최근의 이론 - 자기결정이론 (SDT) - 역할 이론과 관련되어 있으며, 왜 교사가 되는 것이 내재적 동기 부여에 유익한지를 설명 할 수 있습니다. SDT는 본질적인 동기 부여가 능력, 자율성, 중요한 다른 사람들과의 관계성이라는 3 가지 특징에 기인한다고 주장한다 (Ryan & Deci 2000). 교사의 역할을 수행하는 것은이 세 영역에서 감정을 형성하는 데 매우 도움이 될 수 있습니다. 상대적인 전문가로 행동하면 자신이 전문가처럼 느껴집니다. 그것은 능력, 자율성, 다른 사람으로부터의 존경과 같은 특별한 감정을 불러일으키며, 가르치는 학생이 공부에 더 많은 에너지를 소비하도록 동기를 부여 할 수 있습니다 ( '성공은 성공을 낳는다.)

Another, more recent theory—self-determination theory (SDT)—relates to role theory and can explain why intrinsic motivation may benefit from being a teacher. SDT claims that intrinsic motivation is caused by three features: competence, autonomy and relatedness to significant others (Ryan & Deci 2000). Playing the role of a teacher may very well serve to create feelings in these three domains. acting as a relative expert makes one feel like a relative expert. It generates these particular feelings of competence, autonomy and esteem before others, which in turn could motivate the teacher to spend further energy in studying (‘success breeds success’).


학생들이 차례로 교사 역할을 수행 할 것으로 예상 될 때, 그 집단이 그들에게 중요성을 갖는다면, 가르치는 학생은 일반적으로 교사로서 할 일을 준비하는 데 매우 의욕적 인 것처럼 보입니다. near peer도 마찬가지 일 수 있습니다. 학생 교사가 종종 잘 작동하는 이유는 (예 : Ten Cate 2007) 중요한 다른 사람들의 기대에 대한 동기 부여 때문일 수 있습니다.

When students in turn are expected to execute teacher tasks, they generally appear to be highly motivated to be prepared to do this, if this group has any importance for them. The same may hold for near peers. The reason why student-teachers often perform well (e.g., Ten Cate 2007) may be attributed to the motivating expectations of significant others.




학습의 일부로서 교육

Teaching as part of learning


교사는 학생의 예기치 않은 행동에 실망 할 수 있으며 학생들은, 학생은 교육이 왜 그런 식으로 실행되는지 이해할 수 없습니다. 그렇다면 학생들을 교사처럼 생각하게 만들면 안될까요?

Teachers may be disappointed by the unexpected behaviour of students, and students may not understand why education is practised the way it is. So, why not make students think like a teacher?


커트 루인 (Kurt Lewin)이 말했듯이, 훌륭한 이론만큼이나 실용적인 것은 없습니다. 우리는 의대생을 성찰적 실천자로 가르치려고 노력하지만, 성찰적 교육자가 됨으로써, 가르침으로써 배울 수 있지 않을까요? 학생들은 교사가 될 수 있지만, 선생님도 학생들이 될 수 있습니다.

As Kurt Lewin said—nothing is as practical as a good theory. We strive to teach medical students to be reflective practitioners, but shouldn’t we also learn to be reflective educators and learn from teaching? Students can be teachers, but teachers can learn to be students too.










 2007 Sep;29(6):546-52.

Dimensions and psychology of peer teaching in medical education.

Author information

1
Center for Research and Development of Education, UMC Utrecht, The Netherlands. t.j.tencate@umcutrecht.nl

Abstract

AIM:

Peer teaching, an educational arrangement in which one student teaches one or more fellow students, is applied in several forms in medical education. A number of authors have linked peer teaching to theories of education and psychology. Yet no comprehensive overview of what theory can offer to understand dynamics of peer teaching has been previously provided.

METHOD:

A framework is designed to categorize forms of peer teaching, distinguishing three dimensions: distance in stage of education, formality of the educational setting and size of the group taught. Theories are categorized in two dimensions: theories that explain benefits of peer teaching from a cognitive versus a social-psychological perspective, and theories that explain benefits for peer learners versus peerteachers.

CONCLUSION:

Both dimensional frameworks help to clarify why and in what conditions peer teaching may help students to learn.

PMID:
 
17978967
 
DOI:
 
10.1080/01421590701583816
[Indexed for MEDLINE]


위기의 의과대학생: 재교육의 이론과 실천에 대한 학생의 목소리(Med Educ, 2010)

At-risk medical students: implications of students’ voice for the theory and practice of remediation

Kalman A Winston,1 Cees P M van der Vleuten2 & Albert J J A Scherpbier3




도입

INTRODUCTION


교육 문학은 일부 학생들이 의대에서 고투하는 이유에 대한 명확한 목록을 제공합니다.

  • 시간 관리 문제;

  • 수동적 학습에 지나치게 의존; 

  • 부족한 배경 및 내용 지식;

  • 문해력, 수리력, 학습 기술, 시험 전략, 비판적 사고의 약점,

  • 학문적 성공과 관련이있는 자아 조절 및 메타인지 기술의 일반적인 부족.

그러나 이 weak 학생들은 도움을 구하기를 회피하는 경향이 있습니다 .11-13

The education literature provides a clear catalogue of the reasons why some students struggle at medical school, including: 

  • problems with time management;1 

  • over-reliance on passive learning;2,3 

  • insufficient background and content knowledge;4 

  • weakness in literacy, numeracy, study skills, test-taking strategies or critical thinking,5,6 and 

  • a general lack of the self-regulatory and metacognitive skills that are correlated with academic success.7–10 However, these weak students tend to avoid seeking assistance.11–13


한 연구에서, Winston et al은 큰 카리브해 의과 대학에서 필수mandatory 개입을 설명하였다. 여기서 첫 번째 학기에 실패하고 반복하는 학생은 학업 보호 관찰의 조건으로 신중하게 고안된 치료 프로그램에 참여해야합니다. 이 중재 프로그램은 상호 보완적인 이론적 관점을 혼합하였다.

  • 협동, 대화, 자기 주도, 성찰을 통한 학습에 중점을 두는 구성주의자, 학생 중심의 접근법을 기본으로합니다.

  • 의대생을 의학 담론으로 끌어 들이고 의대생으로서의 정체성을 구축하려는 노력은 사회 문화적 학습 이론을 이용한다.

6 명의 학생으로 구성된, 안정되고, 교수가 퍼실리테이션하는 그룹이 학기 중 매주 만나 다양한 학습 및 추론 기술에 참석하는 강의 계획서에 따라 학습을 한다. 여기서 시간 관리, 사전 읽기 기술, 기초 과학 과정 자료 작업, 통합 전략, 시험 보기, 비판적 사고 등을 포함합니다.

In one such study, Winston et al. describe a mandatory intervention at a large Caribbean medical school, in which students who fail and repeat their first semester are required, as a condition of their academic probation, to participate in a carefully designed remediation programme.17 This intervention programme draws upon a blend of complementary theoretical perspectives:18–20 

  • it is primarily based upon a constructivist, student-centred approach that focuses on learning through collaboration, dialogue, self-direction and reflection,9,21,22 

  • while the effort to enculturate students into medical discourse and build their identities as medical students draws on sociocultural theories of learning.23 

Stable, faculty-facilitated groups of six students meet weekly throughout the semester to work through a syllabus that attends to various study and reasoning skills, including time management, pre-reading techniques, strategies for working with and integrating basic science course material, test taking and critical thinking.



이 재교육 과정의 핵심 주제는 다음과 같습니다.

  • 자기 조절, 메타인지, 성찰;

  • 담화와 추론을 명확히 드러내는 것

  • 능동 학습;

  • 피드백 주고받기

  • 기초 과학 코스 내용의 응용 및 관련성; 

  • 언어로 케어하기;

  • 생각의 정확성,

  • 감정과 동기부여에 관심갖기.

The key themes of this remediation course include:

  • selfregulation, metacognition and reflection; 

  • discourse and making reasoning explicit; 

  • active learning; 

  • giving and receiving feedback; 

  • application and relevance of basic science course content; 

  • care with language; 

  • accuracy of thinking, and 

  • attention to affect and motivation.17 


참가자는이 필수 프로그램이 도입되기 전에 학교에서 첫 학기를 반복 한 학생보다 훨씬 더 나은 성과를 보였습니다. 첫 학기가 끝날 때 합격률이 64 % 증가했습니다 (n = 377, p <0.0001 ), 5 학기 (n = 113, p <0.0001)로 국가 시험을 치는 경우는 55 %가된다.

Participants have performed significantly better than students who repeated the first semester at the school prior to the introduction of this mandatory programme: pass rates have increased by 64% for examinations taken at the end of the repeated first semester (n = 377; p < 0.0001) and by 55% for national examinations taken five semesters later (n = 113; p < 0.0001).17



Aims


1이 프로그램에 참여하면 의대생으로서 요구되는 것에 대한 학생들의 신념이 어떻게 달라 집니까? 이 프로그램이 학생들의 학습 습관과 자신에 대한 인식에 영향을 줍니까? 그렇다면 어떻게? 학생들이 가장 효과적이라고 생각하는 프로그램은 무엇입니까?

1 How does participation in the programme change students’ beliefs about what is required of them as medical students? Does the programme affect their study habits and their perceptions of themselves as medical students? If so, how? Which aspects of the programme do students find most effective?


2 학생들의 관점에서 교정의 이론과 실천에 대한 지식을 어떻게 알릴 수 있습니까?

2 How do students’ perspectives inform our knowledge of the theory and practice of remediation?



METHODS


To explore the complex process of remediation for students in difficulty, we used a mixed-methods approach, incorporating the collection of both qualitative and quantitative data.34


Surveys


We administered an anonymous survey to each of nine cohorts at the end of their repeating semester. This survey consisted of 

    • items to be answered using Likert-type, scale-based responses, which canvassed the student’s attitudes towards the programme, and 

    • open-ended questions asking which elements of the programme had been most helpful, and how, and whether the programme had helped to change the way the respondents thought about course work, and how.


Focus groups


포커스그룹은 참가자가 왜 그렇게 생각 하는지를 밝히고, 프로그램의 다양한 측면에 대한 학생들의 인식을 이해하는 데 매우 중요합니다.

Focus groups are invaluable for uncovering why participants think as they do35 and for comprehending students’ perceptions of different aspects of a programme.36 Previous participants in the mandatory programme who were still studying in basic science semesters 2, 3 and 4 were invited to participate in focus groups of four to six students, moderated by the first author and a colleague. Sixteen students volunteered. Eight were male and eight were female, and together they provided roughly equal representation for each basic science semester group. Prior to the sessions, participants were invited to reflect on their personal experiences of the programme. Three focus groups each met for one session of about 1.5 hours. The moderators, following standard focus group guidelines,35,37,38 provided ground rules and, using a series of open-ended questions, set the tone for an open discussion of students’ experiences of and attitudes to the programme. The sessions were recorded and transcribed verbatim.



Data analysis


Focus group transcripts were analysed using a grounded theory approach,40 which involved the iterative coding of utterances and subsequent grouping into categories

    • The analysis for each group was cross-checked and verified by both the assistant moderator and the student participants. 

    • The codes and categories were compared across the focus groups, along with responses to open-ended survey questions. 

    • Several common themes emerged. 

    • Because no new themes were emerging at the end of the third focus group session, it was decided that saturation had been reached and no further groups were scheduled.41


범주는 인공적으로 추상화 되었으며, 실제 현상에 대한 설명보다는 연구원의 시각을 나타낼 수 있음을 인정합니다. 또한 위에서 언급 한 것처럼, 프로그램 자체를 디자인하는 데 사용 된 저자 자신의 개념적 프레임워크가 불가피하게 데이터의 해석에 영향을 준다. 그럼에도 불구하고, 우리는 위기에 처한 의과 대학 학생들을 위해 새롭게 떠오르는 주제를 신생 이론으로 통합하려고 시도했다.

We acknowledge that categories are artificial abstractions, which perhaps indicate researchers’ perspectives rather than descriptions of actual phenomena,42,43 and that the authors’ own conceptual framework, used to design the programme itself, as described above, unavoidably colours any interpretation of the data.44 Nonetheless, we have attempted to integrate the emergent themes into a fledgling theory of remediation for at-risk medical students.



결과

RESULTS


참여자의 대다수 (89 %)는 프로그램이 유익한 것으로 나타났습니다 (평균 점수는 4.31, 1은 매우 부정적 시각, 5는 강력하게 긍정적 인 전망). 응답자의 93 %는 프로그램이 그들이 코스 자료를 생각했던 방식을 바뀌어놓았다고 생각했습니다 . 후속 조사 (37 % 응답률, n = 158)에 대한 응답

The majority of participants (89%) felt the programme had been beneficial (mean score of 4.31, where 1 = strongly negative views and 5 = strongly positive views), and 93%of respondents felt the programme had changed the way they thought about course material. Responses to the later, follow-up survey (37% response rate, n = 158)


프로그램 학생들 중 어떤면이 가장 도움이되는지를 보여주는 양적 결과가 표 1과 표 2에 나와 있습니다.

Quantitative results showing which aspects of the programme students considered most helpful are shown in Tables 1 and 2.






학생들의 관점에서 보았을 때, 프로그램의 성공은 인지적, 정서적 요소들이 섞여 있기 때문에 가능했다. 이 요소들은 몇 가지 별개이지만 깊이 얽혀있는 주제 아래에 분류 될 수있다.

From the students’ perspective, the success of the programme was attributable to a blend of cognitiveand affective factors that can be grouped under several distinct, but deeply intertwined, themes. 


첫 번째는 사고 방식과 학습 방식의 변화와 관련이 있습니다. 학생들은 프로그램에서 탐구한 기술의 조합 덕분에 자신들이 더 능동적인 학습자가 될 수 있었다고 인정했습니다. 그들은 단순 암기와 수동 학습을 넘어서서 개념을 관계로 이해하고, 다양한 코스의 내용을 통합하고, 다양한 상황에서 지식을 적용 할 수있게되었다고 주장했습니다.

The first of these relates to the changes in ways of thinking and studying brought about by the specific course elements listed in the tables. Students recog-nised that it was the combination of the skills explored in the programme that led them to become more active learners. They claimed to have moved beyond rote memorisation and passive learning, to have come to understand concepts as relationships and to be more able to integrate the content of their various courses and apply their knowledge in different contexts:


'개념을 (일련의 작은 디테일들이 아니라) 관계로 이해하는 법을 배웠다.

‘[I have] learned to understand concepts as relationships, not just as strings of minute details…’



이러한 습관의 변화는 유연하고 성찰적인 학습자로서의 학생들의 발전을 동반했다. 학생들은 학습 자료를 충분히 알지 못했을 때를 어떻게 인지할 것이며, 학습을 위한 다양한 접근법을 어떻게 채택할 것인지 알게 된 것을 감사해했다.

These changes in habits were accompanied by students’ development as flexible, reflective learners. Students came to appreciate being shown how to recognise when they did not know the course material well enough and how to adopt different ways to approach their studies.


"이전에는 어안이 벙벙해져서 그저 열심히 하려고 노력할 뿐이었는데, 누군가가 창문을 두드리고는 "더 쉬운 방법이 있다"라고 말해주었다

‘Before it felt like you’re just flooring the gas and just trying so hard, and someone taps on the window and says, ‘‘You know there’s an easier way…’’’


학생들은 '각기 다른 과목에 대해 서로 다른 접근법을 적용'할 수 있다는 자신감을 얻었다. 

또한 '자신에게 맞는 방법을 찾아낼 때까지 많은 변화를 가져 오는 것이 바람직하다'는 자신감을 얻었습니다.

Students gained the confidence to ‘adapt different approaches for different subjects’ and appreciated being ‘encouraged to make a lot of changes until you find something that works for you’.


학생들은 태도와 동기 부여의 중요성을 강조했습니다. 그들은 실패를 받아들이기 힘들다고 느꼈다. '재시는 분명히 우울한 일이다.' 초기에는 그 학기를 반복하면서 동시에 필수 프로그램을 이수해야 할 동기 부여가 부족했고 저항감이 있었다고 말했다. 또한 학생들은 이 반감을 극복하지 못하고 학교에서 중퇴 한 동료들을 언급합니다. 학생들' 변화의 필요성을 받아 들여야한다'는 것을 인식했다.

Students stressed the importance of attitude and motivation. They felt that failure was hard to accept – ‘repeating was definitely a downer’ – and commonly cited an initial lack of motivation and resistance to both the need to repeat the semester and the mandatory programme, mentioning peers who had been unable to overcome this antipathy and had subsequently dropped out of the school. They recognised that the ‘individual has to accept the need for change’:


'처음에 나는 이 인지 기술 세션에 참석해야한다고 느꼈다. 결국 나는 내가 원했기 때문에왔다. 그리고 그것은 차이를 만들었다. '

‘At the beginning I felt that I was required to go to these cognitive skills sessions. At the end I came because I wanted to, and that made a difference.’


많은 학생들은 프로그램 참여가 의무적이어야한다고 말했습니다 :

Many commented that the programme needs to be mandatory:


사실, 이것을 참여를 강제하지 않으면 문제가 될 수 있습니다.

Indeed, failure to enforce this could be problematic:


'아이들이 나타나지 않고 걱정하지 않는다면, 전체 인프라가 파괴되기 시작할 것이다.'

‘If kids are not showing up and they don’t care about it, the whole infrastructure starts breaking down.’


결과적으로, 교사의 역할은 중요하게 인식되었고, 엄격한 기대, 촉진 기술, 정직의 조화가 필요했습니다. 교사는 학습 습관에서 문제점을 지적하고, 학생이 책임감을 갖게 해야 하며, 모든 사람이 참여하도록 만드는 것이 중요하다고 생각했습니다. 교사는 자신감을 키우면서 높은 기대치를 유지해야했습니다.

Consequently, the role of the teacher was perceived to matter, and requires a combination of rigorous expectations, facilitation skills and honesty. It was seen as important that the teacher should point out deficits in study habits, hold students accountable and make sure everyone participated. The teacher needed to build confidence, and yet maintain high expectations:


'우리가 우리 자신을 포기했을때에도 그는 결코 우리를 포기하지 않았다 ...'

‘He never gave up on us, even though we may have given up on ourselves…’


학생들은 핵심 요소가 다음과 같다고 생각했습니다.

Students felt that a key factor was:


'... 생각하는 법을 가르쳐주는 환경에 둘러싸여 있습니다.'

‘…just being surrounded by an environment that teaches [you] how to think.’


그룹은 그 환경의 주요 부분을 구성하는 것으로, 특히 필수적인 정서적 및 인지적 서포트를 제공하는 것으로 인식되었습니다.

The group was perceived as constituting a major part of that environment, particularly in its provision of essential emotional and cognitive support:


'... 그들은 학기 내내 동기를 유지시켜주었습니다.'

‘…they were the ones who kept me motivated throughout the semester.’


학생들은 그룹의 안정과 모든 구성원의 참여가 매우 중요 함을 인정했습니다. 그들은 의견을 공유하면서 새로운 사고 방식에 노출되었음을 언급했습니다.

Students acknowledged that the stability of the group and the participation of all members had been invaluable. They frequently commented that the sharing of opinions had exposed themto new ways of thinking:


"나는 그룹의 다른 견해를 통해 개념을 더 분명하게 이해할 수 있었다. 심지어 그들이 말하는 것을 듣는 것조차도 내가 어떻게 생각하고 어떻게 배울 것인지 분석하는 데 매우 도움이되었습니다. '

‘I was able to understand a concept more clearly through different points of view of the group. Even just listening to them talking was very helpful in analysing how I think and how I learn.’


어쩔 수없이, 학생들은 repeater로 분류되었다고 느꼈습니다.

Unavoidably, students felt they had been labelled as repeaters:


Repeater라는 정체성을 받아들이는 것은 어려울 수 있지만, 이 프로그램에서는 동일한 상황에 직면하고 있는 서포트 그룹에 소개함으로써 도움이되었습니다. 실제로 일부 학생들은 라벨을 좋아하게되었습니다.

Dealing with this identity as a repeater could be challenging, but the programme helped by introducing students to a support group of peers facing the same situation. Indeed, some students came to love the label:


우리는 언더독이다. 나는 언제나 언더독을 응원한다. 내가 스스로 10%의 여분의 노력을, 여분의 시간을, 더 투자할 수 있다면, 분명히, 나를 repeater라고 부르지만, repeat하지 않았을 때보다 내 일을 더 잘 수행 할 수있다. '

‘We’re the underdogs. I always root for the underdogs. If it makes me want to put in that extra 10%, that extra hour, then sure, call me a repeater, but I’m getting my job done better than I would have if I didn’t repeat.’


부정적인 의견은 거의 없었다. 그러나 전반적으로 참가자의 대다수가이 프로그램을 높이 평가하고 장기적인 이익을 유지하는 것으로 보입니다.

There were very few negative comments. Overall, however, it seems that the majority of participants appreciated the programme and retained long-term benefits:


고찰

DISCUSSION


학생의 습관과 신념 변화

Changing students’ habits and beliefs


학생들은 의무적으로 참여하도록하는 것이 중요하며 그렇지 않은 경우 대부분이 프로그램에 참석하지 않았다고합니다. 

    • 그들은 repeater로서의 정체성을 다루고, 자존감 문제를 다루고, 실패에 대한 책임을 인정해야 할 필요성을 인식합니다. 

    • 학생들은 교사가 높은 기대치를 유지해야 하며, 학습자를 존중하면서 동시에 도전할 수 있게 해주어야하며, 안정된 동료 집단이 필수적인 인지적 및 정서적 지원을 제공해야한다고 생각합니다. 

    • 이 프로그램을 통해 학생들은 그들이 어떻게 배우는지, 왜 새로운 아이디어가 효과적인지를 탐색하고, 자신의 즉각적인 상황과의 관련성을 인식하게됩니다. 


The students say it is important to make participation mandatory and most would not have attended the programme otherwise. 

    • They recognise the need to address their identity as repeaters, to deal with self-esteem issues and to accept responsibility for failure. 

    • Students believe that teachers should maintain high expectations and, both respecting and challenging learners, while the stable group of peers provides essential cognitive and emotional support. 

    • Over the course of the programme, students come to understand how they learn, explore why new ideas are effective, and perceive their relevance to their own immediate situation. 

그들은 다음을 배운다.

    • 비판적 사고는 선다형 문제에 답하는 데 사용된다.

    • 언어와 관계는 교재를 이해하고 통합하는데 필수적이다.

    • 신중한 시간 관리가 모든 노력의 기초이다.


They see 

    • that critical thinking is used in answering multiple-choice questions, 

    • that language and relationships are essential for understanding and integrating course material, and 

    • that careful time management underlies all their efforts.


재교육의 이론에 대하여

Towards a theory of remediation


예를 들어, 감정과 지능은 분리 할 수 ​​없으며, 학업 성과가 통제 가능한 원인에 기여한 것은 긍정적 인지적 및 정서적 성과와 관련이 있으며, 이 둘은 모두 학생들이 인지적인 변화를 이루기위한 전제 조건입니다. 그러나 많은 학생들이 성찰하라고 요구하지 않을 때는 성찰하지 않았고, 감정적 요소는 종종 weak 학생들이 도움을 구하는 것을 막는 원인이다. 이러한 학생들에게 그들의 취약성과 그들의 자율적 성인의 Agency를 인정하는 재교육 프로그램에 참여하도록 요구함으로써, 우리는 의과 대학의 문제에 보다 효과적으로 접근 할 수있는 기회를 창출합니다.

For example, emotion and intellect are inseparable,42,45 and the attribution of academic performance to controllable causes is known to be related to positive cognitive and affective outcomes,46 both of which are prerequisites for students to make constructive cognitive changes.16,32 However, many students fail to reflect on performance unless they are required to do so47 and emotional factors often prevent weak students from seeking help.48 By mandating that these students participate in a remedial programme that acknowledges both their vulnerability and their autonomous adult agency,49 we create an opportunity for them to approach the challenges of medical school more effectively.


의대생은 대용량의 정보를 정리하고 통합하는 데 어려움을 겪고 있으며, 이 정보를 사용하여 여러 가지 상황, 특히 시험을 수행합니다. 클라스를 생성하고, 개념적 관계를 드러내는 것은 근본적인 인지 행동이며, 시험 효과 (회상 연습, 시험 문제에 답하는 것)가 그처럼 강력한 학습 장치임을 감안할 때, 학생들이 이 프로그램이 개념적 통합에 도움이된다고 인식하는 것이 좋습니다

Medical students frequently have difficulties in organising and integrating large amounts of information1 andinapplying this informationinnewcontexts, especially examinations. Given that generating classes and exposing conceptual relationships are fundamental cognitive acts,50,51 and that the testing effect (retrieval practice, answering test questions) is such a potent learning device,52,53 it is encouraging that our students perceive that this programme helps with this conceptual integration


사실, 학습에 대한 인식은 학습 전략에 중대한 영향을 미치고, 자신의 사고와 학습의 한계를 의식하는 것은 변화 가능성을 만듭니다. 다양한 연구자들은 초기 저항을 극복하고, 새로운 학습 방법을 사용함으로써, "이전에는 상상도 할 수 없었던 능력에 대한 인식"을 강화할 수 있음을 발견했습니다. 따라서 프로그램 기간 동안 보여준 태도의 긍정적 변화는 내재적 동기 부여 증대, 열정, 헌신의 예시로서, 학습자 자율성과 긍정적 인 학업 성취의 증가로 이어진다. 

Indeed, student cognitions about learning profoundly influence study strategies,46 and consciousness of one’s thinking and learning limitations creates the possibility for change.45,54 Various researchers have found that overcoming initial resistance26,27 and engaging in new ways of learning33,55 help to create an ‘empowering awareness of previously unimagined capacities’.56 Thus, the positive shift in attitude shown over the duration of the programme represents an example of increases in intrinsic motivation, enthusiasm and commitment that are known to lead to growth in learner autonomy and positive academic outcomes.57,58


학생들은 교사와 학습자 그룹 모두를 포함하는 학습 환경이 이러한 변화를 일으키는 데 필수적이라는 사실을 분명히했습니다. 교사는 학생과 그들의 상황을 모두 이해하고, 각각의 variation에 ​​적응적으로 반응하고, 높은 기대치를 유지하고, 건설적인 피드백을 제공해야합니다.

The students were clear that the learning environment, which includes both the teacher and the group of learners, is essential in producing these changes. The teacher needs to understand both the students and their context,50 respond adaptively to variations in each,59 maintain high expectations and provide constructive feedback.60,61


스터디 그룹은 동기 부여를 강화하거나 저해 할 수 있습니다. 우리 학생들이 지적했듯이, 

    • 참여를 확실하게 하고, 

    • 집단 응집력의 발전을 위한 시간을 허용하며, 

    • 심리적으로 안전한 환경, 

    • 성찰과 경험 공유에 도움이 되는 소속감

...을 만드는 것이 중요합니다. 

A study group can either enhance or undermine motivation.62 As our students pointed out, it is important to ensure participation, to allow time for the development of group cohesion8, and to create a psychologically safe environment and a sense of belonging conducive to reflection and the sharing of experiences.63–66 


이렇게 한다면 협동학습의 인지적 측면을 활용하는 것이 가능해진다. 협동학습에서 학습자는 도전하고, 아이디어를 교환하고, 지식을 공동으로 구축하는 과정에서 다른 사람들이 다르게 생각한다는 것을 깨닫고, 그 결과로 자신의 사고에 대한 통찰력을 확보하고 발전시킬 수 있다. 

It then becomes possible to take advantage of cognitive aspects of collaborative learning, whereby learners become aware that others think differently, through challenges, exchange of ideas and joint construction of knowledge, thus gaining insight into, and developing, their own thinking.50,67,68 


듀이 (Dewey)가 썼듯이, '언어는 사고를 위한 필수 도구이다'; 추론을 명시적으로 드러내는 것은 오해를 제거하는 데 도움이되며, 언어 사용에 대한 성찰은 인지 발달에 도움이됩니다.

As Dewey wrote, ‘Language is a necessary tool for thinking’;50,69 making reasoning explicit helps remove misunderstandings,50,70 and reflection on the use of language helps in cognitive development.71



따라서 여러 요소들의 복잡한 상호 작용으로 성공적인 재교육이 이루어지며, 재교육에 대한 이론은 이러한 복잡성을 설명해야합니다. 인간의 변형과 교육적, 심리적 과정은 예측할 수 없으며 모든 개념적 틀에는 한계가 있기 때문에 '거대한 통일 이론'을 찾기는 쉽지 않다. 그럼에도 불구하고 우리는 교육과 학습이 복잡한 과정이며 모든 이론은 교육학 설정에 영향을 미치는 요인을 고려해야한다고 말할 수 있습니다. 컨텍스트는 모든 것을 만듭니다. 여기서 컨텍스트에는 다음이 포함됩니다.

    • 생각,

    • 느낌,

    • 그룹,

    • 선생님,

    • 특정 코스 내용,

    • 더 넓은 학교 커리큘럼, 

    • 등등..

맥락은 복잡하고 서로서로 얽힌interwoven 환경입니다.

Thus, it is a complex interplay of elements that results in successful remediation practice and any theory of remediation needs to account for this complexity. Because transformations of human beings and their educational and psychological processes remain unpredictable,72,73 and all conceptual frameworks have limitations,44,74 we are unlikely to find a ‘grand unified theory’.75 Still, we can say that education and learning are complex processes20,76 and that any theory must take into account the factors that influence the pedagogic setting.77,78 Context shapes everything;79 here, the context includes the thinking, feeling individuals, the group, the teacher, the specific course content, the wider school curriculum, and more; the context is a complex, interwoven environment. 



더 나아가 참여자는 서로가 서로의 맥락의 일부이기 때문에, 상호 형성과 변화mutual shaping and changing의 연속적인 과정에서 복잡하게 상호 연관되어있다. [개인의 변화transformation에 초점을 두는 구성주의]도, [개개인을 집단에 포합해버리는 참여에 관한 사회문화적 관점]도, 이러한 관계를 기술하기에 적절하지 않다. 아마도 학생과 환경이 '구조적으로 결합되고, 상호적으로 특정되는' 복합성이론이 더 깊은 이해를위한 최고의 희망을 제공합니다.

Further, as the participants constitute part of one another’s contexts, they are complexly inter-related in a continuous process of mutual shaping and changing. Neither the constructivist focus on individual transformation nor the socio-cultural view of participation in a group that subsumes the individual seem adequate to describe these relationships.80 Perhaps complexity theory, whereby the student and his or her environment are ‘structurally coupled and mutually specified’,51 offers the best hope for a deeper understanding.


아마도 이러한 학생들의 주요 메시지는 학습자가 자신과 환경을 이해하고 학습이 전체 학습 환경에 영향을 미치고 그 영향을 받는다는 것을 인식해야한다는 것입니다.

Perhaps, then, the key message from these students is that successful remediation requires learners to understand themselves and their environment, and to recognise that they affect and are affected by the whole context of learning.



Limitations


이 연구는 잠재적으로 프로그램의 설계자이자 교사 인 주 저자의 지위에 의해 약화됩니다.

This study is potentially weakened by the lead author’s status as both a designer of and a teacher on the programme.


우리는 객관성을 유지하기 위해 노력했으며 동료와 학생 모두에게서 비판과 확증을 이끌어 냈습니다.

We have strived to maintain objectivity and have elicited critique and corroboration from both colleagues and students.


CONCLUSIONS


학생들은이 프로그램이 의무적 인 지위를 비롯하여 그룹 환경에서 이루어지는 요소의 조합으로 인해 효과가 있다고 생각하며, 정서적 지지, 동기부여, 인지적 도전, 의과 대학 학습자료 및 학습자로서의 자질에 대한 학생들의 사고 방식을 바꾸기위한 구체적인 기술을 제공합니다. 

students believe the programme works because of a combination of elements, including its mandatory status, that it takes place in a group setting, and that it provides emotional and motivational support, cognitive challenges, and specific techniques for changing students’ ways of thinking about both the medical school course material and themselves as learners.


학생들의 관점은 우리의 이론과 실천에 inform할 수 있습니다. 학생들의 학습 개념에 도전하고, 숙련 된 촉진자가있는 그룹에서 가장 잘 작동해야하며,인지 적 및 정서적 요인과 학습자와 환경 간의 복잡한 상호 작용을 고려해야합니다.

the students’ perspectives, can inform our theory and practice: remediation needs to challenge students’ conception of learning,81 works best in groups with skilled facilitators,16,63 and must take into account cognitive and affective factors25,76 and the complex interplay between learners and their environment.


35 Barbour RS. Making sense of focus groups. Med Educ 2005;39:742–50.


38 Krueger RA. Designing and conducting focus group interviews. University of Minnesota 2002. http:// www.nrsweb.org/docs/Krueger-FocusGroupInterviews.pdf. [Accessed 15 September 2008.]




 2010 Oct;44(10):1038-47. doi: 10.1111/j.1365-2923.2010.03759.x.

At-risk medical studentsimplications of studentsvoice for the theory and practice of remediation.

Author information

1
Department of Academic Success, Ross University School of Medicine, Roseau, Dominica. kwinston@rossmed.edu.dm

Abstract

OBJECTIVES:

A mandatory remedial programme for students who repeat their first semester at medical school has resulted in large gains in academic performance and greatly reduced attrition. Here, we explore the students' views of this in order to clarify understanding of optimal remediation practice.

METHODS:

Using a mixed-methods approach, quantitative and qualitative data were gathered from student surveys (n=333) and three in-depth focus groups. Results were analysed for emergent themes.

RESULTS:

Remedial programmes for at-risk medical students should be mandatory, but should respect students' identity as repeaters. Attitude and motivation are key, and working in stable groups provides essential emotional and cognitive support. The learning environment needs to foster changes in students' ways of thinking and their development as flexible, reflective learners. These endeavours require support from honest teachers with rigorous expectations and good facilitation skills.

CONCLUSIONS:

Successful remediation needs to challenge students' conceptions of learning, works best in groups with skilled facilitators, and must take into account a blend of cognitive and affective factors and the complex interplay between learner and environment. Given a carefully designed programme, at-risk medical students can learn to make effective and lasting changes to their approach to study, and their views of learning can come to converge with influential ideas in the education literature.

PMID:
 
20880373
 
DOI:
 
10.1111/j.1365-2923.2010.03759.x
[Indexed for MEDLINE]


실패의 예측과 예방: 위험군 학생에 대한 조기 개입(Med Teach, 2014)

Prediction and prevention of failure: An early intervention to assist at-risk medical students

KALMAN A. WINSTON1, CEES P. M. VAN DER VLEUTEN2 & ALBERT J. J. A. SCHERPBIER2

1Bangor University, UK, 2Maastricht University, UK





도입

Introduction


Struggling 학생들의 성공과 의과대학의 retention rate을 향상시키기 위해서라도 Struggler들을 도와야 한다는 도덕적 명령이 존재합니다. 이러한 학생들은 전형적으로 도움을 구하지 못하고 (Winston et al. 2010a), 교육 전반에 걸쳐 성과가 저조하다 (Cleland et al., 2005).

there exists a moral imperative to assist struggling students in order to improve their success and their institutions’ retention rates. The challenge is that these students typically fail to seek help (Winston et al. 2010a), and continue to underperform throughout their education (Cleland et al. 2005, 2008).


본질적으로, 학생들을 돕기위한 두 가지 접근 방식이 있습니다 : 실패를 예측하여 예방하는 것과 실패 후에 재교육하는 것이다. 최근 연구 결과에 따르면 작은 연구 집단 내에서 자기 규제, 메타인지 및 대화 기법을 사용하여 인지적이고 정서적인 apprenticeship을 제공하는 14 주 과정에 참여한 학생들의 결과에 상당한 장기간 이익이 나타났습니다 (Winston et al. 2010a, 2010b, 2012). 지금까지는 이와 같이 재교육을 통한 성공이 예방적인 접근보다 더 선호되었는데, 

  • Struggler를 미리 예측하기 어렵고, 

  • 학생들을 부정확하게 라벨링할 위험이 있으며, 

  • 학생들이 스스로 도움의 필요성을 인지해야 도움이 주어졌을 때 최대의 효과가 있기 때문이다

Essentially, there are two approaches to assisting these students: prediction and prevention of failure, or remediation after failure. Recent work has shown significant longterm gains in student outcomes after participation in a 14-week course that provides a cognitive and affective apprenticeship using self-regulatory, metacognitive, and dialogic techniques within a small community of inquiry (Winston et al. 2010a, 2010b, 2012). These successful efforts at remediation have been preferred to prevention because of 

  • the difficulty of predicting exactly who will struggle, 

  • the risks of labelling students incorrectly, and 

  • the necessity for students to admit their need for help before it can be fully effective.


누가 fail할 것인가를 정확하게 예측하기는 어렵다: 학생의 어려움과 attrition은 복잡한 원인을 가지고 있으며 (Hall 2001), 실제 사회 세계는 직접적인 모델링을 하기에는 본질적으로 지나치게 예측불가능하다 (Kahneman 2011). 

  • 가장 좋은 입학전 예측 인자는 이전 GPAMCAT과 같은 인지 시험점수의 조 인 것으로 보인다 (Donnon 외, 2007; Callahan et al., 2010). 이것들은 의과대학 수행능력에 대해서 약 20%의 variance를 설명한다.

  • 성격과 학습 스킬 인벤토리를 포함시키는 것은 후에 '비인지적' 임상 성과를 예측하는 데는 유용 할 수 있지만, 이렇게 임상실습에 들어가기까지의 게이트키퍼 역할을 하는 기초과학 수행능력에 대한 예측에는 거의 도움이 되지 않을 수 있다 (Haight et al. 2012; McLaughlin 2012 ); 게다가, 이러한 자체보고식 설문은 faking에 취약하기 때문에 주의해서 사용해야합니다 (Griffin & Wilson 2012).

Accurate prediction of failure is challenging: student difficulty and attrition have complex causes (Hall 2001), and the real social world is inherently too unpredictable for straightforward modelling (Kahneman 2011). 

  • The best pre-admission predictor appears to be a combination of prior GPA and cognitive tests such as the US Medical College Admission test (MCAT), which account for  20% of the variance in medical school performance (Donnon et al. 2007; Callahan et al. 2010). 

  • Inclusion of personality and study skills inventories may be useful for predicting later ‘‘non-cognitive’’ clinical performance but add little to prediction of the basic science performance that serves as a gatekeeper for those later years (Haight et al. 2012; McLaughlin 2012); besides, such self-report inventories are susceptible to faking, and should be used with caution (Griffin & Wilson 2012).


Prediction task와 Assessment task가 유사할수록 예측도 더 정확해지는 것이 놀랍지는 않다 (Tanilon et al. 2011). 

  • 2학년 성과는 최종 성과를 매우 잘 예측합니다 (Cleland et al. 2008; Rich et al. 2012). 

  • 1학년때 고생하거나 실패한 학생들은 나중에도 어려움을 겪습니다 (Yates 2011, Stegers-Jager et al., 2013). 

'위험한 상태'에 대한 가장 효과적인 예측 인자는 프로그램 초기에 학생들의 성과라고 할 수 있습니다.

Unsurprisingly, the more similar the prediction task is to subsequent performance assessment tasks, the more accurate the prediction turns out to be (Tanilon et al. 2011). Second year performance is highly predictive of final performance (Cleland et al. 2008; Rich et al. 2012), and students who struggle or fail in the first year continue to have difficulty later in the same course (Yates 2011; Stegers-Jager et al. 2013). It seems likely that the most effective predictor for ‘‘at-risk-ness’’ is students’ performance early in their programmes.




목적

Aims


In this paper, we describe an attempt to take ideas from a successful remediation programme (Winston et al. 2010a) and apply them to a short course aimed at prevention of failure.


방법

Methods


맥락

Context


The school admits up to 400 new students, three times per year, to follow an accelerated curriculum, spending four four-month basic science semesters on island before advancing to their clinical rotations in mainland USA. 

    • 학생들은 MCAT 점수가 평균 23 (범위는 12-36) 인 다양한 배경을 가지고 있습니다. 대부분의 미국 본토 의과 대학에 입학하지 못했습니다. 본토 의대 입학생의 평균 MCAT는 31 점입니다 (AAMC 2012). MCAT 점수가 낮으면 USMLE 합격률이 낮아집니다 (Tekian & Hruska 2004) : 우리는 25-30 %의 탈락 률을 보입니다.

    • 이 MCAT 범위에서 성공 및 실패 예측은 어렵습니다. MCAT, 이전 대학 평점, 연령, 성별, 민족성을 다 같이 고려해도 학생들의 attrition의 8.7 %, 기초 과학 점수의 13.4 %만을 예측할 수 있습니다 (Meisenberg 2012). 

    • Students have diverse backgrounds, with mean MCAT scores of 23 (range is 12–36): most have failed to gain entry into mainland US medical schools, where the mean MCAT of matriculants is 31 (AAMC 2012). Lower MCAT scores have been shown to correlate with lower USMLE pass rates (Tekian & Hruska 2004): we have a 25–30% attrition rate. 

    • Prediction of success and failure at these MCAT ranges has proven difficult: MCAT, prior college GPA, age, gender and ethnicity combine to predict only 8.7% of our students’ attrition, and 13.4% of variance in their basic science grades (Meisenberg 2012).


For the first module (Fundamentals, of histology, biochemistry, physiology and anatomy), amid fears of too much weight on students’ first medical school exam, the exam was split into two sections

    • the first part (henceforth referred to as ‘‘week-2-exam’’) is taken after the first two weeks and accounts for 19% of the module grade; 

    • the second after five weeks, constitutes 26%. The pass mark for all modules is 60–65%.


Data collection and analysis


처음에 우리는 3 주 동안 새로운 week-2-exam에서 학생의 성적을 조사했습니다. 실패한 학생들은 (65 % 미만), 첫 학기 말이나 다음 학기에 과목을 실패했는지 여부를 추적했습니다. 1 년 후, 숫자와 퍼센티지가 너무 명확하여 통계 분석을 더 이상 할 필요가 없다고 생각했습니다. (Gorard 2010) : 많은 학생들이 2주 시험에 실패했으며, 이는 나중의 실패를 예측했습니다 ( '결과' 섹션). 무엇인가해야했지만, 무엇을 하든 학생과 CTL 교수 모두의 과도한 일정에 맞추어야 했다.

Initially, we looked at student performance in the new week- 2-exam for three cohorts. For those who failed (scored < 65%), we tracked whether they went on to fail courses at the end of that first semester or in any subsequent semester. After a year, the numbers and percentages were so clear that we felt no need for further statistical analysis (Gorard 2010): many students were failing the week-2-exam, and this was predictive of later failure (see ‘‘Results’’ section). Something had to be done, but any intervention needed to fit around the over- crowded schedules of both the students and the CTL faculty.



Intervention design


시간에 대한 학생들의 기존 요구, 어려움을 겪고있는 많은 학생들, 과로중인 CTL 교수진의 소수를 감안할 때 우리는 3 주간의 대규모 그룹 워크샵을 제공하기로 결정했습니다. 2주차 시험의 결과가 나오는 시점과 다음 시험인 5주차 시험 사이에 시간이 있었다. 각 워크샵은 2 시간 동안 지속되었으며, 6 명의 작은 그룹으로 구성된 테이블을 갖춘 대형 교실에서 열렸습니다. 워크샵 시리즈가 끝나면 참가자들은 학기 중 나머지 시간 동안 교수퍼실리테이터와 weekly 소그룹 모임에 가입 할 수 있습니다.

Given existing demands on students’ time, the large number of struggling students, and the small number of overworked CTL faculty, we decided to offer a short series of three large group workshops, in the only open time slots available in the two weeks between obtaining the week-2-exam results, and the second exam at the end of the fifth week. Each workshop lasted two hours, and was held in a large classroom with tables for seating smaller groups of six students. At the conclusion of the workshop series, participants could sign up for weekly small group meetings with a faculty facilitator for the remainder of the semester.


이 타협안은 기초 과학 내용에 능동적 인 학습 기술을 적용하면서 자기 조절, 메타인지 및 반성에 초점을 맞추기 위해 구성주의, 사회 문화적, 복합 주의자 이론을 혼합 한 Essential Lifelong Learning Skills (ELLS) 과정을 기반으로했습니다 (Winston et al., 2010a). 담론, 명시적 추론, 상호 피드백을 통해 교수 진행자가 안내하는 소그룹을 반복적으로 진행하여 학생은 서로의 인지적, 정서적 발달을 지원합니다 (Winston 외, 2010a, 2010b, 2012). 소규모 그룹으로 또는 전체 학기에 걸쳐 이 인터벤션을 제공할 만 한 자원은 없었지만, 핵심 아이디어를 제시하고 소그룹 과제를 위해 워크숍 시간의 대부분을 사용하는 것이 팀 기반 학습 (TBL) 모델의 일부 결과를 재생산해낸 것으로 보인다. 즉, weaker 학생들이 가장 큰 성과를 얻은 것으로보고됩니다 (Koles 외. 2010).

This compromise design was based on our Essential Lifelong Learning Skills (ELLS) course, which draws on a blend of constructivist, sociocultural and complexivist theories to focus on self-regulation, metacognition and reflection while applying active learning skills to basic science content (Winston et al. 2010a). Through discourse, explicit reasoning, and mutual feedback, small groups of repeating students, guided by a faculty facilitator, support each other’s cognitive and affective development (Winston et al. 2010a, 2010b, 2012). Although we did not have the resources to offer this intervention in small groups, or over a full semester, we felt that presenting key ideas and then using the majority of workshop time for small group assignments had the potential to replicate some of the findings from the team-based learning (TBL) model, in which weaker students are reported to have attained the largest performance gains (Koles et al. 2010).


각 워크숍에는 

  • 핵심 아이디어에 대한 대규모 그룹 소개 및 토론, 

  • CTL 교수 진행자와 소그룹 활동, 

  • 통찰력을 공유 할 수있는 whole-class plenary가 포함되었습니다. 

  • 각 워크샵이 끝나면 학생은 학습한 아이디어를 기초 과학 과정 자료에 적용하기 위하여 과제를 할당 받았고, 

  • 자세한 과제를 완료 한 과제를 다시 가져 오라고 요청했습니다.

Each workshop included large group introduction to, and discussion of, key ideas, small group activities with circulating CTL faculty facilitators, followed by whole-class plenary to share insights. At the end of each workshop students were assigned tasks for applying the learned ideas to basic science course material, and asked to bring back completed assignments for further discussion.



  • 첫 번째 워크샵에는 방금 실패한 2 주 시험과 관련된 감정에 대한 소규모 및 대규모 그룹 토론과 학생의 현재 학습 전략에 중점을 둔 활동 및 용어(공부, 학습, 복습)의 의미에 대한 인식 탐구가 포함되었습니다. 자기조절학습 이론 (Zimmerman 2000)에 대한 간략한 개요를 제공 한 후 학생들은 시간 관리 및 강의 미리 보기 활동에 참여했으며, 이 때 앞으로 사용될 용어의 사용과 정의에 주의를 기울이도록 했다. 이로써 새로운 지식과 사전 지식을 연결하는 것의 중요성을 보여주었다 (Dewey 1929).

  • 두 번째 워크샵은 강연 자료의 조직 및 비판적 평가를 하였는데, 이 때 조별로 고차원 질문을 만들거나, 개념지도와 같은 학습결과물을 만들었다.

  • 최종 워크샵은 MCQ에 답하고 MCQ로부터 배우는 것을 다루었으며, 문항 줄기 다시쓰기, 정답에 대한 해설 달기, 학습에 대한 자신감 확인, 구체적인 knowledge gap 확인 등을 중심으로 이루어졌다.

  • 6 명의 CTL 교수 중 한 명이 지원 한 후속 소그룹 (4-7ss / group) 회의에서 ELLS 과정 (Winston et al. 2010a)에서 가져온 다른 활동을 소개하면서 이러한 아이디어를 상세히 설명했습니다.

  • The first workshop included small and large group discussion of the emotions related to the just-failed week-2-exam, with activities focused on students’ current study strategies, and exploration of their perception of the meanings of terms like ‘‘study’’, ‘‘learn’’ and ‘‘review’’. After providing a brief overview of self-regulated learning theory (Zimmerman 2000), students were engaged in time-management and lecture- previewing activities, with careful attention to language use and definitions of previously learned terms that were about to appear in upcoming lectures, to demonstrate the importance of linking new learning to prior knowledge (Dewey 1929). 

  • The second workshop involved organization and critical appraisal of lecture material, with groups working on asking higher order questions and the creation of study products such as concept maps. 

  • The final workshop revolved around techniques for answering and learning from multiple-choice questions, including rephrasing of question stems, explanation of answer choices, and the use of confidence marking for judgments of learning and identification of specific knowledge gaps. 

  • In the follow-up small group (4–7ss/group) meetings, each facilitated by one of six CTL faculty, these ideas were elaborated upon, along with introduction of other activities drawn from the ELLS course (Winston et al. 2010a).


결과

Results



고찰

Discussion


Fail에 관한 더 나은 예측 인자를 찾는 우리의 첫 번째 목적은 의대생을 대상으로 한 확실한 목표였습니다. 같은 학교 내에서 조기 및 후기 교육 사이의 이러한 연결 고리는 다른 연구결과와도 부합하는데, 학부 교육 연구 (Tanilon 외, 2011)를 비롯하여 UK (Yates 2011) 및 네덜란드 (Stegers-Jager 외. 2013)의 의과 대학 연구와도 일치한다, 따라서 의과대학에서의 초기 성과에 대한 척도는 미래의 의대 학교 성과에 대한 가장 좋은 지표입니다.

Our first aim of finding an improved predictor of failure was certainly achieved for our specific population of medical students. This link between early and late performance within the same school mirrors the findings of others, from undergraduate education studies (Tanilon et al. 2011), to medical schools in UK (Yates 2011) and Netherlands (Stegers-Jager et al. 2013), so perhaps measures of early medical school performance are our best indicators of future medical school performance.



첫째, 워크숍 시리즈가 진행됨에 따라 참석을 덜 한다던가, 뒤이은 더 효과적인 소그룹 세션에 최소한의 학생만 참석하는 것 등은 weaker 학생들에게 흔히 발견되는 낮은 수준의 help-seeking 과 일치한다 (Devoe 외. 2007; Winston et al. 2010a). 또한 학생들이 성적을 향상시킨 연습을 싫어하고 (Leggett 외. 2012), 자기보고 측정은 객관적 결과와 관련이 없다는 것을 발견했습니다 (Bowman 2010).

Firstly, the diminishing attendance as the workshop series progressed, and minimal take-up of the ensuing, and more effective, small group sessions, is in keeping with the commonly reported limited help-seeking of weaker students(Devoe et al. 2007; Winston et al. 2010a). Others have found that students dislike exercises that have improved their performance (Leggett et al. 2012) and that self-report measures are unrelated to objective outcomes (Bowman 2010).



어떤 역량을 위해 필요한 기술이 그 역량을 평가하는 데 필요한 기술과 유사하다는 점을 고려할 때 (Kruger & Dunning 1999), struggling 학생들이 그들에게 제공되는 도움에 대해서 제대로 판단하지 못하는 것은 당연합니다. 이는 그러한 개입을 의무화할 필요성을 강조한다. 이전 연구는 참여를 필수로 만들더라도 자발적으로 참여한 경우와 마찬가지로 재교육이 효과적이었다는 것을 보여주었습니다 (Winston et al. 2010a) : 학생들이 기술을 개발하고 실제 행동 변화에 필요한 노력을 기울이는 데는 시간이 걸립니다. 재교육에 대한 학생의 태도는 프로그램이 진행됨에 따라 더욱 긍정적으로 변하기 때문에 (Winston et al. 2010b) failure를 사전에 예방하려는 시도로서 학생들에게 그러한 중재의 가치를 받아들이거나 이해할 수있는 기회를 제공하기 위해서 참가를 의무화 하는 것은 합당해 보인다.

Given that the skills required for competence are similar to the skills required to evaluate that competence (Kruger & Dunning 1999), it is unsurprising that struggling students are not the best judges of the help provided for them. This reinforces the need for such interventions to be mandatory. Previous work showed that effective remediation with voluntary participation remained equally effective after participation was required (Winston et al. 2010a): it takes time for students to develop the skills and make the commitment of effort needed for real behaviour change. Students’ attitudes to remediation become more positive as the programme progresses (Winston et al. 2010b), so it makes sense to require participation in attempts at prevention of failure to afford students the opportunity to appreciate and understand the value of such interventions.



학생 설문 조사에서 긍정적 응답이 나왔음에도 불구하고, 대규모 그룹 워크샵은 전반적인 합격률에 통계적으로 유의한 차이를 만들어내지 못했으며, 소그룹 세션은 약간의 효과가있는 것으로 나타났습니다. 

  • 대규모 수업은 alienating하며, 동기 부여를 떨어 뜨릴 수있다 (Etten et al 2008). 

  • 반면 소규모 수업은 생각과 태도의 발달을 촉진하고 (Edmunds & Brown 2010) 더 많은 상호 작용을 유도하며, 교사에게 집중하기 좋다(Blatchford et al., 2011). 

Despite positive student surveys, our large group workshops made no statistical difference to overall pass rates, while the small group sessions appear to have had some effect. 

  • Large classes can be alienating and de-motivating (van Etten et al. 2008), 

  • while smaller classes promote development of thought and attitude (Edmunds & Brown 2010) and allow for more interaction and teacher attention (Blatchford et al. 2011). 


Affect는 추론과 학생 참여의 중요한 요소입니다 (Taylor 2010). 실패할 위험에 직면한 워크샵 참가자들은 익숙하지 않은 동료들과 같은 대규모의 청중 앞에서 자신의 상황에 대한 정서적인 측면을 다루기가 어려웠습니다. 교수진이 몇 차례의 미팅에서 대규모 학생들에게 제공 할 수있는 객관적인 주장은 행동에 영향을 미치지 않을 수도 있습니다 (Jonas 2010). 

Affect is an important element of both reasoning and student engagement (Taylor 2010). Confronted with the prospect of failure, it was difficult for our workshop participants to address the affective aspect of their situation before such a large audience of unfamiliar colleagues. The objective arguments faculty can deliver to a large group in a few meetings may not affect behaviours (Jonas 2010): 


  • 친숙함과 신뢰에서 기인하는 긍정적 무드는 종종 변화의 선결 요건입니다 (Geertsma 1977). 

  • 이러한 신뢰는 시간에 걸쳐 안정된 그룹으로 발달하는 학생들의 관계에서 비롯하며, 이 그룹에서 학생들은 상호 동기 부여와 지원을 제공하고, 서로의 공헌을 인정하게 된다 (Winston 외. 2010b). 

  • 그룹에 대한 소속감과 친숙함은 긍정적 목표가 전염contagion되도록 하며, (Eren 2009) 효과적인 인지 작업 및 협동 학습을 위한 사회적 규제 기반social regulatory foundation을 제공합니다 (Volet 외. 2009). 

  • the positive mood that emerges from familiarity and trust is often a prerequisite for change (Geertsma 1977). 

  • Such trust emerges from the relationships that develop in stable groups over time, as students provide mutual motivation and support, and come to appreciate each other’s contributions (Winston et al. 2010b). 

  • The feeling of group membership and familiarity can result in contagion of positive goals (Eren 2009), and provides the social regulatory foundation for effective cognitive work and collaborative learning (Volet et al. 2009). 

이 중 어느 것도 참가 인원의 변동이 심한 대규모 그룹에서 쉽게 달성 할 수 없으며, 시간을 늘리거나 그룹 크기를 줄이는 것이 우리의 개입 노력에 도움이 될 수 있음을 시사합니다.

None of this is readily achievable in a large group setting with variable attendance, and suggests that increasing time and reducing group size may be helpful to our intervention efforts.



대규모 그룹 환경에서도 안정된 팀과의 정기적 모임을 통해 학생 간 지지 관계가 형성 될 수 있다고하더라도, 학생들과 교사와의 관계를 구축하는 문제는 여전히 존재한다 (Cate et al. 2011). 시간이 지남에 따라 발전하는 교사 - 학생 관계는 학생 학습, 참여 및 동기 부여에 중요한 요소입니다 (Hauer 외. 2012). 소규모 그룹 세팅은 교사와 학생 간의 상호 자신감과 신뢰를 가능하게하고 진화하는 의사 소통 공간을 제공하며, 이는 피드백이 수용되는 방식에 큰 영향을 미칩니다 (Eva 외. 2010).

Even if supportive relationships among students could be created in large group settings through regular meetings with stable teams, there remains the issue of building students’ relationships with teachers, which are often undervalued (ten Cate et al. 2011). The teacher-student relationship that develops over time is a significant factor in student learning, engagement and motivation (Hauer et al. 2012). Small group settings afford the space for communication that both enables and evolves from mutual confidence and trust between teachers and students, which in turn heavily influences the way feedback is received (Eva et al. 2010). 


전문가 교사의 피드백은 자기조절 및 성공적인 재교육의 핵심 구성 요소입니다 (Winston 외. 2012). 유용한 피드백을 제공하려면 교사가 학습자를 이해하고 특정 어려움을 진단하며 학습 프로세스 개선을 위해 일반화해주어야 한다. 그러나 본 연구의 중재에서는 학습에 대한 critique은 학생의 몫으로 남겨졌고, 교사는 둘러보며 가끔 의견을 제시하기만 했다. 이러한 방식의 문제는 학생들이 자발적으로 높은 수준의 비판적 토론을 하지 못한다는 것이다 (Gillies 2011). 전문가 퍼실리테이터들은 학생들이 자신의 comfort zone을 벗어나서, 탐험적인 이야기를 하도록 가이드를 주고 challenge해 주어야 할 필요가 있다 (Stoyanova & Kennedy 2010, Winston 외. 2012).

Feedback from expert teachers is a key component of the development of self-regulation and successful remediation (Winston et al. 2012), and the provision of useful feedback requires the teacher to understand her learners, diagnose specific difficulties and offer generalizations for improvement of learning processes. However, in this intervention, critique of student learning was left to the student teams, while teachers circulated and offered occasional comments. This is problematic because students do not spontaneously produce high-level, critical discussions (Gillies 2011), and need guidance and challenges from expert facilitators to provoke them out of their comfort zones into deeper, exploratory talk (Stoyanova & Kennedy 2010; Winston et al. 2012). 


대규모 그룹 상황에서는 학생들이 가진 여러가지 우려가 잘 드러나지 않으며, challenge 되지도 않기 때문에 이러한 경청을 통한 facilitation이 매우 어렵게 된다. 따라서 우리는 후속 소그룹 세션이 대그룹 워크샵보다 결과에 장기적인 차이를 줄 것으로 기대할 수 있습니다. 또한 이번 연구 결과는 교사 경험이 학생의 출석과 참여를 유지하는 데 중요하다는 것을 제시하며, 이는 우리의 초기 연구 결과 (Winston et al. 2012)와도 일치한다. 즉 재교육의 결과는 경험이 없는 교사보다 경험이 있는 교사가 훨씬 더 낫다. 이것이 시사하는 바는 교사 - 학생과 학생 - 학생 관계를 신뢰하는 것이 성공적인 재교육과 failure 예방의 중요한 요소이며, 안정적인 소그룹은 이러한 관계를 발전시키는 데 가장 효과적인 환경을 제공 할 수 있다는 것이다.


The careful listening that is required for such facilitation is extremely difficult in a large group situation, where many student concerns are neither raised nor challenged.  Thus, we might expect the small group follow-up sessions to make more long-term difference to outcomes than the large-group workshops. The results also suggest that teacher experience matters in maintaining attendance and engagement of students, reinforcing the findings from our earlier work (Winston et al. 2012) that outcomes of remediation are significantly better for experienced than for inexperienced teachers. The implication is that trusting teacher-student and student–student relationships are an important ingredient of both successful remediation and prevention of failure, and that stable small groups may offer the most effective environment for developing these relationships.



우리의 결과는 또한 재교육와 예방의 실천이 dose effect를 설명할 필요가 있다는 점증하는 증거를 추가합니다. 이전에 우리는 15 개 이상의 ELLS 세션에 참여한 학생이 10 회 미만의 세션에 참여한 학생보다 장기 성공 가능성이 두 배 더 높음을 발견했습니다 (Winston 외. 2010a). 여기에서 워크샵과 소그룹 세션을 합친 최대 용량은 겨우 9 개였으며오직 극소수의 학생들만 이 세션을 모두 따라왔다. 다른 사람들도 마찬가지로 지원 프로그램에 대한 출석률 향상이 더 나은 결과와 관련이 있다는 것을 발견했다 (Muraskin 1997, Stegers-Jager et al., 2013) 즉, 짧은 프로그램은 장기적인 개선을 가져 오지 않는다 (Pell et al. 2012).

Our results also add to the growing evidence that the practice of remediation and prevention of failure needs to account for a dose effect. Previously, we found that students who attended more than 15 ELLS sessions were twice as likely to achieve long-term success than students who attended fewer than 10 sessions (Winston et al. 2010a). Here, the maximum dose, with workshops and small group sessions combined, was just nine, and only very few students reached this. Others have similarly found that increased attendance at support programmes correlates with better outcomes (Muraskin 1997; Stegers-Jager et al. 2013), and that short programmes do not produce long-term improvements (Pell et al. 2012). 


고립된, 짧은 개입은 거의 성공하지 못합니다 (McLaughlin 2012), 왜냐하면 행동 변화, 비판적 사고 처리의 발달 및 새로운 기술 습득은 필연적으로 시간이 걸리기 때문에, 레귤러한 환경에서 연속적인 대화와 피드백이 요구되기 때문이다.  (Paul et al., 2009), (Dewey 1910, Kahneman 2011) (학생의) 스킬 및 성향에 근본적인 변화를 주기를 원한다면 소수의 회의로는 명백하게 부족하며, 우리는 한 학기 동안, 매주 두 번씩 만나는 것이 가장 효과적인 dose를 찾아나갈 좋은 시작점이 될 것이라고 제안 할 것입니다.

Isolated, brief interventions rarely succeed (McLaughlin 2012), since behaviour change, development of critical thinking dispositions, and acquisition of new skills necessarily take time (Paul et al. 2009), requiring extended interaction with consecutive discourse and feedback in a regular environment (Dewey 1910; Kahneman 2011). A handful of meetings is clearly inadequate for fundamental change in skills and dispositions, and we would suggest that meeting twice each week for one semester would be a good place to start exploration of the most effective dose for an intervention to prevent failure in at-risk professional students.



마지막으로, 성공적인 프로그램은 다음에 대한 시스템 관점을 필요로할 것이다.

  • 명확한 행정 지원 (Lieberman et al. 2010), 

  • 유연한 커리큘럼 옵션, 

  • 수업과 자습을 위한 시간, 

  • 신중하게 설계된 지원 프로그램 대한 참여 

Finally, a successful programme probably needs a systemic perspective with 

  • clear administrative support (Lieberman et al. 2010), 

  • flexible curricular options, and 

  • dedicated time for self study, classwork, and 

  • participation in carefully designed support programmes.



Limitations and further work


Conclusions


의대 학교의 첫 2 주 후에 시험을 치르는 것은 투쟁 할 학생들의 목표 인구에 대한 초기 예측자를 찾는 우리의 목표에 매우 적합합니다. 연구를 통해 prediction task와 target task간의 유사성은 조기 개입을 목표로 할 때 충분한 정확도를 제공한다는 것을 확인했습니다.

An exam after the first two weeks of medical school seems well-suited to our aim of finding an early predictor for our target population of students likely to struggle, confirming the notion that close similarity between predictor task and target task provides sufficient accuracy for targeted early interventions.


실패 예방을 위해 치료와 마찬가지로 개입의 유형과 세부 사항이 중요 할 수 있습니다. 절충안은 심각한 문제점을 안고 있으며, 점점 더 다양 해지는 학생 집단을 성공적으로 지원하려면 업무량 및 교육 과정 유연성과 같은 시스템 문제를 해결하는 것이 중요합니다. 예방적 개입은 특정 상황에 맞춰 조정될 필요가 있다. 그러나 성공을 위해서는 적어도 한 학기 동안 최소 12 회의 미팅을 가지고, 이 미팅에 이어서 학습 내용에 적용함으로써 자기 조절 및 메타인지 기술을 가르치는 것이 필요해 보인다.

For prevention of failure, as with remediation, the type and details of intervention are likely to matter. Compromise solutions present serious challenges, and it is essential that systemic issues, such as workload and curricular flexibility, are addressed if we are to maximise the likelihood of successfully supporting our increasingly diverse student populations. Preventive interventions will need to be tailored for specific contexts, but it seems likely that a series of at least a dozen meetings over a minimum of one whole semester, following a flexible syllabus that teaches self-regulatory and metacognitive skills through application to content, would be necessary ingredients for success. 


예를 들어, 우리 자신의 맥락에서, 이것은 첫 번째 시험을 통과하지 못한 학생들에게 de=accelerated track을 제공함으로써 세심한 참여를 위한 충분한 시간과 공간을 제공하는 것과 같다. 우리의 결과에 따르면, 이상적으로는, 경험이 풍부하고 mindful한 교수 진행자가 소규모의 stable 그룹을 진행하여, 여기에 의무적으로 출석하도록 하고, 그 결과로 정서적으로 지지가되는 관계를 만들어, 충분한 학업적 강건함과 적시에 건설적인 피드백을 받게 해야 한다. 그 결과로 학생들은 시간이 지남에 따라 기술을 개발하고 적용 할 수 있게 될 것이다.

In our own context, for example, this might involve offering a de-accelerated track to students who fail the first exam, thus providing enough time and space for attentive participation. Our results suggest that, ideally, this would happen through mandatory attendance in small stable groups led by experienced, mindful faculty facilitators, in which emotionally supportive relationships allow for sufficient academic rigour and timely constructive feedback for students to develop and apply their skills over time.




Cleland J, Leggett H, Sandars J, Costa MJ, Patel R, Moffat M. 2013. The remediation challenge: Theoretical and methodological insights from a systematic review. Med Educ 47:242–251.


Paul G, Hinman G, Dottl S, Passon J. 2009. Academic development: A survey of academic difficulties experienced by medical students and support services provided. Teach Learn Med 21(3):254–260.


Eva KW, Munoz J, Hanson MD, Walsh A, Wakefield J. 2010. Which factors, personal or external, most influence students’ generation of learning goals? Acad Med 85(10):S102–S105.


Shulruf B, Poole P, Wang GY, Rudland J, Wilkinson T. 2012. How well do selection tools predict performance later in a medical programme? Adv Health Sci Educ 17(5):615–626.


Griffin B, Wilson IG. 2012. Faking good: Self-enhancement in medical school applicants. Med Educ 46(5):485–490.


Winston KA, Van der Vleuten CPM, Scherpbier AJJA. 2010a. An investigation into the design and effectiveness of a mandatory cognitive skills programme for at-risk medical students. Med Teach 32(3):236–243.


Winston KA, Van Der Vleuten CPM, Scherpbier AJJA. 2010b. At-risk medical students: Implications of students’ voice for the theory and practice of remediation. Med Educ 44:1038–1047.


Lieberman SA, Ainsworth MA, Asimakis GK, Thomas L, Cain LD, Mancuso MG, Rabek JP, Zhang N, Frye AW. 2010. Effects of comprehensive educational reforms on academic success in a diverse student body. Med Educ 44(12):1232–1240.


Winston KA, Van Der Vleuten CPM, Scherpbier AJJA. 2012. The role of the teacher in remediating at-risk medical students. Med Teach 34(11):e732–e742.


McLaughlin K. 2012. Navigating in the fog of medical school admissions data. Adv in Health Sci Educ 17:627–629.


Yates J. 2011. Development of a ‘toolkit’ to identify medical students at risk of failure to thrive on the course: An exploratory retrospective case study. BMC Med Educ 11(1):95.




 2014 Jan;36(1):25-31. doi: 10.3109/0142159X.2013.836270. Epub 2013 Oct 1.

Prediction and prevention of failure: an early intervention to assist at-risk medical students.

Author information

1
Bangor University , UK.

Abstract

BACKGROUND:

Consistent identification and prevention of failure for at-risk medical students is challenging, failing courses is costly to all stakeholders, and there is need for further research into duration, timing and structure of interventions to help students in difficulty.

AIMS:

To verify the value of a new exam two weeks into medical school as a predictor of failure, and explore the requirements for a preventative intervention.

METHODS:

Students who failed the two-week exam were invited to a series of large-group workshops and small-group follow-up meetings. Participants' subsequent exam performance was compared with non-participants.

RESULTS:

About 71% of students who performed poorly in the new exam subsequently failed a course. Attendance at the workshops made no difference to short- or long-term pass rates. Attendance at more than three follow-up small group sessions significantly improved pass rates two semesters later, and was influenced by teacher experience.

CONCLUSIONS:

Close similarity between predictor task and target task is important for accurate prediction of failure. Consideration should be given to dose effect and class size in the prevention of failure of at-risk students, and we recommend a systemic approach to intervention/remediation programmes, involving a whole semester of mandatory, weekly small group meetings with experienced teachers.

PMID:
 
24083365
 
DOI:
 
10.3109/0142159X.2013.836270


교수 멘토링 관계의 효과성 평가(Acad Med, 2005)

Measuring the Effectiveness of Faculty Mentoring Relationships

Ronald A. Berk, PhD, Janet Berg, MS, RN, Rosemary Mortimer, MS, MSEd, RN,

Benita Walton-Moss, DNS, RN, and Theresa P. Yeo, MSN, MPH, RN





지난 25 년 동안 점점 더 많은 연구가 이루어 졌음에도 불구하고 멘토링 관계의 특징과 결과에 대한 명확성이 부족했습니다. "멘토 (Mentor)"는 수많은 의미를 갖고 있으며 약 2,600 년 전 출신 이래 한 달 또는 두 달을주고 받거나 다양한 기업 및 교육 환경에 적용되었습니다. The Odyssey에서 고대 그리스 시인 호머 (Homer)는 그리스 왕이자 전사 인 오디세우스 (Odysseus)의 무용담을 이야기합니다.

Over the past 25 years, there has been a lack of clarity about the characteristics and outcomes of mentoring relationships, despite a growing body of research.1 “Mentor” has taken on numerous meanings and has been applied in a variety of corporate2–9 and educational10–15 contexts since its origin about 2,600 years ago, give or take a month or two: In The Odyssey, the ancient Greek poet Homer recounts the saga of Odysseus, the Greek king and warrior.


1970 년대 중반 이후 멘토링이나 멘토에 대한 20 가지 이상의 정의가 문헌에 나타났습니다. 이러한 정의는 매우 다양하며 "수용 가능한"정의에 대한 전문적인 합의가 없습니다. 20 년 전 Wrightsman의 관측은 여전히 ​​오늘날의 제안으로 보입니다. "공감대가 존재한다는 거짓 감각이 있는데, 왜냐하면 모두가 피상적인 수준으로만 "멘토링이 무엇인지 "알기 때문입니다. 그러나 면밀히 들여다보면 폭넓은 조작적 정의로 인해서, 특정 프로시져의 사용에만 국한되는 결론만을 이끌어 낼 수 있습니다."

Since the mid-1970s, more than 20 definitions of mentoring or mentors have appeared in the literature.16–18 These definitions are extremely diverse,1,19 plus there is no professional consensus on any “acceptable” definition. Wrightsman’s observation over 20 years ago still seems apropos today: “There is a false sense of consensus, because at a superficial level everyone ”knows“ what mentoring is. But closer examination indicates wide variation in operational definitions, leading to conclusions that are limited to the use of particular procedures.”20, pp 3–4



Jacobi1은 일반적인 합의가있는 멘토링 관계에서 5 가지 요소를 증류했습니다. 멘토링 관계는..

  • (1) 성취 또는 지식 습득에 중점을 둡니다.

  • (2) 정서적 및 심리적 지원, 경력 및 전문성 개발에 대한 직접 지원, 역할 모델링의 세 가지 구성 요소로 구성됩니다.

  • (3) 멘토와 멘티 (일명 프로 테어 지)가 감정적 또는 실질적인 이익을 얻는 상호성이있다.

  • (4) 본질적으로 직접적인 상호 작용을 포함하는 개인적인 것; 

  • (5) 특정 조직 내에서 멘토의 보다 큰 경험, 영향력 및 성취를 강조합니다.


Jacobi1 distilled five elements in the mentoring relationship on which there is general agreement. A mentoring relationship 

  • (1) focuses on achievement or acquisition of knowledge; 

  • (2) consists of three components: emotional and psychological support, direct assistance with career and professional development, and role modeling; 

  • (3) is reciprocal, where both mentor and mentee (aka prote´ge´) derive emotional or tangible benefits; 

  • (4) is personal in nature, involving direct interaction; and 

  • (5) emphasizes the mentor’s greater experience, influence, and achievement within a particular organization.


존스 홉킨스 대학 간호 학교 특별 연구원 멘토링위원회

the Ad Hoc Faculty Mentoring Committee at Johns Hopkins University School of Nursing


위원회의 네 가지 임무는

  • (1) "멘토십"을 정의하고

  • (2) 측정 가능한 멘토의 구체적인 특성과 책임을 명시하고,

  • (3) 멘토링 관계에 대한 포괄적 인 프로필 설명을 제공하는 도구를 개발하고,

  • (4) 제자가 평가할 수있는 구체적인 결과 측면에서 그 관계의 효과를 측정하는 척도를 세우십시오.

The committee’s four tasks were to 

  • (1) define “mentorship,” 

  • (2) specify concrete characteristics and responsibilities of mentors that are measurable, 

  • (3) develop an instrument that provides a comprehensive profile description of the mentoring relationship, and 

  • (4) build a scale that measures the effectiveness of that relationship in terms of specific outcomes that a mentee could evaluate.




"멘토십": 구조

“Mentorship”: The Construct



정의

Definition


위원회의 정의

the committee proposed the following definition:


멘토링 관계는 비공식 / 단기간에서 공식 / 장기간의 연속체상에 다양한 형태의 관계로서, 유용한 경험, 지식, 기술, 지혜를 지닌 교수진이 다른 교수 또는 학생에게 [그 개인의 전문성 개발을 위하여] 조언, 정보, 안내, 지원 또는 기회를 제공하는 것이다.  (참고 : 이것은 멘티가 시작한 자발적 관계입니다.)

A mentoring relationship is one that may vary along a continuum from informal/ short-term to formal/long-term in which faculty with useful experience, knowledge, skills, and/or wisdom offers advice, information, guidance, support, or opportunity to another faculty member or student for that individual’s professional development. (Note: This is a voluntary relationship initiated by the mentee.)


(멘토의) 특징

Characteristics


전문성, 직업 성실성, 정직성, 접근성, 친근감, 동기 부여, 동료들의 존경,지지와 격려.

expertise, professional integrity, honesty, accessibility, approachability, motivation, respect by peers in field, and supportiveness and encouragement.



(멘토의) 책임

Responsibilities


  •     멘토링에 대한 헌신
  •     그 분야에 대한 자원, 전문가 및 자료 제공
  •     전문 이슈에 관한 안내 및 지침 제공
  •     멘티의 아이디어와 작업 장려
  •     제자의 일에 대한 건설적이고 유용한 비평을 제공
  •     멘티가 자신의 능력을 넓히도록 도전하게 함
  •     멘티의 질문에시기 적절하고 명확하며 포괄적 피드백 제공
  •     멘티의 독창성과 그 기여도를 존중
  •     제자의 공헌을 적절히 인정
  •     산출물 및 활동의 성공과 이익을 멘티와 공유

  •    Commits to mentoring

  •    Provides resources, experts, and source materials in the field

  •    Offers guidance and direction regarding professional issues

  •    Encourages mentee’s ideas and work

  •    Provides constructive and useful critiques of the mentee’s work

  •    Challenges the mentee to expand his or her abilities

  •    Provides timely, clear, and comprehensive feedback to mentee’s questions

  •    Respects mentee’s uniqueness and his or her contributions

  •    Appropriately acknowledges contributions of mentee

  •    Shares success and benefits of the products and activities with mentee





새로운 멘토십 효과성 평가도구

New Mentorship Effectiveness Instruments


1980 년대 멘토링 프로그램과 관련된 도구는 멘토가 있었는지 여부 또는 멘토링 특성이나 기능의 다양성에 관한 포괄적 질문에 의존했습니다. 이러한 도구는 이전에 언급 된 일반적인 기능 집합에 대한 정의 및 합의가 일치하지 않는 것을 반영합니다. 1990 년대에는 멘토링 프로그램의 효과를 측정하기위한 건강 관리 연구 도구가 3 가지 있었는데, medicine분야에서는 하나 뿐이다.

Instruments related to mentoring programs in the 1980s relied on global questions about whether or not someone had a mentor38–40or on a wide array of mentoring characteristics or functions.6,41–46 These tools mirrored the inconsistency in definitions and lack of consensus on a generic set of functions mentioned previously. In the 1990s, the health care research reporting instruments to measure the effectiveness of mentoring programs consisted of three studies,32,33,47 including only one in medicine.



멘토링 도구 비평

Critique of mentorship instruments



멘토링 프로그램에 사용되는 현재의 평가 도구는 멘토링 관계의 맥락에서 몇 가지 제한이 있습니다. 이러한 도구는 특정 멘토링 프로그램 만 평가하도록 설계되었습니다. 그들은 멘토링 기능의 중요성을 측정하거나 멘토링 행동의 빈도를 측정합니다. 그리고 이러한 평가 도구는 교수진 멘토링에 적용될 수도 있고 적용되지 않을 수도 있습니다. 설문지 형식은 단답형 응답과 각 항목에 대해 서로 다른 앵커가 있는 bipolar anchor scale로 구성됩니다. 앵커가 척도 연속체의 극단적 인 부분에서만 제시 될 때 척도 값의 의미와 이러한 극단 사이의 지점에서 응답 해석은 불분명하거나 모호합니다. 응답자 만이 요점의 진정한 의미를 알 수 있습니다.

The current evaluation tools used in mentoring programs have several limitations in the context of the mentoring relationship. These tools are designed to evaluate only specific mentoring programs. They measure the importance of mentoring functions, and/or they measure the frequency of mentoring behaviors. And, these evaluation tools may or may not apply to faculty mentoring. Their questionnaire formats consist of short-answer constructed response and bipolar anchor scales with different anchors for each item. When anchors are presented only at the extremeends of a scale continuum, the meaning of the scale’s values and the interpretation of responses at points in between these extremes are unclear or ambiguous. Only the respondents will know the true meaning of these points. 


이러한 도구들이 측정하는 멘토링의 모든 측면에도 불구하고, 어느 누구도 "어떤 관계가 효과적 이었습니까?"라는 차원을 측정하지 못했습니다. 효율성의 정도를 평가하는 평가 척도가 필요했습니다.

Despite all of the aspects of mentoring that these instruments measure, none measured the critical dimension, “To what extent were any of the relationships effective?” A rating scale that evaluates the degree of effectiveness was needed.



멘토십 프로필 설문

The Mentorship Profile Questionnaire


The Mentorship Profile Questionnaire (see Appendix A)




멘토십 효과성 척도

The Mentorship Effectiveness Scale



문항 개발

Item generation.


The committee constructed a formal rating scale to provide an efficient, comprehensive, and standardized tool for rating the mentorship experience and, especially, the effectiveness of the mentor (see Appendix B).


척도 구조

Scale structure.


변별도가 높은 6 점의 동의 불일치 연속체가 개발되었습니다. 이러한 앵커는 다양한 멘토 특성에 대한 응답을 평가하는 데 가장 적합한 것 같았습니다. 강제로 찬-반 평가를 나누기 위하여 불확실하거나 중립적 인 입장이 제시되지 않았습다. Nunnally와 Bernstein은 중간 위치 응답이 등급 정보를 제공하지 않기 때문에 중간 "미정"위치가없는 짝수 개의 스케일을 사용하는 것에 약간의 이점이 있음을 지적했습니다.


A highly discriminating six-point agree–disagree continuumwas developed: These anchors seemed most appropriate to evaluate responses to a wide range of mentors’ characteristics. No uncertain or neutral position was presented in order to force an agree–disagree rating. Nunnally and Bernstein57 have indicated there is a slight advantage to using an even-numbered scale with no middle “undecided” position because a neutral position response gives no rating information.


응답 편향

Response bias.


응답 바이어스에는 두 가지 유형이있다 : 묵인 (또는 네네~ 응답하기)과 후광 효과. 이러한 편향은 Likerttype 척도와 공통점이 없지만, 멘토와 멘토 간의 긴밀한 협력 관계는 평가자의 객관성에 영향을 미칠 수 있습니다. 항목 내용에 관계없이 "긍정적인"특성에 긍정적인 점수를 주거나, 멘토에 대한 전반적인 긍정적 인상으로 인해 구체적 특성까지 높게 평가하는 경향은 점수를 부풀릴 수 있으며, 따라서 결과를 유리하게 비뚤어지게 합니다. 멘토 - 멘티 관계의 본질을 감안할 때,이 잠재적 인 주관성 및 등급 편향에 대한 해독제는 없다. 이러한 영향은 최종 평점의 해석에서 고려되어야한다.


Two types of response bias were of concern: acquiescence (or yea-saying) and the halo effect. Although these biases are not common with Likerttype scales,51 a mentee’s close working relationship with his or her mentor may affect the rater’s objectivity. The tendency to give positive responses to the “positive” characteristics, irrespective of the itemcontent, or to rate the specific characteristics highly because of an overall positive impression of the mentor, can inflate the ratings and, consequently, favorably skewthe responses. Given the nature of the mentor–mentee relationship, no psychometric antidote for this potential subjectivity and ratings bias appears possible. These effects should be considered in the interpretation of the final ratings.



평가 시행

Scale administration and scoring.


여러 명의 멘티가 동일한 멘토를 평가하고, 점수도 비슷한 경우, 멘티의 median점수는 항목 및 전체 scale로 계산할 수 있습니다. 그러나 이렇게 비교 가능한 경우는 매우 드뭅니다. 대부분의 경우, 멘토와의 관계는 멘티의 특성에 따라 고유합니다. 따라서 멘토 한 사람에 대한 평가를 위해서 여러 멘티의 평가를 평균내지 말아야 한다. 평점이 합쳐지면 그 결과는 오해의 소지가 있으며 멘토링의 효과를 허위로 나타낼 수 있습니다.


If several mentees rate the same mentor and the relationships are comparable, a median rating for the sample of mentees can be computed by itemand for the total scale. This comparability, however, is quite rare. Most often, each mentor– mentee relationship is unique on one or more characteristics. This precludes aggregating ratings across mentees for a single mentor. If such ratings were combined, the results could be misleading and misrepresent the effectiveness of the mentoring.


심리측정 이슈

Psychometric issues


내용 관련 타당도

Content-related validity.


The items on the Mentorship Profile Questionnaire and the Mentorship Effectiveness Scale must be congruent with the definition of mentoring and the domain of mentor characteristics and responsibilities in whatever mentoring activities occur.


응답 편향

Response bias.


편향의 방향은 알 수 있으나, 그 정도가 어느 정도인지는 모른다.

As noted previously, acquiescence and halo biases can inflate the ratings by the mentees. Although the direction of the bias can be anticipated, the degree cannot be measured.


다른 타당도, 신뢰도 근거

Other validity and reliability evidence.


일반적인 기준 및 척도 항목은 표준화 된 절차를 사용하여 관리되지만 일반적으로 각 멘토 - 멘티 간의 관계는 고유합니다. 각 제자의 평점은 대개 서로 다른 역할 프로필을 기반으로합니다. 따라서 rating은 comparable하지 않으며, 동일한 의미가 아닙니다.

Although a common set of criteria and scale items are administered using standardized procedures, typically each mentor–mentee relationship is unique. The ratings by each mentee are usually based on different role profiles. Hence, the ratings are not comparable and do not have the same meaning.





Conclusions








 2005 Jan;80(1):66-71.

Measuring the effectiveness of faculty mentoring relationships.

Author information

1
Johns Hopkins University, School of Nursing, Baltimore, MD, USA. rberk@son.jhmi.edu

Abstract

"Mentor" is a term widely used in academic medicine but for which there is no consensus on an operational definition. Further, criteria are rarely reported for evaluating the effectiveness of mentoring. This article presents the work of an Ad Hoc Faculty Mentoring Committee whose tasks were to define "mentorship," specify concrete characteristics and responsibilities of mentors that are measurable, and develop new tools to evaluate the effectiveness of the mentoring relationship. The committee developed two tools: the Mentorship Profile Questionnaire, which describes the characteristics and outcome measures of the mentoring relationship from the perspective of the mentee, and the Mentorship Effectiveness Scale, a 12-item six-point agree-disagree-format Likert-type rating scale, which evaluates 12 behavioral characteristics of the mentor. These instruments are explained and copies are provided. Psychometric issues, including the importance of content-related validity evidence, response bias due to acquiescence and halo effects, and limitations on collecting reliability evidence, are examined in the context of the mentor-mentee relationship. Directions for future research are suggested.

PMID:
 
15618097
[Indexed for MEDLINE]


대학의학에서 멘토링의 의미와 특성에 관한 질적연구의 체계적 문헌고찰(J Gen Intern Med. 2010)

A Systematic Review of Qualitative Research on the Meaning and Characteristics of Mentoring in Academic Medicine

Dario Sambunjak, MD1,2, Sharon E. Straus, MD MSc FRCPC 3, and Ana Marusic, MD1,4 

1Croatian Medical Journal, Zagreb, Croatia; 2University of Zagreb School of Medicine, Zagreb, Croatia; 3Department of Medicine, Li Ka Shing Knowledge Institute, St. Michael’s Hospital( University of Toronto, Toronto, ON, Canada; 4Department of Anatomy( University of Split School of Medicine, Split, Croatia.





도입

INTRODUCTION


멘토링 관계는 비즈니스, 교육 및 간호와 같은 다양한 환경에서 많은 연구를 시작한 1980 년대 Kathy E. Kram의 정교한 작업으로 시작하여 집중적 인 연구의 대상이되었습니다. 학술 의학에서 멘토링은 중요한 발달 관계로 인식되었으며, 최근의 체계적인 검토 결과 멘토링은 개인 개발, 진로지도, 직업 선택 및 연구 생산성에 중요한 영향을 미친다는 사실이 나타났습니다.

Mentoring relationships have become an object of intense study, beginning with the seminal work by Kathy E. Kram in the 1980s,1 which initiated a surge of research in diverse settings such as business,2,3 education4,5 and nursing.6 In academic medicine, mentoring was recognized as a crucial developmental relationship,7 and our recent systematic review showed that mentoring has an important influence on personal development, career guidance, career choice and research productivity.8


"멘토링", "감독"및 "역할 모델링"과 같은 용어는 모두 발달 상호 작용을 설명하는 것으로 간주 될 수 있지만, 종종 상호 교환이 가능하거나 명확한 구분없이 사용되기 때문에 조작화가 어려워집니다.

Terms such as “mentoring,”“supervision” and “role modeling” can all be considered as describing developmental interactions, but they are often used interchangeably or without clear demarcation, which makes their operationalization more difficult.


사람들이 개념에 의미를 부여하는 방식은 맥락-의존적이라는 것을 인정하면서, 우리는 학술 의학의 맥락에서 멘토링 관계의 특성과 역 동성에 대해 알려진 것을 탐구하기 위해 질적 연구에 대한 체계적인 검토를 수행했습니다.

Acknowledging that the way people give meaning to concepts is context-dependent,16 we conducted a systematic review of qualitative research to explore what is known about the characteristics and dynamics of mentoring relationships in the context of academic medicine.



METHODS


포함 기준과 배제 기준

Inclusion and Exclusion Criteria


우리는 학술 의학에서 멘토링 관계의 의미와 특성을 탐구하기 위해 질적 연구 방법을 사용한 연구를 추구했습니다. 우리는 "질적 연구"를 의학계, 대학교 병원 또는 학술 일반 관행에서 의대생 또는 의사의 인구를 탐색하는 것으로 관심의 중심에 "학술 의학"에 대한 사람들의 목소리를 배치하는 연구라고 정의했습니다. 정량적 연구는 물론 피어 - 멘토링, 온라인 및 텔레 멘토링, 임상, 연구 또는 교육 감독과 같은 단기, 업무 중심의 관계를 탐구하는 연구를 다루는 연구는 제외되었습니다. 이 리뷰의 초점은 의료 문학에 설명 된 공식 멘토링 프로그램에서 가장 자주 사용된 멘토링의 일대일 (일대일, 시니어-주니어, 직접 대면) 모델이 었습니다.

We sought studies that used qualitative research methods to explore the meaning and characteristics of mentoring relationships in academic medicine. We defined “qualitative research” as any study that placed people's own voices at the center of the interest and “academic medicine” as exploring a population of medical students or physicians at a medical school, university hospital or academic general practice. Excluded were quantitative studies as well as studies dealing with peer-mentoring, online- and tele-mentoring, and studies exploring short-term, task-oriented relationships such as clinical, research or educational supervision. The focus of this review was on a traditional, dyadic model of mentoring (one-to-one, senior-to-junior, face-to-face),17 which was the most frequently used model in formal mentoring programs described in the medical literature.9



자료의 검색과 획득

Search and Retrieval of Reports



결과의 분석과 제시

Analysis and Presentation of Findings


In the analysis of primary study findings we used the method of qualitative meta-summary,21 which refers to the noninterpretive aggregation of qualitative research findings. 

    • First, we extracted the findings by separating researchers' interpretations of primary data, which we considered as findings from other parts of the text, such as descriptions of data analysis procedures, quotations used to illustrate and support researchers’ interpretations, or researchers' discussions of the findings. 

    • Second, we edited the findings to allow better comprehension and grouped them into thematic categories. 

    • Third, we abstracted the findings to refine them and eliminate redundancies. Simultaneously with this process, we looked for possible ways to subclassify the categories, as well as for links and patterns that would allow more comprehensive understanding of the target phenomenon. We did not calculate manifest frequencies and intensity effect sizes,21 as there were too few articles to obtain meaningful information. 

    • Finally, for the categories that contained enough primary study findings, we developed taxonomies to show their conceptual range.


The analysis of findings was initially done by one of us (DS), and a draft of the meta-summary was shared with the other two authors, who suggested other possible approaches and interpretations. The discussion among the authors continued in the process of “negotiated consensual validation”21 until an agreement was reached.


결과

RESULTS


참가자 수 중간값: 18. 모든 연구는 북미. 대부분 남여 모두 참여. 절반 이상이 멘토-멘티 모두 참여

The median (range) number of participants in the included studies was 18 (2–71), and all of the studies were conducted in North America. Most of the studies included participants of both genders. More than half of the studies included both mentors and mentees, while the rest included only mentees.


우리는 멘토링 관계와 관련하여 5 가지 주요 주제를 확인했습니다.

(1) 멘토와 멘티의 바람직한 특징과 행동,

(2) 멘토링 관계의 시작,

(3) 멘토링 관계의 구조,

(4) 멘토링 관계의 특징,

(5) 장벽과 멘토링에 대한 가능한 해결책.

We identified five major themes in relation to mentoring relationships: 

(1) desired characteristics and actions of the mentor and mentee, 

(2) initiation of mentoring relationships, 

(3) structure of mentoring relationships, 

(4) characteristics of mentoring relationships, and 

(5) barriers and possible solutions to mentoring.




1. 멘토와 멘티의 바람직한 특성과 행동

1.Desired characteristics and actions of mentor and mentee 



4 개의 연구에서 멘티의 역할에 대한 결과가보고되었습니다. 

    • 멘티는 멘토와의 관계를 키우기 위해 주도권을 잡아야한다 (운전석에 앉는다). 

    • 멘티는 멘토링 관계의 성공과 경력에서 성공하기 위해 노력할 것을 다짐해야합니다. 

    • 멘티는 적극적이며 배우고 싶어하며 멘토로부터 조언을 선별적으로 받아들여야 합니다.

Four studies24,29–31 reported findings about the role of mentees. 

    • Mentees should take the initiative for cultivating the relationship with their mentors24 (taking the driver's seat31). 

    • It is important that mentees have commitment to the success of the mentoring relationship and passion to succeed in their career.31 

    • Mentees must be proactive, willing to learn, and be selective in accepting advice from the mentor.30


성공적인 관계를 위해서 멘티는 

    • 멘토와의 만남을 준비하고, 

    • 토론 활동을 위한 개요를 제공하고, 

    • 합의한 업무를 완수하고, 

    • 정직하게 의견에 답변해야한다고 인식되었습니다 .29 

멘토는 자기 성찰을 실시하고 결함을 드러내서 멘토가 행동을 해석하고 비판 할 수 있게 해야한다. 29 

멘티는 자신의 약점을 직면하고 효과적인 변화를위한 용기가 필요하다 .29

It was perceived that for successful relationships, mentees should 

    • prepare for the meetings with their mentors, 

    • provide an outline of their activities for discussion, 

    • complete tasks that were agreed upon and 

    • respond honestly to feedback.29 

Mentees should also perform self-reflection and reveal flaws so that their mentors can interpret and critique behavior.29 

Courage is needed on the part of mentees to face their weaknesses and to make effective changes.29





2. 멘토링 관계의 시작
2. Initiation of the mentoring relationship

오직 두 연구 만 멘토링 관계의 시작에 대한 결과를보고했습니다. 이 연구는 멘티가 멘토를 찾을 책임이 있지만, 그들의 기관이 초기 지도 및 교육을 제공 할 수 있다고보고했습니다.
Only two studies24,25 reported findings about the initiation of the mentoring relationship. These studies reported that emerging mentees had the responsibility to find a mentor,24,25 but their institutions could provide them with early guidance and education.24

때로는 여러 곳(학과 내외의 기관, 동료 중, 시니어 교수 중)에서 멘토를 찾아야했습니다. 학술 경력 초기에 멘토를 찾는 것이 중요했지만 멘토를 찾는 데에도 끈기와 인내가 필요할 수 있습니다.

Sometimes it was necessary to look for mentors in many places (inside and outside the department and institution, among peers and more senior faculty members).25 It was critical to locate a mentor early in one's academic career, but persistence and patience might also be necessary in finding a mentor.25


멘토링은 비공식적으로 멘토링 약속에 대해 자연스럽게 진화하는 관계가 될 수도 있고, 정식으로 멘토링 관계로 할당될 수도 있습니다. 전자는 멘티가 멘토를 스스로 찾는 것으로 볼 수 있습니다. 네 가지 연구에 참여한 참가자는 멘토링 쌍의 공식 할당에 대한 우려를 나타 냈습니다. 이 과제는 관계의 대인 관계 ( "케미")를 무시할 수 있으며 따라서 효과가 떨어집니. 할당 된 멘토십은 티가 관계에 "강요당하는"느낌을주는 등의 부정적인 영향을 줄 수도 있습니다.
Mentoring can develop informally, as a relationship that evolves naturally over time toward mentoring commitments, or formally, as an assigned mentoring relationship.25 The former may be also termed as self identification of mentors by mentees. Participants in four studies25,26,30,31 raised concerns about the formal assignment of mentoring pairs. This assignment could ignore the interpersonal aspect (“chemistry”) of the relationship and thus prove less effective.25 Assigned mentorship could even have a negative impact, e.g., by making mentees feel “forced” into the relationship.31


3. 멘토링 관계의 구조

3. Structure of the mentoring relationship


구조는 성별 / 인종 / 민족 구성 및 멘토링 관계에있는 배우의 수와 관련이 있습니다. 다른 성별, 인종 또는 민족 그룹의 구성원이 만남에 가져 오는 경험은보다 큰 동반 성장을 가능하게하는 기회로 볼 수 있습니다. 그러나 위의 사항을 고려한 매칭은 필수적인 것은 아니며, 멘토의 민감성이 이러한 요인을 매칭시키는 것보다 더 중요하다고 생각됩니다.

Structure relates to the gender/race/ethnic composition and the number of actors in the mentoring relationship. Experiences that members of different gender, race or ethnicity groups bring to their encounter can be seen as opportunities that allow for greater mutual growth.25 It seems that basing matches on such considerations was not essential25 and that the sensitivity of the mentor was more important than matching on any of these factors.26


한 연구에 따르면 여성과 소수 민족 레지던트 및 교수진, 특히 자녀를 갖거나 갖기를 원하는 사람들은 성별이 멘토링 관계에 필수적이라고 느꼈습니다. 다른 연구에서 남성 멘토가 여성 멘티에게 비판을 줄 때 어려움을 겪을 수 있다는 우려가 제기되었다. 또한, 남성 멘토는 종종 여성 멘티의 요구에 대한 가이드를 제공 하기 어렵다고 인식하는 것으로 나타났습니다. 특히 직장-생활 균형과 관련하여, 예를 들면 출산 휴가 또는 가족을 양육하는 동안의 경력 관리와 관련하여 학술 의학에서의 여성의 경험은 남성의 경험과는 다른 것으로 인식되어, 한 연구에서 여성 멘티가 다른 여성의 조언으로부터 이익을 얻을 수 있다고 제안했다.

One study found that female and minority residents and faculty, particularly those with, or intending to have, children, felt that gender is vital to the mentoring relationship.27 Concerns were raised in another study that a male mentor may have difficulty in giving criticism to women.26 Furthermore, a study found that male mentors were not always perceived to be able to provide guidance on the needs of a female mentee, especially in relation to the work and life balance, e.g., timing of maternity leave31 or managing a career while raising a family.27 The experience of women in academic medicine was perceived to be different from the experience of men, and therefore one study suggested that female mentees may benefit from the advice of another woman.26


복수 멘토 시스템은 멘토링 관계에서 공통점을 찾는 것이 어려울 수있는 성별, 인종, 민족 또는 기타 차이점에 대한 적절한 해답이 될 수 있습니다. 이중 멘토십 모델 두 가지가 제안되었습니다.

Systems of multiple mentors may be an appropriate answer to the challenges of gender, racial, ethnic or other differences that can make finding common ground in the mentoring relationship difficult.26 Two models of dual mentorship were suggested: 


(1) 관심 분야에 남성 멘토 + 라이프 스타일에 여성 멘토가 있는 여성 멘티 (보통 관심 분야에서 주니어 여성 교수를 멘토링하기에 여성이 충분하지 않기 때문에)

(1) a female mentee with a male mentor for her interest area and a female mentor for lifestyle issues (as there are usually not enough senior women to mentor junior women faculty in their interest area)26 and 


(2) 승진, 경력 이정표, 지역 정치, 일과 삶의 균형, 연구에 대한 지침을 제공하는 학술 멘토 (가까이 있어야 함) + 연구 지도를 위해 과학 멘토 (멀리 있어도 됨).

(2) academic mentor (needs to be local) for guidance on promotion, career milestones, local politics, work and life balance, and a scientific mentor (who can be at a distant site) for guidance on research.31



4. 멘토링 관계의 특징

4. Characteristics of the mentoring relationship


개인적 연결

Personal connection.


멘토링 관계는 전문적이고 개인적인 관심사에 기반한 것으로 묘사되었습니다. 친구 나 가족과의 관계만큼이나 복잡 할 수도 있습니다. 그들에게 멘토링은 멘토와 멘티가 다른 사람을 whole person으로 인식 할 수있게 해주는 정보 교환을 의미했습니다. 멘토링 관계는 비슷한 관심사와 이상("케미"또는 "공명")에 의해 잠재적으로 향상되었고 차이점에 의해 도전 받았습니다. 멘토와 멘티는 시간이 지남에 따라 관계의 변화를인지 할 수 있어야하며, 동료 관계로 진화가 가능해야합니다.

Mentoring relationships were described as being based on professional and personal interests.30 They could be as complex and personal as the relationships with friends and family.25 They implied an exchange of information that allowed the mentor and the mentee to appreciate the other as a whole person.24 Mentoring relationships were potentially enhanced by similar interests and ideals (“chemistry”25 or “resonance”30) and challenged by differences.25 Both the mentor and the mentee should be able to recognize the changes in their relationship over time, with possible evolution into a peer relationship.26



숨은 가치

Underlying values.


멘토링은 정직, 신뢰, 상호 존중, 열린 의사 소통 및 기밀성을 기반으로해야하며 모든 것이 자아 탐사에 안전한 환경을 구축해야한다고 인식되었습니다. 또한 위험을 감수하고 갈등을 해결하겠다는 의지가 있어야합니다. 양 당사자는 관계가 멘티의 필요에 중점을두고, 멘티가 분명히 관계로부터 이익을 얻는 지 확인해야합니다. 양측의 기대가 명확해야 하며, 특히 멘티가 지닌 intellectual property에 대해 명확해야 한다.

It was perceived that mentoring should be based on honesty,29 trust,29 mutual respect,29,31 open communication31 and confidentiality,31 all of which build an environment that is safe for self-exploration.29 Furthermore, there should be a willingness to take risks and commitment to resolve conflict.29 Both parties should acknowledge that the relationship centers on the needs of the mentee and make sure that the mentee clearly benefits from the relationship.29 Expectations from both should be made clear, particularly regarding what intellectual property belongs to the mentee.30



5. 장애요인, 멘토링의 문제와 해결

5. Barriers to mentoring, dysfunctional mentoring and possible solutions



(Table 3.)

(Table 4).



DISCUSSION


둘째, 포함 된 모든 연구가 북미에서 실시되었지만, 이것은 기존 연구의 상태를 반영합니다. 불균형적인 지리적 표현과 별개로, 기존 연구에서 가장 큰 차이는 학술 의학에서 멘토링 현상이 탐구되는 제한된 깊이와 관련이있다. 포함 된 대부분의 연구에서 저자는 멘토링과 관련된 사건과 상황에 대한 "두꺼운"설명을 제공하지 않고 참가자가보고 한 멘토링 경험에 대한 주제별 분석을 수행했습니다.


Second, all included studies have been conducted in North America, but this reflects the state of the existing research. Apart from the disproportionate geographical representation, the largest gap in the existing body of research relates to the limited depth in which the phenomenon of mentoring in academic medicine has been explored. In most of the included studies, authors performed a thematic analysis of mentoring experiences as reported by the participants, without providing a “thick” description of events and circumstances pertinent to mentoring,










 2010 Jan;25(1):72-8. doi: 10.1007/s11606-009-1165-8. Epub 2009 Nov 19.

systematic review of qualitative research on the meaning and characteristics of mentoring in academic medicine.

Author information

1
Croatian Medical Journal, Zagreb, Croatia.

Abstract

BACKGROUND:

Mentorship is perceived to play a significant role in the career development and productivity of academic clinicians, but little is known about the characteristics of mentorship. This knowledge would be useful for those developing mentorship programs.

OBJECTIVE:

To complete a systematic review of the qualitative literature to explore and summarize the development, perceptions and experiences of the mentoring relationship in academic medicine.

DATE SOURCES:

Medline, PsycINFO, ERIC, Scopus and Current Contents databases from the earliest available date to December 2008.

REVIEW METHODS:

We included studies that used qualitative research methodology to explore the meaning and characteristics of mentoring in academic medicine. Two investigators independently assessed articles for relevance and study quality, and extracted data using standardized forms. No restrictions were placed on the language of articles.

RESULTS:

A total of 8,487 citations were identified, 114 full text articles were assessed, and 9 articles were selected for review. All studies were conducted in North America, and most focused on the initiation and cultivation phases of the mentoring relationship. Mentoring was described as a complex relationship based on mutual interests, both professional and personal. Mentees should take an active role in the formation and development of mentoring relationships. Good mentors should be sincere in their dealings with mentees, be able to listen actively and understand mentees' needs, and have a well-established position within the academic community. Some of the mentoringfunctions aim at the mentees' academic growth and others at personal growth. Barriers to mentoring and dysfunctional mentoring can be related to personal factors, relational difficulties and structural/institutional barriers.

CONCLUSIONS:

Successful mentoring requires commitment and interpersonal skills of the mentor and mentee, but also a facilitating environment at academic medicine's institutions.

PMID:
 
19924490
 
PMCID:
 
PMC2811592
 
DOI:
 
10.1007/s11606-009-1165-8


의학에서 멘토링과 코칭(Pharos Alpha Omega Alpha Honor Med Soc. 2012)

Mentoring and coaching in medicine

Richard L. Byyny, MD




멘토의 개념은 오딧세이의 호머에 의해 처음으로 기술되었으며, 멘토를 "현명하고 신뢰받는 카운슬러"로 표현했습니다. 의사는 훌륭한 멘토가 될 수 있는데, 왜냐하면 봉사하고, 지식과 경험을 공유하고, 돌보는 것에 대한 그들의 열의가 있기 때문이다. 대학원 의학 및 치과 교육에 관한 연구위원회에서 정의한 멘토링은 "경험 많고 존경받는 공감 멘토가 다른 사람이 생각, 학습, 개인적 및 전문적 발달을 개발하고 재고re-examination하도록 안내하는 과정입니다. 멘토는 멘티 (mentee)에게 듣거나 멘티와 말함으로써 이를 달성합니다. "

The concept of mentor was first described by Homer in the Odyssey, personified in the character Mentor, the “wise and trusted counselor.” Physicians can be excellent mentors because of their motivation to serve, to share knowledge and experience, and their commitment to caring. Mentoring as defined by the Study Committee on Postgraduate Medical and Dental Education is “a process whereby an experienced, highly regarded, empathetic mentor guides another individual in the development and re-examination of their own ideas, learning and personal and professional development. The mentor achieves this by listening or talking in confidence to the mentee.”


멘토들은 추구할 가치가 있는 지혜와 경험을 가지고 있다. 그들은 제자의 성공을 보장하기 위해 기꺼이 시간을 할애하는 사람들입니다. 멘토는 개인 지식, 조언 및 경험을 공유하고 성과에 대한 피드백을 제공하며 멘티가 전문직의 문화, 전통, 네트워크 및 기회를 이해하도록 돕는 데 특히 유용합니다.

Mentors have wisdom and experience worth seeking out. They are people who are willing to spend their time to guarantee a protégé’s success. Mentors are especially helpful when they share personal knowledge, advice, and experience, provide feedback about performance, and help mentees understand professional culture, traditions, networks and opportunities.


• 가르침은 "어떤 것을 알도록 하거나, know how를 알려주거나, 학습을 인도하고, 지식을 나누고, 훈계, 모범 또는 경험을 통해 가르치게하는 것입니다."

• Teaching is “to cause one to know something, to know how, to guide the studies, to impart knowledge, to instruct by precept, example, or experience.”


• 코치는 "성과를 향상시키기 위해 선수, 운동 선수, 음악가에게 기본, 기술 및 복잡성을 교육 또는 훈련하는 private 교사입니다."

• A coach is “a private tutor who instructs and/or trains players, athletes, musicians in the fundamentals, skills and intricacies to improve performance.”


• 멘토는 "개인의 전문성 개발을 안내하는 신뢰할 수있는 카운슬러"입니다.

• A mentor is “a trusted counselor guiding the professional development of an individual.”


우리는 최근 소수의 AΩA 회원을 대상으로 어떤 부분에서 의학에 기여하고자 하는지 조사했습니다. 대다수의 응답자는 "학부생, 의대생 및 경험이없는 젊은 의사들의 멘토가 되는 것"고 응답했다.

We recently surveyed small numbers of AΩA members about what they would most like to contribute to medicine. The great majority responded, “to mentor undergraduate students, medical students, and/or young, less experienced physicians.”


성공적인 멘토링 관계를위한 다섯 가지 기본 요소는 다음과 같이 설명되었습니다.

Five basic elements for successful mentoring relationships have been described as:


• 관계는 성취 또는 지식 습득에 초점을 둡니다.

• 정서적 및 심리적 지원, 경력 및 전문성 개발에 대한 직접 지원, 역할 모델링으로 구성됩니다.

• 멘토와 멘토 모두 확실한 혜택을 얻습니다.

• 관계는 직접적인 상호 작용을 포함하며, 본질적으로 개인적입니다.

• 그것은 직업이나 조직에서 멘토의 더 큰 경험, 영향 및 업적을 강조합니다.

• The relationship focuses on achievement or acquisition of knowledge

• It consists of emotional and psychological support, direct assistance with career and professional development, and role modeling

• Both mentor and mentee derive tangible benefits

• The relationship involves direct interaction, and is personal in nature

• It emphasizes the mentor’s greater experiences, influences, and achievements in the profession or organization.


최근 Atul Gawande 박사는 New Yorker 지에 "Personal Best : 최고 운동 선수와 가수에게는 코치가 있습니다. 그렇다면 당신은?"라는 흥미로운 기사를 실었습니다.이 기사에서 그는 전통적인 교육 및 전문 과정에서 "정의 된 시간이 지나면 학생은 더 이상 수업이 필요하지 않다"라는 생각이 있음을 지적합니다. 어떤 시점이 지나면 여러분이 배운 것을 실천함으로써 다른 사람의 도움 없이 남은 길로 간다고 추정됩니다.

Recently, Dr. Atul Gawande published an interesting article in the New Yorker magazine, “Personal Best: Top Athletes and Singers Have Coaches, Should You?” In the article, he points out that in our traditional educational and professional process there is a perception that after a defined amount of time a student no longer needs instruction. It is presumed that after a certain point you go the rest of the way on your own by practicing what you have learned.


대조적으로 코칭이 필요한 이유는, 아무리 교육과 훈련을 받아 준비가 잘 되었더라도, 최고의 성과를 스스로 달성하고 유지할 수 있는 사람이 거의 없기 때문이다. 자신이 이미 잘하고 있는 것을 계속 하기는 쉽지만, 어떤 부분을 개선해야 하는지를 배우려면 외부 관점이 필요합니다.

In contrast, coaching holds that no matter how well prepared people are after their education and training, few can achieve and maintain their best performance on their own. Most people continue to practice what they are already good at, but need an outside perspective to learn how to continue to improve.


현재 의학 분야에서는 코치를 그다지 인정하지 않는다. 어떻게 의료행위를 하는지는 거의 unwitnessed 된다. 수년간의 "연습"만 하면, 의사는 영원히 전문가로서 간주됩니다. 그러나 이것은 분명히 사실이 아닙니다. Gawande는 다음과 같이 씁니다 : "내가 따라 갔을 때 나는 내 결과를 전국 데이터와 비교했다. 나는 평균을 이기기 시작했다. 합병증 발생률은 꾸준히 낮아졌습니다. 그리고 2, 3 년 전에는 그렇지 않았습니다. 그 때부터, 나는 어렇게 가면 영원히 잘못된 방향으로 갈 것이라고 생각했다. " 테니스 코치와 함께 오후를 보내며 서브를 향상시켰던 것을 떠올리며, Gawande는 수술 코치가 필요하다고 결정했다. 그는 실제로 그를 관찰하고 자신의 운영 개선을 위해 많은 도움을 준 전직 스승을 영입했습니다. 그 코칭을 통해 그는 성과를 향상시키고 성공적으로 환자 결과를 얻었습니다.

There are currently no recognized coaches in medicine. The practice of medicine is largely unwitnessed by anyone. After a number of years of “practice,” a doctor is considered an expert forever. But this is clearly not true. Gawande writes: “As I went along, I compared my results against national data, and I began beating the averages. My rates of complications moved steadily lower and lower. And then, a couple of years ago, they didn’t. It started to seem that the only direction things could go from here was the wrong one.” Recalling an afternoon spent with a tennis coach improving his serve, Gawande decided what he needed was a surgical coach. He enlisted a former mentor who observed him in practice and made many helpful suggestions for improvement in his operations. With that coaching, he was successful in improving performance, and hopefully patient outcomes.



Gawande는 "코칭은 인간의 수행을 위해 설계된 가장 효과적인 개입 일 수 있습니다."라고 말하면서 "지난 한 해 동안 내가 사용하는 외과 장비를 업그레이드하기 위해 병원에 수십억 달러를 지출하라고 요청한 적은 없었습니다. 나에게 정밀도를 높이고 합병증을 줄여야한다는 모호한 소망이있다. . . 그러나 매월 [내 코치]와 함께 보낸 3 ~ 4 시간은이 그 어떤 것보다 내 능력을 더 향상시켜주었다. "

Gawande concludes, “Coaching done well may be the most effective intervention designed for human performance.” He writes, “In the past year, I’ve thought nothing of asking my hospital to spend some hundred thousand dollars to upgrade the surgical equipment I use, in the vague hope of giving me finer precision and reducing complications. . . But the three or four hours I’ve spent with [my coach] each month have almost certainly added more to my capabilities than any of this.”


우리의 직업은 지속적인 학생과 학습자가 될 것과 의사로서 지속적으로 개선할 것을 요구합니다. 우리 모두는 훌륭한 교사, 멘토 및 코치를 사용할 수 있습니다.

Our profession requires us to be continual students and learners and show continual improvement as physicians. All of us can use good teachers, mentors, and coaches.







 2012 Winter;75(1):1-3.

Mentoring and coaching in medicine.

Comment in

PMID:
 
22685995


복잡성과 장인의 기능에 대하여(Med Educ, 2009)

On complexity and craftsmanship

Tim Dornan




Stewart Mennin은 전통적인 교사 중심의 교수법과 가르침과 학습에 대한 새롭고 혁신적인 접근 방식 사이에서 태도를 취하는 의학 교육의 세계를보고 있습니다.1 Mennin은 우리가 [단순함의 안전성]에서 벗어나 [복잡성의 예측 불가능성]을 향해 태도를 재정립할 것을 요구한다. 교과 과정 계획자 또는 교사로서의 우리의 임무는 status quo를 disturb하여, 자기 조직의 과정을 통해 학습이 발생하는 조건을 조성하는 것입니다. 그 과정에서 교사는 우리 학생들과 공동 진화합니다.

Stewart Mennin sees the world of medical education as poised between traditional teacher-centred pedagogies and newer, transformative approaches to teaching and learning.1 Mennin challenges us to re-orient our gestalt away from the safeness of simplicity towards the danger and unpredictability of complexity. Our task, whether as curriculum planners or teachers, is to disturb the status quo and create conditions in which learning emerges through a process of self-organisation. In that process, we teachers co-evolve with our students.


실용주의 철학자 리처드 세넷 (Richard Sennett)의 '장인 정신'에 대한 개념화가 어떻게 우리를 구속에서 빠져 나갈 수 있는지 탐구 해 보겠다. Sennett는 영속적이고 기본적인 인간 충동으로서의 일을 잘하기를 바란다. 그는 보건 전문가들을 공예가로 간주하고, 환자 기대치 상승, 국가 보건 서비스 (NHS)의 실증적 실패, 재정 압박 사이의 긴장이 영국 정치인들에게 '환자를 사방에서in the round치료하기보다는 골절을 치료하게 하는' 퀄리티 모델을 채택하게 만들고, 성과를 정량적으로 측정하는 모델을 만들게 했다고 주장한다. 이러한 접근법은 20 세기 초반의 자동차 산업에서 품질을 개선하려는 Henry Ford의 노력에서 비롯된 것이기 때문에 'Fordism'이라고 불립니다.

I will now explore how the pragmatist philosopher Richard Sennett’s conceptualisations of ‘craftmanship’7 can help us out of that bind. Sennett sees the desire to do a job well for its own sake as an enduring, basic human impulse. He frames health professionals as craftsmen and describes how tensions between rising patient expectations, demonstrable failings in the National Health Service (NHS) and fiscal pressures have led UK politicians to adopt a model of quality that ‘treats broken bones rather than patients in the round’ and measures performance quantitatively. That approach is termed ‘Fordism’ because it stems from Henry Ford’s efforts to improve quality in the early 20th-century automotive industry.


Sennett는 포디즘은 개업의가 전체보다는 부분에 집중하게 함으로써 동기를 상실시키기 때문에 업계에서 악명이 높으며, 이는 여러 의료전문가들이 공감하는 부분이다. Sennett는 포디즘이 임상가들에게 흔한 호기심과 실험을 댓가로 건강 결과를 향상시킨다는 것을 우려했다. 그는 또한 중요한 기본 가정에 대해 우려하고 있습니다. '포드주의 의학 모델에서는 치료할 질병이 있어야합니다. 그러나 모든 의사가 알고 있듯이, 육체적인 현실bodily reality은 이 분류 모델에 적합하지 않습니다.'7 Sennett는 포드주의가 논리적 명제로 표현 될 수 없다는 이유로 암묵적인 지식의 가치를 깎아내린다고 믿었다. (포드주의에서는) 건강 전문가가 진단 체크리스트에서는 드러나지 않는 단서를 수집 할 수 있는 '노인들의 수다'에 귀 기울이는 것은 권장되지 않습니다 .7 Sennett은 올바르게 작동하고 평범함을 용인하지 않는 시스템의 가치를 인정하지만 Sennett는 Tooke의 입장을 암묵적으로지지합니다. 정확함Correctness은 우수성Excellence을 손상시킬 수 있습니다 .6

Sennett notes that Fordism has a bad name in industry because focusing practitioners’ work on parts rather than the whole tends to demotivate them, a sentiment many health professionals echo. Sennett is concerned that Fordismimproves health outcomes at the cost of the curiosity and experiment habitually displayed by clinical craftsmen. He is also concerned about an important underlying assumption: ‘In the Fordist model of medicine …there has to be a disease to treat – but bodily reality, as any doctor knows, doesn’t fit this classifying model.’7 Sennett believes that Fordism devalues tacit knowledge because it cannot be expressed as logical propositions. The listening ‘to old men’s chatter’ that allows health professionals to ‘glean clues that might escape a diagnostic checklist’ is not encouraged.7 Although he recognises the value of a systemthat works correctly and does not tolerate mediocrity, Sennett implicitly supports Tooke’s stance that correctness may compromise excellence.6



그렇다면 자기 조직화가 왜 중요한가? Sennett는 "사회 경제적 조건은 종종 장인의 훈련 방식에 놓여있다"고 지적했다 .7 따라서, 역량 프레임워크를 해방적이기보다 억압적으로 만드는 것은 본질적으로 흐릿한 경계가 잘못되었기 때문이 아니라, 역량 프레임워크를 규제 목적으로 사용하고, 그 안에 장인 정신이 부족하다는 점이다Sennett이 '좋은 (장인 같은) 일은 관계에 집중하는 경향이있다.'라는 말이 중요한 이유는, 그것이 [의학학습자와 교사 사이의 장인과 같은 관계를 형성할 자유]를 좋은 학습과 실천의 전제조건으로 정의하기 때문이다. 주어진 경계Blundaries가 agency를 방해하지 않을 정도로 충분히 희미한 경우, 자기조직화는 반드시 효과적인 학습으로 이어질 것입니다 .1

So what of self-organisation? Sennett comments that ‘social and economic conditions often stand in the way of the craftsman’s discipline’.7 So, it is their regulatory intent and a lack of craftsmanship in their formulation, rather than anything intrinsically wrong with fuzzy boundaries, that make competency frameworks inhibitory rather than emancipatory. Sennett’s statement that ‘good (craftsmanlike) work tends to focus on relationships’7 is central because it defines medical learners’ and teachers’ freedom to form craftsmanlike relationships as a precondition for good learning and practice. Provided boundaries are fuzzy enough not to thwart agency, self-organisation will surely lead to effective learning.1






 2010 Jan;44(1):2-3. doi: 10.1111/j.1365-2923.2009.03560.x.

On complexity and craftsmanship.

Author information

1
University of Manchester, Hope Hospital, Salford, UK. tim.dornan@manchester.ac.uk
PMID:
 
20078743
 
DOI:
 
10.1111/j.1365-2923.2009.03560.x
[Indexed for MEDLINE]



의학교육에서 학습의 개념을 확장시키기: 팀워크의 메시지(Med Educ, 2006)

Broadening conceptions of learning in medical education: the message from teamworking

Alan Bleakley





도입

Introduction


조지 밀러 (George Miller)는 1970 년에 다음과 같이 썼다 : "교육 시스템에서 중대한 역할을하는 의학 연구에 세기가 걸릴 수도있다. 교육 시스템은 Medicine 만큼 광대하고 Ponderous하다."최근 세기의 거의 3 분의 1이지나 갔다. 의학 교육 연구의 현재 상태를 조사한 Academic Medicine의 최근 이슈에서 강조된 것처럼, 밀러 비관론을 검토할 수 있게 되었다. 우리는 학습 이론이 의학 교육에 어떻게 가장 잘 적용될 수 있는지 이해하는 데 더 가까이 다가 가고 있습니까? 특히, 어떤 학습 이론이 헬스케어 팀의 안전한 실천을 가장 잘 나타낼 수 있습니까?

In 1970, George Miller1 wrote: ‘It may require … a century of educational research to produce any significant response in an educational system as vast and ponderous as that which serves medicine.’ Almost a third of that century has passed, marked by a recent themed issue of Academic Medicine (2004; 79) surveying the current state of medical education research, allowing for a considered review of Miller's pessimism. Are we any closer to understanding how learning theories may best be applied to medical education? Particularly, which learning theories best inform safe practice of health care teams?


의학 교육은 단순히 학습이론으로부터 차용하는데 그치지 않고, 문제 기반 학습, 전문성 개발 및 평가에 대한 심리 측정 접근법과 같은 분야에서 연구를 통해 개발에 기여했습니다. 그러나 주목할만한 예외를 제외하고 2-7의 이러한 학습 방법은 일반적으로 임상 실습의 주요 발전을 다루지 못했습니다. 팀에서 동적 인 시스템으로 학습합니다 (시간과 공간에서 작동). 예를 들어, 의학 교육 연구의 동향에 대한 Regehr's8의 비판적인 개관에서 역동적 인 사회 문화적 맥락의 중요성을 강조하는 학습 이론은 부재하는 것에 가깝다. 도제식 시스템을 사용하는 곳에서, 직업 기반의 견습 과정을 통해 특별히 개발 된 학습 모델이 주류 의학 교육에서 더 널리 채택되지 않은 것은 아이러니하다. 이러한 실수oversight에는 조사되지 않은 이데올로기 적 이유가있을 수 있습니다.

Medical education does not simply borrow from learning theories but has contributed to their development through research in areas such as problem-based learning, development of professional expertise and psychometric approaches to assessment. However, with notable exceptions,2–7 these approaches to learning have not generally addressed a major development in clinical practice: learning in teams as systems that are dynamic (operating through time as well as in space). For example, in Regehr's8 critical overview of trends in medical education research, references to theories of learning that stress the importance of dynamic socio-cultural context are notable by their absence. Further, where medicine is an apprenticeship system, it is ironic that models of learning specifically developed from studies of work-based apprenticeship9–12 have not been more widely employed in mainstream medical education. It may be that there are unexamined ideological reasons for this oversight.


의학 교육에서 가장 일반적으로 적용되는 학습 이론은 고립된 개인에 초점을 맞춘 학습 이론이며, 학습에 관한 사회 문화적 맥락을 강조하는 경우는 적다. 전자에 포함되는 것에는 다양한 종류의 성인 학습 이론, 경험 학습, 성찰적 연습 등이 있다. 이러한 접근법에서 학습자는 의학의 전통적 자율성에 공감하는 active agent로 간주된다. 이러한 personal agency의 개념은 학습자가 사회적, 역사적 담론의 대상으로 간주되는 학습의 사회 문화적 모델에 의해 도전을 받게 되었는데, 학습의 사회문화적 모델에서는 cognition이 사람에 위치하기보다in person, 연습 공동체를 구성하는 사람들과 인공물에 걸쳐 분산되어있는 것으로 기술된다.

The most commonly applied learning theories in medical education continue to be those that focus upon an isolated individual rather than the sociocultural context for learning. The former include varieties of adult learning theory,13–15 experiential learning16 and reflective practice.17 In these approaches, the learner is viewed as an active agent, resonating with medicine's tradition of autonomy. Such a notion of personal agency is challenged in sociocultural models of learning, where the learner is viewed as subject to social and historical discourse, and cognition is described as distributed across people and artefacts making up a community of practice, rather than situated ‘in’ persons.


개인주의 학습 모델은 또한 '이론'으로서의 지위와 같은 인식론적 주장에 대한 광범위한 교육 문헌에서 비판적으로 검토되었다. 18-21 "성인 학습 이론"이라는 descriptor는 약 20 년 전에 영향력있는 논문에서 도전을 받았다. Davenport는 'andragogy(성인 교육)'과 'pedagogy(어린이 학습)'의 구별에 대한 개념적 근거와 경험적 증거가 모두 결여되어 있다고 결론 지었다. Davenport는 연구 증거가 '이론이나 입증 된 방법으로서의 ... andragogy를지지하지 않는 것'으로 결론 지어서 일부 교육자들은 '단순히 그 말을 포기해야한다'고 결론 지었다 .18) Norman은 의학 교육에서 성인 학습 이론은 경험적 연구에 개방된 이론의 지위를 얻지 못하는 '교육 전략의 가벼운 연합'으로 묘사합니다.


Individualistic learning models have also been critically reviewed in the wider education literature for their epistemological claims, such as status as ‘theory’.18–21 The validity of the descriptor ‘adult learning theory’ was challenged nearly 20 years ago in an influential article by Davenport,18 who concluded that the distinction between ‘andragogy’ (adult learning) and ‘pedagogy’ (child learning) was unfounded, lacking both a conceptual basis and empirical evidence. Davenport concluded that where research evidence did ‘not appear to support … andragogy as a theory or proven method’, this had led some educationalists to ‘simply drop the word.’18 Within medical education, Norman22 describes adult learning theory as a flimsy association of educational strategies that fails to gain the status of a theory open to empirical investigation.


학습의 또 다른 'Mantra'(쉽게 부름 받았지만, 비판적으로 또는 경험적으로 거의 고려되지 않은)는 '성찰적 실천'이다. Schon은 성찰적 학습에 대해 설명에 불확실하고, 고유하고, 가치적 맥락에서의 학습을 구체적으로 다루지만, 시스템의 역동적인 관점에서가 아니라 개인의 관점에서만 다루고 있다. 이것은 팀의 일상적 사용에서 인공물에 의해 중재 된 팀원들 (환자의 마약 차트 등) 간의 정보 흐름을 포함하여 중요한 요소를 놓치게됩니다.

Another ‘mantra’23 of learning (readily invoked but rarely considered critically or empirically) is ‘reflective practice’. Although Schon's account of reflective learning specifically addresses learning in contexts of uncertainty, uniqueness and value context, it does so only from the individual's perspective and not from the perspective of systems dynamic.17 This misses critical elements, including the flow of information between members of a team mediated by artefacts in daily use by that team (such as patients' drug charts). 


'성찰적 실천'은 교육 내에서 더 정제될 수 있는 기술어 이며, 여기서 용어는 대조적인 인식론에 기반한 다양한 사례를 설명하기 위해 느슨하고 비판적으로 사용되었습니다. Schon의 원래 모델은 또한 가치에 대해 성찰적이지 못하다. 특히 의학 교육 문헌에서는 이러한 primary text에 대한 긴밀하고 비판적인 읽기가 부족하며, 최근이 되어서야 성찰적 연습의 구성 요소가 체계적으로 분석되었다 .26 성찰적 실천은, 역설적으로, 전혀 성찰적이지 않게 사용되어왔다.

It has been argued that ‘reflective practice’ is a descriptor that could be refined within education,20 where the term has been used loosely and uncritically to describe a variety of practices based on contrasting epistemologies.6,20,23–25 Schon's original model also fails to be reflexive about the values that inform it.20 In the medical education literature in particular there is a lack of close and critical reading of such primary texts, and it is only recently that reflective practice has, for example, been systematically analysed for its component parts.26 Reflective practice has, paradoxically, been employed unreflectively.


'경험적 학습'은 비판적 관심을 회피한 보이는 또 다른 개념이다. 콜브의 경험적 학습의 반성적 순환 모델은 검증 가능한 이론 이라기보다는 상식적인 descriptor로 비판 받아 왔으며, 팀이나 시스템이 아닌 개별 학습자에게만 집중함으로써 설명의 범위가 약화되었다. Rowland는 "성찰"과 "학습"이라는 용어가 사회적 관계의 권력에서 의미를 파생시키는 방식을 고려하지 못한다고 지적했다. Kolb의 경험학습 사이클은 역설적으로 경험이 발생하고 경험을 형성하는 사회적 맥락을 무시하는 '경험'의 모델입니다.

‘Experiential learning’ is another notion that appears to by-pass critical attention. Kolb's16 model of a reflective cycle of experiential learning has been criticised as a commonsense descriptor rather than a testable theory, and is again weakened in its range of explanatory power by its grounding only in the individual learner and not the team or system, where, as Rowland19 notes, it then fails ‘to consider the ways in which such terms as “reflection” and “learning” derive their meaning from social relations of power’. Kolb's experiential learning cycle is then a model of ‘experience’ that paradoxically neglects the social context in which that experience occurs and which also serves to shape the experience.


헬스케어에서 전문직간 팀웍, 시스템 기반 환자 안전, 조직 학습을 강조함에도 불구하고, 학습의 개인주의 모델은 의학 교육에서 계속 특권을 누리고있다.

Despite an emphasis in health care upon the benefits of interprofessional teamwork,27,28 systems-based patient safety2–4,7,29,30 and organisational learning,3,4,7,29,30 individualistic models of learning ...continue to be privileged within medical education.31–33 


예를 들어 Rolfe와 Sanson-Fisher는 '의학 교육 및 관련 행동 과학 문헌 검색'이 임상 기술을위한 구조화 된 학습 도구를 개발하는 '기초'를 제공하는 방법을 설명합니다. 문헌은 '학습에 대한 개별적인 초점은 적절하며 ... 성인 학습이라는 생각과 일치한다'고 지적했다. 그러나 이러한 검색은 '최고의 증거'를 투명하게 드러내는 것이 아니라, 인용을 통해 그 자체를 재현하는 문헌의 기존 편견을 강화하는 데에만 기여한다. 인공 호흡 팀 활동과 같이, 협력적 임상 기술에 대해 경우, 우리는 그러한 맥락에 대한 설명력과 예언력을 가진 학습 이론을 필요로합니다. 이것은 대부분의 의료 과오가 시스템을 기반으로 발생하며, 팀워크의 질이 환자 결과 향상과 관련되어있는 헬스케어에서 불가결한 것이다.

For example, Rolfe and Sanson-Fisher32 describe how ‘a search of the medical education and relevant behavioural science literature’ provided ‘the foundations’ to develop a structured learning tool for clinical skills. The literature indicated that ‘an individual focus to learning is appropriate … consistent with the idea of adult learning’. However, such a search is not a transparent revelation of ‘best evidence’ but may serve to reinforce existing bias in the literature that then reproduces itself through citation. Where clinical skills are collaborative, such as resuscitation team activity, we need learning theories with explanatory and predictive power for such contexts. This is a health care imperative, where the majority of medical errors are systems-based34 and quality of teamwork is linked with improving patient outcomes.35 


다시 말하면, 임상 팀 및 조직과 같은 complex adaptive systems에서의 학습에 대해서 다양한 성인 학습 이론은 완전한 정보를 줄 수 없다. 이것은 사회 문화적으로 더 잘 이해 될 수 있으며, 왜냐하면 이는 역사적으로 중재 된 업무 관행에 대해 legitimate entry이기 때문이다

Again, learning in complex adaptive systems such as clinical teams and organisations cannot be fully informed by varieties of adult learning theory, but may be better understood socio-culturally as legitimate entry into historically mediated work practices.



학습에 대한 두 가지 접근

Two approaches to learning


개인주의적 학습이론과 사회 문화적 학습 이론을 서로 대립되는 것으로 만드는 것은 도움이 되지 않는데, 어느 한 세트의 이론을 쉽게 특권으로 삼을 수 있기 때문이다. 오히려 우리는 이론을 설명력과 예언력으로 적절하게 고려할 수 있으며, (성찰, 모호함에 대한 내성, 암묵적 지식이 어떻게 개별적으로 그리고 집단적으로 조직되는지 등에 대해) 여러 이론의 전반에 걸쳐 공유 된 원칙을 도출 할 수 있다. 학습 이론에서 다양한 접근법들은 생산적인 긴장 상태에 있다고 볼 수있다.

Creating an opposition between individualistic and socio-cultural learning theories is unhelpful as we may readily come to privilege one set of theories over another. Rather, we can consider theories as fit-for-purpose by their explanatory and predictive power and we can also draw out shared principles across families of theory, such as the value of reflection and of tolerance of ambiguity, and of understanding how tacit knowledge is organised individually and collectively. Differing approaches in learning theory can, however, be seen to be in productive tension. 


Sfard36은 학습을위한 두 가지 유익한 설명 : '취득'과 '참여'.

  • '취득 (Acquisition)'은 지식의 재생산을 광범위하게 묘사하며, 여기서 학습은 개인의 지식 탐색과 정보 침강으로 간주됩니다. 여기서 지식은 개인 자본으로 취급 될 수 있습니다.

  • '참여'는 협력 공동체에서 합법적 인 참여의 적극적인 과정으로서 협업 지식 생산을 설명합니다. 여기서 학습은 축적 행위가 아니라 ('전문적'지위로의 이동과 같이) 정체성 구축 과정에서 (역할을 통한) 참여로 재구성된다.

Sfard36 outlines two helpful metaphors for learning: ‘acquisition’ and ‘participation’. 

  • ‘Acquisition’ broadly describes knowledge reproduction, where learning is seen as information seeking and sedimentation of knowledge in individuals. Here, knowledge may be treated as private capital. 

  • ‘Participation’ describes collaborative knowledge production as an active process of legitimate engagement in a community of practice. Here, learning is reconfigured not as an act of accumulation but of participation (through role) in a process of identity construction such as movement to ‘expert’ status.37


Sfard는 각 접근법마다 합목적성이 있으므로, 어느 접근법도 다른 접근법보다 특권을 가져서는 안된다고 경고한다. 그러나 모델의 특권은 합목적적 주장에서 나온 것이 아니라 이데올로기 적 편향으로부터 나온 것일 수있다. 학습 이론은 value-free하지 않다. Max Weber가 개신교 - 자본주의 복합체로 묘사한 학습 경제학에서 지식은 필수품 및 사유 재산으로 취급되며, 학습은 개신교 직업 윤리와 연결된 개별 기업이다. '자율성', '자기 주도적 학습', '자기 평가'는 그런 경제에서 합법적 인 통화입니다.

Sfard is careful to warn that neither approach should be privileged over the other as each approach will be fit-for-purpose. However, the privileging of models may not follow from a fit-for-purpose argument, but from ideological bias. Learning theories are not value-free. In a learning economy subject to what Max Weber described as a protestant-capitalist complex, knowledge is treated as commodity and private property, and learning is an individual enterprise linked to the protestant work ethic. ‘Autonomy’, ‘self-directed learning’ and ‘self-assessment’ are then legitimate currency in such an economy. 


사실, 이러한 접근법은 value preference가 evidence보다 우선시되는 곳에서 naturalized 되기도한다 (자명하게 'good'한 것이 'true'가 되곤 한다.). 예를 들어 전문성과 윤리적 실천에 대한 강조가 커지면서 자부심을 보이는 의학 교육에서는 '자기주도성'이 꾸준히 부각되지만, 부실한 의사조차 자기 주도적 태도를 취할 수 있습니다. 학습에서의 자율성은 사회적 양심을 동반해야하며, peer feedback이 자기평가의 완급을 조절해야 한다.

Indeed, these approaches become naturalised (taken to be self-evidently ‘good’ and therefore ‘true’), where value preference precedes evidence. For example, ‘self-direction’ is consistently applauded in a medical education culture that prides itself on a growing emphasis upon professionalism and ethical practice, yet poorly performing doctors can be patently self-directed. Autonomy in learning must be accompanied by a social conscience and peer feedback must temper self-assessment.


역설적이게도 팀워크 학습의 필요성이 인식되는 곳에서는, 분산 된인지보다는 개인적인 이론적 기준이 주요한 기후에서 일어날 수 있습니다. Medicine이 직장 기반 학습을 포함하는 견습 인 경우, Guile과 Young은 ''개인주의적 가정들'은 사회화, 정체성 구축과 팀 기반 활동의 사회적 맥락에서 발생하는 전문 지식 학습 간의 관계를 설명 할 수 없다라고 주장한다.

Where the need for teamwork learning is recognised, paradoxically this may still occur within a climate whose main tacit theoretical reference is individual, rather than distributed, cognition. Where medicine is an apprenticeship involving work-based learning, Guile and Young11 argue, ‘individualist assumptions’ cannot account for the relationships between socialisation, identity construction and learning of expertise that occur in the social contexts of team-based activity. 


'습득'은유를 이용한 학습 이론과는 달리, 집단주의적 학습 경제는 협동 학습이 특혜인 '참여'의 은유를 naturalize시켰다. 

  • 놀랍지 않게도 자본주의 심리학 특권 피아제 (Piaget)와 콜 버그 (Kohlberg)와 같은 개인 구성 론적 모델에,

  • 집단주의적 러시아 (소비에트) 심리학은 비고츠키 (Vygotsky)와 레오 티에프 (Leontiev)와 같은 사회적 구성 주의적 모델에 특권을 부여한다.

In contrast to learning theories drawing on an ‘acquisition’ metaphor, collectivist learning economies have naturalised the metaphor of ‘participation’, where collaborative learning is privileged. Unsurprisingly, 

  • capitalist psychology privileges individual constructivist models such as those of Piaget and Kohlberg, 

  • where collectivist Russian (Soviet) psychology privileges social constructivist models such as those of Vygotsky and Leontiev.38



이전에 언급했듯이, '마음은 어디에 있습니까?'라는 질문에 대답하면서, 사회 문화적 학습 모델은 '마음'은 사람 안에있는 것이 아니라 사람과 인공물에 분산되어 있다고 가정합니다. 예를 들어, 기억은 단순히 개인에 내재한 것이 아니라 컴퓨터에 있고 집단적으로 관행을 취하는 의식과 새로운 구성원이 사회화되는 의식에 있습니다.

As noted earlier, in answering the question: ‘Where is mind?’, socio-cultural models of learning assume that ‘mind’ is not just in the person, but distributed across persons and artefacts. For example, memory is not simply located in individuals but in computers and in collectively held practices and rituals into which new members of teams are socialised. 


병동에 대한 컨설턴트 및 사전 등록 하우스 임원의 상호 작용에 대한 연구에서 컨설턴트는 인터뷰에서 "작은 책"이 주니어 의사가 보관하고 한 회전에서 다음 회전으로 전달 된 팀을 알고 있다고보고했습니다. 이 책에는 팀을 이끌어 온 컨설턴트의 특이성에 대한 설명이 포함되어 있습니다. 인터뷰 대상자는이 책의 목적이 주니어 의사가 컨설턴트가 정한 특정 분위기particular climate에 적응하도록 돕는 것이라고 제안했습니다.

In a study of consultant and pre-registration house officer interactions on wards,39,40 a consultant reported in interview that he knew of teams where a ‘little book’ was kept by junior doctors and passed on from one rotation to the next. This book contained descriptions of the idiosyncrasies of consultants who had led the team. The interviewee suggested that the purpose of the book was to help the junior doctor to adjust to the particular climate set by the consultant. 


소아과 병동에서의 팀 토크에 관한 연구에서, 41'common knowledge '는 습관적 팀 관행을 채택하도록 신입 회원을 설득하는 수사학 전략을 통해 팀원들에 의해 영구적으로 협상됩니다. 여기에서 'common knowledge'은 개별 팀 구성원이 작업 상황에 가져올 수있는 recollection의 합계 이상입니다. 이것은 팀이 가진 대화식 'remembering'의 속성입니다. 기억은 '공동으로 실현 된 활동'이므로 개인의 인식보다는 분산 된 것으로 생각됩니다.


In a study of team talk on a paediatric ward,41‘common knowledge’ is permanently negotiated by members of the team through rhetorical strategies that persuade newcomers into adopting habitual team practices. Here, ‘common knowledge’ is more than the sum of any recollections individual team members might bring to the work situation. It is a property of the team's conversational ‘rememberings’. Remembering is ‘a jointly realised activity’, thus conceived as distributed rather than individual cognition. 


팀의 신규 구성원은 일화로 전해져 오는 팀 캐릭터의 역사적 측면에 관심을 기울이며, 신속하게 '유연한 전문 지식'을 습득해야합니다. 여기서 배우는 것은 단순히 수동적 인 기술 축적과 축적이 아니라 지식이 재 개념화 된 사회 참여 활동이다.


A novice in the team must quickly gain ‘flexible expertise’, including attention to the historical aspect of the team's character, which is transmitted as anecdote. Here, learning is not simply passive accumulation of skill and knowledge, but an activity of social participation in which knowledge is reconceptualised.





활동 이론

Activity theory


개인주의 학습 이론은 학습자를 선택 의지와 선택에 중점을 둔 활동의 중심에 위치시킵니다. 이 모델은 전통적인 성격 심리학에 기초를두고 있으며, 변하지 않는 학습 스타일의 모델과 일치합니다. 그러한 모델은 또한 학습을 ​​발달 적으로 바라 보는 경향이있어서 특정 학습 방법이 특정 발달 단계에 적절할 수 있다. 예를 들어, 초보자에서 전문가로 전환하는 과정에서 패턴 인식을 통해 종합적 또는 전체론적 학습에 종사하는 암묵적인 지식이 부족하기 때문에 분석 원리에 기반한 'building block'의 학습이 권장 될 수 있습니다.

Individualistic learning theory places the learner at the centre of the activity, putting emphasis upon agency and choice. This model is grounded in traditional psychologies of personality and then aligns itself with models of invariant learning styles.42 Such models also tend to view learning developmentally so that certain approaches to learning may be appropriate for a developmental stage. For example, in the transition from novice to expert, analytic principles-based ‘building block’ learning may be encouraged as there is a lack of tacit knowledge upon which to engage with synthetic or holistic learning through pattern recognition. 


사회 문화적 접근 방식은 학습자를 복잡한 활동 시스템의 한 측면으로 보고, 학습이 학습 과정을 상황에 민감한 것으로 재구성합니다. 여기서 팀 역학과 같이 활동 전반에 대한 접근성이 중요합니다. 여기서는, 문제 중심 학습과 마찬가지로 학습자의 발달 단계는 보다 넓은 원칙에 부수적 인 것으로 간주되는데, 이 원칙이란 '사람과 인공물에 걸쳐 분포 된 지식에 대한 합법적인 접근'을 말한다. 이것은 인지적 동화 작용이면서, 적응적인 사회적 과정이며 일반적인 의사 소통 능력을 끌어 낸다.

Socio-cultural approaches see the learner as one aspect of a more complex activity system and then reconfigure learning as sensitivity to context, where gaining access to an overall picture of activity, such as a team dynamic, is crucial. Here, as in problem-based learning, the developmental stage of the learner is considered secondary to a wider principle, that of gaining legitimate access to knowledge that is distributed across persons and artefacts. This is an adaptive social process as much as a cognitive assimilation event and draws on generic communication capabilities. 


'Knowing'은 환자 레코드를 업데이트하기 위해 병동의 병동 팀을 모으는 협조적인 데이터를 사용하는 것과 같은 합법적인 참여로 재구성됩니다. 더 나아가, 개인은 사회적 활동의 산물로 간주되고 고정 된 유형보다는 유체 및 다중 정체의 관점에서 설명됩니다.

‘Knowing’ is reconfigured as legitimate participation, such as engagement with the collaborative data gathering of a bedside ward team to update patient records. Further, the individual is seen as a product of social activity and accounted for in terms of fluid and multiple identities rather than fixed types.10


학습 이론을 '습득'에서 '참여'로 확대한 가장 중요한 발전은 역동적인 사회적 맥락에서 배우는 것을 의미하는 activity theory이다. Activity theory의 두드러진 버전은 cultural-historical activity theory (CHAT)으로 불리는 일군의 모델로서, 이산 작업 기반의 사회적 맥락 ( 'activity system')을 분석의 기본 단위로 취합니다. 활동 시스템의 구성 요소가 그림 1에 나와 있습니다.

The most significant development in expanding learning theory from ‘acquisition’ to ‘participation’, accounting for learning in dynamic social contexts, is activity theory.6,38,43–47 A prominent version of activity theory, a group of models often referred to as cultural-historical activity theory (CHAT),47 takes a discrete work-based social context (an ‘activity system’) as the basic unit of analysis. The components of an activity system are shown in Fig. 1. 





이 분야의 핵심적 이론가인 Yrjo Engestrom은 knowledge reproduction보다 knowledge production을 설명하는 'expansive learning'이라는 개념을 도입했다. 학습자는 단지 수동적인 방법으로 커뮤니티나 활동 시스템이 보유한 지식으로 단순히 사회화되지 않습니다. 오히려 참여는 필연적으로 시간이 흐르면서 변화를 통해 생산 가능성을 제공하는 이미 불안정한 시스템에 대한 교란으로 작용합니다. Practitioner가 그러한 역동적인 상황에서 창조적으로 작업하기 위해서는 높은 tolerance of ambiguity가 요구되며, 이러한 tolerance는 개인적, 집단적으로 유지됩니다.

Yrjo Engestrom,38,43–46 the central theorist in the field, has introduced the notion of ‘expansive learning’38 to account for knowledge production rather than reproduction. The learner is not simply socialised into the knowledge held by a community or activity system in a passive manner. Rather, participation necessarily acts as a disturbance to an already unstable system that offers productive possibilities through change over time. High tolerance of ambiguity is demanded for practitioners to work creatively within such dynamic contexts and such tolerance is held both individually and collectively. 


Middleton은 임상 팀에서 표면적으로 '논쟁적인 (argumentative)'대화로 보이는 것은 '집단 지성 (collective intelligence)'의 협상으로 재구성 될 수 있다고 지적했다. 이러한 의미에서 '딜레마' 대화는 해결해야 할 문제가 아니라 자원이며, '불확실성은 혁신의 적이 아니기 때문'이다.

Middleton notes that what on the surface appears to be ‘argumentative’ talk in a clinical team can be reformulated as negotiation of a ‘collective intelligence’. In this sense, such ‘dilemmatic’ talk becomes a resource rather than a problem to be solved, where ‘uncertainty is far from being the enemy of innovation’.41


Engestrom은 환자를 공유하는 다른 건강 및 사회 케어 팀과 같은 특정 활동 시스템 내에서 work-based learning에 중점을 둡니다. 모든 활동 시스템에는 '대상'(관심 대상 - 임상 팀에서 환자 임)과 목표 (환자의 요구 사항 충족)가 있습니다. 그들은 이 목표를 다른 팀과 공유 할 수 있습니다. 활동 이론은 특히 'boundary object'(공통 관심사)을 공유하고 'boundary crossing'(여러 팀이 환자 치료와 같은 공통 관심사를 공유하더라도, 과연 서로의 활동을 이해할 수 있는지)를 공유하는 팀간에 학습이 이루어지는 방식에 특히 관심이 있습니다.

Engestrom focuses upon work-based learning within specific activity systems such as differing health and social care teams sharing a patient.43–46 Every activity system has an ‘object’ (the focus of interest – in clinical teams this is the patient) and objectives (meeting the needs of the patient). They may share this object with other teams; activity theory is particularly interested in how learning occurs across teams sharing a ‘boundary object’ (common interest) and involving ‘boundary crossing’ (can teams understand each other's activities, although they may share a common concern such as patient care?).44 


그러한 학습 모델은 interprofessional care 분야에서 쉽게 적용되고 시험 될 수있다. 예를 들어, 헬스케어에서 여러 팀이 공동 관심사 (대상)가 있음에도 불구하고 서로의 활동을 완전히 인식하지 못하는 상황이 쉽게 관찰 될 수있다. 예를 들어, 와드 및 운영 극장 팀 또는 건강 및 사회 복지와 같은 다른 기관의 팀은 공유 된 환자에 대해 완전하게 의사 소통하지 못할 수 있으며 정보를 복제하고 격리 할 수 ​​있습니다. Engestrom의 활동 이론은 협동 적 탐구의 한 종으로서, 행동과 반성의 순환을 통해 시험되고 세련되며, 헬싱키 헬스 서비스에서 만성 다발성 질환 환자에 대한 기관 간 협력 팀 관리를 알리기위한 목적에 맞는 모델로 채택되었습니다.


Such models of learning can be readily applied and tested in the field of interprofessional care.48 Teams may not, for example, be fully aware of each other's activities despite their common concerns (objects) and this is readily observed in health care. For example, a ward and operating theatre team, or teams from different agencies such as health and social services, may fail to communicate fully about their shared patients, and both duplicate and sequester information. Engestrom's version of activity theory is a species of collaborative inquiry, tested and refined through cycles of action and reflection, that has been adopted by the health service in Helsinki as a fit-for-purpose model for informing inter-agency collaborative team care of chronic, multiple illness patients.45



학습은 명백한 사용 가치 (기술)와 교환 가치 (전문 지식)를 지니고 있지만, 상징적 가치 (지위)를 지니고 있으며, 직업적 정체성 구축을 통해 문화적 자본을 제공합니다. 활동 이론은 work-based practices 과 정체성 관리가 역사적으로 결정된 역할 및 규칙과 어떻게 관련되어 있는지를 통해 어떻게 정체성이 구성되는지를 고려합니다. 정체성 형성은 단순히 "일을 하는 것"이나 일을 '생각하는'것 뿐만 아니라, '자세히 말하기'또는 이야기이기도 하다. 여기서 직업은 연습 커뮤니티 내에서 이미 순환하는 일련의 이야기 내에서 자신과 다른 사람들에게 이야기됩니다.

Learning has obvious use value (skills) and exchange value (expertise), but also has symbolic value (status), offering cultural capital through professional identity constructions. Activity theory considers how identities are constructed through work-based practices and how management of identity relates to historically determined roles and rules. Identity formation is not an aspect of simply ‘doing’ the job, or even ‘thinking’ the job, but also of ‘recounting’ or story, where the job is narrated to oneself and to others within a set of stories already circulating within the practice community.49 


다원적 인 팀에서는 practitioners는 수사 전략을 사용하여 자신과 상대방의 역할과 정체성을 확인합니다. 이것은 그들 자신을 위한 것일 뿐만 아니라, '타자'의 역할에 대한 고정 관념이 되기도 한다. 이 학습은 전문적이고 윤리적인 실천의 정체성 형성에까지 이릅니다. 그러한 윤리적 '자기 형성'의 모델은 '성찰적 실천'의 관례에 대한 보완 적 접근을 제공한다.

In multiprofessional teams, practitioners use rhetorical strategies to confirm role and identity, not only for each of themselves but also for others, often serving to stereotype the role of the ‘other’ in the team.50 This learning extends to a ‘shaping’ of identity as professional and ethical practice.51 Such models of ethical ‘self-forming’ offer supplementary approaches to conventions of ‘reflective practice’.



활동 이론은 학습이 공간 (식별 가능한 사회적 맥락)에서뿐만 아니라 시간 (동적 시스템)을 통해 어떻게 발생하는지에 대한 검증 가능한 모델을 제공합니다. 이 모델의 특별한 힘은 환자라는 같은 목표를 공유하는 다른 활동 시스템이 어떻게 상호 작용하는지 예측할 수있는 능력에 달려 있습니다. 활동 이론은 practice의 결과를 잘 다루지만 practitioner가 처음으로 활동 시스템에 합법적으로 진입하는 방법 (사회화)을 적절하게 설명하지는 않습니다.

Activity theory offers a testable model of how learning occurs not only in space (identifiable social contexts), but also through time (dynamic systems). The particular power of the model rests with its ability to predict how differing activity systems may interact where they share an object, such as a patient. While activity theory deals well with the outcomes of practice, it does not, however, adequately explain how practitioners first gain legitimate entry into activity systems (socialisation).


인지적 도제 및 분산된 인지

Cognitive apprenticeship and distributed cognition


Lave와 Wenger9는 도제 과정에서 초심자가 어떻게 연습 공동체에 legitimate entry를 얻게 되는지 설명합니다. 견습 과정에 대한 폭 넓은 이해는 최근에 혁명을 겪었습니다. 

  • 오래된 도제 모델은 단순히 노출을 통한 경험에 의한 '몰입 형'학습을 강조했습니다. 

  • 새로운 도제 모델, '인지 도제' 모델은 초심자가 전문 지식을 습득하는 과정에서 단순히 '일하는 법'을 배우는 것이 아니라 어떻게 직업을 think하고 recount하는지를 배운다고 강조한다. 

이전에 언급했듯이, 일하고 생각하고 자세히 말하면 여러 신원 형성을위한 매트릭스로 밀접하게 연결되어 있습니다.

Lave and Wenger9 describe how, in apprenticeships, novices gain legitimate entry to a community of practice. Our wider understanding of apprenticeship has recently undergone a revolution.11,12 

  • Old apprenticeship models stressed ‘immersion’– learning by experience simply through exposure. 

  • New apprenticeship, or ‘cognitive apprenticeship’,9 models stress that novices do not simply learn how to ‘do’ the job as they gain expertise – they also learn how to ‘think’ and ‘recount’ the job. 

As noted earlier, doing, thinking and recounting are intimately linked as matrices for multiple identity formation.


의학의 도제 과정에서 모든 초기 업무 중심 학습은 반드시 임상 팀 멤버쉽면에서 short-lived합니다. 처음에는, 의대생과 의사는 전문 팀의 역동성에 거의 영향을 미치지 않는 것처럼 보입니다. 그러나 활동 이론에 따르면 임시적인 팀 구성원이 습관적 관습에 새로운 시각을 불러 일으켜 활동 시스템의 확장을 시작할 수 있으며, 이것은 병동 회진의 비디오 테이프 분석을 통해 경험적으로 확인되었습니다.

In a medicine apprenticeship, all early work-based learning is necessarily short-lived in terms of membership of a clinical team. At first sight, the medical student and junior doctor would seem to have little impact upon the dynamic of an expert team. However, activity theory predicts that temporary members of teams can bring a fresh eye to habitual practices, initiating expansion of the activity system, and this has been empirically confirmed through videotape analysis of ward rounds.39,40 


Ward-based learning은 '지식, 기술 및 이해의 점진적 획득'으로 요약되었으며, '일정한 지식, 기술 및 이해 수준이 달성되었을 때' 연수생은 유능한 실무자로 간주됩니다. 이는 학습의 전통적 송수신('습득') 관점에서 전형적이다. 이러한 견해는 사회 문화적 요소를 포함하도록 확대 될 수 있으며, 학습은 전문가의 성과에 참여하는 역할에 대한 접근성 향상과 관련된 활동으로 구성됩니다.

Ward-based learning has been summarised as ‘the progressive acquisition of knowledge, skill and understanding’, where ‘the trainee is regarded as a competent practitioner when a given level of knowledge, skill and understanding has been achieved’.52 This is typical of conventional transmission-reception (‘acquisition’) views of learning. Such a view can be expanded to include socio-cultural elements, where learning is framed as an activity involving increased access to participating roles in expert performance.


복잡하고 적응적 시스템에서 역동적 학습

Dynamicist learning in complex, adaptive systems


complexity theory에 의한 학습에 대한 이해에 대한 공헌과 관련하여이 장에서 전개 할 추가 장이 있습니다. 이것은 별도의 논문을 보증하며, 현대 교육 이론이 의학 교육에 기여할 수있는 가능성의 지평으로 요약 될 수 있습니다. 이 기여를 이해하려면 정보 이론과 같은 분야에서 메타포를 동화시켜야합니다.

There is a further chapter to unfold in this account, which concerns the contribution to understanding of learning made by complexity theory. This warrants a separate paper and here can only be summarised as a horizon of possibility in the contribution of contemporary learning theory to medical education. Understanding this contribution requires assimilation of a set of metaphors from disciplines such as information theory. 


요약서는 표 1에 나와 있습니다. '습득'과 '참여'의 은유가 이 토론 자료에서 목적을 달성했지만 참여 학습의 종류를 구별하기 위해서는 더 세밀한 은유가 필요합니다. 이러한 은유는 의학 교육을 알려주고 복잡성 이론을 보건 의료 시스템의 관리에 적용하는 것에 대한 현재의 관심을 보충하는 총체적인 '역동성 모델dynamicist’ model'을 제시한다

A summary is offered in Table 1. While the metaphors of ‘acquisition’ and ‘participation’ have served a purpose in this discussion paper, a finer set of metaphors is needed to differentiate between kinds of participative learning. Such metaphors describe a holistic ‘dynamicist’ model53 to inform medical education, supplementing current interest in the application of complexity theory to management of health care systems4


Dynamicist models 은 학습이 자연스러운 시스템 기반 활동으로 시간이 흐르며 발생한다고 설명합니다. 학습은 상황에 따라 'situated'한 것으로 간주되므로 실험실이 아닌 실제 발생 장소에서 학습됩니다. 분석의 기본 단위는 시간을 통해 작동하는 functional team으로 간주됩니다. 역동적 사고는 연결주의적 사고connectionist thinking와 대조 될 수 있는데 (표 1), 후자는 역설적으로 팀 활동의 의미를 만드는 것에 대해서 지배적인 경향이 있다.

Dynamicist models describe learning as a naturalistic, systems-based activity occurring in time. Learning is assumed to be ‘situated’ or specific to context and is therefore studied where it actually occurs and not in the laboratory. The basic unit of analysis is taken to be a functional team operating through time. Dynamicist thinking can be contrasted with connectionist thinking (Table 1), where the latter, paradoxically, tends to be the current dominant mode for making meaning of team activity. 


  • 연결주의는 부분에서 전체로 작동하며, 시간으로부터 추출된다. 이것은 개별 모듈이 코스를 구성하고, 학습이 미세하고 정밀한 결과로 원자화되는 방식의 커리큘럼에 반영됩니다. 이러한 결과는 그러한 목표 (생산)를 재정의 할 수있는 학습을 장려하기보다는 합법적으로 학습 (재생산) 할 수있는 것을 정의합니다. 

  • 대조적으로, Dynamicism은 시스템 전체를 파악하려고 시도하는데, 특히 시스템의 창 발적인 속성이나 상황이주는 잠재력 (잠재력)에 집중합니다. 성과는 쉽게 처방prescribed되지 않으며, 내용에 대한 학습 뿐만 아니라 프로세스 학습을 구현해야합니다.

  • Connectionism works from the parts to the whole and abstracts from time. This is mirrored in curriculum thinking, where discrete modules make up courses and learning is atomised in terms of finer and finer outcomes. These outcomes define what can be legitimately learned (reproduction) rather than encouraging learning that may redefine such goals (production). 

  • In contrast, dynamicism attempts to grasp the system as a whole, concentrating particularly upon the emergent properties of the system, or what the occasion ‘affords’ (its potential). Outcomes are then less easily prescribed and must embody process learning as well as content.54





결론

Conclusions

어떤 하나의 학습 이론도 의학에서 발견 된 모든 임상 사례에 대해 충분한 설명력과 예측력을 가지고 있지는 않습니다. 그러나 개인이 어떻게 학습하는지에 기반한 학습 이론 계열은 팀워크와 같이 역동적이고 종종 위험이 높은 상황에서 안전 관행을 알리기 위해 보완되어야합니다. 우리는 확립 된 지식이 어떻게 구성되고 재현되는지뿐만 아니라, 본질적으로 불안정하고 복잡한 시스템에서 새로운 지식이 어떻게 생산되고 협력되는지를 알아야합니다. 그러한 시스템에서 학습이 어떻게 발생 하는지를 설명 할 때, 개인의 인식에 중점을 둔 학습 이론보다 사회 문화적 학습 이론이 훨씬 강력합니다. 그러나 그러한 모델은 아직 개인주의 학습 이론이있는 방식으로 의학 교육에 완전히 포함되어 있지 않다. 이것은 의학 내에서의 강력한 자율성 전통에 의해 설명 될 수 있습니다.


No single learning theory has enough explanatory and predictive power to inform the range of practices found in medicine. However, the family of learning theories based on how an individual learns needs to be supplemented to inform safe practice in dynamic and often high-risk contexts such as teamwork. We need to know not only how established knowledge is constructed and reproduced, but how new knowledge is produced and held collaboratively in inherently unstable, complex systems. Socio-cultural learning theories are more powerful than those oriented to individual cognition when it comes to explaining how learning occurs in such systems. However, such models are not yet fully embedded in medical education in the way that individualistic learning theories are. This can be explained by the strong tradition of autonomy within medicine.    









 2006 Feb;40(2):150-7.

Broadening conceptions of learning in medical education: the message from teamworking.

Author information

1
Institute of Clinical Education, Knowledge Spa, Royal Cornwall Hospital, Peninsula Medical School, Universities of Exeter and Plymouth, Truro, Cornwall, UK. alan.bleakley@pms.ac.uk

Abstract

BACKGROUND:

There is a mismatch between the broad range of learning theories offered in the wider education literature and a relatively narrow range of theories privileged in the medical education literature. The latter are usually described under the heading of 'adult learningtheory'.

METHODS:

This paper critically addresses the limitations of the current dominant learning theories informing medical education. An argument is made that such theories, which address how an individual learns, fail to explain how learning occurs in dynamic, complex and unstable systems such as fluid clinical teams.

RESULTS:

Models of learning that take into account distributed knowing, learning through time as well as space, and the complexity of a learning environment including relationships between persons and artefacts, are more powerful in explaining and predicting how learningoccurs in clinical teams. Learning theories may be privileged for ideological reasons, such as medicine's concern with autonomy.

CONCLUSIONS:

Where an increasing amount of medical education occurs in workplace contexts, sociocultural learning theories offer a best-fit exploration and explanation of such learning. We need to continue to develop testable models of learning that inform safe work practice. One type of learning theory will not inform all practice contexts and we need to think about a range of fit-for-purpose theories that are testable in practice. Exciting current developments include dynamicist models of learning drawing on complexity theory.

PMID:
 
16451243
 
DOI:
 
10.1111/j.1365-2929.2005.02371.x


성취감정이 의학교육에서 동기부여, 학습, 수행능력을 이해하는데 사용할 수 있을까? (Med Teach, 2012)

Can achievement emotions be used to better understand motivation, learning, and performance in medical education?1

ANTHONY R. ARTINO JR1, ERIC S. HOLMBOE2 & STEVEN J. DURNING1

1Uniformed Services University of the Health Sciences, USA, 2American Board of Internal Medicine, USA





도입: 감정과 학습

Introduction: Emotions and learning


감정은 학문적 및 임상 적 환경에서 유비쿼터스입니다. 면허 시험을 준비하는 2 학년 의과 대학생을 고려하십시오. 학생은 성공을 기대하고 실패를 걱정할 수 있으며 시험이 끝나면 안심할 수 있습니다. 희망, 걱정, 안도 등의 감정이 의심 할 여지없이 자신의 동기 부여, 노력, 그리고 그녀가 자료를 이해하는 데 도움이되는 학습 전략에 영향을줍니다. 마찬가지로, 새로운 외과 수술을 수행 할 준비가 된 젊은 외과 레지던트 / 레지스트라를 생각해보십시오. 그의 목표, 활동의 성격, 그가 클리닉에서받는 사회적지지에 따라, 그는 그 일을 준비하는 것을 즐겁게 할 수도 있고, 지루함을 느낄 수도 있고, 새로운 일이 단순히 끝없는 책임 목록에 더해지는 또 하나의 할 일이기 때문에 좌절감을 경험할 수도 있습니다. 다시 한번, 즐거움, 지루함, 좌절감과 같은 이러한 감정들이 그의 준비, 도전에 직면 해있는 그의 동기 및 작업에 집중하기 위해 그가 고용하는 동기 전략에 거의 확실하게 영향을 미칩니다.

Emotions are ubiquitous in academic and clinical settings. Consider a second-year medical student preparing for a licensing exam. The student probably hopes for success, may worry about failure, and likely feels relieved once the exam is over. These emotions – hope, worry, and relief – undoubtedly influence her motivation, the effort she puts forth, and even the study strategies she uses to help her understand the material. Similarly, think of a young surgical resident/registrar preparing to perform a new surgical task. Depending on his goals, the nature of the activity, and the social support he receives in the clinic, he may enjoy preparing for the task, feel bored because it is not really interesting to him, or experience frustration because the new task simply represents one more thing to do in his unending list of responsibilities. Once again, these emotions – enjoyment, boredom, and frustration – almost certainly affect his preparation, his motivation to persist in the face of challenges, and the motivational strategies he employs to stay focused on the task.


전통적으로 이러한 유형의 성취 관련 감정은 의학 교육 연구자 및 교사로부터 거의 고려되지 않았습니다. 사실, 전통적인 정보 처리 이론과 같은 인식의 가장 고전적인 모델은 정서와 같은 비인지 적 구성을 이론적으로 흥미롭거나 중요하게 생각하지 않습니다 (Dai & Sternberg 2004). 사실 많은 심리학자들은 이전에 인간의 사고를 주로 감정으로부터 자유로운인지 활동으로 개념화했다 (Brown et al, 1983).

Traditionally, these types of achievement-related emotions have received little consideration from medical education researchers and teachers. In fact, most classic models of cognition, such as traditional information-processing theories, do not consider “non-cognitive” constructs like emotion to be theoretically interesting or even important (Dai &Sternberg 2004Dai DY, Sternberg RJ, editors. Motivation, emotion, and cognition: Integrative perspectives on intellectual functioning and development. Lawrence Erlbaum Associates, Mahwah, NJ 2004 [Google Scholar]). Indeed, many psychologists previously conceptualized human thinking as primarily a cognitive activity, relatively free from emotion (Brown et al. 1983Brown AL, Bransford JD, Ferrara R, Campione J. Learning, remembering, and understanding. Mussen PH, series editors, Flavell JH, Markman EM, volume editors. 1983, Handbook of child psychology: Vol. 3. Cognitive development. 4th ed. New York: Wiley. pp 77166 [Google Scholar]).


그러나 최근 교육 학자들은 인간 사고와 학습에보다 통합 된 접근법을 요구했다 (Dai & Sternberg 2004Dai, Sternberg RJ). 그러한 접근법은 인간의 영향을 강조하고 감정과 동기 부여 같은 것들을 주의력과 기억과 같은인지 구조와 유사한 발판에 놓습니다. 이러한 통합적인 관점은 실제 상황에서 whole person을 강조하고 인간이 환경에 적응하고 상호 작용하는 맥락에서 사고와 학습을 되돌려 놓습니다.

Recently, however, education scholars have called for more integrative approaches to human thinking and learning (Dai &Sternberg 2004Dai DY, Sternberg RJ, editors. Motivation, emotion, and cognition: Integrative perspectives on intellectual functioning and development. Lawrence Erlbaum Associates, Mahwah, NJ 2004 [Google Scholar]). Such approaches emphasize human affect and put things like emotion and motivation on similar footing with cognitive constructs like attention and memory. These integrative perspectives highlight the whole person in real situations and put thinking and learning back in the context of humans adapting to and interacting with their environments.


이 기사에서 우리는 감정에 관하여 대두되고 있는 이론을 설명하고 이 작업이 의학 교육의 이론, 연구 및 실천에 어떻게 영향을 미치는지 고려합니다. 그러한 탐구는 의학 교육을 전통적 시간 및 프로세스 기반 모델에서 개인 학습자의 궤도, 자기 주도적 학습, 평가 및 피드백에 더 중점을 두는 결과 기반 모델로 변환하려는 전세계적인 노력이 적시에 이루어 졌다고 믿습니다. (Holmboe 등, 2010). 이러한 맥락을 배경으로 학습에서의 감정의 역할에 대한 이해가 점차 중요해질 것이라고 믿습니다.

In this article, we describe an emergent theory of emotion and consider how this work might inform the theory, research, and practice of medical education. We believe that such an exploration is timely given efforts worldwide to transform medical education from traditional time-and-process-based models to increasingly outcomes-based models, which place greater emphasis on individual learner trajectories, self-directed learning, assessment and feedback, and reflective practice (Holmboe et al. 2010Holmboe ES, Sherbino J, Long DM, Swing SR, Frank JR. The role of assessment in competency-based medical education. Med Teach 2010; 32: 676682[Taylor &Francis Online][Web of Science ®][Google Scholar]). With this context as a backdrop, we believe an understanding of emotion's role in learning will become increasingly important.



이론적 기반

Theoretical foundations


감정이란 무엇인가?

What is emotion?

조직과 다른 구성 요소와의 연관성에서, 감정은 일반적으로보다 일반적인 용어 affect의 하위 집합으로 간주됩니다. Affect은 두 가지 범주로 더 세분화되었습니다 : affective traits과 affective states. 이 일반적인 분류학 내에서 moods과 emotion은 일반적으로 두 가지 유형의 정서적 인 상태로 간주됩니다 (Artino 2010). moods과 emotions은 주로 강도와 기간에 따라 다릅니다

  • 즉, emotions은 짧고, 강렬하며, 특정 사건이나 활동에 반응하는 경향이있는 반면 (예 : 다가오는 시험에 대한 불안감 Forgas 2000 참조

  • moods 특정한 지시 대상이 없고, 더 길고. 확산되는 경향이 있습니다 (예 : 우울한 느낌). 

이 기본 틀을 사용하여 emotion은 "개인의 환경에서 의미있는 상황에 대한 반응으로 생기는 급격하고 강렬하며 일반적으로 짧은 정신 - 생리적 변화"로 정의 할 수 있습니다 (Artino 2010).


In terms of organization and association with other constructs, emotion is usually considered a subset of the more general term affect. Affect has been further subdivided into two categories: affective traits and affective states. Within this general taxonomy, moods and emotions are usually considered two distinct types of affective states (Artino 2010Artino AR. Emotion regulation. Encyclopedia of child behavior and development, S Goldstein, J Naglieri. Springer, Heidelberg, Germany 2010; 12361238 [Google Scholar]), with the distinction between moods and emotions based primarily on their intensity and duration. That is, moods tend to be longer, more diffuse, and without a particular referent (e.g. feeling depressed), whereas emotions tend to be shorter, more intense, and in response to a particular event or activity (e.g. being anxious about an upcoming exam; see Forgas 2000Forgas J. The role of affect in social cognition. Feeling and thinking: The role of affect in social cognition, JForgas. Cambridge University Press, New York 2000; 128 [Google Scholar]). Using this basic framework, emotion can be defined as “an acute, intense, and typically brief psycho-physiological change that results from a response to a meaningful situation in an individual's environment” (Artino 2010Artino AR. Emotion regulation. Encyclopedia of child behavior and development, S Goldstein, J Naglieri. Springer, Heidelberg, Germany 2010; 12361238 [Google Scholar]).


성취 감정이란?

What are achievement emotions?

Pekrun (2006Pekrun R.)은 성취 감정을 "성취 활동 또는 성취 결과에 직접적으로 관련된 감정"으로 정의했습니다. 


성취 활동에는 환자의 문제를 이해하고 강의를 듣거나 병동에 참여하는 등의 자율적 활동이 포함됩니다. 활동 관련 성취감에는 이러한 활동 중에 경험 한 감정이 포함됩니다. 예를 들어,

  • 재미있는 환자 문제에 대한 즐거움,

  • 지루한 강의에서 경험하는 지루함

  • 감독관이 불합리한 와드 및 팀 프리젠 테이션 요구 사항을 부과 할 때 경험 한 분노.

반면 성취 결과에는 임상 스킬 평가 후에 강사로부터 시험 성적이 좋지 않거나 별다른 평가를받지 못하는 등 활동 성공 또는 실패가 포함됩니다. 따라서 결과 관련 성취 감정에는 이러한 결과에 대한 감정이 포함됩니다. 예를 들어,

  • 좋은 시험 성적을받는 즐거움 또는

  • 또 다른 불만족스러운 임상 로테이션 등급을 얻은 후의 절망감.


Pekrun (2006Pekrun R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educ Psychol Rev 2006; 18: 315341[Crossref][Web of Science ®][Google Scholar]) has defined achievement emotions as “emotions tied directly to achievement activities or achievement outcomes.” 


Achievement activities include, for example, working autonomously to understand a patient's problem, listening to a lecture, or participating in bedside rounds. Activity-related achievement emotions, then, would include those emotions experienced during these activities; for example, 

  • the enjoyment of engaging in an interesting patient problem, 

  • boredom experienced during a dull lecture, or 

  • anger experienced when a preceptor imposes unreasonable ward and team presentation requirements. 

On the other hand, achievement outcomes include activity successes or failures, such as performing well on an exam or receiving a less-than-stellar evaluation from an instructor following a clinical skills assessment. Therefore, outcome-related achievement emotions would include those emotions experienced in response to these outcomes; for example, 

  • the enjoyment of receiving a good exam grade or 

  • the feeling of hopelessness after getting yet another unsatisfactory clinical rotation rating.



통제-가치 이론: 정의와 차원

Control-value theory: Definition and dimensions

Pekrun (2006)은 일반적으로 사회인지 적 틀로 간주되는 것을 사용하여 학업 또는 성취 맥락에서 감정을 이해하기위한 포괄적이고 통합적인 접근 방식 인 통제 가치 이론을 개발했다. 통제 가치 이론은 성숙한 감정을 긍정적 인 것과 부정적인 것 또는 즐거운 것 또는 불쾌한 것 등으로 나눈다. 

  • 발렌스 (긍정적 또는 부정적 또는 불쾌감);

  • 활성화 정도 (활성화 대 비활성화, 심리적 흥분의 정도라고 생각할 수 있음); 과

  • 객체 초점 (활동 대 결과)

Using what is generally considered a social-cognitive framework, Pekrun (2006Pekrun R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educ Psychol Rev 2006; 18: 315341[Crossref][Web of Science ®][Google Scholar]) has developed control-value theory, a comprehensive, integrative approach to understanding emotions in academic or achievement contexts. Control-value theory groups achievement emotions by their 

  • valence (positive vs. negative or pleasant vs. unpleasant); 

  • degree of activation (activating vs. deactivating, which can be thought of as the level of psychological arousal); and 

  • object focus (activity vs. outcome, as described above; Pekrun et al. 2007Pekrun R, Frenzel AC, Goetz T, Perry RP. The control-value theory of achievement emotions: An integrative approach to emotions in education. Emotion in education, PA Schutz, R Pekrun. Academic Press, Burlington, MA 2007; 1336[Crossref][Google Scholar]). 


세 가지 차원을 사용하여 통제 가치 이론은 성취 감정의 3 차원 분류법을 제안합니다. 예를 들어 흥미롭지 않은 강의에서 경험 한 지루함은 부정적이며 비활성화 된 활동 관련 성취 감정으로 간주 될 수 있지만 도전적인 환자 프리젠 테이션으로 정확한 진단에 도달하는 것과 관련된 자부심은 긍정적이고 활성화 된 결과 관련 것으로 간주됩니다 성취감. 이러한 다양한 감정의 성능 결과는이 기사 뒷부분에서 설명합니다.

Using these three dimensions valence, activation, and object focus control-value theory proposes a three-dimensional taxonomy of achievement emotions. For instance, 

  • the boredom experienced during an uninteresting lecture would be considered a negativedeactivatingactivity-related achievement emotion, whereas 

  • the pride associated with arriving at a correct diagnosis with a challenging patient presentation would be considered a positiveactivatingoutcome-related achievement emotion. The performance consequences of these diverse emotions are discussed later in this article.


통제-가치 이론: 구조와 가정

Control-value theory: Structure and assumptions


인지적 평가

Cognitive appraisals

Pekrun (2006)의 통제 가치 이론은 성취 감정이 통제와 가치에 대한 개인의인지 적 평가에 의해 근위적으로 결정된다고 가정한다. 

Pekrun's (2006Pekrun R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educ Psychol Rev 2006; 18: 315341[Crossref][Web of Science ®][Google Scholar]) control-value theory assumes that achievement emotions are proximally determined by an individual's cognitive appraisal of control and value. 

    • Control appraisals relate to the perceived controllability of achievement activities and their outcomes. These appraisals are often indicated by expectations and competence perceptions, such as self-efficacy (i.e. task-specific self-confidence) and self-concepts of ability, respectively. 

    • Value appraisals pertain to the subjective value or importance of these activities and outcomes, and can be intrinsic (e.g. an innate interest in math) or extrinsic (e.g. valuing an activity because it is likely to bring some external reward).


환경적 선조

Environmental antecedents

인지 평가는 다양한 성취 감정을 결정하는 것으로 생각되지만, 다른 요인들도 주로 통제 및 가치 평가에 대한 영향을 통해 성취 감정에 영향을 미치는 것으로 가정됩니다.

    •  학업 환경에서 이러한 요소의 예로는 완료되는 과제의 특성, 과제의인지 요구 사항, 강사가 제공하는인지 적 및 감정적 지원의 양 및 전반적인 학습 분위기가 포함될 수 있습니다. 

    • 또한 학교, 클리닉 또는 콘텐츠 영역 내에서보다 광범위한 사회적 및 문화적 상황과 같은 원위 요소distal factors가 인지 평가에 영향을 미쳐 후속 성취 감정을 수정할 수 있습니다.


Whereas cognitive appraisals are thought to determine various achievement emotions, other factors are assumed to influence achievement emotions primarily through their affect on control and value appraisals. 


수행의 결과

Performance consequences

통제 가치 이론은 성취 감정이 동기 부여, 학습 및 성과 결과에 어떻게 영향을 미치는지에 대한 예측을 용이하게합니다. 구체적으로 이 이론은 

    • 구체적으로이 이론은 성취감이 "인지 자원, 동기 부여, 전략의 사용, 자기 규제와 학습의 외부 규제에 영향을 미친다"고 예측한다

    • 또한, 감정이 성취에 미치는 영향은 이러한인지 적, 동기 적, 행동 적 과정에 의해 매개되는 것으로 생각됩니다.

    • 마지막으로, 학습 및 성과 결과는 학생들의 감정을 자극하고 학습 환경의 다양한 측면과 그 환경에 대한인지 적 평가에 영향을 미침으로써 시스템으로 다시 피드백되는 것으로 가정됩니다. 


Control-value theory facilitates predictions about how achievement emotions affect motivation, learning, and performance outcomes. 


교육적 맥락에서 성취 감정을 학습과 수행에 연결시키기

Linking achievement emotions to learning and performance in educational contexts



감정, 학습 및 성과 사이의 연결 고리는 복잡합니다. 그러나 심리학자들은 일반적으로 영향 (감정과 기분)이 학습과 수행에 영향을 미칠 수있는 네 가지 주요 경로가 있음에 동의한다 (Schunk 외. 2008). "이 경로 중 세 경로는 cognitiva mediator를 통해 이루어지며 네 번째 경로는 motivational pathway."라고 본다.

The links between emotion, learning, and performance are complex. However, psychologists generally agree that there are likely four primary routes through which affect (emotions and mood) might influence learning and performance (Schunk et al. 2008Schunk DH, Pintrich PR, Meece JL. Motivation in education: Theory, research, and applications, 3rd. Pearson Education, Inc, Upper Saddle River, NJ 2008 [Google Scholar]). As Schunk et al. (2008Schunk DH, Pintrich PR, Meece JL. Motivation in education: Theory, research, and applications, 3rd. Pearson Education, Inc, Upper Saddle River, NJ 2008 [Google Scholar]) describe, “three of these routes are through cognitive mediators and the fourth is through a motivational pathway.”


감정과 분위기가 학습과 수행에 영향을 미치는 첫 번째 경로는 저장 및 검색 프로세스로서, 소위 mood-dependent memory (Schunk et al. 2008)이다. Mood-dependent memory의 기본 개념은 affective states가 다른 학습 된 정보와 동시에 장기 기억으로 인코딩된다는 것입니다. 따라서 이러한 affective states는 새로 습득 한 정보와 밀접하게 연결되어 정보 검색시 개인의 기분에 따라 장기 기억에서 정보 검색이 향상됩니다 (Forgas 2000). 예를 들어 의대 학생이 중심선을 삽입하는 방법을 배울 때 극도로 긍정적 인 분위기에 있다면, 나중에 비슷한 기분 상태에서 그 절차를 recall할 때 더 잘 할 가능성이 더 큽니다.


The first route by which emotions and mood are thought to impact learning and performance is through storage and retrieval processes, or the so-called mood-dependent memory (Schunk et al. 2008Schunk DH, Pintrich PR, Meece JL. Motivation in education: Theory, research, and applications, 3rd. Pearson Education, Inc, Upper Saddle River, NJ 2008 [Google Scholar]). The basic idea of mood-dependent memory is that affective states are encoded into long-term memory at the same time as other learned information. As such, these affective states become closely linked to the newly learned information such that retrieval of this information from long-term memory is enhanced if the individual's mood at retrieval matches his mood when the information was encoded (Forgas 2000Forgas J. The role of affect in social cognition. Feeling and thinking: The role of affect in social cognition, JForgas. Cambridge University Press, New York 2000; 128 [Google Scholar]). So, for instance, if a medical student is in an extremely positive mood at the time he learns how to insert a central line, he is more likely to recall that procedure if his mood at the time of retrieval is similarly positive.


감정과 학습 및 수행을 연결하는 두 번째인지 경로는, 서로 다른 인지 및 메타인식 전략을 사용하는 것이 결과적으로 다른 유형의 성과 결과를 낳는다는 것이다(Pekrun 2006). 최근 고등 교육 환경에서의 작업은 

  • "부정적 영향을 겪은 학생들은 학업에 훨씬 더 많은 참여와 긍정적 인 접근이 필요하기 때문에 더 깊은 처리 전략을 사용할 가능성이 적습니다"라고 제안합니다 (Schunk 외. 2008). 

  • 대조적으로, 긍정적 인 감정은 일반적으로 더 큰 참여와 더 깊은 처리 전략의 사용을 유도한다고 생각된다 (Pekrun 외. 2002).

The second cognitive pathway linking emotions with learning and performance is through the use of different cognitive and metacognitive thinking strategies, which then result in different types of performance outcomes (Pekrun 2006Pekrun R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educ Psychol Rev 2006; 18: 315341[Crossref][Web of Science ®][Google Scholar]). Recent work in higher education settings suggests that “students who experience negative affect are less likely to use deeper processing strategies, as these require much more engagement and a positive approach to the academic task” (Schunk et al. 2008Schunk DH, Pintrich PR, Meece JL. Motivation in education: Theory, research, and applications, 3rd. Pearson Education, Inc, Upper Saddle River, NJ 2008 [Google Scholar]). In contrast, positive emotions are generally thought to result in greater engagement and the use of deeper processing strategies (Pekrun et al. 2002Pekrun R, Goetz T, Titz W, Perry RP. Academic emotions in students’ self-regulated learning and achievement: A program of qualitative and quantitative research. Educ Psychol 2002; 37: 99105[Taylor &Francis Online][Web of Science ®][Google Scholar]).


감정이 학습과 수행에 영향을 미치는 세 번째인지 경로는 인지 자원에 미치는 영향을 통해서입니다. 구체적으로, 긍정적이고 부정적인 감정 모두 감정의 대상에 주의를 기울일 때 기억 자원을 소비하는 것으로 나타났습니다 (Pekrun & Stephens 2010). 즉, 감정은 작업 메모리 공간을 차지하며 개인의 인지 부하에 부정적인 영향을 미칠 수 있습니다. 이는 작업 메모리에서 동시에 정보를 처리하는 데 따른 제한을 의미합니다. 따라서 작업 메모리 공간을 차지함으로써 감정은 작업 완료에 필수적인 작업을 처리하는 데 필요한인지 리소스를 줄입니다. 사실, 이 인지 부하 설명은 시험 불안과 학습 및 수행에 대한 부정적인 영향에 대한 경험적 연구의 특징입니다.

The third cognitive route by which emotions influence learning and performance is through their impact on cognitive resources. Specifically, both positive and negative emotions have been shown to consume working memory resources by focusing attention on the object of the emotion (Pekrun &Stephens 2010Pekrun R, Stephens EJ. Achievement emotions: A control-value approach. Soc Personal Psychol Compass 2010; 4: 238255[Crossref][Google Scholar]). That is, emotions take up working memory space and can negatively impact an individual's cognitive load, which refers to the limitations in processing simultaneous information in working memory. Thus, by taking up working memory space, emotions leave fewer cognitive resources for processing activities essential for task completion. In fact, this cognitive load explanation is a hallmark of the empirical work on test anxiety and its negative impact on learning and performance.


감정과 학습 및 수행을 연결하는 네 번째이자 마지막 경로는 내재적 및 외재적 동기 부여 과정에 미치는 영향을 통해서입니다. 이러한 관점에서 볼 때, 작업 관련 즐거움과 같은 긍정적 인 감정은 작업에 더 큰 흥미와 내재적 동기를 부여합니다. 즉, 자신의 목적을 위해 과제에 참여하려는 더 큰 동기 부여 (Ryan & Deci 2000; Ten Cate 외. 2011). 반면, 업무 관련 권태, 불안 또는 분노와 같은 부정적인 감정은 업무에서 자신의 흥미와 내재적 동기를 감소시킵니다. 동시에, 부정적인 감정이 또한 외재적 동기 부여를 증가시키는 방향으로 작용한다는 것이 중요합니다. 즉, 끝을 향한 수단으로서의 과제에 참여하려는 동기가 형성된다 (Schunk et al., 2008). 

The fourth and final pathway linking emotions with learning and performance is through their effects on intrinsic and extrinsic motivational processes. From this perspective, a positive emotion, such as task-related enjoyment, leads to greater interest and intrinsic motivation for the task; that is, greater motivation to engage in the task for its own sake (Ryan &Deci 2000Ryan RM, Deci EL. Intrinsic and extrinsic motivations: Classic definitions and new directions. Contemp Educ Psychol 2000; 25: 5467[Crossref][PubMed][Web of Science ®][Google Scholar]; Ten Cate et al. 2011Ten Cate O, Kusurkar RA, Williams GC. 2011. How can Self-Determination Theory assist our understanding of the teaching and learning processes in medical education? AMEE Guide No. 59. (Theories in Medical Education). Dundee: AMEE. 33:961973 [Google Scholar]). On the other hand, negative emotions such as task-related boredom, anxiety, or anger, decrease one's interest and intrinsic motivation in the task. At the same time, it is important to consider that some negative emotions can also act to increase one's extrinsic motivation; that is, motivation to engage in the task as a means to an end (Schunk et al. 2008Schunk DH, Pintrich PR, Meece JL. Motivation in education: Theory, research, and applications, 3rd. Pearson Education, Inc, Upper Saddle River, NJ 2008 [Google Scholar]). 


예를 들어, 필요한 활동을 완료하지 못한 강사의 보복에 대한 두려움은 더 큰 외부 동기를 유발할 수 있으며, 따라서 개인을 강사의 요청 순응하게끔 "이동"시킵니다. 외부 동기 부여는 대부분의 심리학자들에 의해 장기적인면에서 적응력이보다 뛰어난 내재 동기 (Ryan & Deci 2000)보다 덜 유익하다고 간주되지만 그럼에도 불구하고 개인의 행동 동기를 부여 할 수 있습니다. 따라서 부정적인 감정, 특히 부정적인 활성화 감정과 그 결과로 나타나는 외재적 동기는 어떤 상황에서 학습과 수행 능력을 향상시킬 수있다 (Pekrun 2006).

For example, fear of reprisal from an instructor for not completing a required activity may result in greater extrinsic motivation, thereby “moving” an individual to comply with the instructor's request. Although extrinsic motivation is considered by most psychologists to be less beneficial in the long term than its more adaptive counterpart, intrinsic motivation (Ryan &Deci 2000Ryan RM, Deci EL. Intrinsic and extrinsic motivations: Classic definitions and new directions. Contemp Educ Psychol 2000; 25: 5467[Crossref][PubMed][Web of Science ®][Google Scholar]), it may nonetheless motivate individuals to act. As such, some negative emotions, particularly negative activating emotions, and their resulting extrinsic motivation may improve learning and performance in certain situations (Pekrun 2006Pekrun R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educ Psychol Rev 2006; 18: 315341[Crossref][Web of Science ®][Google Scholar]).




교육에 대한 함의

Implications for educational practice

성취 감정의 교육적 함의를 고려할 때 학생들의 성취 감정, 후속 동기 부여, 학습 및 수행이 성취 활동 및 결과에 대한 통제 및 가치 평가를 변경함으로써 영향을받을 수 있다고 가정 할 수있다 (Pekrun 외. 2007 ). 교육자는 학습 및 성과의 정서적 요소에 민감한 방식으로 연수생의 학습 환경을 형성함으로써 이러한 통제 및 가치 신념에 영향을 줄 수 있습니다 (Pekrun & Stephens 2010). 이렇게하기위한 3 가지 광범위한 방법이 아래에 설명되어 있으며, 추가 전략은 AMEE Guide no. 64. (Artino 외. 2012).


When considering the educational implications of achievement emotions, an assumption can be made that students’ achievement emotions, and subsequent motivation, learning, and performance can be influenced by altering their control and value appraisals relative to achievement activities and outcomes (Pekrun et al. 2007Pekrun R, Frenzel AC, Goetz T, Perry RP. The control-value theory of achievement emotions: An integrative approach to emotions in education. Emotion in education, PA Schutz, R Pekrun. Academic Press, Burlington, MA 2007; 1336[Crossref][Google Scholar]). Educators can influence these control and value beliefs by shaping trainees’ learning environments in ways that are sensitive to the emotional components of learning and performance (Pekrun &Stephens 2010Pekrun R, Stephens EJ. Achievement emotions: A control-value approach. Soc Personal Psychol Compass 2010; 4: 238255[Crossref][Google Scholar]). Three broad methods for doing so are described below, and additional strategies are provided in more detail in AMEE Guide no. 64. (Artino et al. 2012Artino AR, Holmboe ES, Durning SJ. Control-value theory: Using achievement emotions to improve understanding of motivation, learning, and performance in medical education: AMEE Guide no 64. (Theories in Medical Education). AMEE, Dundee2012 [Google Scholar]).


인지적 퀄리티와 인지 부하 

Cognitive quality and cognitive load

Pekrun and Stephens (2010)는 교육 활동의 인지적 퀄리티를 "구조, 명확성 및 인지 자극 잠재력"이라고 기술합니다. 학생들의 능력에 맞는 작업 요구와 함께 명확하게 구조화되고 인지 적으로 매력적인 자료는 통제 및 평가의 평가appraisals of control and value를 높일 가능성이 있습니다. 가치, 따라서 긍적 적으로 감정과 동기 부여, 학습 및 성능에 영향을 미칩니다. 

  • 업무 요구가 너무 높으면 불안과 분노와 같은 부정적인 감정이 생길 수 있습니다. 

  • 마찬가지로 업무 요구가 너무 낮 으면 지루함과 좌절과 같은 부정적인 감정이 생길 수 있습니다. 

따라서 내재적 동기 부여와 흐름의 이론에 따라 (Ryan & Deci 2000) 칭찬 할만한 목표는 학업 활동에서의 도전의 양과 학생들의 능력 사이의 균형을 이루는 것입니다. 의학 교육에서 이것은 의학의 "일반적인 조건에 대한 종이 케이스에 1 학년의 의대 학생들을 소개하는 것" vs "높은 인지적, 정서적 인 요구에 압도 당할 수있는 클리닉에서 일하는 것"이 포함될 수 있습니다.


Pekrun and Stephens (2010Pekrun R, Stephens EJ. Achievement emotions: A control-value approach. Soc Personal Psychol Compass 2010; 4: 238255[Crossref][Google Scholar]) describe the cognitive quality of instructional activities as “their structure, clarity, and potential for cognitive stimulation.” Clearly structured, cognitively engaging material with task demands that match students’ capabilities have the potential to increase appraisals of control and value, and thus positively influence emotions and subsequent motivation, learning, and performance. If task demands are too high, negative emotions such as anxiety and anger may result. Similarly, if task demands are too low, negative emotions such as boredom and frustration may result. Thus, consistent with theories of intrinsic motivation and flow (Ryan &Deci 2000Ryan RM, Deci EL. Intrinsic and extrinsic motivations: Classic definitions and new directions. Contemp Educ Psychol 2000; 25: 5467[Crossref][PubMed][Web of Science ®][Google Scholar]), a laudable instructional goal is to attain equilibrium between the amount of challenge in academic activities and students’ capabilities. In medical education, this might include introducing first-year medical students to paper cases on common conditions in medicine versus having them work in a clinic where they may be overwhelmed with the high cognitive and affective demands.


가치

Value

현대 교육 심리학 연구는 교육 활동의 가치가 교사들에 의해 명시 적으로 다루어 질 수 있고 또한 그렇게되어야한다고 제안한다. 예를 들어, 특정 학습 활동과 내용의 중요성을 명확히함으로써 교사는 학생들이 개인 목표, 관심사 및 가치 실현에 대한 교과 과정의 기여도를 이해하도록 도와줍니다 (Schunk 외. 2008). 이 아이디어는 학생들이 기초 과학에 집중해야하는 학부 의학 교육의 초기 단계에서 특히 중요 할 수 있습니다. 기본적인 과학 내용과 임상 적 관련성을보다 잘 통합하려는 시도는 학생들의 정서적 경험을 향상시키는 데 많은 도움이 될 것입니다.


Contemporary educational psychology research suggests that the value of educational activities can (and should) be explicitly addressed by teachers. For example, by clarifying the importance of specific learning activities and content, teachers help students understand the contribution of coursework to the realization of their personal goals, interests, and values (Schunk et al. 2008Schunk DH, Pintrich PR, Meece JL. Motivation in education: Theory, research, and applications, 3rd. Pearson Education, Inc, Upper Saddle River, NJ 2008 [Google Scholar]). This idea may be particularly relevant in the early years of undergraduate medical education where students are often required to focus on the basic sciences. Attempts to better integrate basic science content with its clinical relevance likely go a long way toward improving students’ emotional experiences.


통제와 자신감

Control and confidence

교육적 가치를 명시 적으로 언급하는 것 외에도 현대 교육 연구는 학생들의 개인적 통제에 대한 인식이 교육자에 의해 명시 적으로 타켓팅 될 수 있음을 시사한다. 예를 들어, 연구 결과에 따르면 학생들이 control이나 personal agency에 대한 감각을 구축하고 유지하는 것을 교사가 도와줄 수 있음을 나타냅니다. Bandura (1986)가 자기 효능감을 나타 냈습니다. 자기 효능감의 신념은 "지정된 유형의 공연을 달성하는 데 필요한 행동 과정을 조직하고 실행하는 능력에 대한 사람들의 판단"으로 정의되었다 (Bandura 1986). 학습을위한 학생들의 자기 효능감을 높이기 위해 많은 전략이 제시되었지만 (따라서 성취 감정과 그에 따른 동기 부여, 학습 및 성과에 도움이 됨) 하나의 구체적인 접근 방식, 즉 목표 설정이 여기에 제시됩니다. 


In addition to explicitly addressing instructional value, contemporary educational research also suggests that students’ perceptions of personal control can (and should) be explicitly targeted by educators. For example, research indicates that teachers can help students build and maintain their sense of control or personal agency what Bandura (1986Bandura A. Social foundations of thought and action: A social cognitive theory. Prentice-Hall, Englewood Cliffs, NJ 1986 [Google Scholar]) has called their self-efficacy beliefs. Self-efficacy beliefs have been defined as “people's judgments of their capabilities to organize and execute courses of action required to attain designated types of performances” (Bandura 1986Bandura A. Social foundations of thought and action: A social cognitive theory. Prentice-Hall, Englewood Cliffs, NJ 1986 [Google Scholar]). Although many strategies have been shown to enhance students’ self-efficacy for learning (and thereby benefit their achievement emotions and subsequent motivation, learning, and performance) one specific approach goal setting is suggested here. 


특히 교육자는 학생들이 까다로운 근위 목표를 파악하고 설정하도록 도울 수 있습니다. 학생들이 현실적인 목표를 세울 때, 목표를 부여받지 못하거나 단순하게 최선을 다할 것을 말한 학생들보다 수행에 더 많은 동기 부여가되는 경향이 있습니다 (Locke & Latham 2002). 의학 교육에서 학생들은 단기간의 목표를 세 심하게 구성하고 임상실습이나 레지던트 로테이션에 대한 기대를 높이도록 도와 줄 수 있습니다. 이러한 목표 설정은 매주 단위로 반복되며, 이렇게 하는 것이 학생들이 교사로부터 도움이나 외부 교정을받지 않고 자신의 목표를 설정하도록하는 것보다 낫다.

Specifically, educators can help students identify and set challenging, proximal goals. When students set realistic goals, they tend to be more motivated to perform than students who are given no goals or who are simply told to try their best (Locke &Latham 2002Locke EA, Latham GP. Building a practically useful theory of goal setting and task motivation: A 35-year odyssey. Am Psychol 2002; 57: 705717[Crossref][PubMed][Web of Science ®][Google Scholar]). In medical education, this could involve helping students carefully construct short-term goals and expectations for a clerkship or a residency/registrar rotation, which are returned to on a weekly basis, versus having the students attempt to set their own goals with no input or external calibration from teachers.


의학교육에서의 감정: 필요한 행동

Emotions in medical education: A call to action

지난 20 년 동안 고등 교육에서의 성취 감정의 구조와 기능 및 학생들의 동기 부여, 학습 및 성과에 미치는 영향을 더 잘 이해하기위한 노력이 이루어졌습니다. 경험적 연구의 이러한 증가하는 기반에도 불구하고 우리는 교실과 임상 환경 모두에서 감정이 의료 연수생에게 어떻게 영향을 미치는지에 대해 거의 알지 못합니다 (의료 교육에서의 신흥 연구는 성취 감정이 학업 성과에 중요한 연관성이 있음을 시사합니다, Artino 외 2010 및 AMEE Guide no.44 (Artino 외. 2012).

In the last 20 years, strides have been made to better understand the structure and function of achievement emotions in higher education and their impact on students’ motivation, learning, and performance. Despite this growing base of empirical research, we still know very little about how emotions influence medical trainees in both classroom and clinical settings (although emerging work in medical education suggests that achievement emotions have important links to academic outcomes; see, e.g., Artino et al. 2010Artino AR, La Rochelle JS, Durning SJ. Second-year medical students’ motivational beliefs, emotions, and achievement. Med Educ 2010; 44: 12031212[Crossref][PubMed][Web of Science ®][Google Scholar] and AMEE Guide no. 64 (Artino et al. 2012Artino AR, Holmboe ES, Durning SJ. Control-value theory: Using achievement emotions to improve understanding of motivation, learning, and performance in medical education: AMEE Guide no 64. (Theories in Medical Education). AMEE, Dundee2012 [Google Scholar])).


의학 훈련에서 성취 감정을 고려해야 할 필요성에 대한 예비 연구와 최근의 대화 외에도 의학에서의 감정에 대한 체계적인 연구가 부족합니다. 따라서 우리는 성과 (성과)가 개인 및 프로그램 효과 성의 주요 측정 기준 인 역량 기반 의학 교육으로의 이동을 고려할 때 의료 교육에서 신중한 학습 성취 감정이 필요하다고 생각합니다. 답을 필요로하는 관련 질문이 많고 그러한 질문에 답하기에 적합한 방법론이 다양하지만 다른 곳에서는 몇 가지 제안 된 연구 및 관련 방법론을 제안했습니다 (AMEE 가이드 no. 64 (Artino 외. 2012) 참조).

Aside from some preliminary work and recent conversations about the need to consider achievement emotions in medical training (Kanter 2011Kanter SL. Editorial: Think with your head and with your heart. Acad Med 2011; 86: 273 [Google Scholar]), there remains a dearth of systematic research on emotions in medicine. Accordingly, we believe the time has come to careful study achievement emotions in medical education, especially given the movement to competency-based medical education in which achievement (outcomes) is the primary metric of individual and program effectiveness. Although the relevant questions that need answering are many, and the methodologies appropriate for answering such questions are varied, elsewhere we have offered several suggested lines of research and associated methodologies (see AMEE Guide no. 64 (Artino et al. 2012Artino AR, Holmboe ES, Durning SJ. Control-value theory: Using achievement emotions to improve understanding of motivation, learning, and performance in medical education: AMEE Guide no 64. (Theories in Medical Education). AMEE, Dundee2012 [Google Scholar])).



요약

Summary

이 기사의 목적은 의학 교육 연구원을 현대 감정 성취 이론에 소개하고이 연구가 어떻게 의학 교육의 이론, 연구 및 실제를 알릴 수 있는지에 대한 간략한 개요를 제공하는 것입니다. 이 목표를 달성하기 위해, 우리는 성취 감정, 통제 가치 이론 (Pekrun 2006)의 주요한 현대 이론 중 하나를 상세히 설명하고 성취 감정의 종류, 근위 원인, 동기 부여, 학습 및 성과에 대한 결과를 구별했습니다. 우리는 또한 강사가 학생들에게 높은 수준의 통제와 가치를 조성 할 수있는 학습 환경을 조성 할 수 있어야한다는 점을 포함하여 몇 가지 중요한 교육적 함의를 제안했습니다. 마지막으로 우리는 정서가 중요한 교육 결과에 어떻게 영향을 미치는지에 대한 이해를 돕기 위해 의학 교육에서의 성취 감정에 대한 더 많은 연구를 요청했습니다.

Our purpose in this article was to introduce medical education researchers to a contemporary theory of achievement emotions and provide a brief overview of how this work might inform the theory, research, and practice of medical education. To achieve this objective, we detailed one of the leading contemporary theories of achievement emotions, control-value theory (Pekrun 2006Pekrun R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educ Psychol Rev 2006; 18: 315341[Crossref][Web of Science ®][Google Scholar]), and distinguished between different types of achievement emotions, their proximal causes, and their consequences for motivation, learning, and performance. We also suggested several important educational implications, including the notion that instructors can and should create learning environments that foster a high degree of control and value for students. Finally, we ended with a call for more research on achievement emotions in medical education to facilitate our understanding of how emotions impact important educational outcomes.


이 분야를 발전시키기 위해 우리는 정서와 같은 "인지력이없는"구조에 대한 진지한 고려가 포함 된 이론적 기반의 엄격한 연구 의제가 필요할 때가되었다고 생각합니다.

To move the field forward, we believe that the time has come for rigorous, theory-based research agendas that include serious consideration of “non-cognitive” constructs like emotion.





 2012;34(3):240-4. doi: 10.3109/0142159X.2012.643265.

Can achievement emotions be used to better understand motivationlearning, and performancein medical education?

Author information

1
Department of Preventive Medicine and Biometrics, Uniformed Services University of the Health Sciences, Bethesda, MD 20814-4712, USA. anthony.artino@usuhs.mil

Abstract

In this article, we consider an emergent theory of human emotion. The overarching purpose of the article is to introduce medical educationresearchers to the notion of achievement emotions and provide a brief overview of how this work can inform the theory, research, and practice of medical education. First, we define achievement emotions and describe one of the leading contemporary theories of achievementemotions, control-value theory (Pekrun R. 2006. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educ Psychol Rev 18:315-341.). Next, we distinguish between different types of achievement emotions, their proximal causes, and their consequences for motivationlearning, and performance, and we discuss several implications for educational practice. Finally, we end with a call for more research on achievement emotions in medical education to facilitate our understanding of emotions and their impact on important educational outcomes.

PMID:
 
22364457
 
DOI:
 
10.3109/0142159X.2012.643265

[Indexed for MEDLINE]

의학교육에서 e-learning의 현재와 미래(MEd Teach, 2014)

Contemporary and future eLearning trends in medical education

IAIN DOHERTY1, NEEL SHARMA2 & DARREN HARBUTT1

1The University of Hong Kong, Hong Kong, 2National University Hospital, Singapore





도입

Introduction 


다음은 MOOC (Massive Open Online Courses), 태블릿 컴퓨팅 및 학습 분석의 세 가지 온라인 학습 동향에 대한 고려 사항이며, 이러한 추세가 Ellaway가 의료 온라인 학습의 통합 기간으로 보는 것을 방해할지 여부에 대한 논의입니다 (Ellaway 2011 ). 우리가 고려하는 e 러닝 혁신은 NMC Horizon Report : 기술이 단기, 중기 및 장기간의 교육에 미치는 영향을 보여주는 잘 알려진 일련의 간행물 인 2013 Higher Education Edition에서 가져온 것입니다. 2013 년 보고서는 MOOC, 태블릿 컴퓨팅 및 학습 분석이 잠재적으로 교육에 중요한 영향을 미치고 있음을 나타냅니다 (Johnson et al., 2013). 우리의 견해로 볼 때, 각 추세는 의학 교육에 변화를 가져올 잠재력을 가지고 있습니다. 그러나 세 가지 추세가 함께 나타나면 의학 교육에서 중요한 변화를 위한 하나의 힘이 될 수 있습니다. 우리는이 아이디어를 탐색하고이 논문의 마지막 부분에서 이슈를 비판적으로 논의 할 것입니다.

What follows is a consideration of three current eLearning trends – Massive Open Online Courses (MOOCs), tablet computing, and learning analytics – and a discussion as to whether these trends might disrupt what Ellaway sees as a period of consolidation in medical eLearning (Ellaway 2011). The eLearning innovations that we consider are taken from the NMC Horizon Report: 2013 Higher Education Edition, a wellknown series of publications which looks at how technologies might impact on education in the short, medium, and long term. The 2013 report identifies MOOCs, tablet computing, and learning analytics as potentially having a significant impact on education (Johnson et al. 2013). In our view, each trend has the potential to bring about changes in medical education. However, if the three trends come together, then there may be a single force for change that could be significant for medical education. We will explore this idea and critically discuss the issues in the final section of the paper. 



무크

MOOCs 


MOOC는 누구나 인터넷 연결이 되어있다면, 얼굴을 마주 보거나 blended한 상태가 아니라도, 모듈을 통해 진행한다는 의미에서 코스에 액세스 할 수있는 수천 명의 학생 등록면에서 엄청납니다. 가장 잘 알려진 MOOC는 American Ivy League Universities를 통해 제공되는 xMOOC (Knox 외. 2012, Rodriguez 2012)이며, Coursera와 edX는 xMOOC 플랫폼의 가장 잘 알려진 두 가지 예입니다. 'xMOOCs'의 'x'는 탁월함, 외부 구제 활동, 탐사, 실험 및 확장을 의미하는 것으로 이해합니다 (Rodrick & Sun 2012). Coursera는 의료 분야 MOOC의 사례로서 현재 'Clinical Problem Solving'(캘리포니아 대학 2013)과 함께 'Introductory Human Physiology'(Duke University 2013)를 제공하고 edX는 'Clinical Trials Fundamentals of Clinical Trials'(2013 년 Harvard University 2013)를 제공하고 있습니다. ).

A MOOC is massive in terms of student enrolments which number in the thousands, open in terms of access to anyone with an Internet connection, online as opposed to face-to-face or blended, and a course in the sense that students progress through modules in order to complete a body of learning. The best-known MOOCs are the xMOOCs (Knox et al. 2012; Rodriguez 2012) offered through the American Ivy League Universities, with Coursera and edX being the two most wellknown examples of xMOOC platforms. The ‘‘x’’ in ‘‘xMOOCs’’ is understood to refer to excellence, external outreach, exploration, experimentation, and expansion (Rodrick & Sun 2012). As examples of MOOCs in the medical field Coursera is currently offering ‘Introductory Human Physiology’ (Duke University 2013) along with ‘Clinical Problem Solving’ (University of California 2013), while edX is offering ‘Fundamentals of Clinical Trials’ (Harvard University 2013). 


주류 의과 대학은 MOOC를 그들의 교육의 일환으로 사용할 수 있습니다. 각 학교는 자체적으로 의학 교과 과정 전반에 걸쳐 공통적인 내용에 대해 학습 자료를 제작하는 대신, 캠퍼스에서는 active learning을 촉진하면서, 기존의 "모범적인" MOOC의 학습 자료를 활용할 수 있습니다. MOOC 콘텐츠에 대한 액세스에는 다른 의미가 있습니다. 예를 들어, 학생들은 병리학과 같은 학부 교육에서 일반적으로 다루지 않는 영역의 콘텐츠에 액세스 할 수 있습니다. 학생들은 전 세계 주요 의사의 지식과 전문 지식을 활용하여 특정 분야에 대한 관점을 확보 할 수 있습니다. 예를 들어, 홍콩 대학 (University of Hong Kong)은 SARS와 같은 전염병의 진원지에있는 전문가들과 함께 곧 전염병에 관한 코스를 제공 할 것입니다. MOOC는 잠재적으로 선택 과목에서 원하는 로케일을 방문 할 수없는 학생에게도 도움이 될 수 있습니다. 그러한 기관에서 제공하는 MOOC를 착수함으로써 교육 혜택을 얻을 수 있기 때문입니다.

Mainstream medical schools may make use of MOOCs as part of their teaching. Rather than each school producing learning materials that are common across medical curriculums, schools could draw on ‘‘exemplar’’ learning materials from MOOCs whilst facilitating active learning on campus. Access to the MOOC content has other implications. For example, students might access content in areas that are not commonly covered in undergraduate education such as pathology. Students could access knowledge and expertise from leading doctors across the globe gaining their perspective on their particular discipline areas. For example, The University of Hong Kong will soon be offering a course on Epidemics with leading experts who have been at the epicentre of epidemics such as SARS. MOOCs can also potentially benefit those students unable to visit desired locales on electives as they may gain educational benefit from undertaking MOOCs delivered by those institutions. 


MOOC가 의학 교육을보다 근본적으로 변화시킬 수있는 잠재력이 있습니다. 예를 들어, MOOCs는 의학 교육으로 인정 될 수 있으며, 어떤 연구자들은 MOOC (Harder 2013)를 통해 필수 자격을 얻는 premed 학생을 이미 예상합니다. 의과 대학은 현재 MOOC에 대한 학점을 제공하지 않지만 미국 교육 협의회에서는 4 개의 Coursera 과정 (Harder 2013)을 인증하여 학생들이 고등 교육 기관에서 인정하는 학점을 얻을 수 있도록합니다. 동시에, Coursera는 MOOCs가 CME (Continuing Medical Education) (Harder 2013)를 고려할 수 있다고 발표했으며 이로 인해 CME에 유연하게 액세스하려는 바쁜 의사를위한 가능성을 열어줍니다. 이것은 특정 지역의 의사들이 잠재적으로 전 세계의 의사들과 함께 공부할 것이라는 점에서 전통적인 CME와는 다를 것입니다.

There is the potential for MOOCs to more radically transform medical education. For example, MOOCs might be credited for medical education and one commentator already envisages pre-med students gaining the required qualifications through MOOCs (Harder 2013). Whilst medical schools are not currently offering academic credits for MOOCs, the American Council on Education certified four Coursera courses (Harder 2013), so that students can gain credits recognized by institutes of higher education. At the same time, Coursera has announced that MOOCs can count for Continuing Medical Education (CME) (Harder 2013) and this opens up learning possibilities for busy doctors who want flexible access to CME. This would differ from traditional CME in that doctors in any particular location would potentially be studying with doctors from around the world. 






태블릿 컴퓨팅

Tablet computing 


태블릿의 출현으로 Android 기기와 함께 iPad가 탄생했습니다. 이제는 한 저자가 'agile device'라고 부르는 새로운 모바일 온라인 학습 공간 (Wilson 2012)이 등장합니다. 배터리 수명이 길고 비교적 큰 화면, 대용량 저장 장치 및 빠른 프로세서 속도를 갖춘 새로운 민첩한 장치의 출현으로 의료 교육에 새로운 가능성이 생겨났습니다. 예를 들어, 콘텐츠 및 공동 작업 가능성이 풍부한 전자식/상호작용형 텍스트 북의 진화를 보았습니다 (Educause Learning Initiative 2012). Harrison 's Principles (Inkling 2013)과 같은 Inkling의 의료 서적은 iPad 용으로 특별히 제작 된 전자 서적의 좋은 예입니다.

With the advent of tablets – the iPad along with Android devices – we now see a new mobile eLearning space characterized by what one author has called ‘‘agile devices’’ (Wilson 2012). The advent of these new agile devices with their long battery life, relatively large screens, large storage capacity and fast processor speeds brings new possibilities to medical education. For example, we have seen the evolution of the electronic/interactive text book that is rich with content and collaboration possibilities (Educause Learning Initiative 2012). Inkling’s medical books such as Harrison’s Principles (Inkling 2013) provide a good example of electronic books created specifically for the iPad. 


학생들은 이제 iTunes Store 및 Android 마켓 플레이스에서 3D 대화 형 해부학 모델을 사용하여 해부학을 배울 수 있습니다. 학생들은 ICD 10의 모바일 버전을 사용하고 모바일 응용 프로그램을 사용하여 치료 시점에서 모바일 장치에 환자 기록을 입력하고 유지할 수 있습니다. 모바일 장치는 언제 어디서나 협업 및 통신 가능성을 제공합니다. 메모를하고 오디오를 녹음하는 태블릿 응용 프로그램 인 Evernote와 같은 간단한 응용 프로그램은 학생들이 메시징 응용 프로그램에서 Skype에 이르는 통신 도구가 비디오 및 음성 상호 작용을 허용하면서 정보를 공유 할 수있게합니다.

Students can now learn anatomy using 3D interactive anatomy models available through the iTunes Store and the Android Market Place. Students can make use of the mobile version of the ICD 10 and use mobile applications to enter and maintain patient records on mobile devices at the point of care. Mobile devices also offer anywhere, anytime collaboration and communication possibilities. Simple applications such as Evernote – a tablet application for taking notes and recording audio – allow students to share information whilst communication tools ranging from messaging applications to Skype allow for video and voice interactions. 





학습 분석

Learning analytics 


Learning Management System Logs와 같은 학습 분석은 학생 학습에 대한 풍부한 정보를 분석하는 과정입니다. - 이는 기관이 ​​학생의 학습 경험에 대한 정보에 입각 한 조정을 할 수있게합니다. 이것은 단순히 개별 학생의 성과에 대해서 뿐만 아니라, 교육자가 교수, 학습 및 평가의 과정을 인식하는 방법에 대한 함축적 의미를 가지고 있습니다. 예를 들어, 개인화 된 학습 관리 시스템 인터페이스를 통해 실시간으로 정보를 제공함으로써 학습 분석은 교육에 대한 즉각적인 조정을 지원할 수 있으며,보다 유동적이며 변화하기 쉬운 커리큘럼 모델을 제안합니다.

Learning analytics is a process of analysing the wealth of information about student learning – e.g. Learning Management System logs – in a way that would allow institutions to make informed adjustments to a student’s learning experience. This has implications not simply for individual student performance, but for how educators perceive the processes of teaching, learning, and assessment. For example, by offering information in real time through a personalised learning management system interface (Mckay et al. 2012; University of Michigan 2013), learning analytics can support immediate adjustments to teaching, suggesting a model of curriculum that is more fluid and open to change. 


학습 분석은 의과 대학을 여행하는 동안 의대생을 더 잘 지원할 수있는 가능성을 제시합니다.

  • 교사는 학습 분석을 사용하여 학생의 진도를 모니터링하고 

  • 학생들은 대화 형 대시보드를 사용하여 자신의 진도를 모니터링 할 수 있습니다. 

  • 동시에 교육 기관은 학습 분석을 사용하여 커리큘럼 디자인 및 교육 관행을 알리기 위해 데이터를 수집 할 수 있습니다. 예를 들어 데이터 분석을 통해 실적이 우수한 학생과 실적이 저조한 학생의 특정 패턴을 알 수 있습니다. 

  • 중요한 "순간"이 발견되면 데이터가 해석 될 수 있으며 자동 경고 및 권장 사항과 같은 솔루션을 적용하여 상황을 해결할 수 있습니다.

Learning analytics point to the potential for better supporting medical students during their journey through medical school. Teachers can make use of learning analytics to monitor student progress and students can use interactive dashboards to monitor their own progress. At the same time, institutions can use learning analytics to gather data to inform curriculum design and teaching practices. For example, analysis of data may reveal particular patterns on the part of students who perform well and on the part of those who perform poorly. If critical ‘‘moments’’ are discovered then the data can be interpreted and solutions such as automated alerts and recommendations can be put in place to remedy the situation. 



변화의 힘

A force for change 


MOOCs, 민첩한 장치 및 학습 분석은 교육 및 학습 분야에 진입하고 있습니다. 각 추세가 의학 교육에 독립적으로 영향을 미칠 수 있지만 MOOC, 민첩한 장치 및 학습 분석의 결합은 의학 교육의 큰 변화로 이어질 조건을 만들 수 있습니다. 다음은 칸 아카데미의 설립자 인 찰스 프로버 (Prober & Heath 2012)의 샐먼 칸 (Salman Khan)이 발표 한 논문을 바탕으로, 세 가지 힘을 모두 포함하는 의학 교육이 어떻게 생겼는지를 보여줍니다. 한 과목의 컨텐츠는 매주 제공되는 비디오 강연 및 독서를 제공하는 MOOC에서 유래 할 수 있습니다. 이 콘텐츠는 어디서나 언제든지 콘텐츠에 액세스 할 수있는 모바일 친화적 인 플랫폼을 통해 제공 될 수 있습니다. 학생들은 미디어가 풍부한 디지털 교과서 및 대화 형 모델을 제공받을 수 있습니다. 이것은 언론 및 학생의 언제 어디서나 서로 협력 할 수있는 능력면에서 학습 경험을 향상시킬 것입니다.

MOOCs, agile devices, and learning analytics are entering the teaching and learning arena. While each trend may impact independently on medical education, the combination of MOOCs, agile devices, and learning analytics may create conditions that lead to greater changes in medical education. The following scenario – based partly on a paper by Salman Khan, founder of the Khan Academy and Dr. Charles Prober (Prober & Heath 2012) – illustrates what medical education that embraces all three forces for change might look like. The content for a subject area could be sourced from MOOCs which invariably provide weekly video lectures and readings. This content could be delivered through a mobile friendly platform which would provide students with anywhere, anytime access to the content. Students could be provided with media rich digital textbooks and interactive models. This would enhance the learning experience both in terms of the media and in terms of students’ ability to collaborate with one another anywhere, anytime. 


콘텐츠, 독서 및 활동은 학생 진도에 대한 데이터를 수집하는 학습 관리 시스템과 같은 온라인 포털에서 순서가 매겨 질 수 있습니다. 학습 관리 시스템은 학생들이 뒤쳐져 있는 경우 경고 신호를 포함하여 학생들의 진도에 대한 '조언'을 생성 할 수 있으며 학생의 학습을 장려하는 동기 부여 메시지를 전달할 수 있습니다. 이 시나리오에서 선생님은 예전에 콘텐츠 전달에 전념했던 시간에 학생들과의 사례를 통해 학습을 통해 학생들을 참여시키는 데 시간을 할애하기 위해 콘텐츠 전달에서 벗어났습니다. 또한 학생들은 자신의 후기 직업에 대한 전문성을 고려하여 특정 주제 영역을보다 깊이있게 추구 할 수있는 개별 학습 경로를 제공받을 수 있습니다 (Prober & Heath 2012).

Content, readings, and activities could be sequenced in an online portal such as a learning management system that would capture data about student progress. The learning management system could generate ‘‘advice’’ for students on their progress including warning signals should students fall behind and motivational messages to encourage students in their studies. In this scenario, teachers would be freed from content delivery to spend time engaging students in deeper learning through, for example, working through cases with students in the time that was previously dedicated to content delivery. Additionally students could be provided with individual learning pathways allowing them to pursue certain subject areas in greater depth with a view to their specialisations in their later careers (Prober & Heath 2012). 


교육적으로, 우리는 성인 학습 원리 (Knowles 1987)의 이상적인 관점에서 생각할 수 있으며 언제 어디서나 배우는 자율적이고 자기 주도적 인 학습자를 상상할 수 있습니다. 교사는 de-centered되며, 교사의 진정한 가치는 학생들이 수업 시간에보다 깊은 학습 활동에 참여하도록하는 것입니다. 우리는 오늘날 의료 분야가 기술 분야에 대한 지식과 환자를 관리하는 의사 측면에서 기술에 크게 의존하고 있음을 알고 있습니다. 의대생의 초기에 테크놀로지를 경험하면서 장래에 technology-supported 환경에서 환자 진료를 준비하는 데 도움이됩니다.

Pedagogically, we can think in terms of the ideal of adult learning principles (Knowles 1987) and envisage autonomous, self-directed learners learning anywhere and at any time. The teacher would be de-centred and the real value added of the teacher would be engaging students in deeper learning activities during class time. We know that healthcare today relies heavily on technology both in terms of doctors remaining current with knowledge in their field and in terms of doctors managing their patients. Exposure to technologies early on in medical students’ careers would help to prepare them for technology supported patient care in the future. 




고찰

Discussion 


MOOCs에 대한 현재 연구는 교육 및 학습 과제를 지적합니다 (Mackness et al. 2010). 

  • MOOC는 비디오 강좌 및 객관식 연습에 대한 과도한 의존으로 인해 교육적으로 결함이있는 것으로 인식되었습니다 (Daniel 2012). 

  • 또한 의학 커리큘럼 측면에서, 이미 공개되어있는 교육 자료에 비해 실질적인 이점이 있는지는 아직 명확하지 않습니다. 

  • 교사가 MOOC에서 교사 대 학생 비율 (일반적으로 1에서 수천)을 감안할 때 교사가 학습을 통해 학생들을 지원하는 것은 불가능하기에, 학생은 자율적이고 자기 주도적 인 학습자 여야합니다. 

  • 어떻게 수천 명의 학생들에게 의미있는 평가를 제공할 수 있을 것인가는 여전히 ​​명확한 답이 없는 질문입니다.

Current research on MOOCs points to teaching and learning challenges (Mackness et al. 2010). MOOCs have been perceived to be pedagogically deficient with an over reliance on video lectures and multiple-choice exercises (Daniel 2012). In terms of the medical curriculum, it is not yet clear that they offer any real advantage over open educational resources that might be integrated into the curriculum. Given the teacher to student ratio in MOOCs – typically one to thousands – it is impossible for teachers to support students with their learning and students must therefore be autonomous and self-directed learners. The question of how to deliver meaningful assessments to thousands of students – each of whom must be unequivocally identified – is still a question in search of a rigorous answer. 


MOOCs에 대한 매우 높은 중퇴율이 의미하는 바에 대해서는 대답 할 수없는 의문이 있습니다. 전형적으로 등록 된 학생의 10 % 미만이 특정 MOOC를 마치기 때문에, 과정을 수강 할 의사가 있는 등록 된 학생의 비율을 결정하기 위해 합류 할 때 참가자의 의도를 이해해야합니다. 교육 기관과 고용주가 MOOC에 궁극적으로 자리 매김 할 가치를 공식적인 학습 목적을 위해 취한 것을 아직 보지 못했습니다. 마지막으로, MOOC가 지속 가능한 비즈니스 모델을 갖고 있다는 사실은 확실하지 않습니다. 이는 UEFAity (Usher 2013)의 첫 번째 MOOC 플랫폼 중 하나가 최근에 사라짐에 따라 입증 된 사실입니다.

There are unanswered questions concerning what the very high dropout rate for MOOCs might mean. While typically less than 10% of the enrolled students finish any particular MOOC we need to understand participants’ intentions when joining to determine the percentage of enrolled students who had the intention of completing the course. We have yet to see the value educational institutions and employers will ultimately place upon MOOCs, taken for formal learning purposes. Finally, it is not clear that MOOCs have sustainable business models, a fact evidenced by the recent demise of one of the first MOOC platforms, Udacity (Usher 2013). 


Agile device를 사용한 어플리케이션에 대한 연구는 교육 및 학습을 위해 진정으로 혁신적인 어플리케이션이 거의 없음을 나타냅니다 (Murray & Olcese 2011). (별다른 혁신 없이) 그들은 학생들이 내용을 읽고 선다형 문제에 답하는 학생들과 함께 행동주의적 훈련과 연습 교육에 기반을두고 있습니다. 교수 및 학습을 위한 agile device에 대한 의존도는 학생들이 다양한 배경을 가지고 있으며 모든 학생들이 장치를 구입할 수 있는 것은 아니므로 형평성 문제를 제기합니다. 애플과 안드로이드 같은 다른 장치를 소유 한 학생들이 실제 학생들에게 접근 할 수있는 응용 프로그램과 서비스를 찾는데 어려움을 겪을 수도 있습니다.

Research into applications for agile devices suggests that very few of the applications are truly innovative for teaching and learning (Murray & Olcese 2011). Rather they are grounded in a behaviourist drill and practice pedagogy with students reading content and answering multiple-choice questions. Reliance on agile devices for teaching and learning also raises equity questions as students come from diverse backgrounds and not all students will be able to afford a device. There is also the practical question of students owning different devices – Apple and Android – which can lead to challenges with finding applications and services that will be accessible to all students. 


학습분석을 이용하면 학생들을 지원할 잠재력이 있지만, 데이터가 의미있으려면 해석이 필요하다는 것을 알아야합니다. 데이터 분석에는 많은 시간과 노력이 필요하며 이는 자원에 영향을 미칩니다. 물론 특정 데이터 세트에 대해 여러 해석이 있습니다. 예를 들어, 특정 커리큘럼 영역에서 학생들이 어려움을 겪고 있음을 보여주는 데이터는 커리큘럼의 문제로 해석되거나 커리큘럼에 대한 학생들의 접근 방식과 관련이있는 것으로 해석 될 수 있습니다. 아니면, 두 영역 모두에 문제가 있을 수 있습니다. 해석에 동의하더라도 인식 된 문제를 해결하기 위해 커리큘럼을 변경할 의지가 있어야합니다. 학습 분석은 교사의 민감한 관찰과 이해를 대체하는 것으로 볼 수 없습니다. 즉, 우리는 '자동화 된'교육의 위험성에 대해 생각해야합니다. 마지막으로, 데이터 사용에 대한 우려와 함께 데이터 보안에 대한 우려가 자연스럽게 발생합니다.

While learning analytics has the potential to support students, we have to be aware that data requires interpretation before it becomes meaningful. Analysing data takes a lot of time and effort and this has resource implications. There are of course multiple interpretations for any particular data set. For example, the fact that data showing students struggling with a particular curriculum area can be interpreted as a problem with the curriculum or as having something to do with the students approach to the curriculum. Alternatively the issue may lie in both areas. Even if the interpretation is agreed upon there has to be a willingness to make changes to the curriculum to address a perceived problem. Learning analytics cannot be seen as a replacement for the sensitive observation and understanding of the teacher. In other words, we must think about the dangers of ‘‘automated’’ teaching. Finally, concerns over data security along with concerns over the use of the data will naturally arise. 





Conclusion 

이 백서는 eLearning이 의학 교육에 영향을 줄 수있는 몇 가지 방법을 제시했습니다. 우리는 극복해야 할 몇 가지 이슈가 있고 교육적 관점에서 볼 때 MOOC는 특별히 혁신적이지 않다는 점을 지적했습니다. 그러나, 다시 상상 한 의학 커리큘럼이 어떻게 생겼는지에 대한 비전이 있습니다 (Prober & Khan 2013). 이 re-imagining은 기술에 그치지 않고 의학 교육과 학생 학습에 관한 교육학적 관점에 있습니다. 이 관점은 능동적 학습, 학생 참여 및 학생 동기 부여의 원칙을 포용하는 동시에, 교사를 de-centering 합니다. 따라서 현재의 eLearning 추세는 변화를 가능하게하는 상황을 제공하지만 교육자가 교과 과정 변경 서비스에서 기술을 활용할 것을 요구합니다.


This paper has presented some ways in which eLearning might impact on medical education. We noted that there are some issues to be overcome and that from a pedagogical perspective MOOCs are not particularly innovative. However, there is a vision for what a re-imagined medical curriculum might look like (Prober & Khan 2013). This re-imagining rests not so much on the technologies but on a pedagogical perspective about medical teaching and student learning. The perspective embraces principles of active learning, student engagement and student motivation while at the same time de-centring the teacher. Thus, whilst current eLearning trends provide enabling circumstances for change, it will require a commitment on the part of educators to utilize technologies in the service of curriculum change. 



 2015 Jan;37(1):1-3. doi: 10.3109/0142159X.2014.947925. Epub 2014 Aug 26.

Contemporary and future eLearning trends in medical education.

Author information

1
The University of Hong Kong , Hong Kong .
PMID:
 
25154534
 
DOI:
 
10.3109/0142159X.2014.947925
[Indexed for MEDLINE]


MOOC은 의학교육의 미래인가? (BMJ, 2013)

Are MOOCs the future of medical education?

Ben Harder looks at Massive Open Online Courses and asks whether they will change the future

of medical education

Ben Harder General manager, Health Rankings, US News & World Report





Carol Aschenbrener는 최근 캘리포니아 대학 샌프란시스코 (UCSF) 의과 대학에서 높은 평가를 얻은 교수가 강의 한 과정인 임상 문제 해결 (Clinical Problem Solving)을 받았습니다. 워싱턴 DC에 사는 Aschenbrener는 직접 강의에 참석하지 않았습니다. 실제로, 28,000 명의 학생이 등록 했음에도 불구하고, 강당에는 강당이 없었습니다. Teeming 과정은 전적으로 온라인으로 진행되었습니다.

Carol Aschenbrener recently took Clinical Problem Solving, a course taught by a highly regarded professor at the University of California-San Francisco (UCSF) School of Medicine. Aschenbrener, who lives in the Washington, DC, area, didn’t attend lectures in person. In fact, the class had no lecture hall, even though some 28 000 students had enrolled. The teeming course was taught entirely online. 


임상 문제 해결 (Clinical Problem Solving)은 강의 과정이 다양한 학문 분야에서 수행되는 방식을 동시에 약속하고 위협하는 "대규모 오픈 온라인 강좌"또는 MOOC로 알려진 새로운 유형의 수업 중 하나입니다. 지난 몇 년 동안,이 무료 과정은 세계 곳곳에서 그리고 생각할 수있는 거의 모든 주제에서 수십만 명의 학생들을 끌어 들였습니다. (Aschenbrener가 이수한 첫 번째 MOOC는 문학 강좌였다.) Clerical Problem Solving을 제공하는 Coursera, MIT (Harvard and Massachusetts Institute of Technology)가 공동으로 착수 한 EdX와 같은 온라인 교육 플랫폼은 선도 대학들과 협력했습니다 MOOCs 개발 등록 된 학생들은 미리 녹음 된 강의를보고 온라인 퀴즈 및 채팅 포럼을 사용하여 진행 상황을 평가하고 동급생과 원격으로 공동 작업합니다.

Clinical Problem Solving is one of a new breed of classes known as “massive open online courses” or MOOCs, which simultaneously promise and threaten to upend the way lecture courses are conducted across a range of academic disciplines. In the past few years, these free courses have attracted hundreds of thousands of students from every corner of the world and on nearly every conceivable subject. (The first MOOC that Aschenbrener took was on literature.) Online educational platforms such as Coursera,1 which offers Clinical Problem Solving, and EdX, an undertaking launched jointly by Harvard and Massachusetts Institute of Technology (MIT), have teamed up with leading universities to develop MOOCs. Enrolled students watch prerecorded lectures and use online quizzes and chat forums to assess their progress and collaborate remotely with classmates. 



게임 체인저

Game changer 


미래의 의사에게 MOOC의 부상은 교육적 게임 체인저가 될 수 있습니다. 의학교육자들은 MOOC 및 기타 온라인 코스웨어가 의료 교육에 어떻게 통합 될 수 있는지 적극적으로 연구하고 있습니다. 그들은 강의 기반 과정이 온라인이든 직접이든 상관없이 의학교육의 일부만을 제공 할 수 있다는 것에 동의합니다. 그러나 일부 사람들은 이러한 맥락에서 온라인 강의의 중요한 역할을 예견하고 있습니다. "온라인 콘텐츠 전달은 의과 대학에서 약 5 년 내에 일상적인 것이 될 것"이라고 UCSF 의과 대학 교육 담당 부학장 인 캐서린 루시 (Catherine R Lucey)는 말한다. 캐서린 루시는 28,000 명의 MOOC를 가르치고 대학의 UME, GME, CME를 감독하고 있다. 의대생들은 웹 기반 코스를 택한 것에 대한 크레딧을 tick off할 수는 없지만, 온라인으로 점차 학점 이수를 완성 할 수 있다는 사실을 알게 될 것이라고 그녀는 말합니다.

For future doctors, the rise of MOOCs could be an educational game changer—or not. Medical educators are actively exploring how MOOCs and other online courseware could be incorporated into medical training. They agree that lecture based courses, whether online or in person, can provide only part of a doctor’s education. Yet some foresee an important role for online lectures within that context. “Online content delivery will be commonplace within about five years in medical school,” predicts Catherine R Lucey, who taught the 28 000-student MOOC and who, as vice dean of education at UCSF’s medical school, oversees the university’s undergraduate, graduate, and continuing medical education (CME). Medical students, she says, might never be able to tick off a credit for taking an exclusively web based course, but before and after medical school they may find they can increasingly complete requirements online. 


지금까지 MOOC를위한 의학 학점이나 예비 프로그램은 학점을 제공 한 것으로 보이지 않습니다. 그러나 2 월 상순에 미국 교육위원회 (Council on Education)는 4 개의 Coursera 과정을 인증했습니다. 따라서 이 위원회는 대학들이 학업을 마치는 학생들에게 학부를 인정할 것을 권장합니다. 며칠 후, Coursera는 CME를 찾는 학생들이 적당한 비용을 지불하고 신원 확인을위한 선택 과정에 제출하는 한 Clinical Problem Solving을 포함한 다른 두 코스가 CME로 간주 될 수 있다고 발표했습니다. 이 두 코스는 CME 크레딧을받을 수있는 최초의 MOOC 인 것으로 보입니다.

To date, no medical school or premed program seems to have offered academic credit for a MOOC. But in early February, the American Council on Education certified four Coursera courses, meaning that the council now encourages universities to grant undergraduate credit to students who complete them. Just days later, Coursera announced that two other courses, including Clinical Problem Solving, could be counted as CME, as long as students seeking CME pay a modest fee and submit to an optional process for identity verification. These two courses seem to be the first MOOCs eligible for CME credit. 


Aschenbrener의 경우, 학점을 따는 것은 부수적인 것이다. 그녀는 미국 의과 대학 협회의 최고 의학 교육 책임자로 잘 지 냈습니다. 협회는 141 명의 미국 의과 대학 및 약 400 명의 부속 병원을 대표하며, 미국 의대생 및 거주자가 예술을 배우는 바로 그 기관입니다. 그러나 그녀의 UCSF 교수와 마찬가지로, Aschenbrener는 의학 교육의 일부가 웹으로 마이그레이션 될 수 있다고 생각합니다. 의과 대학은 강의 형식 수업에 참여하는 학생들에게서 점차 멀어지고 있으며, 상호 작용 중심의 학습으로 교실 시간을 조종하기로 결정했습니다. 일부 학교는 학생들이 강의실에 나타나기 전에 미리 녹화 된 강의를 온라인으로 시청하는 "거꾸로"또는 "뒤집힌 강의실"모델을 도입했습니다.

In Aschenbrener’s case, getting credit is beside the point. She’s gainfully employed as the chief medical education officer of the Association of American Medical Colleges. The association represents 141 accredited US medical schools and about 400 affiliated teaching hospitals, the very institutions where US medical students and residents learn their art. Yet like her UCSF professor, Aschenbrener believes that parts of their medical education may be poised to migrate to the web. Medical schools, she notes, are increasingly shifting away from students attending lecture-format classes, opting instead to steer classroom time toward interaction driven learning. Some schools have introduced an “inverted” or “flipped classroom” model in which students watch prerecorded lectures online in their own time before showing up in class. 


왜 굳이 강의로 시간을 낭비하나?

Why waste time at a lecture? 


뉴 잉글랜드 저널 오브 메디신 (New England Journal of Medicine)의 2012 년 에세이는 의학 교육에서 뒤집힌 교실 모델의 사용을 진심으로지지했습니다. "완벽한 비디오 전달 플랫폼을 갖춘 시대에 온라인 강의에서 귀중한 수업 시간을 낭비하는 이유는 무엇입니까?"라고 Stanford School of Education의 수석 부교수 인 Charles G Prober와 Business 교수 인 Chip Heath는 말했습니다. 이 두 사람은 미공개 스탠 포드 (Stanford) 자료를 포함한 몇 가지 증거를 인용하여 Flipped classes이 학생들의 참여를 높이고 자료의 흡수를 향상시킬 것이라고 제안했습니다.

A 2012 essay in the New England Journal of Medicine heartily endorsed the use of the flipped classroom model in medical education. “In an era with a perfect video-delivery platform [online], why would anyone waste precious class time on a lecture?” wrote Charles G Prober, Stanford School of Medicine’s senior associate dean of education, and Chip Heath, business professor and one of the authors of “Made to Stick.”2 The pair cited some evidence, including unpublished Stanford data,  suggesting that flipped classes engender greater student engagement and better absorption of material. 


그러나 flipped class는 MOOC와 같이 온라인에서만 진행되는 코스와 같지 않다. 의학교육자들은 현대 의과 대학 교과 과정의 거의 모든 과정이 상호 작용하는 학습 경험을 바탕으로 구축되었으며, 일부는 모의 환자와 같은 경험을 통해 온라인으로 완벽하게 재현 할 수 없다는 점을 재빨리 강조합니다. 이러한 이유로 전문가들은 일반적으로 현재의 캠퍼스에서 의대생 교육을 중단하지 않을 것으로 예상합니다. Prober는 일부 학생들은 온라인에서 핵심 지식을 쉽게 이용할 수있게되어 의과 대학을 졸업하는데 4년보다 적게 걸릴 수 있다고 말합니다. 그러나 그렇다고 해도 학생들은 여전히 실제적인 경험이 필요합니다.

But a flipped classroom is not the same thing as a course conducted exclusively online, such as a MOOC. Medical educators are quick to emphasize that nearly all courses in modern medical school curriculums are built around interactive learning experiences, some of which—such as mock-patient encounters—are impossible to fully reproduce online. For that reason, experts generally don’t foresee a departure from today’s campus based training of medical students. Some students, Prober says, might be able to power through medical school in fewer than four years, thanks to the easy availability of core knowledge online. But they’ll still need the practical experience they can only get in person. 


장기적으로 Lucey는 "의과 대학들은 점차 온라인으로 수강 할 과정을 개설하거나, 다른 학교의 과정을 인정해줘야 할 것"이라고 예측했다.하지만 어느 쪽의 방법 으로든 이러한 뒤집힌 교실 모듈은 각 학생이 등록한 학교에서의 수업 내 상호 작용으로 보강 될 것이다. 

In the long run, Lucey predicts, “medical schools will either develop courses to be taken online or license courses from other schools.” But either way, she says, these flipped classroom modules will be augmented with in-class interactions at the institution where each student is enrolled. 


존스 홉킨스 대학 (Johns Hopkins University)은 오랫동안 뒤집힌 교실 접근법을 실험하기 시작했습니다. 분자 생물 물리학자인 해리 골드버그 (Harry Goldberg)와 그의 교수진 팀이 심혈관 생리학 과정을 수강하는 의대생에게 테이프로 된 강의를 제공 한 지 15 년이되었습니다. 이제 이 대학교는 건강 과학 분야에서 학계의 포괄적 인 온라인 코스 카탈로그 중 하나를 제공합니다. 블룸버그 공중 보건 대학을 통해서만 200,000 명이 넘는 학생들이 온라인 수업에 등록했습니다. 지구상에서 멀리 떨어져 살면서 일하면서 수천 명이 학점을 얻는다.

Johns Hopkins University long ago began experimenting with the flipped classroom approach. It’s been 15 years since molecular biophysicist Harry Goldberg and a team of his faculty colleagues made taped lectures available to medical students taking a course on cardiovascular physiology. Now, the university offers one of academia’s more comprehensive online course catalogs in the health sciences. Through the university’s Bloomberg School of Public Health alone, more than 200 000 students have enrolled in online classes. Several thousand have taken them for credit, in some cases while living and working in farflung corners of the globe. 



MOOCs의 규모는 얼마나됩니까?

How big will MOOCs get? 


현재 대학의 의대의 부학장 인 Goldberg는 온라인 학습에 대한 기회를 보았지만, 내일의 의사가 어떻게 배울지에 대대적 인 변화를 일으킬 것인지에 대해서는 회의적이었습니다. "MOOC는 의학 교육에서 중요한 역할을합니다. "나는 그 역할이 사람들이 바라는 것보다 훨씬 작다고 생각합니다." 이것은 주로 강의 스타일의 교훈 또는 웹에서의 "콘텐츠 전달"이 의학 전반에 걸친 학습 경험의 작은 부분이기 때문입니다. MOOCs에서도 상호 작용은 있지만, 의학 교육이 요구하는 수준 만큼은 아니다.

Although Goldberg, now assistant dean at the university’s School of Medicine, sees promise in online learning, he’s skeptical it will revolutionize how tomorrow’s doctors learn. “MOOCs have a role in medical education,” he says. “I think that role is a lot smaller than people hope it will be.” That’s mainly because lecture-style didactics—or “content delivery,” in the parlance of the web—is a small piece of the overall learning experience in medicine. MOOCs permit interaction but not necessarily to the extent that medical education requires, he says. 


MOOC가 독자적으로 참여할 수있는 곳은 의과대학 준비과정이다. Premed 코스는 종종 강의 기반 및 정보 밀도, MOOC의 강점과 관련된 두 가지 특성으로 학생들은 이해할 때까지 강의를 재생할 수 있습니다. Aschenbrener는 학생들이 수업 시간 대신 MOOC를 통해 사전 준비된 역량 요구 사항을 충족시킬 수 있다고 생각합니다. 예를 들어, 충분한 수학 MOOC를 완수 한 학부 과정은 3 년 내에 학사 학위를 취득 할 수있어 시간과 학비를 절약 할 수 있습니다. (MOOCs는 사전에 준비하지 못한 수업의 수업료를 지출하기 전에 의사를 약화시킬 의사를 도울 수 있습니다.) "궁극적 인 목표는 [교실] 학습을이 학습 스타일로 대체하는 것이 아니라, 더 큰 유연성 "이라고 Aschenbrener는 말합니다. 그녀는 MOOC가 더 많은 저소득층 학생들을 의학에 끌어 들여 의사 부족을 완화하는 데 도움이되기를 희망합니다.

One place where MOOCs might come into their own is in preparing undergraduates for medical school. Premed courses are often lecture based and information dense, two attributes that play to MOOCs’ strengths, as students can replay a lecture until they understand it. Aschenbrener envisions students being able to satisfy some premed competency requirements through MOOCs instead of classroom time. An undergraduate who completed enough mathematics MOOCs, for example, might be able to earn his or her BA in three years, saving himself or herself time and tuition dollars. (MOOCs also might help weed out weaker would-be doctors before they spend money on tuition for premed classes that they might fail to complete.) “The ultimate goal is not to replace [classroom] learning with this style of learning, but to create greater flexibility,” Aschenbrener says. She hopes MOOCs will help draw more low income students to medicine and perhaps ease the shortage of doctors. 


CME

Continuing medical education 


일단 의사가 임상 업무를 수행하기 시작하면, 온라인 코스 (대규모 또는 기타)는 기술을 연마하고 지식을 심화시키는 데 도움이 될 수 있습니다. Prober는 의료 인력의 근무 시간이 제한되어있어 임상 강사가 같은 장소에서 동시에 같은 장소에있는 모든 수강생을 모으는 것이 어려울 수 있으며 매년 운동을 반복해야한다고 Prober는 말합니다. 만약 강의가 온라인으로 진행될 경우 강사는 단순히 레지던트들을 지켜 보면서 이해를 도모 할 수 있습니다.

Once doctors are in clinical practice, online courses (massive or otherwise) could also help them sharpen their skills and deepen their knowledge. With limitations on working hours for medical residents, Prober says, it can be hard for clinical instructors to assemble all their trainees in the same place at the same time—and they have to repeat the exercise year after year. If their talks were online, instructors could simply have residents watch them and complete a quiz to demonstrate comprehension. 


연수생 만이 이득을 얻을 수있는 것은 아닙니다. MOOC는 학생들이 자료를 마스터하는 것을 돕는 퀴즈나 동료 강좌 수강생과의 온라인 토론을 포함하여 상호 작용을 가능하게하기 때문에 그랜드 라운드의 팟캐스트와 같은 기존 CME 형태보다 잠재적으로 훨씬 우수합니다. 환자와의 상호 작용 부족은 병원에서 매일 상호 작용을하기 때문에 중요하지 않습니다. "라고 Prober는 말합니다.

Trainees aren’t the only ones who stand to gain. MOOCs are potentially superior to existing forms of distance CME, such as podcasts of grand rounds, because they enable interaction, including quiz taking, which assists students in mastering the material, and online discussions with fellow course takers. The lack of interaction with patients “isn’t as critical because they are getting the interaction every day in their clinics,” Prober says. 


"CME에서 가능한 MOOC은 무궁무진하다."라고 Coursera의 공동 창립자 인 Andrew Ng는 말합니다. 의과 대학에서 개발하고 졸업생 및 다른 의사에게 CME로 제안한 MOOC는 높은 품질을 유지할 수 있다고 그는 말합니다. 이것은 특히 교수진이 동료 개업의에게 나누어 줄 수있는 독특하고 중요한 발견을 할 수도 있지만 전문 회의 나 grand round에서 기회를 공유하지 못하는 경우입니다. Ng는 이러한 CME 온라인 서비스를 제공하면서 "의료 혁신을 훨씬 더 신속하게 보급 할 수있는 잠재력이 있습니다."라고 말했습니다.

“There’s a huge range in the quality of CME that’s available,” says Andrew Ng, cofounder of Coursera. MOOCs developed by medical schools and offered as CME to their alumni and other doctors are likely to be of high quality, he says. This is particularly the case where a faculty member may have unique and important findings to impart to fellow practitioners—but not enough opportunities at professional meetings or grand rounds to share them. In delivering such CME online, Ng says, “there’s potential for much more rapid dissemination of medical innovation.” 


MOOC는 의학 교육에도 도움이 될 수 있습니다. UCSF의 루시 (Lucey)는 교수진이 다른 교수 기술과 직접적으로 공유 할 수있는 매우 효율적인 방법이라고 생각합니다. "우리는 지금 종이를 쓰거나 회의에 참석함으로써 그렇게합니다."라고 그녀는 말합니다. 그녀의 MOOC 학생 중 약 200 명이 다른 미국 의과 대학의 교수진이었다. 그녀는 이렇게 말합니다. "교수진은이 과정을 통해 (a) MOOC의 작동 방식을 보거나 (b) 다른 사람들이 임상 문제 해결 방법을 가르치는 방법을 알아볼 수 있다고 제안합니다."

MOOCs could also benefit medical pedagogy. Lucey of UCSF sees them as a highly efficient way for faculty to share teaching techniques directly with one other. “We do that now by writing a paper or going to a meeting,” she says. About 200 of her MOOC students have indicated they are faculty members at other US medical schools. That, she says, “suggests [faculty members] are taking this course to either (a) see how a MOOC works, or (b) see how other people teach clinical problem solving.” 


성장의 장애물

Obstacles to growth 


의학에서 MOOC를 광범위하게 사용하기 위해서는 몇 가지 장애물이 있습니다. "가장 큰 장애는 물론 전통입니다."라고 Aschenbrener는 말합니다. 일부 교수진과 학교는 실험에 개방적 일지 모르지만, 추가적인 재정적 압박은 말할 것도 없고, 새로운 교수법에 적응하는 것을 두려워 할 수도 있습니다. 중요한 것은 MOOC가 학생들을 얼마나 잘 교육하고 있는지에 대한 데이터가 제한적이라는 것입니다. Prober는 온라인 강연에 대한 열정에도 불구하고 회의론자들이 효과에 대한 더 많은 증거를 요구하는 것이 적절하다고 말합니다. 그는 또한 다른 교수진과 학교가 주어진 의학 주제를 가르치는 가장 좋은 방법에 대해 다양한 아이디어를 가지고 있다고 지적합니다. 그들을 기관들에 걸쳐 코스웨어를 공유 할 수있게하는 합의에 이르면 도전이 될 것입니다.

Several hurdles stand in the way of wider use of MOOCs in medicine. “The greatest obstacle, of course, is tradition,” says Aschenbrener. Although some faculty and schools will be open to experimenting, others may fear the challenge of adapting to new teaching methods, not to mention possible new financial pressures. Importantly, there are limited data on how well MOOCs educate students. Prober, despite his enthusiasm for online lectures, says it’s appropriate for skeptics to demand more evidence of their effectiveness. He also notes that different faculty members and schools have divergent ideas about the best way to teach any given medical topic. Bringing them to a consensus that enables them to share courseware across institutions will be a challenge. 


그럼에도 불구하고 온라인 과정을 무시해서는 안됩니다. "일하는 전문가에게는 온라인 과정의 편리함이 매력적입니다"라고 Ng는 말합니다. 예를 들어 바쁜 임상의는 예기치 못한 취소로 창에서 20 분의 강의를들을 수 있습니다. MOOCs는 "많은 일하는 성인들을 교육계에 다시 불러 모으고 있습니다."라고 말합니다. Aschenbrener의 말은 분명합니다. "저는 MOOCs의 큰 팬입니다. "앞으로 12 개월 내에 4 차례 더 가입 할 예정입니다."

Nevertheless, online courses shouldn’t be ignored. “To working professionals, there’s something appealing about the convenience of an online course,” says Ng. A busy clinician, for example, might catch a 20 minute lecture in the window created by an unexpected cancellation. MOOCs, he says, “are bringing a lot of working adults back into the education system.” That’s certainly true of Aschenbrener. “I’m a big fan of MOOCs,” she says. “I’m signed up for four more in the next 12 months.”






 2013 Apr 26;346:f2666. doi: 10.1136/bmj.f2666.

Are MOOCs the future of medical education?

Author information

1
benharder@gmail.com
PMID:
 
23624666

[Indexed for MEDLINE]

효과적인 피드백을 통한 메타인지 발달(Med Teach, 2016)

Developing metacognition through effective feedback

Chay Hoon Tan





Fisher (1998)는 메타인지는 단지 새로운 정보와 기존의 지식을 통합하는 것이 아니라 

  • 동화 된 것에주의를 집중 시키며,

  • 새로운 정보와 이미 알려진 것 사이의 관계를 이해하고,

  • 이를 촉진하는 프로세스를 평가하고

  • 새로운 것을 실제로 배웠음을 인지하는 것.

Fisher (1998) stated that metacognition is not merely integration of new information and existing knowledge but involves 

  • directing one’s attention to what has been assimilated, 

  • understanding the relationship between the new information and what is already known, 

  • evaluating the process which facilitates this and 

  • being aware when something new has actually been learned. 


학습자의 메타인지 기술을 키울 수있는 방법 중 하나는 피드백을 장려하는 것입니다.

One of the ways to nurture learners’ metacognition skills is to encourage feedback.


구조적 참여의 수정 된 펜들턴의 규칙 (Pendleton et al., 1984)

modified Pendleton’s rules (Pendleton et al. 1984) of structured engagement,


이 규칙에 따라 우리는 건강 전문가의 학습자에 대한 효과적인 피드백을 향상시키는 간단한 5 단계 프로세스를 제안합니다.

Based on these rules, we propose a simple 5-step process to improve effective feedback for learners in health professions.


  • 1 단계 - 학습자에게 무엇이 잘되었는지와 왜 (학습자의 성찰) 물어보십시오. 이것은 학습 과정을 비판적으로 재검토하기위한 것입니다.

  • 2 단계 - 선생님은 잘 수행 된 것과 왜 그러한지를(선생님의 성찰) 공유 할 것입니다. 이것은 학생들의 강점을 보강하기위한 것입니다.

  • 3 단계 - 학습자에게 무엇을, 어떻게 더 잘 수행 할 수 있는지(학습자의 요구 분석)를 묻는다. 이것은 학습에서의 격차를 확인하는 것입니다.

  • 4 단계 - 교사는 개선을 위한 제안 (교사의 요구 분석)을 통해 더 잘할 수있는 것에 대해 의견을 나눌 것입니다.

  • 5 단계 - 학습자가 개선을 위해 집중할 세 가지 영역 (행동 계획)을 제시하고 행동 계획을 검토 할 날짜를 정하도록 권장합니다.


  • Step 1 – Ask the learners what was done well and why (learners’ reflections). This is to critically revisit their learning process.

  • Step 2 – The teacher will share what was done well and why (teachers’ reflection). This is to reinforce students’ strengths.

  • Step 3 – Ask the learners what can be done better and how (learners’ needs analysis). This is to identify their gaps in learning.

  • Step 4 – The teacher will comment on what can be done better with suggestions for improvement (teachers’ needs analysis).

  • Step 5 – Encourage the learners to propose three areas to focus for improvement (action plan) and set a date to review the action plan.



 2016 Sep;38(9):959. doi: 10.1080/0142159X.2016.1209472. Epub 2016 Aug 23.

Developing metacognition through effective feedback.

Author information

1
a Department of Pharmacology , Yong Loo Lin School of Medicine, National University of Singapore , Block MD3, #04-01, 16 Medical Drive , 117600 Singapore.
2
b Centre for Medical Education, Yong Loo Lin School of Medicine, National University of Singapore , Block MD11, #05-10, 10 Medical Drive , 117597 Singapore.
PMID:
 
27552201
 
DOI:
 
10.1080/0142159X.2016.1209472


인지모델을 사용한 양질의 다지선다형 문항 개발(Med Teach, 2016)

Using cognitive models to develop quality multiple-choice questions

Debra Pugha, Andre De Champlainb, Mark Gierlc, Hollis Laid and Claire Touchiea,b

aDepartment of Medicine, The Ottawa Hospital, University of Ottawa, Ottawa, Ontario, Canada; bMedical Council of Canada, Ottawa, Ontario, Canada; cFaculty of Education




Background


MCQ를 개발하는 전통적인 접근법에서 문항 개발자는 주제를 선택한 다음 줄기, 리드 인 질문, 정답 및 옵션 또는 비틀 거리기 목록으로 구성된 항목을 개발합니다 (Case & Swanson 2002). 이 항목은 전문가 패널에 의해 검토되어 내용의 유효성을 확인하고 항목의 잠재적 인 결함을 식별합니다. 양질의 MCQ 아이템을 개발하는 것은 시간 소모적이며 관련 발달 비용은 아이템 당 $ 1500- $ 2500 USD로 높은 것으로 추산됩니다 (Rudner 2010).

In a traditional approach to developing MCQs, the item writer selects a topic, then develops an item consisting of a stem, lead-in question, a correct answer and list of options or distractors (Case & Swanson 2002). The item then under- goes review by a panel of experts to validate the content and identify any potential flaws in the item. Developing quality MCQ items is time consuming and the associated developmental cost has been estimated to be as high as $1500-$2500 USD per item (Rudner 2010).


CBE는 학습자가 자신의 속도로 진행하는 유연한 교육 모델을 제공하기 때문에 역량을 평가하기 위해 더 자주 테스트해야합니다. 예를 들어, Mills & Steffen 2000, Schuwirth & van der Vleuten 2012와 같이 진행progress 또는 주문형on-demand 테스트의 형태를 취할 수 있습니다. 이러한 조치는 상대적으로 짧은 기간에 수천 개의 새롭고 고품질의 품목 개발을 필요로 할 것입니다.

Because CBE offers flexible educational models in which learners progress at their own pace, more frequent testing is required to assess competency along the continuum. This might take the form of progress or on- demand testing, for example (Mills & Steffen 2000; Schuwirth & van der Vleuten 2012). These measures will necessitate the development of thousands of new, high- quality items in a relatively short period of time.


이 과제에 대한 혁신적인 솔루션은 자동 아이템 생성 (AIG)입니다. AIG는 컴퓨터 기술을 사용하여인지 모델에서 테스트 항목을 생성합니다 (Gierl 외. 2012). 요약하자면, 인지 모델은 문제를 해결하는 데 필요한 지식과 기술을 표현한 것입니다. 인지 모델을 만들 때 콘텐츠 전문가는 임상 추론 프로세스를 해체하고 알고리즘을 사용하여 MCQ를 생성하는 컴퓨터 프로그램에이 정보를 입력 할 수 있습니다. 이 프로세스를 사용하여 AIG는 사전에 정의 된 변수 (예 : 기록, 실제 검사 또는 조사 기능)와 만 다른 공통 줄기를 사용하여 MCQ를 개발한다(Gierl & Lai 2013).

An innovative solution to this challenge has been auto- matic item generation (AIG). AIG employs computer tech- nology to generate test items from cognitive models (Gierl et al. 2012). In brief, cognitive models are representations of the knowledge and skills that are required to solve a prob- lem. In the creation of cognitive models, content experts deconstruct the clinical reasoning process and, in turn, this information can be entered into a computer program that uses algorithms to generate MCQs. Using this process, MCQs are developed using a common stem that differs only by pre-defined variables (e.g., features on history, phys- ical examination or investigation) (Gierl & Lai 2013).



AIG가 내놓는 주된 이점은 아이템을 생성의 효율성입니다. 일반적으로 한 가지인지 모델을 사용하여 특정 주제에 대해 수백 가지 항목을 개발할 수 있습니다 (Gierl 외. 2012).

The main advantage that is yielded by AIG is the effi- ciency with which items can be generated. Typically, several hundred items can be developed for a particular topic using one cognitive model (Gierl et al. 2012).


이 모델은 '그럴듯한' 오답가지를 체계적으로 생성하기 위한 프레임워크를 제공한다 (Lai et al., 2016 ). 결과적으로, AIG는 많은 양의 제품을 생산할뿐만 아니라, remadial을 목적으로 하는 진단적 피드백의 tailoring에도 좋다.

The model also offers a framework for the systematic creation of plaus- ible distractors, in that the content expert not only needs to provide the clinical reasoning underlying a correct response but also the cognitive errors associated with each of the distractors (Lai et al. 2016). Consequently, AIG holds great promise not only in generating high volumes of items, but also in regards to tailoring diagnostic feedback for remedial purposes.


AIG의 기술은 선형 프로그래밍 방식에 의존하지만 동일한 원칙을 사용하여 MCQ 개발에 사용되는 기존위원회 기반 프로세스를 개선 할 수도 있습니다. 이 접근법은 여러 가지 이유로 매력적입니다. 

  • 첫째,이 방법을 사용하면 항목 작성자는 하나의 모델 만 사용하여 동일한 구문을 평가하는 여러 항목 (5-10)을 매우 효율적으로 개발할 수 있습니다. 단일 인식 모델에서 개발 된 항목은 순수 시험의 잠재적 영향을 약화시켜 다른 시험 형식에 사용할 수 있습니다. 

  • 둘째, 인지 모델 접근법은 문제 해결에 필요한 핵심 요소를 식별하고 명확하게하는 전문가의 능력을 이용합니다. 다른 말로,인지 모델을 개발할 때, 전문가는 다양한 결론이 도출될 수 있는 정보원을 다양하게 명시함으로써 특정 문제에 대한 접근 방식을 명시 적으로 설명합니다. 지식 모델에 명시된 바와 같이 지식 영역을 명시 적으로 표현하면 단순한 지식보다, 지식의 적용 능력을 평가할 수 있으므로 잠재적으로 더 양질의 문항이 될 수 있습니다. 

  • 셋째, 인지 모형 접근법의 사용은 그럴듯한 오답가지 개발을 위한 틀을 제공하는데, 숙련 된 항목 작성자조차도 종종 어려움을 겪고있다 (Rogausch et al., 2010). 산만 함과 올바른 옵션 사이의 공통적이고 구분되는 특징을 모델링함으로써 항목 작성자는 각 항목에서 산만 함을 표시하는 방법을 명시 적으로 식별하고 구별해야합니다. 

  • 마지막으로, 인지 모델에서 개발 된 항목에 대한 검토 프로세스 중에 모델의 수정 (개별 질문보다는) 단계가 가능하므로 프로세스의 효율성이 높아집니다.


Although technology for AIG relies on a linear program- ming approach, the same principles can also be used to improve the traditional committee-based process used in the development of MCQs. This approach is appealing for many reasons. 

  • First, this method allows item writers to very efficiently develop several items (  5–10) that assess the same construct, using only one model. The items developed from a single cognitive model can then be used on differ- ent test forms, attenuating the potential impact of pure recall.

  • Second, the cognitive model approach capitalizes on experts’ ability to identify and articulate the critical elements required in problem-solving. In other words, when develop- ing cognitive models, experts explicitly outline their approach to a particular problem by specifying sources of information that can be varied to lead to different conclu- sions. The explicit representation of the knowledge domain, as captured in the cognitive model, can potentially lead to higher quality items by ensuring that items assess applica- tion of knowledge rather than just recall. 

  • Third, the use of the cognitive model approach provides a framework for the development of plausible distractors, a task with which even experienced item writers often struggle (Rogausch et al. 2010). Through modeling the common and distin- guishing features between the distractors and the correct option, item writers are required to explicitly identify and differentiate how distractors should be presented in each item. 

  • Finally, during the review process for items developed from cognitive models, revisions can be made at the model (rather than the individual question) level, which adds to the efficiency of the process.


Approach to developing MCQs using cognitive model


A형 문항에 대해서만.

인지모델 개발

Developing a cognitive model



인지 모형의 개발은 내용 전문가가 주어진 문제에 일반적으로 접근하는 방법을 요약해야한다. 이를 위해서는 어떤 정보원을 통해 문제를 해결할 수 있는지 분명하게 밝혀야합니다. 예를 들어, 충격을받은 환자에게 임상의는 잠재적 인 원인 (예 : 심장사, 알레르기, 발열 등)을 구별하는 데 도움이되는 과거 및 신체 검사 기능을 고려하여 시작할 수 있습니다.

The development of a cognitive model requires that a con- tent expert summarize how they typically approach a given problem. This necessitates that they articulate what sources of information would allow them to solve the problem. For example, given a patient with shock, a clinician might begin by considering the historical and physical examination features that help to differentiate between potential causes (e.g. cardiac history, allergies, fever, etc.).


인지 모델을 개발하는 과정은 전반적인 테스트 blueprint에서 주제를 선택하는 것으로 시작됩니다. 모든 평가와 마찬가지로 주제에는 중요한 내용이 반영되어야합니다.

The process of developing a cognitive model begins by selecting a topic from the overall test blueprint. As with any assessment, the topic should reflect important content.


가슴 통증의 예를 생각해 봅시다. 이 주제에서는 응시자가 진단을 내리고 환자를 관리 할 수있는 능력을 평가하는 질문을 개발하기로 결정할 수 있습니다. 이러한 진단과 관리는 이 인지모델과 관련된 task입니다. 다른 task도 개발할 수 있지만 이 두 task은 대부분의 모델에서 잘 작동합니다.

Let’s consider the example of the topic of chest pain. For this topic, one could decide to develop questions that assess the candidate’s ability to either make a diagnosis or to manage the patient. These are the tasks associated with the model. Other tasks could be developed, but these two tasks work well for most models.


각 task마다 관련 답변 목록이 작성됩니다. 이것들은 그림 1 에서처럼 X 축을 따라 그리드에 입력 할 수 있습니다.

For each task, one then develops a list of associated answers. These can be entered into a grid along the x-axis as illustrated in Figure 1.


문제를 해결하는 데 필요한 정보의 출처가 식별되어 그리드의 Y 축에 추가됩니다.

The sources of information needed to solve the problem are then identified and added to the y-axis of the grid.


연령이나 성별과 같은 다른 정보 소스가 추가 될 수 있지만, 실제로 문제에 접근하는 방법에 차이를 가져 오는 정보 만 인지 모델에 포함되어야합니다. 모든 가능한 표현을 변수로 처리 할 필요가 없다는 점에 유의해야 합니다.

Although other sources of information could be added such as age or gender, only those that will actually make a difference to how one approaches the problem should be included in the cognitive model. It is also important to note that the variables do not need to address every possible presentation.


이렇게 많은 세부 사항을 제공하는 것은 불필요하며, 너무 쉬운 문제가 생성 될 수 있습니다. 따라서 변수가 정답과 오답을 구분하는 데 도움이되는 충분한 정보를 제공하면서도, 적절한 난이도의 항목을 만들 수 있도록하는 것이 중요합니다.

providing this much detail is not necessary and may lead to the development of questions that are too easy. It is therefore important to ensure that the variables provide enough information to help a candi- date differentiate between the correct answer and the list of distractors, while allowing for the creation of items that are at an appropriate level of difficulty.


한 가지 작업 (예 : 진단)을 위해 모델을 개발하면 그림 1에서와 같이 동일한 정보 소스를 사용하여 다른 작업 (예 : 관리)을 쉽게 추가 할 수 있습니다. 하나의 인지모델에서 다양한 문항이 개발 될 수 있습니다.

Once the model has been developed for one task (e.g. diagnosis), another task can easily be added (e.g. manage- ment) using the same sources of information, as demon- strated in Figure 1. This effectively doubles the number of questions that can be developed from a single cognitive model.


이 단계에서 더 진행하기 전에 다른 콘텐츠 전문가로부터인지 모델에 대한 의견을 얻는 것이 중요합니다. 인지 모델에서 문제가 확인되면 MCQ가 생성되기 전에 수정 될 수 있습니다.

At this stage, it is important to solicit input from other content experts about the cognitive model before progress- ing any further. If any issues are identified in the cognitive model, they can be corrected before any MCQs are pro- duced.




문항줄기 쓰기

Writing the stem


MCQ의 구조는 줄기로 시작됩니다. 줄기는 일반적으로 질문에 대답하는 데 필요한 모든 정보가 포함 된 비네트로 작성됩니다. 불필요한 정보 나 트릭이 포함되어서는 안되며 어휘는 비교적 단순하게 유지되어야합니다 (Haladyna 2013).

The construction of an MCQ begins with a stem. The stem is generally written as a vignette that includes all the infor- mation needed to answer the question. It should not include extraneous information or tricks and the vocabulary should be kept relatively simple (Haladyna 2013).


인지 모델 접근법을 사용할 때, 줄기는 텍스트 상자 1에서와 같이 인지 모델에서 생성 된 모든 정보원을 통합해야합니다. 정보 소스는 텍스트에 설명 된대로 주어진 대답에 대한 적절한 변수로 대체 될 수 있습니다 상자 2. 동일한 줄기를 사용하여 단일 모델에서 여러 항목을 만들 수 있습니다.

When using the cognitive model approach, the stem should incorporate all the sour- ces of information generated in the cognitive models as shown in Text Box 1. The sources of information can then be replaced with the appropriate variables for a given answer as outlined in Text Box 2. This allows for multiple items to be created from a single model, using the same stem.




리드-인 질문 작성

Writing the lead-in question/s



리드 - 인 질문의 단어는 가장 가능성이 높은 진단이나 최선의 다음 단계를 선택하는 것과 같은 작업이 명확하게 이루어 지도록 세심히 선택해야 한다. 
The lead-in question should be carefully worded to ensure that the task is clear, such as selecting the most likely diagnosis or the best next step.


문항줄기와 리드-인이 잘 정립 된 경우, 옵션 목록을 언급하지 않고도 문제가 해결 될 수 있습니다. 또한 문항줄기를 읽지 않은 상태에서 답가지만 보고 답을 고를 수있어서는 안됩니다.(Case & Swanson 2002). "가슴 통증에 대한 진실한 진술은 무엇입니까?"와 같은 리드-인 질문은이 두 가지 원칙을 모두 위반합니다.

If the stem and lead-inquestion are well-constructed, then the question should be answerable without referring to the list of options. In add-ition, the lead-in question should be inextricably linked to the stem so that one could not answer the question with-out reading the stem (Case & Swanson 2002). Lead-in ques-tions, such as ‘‘What is a true statement about chest pain?’’violate both these principles. 


두 가지 질문을 개발하면 생성 된 항목 수가 두 배가됩니다. 예를 들어 그림 1의 모델을 사용하면 4 개의 MCQ를 진단용으로 개발하고 4 개를 관리 용으로 개발할 수 있습니다

By developing two questions, the number of items cre- ated is doubled. For example, using the model shown in Figure 1, four MCQs can be developed for diagnosis and four for management.



답가지 생성

Generating distractors


답가지는 동질적이어야한다 (예 : 모든 진단, 모든 조사 등). "위의 모든 것", "위의 모든 것"과 같은 비웃음 자들은 그들이 어떤 큐를 제공 할 때 피해야한다 (Haladyna 외. 2002). 텍스트 상자 4는 흉통 모델에 대한 가능한 디스 트랙터의 예를 제공합니다.

Distractors should be homogenous (e.g. all diagnoses, all investigations etc.) and distractors such as ‘‘All of the above’’ ‘‘None of the above’’ should be avoided as they provide some cueing (Haladyna et al. 2002). Text Box 4 provides examples of possible dis- tractors for the chest pain model.


그럼에도 불구하고 인지 모델 접근법을 사용할 때 가능한 한 많은 답가지를 생성하는 것이 좋습니다. 이것은 두 가지 이점을 제공합니다. 

  • 첫째, 서로 다른 답가지 조합을 사용하여 복제문항cloned item을 만들 수 있습니다. 이는 난이도를 다양하게 만들어줄 뿐만 아니라 학생간에 문항을 공유하는 영향을 줄이므로 바람직합니다. 

  • 둘째로, 생성 된 모든 답가지가 가능한 모든 정답으로 제시 될 수는 없습니다. functional distractors은 정답이 가진 일부 특성을 공유해야하기 때문입니다. 예를 들어, 췌장염은 정답 대동맥 박리에 대한 수용할만한 오답가지 일 수 있습니다. 진단은 모두 등에 방사되는 통증을 일으키지 만 사용 된 정보원의 변수를 사용하여 쉽게 구별 될 수 있습니다 (예 : 생체 징후, 신체 검사 등). 대조적으로 위식도 역류 질환은 Costochondritis를 정확히 고르기 위한 functional distractor가 아닐 것이다.이 모델에 사용 된 변수는 두 가지를 구별하는 데 충분한 정보를 제공하지 못하기 때문이다 (다른 특징을 추가하더라도 쉽게 구분할 수 있음)

Regardless, it is advisable to generate as many distractors as possible when using the cognitive model approach. This provides two advantages. 

  • First, by using differ- ent combinations of distractors, cloned items can be created. This is desirable because it results in items of variable diffi- culty, and it also attenuates the impact of sharing recalled items amongst students. 

  • Second, not all generated distractors can be presented with all of the possible correct answers. This is due to the fact that functional distractors must share some, but not all, of the varied features with the correct options. For example, Pancreatitis would be an acceptable distractor for the correct answer Aortic dissection, as the diag- noses both cause pain that radiates to the back but they can be distinguished easily from each other using the variables from the sources of information used (e.g. vital signs, physical findings, etc.). In contrast, Gastroesophageal reflux disease would not be a functional distractor for the correct answer Costochondritis as the variables used in this model would not provide enough information to distinguish the two (although adding different features, would make them easily distin- guishable).


답가지를 인지 모델에서 직접 끌어낼 수도 있다. 예를 들어, 폐색전증, Costochondritis, 대동맥 박리는 모두 정답이 심근 경색 일 때 사용할 수있는 잠재적 답가지입니다.

It is important to note that distractors can also be pulled directly from the cognitive models. For example, Pulmonary embolism, Costochondritis, and Aortic dissection are all poten- tial distractors that could be used when the correct answer is Myocardial infarction.



검토와 수정

Review and revisions



이 단계는 인지 모델의 검토가 완료된 경우 효율적으로 진행될 수 있다. 기술적 결함은 큐cueing 또는 construct irrelevant variance로 이어질 수 있기 때문에 수정되어야 한다 (Downing & Haladyna 2009).

This step should be an efficient process if the review of the cognitive model has been done. Technical flaws are import- ant to identify and correct because they can lead to cueing or irrelevant difficulty (i.e. construct irrelevant variance) (Downing & Haladyna 2009).


모든 품목과 마찬가지로,인지 모델에서 생성 된 MCQ는 psychometric 표준을 충족하는지 확인해야합니다.

Like any items, MCQs generated from cognitive models should be pilot-tested to ensure that they meet psychomet- ric standards.



고찰

Discussion and conclusion



MCQ 개발에 대한 이러한 재 개념화 된 접근법은 매우 직관적이므로 초보자 그룹이 이 방법을 적용하여 약 2 시간 내에 완전한 모델을 작성하여 5-10 개의 항목을 만들 수 있음을 발견했습니다. AIG에서인지 모델을 사용하는 것은 선형 프로그래밍 (Gierl et al. 2012)의 도움으로 극도로 많은 수의 테스트 항목을 생성하는 데 성공했지만 대부분의 경우 그렇게까지 많은 문항을 만들 필요가 없다. 여기서 설명한 인지 모델을 사용하는 low-tech 접근법은 특정 주제와 관련된 관리 가능한 수의 항목을 효율적으로 생성 할 수 있습니다.

Because this re-conceptualized approach to developing MCQs is so intuitive, we have found that a group of novices can be taught to apply this method to create a complete model within about 2hours, resulting in 5–10 items. Although the use of cognitive models in AIG has been suc- cessful in generating extremely large numbers of test items with the aid of linear programming (Gierl et al. 2012), for most cases it is not necessary to generate that many items. The low-tech approach to using cognitive models described in this paper can efficiently generate a manage- able number of items related to a particular topic.


MCQ 개발의 효율성 향상 외에도 인지 모델 접근법은 항목 작성자가 문제 해결 방법을 설명하기 위해 메타인지 기술을 사용해야하기 때문에 바람직합니다. 사고 프로세스가 명확하게 기술되고 문서화되기 때문에 전문가 패널이 검토하고 평가하여 접근법이 타당하다는 것을 확신 할 수 있습니다. 모델에 결함이 있으면 문항이 생성되기 전에 수정 될 수 있습니다.

In addition to improved efficiency in the development of MCQs, the cognitive model approach is desirable because it requires that item writers use metacognitive skills to describe how they solve problems. Because the thought process is clearly delineated and documented, it can be reviewed and critiqued by a panel of experts to ensure that the approach is sound. Any flaws in the model can then be corrected before any items are generated.


인지 모델 접근법을 사용하여 문항 작성자는 잘못된 옵션이 올바른 옵션으로 일부 (그러나 전부는 아님) 기능을 공유하도록 각 답가지의 기능을 정의 된 변수와 비교합니다. 이것은 답가지가 그럴듯하면서도 여전히 오답임을 보장합니다. 이 방법은 전통적인 접근 방식과는 다르다. 체계적 접근 방식을 사용하여 답가지를 올바른 옵션과 비교한다. 제시되는 답가지의 조합을 다양하게함으로써, 항목 난이도를 작은 노력으로도 조절할 수 있습니다.

Using the cognitive model approach, item writers compare the features of each distractor with the defined variables to ensure that the incorrect options share some (but not all) fea- tures with the correct option. This helps to ensure that the distractors will be plausible, yet still incorrect. This method differs from a traditional approach, in that a systematic approach is used to compare the distractors to the correct option. By varying the combination of distractors presented, item difficulty can potentially be manipulated with little effort.




Gierl MJ, Lai H. 2013. Evaluating the quality of medical multiple-choice items created with automated processes. Med Educ. 47:726–733.


Gierl MJ, Lai H, Turner SR 2012. Using automatic item generation to cre- ate multiple-choice test items. Med Educ. 46:757–765.


Touchie C. 2010. Guidelines for the Development of Multiple- Choice Questions; [cited 2015 Nov 10]. Available from: http://mcc.ca/wp-content/uploads/multiple-choice-question-guide- lines.pdf









 2016 Aug;38(8):838-43. doi: 10.3109/0142159X.2016.1150989. Epub 2016 Mar 21.

Using cognitive models to develop quality multiple-choice questions.

Author information

1
a Department of Medicine , The Ottawa Hospital, University of Ottawa , Ottawa , Ontario , Canada ;
2
b Medical Council of Canada , Ottawa , Ontario , Canada ;
3
c Faculty of Education , University of Alberta , Edmonton , Alberta , Canada ;
4
d Faculty of Medicine and Dentistry , University of Alberta , Edmonton , Alberta , Canada.

Abstract

With the recent interest in competency-based education, educators are being challenged to develop more assessment opportunities. As such, there is increased demand for exam content development, which can be a very labor-intense process. An innovative solution to this challenge has been the use of automatic item generation (AIG) to develop multiple-choice questions (MCQs). In AIG, computer technology is used to generate test items from cognitive models (i.e. representations of the knowledge and skills that are required to solve a problem). The main advantage yielded by AIG is the efficiency in generating items. Although technology for AIG relies on a linear programming approach, the same principles can also be used to improve traditional committee-based processes used in the development of MCQs. Using this approach, content experts deconstruct their clinical reasoning process to develop a cognitive model which, in turn, is used to create MCQs. This approach is appealing because it: (1) is efficient; (2) has been shown to produce items with psychometric properties comparable to those generated using a traditional approach; and (3) can be used to assess higher order skills (i.e. application of knowledge). The purpose of this article is to provide a novel framework for the development of high-quality MCQs using cognitive models.

PMID:
 
26998566
 
DOI:
 
10.3109/0142159X.2016.1150989


소그룹학습에 대한 학생 인식(Med Educ, 2004)

Student perceptions of effective small group teaching (Med Educ, 2004)

Yvonne Steinert






도입

INTRODUCTION


SG teaching은 UME에서 점차 중요해짐.

Small group teaching has become an increasingly important component of undergraduate medical education.


다음의 연구가 된 바있음

Several studies have looked at

  • student perceptions of effective tutors in PBL curricula.2–5

  • In addition, 1 study has examined student and faculty perceptions of group dynamics in PBL tutorials,6 and

  • several others have examined student conceptions of learn- ing during different PBL experiences.7–9

  • The major focus of all these studies was on tutor characteristics in PBL curricula, and little attention was given to other aspects of small group functioning, including the value of specific pedagogical materials and resources (e.g. written cases).10


다음의 질문에 답하기 위해서

The goal of this study was to assess student percep- tions of effective small group teaching in preclinical undergraduate medical education


• What makes for an effective small group?

• What are the goals of small group teaching?

• What makes for an effective small group tutor?

• What makes for an effective case?

• What makes for effective small group evaluations?


 

교육 맥락

Educational context


The Faculty of Medicine at McGill University offers a 4-year undergraduate curriculum. This curriculum was revised in the autumn of 1994 to promote an integrated, systems-based approach to preclinical training. Although the faculty did not adopt a PBL curriculum, there was a strong commitment to decreasing the number of large class lectures and to increasing small group teaching, so that at least 50% of student contact time would occur in a laboratory or small group setting.


The preclinical curriculum, entitled the  Basis of Medicine , occupies the first 18 months of the undergraduate curriculum. It consists of 9 system- based units (e.g. molecules, cells and tissues; gas, fluids and electrolytes; endocrinology, metabolism and nutrition) that focus on normal structure and function, with a progression to abnormal structure and function, disease prevention and therapy.


During the Basis of Medicine, students spend approximately 50% of their time in small groups designed to complement and reinforce the lecture content. Clinical cases are used to guide students through the small group process, and groups meet approximately 2 to 4 times per week, depending on the individual unit. The groups of students remain stable over several months, but the tutors change according to the topics under discussion as they are expected to possess content expertise. Students are assessed on their small group participation, prepar- edness and responses to short quizzes that are administered at either the beginning or end of a small group session.



METHOD

 

Focuse Group을 활용함

Focus groups were used to assess student percep- tions of effective small group teaching in the Basis of Medicine.

  • 고등교육에서 교육과정 계획과 평가에 널리 사용
    Focus groups have been used effect- ively for programme evaluation in higher educa- tion11,12 and for curriculum planning and evaluation in medicine.13–16

  • 비용이 저렴하고 소비자의 관점에서 자료 수집
    This technique is considered to be an inexpensive method of gath- ering qualitative data17 and is well suited to obtaining such information from the consumer’s point of view.13

  • 그룹 상호작용에 따라 이뤄짐
    As Frasier et al.16 stated,  Focus groups draw on group interaction, combining elements of individuals interacting with one an- other and participant observation.  

  • 그룹 상호작용을 자료로서 활용하며, 상호작용이 없이는 수집하기 어려운 자료를 활용할 수 있게 함
    Focus groups also make explicit use of group interaction to produce data and insights that would be less accessible without the interaction found in such a group.18

  • 따라서 적절하다고 판단
    Given that the aim of this study was to assess student perceptions of effective small groups, this methodology was considered particularly appropriate.



This study will report on 6 focus groups held in the springs of 3 years, from 1996 to 1998.


 

학생 모집

Student recruitment and conduct of the focus groups



In order to allow for dropouts and cancellations, 8~10 student representatives were invited to attend each focus group.18 The groups were kept small to allow for full participation as well as in-depth discussion of the topic.16


The author, a clinical psychologist with 20 years of experience in medical education, facilitated the focus groups. Although she knew some of the students from her involvement in the undergraduate curricu- lum committee, she was not responsible for their educational programme or evaluation.



연구질문

The following questions guided the focus group discussion:


• What makes for an effective small group? 

• What are the goals of small group teaching? 

• What makes for an effective small group tutor? 

• What makes for an effective case? 

• What makes for effective small group evaluations? 

• What message would you like to give your tutors? 

• What message do you think your tutors would like to give you?



All of the questions were tested in a prestudy pilot to ensure clarity, precision and comprehen- siveness. The term  effective  was not defined for the students as we wished to assess their perceptions of effectiveness. Additional probes, designed in advance, were used to supplement each question if the students did not spontaneously provide the relevant information.


Each focus group lasted approximately 90 minutes to allow key themes and issues to emerge. The discus- sions were held at the end of the day in the Faculty of Medicine, at a time convenient for the students. All of the focus groups were audiotaped and transcribed verbatim. A research assistant, a graduate student in educational psychology, was present during the focus groups to take field notes. The moderator and research assistant introduced themselves to the group but the students did not, in order to ensure anonymity on the transcripts. To promote candour in the students’ responses, confidentiality was stressed; the students were also assured that any report of findings would be generic and not attributed to specific individuals.




분석

Analysis


Ethnographic content analysis guided the data ana- lysis.19 The transcripts were examined independently, by the author and the research assistant, to identify key words, phrases and concepts. Similarities and potential connections among key words, phrases and concepts, within and among the focus groups, were identified and discussed, and initial coding categories were identified. The content of each transcript was then analysed using these categories, and additional codes for newly emerging topics were created as needed, allowing for an iterative process throughout the analysis. Coding discrepancies were reconciled through discussions between the author and the research assistant. The final stage of analysis involved the reduction of all data sources into the final coding categories, the development of major themes and the identification of exemplar quotes illustrating each theme.


The transcripts ranged from 14 to 22 pages in length. Each was read for general clarity and comprehension prior to the coding. Moderator notes from each session also supplemented the text. Once the tran- scripts were analysed, preliminary findings were presented to the members of 2 Faculty of Medicine committees, for feedback and discussion.





결과

RESULTS


Of the 54 students invited to participate, 46 attended. The students who attended and those who did not were similar in age, gender and years of education.



효과적인 소그룹을 만드는 것은?

What makes for an effective small group?


Table 1 summarises the 6 major items


Table 1 Student perceptions of effective small groups


Small groups should include:


Effective small group tutors 

  • 긍정적 인 집단 분위기

    A positive group atmosphere 

  • 적극적인 학생 참여 및 그룹 상호 작용

    Active student participation and group interaction 

  • 소그룹 목표 준수

    Adherence to small group goals 

  • 임상 관련성 및 통합

    Clinical relevance and integration 

  • 사고와 문제 해결을 촉진하는 사례

    Cases that promote thinking and problem solving

 

 

1학년과 2학년 사이에 2가지만 달랐다.

Interestingly, however, these were the only 2 areas in which Year 1 and 2 students differed; attention to student roles and methods of evaluation were emphasised more by Year 1 students.



소그룹 교육의 목표는?

What are the goals of small group teaching?


학생들은 소그룹 교육의 목표가 항상 충족되는 것은 아니라고 우려했습니다. 그들의 관점에서, 소그룹 가르침의 주요 목표는 참여자들이 다음을 할 수 있게 하는 것.
The students concern that the goals of small group teaching were not always met. From their perspective, the major goals of small group teaching were to allow participants: 


• 질문하고 생각할 수있는 것.

 to be able to ask questions and think things through; 

• 자료에 대한 이해를 확인합니다.

 to check out their understanding of the material; 

• 팀으로 일하고 서로에게서 배울 수 있습니다.

 to work as a team and to learn from each other; 

• 임상 또는 실제 생활 상황에 콘텐츠를 적용하고

 to apply content to clinical or  real life  situations, and 

• 문제 해결법을 배우기

 to learn to problem solve


 

효과적인 소그룹 튜터는?

What makes for an effective small group tutor?


 

모든 포커스 그룹은 학습에 필수적인 것인 교사 특성으로 동일한 것을 언급했다. 이것은 사고와 문제 해결을 장려하고 위협적이지 않고, 상호 작용을 고무하고, 강의하지 않고, 임상 적 관련성을 강조, 그 장소에 있고싶어 하는 사람. 사실,이 질문에 대한 응답은 소그룹 가르침의 목표와 토론중인 내용 영역의 개인 특성, 촉진 기술 및 지식의 3 가지 주요 범주로 나눌 수 있습니다.

All the focus groups identified the same tutor characteristics as essential to learning. These des- cribed an individual who

  • promoted thinking and problem solving,

  • was not threatening,

  • encouraged interaction,

  • did not lecture,

  • highlighted clinical relevance, and

  • wanted to be there.

 

셋으로 분류 가능

In fact, the responses to this question could be divided into 3 main categories:

  • personal attributes,

  • facilitation skills and knowledge – of both the goals of small group teaching and

  • the content area under discussion.


일부 학생들이 언급 한 추가 특징에는 소그룹 교수법의 목표를 이해하고, 사례를 잘 사용했으며, 소그룹 목표를 요약하고, 토론을 잊지 않고 요약해준 경우가 포함되었습니다.

Additional characteristics mentioned by some of the students included tutors who understood the goals of small group teaching, who used the cases well, who outlined the small group objectives, and who remembered to summarise the discussion.


 

 

 

효과적인 케이스의 특징은?

What makes for an effective case?




효과적인  case에 대한 학생의 견해에는 명확한 목표를 가지고 있고, 미리 할당되지 않았으며, 소그룹에서의 문제 해결과 토론을 장려하고 이전에 준비된 자료의 반복이나 역류로 이어지지 않은 사례가 포함되었습니다.

Student views of effective cases included cases

  • 목표 명확 that had clear objectives,

  • 미리 할당되지 않음 that were not preassigned,

  • 문제해결과 토론 장려 that encouraged problem solving and discussion in the small group, and

  • 이전에 준비한 자료를 반복하거나 그것만 뱉어내면 되는 것이 아닌 것 that did not lead to the repetition or regurgitation of previously prepared material.

 

6 개 그룹 전체에서 학생들은 신비 케이스라고 부르는 것의 가치를 강조했습니다. 이것은 전에 보지 못했고 이전에 획득 한 사실이나 해결책의 역류를 허용하지 않는 경우를 언급했습니다.
Throughout all of the 6 groups, students highlighted the value of what they called  mystery  cases. This referred to cases that they had not seen before and that did not allow for the regurgitation of previously acquired facts or solutions:



또한 학생들은 임상적 관련성의 중요성, 질문의 명확성 토론해야 하는 사례 수를 강조했습니다. 그들은 종종 그들이 너무 많은 사례를 받았거나 토론 할 시간이 충분하지 않다고 느꼈다고 말했다. 또한, 학생들은 사례를 확대하거나 다른 임상 상황으로 일반화 된 문제를 확대하여 제시된 사례를 넘어선 교사들에게 감사했습니다.

Students also highlighted the importance of the clinical relevance of cases, the clarity of questions asked, and the number of cases under discussion at any particular time. They stated that they often felt they were given too many cases or not enough time to discuss them. In addition, students appreciated tutors who went  beyond  the presented case, by expanding on the case or generalising issues to another clinical situation.


 

효과적인 평가는?

What makes for effective evaluations in small groups?


소그룹 평가의 일환으로 자주 사용되는 짧은 퀴즈의 가치는 그룹별로 크게 다양했습니다. 학생들 중 일부는 퀴즈가 소그룹 세션 준비, 사례 토론 집중, 과정 내용 이해에 대한 피드백 제공에 도움이된다고 생각했습니다. 다른 사람들은 퀴즈가 너무 많아서 도움이되지 않으며 학습을 방해한다고 느꼈습니다.
The perceived value of short quizzes, which are frequently used as part of our small group assess- ment, varied greatly from group to group. Some of the students felt that the quizzes were helpful in getting them to prepare for the small group session, in focusing the case discussion, and in giving them feedback on their understanding of course content. Others felt there were too many quizzes, that they were not helpful, and that they inhibited learning.


 

일반적으로 퀴즈는

  • 소그룹 교사가 학생과의 답변을 검토 (즉각적인 피드백 제공)할 때,

  • 사례 토론에 초점을 맞출 때

  • 세션 마지막에 논의 된 개념들을 강화하기 위한 목적으로 진행될 때 도움이 된다고 했음.

 

또한 학생들은 내용에 대한 지식이나 정답을 줄 수있는 능력보다는 그룹 구성원으로서의 참여에 대한 평가 기회를 환영했습니다.

In general, quizzes were seen as more helpful when the small group tutor reviewed the answers with the students (to provide immediate feedback), when the quizzes focused on the case discussion, and when they were held at the end of the session to reinforce the concepts discussed. Students also welcomed the opportunity to be assessed on their participation as a group member rather than on their knowledge of the content or their ability to give the  right  answer:


 

튜터에게 주고 싶은 메시지는?

What message would you like to give your tutors?


• relax; 

• be excited to be there; 

• we are there to learn, not to be drilled; 

• remember that we are only students; 

• we all come from very different backgrounds; 

• tell us when you don’t know, and 

• please don’t lecture in the small group.

 

• 긴장 푸세요;

• 즐기는 모습을 보여주세요;

• 우리는 배우려고 왔습니다

• 우리는 단지 학생이라는 것을 기억하십시오;

• 우리 모두는 매우 다른 배경에서 왔습니다.

• 모를 때는 모른다고 하세요

• 소그룹에서 강의하지 마십시오.

 

튜터는 학생에게 어떤 메시지를 주고 싶어할까?

What message do you think your tutors would like to give you?


• relax; 

• give each other a chance; 

• prepare; 

• don’t be afraid to be wrong; 

• don’t worry so much, and 

• don’t appear as if you know everything.

 

• 긴장 풀어요

• 서로에게 기회를 제공하십시오;

• 준비하십시오;

• 틀릴까봐 두려워하지 마십시오.

• 너무 걱정하지 마십시오.

• 모든 것을 알고있는 것처럼 보일 필요는 없어요

 

매우 비슷함.

The similarity between tutor and student messages was striking, as was the lack of differences in input between Year 1 and 2 students.



고찰

DISCUSSION


이 연구 결과는 학생들이

  • 교사의 특성,

  • 위협적이지 않은 집단 분위기,

  • 그룹 상호 작용,

  • 임상 관련성 및 통합,

  • 문제 해결 및 사고를 통합 시스템

...을 효과적인 소그룹의 가장 중요한 특징으로 인식한다는 것을 찾아냄. .

This study’s findings indicated that students identified tutor characteristics, a non-threatening group atmosphere, group interaction, clinical rele- vance and integration, and pedagogical materials that encourage problem solving and thinking as the most important characteristics of effective small groups in an integrated, systems-based curriculum.


 

교사 특성의 중요성에 대한 학생들의 의견은 문헌과 일치했다 .3,9,20,21
Student comments about the importance of tutor characteristics were consistent with the litera- ture.3,9,20,21


 

우리가 일반적으로 FD워크샵에서 소그룹 교수법 (예 : 목표 설정, 요약 및 종합)에 대한 skill 기반 접근 방식을 장려하지만 학생들은 교사의 skill에 대해 언급하기보다는 오히려 교사가 교육에 얼마나 흥미를 보이는가, 그리고 학습에 도움이되는 분위기를 조성하는 능력이 있는가를 강조하였다. 

It is interesting to note that although we generally promote a skillbased approach to small group teaching (e.g. set objectives; summarise and synthesise) in our faculty development workshops, students did not comment on these identified skills as much as they highlighted tutors’ interest in teaching and their ability to create an atmosphere conducive to learning.

 

우리의 결과는 또한 교사가 메타인지 가이드로서 중요한 역할을한다는 메이요 (Mayo)의 발견을 확인해 준다. 튜터는 답을 주지 않고 학생들이 의사라면 했을법한 질문을 하게끔 유도하는 역할을 해야 한다. 흥미롭게도 효과적인 교사에 대한 학생들의 의견은 시스템 기반 커리큘럼과 PBL 커리큘럼에서 다르지 않았습니다. 따라서, 과연 두 교육과정 사이에 튜토리얼 과정이 실제로 다른지, 혹은 학생들이 내용 전문성에 대해 필요로하는지에 대한 질문이 제기됩니다.

Our results also confirm the findings of Mayo and colleagues2 that the tutor plays an important role as a metacognitive guide;22 that is, without giving the answers, the tutor is there to help students raise the questions an expert doctor would raise when thinking through a clinical case. Interestingly, our students’ comments about effective tutors in a systems-based curriculum did not differ from those of students in a PBL curriculum. In our opinion, this raises the question of whether the tutorial process is indeed different, and whether students perceive a need for content expertise.3,4



앞서 언급 한 한계에도 불구하고,이 연구는 학생들의 인식을 평가하고 커리큘럼 구현에 대한 피드백에 초점 그룹을 사용하는 것의 가치를 보여주었습니다. Morgan18은 포커스 그룹의 특징은 그룹 간의 상호 작용없이 대규모의 그룹에서 발견 할 수없는 데이터와 통찰력을 제공하기위한 그룹 상호 작용의 명백한 사용이라고 설명했습니다. 이 연구 전반에 걸쳐 우리는 소그룹 가르침의 목적과 목적에 대한 학생들의 인식을 분명히하는 학생들의 능력에 깊은 인상을 받았습니다. 교수진은 또한 학생들 의견의 정확성과 통찰력을 인정했으며, 1 명의 교사가 말했듯이 그들이 말한 모든 것이 합리적입니다! 이 경험을 바탕으로 우리는 독립적 혹은 보조적 방법으로, 커리큘럼 계획 및 평가에 대한 학생의 인식을 얻는 데 포커스그룹을 사용할 것을 권장합니다.
Despite the aforementioned limitations, this study has demonstrated the value of using focus groups for assessing student perceptions and feedback on cur- riculum implementation. Morgan18 stated that the hallmark of focus groups is the explicit use of group interaction to produce data and insights that would be less accessible without the interaction found in a large group. Throughout this study, we were impressed by the students’ ability to articulate their perceptions of the goals and purposes of small group teaching. Faculty members also commented on the students’ accuracy and insight, and as 1 tutor com- mented,  Everything they said makes sense!  Based on this experience, we would recommend the use of focus groups for obtaining student perceptions for curriculum planning and evaluation, both as a stand- alone method of course evaluation and as a supple- ment to ongoing methods.


마지막으로,이 연구는 소 그룹 교육에 대한 학생들의 인식을 교수 개발 프로그램에 통합시킨 최초의 연구 중 하나입니다 .24 우리는 소규모 그룹 강의를 주최하는 교수진 개발 워크샵을 개최했습니다. 지난 3 년 동안 우리는 학생들의 의견을 바탕으로 워크샵 투명 용지와 유인물을 개발했으며, 워크샵 전체 회의에서 그들의 인식에 대해 논의했습니다. 교사는 학생들의 인식에 매우 관심이 있었고 그들의 의견은 매우 유용한 토론을 불러 일으켰습니다. 사실, 많은 워크숍 참가자들이 자신의 활동을 위해 학생들의 발언이 정리된 copies를 요청했습니다. 우리의 포커스 그룹 연구 결과 발표는 다른 코스 디렉터에게 명확하게 묘사 된 컨텐츠 영역을 중심으로 포커스 그룹을 수행하도록 장려했습니다. 우리는 이러한 반응과 이러한 발견의 명백한 유용성에 감탄하였다. 효과적/비효과적 소그룹 교육 대한 학생들의 인식은 학부 프로그램과 FD계획 수립에 매우 중요합니다.

Finally, this study is among the first to incorporate student perceptions of small group teaching into a faculty development programme.24 In our setting, weregularly host faculty development workshops on small group teaching. For the last 3 years, we have developed workshop transparencies and handouts based on the students’ comments, and we have discussed their perceptions during the workshop plenary. Tutors have been very interested in the students’ perceptions and their comments have provoked very useful discussions. In fact, many workshop participants have requested copies of the students’ remarks for their own in-service activities. The presentations of our focus group findings have also encouraged other course directors to conduct focus groups around clearly delineated content areas.We have been heartened by this response, and the apparent usefulness of these findings. In our opin- ion, student perceptions of effective and ineffective small group teaching are invaluable in planning undergraduate programmes and faculty development initiatives. 



16 Frasier PY, Slatt L, Kowlowitz V, Kollisch DO, Mintzer M. Focus groups: a useful tool for curriculum evalua- tion. Fam Med 1997;29 (7):500–7.


11 Ashar H, Lane M. Focus groups: an effective tool in higher education. J Cont Higher Educ 1993;41:9–13.


12 Gowdy EA. Effective student focus groups: the bright and early approach. Assess Eval Higher Educ 1996;21:185–9.




 2004 Mar;38(3):286-93.

Student perceptions of effective small group teaching.

Author information

  • 1Faculty of Medicine, McGill University, Montreal, Quebec, Canada. yvonne.steinert@mcgill.ca

Abstract

PURPOSE:

The goal of this study was to assess student perceptions of effective small group teaching during preclinical training in a medical school that promotes an integrated, systems-based undergraduate curriculum. In particular, students were asked to comment on small group goals, effective tutor behaviours, pedagogical materials and methods of evaluation.

METHODS:

Six focus groups were held with 46 Year 1 and 2 medical students to assess their perceptions of effective small groupteaching in the 'Basis of Medicine' component of the undergraduate curriculum. Ethnographic content analysis guided the interpretation of the focus group data.

RESULTS:

Students identified tutor characteristics, a non-threatening group atmosphere, clinical relevance and integration, and pedagogical materials that encourage independent thinking and problem solving as the most important characteristics of effectivesmall groups. Tutor characteristics included personal attributes and the ability to promote group interaction and problem solving. Smallgroup teaching goals providing included opportunities to ask questions, to work as a team, and to learn to problem solve.

CONCLUSION:

This study highlighted the benefits of soliciting student impressions of effective small group teaching. The students' emphasis on group atmosphere and facilitation skills underscored the value of the tutor as a 'guide' to student learning. Similarly, their comments on effective cases emphasised the importance of clinical relevance, critical thinking and the integration of basic and clinical sciences. This study also suggested future avenues for research, such as a comparison of student and teacher perceptions of smallgroup teaching as well as an analysis of perceptions of effective small group learning across the educational continuum, including undergraduate, postgraduate and continuing professional education.

PMID:
 
14996338
[PubMed - indexed for MEDLINE]


커크패트릭 모델 평가에 대한 비판적 분석: 선행의 원칙(Evaluation and Program Planning, 2004)

A critical analysis of evaluation practice: the Kirkpatrick model and the principle of beneficence

Reid Bates

Louisiana State University, Baton Rouge, LA, USA





불가피하게, 평가모델과 그것들이 사용되는 방식에 있어서는 언제나 윤리적 영역이 존재한다. 따라서 사용하는 모델에 대해서 지속적으로 성찰하고 다른 관점에서 바라보아 분석하는 것이 중요하다. 그러한 성찰은 평가에 대한 근본적 윤리적 질문에 답하게 해준다 "우리는 옳은 것을 하는가? 그리고 그것을 제대로 하고 있는가?"

Inevitably there are also ethical dimensions to the models and the ways in which they are used. It is therefore important to subject our models to ongoing reflection and analysis from different perspectives. Such reflection should help answer a fundamental ethical question about evaluations: “Are we doing the right thing,and are we doing it well?” (Schwandt, 1998, p. 11). 



1. 훈련 평가의 네 가지 접근법

1. The four level approach to training evaluation


지금까지 가장 유명한 평가모델은 커크패트릭의 네 '단계' 준거이다.

By far the most popular approach to the evaluation of training in organizations today is Kirkpatrick’s (1976) framework of four ‘levels’ of criteria.


1.1. 4단계 모델의 명성

1.1. The popularity of the four level model


 

이 모델의 명성에는 몇 가지 요인이 있다. 첫째, 이 모델은 전문직 훈련하는 사람이 훈련에 대한 평가를 systematic way로 하는 것을 이해하게 도와준다. 훈련의 성과를 논하는데 직관적straightforward인 시스템 또는 언어를 제공해주었으며, 어떤 훈련프로그램이 얼마나 목표를 달성하였는지를 평가하는데 필요한 정보의 유형을 알려준다.

The overwhelming popularity of the model can be traced to several factors. First, the model addressed the need of training professionals to understand training evaluation in a systematic way(Shelton & Alliger, 1993). It has provided straightforward system or language for talking about training outcomes and the kinds of information that can be provided to assess the extent to which training programs have achieved certain objectives.


둘째로, 커크패트릭은 네 단계에 해당하는 정보가 훈련에 대해서 얻을 수 있는 가장 valuable or descriptive 한 정보라고 주장하였다.

Second, Kirkpatrick insisted that information about level four outcomes is perhaps the most valuable or descriptive information about training that can be obtained.


4단계 모델은 따라서 트레이너들에게 그들이 하는 일의 결과를 '사업적 용어'로 couch할 수 있는 수단을 제공해주었다. 

The four-level model has therefore provided a means for trainers in organizations to couch the results of what they do in business terms.


마지막으로, 4단계 모델의 명성은 복잡한 훈련평가의 프로세스를 단순화하는 기능 때문이다. 이 모델은 몇 가지 방식으로 이것을 달성한다.

Finally, the popularity of the four-level model is also a function of its potential for simplifying the complex process of training evaluation. The model does this in several ways.

  • 첫째, 이 모델은 어떤 질문을 해야하는지 어떤 준거가 적합한지에 대한 직관적 가이드를 준다.
    First, the model represents a straightforward guide about the kinds of questions that should be asked and the criteria that may be appropriate.

  • 둘째, 이 모델은 훈련 평가에 대한 측정의 부담을 줄여준다. 이 모델은 보통 훈련을 마친 이후에 수집하게 되는 네 단계의 성과자료에 초점을 두기 때문에 훈련-전 측정의 필요성을 없애준다 (적어도 없어도 된다고 암시한다).
    Second, the model reduces the measurement demands for training evaluation. Since the model focuses the evaluation process on four classes of outcome data that are generally collected after the training has been completed it eliminates the need for—or at least implies—that pre-course measures of learning or job performance measures are not essential for determining program effectiveness.

  • 추가적으로, 훈련의 효과성에 대한 결과가 성과척도에만 의존하기 때문에 훈련평가자들이 고려해야 하는 변수를 크게 줄여준다. 실제로, 모델에서는 훈련프로세스와 상호작용하거나 훈련프로세스를 둘러싼 복잡한 요인들의 네트워크를 설명하거나 측정해야 할 필요성을 제거해버린다.
    In addition, because conclusions about training effectiveness are based solely on outcome measures, the model greatly reduces the number of variables with which training evaluators need to be concerned. In effect, the model eliminates the need to measure or account for the complex network of factors that surround and interact with the training process.


커크패트릭 모델이 훈련평가에 대해서 가치있는 기여를 했음에는 의심의 여자기 없다. 이 모델은 훈련평가를 성과에 초점을 맞추게 하였고, single outcome measure로는 훈련프로그램의 복잡성을 적절히 반영할 수 없다는 인식을 촉진하였고, 훈련 효과성을 위해 다양한 측정을 해야 할 필요성을 강조하였다. 이 모델은 훈련에 대한 사고와 평가를 비지니스적 용어로 인지하는 중요성을 촉진하였다. 2단계와 3단계를 구분한 것은 훈련이 진정으로 효과가 있기 위해서는 학습의 전이에 관심을 가져야 한다는 것을 보여주었다. 이 모델은 훈련평가자들에게  유용한 heuristics가 되었고, 다수의 다른 평가모델을 낳았다.

There is no doubt that Kirkpatrick’s model has made valuable contributions to training evaluation thinking and practice. It has helped focus training evaluation practice on outcomes (Newstrom, 1995), fostered the recognition that single outcome measures cannot adequately reflect the and complexity of organizational training programs, underscored the importance of examining multiple measures of training effectiveness. The model promoted awareness of the importance of thinking about and assessing training in business terms (Wang, 2003). The distinction between learning (level two) and behavior (level three) has drawn increased attention to the importance of the learning transfer process in making training truly effective. The model has also served as a useful—if preliminary— heuristic for training evaluators (Alliger & Janak, 1989) and has been the seed from which a number of other evaluation models have germinated (e.g. Holton, 1996; Jackson & Kulp, 1978; Kaufman & Keller, 1994).


 

 


1.2. 4단계 모델의 한계

1.2. Limitations of the four-level model


1.2.1. 모델은 불완전하다

1.2.1. The model is incomplete


4단계 모델은 지나치게 단순화된 모델이며, 개인적, 맥락적 영향을 고려하지 않고 있다. 지난 20년의 연구를 보면 조직적, 개인적, 훈련설계적, 전달요인적 부분이 훈련의 효과성에 영향을 줄 수 있다. 이 연구는 조직의 특성과 근무환경과 개인 피훈련자의 특성이 훈련의 효과성에 결정적 input factor임을 새롭게 이해하게 하였다. 예컨대 아래와 같은 것들이 훈련의 프로세스 효과성과 성과 효과성에 모두 영향을 준다.

The four-level model presents an oversimplified view of training effectiveness that does not consider individual or contextual influences in the evaluation of training. A broad stream of research over past two decades (Cannon-Bowers,Salas, Tanenbaum, &Mathieu, 1995; Ford &Kraiger, 1995;Salas &Cannon-Bowers, 2001; Tannenbaum&Yukl, 1992)has documented the presence of a wide range of organizational, individual, and training design and delivery factors that can influence training effectiveness before,during, or after training. This research has led to a new understanding of training effectiveness that considers‘characteristics of the organization and work environment and characteristics of the individual trainee as crucial input factors’ (Cannon-Bowers, Salas, & Tannenbaum, 1995,p. 143). For example,

  • contextual factors such as the learning culture of the organization (Tracy, Tannenbaum, &Kavanaugh, 1995),

  • organizational or work unit goals and values (Ford, Quinones, Sego, & Sorra, 1992),

  • the nature of interpersonal support in the workplace for skill acquisition and behavior change (Bates, Holton, Seyler, & Carvalho,2000) the climate for learning transfer (Rouiller & Gold-stein, 1993), and

  • the adequacy of material resources such as tools, equipment, and supplies

...have been shown to influence the effectiveness of both process and outcomes of training.




1.2.2. 인과관계를 가정함

1.2.2. The assumption of causal linkages


커크패트릭은 최근의 출판물에서 '훈련이 효과가 있으려면, 피훈련자들이 긍정적으로 반응해야 한다'라고 말했다. 그리고 '학습이 없이는 행동의 변화가 없을 것이다'라고 했다. 그러나 연구결과들은 이러한 인과관계를 보여주는데 실패하고 있다. 두 개의 메타분석을 보면 각 단계 간 상관관계나 선형적 상관관계가 거의 없음을 보여주준다.

In one of Kirkpatrick’s more recent publications he states that “if training is going to be effective, it is important that trainees react favorably” (Kirkpatrick, 1994, p. 27), and that “without learning, no change in behavior will occur” (p. 51). Research, however, has largely failed to confirm such causal linkages. Two meta-analyses of training evaluation studies using Kirkpa- trick’s framework (Alliger & Janak, 1989; Alliger, & Tannenbaum, Benett, Traver, Shotland, 1997) have of evidence either substantial found little correlations between measures at different outcome levels or evidence of the linear causality suggested by Kirkpatrick (1994).



1.2.3. 단계 상승에 따른 정보의 중요성 상승을 가정

1.2.3. Incremental importance of information


커크패트릭 모델은 각 단계가 직전 단계보다 더 informative함을 가정한다. 이 가정은 훈련평가자들로 하여금 훈련프로그램의 효과성에 관한 정보에 있어 4단계가 가장 유용하다는 인식을 갖게 하였다.

Kirkpatrick’s model assumes that each level of evalu- ation provides data that is more informative than the last (Alliger & Janak, 1989). This assumption has generated the perception among training evaluators that establishing level most useful four results will provide the information about training program effectiveness.



1.3. 윤리적 함의

1.3. Ethical implications


HRD 조직에서 훈련담당자는 개인과 조직의 welfare를 advance 시켜야 할 의무가 있다. 이에 따라 고객과 이해관계자들은 훈련담당자/평가자의 노력에 의해 도움을 받을 것이라는 기대를 갖게 되었다. 이는 '선행의 원칙'이라는 윤리원칙에 따른다. 이것은 핵심적 윤리 쟁점이 되어야 한다. 다른 말로 하면, 우리는 '다른 사람을 이롭게 한다는 것의 의미가 무엇인지에 대해서 잘 생각하고 현명하게 생각해야 한다'

Training practitioners in organizations as members of the human resource development (HRD) profession have taken on the obligation to advance the welfare of individuals and organizations for whom they work. As such, we have created the expectation among our clients and stakeholders that they will benefit from our efforts. It follows from this that the ethical principle of beneficence—doing good for others—is or should be a central ethical concern. In other words, we have an obligation to “think well and wisely about what it means to benefit others…” (Kitchener, 1984, p. 43).




2. 선행의 개념

2. The concept of beneficence


 

자율성, 악행금지, 정의, 신의(fidelity)와 함께, '선행beneficence'는 다른 사람을 돕는 전문직의 주된 다섯 가지 윤리적 원칙 중 하나가 되었다. '선행'은 'the quality of doing good, taking positive steps to help others, or the notion that one ought to do or promote action that benefits others'으로 정외될 수 있다. 가장 일반적인 형태로서 이 원칙은 "타인이 자신에게 중요하고 정당한legitimate 관심interests를 추구할 수 있도록 돕는"윤리적 의무를 강조하며, 고객/스폰서/이해관계자의 이득benefit을 confer할 의무를 강조한다.

Along with autonomy, nonmaleficence, justice and fidelity, beneficence has been advanced as one of the five prima facie ethical principles of helping professions (Beauchamp & Childress, 1983). Beneficence can be defined as the quality of doing good, taking positive steps to help others, or the notion that one ought to do or promote action that benefits others. In its most general form, this principle asserts that it is an ethical duty to “help others further their important and legitimate interests” (Beauchamp & Childress, 1983, p. 148) and to confer benefits on clients, sponsors, and stakeholders when possible.


예를 들어, 많은 사람이 훈련평가자의 역할은 평가대상이 되는 조직이 'important and legitimate interests'를 추구할 수 있게 돕는 것이라고 여기며, 이를 위한 두 가지 평가목표가 있다. (a)프로그램이 효과적이었는가, (b)훈련프로세스를 향상시키기 위해서 할 수 있는 것은 무엇인가

For example, many now believe that those assuming the role of training evaluators should help organizations further their important and legitimate interests by striving to fulfill two fundamental evaluation goals: determining (a) if the program was effective and (b) what can be done to improve the training process.


Beauchamp and Childress 는 '선행'의 개념은 '악행금지(do no harm)의 개념을 넘어서는 것이라고 주장하며, 그렇게 할 수 있는 위치에 있으면서도 이득benefit을 주는데 실패하는 것은 (어떤 조건하에서는) 전문직 윤리를 위반한 것이라 주장했다.

Beauchamp and Childress (1983) suggest that the beyond of concept of beneficence goes the principle nonmaleficence (do no harm) and argue that the failure to provide a benefit when in a position to do so represents a violation of professional ethics when certain conditions are met.



2.1. 커크패트릭의 모델과 선행의 원칙

2.1. Kirkpatrick’s model and the principle of beneficence


 

선행의 원칙은 어떤 행동의 위험risk와 이득benefit에 관한 의문이 생겼을 때 훈련평가와 관련된 윤리적 문제에도 적용될 수 있다. (커크패트릭 모델과 같은) 평가모델의 잠재적 위험을 평가하는 것은 그러한 모델이 선행의 원칙과 일관된 practice를 촉진하는 역량을 갖추었는지에 대한 통찰을 줄 수 있다.

The principle of beneficence can be applied to ethical problems in training evaluation when questions arise about the risks and benefits of certain actions. Examining the potential risks associated with the evaluation models such as Kirkpatrick’s can provide some insight into the capacity of those models to foster practice consistent with the principle of beneficence.


이득benefit이란 'some process, activity, or information that promotes the welfare and interests of clients and stakeholders (Beauchamp & Childress, 1983)'을 말한다. 조직의 훈련평가에서 이것은 기술적, 판단적 정보가 systematic하게 수집되어 (a)프로그램의 효과성을 평가하고 (b)프로그램이 그 목적을 달성할 수 있도록 개선하는데 도움이 되게 한다면 가장 잘 되었다고 볼 수 있다. 따라서 커크패트릭 모델의 잠재적 이득을 살펴보는 한 가지 일반적인 방법은 그 모델이 '총괄적 질문(훈련이 효과적이었는가?)'와 형성적 질문(어떻게 훈련 프로세스가 효과성을 향상시키는 방향으로 개선될 수 있는가?'의 두 가지 질문에 대답할 수 있는 능력을 더 향상시켜주는지 아니면 더 제한하는지를 따져보는 것이다.

Benefits typically refer to some process, activity, or information that promotes the welfare and interests of clients and stakeholders (Beauchamp & Childress, 1983). For training evaluations in organizations, this is best done when descriptive and judgmental information is systematically collected that (a) assesses program effectiveness, and (b) helps improve the program relative to its goals (Goldstein & Ford, 2002; Holton, 1996; Swanson & Holton, 2000). Thus one general way of to examine the potential benefits Kirkpatrick’s model as a guide to training evaluation is to analyze the extent to which it furthers or limits the ability to answer both the summative question (Was training effective?) and the formative question (How can the training process be modified in ways that increase its potential for effectiveness?).



앞서 언급된 커크패트릭 모델의 한계는 고객과 이해관계자에게 누적될 수도 있는 몇 가지 유의미한 위험과 이득에 대한 함의를 보여준다. 성과에 exclusive하게 초점을 두면서, 이 모델은 훈련평가자가 네 단계 중 하나 혹은 그 이상의 성과를 측정하기만 한다면 적절한 평가 정보를 얻은 것이다라고 생각하게 한다.

The limitations of Kirkpatrick’s model noted earlier carry with them some meaningful implications for risks and benefits that may accrue to clients and stakeholders in the evaluation process. With its exclusive focus on training outcomes, the model promotes the view that if training evaluators measure one or more of the four levels of outcomes then this will provide adequate evaluative information.


이러한 접근법의 문제는, 프로그램 성과에 대한 정보를 얻는게 도움이 되긴 하지만, 네 단계에만 국한될 뿐이며, 왜 어떤 훈련이 효과적이고 어떤 것은 그렇지 않았는지에 대한 formative data가 없다.

The problem with this approach is that, although it may provide some beneficial information about program outcomes (given the effective selection and measurement of criteria), when measurement is restricted to one or more of the four criterion levels no formative data about why training was or was not effective is generated (Goldstein & Ford, 2002).


좀 더 맥락적인 정보가 없는 상태에서 훈련 프로그램이 효과적인 transfer를 촉진하는 방향으로 설계되었는지 아니면 다른 input factor가 학습한 스킬의 적용을 가로막고 있는지를 알 수 없다.

It is unclear, in the absence of more contextual information, whether the training program was not designed in ways that fostered effective transfer or whether other input factors blocked skill application.


핵심적 input factor가 고려되지 않은 상태에서 훈련의 이득과 효과성에 대한 판단은 잘못될 가능성이 있다. 훈련에 대한 잘못된, 부정확한 평가가 훈련의 효과성에 대한 '잘못된 판단poor decision'으로 이어진다면, 미래에 일어난 훈련이 효과성과 신뢰성도 훼손된다. 고객과 이해관계자는 훈련프로그램의 성공 또는 실패가 맥락적 요인에 따른 것인지를 아는 것도 중요하다(proper equipment, adequate resources, organizational culture, performance consequences, managerial expectations and support 등). 그러한 정보 없이는 조직은 동일하거나 비슷한 프로그램이 다른 사람/단위/부서에 적용되었을 때 달성할 수 있는 결과에 대한 결정을 내릴 토대가 거의 없는 것과 같다.

When key input factors are not taken into account, the potential for misleading or inaccurate judgments about the merit and effectiveness of training increases. When misleading or inaccurate evaluations lead to poor decisions about training effectiveness, the credibility and effectiveness of future training efforts is undermined. It is also of general benefit to clients and stakeholders to know whether a training program’s success or failure is a function of contextual factors such as proper equipment, adequate resources, organizational culture, performance consequences, managerial expectations and support, or other key input factors. In the absence of such information, organizations have little foundation upon which to make decisions about the extent to which the results of the same or a similar training program can be achieved with other individuals in other units or departments.


'인과관계'를 가정하는 것도 잠재적 위험의 하나이다. 첫째로, 이 가정은 '반응reaction'을 측정하는 것이 훈련성과의 다른 영역(학습, 행동변화)를 대체surrogate하거나 인접proxy한 측정으로 인식되게끔 한다. 이러한 인식은 '반응' 척도를 훈련 효과성의 유일한 평가척도로 과다하게 사용되게 만드는 결과를 낳았다. 예컨대 94%의 기업체가 만족도 척도를 활용하며, 학습이나 행동변화 관련 정보를 수집하기 위한 노력은 매우 낮다. 실제로 대부분의 훈련평가는 전통적으로 '반응'척도 수집에만 초점을 맞춰왔다.

There is evidence that the causal linkage assumption present potential risks to evaluation clients and stakeholders. First, this assumption has bred the perception that reaction measures can be used as legitimate surrogates or proxy measures for training outcomes in other domains (e.g. learning or behavior change). This perception has contributed to the overuse of reaction measures as the sole evaluative measures of training effectiveness. For example, over 94% of business organizations evaluate training using reaction measures (Bassi, Benson, & Cheney, 1996) while far fewer efforts are made to collect information about learning or behavior change on the job (Goldstein & Ford, 2002). In fact, most training evaluations in organizations has historically focused on collecting only reaction measures (Grider, Capps, & Toombs, 1988).


인과관계를 가정하는 것과 지나치게 반응 척도에 의존하는 것은 훈련자의 관심사를 '훈련이 진정으로 효과를 내는 것'이 아니라 '참가자가 즐겁게 느끼게 만드는 재밌고, 웃기고, 쉽게 진행되는 훈련'을 개발하는데 초점을 맞추게 만들었다. 종종, 참가자로부터 긍정적인 반응을 내게 만드는 훈련프로그램을 만드는 것이 진정으로 학습과 행동변화를 가져오는 프로그램을 만드는 것보다 쉽다. 이는 조직이 "시간을 즐겁게 보내는 것이 훈련의 수월성의 척도가 되고, 교육이 아니라 엔터테인먼트를 중시하는" 관점을 갖게끔 만드는 함정이 된다.

The causal linkage assumption and the over-reliance on reaction measures also diverts trainers’ attention away from efforts to make training truly effective to a focus on developing entertaining, amusing, and easy-going training that participants find enjoyable. It is often easier to develop a training program that will elicit positive reactions from participants than one that will lead to true learning and behavior change on the job. This presents a significant hazard for organizations to the extent it fosters a view that “having a good time becomes the mark of excellence [in training], a valuing of entertainment over education” (Michalski & Cousins, 2000, p. 249)


또한 이것은 '학습은 종종 어려운 것'이다 라는 점과, 효과적인 학습은 참가자들이 경험하는 것을 '불편하게' 느끼게 만들어야 한다는 점을 무시하게끔 한다.

It also ignores the fact that learning is often difficult, and that effective learning often challenges participants to the point that they may experience training as uncomfor- table (Knowles, Holton, &Swanson, 1998; Rodin &Rodin, 1972).


훈련자들은 훈련평가를 스스로의 퍼포먼스에 대한 평과와 등치시켜 보는 경우가 있어서 비싼costly and high profile 프로그램을 (단순히 '좋은 반응'보다 달성하기 어려운) 'higher level outcome'에 대해서 평가될 경우 personal risk가 더 높아진다.

Because trainers view the evaluation of training as parallel to the evaluation of their own performance (Michalski &Cousins, 2000), the level of personal risk rises substantially when a costly or high profile programis evaluated at higher level outcomes that are often more difficult to achieve than ‘good’ participant reactions.


고객과 이해관계자들은 '반응 척도'가 더 높은 단계의 surrogate로 사용될 때 발생할 수 있는 misleading and inaccurate information으로 인해서 손해를 볼 가능성이 더 커진다.

Evaluation clients and stakeholders are also in greater jeopardy in these situations because of the increased potential for loss or damage that may ensue from the misleading or inaccurate information that comes when reaction measures are used instead of or as surrogates for higher level outcomes.



4단계 성과 척도가 조직 수준의 재정 정보 형태로 수집된다는 가정은 훈련프로그램의 평가에 있어 세 가지 주된 잠재적 위험을 낳았다.

The assumption that level four outcome measures in the form of organizational level financial information is the most useful for evaluating training has generated at least three elements of substantial risk for clients and stakeholders in the training process.

 

첫째, 훈련자와 훈련평가자로 하여금 "고객과 이해관계자들은 훈련의 유용성을 다른 organizational initiative를 판단하는데 사용되는 financial metrics와 동일한 것으로 판단하고 싶을 것이다"라고 믿게끔 했다.

First, it has fostered the belief among trainers and training evaluators that clients and stakeholders want to judge the utility of training using the same financial metrics they would use to judge other organizational initiatives. 


개인의 학습과 조직의 성과를 연결하는 인과관계가 복잡하다는 점 외에도, 이러한 경향은 대부분의 훈련이 조직 수준의 목표 달성과 직접적으로 연결되어 설계되지 않았음을 무시하게끔 하였다. 이 때문에 훈련의 가치나 영향이 크게 잘 못 계산되거나 훈련의 효과에 관한 타당한 자료를 거의 수집할 수 없게 된다. 또한 4단계 자료는 훈련에 관한 어떠한 prescriptive information도 주지 않는다. 이 단계의 평가는 훈련의 구조나 프로세스를 향상시킬 수 있는 formative data는 사실상 무시한다. 결국 ROI와 같은 4단계의 financial measure에 빠지는 것은 종종 self-serving하거나 관심을 훈련의 향상이 아닌 다른 것으로 돌리게 만든다. 또한 지속적이고 ongoing improvement를 할 수 있는 훈련시스템을 개발하는 조직의 능력을 손상시킨다.

Aside from the complex causal connections linking individual learning to organizational outcomes, the tendency has been to disregard the fact that most training is not designed to directly address organiz- ational level goals. This results in evaluations that provide relatively little valid data about training effects or which may grossly miscalculate and inflate the influence and value of training. In addition, level four data does not provide any kind of prescriptive information about training. Evaluations at this level virtually ignore formative data that could be used to improve training structures and process. In effect, a preoccupation with level four financial measures such as ROI is often self-serving and can divert attention from a focus on improving training. It also impairs the ability of organizations to develop training systems that are capable of continuous and ongoing improvement.



둘째로, 커크패트릭 모델에서 만들어진 평가자료는 훈련이 조직 수준에서의 성과의 변화를 이끌어냈다는 결론을 타당하게 보장해주지 않는다. 사실, 4단계 자료가 가장 유용하다는 가정은 misleading or inaccurate results 의 위험을 높이는데, 왜냐하면...

Second, the evaluation data generated by the Kirkpatrick model does not provide a reasonable warrant for validly making the conclusion that training causes changes in outcomes at the organizational level. In fact, the assumption that level four data is the most useful increases the risk of misleading or inaccurate results because

  • (a) training initiatives rarely directly target costs or other financial metrics at the organizational level;

  • (b) any number of factors can confound changes in financial and other performance measures at the organizational level; and

  • (c) most training efforts have little capacity to directly affect level four criteria.

 

예를 들어, 대부분의 훈련 프로그램은 하루나 이틀 정도로 짧고, 참가자들에게 제한적으로 영향을 미칠 뿐이다

For example, most training programs in organiz- ations are of short or modest duration (e.g. 1 or 2 days) and are meant to have only a limited impact on the participants involved.


'훈련'과 '조직의 성과'를 연결해주는 근거는 커크패트릭 모델을 통해서 발견하기에는 너무 약하다. 훈련 프로세스와 조직의 맥락은 너무 복잡하고 커크패트릭 모델은 논리적인 근거나 결론의 증거를 제시하기엔 지나치게 poorly specified 되어있다.

the evidentiary linkage from training to organizational results is likely to be too weak to be detected using the inferential chain provided by Kirkpatrick’s model. The training process and the organiz- ational context are just too complex and the causal linkages too poorly specified in Kirkpatrick’s model to provide reasonable evidence or proof of conclusions of this nature.



요약하자면, 훈련이 스킬 습득에만 책임이 있는지, 아니면 더 확장해서 조직의 생산성과 finanacial perfomance에도 영향이 있는지는 "지나치게 포괄적이고 부정확하다. 무수한 잠재적으로 중요한 개입 변수와 만일의 사태를 모두 무시한다" 

In short, the question of whether training is solely responsible for skill acquisition and, by extension, organizational productivity or financial perform- ance is “just too broad and imprecise; it neglects a myriad of potentially important intervening variables and contingen- cies” (Baldwin & Danielson, 2002, p. 27).


마지막으로, Michalski and Cousins 의 연구에 따르면, 고객이나 이해관계자는 훈련의 성과에 대한 관점이 모두 다르고 훈련 효과성 평가를 위해 무엇을 측정하는 것이 중요한지에 대한 의견도 다르다. 커크패트릭이 4단계 자료가 가장 유용하다고 가정한 것은 이러한 인식과 기대의 차이를 무시한 것이다.

Finally, recent research by Michalski and Cousins (2000) suggests that different clients and stakeholder groups in organizations have appreciably divergent views about training outcomes and what is important to measure in assessing training effectiveness. Kirkpatrick’s assumption that level four data are the most useful ignores the potential perceptual and expectation differences about training and training outcomes that may exist among key stakeholders groups (e.g. trainees, managers, trainers) in organizations.



 

3. 결론과 고찰

3. Discussion and conclusion


 

개선되고 발전된 훈련평가법을 활용하지 않는 것은 윤리적으로 문제이다. 예컨대 의학에서 질병을 예방하기 위한 방법이 새로 나왔을 때 그것을 통해 benefit을 제공하지 않는 것은 비도덕적이다.

Along these same lines, it is also important to note that the principle of beneficence suggests that training evaluators may be at ethical risk if they fail to take advantage of advances in training evaluation methods, models, and tools when the opportunity arises. This proactive dimension of beneficence is well established in other helping professions. For instance, in medicine when methods of preventing certain diseases were discovered, there was universal agreement that not taking positive steps to provide this benefit through preventive programs would be immoral.


훈련평가자들은 고객과 이해관계자들에게 더 유의미한 benefit을 줄 수 있도록 평가모델과 평가행위를 개선시킬 의무가 있다. 지난 십년간 새로운 것들이 개발되었다. 

This perspective suggests that training evaluators have an ethical obligation to improve their models and practice in ways that will enhance the capacity to more meaningfully benefit clients and stakeholders. Fortunately, research into training effectiveness over the last decade has generated new insights and has led to the development of more complete models of evaluation that have the potential to more effectively assess training outcomes and provide information needed to improve the training process (e.g. Holton, 1996).



For instance, recent research has led to

  • the development of instruments measuring key pre-training factors (Weinstein et al., 1994),

  • factors affecting learning transfer (Holton, Bates, & Ruona, 2000), and

  • other contextual factors influencing training effectiveness (e.g. Tracy et al., 1995).

  • Kraiger, Ford and Salas (1993) have forwarded a multidimensional model of learning outcomes from training and

  • have described a process training evaluators could use to developing learning evaluation measures (Kraiger & Jung, 1997).

  • Kraiger, Salas, and Cannon-Bowers (1995) developed and used a method for the assessment of an individual trainee’s domain-specific knowledge and skills.

  • Other researchers have provided tools for more accurately assessing the multi-dimensionality of participant reaction measures (Morgan & Casper, 2000) and

  • models for thinking more clearly about the multiple dimensions of job performance (Campbell, McHenry, & Wise, 1990; Cannon-Bowers & Salas, 1997).





A critical analysis of evaluation practice: the Kirkpatrick model and the principle of beneficence

  • Louisiana State University, Baton Rouge, LA, USA

Abstract

This chapter describes Kirkpatrick's four-level training evaluation model and the reasons for its popularity in organizations. Several fundamental limitations of the model are outlined and the potential risks these limitations raise for evaluation clients and stakeholders are discussed. It is argued that these risks, plus the inability of the model to effectively address both the summative question (Was training effective?) and the formative question (How can training be modified in ways that increase its potential for effectiveness?), limits the capacity of training and HRD professionals to fulfill the core ethical duty of beneficence.

Keywords

  • Kirkpatrick model
  • Training
  • Casual linkage
  • Training evaluationz


강의 동료평가 도구 개발과 교훈(Acad Med, 2009)

Developing a Peer Assessment of Lecturing Instrument: Lessons Learned

Lori R. Newman, MEd, Beth A. Lown, MD, Richard N. Jones, ScD, Anna Johansson, PhD, and Richard M. Schwartzstein, MD






전통적으로 임상가-교육자의 교육은 학생이 평가해왔다. 그러나 의과대학 행정가와 교육연구자들 사이에 교육을 효과적으로 평가하기 위해서는 다양한 출처의 근거를 포함시켜야 한다는 합의가 늘고 있다. teaching에 대한 피어리뷰는 학생들의 강의평가와 합해져서 의과대학과 임상에서의 교육을 평가하고 향상시키는데 필수적인 자료를 제공해줄 수 있다. 피어리뷰는 교수들로 하여금 teaching skill에 대해 토론하게 해주고, 구체적인 교육 테크닉에 대한 형성평가를 해주며, 승진을 목적으로 한 총괄평가의 요소로서 포함될 수도 있다.

Traditionally, clinician–educators’ teaching has been assessed by students.1,2 There is, however, growing agreement among medical school administrators and educational researchers that effective assessment of teaching must include evidence from multiple sources.3–6 Peer review of teaching, combined with student evaluation, can provide essential data to evaluate and improve medical school and clinical teaching.7 Peer review engages faculty in a discussion about their teaching skills, provides formative assessment of specific instructional techniques, and may be included as a component of summative assessment for academic promotional purposes.


 

프로그램 설명

Program Description


배경과 목표

Background and goals


강의에 대한 동료평가 도구의 개발로 시작하였다. 강의는 아직 가장 흔하게 사용되는 교육법 중 하나이다.

The task force began its work by developing a peer assessment instrument on medical lecturing. The lecture remains the most commonly used instructional method in the first two years of medical education11,12 and, thereby, offers fertile ground to assess faculty.


프로그램이 시작될 당시 Shapiro Institute task force 는 평가프로그램을 위한 도구를 개발하기 시작했다.

At the program’s inception, a Shapiro Institute task force (made up of the authors and two members of the institute staff) began developing instruments for the assessment program.


2007년 Shapiro Institute for Education and Research at Harvard Medical School (HMS) and Beth Israel Deaconess Medical Center (BIDMC) 가 교수들의 교육에 대한 동료평가 프로그램을 시작했다.

In 2007, the Shapiro Institute for Education and Research at Harvard Medical School (HMS) and Beth Israel Deaconess Medical Center (BIDMC) initiated a program of peer assessment of faculty teaching.



동료교수는 학생에게 가르치는 내용의 적합성, 강사의 전문성, 강의에서 제시되는 연구의 퀄리티 등을 평가할 수 있다.

Peers are able to judge the appropriateness of the content delivered, the lecturer’s expertise, and the quality of studies presented during the lecture.2,15,16



참여자

Participants


In 2007, after receiving institutional review board approval from the BIDMC Committee on Clinical Investigation, the task force invited all members of the BIDMC’s Resource Faculty in Medical Education to participate in a study to develop an instrument for peer assessment of lecturing and to measure the reliability of the scores obtained from the instrument. The Resource Faculty consists of HMS physician faculty members, representing all major clinical departments at BIDMC, who have a strong commitment to medical education and experience teaching in a variety of medical school and hospital settings.


도구 개발

Instrument Development

 

준거 설정

Criteria identification



modified Delphi 활용의 이유와 목적

We used the modified Delphi method19 to develop our instrument for peer assessment of lecturing. The Delphi method is shown to be an effective consensus building process to use when published information is inadequate or nonexistent.20 The modified Delphi method is an iterative process designed to establish expert consensus on specific questions or criteria by systematic collection of informed judgments from professionals in the field.

 

modified Delphi 진행과정

Using this method, a researcher first surveys a panel of experts individually about a particular issue or set of criteria. After analyzing and compiling their responses, the researcher resurveys the experts, asking each to indicate agreement or disagreement with the items. Repeated rounds of surveys are carried out until full consensus is reached. For development of the peer assessment of lecturing instrument, the Resource Faculty members served as the expert panelists.

 

Resource Faculty 를 패널로 선정한 이유

We chose to involve the Resource Faculty because of their educational expertise, diverse clinical backgrounds, and experience teaching in a variety of instructional settings. Furthermore, we felt the Resource Faculty would have a strong interest and commitment to the development of this instrument, as their education leadership role involves the peer assessment of teaching.


첫 번째 설문을 위한 리스트 선정

In preparation for the first survey round, we generated an initial list of effective lecturing behaviors, skills, and characteristics. To compile the list, we

  • spoke with faculty members with extensive expertise in lecturing and

  • reviewed the medical literature for observable, effective lecturing behaviors11–14,21–25 (Figure 1, Delphi Round 1).

 

첫 번째 설문 시행

We constructed and distributed a listing of 19 possible criteria to the panelists and asked them to rate the importance of including each item in an instrument to assess medical lecturing. We based the ratings on a four-point scale: 1  very important; 2  important; 3  not important; 4  eliminate. We also asked panelists to suggest different wording, note redundancies, or propose additional items for the instrument. All 14 Resource Faculty experts responded to the first Delphi survey round.


 

첫 번째 설문 결과 평가: 평균점수(2.5)와 표준편차(1.0)을 기준으로 선택

We used measures of central tendency and dispersion to analyze the data collected from the first survey round. Calculating these measures allowed us to determine the level of group consensus for inclusion or exclusion of each criterion. The mean value of 2.5 (the midpoint of our four-point scale) was chosen as the numerical indicator of group consensus. Those criteria with mean values less than 2.5 were included. Standard deviation (SD) was used to measure the dispersion of responses for each criterion and provide further evidence of group consensus. The smaller the SDs, the greater the consensus. Those criteria with an SD of less than 1 were included. Seventeen of the 19 criteria had means between 1.0 and 2.2 and SDs between 0.00 and 0.96. Two of the criteria had means of 2.6 and 2.9, with SDs of 1.1 and 1.2, and were eliminated.



첫 번째 설문 결과 평가: 워딩(기술방식) 수정

In addition, we edited the criteria according to the panelists’ suggestions for rewording. Five items were reworded to describe explicit, observable behaviors. For example, the original criterion “Captures and keeps the audience’s attention,” became “Captures attention by explaining or demonstrating need, importance, or relevance of topic.” Several panelists noted redundancies among six of the criteria. We therefore eliminated three of these criteria. The outcome fromthe first Delphi survey round resulted in a listing of 14 criteria. We summarized and distributed to the panel of experts the data fromthe first survey round and the resulting list of criteria, along with a written request for a second round of review (Figure 1, Delphi Round 2).



두 번째 설문 결과

Twelve experts responded to the second Delphi survey round. Thirteen of the 14 criteria had mean ratings between 1 and 1.3 and SDs between 0.0 and 0.6. One criterion had a mean of 2.5 and an SD of 1.2 and was eliminated fromthe listing. We again edited and reworded the criteria according to the panelists’ suggestions. Most suggestions were recommendations to shorten the criterion’s word length, and to add specific behavioral descriptors or anchors to the assessment instrument. The panelists noted redundancy of two criteria, and we therefore eliminated one of these.


최종 12개의 준거를 가지고 세 번째 설문 시행

We e-mailed a final revised listing of the 12 criteria to the expert panelist for the third Delphi survey round. All 14 experts reached full consensus on this final listing of criteria (Figure 1, Delphi Round 3). Using this listing of 12 criteria of effective lecturing, we constructed our initial peer assessment instrument. We used a three- point scale to rate each criterion: 1   excellent demonstration, 2  adequate demonstration, and 3  does not demonstrate. We also added an option to indicate unable to assess, along with a global rating of the lecture.



각 준거별로 3단계로 수행능력수준을 구분함

To differentiate the three levels of lecturer performance, we included behavioral descriptors of each criterionculled from the literature.6,26 The behavioral descriptors were placed under the column heading

  • for rating level 1, excellent demonstration of performance.

  • For rating level 2, adequate demonstration of performance, we used qualifying terms such as “limited in scope.”

  • For rating level 3, does not demonstrate, we used terms such as “does not present.”

 

최종 11개 준거 확정

We presented the rating scale and criteria to the faculty as a group, who recommended eliminating one additional criterion, “Presents material at level appropriate for learners.” The group felt that, to assess this criterion, a peer observer would need to know the learners’ opinions regarding the appropriateness of the presentation level. This resulted in identification of 11 criteria of effective lecturing.



평가스케일 개발

Rating scale development


rating scale을 검토하고 비디오를 보면서 평가

We invited the same Resource Faculty members who participated in the Delphi rounds to consider and review the rating scale and behavioral anchors of the peer assessment instrument to finalize it for pilot testing of interrater reliability. These faculty members met for two, 2-hour sessions to discuss peer observation techniques, consider the behavioral descriptors for each criterion, comment on the sufficiency of the three rating levels, and provide feedback on the overall format of the instrument. To gain experience using the instrument, we asked the group to watch, score, and discuss videotaped lectures filmed during an HMS human physiology course. We showed 10-minute segments from the beginning, middle, and end of each lecture and asked the faculty to rate the elements observed. After rating the lecture segments, the faculty shared their scores and discussed behaviors they saw that persuaded them to choose a particular level of performance. Several faculty made suggestions for minor rewording of the behavioral descriptors.


대부분 3점 중 2점에 주어서 5점으로 확대

During the second rating scale development session, the faculty noted that the three-point rating scale was limiting, as they tended to rate most criteria at the second performance level (adequate demonstration). The group suggested changing the instrument to a five-point scale (1  excellent demonstration, 2  very good, 3   adequate, 4  poor, and 5  does not demonstrate criteria) and maintaining descriptive benchmarks for the excellent, adequate, and poor performance rating levels. At a follow-up meeting with the faculty, we distributed the finalized peer assessment of the lecturing instrument consisting of 11 criteria rated on a five-point scale. The group unanimously agreed on this final version (Appendix 1).


신뢰도를 위한 파일럿 테스트

Pilot testing reliability of the instrument’s measures


새로운 영상 활용하여 개발한 평가도구 시험

We subsequently pilot tested the instrument to measure internal consistency and interrater agreement. We instructed each participant to rate the entirety of four, 1-hour HMS videotaped lectures (not viewed previously) according to the criteria, and to provide a global rating assessment of the quality of each lecture. Because of faculty time constraints, the number of observers varied in the assessment of the four lectures. We collected a total of 31 peer assessment rating forms for the lectures (the four lectures had 12, 9, 5, and 5 reviewers, respectively).


파일럿 결과 분석

We analyzed the pilot data to measure reliability of the scores obtained fromthe instrument. Cronbach alpha was used to assess internal consistency reliability of the ratings.27 The coefficient alpha was high (a  .87, 95%bootstrap confidence interval [BCI]  0.80–0.91), indicating that the items on the instrument measure a cohesive set of concepts of lecture effectiveness. Bootstrap resampling approaches were used to obtain interval estimates. Missing data were handled with multiple imputation.28



내적신뢰도

There was some variability in the internal consistency across each of the four lectures (0.92, 0.77, 0.93, 0.87). All but one were close to a minimal threshold of 0.90 for making decisions about individuals, and well above the threshold for making decisions about groups (0.80).29



평가자간 일치도: 문항간 ICC값은 차이가 컸음

Interrater agreement was assessed by forming all possible pairs of raters who observed the same lecture. The reliability of a randomly selected reviewer’s scores was computed using intraclass correlation coefficient (ICC). The measure of ICC for the 31 raters’ scores across all criteria and the global measure was fair (0.27, 95%BCI   0.08 to 0.44). However, there was variability of ICC measures for the individual criteria.

  • For criterion 11 (ICC  0.69), the magnitude of association across pairs of raters can be described as substantial.

  • For criteria 3 through 7 and 9, the magnitude of association can be described as moderate to fair.

  • The reviewers reached only slight agreement on criteria 1, 2, 8, and 10, and on the global rating of the lectures.30

Table 1 presents a comparison by criteria of the interrater agreement (as measured by ICC) for all four lectures. The table is arranged in descending order of agreement.


 

 

 

동료평가 도구 개발 과정에서의 교훈

Lessons Learned About Instrument Development and Peer Assessment of Lecturing



교훈 1: 합의를 도출하는 것이 도구의 일관성과 자기성찰을 촉진한다.

Lesson 1: Consensus building fosters instrument coherence and self-reflection



Resource Faculty 가 평가도구 개발에 쏟은 시간과 노력은 강의의 효과성을 일관성있게 측정하기 위해 필수적인 것이었다. 이러한 노력은 높은 내적 신뢰도에 기여했다. 또 한가지 교훈은 도구를 개발하는 과정에서 교수들간의 협력이 '좋은 강의가 무엇인가'에 대한 공통의 정의를 만드는데 기여했다는 점이다. Resource Faculty 는 효과적인 강의에 대한 준거를 개발하는 과정에서 자기성찰을 할 수 있었고, 스스로 얼마나 이러한 기준을 충족하는지 생각해볼 수 있었다고 하였다.

The time and effort the Resource Faculty dedicated to the development of the assessment instrument was vital to establishing cohesive measures of effective lecturing. The effort expended likely contributed to the high measurement of internal consistency when we tested the reliability of the instrument. One lesson learned, and noted in the literature, is that collaboration of faculty in the development of an assessment instrument can create a shared definition of good performance.32 Resource Faculty also noted that the work of establishing the criteria of effective lecturing stimulated self-reflection and consideration of how well they met these standards when giving their own lectures.




교훈 2: 교수들이 반드시 평가절차의 신뢰도와 타당도를 신뢰해야 한다.

Lesson 2: Faculty members must trust the validity and reliability of the evaluation process



동료교수의 평가가 효과적인 강의의 근거로서 사용되기 위해서는 그 평가과정이 높은 수준의 객관성을 획득함으로써 신용/신뢰/방어가능한 평가가 되어야 한다. 동료교수의 평가를 받는 교수들은 그 평가결과가 idiosyncratic한 것이 아니라는 것을 믿어야 한다. 따라서 우리는 교수들이 피드백을 더 신뢰하게 만들기 위해서는 평가자간 신뢰도를 측정하여 우리의 평가도구의 신뢰도를 점검하는 것이 필수적이라고 생각했다. 이 평가도구 자체가 교수개발의 교육자료로 활용될 수도 있는 것이었다. 반대로, 낮은 평가자간 일치도는 포괄적인 평가 프로그램으로서의 유용성이나 고부담 의사결정에 포함시키는 것에 큰 위협이 된다.

For peer assessment to be used as evidence of effective teaching, the process requires a high degree of objectivity to produce credible, reliable, and defensible evaluations.9 Faculty undergoing peer review need to trust that the ratings are not idiosyncratic scores of their performance. We therefore felt it was critical to test the reliability of our assessment instrument through measuring interrater agreement,33 as faculty would be more likely to trust the feedback. The instrument itself could then be used as instructional material in faculty development. Conversely, low interrater agreement of the instrument’s scores would be a significant threat to its usefulness in a comprehensive assessment program or inclusion in high-stakes decision making.


평가자간 일치도에는 상당한 편차가 있었다. 이것은 몇 가지로 설명할 수 있다.

There was considerable variability in our instrument’s interrater agreement measures. There are several possible explanations for this variability.

  • 가장 중요한 요인은 우리가 적절한 평가자 훈련을 하지 않은 것이다. Resource Faculty 는 관찰 기술에 대해서 토론하고, 도구에 대해서 코멘트하고, 도구를 사용하여 연습했지만 이것을 공식적 훈련 세션이라고 볼 수는 없다.
    The most significant factor is that we did not provide proper rater training. In our two, 2-hour faculty development sessions, the Resource Faculty discussed peer observation techniques, offered comments on the instrument, and practiced using the assessment tool. However, these were not formal training sessions (see Lesson 3).

  • 두 번째 요인은 교수평가자들이 강의를 평가할 때 이미 정해져있는(자신이 가지고 있는) 내적 기준을 가지고 평가했기 때문일 수 있다.  Braskamp and Ory는 평가자들이 한 사람의 수행능력을 비교할 때 다른 사람과 비교하는 방식으로 혹은 과거의 경험에서 나온 기준을 가지고 한다고 지적했다.
    A second factor contributing to the low interrater agreement measure may be that the faculty raters used predetermined, internal standards in judging the quality of a lecturer’s performance. Braskamp and Ory34 note that, at times, raters compare a person’s performance or contribution against those of others, or against some a priori standard derived from previous experience.

 

우리 연구에서 교수들은 동료의 강의를 관찰할 때 내면의 편견을 가지고 보았을 수 있다. 이것은 특히 (강의의) 주제가 교수의 관심대상이거나 교수 자신의 전공일 경우에 특히 더 그럴 수 있다. 따라서 교수의 idiosyncratic한 인식이 객관적인 강의력 평가보다 더 우선할 수도 있다.

In our study, the faculty might have approached the peer observation event with an internal bias about how the lecture should be presented. This may have been the case, in particular, if the topic was of interest to the faculty or within the faculty’s own discipline. Therefore, the faculty’s idiosyncratic perceptions may have superseded more objective appraisal of the lecturing performance.



 

교훈 3: 평가자 훈련이 고부담 평가에서는 필수적이다.

Lesson 3: Peer rater training is essential for high-stakes evaluation


평가자 훈련은 수행능력 평가에서의 rating에 있어서 일관성과 정확성을 높이기 위한 가장 효과적인 전략이다. 훈련과정에서 평가자는 평가자들이 흔히 하는 실수를 회피하는 법을 배워야 하며, 각 수행능력 영역의 행동지표가 무엇인지 토론하여 개인이 가진 인식이 그룹 전체의 인식과 비슷해지게 해야 한다. 수행능력이 높고 낮음을 능숙하게 구분해낼 수 있게 하기 위해서는 평가자들은 샘플을 보고 토론하여야 한다. 가장 중요한 것은 평가자가 점수를 매기는 연습을 한 다음에 퍼실리테이터로부터 점수의 정확성에 대하여 피드백을 받아야 한다는 점이다.

Careful attention to rater training has been singled out as the most effective strategy for increasing accuracy and consistency of performance assessment ratings.32 During training, raters learn to avoid common rater errors (such as halo, leniency, and central tendency) and discuss behaviors indicative of each performance dimension until individual perceptions are brought into closer congruence with those held by the group.35 To increase proficiency at discriminating between performance dimensions, raters view and discuss samples of each performance level included on the rating scale. Most important, raters practice scoring performances and receive feedback from a training facilitator on the accuracy of their scores.




평가자 훈련 프로그램의 성공을 위해서는 참가자들이 시간과 노력을 들여서 시스템의 기준을 내면화하고 평가도구를 사용하는데 일관성을 갖추는 것이 중요하다. 모든 교수들이 높은 수준으로 헌신commitment하게 요구하다보면 대규모의 평가자들에 대한 훈련이 문제가 될 수 있다. 이것에 대한 한 가지 해결책은 소수 집단의 고강도로 훈련된 평가자들을 만드는 것이다. 이들 평가자들로부터 신뢰도있는 결과를 얻는다면 총괄적, 고부담 평가를 할 수 있을 것이다.

The success of rater training programs requires that participants commit to the time and effort necessary to internalize the standards of the systemand become consistent in their use of the ratings. The need for a high level of commitment among all faculty participants can make training a large group of peer raters problematic. One solution might be to establish a small cadre of faculty who undergo intensive rater training together. Reliable appraisal data obtained fromthis cadre of peer raters could then be used in summative, high-stakes assessment of lecturing effectiveness.





11 (Provides a conclusion) 0.69 

3 (Presents material in a clear, organized fashion) 0.60 

4 (Shows enthusiasm for the topic) 0.56 

6 (Explains and summarizes key concepts) 0.46 

5 (Demonstrates command of the subject matter) 0.45 9 (Audio and/or visual aids reinforce the content effectively) 0.38 

7 (Encourages appropriate audience interaction) 0.22 

8 (Monitors audience’s understanding and responds accordingly) 0.20 

2 (Communicates or demonstrates importance of lecture topic) 0.14 

1 (Clearly states goals of the talk) 0.07 

10 (Voice is clear and audiovisuals are audible/legible) 0.06 

Global rating (Overall, how would you rate this lecture?) 0.19

 





 2009 Aug;84(8):1104-10. doi: 10.1097/ACM.0b013e3181ad18f9.

Developing a peer assessment of lecturing instrumentlessons learned.

Author information

  • 1Shapiro Institute for Education and Research, Harvard Medical School and Beth Israel Deaconess Medical Center, Boston, Massachusetts 02215, USA. lnewman@bidmc.harvard.edu

Abstract

Peer assessment of teaching can improve the quality of instruction and contribute to summative evaluation of teaching effectiveness integral to high-stakes decision making. There is, however, a paucity of validated, criterion-based peer assessment instruments. The authors describe development and pilot testing of one such instrument and share lessons learned. The report provides a description of how a task force of the Shapiro Institute for Education and Research at Harvard Medical School and Beth Israel Deaconess Medical Center used the Delphi method to engage academic faculty leaders to develop a new instrument for peer assessment of medical lecturing. The authors describe how they used consensus building to determine the criteria, scoring rubric, and behavioral anchors for the rating scale. To pilot test the instrument, participants assessed a series of medical school lectures. Statistical analysis revealed high internal consistency of the instrument's scores (alpha = 0.87, 95% bootstrap confidence interval [BCI] = 0.80 to 0.91), yet low interrater agreement across all criteria and the global measure (intraclass correlation coefficient = 0.27, 95% BCI = -0.08 to 0.44).The authors describe the importance of faculty involvement in determining a cohesive set of criteria to assess lectures. They discuss how providing evidence that a peer assessment instrument is credible and reliable increases the faculty's trust in feedback. The authors point to the need for proper peer rater training to obtain high interrater agreement measures, and posit that once such measures are obtained, reliable and accuratepeer assessment of teaching could be used to inform the academic promotion process.

PMID:
 
19638781
 
[PubMed - indexed for MEDLINE]


강의와 대형그룹 (Understanding Medical Education ch10)

Lectures and large groups

Andrew Long and Bridget Lock






어떤 사람은 자는 중에 말을 한다. 강사들은 다른 사람이 자는 중에 말을 한다.

Some people talk in their sleep. Lecturers talk while other people sleep. 

Albert Camus


도입

Introduction


강의 중에 전달된 정보의 작은 부분만 남으며, 종종 무엇을 말했는지는 무엇을 배웠는지와 같지 않다.

Only a small percentage of the information delivered during a lecture is retained, and often what is told does not equate to what is learnt. (1)


임상 지식

Clinical Knowledge


의사들은 'propositional knowledge'라는 것을 진료에 활용한다. propositional knowledge 는 public domain에 존재하며, 공동의 이론적, 실천적 바탕을 이룬다.

Clinicians require what has been termed propositional knowledge to inform their practice. (3) Such knowl- edge is available in the public domain and provides a shared theoretical and practical base for the profes- sion ’ s activities.


Solitary reflection (혼자서 하는 성찰)은 행동practice를 개선시키는데 중요하지만 그것만으로 충분하지 않다. 의료가 그러하듯, 전문직의 학습은 사회적 행위이다. 만약 강의가 어떤 식으로든 가치가 있으려면, 학습자의 커뮤니티에 의해서 그 가치를 인정받아야 하고, 그 지식이 형성된 맥락에 어떤 insight를 제시해줄 수 있어야 한다.

Solitary reflection is important in developing practice but in itself is not sufficient. Like medicine itself, professional learning is a social activity. If lectures, for instance, are to be of any worth, they need to be valued by the community of learners, and they also need to offer an insight into the context in which the knowledge was generated, (9)


 

실천공동체

Communities of Practice


새롭게 공동체에 들어온 사람은 전문직의 연속성을 위하여 전통과 지식을 습득해야 한다. 전문직 커뮤니티 내에서 일을 하고, 그 커뮤니티의 일에 관한 대화에 참여하는 것은 situated learning을 가능하게 하고, 새로 들어온 사람이 제한적으로 참여할 수 있게 해준다. 이러한 '전문직의 대화'를 통해서 전문직은 '실지로 행동으로 보여주는 것'과 '말만 번지르르하게 하는 것'이 무엇인지 배우게 된다(walk-the-walk, talk-the-talk)

New entrants to the community have to learn the tradition and knowledge of the profession for its con- tinuity. Working within the professional community and engaging in conversation about the work of the community enables situated learning and allows limited participation of newcomers. (12) Through these ‘ professional ’ conversations, the professional then learns to ‘ walk - the - walk ’ and ‘ talk - the - talk ’ of profes- sional practice. (13)


실천공동체는 인지적 이득도 있다.

Communities of practice have cognitive benefi ts too.


심화된 질문과 질문을 통한 그룹 토의는 오류가 무엇인지 드러나게 해준다. 토론에 참여하는 사람들의 숫자가 더 크고 그들의 경험이 다양할수록 각각의 정보가 가지는 가치에 더 큰 통찰력을 준다.

In - depth enquiry and group discussion through questioning can bring falla- cies to light. The larger the number and variety of experiences among discussants, the better the insight into the value of a piece of information.


 

강의와 학습

Lectures and Learning


 

Bligh는 강의가 정보를 전달하는데 있어서는 적어도 다른 방법만큼 효과적이라고 말했다. 그러나 행동이나 가치를 변화시키고 흥미를 자극하는데 어떤 역할을 하는지는 거의 근거가 없다.

Bligh has suggested that lecture is at least as effective as any other method for transmitting infor-mation. However, there is little evidence to suggest that they have any role in modifying behaviour or values, or in inspiring interest.



기억, 학습, 행동

Memory, learning and performance


정보가 장기기억으로 보관되기 위해서는 coding 이 이뤄져야 한다. 장기기억은 두 가지 요소로 구성된다. 사건에 대한 episodic memory 와 상징symbol에 대한 semantic recall (단어나 숫자) 이다. Episodic memory는 시간에 걸쳐 사건, 순서, 소리, 냄새, 시각 등이 서로 여러 관련association을 만든다.

To secure the information into long - term memory, coding must occur. (16) Long - term memory is thought to have two components: an episodic memory for events and a semantic recall for symbols, that is, words or numbers. (17) Episodic memory makes multiple asso- ciations or links with events, sequences, sounds, smells or sights over time.


학습에 대한 한계 

Limits to learning

기억을 향상시킬 수 있는 전략이 있다. 예를 들면, 사건에 대해 묘사를 제공한다거나, 기억에 남을 만한 맥락을 설정한다거나, 관련이 있는 연결, 연결고리를 만들어 둘 수 있다. 강의자는 합당한 시간 간격으로 질문을 할 기회를 주어야 하며, 청중이 자신의 지식의 구조화를 체크하고 잘 못 이해하고 있는 것을 드러내어 바로잡을 수 있게 해줘야 한다. 방해받지 않고 집중하는 시간이 20분을 넘어서면 그 이후에는 거의 기억에 남는 것이 없으며, 15~20분마다 약간의 변화를 주는 것이 학습에 도움이 된다.

Some tactics can be adopted to enhance memory, for example, providing the description of an event, setting memorable context or assisting in the development of relevant connections or anchors. (20) Lecturers must offer an opportunity for questioning at reasonable time intervals, enabling listeners to check their construction of knowledge and reveal and correct misunderstandings. As little is recalled after 20 minutes of uninterrupted concentra- tion, (21) introducing variety in presentation every 15 – 20 minutes will aid learning (Figure 10.2 ).


15분이 지나면 집중력이 빠르게 저하되는데, 이 때 강의에서 언급된 원칙에 대한 짧은 일화를 제시할 기회이다. 이는 청중의 장기기억에 서사적 요소narrative component에 강의에서 전달한 내용이 embed되게 할 것이며, 습득한 정보가 conceptual 또는 semantic memory에 저장되게 해줄 것이다.

The marked decline in atten- tion after 15 minutes might offer the opportunity for a brief anecdote illustrating the principles described by the lecture. This will act to embed the delivered ideas in the narrative component of the listener ’ s long - term memory, complementing information stored in con- ceptual or semantic memory. (22)


더 안 좋은 것은, Bligh 는 retroactive 혹은 proactive한 교란을 통해서 기억이 손실될 수 있다는 것이다. Retroactive한 교란은 연속되어 강의가 진행되는 것과 같이 첫 번째 단기기억이 작동한 직후에 새로운 팩트들을 배워야 하는 상황에서 발생한다. Proactive한 교란은 첫 번째 팩트들이 두 번째 팩트들을 기억하는데 방해가 되는 경우를 말한다. 이러한 이유로 강의자들은 제시되는 내용의 양 뿐만 아니라 조화concordance도 신경을 써야 한다. 또한 '반복'이 가지는 장점이 있는데, 교란과 반대되는 효과를 가지면서, 학습을 강화하는 경향이 있다. 그러나 애초에(처음 제시되었을 때) 학습이 일어나지 않았다면 (즉, 학습자가 내용을 원래 이해하지 못하고 있었다면), 반복은 추가적 이득이 없다.

Worse still, Bligh describes processes that may result in memory loss retroactive and proactive interfer- ence. (15) The former relates to when there is a require- ment to learn a new series of facts shortly after committing the first set to short - term memory, such as in successive lectures. The latter is where memorising the first set of facts interferes with remembering the second set. Presenters therefore need to take account of both the volume and the concordance of the subject matter presented. It is also relevant to note that there is a beneficial effect in repetition, which has the oppo- site effect of interference and tends to consolidate learning, although if learning has not taken place the first time (i.e. the listener did not understand), then repetition has no additional benefit.


유용한 학습이란 학습자가 기존의 지식과의 연결을 만들 수 있을때, 그래서 새로운 지식을 이전의 개념과 고정anchor시킬 수 있을 때 발생한다. 이해와 회상을 위해서는 정보의 맥락이 필요하다.

Useful learning occurs when the learner makes connections with pre - existing knowl- edge and can anchor new knowledge to previous con- cepts. (20) A context for information is also needed both for understanding and for recall.


 

 


 

강의와 듣기

Lecturing and listening


청중은 단순히 수동적인 정보의 수령자 이상으로, 참여자로서의 사회적 책임이 있다. 강의가 있기 전에 학습자는 '내가 이 내용에 대해서 무엇을 알고 있지?'라고 스스로 물어보는 수준일 지라도 약간의 시간을 내어서 준비를 해야 한다. 또한 현재 이해하고 있는 것이 무엇인지 의식해야 한다. 청중이 스스로에 대해서 혹은 강의자에 대해서 도전challange하는 것은 불합리한 것이 아니며, 왜냐하면 이러한 수준의 정신적 관여mental engagement가 능동적 학습 프로세스를 촉진하고, 추가적인 관련성을 발달시켜주며 장기기억으로의 coding을 도와준다.

The listener has social responsibilities as a partici- pant and needs to be more than a passive recipient of information. Before a lecture is deliv- ered, the listeners should take a little time to prepare, even if it is only to ask himself or herself, ‘ What do I know of this subject? ’ and call to the front of his or her consciousness his or her present understanding. It is not unreasonable for the listeners to challenge them-selves, or the arguments of the lecturer, as this level of mental engagement facilitates the active process of learning, develops additional connections and aids coding into long - term memory


아직까지 강의자는 '전문가'이고, 청중은 내용에 대해 '초심자'라고 암시해왔다. 그러나 반드시 그렇지는 않다. 대부분의 국가 혹은 세계적 환경에서 특정 영역의 전문가인 연구자들이 서로 생각을 나눈다.

Until this point, it has been implied that the deliv- erer is always ‘ the expert ’ and that the recipient is always a novice to the subject. This is not necessarily the case. In most national and international settings, research workers with expertise in a localised area of knowledge will present their ideas to an audience with profound experience in their fi eld for adjudication of its value to present knowledge.


 

 


이론에서 실천으로

Putting Theory into Practice


조직 수준의 관점

Organisational aspects 

 

 

강의는 '규모의 경제'라는 점에서 장점이 있으나, 비용-효과적이기 위해서는 기본적 목적을 달성해야 한다.

Lectures have the advantage of economy of scale, but to be cost - effective they must succeed in their primary purpose.


강의를 조직하는 사람들은 좌장, 발표자, 청중에게 명확한 가이드를 줘야 한다.

Organisers need to make sure that there is clear guidance for chair, speakers and listeners well in advance of the event.


만약 강의에 참석하는 청중이 동기부여가 충분하게 되어있다고 가정했다면, 학습을 강화할 기회를 주어야 한다. 강의를 듣고 있는 청중이 강의에 지속적으로 engage되어 있게끔 하는 것이 필수적이며, 왜냐하면 모든 청중이 '학습능력'의 차원에서 동등하지 않기 때문이다.

If we assume that most people who attend lectures are motivated to do so, then it offers an opportunity to enhance learning. The critical need is to ensure that those who attend remain engaged during the lecture as there is evidence to suggest that not all who attend are equal in terms of their ability to learn


청중이 일어나서 자신의 이야기만 계속 늘어놓거나 발표자를 심문interrogate하는 것은 전적으로 부적절하다. 그러한 상황에서 청중은 '선생'이 되어서 마치 자신이 정보의 가치를 평가하는 사람이 된 것처럼 된다. 청중과 발표자에게 사전에 명확한 가이드가 있어야 한다. 

It is entirely inappropriate for a member of the audience to stand and offer a discourse of their own or interrogate the presenter. In some circum- stances, however, the audience may become the teach- ers as they are invited to give a view of the weighting of the value of information. Explicit guidance must be offered to audience and presenters before the event,


커뮤니티 건설하기 

Building the community 


내용을 전달하는 것이 강의의 유일한 목적은 아니다. 이차적인 기능은 지식을 교환하는 커뮤니티를 형성하는 것이다. 본질적으로 '비공식적 공간'은 휴식시간refreshment break동안에 형성되며, 이 시간에 참석자들은 네트워킹과 커뮤니티 건설을 하게 된다. 협력적 학습은 실천공동체 개발의 핵심이다.

Delivering the content is not the only purpose of a lecture. A secondary function can be viewed as the essential creation of community links and exchange of clinical knowledge. The essential ‘ informal space ’ created by refreshment breaks offers the opportunity for attendees to engage in networking and community building. Collaborative learning is at the centre of developing communities of practice


적절한 시간, 공간, 편안한 환경을 제공하여 서로 말하고 들은 내용을 성찰할 수 있게 도와줄 수 있다. 이는 비공식적 세팅 또는 보다 공식적 그룹 모두에서 가능하다. 

Providing adequate time, space and comfortable surroundings aids refl ection on what has been heard. This can be offered within an informal setting or as more formal groups.


 

준비

Preparation 


성공적 강의를 위해 가장 중요한 것은 준비이다.

The most important part of any successful lecture is the preparation.


만약 강의가 구체적인 맥락에 따라 맞춰지지 않았다면, 듣는 사람과 말하는 사람 모두에게 부조화스럽고 불편할 것이다.

However, if the talk is not tailored to the specifi c context, it will be discordant and uncomfort- able for both the recipients and the deliverer.


Brown and Manogue 는 강의자와 청중 사이에는 역동적 관계가 있음을 제시하면서, 이것이 강의 전달에 직접적 영향을 미친다고 했다. 네 가지 요소가 효과적인 강의에 기여한다.

Brown and Manogue (29) outline a model suggests that there is a dynamic relationship between the lecturer and his or her audience that has a direct effect on the way the lecture is delivered. Four components seem to contribute to making lectures more effective:

    • 강의자와 청중의 의도   intentions of the lecturer and the recipient
    • 언어적, 비언어적 메시지의 전달    transmission including both verbal and non - verbal messages
    • 학습자에 의한 핵심 메시지 수용   receipt of key messages by the learner
    • 학습자의 즉각적 반응, 학습자가 단기기억에 정보를 저장할 수 있는 능력, 장기기억으로 전환할 수 있는 능력, 이것을 태도와 행동 변화에 영향을 줄 수 있는 능력
         output in terms of both the immediate response of the recipient and the ability of the learner to store information in short - term memory, transfer to long - term memory and effect changes in attitudes and behaviour.


저자들은 이러한 (강사와 청중의) 상호성으로 인해서 강의를 통째로 electronic medium으로 옮기는 것이 어렵다고 제안한다. 상호작용을 장려하는 것이 좋은 학습에 필수적이지만, 프로그램 기획자가 토론 시간을 줄여버리면 live audience는 이런 기회를 가질 수 없다.

The authors suggest that it is this reciprocity that makes it so difficult to convert lectures entirely to an electronic medium. Encouraging interaction is then essential to good learning but this may be denied to a live audience when programmers curtail discus- sion time



'더 많은 것이 언제나 더 좋은 것은 아니다'라는 원칙을 상기할 필요가 있다.

The principle of ‘ more is not always better ’ is useful to consider.


강의자가 내용에 대해서 열정을 갖는 것은 청중의 흥미를 높이는 주요 동기부여요인이 되며, 주제에 대한 청중의 engagement를 높여주고, 학습에 대한 긍정적 접근을 고무해준다.

The enthusiasm of the lecturer for their subject matter is a prime motivator in the interest level generated in the listeners, promoting engage- ment with the topic and encouraging a positive approach to learning.


강의의 가장 기본적인 규칙 중 하나는 목표를 설정하는 것이다. 목표는 발표의 초반에 제시되어야 하며, 학습을 최적화히기 위해서는 필요한 만큼 자주 반복되어야 한다.

One of the cardinal rules of lecturing is the require- ment to set objectives. These should be stated early on in the presentation and repeated as often as necessary to optimise learning.



학습의 성과는 이해와 감정의 산출물이어야 하며, 이것은 정보의 해석을 돕고 정보처리능력을 도와주며, 기억에 저장되게 도와줘야 한다. 지나치게 세세한 디테일과 내용은 학습을 오히려 둔화시킨다. 디테일은 글로 배울 수 있다.

The outcome from the learning event should be the product of the under- standing and feeling, which should aid interpretation and the ability to process information and store it in memory. Too much detail and content within lectures blunts learning (15) – detail can be learnt from texts.


내용

Content 


학습자가 어떤 내용을 추가하기 전에 목적에 부합하는 개요outline을 준비해야 한다.

It is therefore apparent that a lecturer needs to prepare an outline that fi ts the purpose before adding the content.


강의자는...

It therefore makes sense for the lecturer to

    • 전달하려는 핵심 메시지를 명확히 하고 identify the key messages they wish to deliver,
    • 학습자료가 그 메시지를 포함하고 논리적 구조를 갖췄는지 확인하고 ensure this material is covered and fi ts into a logical structure and
    • 서면으로 된 자료에서는 얻을 수 없는 정보(실제 사례, 개인 경험, 전문가적 통찰)로 그러한 정보를 강화해야 한다.
      then enhance it with information that cannot be gleaned from written sources, such as practical exam-ples, personal experience and expert insight.

 

모든 청중은 이론을 실천으로 시범보여주는 사례를 통해서 더 많은 가치를 얻게 되며, episodic memory를 활용하게 되고, 맥락적 이해를 하게 된다. 종종 논쟁적인, 혹은 도전적인 요소를 넣는 것도 좋다.

All par-ticipants, at any stage of learning, gain added value from examples that demonstrate the theory put into practice, harnessing episodic memory and encourag-ing contextual understanding. (32)  It is often useful to introduce controversial or challenging components at key points during the presentation


스타일

Style


Dudley - Evans and Johns 는 세 가지 강의 스타일이 있다고 했다.

Dudley - Evans and Johns (34) identifi ed three distinct lecturing styles that seem to be contributory to, or inhibitive of, interactivity during the lecture.

 

    • 전통적 읽기 스타일: 대본에 집착하여, 상호작용이 거의 없고, 학습을 거의 유도하지 못하는, 21세기에는 사라질 스타일
      The tra- ditional reading style where the lecturer sticks closely to a script, which is often pre - rehearsed, offers the least opportunity for interaction, is least conducive to learn- ing and is probably obsolete in 21st - century

 

    • 대화 스타일: 강사가 보다 격식에 얽매이지 않으며, 강의노트가 없거나, 있더라도 대본이 아니라 notation을 사용한다. 강사는 일반적으로 보다 이완되어 있으며, 덜 엄격하다. 고등교육 영역에서 가장 흔한 형태
      The second style of lecturing described is the conversational style, where the lecturer speaks more informally, either without notes or from a notation format rather than a script. The lecturer is generally more relaxed and less rigid in the lecture content. This style seems to be the most predominant in all areas of higher education.

 

    • 연기자 스타일: 자주 주제에서 벗어난다. 보다 일상의 대화에 가까우며, 강사와 청중 간 비격식이 강조된다. 매우 상호작용적이다 덜 rigid하며 강사에게 상당한 자신감이 요구된다. 강의의 템포는 매우 긍정적upbeat이며, 어조의 변화가 크다.  
      The third lecturing style involves the lecturer taking a role as a performer. The  rhetorical  style is character-ised by frequent digressions and asides. It is much more akin to daily conversation and implies a much greater sense of informality between the lecturer and the listener. The style is very interactive; the structure is less rigid and requires a great deal of confi dence on the part of the speaker. The tempo of the lecture is much more upbeat, with a wide range of tonal vari-ance, and it is often the style that is entertained when lectures are being video - taped, emphasising the func-tion of the lecturer as a performer. 


강의를 도와주는 것들

Aids to lecturing


 

여러 근거를 보면 이미지의 양을 늘리고 서로 경쟁하는 투입competing input을 늘리는 것이 학습자가 정보를 저장하고 단기기억으로 옮기는데 방해가 된다. 또한 학생이 이미지를 인식하는 형태는 매우 변이가 커서 강의자가 발표를 멈추고 제시된 이미지에 대한 합의된 이해를 하고 있는지 강조하거나 설명할 필요가 있다.

Evidence suggests that increasing volume of images and com- peting inputs might challenge the ability of the learner to store the information being transmitted in their short - term memory. (38) It has also been clearly dem- onstrated (39) that students ’ perception of the images they are shown is highly variable, and it is often neces- sary for the lecturer to pause a presentation to empha- sise a point or check that there is consensus on the material presented at that time.


 
    • 굵은 글씨, 음영    Using bold type or text ‘ shadowing ’ can improve the legibility, and the use of bold, italics or underlining may serve to enhance key points.
    • 7단어 x 7줄    Don ’ t overcrowd the slides – as a general rule there should be no more than seven words per line and seven lines of text per slide.
    • 그래픽 사용시 주의를 기울여라    Exercise caution with the use of graphics – try to use only simple graphs and tables that do not have too much information or require too much explanation.
    • 청중이 슬라이드를 읽게 하라   It is best not to read the text from the slide but allow the audience to read the slide contents and talk around the key points raised.
    • 슬라이드당 1분    As a general rule allow one minute per slide – too many slides might lead to your talk overrunning, which will not be popular with the chairman or audience.
    • 무슨 내용을 말할지 말하라, 말하라, 무엇을 말했는지 말하라   Use an introduction slide to explain the structure of your talk and a summary slide of your conclusions – ‘ tell them what you are going to tell them; tell them; tell them what you have told them ’



강사는 충분한 시간 여유를 두고 강의실에 도착해야 함

It is essential that the lecturer arrives at the venue in plenty of time to prepare themselves and (if appropri- ate) the group to whom they are presenting.


발표가 시작되면 능숙한 강사는 청중으로부터 발표의 속도와 디테일의 수준이 어떠해야 하는지 힌트를 얻을 수 있다.

When the presentation starts, the expert lecturer will take clues from the audience to judge the pace of the talk and the degree of detail required.


 

모든 근거들은 강사가 더 열정적일수록, 더 준비를 잘 했을 수록, 메시지가 단순할수록, 더 청중이 이해할 가능성이 높고 긍정적 효과를 가짐을 제시한다. 명료함과 기억 유지retention을 위해 인쇄물을 활용하는 요령

All the evidence suggests that the more enthusiastic the presenter, the better prepared the presentation and the simpler the message, the more likely it is to be understood and to have a positive impact. The use of handouts as an aid to both clarity and retention is discussed in Box 10.4

 

 

 


 

    • 일부 정보를 비워둔 강의노트.
        ‘ Skeletal notes ’
      which contain a set of the lecture notes with pieces of information missing, might be valuable in maintaining attention, adding some interaction to the lecture and thereby enhancing learning.
    • PPT슬라이드를 줄 것이라면, 불필요한 슬라이드는 빼고 종이를 아껴라.
         If you choose to provide printouts of a PowerPoint presentation remove unnecessary slides and use the format that best conveys the information required with minimum wasted paper (three slides or six slides per sheet).


강의를 넘어서

Beyond lecturing


질문하기

Questioning


가장 단순한 형태의 상호작용 기법이지만, 종종 그 가치가 가장 크다. 큰 집단일수록 개개인이 threaten 을 느낄 가능성이 높고, 이 때문에 뒷줄에 앉게 된다.

This is the simplest of interactive lecturing techniques, but often the most valuable. Individuals within large groups might potentially feel threatened, and this often leads to migration to the back row if there is a fear that questions will be asked and knowledge gaps identifi ed.



버즈그룹

Buzz groups


강의에 앞서서 진행하거나, 논쟁적인 이슈를 던져주는 식으로 활용가능하다. 다음 강의 섹션을 'shape'하는 기회로 활용할 수 있다. 이 때 어려운 것은 학생들을 다시 집중하게 만드는 것이며, 그룹의 학습을 최대화하기 위해서 과제task는 반드시 나머지 청중들로부터 피드백을 받는 시간을 포함해야 한다.

The task can be related to the preced- ing section of the lecture or a controversial issue raised, or (perhaps even braver) it can provide the opportu- nity for the learners to ‘ shape ’ the next section of the lecture. The challenge is always to regain the interest of the students, but the task should include a require- ment for selected feedback to the rest of the audience to maximise group learning.


브레인스토밍

Brainstorming


각각의 기여는 모두 동등한 중요성으로 대해질 것이며, 추가적 코멘트 없이 기록될 것임을 강조하는 것이 중요하다.

it is important to emphasise that each contribution will be treated with equal importance and should be written down without further comment.


스노볼링

Snowballing


시간이 들기 때문에 보다 작은 그룹에서 적합하다. 강의를 재개하거나 종료하기 전에 모든 그룹으로부터 피드백을 받을 충분한 시간이 포함되어있어야 한다.

This process can be time - consuming so it generally suits smaller groups, and enough time should be included to get useful feedback from all the groups before the lecture contin- ues or comes to an end.


NGT

Nominal group technique


모든 구성원들에게 표현할 권리를 준다.

This particular technique gives all group members the right to express any opinion without challenge.


단순히 팩트의 retention을 장려하는 것보다 상호작용적 강의가 청중의 이해를 더 높여준다. 상호작용은 강사가 assumption을 확인하고 참여자들이 포함되어있다는 기분을 갖게 하며, 집단적 학습, 학습 내용의 retention 등을 도와준다.

Evidence suggests that interactive lectures promote understanding in the audience rather than simply encouraging fact retention. (40) Interactivity also offers the opportunity for lecturers to check assumptions and participants to feel included, engenders collective learning and aids retention of learning through facili- tating different learning styles and empowering the audience in the learning process.




Conclusion




 



10. Lectures and large groups

  1. Tim Swanwick
  1. Andrew Long1 and
  2. Bridget Lock2

Published Online: 1 NOV 2013

DOI: 10.1002/9781118472361.ch10

Understanding Medical Education: Evidence, Theory and Practice

Understanding Medical Education: Evidence, Theory and Practice


 

소그룹 교수 학습 (Understanding Medical Education ch9)

Teaching and leading small groups

Peter McCrorie






두 명이 한 주제로 강의를 한다. 한 사람은 카리스마 넘치고 영감을 주는 사람이다. 그는 청중을 완전히 장악한다.

Two people give a lecture on a medical topic. One is charismatic and inspirational. He holds the audience in his hands


두 번째 사람은 매우 드라이하고 심각한 연자이며, 무슨 단어를 쓸지 조심스럽게 준비하고 무수히 많은 PPT 슬라이드를 쓴다.

Contrast this with the second lecturer – a very dry and serious speaker, who has carefully prepared every word he intends to use, uses a myriad of PowerPoint slides,


각각 시험을 본다고 하자. 어떤 강의에서 학생들이 더 시험을 잘 볼까?

Now imagine that each sets an examination question based on his lecture. Which question do you think the students would perform better in?


사실, 두 번째, 즉 카리스마가 덜한 교수자 강의의 문제에서 더 고득점을 받을 가능성이 높다. 왜냐하면 그러한 교수자의 강의를 이해하기 위해서는 학생은 교과서에 밑줄을 쳐가며 공부해야 하고, 이러한 자기주도학습이 더 효과적으로 학습하고 정보를 유지하게끔 해주기 때문이다.

In fact, they would get higher marks in the second, less charismatic, lecturer ’ s question. Why? Because in order to make any sense of his lecture, the students would have made a beeline for their textbooks and this self - directed learning would have enabled them to learn and retain the information more effectively.


위와 같은 이야기의 결과는 능동적, 자기주도적 접근법이 수동적, 강의기반적 학습보다 학생의 학습에 더 큰 영향을 줄 가능성이 높음을 시사한다. 강의는 인색하게spariningly 사용되어야 하며, 목적은 포괄적인 개괄을 제시하거나, 요약하거나, 어려운 내용에 대해서 사용되어야 한다. 안타깝게도, lecture에서 가르친 내용의 5%만이 실제로 머리 속에 남지만retained, 너무 많은 사람은 교과서를 읽을 때 더 쉽게, 효율적으로 찾아볼 수 있는 방대한 양의 세세한 내용을 전달하는데 강의를 사용하고 있다.

The conclusion from the above is that an active, self - directed approach is likely to have a much greater impact on a student ’ s learning than passive, lecture - based learning. Lectures should be used sparingly and for broad overviews, summaries and difficult topics. Sadly, only about 5% of what is taught in lectures is actually retained and too many people use lectures for imparting large quantities of detailed information that could easily be picked up, and more effectively, by reading a textbook.


학습자 경험

The Learner Experience

 


두 가지 주요 요소는 교수자 다양성tutor variability 과 교육과정 철학curricu- lum philosophy일 것이다.

two factors most likely to underpin their accounts would probably relate to tutor variability and curricu- lum philosophy


교수자가 다음과 같이 할 때 긍정적이고 열정적인 반응을 얻을 수 있다.

A tutor

  • 편안한 분위기를 조성해주고 who creates a relaxed atmosphere,
  • 그룹이 주어진 과제에 집중을 유지할 수 있게 해주며 who keeps the group focused on the task in hand,
  • 그룹 역학을 효율적으로 다루며 who deals effectively with group dynamics,
  • 학습자가 자기의 학습에 오너십을 갖게 해주고 who allows the learners to take ownership of their learning and
  • 이 프로세스를 효율적이면서 즐거운 경험으로 해줄 때 who helps make the process an effective, yet enjoyable, experience

will produce strongly positive and enthu- siastic responses.

 

반대로 교수자가 다음과 같이 하면 교육에 매우 안좋다.

On the other hand, a tutor

  • 혼자만 말하고 who talks all the time,
  • 그룹의 참여를 독려하지 않고 who does not encourage group participa- tion,
  • 틀린 답을 면박주고 who belittles learners who answer questions incorrectly,
  • 그룹마다 선호도 차이가 크고 who has clear favourites in the group and
  • 말하기 두려운 분위기를 만들면 who creates an atmosphere where one is frightened to open one ’ s mouth

does an extreme disservice to education.


전통적인 교육과정은 lecture를 통해서 정보를 전달하는데 크게 의존해왔으며, 학생들은 미래 의료인력을 형성하고 영향을 줄 수 있는 존재라기보다는, 그저 연구와 임상진료에 걸리적거리는 존재였다. 따라서 다수의 튜터가 소그룹교육을 위해서 시간을 쏟는 것은 교수 시간의 비효율적 활용으로 인식되었다.

A traditional curriculum heavily dependent on imparting information through lectures, where stu- dents or trainees are seen as an inconvenience and a hindrance to research and their clinical practice, rather than as a benefi t and an opportunity to mould and infl uence the future medical workforce, and where time spent by large numbers of tutors on small group teaching is perceived as an ineffective use of staff time, is likely to be received unfavourably.


Postgraduate수준에서, 강의는 undergraduate보다도 더 하찮게 취급되었는데, 그럼에도 불구하고 마찬가지로 자주 사용되었다. 피훈련자들은 (시험에 대한 revision course에서보다) 소그룹 세션과 OTJ 훈련에서 더 많이 배운다. BST는 이것의 한 사례이나 안타깝게도 그러한 세션은 보통 부적절하고 면박을 주는 방식으로 이뤄진다.

At the postgraduate level, lectures are of even less value than at the undergraduate level, yet they are used just as frequently. Trainees gain far more from small group teaching sessions and on - the - job training than from, for instance, revision courses for passing membership exams. Bedside teaching is an example of this, but sadly such sessions are often still run in an inappropriate and humiliating way.



 

De Villiers 등은 다음의 측면이 소그룹 활동 설계에 포함되어야 한다고 주장했다.

De Villiers et al , (3) suggest that the following aspects should be incorpo- rated into the design of small group activities

  • 사전지식과 경험에 기반   build on prior knowledge and experience
  • 참가자가 인식하는 needs와 관련   relate to the perceived learning needs of participants
  • 능동적 학습을 포함   involve active learning
  • 문제에 초점   be focused on problems
  • 바로 적용가능한   be immediately applicable to practice
  • 행동-성찰의 사이클을 포함   involve cycles of action – refl ection
  • 기술적 스킬의 습득 허용    allow the acquisition of technical skills.



Steinert 는 postgraduate 수준의 소그룹학습은 다음을 포함해야 한다고 주장

Steinert (4) the postgraduate level viz that small groups should include:


  • 효과적인 소그룹 튜터   effective small group tutors
  • 긍정적인 분위기    a positive group atmosphere
  • 능동적인 학생의 참여와 그룹 상호작용   active student participation and group interaction
  • 소그룹 목표에 대한 집착   adherence to small group goals
  • 임상적 관련성과 통합   clinical relevance and integration
  • 생각과 문제해결을 촉진하는 사례   cases that promote thinking and problem solving.




소그룹을 구성하는 것은 무엇인가?

What Constitutes a Small Group?


이상적인 규모의 소그룹은 7~8명이다. 만약 그룹이 더 작으면, 지나치게 위협적이 되고, 시너지 효과가 - 개개인이 가진 지식의 합보다 집단이 가진 지식의 합이 더 큰 효과 - 줄어들고 상호작용이 덜 나타난다. 만약 숫자가 8명을 넘어서면, 일부 학습자는 완전한 참여를 할 수가 없게 되거나, 전혀 참여를 못하거나, 목소리를 잘 낼 수 없게 된다

 The ideal size of a small group is probably around seven or eight. If the group is smaller, it becomes too threatening, the synergistic effect – the collective knowledge of the group being greater than the sum of the knowledge of each member of the group – is reduced and the interaction is less successful. If the number increases above eight, some learners can get by without fully participating, or without joining in at all, and others are less able to get their voice heard because the size of the group deters them from express- ing their point of view.


Peters는 연구를 통해서 이상적인 사이즈는 5~10명 사이라고 말했다.

Peters (11) cites academic evidence that supports his own fi ndings that the optimum size of a group is somewhere between 5 and 10.


사실 소그룹의 사이즈보다  더 중요한 것은 그 그룹이 실제로 어떤 활동을 하느냐이다.

Group size is probably less important than what the group actually does.



살림

Housekeeping


당연해보이지만, 첫 번째 요건은 적절한 크기의 방을 찾는 것이다.

It seems obvious to say it, but the fi rst requirement is to hold the session in an appropriately sized room.


8명 정도의 그룹에 대해서..

For a group of eight or so ( see  Figure  9.1 ). 


 

 

 

 

윤리적 논쟁과 같이 토론이 정보습득보다 더 중요한 세션에서는 원형으로 앉아야 한다.

For a session where argument is more important than capturing information, for example, an ethical debate, then a circle of chairs is all that is required ( see Figure 9.2 ).

 

 


 

튜터의 위치도 중요하다. 프로세스의 효과성을 최대화하려면, 튜터는 따로 앉기보다는 그룹 내에 들어가있어야 한다. 원형으로 앉는 것의 두 가지 장점은..

The positioning of the tutor is important. To maxim- ise the effectiveness of the process, the tutor should be in the group, rather than separate from it. Sitting in a circle has two advantages:

  • 모든 사람이 동등하다   everyone in the circle is equal
  • 모든 사람이 서로 눈맞춤할 수 있다.   everyone has eye contact with each other. 


이러한 배치는 튜터가 퍼실리테이터 역할을 하기에도 적합하다.

This arrangement also suits the role of the tutor as facilitator


더 큰 글부에 대해서는 워크숍 포멧이 방법을 결정한다

For larger groups, the workshop format is the method of choice


 


 

 

 

튜터의 역할

The Role of the Tutor


Rudduck 는 튜터의 네 가지 역할을 말했다.

Rudduck (12) sug- gests that tutors can have four differing roles:

  • 교수자, 정보전달   the instructor, who is there to impart information to the students
  • 악마의 대변인, 논쟁적인 관점을 제시하는 사람    the devil ’ s advocate, who intentionally adopts a controversial view in order to stimulate discussion
  • 중립적 사회자, 토론을 진행하며 강력하게 의견을 내지 않음    the neutral chair, who literally chairs the discussion but expresses no strong opinions
  • 컨설턴트, 그룹의 구성원은 아니지만, 학생의 질문에 답해주기 위해서 존재함   the consultant, who is not part of the group, but is there for the students to ask questions. 


다섯번째 역할은...

To these roles, I would add a fifth:

  • 퍼시리테이터, 중립적 사회자와 비슷하나, 토론을 가이드하는 역할을 더 맡게 되는데, 예를 들면 개방형 질문을 던짐으로써 과제의 progress를 촉진하는 것 등. 퍼실리테이터는 그 그룹의 사회자일 필요는 없으며, 사회는 학생이 볼 수도 있다.   the facilitator, similar to the neutral chair, but with more of a guiding role, for example, asking the group open - ended questions to facilitate their progress with the task in hand. The facilitator need not be the chair of the group – this role might fall to a student.


Richmond 는 '전략적 개입'이라는 튜터의 구체적 역할을 정의했다.

Richmond (13) defi nes more specific roles for tutors, which he refers to as ‘ strategic interventions ’ :

  • 과제가 무엇인지 설명하고, 그룹의 성취와 결론을 요약하고, 추가 학습활동을 제시하여 토론을 시작하고 종결짓는 역할.
       to start and fi nish group discussion by outlining the group task, summarising the group ’ s or groups ’ achievements and conclusions, and setting further learning activities
  • 내용의 흐름을 유지하는 역할. 예컨대 옆길로 새거나 하는 것을 막고, 과제에 집중하게 함
       to maintain the fl ow of content, for example, by preventing sidetracking and keeping the group(s) focused on the task
  • 그룹 역학을 관리하고, 소극적 학생을 격려하고, 위압적/공격적 학생을 손봐줌
       to manage group dynamics by encouraging the shy or bored student(s) and by handling the dominant, aggressive, offensive or nuisance student(s)
  • 질문을 던지고, 좋은 제안을 해주고, 그룹의 이해 여부를 확인하여 목표 달성을 촉진
       to facilitate goal achievement through open ques- tioning, making suggestions and checking group understanding
  • 시간을 관리하고, 집중을 방해해는 요소를 관리하여 그룹환경을 관리하는 것(소음, 종이 부족, 펜 부족 등)
       to manage the group environment by keeping an eye on the time and dealing with any distractions (e.g. noise, insuffi cient fl ip - chart paper, pens running dry, heating).


Brown에 따르면 교수자는 여러가지 스킬이 필요하다.

According to Brown, (14) tutors need a range of skills in order to make a success of small group teaching. These include

  • questioning,
  • listening,
  • reinforcing,
  • reacting,
  • summarising and
  • leadership.

 

그러나 진짜 스킬은, super skill이라 부르는 그 스킬은, 언제 어떤 스킬을 사용할지 아는 스킬이다.

But the real skill, one that Brown refers to as a super skill is the skill of knowing when to use which skill.


 

 

 

 

 

시작하기

Getting Started


종종, 첫 만남이 그 그룹이 특성이 정해지는 순간이 되기도 한다.

Often, the fi rst encounter is the defi ning moment for the group.

 


 

그룹원들은 서로 잘 모를 수도 있어서, 아이스브레이킹이 유용할 수 있다. 서로 잘 모르는 사람을 소개하고, 그룹을 이완relax되게 해주며, 서로 상호작용을 할 수 있게 도와준다.

The group members may or may not know each other. Ice - breakers have a useful role here  –  ways of introducing stran-gers, trying to relax the group and getting group members to interact with each other. 


아이스브레이킹의 예시들

There are many ice - breakers in common use – some simple, some elaborate.

 

  • 잘 모르는 사람과 짝을 이뤄서 파트너에 대해 설명을 듣고 전체 사람들에게 다시 설명해주는 것
    A standard technique is to ask the group members to pair up and talk to someone they do not know. Their task is to learn something about their partners and report it back to the group. This exercise works better if the task is fairly specific, and in addition to their partners ’ names and brief biographical details,
  • 두 팀으로 나눠서 서로 레고쌓기 등과 같은 경쟁을 하게 하는 것
    An example of a more complex ice - breaker, which needs a bit of time, is to divide the group into two teams, which have to compete with each other to build a bridge of specific dimensions and requirements out of Lego bricks in a specified time.

그룹원들이 서로 말을 하기 시작했다면, 그 다음으로 할 것은 ground rules를 정하는 것이다. 이것은 매우 중요한 활동이며, 절대로 생략되어서는 안된다. 또한 그룹에서 자체적으로 ground rules를 정해야 한다. 튜터가 정해주는 것이 아니다. 

Having got the group talking, the next thing to do is set the ground rules. This is a really important activ- ity and should never be omitted. It is essential that the group itself comes up with the ground rules – they must not be imposed by the tutor.


아마도 가장 중요한 ground rule은 다른 사람의 기여를 가치롭게 여기는 것이다. 면박을 주는 것은 어떠한 경우에도 지양되어야 한다. 

Probably the most important ground rule is to do with valuing each other ’ s contribution. Humiliation must be avoided at all costs.



소그룹에 사용되는 테크닉

Techniques to Use in Small Groups


  • snowballing.
  • jigsaw groups,
  • Brainstorming: 이 단계에서는 그 누구도 다른 사람의 의견에 대해 평가하지 않는다.
    No one is allowed to make any value judgements on the suggestions at this stage.
  • buzz groups.
  • 주제에 대해 다양한 관점이 있을 때는 단순히 토론의 사회를 맡는 것도 (혹은 그룹원이 사회를 보게 하면 더 좋다) 좋다.
    Simply chairing a discussion  –  or, better still, getting one of the group members to do so  –  works well when there is more than one perspective about an issue, such as a genuine ethical dilemma
  • line-ups
    사회자는 논쟁적 명제를 만들고, 방의 한 곳에는 강하게 동의하는 사람이 서게 하고, 다른 곳에는 강하게 반대하는 사람이 서게끔 한다.
    A variation of the discussion group is called line - ups. The tutor makes a controversial statement, The tutor identifi es a point in one corner of the room where everyone who strongly agrees with the statement should stand. Another point is identifi ed, as far away as possible, where those who strongly disagree should stand. 


저널클럽: 학부 수준에서는 성공적이기 어렵다. 지정된 몇 명만이 그 주제에 대해서 공부해왔기 때문에 토론은 제한적이며, 모든 사람이 모든 주제에 대해서 연구하지 않는 이상, 토론에 참여하는 사람은 그 주제를 공부한 사람과 튜터 뿐일 가능성이 높다.

journal club.: It is less successful at the undergraduate level, where it is more usual to run the session along the lines of a syndicate presentation, Discussion is limited because only the chosen few have researched the topic, and then only the subtopic they were allocated. Unless everyone researches everything, the only people who join in the discussion are those who researched the topic and the tutor!


오래된 방식 중 하나는 post - lecture tutorial이다. 이 역시 좋지 않은 방법이다. 대부분의 학생들은 준비가 되어있지 않고, 강의 주제와 관련한 자료를 읽은 상태가 아니다. 학생들이 준비를 하게끔 하는 유일한 방법은 tutorial에 앞서서 자기주도적 학습 과제를 주는 것이다. 좋은 예시는 detailed case study에 몇 개의 질문을 묶어서 읽어오게 하는 것이다.

Another old favourite at the undergraduate level is the post - lecture tutorial. This is another disaster site. Most students come unprepared and have not read up around the lecture topic There is really only one solution to this – ensure that students are given a self - directed learning exercise to prepare before the tutorial. A good example would be to give them a detailed case study to read up, with some questions attached for them to research,


triggers 를 사용하는 것은 tutorial에서 좋은 도약판이 될 수 있다.

The use of triggers provides an ideal springboard for a tutorial. At the beginning of the session, after a brief introduction, the tutor hands out a trigger. A trigger is simply a tool to get the discussion started. They might take various forms.


PBL에서는 케이스 시나리오가 trigger이다. 

In PBL, a paper - based case scenario would normally act as the trigger


역할극도 trigger가 될 수 있다. 시나리오가 주어지고, 녹화하여 커뮤니케이션을 공부한다.

Role play also uses a trigger. Students are given a scenario to act out,: If the students are video - recorded as well, they can study their com- munication attempts


임상스킬도 소그룹으로 교육할 수 있다. 네 단계,

Clinical skills are also taught in small groups, One commonly used technique takes place in four stages

  • 튜터가 시범보임   the tutor demonstrates the skill in silence
  • 튜터가 각 테크닉의 rationale를 설명하며 시범보임   the tutor runs through it again, but explains the rationale behind the technique at the same time
  • 학생이 튜터에게 테크닉을 설명함   the students then talk the tutor through the technique
  • 자원자 학생이 튜터의 개입 없이 수행해봄   finally, a volunteer student runs through the tech- nique without tutor intervention.


The Balint group 은 - 비록 환자나 학생의 참여가 늘어나지만 - 많은 GP들이 사용하는 특정한 유형의 그룹 활동이다.

The Balint group (15,16) is a special kind of group activity undertaken mainly by general practitioners (GPs), although increasingly patients, and even stu- dents, are becoming involved.


Postgraduate 영역에서 또 다른 유형의 그룹 활동은 action learning set이다. action learning set는 6~8명의 사람들이 정기적으로 서로를 만나서 서로의 경험에서 배우는 것이다. 이 set는 팀은 아닌데, 왜냐하면 이들은 공동의 목표가 아니라 개개인의 행동에 초점을 맞추기 때문이다.

Another type of group activity used in the post- graduate arena is the action learning set. An action learning set is a group of six to eight people who meet regularly to help each other learn from their experi- ences. The set is not a team, since its focus is on the actions of the individuals within it rather than on a shared set of work objectives.


Revans에 의해서 처음 개발되었으며, 각각의 참여자는 set가 진행되는 동안 프로젝트나 과제를 수행해나간다.

The action learning approach was fi rst developed by Revans. (18) Each participant works on a project or task over the life of the set (which may be a few weeks, or spread over several months).


 


그룹 역학

Group Dynamics


  • Forming 
    • 서로 알아감 The participants get to know each other, form alliances and establish themselves.
    • 튜터는 서로 알아가게 도와줌 The tutor must ensure they are introduced to each other.
  • Norming
    • Ground rules를 정함 The participants set the ground rules for working as a group.
    • 친숙하지 않아서 약간의 불확실한 느낌이나 불안정한 느낌이 있을 수 있음 Being unfamiliar with what is expected of them can lead to some uncertainty and insecurity at this point.
    • 튜터는 튜토리얼이 진행되는 방식을 설명하여 이러한 불안을 낮춰줌 The tutor may need to explain the way the tuto- rials are to be run to alleviate anxiety at this point.
  • Storming
    • 그룹이 작동하기 시작함 The group begins to function.
    • 각자가 편안한 역할을 맡음 Individuals adopt the roles with which they feel comfortable.
      • 리더 One might be a leader;
      • 대화유발 another good at initiating conversation;
      • 질문 a third might be skilled at asking probing questions;
      • 명확화, 설명 a fourth might be good at clarifying and explaining;
      • 평화유지 another might be good at keeping the team together, coming to the rescue of anyone who appears lost, frustrated or angry;
      • 경청 one or two may simply be good listeners and may only contribute to the process when they have something to say.
    • 그룹이 스스로 sorting해나간다 There is the potential for a good deal of friction during this stage while the group is sorting itself out.
    • 튜터는 유심히 지켜보고 문제를 찾아 해결해주려고 노력하면 됨 The tutor needs to keep a careful watch on the group members, identifying problems and trying to relieve tensions.
    • 충분히 참여자들이 성숙해있으면, 스스로 문제를 해결함. 이는 장려되어야 하며, 튜터 개입이 적을수록 좋음. 이러한 그룹은 시간이 걸리고, 초반에는 튜터의 퍼실리테이션이 필요함. If the partici- pants are mature enough, they may be able to address their own issues as a group. This is to be encouraged. The less the tutor gets involved the better. Such a group skill takes time to develop and the tutor will undoubtedly need to facilitate the process initially.
  • Performing
    • 모든 그룹이 목표로 하는 지점 This is the position every group should aim for.
    • 안정되고 잘 작동함. 편암함. 좋은 분위기. 튜터도 relax할 수 있음.  Essentially the group has settled down and is function- ing well. The group members are comfortable with their roles. There is a good atmosphere within the group and the goals of each tutorial are generally accomplished through successful collaboration. The tutor can now relax.
    • 어떤 그룹은 절대 여기에 이르지 못하기도 함. 소수의 문제학생 때문인 경우가 많으며, 스스로 sort out이 되지 못하여 튜터가 개입하여야 함. 그렇지 않으면 튜터와 학생 모두 참여하기 두려워 떨어져 나갈 것이다.  Unfortunately, some groups never achieve this state. This is usually due to one or two personality clashes and the odd diffi cult student. If the group cannot sort itself out, the tutor must act. Otherwise participants and tutor will dread meeting up for tutorials and attendance will fall off.
  • Adjourning
    • 최종 단계 This is the fi nal stage of working in groups.
    • 그룹의 생명이 끝나고 새로운 그룹에 들어가게 됨 The life- time of the group has run out and members move on to join new groups.
    • 축하와 아쉬움이 섞임 This phase is a mixture of celebra- tion and sadness (or relief, in the case of an unsuccess- ful group).
    • 좋은 그룹은 이룩한 성취를 돌아보고, 서로의 기여와 배울 점 등을 성찰함 A good group will look back over its achievements and refl ect on each other ’ s contribution, on lessons learnt, on what worked well and what could have been done better.


성찰의 프로세스는 공식화될 수 있으며, 튜터는 구조화된 방식으로 debrief를 하도록 도와줄 수 있다. 두 단계

This process of reflection can be formalised and the tutor can help the group debrief itself in a structured way. One process that works quite well is carried out in two stages.

  • 그룹 차원에서 스스로를 기준에 따라서 평가한다. 기준은 소그룹 활동의 특성과 목적에 따라서 달라질 수 있으며, 다음을 포함할 수 있음.
    First, the group rates itself as a whole against set criteria. The criteria depend on the nature and purpose of the small group work, but might include
    • 출석 attendance and punctuality,
    • 준비도 preparedness for the sessions,
    • 투입 adequacy of input into the sessions and
    • 서로에 대한 행동 behaviour towards each other within each session.
  • 그룹을 평가한 이후, 스스로에 대해서 평가한다. 모든 사람이 이 점수를 가지고 토론을 한다.
    Having established a group rating for each criterion, the members of the group then rate themselves against the group rating. Everyone shares their scores and a discussion ensues.
  • 좋은 그룹은 개개인의 강점과 약점을 인지하고, 건설적인 비판을 하며, 지지적이 되고자 노력하고, 자신을 내세우지 않는다. 책임을 회피하지 않는다.
    A good group will recognise indi- vidual ’ s strengths and weaknesses, will be construc- tively critical, and will try to be supportive and encouraging to the more self - effacing members of the group. A good group will also not shirk its responsibil- ity to address issues arising from individuals who are lacking in insight as to their own behaviour. Often, as a result of this kind of caring, inward refl ection, change does take place when the member moves on to their next group (Box 9.3 ).




다직종간 그룹

The Interprofessional Group


IPE의 핵심은 실제 의료와 연관되어야 하며, 인증평가때문에 겨우 하는 것이어서는 안된다.

The key to interprofes-sional education is that it should relate to real practice and should not be contrived just for accreditation visit.


모든 세션에 모든 직군이 참석할 필요는 없으며, 관련된 적절한 사람만 오면 된다.

Furthermore, interprofessional education does not require the par- ticipation of all the professions at each session – only those for whom it is appropriate.


학부 수준에서 영국에서는 IPE는 매우 적다. 다양한 형태를 가진다.

At the undergraduate level, certainly in the UK, there is only a small amount of useful interprofessional education taking place. What there is takes a variety of forms, ranging from

  • a common foundation term with shared PBL,
  • lectures and anatomy sessions, (25)
  • shared clinical skills training, (26,27)
  • a simulated ward environment for junior medical and nursing stu- dents, (28) and
  • an interprofessional training ward (29 – 31) to
  • regular joint interprofessional sessions spread over a number of years. (32)

보건의료계에 팽배한 강력한 위계적 문화가 있다. 심지어 학부 수준에서조차 학생마다 입학 요건이 다르다. 물론 IPE에는 한 가지 목적이 있다. 그러한 장애물을 허무는 것이다. 또 다른 목적은 한 직종의 구성원이 다른 보건의료전문직의 역할에 대해서 명확하게 이해하는 것이다. 이 두 가지 목적을 합하여 세 번째 목적, 어떻게 팀으로서 역할work할 수 있을 것인가를 달성해야 한다.

There is a strong hierarchical culture, which pervades all areas of the health service. Even at the undergraduate level, all have different entry require- ments, and immediately a barrier exists. Of course, that is one of the aims of interprofessional education – to break down such barriers. Another aim is for the members of one profession to have a clear understand- ing of the roles of the other healthcare professionals. Putting these two aims together leads to the third, overarching, aim – to learn how to work in teams, thereby leading to a more effi cient and effective health service.



어려운 학생 다루기

Dealing with Diffi cult Group Members

 

 

 

한 가지 일반적인 요점은, 가능하다면 그룹 자체적으로 스스로의 문제를 해결sort out해야 한다는 것이다. 장기적으로 훨씬 더 효과적이다. 튜터가 개입하면 화만 불러일으킬 수 있다. 튜터의 역할은 학생들이 이 문제를 인식하게끔 해주는 것이다. '우리 잠깐 시간을 갖다. 모든 사람이 지금 이렇게 돌아가는 모습에 만족하니? 혹시 이 프로세스에 대해서 코멘트 할 사람 없니?' 그리고는 한 발 물러서서 스파크가 튀는걸 보면 된다.

One general point, however: wherever possible, the group should sort out its own problems. This is liable to be much more effective in the long term than the tutor taking control, which often leads to resentment. The tutor ’ s role here is to raise the group ’ s awareness of the issue. One way of doing this is to say ‘ Let ’ s take time out for a minute. Is everyone happy the way the group is working? Does anyone want to make a comment about the group process? ’ Then stand back and watch the sparks fl y!



지배적인 구성원

The dominant group member

 

그들에게만 구체적으로 해야 할 과제를 내준다. 서기(scribe)역할 등. 단, 이때 자기만의 해석을 쓰지 않게 모두가 볼 수 있는 화이트보드에 써야 한다.

Sometimes group members realise that they have a tendency to dominate and readily accept being told to keep quiet. Not many have such insight, and one sug- gestion for dealing with those who do not is to give them a specifi c task to do, for example, acting as scribe for the rest of the group. Make sure, however, that they do put up the group ’ s ideas on the whiteboard, and not just their own interpretation.

 

또는, 특정 주제에 대해서 토론하게끔 해주고, 그 다음번에는 다른 학생이 말을 시작하게끔 해주는 것

Another technique is to ask them to discuss a particular point and let them have their say, but next time invite someone else to start the ball rolling.

 

자리도 중요한데, 튜터가 지배적 구성원의 반대편에 앉으면, 학생은 튜터의 눈을 계속 봐야 한다. 반대로 바로 옆에 튜터가 앉으면, 튜터와의 상호작용이 크게 줄고, 튜터는 다른 학생들과 눈을 더 마주치게 된다.

Seating can also play a key role. If the tutor sits opposite the dominant student, then that student has the eye of the tutor for the whole session. On the other hand, if the dominant student sits beside the tutor, interaction is signifi cantly reduced and the tutor ’ s eye catches other students much more readily.

 

손짓(제스쳐)을 사용하여 지배적 학생을 자제시킬 수도 있다. 튜터가 목소리를 크게 낼 수도 있다.

The use of the sweeping hand gesture directed at the dominant student can sometimes be effective – the held - up hand is saying ‘ Hang on a minute. I want to hear contributions from other students. ’ Indeed, sometimes the tutor has to speak these very words aloud.

 

아무것도 해결책이 되지 않으면, 세션이 끝난 후 개개인의 기여가 얼마나 중요한지, 모두에게 발언의 기회를 주는 것이 얼마나 중요한지 따로 불러서 말해야 할 수도 있다.

If none of this works, then a word outside the session is necessary, explaining how valuable the indi- vidual ’ s contribution is, but how it is important to give everyone a chance to be heard.


과묵한 구성원

The reticent group member

 

튜터에게게 좌절스러운 상황이다.

But dealing with a genuinely shy, or work - shy, learner is down to the tutor of the small group session.

 

민감하게 참여를 유도해야 한다. 스노우볼링이나 버즈그룹이 효과가 있을 수 있다.

The former needs to be subtly encouraged to join in. Snowballing and buzz groups work quite well, since the learner does not have to speak in front of the whole group.

 

지배적 구성원에서처럼 서기 역할을 주는 것도 효과가 있다.

Like the dominant group member, giving the shy individual a task to do, such as being scribe, works well. They are responding to the rest of the group ’ s ideas, a role they are comfortable with.

 

손가락으로 가리키면서 직접적으로 질문을 하는 것은 그들을 더 움츠러들게끔 한다. 답을 했을 때 비웃거나 민망하게 만드는 것은 매우매우 좋지 않다. 그 학생이 거의 확실하게 답을 알고 있는 문제에 답하게 하는 것이 도움이 될 수도 있으나, 가끔 부끄러움을 많이 타는 학생은 (이러한 비-참여가 일시적인 것일 경우) 그냥 혼자서 놔둬야 될 수도 있다.

Pointing a fi nger at them and asking them a direct question is likely to send them deeper into their shell. Humiliating them in any way, for instance by laughing at their answers, is hugely counterproductive. Getting them to comment on something that they are almost certain to know might work, but sometimes the shy person simply needs to be left alone for a while, particularly if the reason for their non - involvement is transitory.

 

그룹 밖에서 조용하게 대화를 나누기

As to the work - shy, usually peer pressure takes care of this, but if not, then a quiet word outside the group is the solution.

 

심각한 문제일 경우 이러한 문제를 담당하는 교수나 직원에게 보고해야 할 수도 있다.

If a student is really out of his or her depth, this is a more serious situation and needs reporting to the appropriate member of staff responsi- ble for academic progress, so that they can consider whether some form of remediation would help.


장난식으로 대하는 구성원

The flirtatious, ‘ jokey ’ or offensive group member

 

그룹 전체에게 현재 분위기가 괜찮은지 물어본다. 혹은 따로 불러서 이야기한다.

One way is to get the group to take time out from the session and ask them if everyone is comfortable with the atmosphere in the group, or with the behaviour of everyone in the group. Usually someone is heartily sick of it and says so. If this does not do the trick, the tutor should speak to the student out of hearing of the group. They should be very fi rm with them.


지각하거나 결석하는 구성원

The late or absent group member 

 

학부 수준에서 특히 중요한 ground rule이 있다. 무슨 이유에서든 참석이 어려우면 (예정된 것이든 갑자기 생긴 것이든) 반드시, 가급적 즉시, 튜터에게 보고해야 한다. 만약 튜터에게 연락이 되지 않으면 다른 구성원에게 보고해야 한다.

And there is one other essential ground rule, par- ticularly at the undergraduate level: if a person is unable to attend a session for whatever reason – planned or last - minute – they must inform the tutor prior to their absence, or as soon after as is possible. If the tutor is unavailable, then they must inform someone in the group. In the era of mobile phones, there really is no excuse for not adhering to this policy.


지나치게 의존하는 구성원

The over dependent group m ember

 

 

Some people are good at manipulating vulnerable members of staff for their own ends – another instance when the person concerned should be seated out of the sightline of the tutor.



Exploring Boundaries



Frequently Asked Questions


How long should a small group teaching session last?

How often should groups be changed?

잘 적응get on하지 못하면 조를 바꿔도 되나? 

Should learners who do not get on be swapped into other groups?

 

학부 수준에서는 절대로 안된다. 그것은 의사가 늘 겪는 일이다.

As far as medical students are concerned, absolutely not – under any circumstances. Doctors have to work in teams for the rest of their lives. These teams may not always function ideally. There may be personality clashes, jealousy, rivalry, too many chiefs and too few Indians – but they still have to work as a team. The sooner they learn to fi nd a way to get on with people they do not like, the better they will function when it really matters.


 

주제에 대해서 전문가여야 하나?

Do I need to be an expert on a topic to run a small group?

 

상황에 따라서 다르다. 그러나 퍼실리테이터 전문가가 가장 효과적이라는 연구도 있지만, 지식전문성도 필요하다.

It depends. For PBL, there is some evidence that the best tutors are those who are expert facilitators, but that it helps to have knowledge expertise as well. (34,35)


Can a group survive with a series of different facilitators?


플로팅 퍼실리테이터floating facilitator라는 것이 존재하나?

Is there such a thing as a floating facilitator?


사실, 워크숍 퍼실리테이터가 하는 역할이 바로 이것이다. 그러나 문제는, 두 개 이상의 조를 돌봐야 할 때, 그 두 그룹이 충분히 공간적으로 가까이 있느냐 하는 것이다.

In fact, that is exactly what a workshop facilitator does. But the question is more to do with a single facilitator looking after more than one group simultaneously, where the groups are not located in the same space but, for example, in nearby rooms.


퍼실리테이터가 애초에 필요한가?

Do groups need a facilitator at all?

 

이 역시 상황마다 다를 수 있다. 초기에는 분명히 필요하다. 그러나 그룹과 학생이 성숙해감에 따라서 그 필요성은 줄어든다.

Again, the answer is that it depends. Students in the early stages of their course undoubtedly need a facili- tator around. Partly this is simply because they do not know what to do, and partly for reassurance that they are learning what they are supposed to be learning. ‘ Will it come up in the exam? ’ is a question frequently asked of tutors. As students develop and become more mature, the need for a tutor is reduced. Such students can facilitate their own groups. Once they are let loose on the wards, students revert to Stage One again and need a bit of mollycoddling and guidance.




 

 


 


 


 








9. Teaching and leading small groups

  1. Tim Swanwick
  1. Peter McCrorie

Published Online: 1 NOV 2013

DOI: 10.1002/9781118472361.ch9

Understanding Medical Education: Evidence, Theory and Practice

Understanding Medical Education: Evidence, Theory and Practice



영향력있는 선생님들: 우리의 찬양받지 못한 영웅들을 인정해주기 (Med Educ, 2015)

The highly influential teacher: recognising our unsung heroes

Lars Osterberg,1 Rachel Swigris,2 Amy Weil3 & William T Branch Jr4





"나는 '이 사람은 병동에서 학생을 가르쳤다'라는 문구 외에 다른 묘지명은 필요 없다. 나에게 요청된 일 중 가장 유용하고 중요한 일이기 때문이다."

I desire no other epitaph... than the statement that I taught medical students in the wards, as I regard this as by far the most useful and important work I have been called upon to do. (Sir William Osler, from The Fixed Period,in Aequanimitas)



도입

INTRODUCTION


의학을 배우는 자가 사회화되는 과정을 이해하기 위해서는 교육자들은 정체성 형성의 단계에 영향을 미치는 긍정적인 선생님/가이드/롤모델을 이해해야 한다.

To understand the process of socialisation by which a medical trainee becomes a physician, educators must understand the positive teachers, guides and role models who influence the stages of identity formation.11,12


우리의 서사적 방법론은 관계적 의미에 대한 생생하고, 심도 있는 묘사를 보여주며, 영향력 있는 선생님에 대해서 앞선 연구에서 알려준 것을 더 심화시켜줄 것이다.

Our narra- tive methodology provides vivid, in-depth descrip- tions of relational meanings and impacts that deepen what has been learned about influential teachers in previous studies using surveys and brief interviews.15,16




방법

METHODS


Our qualitative study was approved by the institu- tional review boards at the respective institutions of the authors (WTB, LO, RS and AW) as part of a larger study examining the effects of a longitudinal (1-year) small group-based faculty development programme designed to enhance humanistic beha- viours at 10 schools. The programme, described elsewhere, has been evaluated and found to be effective.13,14

 

Participants were selected at all schools, including the three that volunteered to take part in the present study, because they were recognised as promising and respected teachers who were willing to participate in a year-long faculty development programme. They generally func- tioned as clinical teachers on the faculties of their schools. Participants at the three schools involved in the present study were chosen as a convenience sample for this qualitative study.

 

The four authors of this study comprise the principal investigator on the project and site leaders or facilitators from each of the three schools. Within the faculty develop- ment programme, participating faculty members at Stanford University (SU), University of Colorado, Denver (UCD) and University of North Carolina, Chapel Hill (UNC) were asked to perform an appreciative inquiry narrative reflective exercise. Appreciative inquiry narratives describe an incident or circumstance in the subject’s life as a clinician, teacher or learner that stands out as particularly rewarding and meaningful. Participants were asked to write short narrative accounts describing their most influential teacher in response to the follow- ing prompt: ‘Write about your most influential tea- cher.’

 

We collected a total of 20 narratives from a possible 22 participating faculty members. Faculty staff at SU contributed eight narratives, faculty members at UCD contributed six narratives and fac- ulty staff at UNC contributed six narratives. Partici- pant rates were 89% (eight of nine) at SU, 100% (six of six) at UCD, and 86% (six of seven) at UNC (total collection rate: 91%).


We employed grounded theory by using the con- stant comparison method to analyse our narratives.

  • The constant comparison method identifies persis- tent concepts, themes and illustrative phrases from a dataset, such as narratives.
  • An initial analysis of some items in the dataset is compared with the analysis of new items, thereby generating new themes.
  • When the investigators find that further comparisons no longer generate new themes and insights, they may conclude that they have identi- fied the most meaningful themes and plausible interpretations corresponding to the data.17–19

 

The four authors of this study met in conference calls on five occasions to iteratively compare themes and insights garnered from the reading of four to six narratives randomly selected from the dataset. Themes were recorded after each call and were revised with the objective of seeking new or deeper meanings after reading an additional four to six randomly selected narratives before the next call. Authors were not assigned narratives from their own schools, but all authors participated in the dis- cussions. The authors identified quotations from the narratives that best illustrated each of the major themes. At the last of the five conference calls, all 20 of the narratives were reconsidered and searched for deeper meanings, themes and insights. At this time, we reached a point of saturation at which we discovered no additional insights.



결과

RESULTS


These themes were divided into two domains: personal or teaching qualities of the teachers and relational qualities noted in the learner/teacher dyad.


개인적 특성, 교육적 특성

Personal and teaching qualities


  • Mindful, present, calm 
  • Passionate and dedicated to teaching 
  • Respected role model 
  • Comfortable being vulnerable 
  • Prioritised teaching even when it was busy 
  • Knowledgeable 
  • Charismatic 
  • Master communicator 
  • Set high expectations


관계적 특성

Relational qualities


영향력있는 선생님들은 학습자들에게 personal and professional 관심을 보였다.

The influential teachers showed both personal and professional interest in their learners.



이 선생님들은 학습자들의 특정 요구를 맞춰주었다. 이들은 학습자의 특정 능력을 처음으로 인정해주고 격려해준 사람으로 묘사되었으며, 또는 학습자를 억제하고 있었거나 취약했던 부분을 극복하게 도와주었다.

Influential teachers met particular needs of the learners. They were often described as the person who had first recognised and encouraged a learner’s particular talent, or helped the learner overcome an inhibition or vulnerability.


  • Generous and giving, selfless in the relationship 
  • Caring, longitudinal relationship focused on the learner’s personal development 
  • Removed hierarchy and valued learner as a colleague 
  • Encouraged learner to seek his or her own direction and achieve his or her own goals 


DISCUSSION


이 선생님들은 교육적 pathway의 여러 부분에서 학습자에게 영향을 주고 있었으나, 가장 많은 경우는 임상 선생님들이었다. 가장 영향력있는 선생님들은 학생을 그들 가까이로 끌어모으고, 관례적인 교육적 강점을 병합하여 강력하고 긍정적인 영향력을 미쳤다.

These teachers influenced their learners along vari- ous parts of the educational pathway, but most were clinical teachers. Most influential teachers drew students to them and exerted their powerfully positive influences through combinations of con- ventional teaching strengths.20–24


영향력있는 교사들은..

Influential teachers were

  • generous,
  • showed per- sonal interest in the learner’s (rather than their own) chosen path of development, and
  • showed car- ing toward the learner in both a professional and personal manner.

 

이러한 방식으로, 이들은 의료계에서 흔한 위계를 없애고, 학습자와 의미있는 관계를 형성하고, 통상적인 임상 로테이션기간보다 더 오랜 기간 관계를 유지했다.

In these ways, influential teachers often diminished the hierarchy that is pervasive in the medical field and formed meaningful relation- ships with their learners that lasted longer than the usual clinical rotation.


Paukert and Richards 는 영향력있는 교사의 특징으로 다음을 발견함.

Paukert and Richards identified

  • 교육에 대한 관심 being interested in teach- ing,
  • 영감/자극을 주는 being inspirational,
  • 롤모델이 되는 being a role model,
  • 학습자를 돌와주고 지지해주는 being caring and supportive of the learner, and
  • 학습의 기회를 주는 providing opportunities for learning

 

as characteristics of influ- ential teachers.15 These


 

이야기를 읽어나갈수록, 우리는 교육자들이 학습자에게 불어넣어주고 싶어하는 특성과 동일한 특성을 이들 선생님들로부터 찾았다. 이러한 특성들은 전문직으로서의 정체성 형성에 핵심이다.

As we read the stories, we encountered the same attributes in these teachers that educators aspire to instil in their learners:

  • 전문직 가치를 고수함 a strong adherence to profes-sional values;
  • 수월성의 문화를 형성하는데 헌신함 commitment to the creation of a cul- ture of excellence, and
  • 평생학습자로서의 자세 the status of a lifelong learner.11

 

These traits are vital to professional iden- tity formation.4


 

영향력있는 선생이란 누군가? 그들은 외부적 인정과 승진이 아니라 너그러움과 내적 보상에 의해 동기부여된다. 그들의 커리어 결정career decision은 '더 나은 세상을 만들고자 하는 기저의 가치'로부터 나오는 듯 보였다.

Who were the highly influential teachers? They seemed moti- vated by generosity and internal rewards, and not by external recognition or promotion. Their career decisions seemed to have ‘emanated from an underlying set of values associated with making the world better’.16

 

 

 




 

Jarvis-Selinger S, Pratt DD, Regehr G. Competency is not enough: integrating identity formation into the medical education discourse. Acad Med 2012;87:1185–90. 


9 Irby DM, Cooke M, O’Brien BC. Calls for reform of medical education by the Carnegie Foundation for the Advancement of Teaching: 1910 and 2010. Acad Med 2010;85:220–7.






 2015 Nov;49(11):1117-23. doi: 10.1111/medu.12808.

The highly influential teacherrecognising our unsung heroes.

Author information

  • 1Department of Medicine, Stanford University School of Medicine, Stanford, California, USA.
  • 2Department of Medicine, University of Colorado Denver, Denver, Colorado, USA.
  • 3Division of General Medicine and Epidemiology, Chapel Hill School of Medicine, University of North Carolina, Chapel Hill, North Carolina, USA.
  • 4Division of General Internal Medicine and Geriatrics, Department of Medicine, Emory University School of Medicine, Atlanta, Georgia, USA.

Abstract

OBJECTIVES:

This study was designed to investigate the roles, characteristics and contributions to the educational process of highly influentialteachers described retrospectively by faculty members who were former medical students and trainees.

METHODS:

The authors collected 20 appreciative inquiry narratives from a convenience sample of 22 faculty members (91% collection rate) at three medical schools that had volunteered to participate in a year-long programme of faculty development in humanism in medicine. The faculty members wrote narratives in response to the prompt: 'Write about your most influential teacher.' The four authors performed qualitative analysis of the 20 narratives using the constant comparison method to identify the characteristics of influential teachers.

RESULTS:

Particular relational features with their learners explain the profound influences of these teachers on the professional development of their learners. All influential teachers shared qualities of excellence in teaching and nearly all were described as caring, generous and selfless in their relationships with learners.

CONCLUSIONS:

Highly influential teachers have no official roles, yet appear to profoundly influence the professional development of many learners at various stages of the educational process.

© 2015 John Wiley & Sons Ltd.

PMID:
 
26494064
 
[PubMed - in process]


강의하기[Teaching Anatomy: A Practical Guide, 2015, Chapter 8]

Giving a Lecture 

Lap Ki Chan




강의는 "정보가 교수자와 학습자의 생각minds of either은 거치지 않은 채로 강의자의 노트에서 학생의 노트로 넘어가는 과정"

A lecture has been defi ned as “a process by which information is transferred from the notes of the lecturer to the notes of the student without going through the minds of either” (by Sir Joseph Barcroft, cited by Book [ 2 ]).


교육의 초점을 정보를 전달하는 것에서 학생들이 정보material을 통합assimilate하게 도와줘야 한다는 근거는 넘쳐난다. 나의 유일한 후회는 내가 강의를 사랑했다는 것이다.

“So, evidence is mounting that readjusting the focus of education from information transfer to helping students assimilate material is paying off. My only regret is that I love to lecture.” Mazur [ 1 ]




강의 전에 할 것

What to Do Before a Lecture



ILO 작성

Formulate the Intended Learning Outcomes



성과-바탕 접근 도입

Adopt the Outcome-Based Approach


우리가 무엇을 하느냐가 아니라 학생이 무엇을 하느냐가 중요하다.

“It’s not what we do, but what students do that’s the important thing” [ 3 p. 19].


This alignment of activities and assessments with the intended learning outcomes is called constructive alignment


ILO작성

Write Intended Learning Outcomes


Bloom’s taxonomy

Bloom’s taxonomy [ 4 ] provides a useful list of such verbs for cognitive learning,


 

강의 내용 결정

Determine the Content of a Lecture



학생이 성과를 달성하게 돕기

Help Students to Achieve the Outcomes


강의의 내용은 학생이 ILO를 달성하게 도와주어야 하며, 모든 다른 목표는 부수적인 것이다.

The content of a lecture should help students to achieve its intended learning outcomes. All other goals are secondary.



강의를 맥락 안에 두기

Put the Lecture in Its Context


교수자는 자신의 강의가 전체 프로그램 내에서 어떻게 위치하는지 알아야 한다.

The teacher needs to know how his/her lecture fi ts into the course or the whole program:

 


 

오버패킹 지양하기

Avoid Overpacking


강의를 정보로 오버패킹 하는 것은 학습을 저하시킬 수 있다. Russell 등은 정보밀도가 낮은 강의에서 학생들이 오히려 더 잘 배운다는 것을 발견했다. 그들은 수업시간의 절반을 새로운 내용을 전달하는데introducing 쓰고, 나머지 절반은 설명/강화/적용explana- tions, reinforcement, and applications 해야 할 것을 권고했다.

Moreover, overpacking a lecture with information may actually decrease learning. Russell et al. [ 5 ] found that students in lectures with low informa- tion density actually learned more than those in lectures that conveyed more information. They suggested that only half of the time in a lecture should be used for introducing new information and the other half should be devoted to explana- tions, reinforcement, and applications.



연습

Rehearse



준비가 덜 된 것은 교수자에게도 부정적인 영향을 준다. 교수자가 강의 슬라이드를 리드하는 것이 아니라, 강의슬라이드에 교수가 끌려다니게 된다.

Such a lack of preparation refl ects negatively on the teacher, who is now being led by the slides, instead of leading the slides and the lecture.


슬라이드를 왔다갔다 할 수 있다.(숫자 누르고 엔터)

They can even jump from one slide to another in response to the audience’s needs or questions (by pressing the slide number and then “enter”).



강의 도중에 해야 할 것

What to Do During a Lecture


어떻게 스스로를 프리젠테이션 할 것인가.

How to Present Yourself


열정 보여주기

Show Enthusiasm


열정적으로, 명확하게 말하기

Speak Enthusiastically and Clearly


  • 1. Conveying enthusiasm. Variations in the tone and speed, among other things, convey enthusiasm. 
  • 2. Emphasizing points. You can emphasize important points by saying them more loudly, at a higher pitch; by lengthening certain syl- lables; or by pausing before and after the important words. 
  • 3. Speaking clearly. A good teacher should avoid halting speech, false starts, redundancy, and fi llers (e.g., um er ah uh eh right like you know ). The best way to self-diagnose fi ller is to listen to a recording of one’s own lecture. 
  • 4. Pausing appropriately. Pauses are important, not only for emphasis but also to leave room for students to think, to digest, and to raise questions. Pausing is also important after you ask a question. Most teachers do not pause long enough before they give the answers themselves. Such self-answering behavior indicates to the students that they do not need to answer your questions since they know you will give them the answers. 
  • 5. Being humorous. Appropriate use of humor can relax both the teacher and the student and shorten the perceived psychological distance between them. 
  • 6. Using a wireless microphone. When the audi- ence is large, you need a microphone. However, speaking into the microphone fi xed to the podium immobilizes and limits your performance on stage. A wireless microphone is much preferred.

 






눈맞춤

Make Eye Contact


제스쳐

Gesture


하지 말아야 할 제스쳐 

There are, however, some gestures that you should avoid, e.g.,

  • 학생 손가락으로 가리키기 pointing at the students (peo- ple in general do not like being pointed at),
  • 연단 한쪽 짚고 서있기 hold- ing onto the side of the podium,
  • 주머지에 손 넣기 putting your hands in your pockets (both give the impression that you feel insecure), or
  • 동전 짤랑거리기 any gestures and man- nerisms that might distract students’ attention, such as jiggling coins or keys in your pocket.

돌아다니기

Walk Around


연단은 전쟁에서 터렛과 같다. 연자를 청중으로부터 보호해준다.

A podium can be compared to a turret during battle: it defends the speaker from the audience.



적절한 복장

Dress Appropriately


여러 차례 연속된 강의를 하는 것이라면, 처음에는 보다 포멀하게 입고(신뢰 구축), 점차 보다 편안한 복장을 입음으로서 power distance를 줄일 수 있다.

If you are giving a series of lectures, you can wear more formal clothing for the fi rst few lectures to establish your credibility and then switch to more relaxed attire when you want to decrease the perceived power distance between you and the students.



도구 사용

Use Tools


  • 1. A pointer allows the teacher to indicate the point of interest on the slide.
  • 2. A presenter (or remote presentation clicker) remotely controls the progression of computer slides.
  • 3. A visual presenter (or document camera) con- sists of a video camera connected to the pro- jector or a computer.
  • 4. An on-screen drawing device allows the teacher to digitally draw on the screen of the computer at the podium or even on the pro- jected image.
  • 5. Audience response systems (ARS) or clickers allow all students in a lecture to indicate their responses to, say, a question.




강의의 각 부분별로 무엇을 하면 좋을까

What to Do in Different Parts of a Lecture


도입부

The Introduction of a Lecture


첫 몇 분이 학생과의 관계 형성에 중요

The fi rst few minutes of the lecture are very important since you establish your relationship with the students and prepare them for learning.


    • 자기소개 A self-introduction
    • 비형식 대화 An informal conversation
    • 이전 강의에 대한 짧은 리뷰 A short review of how the current lecture relates to previous ones
    • 강의의 ILO 설명 The intended learning outcomes should be stated.


중간부

The Body of a Lecture



1. 핵심 포인트 중심으로 나누기

Divide it into key points.


  • In the classical method a lecture is divided into sections and each section into subsections, each with its own key points. In anatomy lectures delivered using this method, a region is divided into subregions or a struc- ture into its parts, each with its own elabora- tion and summary.
  • The problem-centered method starts with a problem that forms the focus of the lecture, with the solutions form- ing the parts of the lecture. This method can be intellectually stimulating and motivating, can stimulate students to refl ect on their prior knowledge, and can be used for illustrating the clinical aspects of anatomy.
  • The sequential method consists of a series of linked state- ments, eventually leading to the conclusions. This method is commonly used in lectures on management of clinical problems.

 

These three methods of organizing a lecture are not mutu- ally exclusive. One can have a classical lec- ture, with one of the sections being organized by the problem-centered method or the sequential method.

 


 

2. 핵심 포인트 설명하기

Elaborate the key points.


이야기, 자격요건(qualifications), 사진, 적용사례 등

A well-delivered lecture should not be completely packed with key points. Each key point needs elaboration, which can be explanations, examples, stories, qualifi cations, photos, applications, etc.



3. 핵심 포인트 연결하기

Link the key points.


by using such words as “thus,” “there- fore,” “consequently,” etc.


4. 속도 조절하기

Manage the pace.


The best way to avoid getting into this situation of being forced to go fast at the expense of student learn- ing is to avoid overpacking the lecture.




강의 마무리

The Conclusion of a Lecture


강의는 갑작스럽게 끝나서는 안된다. 학생의 집중력은 강의 종료 직전 몇 분간 가장 높다.

A lecture should not end abruptly. The attention of the students is usually the highest in the last few minutes of the lecture.




 

학생과 교사의 상호작용

Interaction Between the Teacher and Students


심리적, 물리적 거리가 작다고 느낄 때 학생들은 더 상호작용하게 됨(teacher immediacy)

Interactions are possible and should be encour- aged in lectures. But students are more likely to interact with teachers who are perceived as hav- ing less physical and psychological distance from them (called teacher immediacy ),


1. 질문

Questions.


질문을 한 다음 10초간 기다림. 대답이 없으면 질문을 다시 말해주거나(다른 방식으로) 더 구체적으로 말해줌. 학생에게 더 가까이 다가갈 수도 있음 답이 나오면 지지적이어야 하며 nonjudgemental해야 함

But after asking a question, the teacher should pause for at least 10 s, to allow students to think and prepare the answer. If there is no response, the teacher should restate the question differently or more specifi cally. The teacher can move closer to the students, lean forward, and open his/her arms to invite answers. When an answer comes, the teacher should be supportive and nonjudgmental ( verbally and in your facial expression and gestures),



2. Think–pair–share and write–pair–share.


2~3분간. 그룹지어서.

the students form groups of two to exchange their responses. After 2 or 3 min,


3. Demonstration.



4. Role-playing.



5. One-minute paper.


마지막 몇 분간 학생들에게 다음에 대해서 종이에 써서 제출하게 함.

In the last few minutes of a lecture, the teacher asks the students to write down on a piece of paper their answers to such questions as follows:

(a) 가장 중요한 부분은? What are the most important points that you learned today?

(b) 가장 어려웠던 부분은? What are the most confusing points?

(c) 명확하지 않았던 부분은? Are there points that are not clear to you?

 

 



PPT슬라이드 만들기

How to Prepare Presentation Slides


배경

Background


solid color 배경이 가장 좋다.

Therefore, a solid color background is the best. A picture should not be used as a background. When a picture must be used, it should be dimmed or blurred.



텍스트

Text


Short Bullet Points


메시지는 교수자가 전달해야지 슬라이드가 전달해서는 안된다.

The messages of the lecture should be delivered by the teacher, not by the presentation slides.


6 x 6 법칙. (6줄, 줄당 6단어)

PPT노래방 이 되어서는 안됨

But the “six-by-six” rule, which states that a slide should contain at most six lines of text, each with at most six words, should not be taken too literally in presenting complex content to students. On the other hand, one should not put everything one wants to say on the slides and use them as script (a presenta- tion style jokingly referred to as “PowerPoint karaoke”).



Simple and Consistent Text Format


두 개 이하의 포트만 사용. Sans serif 사용

Therefore, a teacher should use only one or at most two fonts. Sans serif fonts are pre- ferred,




Platform Compatibility


맥과 윈도우 모두에서 가능한 것으로. 폰트도 Arial, Times New Roman, or Courier등 사용

If the slides are created on a Mac but will be pre- sented on a PC (or vice versa), it is best to use a font which is available on both platforms, such as Arial, Times New Roman, or Courier.




멀티미디어

Multimedia


Use Good and Relevant Graphics


Elaborate and Progressively Reveal Complex Graphics


Avoid Animation


Use Video


Avoid Chart Junk and Junk Charts


Chart junk 표에서 메시지 전달에는 도움이 되지 않고 방해만 되는 것.

Chart junk is elements of a chart that do not con- tribute to its message and therefore serve only to distract.

 

Junk charts 는 잘 그려지지 않아서 의도한 메시지를 전달하지 못하는 표

Junk charts are charts that are poorly designed to convey their intended message.



슬라이드

Slides



텍스트와 멀티미디어의 통합

Integrate Text and Multimedia


근접성 원칙con- tiguity principle : 텍스트와 관련 그래픽을 인접하게 두어서 학생이 머리속으로 그 작업을 하지 않게 하는 것.

Integrating text and graphics means doing this mental integration for the students by putting the parts of the text next to the corre- sponding parts of the graphic. This recommendation is called the con- tiguity principle [ 14 ].



그래픽을 말로 설명하기

Explain Graphics Orally


modality principle:

The modality principle tells us that students learn better when the graphics are explained in spoken words than with written text accompanying the graphics [ 14 ].


redundancy principle:

The redundancy principle says that when a graphic is explained orally and is accompanied by textual explanation, student learning may be impaired [ 14 ]. The reason is that the graphic and the textual explanation are both jammed into the visual component of the working memory, which may thus be overloaded.


Leave Space



Use a Consistent Layout


The layout refers to the position of the text, graphics, titles, etc., on the slide.



Use B and W Keyboard Functions


Avoid Fancy Slide Transitions



결론

Conclusions


 



 


 






Chapter

Teaching Anatomy

pp 61-71

Date: 

Giving a Lecture

  • Lap Ki Chan 

Abstract

Lectures, when appropriately delivered, can promote effective student learning. During preparation of a lecture, an outcome-based approach helps the teacher to plan the content and activities to help students achieve the intended learning outcomes. The teacher also needs to consider the relationship of the lecture to the rest of the course or program so that the lecture builds on what students have learned and prepares them for further study. In the introduction of a lecture, the teacher needs to establish a closer relationship with the students and prepare them for learning. In the body of a lecture, the teacher needs to organize the content into key points and link them to give students the big picture. But the teacher must not pack excessive information into a lecture, sacrificing elaborations. There should also be an effective conclusion in which the teacher can summarize the key points and outcomes and stimulate further self-directed learning. Apart from the careful organization of the lecture content, the teacher’s enthusiasm will also significantly affect student learning and attitude toward the subject, and it is reflected in the way that the teacher speaks, moves, makes eye contact, and interacts with the students. The teacher also needs to prepare the presentation slides carefully, if he/she chooses to use them, so that they do not distract the students from the content and the interactions with the teacher.



의학교육에서 비디오의 효과적 활용을 위한 열두가지 팁(Med Teach, 2015)

Twelve tips for the effective use of videos in medical education

Chaoyan Dong & Poh Sun Goh





스탠포드 의과대학은 Khan Academy와 함께 핵심 교육과정을 짧은 비디오 클립을 활용한 거꾸로 교실 모델로 만들었다. 최근 몇 년간 Medtube 와 UndergroundMed는 기본적 내용과 임상역량의 도입 수업을 담당했고, 심지어 YouTube 비디오도 의료전문직 교육에 널리 사용되고 있다.

Stanford University School of Medicine has collaborated with the Khan Academy to develop and teach the core curriculum using short video clips in a flipped classroom model (Prober & Khan 2013). Medtube and UndergroundMed have been covering basic content and clinical competencies for introductory classes in recent years, and even YouTube videos have been widely used in health professions education.


많은 학생들이 이미 강의를 건너뛰고 독자적으로 디지털 형식의 온라인 교육자료에 접근하고 있다. 이상적으로는 교육이론과 최고의 교육실천법으로부터 비디오 활용을 이끌어가야 한다. 교육에서 효과적인 테크놀로지의 활용에 대한 연구를 보면 교육자들은 내용전문가가 되어야 할 뿐만 아니라 내용 전달을 위한 테크놀로지 활용에 대한 실제적 이해도 함께 가지고 있어야 한다. 또한 특정 교육형식을 사용하는 것과 관련하여 교수-학습에 관련한 교육학 지식도 필요하다.

Many students already skip lectures and solely access educational materials online in digital format (Billings-Gagliardi & Mazor 2007; Kircher et al. 2010; Traphagan et al. 2010). Ideally, educational theories and best practices should guide the use of videos. Research on the effective use of technology in education shows that instructors need to be not only subject matter experts, but also have an empirical understanding of the technology to be used to deliver the content, as well as the teaching and learning pedagogy underpinning the use of a particular instructional format (Harris et al. 2009; Roblyer & Doering 2012).





비디오 활용의 교육적 장점

Ti p 1 The pedagogical advantages of using videos


비디오는 디지털 세대인 요즘 학생의 니즈에 잘 맞는다.

Video use meets the needs of the current digital generation of students (Prensky 2001; Prober & Khan 2013). 


비디오를 용함으로써 더 많은 숫자의 학생에게 물리적/지리적 한계 없이 내용을 전달할 수 있다. 거꾸로교실 FLCL 상황에서 학생은 비디오 형식으로 된 강의를 각자 알아서 보고, 수업시간을 보다 학생-중심 활동으로 활용할 수 있다. 그렇게 함으로써 교수자의 역할은 '강의자'에서 '촉진자'로 변화하게 된다.

Video presentations allow teaching to be scaled up to a large population of students without physical or geograph- ical limitations. In a flipped classroom situation, students can review lectures in video format on their own, and spend class time on more student-centered activities such as interaction with peers and instructors (Baker 2011). By doing so, a teachers’ role changes from that of lecturer to facilitator.


사람이 직접 할 때는 그 형태가 다양해질 수 있으나 비디오를 통하면 의학적 절차 역시 표준화된 형태로 전달할 수 있다. 비디오는 실제 임상 시나리오를 활용함으로써 호기심을 자극하고 학생의 관심을 끌 수 있다. 또한 authentic learning을 촉진할 수 있다. 비디오는 지식의 닻(anchor)로서 역할할 수 있으며, 이를 중심으로 학생이 더 탐구하고, 질문을 던지고, 학습활동에 깊이 참여할 수 있다.

Medical procedures can be demonstrated in a standardized manner to avoid inconsistencies between different live human demonstrators (Bellini & Akullian 2007; van Det et al. 2011). Videos also stimulate curiosity and engage students’ attention by situating them in realistic clinical scenarios, and promoting authentic learning (Graham & Johnson 2011). Videos also serve as knowledge anchors, around which students can explore, ask questions, and deepen involvement in a learning activity (CTGV 1990).




교사에게 필요한 것

Ti p 2 The requirements for teachers


성공적으로 비디오를 교육과정에 통합시키기 위해서는 비디오 테크놀로지, 교육 내용, 멀티미디어 학습에 대한 현재 이론, 비디오를 활용한 최선의 실제 교육행위에 대한 지식이 있어야 한다. 비디오가 어떤 역할을 할 것인지 (강의를 보충하는 것인지, 전통적 강의를 대체하는 것인지), 언제, 어떻게 비디오를 활용할 것인지, 비디오를 사용하는 것이 학습과정과 성과에 어떠한 영향을 줄 것인지 와 같은 질문을 생각해봐야 한다. 

Successful video integration into the curriculum should be guided by knowledge of video technology, the subject matter to be covered, current theory of multimedia learning, and empirical best practice in using video (Shulman 1986; Mayer 2001; Mishra & Koehler 2006; Triola et al. 2012). What roles do videos play; for example, supplementing lectures or replacing traditional lectures with online modules? When and how to use videos? How does video use affect the learning process and outcomes?



대상 학생이 누군지 결정하기

Ti p 3 Identify who the target students are


의학교육의 테크놀로지와 관련된 이전 연구는 교육내용을 설계하는데 있어서 학생 집단을 이해하는 것이 중요함을 강조한다. 교육 내용과 관련한 대상 학생의 사전 지식을 이해하고, 테크놀로지 관련 스킬을 이해하고, 비디오 활용과 관련한 태도와 동기부여에 대해 이해해야 한다.

Prior research on technology in medical education highlights the importance of understanding the student cohort in designing educational content (Ruiz et al. 2006; Cook et al. 2008). It is important to get a thorough understanding of the target students’ prior knowledge in the content area, skills in technology, as well as attitudes and motivation regarding the use of videos. 


반대로, 비디오 활용에 대한 부정적 태도는 학습에 안 좋은 영향을 미칠 수도 있다.

Otherwise, negative attitudes toward video use may have a deleterious effect on their learning (Davis 1989; Reisslein et al. 2005).




학생들을 비디오 교육에 적응(Orient)시키기

Ti p 4 Orient students to the video content


학생들이 비디오를 통해서 무엇을 보게 될 것인지에 대해 준비시키는 것이 중요하다. 비디오를 시청하기에 앞서서 질문을 던지거나 토론을 하게 하는 것이 학생들이 비디오에서 얻을 정보를 처리하는데 있어 인지적 토대를 마련하게 해줄 것이다.

It is important to prepare students for what they are about to see in the video. Questions or discussions before viewing thevideo help to build the cognitive foundation for studentsto process the information (O’Neill & Wyness 2005).


그러나 중간중간 잠시 멈추면서 질문 등을 통해서 학생들이 참여하게 하는 것이 더 참여를 촉진할 수도 있다.

However, intermittent pauses to invite participation such as answering questions can promote deeper engagement.


질문이나 퀴즈를 포함시킴으로써 능동적 시청과 수동적 시청의 균형을 맞출 필요가 있다. 비디오를 수동적으로 시청하는 것은 심화 이해나 어려운 이론에 대한 이해, 추상적 주제, 비판적 사고의 촉진 등에 효과적이지 않다. 상호작용적 요소를 넣어서 학습을 촉진할 수 있다.

A balance between passive and active viewing with embedded questions or quizzes should be sought. Passive viewing of video is like information transmission to students, which is often not particularly effective in deepening understanding of difficult theoretical or abstract topics or promoting critical thinking (The Nielsen Company 2013). Interactive elements can facilitate learning of these topics.


상호작용적 요소를 통해서 참여를 높이기

Ti p 5 Use interactive elements to promote students’ participation


대부분의 비디오는 선형적 형식을 따르며, 시청 전후로 토론이 있을 때 효과가 있다. 토론은 학생들의 관심을 핵심 교육내용으로 향하게 한다. 이를 통해서 단순히 수동적 시청자가 아니라 능동적 참여자가 된다.

Most videos are presented in a linear format, which works well when discussions happen before and after viewing. Discussion helps to direct students’ attention to the key teaching points of the video (CTGV 1990). By doing so, students are no longer passive listeners, but become active participants.


컴퓨터 프로그램들도 있다.

Computer programs allow teachers to embed different formats of questions and tests within videos, such as 

  • YouTube, 
  • Adobe Presenter (http://www.adobe.com/ products/presenter.html), 
  • Camtasia Studio (http://www.techs- mith.com/camtasia.html), 
  • Adobe Captivate (http://www.ado- be.com/products/captivate.html), 
  • Articulate Storyline (https:// en-uk.articulate.com/products/storyline-overview.php), 
  • Lectora Inspire (http://lectora.com/e-learning-software/), 
  • Windows Movie Maker (http://windows.microsoft.com/en- us/windows-live/movie-maker#t1¼overview),and 
  • Raptivity (http://www.raptivity.com/). 


They also make it possible for students to bookmark, annotate, search for certain points, fast- forward, playback, or pause the video, and view it as many times based on their own needs.



비디오를 학습목표와 과목 목표와 일치시켜라

Ti p 6 Align videos with learning objectives and course outcomes


비디오는 - 다른 학습 테크놀로지나 교수법과 마찬가지로 - 교수자가 세심하게 학습목표를 설정하고, 학습활동을 설계하고, 나머지 교육과정과 비디오 활용을 연계시켰을 때 학습목표 달성에 도움이 된다. 

Videos only promote learning outcomes when instructors carefully set learning objectives, design learning activities, and align the use of video with the rest of the curriculum, similar to the use of any other learning technology or instructional method (Biggs 2007).




파워포인트 슬라이드, 교수자 사진, 자막/대본 등과 통합하라

Ti p 7 Integrate PowerPoint slides, lecturer’s image, on-screen captions, and transcript


비디오는 글자와 이미지로 정보를 전달하고, 뇌의 서로 다른 영역에서 처리된다. 글자는 화면에 띄우거나 오디오로 제공할 수 있으며, 정지된 이미지는 파워포인트로, 움직이는 이미지는 애니메이션으로 전달 가능하다.

Video utilizes words and images to deliver information, with each being processed in different parts of brain (Mayer & Moreno 2003). Words can be presented as on-screen text or narrated audio. Images may be static such as PowerPoint slides or dynamic as animations or moving images. The multiple formats of information presentation serve students’ prefer- ences for either auditory, visual or verbal channels of learning (Mayer 2001).



– PPT 슬라이드: 널리 사용됨. 효과도 증명됨. 스크린 캡쳐 도구들 PowerPoint slides. PowerPoint slides are widely used during lectures to highlight key points, and their impact on learning has been validated (Blalock & Montgomery 2005; Nouri & Shahid 2005). Screen capture tools such as 

  • Camtasia (http://www.techsmith.com/camtasia.html) and 
  • Adobe Presenter (http://www.adobe.com/products/pre- senter.html) 

have been used widely to capture PowerPoint presentations and lectures.


 교수자의 존재 여부: 교수자의 존재 여부와 관련하여 합치된 의견은 없다. 우리의 경험과 Khan Academy 비디오 리뷰에 따르면, 일반적인 방식은 교수자가 비디오의 시작 부분에만 나오는 것이다. 교수자의 얼굴을 보는 것이 학생으로 하여금 학생-교수간 거리를 더 가깝게 느끼게 하고, 실제 교실과 비슷한 환경에서 있는 것처럼 느끼게 한다. 강의의 단조로움을 탈피하기 위해서는 교수자의 얼굴을 몇 차례 보여주는 것이 도움이 된다. 그러나 교수자의 얼굴이 모든 강의 내내 등장한다면, 학생의 집중력을 발표(교육)내용에서 흐트러뜨릴 수 있다. 또한 교수자도 전문가적인 페르소나를 유지하기 위해서 노력해야 한다.

Presence of lecturers. There is no agreement regarding whether the instructor should be seen in educational video (Prober & Khan 2013). Based on our experience and review of videos by Khan Academy (https:// www.khanacademy.org/), the common practice is that the lecturer appears at the beginning of the video. We speculate that seeing the lecturer’s face helps to reduce the distance between students and the lecturer, and to situate students in a simulated classroom environment. To break the monotony of lecture, it is helpful to show the lecturer’s face a few times. However, if the lecturer’s face is displayed during the whole lecture, it can distract students from focusing on the presentation. In addition, the presenter should strive to maintain a professional persona.


– 자막: 자막을 활용하는 것은 다양한데, 다음을 권장한다. 만약 비디오가 삽관과 같은 어떤 절차(procedure)에 대한 것이라면 자막이 핵심 단계를 강조하는데 유용하다. 만약 비디오가 대화 상황을 보여주는 것이라면, 자막은 필요하지 않으나 핵심적인 부분을 마지막 부분에 언급할 수 있다. 만약 비디오가 강의를 녹화한 것이라면 강의의 대본이나 lecture note가 온라인에서 접근가능한 것이 좋다.

 On-screen text. The use of text in video varies, a topic widely studied in the area of multimedia learning (Mayer 2001; Kalyuga et al. 2004). Based on a review of these studies and our experience using educational videos, we recommend the following guidelines. If the video dem- onstrates a procedure, for example, how to perform intubation, captions are useful to highlight the key steps. If the video narrates, for example, showing an inter- professional clinical scenario, captions are not necessary, however key commentary points should be presented at the end of the video. If the video is a record of a lecture, the transcript of the lecture or lecture notes should be made available online.



인지 과부하를 주의하라

Ti p 8 Avoid cognitive overloading


문자와 이미지는 뇌에서 서로 다른 channel에서 처리된다. 그러나 각 채널은 한정된 정보만 처리할 수 있다. 인지적 용량을 초과하는 정보가 제공되면 인지과부하가 생기고 학습에 안 좋은 영향을 미칠 수 있다. 인지과부하를 방지하기 위해서는 verbal and video channel의 동시적 활동이 통합되어야 한다. 비디오의 구조는 학생이 학습한 내용을 인지구조에 조직화시키고, 관련된 사전 지식과 통합하며, 정보를 새로운 상황에 적용하여 문제를 해결할 수 있는 능력을 길러줘야 한다.

Text and images in video are processed separately in verbal and visual channels in our brain (Sweller 1988; Mayer 2001). However, each channel can only process a certain amount of information because of our limited working memory capacity (Miller 1956; Sweller 1988, 1999; Mayer 2001). When the information presented exceeds our cognitive capacity, this results in cognitive overload, which has been shown to have a detrimental impact on learning (Mayer & Moreno 2003). To avoid cognitive overloading, concurrent activities in both channels should be integrated (Clark 2007; van Merrie¨nboer 1997). The structure of the video should facilitate students’ ability to organize content into a coherent cognitive structure, to integrate it with relevant prior knowledge, and to apply the information in new situations to solve problems (Elman et al. 1997; Quartz & Sejnowski 1997).



비디오 제작에 학생을 참여시키기

Ti p 9 Engage students in the video production


비디오 제작에 학생을 참여시키는 것은 내용에 대한 학습을 향상시키고, 학생들의 디지털 문해력을 향상시킨다. 학생들은 비디오의 내용과 그 내용을 가장 효과적으로 전달하는 방법을 결정하는데 참여할 수 있다. 이러한 접근법은 learning by teaching이라 불린다.

Engaging students in video production is a student-centered activity that enhances content learning and improves student digital literacy (O’Neill & Wyness 2005). Students can be involved in selecting the content of the video and the most effective way to deliver the content. This approach is called learning by teaching, which has been used widely in profes- sional education (Moore 1973).


Kaufman은 "학습자는 교육 프로세스에서 능동적 기여자가 되어야 한다"라고 하였다.

Kaufman (2003) advocates that ‘‘the learner should be an active contributor to the educational process’’ (p. 215).




비디오의 길이를 제한하라

Ti p 10 Limit video duration


2011년 Nielson Social Media Report 에 따르면 밀레니엄 세대는 비디오 시청에 다양한 디바이스를 활용한다. 스마트폰 플랫폼의 등장은 비디오의 길이를 특히 더 중요하게 만들었다. 비디오의 길이가 길수록 집중력을 유지하기가 어려워진다. Prober and Khan은 "'10분'은 일반적인 성인에서 학습이 최고조에 달하는 기간(peak learning period)에 잘 맞으며, 저장과 검색이 쉽다는 장점이 있다" 비디오의 길이가 더 길어질 때는 작게 나눠서 각 부분 사이에 상호작용적 요소를 넣거나, 섹션별 제목을 달아서 학생들이 다시 보고자 할 때 그 섹션을 쉽게 찾을 수 있게 해야 한다.

According to the Nielson Social Media Report of 2011, the millennial generation tends to use multiple devices such as smart phones to view videos (The Nielsen Company 2011). The smart phone platform makes attention to video length especially important. Longer videos demand greater effort to sustain focused attention. The longer the video, the less likely a student will watch it completely. Prober and Khan (2013) suggested that ‘‘Ten-minute videos have the advantages of being sensitive to the typical peak learning period for adults and are easily archived and searchable’’ (p. 1409). A longer video should be divided into shorter segments with interactive elements in- between, or include section titles so that students can easily find the segments that they need to replay.



신뢰할 수 있는 양질의 비디오를 찾아보라
Ti p 11 Identify credible professional quality videos

Open Educational Resource (OER) movement에 따라서 온라인에서 무료로 접근가능한 비디오들이 많다. 기존의 작업물에 따라 다음의 가이드라인을 제안할 수 있다.

Review of existing work on this topic suggests the following guidelines. 


  • 첫째, 비디오는 교수자의 교육적 목표 달성을 보완할 수 있어야 한다. 
    First, the video should complement your instructional objectives. 
  • 둘째, 비디오의 출처(교수자, 기관, 내용)가 신뢰할 수 있는 것이어야 한다. Second, the video should come from credible sources. To evaluate this you should ask: Is the author an authority on this topic? What are the author’s credentials related to this topic? In which institution does he or she work? Does the author have peer reviewed publications on this topic? Is the information current and accurate? 
  • 셋째, 비디오의 품질이 준수해야 한다. 출처가 신뢰할 수 있다고 해서 품질이 우수한 것은 아니다. 좋은 품질의 이미지, 오디오, 텍스트를 갖춰야 한다. 비디오는 접근이 용이해야 한다.
    Third, the videos should have profes- sional quality. Credible sources do not necessarily correlate with high quality videos. Professional quality videos contain high quality images, audio, and text. The video should be easy to access. 
  • 넷째, 저작권을 위반해서는 안된다. 
    Fourth, using these videos should not violate potential copyright issues. You should find out your institu- tional policies regarding use of online videos.



각자 비디오를 만들 때 필요한 기술적 요소들

Ti p 12 Pay attention to technical requirements when producing your own video



– 촬영 Shooting. Advanced video technology does not necessar- ily make it easier to produce a professional quality video. Do you have the skills and equipment to shoot the video? Will you hire a professional videographer? What is your budget and the timeframe involved? 


– 대본 Scripting. A script should be written with two columns, one representing the narration and the other indicating the video shots. A storyboard uses pictures to represent the shots. The script should indicate the framing and camera movements for each shot. 


– 장소 Location. A sound-proof location is generally required to filmthe video. It is often better to filmin a lecturer’s office than classroom or lecture hall. The background should be kept minimalistic so as not to distract the audience. 


– 편집 Editing. Do you have the skills and software to edit the video footage? What are the costs and timeframe involved? A few video editing programs to consider are: Jing (http://www.techsmith.com/jing.html), JayCuy (http://jaycut.com/), Tellagami (https://tellagami.com/), Plotagon (https://plotagon.com/), and GoAnimate (http://goanimate.com/). 


– 형식 Format. Will the video be compressed for online viewing? PCs and Macs have different video and software compatibility requirements, so it is important that the video plays on any type of computer. 


– 호스팅 Hosting. Cloud-hosted and self-hosted are two hosting options. For cloud hosting, there are free platforms like YouTube or fee-based ones such as Amazon cloud video hosting. Using free hosting platforms like YouTube can raise ethical issues because the video content is available to anyone with Internet access. This is an issue when the video is related to patient care. However, YouTube does give you the option to control access to your own channels. Many institutions use a password-protected online platform to host videos. For self hosting, you do have more control over the hosted content. However, institutional platforms normally do not offer unlimited server space. Compressed videos should be used if this is the case. 


– 피어리뷰 Peer review. Get another subject matter expert to review your video before publishing online.





Prober CG, Khan S. 2013. Medical education reimagined: A call to action.Acad Med 88(10):1407–1410. 






 2015 Feb;37(2):140-5. doi: 10.3109/0142159X.2014.943709. Epub 2014 Aug 11.

Twelve tips for the effective use of videos in medical education.

Author information

  • 1National University of Singapore , Singapore.

Abstract

Videos can promote learning by either complementing classroom activities, or in self-paced online learning modules. Despite the wide availability of online videos in medicine, it can be a challenge for many educators to decide when videos should be used, how to best use videos, and whether to use existing videos or produce their own. We outline 12 tips based on a review of best practices in curriculum design, current research in multimedia learning and our experience in producing and using educational videos. The 12 tips review the advantages of using videos in medical education, present requirements for teachers and students, discuss how to integrate video into a teaching programme, and describe technical requirements when producing one's own videos. The 12 tips can help medical educators use videos more effectively to promote student engagement and learning.

PMID:
 
25110154
 
[PubMed - indexed for MEDLINE]


교수 스타일: 우리는 지금 어디에 있는가? (New directions for adult and continuing education, 2002)

Teaching Style: Where Are We Now?

Joe E. Heimlich, Emmalou Norland





"교수 스타일"은 종종 서로 다른 것을 표현한다. 교육 방법이나 교육 기술을 표현하기도 하지만 다음의 것도 있다.

Teaching style is a phrase sometimes used to describe different things. Although some authors use it as if it is synonymous with teaching method or technique, most researchers who have defined teaching style refer to style as 

  • 교수 행동에 관한 선호, 교육자의 교수행동과 교수신념 사이의 일치 a predilection toward teaching behavior and the congruence between an edu- cator’s teaching behaviors and teaching beliefs (Heimlich and Norland, 1994), 
  • 교육 내용이 변하더라도 유지되는 교육활동의 질 a pervasive quality in the educational activities of an educator that persists even when content changes (Fisher and Fisher, 1979), 
  • 한 교사에게서 지속적으로 나타나는 특성 the distinct qualities a teacher displays that are persistent (Conti, 1998), or 
  • 개인이 정보를 수집하고, 조직하고, 유용한 지식으로 전환하는 방법 the characteristic ways each individual collects, organizes, and transforms information into useful knowledge (Cross, 1979).


'스타일'이란 방법이 아니라, 교수-학습에 전체와 관련된 더 큰 것이다.

Style is not method but something larger that relates to the entire teaching-learning exchange.


어떤 교육사건에서든지 일관되게 나타나는 다양한 요소들이 있다. 이 다섯 개의 요소 teacher, learner, group, con-tent, and environment 교수-학습 교환(teaching-learning exchange)의 모델을 구성한다.

In any educational event, several elements are constant: there is an edu-cator who conveys or facilitates the content to each learner and the group of learners within a situation that is both physical and the affective reaction to the physical environment. These five elements—teacher, learner, group, con-tent, and environment—comprise a model of the teaching-learning exchange.


대부분의 교육자들은 모든 학습자들이 학습에 대해 서로 다른 선호와 스타일을 가지고 있으며, 한 학습사건에서 다양한 학습스타일을 만족시킬 수 있는 기술과 전략을 사용하는 것이 중요함을 안다. 그러나 교육현장에서의 교수와 학생 간 상호작용에 대한 스스로의 신념에 대해 성찰해본 사람은 더 적다. 교육자들이 교수-학습에 관한 스스로의 신념과 가치를 아는 것이 중요하나, 그들의 가치와 신념, 철학을 행동과 매칭시키는 것이 더 중요하다. 이러한 일치(match, congruence)가 교수스타일을 이해하는데 중심이 된다.

Most educators understand that all learners have different preferences and styles of learning and believe that it is important to teach using techniques and strategies that will satisfy the variety of learning styles in the learning event (Seaman and Fellenz, 1990). Fewer educators, however, have reflected on their own beliefs regarding the interaction around the educational event between the teacher and the learner that we call the teaching-learning exchange. Although it is impor- tant for educators to know their own beliefs and values regarding learning and teaching, it is more important for them to understand the match between their values and beliefs, or their philosophy, with their behavior in the exchange. This match, or congruence, is the central element of under- standing teaching style (Brookfield, 1990).


교수-학습 상호교환의 합치(congruence)를 통한 학습의 효과가 제시하는 바는, 스타일을 이해함으로써 교수자와 학습자 마음 사이에 상호교환이 더 성공적일 수 있다는 것이다.

The impact on learning through congruence in the teaching-learning exchange suggests that understanding style can enhance the likelihood that the exchange will be successful in both the learners’ and the educators’ minds.


그러나 스타일은 성찰적 실천 혹은 교육 철학과 동일한 것이 아니다. 성찰은 교육자가 자신의 스타일을 점검하는데 중요하지만 교수스타일은 단순히 행동과 관련된 것이 아니기에 그와 다르며, 스타일은 마찬가지로 신념하고만 관련된 것이 아니므로 철학과 다르다. 스타일은 '합치'에 대한 것이다. '합치'를 이루기 위해서 교육자들은 그들의 교육과 학습에 대한 가치를 고려하고, 교수-학습 상호교환에 대한 신념을 점검해야 한다. 그리고나서 이 신념을 실천과 비교하면서 다양한 방식으로 '합치'를 위해 노력할 수 있다.

But style is not the same as reflective practice or philosophy of teaching. Reflection is an important activity when an educator examines his or her style, but teaching style differs fromreflec- tive practice in that it is not just about behaviors, and style is different from philosophy in that it is not just about beliefs. Style is about congruence. To achieve congruence, educators must consider their values about teaching and learning and examine their beliefs regarding each of the elements of the teaching-learning exchange. They must then compare this set of beliefs with their practice and work for congruence in one of several ways.


왜 교수스타일을 공부해야 하는가?

Why Should We Study Teaching Style?


대부분의 성인교육자에 대한 연구에 있어서 우리는 교육자를 평생학습자로 대하지 않고 있다. 성인교육자에 대한 Knowles의 가설부터 Brookfield의 목표까지, 성인교육분야는 '학습자를 이해하기 위해서 무엇이 필요한가'에 대한 특정 측면을 정의했다. 평생학습자에 대한 이해는 성인을 가르치는 사람에 대한 것까지 확장되어야 한다. 모든 성인교육자들이 해야 하고 할 수 있는 것은 스스로에 대해서 공부하는 것이며, 그 결과를 교육에 적용해야 한다.

One major concern is that in much of the study of adult educators, we are not treating the educator as a lifelong learner. From Knowles’s (1980) assumptions to Brookfield’s (1986) goals for adult educators, the field of adult education has defined certain aspects of what is necessary to under- stand learners. The understanding of the lifelong learner should and must extend to ourselves as the teachers of adults. One of the things all adult edu- cators can and should continue to study is themselves—and the application of the resultant understanding to their teaching.


스타일에 대한 연구

The Study of Style


스타일에 대한 연구는 교육자가 가진 신념/가치/태도/근무철학/기술/인격 등으로부터 시작한다. 교육의 합치를 이루기 위해서는 '내가 누구이며 내가 믿는 것은 무엇인가'를 찾아가는 과정을 요구하며 이는 끝나지 않는다. Eble이 말한 바와 같이  '교수 스타일을 습득하는 것은 총체적이며 일생에 걸친 과정이다. 비록 스타일이 스킬과 테크닉의 형태로 나타나더라도 스타일을 개발한다는 것은 그 이상의 것이다'

The study of style starts with what each educator holds: beliefs, values, atti- tudes, working philosophy, skills, and personality. The core of the individ- ual is what makes that individual a unique, potentially powerful educator of adults. Congruence in teaching demands that the personal exploration of “who I am and what I believe” be unending. As Eble (1980) suggests, the acquisition of teaching style “is a whole and lifetime process, and . . . though style may manifest itself in skills and techniques, the development of style involves much more than these” (p. 1).


교육자의 선호가 무엇인지 결정하는 것에는 여러 차원이 관계된다. 대표적인 두 가지 Inclusion과 sensitivity

Many dimensions could be used to determine an educator’s preferences and predilections in teaching. Two used to measure the beliefs about teach- ing are those of 

  • inclusion, which can be considered as level of control of the exchange held by the educator, and 
  • sensitivity or orientation to the five elements in a continuum of the nonhuman to the most human of consider- ations (Heimlich and Norland, 1994). 

Zinn’s (1983, 1994) Philosophy of Adult Education Inventory provides a measure of the educator’s philosophy regarding decisions and actions the educator holds regarding determination of the purpose and outcomes of the learning activity. Conti’s (1985)


Principles of Adult Learning Scale (PALS) 

Principles of Adult Learning Scale (PALS) compares the frequency of an educator’s practice with the principles described in the adult education lit- erature. Seevers (1991) found that sensitivity and inclusion, followed by number of adult education courses taken and attitude toward being an adult educator, were the best predictors of teaching style as measured by PALS.


교수 스타일을 탐색하는 것은 교육자의 행동을 철학과 매칭시키는 과정을 포함한다. 교수 스타일은 나쁜 교육의 변명이 될 수 없으며, 교실에서의 부적절한 행동, 잘못된 교육법 등의 변명도 될 수 없다. 교수 스타일에 깔린 전제는 비록 '나쁜' 스타일은 없다 하더라도, 교육자의 교육행위 중 안 좋은 것은 있다는 것이다. 스타일을 공부하는 목적은 개개 교육자들이 그들의 신념이 무엇인지 알고 그들의 신념이 그들의 행동과 어떻게 연결되는지를 이해함으로써 학생의 학습기회를 개선하는 것이다. 교수 스타일은 교육자로하여금 스스로의 교육을 살펴볼 수 있는 시작점이 된다.

The exploration of teaching style ultimately involves matching the edu- cator’s behavior with his or her philosophy. Teaching style is not an excuse for bad teaching, inappropriate classroom behaviors, or the use of poorly conducted teaching methods. An underlying premise of teaching style is the understanding that although there are no “bad” styles, there are poor prac- tices by educators. The purpose of studying style is for individual educators to understand better what they believe and how those beliefs can be con- gruent with their teaching behaviors in order to improve the opportunity for learning by students or participants in programs. Teaching style gives educators a starting point for exploring their own teaching.


종종 교육자들은 내용과 학습자에 맞는 교육법을 쓸 것을 요구받는다. 좋은 교육은 언제나 다양한 교육법을 다양한 학습의 지향과 학습 감각에 맞게 사용하는 것이지만, 모든 교육법이 모든 교수 스타일에 다 맞는 것은 아니다. 스타일이 반드시 달라져야 하는 것은 아니며 반드시 그럴 필요도 없다. 어떻게 교육자들이 교수 전략을 선택하고 테크닉을 적용하는가는 교육법에 관한 신념과 가치의 함수이며 교육자의 독특한 신념체계에 따라 변화될 수 있다.

Often, educators are implored to match their methods to the content and the learner (Draves, 1997; Lovell, 1987). Good teaching always involves using a variety of methods to appeal to multiple learning orientations and senses, but all teaching methods are adaptable to every teaching style; style does not necessarily change, nor should it. How educators select their teaching strategies and implement techniques is a func- tion of their beliefs and values regarding the methods and can be modified to fit within the unique belief systemof the educator.


합치를 이루는 방법

Options for Congruence


There are three ways in which educators who are exploring their beliefs and their behaviors can move to congruence: (1) a change of teaching behav- iors, (2) a change of beliefs, or (3) a change in both or neither.


행동을 바꾼다.

Changing Behaviors.


많은 교수자가 학습자가 교육자-학생의 상호교환을 조절해야 하며, 학습과정에 포함되어야 한다고 생각하면서도, 70%의 교육시간은 강의와 같은 발표 형식으로 이뤄진다. 이들 교육자는 학습자의 참여가 높아야 하며, 교육자의 통제가 낮아야 한다는 신념을 가지지만, 강의는 통제수준이 높고 학습자-중심 수준은 낮다. 

The most obvious area for exploration is that of methods used in the exchange. In a study of nonformal adult educators, Heimlich and Meyers (1999) found that a large majority of the educators held beliefs that learners should control the exchange and be involved in the learning process. Yet over 70 percent of instruction time was spent in presentation methods (lec- tures and lectures with visuals). These educators held beliefs that suggested a high degree of inclusion of the learner in the learning event and low con- trol by the educator over the learners, but the high control and low learner orientation of the predetermined lecture, even with questions and answers or visual aids, suggests dissonance between beliefs and behaviors. In prac- tice, the need to “excuse” or “apologize” for teaching in a certain way is often an indicator of dissonance between beliefs and behaviors. Understanding the purposes of different methods and then exploring ways in which the method can better be used to match the beliefs would strengthen the teaching- learning event.


신념과 행동은 완전히 구분되는 것이 아니며, 정서-행동-인지 사이에는 상호작용이 있다.

It is impossible to view beliefs and behavior as fully separate, and it is well understood that there is interaction among affect, behavior, and cog- nition (Eagly and Chaiken, 1993).



신념을 바꾼다.

Changing Beliefs.


신념을 바꾸는 것은 종종 더 어려운 과정이지만, 더 근본적이고 더 오래가는 변화일 수 있다. 많은 성인교육자들은 그들이 배워온 신념체계를 미리 정해진 신념체계인 것처럼 해석한다. 공식교육과정에는 교육자가 가져야 하는 다양한 신념을 제시한다.

The process of changing beliefs is often a more dif- ficult, but perhaps more fundamental and long-lasting, change. Many adult educators have been instructed in a system of beliefs about teaching and learning that they may interpret as suggesting a prescribed series of beliefs. Formal education, too, has laundry lists of suggested beliefs that educators should hold: 

    • student centered is better than teacher or content centered; 
    • teach to the various learning styles of the students; 
    • engage the students in defining learning outcomes or qualities of success; and so on.


학습자-중심을 지향하는 교육자도 서로 완전히 다를 수 있다.

As an illustration, any two educators can be learner centered in dra- matically different ways: 

    • an educator can be high control, low sensitivity and still be oriented to the needs of the learner and be correct in the man- ner in which he or she is learner centered. 
    • Another educator can involve the learners in defining their learning needs, organizing their learning activi- ties, and guiding the learning process and be no more or less student cen- tered than the other educator.


교육 내용에 대한 교수자의 방식도 다양하다.

The teacher’s orientation toward content also varies widely. Budak (1993) found, for example, that a teacher’s philosophy was not significantly related to training, attitude toward teaching, nature of content, or physical environment but was related to experience and the sta- tus of content held by the teacher.


Rokeach은 신념을 양파껍질에 비유했는데, 더 핵심부로 갈수록 더 변할 가능성이 낮다. 행동의 근간이 되는 핵심 가치는 소수이며, 문화적으로 규정된다. 핵심 신념에서 멀리 떨어진 신념일수록(주변부 peripheral) 상황에 따라 변하기 쉽다. 이들 신념은 경험, 가족, 교육, 상황, 외부 환경에 따라 형성된다.

Rokeach (1968) described beliefs as an onion skin in which the closer to the core the beliefs are held, the less likely they are to change. At the core, he suggests, there are only a few central values on which all behaviors are based and that tend to be culturally bound. The beliefs that lie further from the core are those (derived and peripheral) likely to vary depending on the situation; these beliefs are formed from experiences, family, instruction, sit- uations, and outside influences.


종종 이들 external belief가 공개적으로 천명되는 신념이 되며, 개개인은 그것을 믿어야 한다고 생각하여, Bem은 사람들은 그들 자신이 특정한 행동을 한다고 믿으며, 그 인식에 부합하는 태도를 지속적으로 보고할 것이라고 했다. 성인교육자에게 있어서 이는 기술된 신념이며, 그 직종에 종사하는 사람이 이상적으로 가져야할 것이어서, 교육자가 깊은 곳에 가지고 있는 신념과 반드시 부합하는 것은 아니다.

Sometimes these more external beliefs are professed beliefs and are assumed by an individual as the things they should believe, which Bem (1967) summarizes in his self-perception theory stating that if people perceive themselves to have certain behaviors, they will report consistent attitudes to match that perception. For adult educators, these may be the stated beliefs that echo the ideals of the profession but do not necessarily match the more deeply held beliefs of the educator.


모든 사람은 상반되거나 서로 경쟁하는 신념을 가지고 있으나, 이 신념들도 스스로에 대한 이해에 통합된다.

Contradictory or competing beliefs exist in all people. Yet these con- tradictory beliefs somehow become integrated into an individual’s under- standing of self.


많은 교육자들이 쉽게 빠지는 함정은 교육과 관련한 신념을 더 넓은 차원 - 자신의 삶 - 의 신념과 무관하게 생각하는 것이다. 교육자들이 그들 자신을 자신의 삶에서 떼어놓는 것은 교육의 가장 인간적 특성을 거부하는 것과 같다. 교육자도 하나의 인간으로서 다른 사람과 연결을 통해서 통찰과 지식과 인식과 정서와 기술을 습득한다. 교육자가 자신의 whole self를 교수-학습 상호교환에 더 많이 통합시킬수록 그 상호작용의 초점이 교수자와 교육모델이 아닌 학습과 학습과정에 집중될 수 있다.

The trap for many educators is to explore their beliefs around teaching and learning without placing those beliefs in the context of their larger belief systems—their lives. To suggest that edu- cators are able to separate themselves completely from their life outside the teaching event is to deny the very human nature of teaching. The educator is a human who, by connecting with other humans, is facilitating acquisi- tion of insights, knowledge, awareness, affect, or skills. The more fully the educator is able to integrate his or her whole self into the teaching-learning exchange, the more the focus of the exchange can be on the learning and the learning process rather than the teacher and the methods or models for teaching (Tight, 2000).



행동과 신념을 모두 바꾸거나 모두 바꾸지 않는다.

Changing Both Beliefs and Behaviors or Neither.


If through reflection and consideration, an educator finds that her professed belief sys- tem does not match what she truly believes on a deeper level, and that her behaviors do not match what she thinks she truly believes, she can choose to change both or change neither.


Changing both suggests that an educator has found no clarity in either her current philosophy or behavior. This is not to say that an individual seeking to change both philosophy and behavior is not a good teacher, but that this person has discovered that her beliefs may be inconsistent or inher- ently contradictory and that what she does in a teaching event may not always feel genuine. Seeking change of both beliefs and behavior requires intense critical reflection and a willingness to grow in ways that may be somewhat difficult, at least for a while.


There are, of course, those who may find beliefs or behaviors inconsis- tent or forced but choose to change neither. In some cases, the fear of change or the fear of trying something new can create a barrier to an indi- vidual’s willingness to change. In other situations, an educator may truly believe there is no reason to change. Challenging one’s beliefs or behaviors is what we call growth as educators. Not all educators are prepared for, or willing to work on, growth at all times during their careers.


In any of these situations, the educator will be unlikely to growin con- gruence or as a teacher. In other situations, educators may understand that there is potential for growth, but they do not have the tools, resources, or access to tools and resources to know how to effect change.









Teaching Style: Where Are We Now?

  1. Joe E. Heimlich1 and
  2. Emmalou Norland2

Article first published online: 20 MAR 2002

DOI: 10.1002/ace.46

New Directions for Adult and Continuing Education

New Directions for Adult and Continuing Education

Special Issue: Contemporary Viewpoints on Teaching Adults Effectively

Volume 2002Issue 93pages 17–26Spring 2002





학습 접근법 향상: 학생과 교사를 위한 팁 (Med Teach, 2013)

Enhancing learning approaches: Practical tips for students and teachers

SAMY A. AZER1, ANTHONY P. S. GUERRERO2 & ALLYN WALSH3

1King Saud University, Saudi Arabia, 2University of Hawai, USA, 3McMaster University, Canada






According to Biggs (1994), approaches to learning can be defined as ‘‘ways in which students go about their academic tasks, thereby affecting the nature of their learning out- comes.’’


주제 1: 심층 학습을 촉진하기 위한 구체적 테크닉

Theme 1: Apply specific techniques that foster deep learning 


좋은 질문을 하는 방법을 배우라

Ti p 1 Learn how to ask good questions


표면적 학습을 주로 하는 학생은 배운 지식을 분석하여 새로운 아이디어를 내놓는 것을 어려워한다. 따라서 의미있는 이해를 개발하기 위한 중요한 요소 중 하나는 학생이 스스로 배우고 싶은 것과 관련하여 좋은 질문을 할 줄 아는 것이다.

For example, students who usually use superficial or shallow learning find it difficult to analyze knowledge learnt or present newideas. Therefore, one of the elements of developing meaningful understanding is to learn how to format good questions in relation to what students want to learn (Graig et al. 2006; Zhang et al. 2010).


왜 질문하는 법을 배워야 하는가?

Why do students need to learn how to ask questions? 

Asking good open-ended questions help students to: 

  • Make their research for a learning issue more focused. 
  • Evaluate the different aspects about a concept. 
  • Identify what they know, and what they did not know. 
  • Go deeper into an issue and develop a meaningful learning. 
  • Weigh supportive evidence for and against each hypothesis. 
  • Turn learning to a journey of discovery. 
  • Make a purpose for their learning.

어떻게 질문이 심화 이해를 강화할 수 있는가?

How can questions reinforce deep understanding? 

Questions can help in reinforcing deep understanding when students aim at exploring a particular cognitive skill, for example: 

  • 가설 설정 Generating hypotheses: ‘‘What are the possible causes for ...?’’ 
  • 가설 검증 Testing a hypothesis: ‘‘What if ...?’’ ...‘‘Are there relation-ships between...and...?’’ 
  • 추론 Reasoning: ‘‘How can I justify ...?’’ 
  • 탐색 계획 수립 Developing an enquiry plan: ‘‘What are my goals? What approach should I take? What questions should I ask to make a hypothesis less likely, more likely, or excluded?’’ 
  • 관찰 결과 해석 Interpreting findings: ‘‘How these findings are different from normal? What do they mean?’’ 
  • 프로세스 탐색 Examining a process: ‘‘What are the consequences of ...? 
  • 설명 Explaining: ‘‘How can we explain...?’’ 
  • 임상 변화와 기초과학 연결 Linking clinical changes with basic sciences: ‘‘What does this relate to our knowledge about normal body...?’’ 
  • 비판적 평가 Critically evaluate: ‘‘What evidence do I have...?’’ 
  • 핵심 개념 파악 Identifying key concepts learnt: ‘‘What is the take homemessage?’’ 
  • 학습 요구 파악 Identify learning needs: ‘‘What do I know?’’ ...‘‘What do Ineed to know? How?’’ 


비유 사용하기

Ti p 2 Use analogy


왜 비유를 사용해야 하는가?

Why do students need to use analogy? 

잘 만든 비유는..

A well-constructed analogy: 

  • 이해를 돕고 Allows learners to better understand the different compo- nents of a difficult concept. 
  • 복잡한 것을 이해하기 단순하고 명확한 것과 비교해주고 Enables learners to take complicated issue/concept and compare it to something simpler that listeners/readers are familiar with and clearly understand. 
  • 세 가지 제약(유사성, 구조/기능, 목적)을 다룸 Covers three constraints: similarity, structure/function, and purpose.



어떻게 비유를 통해서 의미있는 이해를 할 수 있을까?

How can analogy help learners to explore meaningful understanding? 

By using analogy, learners can: 

  • 익숙한 모델과 관련성 찾기 Identify relationship between the familiar model and the new information they are learning. The more this relation- ship is well established, the more learners are able to comprehend the function and structure of the new system they are studying. 
  • 실제 상황에 지식 적용 Apply knowledge learnt in different real-life situations with confidence (Busari 2000). 
  • 어려운 개념 이해, 다른 요소들이 기여하는 방식 이해 Comprehend difficult concepts and how the different components contribute to a particular function. 
  • 새로운 질문 만들기 Identify new questions in relation to the difficult concept they are learning. 
  • 유사한 문제에 적용하기 Build on knowledge learnt and use the analogy in solving similar problems.




메커니즘과 개념지도 그리기

Ti p 3 Construct mechanisms and concept maps


학습자는 지식을 조직화하여 기존의 지식에 새 지식을 통합하고, 의미있는 학습을 위한 한신을 한다. 

Therefore, in this process, the learner deliber- ately seeks to organize his/her knowledge, incorporates new knowledge learnt to what he/she possesses, and demonstrates commitment to meaningful learning. The use of mechanisms and concept mapping is a good example of construction of knowledge, and integration of knowledge in an organized and logical way (Guerrero 2001; Novak 2003).



피어-튜터링에 참여하기

Ti p 4 Join a peer-tutoring group


튜티의 학습에 큰 도움이 되지만 튜터에게도 큰 도움이 된다. 

While peer tutoring could make significant improvement on learning of tutees, it also has benefits for the tutors. For example, Sobral (2002) found that acting as a peer tutor can be an appealing and constructive educational opportunity to further students’ academic development.


왜 피어-티칭을 해야하나?

Why do students need peer teaching? 

Peer teaching can: 

  • 배움의 문화 만들기 Help in developing a culture of learning in the college. 
  • 능동적 학습 Encourage active learning where students take a deep learning approach. 
  • 협력적 학습 Enforce collaborative learning. 
  • 어려움 겪는 학생에 대한 지원 Support students struggling with their learning. 
  • 가르침과 배움의 책임이 학생에게 있는 파트너십 시스템 Provide a system of partnership in the learning process, where the teaching and learning are owned by students. 
  • 의사소통/인간관계/시간관리 등의 전이가능한(transferable) 기술 개발 Enable students to develop transferable skills such as communication, interpersonal skills, and time management. 


어떻게 피어-티칭이 학습을 촉진하나?

How peer teaching can foster student’s learning? 

Peer teaching can help in reinforcing deep understanding by: 

  • 격차 발견 Discovering gaps/inadequacies in their knowledge. 
  • 잘못 이해한 개념 발견 Identifying misconceptions and correct them. 
  • 동기부여 Enhancing motivation to learning. 
  • 새로운 기술 습득 Learning new skills. 
  • 시간 효율적 관리 Using their time more effectively. 
  • 학습 스킬, 협력 학습, 어려운 개념 토론 Enhancing their learning skills, collaborative learning, and discussion of difficult concepts. 
  • 의사소통과 대인관계 향상 Improving their communication and interpersonal skills.



비판적 사고 기술 개발

Ti p 5 Develop critical thinking skills


비판적 사고는 이런 것들(self- regulation, analysis, evaluation, interpretation, conceptual, and methodological assessment)을 필요로 한다. 최근, 비판적 사고는 두 가지 주 구성요소(cognitive skill, affective domain)으로 이뤄져있다고 여겨진다. 

Critical thinking is a purposeful process that involves self- regulation, analysis, evaluation, interpretation, conceptual, and methodological assessment as a learning approach. Recently, critical thinking has been viewed beyond cognitive skills and it is believed that it comprises two main components: cognitive skills and affective domains of reasoning and attitude (Scheffer & Rubenfeld 2000). This is because of complexity of processes involved in critical thinking together with the oriental of mind during critical thinking. Such views are supported by other researchers (Simpson & Courtney 2002; Profetto-McGrath 2003).


비판적 사고의 구성요소는?

What are the components of critical thinking? 

According to Scheffer and Rubenfeld (2000), the two components of and critical thinking are cognitive skills affective dispositions, which are as follows: 

  • 인지기술 Cognitive skills: Discrimination, analyzing, predicting, logical reasoning, information seeking, applying standards, and transforming knowledge.
  • 정동적 요소 Affective dispositions: Intellectual integrity, open-minded- ness, flexibility, contextual perspective, confidence, inquisi- tiveness, reflection, creativity, and intuition.


왜 비판적 사고 기술을 개발해야 하나?

Why do students need to develop critical thinking skills? 

Critical thinking skills enable students to: 

  • 자기조절, 분석, 해석능력 개발 Develop their self-regulation, analysis, and interpretation skills. 
  • 언급한 인지와 정동 특성 강화 Enhance their skills in cognitive and affective dispositions discussed above. 



어떻게 개발할 수 있나?

How can students develop their critical thinking? 

Critical thinking is a skill that can be developed by students gradually as they keep practicing and working on it. So the willingness of the learner to focus on such approach and work on it is vital. 

  • 단순 암기에서 비판적 사고로 학습과정 조정 Readjusting their learning approaches from memorization to critical thinking. 
  • 지속적 훈련 Continuous training and working on tasks that can reinforce students’ critical thinking. 
  • 비판적 사고 기술을 길러줄 수 있는 학습자료 활용 Using learning resources that encourage learner’s skills such as interpretation of findings, analysis, inferences, explana- tion, and application of knowledge. These resources may include computer-aided learning programs and interactive e-cases. 
  • 피드백, 열정을 공유하는 동료와 일하기 Receiving feedback on performance and working with colleagues who share with you a passion about exploring critical thinking in their learning. 
  • 이러한 기술이 평생학습의 일부임을 이해하기 Understanding that such skills are part of continuous life- long learning and continuous development.


자기성찰 활용

Ti p 6 Use self-reflection


자기성찰은 모든 단계에서 발생할 수 있다. 자신과 상황을 이해하는데 도움이 된다.

Self-reflection is a metacognitive process that can occur at all stages of an encounter: before, during, and after. It helps the learner to understand both the self and the situation (Azer 2008b; Sandars 2009).



비록 최근 Lew and Schmidt 의 연구는 자기성찰이 학업능력 향상에 주는 도움은 미미하다고 밝혔으나, 다음을 도울 수 있다.

Although a recent study by Lew and Schmidt (2011) found that self- reflection has caused limited improvement in students’ academic performance, there is evidence that reflection can help learners to: 

  • 자기조절과 평생학습자가 되게 함 Become self-regulated and life-long learners. 
  • 그룹 학습 과정을 리뷰하고, 그 그룹 내에서 자신의 기여를 돌아보게 함 Review their group learning process and their own personal input in their groups. 
  • Experiential learning에서와 같이 학습 향상 Improve their learning as it is the case in experiential learning (Kolb 1984). According to Kolb, there are four phases: 
    • 1단계: 경험 in the first phase, the learner has an experience; 
    • 2단계: 성찰 in the second phase, the learner reflects, which in turn leads 
    • 3단계: 자신의 행동/리액션 이해. to the third phase where the learner makes attempts to understand their actions or reactions to the experience. This usually leads to identification of learning needs and skills that need to be acquired before facing a similar situation. 
    • 4단계: 배운 내용 학습 In phase four, the learner applies what he/she has learnt. This four-phase cycle may be repeated several times with the purpose of improving the learner’s performance. 
  • 새로운 지식을 이전 지식과 연결 Relate new knowledge to prior understanding. 
  • 스스로의 발전상황 평가, 성취에 대한 비판적 분석 Help them assess their own progress in learning and critically analyze their achievements.



주제 2: 능동적 학습 마스터하기

Theme 2: Master active learning


능동적 학습은 학생들이 교육과정에서 잘 설계된 다양한 학습 활동에 참여할 것을 필요로 하며, 이것의 목적은 학생의 참여 증진, 관련성 증대, 동기부여, 자기주도학습 향상 등이다.

Active learning requires active participation of students in different learning activities that have been carefully designed in the curriculum (Gleason et al. 2011). The aim is to facilitate student engagement, enhance relevance, and improve motiva- tion for learning and self-directed learning.



적절한 학습자원 활용

Ti p 7 Use appropriate range of learning resources


목적에 맞는 적절한 자원을 찾아야 한다. 서로 다른 자원은 서로 다른 목적에 도움이 될 수 있다. 또한 학생이 발전함에 따라서 필요한 정보나 요구가 변한다. 어떤 단계에서 어떤 목적으로 무엇이 필요한지 이해해야 한다.

Students need to identify resources that can help them learn and meet their objectives: different resources will be helpful for different needs. In addition, information and learning needs change as students advance; it is important to have a realistic understanding of what resources are useful at what stage, and for which purpose.


이런 것들이 있다.

These learning resources may include e-case packages,multimedia, journal articles, review papers, textbooks, educa-tional Web sites, YouTube videos, museum, plastinatedspecimen, bed-side teaching, outpatient clinic, rural services,lecture notes, and so on


적절한 자원을 적절히 사용하면 이렇게 도움이 된다.

The use of a wide range of appropriate learning resources could help students in: 

  • 자기평가, 장기기억 촉진 Self-testing and facilitating the process of long-term recall through repeated testing (Larsen et al. 2009). 
  • 지식을 평가하고 새로운 관심 찾기 Assessing their knowledge and what they already knowand exploring new aspects of interest to them. 
  • 자기주도학습을 더 확대하기 Engaging students more efficiently to expand their self- directed learning and find more answers to their questions. 
  • 특정 시간에 배운 내용을 다른 자원에서 토론한 내용과 비교. 개념지도 작성에 도움 Enabling students to compare and contrast between what they learnt from a particular learning session and what they have discussed in other learning resources. The new help students knowledge could to construct concept maps, integrate and synthesize information. 
  • 중요한 프로세스/개념을 설명할 기회 Providing students with opportunities to explain important processes/concepts orally and in writing. 
  • 배운 내용을 다시 보고 그것이 다른 핵심 과학적 원칙에 어떻게 들어맞는지 설명 Allowing students to revisit what they were taught, organize, relate new knowledge, and explain how topics fit together, and how to relate fine details to a key scientific principle. 
  • 학습을 스스로 조절하게끔 함 Enabling students to self-regulate their learning: plan, monitor, and evaluate their own learning (Sandars & Cleary 2011). So some of their learning resources could be designed in a way that allow them to develop their self- directed learning, self-monitoring skills, and how to ask good questions as they prepare for their learning. For example, ‘‘What do I really know about this area?’’ ‘‘What do I need to know?’’ ‘‘What learning resources should I use?’’ ‘‘Do I need to do any further research?’’


피드백을 찾아라

Ti p 8 Ask for feedback


코칭이나 피드백 없이 연습만 해서는 발전이 없다. 피드백은 평가와 달라서, 객관적이고 기대되는 기준과 비교하여 판단이 개입되지 않은 묘사이며, 의미를 가지려면 자주 피드백이 있어야 하고, 수행능력 향상을 촉진하는데 효과적이다. 피드백은 받는 사람을 위한 것이다. 

It has been well shown that practice alone without coaching and feedback does not lead to improvement in performance and the development of expertise (Ericsson et al. 1993). ‘‘Feedback,’’ which is different from ‘‘evaluation,’’ involves the objective, nonjudgmental description of perfor- mance, particularly in relation to the expected standard, and should take place frequently in order to be meaningful and effective in facilitating performance improvement. Feedback is for the benefit of its receiver.


과목 초반에 학생과 교사는 향후 정기적인 피드백을 설정하기 위한 토론에 참여해야 한다. 이 토론은 다음과 같은 구체적인 것 들을 정해야 한다.

We suggest that, early in the course, students and teachers should engage in a discussion that sets the stage for regular, expected feedback. This discussion should address specifics, such as: 

  • 언제 피드백이 이뤄지나 when will feedback occur (e.g., at the end of each session, at the end of each week, etc.); 
  • 어떻게 기록되고 그 기록은 어떻게 사용되나 how feedback will be recorded if at all and what happens to any documentation of feedback; and 
  • 갑작스러운 필요시에 피드백을 구하거나 주는 것은 어떻게 되나 how to ask for or give feedback at any time that it may be necessary.



교실을 넘어선 학습

Theme 3: Practice learning beyond the classroom


새로운 문제에 지식을 적용하라

Ti p 9 Apply knowledge learnt to new problems


왜 학생들은 지식을 새로운 문제에 적용해봐야 하나?
Why do students need to apply knowledge learnt to new problems? 

Applying knowledge learnt helps students in: 

  • 지식의 통합 Integrating knowledge learnt from several disciplines. 
  • 관계 탐색 Exploring relationships. 
  • 비교/분석/평가/가설설정 등등의 인지기술을 비롯한 여러 능력 향상 Practicing a number of cognitive skills such as comparing, analyzing, evaluating, hypothesizing, looking for evidence, linking basic sciences to clinical presentation, questioning, examining possible contributing factors, studying pathogen- esis, explaining, identifying gaps, referring to the literature, researching several resources, interpreting findings, and designing a management plan. 
  • 실제 임상에서 기초과학의 중요성 탐색 Examining the significance of basic sciences in clinical situations and real practices. 
  • 심화학습 촉진 Enhancing deep understanding. 
  • 이해가 미진한 부분 발견 Discovering inadequacies or gaps in their understanding.

지식을 새로운 문제에 적용하는 기술을 어떻게 익힐 수 있을까?

How can students develop their skills in applying knowl- edge to new problems?


스스로의 수행능력을 검토해보도록 권장되어야 한다. 다음과 같은 질문을 활용할 수 있다.

Students should also be encouraged to review their performance as they try to apply knowledge learnt to new problems. They may ask themselves questions such as 

  • ‘‘What did I learn from this experience?’’ 
  • ‘‘Why did I miss to provide the correct answer?’’ 
  • ‘‘Did I miss understand the question?’’ 
  • ‘‘Do I need to read and check my resources again in regard to this particular area?’’ and 
  • ‘‘I do remember studying this part but this case is not typical as the examples I studied. What did I learn so far?’’

학습한 지식을 새로운 문제에 적용하는 것은 일반적으로 심화 이해와 학습기술 향상에 중요하다

In fact, applying knowledge learnt by students to solve new problems is one of the key elements for enhancing deep understanding and learning skills in general (Metcalfe 2009).



시뮬레이션을 이용한 연습

Ti p 10 Practice learning by using simulation



실천과 봉사를 통한 학습

Ti p 11 Learn by doing and service learning


노력을 유도할 만큼 어려우면서, 학습 의욕을 꺾지는 않을 만큼의 난이도를 가진 활동에 참여함으로써 학습기술을 익힐 수 있다.

There is evidence from research that students could master their learning skills when they engage themselves in activities that are sufficiently difficult to promote mental effort, but not so difficult that could inhibit their desire to learn (Snelgrove 2004).



왜 실천과 봉사를 통해서 배워야 하는가?

Why do students need to learn by doing and service learning? 

Learning by doing and service learning have several educational benefits including: 

  • Fostering responsibility, accountability, and caring for others. 
  • Extending students’ learning from classroom learning to community services. 
  • Enabling students to develop skills that are less likely developed in traditional modes of learning. These skills include contributing to public safety, environmental protec- tion, and public education about common diseases and healthy living habits. 
  • Enabling learners to experience the exact meaning of learning and how service learning could add new dimen- sions to their learning experience.

환자로부터 배우기

Ti p 12 Learn from patients


환자와 효과적으로 의사소통하고, 환자-중심적으로 접근하며, 환자와 라뽀를 쌓는 독특한 기회이다. 그러나 이들 기술의 중요성은 종종 학생들이 간과하며, 일상의 임상교육에서 덜 강조되고는 한다. 아래와 같이 진행되어야 한다. 

it is a unique opportunity to learn how to communicate effectively with patients, become patient- centered in approach, and build rapport with patients. The importance of these skills is often ignored by students and less emphasized in the day-to-day clinical teaching. Therefore, learning from patients in bedside teaching and outpatient clinics brings a number of teaching and learning opportunities (Wang-Cheng et al. 1989; LaCombe 1997). 


These can be summarized as follows:

  • 학생이 직접 경험을 하도록 Allow students to gain first-hand experience of doctor– patient relationships. 
  • 환자-중심 진료를 강화. 단순히 임상진단을 하는 것이 아니라 질병이 인간에게 미치는 영향을 다루고, 질병을 이해하며, 환자가 자신의 상태를 관리하는데 참여할 수 있게 하는 것 Enhance the development of patient-centered care. The aim is not just how to make a clinical diagnosis, but also how to address the human impact of disease, understand illness, and engage the patient to take control of their condition. 
  • 실제 환자에 대한 병력청취와 검진 역량 강화 Enhance students’ competence in taking a medical history and examining real patients. 
  • 의사가 일상적으로 겪는 문제를 경험하게 함 Experience the reality of clinical practice and challenges that could face doctors and patients on day-to-day practice (e.g., this is completely different from experience with a simulated).


어떻게 환자에게서 배울 수 있는가?

How can students maximize their learning from patients? 

환자에게도 도움이 되게 해야 하며, 편안하게 해줘야 한다. 서두르지 말라.

Be helpful to patients and attend to their comfort. Do not rush. 

  • 비언어적 큐(cue)의 활용 익히기 Learn how to use nonverbal cues (both giving and receiving) in your communication. . 
  • 환자와 대화하고, 공감하고, 개방형 질문 사용 Engage the patient in the discussion, convey empathy to the patient’s concerns, and use open-ended questions. . 
  • 의학전문용어는 사용 지양 Avoid the use of medical jargon, use simple language and in a direct manner. . 
  • 환자의 생각/감정/기대를 이야기함에 있어서 진실되고 솔직하게 Be sincere, honest, and interested in talking to the patient about their ideas, emotions, and expectations rather than just asking them to listen to their hearts or take a medical history. . 
  • 환자를 보기 전에 동의 구하기. 진찰이 끝나면 잠깐 쉴 수 있는 시간 주기 Ask permission from the patients before examining them. Once you complete your examination, thank them, and leave them to have some rest. . 
  • 문화적 교육적 차이에 대한 민감성 기르기 Be sensitive to cultural and educational differences in the way you communicate, build rapport, and express positive attitude. .
  • 동료에게 피드백 구하기 Ask a colleague to give you feedback on your communica- tion and approaches with patients. . 
  • 스스로 성찰하기 Reflect on your experiences with the patients: 
    ‘‘What did you learn?’’ 
    ‘‘What type of challenges did you face?’’
    ‘‘How did you handle these challenges?’’
    ‘‘What will you do differently next time?’’ and
    ‘‘Why?’’ (Lew & Schmidt 2011).
















 2013 Jun;35(6):433-43. doi: 10.3109/0142159X.2013.775413. Epub 2013 Mar 15.

Enhancing learning approachespractical tips for students and teachers.

Author information

  • 1Department of Medical Education, College of Medicine, King Saud University, Riyadh, Saudi Arabia. azer2000@optusnet.com.au

Abstract

BACKGROUND:

In an integrated curriculum such as problem-based learning (PBL), students need to develop a number of learning skills and competencies. These cannot be achieved through memorization of factual knowledge but rather through the development of a wide range of cognitive and noncognitive skills that enhance deep learning.

AIM:

The aim of this article is to provide students and teachers with learning approaches and learning strategies that enhance deep learning.

METHODS:

We reviewed current literature in this area, explored current theories of learning, and used our experience with medical students in a number of universities to develop these tips.

RESULTS:

Incorporating the methods described, we have developed 12 tips and organized them under three themes. These tips are (1) learn how to ask good questions, (2) use analogy, (3) construct mechanisms and concept maps, (4) join a peer-tutoring group, (5) develop critical thinking skills, (6) use self-reflection, (7) use appropriate range of learning resources, (8) ask for feedback, (9) apply knowledge learnt to new problems, (10) practicelearning by using simulation, (11) learn by doing and service learning, and (12) learn from patients.

CONCLUSIONS:

Practicing each of these approaches by students and teachers and applying them in day-to-day learning/teaching activities are recommended for optimum performance.

PMID:
 
23496121
 
[PubMed - indexed for MEDLINE]


역진행교실(뒤집힌교실, 거꾸로교실..)을 만드는 12가지 팁 (Med Teach, 2015)

Twelve tips for ‘‘flipping’’ the classroom

JENNIFER MOFFETT

Department of Clinical Sciences, Ross University School of Veterinary Medicine, West Farm, St. Kitts, West Indies







flipped classroom(FlCl)은 전통적인 강의에서의 수업과 숙제 방식을 뒤집은 것이다. 학생은 우선 과목 내용을 미리 제공받고(책을 읽거나, 영상을 보거나, 팟캐스트를 듣거나) 수업시간에는 정보의 단순 제공에서 벗어나 소그룹/능동적 학습활동 등에 활용된다.

The flipped classroom describes an educational approach that reverses the traditional lecture and homework elements of a course. Students are first presented with course material in advance of class: they read a book chapter, watch a video or listen to a podcast. Class time is then freed from simple delivery of information and used for other purposes, notably small group, active learning exercises (Bishop & Verleger 2013).


FlCl의 가장 포괄적인 정의를 본다면, 이 아이디어는 전혀 새로운 것이 아니다. 기록으로만 보면 최초 기록은 1800년대부터 등장하는데, 미국 군사학교에서 General Sylvanus Thayer 가 공학수업에서 수업 전에 self-source 수업내용을 제공한 바 있다.

If you accept the loosest definition of the term ‘‘flipped classroom’’, the idea is neither new nor novel. One of the first recorded examples comes fromthe early 1800s, when General Sylvanus Thayer instructed engineering students at the US military academy at West Point, New York, NY, USA to self- source content prior to class (Musallam 2011).


Bishop and Verleger 은 기술의 역할을 강조하는 정의를 내렸다. "두 부분으로 이뤄진 교육 테크닉: 수업 내적으로는 상호작용적 그룹 학습활동, 그리고 수업 외적으로는 컴퓨터-기반 개별 학습"

Bishop and Verleger (2013), authors of a comprehensive survey of flipped classroom research, use a description that highlights the role of technology, calling it ‘‘an educational technique that consists of two parts: inter- active group learning activities inside the classroom and direct computer-based individual instruction outside the classroom’’.


최근의 연구결과를 보면 여러 장점이 있다.

Current research evidence shows that the flipped classroom has a number of potential advantages. 

  • 개별화된 교육, 근거중심 테크닉 도입 These include increased opportunities to provide individualized education to learners and to incorporate evidence-based teaching techniques into existing courses (Kachka 2012a; Johnson 2013). 
  • 교수자 입장에서 시간의 최적화된 활용 In addition, the approach allows educators to optimize their time; flipped classrooms increase educator–student interaction time as the educator is present when students attempt to analyse and apply new knowledge (Bergmann et al. 2012; Johnson 2013). 
  • 자기주도성 함양, 스스로의 학습에 대한 책임 Educators who have used the approach say that the flipped classroom improves student self-direction and encourages students to take responsibility for their own education (Bergmann et al. 2012). 
  • 학습의 유연성 (속도에 맞는 학습) Students also report enjoying the flipped classroom, particularly the flexibility associated with being allowed to move through material at their own pace (Johnson 2013; Butt 2014).
  • 스스로 동기부여 In addition, the approach requires that students are self-motivated and take responsibil- ity for their education. 
  • 그러나 수업 전 과제를 하지 않거나 교실 내 활동에 참여하지 않으면 Fail. It is a valid concern that the flipped classroom will not support effective learning if students fail to engage with the assigned pre-class or in-class activities (Kachka 2012b).




이미 인정받은 교육 이론과 근거-기반 기술을 활용하라

Ti p 1 Use recognized educational theory and evidence-based techniques to drive your flipped classroom


FlCl의 강점이 기술의 활용에 있다는 것은 흔한 착각이다. 예컨대, 강의를 온라인으로 옮긴다거나, 비디오-녹화 발표로 바꾸는 것 등이다.

There’s a common misconception that the strength of the flipped classroom centres on the use of technology, for example moving lecture material into online, video-recorded presentations (Bergmann et al. 2012).


무슨 테크놀로지를 활용하고자 하든, 그것은 등식의 한 부분일 뿐이다. Flip 하기로 결정을 내렸다면, 교육자들은 과목 설계를 위한 필수적 요소를 알고 이를 고려해야 한다. 요구 사정, 내용과 목표 결정, 적절한 교수-평가 방법 등이 그것이다.

The technology that we decide to use, or not, is only part of the equation. When a decision to flip is made, educators should first consider the recognized essential elements of course design. These include conducting needs assess- ments, determining content and learning outcomes, and selecting appropriate educational and assessment methods (Lockyer et al. 2005).



FlCl의 긍정적 특징을 활용하라
Ti p 2 Capitalize on the positive features of the flipped classroom

의학교육자들은 새로운 토픽/방법/사람을 어떻게 기존 과목에 통합시킬 것인지 등을 생각해보게 된다. 예컨대 FLCL 모델은 기존의 방식대로라면 시간이나 지리적 한계로 배제되었을 관련된 외부 전문가를 포함시킬 수 있다. 또 다른 장점은 교육 혁신을 위한 시간과 공간을 확보해준다는 점이다. 내용의 전달이 온라인 환경으로 옮겨간다면, 수업시간은 무수한 근거-기반 교육모델을 활용할 수 있는 장이 된다. (경험학습, TBL, PBL 등)

Medical educators are advised to reflect on how the approach may be used to integrate new topics, methods, and people onto a course, or solve other existing challenges. For example, flipped classroom models have been used successfully to involve external subject experts, who would otherwise have been excluded from being educators, due to limitations of time or geographical location (Wagner et al. 2013). Another recognized advantage of the flipped classroom is its ability to create time and space in an existing curriculumfor educational innovations (Kachka 2012a). Once the delivery of content (either whole or partial) has been removed to an online environment, class time now becomes a space to introduce a wide variety of evidence-based educational models, for example experiential learning, team-based learning, and problem-based learning (Kolb & Kolb 2005; Klegeris et al. 2013; Ofstad & Brunner 2013).




수업자료를 어떻게 조직화할 것인지 결정하라

Ti p 3 Decide how you want to organize your course material


가장 먼저 내려야 하는 결정은 어떻게 교육자료를 두 가지로 나눌지에 대한 것이다. 즉 어떤 것을 수업 전에 제공할 것이며, 어떤 것을 수업 중에 할 것인가에 대한 것이다. 우리는 Bloom's taxonomy와 같은 교육모델을 활용할 수 있는데, 예컨대 수업 전에는 낮은 수준(지식 습득, 이해) 그리고 수업 중에는 높은 수준(적용과 분석)과 관련된 활동을 할 수 있다.

One of the first decisions that the flipped classroom educator faces is how to divide the course material into two elements: what will be addressed prior to class and what will be addressed during class. We can use educational models such as Bloom’s taxonomy (revised) (Anderson & Krathwohl 2001) to help organize the approach. For example, pre-class activities are used to support lower levels of learner cognitive work (e.g. knowledge and comprehension) and in-class activities are used to facilitate higher levels (e.g. application and analysis).


이 단계는 어떤 수업자료를 우선적으로 제공할지를 결정하는 단계이기도 하다. FLCL 접근법에서 빠지기 쉬운 위험은 온라인에 학습내용을 '덤핑'해놓음으로써 학생들이 정보 과다에 휘말리게 하는 것이다. 과도한 양의 내용은 여러 FLCL 연구에서 조심해야 할 것으로 지적된 바 있다.

This stage of planning is also an appropriate place to consider what course material needs prioritizing. With a flipped classroom approach, educators can encounter the risk of ‘‘dumping’’ content into an online learning environment, resulting in information overload for students. Excessive content has been highlighted as a concern for students in several flipped classroom studies (Johnson 2013; Wagner et al. 2013).


이상적으로는, 수업 전 자료와 수업 중 활동은 기존의 방식에서 강의와 강의 후 숙제에 소요되는 시간과 비슷하거나 더 적어야 한다.

Ideally, the time allowed for pre-class and in-class activities in the flipped classroom should mirror, or be less than, the time used for lectures and post-lecture homework in the traditional classroom.



수업 전 활동 선정에 투자하라

Ti p 4 Invest in your choice of pre-class activities


온라인 수업 전 활동을 학생들이 할 수 있으면서, 하고 싶게 만들어야 한다. 예컨대 접근가능성에 신경을 써야 하는데, 온라인으로 제공한다면, 모든 학생이 그 자료에 접속할 수 있는가를 생각해봐야 한다.

It is necessary to design online pre- class activities with students can, and are willing to, engage (Ellaway & Masters 2008). For example, consideration needs to be made to accessibility; if course material is delivered online, do all students have access to appropriate technology and reliable internet?



FLCL에 대해서 이야기 할 때, 비디오-기반 교육을 많이 이야기하는데 교육자들은 비디오-기반 자료를 만드는 것이 부담스러울 수 있다. 그러나 다행히 Vimeo and iTunes University 와 같은 것들의 도움을 받을 수도 있다.

Much of what is written on the flipped classroomcentres on the use of video-based instruction. It is,however, also recognized that educators, particularly thosewith time constraints or low confidence in using technology,may find the idea of creating video-based course material unappealing (Shimamoto 2012; Snowden 2012; Johnson 2013).Fortunately, there are many ways in which course content canbe delivered through video, some of which require little technological expertise such as Vimeo and iTunes University,


그 외에도 Camtasia, ShowMe.  등이 있다.

Other solutions include screen casting applications, for example Camtasia, ShowMe. As with many other facets of the flipped classroom, there is no ‘‘one- size-fits-all’’ solution.


비디오-기반 교육이 유일한, 최선의 방법은 아닐 수 있다.

Video-based instruction is not the only, or necessarily ‘‘best’’, way of delivering content (Figure 1),





VLE를 활용하라

Ti p 5 Utilize VLEs to best effect


예컨대 Moodle, Blackboard,  등이 있다.

Modern VLEs, for example Moodle, Blackboard, can be used to support learning


독특한 특징은 학생이 수업자료와 좀 더 능동적 방식으로 상호작용 할 수 있다는 것인데, 학습자가 현실상황과 가까운 프로젝트와 문제해결 상황에 놓임으로써 enquiry-based 학습이 가능하다는 점이다.

A specific feature is that learners can interact with core course material in a more active way, that is learners become involved in authentic projects and problem-solving situations, which hold the concept of enquiry-based learning at their centre (Berge 2002).


이에 더하여, 교육자들은 온라인 상호작용의 형태를 결정해야 한다. 유용한 질문은 다음과 같다.

In addition, educators should define what format online interaction will take. Useful questions include: 

  • 동시적/비동시적 should communication be synchronous or asynchronous? 
  • 교사의 지도/개입 수준 Do discus- sions require heavy, light or no moderation from educators? 
  • 토론내용의 기록/저장 여부 Are discussions saved and used in any way, for example learners given course credit for participation, and 
  • 의사소통의 방식 how is this communicated?



수업시간을 창의적으고 효과적으로 사용하라

Ti p 6 Use class time creatively and effectively


대부분의 FLCL은 수업시간동안 능동적 학습활동을 촉진하는 방식으로 사용되며 다양한 방법이 제시된 바 있다. 이러한 다양성은 오히려 어떤 방법이 가장 효과적인지 결정하는 것을 어렵게 만들기도 한다.
Most flipped classrooms use class time to facilitate active learning exercises, and a wide variety of methods, for example peer support groups, case-based learning, and experiential learning, has been described in the literature. This variety makes it difficult to draw any firm conclusions on what methods work best, and this has been highlighted as an area that needs further research (Bishop & Verleger 2013).


무슨 방법을 쓰든 FLCL은 일반적으로 교사-학생 상호작용을 증진시킨다. 실제 상황에서 이것은 학생이 문제를 해결해가는 과정에서 지지를 얻고, 모호한 부분에 대한 명확한 설명을 받음을 의미하고, 교수자에게는 수업시간 활동 중에 학생들이 어떤 것을 혼란스러워하는지 실시간으로 피드백 받을 수 있다.

Whatever educational methods are adopted, the flipped classroom normally allows for increased educator–student interaction during lectures. On a practical level, this means that students can get support and clarification as they work through problems, whilst educators get real-time feedback on the in- class activities and what specific topics cause confusion for the students.




학습자의 요구에 맞춘 교육을 하라

Ti p 7 Utilize the flipped classroom to tailor education to your learners’ needs


FLCL에서는 교육 테크놀로지를 활용하여 학습자의 요구에 맞춘 교육을 할 수 있다. 예컨대 온라인 상호작용 활동 (토론, 퀴즈, 컴퓨터-도움 학습 모듈)을 활용하여 학생의 참여와 이해수준에 관한 정보를 얻을 수 있다.

Educational technology can be harnessed in flipped class- rooms to tailor education to learners’ needs. For example, educators can use online interactive exercises such as discus- sions, quizzes, and computer-assisted learning modules to gather rich information about student engagement and under- standing (Cooper 2000).


예컨대 1학년 수업에서 뇌의 육안해부학에 대해서 비디오 발표를 한다고 하면, 발표 후에 온라인으로 짧은 퀴즈를 풀게 할 수 있다. 만약 대부분 영역에서 잘 하는데, 소뇌 관련 문제에서 어려움을 겪는 것으로 보인다면, 이는 교수자에게 중요한 피드백이 된다. 이를 바탕으로 수업 전 활동이나 수업 중 활동을 수정할 수 있다.

For example, a class of first year medical students view a video presentation on the gross anatomy of the brain. After the presentation, they are required to complete a short online quiz on the material covered in the presentation. A large proportion of the class performs well but has difficulty with a series of questions relating specifically to the cerebellum. This gives the educator important feedback, on the pre-class activity (‘‘Do I need to change or provide more information about the cerebellum during the online part of the course?’’) and/or the students (‘‘They need more clarity on the cerebellum. How will I address this in class?’’).


FLCL은 더 관심을 기울여야 하는 학생을 찾는데도 도움을 준다.

The flipped classroom also facilitates the identification of individual students that may need extra attention.



FLCL로 전환하는 타임라인에 신경쓰라

Ti p 8 Be aware of the timelines involved with converting to a flipped classroom


FLCL로 전환하는데 있어서 가장 우려하는 것 중 하나는 이 때 필요한 시간과 작업량이다. 이는 타당하다. FLCL이 성공하려면 교수자는 새로운 기술을 익히고 적용해야 하며, 교육자료를 제시할 효과적인 방법을 찾아야 한다. 그러나 대부분의 시간투자는 초기에만 필요한 것이며 일단 익히고 나면 그 다음부터는 큰 부담이 되지 않는다.

One of the main concerns that educators have about convert- ing to a flipped classroom is the amount of time and work involved (Snowden 2012). This is a legitimate concern; for the flipped classroom to succeed, educators require time to learn and incorporate new technologies, and devise effective ways to present course material (Shimamoto 2012; Snowden 2012). It should also be recognized, however, that most of the initial time outlay involved in flipping a classroom is once-off in nature. 


추가로, FLCL이 효과적으로 기능하면 전체적인 강의 시간과 office hour가 모두 줄게 된다.

In addition, the flipped classroom, if functioning effectively, can result in reduced overall lecture time and office hours for educators (Wagner et al. 2013).



FLCL을 제공하는 교수들에게 적절한 트레이닝을 제공하라

Ti p 9 Offer training to those involved in delivering a flipped classroom course


교육 준비도는 FLCL의 성공에 중요한 요소이다. 만약 교육자들이 스스로 능력이 있다고 느끼지 못하거나 열정이 없다고 느끼면 잘 되지 않는다.

Educator ‘‘readiness’’ is an important factor in the success of a flipped classroom course; if educators do not feel capable, or enthusiastic, to flip then it is unlikely to work (Shimamoto 2012; Snowden 2012).


교육연구 결과를 보면 교수자들에게 어떻게 테크놀로지를 사용하고 근거-중심 교육을 적용할지에 대해 가르쳐줄 것을 권고한다. 이 과정은 자신의 분야에서 FLCL을 활용한 예시를 보고, 자신감을 기르는 단계가 되어야 한다. 또한 교육자들에게 FLCL의 핵심 특징을 알려줌으로써 그러한 변화의 가치를 느끼게 해야 한다.

Educational researchers advise that instructors are shown how to use new technologies and incorporate evidence-based teaching into their courses (Shimamoto 2012). Training should also provide educators with worked examples of how the flipped classroomcan be applied within their own area of expertise, as this has been recognized as a confidence-building step (Shimamoto 2012). Training sessions can also be used to inform educators about the key features of the flipped classroom so that they can see value in making the change.




학생을 준비시키라

Ti p 10 Prepare your students


학습자들도 지원이 필요하다.

It is also likely that learners need support in transitioning to a flipped classroom.


미국의 대학-수준 학생들 대상 연구에서 Strayer는 "학생들은 FLCL에서 수업의 구조가 학습과제와 연결되는 방식에 대해서 덜 만족해한다. 이 분석은 FLCL의 여러 학습활동이 학생들 사이에 불안감 (길을 잃은 느낌)을 야기하며 이는 전통적 수업에서는 겪지 못하는 것이다.

In a study of US college-level students, Strayer (2007) found that: ‘‘students in the flip(ped) classroom were less satisfied with how the structure of the class oriented them to the learning tasks in the course. The analysis showed that the variety of learning activities in the flip(ped) classroom contributed to an unsettledness amongst students (a feeling of being ‘‘lost’’) that students in the traditional classroom did not experience’’.


학습자들에게 FLCL을 사용하는 rationale에 대해서 설명해주는 것이 좋다.

It may be useful to provide learners with the rationale for using the flipped classroom in a medical education setting,



어떻게 FLCL을 평가할 것인지 결정하라
Ti p 11 Decide on how you will evaluate your flipped classroom approach

FLCL에 대한 여러 문헌 중 대부분은 학생의 '인식'에 대한 것이고 실제 객관적 평가의 결과에 대한 연구는 적다.

Much of what appears in the literature about the flipped classroom reports on student perceptions of the approach, rather than objective assessment of student performance Verleger (Bishop & 2013).



Flip이 'all-or-nothing'이 아님을 기억하라

Ti p 12 Remember that a flip does not have to be ‘‘all-or-nothing’’


FLCL은 하나의 작은 주제에 대해서만 적용할 수도 있다. 실제로 학생들은 전통적 수업과 FLCL 부분이 둘 다 있는 수업을 좋아하며, 한 연구에서는 30%의 FLCL과 70%의 전통적 수업의 비율이 적절하다고 이야기한다.

Flipped classroom techniques can be incorporated around single topics or modules; indeed there is evidence to suggest that students prefer courses that are divided into both one study traditional and flipped classroom portions. In (Wagner et al. 2013), engineering students indicated that a balance of 30% flipped classroom and 70% traditional class- room represented the optimum balance.















 2015 Apr;37(4):331-6. doi: 10.3109/0142159X.2014.943710. Epub 2014 Aug 26.

Twelve tips for "flipping" the classroom.

Author information

  • 1Department of Clinical Sciences, Ross University School of Veterinary Medicine , West Farm, St. Kitts , West Indies.

Abstract

The flipped classroom is a pedagogical model in which the typical lecture and homework elements of a course are reversed. The following tipsoutline the steps involved in making a successful transition to a flipped classroom approach. The tips are based on the available literature alongside the author's experience of using the approach in a medical education setting. Flipping a classroom has a number of potential benefits, for example increased educator-student interaction, but must be planned and implemented carefully to support effective learning.

PMID:
 
25154646
 
[PubMed - in process]


TBL의 필수요소(NEW DIRECTIONS FOR TEACHING AND LEARNING, 2008)

The Essential Elements of Team-Based Learning

Larry K. Michaelsen, Michael Sweet





TBL은 postsecondary education 에서 쓰이는 다른 어떤 방법보다도 소그룹 상호작용에 의존하고 있다. 이러한 결론은 세 가지 사실에 근거한다.

Team-based learning (TBL) possibly relies on small group interaction more heavily than any other commonly used instructional strategy in postsecondary education (for comparative discussion of different approaches, see Fink, 2004; Johnson, Johnson, and Smith, 2007; Millis and Cottell, 1998). This conclu- sion is based on three facts. 

  • 우선, TBL에서는 학생들이 내용에 노출되고 그 내용을 적용하여 능력을 향상시키는데 그룹활동이 핵심적이다. First, with TBL, group work is central to expos- ing students to and improving their ability to apply course content. 
  • 둘째, TBL에서 대부분의 수업시간은 그룹활동에 쓰인다.
    Second, with TBL, the vast majority of class time is used for group work. 
  • 셋째, TBL로 교육되는 과목은 다수의 그룹과제를 사용하게 되는데, 이는 자기관리학습팀의 개발과 학습을 촉진한다.
    Third, courses taught with TBL typically involve multiple group assignments that are designed to improve learning and promote the development of self- managed learning teams.


TBL 개괄

A Broad Overview of TBL


TBL의 주요 학습목표는 단순히 내용을 다루는 것을 넘어서 학생들이 그 내용을 실제 문제를 해결할 기회를 갖게 하는데 있다. 따라서 TBL은 개념적/절차적 지식(conceptual and procedural knowledge)을 모두 제공한다.

The primary learning objective in TBL is to go beyond simply covering con- tent and focus on ensuring that students have the opportunity to practice using course concepts to solve problems. Thus, TBL is designed to provide students with both conceptual and procedural knowledge.


TBL 과목에서 학생들은 일정 기간동안 전략적으로 그룹별로 나눠지며, 교육 내용은 주요 단위별로 구분되어 5~7개의 유닛으로 나눠진다. 순서는 아래와 같다.

In a TBL course, students are strategically organized into permanent groups for the term, and the course content is organized into major units— typically five to seven. 

  1. 사전 읽기자료 Before any in-class content work, students must study assigned materials because each unit begins with the readiness assur- ance process (RAP). 
  2. RAP(개인, 팀) The RAP consists of a short test on the key ideas from the readings that students complete as individuals; then they take the same test again as a team, coming to consensus on team answers. 
  3. 즉각적 피드백 Students receive immediate feedback on the team test and 
  4. 어필 then have the opportunity to write evidence-based appeals if they feel they can make valid arguments for their answer to questions that they got wrong. 
  5. 강의 The final step in the RAP is a lec- ture (usually very short and always very specific) to enable the instructor to clarify any misperceptions that become apparent during the team test and the appeals.

 


 

TBL의 네 가지 핵심 요소

The Four Essential Elements of Team-Based Learning


교수자와 학생의의 주요 역할이 바뀐다. 교수자는 전체 교육과정을 설계하고 관리하는 사람으로, 학생은 교육내용의 초반 학습에 책임을 가지고, 수업 중 팀활동에 준비해오는 것.

The instructor’s primary role shifts from dispensing information to designing and managing the overall instructional process, and the students’ role shifts from being passive recipients of information to one of accepting responsibility for the initial exposure to the course content so that they will be prepared for the in-class teamwork.


이러한 정도의 변화는 자동적으로 일어나지 않으며, 꿈에 그칠 수도 있다. 그러나 네 가지 필수 요소가 있다.

Changes of this magnitude do not happen automatically and may evenseemto be a dreamrather than an achievable reality. They are, however, achiev-able when the four essential elements of TBL are successfully implemented: 


그룹 Groups. Groups must be properly formed and managed. 

책임감 Accountability. Students must be accountable for the quality of their indi- vidual and group work. 

피드백 Feedback. Students must receive frequent and timely feedback. 

과제 설계 Assignment design. Group assignments must promote both learning and team development.


요소 1: 그룹의 적절한 구성과 운영

Element 1: Properly Formed and Managed Groups.


모든 그룹이 과제를 해결하는데 필요한 자원을 골고루 가지고 있어야 한다. 조 내에서의 세부 연맹은 그룹 응집성에 방해가 될 수 있어 사전에 방지해야 하며, 그룹이 학습-팀으로 발전할 기회를 갖게 해야 한다.

ensuring that the groups have adequate resources to draw from in completing their assignments and approximately the same level of those resources across groups, avoiding membership coali- tions that are likely to interfere with the development of group cohesiveness, and ensuring that groups have the opportunity to develop into learning teams.


개인이 가진 자원(능력)이 골고루 분배되게 하라

Distributing Member Resources.


학생들의 특성(관련 과목의 이전 경험) 뿐 아니라 성별, 인종과 같은 것도 골고루 분포되도록 함.

mix of student characteristics (for example, previ-ous course work or course-related practical experience) as well as demo-graphic characteristics like gender and ethnicity. 


여기서의 목적은 과제에 대한 서로 다른 관점을 제시할 수 있는 조원을 골고루 배정하는 것이다.

The goal here is to equip groups to succeed by populating them with members who will bring differ- ent perspectives to the task.


그룹역학에 대한 연구와 교육 연구 결과를 보면, 문제해결을 위한 토론에 다양한 인풋이 들어가는 것이 긍정적 영향을 줌을 보여준다.

Findings in both group dynamics research (Brobeck and others, 2002) and educational research (Chan, Burtis, and Bereiter, 1997) illuminate the positive impact of diverse input in problem-solving discussions on both learn- ing and performance.


추가로, 비록 구성원의 다양성이 그룹의 토론과정과 수행능력을 저하시킬지라도, 그룹 응집성을 촉진하고자 하는 조건에서 일정 기간에 걸쳐서 함께 학습해본 경험은 중요한 자산이 될 것이다.

In addition, although member diversity ini- tially inhibits both group processes and performance, it is likely to become an asset when members have worked together over time and under conditions that promote group cohesiveness (Watson, Kumar, and Michaelsen, 1993).


그룹 응집성의 장애물 최소화: 세부 연맹 방지

Minimizing Barriers to Group Cohesiveness: Avoiding Coalitions.


그룹 내에서의 연맹은 그룹의 전체적 발전에 위협이 된다.

Coalitions within a group are likely to threaten its overall development.


자신과 비슷한 사람을 찾는 것은 인간의 본성이기에, 학생들이 스스로 그룹을 형성하게 놔두면 파열을 유발하는 하부그룹이 반드시 생기게 된다.

Because it is human nature to seek out similar others, allowing students free rein in form- ing their own groups practically ensures the existence of potentially disrup- tive subgroups (Fiechtner and Davis, 1985; Michaelsen and Black, 1994).


시간 

Time.


어떤 그룹역학에 관한 교재를 보더라도, 그룹이 높은 수행능력을 가진 팀으로 발전하기까지는 시간이 필요하다. 이러한 이유로 학생들은 전 과목이 진행되는 동안 같은 그룹으로 유지되어야 한다.

Any group dynamics textbook will tell you that groups need time to develop into high-performing teams, regardless of whether you favor sequential or life cycle models (Tuckman, 1965; Tuckman and Jensen, 1977), cyclical models (Worchel, Wood, and Simpson, 1992), or adaptive or nonsequential models (McGrath, 1991). For this reason, students should stay in the same group for the entire course.


학생들이 일정 시간에 걸쳐서 함께 할 때야만 그 그룹이 응집력을 가져서 자기-관리적인, 진정으로 효과적인 학습-팀이 된다.

only when students work together over time can their groups become cohe- sive enough to evolve into self-managed and truly effective learning teams.


요소 2: 개인 활동과 그룹 활동에 대한 학생들의 책임감

Element 2: Student Accountability for Individual and Group Work.


강의에서는 학생이 책임 질 일이 없지만, TBL은 학생이 교수자와 팀원에 대해서 책임이 있다.

By contrast, TBL requires students to be accountable to both the instructor and their teammates for the quality and quantity of their individual work.


개별 사전준비에 대한 책임

Accountability for Individual Preclass Preparation.


사전 준비가 부족하면 개인의 학습과 팀의 발전 모두에 제한요인이 된다. 완전히 준비가 없을 때엔 토론이 얼마가 되더라도 이를 극복할 수 없다. 더 나아가서 준비 부족은 응집력 발전을 저해하는데, 준비를 잘 해온 학생이 동료들까지 이끌고 가야 하는 것에 분노할 것이기 때문이다.

Lack of preparation places clear limits on both individual learning and team development. No amount of discussion can overcome absolute ignorance. Furthermore, lack of preparation also hinders the development of cohesiveness because those who do make the effort to be prepared will resent having to carry their peers.


팀에 기여할 책임

Accountability for Contributing to The Team.


구성원이 팀에 기여한 것을 정확하 평가하기 위해서, 교수자는 학생들이 동료평가를 하게끔 해야 한다. 팀에 대한 기여는 팀워크에 대한 개별적 준비, 출석, 수업 외 팀 미팅 참석, 팀 토론에 긍정적 기여, 동료 팀원들의 기여를 인정하고 격려해주는 것 등이 잇다.

In order to accurately assess members’ contributions to the success of their teams, it is imperative that instructors involve the students themselves in a peer assess- ment process. Contributions to the team include activities such as individual preparation for teamwork, reliable class attendance, attendance at team meetings that may have occurred outside class, positive contributions to team discussions, and valu- ing and encouraging contributions from fellow team members.


수준 높은 팀 퍼포먼스를 위한 책임

Accountability for High-Quality Team Performance.


팀을 효과적으로 평가하는 두 가지 핵심이 있다. 하나는 팀 간, 그리고 전문가 의견과 바로 비교가 가능한 결과물을 만들도록 하는 것이고, 다른 하나는 그러한 비교가 적절한 시간에 충분히 자주 일어나도록 평가절차를 구성하는 것이다.

There are two keys to effectively assessing teams. One is using assignments that require teams to create a product that can be read- ily compared across teams and with “expert” opinions, and the other is using procedures to ensure that such comparisons occur frequently and in a timely manner.


요소 3: 빈번하고 즉각으로 학생에게 제공되는 피드백

Element 3: Frequent Immediate Student Feedback.


즉각적 피드백은 TBL의 매우 중요한 교육 레버(Lever)이다.

Immediate feed- back is the primary instructional lever in TBL for two very different reasons. 

  • 첫째, 피드백은 내용에 대한 학습과 학습내용 유지에 필수적이다. 
    First, feedback is essential to content learning and retention—a notion that not only makes intuitive sense but is also well documented in educational research literature (Bruning, Schraw, and Ronning, 1994; Kulik and Kulik, 1988; Hat- tie and Timperley, 2007). 
  • 둘째, 즉각적 피드백은 그룹발달에 큰 영향을 준다.
    Second, immediate feedback has tremendous impact on group development (for a review, see Birminghamand McCord, 2004).


요소 4: 학습과 팀발달을 촉진하는 과제

Element 4: Assignments That Promote Both Learning and Team Development.


팀 과제를 설계할 때 가장 중요한 점은 진정으로 상호작용을 필요로 하는 과제를 통해 개인과 팀발달을 모두 촉진해야 한다는 것이다. 과제가 '의사결정을 내리는 것(making decision)'을 강조할 때, 학생들은 서로 내용-관련 토론을 계속 주고-받으면서 그 과제를 수행한다. 반대로, 복잡하고 긴 문서를 만들어내게 하면, 학습과 팀 발달이 모두 저해되는데, 왜냐면 두 가지 이유로 팀-내 토론이 막히기 때문이다. 하나는, 토론이 매우 짧아지는데, 왜냐면 학생들이 무슨 결과물이든 빨리 내야한다는 압박을 느끼기 때문이고, 둘째는 내용-관련 이슈에 초점을 두는 대신 어떻게 서로 일을 나눠 맡을지를 생각하기 때문이다.

The most fundamental aspect of designing team assignments that promote both learning and team development is ensuring that they truly require group interaction. When assignments emphasize mak- ing decisions, most students choose to complete the task by engaging each other in a give-and-take content-related discussion. By contrast, assignments that involve producing complex output such as a lengthy document often limit both learning and team development because they typically inhibit intrateam discussions in two ways. First, discussions are likely to be much shorter because students are likely to feel an urgency to create the product that is to be graded. Second, instead of focusing on content-related issues, they are likely to center on how to divide up the work.




TBL 도입

Implementing Team-Based Learning


TBL의 효과적인 활동은 초반부터 끝까지 과목을 재설계하는 것이 필요하고, 이 재설계 과정은 학기 시작 전부터 시작되어야 한다.

Effectively using TBL typically requires redesigning a course from beginning to end, and the redesign process should begin well before the start of the school term.


수업 전

Before Class Begins.


전통적인 학부 교육은 지식 습득과 지식 적용을 과목 내에서든 과목 간에서든 분리해왔다.

Traditional education, particularly in undergrad- uate programs, has tended to separate knowledge acquisition from knowl- edge application both between and within courses.

 

TBL은 지식 습득과 지식 적용에 있어서 근본적으로 다르다. TBL에서 학생들은 지식 습드과 지식 적용의 사이클을 한 과목 내에서도 여러 차례 겪게 된다.

TBL uses a fundamentally different knowledge acquisition and knowl- edge application model. With TBL, students repeat the knowledge acquisi- tion and knowledge application cycle several times within each individual course.


"비활성 지식"의 도서관으로 채우는 대신, 학생들은 TBL 과정에서 자연스럽게 현실 문제해결을 통해 지식을 활용한다.

Rather than being filled with libraries of “inert knowledge” (Whitehead, 1929), from which they then later must extract needed information with great effort, students walk away from TBL courses having already begun the practical problem-solving process of learning to use their knowledge in context.


 

학습목표 결정

Identifying Instructional Objectives.


TBL의 설계는 "후향적 생각"이 필요하다

Designing a TBL course requires instructors to “think backward.”

 

Wiggins and McTighe는 "backward design"이라는 단어를 통해서 이러한 방식의 과목 설계를 묘사했는데, 교수자가 학생들로 하여금 declarative and procedural knowledge (다른 말로 하면, 개념적 지식과, 의사결정에 그 지식을 활용하는 것)을 모두 갖추게 해야 한다고 했다.

Wiggins and McTighe (1998) used the term backward design to describe this method of course design, which enables the instructor to build a course that provides students both declarative and procedural knowledge (in other words, con- ceptual knowledge and the ability to use that knowledge in decision mak- ing).


다음의 질문은 좋은 시작점이 된다. 이 내용을 진정으로 이해한 학생이라면 어떤 것을 할 줄 알아야 할까?

The following question is a good a good place to start. What are the students who really understand the material doing that shows you they get it?

 

이제는 교실에 대해서 생각하지 말고, 실제 상황을 상상해보라. 또한 그 상황을 상상하는데 있어서 지나치게 디테일에 집착한다고 걱정하지 말라. 이 학생이 무엇을 하고, 어떤 결정을 내리고, 어떤 순서로, 어떤 조건에서 하는지 등에 최대한 많은 디테일을 생각하라.

For now, do not think about the classroom; just imagine she is doing something in an actual organizational context. Also, do not be afraid to get too detailed as you visualize these moments. In fact, come up with as many details as you can about how this former student is doing what she is doing, what deci- sions she is making, in what sequence, under what conditions, and so on.


디테일한 시나리오는 세 가지 점에서 유용하다.

These detailed scenarios become useful in three ways.

    • 첫째, 이 시나리오에서 벌어지는 행동은 한 과목을 유닛으로 구성하는데 도움이 될 것이다.
      First, the actions taking place in the scenarios will help you organize your course into units.
    • 둘째, 이 시나리오는 수업시간을 "비활정 지식"의 축적 대신 지식의 활용을 위해 사용하게 해줄 것이다.
      Second, the scenarios will enable you to use class time to build students’ applied knowledge instead of inert knowledge.
    • 셋째, 디테일한 시나리오는 평가의 준거 설정에 도움이 될 것이다.
      Third, the details of the sce- nario will help you design the criteria for the assessments on which you can base students’ grades.

이러한 질문을 생각해보라

• What will students need to know in order to be able to do those things?

• While solving problems, what knowledge will students need to make deci- sions?

• What criteria separate a well-made decision froma poorly made decision using this knowledge?


 

In summary, TBL leverages the power of action-based instructional objectives to not only expose students to course content but also give thempractice using it



평가 시스템 설계

Designing a Grading System.


TBL의 효과적 평가 시스템은 개인의 기여와 팀의 효과적 팀과제 수행에 모두 인센티브를 줘야 하며, 그룹 결과물이 개인의 성적의 한 부분이 될 때 자연스럽게 제기되는 우려를 해소해주어야 한다. 주요 관심사는 무임승차자에 대한 것이다.

An effective grading systemfor TBL must provide incentives for individual contributions and effective work by the teams, as well as address the equity concerns that naturally arise when group work is part of an individual’s grade. The primary concern here is typically borne from past group work situations in which students were saddled with free-riding team members and have resented it ever since.

 

다행히도, 많은 우려가 점수의 상당부분이 개인의 수행능력, 팀 수행능력, 그리고 팀 성공에 개개인이 기여한 점을 기반으로 이뤄지므로 완화된다.

Fortunately, many of these concerns are alleviated by a grading system in which a significant proportion of the grade is based on individual perfor- mance, team performance, and each member’s contributions to the success of the teams.


 

첫 날

The First Day of Class.


교사는 네 가지 목표를 달성해야 한다.

During that time, the teacher must accomplish four objectives:

  • TBL을 하게 된 이유, 어떻게 진행될 것인가.
    ensure that students understand why you (the instructor) have decided to use TBL and what that means about the way the class will be conducted,
  • 그룹 구성
    form the groups,
  • 성적에 대한 학생들의 우려 해서
    alleviate stu- dents’ concerns about the grading system, and
  • 긍정즉 그룹 규범 개발을 위한 메커니즘 설정
    set up mechanisms to encourage the development of positive group norms.


학생들에게 TBL 소개하기

Introducing Students to TBL.


학생들에게 TBL에 대해서 가르칠 때는 최소한의 TBL에 대한 기본 특징을 보여줘야 하며, 어떻게 교수자와 학생의 역할에 영향을 주는지, 여기서 무엇을 배울 수 있는지를 알려줘야 한다.

Educating stu- dents about TBL requires at a minimum providing them with an overview of the basic features of TBL, how TBL affects the role of the instructor and their role as students, and why they are likely to benefit from their experi- ence in the course.


TBL에 대한 학생의 이해를 촉진하기 위해서 두 가지 활동을 제안한다.

In order to foster students’ understanding of TBL, we recommend two activities.

  • TBL의 기본 특징을 PPT등으로 보여주고, 어떻게 학습목표를 달성해나갈 것이며, 강의와는 어떻게 다른가.
    The first is to explain the basic features of TBL using overhead transparencies (or a PowerPoint presentation) and clearly spelling out how the learning objectives for the course will be accomplished through the use of TBL, compared to how the same objectives would be achieved using a lecture-discussion course format.
  • Course syllabus를 가지고 RAP를 하는 것. TBL에 대한 짧은 읽기자료,  팀발달을 돕거나 저해하는 것에 대한 설명, 유용한 피드백 주는 전략 등과 같은 자료.
    The second activity is a demonstration of a readiness assurance process using the course syllabus, a short reading on TBL, or some potentially useful ideas, such as what helps and hinders team development or strategies for giving helpful feedback (see Michaelsen and Schultheiss, 1988) as the content material to be covered.


그룹 형성

Forming the Groups.


그룹을 만들 때, 과목과 관련한 학생의 특성을 고려해야 한다. 또한 세부그룹의 등장 가능성을 고려해야 한다. 따라서 그룹 형성의 시작점은 그 수업에서 성취/실패에 영향을 줄 만한 학생들의 구체적인 특성에 대한 정보를 수집하는 것이다.
When forming groups, you must consider the course-relevant characteristics of the students and the potential for the emer- gence of subgroups. As a result, the starting point in the group formation process is to gather information about specific student characteristics that will make it easier or more difficult for a student to succeed in the class.


우리는 학생들이 있는 가운데 그룹을 만들 것을 권고하는데, 이를 통해서 그룹을 만들 때 교수자가 숨은 의도가 있었을 것이라는 우려를 해소할 수 있다. 구체적 방법은 www.teambasedlearning.org을 참고하라

We recommend forming the groups in class in the presence of the stu- dents to eliminate student concerns about ulterior motives the instructor may have had in forming groups. (For a depiction of howto formgroups quickly and effectively, see Michaelsen and Sweet, 2008, and for a more detailed explanation and video demonstration, go to www.teambasedlearning.org.)


 

성적에 대한 학생 우려 해소

Alleviating Student Concerns About Grades.


다행스럽게도, 학생들의 우려는 TBL의 기본적 두 가지 특성을 이해하면 많이 해소된다.

Fortunately, student anxiety based on previous experience with divided-up group assignments largely evaporates as students come to understand two of the essential features of TBL.

  • iRAT 점수와 동료평가가 들어가기 때문에 개인의 책임(수업 준비, 출석, 그룹 과제에 투자)이 높아진다.
    One is that two elements of the grading system create a high level of individual accountability for pre- class preparation, class attendance, and devoting time and energy to group assignments: counting individual scores on the readiness assurance tests and basing part of the grade on a peer evaluation.
  • 팀 과제는 수업 내에 진행되고 사고/토론/판단을 기반으로 한다. 따라서 한두명의 동기저하된 멤버가 전체 구성원을 어렵게 할 수는 없다.
    The other reassuring feature is that team assignments will be done in class and will be based on think- ing, discussing, and deciding, so it is highly unlikely that one or two less- motivated teammates members can put the entire group at risk.


많은 교수자들이 학생들의 우려를 직접적으로 성적시스템 커스터마이징에 학새을 참여시켜 해소하곤 한다. 학생이 가중치를 정하는데 참여하는 것이다. 교수자가 정한 한계 내에서 새롭게 구성된 팀들은 서로 협의하여 개인능력/팀능력/개인기여 등의 비율에 대한 합의에 도달할 수 있다. 이러한 합의가 도출된 이후 이후 수업에 적용한다.

Many instructors choose to alleviate student concerns about grades by directly involving students in customizing the grading system to the class. Students become involved by participating in setting grade weights (Michaelsen, Cragin, and Watson, 1981; Michaelsen, Knight, and Fink, 2004). Within limits set by the instructor, representatives of the newly formed teams negotiate with one another to reach a consensus (all of the representatives must agree) on a mutually acceptable set of weights for each of the grade components: individual performance, team performance, and each member’s contributions to the success of the team. After an agreement has been reached regarding the grade weight for each component, the stan- dard applies for all groups for the remainder of the course.


각 주요 유닛에서

Each Major Unit of Instruction.


읽기자료 배정

Assigned Readings.


Students complete the assignments and come to the next class period prepared to take a test on the assigned materials.


iRAT

Individual Test.


읽기자료의 핵심 개념 이해를 점검하기 위한 MCQ문항. 따라서 문항은 세세한 디테일이 아니라 기본적 개념에 초점을 둬야 하며, 팀 토론을 유발하기에 충분히 어려워야 한다.

The tests typically consist of multiple-choice ques- tions that enable the instructor to assess whether students have a sound understanding of the key concepts from the readings. As a result, the ques- tions should focus on foundational concepts, not picky details, and be dif- ficult enough to stimulate team discussion.


 

iRAT

Team Test.


세 번째 단계에서 학생들은 다시 문제를 푼다. IF-AT 활용

During this third phase, students retake the same test, but this time as a team, and the teams must reach agreement on the answers to each test question. They then immediately check the correctness of their decision using the intermediate feedback assessment technique (IF-AT), a self-scoring answer sheet (see Fig- ure 1.2) that provides feedback on each teamdecision.


IF-AT는 두 가지 장점

Getting real-time feedback from the IF-AT provides two key benefits to the teams.

  • 잘못된 개념을 바로잡아 둠
    First, it enables members to correct their misconceptions of the subject matter.
  • 팀의 능력 향상과 동기부여를 동시제 촉진해줌
    Second, it promotes both the ability and the motivation for teams, with no input from the instructor, to learn how to work together effec- tively.


tRAT에 IF-AT을 사용하는 것이 개념 이해와 학습팀의 응집력 향상에 가장 좋다. 이것을 사용하지 않는 것은 TBL에서 확실한 성과를 낼 수 있는 기회를 놓치는 것이다.

The impact of the IF-AT on team development is immediate, powerful, and extremely positive. In our judgment, using the IF-ATs with the tRATs is the most effective tool available for promoting both concept understanding and cohesiveness in learning teams. Anyone who does not use them will miss a sure-fire way to implement TBL successfully.

 

 


 

어필

Appeals Process.


네 번째 단계로 다시 읽기자료로 돌아와서 놓친 문제에 대한 이의를 제기하는 것이다.

At this point in the readiness assurance process, students proceed to the fourth phase, which gives themthe opportunity to refer to their assigned reading material and appeal any questions missed on the group test.


학생들은 읽기자료를 다시 공부하여(이 단계는 오픈북이다) 교수에게 팀 시험의 구체적 문항에서 자신들이 답을 선택한 이유, 문항의 질, 사전 읽기자료의 부적절성 등을 모두 어필할 수 있다.

That is, students are allowed to do a focused restudy of the assigned readings (this phase is “open book”) to challenge the teacher about their responses on specific items on the teamtest or about confusion created by either the qual- ity of the questions or inadequacies of the preclass readings.


학생은 충분한 근거를 제시해야 credit을 받을 수 있다.

The students must produce compelling evidence to convince the teacher to award credit for the answers they missed.


 

교수자 피드백

Instructor Feedback.


이 단계는 어필 단계 직후에 따라온다. 교수자가 학생들의 혼란을 해소해준다. 교수자의 인풋은 짧고, 특정 부분에 초점을 받춘 것이어야 한다.

This feedback comes immediately after the appeals process and allows the instructor to clear up any confusion students may have about any of the concepts presented in the readings. As a result, input fromthe instructor is typically limited to a brief, focused review of only the most challenging aspects of the preclass reading assignment.


RAP 단계의 요약

The Readiness Assurance Process in Summary.

 


많은 교수자들이 "그룹활동에 시간을 잃어서" 내용을 충분히 다룰 수 없다라고 우려를 표한 것과 달리 여러 보고서를 부면 강의보다 RAP를 통해서 더 많은 부분을 커버할 수 있다.

In contrast to the con- cerns many instructors express about “losing time to group work” and not being able to cover as much content, many others report being able to cover more with the readiness assurance process than they can through lectures (Knight, 2004).


교육적 힘 외에도 RAP는 TBL에서 척추와 같은 것이며, 이는 팀발달을 네 가지 방법으로 촉진하기 때문이다.

Beyond its instructional power, the readiness assurance process is the backbone of TBL because it promotes team development in four specific ways.

 

  • 첫째, 과목의 초반에 학생들이 개인/팀 수행능력에 대해서 즉각적으고 명확한 피드백을 받는다. 따라서 각 조원이 사전준비에 명확히 책임을 지게 된다.
    First, starting early in the course (usually the first few class hours), students are exposed to immediate and unambiguous feedback on both in- dividual and team performance. As a result, each member is explicitly accountable for his or her preclass preparation.
  • 둘째, 팀원은 면대면으로 토론하므로, 상호작용의 효과는 즉각적이고 개인적이다.
    Second, because team mem- bers work face-to-face, the impact of the interaction is immediate and per- sonal.
  • 셋째, 학생은 그룹의 성과에 대해서 강력한 권한과 흥미를 갖게 되며, 높은 수준의 상호작용을 하게 동기부여된다.
    Third, students have a strong vested interest in the outcome of the group and are motivated to engage in a high level of interaction.
  • 넷째, 응집력은 교수자가 정보를 제공하는 마지막 단계에서도 높아진다. 이는 강의와는 달리, 교수자의 코멘트의 내용이 학생의 선택과 RAT의 결과에 따라 결정되기 때문이다.
    Finally, cohesiveness continues to build during the final stage of the process when the instructor is presenting information. This is because unlike lectures, the content of the instructor’s comments is determined by students’ choices and actions during the readiness tests.

 

교수자의 코멘트는 긍정적 강화와 내용 교정의 두 가지 역할이 있다.

Thus, the instructor’s comments provide either

  • positive reinforcement (they celebrate together) or
  • corrective instruc- tion (which, particularly in the presence of other groups, can be experienced as embarrassing and, in this way, provide an “external threat” that builds cohesiveness within a group).


고차원적 학습의 촉진

Promoting Higher-Level Learning.


TBL의 마지막 단계는 하나 혹은 그 이상의 과제를 줘서 이해를 더 깊게 만들 수 있는 기회를 주는 것이다. 이러한 적용 과제는 학생의 책임감과 주고-받는 토론(처음에는 그룹 내에서, 이후에는 그룹 간)을 촉진해야 한다. 이 과제를 설꼐하는 것은 TBL에서 가장 어려운 부분일 수 있다.

The final stage in the TBL instruc- tional activity sequence for each unit of instruction is using one or more assignments that provide students with the opportunity to deepen their understanding by having groups use the concepts to solve a problem. These application assignments must foster both accountability and give-and-take discussion first within and then between groups. Designing these assign- ments is probably the most challenging aspect of implementing TBL.

 

효과적인 그룹 과제를 만드는 것은 4S를 따른다.

The key to creating and implementing effective group assignments isfollowing what TBL users fondly refer to as the 4 S’s:


이 4S 과정은 학생들이 과목의 개념을 접하는 모든 단계 - 개별학습, 그룹 내 토론, 전체 교실 토론 - 에 적용되어야 한다.

Furthermore, these pro- cedures apply to all three stages in which students interface with course concepts—individual work prior to group discussions, discussions within groups, and whole-class discussion between groups.


• Significant problem.

• Same problem.

• Specific choice.


인지 연구 결과를 보면, 학생들이 고차원적 사고를 해야 할 때 학습이 크게 향상된다. 학생들로 하여금 정보를 상위 수준의 인지적 복합성에 활용하게 하기 위한 교육적 격언은 "가르치는 것은 사람들로 하여금 생각하지 않고는 벗어날 수 없는 상황에 넣는 것이다"

Cognitive research shows that learning is greatly enhanced when students are required to engage in higher-level thinking (Mayer, 2002; Pintrich, 2002; Scandura, 1983). In order to challenge students to process information at higher levels of cognitive complexity, an educa- tional adage (sometimes attributed to William Sparke) is that teaching consists of causing people to go into situations from which they cannot escape except by thinking.


일반적으로 이 목표 달성을 위한 최선의 활동은 학생들이 구체적인 선택을 하게 하는 것이다. 배심원을 생각해보라. 각 배심원들에게는 복잡한 정보가 주어지고, 단순한 결정 - 무죄냐 유죄냐 - 을 내리게끔 한다. 그 결과, 거의 100%의 시간과 노력이 그 내용에 담긴 디테일을 파고드는데 사용된다. 교실에서 내용-관련 토론을 유발하는 가장 좋은 방법은 그룹으로 하여금 과목의 개념을 이용해서 아래와 같은 질문에 대답하게 하는 것이다.

In general, the best activity to accomplish this goal is to require students to make a specific choice. Think of the task of a courtroom jury: members are given complex information and asked to produce a simple decision: guilty or not guilty. As a result, nearly one hundred percent of their time and effort is spent digging into the details of their content. In the classroom, the best way to promote content-related discussion is to use assignments that require groups to use course concepts to make decisions on questions such as these: 


• Which line on this tax form would pose the greatest financial risk due to an IRS audit? Why? 

• Given a set of real data, which of the following advertising claims is least (or most) supportable? Why? 

• What is the most dangerous aspect of this bridge design? Why? 

• Given four short paragraphs, which is the best (or worst) example of an enthymeme? Why?


• Simultaneous reports.

 

순차적 답변 제시(Sequential reporting)의 문제는 최초의 답변이 강력한 힘을 가지게 되어서 그 뒤에 답을 제시하는 팀이 다수의 답에 - 설령 그게 틀렸더라도 - 맞추어 의견을 바꾸게 된다는 것이다.

The problemwith sequential reporting is that the initial response often has a powerful impact on the subsequent discussion because later- reporting teams tend to change their answer in response to what seems to be an emerging majority view—even if that majority is wrong.


이러한 현상을 'answer drift'라고 부르는데, 학습은 물론 팀 발전을 저해한다. 한 가지 이유는 이것이 질문 자체가 의미있는 토론을 유발할 가능성이 가장 높을 때에도 발생하기 때문인데, 왜냐하면 문제가 어렵거나 모호할수록 최초의 답변이 불완전하거나 심지어는 틀릴 가능성이 높아서, 이 후에 대답하는 그룹은 답이 옳고 그른지에 대해서 불확실하게 된다. 다른 이유는 answer drift는 주고-받는 토론을 저해하는데, 왜냐하면 후반에 대답하는 사람들이 초기의 답변과의 차이점을 의도적으로 축소시키기 때문이다. 마지막으로 순차적 답변은 가장 처음에 발표하는 그룹을 제외하고 다른 그룹의 책임감을 크게 저해한다.

This phenomenon, which we call answer drift, limits both learning and team development for a variety of reasons. One is that it is most likely to occur when the problems being discussed have the greatest potential for pro- ducing a meaningful discussion. That is because the more difficult or ambigu- ous the problem is, the greater the likelihood is that the initial response would be incomplete or even incorrect, and subsequent groups would be unsure about the correctness of their answer. Another is that answer drift dis- courages give-and-take discussions because later responders deliberately downplay differences between their initial answer and the one that is being discussed. Finally, sequential reporting limits accountability because the only group that is truly accountable is the one that opens the discussion.


Moreover, the more difficult the problem, the greater the potential is for disagreements that are likely to prompt give-and-take discussion, and the teams become more cohesive as they pull together in an attempt to defend their position.

 

 

 


과목이 끝나는 시기

Near the End of the Course.


학습 내용 강화

Reinforcing Content Learning.

 

TBL에서는 강의의 양 자체가 크게 적기 때문에 학생들이 불편해한다. 심지어 학생들은 TBL로 다룬 부분에 대해서 중간고사 때 TBL로 하지 않은 부분보다 점수를 더 잘 받는다는 사실을 앎에도 그러하다. 그 결과 지속적으로 - 그리고 특히 마지막에 - 교수자는 기말(최종) 시험과 RAT 문제, 적용 과제의 연결성을 명확히 해주어야 한다.

In part, this seems to result from the fact that with TBL, the volume of their lecture notes is far less than in typical courses. As a result, some students are a bit uneasy—even if they are aware that the scores from TBL sections on common midterm exams were significantly higher than scores from non-TBL sections. As a result, on an ongoing basis—and especially near the end of the course—instructors should make explicit connections between end-of-course exams and the RAT questions and application assignments.


추가적으로, 개념을 리뷰하면서 마무리지을 수도 있다.

In addition, an effective way to reassure stu- dents is devoting a class period to a concept review. In its simplest form, this involves 

(1) 핵심 개념의 리스트 제공 giving students an extensive list of the key concepts from the course, 

(2) 개인적으로 잘 모르는 내용을 찾게끔 하기 asking them to individually identify any concepts that they do not recognize, 

(3) 팀 내에서 서로 결론을 비교하기 compare their conclusions in the teams, and 

(4) 추가적 관심이 필요한 개념이 무엇인지 리뷰하게 하기 review any concepts that teams identify as needing additional attention.


팀의 가치에 대해 배우기

Learning About the Value of Teams.


TBL은 교수자가 학생에게 팀의 가치에 대한 강력한 경험적 근거를 제공할 수 있게 한다.

TBL, however, enables instructors to provide students with compelling empirical evidence of the value of teams for tackling difficult intellectual challenges.

 

각 term의 거의 마지막에 각 팀의 누적 점수를 보여주는 슬라이드를 작성하였다. 학생들은 이런 패턴을 보게 되면 매우 놀라는데, 지난 20년간 1600개의 팀에서 99.9%의 경우에 각 팀에서 가장 잘 하는 학생보다 약 11%정도로 팀 점수가 높았다. 실제로 거의 대부분의 수업에서 가장 낮은 팀점수도 가장 높은 개인 점수보다 높았다.

Near the end of each term, we create a transparency that shows cumulative scores fromthe tests for each team— the low, average, and high member score; the teamscore; and the difference between the highest member score and the team score (see Michaelsen, Knight, and Fink, 2004). Most students are stunned when they see the pattern of scores for the entire class. In the past twenty years, over 99.9 percent of the nearly sixteen hundred teams in our classes have outperformed their own best member by an average of nearly 11 percent. In fact, in the majority of classes, the lowest teamscore in the class is higher than the single best individual score in the entire class (Michaelsen, Watson, and Black, 1989).


효과적인 팀 상호작용을 인식하기

Recognizing Effective Team Interaction.


 

시간이 지나면서 팀은 각 조원의 지적능력을 활용하는 능력이 크게 향상된다. 그러나 교수자가 그룹-프로세스에 대해서 생각해보라는 지침을 명확하게 주지 않으면, 학생들은 그 기회를 놓치게 될 것이다.

Over time, teams get increas-ingly better at ferreting out and using members’ intellectual resources inmaking decisions (Watson, Michaelsen, and Sharp, 1991). However, unlessinstructors use an activity that prompts members to explicitly think aboutgroup process issues, they are likely to miss an important teaching oppor-tunity.


두 가지 방법을 생각해 보았다.

We have used two approaches for increasing students’ awareness of the relationship between group processes and group effectiveness. The aim of both approaches is to have students reflect on how and why members’ inter- action patterns have changed as their team became more cohesive.

 

  • 어떻게 시간의 변화에 따라서 팀 조원간의 상호작용이 변하였는가를 성찰해보게끔 함.
    One approach is an assignment that requires students to individually reflect on how the interactions among team members have changed over time and for- mulate a list of members’ actions that made a difference, share their lists with team members, and create a written analysis that summarizes the bar- riers to their team’s effectiveness and what was done to overcome them.
  • 팀이 어떻게 기능했는가에 대한 지속적 관찰일지를 쓰게끔 함.
    The other, and more effective, approach is the same assignment, but students prepare along the way by keeping an ongoing log of observations about how their team has functioned (see Hernandez, 2002).


스스로에 대해서 배우기: 동로평가의 역할

Learning About Themselves: The Critical Role of Peer Evaluations.


시간이 지나면서 서로의 강점과 약점을 알게 된다. 이로 인해서 서로 어떻게 생각하는지를 알기 때문에 더 잘 가르칠 수 있게 된다. 또한 대부분의 경우 팀원들은 강력한 상호관계를 형성하여 서로에게 진실된 피드백을 주어야 한다는 책임감을 갖게 되며, 이는 다른 그룹-기반 교수법에서는 거의 발생하지 않는 것이다.

Over time, members get to know each other’s strengths and weaknesses. This makes them better at teaching each other because they can make increasingly accurate assumptions about what a given teammate finds difficult and how best to explain it to that person. In addition, in the vast majority of teams, members develop such strong inter- personal relationships that they feel morally obligated to provide honest feedback to each other to an extent that rarely occurs in other group-based instructional approaches (see Chapter Two, this volume, for examples).


Encouraging the Development of Positive Team Norms.


학생이 준비할 때만이 학습은 성공적인데, 팀-폴더를 사용하는게 효과적인 피드백 방법이 될 수 있다. 이 폴더에는 각 조원의 출석/개인점수/팀점수/과제 등이 기록된다. 이렇게 점수와 출석을 기록하는 팀-폴더는 모든 조원이 다른 사람이 어떻게 하고 있는지 알게 해준다.

Learning teams will be successful only to the extent that individual members prepare for and attend class. One simple yet effective way to provide such feedback to students is the use of teamfolders. The fold- ers should contain an ongoing record of each member’s attendance, along with the individual and team scores on tests and other assignments (Michaelsen, Knight, and Fink, 2004). The act of recording the scores and attendance data in the teamfolders is particularly helpful because it ensures that every teammember knows howevery other teammember is doing.


Benefits of Team-Based Learning.


학생의 이득

Benefits for Students.


When TBL is well implemented, students can progress considerably beyond simply acquir- ing factual knowledge and achieve a depth of understanding that can come only through solving a series of problems that are too complex for even the best students to complete through their individual effort. In addi- tion, virtually every student develops a deep and abiding appreciation of the value of teams for solving difficult and complex problems. They can gain profound insights into their strengths and weaknesses as learners and as team members.

 

Compared to a traditional curriculum, faculty members in a wide vari- ety of contexts have observed that introducing TBL enables at-risk students to successfully complete and stay on track in their course work, probably because of the increased social support or peer tutoring.

 


 

관리/운영 측면의 이득

Benefits from an Administrative Perspective.


• Almost without exception, groups develop into effective self-managed learning teams. As a result, faculty and other professional staff time used for training facilitators and involved in team facilitation is minimal. 

• TBL is cost-effective since it can be successfully employed in large classes and across academic programs. 

• The kinds of assignments characteristic of TBL reduce the potential for interpersonal hostilities within teams to develop to a point where admin- istrators must deal with the personal, political, and possibly even legal aftermath.

 


 

교수의 이득

Benefits for Faculty.


Because of the student apathy that seems to be an increasingly com-mon response to traditional lecture-based instruction, even the most dedi-cated faculty tend to burn out.


• Instructors seldom have to worry about students not being in class or fail- ing to prepare for the work that he or she has planned. 

• When students are truly prepared for class, interacting with them is much more like working with colleagues than with the empty vessels who tend to show up in lecture–based courses. 

• Because instructors spend much more time listening and observing than making formal presentations, they develop many more personally reward- ing relationships with their students.




 

 






The essential elements of team-based learning

  1. Larry K. Michaelsen1 and
  2. Michael Sweet2

Article first published online: 16 DEC 2008

DOI: 10.1002/tl.330

New Directions for Teaching and Learning

New Directions for Teaching and Learning

Special Issue: Team-Based Learning: Small Group Learning's Next Big Step

Volume 2008Issue 116,pages 7–27Winter 2008


TBL 촉진의 12가지 팁(Med Teach, 2015)

Twelve tips for facilitating team-based learning

CHARLES GULLO, TAM CAM HA & SANDY COOK






TBL의 기원은 1970년대 후반 오클라호마 대학의 Larry Michaelsen 교수로 거슬러 올라간다. 이후 다양한 교육 세팅에서 활용되었다. Larry Michaelsen 교수는 경영 대학원 교육에서 활용했지만, 이제는 미국 전역에 걸쳐서, 그리고 많은 의과대학에서 사용중이다. (Duke-NUS의 사례). TBL의 이점은 매우 많으며 여러 문헌에 잘 정리되어 있다.

Team-based learning (TBL) traces its roots to Professor Larry Michaelsen at the University of Oklahoma, United States (USA) in the late 1970s. Since then, it has grown to become a popular and effective instructional strategy used in a number of different educational settings (Koles et al. 2010; Parmelee & Michaelsen 2010a; Kamei et al. 2012; Fatmi et al. 2013). Although Michaelsen implemented it in graduate business instruction, it has more recently been used as a major teaching platformby a number of different educational programs across the United States (Team-Based Learning Collaborative 2013) and in a number of medical schools (Thompson et al. in 2007a,b). 

At the Duke-NUS Graduate Medical School Singapore, we have been using this teaching methodology since 2007 as a primary mode of learning for our students during their pre-clinical instruction (Kamei et al. 2012). 

The benefits of this teaching methodology are numerous, and have been well-documented in a number of sources (Hunt et al. 2003; Zgheib et al. 2010; Sisk 2011; Fatmi et al. 2013; Hazel et al. 2013).


단순해 보이는 절차이지만 팀간 토론의 효과를 극대화 하기 위해서는 효과적인 촉진법이 필수적이다. 그러나 이것은 TBL에서 가장 어려운 부분이기도 하다.

While a seemingly simple process, the heart of creating an engaging and impactful inter-team discussion is an effective facilitation. Yet, effectively facilitating these discussions can be one of the most challenging aspects of TBL.


또한 TBL에서 팀의 참여를 위해 촉진이 필요한 부분은..이런 것들이다. 

TBL’s added challenges for inter-team engagement, 

    • 모든 학습자가 참여하고 책임을 지게 함 keeping all learners engaged and accountable, 
    • 수업 시간에 답을 이끌어냄 eliciting the answers from the class, and 
    • 교수자가 답을 주기 전에 학생의 이해와 가설 설정을 유도함 challenging learners understandings and assumptions (before revealing the faculty’s answer).


TBL에서 직접적 촉진이 일어나는 부분은 세 곳 있다. 첫 번째는 TRAT 이후(TRAT 중간에는 관여하지 않아야 한다) 이며, 여기서 교수자는 학생들의 잘못된 이해를 밝혀내고, 촉진자의 관여가 없는 상태에서 발생한 잘못된 개념을 바로잡고, 정답을 밝혀준다.

There are three places where directed facilitation occurs in TBL (Figure 1). The first place that a facilitated discussion occurs is after (and importantly not during) the teamreadiness assurance test (TRAT). This facilitated discussion requires faculty to be able to drawout the misunderstandings or resolve any misconceptions not addressed by the non-facilitated inter team TRAT discussion and reveal ‘‘correct’’ answers.


TBL에서 촉진법이 매우 중요한 역할을 하는 두 번째 부분은 application phase 이후이다.

The next place where facilitation is critical in TBL and further enhances the learning experience is after the applica- tion phase.


이 두 단계에서 촉진이 어려운 이유는 다음과 같다. 
    • 하나는 RAT과 적용 단계는 모두 assimilative learning을 유도하기 때문이며, 이는 새로운 정보를 기존에 존재하는 지식 구조에 병합하는 과정이다. 
    • 또한 transformative learning이기도 한데, 이 과정은 비판적 사고를 통해 기존의 지식 구조를 변화시키는 과정이다.

Managing the post-TRAT and application discussions between multiple teams in a classroom setting requires a very different set of skills from managing the typical learning environment to which most faculty are accustomed. One reason for this difficulty is that the RAT and the application phases of TBL encourage both assimilative learning, the process of incorporating new information into existing know- ledge structures (Seel 2012), and transformative learning, the process of altering existing knowledge structures through critical thought (Mezirow1991).






Creating the right environment


4S에 기반하여 문제를 낸다.

Ti p 1 Use the 4S’s to craft engaging questions


실제와 관련된/중요한 문제, 모든 학생이 동일한 문제, 단 하나의 선택을 내린 후 근거를 대도록, 동시에 결과를 발표하도록

Using the four S’s of application writing and development (significant problem, same problem, specific choice, and simultaneous report) can also ensure maximal participation and active engagement during the application phase (Parmelee & Michaelsen 2010b). 

    • The use of significant/authentic problems, 
    • having everyone working on the same problem, 
    • requiring them to make a single choice (and defend it), and 
    • enabling simultaneous reporting, 

is the start of creating a problem that will enable a more stimulating environment in which to facilitate.



시계를 잘 본다.

Ti p 2 Watch the clock


토론 단계에는 적어도 절반의 시간이 배정되어야 한다. RAT을 25분간 했다면, 토론은 25분간 한다. 적용 단계도 마찬가지여서 25분의 적용 연습 이후에는 25분 이상의 토론이 이어져야 한다.

Ideally, the discussion phase should be at least half the time allocated. In a 50-min class, that would be roughly 25 min for RATs (both individual and team) and 25 min for discussion. The application phases should follow the same guidelines. A 25-min application should be accompanied by a 25-min discussion phase (longer if possible).



수업 전에 촉진 단계에 대한 전략을 세운다.

Ti p 3 Strategize the process of facilitation with faculty before class


한 가지 시간 효과적 전략은 각 RAT 문제에 대해서 학생들이 문제를 푸는 동안 촉진 전략을 세우는 것이다.

One time-efficient way to implement this approach is for faculty to consider a facilitation strategy for each RAT question while students are working on the questions.


여러가지 상황이 있다. 모든 팀이 정답을 잘 맞췄을 경우 vs 모든 팀이 정답을 잘 맞췄지만 학습 포이느가 있는 경우 vs 교수자가 학생들이 과연 옳게 답을 맞춘건지 확인하고 싶은 경우 등등

For example, if all teams answer a particular question correctly, the facilitator may choose not to have an in-depth facilitated discussion as there may be no further learning points to be covered. Conversely, if all teams answer the question correctly but there are critical learning points, or faculty want to be sure the teams derived the correct answer for the right reason, such a question may benefit froma facilitated discussion.


촉진은 내용을 전달하는 것이 아니라는 것을 기억한다.

Ti p 4 Remember facilitation is NOT delivery of content


칼 로저스는 '학습의 자유'라는 책에서 교실에서 '촉진자'란 "creates the environment for engagement"이며, "the threat to the learner is reduced to a minimum"와 같은 환경을 만들어야 한다고 했다. 그는 촉진자는 개인의 전문서을 최소화시켜서 직접 가르치고자 하지 말아야 하며, 대신 학습자 스스로의 학습을 촉진해야 한다고 했다. 이것이 TBL의 핵심이다.

Carl Rogers discussed in his publication ‘‘Freedom to Learn’’ (Rogers 1969) that the facilitator in a classroom is one that ‘‘creates the environment for engagement’’ and is obligated to create an environment where ‘‘the threat to the learner is reduced to a minimum’’. He was a strong proponent of minimizing one’s expertise as much as possible when facilitating in an educational setting so as to avoid teaching a person directly, but facilitate his or her own learning. This sentiment is at the heart of TBL.



촉진을 하는 동안애는 답을 주지 말라

Ti p 5 Avoid giving away answers during facilitation phase


촉진자는 토론 중간에는 중립적인 자세를 취하고, 판단을 내리지 말아야 한다. 토론이 이뤄지는 때에 찬성이나 반대를 하는 듯한 의견을 표하는 것은 토론을 즉각 단절시킬 수 있다.

As the role of the faculty during the facilitation phase is to ‘‘facilitate’’ the learning and elicit information from the students, it is critical to remain neutral and non-judgmental with the discussion as it develops. During the learner debate phase of the discussions, any sign of approval or disapproval of a comment or response will shut down the discussion immediately.


종종 교수자는 학생이 틀린 답을 말하거나 매우 훌륭한 답을 말하면 의견을 숨기기가 쉽지 않다. 이런 것을 최소화하는 한 가지 방법은 스스로를 촉진자로서 규정하고, '내용 전문가'와는 다른 역할로서 인식하는 것이다.

It is often very difficult for a faculty member to hide their opinion when a given response is factually incorrect or when it is exceptionally brilliant. One way to minimize this might be to identify one faculty as the facilitator and a different one as the ‘‘content’’ expert.



정리 시간을 마련하라

Ti p 6 Provide time for closure


촉진자가 기억해야 할 가장 중요한 것 중하나는 마지막에 정리 시간을 가지는 것이다. 각 문제를 풀고 난 이후에 매번 정리 시간을 가지면 시간 관리가 어렵다. 그러나 학생이 훌륭한 대답을 했을 때나 잘못된 주장을 정정한 학생을 강조해 주는 것은 만족과 명료함을 더해줌과 동시에 시간이 많이 들지도 않는다. 그러나 여전히 개념적으로 어려운 내용에 대해서는 세션이 종료할 때에 공식적으로 정리해주는 것이 중요하며, 이는 학생들이 서로의 지식을 완전히 신뢰하지 못하고, 다른 전문가나 교수로부터 듣고 싶어하기 때문이다. 따라서 어려운 개념에 대해서 - 학생들이 토론중이 아니라 - 수업이 끝나갈 때 정리를 해 주는 것은 학생들이 TBL이 가치있게 느끼게 하면서 중요한 'take-home information'을 가져간다고 느끼게 해준다.

One of the most important things that a facilitator should remember to do is provide time for closure at the end of the session. Providing closure after each question makes it difficult to manage time. However, highlighting a student’s excellent response or one who corrects an argument that was inaccurate can go a long way to bring satisfaction and clarity to the learning in the classroomand is not time intensive. Yet, it is still important to bring formal closure to conceptually difficult material at the end of a session as students often do not explicitly trust each other’s knowledge-base and prefer to hear from an expert faculty member or facilitator. Thus, adding closure to difficult concepts after but not during student discussions will assist in ensuring that students feel that the TBL process was valuable and that they learned the important ‘‘take-home’’ information.




Enhancing active engagement of learners


학생들의 참여를 높이기 위한 몇 가지 권고들이 있다.

There are several general suggestions to achieve classroom engagement. 

    • First, be open and transparent about the intention and process of asking questions
    • Second, create a safe environment where students can answer incorrectly without fear of ridicule or recrimination. 
    • Third, consider using a randomization process (random team and random members within the team) to decide who to call upon. That way, students will not feel ‘‘picked’’ on.



학생들이 답을 할 때까지 기다린다.

Ti p 7 Wait for students to respond to questions


학생에게 답을 요구할 때에 촉진자는 자신이 충분하다고 생각한 것보다 더 긴 시간을 학생에게 줘야 한다. 종종 문제를 받은 이후의 침묵은 혼란 때문이 아니라 대답을 구성하기 위해 생각하는 시간이 필요해서이다. 팀 동료와 논의를 해서 그들이 그러한 답을 도출한 과정의 이유가 무엇인지 생각해내야 한다. 30초 정도의 시간을 주는 것이 필요하다. 학생들이 환경이 안전하다고 느낄 때 더 활발히 참여할 것이다. "dwell-time"은 그래서 필요하다.

Thus, when calling on students to respond, the facilitator is encouraged to give more time than he/she feels is necessary. Oftentimes, the silence following a question is not due to confusion over what was asked, but due to time they need to think about the way they wish to phrase their response. Other times, it is necessary for the student to consult his or her team mates as a reminder of why they answered something the way they did. Allowing up to 30s may be necessary and expected. If students feel that the environment is safe and tolerant, then they will engage more actively. Allowing for enough ‘‘dwell-time’’ after each student is called on should help in this regard.



중립적, 개방형 질문을 사용하라

Ti p 8 Ask neutral and open-ended questions


촉진자가 도입해야 하는 최고의 것 중 하나는 개방형 질문을 특정 학생에게 던져서 교실원들이 비판/분석/정당화/설명을 하게 해야하는 것이다. 예/아니오로 응답 가능한 질문은 추가적 토론을 불러올 수 없다.

One of the best practices a facilitator should adopt is to ask an open-ended question to a specific person in the classroomthat forces them to critique, analyze, justify, and explain their choice of answer (Silberman & Auerbach 2011). Questions that allow for a yes or no response will generally cease any further discussion.


중립적/객관적/개방형 질문은 더 많은 정보와 가치있는 반응을 이끌어낸다. 흔히 사용되는 개방형 질문은 '왜' 질문이다. 중립적의 개방형 질문은 활발한 토론을 이끌어주고, 학생들의 지식을 탐색(interrogation)하는 것을 도와준다.

Questions which are more neutral, objective, and open-ended result in more informative and valuable responses from the entire classroom. A commonly used open- ended question is the ‘‘why’’ type of question, e.g., 

      • why did you chose this, 
      • why is this the better choice over other answers, or 
      • why not this option? 

Neutral open-ended ques- tions will ensure active discussion occur and assist in the interrogation of students’ knowledge.




학생의 대답을 명료하게 다시 정리해준다(rephrase, restate).
Ti p 9 Rephrase or restate for clarity

학생들은 대답을 하는 중에 이리저리 왔다갔다 할 수 있다. 자신감 있게 시작했다가 기어들어가는 목소리로 끝내곤 한다. 학생이 했던 말을 다시 정리해서 말해줌으로서 촉진자는 학습자의 참여를 높이고 다음의 목적을 달성할 수 있다.

Students also frequently display ‘‘drift’’, a process where they start reporting in a confident and audible fashion, but end in a barely audible and less confident tone. By summarizing and restating what was said by the student, a facilitator can keep learners engaged and ensure that everyone hears and that 

      • (1) unclear information is clarified, 
      • (2) overly complex information presented is simplified, 
      • (3) incorrect information is stated (non-judgmentally) to elicit debate, and 
      • (4) principles can be repeated for best learning and retention.


촉진자가 rephrase해주는 것은 중요하지만, 정답을 은근슬쩍 '흘림'으로써 토론을 종결시키지 말아야 한다.

It is important to note that although the facilitator is repeating or rephrasing content for clarity often, during the facilitation process he or she is not ending discussion by ‘‘leaking’’ the correct answer or slipping into lecture mode and removing the students from the discussion.



교실 내 학생 전문가를 찾아라

Ti p 10 Find the ‘‘student expert’’ in the room

교실에서 학생 전문가를 찾기 어려울 수 있다. 좋은 방법 중 하나는 다음과 같은 탐색질문을 던지는 것이다.

It is often difficult to find the student expert in the classroom as students can be unsure of themselves and may not trust their colleagues either. One of the best ways to achieve this is to ask probing questions such as ‘

      • ‘What evidence supports this?’’ or 
      • ‘‘Can anyone assist us to resolve this issue?’’


학생들간의 불확실성이나 의견불일치를 해소해주라

Ti p 11 Ensure any lingering uncertainties or disagreements are addressed


학생들은 종종 자신들이 다른 팀원이 보기에 뭘 잘 모르는 것으로 비춰질까봐 걱정한다.

Students will often report what they feel pressured by the team to report to avoid looking unknowledgeable even if they do not agree with their own team’s decision. 


따라서 촉진자는 누군가 특정 의견에 대해 찬성하거나 반대하는 의견이 있는가를 확인하는 것이 중요하다. 강력한 반대의견이나 불확실성은 학습을 더욱 유발하는데, 이는 서로 동의하지 않는 상황에서 토론이 더 강렬해지고 열정적이 되기 때문이다.

It is important for facilitators to ask if there is someone in the classroom who agrees or disagrees with what was just reported and to do this often. It is those strong disagreements or uncertainties that produce the most learning as discussions tend to be more robust and passionate when people disagree.



각 학습자에게 책임을 지게 하라

Ti p 12 Hold each individual learner accountable


각 팀원이 언제든 일어나서 팀의 의견을 지지할 수 있어야 하는 환경을 만들어서 개인과 팀의 책임을 높일 수 있다. 개개인 수준에서 학생들은 준비가 되어있어야 한다고 생각할 것이며, 팀 수준에서 다른 팀원들이 확실히 의견을 대표할 수 있게 도와줄 것이다. 팀별로 발표자를 지정하는 것은 가급적 피해야 한다. 또한 학생들은 비록 개개인의 선택은 다를 수 있지만 팀의 선택을 방어하고 설명할 수 있어야 한다는 것을 지속적으로 인식해야 한다.

By creating an environment where each student knows they could be called upon at any time to respond or defend a team’s answer, you further ensure individual student and team accountability. As individuals, students will realize they must be prepared. As a team, they will try to make sure their team-mate represents the team well. It is advisable to avoid the assignment of a team spokesperson whenever possible and to remind students often that they are responsible for their team’s responses and choices. In addition, students must be remindedconstantly that although their individual choices may vary,they should be prepared to defend their team’s decisions andexplain their decision making processes to the classroom.


최대한 여러 학생들이 참여하게 한다.

It is also important to get participation from as many different individuals as possible and to avoid picking on the same vocal individuals repetitively.




촉진자는 90:10 원칙을 따른다.

A universal role of a facilitator is to observe the 90:10 rule – listen 90% of the time and talk 10% of the time (Silberman & Auerbach 2011). We consider the principle of listening more than you talk a sign of an effectively facilitated session.


TBL에서의 촉진 기술중 많은 부분은 배울 수 있지만, 어떤 부분은 "예술"의 영역이기도 하다.

Much of facilitation in the TBL classroom is a strategy and can be learned. These tips can play a role in this process. However, it is clear that there is some ‘‘art’’ to the practice of being a good facilitator. This art is hard to teach. Experience and practice is the best way to learn the ‘‘art of facilitation’’.












 2015 Sep;37(9):819-24. doi: 10.3109/0142159X.2014.1001729.

Twelve tips for facilitating team-based learning.

Author information

  • 1a Duke NUS Graduate Medical School , Singapore.

Abstract

BACKGROUND:

Team-based learning (TBL) has become a more commonly recognized and implemented pedagogical approach in curricula of numerous disciplines. The desire to place more autonomy on the student and spend less in-class time delivering content has resulted in complete or partial adoption of this style of learning in many educational settings.

AIM:

Provide faculty with tools that foster a well facilitated and interactive TBL learning environment.

METHODS:

We examined the published literature in the area of facilitation - specifically in TBL environments, and explored learning theories associated with team learning and our own experiences to create these facilitation tips.

RESULTS:

We created 12 tips for TBL facilitation designed to assist faculty to achieve an effective and engaging TBL learning environment.

CONCLUSIONS:

Applying these twelve tips while facilitating a TBL classroom session will help to ensure maximal participation and optimal learningin a safe yet stimulating environment.

PMID:
 
25665624
 
[PubMed - in process]



PBL과 TBL 중 반드시 선택을 해야 할까? 둘의 장점을 결합해보자! (Medical Teacher, 2015)

Should we choose between problem-based learning and team-based learning? No, combine the best of both worlds!

DIANA DOLMANS1, LARRY MICHAELSEN2, JEROEN VAN MERRIE¨ NBOER1 & CEES VAN DER VLEUTEN1

1School of Health Professions Education (SHE), Maastricht University, The Netherlands, 2Department of Management,

University of Central Missouri, Warrensburg, USA







Introduction

변화는 사회와 보건의료의 항구한 특성이기에, 끊임없는 교육과정의 개선은 흔한 의과대학의 풍경이다. 20세기 경영학 교육에서 처음 기원한 TBL은 지난 10년간 보건의료 교육 영역으로 들어와 빠르게 퍼지기 시작했다.

Change being a stable characteristic of society and health care, continuing curriculum renewal is a familiar process in medical schools. In fact, medical schools all over the world regularly transform or modify their curricula to offer students optimal preparation for their work in the changing world of the health professions. Team-based learning (TBL) is presented as an attractive instructional approach especially for the acquisition of teamwork skills. Originating in business education in the 20th century, in the past decade TBL has made its entrance in health sciences education where its use is spreading rapidly Haidet et al. (2012).


1960년대에 시작된 PBL은 전 세계의 의과대학에서 도입한 혁신적 교육법이었다. 교수중심 교육을 학생중심 교육으로 바꾸게 되면서 교육과정 개혁의 핵심 돌파구가 되었다. PBL은 이미 많은 의과대학에서 활용되고 있으며 TBL은 교수법으로서 입지를 구축하고 있다.

Developed in medical education in the late 1960s, problem-based learning (PBL) was heralded as an innovative educational approach and adopted by medical schools all over the world. As a student-centered as opposed to a teacher-centered approach, it was a major breakthrough in curriculum reform (Frenk et al. 2010), and many medical schools embraced it as an alternative to the then dominant discipline-based, teacher-centered approach, characterized by content that was less relevant to practice, a strong emphasis on one directional transmission of knowledge and not enough emphasis on clinical reasoning and problem solving. PBL is used in many schools today, and TBL is strongly advocated as an instructional approach that is eminently suitable to prepare students for effective collaboration (Frenk et al. 2010).


PBL과 TBL의 공존은 몇 가지 질문을 던진다. 

The co-existence of PBL and TBL in medical education raises several questions: 

  • What exactly are the differences and similarities? Is TBL the new breakthrough in education? 
  • What can we learn from these two instructional approaches? 
  • And, even more importantly: how do both approaches fit with current instructional design principles? Are there benefits to be gained from combining these approaches’ unique strengths? 


PBL과 TBL의 많은 변형이 있기 때문에, 최고의 교육적 효과를 내기 위하여 두 가지를 합하는 것이 가능할 것인가를 점검하기에 앞서서 각각의 특징을 알아보고자 한다.

Since there are many variants of PBL and PBL is understood and practiced differently in many institutions (Taylor & Miflin 2008), it seems logical to first describe our main characteristics before moving on to an examination of the possibilities for combining elements of PBL and TBL to maximize their joint educational powers (Table 1).







PBL의 주요 특징 

The main characteristics of PBL

주요 특징은 다음과 같다. 

PBL is a student-centered approach in which problems are the stimulus for learning. It is characterized by: 

  • (1) learning through problems
  • (2) small group sessions
  • (3) group learning facilitated by a teacher, and 
  • (4) learning through self-study (Barrows & Tamblyn 1980; Barrows 1996; Hmelo-Silver 2004). 

모든 학생이 직무와 관련된 동일한 문제를 놓고 토론함. 한 명의 교사가 촉진자 역할을 함. 문제를 논의하는 동안 더 공부할 이슈를 만들어냄. 개별학슴동안 모든 학생이 동일한 주제로 공부함. 개별학습 다음에 다시 모여서 개별학습에서 공부한 내용을 논의하고 서로 합함. 학생들은 무작위로 배정되고 6~10주동안 같은 조로 유지됨. 주당 2회, 2시간 정도 만남. 6~10주가 지나면 그룹은 다시 구성됨. 강의는 제한됨. 강의는 개별 학습 이후나 최종 토론 이후에 배치됨.

The problems are professionally relevant and discussed in small groups in which all students work simultaneously on the same problem. One teacher facilitates each group. During the initial discussion of the problem in the group, students generate issues that need further self-study. All group members study the same set of learning issues during individual self-study. After self-study the group reconvenes to discuss the findings from self-study and synthesize what they have learnt. Students are randomly assigned to these groups (six to ten students per group) and usually stay together for a period of six to ten weeks during which they meet twice a week during two-hour sessions. After six to ten weeks the groups are reformed. A limited number of lectures are scheduled. These lectures are scheduled after individual self-study and after the final discussion in the group.


사전에 논의된 문제를 토론하면서, 기존에 가진 지식을 활성화시키고, 자신의 지식과 문제 사이의 간극을 확인하고, 이 간극에 대한 자율학습을 한다. 자율학습과 최종 토론을 하는 동안 새로운 내용에 노출된다. 최종토론을 하면서 학생들은 다른 구성원이 공부해 온 내용을 접하면서 불확실했거나 자신이 아느느 것과 반대되는 내용을 확인한다. 교사는 촉진자의 역할을 하면서 핵심적 질문을 통해 토론을 장려한다. 타당한 추론을 하고, 인지적 불일치를 건설적으로 토론하고, 새로운 지식을 자신의 언어로 표현하고, 새로운 지식을 적용하고, 질문을 통해 문제를 해결하는 통찰을 얻는다.

By discussing a pre-set problem students activate their prior knowledge, identify gaps in their knowledge vis-à-vis the problem and use these gaps to generate issues for self-study. During self-study students are exposed to new content and during the final discussion after self-study. During the final discussion, students listen and explain to other group members what they have learnt, discuss issues that were unclear or contradictory and apply their knowledge to the pre-set problem. The teacher plays an important role as facilitator by encouraging students to ask critical questions, engage in sound reasoning, constructively discuss cognitive disagreements, explain new knowledge in their own words and apply new knowledge and insights to solve the problem in question.



TBL의 주요 특징

The main characteristics of TBL

TBL은 학습자 중심, 교수 지도의 교수법으로서, 모든 교실의 학생들이 5~7명의 소그룹으로 나누어 현실적 문제를 해결하게 된다. 한 명의 교사가 모든 팀의 촉진자 역할을 하며(20개 이상의 팀일 때도 있음), 그룹 세션이 있기 전에 학생들은 의무적으로 읽기과제를 하고 MCQ를 통해서 자신의 지식을 점검한다. 

TBL is a learner-centered, teacher-directed instructional approach for entire classes of students who are divided into small teams of between five and seven students to solve authentic problems (Michaelsen et al. 2008; Parmelee & Michaelsen 2010; Parmelee et al. 2012). One teacher facilitates various small teams, 20 or even more. Before group sessions students have to complete a mandatory reading assignment and their individual knowledge of the materials is assessed in a multiple-choice test. 


팀 단위에서 학생들은 개개인의 정답을 다른 팀원들의 답과 비교하면서 즉각적 피드백을 받는다. 이후 교사는 학생들이 어려워한 시험에서 나온 개념을 설명해준다. 학생들은 같은 팀 내에서 직무과 관련된, 보다 복잡하고 어려운 문제를 논의하며 동시에 자신들의 토론 결과를 다른 팀에 밝히게 된다. 교사는 전체토의 시간에 서로 다른 팀들이 서로 다른 답을 가지고 토론하는 과정에서 촉진다 역할을 한다. TBL에서 팀 내의 토론은 자율이나 팀 간 토론은 교사가 촉진자 역할을 한다. 팀 내에서 학생들은 서로 피드백을 주고받는다. TBL의 주요 특징은 다음과 같다.

In the teams, students discuss their individual answers to the exact same test items with each other to reach team consensus and receive immediate feedback on the team answers. Thereafter the teacher clarifies the concepts related to the test questions that students struggled with. Students then work in the same teams to resolve professionally relevant, challenging and complex problems and simultaneously reveal the solution or decision they have reached to the other teams in the class. The teacher facilitates the discussion in which the different teams challenge the decisions of other teams and defend their own decision in a plenary session. In TBL, the teams are self-managed but, the inter-team discussions are facilitated by one teacher. Within the teams, students exchange feedback on their performance in the group (Haidet et al. 2012). The main characteristics of TBL are: 

  • (1) professionally relevant problems, 
  • (2) small self-managed teams, 
  • (3) mandatory pre-class preparation by students, 
  • (4) an individual and a team test to determine students’ readiness for dealing with complex decision-based professionally relevant problems, and 
  • (5) working on problems in teams (Parmelee et al. 2012). 
  • Peer evaluation and feedback is another important characteristic (Haidet et al. 2012). Students are purposefully assigned to teams using a stratified random sampling process.



Similarities between PBL and TBL

두 가지 중요한 특성을 공유한다.

As learner-centered instructional approaches based on constructivist learning theory, PBL and TBL share two important characteristics: 

  • (1) learning around professionally relevant problems and 
  • (2) learning in small groups or teams. 


교육의 다섯 가지 원칙에 부합한다.

Both instructional approaches fit well with the first five principles of instruction of many current instructional approaches as defined by Merrill (2012): 

  • 학습의 촉진에 대한 원칙 learning is promoted when (1) learners are engaged in whole or real-world problems; (2) existing knowledge is activated; 
  • 학습한 내용의 활용에 대한 원칙 (3) new learning is applied and (4) integrated or transferred. In both PBL and TBL students are encouraged during group work to apply their new knowledge to problems and to integrate or transfer their new knowledge by reporting it to peers in their own words. 
  • 시범사례 제시의 원칙 Furthermore, learning is promoted when (5) new knowledge is demonstrated to learners, e.g. by providing worked-out or modeling examples (Merrill, 2012). 


비록 demonstration이 PBL이나 TBL의 주요 원칙은 아니지만, 완전히 배제되는 것도 아니다. 따라서 PBL과 TBL은 Merrill이 정의한 교육의 다섯 원칙에 부합한다

Although demonstration is not a primary instructional principle in PBL and TBL as opposed to many teacher-centered instructional approaches, demonstration, e.g. in terms of lectures, is not fully neglected in both curricula. So both PBL and TBL fit well with current first principles of instructional design as defined by Merrill (2012). Despite these similarities there are differences as well (Table 2).






PBL과 TBL의 차이

Differences between PBL and TBL


촉진자 역할을 하는 교수의 수와 진행법

A first major difference is that in TBL one teacher runs various groups simultaneously (even twenty teams or more with hundred students), while in PBL there is one teacher for each group. So in PBL a teacher is physically present for each group discussion, whereas the teacher is not physically present for each team discussion. Students in PBL work in groups in different small rooms, whereas TBL teams work simultaneously in the same large room in small teams.


사전시험(iRAT, tRAT). 새로운 내용에 대해 노출되는 시점

Another difference relates to the way students attain the knowledge and insight to address the problem they are working on. TBL students are given a mandatory pre-class reading assignment while PBL students are given no preparatory reading assignment. Exposure to new content in PBL takes place after initial group discussion, mainly during self-study but also during the final group discussion. Exposure to new content in TBL takes place before team discussion.


TBL에서는 토론 전에 사전 지식을 점검함

PBL students start with an initial discussion in which they activate their prior knowledge in the group. TBL students fill out a test individually and as a group to check whether they understand the pre-assigned reading materials; so prior knowledge is checked prior to the small group discussion.


학습 문제를 누가 정해주는가

Furthermore, where PBL students identify their own issues for self-study after the initial group discussion, in TBL it is the teacher who decides based on the nature of the application problems he or she will be requiring students to solve and the conclusion of the instructional units. Further, based on the test results, the instructor decides which issues need further explanation before students work in small teams to tackle the application problems.


피드백을 받는 시점과 원리

Feedback (both confirmatory and corrective) to the students is given by peers within the group or team in both PBL and TBL. Furthermore, in both PBL and TBL the teacher gives corrective feedback to students when needed. However, in TBL students receive immediate feedback (confirmatory and corrective) from: 

  • (1) fellow team members while reaching consensus during the team discussion, 
  • (2) on the correctness of each team decision on the team test (via an scratch-off answer sheet), and 
  • (3) from members of other teams during inter-team discussions of the application problems. 

Testing and inter-group discussion are not part of regular PBL tutorials.


동료평가

Peer evaluation and peer feedback are another difference between the approaches. Although peer feedback is also implemented in PBL in some schools, peer feedback is a structural component of TBL, with each team member having to give feedback to each of the other team members on their contributions to group learning. We will elaborate on this difference in the next section.


추론을 유도하는 기전

Learning in both PBL and TBL centers on reasoning around problems relevant to future professional practice. However, in TBL the mechanism through which the reasoning occurs is by requiring students to make questions and defend decisions to questions. TBL teams simultaneously reveal their answers in a plenary session and the teams discuss the decisions of the other teams and defend their own decision, facilitated by a teacher (Parmelee et al., 2012). Thus, students in TBL work on problems with associated questions, whereas students in PBL work on problems with no specified questions. Students in PBL discuss problems and generate their own issues or questions that need further self-study; so questions are not given.


In summary, the overall similarities between PBL and TBL relate to the use of professionally relevant problems and small group learning that both fit well with current instructional design principles, while the main difference relates to one teacher facilitating interactions between multiple self-managed teams in TBL, whereas each small group in PBL is facilitated by one teacher. Further differences are related to mandatory pre-reading assignments in TBL, testing of prior knowledge in TBL and activating prior knowledge in PBL, teacher-initiated clarifying of concepts that students struggled with in TBL versus students-generated issues that need further study in PBL, inter-team discussions in TBL and structured feedback and problems with related questions in TBL.



PBL과 TBL의 강점

Strengths of PBL and TBL


다양한 강점을 공유한다. 그럼 서로의 장점으로부터 배울 점은 무엇일까?

PBL and TBL share various strong points. They both emphasize the importance of learning around professionally relevant problems in small groups. Both instructional approaches fit well with the five first principles of instruction of many current instructional approaches as defined by Merrill (2012) and explained above. The question is can PBL and TBL benefit from each other’s unique strengths and, if the answer is affirmative, how do we achieve this?



어떤 점을 서로 제공해야 할 것인가?

What do the two approaches have to offer each other?

In addition to shared strengths, TBL and PBL have unique strengths. What can the two approaches offer each other or, to put it differently, how can PBL and TBL achieve mutual benefit by sharing strong points? How can the two approaches be combined?


PBL이 TBL로부터 배울 점은? 

How can PBL profit from TBL?

An important characteristic of TBL that might transfer to PBL is structured peer evaluation and feedback. In TBL, team members conduct mutual peer evaluation of their contributions to the success of the group and their own learning (Parmelee et al. 2012). 

Peer feedback의 긍정적 측면 

      • Peer feedback has been shown to have positive effects on students’ contributions to the team and on students’ commitment to group work (Kamp et al. 2013). 
      • Also, it enhances awareness of desired behaviors in the group and positive social interdependence, and it increases intrinsic motivation, mutual support and collaboration among group members (Hattie & Timperley 2007; Johnson et al. 2007). 
      • Borges et al. (2012) showed that, combined with peer feedback during a traditional clerkship, TBL enhanced students’ awareness of their own emotions and recognition of the emotions of others, thereby promoting empathy. 
      • Peer feedback is also a helpful strategy for promoting individual member accountability. 


In short, peer feedback is a unique strength of TBL that could prove beneficial to PBL curricula in which peer feedback is not yet implemented as a routine and structured activity.



학습목표에 대한 전체토론 도입

Another aspect of TBL that could be used in PBL is that the initial small group discussions could take place in a large class setting with one facilitator instead of a facilitator for each small group. The small groups discuss a professionally relevant problem and generate issues that need further self-study. The leader of each small group lists the learning issues generated and brings it to the teacher. Thereafter the teams report their learning issues in a plenary session. The teacher subsequently moderates a discussion in which teams challenge the choices of other teams and defend their own choices. In the end students have a list of learning issues for self-study. 


장점

An advantage of this approach is that one teacher is needed for the discussion preceding the generation of learning issues. Another advantage is that the prior-knowledge base is expanded to an entire class consisting of several small teams and that inter-team discussions are facilitated.



TBL이 PBL로부터 배울 점은? 

How can TBL profit from PBL?

An important characteristic of PBL which may be of benefit to TBL is the small group discussion before self-study in which students activate their prior knowledge, a strategy that has been shown to have positive cognitive effects on learning (Dolmans & Schmidt 2006; Van Blankenstein et al. 2011). In other words, although TBL does encourage the activation of prior knowledge by means of pre-reading assignments and does test students’ prior knowledge by asking students to answer test items, either individually or in the team, TBL could benefit from encouraging students to activate their prior knowledge by actively contributing to the group discussion before pre-reading assignments.


Another characteristic of PBL that might be of benefit to TBL is encouragement of self-directed learning. In PBL, during small group discussions, students are encouraged to generate their own questions or learning issues for self-study, which they report on and discuss in the subsequent group discussion. In other words, students plan and monitor their own learning. Encouraging students to generate their own learning issues is assumed to have positive effects from a motivational perspective and on top of that may enhance the development of lifelong learning skills. So, TBL can encourage students to generate learning issues by themselves.


The proposed exchange of characteristics between PBL and TBL as discussed is summarized in Table 3.





Conclusions and discussion

하이브리드 접근법이 가능할 수 있다.

(...)


몇 가지 추가 논의점

Some issues call for further discussion. 

  • TBL은 경제적이고 자원이 많이 들지 않는다는 방식이라는 의견이 있다. PBL은 튜터가 더 많이 필요하다. 그러나 정말 TBL이 비용이 덜 드는가?
    Firstly, TBL is often claimed to be an economical or resource friendly instructional approach because one instructor can oversee the work of and ensure timely feedback to as many as twenty or more teams (Hrynchak & Batty 2012; Parmelee et al. 2012). In times of resource shortages and increasing student numbers, this claim may have been instrumental in the breakthrough of TBL. PBL requires sufficient numbers of well-prepared tutors; one for each group which requires a lot of resources (Taylor & Miflin 2008). But is TBL really less expensive than PBL? Further research will have to bring clarity on this issue.
  • PBL에 TBL의 특성을 적용하는 것이 정말 가능할까? 한 명의 교수자가 동시에 여러 PBL 그룹을 운영할 수 있을까? 어느 정도까지 줄일 수 있을까? 학생선생님은 가능할까? 
    A second discussion point is the transferability to PBL of the TBL characteristic of one teacher for many small groups. Can one teacher run various PBL groups simultaneously? In other words, can a group or team work well without a teacher? This would mean losing the advantage of having a teacher available to give just-in-time information or feedback during the group discussion. However, it may be worthwhile to consider the possibility of one teacher running groups simultaneously, once students have become familiar with the PBL approach; this would mean alternate group sessions with and without a teacher as described above. Further research will have to evaluate the impact of this way of reducing teacher support in PBL. Another way of cutting back on teacher support may be to employ student teachers. Although preferably practicing physicians are involved as teachers since they know what is relevant to learn (Dolmans et al. 2013), selected and motivated senior students trained to facilitate small groups can be as effective as teachers (De Rijdt et al. 2012). The question is whether senior students will be much cheaper than experienced teachers, in view of the considerable expenses for ongoing selection and training.
  • 강의, 토론, 자습, 기타 활동의 적당한 수준이 어느정도인가? TBL에 비해서 PBL에 얼마나 교수의 지원이 필요한가?
    Thirdly, there is little clarity regarding the differential amounts of time devoted to lecturing, group discussion, self-study and other activities in PBL and TBL. Also, how much teacher support is given in PBL versus TBL? To what extent are students encouraged to self-direct their learning in PBL versus TBL? These issues deserve further exploration.
  • PBL에 적합한 문제와 TBL에 적합한 문제가 서로 다를 것인가?
    A fourth issue that needs further research is whether PBL and TBL differ in terms of problems that are used. Both approaches emphasize the importance of reasoning around problems. In TBL problems are associated with questions, in PBL there are no specified questions? But how do both approaches differ in terms of developing critical thinking and decision-making?
  • TBL이 과연 돌파구가 될 수 있을 것인가? (특히 팀워크능력의 개발 측면에서)
    The fifth issue to be discussed is whether TBL will be the next breakthrough in health care education. Developing students’ team work skills is crucial for the health care system and will become increasingly urgent as health care is facing an increase in problems of increasing complexity requiring multi-disciplinary team work. So the urgency of paying more attention to the development of teamwork skills in curricula and educational research is undeniable; both PBL and TBL can equip students with these skills.
  • PBL과 TBL중 선택해야 한다면 어떤 것을 골라야 할까? 정말 골라야 하는 것은 맞을까?
    Finally, we are faced with the choice between PBL and TBL. Which should we choose? Should we choose? In this paper, we have tried to argue that it is neither necessary nor desirable to make this choice. It may be more profitable to optimize student learning if we look for ways to combine the best of both worlds: PBL with structured peer feedback, PBL with study teams, TBL with initial group discussion before pre-reading assignment or testing or TBL with students generating their own learning issues. Choose an instructional approach that fits well with current design principles, such as the five first principles of Merrill (2012) emphasizing the importance of learning around problems, activation of prior knowledge, demonstration of new knowledge, and application and integration of knowledge. Ensure variability in problems to be discussed, order problems from simple to complex and gradually reduce teacher support (Van Merriënboer & Kirschner 2013). Start with TBL, thereafter alternate TBL and PBL to decrease teacher support, and subsequently use PBL. Start with explanation problems and gradually add decision or strategic problems. Start with paper problems; thereafter use real patient problems so as to augment the fidelity of problems. There is a range of options to include real patient problems both in the pre-clinical and clinical phase (Harden et al. 2000; Diemers et al. 2008). Combine the strengths of PBL and TBL. In sum, think win-win when designing curricula in order to optimize student learning and use varied instructional approaches that fit well with current instructional design principles.









 2015 Apr;37(4):354-9. doi: 10.3109/0142159X.2014.948828. Epub 2014 Aug 26.

Should we choose between problem-based learning and team-based learning? No, combine the best of both worlds!

Author information

  • 1School of Health Professions Education (SHE), Maastricht University , The Netherlands .

Abstract

Abstract Background: To meet changes in society and health care, medical curricula require continuous improvement. A relatively new development in medical education is team-based learning (TBL). In the previous century, problem-based learning (PBL) emerged as an exciting new method.

AIMS:

What are the similarities and differences between PBL and TBL? How do both approaches fit with current design principles? How might PBL and TBL benefit from each other's unique strengths?

METHODS:

Analysis of the literature.

RESULTS:

The overall similarities between PBL and TBL relate to the use of professionally relevant problems and small group learning, both fitting well with current instructional design principles. The main difference is that one teacher in TBL can run twenty or even more study teams, whereas in PBL each small group is run by one teacher.

CONCLUSION:

In this paper we advocate for a joining of forces. By combining elements of PBL and TBL, we could create varied instructional approaches that are in keeping with current instructional design principles, thereby combining the best of both worlds to optimize student learning.

PMID:
 
25154342
 
[PubMed - in process]


TBL: 실용 가이드 (AMEE Guide No. 65)

Team-based learning: A practical guide: AMEE Guide No. 65

DEAN PARMELEE1, LARRY K. MICHAELSEN2, SANDY COOK3 & PATRICIA D. HUDES1

1Wright State University, USA, 2University of Central Missouri, USA, 3Duke-NUS Graduate Medical School, Singapore









Introduction


What is team-based learning?

다양한 규모에서 활용가능하다.

Team-based learning™ (TBL) is an active learning and small group instructional strategy that provides students with opportunities to apply conceptual knowledge through a sequence of activities that includes individual work, teamwork and immediate feedback. It is used with large classes (>100 students) or smaller ones (<25 students), incorporating multiple small groups of 5–7 students each, in a single classroom. TBL is specifically characterized by three key components:


다음과 같은 특징이 있다.

  • 학생이 미리 준비를 해와서 individual advance student preparation;
  • iRAT과 tRAT을 수행하고 individual and team readiness assurance tests (tRATs); and
  • 대부분의 수업시간은 팀 단위의 의사결정 기반 적용과제에 할애된다. the majority of in-class time devoted to decision-based application assignments done in teams.


학습자 중심, 동료평가, 즉각적 피드백, 학습에 대한 팀 단위 책임이 강조됨. 한 명의 내용전문가가 20개 이상의 팀을 운영할 수도 있음.

TBL is highly learner-centered (yet has critical faculty input) and uses grading, peer evaluation and immediate feedback to ensure individual and team accountability to promote learning and, unlike other group-based instructional approaches, one content-expert instructor can instruct 20 or more teams.



여러 국가와 분야에서 활용중

TBL is used in over 60 US and international health science professional schools, including medicine, dentistry, veterinary medicine, nursing, and allied health disciplines, at several levels of training: undergraduate, postgraduate, and continuing professional education.



제대로 활용되기만 하면 학업적 성과에 대해서는 이견이 없음.

When TBL is conducted correctly, there is little question that academic outcomes are equivalent or improved in comparison to either lecture-based formats or more traditional small group learning models (McKiernan 2003; Levine et al. 2004; Koles et al. 2005, 2010; Shellenberger et al. 2009; Zgheib et al. 2010; Thomas & Bowen 2011).



다른 그룹학습과 달리 잘 하는 학생이 고통받지 않는다(혼자 다 해야하거나, 점수를 깎이거나). 모든 사람이 그 과정에 대한 책임이 있으며, 개개인이 팀에 대해 기여하는 바가 있다. 팀이 잘 협동할수록 팀과 개인의 점수가 올라간다. 팀 내에서 동료간 학습이 이뤄진다.

Unlike typical group learning, the high performers do not suffer – by either having to do all the work or poor performers dragging their scores down. The process holds everyone accountable for their own individual work and the individual's contribution to their team. The better a team works together, the better their team and individual scores. Extensive peer teaching occurs within each team.


팀 단위 점수가 잘 못하는 학생이 누구인지 가려버리는 현상을 걱정하지만, 실제로는 TBL이 개개인의 약점에 대해 더 많은 정보를 제공하고 팀 구성원과 교수가 총괄평가 이전에 그 부족한 부분에 더 많은 도움을 줄 수 있다. 또한 개인의 역량이 과소평가되지 않는다. 투명하고 명백한 절차를 밟으며, 최종 성적은 개인과 팀의 수행능력이 합해져서 나온다.

Faculty may fear that the team scores mask the underperforming student. In reality, TBL provides more data, earlier, about an individual's weaknesses and permits team members and faculty to provide help long before a summative exam. In addition, it is not as though individual performance is mitigated – it is transparent and visible – and the final grade for a student is derived from both the individual's and the team's performance.


Why the need for this Guide?

The use of TBL in health professions education is rapidly growing for at least four key reasons: 

  • 대학 집행부의 요구 One is that administrators are pushing for classes to be larger (more revenue) but want them to be taught in ways that are active, engaging, and promote positive learning outcomes.
  • 인증기관의 요구 Two other reasons are that accrediting bodies are also requiring documentation that schools are: (a) employing “active learning” (Liaison Committee on Medical Education 2011) and (b) equipping students with the skills they will need to work in team-oriented environments (Interprofessional Education Collaborative Expert Panel 2011).
  • 학생들은 점차 수업에 잘 들어오지 않는데, 동시에 그들이 주는 메시지는 대단히 혼란스러워서 "우리에게 시험에 무슨 문제가 나올지 하나하나 가르쳐주세요"라고 하면서 동시에 "우리는 온라인으로 배울 수 있으니 강의를 가지고 우리를 귀찮게 하지 마세요. 교수님이 우리를 잘 이끌어서 생각하고 문제해결하는 능력을 키울 수 있게 해주세요"
    Finally, faculty are frustrated that fewer and fewer students attend their lectures (especially in programs where the lectures are recorded) and students give “mixed messages” about how they want to learn: “spoon feed us with detailed lectures and notes for what is on the exams” and/or “don’t bother to lecture to us what we can learn online – bring us to class when you can guide and challenge us to think and solve problems.”


What is the purpose of this Guide?



How was TBL developed?

Michaelsen when a professor of Business at the University of Oklahoma, developed the TBL strategy in response to increasing class sizes and his discomfort with lecturing and not knowing if, what, or how his students were thinking during his presentations. In addition, he feared that if students did not have regular opportunities in class to struggle with the kinds of problems they would face in the business world, the classes would be a waste of time.


How has TBL evolved?

  • During the 1990s, in the USA, TBL became known and practiced in undergraduate (college-level) business schools and within other disciples in undergraduate settings. 
  • In 2001, the US Department of Education Fund for the Improvement of Postsecondary Education provided funding to the Baylor Medical College in Texas to promote TBL in health professions education through faculty development workshops, symposia and the scholarship of teaching and learning. This grant spawned the adoption of TBL at many US and international medical, nursing, veterinary, dentistry, and allied health schools over the next several years, though the amount of its use at each institution varies considerably (Thompson et al. 2007a, b). The grant also supported the creation of the TBL Collaborative – a broad-based, mostly higher education, consortium that has a resource-rich website (www.teambasedlearning.org), sponsors an annual meeting with international attendance, qualifies faculty members to conduct workshops in TBL, and promotes scholarship on its efficacy, best-practices, and innovations.


필수요소 What are the essential components of TBL?



학습자의 경험은? 

Part 1: What does the learner experience?

TBL의 각 단계는 '전향적 사고'를 하게 하는데, 학생들은 '현재'를 넘어서서 '그 다음은 무엇일까?'를 생각하는 능력 - 전향적 사고 - 를 기르게 된다.

TBL's sequence of steps is Forward Thinking; guiding students into thinking progressively and gaining the ability to look beyond the “now” and constantly asking, “what's next?”


TBL sequences the learning process for the students through the following steps, as visualized in Figure 1.





Students’ perspective

TBL recurring steps

Step 1 – Advance assignment

Out-of-class/individual. Students receive a list of learning activities, accompanied by a set of learning goals. Students study materials in preparation for the TBL session. Learning activities may include readings, videos, labs, tutorials, lectures, etc.


Step 2 – Individual readiness assurance test

In-class/individual. Each individual student completes a set (10–20) of multiple-choice questions (MCQs) that focus on the concepts they need to master in order to be able to solve the Team Application (tAPP) problems.


Step 3 – Team readiness assurance test

In-class/team. This is the same set of questions that each student has answered individually! But, now the team must answer them through a consensus-building discussion. There must be a mechanism so that the team knows as-immediately-as-possible whether or not they have selected the correct answers because they need this immediate feedback to help them improve their decision-making process.


Step 4 – Instructor clarification review

In-class/instructor. Students are given clarification from the instructor on the concepts they have been struggling with during the tRAT. At the end of the Clarification Review, students should feel confident that they are adequately prepared to solve more complex problems for the next TBL step: the Team Application.


Step 5 – tAPP – Team application (가장 중요한 단계)

In-class/team. This is the most important step! Students, in teams, are presented with a scenario/vignette that is similar to the type of problem that they will be grappling with in their careers. They are challenged to make interpretations, calculations, predictions, analyses, synthesis of given information and make a specific choice from a range of options, post their choice when other teams post theirs, then explain or defend their choice to the class if asked to do so.


The tAPP's structure follows the 4 S's principles:


        • Significant problem. Students solve problems that are as realistic as possible. Problems must authentically represent the type of problem that the students are about to face in the workplace or are foundational to the next level of study. The answers must not be able to be found in any source (internet, textbook), but can only be discerned through in-depth discussion, debate, dialogue within a team.
        • Same problem. Every team works on the same problem at the same time. Ideally, different teams will select different options for answers.
        • Specific choice. 절대로 학생들에게 긴 문서를 만들어내도록 시켜서는 안된다. 다른 팀도 쉽게 이해할 수 있도록 팀의 결정사항을 제시해야 한다. Each team must make a specific choice through their intra-team discussion. They should never be asked to produce a lengthy document. Teams should be able to display their choice easily so that all teams can see it.
        • Simultaneous report. When it is time for teams to display their specific choices to a particular question, they do so at the same time. This way, everyone gets immediate feedback on where they might stand in the posting and they are then accountable to explain and defend their decision.


Step 6 – Appeal

Out-of-class/team. A team may request that the instructor consider an alternative answer to the one designated as “best.” 문제의 기술 방식을 달리 할 수도 있고, '최선의' 답가지와 비교하여 왜 자신들의 선택도 마찬가지로 최선이 될 수 있는가를 주장할 수 있다. Appeal을 한 팀 단위로 점수를 받는다. The team must either provide a clear and usable re-write of the question if they think it was poorly worded, or a rationale with references as to why their choice was as good as the “best” chosen by the instructor. Only a team that takes the steps to write an Appeal is eligible to receive credit for a particular question.


TBL non-recurring steps

Orientation

Out-of-class/in-class/individual/team. Students read a brief article about TBL, out-of-class, in preparation for the orientation session, or the course syllabus as the first Advance Assignment. In-class, students take an individual readiness assurance test (iRAT) individually, followed by a tRAT in teams and then the tAPP that covers the essential principles of TBL. The instructor clarifies TBL concepts, including how TBL is different from students’ previous learning group experiences.


Peer evaluation

Out-of-class/individual. Each student must evaluate each of his/her teammates on their contributions to the team's success and their own learning. It is best if there is both a quantitative and a qualitative component in which they get practice with framing constructive feedback to one another. It should be done anonymously, but team members are encouraged to speak directly to one another in providing feedback.





Part 2: What does the instructor have to do?

The instructor must create a TBL module in the reverse order, using a process called Backward Design (Wiggins & McTight 1998): a three-stage design process that delays the planning of teaching and learning activities until clear and meaningful learning goals have been defined and feedback and assessment activities designed (Figure 2).





Instructor's perspective

TBL recurring steps

Step 1 – Situational factors and learning goals

학생의 사전 지식을 파악한다. 구체적이고 의미있는 학습목표를 작성한다. "이 세션이 끝나고 학생이 무엇을 할 수 있기를 바라는가?" 

Identify important Situational Factors, e.g., students’ prior knowledge. Then, write clear, specific and meaningful Learning Goals that answer the question “What do I want my students to be able to do at the end of the session that they could not do before?” Be specific with exactly how well you want them to master this – use action verbs such as identify, list, explain, calculate, compare, analyze, etc.


Step 2 – tAPP – Team application

After you have established learning goals for your TBL session, you need to create or find a problem case or scenario that is authentic and believable, the kind of brief story that your learners can relate to and know that this is the sort of situation that they will soon encounter in their profession.


이러한 사례를 찾다보면 해석이 필요한 다양한 중요한 정보가 같이 딸려오겠지만, 학생들이 압도당할 정도로 많은 정보를 제공하지는 말라.

In the health professions, such cases often come with important data that need interpretation in the context of the case. Include enough to enable them, but do not give them so much that they end up being overwhelmed. You want the learners to be able to evaluate and analyze the manifest features of your problem with the data and make decisions about the questions you pose.


책이나 인터넷에서 찾을 수 있는 질문은 하지 말라.

Never ask them a question for which the answer is in a book or can be searched and found online (students are excellent web-searchers). The solution needs to be one that they can only get to the answer through their deliberations. Of course, it is perfectly OK to include elements in the presentation or data that they do not fully understand, and they must search their resources to master.


4S원칙을 따르라.

We recommend sticking with the 4 S's principles:


      • Significant problem. The problem you select and the associated question(s) must be important, authentic, and truly representative of the kind of problem students are about to encounter in their professional activities.
        • 질문의 질을 더 중요하게 생각하라. 팀 적용 단계에서 너무 많이 물어보려고 하는 경향이 있다. 너무 많은 내용을 커버하려고 하지 말고, TBL의 절차를 믿으라. 
          Go for quality of questions and not quantity. There will be the tendency to try to ask too much in the Team Application, fearing that you need to “cover” so much content. Trust the process: if you design questions that really make students think and struggle with making a decision about something significant; they will master the content and key concepts.

      • Same problem. All teams must be working, in class, on the same problem at the same time.
        • 서로 다른 문제를 줄 경우의 문제점
          Commonly, with in-class, small group exercises, each group is given a different problem with the expectation of a sharing process at the end. This is a “killer” experience for the students for two reasons. 
          • 내 발표가 끝나면 다른 사람 발표에 관심이 없다. One is because they have to endure listening to other groups present their “findings,” and once they present their own, they will not pay attention to anyone else's. 
          • 서로 다른 문제를 다루면 팀 간 책임을 없애버린다. 기껏해야 예의바른 질문 한두개를 할 뿐이며, 학생들은 질문을 할 만큼 자신이 충분한 정보를 가지고 있지 않다고 생각한다. The other is that, having teams on different problems largely eliminates inter-team accountability. At best, you are likely to get a polite question or two because their motivation is low and, in addition, students are likely to feel they do not have the information they need to mount a credible challenge.

      • Specific choice. 최선의 정답을 선택하고, 그것을 방어할 수 있어야 한다. 이 지점에서 딥러닝이 이루어진다. Craft questions that truly probe the “why” of a concept or use a set of data for interpretation – this separates excellent teaching from mediocre. When the learner must discern between several equally plausible options, select the BEST one and prepare to defend that decision, there is deep learning.
        • 팀원이 자신의 팀의 선택에 대해서 열정적으로 방어할 때가(맞았든 틀렸든) 바로 학습이 이뤄지는 순간이다.
          With TBL, by listening in to how students are processing your questions and determining the BEST specific choice, you know how they are thinking.
          When a team member passionately defends her team's selection against countervailing positions, whether she is wrong or right, you know that you have a “teaching moment.”
        • 어떤 교수들은 강의를 마치고 나서 박수갈채를 받으면 스스로 훌륭한 선생님이 된 것처럼 느끼지만, 그 50분 동안 어떤 순간에 학생들이 실제로 당신이 가르치는 내용에 대해 생각을 하고 있는지를 정말 알 수 있는가? 새로운 상황이나 문제에 배운 내용을 적용할 수 있을지 여부는 언제 알게 되나? 시험볼 때?
          Some instructors feel they are excellent teachers when students applaud after a lecture. But, at what point during the 50 min do you really know how students are thinking about the concept you are teaching? When do you know if they can apply that concept to a novel situation/problem? At the exam?

      • Simultaneous report. A key to energizing team discussions is using procedures that make teams accountable for reaching and being prepared to defend a decision. Having teams work on the same problem is essential for intra-team accountability but it is not enough.
        • 보통 교수자가 책임을 회피하는 두 가지 방법이 있다 : (1)자원자 찾기(다른 조가 리스크를 떠안기를 마냥 기다린다) (2)무작위로 부르기 (처음이라 운이 나빴네요 or 앞에 한 팀의 의견에 동의합니다.
          Instructors often reduce accountability in one of two ways. First, students discover that you have a pattern of calling for volunteers (e.g., “which team would like to give their answer?”). Students know that it is pretty safe to sit back and let the other teams risk giving what might be an incorrect answer. Second, if your practice is to randomly call on one of the teams to give their answer, students’ motivation to “get it right” is significantly reduced by their realization that, even if they do not have an answer, they have two minimally embarrassing options. If they are the “unlucky” team that gets called on first, they can say, “We haven’t had time to reach an agreement and, if they aren’t the first team to be called on, they can say, ‘We agree with team ___’ (i.e., the team that reported first).”
        • 그러나 TBL에서는 모든 조가 동시에 자신들의 결정을 밝히고 그것에 대한 대응논리를 만들기 때문에 위와 같이 되지 않는다. 
          With TBL, however, teams are fully accountable because students are informed from the beginning that all of the teams will have to report their answers at the same exact moment and their task is to make a decision and be prepared to defend it. As a result, the interaction during the Team Application follows a distinct pattern. When the learners first begin grappling with the problem, there is often quiet in the room as they read and ponder individually for a few moments, then a low-grade “buzz” starts as members of teams start sharing their impressions, raise questions, and assign searching tasks to one another – in short, enjoin a strategy for making a decision within the timeline of the exercise.
        • 자기 조의 최종 결론을 밝혀야 되는 순간이 오면, 모든 팀은 다른 사람이 모두 볼 수 있도록 동시에 답을 내놓는다. 
          When time is called for the posting of all decisions, teams simultaneously post their answers for all to see (e.g., by displaying a numbered or lettered card, putting up a poster, using Audience Response System “clickers,” etc.).
        • 팀 내의 논의가 이뤄지는 동안 교수자는 방을 돌아다니면서 어떤 대화가 이뤄지는지 보고, 들은 내용을 기억했다가 이어지는 토론에서 활용하는 거시다. 다른 소그룹과 다르게 각 팀은 같은 문제에 대한 답을 내놓아야 하고, 다른 팀과 경쟁을 통해서 상당한 논의과 활력이 오간다. 
          If the Team Application case and questions have been written well and are tightly linked to the learning goals and the readiness assurance process (RAP), then, it is rare that a team will have questions for the instructor during the time they are trying to reach a decision. As the instructor, your task is to roam around the room and listen in on the team conversations and learn how they are processing the assignment, remember what you hear and use it in the class discussions to follow. Unlike any other small group work, the requirement that each team must make a decision on the same difficult question, and be in competition with other teams, generates a great deal of noise and animation in the classroom. The better your questions, the more lively the room becomes until the time for posting decisions.
        • 각 팀의 결정이 공개되면, 교수자의 임무는 각 팀의 최종결벙을 활용해서 팀간 토론을 유도하는 것이다. 
          Once the teams’ decisions have been revealed, your job is to use the teams’ simultaneous reports as a catalyst for facilitating the inter-team discussions. What are the ways to facilitate the class discussion, generating dialogue and debate between teams? Go for the “Why?”: “Why did your team make this decision?”, “Explain your thought processes.” To a different team with a di
          fferent answer: “Let's hear your rationale, why is it better than what we have just heard?” If there are many teams in the classroom, it is not necessary to get an oral defense from each team – this may bore the others and be too much like the usual small group work project sharing.


촉진기법 팁

Some facilitation tips:


      • 유용한 어플
        When you call on a team to explain, select a specific student from a random list sheet or use Teacher's Pick™, an APP for the iPHONE or iPAD (http://itunes.apple.com/us/app/teachers-pick/id320221052?mt=8) – do not ask for a representative of the team to speak because the team's extravert will always do it.
      • 말하는 학생은 일어나서 하도록
        Make a rule that anyone who speaks to the whole class must stand up or use a microphone, and get in the habit of moving away from the student who is speaking so that he/she will speak louder.
      • 교수가 아니라 팀원한테 말하게 하라. 교수자의 결론은 최대한 아껴두라. TBL에서 학습은 교수자가 던진 질문에 의해서 프레이밍된다. 
        At first, the speaking student will try to talk to you since you asked the question. Inspire them to speak to the other teams, not you. Remember: your teaching moments are framed by the questions you ask about their decisions, their thought processes; save your own conclusions about the question until they are all in suspense about the “best” decision, then explain using what you have heard in their propositions.
      • 체크리스트
        Before the session, review each of your readiness assurance test (RAT) and Team Application questions with this checklist:
        • What is the key learning point from this question?
        • Where would the student have been exposed to the information needed to answer it?
        • What if all teams get it right? Do I move on to the next question? Do I give them a few more minutes to post what they think is the “Second Best Answer”?
        • What if all teams get it wrong? How will I show them my thinking about what I selected as the right answer?


Step 3 – Individual readiness assurance test/team readiness assurance test

국가시험 수준의 우수한 MCQ가 필요함

Preparing the Team Application (tAPP) first, enables you to design RATs that truly prepares the learners for the tAPP – you know what they need to know to apply the content to meaningful problems. The questions should be in multiple-choice format (MCQ) and they should be well constructed so that their quality is equivalent to your end of course/term or licensing examination. A great source for writing effective MCQs is the National Board of Medical Examiners Item Writing Manual, downloadable at their website (www.nbme.org/publications/item-writing-manual.html).


몇 개 문항이 필요할지는 내용의 복잡성 정도와 가용 시간에 달려 있다.

How many questions you prepare depends on the amount and complexity of the content, and how much time you have in your course design for TBL. On the one hand, you do not want to overwhelm the learners with lots of MCQs where they feel they are always studying to take a test, but you and they do want to have regular assurance that they are mastering the content and that the work they have done preparing is important by being assessed.


문항은 큰 그림에 초점을 둬야 하며 세세한 내용에 대한 것이어서는 안된다.

Another key is that the questions should focus on the big ideas not the details. If they really understand the big ideas, they are prepared to learn the details when they try to use them to make the decisions that are part of the Team Application.


There are two parts to the RAT: individual and team. Learners take the iRAT at the beginning of the session, recording their decisions using a Scantron™ or Audience Response System “clickers.”


IF/AT 활용

When time is up, teams cluster and answer the exact same questions as a team, with the tRAT, making their selections on an Immediate Feedback Assessment Technique (IF-AT™) form. The IF-AT is a multiple-choice answer form with a thin opaque film covering the answer options. Instead of using a pencil to fill in a circle, students scratch off the answer as if scratching a lottery ticket. If the answer is correct, a star appears somewhere within the rectangle indicating the correct answer. Students earn partial credit for a second attempt and learn the correct response for each question while taking the tRAT. One member of a team is picked by the team to do the scratch off on the IF-AT form, and all are at rapt attention as he/she determines whether or not the team's decision on a question is the preferred one. Generally, teams will give out a small cheer when right and a light groan if wrong. If they do not get it right the first time, they will immediately re-engage on that question and make another selection, but not without careful consideration since the stakes are higher. More information about the IF-AT form is available at the Epstein Educational Enterprises website (www.epsteineducation.com).



Always structure time for the discussion of the RAT after the team process, and when you use the IF-AT, encourage teams to select the one or two questions that they would like the whole class to discuss. Although they know your designated “correct” answer from the IF-AT, if you crafted the questions well, then there should always be two to three questions that really challenged them and they will want to discuss, or even appeal (see step 6 – Appeal).


왜 IF-AT를 사용하기를 권고하는가?

We strongly recommend using the IF-AT in the tRAT. These are our reasons:


      • tRTA은 각자 학습해 온 것을 설명하고 공유하게 만든다. 처음에는 투표로 하다가 나중에는 토론을 통한 합의를 이뤄나갈 것이다.
        Whether it is the very first gathering of the team or the last in a course, the tRAT forces them to share what they have learned as they each explain why they support one answer over another. Because conflict is uncomfortable, brand-new teams will initially make their choices by voting. However, with time (and the IF-AT form speeds up the learning process) they learn that voting is risky and it is more effective to share explanations first, then discuss their way to a consensus.
      • 팀 응집력을 강화시켜준다. 스크래치를 긁을 때 모든 사람이 모여들 것이다.
        The IF-AT promotes team cohesion – when the team makes its decision and scratches off the selected option on the IF-AT, everyone is paying acute attention: if they have drifted apart physically during the discussion, they move back in; if they are separated by a table, they lean in – everyone wants to see and they will need to get closer to do so.
      • 오답일 경우, 부분점수를 받기 위해서라도 정답을 찾는 작업에 바로 착수하게 된다.
        If a team “gets it wrong” the first time, they immediately explore why so that they can select the “right” one next, and they are motivated to do so since they will still get partial credit.
      • 지나치게 주장이 강한 사람도 언젠가 틀린 답을 낼 수밖에 없고, 이 경우 그 학생은 조금 더 조심하게 될 것이다. 
        Learners who tend to be overly assertive will inevitably be wrong on one or more of the questions. When this happens, the pushy student will become more cautious and the peers will be more willing to advocate for further considerations of an answer. Or, a learner who usually “goes along” with the crowd will eventually be put on the spot and asked to defend thei
        r choice – in effect, be encouraged to participate, especially if they have been correct and not helped the team get to the right answer.


Step 4 – Advance assignment

사전학습자료는 교수자게 제공하는 Scaffolding 같은 것이다.

Prior to coming to class, the learner needs to know what he/she must read, watch or do to be prepared for class. This is where you, the instructor, provide “scaffolding” for their acquisition of the information (content). It works best to provide them, as far in advance as possible, what must be read or done and clearly identify the level of requisite mastery so that they can be successful. You should develop or select appropriate teaching and learning activities (readings, videos, labs, tutorials, lectures, etc.) for the Advance Assignment that are aligned with the iRAT/tRAT questions, are effective and sufficient for content coverage, and that include specific learning goals.


의학의 세부사항은 무한하기에 모든 내용을 주고 싶겠지만, 핵심 개념만을 찾게 해주고, 그 개념이 무엇이며 어떻게 적용하게 되는가를 알려주는 것이 좋다.

In the health sciences, there is an infinite amount of detail within many critical complex concepts. As tempting as it is to list all the content that they must learn and then test them on it in the RATs, it is far better to identify the key concepts and inform students what the concepts are and how they will be expected to apply them. For instance, autonomics is one of the most complex areas in medicine, and there are a great many agents whose names must be memorized along with how they affect different receptors. Your “scaffolding” lecture or tutorial clarifies the principles of autonomics, reviews the body's anatomic structures for sympathetic and parasympathetic systems, notes a few of the prototypical agents/transmitters, and leaves them with a handful of practice problems; the answers to be provided the next day or posted online. Memorizing the many agents that interact with the autonomic nervous system is a requisite task, like memorizing the multiplication tables, and doing so will “stick” better if done in the context of the “bigger picture” with as many practice exercises as possible.


어떻게 준비할지는 학습자가 결정한다.

Learners decide how they can best prepare: some study alone, some will form a study group, and some will use their class team as a study group. You do not have to recommend or suggest any; let them figure out what works for them as individuals and as teams.


After the first couple of TBL sessions, students will have determined how much time and energy they need to devote to the Advanced Assignment. Their scores on the iRAT, tRAT, and tAPP let them know how they are doing with the material as the course moves along.



Step 5 – Instructor clarification review

교수자가 RAT에서 어려웠던 개념을 명확히 해주는 단계. 그러나 이 부분은 강의도 아니며, 모든 개념을 리뷰해주는 것도 아니다. 

The RAP should include an instructor Clarification Review, in which students get clarification from instructor on the concepts they have been struggling with during the tRAT. At the end of the Clarification Review, students should feel confident that they are adequately prepared to solve more complex problems for the next TBL step: the Team Application. An effective Clarification Review predicts/addresses knowledge gaps (focused on the concepts that the students are struggling to understand), is neither a lecture nor a review of all concepts, and supports the development of critical thinking skills.


You should design the Clarification Review only after you have created the tAPP and RAT questions, since the purpose of the review is to better prepare students for the tAPP by addressing learning gaps identified during the tRAT.


Step 6 – Appeal

어필을 받아들이게 되면, 그 팀은 추가점수를 받게 된다. 두 가지 이유가 있다.

Teams should be able to Appeal a question in the RAP or the tAPP. If you accept their Appeal, then only that team is awarded the credit. There are two reasons for an Appeal:


        • the team thinks that they were misled by the way the question was written and, to have the appeal granted, they must re-write it so that you agree that it is much clearer;
        • the team is convinced that their answer is best and they can support this position through argument and/or valid source material which they reference.


어필이 들어왔을 때 생각할 시간이 필요할 수 있다.

Sometimes in the class discussion you hear an argument for an answer that is compelling, one you have not even thought about and, even though it is not normally done, you can award credit on the spot for their brilliance. More often, you need some time to process the arguments, as do the teams submitting appeals.


모든 학생들이 어필에 대한 당신의 결정을 알게 하라

Keep the turn-around time as brief as possible and let the whole class know of your decisions. If the Appeal process is done in the spirit that everyone, including the instructor, can learn more, then it encourages more discussion and deeper learning.


자신의 주장을 무한정 내세우려는 일부 학생들에 의해서 곁길로 새지 않아도 된다는 장점이 있다.

A distinct advantage of a genuine process for Appeals is that you will not be sidetracked during the class by a few students who want to argue their position ad infinitum. It will allow them and you some reflection time and opportunity to better articulate a position.


TBL non-recurring steps

Team formation

최대한 오래 같이 있을수 있는 팀을 구성하라

Ideally, create teams that can stay together as long as possible. Sometimes this means for a year, a semester, or even a 4-week clinical rotation. There are four principles for assigning students to teams:


        • 스스로 팀을 짜게 하지 말라 Never let them self-select!
        • "플러스 요인"이 무엇일지 고려하라 Determine what you consider to be “wealth factors” in the class, for instance, previous work experience in healthcare or having an advanced degree in a health science field like biochemistry or physiology. Distribute all such students across different teams.
        • 최대한 각 팀의 구성을 다양하게 하라 Ensure that each team has as much diversity as possible. This is highly contextual and you must explore the potential characteristics in the class that represent diversity. For instance, if your school draws from a wide geographic area that includes rural and urban settings, the teams will benefit from having members from both. Gender balance, if possible, is also desirable.
        • 팀 구성 단계를 투명하게 밝혀라 Make the assignment process transparent. Students should never wonder how they were assigned to a particular team.


Orientation

대부분의 학생은 TBL이 새로운 경험이므로 오리엔테이션이 필요하다.

For most students, TBL will be a new experience. The TBL Collaborative website has a link called “Orienting Students” with tips on how to introduce TBL to your students through a TBL sample session (www.teambasedlearning.org/Default.aspx?pageId=1032382). You can create the sample session using TBL content (based on a brief TBL article), or using the course syllabus as the first Advance Assignment.


가장 어려운 부분 중 하나는 학생들이 미리 준비해오도록 하는 것이다. 학생들은 '시험만 잘 보면 되지 왜 수업에 준비를 해와야하지?' 라는 의문을 가질 수 있다.

Often the biggest hurdle is student attitude about preparing for class – so many are accustomed to coming to class to be told what will be on the exam, so why prepare for a class? With TBL, they must prepare using the Advance Assignment in order to pass or do well in the course. Classroom time shifts from being a time to transmit information to problem-solving with course content that is learned largely outside of class. This becomes very clear during the Orientation session.


Peer evaluation

동료평가의 중요성에는 이견이 없다.

There is little question about the importance of our students in the health professions learning how to give and receive constructive feedback from peers since they will need this skill set in the work setting with team members from several disciplines. We recommend the development of a process that encourages students to highlight the positive behaviors of their peers and develop the skills for constructive feedback. There are several viable models for conducting peer evaluation, all of which include:


        • 각각의 구성원을 팀에 대한 기여도와 개인별 학습으로 나누어 평가
          evaluation of each teammate
          on his/her contributions to the team's success and their own learning;
        • 양적, 질적 요소 포함
          both a quantitative and qualitative component;
        • 효과적인 피드백을 주는 가이드라인 제공
          guidelines on how to provide helpful feedback
          .
        • For instance, for a qualitative query:
          • “What is the single most valuable contribution this person makes to your team?”
          • “What is the single most important thing this person could do to more effectively help your team?”


Grading

As with Team Formation, there are some principles for how to grade TBL:


        • TBL이 전체 과정에서 반영되는 시간의 비율이 반영되어야 함. The percentage of time of a course that is devoted to TBL must be reflected in the course grade. For example, if it is a 12-week course and TBL is used for about one half of the contact hours, then it should count for about one-half of the final grade.
        • TBL의 각 요소에 가중치를 두어서 Each component of TBL has a weight in the grading scheme and it will work best if the students have some responsibility in determining this within the limits you set.
        • 동료평가도 포함되도록 The peer evaluation should also count as part of the TBL grade.


An example of a TBL grading scheme would be:

iRAT = 25%

tRAT = 35%

tAPP = 35%

Peer evaluation = 5%



What are the TBL critical contextual factors?

대학의 문화 Institutional culture

For TBL to be successful in a course or throughout a curriculum, it needs sanction if not support from the administrative leadership. Often, the simple support position of “classroom time needs to be used for solving problems and not just transmittal of information” goes a long way for faculty to consider using TBL.


Although there is good support in the literature for the effectiveness of TBL for a wide range of subject areas (www.teambasedlearning.org/refs), there are strong biases by faculty and administration against any active learning in the classroom. Some very experienced, and often talented, instructors grew up on the lecture-format and are wedded to it as the best way for students to learn – to be exposed to great minds such as theirs.


The administrative leadership may give in to these “sages on the stage” if they are large grant generating faculty whom they do not want to lose to the competition. In our experience, one faculty member or a small group of faculty can get started with TBL and generate both positive academic and student satisfaction outcomes within a couple of years. Students can become the best “salespersons” for having active learning in the classroom.



교수 개발 Faculty development

There are several steps that a group of faculty can take to make their transition to using TBL successful:


  • 관련 워크숍 참여 Participate in several training workshops on TBL. If your aim is to have a few individuals experiment with TBL, have them attend the TBL Collaborative Annual meeting or equivalent venue. If your aim is to have a substantial part of your curriculum taught with TBL, you will need to bring one or more consultants to your campus first to introduce TBL to your faculty and later to help them refine their TBL course design and delivery.
  • TBL학습 커뮤니티 개발 Once you have some pilot TBL courses up and running, establish a TBL learning community on campus or with neighboring institutions.
  • TBL 전문가로서 조언을 받을 수 있는 조언자 찾기 Identify a consultant, someone experienced with TBL who can critique materials, observe initial sessions and help troubleshoot the problems that will inevitably arise.
  • 모든 모듈 자료에 대해서 동료평가 받기 Peer-review all module materials, especially the MCQs in the RAP and the questions for the tAPP – this must include careful editing of the questions for grammar, syntax, and format, matching of module objectives to the materials, and framing of tAPP questions so that they will generate good, thoughtful discussions within and between teams.
  • TBL의 교육과정 설계의 핵심이 되도록 하기 Ensure that TBL is an integral part of the course or curriculum design – it will flop if it is just plugged in without being well-linked to the other components (Fink 2003).
  • 학생을 참여시키기 Involve students, both to introduce them to how TBL works and get constructive feedback from them after a session.


학생 참여 Student buy-in

학생들은 오리엔테이션을 받아야 한다. Wright State University Boonshoft School of Medicine 의 사례

Students must have orientation to TBL, and there are several ways to do this. 

At Wright State University Boonshoft School of Medicine (www.med.wright.edu), we have used the following:


  • 제1일 First day of class, give them the article “Three Keys to Using Learning Groups Effectively” (Michaelsen 1998) to read in class, then form teams, give them a iRAT and tRAT on TBL from the article, end with a couple of application questions about TBL.
  • 수업 전 Before class, ask students to study the course syllabus, i.e., grading, attendance, papers due, key topics, exam schedule. At class, conduct a TBL session on the syllabus. After this first TBL session, make time at the end to review with them the objectives for the session and ask if they feel they met the objectives through the TBL experience.


Duke-NUS의 사례

At Duke/NUS Singapore (www.duke-nus.edu.sg/web), they conduct a TBL session as part of the medical student interview process; highlighting the value and benefits of TBL, the general process, and use it a bit as a marketing tool. Once students are accepted, they participate in a series of workshops that reinforce the process, the skills for team development, review of how study habits might change, and a practice session with a review.



공간, 음향시설 Space/acoustics

TBL은 장소에 크게 구애받지 않는다. 

TBL is very adaptable to a variety of space restraints, such as fixed seating in an auditorium. However, the best space is one in which students can easily cluster in either a small circle or around a small table. We say small table because we have seen the use of larger, eight to ten seat tables and students cannot get close enough to really “team;” besides, the large tables will have space for laptops and lots of references which get in the way of good team discussions. Remember: your Team Application problems can only be solved through discussion and deliberation, not a web search!


교수의 이상적 위치는 교수가 모든 학생을 볼 수 있으면서 모든 학생이 서로를 볼 수 있는 곳이다. 

The ideal setting has a spot for the instructor in which he/she can see everyone in the classroom AND all students should be able to see each other. If a student can stand up, speak and be heard by all in the room, then you do not need an amplification system. The best amplification system has microphones at each table or cluster area; passing around a single mike can be cumbersome.



Why do we feel that TBL is an excellent instructional strategy for education in the health sciences?


What are the outcomes to date and what are important questions to answer in the future?

TBL in medical education is relatively new, and the evidence for its academic effectiveness is only beginning to grow (Nieder et al. 2005; Letassy et al. 2008; Shellenberger et al. 2009; Koles et al. 2010; Thomas & Bowen 2011).


변형된 형태를 사용하는 경우가 많다. 

One of the confounding issues in evaluating the literature to date on TBL is that authors have modified the strategy, sometimes extensively, and do not indicate this in the title. In fact, one must scrutinize the methods to learn exactly what was done, i.e., how were teams created, were the three key components used?


의학교육자들은 점차 TBL 모듈을 디자인하는 것에 능숙해지고 있다.

We feel that as medical educators become better at designing TBL modules, ensuring their integration in a course or curriculum, and clarifying what the desired academic outcomes are, the results will be very positive, especially in contrast to a pure lecture-based curriculum.


다음의 연구가 필요하다

We also feel that there are non-academic outcomes that are particularly important for future investigation:

  • Does peer evaluation lead to enduring positive changes in how students collaborate?
  • How does the decision-making process within a team help students make better decisions independently?
  • Since there is emerging evidence for “collective intelligence” within small groups, (Woolley et al. 2010), what characteristics should we use to assign students to teams?
  • Does TBL improve clinical reasoning and/or critical thinking skills? If it does, then how can we enhance this outcome?



Why is TBL unique in small group learning?

Small group learning, when done well, as described in the recent AMEE Guide 48 (Edmunds & Brown 2010) provides students with rich opportunities to explore, explain, and understand course material while learning how to communicate, collaborate, and problem-solve as they might in the workplace.


PBL과의 차이

Since PBL is probably the most commonly used small group learning strategy in medical education to date, we consider it relevant to highlight the several differences between PBL and TBL (Table 1).






What additional characteristics make TBL a good fit for healthcare professions education?

TBL의 장점

These are additional characteristics of TBL that make it unique and particularly well suited for health professions education:


  • 다양한 활용도 Versatility of use. Large or small classes; single or series of sessions; whole or portions of a course; blends with lectures, labs, other learning activities; inter-professional education activities.
  • 효과적 팀 구성 Effective team formation. Teams are created thoughtfully and transparently, and ideally teams stay together for as long as possible.
  • 교실 밖 준비 Out-of-class preparation. The Advance Assignment informs the learner what he/she needs to master before coming to class in order to be prepared for the RAP and decision-based application assignments that follow.


Immediate feedback

Immediate feedback on both individual and team performance is inherent in the process so that students know “where they are” with respect to understanding both the content and its application. The instructor also has continuous opportunity during the class period to know how learners are thinking about the material as they grapple with using course concepts to solve real-world problems and make medical-practice decisions.


  • Peer evaluation. Peer evaluation counts and, when the process is properly designed and managed, learners learn how to provide constructive feedback to peers and learn how to adjust their own behaviors to become more effective participants within their teams. This is an increasingly important component of TBL since healthcare professionals are frequently evaluated by their patients, colleagues, administrators, and other members of an allied healthcare team.
  • Authentic problems. The primary emphasis of the instruction focuses on solving problems, usually based on case vignettes with realistic data and images, that are as authentic as possible, and the choices that the learners have to make force them to partake in the decision-making process that they will regularly encounter in the clinical arena.









 2012;34(5):e275-87. doi: 10.3109/0142159X.2012.651179. Epub 2012 Apr 4.

Team-based learning: a practical guideAMEE guide no. 65.

Author information

  • 1Boonshoft School of Medicine, Wright State University, PO Box 927, Dayton, OH 45401-0927, USA. dean.parmelee@wright.edu

Abstract

Team-based learning™ (TBL) is an instructional strategy developed in the business school environment in the early 1990s by Dr Michaelsen who wanted the benefits of small group learning within large classes. In 2001, a US federal granting agency awarded funds for educators in the health sciences to learn about and implement the strategy in their educational programs; TBL was put forward as one such strategy and as a result it is used in over 60 US and international health science professional schools. TBL is very different from problem-based learning (PBL) and other small group approaches in that there is no need for multiple faculty or rooms, students must come prepared to sessions, and individual and small groups of students (teams) are highly accountable for their contributions to team productivity. The instructor must be a content-expert, but need not have any experience or expertise in group process to conduct a successful TBL session. Students do not need any specific instruction in teamwork since they learn how to be collaborative and productive in the process. TBL can replace or complement a lecture-based course or curriculum.

PMID:
 
22471941
 
[PubMed - indexed for MEDLINE]


+ Recent posts