TBL 촉진법 (Medical Teacher, 2015)

Twelve tips for facilitating team-based learning

CHARLES GULLO, TAM CAM HA & SANDY COOK

Duke NUS Graduate Medical School, Singapore

TBL의 기원: 1970년대, 대학원 경영학 과정에서 사용하였음.

Team-based learning (TBL) traces its roots to Professor Larry Michaelsen at the University of Oklahoma, United States (USA) in the late 1970s. Since then, it has grown to become a popular and effective instructional strategy used in a number of different educational settings (Koles et al. 2010; Parmelee & Michaelsen 2010a; Kamei et al. 2012; Fatmi et al. 2013). Although Michaelsen implemented it in graduate business instruction, it has more recently been used as a major teaching platform by a number of different educational programs across the United States (Team-Based Learning Collaborative 2013) and in a number of medical schools (Thompson et al. 2007a,b). At the Duke-NUS Graduate Medical School in Singapore, we have been using this teaching methodology since 2007 as a primary mode of learning for our students during their pre-clinical instruction (Kamei et al. 2012). The benefits of this teaching methodology are numerous, and have been well-documented in a number of sources (Hunt et al. 2003; Zgheib et al. 2010; Sisk 2011; Fatmi et al. 2013; Hazel et al. 2013).

TBL개요

For those who may not be familiar with the structure, in brief, students are placed in teams of 5–7 learners. These teams stay together for an extended period of time. The TBL process is made up of three phases: 

• (1) Preparatory phase, where students are given material to study before they come to class. 
• (2) Readiness assurance test (RAT), where students take both an individual (IRAT) and a team (TRAT) test to assess their understanding of the pre-class material. 
• (3) Application phase, where students apply what they have learned in meaningful case-based exercises. 

During this phase, students are asked to work in teams to apply the knowledge formally assessed during the readiness assurance phase (IRAT/TRAT; refer Figure 1 for an illustration of these steps; Michaelsen & Sweet 2008). While a seemingly simple process, the heart of creating an engaging and impactful inter-team discussion is an effective facilitation. Yet, effectively facilitating these discussions can be one of the most challenging aspects of TBL.

다른 소그룹 교육에서 촉진(facilitation)과의 차이점: 기본적인 촉진기술은 비슷함

It is important to first define how TBL facilitation may differ from facilitation in other small group settings and then where in the TBL process facilitation is typically used and critical. While basic facilitation skills are necessary in all learning situations; unlike lectures, small group or problem based learning (PBL) environments, TBL’s added challenges for facilitators is in the inter-team engagement, keeping all learners engaged and accountable, eliciting the answers from the class, and challenging learners understandings and assumptions (before revealing the faculty’s answer).

촉진이 필요한 세 가지 상황이 있다.

There are three places where directed facilitation occurs in TBL (Figure 1). 

• TRAT직후의 토론(facilitation 없는 상태에서의 잘못된 이해나 개념 바로잡아주기) The first place that a facilitated discussion occurs is after (and importantly not during) the team readiness assurance test (TRAT). This facilitated discussion requires faculty to be able to draw out the misunderstandings or resolve any misconceptions not addressed by the non-facilitated inter team TRAT discussion and reveal “correct” answers. Being skilled at guiding the students to discuss and ask questions about their uncertainties maximizes the learning.

• 적용단계 이후의 학습: 역동적 토론을 유도하고, 어려운 개념을 이해한바대로 설명하도록 하고, 자신의 생각과 다른 사람의 생각을 비판하는 것. 예상하지 못한 질문에 대응하는 것이 가장 어려움. The next place where facilitation is critical in TBL and further enhances the learning experience is after the application phase. The post-application discussion requires faculty to create a dynamic classroom discussion and assist students to articulate their understanding of difficult concepts or critique their own and others thought processes when solving the problems. It is through this inter-team discussion where a deeper understanding and learning can be achieved. In both the post-TRAT and application setting, one of the most difficult activities faculty have is in managing the unexpected questions and eliciting rather than giving answers.

• 적용 후 팀간 토론: Assimilative learning과 Transformative learning을 촉진하는 단계이므로 어렵다. 이 단계에서 필요한 촉진기법은 “Elaborative Interrogation Technique,”이라고 불림. Managing the post-TRAT and application discussions between multiple teams in a classroom setting requires a very different set of skills from managing the typical learning environment to which most faculty are accustomed. One reason for this difficulty is that the RAT and the application phases of TBL encourage both assimilative learning, the process of incorporating new information into existing knowledge structures (Seel 2012), and transformative learning, the process of altering existing knowledge structures through critical thought (Mezirow 1991). The latter is enhanced through the discussion with team-mates who learn from one another (Meers-Scott et al. 2010). Appropriate facilitation after the team’s independent discussion enhances the transformative learning process if performed effectively. This type of facilitated learning is referred to as the “Elaborative Interrogation Technique,” an effective learning methodology (Dunlosky et al. 2013). Although some of the properties of being a skilled facilitator may appear to be more of an art than a science, we believe that many of the skills can be learned. Below are our 12 tips for effective facilitation, aimed at providing faculty with skills that are useful in promoting effective learning within a team-based environment. We have divided the tips into two categories: creating the right environment and enhancing active engagement of learners.

적절한 환경 구축하기

Creating the right environment

The major role of the facilitator is to create a safe and engaging learning environment while still managing the flow and time. These first six tips focus on the process of TBL, role of facilitator, and activities a facilitator can do to best create the right learning environment.

4S를 활용한 매력적인 문항 만들기

Tip 1 Use the 4S’s to craft engaging questions

Using all aspects of the TBL structure goes a long way in ensuring full student participation. The IRAT followed by the TRAT ensures that students come well-prepared to discuss issues and identifies their gaps so they are ready to learn. Using the four S’s of application writing and development (significant problem, same problem, specific choice, and simultaneous report) can also ensure maximal participation and active engagement during the application phase (Parmelee & Michaelsen 2010b). The use of significant/authentic problems, having everyone working on the same problem, requiring them to make a single choice (and defend it), and enabling simultaneous reporting, is the start of creating a problem that will enable a more stimulating environment in which to facilitate.

시간을 확인하기

Tip 2 Watch the clock

TBL에서 토론은 전면의 중앙에 나서게 된다(front and center). 토론에 적어도 절반의 시간은 배정되어야 한다.

One of the most difficult tasks for a facilitator to perform in the TBL classroom is to keep within the allotted time. One of the benefits of TBL is that discussions are brought “front and center”. Ensuing that various arguments are brought out in the open can be time consuming. Therefore, the first priority is to make sure that enough time has been scheduled for the discussion phases. 

Ideally, the discussion phase should be at least half the time allocated. 

• In a 50-min class, that would be roughly 25 min for RATs (both individual and team) and 25 min for discussion. 
• The application phases should follow the same guidelines. A 25-min application should be accompanied by a 25-min discussion phase (longer if possible). 

The facilitator must constantly be alert for diminishing time and make adjustments as he/she goes along as to how much discussion is to be pursued. This may mean interrupting students who are taking a very long time to respond, asking faculty to cut short their explanation or tactfully interrupting those who have launched into a full-length didactic lecture, or even dramatically shortening the team-to-team discussion phases after some questions. Being aware of the time means also being realistic about the number of questions in each session. Having too many questions and insufficient time to review and discuss can be frustrating to the students.

수업 전에 촉진 단계에 대한 전략을 세우기

Tip 3 Strategize the process of facilitation with faculty before class

It is important to strategize before the session how the questions should be facilitated, especially if you have a facilitator who is different from the course director or content expert. In practice, not all questions require an in-depth facilitated discussion. Certain questions may have limited learning points which students can grasp easily by themselves and thus need not be discussed at length if time is short. One time-efficient way to implement this approach is for faculty to consider a facilitation strategy for each RAT question while students are working on the questions. 

적용질문에 대해서는 팀별로 답안을 작성하는 즉시 제출하게 해서 교수가 미리 어떤 문항의 facilitation이 필요한지 준비할 수 있게 하면 좋다. 모든 팀이 답을 다 맞췄더라도 facilitation이 필요한 문항과 그렇지 않은 문항에 대해서 미리 대비. 팀별로 답이 다 다르면 서로 토론하게 하는 것이 좋음

For the application questions, it is ideal if teams turn in responses as they complete them so faculty are informed of the answers once the students have chosen and consider the facilitation strategy based on the answers given. For example, if all teams answer a particular question correctly, the facilitator may choose not to have an in-depth facilitated discussion as there may be no further learning points to be covered. Conversely, if all teams answer the question correctly but there are critical learning points, or faculty want to be sure the teams derived the correct answer for the right reason, such a question may benefit from a facilitated discussion. The faculty may also decide that if the teams choose many different answers for the same question, a good strategy may be for the teams to debate, as a whole class, why they chose their answer.

촉진이란 내용을 전달하는 것이 아님을 기억하기

Tip 4 Remember facilitation is NOT delivery of content

촉진이란 참여하는 분위기를 만들고 학습자가 느끼는 위협을 최소화하는 것이다.

'내용 전문가'의 모습은 벗어던지고 '촉진자'의 입장이 되어야 한다.

As teachers, we want to ensure our students receive the necessary information. Thus, in TBL, it can be difficult to remember that at certain points one must be a facilitator of learning, not the deliverer of content. Carl Rogers discussed in his publication “Freedom to Learn” (Rogers 1969) that the facilitator in a classroom is one that “creates the environment for engagement” and is obligated to create an environment where “the threat to the learner is reduced to a minimum”. He was a strong proponent of minimizing one’s expertise as much as possible when facilitating in an educational setting so as to avoid teaching a person directly, but facilitate his or her own learning. This sentiment is at the heart of TBL. Thus, when facilitating in a TBL learning environment, removing the “content expert” hat and putting on a “facilitator’s hat” may be the single most important and difficult step faculty face when engaging students.

촉진 단계에서 답을 알려주는 실수를 하지 않기

Tip 5 Avoid giving away answers during facilitation phase

중립적 태도를 취해야 하며, 찬성 혹은 반대의 입장을 표명하는 순간 토론은 단절된다. 스스로의 정체성을 내용전문가가 아니라 촉진자라고 설정해야 한다. 

As the role of the faculty during the facilitation phase is to “facilitate” the learning and elicit information from the students, it is critical to remain neutral and non-judgmental with the discussion as it develops. During the learner debate phase of the discussions, any sign of approval or disapproval of a comment or response will shut down the discussion immediately. As the goal of the TBL in-class facilitated discussion is to ask certain questions to ascertain the student understanding and knowledge of concepts and to encourage them to articulate these concepts and main points of an argument and to teach one another, keeping the discussion going is paramount. It is often very difficult for a faculty member to hide their opinion when a given response is factually incorrect or when it is exceptionally brilliant. One way to minimize this might be to identify one faculty as the facilitator and a different one as the “content” expert. In many ways, someone the students do not view as the main content person can make an excellent facilitator. The facilitator needs to know enough of the content to know how to direct the questioning (with pre-session guidance from the course director or “content” expert).

마무리 할 시간을 주기

Tip 6 Provide time for closure

잘 한 학생을 언급해주거나 부정확한 주장을 교정해준 학생을 언급해 줄 수도 있지만, 여전히 공식적으로 세션을 마무리짓는 것이 중요하며, 이 때 어려운 개념에 대해서 설명해주는 것이 좋다. 이러한 설명은 토론 중간이 아니라 토론이 다 마친 다음에 제공하는 것이 좋다.

One of the most important things that a facilitator should remember to do is provide time for closure at the end of the session. Providing closure after each question makes it difficult to manage time. However, highlighting a student’s excellent response or one who corrects an argument that was inaccurate can go a long way to bring satisfaction and clarity to the learning in the classroom and is not time intensive. Yet, it is still important to bring formal closure to conceptually difficult material at the end of a session as students often do not explicitly trust each other’s knowledge-base and prefer to hear from an expert faculty member or facilitator. Thus, adding closure to difficult concepts after but not during student discussions will assist in ensuring that students feel that the TBL process was valuable and that they learned the important “take-home” information.

학습자의 활발한 참여 유도하기

Enhancing active engagement of learners

The quality of a TBL session depends a lot on the facilitator’s ability to get the students engaged, but getting students to respond to questioning is difficult under most circumstances. There are several general suggestions to achieve classroom engagement. 

• First, be open and transparent about the intention and process of asking questions. 
• Second, create a safe environment where students can answer incorrectly without fear of ridicule or recrimination. 
• Third, consider using a randomization process (random team and random members within the team) to decide who to call upon. That way, students will not feel “picked” on. 

Even if the environment and processes are all in place, it can still be difficult to get students to participate. Tips 7–12 provide some strategies one can use to encourage reluctant learners to speak up.

학생들이 대답할 시간을 주기

Tip 7 Wait for students to respond to questions

It is easy for a facilitator to forget that students often become nervous and need time to gather their thoughts when asked to answer a question or to defend a response to a question during the RAT or application phases of TBL. Students do understand that during the classroom discussion phases of TBL they all must be prepared to defend the choices their teams have made, though it is reasonable to expect that they need some time to remind themselves what the issues were. Thus, when calling on students to respond, the facilitator is encouraged to give more time than he/she feels is necessary. Oftentimes, the silence following a question is not due to confusion over what was asked, but due to time they need to think about the way they wish to phrase their response. Other times, it is necessary for the student to consult his or her team mates as a reminder of why they answered something the way they did. Allowing up to 30 s may be necessary and expected. This is certainly difficult to do when time is limited and many questions are still remaining. If students feel that the environment is safe and tolerant, then they will engage more actively. Allowing for enough “dwell-time” after each student is called on should help in this regard.

중립적, 개방형 질문 사용하기

Tip 8 Ask neutral and open-ended questions

One of the best practices a facilitator should adopt is to ask an open-ended question to a specific person in the classroom that forces them to critique, analyze, justify, and explain their choice of answer (Silberman & Auerbach 2011). Questions that allow for a yes or no response will generally cease any further discussion. Questions that lead or direct a student towards a certain specific answer will also halt any further discussions, as the students perceive that they need to focus on the answer provided. Open-ended questions allow students to demonstrate their thinking. They also allow for easier follow-up questions, such as ones that force students to clarify or justify their responses. Questions which are more neutral, objective, and open-ended result in more informative and valuable responses from the entire classroom. A commonly used open-ended question is the “why” type of question, e.g., why did you chose this, why is this the better choice over other answers, or why not this option? Neutral open-ended questions will ensure active discussion occur and assist in the interrogation of students’ knowledge.

명확한 의미 전달을 위해서 바꾸어 다시 말하기

Tip 9 Rephrase or restate for clarity

As mentioned above, we want to create a safe environment where students can answer incorrectly without fear of ridicule or recrimination. One way of achieving that type of environment, which will help students willingly speak up, is to rephrase (with guidance towards the learning goal) when students present their team’s rationale to be sure the facilitator understands the answer. Sometimes this is necessary just because students may not speak in a clear and concise manner and often they are not heard by students in another corner of the room. Students are often not confident when addressing the classroom and are reticent to vocalize what they know or do not know. Students also frequently display “drift”, a process where they start reporting in a confident and audible fashion, but end in a barely audible and less confident tone. By summarizing and restating what was said by the student, a facilitator can keep learners engaged and ensure that everyone hears and that 

(1) 불명확한 정보를 명확하게 unclear information is clarified, 

(2) 복잡한 정보를 단순화해서 overly complex information presented is simplified, 

(3) 부정확한 정보를 통해 토론을 유도 incorrect information is stated (non-judgmentally) to elicit debate, and 

(4) 중요한 원칙을 반복할 수 있도록 principles can be repeated for best learning and retention. 

정답을 흘리거나 강의로 은근슬쩍 넘어가서는 안 됨

It is important to note that although the facilitator is repeating or rephrasing content for clarity often, during the facilitation process he or she is not ending discussion by “leaking” the correct answer or slipping into lecture mode and removing the students from the discussion. The process of succinctly repeating what a student has said benefits the entire classroom and goes a long way in making engaging and informative TBL sessions a success.

잘 하는 학생 찾기

Tip 10 Find the “student expert” in the room

그러나 '내용전문가'라는 칭호를 붙여주는 시점은 개개인의 생각을 충분히 탐색할 기회를 가진 후여야만 한다.

'내용전문가'학생을 찾기 어려울 수 있는데, 이 때는 "어떤 근거가 이 내용을 뒷받침할 수 있을까?" 또는 "혹시 이 문제를 해결하는데 도움을 줄 수 있는 사람?" 이라고 질문해볼 수 있다.
During any cross-examination of teams, it is important to recognize that somewhere in the classroom exists an expert who needs to be identified. Even the most difficult problems can usually be resolved by a student in the TBL classroom. And, only after attempts are made at finding that student expert should a facilitator either turn to a “content expert” for assistance or provide the answer to the problem him/herself. In fact, correcting or answering too early will result in shutting down any further conversation and interrupts self-enquiry from the students. Thus, as a rule, the facilitator should put on the “content expert” hat only after making sure that students get the opportunity to probe each other’s thinking as much as possible. It is often difficult to find the student expert in the classroom as students can be unsure of themselves and may not trust their colleagues either. One of the best ways to achieve this is to ask probing questions such as “What evidence supports this?” or “Can anyone assist us to resolve this issue?”

진행을 가로막는 불확실성이나 의견 불일치 중재하기

Tip 11 Ensure any lingering uncertainties or disagreements are addressed

학생들은 팀의 의견에 동의하지 않지만 무식해보이지 않기 위해서 동의하는 척을 한다고 함. 

잠재적 의견불일치를 찾아서 학생이 스스로 그 문제를 해결할 수 있도록 해야 한다.

Often there is significant divergence in the thinking behind a particular concept in the classroom and this may or may not be apparent due to the consensus building process inherent with TBL. Students will often report what they feel pressured by the team to report to avoid looking unknowledgeable even if they do not agree with their own team’s decision. Sometimes, a student will say that he/she felt one way but the team felt a different way about a particular question. It is important for facilitators to ask if there is someone in the classroom who agrees or disagrees with what was just reported and to do this often. It is those strong disagreements or uncertainties that produce the most learning as discussions tend to be more robust and passionate when people disagree. If students feel safe in expressing their opinions, then the level of classroom engagement can be allowed to reach its peak. Therefore, it is important to remember to seek out possible disagreements and try to get students to address them as they arise.

개개인 학습자에 대한 책임 강조하기

Tip 12 Hold each individual learner accountable

적절한 환경에서 잘 참여하지 않는 학생의 이름을 불러주는 것은 교수가 그 학생을 개인적으로 알고 있으며, 익명성 뒤에 숨을 수 없게 한다.

By creating an environment where each student knows they could be called upon at any time to respond or defend a team’s answer, you further ensure individual student and team accountability. As individuals, students will realize they must be prepared. As a team, they will try to make sure their team-mate represents the team well. It is advisable to avoid the assignment of a team spokesperson whenever possible and to remind students often that they are responsible for their team’s responses and choices. In addition, students must be reminded constantly that although their individual choices may vary, they should be prepared to defend their team’s decisions and explain their decision making processes to the classroom. Students who are constantly asking other team members for help may be called upon more often by facilitators who observe the classroom continuously. A facilitator who creates an effective “environment for engagement”, where the atmosphere is fair and tolerant and where people can feel free to make mistakes without fear of embarrassment, is best suited to create an environment of maximal participation. In large classrooms with more teams, it is even more important for facilitators to scan the room and identify individuals in the far corners who may be less engaged. Using students’ names when calling on them, in the right environment, will help student feel as though the facilitator knows them personally and they cannot hide by being anonymous.

It is also important to get participation from as many different individuals as possible and to avoid picking on the same vocal individuals repetitively. Again, there are no assurances that anyone can give to ensure that each student is giving 100% of their time, but active surveillance and constant vigilance can ensure that the participants remain as active as possible.

Conclusions

촉진자의 역할은 90:10의 법칙을 지키는 것이다. 90%의 시간동안 듣고, 10%시간동안 말하는 것이다.

As more interest is garnered around the use of TBL in the classroom, educators are interested in understanding how to manage the discussion phases to ensure complete and deep learning. A fair amount has been written concerning the various stages of TBL, the backward design elements, and the pedagogical elements of TBL (Michaelsen et al. 2008). Although some information has been published concerning facilitation in PBL (Leung et al. 2003; Yee et al. 2006), very little information is available on specific recommendations for effective facilitation of learning in the TBL classroom (Azer 2005). The 12 tips presented here are designed to assist faculty who facilitate discussions in the TBL classroom in two ways. 

• First, application of these tips will help to ensure maximal and consistent participation from students and provide continuity to sessions if adhered to by all faculties who teach different sessions. 
• Second, these tips are designed to assist the faculty who deliver TBL by recommending a platform that ensures a fair and safe learning environment, but one that holds students accountable to their own learning as well as that of fellow learners. A universal role of a facilitator is to observe the 90:10 rule – listen 90% of the time and talk 10% of the time (Silberman & Auerbach 2011). We consider the principle of listening more than you talk a sign of an effectively facilitated session.

Although the tips presented in this article are designed for faculty who teach in a TBL setting that promotes a maximal learning experience for their learners, many of these tips would work well in any classroom setting. For example, the principle of waiting to speak for a defined period of time after asking students a question is quite useful when using any teaching style. This same reasoning holds for asking neutral and open-ended questions. However, many of these tips are specific to TBL as this teaching style requires the management of multiple teams and its goal is to achieve maximal student engagement. For example, when providing a lecture to students, generally closure is automatically given. However, one of the important principles of TBL is the emphasis on self-discovery and self-directed learning. Thus, remembering to provide closure or a sufficient wrap-up in this environment is equally important. The same can be said of the separation of the content delivery from the facilitation of learning. The lecture-dependent teaching style requires the content expert to be in the content delivery mode most of the time. However, in PBL and TBL, the students must make their own discoveries first and they must identify the important content and understand it before a content expert clarifies and adds to the content.

Much of facilitation in the TBL classroom is a strategy and can be learned. These tips can play a role in this process. However, it is clear that there is some “art” to the practice of being a good facilitator. This art is hard to teach. Experience and practice is the best way to learn the “art of facilitation”. Some faculty may find facilitation in the TBL classroom a challenge. Others will find it intuitive, fun, and exciting and may do well without much training. However, in either case, we hope that faculty either new to facilitating or those who have been doing this for some time find these tips for effective facilitation in the TBL classroom most useful and practical.

Med Teach. 2015 Feb 10:1-6. [Epub ahead of print]

Twelve tips for facilitating team-based learning.

팀바탕학습에서 동료평가를 어떻게 시행할 것인가?

How to Administer the Peer Evaluation in Team-Based Learning

허선

Sun Huh

한림대학교 의과대학 기생충학교실과 의학교육연구소

Department of Parasitology and Institute of Medical Education, College of Medicine, Hallym University, Chuncheon, Korea

팀바탕학습 도입이 우리나라 의과대학에서 점점 늘어나고 있다. 그런데, 이런 학습 방법으로 진행하였을 때 성취도 평가를 어떻게 할 것인지는 의대 교원에게 고민거리이다. 최종 학습자 개인 성취도 평가는 지필고사, 컴퓨터고사, 임상수행평가, 구두시험 등으로 하게 되지만 팀바탕학습에 특화된 평가 도구를 찾기 쉽지 않다. 팀바탕학습을 수행하고 해당 내용 성취도 평가는 대개 위와 같은 평가 도구, 팀바탕학습 중 individual readiness assurance test, group readiness assurance test, further application에 성취도와 참여도에 따른 교원의 평가, 그리고 동료평가 세 가지를 활용한다. 이 세 가지에 점수 배분을 어떻게 할 것인지는 담당 교원이 선택하게 된다. 세 가지 가운데 전통적인 평가 도구와 팀바탕학습 과정 중에 평가는 객관적인 자료가 나오므로 교원이 수행하고 평가하는 데 큰 어려움이 없으나, 동료평가는 참 쉽지 않다.

우리나라 의대생에 국한된 것만이 아니지만 우리나라 사람은 평가하는 데 주관이나 직관이 포함되는 것에 매우 저항이 크다. 그렇기에 정부에서 시행하는 행정, 외교 분야 공무원 선발이 철저히 시험 성적에 달려 있다. 의대생도 동료평가를 매우 부담스럽게 여기기는 마찬가지이다. 한림의대에서 의학과 1학년 대상 팀바탕학습에서 동료평가를 준비도, 공헌도, 타인 존중도, 유연성 등 4개 항목으로 구분하여 시행하여 보았더니 동료에게 동일한 점수를 주기 위하여 4개 평가 항목을 골고루 나누어 점수를 주어 결국은 같은 점수를 동료가 받도록 하는 행태가 나타남을 알 수 있었다. 즉, 팀바탕학습에서 구성원의 준비도 등은 모두 다르고 다들 알지만 그것을 실제로 표현하는 것에 익숙하지 않다. 우리 사회가 같은 집단에서 구성원 사이 동료평가를 한 경험이 많지 않고, 보통교육에서부터 그런 훈련이나 과정이 거의 없었고 단지 경쟁은 시험을 통하여 하는 데 익숙한 문화 때문이라 여긴다. 더구나 이 동료평가를 개인 학습 성취도 평가에 반영한다고 하면 더욱 긴장하기 마련이다. 그렇지만 동료평가는 앞으로 의사로서 살아가는 동안 내내 부딪치는 것이고 조직 발전과 개인 발전에도 필수 과정이므로 이런 평가 과정에 익숙하여야 하며, 정확하게 수행할 필요가 있다. 또한 동료평가가 결국 집단과 개인에게 도움을 주는 것임을 깨달으면 어려움 없이 수행할 것이다.

과연 어떤 방법을 사용할 것인가? 교재에 보면 The Michaelsen Method, Fink Method, Combination of Michaelsen and Fink Method, Koles Method, Texas Tech Method 등이 있다. 이 교재는 이미 국문으로 번역하여 쉽게 읽을 수 있으므로 서점이나 도서관에서 쉽게 찾을 수 있을 것이다[1]. 각 학교에서 적절한 것을 선택할 수 있다. 여기서는 한림의대 의학과 1학년 수업에 사용한 예를 소개한다(Appendix 1). 이 표에서는 모든 조원에 대하여 상대평가를 하여 순위를 매기도록 하였다. 이 방법은 철저한 상대평가를 한 것인데 앞으로 효과가 있는지 점검이 필요하다. 이런 순위 평가 이외 점수를 주도록 하고 대신 점수에 차별을 주도록 하고 총점을 같도록 하여 상대평가를 하는 방법도 있다. 대학마다 각각 다른 동료평가 도구를 사용할 것이고 결과를 보고 개선하여 나가면 충분할 것이다. 동료 평가를 얼마나 자주 할 것인가도 매번 할 수도 있고 전체 수업기간 중 1~2회 할 수도 있으므로 역시 교원이 판단하여 시행하면 충분하다. 팀바탕 학습에서 동료평가는 아직 개선할 내용이 많고 특히 직업전문성(professionalism)을 기를 때 중요한 평가항목이므로 더 연구가 필요하다.

의학교육에서의 팀 바탕학습 운영과 효과성에 대한 고찰

Review on the administration and effectiveness of team-based learning in medical education

허예라1, 조아라2, 김 선

Yera Hur1, A-Ra Cho2 and Sun Kim2

1건양대학교 의과대학 교수개발 및 멘토링센터, 2가톨릭대학교 의과대학 의학교육학과

1Faculty Development & Mentoring Center, Konyang University College of Medicine, Daejeon, and 2Department of Medical Education, The Catholic University of Korea College of Medicine, Seoul, Korea

지식의 전달이 중심이었던 의학교육은 1985년 미국의과대학협회(American Association of Medical Colleges)의General Professional Education of the Physician 보고서가 발표되면서 성과바탕(outcome-based) 의학교육으로 전환하고, 학생들이 졸업 후 최소한 갖추어야 할 성과를 규정하고 새로운 교육목표를 설정하기 시작하였다[1]. 새로운 의학교육의 목표는 세 가지로 함축해 볼 수 있는데, 쏟아지는 의학지식의 홍수 속에서 진단과 치료에 필요한 정보를 수집하고활용할 수 있는 자기주도학습능력, 협력진료 환경 속 효과적인 팀워크 능력, 기초와 임상의학을 통합한 비평적 사고 능력의 함양이 그것이다[2]. 새로운 교육목표는 자연스레 교육방법의 변화를 요구하였다. 이러한 패러다임의 변화를 수용하여 그 동안 대부분의 교육과정을 전통적인 강의 중심으로 운영해 오던 의과대학들은 팀 바탕학습(team-based learning,TBL) 도입을 위한 논의를 활발히 진행해 오고 있으며, 그에따라 TBL을 도입하고 있는 의과대학의 수는 점차 증가하고있다[3]. 특히 외국의 대표적인 의학저널 검색엔진 PubMed에 “team-based learning”, “TBL” 키워드를 입력하면 2000년1월부터 2013년 10월까지 70편 이상 검색되는데 이 가운데50편 이상이 2010년 이후 발표되었으며, MedEdPORTAL에는 2013년 10월까지 80여개의 TBL 모듈과 자원이 공유되고있다[4]. 이러한 수치는 최근 TBL에 많은 관심이 집중되고있으며, 이미 다양한 의학교육 분야에서 많은 경험이 축적되고 있음을 시사해 준다. 실제로 이미 60여 개 이상의 의학교육기관들이 의과대학 교육과정(undergraduate medical education),전공의 교육수련과정(graduate medical education),의사의 평생교육과정(continuing medical education)에 TBL을 도입하고 있으며, 성공적인 교육 경험을 바탕으로TBL 운영과 효과성에 대한 연구 결과를 지속적으로 발표해오고 있다[5,6]. 반면 국내에서는 TBL 도입 움직임이 여전히미비한 수준이며 연구 현황도 열악하다. 이는 국내에서 TBL을 도입하고 있는 의과대학의 수가 매우 제한적이라는 현실에 기인한다. 이러한 배경에서 이 연구는 외국의 선행 연구를바탕으로 TBL의 기본 원리와 진행 단계를 살피고, 의학교육에서의 TBL 운영 유형과 효과성에 대한 분석을 통해 국내의의학교육에서 TBL의 도입을 위한 과제가 무엇인지 도출해보았다.

TBL 기본 원리와 진행 단계

TBL은 ‘지식의 전달(knowledge transmission)’이 아닌 ‘지식의 활용(knowledge application)’에 목적을 두고 있는 교수법이다[6]. 이 목적을 달성하기 위해 TBL은 두 가지 변화를 시도한다. 

• 첫 번째 변화는 교수와 학생의 역할 변화이다. TBL에서 교수자는 ‘지식의 전달자’가 아닌 교육과정 개발자,수업 운영자이자 ‘학습의 촉진자’로, 학습자는 지식의 암기와이해를 넘어 스스로 정보를 탐색, 수집하고 이를 분석하여 종합적인 사고를 바탕으로 문제를 해결하는 ‘학습의 주체자’로역할을 하게 된다[7]. 
• 두 번째 변화는 수업 구조의 변화이다(Fig. 1)[8]. 일반 강의와 달리 TBL의 수업 구조는 팀 활동을바탕으로 실제 의료현장에서 부딪힐 수 있는 문제를 해결하는 과정에 수업 시간의 대부분을 할애한다는 핵심적인 차이가 있다.

이러한 TBL의 원리는 자기주도학습(self-directed learning),준비도 확인(readiness assurance), 적용 학습(applicationactivities), 평가(assessment)의 단계를 거치며 실현된다. 수업 준비에서부터 평가까지의 세부 진행 과정과 교수의 역할을 살펴보면 다음과 같으며(Fig. 2) [9], TBL 수업을준비할 때 Michaelsen &Seet [10]이 규명한 성공적인 TBL을 위한 4가지 핵심 원칙을 고려한다면 보다 효과적인 운영이가능하다(Fig. 3).

TBL 운영 유형

선행연구를 검토한 결과 TBL은 크게 두 가지 유형으로 운영되고 있었다. 연구에 따라 사용하는 용어에는 차이가 있지만, 이 연구에서는 의미를 명확하게 전달하기 위하여 기본적인 TBL 단계에 따라 운영하는 classic TBL과 다른 교수법과통합 운영하는 adapted TBL로 구분하여 기술하고자 한다.

1. Classic TBL

Haidet et al. [6]은 TBL 기본 구조를 

1) pre-class preparation,

2) assurance of readiness to apply learned concepts,

3) application of content through group problemsolving activities 

로 제시하고 있다. Classic TBL 유형은TBL 1세션에 3단계 기본 구조를 모두 포함해 운영하는 형태로, TBL을 도입하고 있는 대부분의 대학이 이 유형을 채택하고 있으며 일부는 교육과정에 적합하게 수정하여 적용하고있었다. Classic TBL로 교육과정을 운영하기 위해서는 계획단계에서부터 TBL 도입 여부를 사전에 결정해 새롭게 설계하여야 한다. 한 예로 Fujikura et al. [11]은 TBL 교수개발워크숍을 수료한 20명의 교수를 투입하고 특정 교수의 개별수업 차원이 아닌 전체 교육과정 차원에서 임상의학 TBL 과정을 설계하였으며, 총 15개의 TBL 세션(3 hours/1 session)으로 운영하여 교육내용의 연속성을 확보하였다. 또한Masters [12]도 총 11개의 TBL 세션(2 hours/1 session)으로 의료정보학∥과정을 운영하여 학생들이 충분히 TBL을 경험할 수 있도록 하였다. 이처럼 TBL 도입을 계획했을 때 가장 중요한 것은 충분한 교육 시간의 확보이다. 이러한 맥락에서 Wright State University 의과대학은 1, 2학년 기초의학21개 과정과 3, 4학년 임상실습 8개 과정 가운데 각각 18개,5개 과정 수업의 대부분을 TBL로 운영하고 있어 시사하는 바가 매우 크다. 이미 선행연구에서도 TBL에서 기대되는 교육적 효과는 학생들이 지속적으로 TBL을 경험하였을 때 실현가능함을 강조하고 있다[13].

2. Adapted TBL

Adapted TBL 유형의 대표적인 예는 PBL과의 통합 운영형태이다. 실제로 Fujikura et al. [11]은 TBL이 PBL을 진행할 때 사전 지식이 부족하여 토론이 진행되지 않는 한계를 극복할 수 있는 효과적인 촉진 전략이라고 평가하였으며,Anwar et al. [14]은 TBL이 PBL 과정 중 학생들의 학업성취를 향상시키는 데 유용한 전략이라고 보고하였다. 특히Abdelkhalek et al. [15]은 PBL과 TBL을 결합한 구체적인수업 모형을 제시(Fig. 4), TBL이 적은 자원으로 많은 수의학생을 충분히 준비시키는 데 효과적이기 때문에 발견 학습(discovery learning)을 지원하는 전략으로 활용되기에 적합하다고 강조하였다.

결론

교육의 주체는 학생이다[16]. TBL은 그 동안 교수 중심으로 이루어져 왔던 의학교육에서 학생 중심 교육을 실현해 주는 구조적인 전략이란 평가를 받고 있는 교수법이다[17]. 이연구는 선행연구를 통해 TBL의 기본 원리와 진행 단계를 정리하고, TBL 운영 유형을 살펴보았다.

그 결과 TBL은 이미 다양한 의학교육과정에 도입되어 긍정적인 성과를 거두고 있음을 발견할 수 있었으며, 특히 TBL을 통해 기대되는 교육적 효과는 학생들이 TBL을 지속적으로 경험했을 때 가능함을 확인할 수 있었다. 이는 국내의 의학교육에 TBL이 효과적으로 정착하려면 가장 먼저 TBL 운영에 필요한 충분한 시간을 확보한 후 기존 교육과정을 분석하여 재설계하는 작업이 우선되어야 함을 시사해 준다. 만약 대학의 여건상 교육과정의 재설계가 불가능하거나 많은 시간을TBL에 할애하는 것에 어려움이 있다면 PBL과 병합하여 별도의 시간 확보 없이 기존의 교육과정 틀 안에서 TBL을 운영하는 하는 방법을 제안해 본다. 이 외에도 Brich [18]와 같이정규 교육과정의 보조 프로그램(supplemental program)으로 TBL을 운영하여 TBL의 교육적 효과를 기대해 보는 것도대안이 될 수 있다. 또한 효과적인 TBL 운영을 위해서는computer based test system, 원형 테이블 등 팀 학습에 적합한 교육환경을 구축하고[19,20], audience response system과 같이 상호작용을 촉진할 수 있는 도구를 활용하려는 노력도 필요하다[11].

지금까지 의학교육에서 TBL의 교육적 효과에 대한 결과를 제시하고 있는 선행연구에 따르면 TBL은 학생들의 학업성취도를 향상시키며, 교수와 학생들의 수업 만족도를 높여 준다.구체적으로 Burgess et al. [21]은 TBL이 대규모 학생을 대상으로 팀 학습을 가능하게 하며 지식의 습득에 효과적인 방법이라고 평가하였고, Tan et al. [22]은 passive learning 교수법을 사용한 수업과 TBL로 진행한 수업의 학생 성적을 비교하여, Vasan et al. [23]은 TBL을 도입하기 전과 후 학생들의National Board of Medical Examiners 점수를 비교하여TBL이 다른 교수법에 비해 학생들의 학업성취도 향상에 도움을 주고 있음을 증명하였다. 또한 TBL은 학생 간의 성적편차를 줄이고, 과목 낙제율을 낮추며[13] 특히 성적이 낮은그룹 학생들의 학습을 돕는다[24]. 이처럼 TBL 연구는 대부분 학생과 교수의 만족도, 시험 성적을 결과 변수로 설정하고교육적 효과를 측정하지만 이 외에도 구조화된 도구를 사용하여 학생들의 정서지능(emotional intelligence)과 임상적추론능력(clinical reasoning ability)을 측정하여 의미 있는결과를 보여준 연구도 있다. 특히 Okubo et al. [25]은Problem-Solving Ability Test (P-SAT)을 실시하여 TBL을 통해 학생들의 임상적 추론 능력이 향상되었음을 확인하였고, Borges et al. [26]은 Workgroup Emotional Intelligence Profile-Short Version (WEIP-S) 검사 결과를 제시하며 TBL이 학생들의 정서 지능 발달에도 긍정적인 영향을주고 있음을 확인시켜 준다. 또한 Bick et al. [27]은 TBL이기초의학과 임상의학의 통합을 가능하게 하고 학생들의 의사소통기술과 리더십 능력의 향상을 가져온다고 보고하였으며,Parmelee &Hudes [28]는 의학전문직업성(medical professionalism),피드백 역량을 향상시키고 평생학습자로 성장하기 위한 훈련을 제공해 준다고 하였다.

앞서 논의한 바와 같이 TBL은 다양한 교육적 효과를 가져오며 교수와 학생 모두 높은 만족도를 나타내고 있는 교수법이다[18]. 하지만 선행연구를 통해 확인된 결과 외에 TBL을지속적으로 경험했을 때 기대되는 다양한 교육적 효과에 대한 근거는 아직 제한적이다. 따라서 앞으로 TBL이 국내 의학교육 장면에 적극적으로 도입되어 폭넓게 활성화되기 위해서는 국내 의학교육에서의 효과성을 확인하고 구체적인 적용방안을 제안하는 연구들이 지속적으로 발표되어야 할 것이다.

또한 TBL에 대한 부정적인 인식에 대해서도 충분한 논의가 이루어져야 한다. 특히 기본 개념만 확인하고 지나가야 할readiness assurance 과정에 불필요하게 많은 시간이 소모되어 실제 적용 학습에서 깊이 있는 토론을 진행할 시간이 부족했으며 동료를 평가하는 것이 어렵고 불편했다는 의견, 팀 학습을 중심으로 진행되는 수업이 자신의 학습 스타일에 맞지않아 부담스러웠다는 학생들의 의견에 주목할 필요가 있다[29,30]. 따라서 보다 효과적으로 TBL을 운영하기 위해서는각 단계의 목적에 부합되도록 적절하게 시간을 배분해야 하며, 동료평가의 공정성을 확보하고[29] 학생들의 학습 유형[30]과 개인적 특성[31]을 고려해 팀을 구성하는 등의 노력을기울여야 할 것이다. 그 가운데 동료평가는 TBL의 핵심이 되는 과정이며 더 나아가 의사에게 필수적인 역량임에도 불구하고 이에 대한 저항이 커 교수에게는 부담이 되는 평가 방법일 수 밖에 없으므로[32], 객관적인 평가가 가능한 구조화된양식을 개발하고 학생들을 대상으로 실제적인 평가자 훈련을제공하는 등 공식적인 평가 도구로 자리매김할 수 있도록 하기 위한 고민이 시급하다.

결론적으로 TBL은 현재 의학교육이 목표로 하는 학생 중심의 통합교육을 실현시켜 주는 교수법이다. 추후 보다 많은국내의 의과대학이 TBL을 도입하여 다양한 교육적 효과를거두고, 그 경험을 바탕으로 적극적인 연구가 진행되어 TBL이 의학교육의 질 향상을 도모할 수 있는 경쟁력 있는 교수법으로 자리매김할 수 있기를 기대한다

효과적인 TBL을 위한 12가지 팁(Medical Teacher, 2010)

Twelve tips for doing effective Team-Based Learning (TBL)

DEAN X. PARMELEE1 & LARRY K. MICHAELSEN2

1Wright State University, USA, 2University of Central Missouri, USA

의학교육학자들이 인지한 두 가지 중요한 현실. 여러 질병에 대해서 줄줄 읊을 수 있는 것과 실제 환자를 보고 빠르게 진단내리는 능력은 별개의 것이다. 의과대학생은 이 두 가지를 모두 알아야 한다.

Medical educators have long recognized two important realities. 

• One is that being able to recite all the subtle differences between one form of a disease and another is a very different kind of knowledge than being able to quickly diagnose the correct form of that disease suffered by a real, living patient. 
• The other is that medical students must master both kinds of knowledge.

전통적으로 학생들은 이 두 가지 서로 다른 지식을 서로 다른 시간에 서로 다른 상황에서 다뤄왔다. 

In traditional medical education, students were exposed to the two different kinds of knowledge at different times and in different settings. The content was typically taught in lecture-based courses and, later (some years later) students learned to use the content during their time in clinical rotations.

그러나 배운 내용을 학습할 수 있는 환경을 뒤로 미뤄두는 것은 '성인이 가장 잘 배우는 방법'과 맞지 않는다. 이에 의학교육자들은 학생이 배우는 내용과 그것을 적용할 수 있는 환경을 최대한 근접하게 만드는 방법을 개발해왔고, PBL이나 사례발표가 그 예다.

Delaying students’ opportunity to learn to use the content, however, does not fit well with what we now know about how adults learn best – the kind of learning that both ‘sticks’ and can be transferred to novel situations. As a result, medical educators have experimented with a number of approaches for enabling students to more closely connect the content and concept acquisition with its application – e.g. problem-based learning (PBL), case presentation.

(...)

TBL진행 개요

For a course with TBL as part of its learning activities, 

• students are strategically organized into permanent groups (for the entire term of the course) and the course content is organized into major units (typically five to seven). 
• Before each in-class event, students must study assigned materials because each module begins with the readiness assurance process (RAP). The RAP consists of a short test (over the key content and concepts from the readings or other activities, e.g. dissection) which students first complete as individuals, then they take the exact same test again as a team, coming to consensus on each question. 
• Students receive immediate feedback on the team test and they then have the opportunity to write evidence-based appeals if they feel they can make valid arguments for their answers to questions which they got wrong. 
• The final step in the RAP could be a ‘lecture’ (usually very short and always very specific) to enable the instructor to clarify any misperceptions that become apparent during the team test and the appeals, but also could be a between-team discussion about why the selected correct answers are best – fielded by the instructor. 
• Once the RAP is completed, the remainder (and the majority) of the learning module is spent on in-class activities and assignments that require students to practice using the course content by solving challenging problems.

12개의 팁

TWELVE TIPS

좋은 교과목 설계로부터 출발하라

Tip 1: Start with good course design

교과목의 주요 이슈는 다음과 같다.

TBL is an instructional strategy that works best when it is integrated tightly with a course's design. It can be the primary mode of instruction or work alongside other learning activities, i.e. focused lecture, service learning, self-directed online tutorials. We recommend using Dee Fink's Creating Significant Learning Experiences: An Integrated Approach to Designing College Courses (2003) for guidance in defining a course's (or curriculum's) contextual issues, 

• goals, 
• assessments, 
• learning activities, and 
• feedback mechanisms. 

기존 강의의 한두시간을 대체해서 시도해볼 수 있다.

Often, instructors will ‘try out’ a TBL module or two in an existing course, either replacing a set of lectures or small group sessions that had required recruiting and herding many faculties. This is a valid way to gain experience with how to implement it, but, usually, it is hard to incorporate the peer evaluation component since the number of meetings will be few.

TBL과정과 모듈을 만들 때 후향 설계(backwards design)를 해보라

Tip 2: Use a ‘backwards design’ when developing TBL courses and modules

후향적 설계란 "이 시간이 끝난 후 학생들이 무엇을 할 수 있기를 바라는가?"를 스스로 질문하는 것이다.

With backwards design (Wiggins & McTighe 1998) the first question to ask yourself is, ‘What do I want my students to be able to DO by the end of this unit of study?’ Whether designing a single TBL module for a unit of study, e.g. Starling's Law and cardiovascular physiology, or a series of modules that form the basis of an entire course, clarify what you want the students to be able to do by the end of the module or course. For example, a goal for a module in physiology/pharmacology focused on Starling's Law would be for the students to be 

• able to apply their understanding of Starling's law to accurately interpret physiologic data from a case of congestive heart failure, 
• explain how Starling's Law governs which findings, 
• predict which pharmacologic agent will affect specific components of heart function. 

(...)

내용에 대해 잘 아는 교수자들이 스스로 이 질문에 답을 하기는 어려울 수 있다.

This single question is often the hardest one for instructors who are ‘content-driven’ to ask themselves. There is just so much ‘content’ that we feel our students must know before they can make use of it – but, TBL provides a way to have them master the content while they are applying it and get feedback on how well they are ‘getting it’ as they go.

학생들이 도달할 수 있으면서 교수자(그리고 학생이) 어느 정도 도달했는가를 알 수 있는 모듈 구성

Tip 3: Make sure you organize the module activities so that students can reach your learning goals and you (and they) will know that they have done it

어떤 활동을 할 것인가를 구성해야 하는데, 일련의 문제를 제시해서 학생들의 사고과정을 이끌어나가는 수단으로 활용하고 싶은 욕망을 억제해야 한다. 학생들이 스스로 어려운 선택을 하고, 함께 작업하여 그 개념을 익혀하도록 해야 한다.

After clarifying what you want your students to be able to do by the end of the module, the next step in backwards design is creating a group application exercise. This should be a problem that requires students to use all of the preparatory knowledge and their team's brainpower to analyze, interpret, and then commit to a choice or a decision. Further, you should avoid the temptation to ask a series of questions as a means of ‘leading students through the thinking process.’ It is far better to require them to make a difficult choice and let them work together to master the concepts and to discover and internalize the relationships between them in the process of coming to a conclusion.

무엇을 할 수 있게 할 것이며, 그것을 어떻게 평가할지를 결정했다면 그 문제를 해결하기 위해서 수업 전에 무엇을 해와야 할지를 결정해야 한다. 또한 RAT 문제를 출제해야 한다. (이를 퀴즈라 부르지 말라)

Once you have decided what you want students to be able to do and how you will assess whether or not they can do it, the next two steps in backwards design are identifying what content elements the class must master before they are ‘ready’ to solve the problem (i.e. the information that the students need to learn outside of class to be prepared for the module) and write the questions for the readiness assurance test (RAT) (and do not call it a quiz – its purpose is readiness assurance and you should emphasize its role by the terms you use in talking about it).

심도있는 사고, 참여, 학습내용 중심 토론을 위한 학습활동을 만들라

Tip 4: Have application exercises that promote both deep thinking and engaged, content-focused discussion

TBL성공에 가장 중요한 것은 학생들에게 만들도록 한 과제가 무엇인지이다. 내용이 무엇이든 '긴 결과물을 내라'라고 하면 학생들은 그것을 서로 분담하고, 학습도 잘 안 이루어지게 되고, 부정적인 인식을 하게 된다. 잘 설계된 과제를 내면 학생들은 서로에게 배우면서 상당한 자신감을 얻게 될 것이다.

Over the years, we have come to realize that the single most important aspect of successfully implementing TBL is what your assignments require students to create. Whatever the content, if you ask them to produce a lengthy document, they will divide up the work which, in turn, will reduce learning and, all too often, will result in negative feelings about their peers and skepticism about working in a group. On the other hand, we have learned that, by using well-designed assignments, students will both learn from each other and develop a great deal of confidence in the value of working in a team.

좋은 과제는 각 단계(혼자 하기 - 팀 내에서 하기 - 팀 사이에서 하기)에서 다음의 네 가지 S를 만족하는 것이다. 

The key to designing effective assignments is ensuring that what students are asked to do is characterized by 4 S's at each of the stages in which they engage with the course content – working alone, working within their team, and working across teams (i.e. whole-class discussion). The 4 S's are:

• 실제로 중요한 문제 Significant Problem
• For a successful group application exercise, select or create a problem that the student can readily recognize as the kind of problem that will be encountered in ‘real life,’ make it Significant. In medical education, this is easy – there are an infinite number of patient cases that are rich with data to be interpreted, decisions to be made. But, there has to be a clear link between the content that underlies the exercise and its application. At the conclusion of the hypothetical module on Starling's law/physiology, you want to hear your students talking about how the basic principles of the law are applicable to understanding cardiac contractility in stress situations and how to approach interventions. In addition, the answers to these questions should never be discoverable in a text or article or lecture notes – they can only come from team members collaborating to figure them out.

• 모두에게 동일한 문제(서로 모두 같아야 하며, 따라서 학생은 문제 선택권이 없다.) Same Problem
• With TBL, all of the small groups must be working on the Same Problem. If you assign different problems to different small groups, students are not accountable to each other because you lose the benefit of having any semblance of a robust discussion (and learning!) between-group discussion of the problem. Further, if you allow groups to choose their own problem, they are not even accountable to you – unless you are willing to do the research that you hope they would do.

• 구체적 문제(이 환자에게 가장 좋은 약은? < 이 환자에게 가장 좋은 약을 썼을 때 영향을 받는 신경전달물질의 구성은?) Specific Choice
• When your assignments require students to agree on a specific choice, the only way they can accomplish the task is by working together to critically appraise a situation, examine the existing evidence, and make a professional judgment. Further, the more specific the question, the better the learning. For instance, if your module was about depression and pharmacologic interventions, a good question would be ‘Identify the set of neurotransmitters that are affected by the best drug choice for this patient’ and not ‘What would be the best drug for this patient’ because a more specific question requires a deeper analysis.

• 동시에 보고하기 Simultaneous Report
• You create an important ‘moment of truth’ when all the small groups are asked to post their responses to a question at the same time. Two things happen as soon as students realize that the choice they will be making will be open to challenges from other groups. 자신들의 의견이 다른 사람들의 공격을 받을 수 있을 것이라는 것을 깨달은 순간 다음의 일이 발생한다.
• 아군 vs 적군의 구도가 되어 그룹의 응집력이 올라간다.One is that, because of the potential of an ‘us versus them’ situation, group cohesiveness increases. 
• '정답을 내놓지 못해도' 숨을 곳이 없으므로 그룹 내 토론에 좀 더 활발히 참여하게 된다. The other is that students are far more engaged in the within-groups discussion because they realize that they would not be able to hide if they do not ‘get it right.’ 

• 각 그룹이 답을 도출한 과정을 바탕으로 하여 토론을 촉진할 수 있다.
  In addition, by engaging students exploring how they arrived at their respective answers, you can readily create a class discussion that is far more informative to you and your students than asking, ‘Somebody say what they think about thus-and-such.’

두 가지 안 좋은 점이 있다.

We have also learned two lessons – sometimes by sad experience – about the 4 S's. 

• 4S중 하나가 충족되지 않으면 토론의 강도와 그에 따른 학습이 저해된다. One is that failing to do any one of the 4 S's substantially reduces both the intensity of class discussions and the resultant learning. 
• 4S중 두 개가 충족되지 않으면, 학습은 거의 일어나지 않으며 점수를 깎이지 않으려는 것이 학생이 과제를 수행하는 유일한 이유이기 때문이다. The other is that, if you fail to do any two of the 4 S's, learning is minimal and pretty much the only reason that students are willing to complete the assignment is that it will have a negative impact on their grade.

RAP의 중요성을 과소평가하지 말라

Tip 5: Do not underestimate the importance of the RAP

RAP의 역할: 피드백, 피어티칭, 학생들의 gap 파악, 필요할 경우 강의

The RAP is designed to link students’ advance preparation to the group application exercises and provides a remarkable and powerful opportunity for individual feedback and peer teaching within the teams. In addition, the RAP lets you (and the students) know if you need to address gaps in their understanding. If the content area is particularly difficult, e.g. autonomics, odds ratios and predictive values in critical appraisal, liver pathology, then the RAP should be separated in time from the group application exercise so that the instructor can give corrective feedback and/or provide additional input before they begin to tackle the group application exercise. However, you do not have to cover everything – only what you (and the students) know they need help with.

RAP가 잘 이뤄지면 다음과 같은 장점이 있다.

The RAP, when done well, unfailingly produces five priceless outcomes even though it typically uses only a fraction of the overall class time (usually about 25–30%) for any given unit of instruction. These are:

• Effective and efficient content coverage.
• Development of real teams and students’ interpersonal and teamwork skills.
• Students gain an experience-based insight about the value of diverse input.
• Development of students’ self-study and life-long learning skills.
• Class time during which you can provide the content expertise to ensure that students develop critical thinking skills.

99.9% 이상 팀 내에서 가장 점수가 높은 학생의 점수보다 팀 점수가 더 높으며, 가장 낮은 점수를 받은 팀의 점수도 전체 반에서 가장 높은 점수를 받은 학생의 점수보다 높다.

In addition, data from the RAP provides data that definitively answers the question of whether or not individuals are likely to be held back by working in teams. Based on data from the past 23 years of using TBL (Michaelsen and Parmelee, unpublished), teams will score higher than their own very best member 99.9+% of the time1 and the most common outcome is that the worst team score will be higher than the highest individual score in an entire class.

종종 발생하는 실수에는 다음과 같은 것들이 있다.

Unfortunately, we have seen some instructors miss out on part or all of these valuable outcomes because they have, for whatever reason, decided to: 

• (1) skip either the individual or the group component – or both; 
• (2) use questions that are merely designed see if the students did the reading, e.g. asking ‘picky’ or meaningless questions unrelated to the objectives of the module; and 
• (3) view this process as a way of getting another assessment for their course grade. The RAP is not just another ‘quiz’ and neither instructors nor students will reap its many potential benefits if it is treated as such.

왜 TBL을 사용하는지, 이전 그룹 학습과 어떻게 다른지에 대해 학생들에게 설명하기

Tip 6: Orient the class to why you are using TBL and how it is different from previous experience they may have had with learning groups

대부분은 경험도 없고, 있더라도 형편없이 설계된 과제를 해야 했을 것이다. 혹은 잘 참여하지 않는 그룹원들을 데리고 뭐든 해보려고 고군분투 했었을 것이다.

Most students will not have had a classroom experience like TBL. In fact, the majority of their experience with group work will have been struggling to complete poorly designed assignments that forced them into the uncomfortable position of having to choose between doing more than their fair share or risk getting a bad grade and/or having to deal with difficult group members just to get anything done at all.

이러한 걱정은 실제하는 것이며, 왜 TBL을 사용하며 어떻게 TBL이 설계되었는지를 제대로 이해시키지 못하면 학생들의 적극적 참여를 이끌어내기 어려울 것이다. 최소한 교과목의 목표를 제시해야 하며, TBL에서는 전통적인 방법과 어떻게 다르게 그 목표를 달성하게 될 것인지를 설명해야 한다.

These concerns are real and must be addressed or you will have a difficult time getting student buy-in unless students understand both why you are using TBL and how TBL is designed to avoid the problems that they, all too often, have come to expect are a normal outcome from doing group work. At a minimum, you need to outline your course objectives and provide an explanation of how they would be achieved in a traditionally taught course versus how you will achieve them by using TBL. 

학생들의 TBL에 대한 이해를 도와주기 위해서는..

Other suggestions to help them understand and accept TBL include: 

(1) giving a practice RAT (many use the course syllabus as the ‘subject matter’ for the test); 

(2) engaging them in the process of determining the grading system for the course (Michaelsen et al. 2004) and, throughout the course; and 

(3) reminding them about the benefits they are experiencing along the way.

TBL의 핵심으로서 '책임'을 강조하기

Tip 7: Highlight accountability as the cornerstone of TBL

TBL의 성공에는 학생, 팀, 교수의 책임이 중요하다.

The cornerstone of success of TBL is that the natural outcome of its processes is that individuals, teams, and the instructor are immediately and clearly accountable for behaving in ways that promote learning. 

• Students are accountable for coming to class, preparing before they come, and investing time and effort working in their team. 
• The instructor is accountable for providing students with the cognitive foundation they will need to be ready to tackle the kinds of problems they will face in medical practice and giving them opportunities to practice developing their application skills.

When TBL is fully employed, the vast majority of students are prepared, come to class, and engage each other in productive ways as they work together. As a result, even the students who start out with a skeptical attitude because of past negative experiences with learning groups will eventually embrace TBL – ‘Finally, hard work as an individual and hard work as a group pays off.’

교수의 책임: 일부 학생들은 교수가 다른 수업에서 하듯 '가르치지' 않는다는 인상을 받기 시작할 것이다. 만약 교수가 여기서 책임을 다하지 않으면(4S의 활용, 학생에게 TBL의 장점에 대해 충분히 설명하기) 그러한 의심이 더 커지고 분노를 느낄 것이다.

As for the accountability of the instructor, some students will inevitably start out with the impression that he/she is not ‘teaching’ as in other classes, i.e. using lectures to state what will be on the final exam, and, worse, we (the students) are having to do all the work. Further, if the instructor is not following through with his/her side of the bargain – doing a good job of: (1) providing students with the opportunity to practice using well-designed applications assignments (i.e. using the 4 S's) and (2) reminding students of the benefits that they are getting – then the doubts and the resentment are likely to persist.

오답에 대한 의견을 말할 수 있는 기회 주기

Tip 8: Providing a fair appeals process will inspire further learning

문제가 혼란스럽게 기술되었거나(따라서 학생은 문제가 기술된 방식을 지적할 수 있고), 내용 해석에 대한 의견이 다를 수 있다(근거를 제시하여 의견을 제시할 수 있다.) 문제제기는 팀 단위로만 가능하고, 그에 따른 보상도 팀 단위로 들어간다.

Inevitably, some students will disagree with your selection of a best answer on a RAT question. They will do so on one of two bases: the question was written in such as way that they were confused or they feel you made an error in your interpretation of the content. The appeals process (Michaelsen 2008, p.24) provides the opportunity, preferably while they are still in class, to either re-write a question that they feel was poorly written or articulate, in writing, why they feel their answer was better, using references if appropriate. Accept appeals from a team only; award credit to the appealing team(s) only and to the individual scores of the members of those teams.

장점

The appeals process provides a number of benefits. 

• One is that it motivates students to do a focused re-study of the exact material that gave them the most trouble. 
• Another is that, the process of trying to put together a successful appeal requires to think deeply about both the specific ideas and the overall context within which they reside. 
• Finally, students can often re-write your questions so that indeed they are better!

학생들의 상호 동료평가 활용

Tip 9: Peer evaluation is a challenge to get going, but it can enhance the accountability of the process

다음과 같은 장점이 있음.

There are several ways to set up a peer evaluation process for the course, and it may take some trial and error to find the one that fits well with your institution or course's culture (Levine RE 2008, Chapter 9). There are, however, numerous benefits from putting forth the effort. 

• One of the most important is that, when you use peer evaluations, students are accountable to the members of their team. 
• Another is that a well-designed peer evaluation process enables students to learn how to give constructive feedback to one another and to gratefully receive constructive feedback from peers – an invaluable competency for future practice.

사전 준비에 대해서 명확히 하기

Tip 10: Be clear and focused with the advanced preparation

TBL에 대해서 교수자가 사전에 공부할 부분을 정해줘서 학생이 스스로 무엇을 공부해야 하는가 알아낼 기회를 뺏는다는 비판이 있지만, TBL에서 사전 준비란 RAP의 '개인별 파트'에 대해서만 도움이 되도록 하는 것이다.

A criticism of TBL is that the instructor identifies the learning needs for the students, thereby robbing them of the opportunity to explore the potential domain of the content and make some judgments about what they need to know. Based on past experience, when you are specific about what you want them to master before a TBL module, including posting action-oriented objectives such as ‘Be able to articulate how dopamine affects sodium channels at the receptor level,’ you invite them to go beyond doing the minimum of preparation since that will only help for the individual part of the RAP. They learn quickly that for their team to be really successful in the group work, they must master the advance assignment assiduously and devote additional effort to exploring the content domain. Tying the TBL objectives to the course objectives is essential.

팀 구성의 요령

Tip 11: Create the teams thoughtfully

세 가지 원칙이 있다.

We have three principles to guide the process of getting a class into teams: 

• (1) make the process transparent so all students know how they ended up in a particular team, even if the process is totally random; 
• (2) distribute what you define as ‘resources’ for a team as evenly as possible, for instance, a beginning class of medical students might have several students who have advanced degrees in one of the basic medical sciences, so you want to assign them to different teams; and 
• (3) strive for the teams to have a diverse composition, i.e. gender balance, rural or urban backgrounds, science/nonscience majors. Letting a class know that teams that have diversity within, however defined, will have unique strengths to draw upon in the challenging modules ahead.

작은 예산으로 효과를 내기

Tip 12: Several low-budget ‘props’ facilitate the implementation of a good module

One does not need to spend several thousands of Euros for the latest audience response system or any high-definition technology to get a well-constructed TBL module to work. We recommend using IFAT™ response forms for the group readiness assurance because students will hover over the scratch-off card, talk with each other, make eye contact, and be passionate about whether or not the correct answer is going to emerge. They receive immediate feedback, let one another know things like ‘You were right! Next time make us listen to you!’ Prepare folders for each team, color code the components to make the sequence of activities clear, collect everything so that you do not have to start ‘de nova’ every year – a good module is a treasure. Buy or build flagpoles to demarcate the position of teams; laminate the lettered cards for simultaneous responses. Require students to stand and face the class when speaking – you will not need a roving microphone once they learn to be quiet when someone is speaking.

결론 Conclusions

We are grateful to have been invited to provide these 12 TIPS. Over the past few years, we have provided many faculty development workshops and consultations, around the world, to introduce medical educators to TBL and assist them with its implementation in a variety of settings. In most cases, TBL has produced a positive transformation of the classroom experience for both the students and the instructor. Sometimes, however, we hear comments from faculty such as: ‘I tried it a few times, but gave up because the students didn’t like it,’ or ‘Does one have to use all the components? The GRAT sounds like a waste of time.’ Unfortunately, whenever we ask about the details of a less-than-successful attempt, we almost always learn that one or more of the components had been omitted or altered substantially. The strategy has been well tested and works, but works best when all of the components are included in the design and implementation.

Med Teach. 2010;32(2):118-22. doi: 10.3109/01421590903548562.

Twelve tips for doing effective Team-Based Learning (TBL).

효과적인 소그룹학습 (AMEE Guide No. 48)

Effective small group learning: AMEE Guide No. 48

SARAH EDMUNDS1 & GEORGE BROWN2

1University of Westminster, UK, 2University of Nottingham, UK

Effective small group learning in medicine is a much more challenging task than is often realised; it is relatively easier to have a meandering discussion with a group of medical students. It is much more difficult to get them to discuss constructively, to question and, most important of all, to think. Indeed many texts and articles on learning in small groups put too much emphasis on the role of the tutor and too little on the role of the students. But, as Stenhouse (1971) observed, ‘ . . . developing small group teaching depends as much on student training as on teacher training’.

Groups and their effectiveness

개인이 모였다고 그룹은 아니다.

Strictly speaking, a collection of individuals is not a group until they interact.

그룹의 크기에 대하여

What counts as a small group depends on the cultural context. In the UK, 6–8 is often regarded as a small group for learning purposes ( Jaques 2003; Exley & Dennick 2004; McCrorie 2006).

Below a group size of four, leadership is usually shared between the members; 

over 12, well-defined leadership is needed; 

over 20, strong leadership is needed. 

Early work by Bales et al. (1951) suggested that a group of three or four was best for developing critical thinking and decision making.

토론기술 발달을 통해 얻을 수 있는 것

These benefits include the development of discussion skills and thinking, exploration of attitudes and sharing and reflecting upon experiences. 

소그룹의 장점

Broadly speaking, small groups are better than large groups at promoting thought and developing attitudes and values, and as effective, but not as efficient, as large group teaching, at imparting information (Bligh 2000). However it would be wrong to assume that all small groups are superior to all large groups for these tasks. The size of the group may not be as important as what the group does.

그러나 방법이 전부는 아니다.

So differences in method are not the whole story. We suggest that skills, not methods, are the key to the effectiveness of small group learning.

Skills of small group learning

소그룹 학습에 필요한 핵심 기술

The core discussion skills of small group learning are questioning, listening, responding and explaining.

튜터는 언제 어떤 기술을 사용해야 하는가를 아는 메타스킬이 중요하다.

Most important of all for the tutor is the meta-skill of knowing when to use a discussion skill. All the above discussion skills can facilitate thinking. In other words, discussion skills can develop cognitive skills.

Asking questions

질문의 기능

Questions have a number of functions in small group learning situations: to arouse interest and curiosity in a topic, to assess the extent of the students’ knowledge; and to encourage critical thought and evaluation. Skilfully used questions are ‘a potent device for initiating, sustaining and directing conversation’ (Dickson & Hargie 2004, p. 121).

질문의 종류

• Narrow–broad : 좁은 질문은 간단한, 사실에 대한 답을 요구할 때 좋음. 그러나 토론의 맥을 끊는 질문이 될 수 있음

Narrow questions typically request a brief, factual response and have a correct answer. They allow the tutor to control the discussion but if used too frequently can inhibit discussion. Broad questions on the other hand tend to require a more wide ranging answer and can be answered in a number of different ways, they frequently start with the words ‘why’, ‘what’ and ‘how’.

'내 생각을 맞춰봐' 식의 질문은 학생의 동기를 매우 저하시킬 수 있으므로 유의

Bligh (2000, p. 243) describes this as a game of ‘guess what I’m thinking’ and advises that it can be very de-motivational for students.

• Recall-observation–thought : Recall질문은 시작할 때 좋음. 

Recall questions can be useful at the start of a discussion to assess knowledge and to start the thinking processes of students. It has long been known that higher level cognitive questions lead to greater achievement (Redfield & Rousseau 1981). 

학생이 생각하게 만드는 질문을 하고 싶다면, 스스로 던지는 질문이 어떠한지부터 생각해봐야 한다.

Brown and Atkins (1988, p. 71) suggest ‘. . . if we want to ask questions that get students thinking then we have to think about the questions we are going to ask’.

• Confused–clear

• Encouraging–threatening : 일반적으로 Encouraging style이 필요

You should generally try to adopt an encouraging style of questioning in order to facilitate discussion. This is not to say that the questions you ask should be easy, rather be aware of factors such as tone of voice, stance and phrasing that can make the difference between an intellectually difficult question being perceived as threatening or challenging.

• Prompts: 힌트를 주는 질문

These are useful as a way of giving hints

Probes : 탐색질문

근거 요구 ask for more evidence

 ‘What evidence is that claim based on?’,

 ‘What does the author say that supports your argument?’

명확화 They can also ask for clarification, e.g.

: ‘Can you give me an example?’,

 ‘Does that always apply?’,

 ‘Is there an alternative viewpoint?’ 

연결, 확장용 질문 Linking or extension questions can be used to encourage students to build on one another’s responses, e.g.

 ‘Is there any connection between what you have just said and what Jenny said earlier?’,

 ‘Does your comment support or challenge what we seem to be saying?’,

 ‘How does that contribution add to what has already been said?’

무슨 질문을 할지 준비해야 함.

In preparing to lead a small group learning session, it is helpful to prepare the questions you will ask. This is often an overlooked part of preparation

Listening

튜터는 학생이 말한 것을 기억해두었다가 적절한 때에 활용할 수 있어야 하며, 이렇게 할 때 토론의 연속성이 높아진다.

It is very important to listen well to what is said during small group discussions, try to hear the explicit and underlying implicit meanings of what is said. All members of the group have a responsibility to listen, but the tutor has a special responsibility for retention of what has been said so that they can recall this at appropriate times to help the students remember and see how ideas are linked. Doing this can increase continuity in the discussion (Brookfield & Preskill 2005).

Responding

A general point to keep in mind is to be as encouraging as possible.

답이 틀렸을 때 긍정적 대답을 해주는 것이 쉽지는 않지만, 학생의 기여를 인정할 수는 있다. 답에 어떤 점이 잘못되었는지(학생이 아니라)를 알려줄 수도 있음.

It may seem more difficult to respond positively when an answer is incorrect but it is still possible to thank the student for their contribution. If you feel it is appropriate, then confront the student with possible flaws in the answer (but not the student!).

These responses include: reflecting back; perception checking; paraphrasing; and silence. 

• 그대로 되돌려 말하기 Reflecting or saying back to a person what he or she has just said to you is a method which is used in counselling to encourage elaboration. In small group learning, reflecting back allows tutors to show the students they have been listening to what has been said whilst leaving the agenda of discussion with the student (Bligh 2000). 
• 튜터가 이해한 말로 다시 확인하기 Perception checking involves the tutor checking his or her understanding of what the student meant by using phrases like: ‘What I think you’re saying is . . . . . . ’, ‘So what you’re saying is . . . .’. This can be useful to help the students clarify their thoughts more accurately. If they correct their tutor’s perception then they are analysing and distinguishing their thoughts from those of their tutor (Bligh 2000). The approach can be particularly useful when discussing complex ideas; it increases understanding, and the confidence that arises from this can encourage more students to participate in the discussion. 
• 말 바꾸어 되돌려 말하기 Paraphrasing is similar to reflecting back but the tutor uses his or her own words. This approach can help to make the discussion more precise. For example, the tutor can rephrase the comment using the appropriate technical term. ‘OK. So you think it is a renal tumour which requires nephrectomy?’
• 침묵 Silence during a group discussion is something that makes many tutors feel uncomfortable and there is a tendency to respond to students’ comments without hesitation in order to avoid such situations. However, silence can be a constructive, positive aspect of discussion (Brookfield & Preskill 2005) and it has been shown to increase student learning (Dillon 1994). It gives students time to reflect, to think through new ideas and make sense of them. Silences can be short, 5–10 s or longer; Brookfield and Preskill (2005) advocate occasional use of silences of up to a minute as a useful tactic! We would add that one should preface such a lengthy silence with ‘Let’s spend a minute thinking about that’.

Explaining

A working definition of explaining is that it is ‘an attempt to provide understanding of a problem to others’ and understanding in this situation involves ‘seeing connections which were hitherto not seen’ (Brown 2006, p. 196).

effective explaining are:

• 명확하고 유창하게 Clarity and fluency – defining new terms, avoiding vagueness
• 강조를 하며 흥미롭게 Emphasis and interest – use of intonation, pauses and paraphrasing
• 사례를 활용하여 Using examples – clear and appropriate ones, use the students’ responses if appropriate
• 구조화하여 Organisation – use of linking words and phrases
• 피드백 Feedback – check for understanding

너무 초반에 설명을 많이 해주면 그룹이 수동적이 될 수 있음. 그룹의 학생들이 어떤 과제를 시도한 이후에 설명을 활용하는 것이 좋음.

If used too early in a session, explanations can induce passivity in a group. It is usually better to leave explanations until after the group have attempted the task for the session; including the explanations as part of the session summary can be effective.

Opening and closing

소그룹을 어떻게 시작했느냐가 이후 진행의 분위기를 설정한다.

The opening of a small group session sets the tone for the rest of that learning session and it can influence subsequent meetings as well. Beginning with a mini lecture on the previous lecture or seminar can feel like an appropriate start but it often has the effect of inducing a passive mode on the group and it is difficult to engage the students in discussion later in the session.

'짧은 시간 내에 할 수 있는 간단한 과제로 시작해서 점차 복잡성, 시간, 사이즈를 늘려나간다'

Bligh (2000, p. 266) in his book ‘What’s the point in discussion?’ provides a useful maxim for small group learning: ‘start with simple tasks in small groups for short periods of time, and then gradually increase their respective complexity, size and duration’.

REST를 활용한 오프닝

Guidance on opening the first session with a group can be summarised by the mnemonic REST which the authors use in workshops on small group teaching. 

• 라뽀 R – Establish rapport with the group and between members of the group.
• 상호 기대 확인  E – Discuss mutual expectations of the roles of tutors and students.
• 소그룹 진행의 구조 설명 S – Outline the structure of the course and of the small group session.
• 과제 제시 T – Set a brief, but relevant task and provide feedback on the groups’ achievement of the task and their interaction.

Preparation

1번이 아니라 2번/3번부터 생각해야 함.

(1) What do I want the students to learn?

(2) How do I want them to learn it?

(3) How will I find out whether they have learnt it?

Rather than starting with question 1, some tutors plan the session by thinking about question 2 or 3 first.

마인드맵이 유용할 수 있음

A mind map is a helpful way into the above questions.

강의를 준비하는 것 보다 소그룹을 준비하는 것이 시간은 덜 걸려도 더 어려울 수 있다. 강의는 학생이 무엇을 아는가에 대해서 고려해야 하는 반면, 소그룹은 학생이 무엇을 아는가와 더불어 소그룹에서 무어라 말할 것인가를 함께 고려해야 함.

In general, preparing for small group learning is quicker but more challenging than preparing for lectures. A neat way to think about the difference between the two settings is that in lectures, the lecturer has to take account of what the students know whereas in small group learning the tutor also has to take into account what students know but also what they will say in a group.

Common errors in small group sessions

서로 상대방이 하는 말과 상관 없는 말만 하는 "집단적 독백"이 생길 수 있으며, 토론이 전체적인 토론이 아닌 여러 개의 일대일 대화가 되어버리거나, 학생과 튜터간 문답이 되어버릴 수 있다.

A common limitation of small group discussion is that each student contributes their own point which has little relationship with those made by the rest of the group (collective monologue) or the discussion breaks down into a series of one-to-one conversations, or a series of questions and answers between a student and a tutor.

Facilitating methods

'소그룹을 더 작은 그룹으로 나누기',그리고 튜터 앞에서 말한다는 두려움을 줄여주기 라는 기본 원칙을 따른다.

With the exception of seating arrangements, all are based on the principles of ‘making the small group smaller’ and reducing the fear of talking in the presence of a tutor.

Seating arrangements

좌석 배치가 상호작용에 영향을 준다.

It has long been known from studies in social psychology (Argyle 1983; Saran 2005) and everyday observations that seating arrangements affect interaction. Steinzor (1950) long ago demonstrated in experiments and naturalistic observations that interaction was strongly influenced by direction of gaze.

Thus, if a student is looking at the tutor whilst speaking, the tutor should switch gaze to another student and gesture or use a facial expression (Figure 3).

Thinking time

'사고'는 뇌간에서 반사적으로 일어나는 것이 아니고 '시간'이 필요한 일이다.

Thinking is not a brain stem response: it takes time.

'말하기 전에 생각하기'는 좋은 조언이며, 기다려주는 시간과 침묵의 시간을 갖는 것이 도움이 된다는 연구들이 있다.

‘Think and scribble before you talk’ is good advice for many students. It is based on the research on the use of wait time (Tobin 1987; Amin & Eng 2009) and silence (Brookfield & Preskill 2005).

• Buzz groups

Thinking time can be followed by a buzz group(s).

The buzz groups are usually followed by a plenary discussion. To avoid the plenary discussions becoming boring and repetitive, one can skip the plenary; make it brief; ask each group for only one point or question and comment on it; collect the comments on a flipchart and summarise then perhaps pose a related or deeper question.

• Snowball groups (pyramiding)

• Cross-over groups (jigsaws)

Generic methods of small group learning

For convenience, it is useful to distinguish: 

• 학생이 말할 수 있게 유도하는 방법 facilitating methods which encourage students to talk; 
• 소그룹세션의 접근법들(구조) generic methods, the approaches used for small group learning sessions; and 
• generic methods 내에서 사용하는 방법들 specific methods which may be used within generic methods. 

튜토리알과 세미나는 서로 바꿔가며 사용되기도 함.

It should be noted that the terms tutorials and seminars are often used interchangeably.

• Tutorials

The purpose of the post lecture tutorial is ostensibly to clarify understanding. In practice, it has a few handicaps.

The problem solving tutorial may follow steps shown in Box 6. Modified essay questions (MEQs; Knox 1989; Coates & Khan 2002) are useful devices for structuring problem solving tutorials.

However, it is important for students to know the goals of the session – it can be very irritating to be required to jump through hoops without knowing why.

• Seminars : Paper chase, Powerpoint, the Springboard

The original method of the seminar could be characterised as ‘a paper chase’

Nowadays, seminars are based on PowerPoint presentations by a student or group of students and perhaps require the presenters to teach the topic rather than merely present it (see GMC recommendations in Rubin & Franci-Christopher 2002).

A third form of seminar is ‘the springboard’ in which the tutor provides a stimulus for discussion such as a controversial presentation, a DVD clip or audio-recording.

• 워크숍 Workshops

The broad approach is given in Box 7. The authors use the approach known as GAITO (Goals, Activities, Inputs, Timing, Order of events; from Brown & Atkins 1988) in designing workshops.

• 연합체 Syndicates

In this method, a topic is split into sections and the group divided into teams. Each team works on a section of the topic and presents its views at a plenary.

Research on methods of small group learning

여러 소그룹 방법의 효과성은 학생의 기술이나 동기부여보다는 튜터의 기술의 동기부여에 따라 변한다. 즉, 어떻게 그 방법이 활용되느냐가 중요한 것이다.

For, as indicated earlier, the effectiveness of a method depends upon the skills and motivation of tutors and, to a lesser extent, the skills and motivation of students. In short, its effectiveness depends on how that method is used.

Roles and responsibilities in small group learning

튜터의 역할을 다음과 같이 기술했다.(leader, guide, facilitator, neutral chair, commentator, ‘drop-in wanderer’, counsellor and absent friend.)

Jaques (2000) states the roles of tutors are leader, guide, facilitator, neutral chair, commentator, ‘drop-in wanderer’, counsellor and absent friend.

효과적인 소그룹을 위해 학생들이 바라는 것

She reported that the major views of focus groups of students were that for a group to be effective, the tutors should ‘ . . . promote thinking and problem solving, were not threatening, encouraged interaction, did not lecture, highlighted clinical relevance, and wanted to be there’. (Steinert 2004, p. 296).

강의자가 강조하는 지점과 학생이 강조하는 지점에 차이가 있음.

Whilst they agreed on the broad purposes of small group learning of encouraging discussion and developing communication, the lecturers emphasised getting students to talk and think and the role of the students was to participate. The students emphasised gaining understanding and clarifying obscure points and the role of the tutor was to inform as well as to guide.

학생과 튜터의 역할과 책임이 무엇인지에 대한 논의가 필요

Finally, it is worth emphasising that the roles and responsibilities of the tutor and students should be discussed, agreed upon and made explicit at the outset of a course

The dynamics of groups

면박을 주는 선생님은 토론을 억제할 가능성이 높고, 그 학생들은 주제를 싫어하게 된다. 지지적이고 방향을 가르쳐주는 투터는 긴장을 완화시키고 자신감과 자존심을 높여주며 업무능력을 향상시키고, 성찰적 학습을 증진시킨다. 학습과정에 대한 성찰을 하는 그룹이 과제에만 집중하는 그룹보다 더 효과적이며, 경쟁적인 그룹보다는 협력적인 그룹이 더 효과적이라는 사회심리학적 연구결과는 이미 오래 전부터 알려져있다. 과제의 난이도는 상호작용에 영향을 미쳐서 너무 쉽거나 너무 어려운 과제는 그룹을 분열시킬 수 있다. 이상적인 과제는 그룹의 안전지대(comfort zone)의 경계에 있으면서 튜터와 학생들이 관련성을 느끼는 주제여야 한다.

For example, a teacher who uses humiliation as a strategy is likely to inhibit discussion and thought and engender dislike of the topic (Lempp & Seale 2004). This may be because high anxiety is evoked and this blocks retrieval and reduces cognitive capacity (Tobias 1985). A tutor who is supportive and gives guidance and feedback is likely to reduce anxiety, build confidence and self esteem, improve task performance and promote reflective learning (Bligh 2000; Hattie & Timperley 2007). It has long been known in social psychology that groups which reflect upon their learning processes are more likely to be more effective than those that focus solely on the task and groups in which members are cooperative rather than competitive are also more likely to be more effective (Bales 1970; Johnson & Johnson 1987). The ease or difficulty of a task affects interaction. Too easy or too difficult a task can cause fissures in the group. Ideally the task should be on the borders of the comfort zone of the group but clearly defined by the tutor and perceived as relevant by the students.

Belbin (2004) suggests that an effective management team take on the roles and responsibilities shown in Box 8 and Figure 6 (Box 8 and Figure 6 are to be found on the website www.medicalteacher.org and in the printed AMEE Guide available from AMEE office through www.amee.org).

Problem individuals in groups

학생간 문제를 완벽하게 예방할 수 있는 방법은 없으나 모르는 것보다는 알아두는 것이 낫다.

There are no foolproof methods of eliminating interpersonal problems caused by individuals in groups but the old adage ‘to be fore-warned is to be fore-armed’ applies.

Ask yourself four diagnostic questions:

(1) Is there a problem beneath the problem?

(2) Is the problem for the individual or the group?

(3) What is the priority – group morale or the task?

(4) What strategy or tactics can you use?

. Beforehand

. On the spot

. Privately

. Privately afterwards

. Reminders

Evaluating small group learning

Summary

1. (1) Small group learning sessions are an interaction of tutor, students and task. Their primary purpose is to develop discussion skills and thinking.
2. (2) Evidence indicates that small group learning sessions are better than large groups at promoting thought and developing attitudes and values.
3. (3) Skills used by the tutor and students are more important than the methods used. The core skills are questioning, listening, responding and explaining. Other important skills are opening and closing sessions and preparing small group learning sessions.
4. (4) Facilitating methods, such as thinking time and buzz groups, can encourage students to talk and can
5. improve the major methods of small group learning.
6. (5) Both tutors and students have roles and responsibilities in small group learning sessions. How they carry out those roles and responsibilities affects the dynamics of the learning group.
7. (6) Attention to socio-emotional well-being as well as the task of the group is more effective than a focus on the task alone. Individuals can cause interpersonal problems which affect the group or task adversely. No foolproof solution to these problems is available but one can minimise the problems by pre-empting them. Accurate diagnosis of the problem can assist in reducing its effects and provide solutions.
8. (7) Sessions of small group learning can be evaluated by examining products, such as achievement and student satisfaction, or by analysing and reflecting upon the processes of interaction in the group. If one wants to develop the communication and cognitive skills of members of the group, then studies of the processes are more appropriate and important than product studies.

Med Teach. 2010;32(9):715-26. doi: 10.3109/0142159X.2010.505454.

Effective small group learning: AMEE Guide No. 48.

교육의 새로운 패러다임: Flipped Learning 기회인가 위협인가?

A New Paradigm for Education: Is Flipped Learning a Threat or an Opportunity?

임진혁

울산과학기술대학교 경영학부

Jin-Hyouk Im

School of Business Administration, Ulsan National Institute of Science and Technology, Ulsan, Korea

서 론

효율성이 중요시되던 산업화시대가 소비자 개인별 특성(personalization)이 강조되는 창조경제로 전환되고 있음에 따라 생산과 서비스방식도 대량생산(mass production)방식에서 대량맞춤식(mass customization)방식으로 변화하고 있다. 사회가 필요로 하는 인재를 양성하는 대학교육도 이에 따라 큰 변혁의 시기를 맞고있다. 교수의 역할도 시대에 따라 변화한다. Table 1에서 보는 바와같이 산업화전시대에서는 멘토, 산업화시대에는 강의자, 그리고 지식기반의 창조경제시대에는 코치의 역할을 담당하게 된다.

전통적으로 대학교육은 국가가 필요로 하는 엘리트를 양성하는역할을 담당하였다. 따라서 필요한 재원도 국가가 지원하였으며 유럽의 경우는 대학등록금을 전적으로 국가가 부담하는 사례들을 흔히볼 수 있다. 하지만 대학교육도 엘리트교육에서 대중교육으로 전환됨에 따라 소비자가 부담하는 형태로 바뀌었다. 대학의 등록금이너무 올라서 학생들이 부담하기 힘든 지경에 이르렀고 ‘반값등록금’형태의 정치적, 사회적 이슈가 되었다.

이와 관련하여 한국대학들이 정부에 줄기차게 요구하는 두 가지사항은 (1) 고등교육 재정투자 규모를 GDP (gross domestic product) 대비 1% 수준으로 늘릴 것, (2) 초중등교육을 위한 지방교육재정교부금법과 같은 고등교육재정교부금법을 제정하는 것이다.하지만 복지예산의 확대로 인해 교육예산을 대폭 늘리는 것은 거의불가능하며 또한 재정적 지원 또한 대학 대신에 학생들에게 학자금형태로 직접 지원하는 방향으로 바뀌고 있다. 한국정부에서는 지난4년간 대학등록금을 동결 내지 인하하도록 정책적으로 유도하였기에 대학들은 더는 재정적으로 감내하기 어려운 수준에 이르렀다.재정적 어려움을 해결하는 방편으로 대형강의의 확대, 부수입사업확대 등의 자구책을 시도하고 있다. 하지만 학령인구의 감소로 인해예상되는 대학붕괴의 쓰나미에 대비하기 위해서는 근본적인 해결책이 필요하다. 교육의 질과 비용은 Figure 1에서 보는 것처럼 전통적으로 상쇄관계(trade-off relationship)을 갖고 있다. 질을 향상시키려면 비용을 늘려야 하고 비용을 줄이려면 교육의 질을 희생시켜야한다. 이 때문에 1, 3, 4사분면만 현실적으로 유효하며 이 같은 제약안에서 각종 지속적 혁신(sustaining innovation)방안들을 시도하고있다.

MIT의 라이프 총장은 “학생들도 학비를 부담하기 힘들어하지만 대학들도 더는 비용을 감당하기 힘든 수준에 이르렀다. 대학생이부담하는 비용의 3배를 투입하여 교육시키는 현재의 모델은 우리같이 재정이 풍부한 학교도 더는 유지할 수 없기 때문에 다른 대안을찾아야 한다”고 다음과 같이 주장하였다(Reif, 2013).

Everyone would like a solution to the problem of rising college costs. While students worry that they cannot afford a college education, U.S. colleges and universities know they cannot really afford to educate them either. At a technology intensive research university like the Massachusetts Institute of Technology, it now costs three times as much to educate an undergraduate as we receive in net tuition—that is, the tuition MIT receives after providing for financial aid. To push the research frontier and educate innovators in science and engineering demands costly instrumentation and unique facilities. Even for institutions with substantial endowments,subsidizing a deficit driven by these and other costs is, in the long run, unsustainable.

“아는 것이 힘이다”라는 표어처럼 산업화사회에서는 지식의 습득이 중요하였다. 창조경제사회에서는 지식습득은 누구나 쉽게 할 수있게 되었기에 획득한 지식을 창조적으로 활용하는 능력 즉 창의적사고력, 협업능력, 문제해결력, 소통능력 등이 중요시되고 있다. 교육의 사회적 부적합성과 과도한 교육비가 더는 감내하기 어려운수준에 이르면서 기존의 상쇄관계에서 벗어나 Figure 1의 2사분면에 이론상으로만 존재하던 파괴적 교육혁신(disruptive innovation) 즉교육의 질향상과 비용절감을 동시에 달성하기 위한 현실적 대안이절실히 요구되고 있다. 고등교육에 영향을 미치는 교육기술의 동향과 추세를 매년 발표하는 호라이존 보고서(Horizon Report)의 2011년호는 교육계가 당면하고 있는 도전들을 높은 수준의 교육제공과교육비용의 통제로 요약하여 이를 쌍둥이 도전(twin challenges)이라 하였다(Johnson et al., 2011). Information technology (IT)가 제조업과 서비스업에서는 비용절감과 새로운 수익모델의 창출에 괄목할 만한 기여를 하였지만 교육에서는 그렇지 못하다. IT가 기존교육에 점점 많이 사용되면서 교육비용을 오히려 증가시킨다. 따라서 해결책이 아니라 그 자체가 문제의 일부가 되는 모순이 발생하고있다. 물론 온라인교육(이러닝, 사이버러닝 등 유사명칭을 포함)이비용을 절감시키는 효과가 있지만 대체로 교육의 질 하락을 수반하기 때문에 기존 교육의 대안이 될 수 없다. 다행히 근자에 IT를이용하여 학생주도적, 능동적 수업을 할 수 있는 대안들이 등장하고있다. 그 대표적인 것이 무크(massive open online course, MOOC)와 플립드 러닝(flipped learning)이다.

무크의 등장과 영향

2001년에 MIT는 Open Courseware (OCW)라는 새로운 교육적시도를 하였다. 즉 모든 교육자료들을 자신들의 웹사이트(http://ocw.mit.edu/)를 통해 외부에 무료로 공개하기 시작하였다.지적 자산에 대한 저작권 침해의 염려 없이 전 세계의 누구에게나인터넷을 통해 접속할 수 있게 허용한 것은 엄청난 교육혁신이었다.뒤따라서 많은 대학들이 OCW운동에 동참하여 자신들의 교육자료들을 공개하기 시작하였다. 한국에서도 한국교육학술정보원(KERIS, Korea Education and Research Information Service)이2009년부터 KOCW (Korea Open Courseware, http://www.kocw.net)을 통해 누구나 대학의 공개강의를 들을 수 있게 운용하고있다. OCW가 교육자료를 무료로 공유한다는 점에서는 큰 기여를하였지만 그 자체는 자가학습용 콘텐츠일 뿐이지 교육 자체는 아니다. 또한 대학들이 당면한 비용절감과 질 향상에는 직접적인 영향을 미치지 못하고 있다.

2011년 가을학기에 스탠포드대학교 세 명의 교수들이 자신들의과목들을 인터넷을 통해 공개하였다. Thrun교수(Sebastian Thrun)의 인공지능(artificial intelligence)과목에는 16만 명이 몰리는 등엄청난 호응을 받았다(Leckart, 2012). 이 같은 교육실험을 토대로코세라(Coursera, https://www.coursera.org/)와 유대시티(Udacity,https://www.udacity.com/)라는 두 개의 MOOC 벤처가 출범하였다. 또한 MIT는 지난 10년간의 OCW경험을 토대로 하버드대학교와 합작하여 에드엑스(edX, https://www.edx.org/)라는 비영리기관을 출범시켰다. 대학교육을 위한 이들과는 달리 칸아카데미(KhanAcademy, http://www.khanacademy.org/)는 초중등교육에 치중하고 있다. 이들 MOOC 플랫폼(MOOC platform)에 참여하는 대학들의 수와 제공되는 과목의 수가 급속히 늘어나고 있다. 코세라의경우 2014년 9월 현재 12개국의 100대학이 파트너로 참여하여 729과목을 제공하고 있다. 그 중 미국대학들이 52개로 절반을 차지하고있으며 과목수로 따지면 압도적으로 비중이 높다.

영어권이 아닌 나라들은 언어장벽 해소와 자국의 콘텐츠를 이용한 강좌 개설을 위해 자체 MOOC사이트를 개설하고 있다. 예를들면 프랑스와 중국은 2013년에 에드엑스와 협력하여 각각 자국의MOOC사이트들(http://www.france-universite-numerique.fr/,https://www.xuetangx.com/)를 개설하였다(New, 2013). 사우디아라비아도 2014년에 에드엑스의 플랫폼을 기반으로 아랍어권을대상으로 하는 MOOC사이트를 준비 중이다(Meyer, 2014). MOOC의 급속한 팽창과 그것이 기존 대학교육에 대한 파괴적 대안이 될 수 있겠다는 가능성 때문에 짧은 역사에도 불구하고 굉장한주목을 받음에 따라 뉴욕타임즈는 2012년을 ‘MOOC의 해’로 명명하였다(Pappano, 2012). 명칼럼니스트인 토마스 프리드만은 ‘혁명이 대학을 강타하다’라는 칼럼을 2013년 초에 썼다(Friedman,2013).

펜실베이니아대학교 사범대학원(University of PennsylvaniaGraduate School of Education)에서 2013년 12월에 발표한 MOOC분석자료에 의하면 기존대학교육에 폭풍을 몰아칠 것으로 예상하던언론의 지나친 기대와는 달리 MOOC가 직접적으로 미치는 영향이예상외로 작았다(UPenn GSE, 2013). 자기 대학에서 코세라를 통해제공한 16개의 MOOC과목들에 등록한 1백만 명에 대한 자료만을분석한 제한된 것이지만 등록한 반수의 학생만이 강의를 한번이라도보았고, 단지 4%만이 과목을 마쳤다는 것이다. 대학교육을 받기힘든 제3세계의 학생들이 MOOC과목들을 수강할 것이라는 희망섞인 예측과는 달리 80% 정도가 이미 고등교육을 받은 것으로 나타났다. MOOC의 열기에 찬물을 끼얹는 이 같은 실태자료가 발표되자 바로 “MOOC는 정말 죽었는가?”(Standbury, 2014), “MOOC는죽었다”(Borden, 2014)라는 비판이 기다렸다는 듯이 터져 나왔다.

하지만 MIT와 하버드대학의 연구자들이 발표한 보고서는MOOC를 긍정적인 측면에서 보고 있다(MIT News, 2014). 과목의이수율을 가지고 MOOC를 평가하는 것은 오도하거나 비생산적일수도 있다고 지적한다. 이수율은 낮지만 이수한 학생수를 보면 상당히 많다는 것이다. 17개의 에드엑스과목을 43,196명이 이수하였고,35,937명이 반 이상 이수하였다. 대학졸업생이 상당하지만 수십만명의 학생들은 그렇지 않으며, 미국수강생들이 많지만 72%는 외국수강생들이라는 점들을 지적하였다. 결론적으로 MOOC를 통해교육의 민주화, 학생주도적 학습, 대규모의 교육이 어떻게 잘 진행될수 있는지에 관한 흥미로운 교육실험의 출발점에 있다는 것을 지적하였다.

컬럼비아대학교의 한 연구는 MOOC에 참여하는 대학들의 이유를 다음 6가지로 분류하였다(Hollands &Tirthali, 2014). 

• (1) 교육의 도달범위 및 접근성 확장(extending reach and access), 
• (2) 브랜드의 형성과 유지(building and maintaining brand), 
• (3) 비용절감혹은 수익증가를 통한 경제성 향상(improving economics: reducingcosts or increasing revenues), 
• (4) 교육의 성과 향상(improvingeducational outcomes), 
• (5) 혁신(innovation),
• (6) 교수법 및 학습법에 대한 연구(research on teaching and learning). 

MOOC의 가장큰 문제점은 수익모델이 불확실하다는 것이다. 아직은 새로운 교육모델을 실험하는 단계이므로 수익모델의 중요성이 크게 부각되지않고 있지만 지속적인 발전을 위해서는 어떻게 적절한 수익을 낼수 있을지가 궁극적으로 중요하다.

MOOC가 대학교육에 미치는 영향을 크게 두 가지로 요약할수 있다. 

• 첫 번째는 IT가 어느 분야에나 적용되면 나타나는 현상인 중간매체를 건너뛰는 것이다. 공급경로상에 존재하는 도매 혹은 소매 같은 중간단계들을 축소하거나 아예 소비자가 생산자와 바로직거래하는 것을 가능하게 한다. 교육에서는 대학이 공급자인 교수와 소비자인 학생의 중간단계인 것이다. 엄격한 입학과정을 거친소수에게만 허용되던 하버드, MIT, 스탠퍼드 등과 같은 명문대학들의 과목들을 Figure 2에서 보듯이 MOOC를 통해 전 세계의 누구라도 무료로 수강할 수 있으며 이수증을 원하는 경우에만 소액의 수수료를 내어야 한다. 다양한 분야의 과목들이 더 많이 제공됨에 따라원하는 과목들을 선택적으로 이수해 가면 대학을 거치지 않고 사회가 요구하는 직무능력(competency)을 갖출 수도 있게 될 것이다.이 경우 학위(degree)보다는 무엇을 할 수 있는가를 보여줄 수 있는직무능력이 더 중요해진다. 이렇게 되면 15년 내에 미국대학의 반정도가 도산될 것이라는 파괴적 혁신이론의 창시자인 하버드 경영대학원의 크리스텐슨(Clayton Christensen) 박사의 예언도 무리가 아닐 것이다(Youtube, 2013).

• 두 번째는 콘텐츠의 준비와 전달이 분리된다. Figure 3에서 보듯이 교수가 강의준비를 하고 강의를 통해 전달하는 과정이 하나에서 두 개로 확연하게 분리되면 준비와 교육을 동일한 교수가 모두 담당할 필요가 없어진다. 즉 콘텐츠를 아웃소싱하는 것이 가능해진다.아웃소싱을 하는 주된 이유는 부가가치가 낮아서 굳이 자체 제작할필요가 없거나, 훨씬 질 좋은 외부자료가 있거나, 비용이 저렴한경우이다. MOOC를 통해 축적된 콘텐츠들을 대학들이 구입하여사용하는 경우 교수는 아웃소싱으로 조달된 질 좋은 콘텐츠를 교육하는 데 주력할 수 있게 된다. 산호세대학교의 이공대학에서 시도한교육실험에 의하면 전자공학의 기초과목에 에드엑스를 위해 MIT가준비한 콘텐츠를 이용하여 담당교수가 교육만 담당하였는데, 전통식 수업으로 진행한 두 분반의 통과율이 불과 55%와 59%였는데반하여 콘텐츠를 아웃소싱하여 교육한 분반은 91%로 통과율을 근두 배로 증가시켰다(Kolowich, 2013). 이같이 축적된 콘텐츠들을최상의 멀티미디어 기반 교과서 대체물로 발전시켜 대학들에 공급하는 것이 MOOC 플랫폼의 향후 주요한 수익모델이 될 것으로 예측된다(Graham et al., 2013).

MOOC의 콘텐츠를 사용하는 경우 교수는 자신의 업무 중 반쪽만을 감당하는 것, 그것도 외부에서 준비된 콘텐츠를 사용하는 것에대한 거부감이 있을 수 있다. “정의란 무엇인가”라는 철학강의로유명한 하버드대학의 샌달교수(Michael Sandel)의 MOOC로 제공되는 콘텐츠를 수업에 이용하기를 거부한 캘리포니아 소재의 산호세대학 철학교수들의 사례가 좋은 예이다(Kolowich, 2013). 콘텐츠의아웃소싱이 자발적이었는지 여부, 동질의 콘텐츠를 자체 제작할 수있는 역량의 여부, 교육을 주로 담당하는 새로운 교수방법에 대한심리적 부담 등이 이 같은 거부감에 영향을 미친다.

플립드 러닝

기존의 학습모델은 학생들이 수업시간에는 교수의 강의를 통해지식을 습득하고 수업 후에 숙제를 통해 응용 및 문제풀이를 한다.플립드 러닝에서는 수업 전에 비디오 등과 같은 학습자료를 통해학생들이 자기주도적으로 지식을 습득하고 수업시간에는 습득한 지식에 대한 논의와 평가 등을 통해 확인 및 보완을 한 후 문제풀이혹은 토론을 통해 지식의 응용에 집중한다(Bergmann &Sams, 2012;Lee, 2014). “강의 없는 강의실”(Prober &Heath, 2012), “강의는집에서, 숙제는 학교에서,” “강의는 죽었다”라는 표어들이 플립드러닝의 기본원리를 한마디로 요약하고 있다. Figure 4에서 보는 바와같이 기존의 학습방식을 ‘교실수업-교실수업 후’에서 ‘교실수업 전-교실수업’으로 뒤집는 것이다. 플립드 러닝을 미국에서는 플립드 클래스룸(flipped classroom)과 같은 뜻으로 사용하고 있으며, 한국에서는 ‘플립드 러닝,’ ‘플립 러닝,’ ‘플립트 러닝’ 등으로 원어의 발음을그대로 사용하는 경우와 번역하여 ‘뒤집힌 학습,’ ‘거꾸로 학습,’ ‘역전학습’ 등의 용어를 사용한다. 용어의 혼란을 피하기 위해서 원어로는플립드 러닝, 그리고 번역하는 경우는 ‘뒤집힌 학습’이 적절하다.

플립드 러닝의 기본적 개념은 원래부터 학문적 체계가 잡혀서시작되었던 것이 아니라 2000년대 초반부터 미국의 여러 곳에서산발적으로 시도되어 오다가 최근에는 초중등교육과 대학교육 전반에 걸쳐 급속히 확산되고 있다. 하버드대학교의 마주르(Eric Mazur)물리학 교수는 1990년대 말부터 강의를 하는 대신 학생들이 자신의강의자료를 이용하여 미리 학습해 오면 교실에서는 학생들 간의상호협력을 통한 문제풀이를 하는 ‘peer instruction’방식의 교육모델을 개발하였다(Crouch &Mazur, 2001). 2001년에 노벨 물리학상을 받은 와이만(Carl Wieman) 교수는 마주르 교수의 모델을 발전시켜서 학생들이 사전학습을 하게 한 후 교실에서는 이에 대한 이해를 평가하는 다지선다형 문제들을 클릭커(clicker)를 이용하여 학생들 스스로가 해답을 찾도록 유도하는 과학적 접근방법을 제시하였다(Wieman, 2007). 아이만 교수는 플립드 러닝의 효과를 검증하기위해 기초물리학을 가르치는 대형 분반 2개를(N=267과 N=271)선택하여 한 분반은 강의경험과 평가가 우수한 교수가 전통적인강의식 교육을 하게 하고 다른 분반은 강의경험이 없는 박사후과정강사가 플립드 러닝방법으로 가르치게 하였다(Deslauriers et al.,2011). 그 결과를 비교해 보면 플립드 러닝을 적용한 분반의 출석률과 교실에서의 참여율이 훨씬 증가하였고 시험성적은 두 배 이상으로 향상되었다. 2003년에 트윅(Carol Twigg) 박사는 ‘학습의 질은향상시키면서 비용을 줄이는 새로운 온라인 교육모델들”이라는 당시로는 상당히 혁신적인 주장을 하였다(Twigg, 2003). 고등학교교사들인 버그만과 아론은 자신들의 경험을 정리한 책인 “flip your classroom”(필자의 번역서, ‘당신의 수업을 뒤집어라’)에서 2007년부터 왜 플립드 러닝을 시작하게 되었으며 그리고 어떻게 실행하였는가를 잘 설명하고 있다(Bergermann &Sams, 2012).

호라이존 보고서 2014년호는 플립드 러닝이 올해 내에 당장 실행될 것으로 전망하고 있다(Johnson et al., 2014). 스탠포드의과대학은 현행 교육모델의 변화를 요구하는 요소들과 플립드 러닝의 이점들을 각 6가지로 들고 있다(Stanford School of Medicine, 2014).요즘 많은 한국대학들도 미래교육의 방안으로 플립드 러닝에 관심을기울이고 있고 몇몇 대학들은 적극적으로 도입을 시도하고 있다.초중등학교에서는 KBS 1TV가 2014년 3월 20일 ‘KBS 파노라마-21세기 교육혁명, 미래교실을 찾아서 1편 거꾸로 교실의 마법’을 방영한 후 이에 대한 관심이 급증하고 있다.

비판자들은 예습이란 개념은 오래 전부터 있었는데 플립드 러닝도 예습의 한 형태이므로 이름만 새롭게 붙여 마치 새로운 개념인것처럼 부각시키고 있다고 한다. 또한 대학원 수업은 대개 학생들이수업 전에 스스로 공부해 온 것을 수업시간에 발표하고 토론하는형태이므로 이미 플립드 러닝을 하고 있다고 주장하기도 한다. 이같은 잘못된 인식으로는 플립드 러닝을 제대로 이해할 수 없다. 기존 예습의 문제점은 학생이 준비를 해왔는지를 확인하는 것이불가능하거나 혹은 할 수는 있지만 시간과 비용문제로 인해 어렵다는것이다. 검증 절차가 없으면 대부분의 학생들은 예습하지 않게 되고교수는 제로베이스에서 강의를 시작하게 된다. 그러면 그나마 예습해오던 학생들마저도 필요성을 느끼지 못하게 되는 악순환에 빠지고만다. 수업 전에 학생들이 예습하게 하는 것만으로는 부족하다.

플립드 러닝을 실행하기 위해서는 

• (1) IT를 활용한 능동적 학습(IT-enabled active learning), 
• (2) 학습능력과 형태를 융통성 있게뒷받침할 수 있는 IT기반의 학습환경, 
• (3) 자동화된 즉각적 피드백(automated instant feedback), 
• (4) 학습활동을 개별적으로 모니터링하고 필요한 개입을 허용하는 학습관리기능, 
• (5) 수업시간에 학생상호간의 학습지원(peer instruction), 
• (6) 문제풀이 중심의 학습(problem-based learning) 등의 요소가 있어야 한다. 

“플립드 러닝을 한다고 해서 학생들이 안 하던 예습을 해 올까요?”라는 질문에자주 접하게 된다. 예습해 와야 하는 것이 플립드 러닝에서는 필수적이다. 이를 위해 플립드 러닝에서는 세 단계에 걸쳐 학생들이 예습하게 만든다. 

• (1) 예습에 대한 퀴즈/온라인 토론/연습문제풀이 등을 통해 이해력을 스스로 평가할 수 있게 하고 
• (2) 그 같은 학습활동들을 교수가 개별적으로 모니터링하면서 필요 시에는 개입하며, 
• (3)수업시간에는 제로베이스에서 출발하는 것이 아니라 모두가 예습해왔다는 전제에서 문제풀이 혹은 토론을 바로 시작한다. 

즉 예습해오지 않으면 수업을 따라 갈 수 없다는 것을 깨닫게 되면 예습해야겠다는 내적인 동기를 유발하게 된다.

플립드 러닝을 위한 교육혁신을 누가 주도권을 잡고 이끌어 가야하는가? Figure 5에서 보듯이 크게 세 가지 다음 접근방법이 있다.첫째는 개별 교수들에 의한 하부로부터의 혁신, 둘째는 국가나 학교책임자에 의한 상부로부터의 혁신, 셋째는 위원회를 중심으로 한혁신으로 절충식 방법이다. 하부로부터의 혁신은 자발적이라는 장점이 있으나 혁신의 범위가 개별 교수의 수준에 국한된다는 것이다(Graham, et al. 2013). 초기 단계에서는 개인적 차원에서 시도하는것을 학교에서는 모를 수도 있고 혹은 알면서도 묵인해 줄 수 있다.다행히 좋은 결과가 나온다면 이를 토대로 혁신을 점차 확산할 수가있다. 하지만 교수가 자신의 편의성만 고려하여 플립드 러닝을 진행할 경우는 오용될 우려가 있고 학습을 위한 학교차원의 인프라구축,정책, 인센티브시스템 등과 마찰을 빚을 소지가 크다. 상부로부터의일방적 혁신은 교수들의 저항에 부딪힐 가능성이 아주 높다. 모대학에서는 모든 신임교수들에게 의무적으로 하도록 하였던 바 상당한 혼란과 마찰을 겪었다. 가장 바람직한 것은 위원회를 구성하여학교의 정책방향 설정, 적절한 인프라구축, 플립드 러닝에 대한 교수들과 학생들에게 적절한 연수 및 지원제공, 인센티브시스템 변경등과 같은 혁신의 환경을 조성하여야 한다(Figure 6).

과목 재설계

플립드 러닝에서는 교수자들이 교실에서의 강의부분을 줄이거나아예 하지 않기 때문에 강의위주의 기존과목을 재설계하여야 한다.즉 수업 전에 학생들이 해야 할 일과 교수가 수업시간에 할 일을구별하고 그에 맞추어서 콘텐츠 구성과 학습계획을 세워야 한다.무엇을 학생들이 해 오게 해야 할 것인가? 서비스업에서 이용되고있는 DIY (do it yourself) 개념을 교육에 도입하면 쉽게 이해할수 있을 것이다. 전통적으로 공급자가 제공하던 서비스활동 중에서소비자가 직접 시행하는 경우가 점차 늘어나고 있다. 예를 들면은행업무 중 ‘잔고 확인,’ ‘거래사항들의 열람 및 검색,’ ‘자금 이체’등과 같은 업무는 소비자가 은행원을 거치지 않고 스마트폰 혹은컴퓨터를 통해 쉽게 처리한다. 은행원의 업무와 비용을 덜어주기위해서가 아니라 그것이 더 편리하기 때문이다. 객관적 지식습득은수업 전에 자기주도적으로 하게 하면 학생들은 자신들의 학습진도와스타일에 따라 개별학습을 할 수 있게 된다. 그리고 교실에는 교사와학생, 그리고 학생과 학생 간의 상호작용을 통해 문제풀이와 토론에집중할 수 있게 된다. 강의위주의 교육방식에서는 시간단위에 기초하여 평균적 학생을 기준으로 학습이 진행되기 때문에 학습능력이빠른 학생은 지루함을 느껴서 흥미를 잃게 되고, 느린 학생은 뒤처지게 된다. 플립드 러닝에서는 시간단위가 아닌 학업성취도에 따라학습을 맞춤식으로 할 수 있기 때문에 대부분의 학생들의 학업성취도가 일정 수준에 도달하게 하는 완전학습도 가능하게 된다.

강의를 녹화한 비디오가 수업 전에 학습할 자료의 주가 되지만그 외에도 설명과 영상자료 등이 추가된 파워포인트 파일, 교과서혹은 논문 등과 같은 참고자료들을 사전에 학습하게 할 수 있다. 비디오를 만드는 경우 교실에서의 실제 강의를 녹화, 노트북 등을이용하여 별도의 장소에서 녹화, 혹은 전문적 시설이 구비된 스튜디오에서 녹화하여 직접 만드는 방법과 공개강좌 사이트 혹은 유튜브같은 매체에 있는 외부 강의자료들을 활용하는 방법도 있다. 직접만드는 경우의 장점은 자신의 스타일에 맞추어 자신만의 강의자료를만드는 것이다. 단점은 공유가 어렵다는 것과 아웃소싱을 통해 더나은 외부자료를 이용하여 교육의 질을 높일 기회가 무산되는 것이다. 동일한 과목에 대해 타인들이 만든 플립드 러닝의 콘텐츠를재활용할 경우는 교수의 수업부담이 훨씬 줄어든다. 플립드 러닝을개별 교수자 차원에서 하는 경우는 콘텐츠의 공유가 없기 때문에그만큼 노력이 더 들게 된다. 학교 차원, 교육청 차원, 그리고 국가차원과 같이 범위를 넓힐수록 경쟁을 통해 검증된 콘텐츠가 많아지고, 이를 공유함에 수반하는 여러 가지 장점을 취할 수 있게 된다.

예를 들면 평균적 교수가 자신의 강의를 녹화하여 사용한다면 교육자료의 질 50%와 교실수업의 질 50%의 평균치는 그대로 50% 즉,(50%+50%)/2이지만, 아웃소싱을 통해 최고의 교육자료를 사용한다면 강의자료를 만드는 노력과 비용을 절감할 수 있을 뿐만 아니라교육의 질도 올라간다. 최고의 교육자료를 사용한다면 교육자료의질 100%와 교실수업의 질 50%의 평균치는 75% 즉, (100%+50%)/2로 상승한다. 이 경우의 단점은 자신에게 적합한 외부자료를 찾기가 쉽지 않다는 것이다. 교과목을 재설계하는 주된 이유는 학생들에게질 높은 교육을 제공하는 것이지만 교수의 생산성 향상과 학교의 비용절감에도 기여하도록 하여 학교의 삼대 이해관계자(학생, 교수,그리고 학교) 모두가 혜택을 볼 수 있도록 하여야 한다(Figure 7).Figure 8에서 보듯이 외부자료는 다양한 출처에서 조달할 수 있지만 MOOC를 통해 양질의 콘텐츠가 축적되면서 기존의 것들과는 비교할수 없을 정도로 강력한 교육콘텐츠로 등장하고 있다. MOOC과 플립드 러닝은 이처럼 상호 밀접한 관계를 가지고 있다. 에드액스에서35과목을 제공하는 MIT의 경우는 자신들의 학생을 위해서는 10여과목만 플립드 러닝을 시도하고 있다(The Chronicle of Higher Education, 2013). 서울대학교도 에드액스를 통해 4과목을 공개하지만 내부적으로는 학부생들을 위해 한 과목만 시도하고 있다.

2009년에 개교한 울산과학기술대학교(UNIST, Ulsan National Institute of Science and Technology)의 교육의 양대 목표는 ‘100%영어강의’와 문제풀이/토론식 수업을 통한 ‘창의적 교육’이다. 한국인 교수와 학생들이 대부분인 상황에서 이 같은 교육목표는 불가능해 보였다. 영어강의의 부담을 줄이기 위한 기술적 대안으로 모든과목의 교수자들이 파워포인트 파일과 같은 강의자료를 수업 전에학습관리시스템(learning management system, LMS)에 올리게 하였다. 그리하여 강의자료를 예습하고 수업에 들어오면 문제풀이/토론식 수업을 하는데 도움이 될 것으로 예상하였다. 하지만 교실에서는 문제풀이/토론식보다는 일방적 강의가 계속되었다. 수업 전에 학생들이 자기주도적 학습을 하지 않으면 이 같은 악순환이 되풀이 된다.

필자는 마이크로소프트의 오피스 소프트웨어를 가르치는 신입생과목을 재설계하여 플립드 러닝에 대한 교육실험을 시도하였다. 이 과목의 두 가지 특징은 수강생의 대부분이 일학년들이고 학생 간의사전지식 편차가 매우 크다는 것이다. 이런 경우 평균적 학생들을대상으로 강의를 하게 되면 상위학생들은 지루해 하고, 하위학생들은 따라오기가 힘들게 된다. 또한 기초과목은 학생들이 성적보다는학력기준으로 일정수준에 도달하게 하는 것이 중요하다. 즉 완전학습을 목표로 하여야 한다. 전통적 강의위주의 수업모델에서 나타나는 문제점들을 해결하기 위해 플립드 러닝기반의 블렌디드모델(blended model)을 도입하였다. 1주일에 두 번의 75분 교실수업을하는 대신 한번은 온라인상으로 학습자료(동영상 및 음성설명이추가된 파워포인트 강의자료)를 이용하여 스스로 학습하고 간단한연습문제를 과제로 한 후 결과물을 온라인으로 제출하게 하였다.온라인 수업활동들은 모듈형태로 구성되어 있어 LMS를 통해 학생들의 개별 학습상황을 모니터링할 수 있다. 교실에서는 약 10분정도의 요약강의를 한 후 바로 과제를 준 후 완성한 학생은 언제라도 교실을 떠날 수 있게 하였다. 교실에서는 동료학생들에게 물어보거나 논의할 수 있게 하여 학생과 학생 간의 상호작용을 권장하였다. 대부분의 학생들이 이런 형태의 수업을 처음 접하기 때문에 처음 몇 주동안은 온라인상의 자기주도적 학습을 잊은 채 수업에 참여하는 경우가 꽤 있다. 그런 학생들에게는 LMS에 기록된 학생별 학습성과자료들을 토대로 하여 주 단위로 주의를 환기시키거나 필요한 조언을 한다.학생들도 사전학습을 하지 않고는 교실수업에서 따라갈 수 없음을깨닫기 시작하는 4–5주차가 되면 이런 문제가 거의 사라지게 된다.

2014년 봄학기 수업 후 학생들에게 플립드 러닝 교육모델에 대해설문조사를 한 결과가 Table 2에 요약되어 있다. ‘플립드 러닝을강의식 학습보다 선호하는 가?’라는 질문에 39%가 긍정적인 반응을보였고, 부정적 반응은 15%였다. 46%의 학생들은 어느 쪽도 괜찮다는 중립적 반응을 보였는데, 부정적 반응을 제외하면 85%가 플립드러닝을 거부하지 않고 수용한다. 따라서 과목의 재설계를 잘 하여대다수 학생들의 학습경험을 긍정적으로 이끌어 내는 것이 관건이다. 교수보다는 학생 간의 상호교류가 더 활발하다는 것과 비판적사고/문제풀이에 집중할 수 있다는 긍정적 반응은 플립드 러닝의장점이 잘 발휘되고 있음을 보여 준다.

플립드 러닝에서 기대할 수 있는 대부분의 이점들을 학생들이장점으로 열거하였다. 단점으로 지적된 것들을 보면 대부분 플립드러닝을 위한 바뀐 학생의 역할에 대해 익숙지 못하거나 수업 전학습을 부실하게 한 경우에 해당된다. 장단점을 요약하면 다음과같다. 장점에는 ‘자기주도적 학습,’ ‘토의형 수업,’ ‘수준별 학습,’‘반복학습 가능,’ ‘수업의 이해 정도가 깊다,’ ‘사전학습으로 오프라인 수업의 이해력 및 집중력 향상,’ ‘기억에 오래 남아 시험 대비를하기 훨씬 수월함’ 등이 있다. 단점에는 ‘온라인, 오프라인 수업 모두시키는 것을 따라 하기 바쁜 점,’ ‘오프라인 수업의 의미를 모르겠다,’‘혼자서 어느 정도 학습을 해야 하는데 안 하게 된다,’ ‘자습이 대부분이므로 교수와 교류가 적다,’ ‘수업시간에 강의가 너무 짧다,’ ‘전문적이고 부수적인 지식에 대해서 스스로 알 수 없는 부분이 있다,’ ‘가끔배운 것만으로는 수업시간에 충분히 활용하기에 벅차기도 함’ 등이있다.

유니스트에서는 상기에 서술한 필자의 과목으로부터 시작하여매년 확대하여 2013년에는 32과목에 플립드 러닝방식을 적용하였고 2014년에 추가로 35과목(전체 과목의 약 20%)을 재설계하여플립드 러닝형태의 수업을 진행 중이다. 초기에는 교수들의 반발도있었지만 학교당국의 강력한 실행의지, 재정/기술/행정 지원, 내부의 성공사례 공유, 그리고 학생들의 호의적 반응에 힘입어 플립드러닝을 위한 우호적 조직문화가 형성되고 있다(Im &Beum, 2012;Im, 2014).

결 론

미국의 초중등학교를 대상으로 조사한 보고서 의하면 플립드 러닝을 적용한 미국의 교사가 2012년의 48%에서 2014년에는 78%로 증가하였다(Sophia &Flipped Learning Network, 2014). 대학교수들을 대상으로 조사한 보고서에 의하면 50%의 교수들이 실행하고있거나 2014년에는 할 것이라고 응답하였고 기대하는 이점으로는학생들의 학업향상을 주된 이유로 들고 있다(Sonicfoundry, 2014). 한국에서는 이제 겨우 플립드 러닝에 대한 이해 및 도입단계이지만미국에서는 이제 더는 실험이나 연구의 대상이 아니라 검증된 교육모델로서 실행되고 있다. 미래사회에서는 지식의 수명이 점점 짧아지고 있으므로 ‘무엇을 배웠는가’보다는 평생학습을 위해 ‘배우는방법을 배우는 것’ 혹은 ‘스스로 학습하는 습관’이 중요해지고 있다.플립드 러닝은 한 과목을 효과적으로 학습하는 새로운 교육모델일뿐만 아니라 학생들의 협업능력, 학습능력, 창의력, 의사소통능력등의 향상에도 도움이 된다.

지난 18개월간 미래교육에 대한 연구를 진행한 MIT의 미래교육연구팀은 2014년 7월 24일에 최종보고서를 발간하였는데, 이 연구의 주된 이유를 다음과 같이 기술하고 있다(MIT, 2014). 이 보고서의 6쪽에 보면 미래교육에 대한 연구, 학습, 그리고 혁신이 지속적으로 이루어질 수 있는 생태계를 조성해야 하고 ‘과목 대신 모듈식,’‘게임기반의 학습’ 등과 같은 새로운 교육실험들이 필요하다고 한다.

Higher education is at an inflection point. The public conversation about escalating higher-education costs and their impact on access for students from all socio economic levels is ever present. At the same time, there is a great hunger for education and there is a great demand for online learning world wide.

2014년 1월에 미국대학교의 총장들을 대상으로 조사한 연구보고서에 의하면 10년 내에 얼마나 많은 변화가 일어나야 하겠느냐는질문에 ‘대폭적인 혁신이 있어야 한다(12%)’와 ‘상당한 혁신이 있어야 한다(55%)’고 응답하였다(The Chronicle of Higher Education,2014). 이 같은 혁신이 필요한 이유는 재정적 어려움이 갈수록 가중될뿐만 아니라 사회가 필요로 하는 인재를 양성하지 못함에 따른 교육의 사회적 부적합성의 문제가 커지고 있기 때문이다. 교육변화의주체로는 대학총장들과 교수가 되어야 함에도 불구하고 현실적으로는 정치인, 기업체, 언론사 등이 주도하고 있다고 총장들은 생각한다.

교육혁신이 쓰나미 혹은 완벽한 폭풍(perfect storm)으로 다가오고 있기에 아무도 이에서 자유로울 수 없다는 것에는 대체로 동의하지만 혁신전략에 대해서는 아직 의견이 분분하다. 당대 최고의 경영전략학자들이 하버드 경영대학원의 포터(Michael Porter) 교수와같은 학교의 동료인 크리스텐슨(Clayton Christensen) 교수는 이에대한 논쟁을 벌였다(Rao, 2014). 포터 교수는 핵심역량을 기반으로지속적 혁신을 해야 한다고 하였고, 크리스텐슨 교수는 파괴적 혁신을 위해 모든 기득권을 포기하고 전혀 새로운 혁신을 추구해야 한다고 주장하였다.

플립드 러닝은 하나의 개념이지 구체적 실행모델이 아니다. 각대학들이 처한 환경, 역량, 구성원의 구조, 조직문화 등에서 차이가있고 과목별로 학문적 차이, 교수들의 개인적 선호도 차이 등을고려해 볼 때 일률적으로 적용할 수는 없다. 급격한 변화가 일어날것이 예상되는 상황에서는 ‘기다리면서 어떻게 되는지 보자(wait-and-see)’는 전략은 위험하다. 하지만 분명할 것은 위기가다가올 때 잘 준비하여 선제적으로 대응하면 오히려 기회가 있다.창의적 인재양성과 교육비용의 절감을 동시에 달성할 수 있는 플립드 러닝을 뛰면서 생각하기 즉 가장 하기 쉽고 효과가 크게 기대되는분야부터 시도해 보면서 수정ㆍ 보완해 가는 전략이 필요하다.

Higher education is under unprecedented pressure for quality improvement and cost containment/reduction

due to global competition and ever-increasing tuition costs. These twin challenges require an unconventional

approach, and massive open online courses (MOOCs) and flipped learning have recently emerged as two

promising educational alternatives not only to address the current problems but also to direct the future

of education. This paper discusses the rapidly changing environment for education, MOOCs, and flipped

learning as learning alternatives, the relationship between MOOCs and flipped learning, and course redesign

for the implementation of flipped learning. The case of Ulsan National Institute of Science and Technology

(UNIST) is also discussed for benchmarking purposes since it has been pioneering an innovative educational

methodology for teaching and learning IT-enabled active learning methods from its inception in 2009.

It has redesigned almost 70 courses (20% of all the courses to offer) for flipped learning. The objectives

of UNIST’s educational experiment are three-fold: improving the quality of education for students, improving

teaching productivity for the faculty, and containing/reducing education costs for the university.

Keywords: Flipped learning, Massive open online course, Problem-based learning, Education innovation

Rethinking the globalisation of problem-based learning: how culture challenges self-directed learning

Janneke M Frambach,1 Erik W Driessen,1 Li-Chong Chan2 & Cees P M van der Vleuten1

Introduction

교육법이 문화와 이념을 반영한다는 것은 일반적으로 잘 알려진 것이다. 전 세계로 교육법이 지속적으로 퍼져나간다는 면에서 문장의 문화적 함의를 이해하는 것은 대단히 시급한 문제가 되었다. PBL은 특히 전 세계적으로 널리 퍼진 방법이다. 이 교육법은, 특히 의학교육에서, 빠르게 의학 정보가 늘어나는 이 시기에 반드시 필요한 자기주도적 평생학습을 유도하여, 지역사회가 필요로 하는 것과 의과대학을 졸업한 사람이 갖춘 것 사이의 간극을 줄여준다는 지지를 받고 있다. 여러 문화권 사이에 '공통의 가치'가 있을 것이라는 주장에 대한 반박은 거의 무시되곤 한다. 세계화는 교육법의 표준화를 가져왔고, 서로의 문화적 차이에 대해서는 큰 관심을 주지 않았다. 의학교육 외적 영역의 연구에서 문화의 차이가 학습의 차이를 가져오고, 교육법의 선호에도 차이를 가져온다는 것이 보여진 바 있다. 따라서 '전세계적으로 적용가능한'교육방법임을 가정한 교육방법은 다른 문화권에서는 맞지 않을 수도 있다. 

It is generally acknowledged that education methods reflect cultural and ideological values.1–3 Addressing the cross-cultural implications of this notion is increasingly urgent in view of the continuing dissemination of education methods around the globe. The globalisation of student-centred methods, including problem-based learning (PBL), is particularly widespread.4,5 These methods are advocated, particularly in medical education, for their ability to foster self-directed lifelong learning, which is considered indispensible in light of the rapid growth in medical information and the discrepancies between medical graduates’ competencies and communities’ needs.6,7 Counterarguments that the assumption of shared values across cultures may be false seem to be largely ignored.8 Driven by ideological or other motives, the globalisation movement promotes the standardisation of education methods and practices across cultures, apparently with little regard for cultural differences.9,10 Research outside medical education has revealed differences between cultures in students’ learning and preferences for educational approaches.11–13 Consequently, the cultural origin of a supposedly ‘international’ educational approach may compromise its suitability for other cultural contexts.3

서양 문화의, 학생 중심적, 문제 중심적 방법은 진정으로 '만국 공통의' 것은 아니다. 또한 이 방법이 비-서양문화권에서도 통하느냐에 대한 물음이 항상 있어왔다. Gwee와 Khoo는 PBL의 교육원칙을 따르기에 아시아 문화권은 어려울 수 있다고 언급하며, 이 간극을 좁힐 수 있는 방법에 대해 언급한 바 있다. 여러 문화권에 걸친 PBL의 적용가능성에 대한 연구를 보면, 학생과 교수들의 긍정적 반응도 있지만, 서양에서 이뤄지는 것과 차이가 있는 점도 언급되고 있다.

Rooted in Western culture, student-centred, problem-based methods may not be of a truly international nature3,14 and their compatibility with non-Western cultures has been questioned.15 Gwee5 and Khoo16 pointed to Asian cultural attitudes that might be difficult to reconcile with the educational principles of PBL, but also noted attitudes that might mitigate this discrepancy. The few empirical studies into the cross-cultural applicability of PBL reported positive views among students and staff,6,7,17,18 but also noted problems and assumed differences with Western practice.17–19 

대부분 이런 연구는 PBL의 implementation phase에 국한되어 있거나, 아시아에서 한 기관/국가/지역에서 적용된 직후에 이뤄진 경우가 많다. PBL의 여러 문화권에 대한 적용가능성 연구는 더 많은 문화권과 PBL을 구성하는 여러 단계에 대해서 시행될 필요가 있다. 의학교육에서 문화간 차이의 역할을 제대로 이해하기 위해서는 ‘comparative studies of educational values and practices in different cultures and countries’가 필요하다. 

Most of these studies were limited to the implementation phase of PBL or shortly thereafter and to single institutions, countries or regions, mainly in Asia. Researchers of the cross-cultural applicability of PBL might cast their nets wider to include more cultures and look beyond the implementation stage of PBL. A sound understanding of the role of cross-cultural differences in medical education calls for ‘comparative studies of educational values and practices in different cultures and countries’.8 

이러한 관점에 따라 우리는 PBL을 도입한 세 학교에서 cross-cultural research를 진행하고자 한다. 우리는 첫 번째 연구에서 학생들이 PBL tutorial동안 학생들의 의사소통 행동양상이 cross-cultural problem의 원인이 될 수 있음을 지적한 바 있다.

In response to this call, we are conducting a cross-cultural research project on PBL, after its implementation, in three medical schools in, respectively, East Asia, the Middle East and Western Europe. Our first study showed that students’ communicative behaviour during PBL tutorials is a potential source of cross-cultural problems as a result of a significant impact of hierarchical relations, group relations, concern with loss of face, a focus on achievement and competition, and feelings of uncertainty (J.M. Frambach, E.W. Driessen, P. Beh & C.P.M. van der Vleuten, unpublished manuscript, 2012).

이번 연구는 PBL의 주요 교육적 원칙인 '자기주도학습'에 어떻게 문화적 요소가 작용하는가를 보고자 한다. 이 원칙이 '서구에서의 민주주의, 개인주의, 평등주의'에 기반했다는 주장이 있다. 아래와 같이 정의된다.

The present study investigates whether and how cultural factors affect one of PBL’s main educational principles: self-directed learning (SDL).20 It has been argued that this principle relies strongly on ‘Western ideals of democracy, individualism and egalitarianism’.21 It is defined here as:

‘…the preparedness of a student to engage in learning activities defined by himself rather than by a teacher. “Preparedness” must be understood as having both a motivational aspect and involving skilled behaviour. Thus, an accomplished self-directed learner experiences an intrinsic need to acquire knowledge, not dominated by requirements set by his teachers. In addition, he has mastered the appropriate information seeking skills, that is: he knows where and how to find information resources that would fulfil his need.’22

문화는 "shared motives, values, beliefs and identities of members of collectives"로 정의된다. 우리는 교육환경 및 학습자의 과거 경험과 같은 다른 맥락적 요소들도 고려하였다. social cultural approach를 사용하였으며, socio-cultural theorist는 인간이란 지속적으로 환경에 의해 변화하며, 그것을 내재화한다고 주장한다. 반대로 인간들은 그들에게 내재한 생각과 가치를 '외면화'함으로서 환경을 변화시킨다. 우리는 PBL의 여러 문화간 적용가능성을 알아보기 위해서 다음과 같은 질문을 던졌다.

Culture is defined as the shared motives, values, beliefs and identities of members of collectives.13 We also examine other contextual factors that may be of influence, such as the education setting and students’ past experiences.21 We use a socio-cultural approach23,24 to obtain a comprehensive picture of how cultural, societal and other contextual factors affect students’ development as self-directed learners, because a socio-cultural perspective is assumed to encompass the cultural and contextual environment.1,25 Socio-cultural theorists state that humans are continuously influenced and shaped by their environment as they ‘internalise’ its norms and characteristics.26,27 Conversely, humans influence and transform their environment by ‘externalising’ their inner ideas and values.27 We expected to gain insight into the cross-cultural applicability of PBL by exploring the following research questions: 

• How do students across different cultural contexts internalise the principle of SDL? (How does it shape them?) 
• How do students externalise their cultural background to the process of SDL? (How do they shape it?)

Methods

Setting

A qualitative, comparative case study was conducted in two non-Western and one Western medical school. Nine medical education experts with ample international experience suggested medical schools that met our criterion of a school in a non-Western setting in which PBL has been a substantial teaching method for over 5 years. A medical school in Hong Kong and a medical school in the Middle East were selected and found willing to participate. As the latter school wished to remain anonymous, we refer to its regional rather than its national location. The Western medical school, in the Netherlands, was selected on pragmatic grounds because three of the authors are affiliated to it and it met the criterion for the use of PBL. Ethics approval was granted by the ethics review boards of the Hong Kong and Middle Eastern medical schools. At the Dutch medical school, formal ethics approval is not required for education research.

Data analysis

Using the thematic approach of template analysis,28 a succession of coding templates, consisting of hierarchically structured themes, were applied to the data (Fig. 1). atlas.ti Version 6.2 (Scientific Software Development GmbH, Berlin, Germany) was used for the coding. All steps and decisions were documented in an audit trail. The first two coding steps were conducted independently by the first two authors. They developed an initial template after coding a subsample of the interview transcripts using preliminary themes. While analysing half of the transcripts, they developed a final template, which was iteratively applied to the same transcripts. Agreement on the occurrence and interpretation of themes was reached through discussion.

Based on an initial interpretation of the results and on comparisons between the schools and between Year 1 and 3 students across and within the schools, a focused template was developed. While analysing the remaining interview transcripts, field notes and observation sheets, summaries of the collected documents and the research journal with this template, we also looked for disconfirming evidence. A final interpretation led to the creation of a comprehensive picture representing how students’ cultural backgrounds and the process of SDL shape one another.

Results

중동의 불확실성, 그리고 전통

Uncertainty and tradition in the Middle East

Middle Eastern students expressed more feelings of uncertainty as a cultural factor compared with Dutch and Hong Kong students. Their uncertainty and difficulties in adapting to SDL were related to sharp contrasts between PBL and their prior educational experiences. Rather than feeling motivated, many students felt lost and unable to find appropriate information to address their learning objectives. Uncertainty was related to experiences of traditional, teacher-centred secondary education, but also to a culturally determined focus on tradition. Middle Eastern respondents referred to their society’s respect for the ‘old ways’ and wariness regarding innovations. As they became used to PBL, however, their attitudes changed significantly. Students came to support the principle of SDL and information seeking became less problematic, although students still felt PBL was not easy and wanted more guidance:

홍콩의 융합과 위계

Hybridism and hierarchy in Hong Kong

From the outset, finding information was less difficult for Hong Kong students. As topics of tutorials were also covered in lectures in the hybrid curriculum, identifying learning needs and developing information-seeking skills were less relevant to Hong Kong students. They showed little awareness that PBL was intended to foster SDL. 

Whereas the lectures covered the basic sciences, the Hong Kong tutorials focused more on clinical reasoning skills. By contrast, the Dutch and Middle Eastern students had to rely on tutorials for most of their knowledge. The Hong Kong students often felt the tutorials repeated the content of lectures, which some appreciated as providing a useful opportunity for revision and a chance to apply their knowledge to a clinical case, but others considered a waste of valuable study time:

여러 문화간 성취와 평가

Achievement and assessment across cultures

Middle Eastern and Hong Kong students characterised themselves and their respective societies as competitive and described themselves as striving for success and to be the best. They felt pressured to pass examinations and rank among the top students:

Dutch students were also examination-focused, although their responses during interviews suggested a lower level of culture-related focus on achievement and success compared with the other two cohorts. The general feeling among the three groups of students was that they valued PBL only for its contribution to their examination preparation. This depended on examination content. 

In Hong Kong, examination content was mainly determined by lectures. 

In the Middle Eastern and Dutch schools, it depended more on PBL tutorials. 

However, particularly in the Middle Eastern school, the inclusion of additional topics caused students to concentrate on these predetermined additional topics and their lecture notes more than on identifying and addressing their individual learning needs. Even if they supported and understood the principle of SDL, achievement and assessment took priority, directing their attention and efforts away from SDL to examination content:

Discussion

This study of cross-cultural differences in PBL education practice explored how students in three different cultural contexts internalised the PBL principle of SDL and externalised their cultural background to the PBL process. 

학생들은 문화적 요소를 외면화 하였고, 이는 PBL의 목표인 SDL과 상충하였다.

Students externalised cultural factors that conflicted with cultural values residing in the PBL goal of SDL.

• Feelings of uncertainty about the independence required in SDL, 
• a focus on tradition that impeded the uptake of a new approach to learning, 
• a dependence on hierarchical sources rather than oneself or one’s peers, and 
• pressure to achieve rather than an intrinsic motivation to learn posed challenges to non-Western students in particular. 

이는 앞선 연구와 유사한 결론이다. 불확실성/전통/위계/성취에 대한 강조는 서구보다 비서구에서 더 두드러진다.

This is consistent with previous reports that similar factors interfered with non-Western students’ development of critical discussion behaviours in PBL (Frambach et al, unpublished manuscript, 2012). Uncertainty, tradition, hierarchy and achievement have often been identified as more prominent in non-Western than in Western cultures.29–31 This suggests a certain incongruity between PBL and non-Western cultures, which complicates the straightforward transfer of PBL to such cultural contexts.

그러나 문화적 요소가 모든 것을 설명하는 것은 아니다. 전통/교수자중심 secondary education/융합 교육과정/PBL에서 다뤄지지 않은 시험내용 등이 학생들이 자기주도적학습을 하는 것을 더 어렵게 만든다.

However, cultural factors clearly do not explain all of the discrepancies in findings between the respective contexts. 

Several contextual factors, such as a traditional, teacher-centred secondary education, a hybrid curriculum and examination content not covered during PBL sessions further complicated students’ development of SDL skills. 

• For example, the secondary school education system in Hong Kong is very much based on knowledge acquisition and rote learning to pass examinations. Because teachers and recommended textbooks serve as the main sources of information, there is little opportunity for SDL. Therefore, it is not surprising that current Hong Kong medical students remain dependent on teachers and lectures for their learning. 
• However, this may change in the future in response to education reform taking place in Hong Kong high schools, which emphasises SDL by students as a major educational goal.

앞선 연구결과와 마찬가지로 여기서도 자기주도적학습을 비롯한 다른 PBL기술들이 PBL이 적용되는 맥락에 따라 달라진다는 것을 확인할 수 있었다. 자기주도적학습이 PBL이 도입된다고 자동적으로 일어나는 것은 아니다. 그렇게 할 수 있게 만드는 환경을 만드는 것이 중요하다. 실제로 1학년 학생을 적절한 안내 없이 PBL만 시키면 오히려 '생존'을 위하여 튜터, 사전에 정해진 학습목표, 단순암기식 학습에만 집중하게 된다. 이러한 결과는 본 연구에서 드러난 바와 같이 서로 다른 문화권임에도 (정도의 차이는 있지만) 유사한 행동방식/니즈/선호를 언급한 것과도 관련이 있다.

Our findings support earlier comments that the development of SDL and other PBL skills depends heavily on the context in which PBL is applied.21 Research suggests that SDL does not occur automatically when PBL is implemented. Carefully considered and focused efforts are needed to shape a propitious context.32,33 In fact, exposing Year 1 students to the independent learning environment of PBL without providing them with adequate guidance may, rather than promoting the development of SDL skills, cause them to become severely dependent on tutors, predetermined learning objectives and on rote learning in order to ‘survive’.32,33 This is supported by our findings that students across three different cultures, albeit to different degrees, mentioned similar behaviours, needs and preferences with regard to...

• alleviating uncertainty, 
• consulting senior students, 
• asking for tutor guidance and 
• focusing on examination content.

Rethinking the globalisation of problem-based learning: how culture challenges self-directed learning.

Use of online clinical videos for clinical skills training for medical students: benefits and challenges

Hye Won Jang1 and Kyong-Jee Kim2*

Background

OSCE를 활용한 평가에 많은 비용을 투자하고 있음

Having students acquire competency in basic clinical skills is an important goal of medical education. As such, medical schools offer OSCE (Objective Structured Clinical Examination) to evaluate students for their clinical skills and they spend a significant amount of time self-studying clinical skills [1]. Therefore, it is important that medical schools offer students learning resources to support their self-study of clinical skills.

의사국가고시에 실시기험이 도입된 이후 e-learning이 도입되었음.

There has been a growing emphasis on improving the teaching and learning of clinical skills in Korean medical education as OSCE has become part of the national licensing examination since 2009. There have been challenges in medical schools to reform their curriculum on clinical skills as it requires a great deal of resources. As a response to this issue, e-learning has been adopted in Korean medical schools. The present study aims to investigate student experiences of using e-learning to learn clinical skills and to identify areas for improvement to advance the theory and practice of e-learning for clinical education.

E-learning의 유용성에 대한 연구

Research shows that e-learning is effective in supporting clinical education. 

• People learn effectively from multimedia instructions, and they are of particular importance for medical education [2]. 
• Furthermore, educational videos afford us “to capitalize on the ability of moving images to teach procedures requiring skilled techniques and specialized physical examination [3].” 
• Accordingly, video demonstrations of clinical skills have shown to improve learning of clinical skills [4-10] and 
• medical students appreciate the availability of such learning resources [11,12].

다양한 형태의 e-learning이 있음. 그러나 어떻게 효율적 활용을 도울 것이며, 어떻게 교육과정에 통합시킬 것인가에 대한 연구 부족. 학습자에게는 기회이자 도전임.

Various formats are available for e-learning in clinical education. Among them, offering online videos on clinical skills (i.e., OSCE videos) is a popular format. Although the effectiveness of OSCE videos in learning outcomes are known, there is lack of research on how to make more effective use of them. Furthermore, there is little guidance on how to integrate e-learning into the curriculum despite the recommendation that information technology resources be integral part to supporting the clinical skills curriculum [13]. Use of technology presents both opportunities and challenges to learners [14]. Therefore, the present study investigated student experiences of the use of OSCE videos to identify benefits and challenges of e-learning in clinical skills training. In doing so, this study aims to inform the practice and theory to make more effective use of these resources.

OSCE비디오의 장점에 대해서 그 효과를 본 연구들이 있다. (1)OSCE비디오 활용과 자기효용성, 불안, 준비된 정도의 관계를 보고 (2)모바일기기 활용에 대한 인식 등을 보고자 한다.

In terms of the benefits of OSCE videos on student learning, the present study investigated the impact of using OSCE videos on factors that are known to be associated with student performance in OSCE. 

• The literature suggests that self-efficacy, anxiety, perceived level of preparedness for OSCE can predict the student’s performance in OSCE [15,16]. Thus, the present study investigated the association between the number of OSCE video clips students viewed and their self-efficacy, anxiety, and preparedness for OSCE. 
• Additionally, the present study investigated the use of mobile devices for using OSCE videos. With the development of information and communication technologies, the use of mobile devices in medical education is becoming increasingly popular [14,17]. Yet, research is still scant on how students perceive the mobile learning environment. Therefore, the present study examined student experiences of the mobile learning environment in using OSCE videos.

In the present study, students had access to OSCE videos offered by the Korean Consortium for e-Learning in Medical Education. This organization was formed to develop peer-reviewed online learning resources for medical students and launched an e-learning portal named e-MedEdu (http://www.mededu.or.kr webcite) (see Figure 1). This website offers various types of learning resources, including approximately 300 video clips demonstrating basic clinical skills, such as clinical procedures and physical examination skills. These video clips include narrations and captions for instructions and are usually 10–20 minutes in length. These video clips are streamed live. More detailed information about e-MedEdu is provided elsewhere [18]. This e-learning portal has also been available in mobile applications on both Android and iPhone platforms since Spring, 2011.

Methods

A mixed-methods study was conducted for this study. 

• A 30-items questionnaire was administered to investigate student use and perceptions of OSCE videos. Year 3 and 4 students from 34 Korean medical schools who had access to OSCE videos participated in the online survey. 
• Additionally, a semi-structured interview of a group of Year 3 medical students was conducted for an in-depth understanding of student experience with OSCE videos.

Results

411 students from 31 medical schools returned the questionnaires; a majority of them found OSCE videos effective for their learning of clinical skills and in preparing for OSCE. The number of OSCE videos that the students viewed was moderately associated with their self-efficacy and preparedness for OSCE (p < 0.05). One-thirds of those surveyed accessed the video clips using mobile devices; they agreed more with the statement that it was convenient to access the video clips than their peers who accessed the videos using computers (p < 0.05). Still, students reported lack of integration into the curriculum and lack of interaction as barriers to more effective use of OSCE videos.

Conclusions

The present study confirms the overall positive impact of OSCE videos on student learning of clinical skills. Having faculty integrate these learning resources into their teaching, integrating interactive tools into this e-learning environment to foster interactions, and using mobile devices for convenient access are recommended to help students make more effective use of these resources.

Use of online clinical videos for clinical skills training for medical students: benefits and challenges.

PMID:

 

24650290

 

[PubMed - in process] 

PMCID:

 

PMC3994418

 

Free PMC Article

Blended learning approach improves teaching in a problem-based learning environment in orthopedics - a pilot study

David A Back1,2,7*, Nicole Haberstroh3, Andrea Antolic4, Kai Sostmann5, Gerhard Schmidmaier6 and Eike Hoff3,7

Discussion

BMC Med Educ. 2014 Jan 27;14:17. doi: 10.1186/1472-6920-14-17.

Blended learning approach improves teaching in a problem-based learning environment in orthopedics - a pilotstudy.

Students’ perceptions of early patient encounters in a PBL curriculum: A first evaluation of the Maastricht experience

AGNES D. DIEMERS1, DIANA H. J. M. DOLMANS1, MARIJKE VAN SANTEN2, SCHELTUS J. VAN LUIJK3, AMEIKE M. B. JANSSEN-NOORDMAN1 & ALBERT J. J. A. SCHERPBIER1

1Maastricht University, 2University Hospital Maastricht, 3VUmc, Amsterdam, at the time of the study Maastricht University, The Netherlands

Introduction: Real patient encounters before the clinical phase of undergraduate medical education are recommended to stimulate integration of theory and practice. Such encounters are not easy to integrate into the three phases of the problem-based learning cycle, i.e. preparation, self-study and reporting. The authors studied students’ perceptions of problem-based learning with real patient encounters as the starting point for learning.

Method: Students’ perceptions of the programme with real patients were evaluated by means of a questionnaire. Mean item scores on a five-point Likert scale and 95% confidence intervals were calculated.

Results: Students showed satisfaction with the patient encounters and said they learned a lot from them. Reporting was also highly rated, particularly the integration of theory and practice. Preparation and self-study received lower scores.

Discussion: The findings support the view that real patient encounters can act as a powerful driving force for learning and enhance integration of theory and practice. Student learning might benefit from: better information to students and teachers regarding educational objectives, teacher training and careful selection of patients. In order to gain more insight into learning from patient encounters, further studies should address students’ and teachers’ views and behaviours in respect of this type of learning.

Introduction

PBL의 취지와 예상되는 이점에도 불구하고, 학생들은 이론적 지식을 실제 환자에 연결시키기 어려워하고 있으며, 실제 환자를 임상실습교육기간보다 이전에 만나는 것이 이 문제의 해결법으로 제시되었다.

Problem-based learning (PBL) is increasingly being used as an educational approach in medical education. It is supposed to ‘promote the transfer of concepts to new problems and the integration of basic science concepts into clinical problems’ (Norman & Schmidt 1992). Despite this assumed benefit, students in a PBL curriculum have reported difficulty in applying theoretical knowledge to real patient problems when making the transition from preclinical, mainly theoretical courses to clinical training during the clerkships (Prince et al. 2000; 2005). Contacts with real patients during the preclinical phase have been proposed as a solution to this problem (Prince et al. 2000; 2005).

문헌을 통해서도 조기 환자접촉의 효과가 확인되고 있다. 실제 환자의 맥락 속에서 이론을 배울때 'more relevant'해지고 'easier to learn'해진다. 또한 학습의 강력한 원동력이다.

Reports in the literature concerning the use of early patient encounters in PBL have confirmed the beneficial effects of such encounters (O’Neill et al. 2000; 2002; Dammers 2001). New knowledge is better internalized when students can relate it to a real patient (Prince et al. 2000). When students learn theory within the context of real patients, it becomes ‘more relevant’, and is ‘easier to learn’ and easier to remember (Norman & Schmidt 1992; Dornan & Bundy 2004; Littlewood et al. 2005). Furthermore, when real patients are used as the starting point for learning, they act as a powerful driving force for meaningful and profound learning (Norman & Schmidt 1992; Prince et al. 2000; Parsell & Bligh 2001; Dornan & Bundy 2004; Littlewood et al. 2005).

그러나 실제로 환자 접촉을 의학 교육과정에 넣는 것은 가볍게 될 일도 아니고, 그 성공이 담보되는 것도 아니다. 주요하게 거론되는 문제로는 환자의 문제를 교육과정의 주제와 맞추기도 어렵고, 핵심 교육과정을 포괄할만큼 충분한 사례를 확보하는 것도 어렵다.

The actual implementation and integration of patient contacts in medical curricula is an undertaking that should not be embarked upon lightly and success is not to be taken for granted. The main problems reported in the literature are matching patient problems to course themes and expected difficulties in selecting sufficient numbers of suitable cases to ensure coverage of the core curriculum (Bokhoven et al. 1998; O’Neill et al. 2000; 2002; Mainhard et al. 2004). 

또 다른 문제는 학생들이 이론과 실제의 의미있는 연결고리를 찾기를 어려워한다는 것이다. 실제 환자를 만나게 하는 것이 자동적으로 학생들로하여금 환자가 가진 문제의 기전(병태생리)를 학습하게 하지는 않았다. 이 연구에서 학생들은 환자와 학습을 적절하게 연결시키지 못했다고 말했으며, 그 연결이 어떤 것인지가 '제시될' 필요가 있다고 했다. 또한 Eva는 학생들이 자동적으로 analytic reasoning을 사용하지 않으며, 환자의 문제가 어떻게 기초과학과 연결되는지 분명한 교육을 받을 필요가 있고, 여러 문제간 비교를 해줄 필요가 있다고 주장했다.

Another potential problem is students having difficulty identifying meaningful links between theory and practice. One study reported that confrontation with real patients in the curriculum did not automatically result in medical students studying the pathophysiology underlying patients’ problems (van der Wiel et al. 1999). In that study, students said that they did not make the connection between patients and learning of their own accord and that they needed ‘to be shown those links’ (van der Wiel et al. 1999). Additionally, Eva (2004) argues that students do not spontaneously use analytic reasoning, but should be explicitly instructed to link the problems presented by the patient to basic science and make comparisons across problems.

조기 환자접촉과 PBL이 가진 교육적 잠재력을 합해내려면 환자 접촉을 PBL사이클에 적절하게 포함시킬수 있는 방법이 필요하다. PBL 사이클을 세 단계로 이뤄진다. 준비-자습-보고. 우리는 준비 단계 이후에 환자를 접촉하는 과정에 대한 연구를 했고, 연구의 목적은 이 4단계 PBL사이클에 대한 학생들의 평가는 어떠한지 보고자 하는 것이다.

In order to realize the combined educational potential of early patient encounters and PBL, a way has to be found to effectively integrate real patient encounters into the PBL cycle. The PBL cycle generally comprises three phases: preparation, self-study and reporting. We studied a course in which real patient encounters were incorporated into the PBL cycle immediately after the preparation phase (Figure 1). The aim of our study was to evaluate students’ perceptions of their learning organized around this four-phase PBL cycle, in which a real patient encounter was introduced as a driving force for student learning.

교육적 배경 Educational background

2001년 Maastricht 의과대학의 6년제 PBL교육과정에 전방위적 개혁이 이뤄졌다. '낡은'교육과정은 명확히 구분되는 두 개 시기로 나눠져있었다 (4년 전임상실습, 2년 임상실습). 새로운 교육과정의 목적은 학생들이 실제 환자와의 경험을 조기에 할 수 있도록 하는 것이다.

In 2001, extensive innovations were introduced into the six-year PBL curriculum of Maastricht Medical School, the Netherlands. The ‘old’ curriculum consisted of two distinct phases: a four-year preclinical phase in which PBL tutorials were the predominant educational method and two years of mainly hospital-based clinical clerkships. One of the aims of the new curriculum is to offer students experiences with real patients earlier in the curriculum. 

이를 위해 3학년에서 실제 환자와의 잦은 접촉 기회를 포함시켰고, 새로운 3학년 교육과정의 주제는 '만성질환' 이었다. 이 주제는 크게 네 개의 클러스터로 나눠진다. 매주 학생들은 외래 클리닉에서 환자를 본다. 환자와의 접촉은 PBL사이클의 시작점이고, 각 사이클은 일주일간 진행되며 10명의 학생과 학생들의 코치가 함께하는 4시간짜리 tutorial, 모든 학생들의 환자 접촉, 환자 접촉과 다음 tutorial 사이의 자습시간으로 구성된다. 

In Year 3 this is realized by the introduction of frequent real patient encounters. The theme of the new Year 3 is Chronic Diseases. This theme is divided into four subject clusters, i.e. abdominal region, locomotor system, circulation & lungs and psychomedical problems & mental healthcare. Every week students see a patient in the teaching outpatient clinic at University Hospital Maastricht. The patient encounters are the starting point for learning in the PBL cycle. Each cycle lasts a week and comprises one four-hour tutorial attended by 10 students and their coach, patient encounters for all students, and self-study between the patient encounter and the next tutorial. 

우리는 PBL의 첫 phase를 둘로 나누었다. 하나는 준비시기로, 학생들이 환자 대면을 준비하고 사전 지식을 모으는 단계이다. 환자 대면 시기는 학생들이 짝을 이뤄서 실제 환자를 만나는 것이다. 이 환자 대면으로부터 학생들은 자습할 학습 주제를 찾는다. 

We divided the original first phase of PBL tutorials into two phases: the ‘preparation phase’ in which students prepare for the patient encounter and activate prior knowledge and the ‘patient encounter phase’ in which students, in pairs, meet a real patient instead of a paper patient. From this encounter students derive learning issues for self-study. 

그 결과 네 개의 연속된 시기가 PBL사이클을 구성한다.

As a result, four consecutive phases can be discerned in the PBL cycle. 

The preparation phase takes up the last hour of the tutorial, 

the patient encounter phase is scheduled one or two days after the tutorial, (튜터리얼 1~2일 후)

the self-study phase covers the time between the patient encounter and the tutorial in the next week, and 

the reporting phase takes place during the first three hours of the tutorial. 

PBL사이클은 3학년의 주요한 교육요소이며, 강의자, 술기훈련, 그 외 다른 교육활동으로 보충된다. 이 네 phase의 내용은 아래에서 더 자세히 다룬다.

The PBL cycle is the main educational component of Year 3 and is complemented by lectures, skills training and other educational activities. The content of the four phases will now be discussed in some detail.

1. Preparation phase

The students are given the GP’s letter of referral or a vignette (Box 1) describing the problem (or a similar problem) of the patient they will see in the outpatient clinic. The patient problems are elaborated on by the group in order to activate the knowledge gained during the preceding two years of the curriculum. During elaboration, attention is also being paid to history-taking and physical examination. The students then generate learning issues and decide what to study in preparation for the patient encounter.

2. Patient encounter phase

One or two days after the preparation phase, student pairs go to the outpatient clinic where they take a history and perform a physical examination of a patient. After about 30 minutes, when history and physical examination are finished, the students consult the patient’s attending physician, who acts as their ‘clinical supervisor’. The students and the clinical supervisor then return to the patient to complete the consultation. The role of the clinical supervisor is to guide the students in generating learning issues on the basis of the problem presented by the patient and to give the students feedback on their performance.

3. Self-study phase

During the self-study phase the students work on the learning issues derived from the patient encounter. They make use of a variety of learning resources, such as books, skills training, lectures and so on. The student pairs prepare a clinical presentation on ‘their patient’ to present to the group during the reporting phase.

4. Reporting phase

This phase is partly devoted to the patient presentations, which consist of a report on history, physical examination, differential diagnosis and management plan. The presentation is followed by a discussion of what the students have learned during the patient encounters and self-study phase. The purpose of this phase is to promote integration of theory and practice. Students apply their newly acquired knowledge to the patient problems.

The coach and the clinical supervisor are both clinical staff members of the disciplines involved in the Year 3 programme. Both have had two hours’ training in advance in which it is explained to them how to guide the session as a coach and clinical supervisor.

Instruments

For this study we analysed the results of the anonymous questionnaire of the regular curriculum evaluation, which is administered routinely to all students at the end of each cluster (Appendix 1). This means that each student could complete four questionnaires over the course of the year. The questionnaire is identical for the four clusters and consists of 10 statements with a five-point Likert scale (1=fully disagree, 5=fully agree): two statements about the preparation phase, three about the patient encounter phase, two about the self-study phase and three about the reporting phase. An example of a statement about the preparation phase is: ‘The tutorials provided sufficient preparation for the patient encounters.’ An example of a statement about the patient encounter phase is: ‘I learned much from the patient encounters.’

Analysis

Data were analysed using the Statistical Package for Social Sciences (SPSS version 12.0.1). Mean item scores across all students were calculated for each cluster separately. In this way 10 scores were obtained for each of the four subject clusters. Mean scores below 3.0 were considered unsatisfactory and indicative of a strong need for improvement. Mean scores of 3.0–3.4 were considered borderline, i.e. necessitating some improvement and mean scores of 3.5 or higher were considered good. We determined 95% confidence intervals (95% CI) for the mean item scores to determine whether a score differed significantly (p < 0.05) from 3.5.

Conclusions and discussion

Overall, students appear to be satisfied with the patient encounter phase and indicate that they learn a great deal from it. This supports Dornan’s (Dornan & Bundy 2004) findings that early patient contacts have the potential to enhance learning. The reporting phase is also rated highly. Students strongly agree that the patient encounters are discussed adequately during this phase. This positive view is reinforced by the relatively high scores concerning connecting theory and practice. These results are indicative of positive effects of the early introduction of real patient encounters in a PBL curriculum (Dornan & Bundy 2004). This can be seen as support for the view that real patient encounters can act as a powerful driving force for meaningful and profound learning (Norman & Schmidt 1992; Prince et al. 2000; Dornan & Bundy 2004; Littlewood et al. 2005). It should be taken into account, though, that further research is needed to further investigate the value-added of real patients in PBL.

Students' perceptions of early patient encounters in a PBL curriculum: a first evaluation of the Maastrichtexperience.

The findings support the view that real patient encounters can act as a powerful driving force for learning and enhance integration of theory and practice. Student learning might benefit from: better information to students and teachers regarding educational objectives, teacher training and careful selection of patients. In order to gain more insight into learning from patient encounters, further studies should address students' and teachers' views and behaviours in respect of this type of learning.

일개 의과대학 학생들의 개인적 특성에 따른 팀바탕학습 인식도 조사

가천대학교 의학전문대학원 1의학교육실, 2흉부외과학교실

박귀화1, 최창휴2, 전양빈2, 박국양2, 박철현2

서론

팀바탕학습(team-based learning, TBL)은 문제바탕학습(problem-based learning, PBL)과 달리 경영학에서 시작된 교육방법이지만, 국내외 의과대학에서 점차 그 활용도가 높아지고 있는 교육방법 중 하나이다[1]. TBL은 PBL과 마찬가지로 소그룹 학습을 근간으로 학습자 주도의 적극적 학습 참여가 가능한 교육방법이면서[2], PBL과 달리 대규모 강의실에서 개별 교수가 소그룹 학습을 이끌어 갈 수 있다는 점에서 PBL에 비해 큰 장점이 있다.

의학교육에서 TBL을 주제로 한 기존 연구는 주로 특정 과목에서 TBL을 운영한 후 학생 들의 TBL에 대한 만족도나 인식도를 조사하거나[3,4,5], 학업성취도의 변화[3,5,6,7]를 알아보는 것에 초점을 맞추었다. 이러한 연구 결과에서 TBL은 팀워크를 강화하고[4], 학습 내용의 이해와 장기 기억에 도움이 되며[8], 문제해결능력과 임상추론능력을 향상시키며[4],전문직업성 개발[3]에 유용한 교육방법으로 보고되고 있다. 또한 TBL은 전통적인 교육방법에 비해 학생들의 학업성취도를 향상시키며[5,7], 이는 의사국가시험에서도 의미 있는 좋은 결과가 있는 것으로 보고되고 있다[7]. 

그러나 모든 교육 방법에 장단점이 있듯이 모든 학습자들이 TBL을 긍정적으로 평가하며, 그 과정에서 긍정적인 학습경험을 하는 것은 아니다[9]. TBL을 긍정적인 학습경험으로 인식하고 효과적이고 우수한 수행을 보이는 팀도 있지만[10], 그렇지 않은 팀들도 존재한다[11].

또한 TBL은 팀 활동을 기본으로 하기 때문에 팀 활동 과정을 구성하는 요인인 대인관계 이해도와 팀 과제 해결을 위한 적극적 태도가 TBL을 긍정적인 학습경험으로 인식하는 데 영향을 줄 수 있다[14]. 

정의적 특성 이외에도 학업능력과 같은 지적 수준에 따라 TBL을 인식하는 정도에 차이가 있다. 간호대학생의 경우 학업능력에 따라 TBL 인식에 차이가 없었으며[10], 의과대학생이나 치과대학생의 경우 학업능력이 높은 학생들이 낮은 학생들에 비해 TBL에 대해 긍정적으로 평가하거나[7], 학업능력 상위 집단은 팀바탕학습에 대한 만족도가 높다고 보고한

바 있다[6].

대상 및 방법

1. 대상

2. 연구 도구

1) TBL에 대한 인식도 조사

학생들의 TBL에 대한 인식도를 조사하기 위해 관련 문헌 고찰을 토대로 설문지를 구성하였다. 그리고 이 측정도구의 타당성을 검증하기 위해 실시한 요인 분석 결과에 따라 3개 요인으로 구성된 총 12개 문항을 구성하였다. TBL 인식도는 팀 스킬 향상(I, 5문항), 학습능력 향상(II, 4문항), 팀 학습 향상(III, 3문항)의 3개 요인으로 구성되었으며 전체 변량의 66.01%를 설명하였다.

2) 학업능력

학업능력이란 학과 공부를 성공적으로 수행할 수 있는 어휘적, 수리적 능력 및 논리적 사고력과 노력의 지속성 등을 총괄하는 학문적 경쟁력(academic competitiveness)을 말한다.

3) 팀 효능감

학생들의 팀 효능감은 Marshall [15]의 연구에서 사용된 8문항을 Kwon [14]이 번안한 것을 사용하여 측정하였다. 팀 효능감을 측정하는 설문 문항으로는 “나는 우리 팀이 팀 과제와 팀시험을 훌륭하게 해낼 수 있다고 자신한다,” “나는 우리 팀이 팀 안에서 활동하는 방법에 관한 지식을 갖고 있다고 확신한다” 등으로 구성되어 있다.

4) 대인관계의 이해

대인관계 이해는 Marshall [15]의 연구에서 사용된 대인관계의 이해 11문항을 Kwon [14]이 번안한 것을 사용하여 측정하였다.

대인관계의 이해를 측정하는 설문 문항으로는 “나는 다양한 배경을 가진 팀원들 모두와 팀 활동을 잘한다”와 “나는 우리 팀원들의 생각과 의견을 존중한다” 등으로 구성되어 있다.

5) 문제해결에서의 적극성

문제해결에서의 적극성은 Marshall [15]의 연구에서 사용된 문제해결에서의 적극성 8문항을 Kwon [14]이 번안한 것을 사용하여 측정하였다. 문제해결에서의 적극성을 측정하는 설문 문항으로는 “나는 과제를 해결하기 위한 해결책을 적극적으로 제시한다”와 “나는 팀 과제 수행 중에 문제가 발생하면 적극적으로 대안을 찾으려고 한다” 등으로 구성되어 있다.

결과

1. 성별에 따른 TBL 인식도 차이

2. 학업능력에 따른 TBL 인식도 차이

3. 팀 효능감 수준에 따른 TBL 인식도 차이

4. 대인관계 이해도 수준에 따른 TBL 인식도 차이

5. 문제해결의 적극성 수준에 따른 TBL 인식도 차이

6. TBL 인식도에 영향을 미치는 변인

고찰

본 연구에서는 학생의 개인적 특성에 따라 TBL 효과를 어떻게 인식하고 있으며, 그 차이가 있는지를 분석하여 TBL에서 팀을 구성하고 TBL의 효과를 증진시키는 데 필요한 기초자료를 제공하고자 하였다.

인구학적 특성 중 성별에서는 남학생이 여학생보다 TBL이 학습능력을 향상시키는 데 도움이 되었다고 인식하였다.

학업능력 상위집단의 학생들이 하위집단 학생들보다 TBL이 학습능력 향상에 도움이 되었다고 인식하였다. 이는 학업능력이 높은 학생들이 낮은 학생들에 비해 TBL에 대해 긍정적으로 평가하는 경향이 있다고 보고한 연구 결과와 일치한다[7]. 또한 한 연구에 의하면 학업능력에 따른 수업만족도에서 TBL은 성취도 상위집단에서, 강의방법은 하위집단에서 만족도가 높았다고 보고하였는데[8], 이는 본 연구 결과를 지지해 주는 결과이다.

TBL에서 어떠한 학습자 특성을 고려한 팀 구성이 학습 효과의 극대화에 영향을 미칠 수 있느냐가 관심이 되는데, 그 요인 중에 하나가 팀 효능감이다. 본 연구에서는 팀 효능감 상위집단의 학생들이 하위집단 학생들 보다 TBL이 팀 스킬 향상에 도움이 되었고, 팀으로 학습하는 것이 효과가 있다고 인식하는 것으로 나타났다. 팀 효능감이 높을수록 팀 학습에 적극참여하게 되고[19], 이는 TBL을 긍정적인 학습경험으로 인식하는 데 영향을 주었다고 할 수 있다.

효능감을 증진시키는 원동력에는 구체적인 성공경험이나 긍정적인 피드백 제공이 있다.

대인관계 이해도와 문제해결의 적극성 상위집단의 학생들이 하위집단 학생들 보다 TBL이 팀 스킬 향상에 도움이 되며, TBL을 긍정적인 학습경험으로 인식하는 것으로 나타났다.

회귀분석 결과에서는 문제해결에 적극성을 보이며, 팀 효능감이 높을수록 TBL을 긍정적으로 지각하는 것으로 나타났다. 즉, 여러 요인 중에서도 이 두 요인이 TBL 인식도를 유의미하게 설명해 주는 변인으로 나타났다.

Students' Perceptions of Team-Based Learning by Individual Characteristics in a Medical School

Kwi Hwa Park,1 Chang-Hyu Choi,2 Yang-Bin Jeon,2 Kook-Yang Park,2 and Chul-Hyun Park2

1Department of Medical Education, Gachon University School of Medicine, Incheon, Korea.

2Department of Cardiothoracic Surgery, Gachon University School of Medicine, Incheon, Korea.

Corresponding Author: Chul-Hyun Park. Department of Cardiothoracic Surgery, Gachon University School of Medicine, 38 Dokjeom-ro 3beon-gil, Namdong-gu, Incheon 405-835, Korea. Tel: +82.70.7120.7902, Fax: +82.32.464.4004, Email: cdgpch@gilhospital.com

Received December 13, 2012; Revised February 15, 2013; Accepted February 25, 2013.

(출처 : http://www.art.com/products/p14506535-sa-i2745089/self-control-einstein.htm)

(출처 : http://quotes-lover.com/picture-quote/only-one-thing-has-to-change-for-us-to-know-happiness-in-our-lives-where-we-focus-our-attention/)

삶의 행복이 무엇인지를 알기 위해서는 단 한가지만 바꾸면 된다 : 

'초점을 어디에 둘 것인가'

초점 영역(FOCUS OF ATTENTION)

운동기술를 가르치고 피드백을 할 때에 우리는 종종 '이러저러하게 움직여보라'라는 지침을 준다. 우리 몸의 어떤 부위가 어떻게 움직여야 하는지에 대한 설명을 하는 것이다. 예를 들면 매듭을 묶는 것을 가르칠 때 '오른 엄지와 검지는 계속 짧은 쪽을 잡고 있고 중지와 약지로 (blah blah..)'라고 하는 식이다.

Instructions and feedback for motor skill learning often involve references to the performer’s movements, describing how the movements of certain body parts should be coordinated with those of others in space and time. For example, instructions for tying a knot given to aspiring surgeons may include the following: ‘The right index finger and thumb continue to grasp the short end, as the middle and ring fingers are placed behind the short end to begin creating a loop. The left hand has begun to bring the long strand toward the surgeon.’26 

그러나 지난 여러 연구결과들을 보면 학습자의 특정 신체부위의 움직임을 지시하는 것은 비교적 그 효과가 떨어지는 것으로 나타난다. 오히려 특정 움직임이 그 환경에서 어떠한 결과(영향)로서 나타나는 것(외부에 초점을 두는 것, external focus)을 설명하는 것이 더 수행능력과 학습을 효과적으로 촉진한다는 것이 밝혀졌다.

Numerous studies in the past few years have demonstrated that instructions directing attention to performers’ movements – and referring to body parts such as fingers, hands, hips, head, etc. (inducing an ‘internal focus’ of attention) – are relatively ineffective. By contrast, directing attention to the effects of the individual’s movements on the environment (e.g. an implement) – inducing an ‘external focus’ – generally results in more effective performance and learning.27

복잡한 운동기술에 대해서 초점 영역(attentional focus)을 다룬 연구들이 많다. 공통적으로 밝혀진 것은 가르치는 사람이 말하는 방식(wording)의 변화를 약간만 줘도 수행능력과 학습에 엄청난 차이를 가져올 수 있다는 것이다. 예를 들어 골프채(club)과 팔이 조화롭게 움직여야 할 때, 골프채의 스윙(외부 초점)에 초점을 맞춰서 지도하는 것이 팔의 스윙(내부 초점)에 초점을 두고 지도하는 것보다 효과적임이 연구된 바 있다.

Many studies examining attentional focus effects have used complex motor skills. They have shown that a simple change in the wording of instructions can  have a significant impact on performance and learning. For instance, despite the fact that club and arm must move in synchrony, instructing golfers to focus on the swing of the club (external focus) has been demonstrated to lead to greater accuracy in shots than instructions to focus on the swing of their arms (internal focus) (Figure 2).28

농구, 배구, 다트, 축구에서도 공/다트 등의 궤적에 초점을 맞추는 것이 특정 신체 부위(손)에 초점을 맞춰 가르치는 것보다 더 효과가 좋았다.

Similarly, in basketball, 29 dart throwing,30 volleyball and soccer,31 wording instructions in a way that directs attention to the (anticipated) trajectory of the ball or dart, for example, leads to increased movement accuracy compared with instructions that refer to the body part (e.g. hand) producing that effect.

외부 초점에 집중하는 것은 다양한 전문성의 수준(전문가-아이-장애가 있는 사람)에서 효과가 있음이 확인되었고, 심리적 압박을 받는 상황에서도 효과가 있음이 확인되었다.

The advantages of an external focus have been shown for different levels of expertise and populations (including children and persons with motor impairments),33 as well as for performance under pressure.27

외부 초점에 신경을 쓰면 동작의 자율성을 촉진함으로서 학습 속도를 빠르게 할 수 있다. 구체적으로 말하면 특정 동작의 효과에 초점을 맞추는 것(외부 초점)은 무의식 또는 자동적 과정(automatic process)를 활성화시키는 반면, 내부 초점에 집중했을 때에 는 운동체계를 제한시켜서 자동 조절 능력이 제대로 작동하지 않는다.

An external focus of attention appears to speed up the learning process – or shorten the first stages of learning – by facilitating movement automaticity (‘constrained action hypothesis’).34 More specifically, a focus on the movement effect promotes the utilisation of unconscious or automatic processes, whereas an internal focus on one’s own movements results in a more conscious type of control that constrains the motor system and disrupts automatic control processes. 

또한 외부 초점에 집중했을 때 내부 초점에 집중하는 상황보다 미세한 동작 조절이나 집중력에 대한 요구도가 낮다는 연구 결과도 위의 내용을 잘 설명해준다. 외부 초점에 집중하면 좀 더 자동적이고, 반사적(reflex-type)으로 동작을 조절할 수 있기 때문이다. 근전도(EMG)로 같은 동작을 했을 때 활성도를 측정해보면 외부 초점에 집중한 경우 활성도가 낮아져 있어서 운동의 효율이 높아진 것을 확인할 수 있다.

Support for this view comes from studies showing reduced attentional demands when performers adopt an external as opposed to an internal focus, as well as a higher frequency of low amplitude movement adjustments, which is seen as an indication of a more automatic, reflex-type mode of control.34 Furthermore, electromyographic (EMG) activity for the same task has been found to be reduced when participants adopt an external focus29, indicating that movement efficiency is also enhanced.35

마지막으로, 내적 초점에 집중하는 것은 좀 더 자신에게 신경을 쓰게 하고, 자신에게 집중하게 함으로서, 결국 자기스스로 자신을 평가하게 해서(self-evaluation) 알게 모르게(implicit or explicit) 사고와 정서 반응을 조절하는 자기 통제 과정(self-regulatory process)를 활성화시킨다. 

Finally, the mere mention within the internal focus instructions of the performer’s body may act to increase self-consciousness, or self-focus, which in turn may lead to self-evaluation and activate implicit or explicit self-regulatory processes in attempts to manage thoughts and affective responses.36

이러한 연구 결과는 운동조절에 대한 요구도가 높고 섬세하게 움직일 필요가 있는 운동기술을 훈련시킬 때에 대한 시사점을 제시한다. 동작 그 자체에 대해 초점을 두는 것은 수행능력에 효과가 없다. 대신 어떤 동작으로 인한 효과에 집중하는 것이 효과성이나 효율성에 있어서 더 나은 결과를 가져다준다.

These findings would appear to have implications for the training and performance of motor skills that have high motor-control demands and require precisely coordinated movements. A focus on the movements per se (e.g. on hand or fingers) would be expected to be detrimental to performance. Instead, directing attention to the effect of the movement (e.g. on the suturing material, implement or incision site) should result in greater effectiveness and efficiency.

구체적으로 어떤 것이 이상적인 외부 초점인 것인가에 대한 의문이 있을 수 있다. 하지만 지금까지의 연구에 따르면 외부 초점의 이점이 매우 꾸준하게 증명되고 있으며, 많은 연구자들이 다양한 실험실 업무나 실제 환경의 연구에 대한 적절한 외부 초점을 밝혀내고 있는 중이다.

Specifically what the optimal external focus target might be for a given task and learner experience combination remains an empirical question. To date, however, the fact that the external focus advantage has been found so consistently suggests that investigators have identified reasonable external foci for their various laboratory and real-world tasks.27

Motor skill learning and performance: a review of influential factors.

All factors reviewed in this article appear to have both informational and motivational influences on learning. The findings seem to reflect general learning principles and are assumed to have relatively broad applicability. Therefore, the consideration of these factors in designing procedures for medical training has the potential to enhance the effectiveness and efficiency of training.

(출처 : http://eideneurolearningblog.blogspot.kr/2005/06/learning-by-observation.html)

(관찰을 통한 학습은, 심지어 주변에서 정신사납게(distraction) 만들어 conscious하지 못하게 했을 때에도 일어난다)

관찰을 통한 학습

(LEARNING THROUGH OBSERVATION)

'관찰을 통한 학습'이라는 개념은 비록 '관찰을 통한 학습'이라는 것이, 실제로 연습을 하는 것 만큼의 효과가 있지는 않지만, 아무 연습도 하지 않는 것보다는 효과적이라는 것이 꾸준히 밝혀지면서 등장했다.

This notion comes in part from previous findings that observational practice is typically not as effective as physical practice, although it has been consistently shown to be more effective in the learning of motor skills than no practice.12 

연구자들은 관찰을 통한 학습이 학습에 있어 나름의 중요한 기여를 한다는 것을 밝혔는데, 특히 관찰이 실제 연습과 동시에 이뤄질 경우에 그러하다. 실경이미지(뉴로이미지) 연구를 통해서 실제로 수행을 할 때와 수행을 하는 것을 관찰할 때 동일한 신경학적 구조물이 활성화된다는 것이 밝혀진 바 있다. Premotor cortex, supplementary motor area 등등이 그렇다.

Research has shown that observational practice can make unique and important contributions to learning, especially when observation is combined with physical practice.13,14 Indeed, neuroimaging experiments report that a set of common

neural structures are activated during both action production and action observation.15–17 The shared neural structures include the premotor cortex, supplementary motor area, inferior parietal lobule, cingulate gyrus and cerebellum.

Shea 등의 연구에 따르면 학습자는 관찰을 함으로써 어떤 과제를 수행하기 위해서 어떠한 것들이 조화를 이뤄야 하는지, 중요한 요소는 무엇인지, 특정 전략은 얼마나 효과적인가 등에 대한 정보를 얻을 수 있음이 밝혀졌다. 연구진은 비록 이러한 정보들을 관찰만을 통해 얻는 것이 어려울 수는 있겠지만, 만약 학습자가 잘 준비를 하고, 관찰 후에 곧바로 수행해볼 수 있다면 불가능한 것도 아니라는 결과를 얻었다. 이러한 관점에서 보면 관찰을 통한 학습을 통해 학습자는 실제로 수행을 해보지 않고서도 그 과정을 수행해 볼 수 있는 기회를 얻는 것과 같다.

Shea et al.24 argued that observation may give the learner unique opportunities either to extract important information concerning appropriate coordination patterns and subtle requirements of the task or to evaluate the effectiveness of strategies that would be difficult, if not impossible, if he or she were to prepare and execute an impending movement concomitantly. From that perspective, observational practice offers the learner a chance to conduct processing that could not occur simultaneously with physical practice.

관찰을 통한 학습의 효과는 연구 참여자들로 하여금 서로 번갈아가면서 특정 과제를 수행하게 한 실험을 통해서 확인할 수 있다. 참가자들을 두 명씩 짝을 지어 서로 번갈아가면서 연습을 하게 한 결과, 혼자서 학습하도록 한 집단이나, 두 명씩 짝은 지었지만 번갈아가면서 연습을 하도록 하지 않은 그룹과 비교했을 때 배우는 속도 뿐만 아니라 기술의 유지(retention)에서도 가장 우수한 성과를 보였다.

The role this additional processing can play in learning is best demonstrated when participants alternate between physical and observational practice in dyads (Figure 1).

짝지어서 번갈아가면서 훈련(dyad-alternative)이 효과가 있는 이유는 파트너와의 경쟁심에서 비롯된 동기유발, 높은 목표의 설정, 같이 학습하고 있는 파트너를 보며 스스로에 대한 의식을 덜 하게 되는 것(loss of self-consciousness) 등으로 생각된다. 또한 "협동적 또는 경쟁적인 학습 환경이 혼자 학습하는 것보다 더 즐겁다"는 흔히 전해져내려오는 말과 들어맞는 것도 우연의 일치는 아닐 것이다. 

Learning benefits of dyad practice are presumably also a result of enhanced motivation, resulting perhaps from competition with the partner, the setting of higher goals, or the loss of self-consciousness as people fulfil interdependent dyadic roles and find another in the same learning boat. It is perhaps not coincidental that participants in collaborative or cooperative learning situations often anecdotally report more enjoyment than they have experienced when learning alone25

짝을 이룬 학습의 또 다른 형태는 active interlocked modelling이란 것이다. Shebilske 등은 연구 참여자들에게 비디오게임을 하게 했는데, 조이스틱과 키보드를 모두 써야 하는 이 게임에서 두 명이 짝을 이뤄서 각각 하나씩(한 명은 조이스틱, 한 명은 키보드)만 가지고 게임을 하게 했다.

One form of dyadic training is called ‘active interlocked modelling’ (AIM).13 Shebilske and colleagues had participants practise a military scenario video game (Space Fortress), such that one partner controlled half of the complex task (e.g. the keyboard), while the other partner controlled the other half (e.g. the joystick).13

그 후 혼자서 조이스틱과 키보드를 모두 사용해서 게임을 연습한 그룹과 비교해보니 이 두 그룹은 게임 수행 능력에 있어서 차이가 없었다.

On test games that required control of the whole task there were no differences between groups.

"짝이룬 연습(dyad practice)"에서 중요한 것은 두 명의 참가자가 기존의 혼자서 연습하는 방식의 절반밖에 연습에 사용하지 않는다는 것이다. 따라서 비록 훈련의 성과가 서로 유사하다고 하더라도 훈련의 효과성이 엄청나게 향상된 것이라고 볼 수 있다. 실제로 Shebiliske 등은 총 연습 시간을 비롯한 다른 것들은 모두 그대로 둔 채로 연구 참여자 숫자만 두 배로 늘렸을 때 AIM protocol은 훈련의 효과성이 유지된 채로 효율성이 두 배 향상된 것을 보여주었다.

It is important to note that in dyad practice two participants can practise in the time and using the resources that would be required for only one participant using traditional practice. Thus, training efficiency is greatly increased even when dyad practice only results in retention performance similar to that of physical practice. Indeed, Shebilske et al.13 concluded that, by doubling the number of participants trained without increasing the time and other resources necessary, the AIM protocol increased training efficiency by 100% without sacrificing learning effectiveness.

따라서, 관찰을 통한 학습이 실제 연습과 동반될 수만 있다면 운동기술의 학습에 큰 기여를 할 수 있을 것이다.

Thus, observational practice – especially when it is combined with physical practice – can make an important contribution to skill learning.

Motor skill learning and performance: a review of influential factors.

All factors reviewed in this article appear to have both informational and motivational influences on learning. The findings seem to reflect general learning principles and are assumed to have relatively broad applicability. Therefore, the consideration of these factors in designing procedures for medical training has the potential to enhance the effectiveness and efficiency of training.

(출처 : http://trainersadvice.com/trainers-quote-of-the-week-by-gandhi/)

INTRODUCTION

술기 능력(운동기능, motor skill)은 의학분야 뿐만 아니라 다른 보건 전문직이라면 갖추어야 할 필수적인 요소이다.

Motor skills are an essential component of the expertise displayed by, and required of, individuals working in medicine or other health professions.

일부 가상현실에서의 연습을 통해 실제 수술방에서의 술기능력을 향상시킬 수 있다는 연구도 있고, 반대로 일부 연구는 수술 능력의 향상과는 무관하다는 연구도 있다.

Although some studies have found that additional virtual-reality training can facilitate the transfer of skills to the operating room,3 others did not find any beneficial effect of prior virtual-reality training on surgical performance.4

더 나아가서는 의학 분야에서 사용되고 있는 다른 훈련방법과 시뮬레이션 연습이 과연 효과에서 차이가 있는지에 대한 의문이 제기되고 있다. 일부 학자들은 학습의 '원칙'에 의거해서 시뮬레이션 훈련의 유용성을 높일 수 있는 교육 방법에 대해 제안을 하기도 했다.

Furthermore, the effectiveness of simulation compared with other methods of medical training has been questioned.5 Some have made suggestions for enhancing the usefulness of simulator training by combining it with instructional techniques that adhere to learning ‘principles’.6

일부 연구들은 인지적 영역과 운동기능적 영역의 학습 촉진시키는 것으로 알려진 요소을 다루었는데, 예를 들면 반복적인 시험이라든가, 피드백을 요약해서 준다든가 하는 것들이다. 이들 연구를 통해서 medical training의 유용성이 증명되었다. 연습 스케쥴에 따라서 수술 기술의 학습에 차이가 있는가를 연구한 사람도 있다.

Some studies examining factors that have been shown to facilitate learning in the cognitive or motor domain, such as the use of repeated testing7 or summary feedback,2 have already demonstrated their utility for medical training. Other researchers have begun to compare the effectiveness of different practice schedules in the learning of surgical tasks.8

이 리뷰에서는 관찰을 통한 학습, 학습자가 어디에 집중을 하는지, 피드백, 그리고 자기 조절 학습에 대한 것을 다루고자 한다.

Specifically, we review studies related to observational learning, learners’ focus of attention, feedback and self-controlled practice. 

첫 번째로, 퍼포먼스와 학습의 차이를 비교해 보고자 한다. 이 차이는 연구를 해석하고 디자인하는데 있어서 중요한 시사점을 제시한다.

First, however, we address the distinction between performance and learning, which has important implications for the interpretation of findings and the design of studies.

LEARNING VERSUS PERFORMANCE

의학 분야에서 '훈련'을 시킨다는 것은 돈이 많이 드는 일이다. 따라서 비용을 절약할 수 있으면서도 효과적이고 효율적인 훈련 방법을 연구하는 것은 많은 사람이 관심을 갖는 분야이기도 하다. 직관적인 접근법은 일정 수준의 수행능력을 정해놓고, 훈련 방법에 따라 그 수준에 도달하는 시간을 비교하는 것이다.

Training in the medical field is expensive. Therefore, finding effective and efficient training methods that can result in cost savings is a legitimate and important motive for many researchers. An intuitive approach might be to compare different practice methods in terms of the time needed by participants to reach a predefined level of performance.9,10

학습을 흔히 특정 기술을 수행할 수 있는 능력이 영구히(permanent) 변화하는 것으로 정의하곤 한다. 따라서 연구자들은 훈련 후 일정 시간 간격을 두고나서 훈련한 내용이 유지(retention) 또는 전이(transfer, 한 분야의 학습이 다른 분야에 적용되는 것)되는지를 확인하는 방법을 주로 사용했다.

Learning is typically defined as a relatively permanent change in a person’s capability to perform a skill.11 Therefore, researchers use retention or transfer tests (the latter involve a variation of what was practised) that are performed after a certain time interval

이처럼 시간간격을 두는 목적은 특정한 연습 조건에 따라서 나타날수 있는 일시적인 수행능력 향상(지도를 잘 받아서)이나 일시적인 수행능력 저하(피로해져서)를 최소화 시키거나, 그러지 못한다면 그 중에 항구히 남는 효과만 남기기 위한 것이다.

The purpose of this interval is to allow any temporary performance-enhancing effects (such as caused by greater guidance) or performance-degrading effects (such as caused by increased fatigue) that certain practice conditions may have created to dissipate, leaving only the relatively permanent, or learning, effects. 

유지와 전이 시험을 활용하는 또 다른 목적은, 모든 그룹이 동등한 조건에서 수행을 하도록 하는 것이다. 이렇게 해야만 시험장(playing field)에서 서로 다른 훈련을 받은 그룹이 동등하게 비교될 수 있고, 효과성이나 훈련 방법의 차이에 대한 비교를 정확히 할 수 있다. 실제로도 연습 환경동안에는 향상되었던 수행능력이 실제로는 별로 학습에는 효과가 없다고 나타나는 경우 (혹은 그 반대의 경우)가 상당히 흔하다.

Another important aspect of retention or transfer tests is that all groups perform under the same conditions (e.g. without feedback or demonstrations). Only then can the performance of different groups be compared on a level playing field, so that conclusions can be drawn about the effectiveness of different practice methods for learning. In fact, it is not uncommon for practice conditions that facilitate (or prop up) performance during practice to result in less effective learning, and vice versa.11 

따라서 수행능력이 빠르게 향상되었다거나, 특정 기준을 달성했다는 것으로부터 유지와 전이로 상징될 수 있는 "진짜 학습"이 이루어졌다고 결론내릴 수 없다. 다른 분야와 마찬가지로 의학 분야에서 훈련의 목적 또한 연습 상황에서 수행능력이 향상되는 것이 아니라 실제 임상 상황에서의 학습을 유도하고, 그 학습이 전이될 수 있게 하는 것이기 때문이다.

Thus, one cannot infer that the most rapid change in performance, or achievement of criterion performance – under practice conditions in which feedback, modelling or other interventions are still present – constitutes true learning in the sense of retained or generalisable skill or knowledge. Clearly, as in other areas, the goal of training in the medical field is not to facilitate performance during practice, but to enhance the learning and transferability of clinical skills. 

Motor skill learning and performance: a review of influential factors.

All factors reviewed in this article appear to have both informational and motivational influences on learning. The findings seem to reflect general learning principles and are assumed to have relatively broad applicability. Therefore, the consideration of these factors in designing procedures for medical training has the potential to enhance the effectiveness and efficiency of training.

다섯 가지의 기본 원칙 (Ground rules)

Five basic principles apply to preparing teaching materials, irrespective of the type of material you choose: links, intelligibility, general style, highlighting, and targeting (LIGHT). You may sometimes decide to ignore one or more of these principles, but if you do, think carefully about what you are trying to achieve.

- Links : 가르치는 내용과 연관되어 있어야 한다.

Your teaching materials should have obvious and direct links to your talk, discussion, or presentation. Handouts are the main offenders in this category, and it is not unusual for handouts to have little in common with the talk. It is quite acceptable for the teaching materials to give some additional information, but this should not be excessive.

- Intelligibility : 쉽게 이해가 되어야 한다. 간단한 말로 쓰고, 긴 문장은 피하라.

The teaching material should be easy to understand and learn from. How this is achieved will depend on the medium used and the venue of the talk or presentation. Use simple language and avoid overlong sentences or statements. Diagrams can help to clarify a complex message. If you are using slides or overhead transparencies, the size of the print needs to be large enough to be read from the back of the auditorium. The font selected should be sans serif (for example, Arial).

- General style : 강의자료 내에서 일관된 스타일을 유지해야 한다.

You should aim to use a consistent style throughout your teaching materials, particularly if you are giving a series of talks. Although it is tempting to use a variety of novel styles, consistency will allow learners to concentrate on the meaning and relevance of what you are trying to communicate. 

- Highlighting : 강조 표시는 중요한 역할을 할 수 있다.

Highlighted information helps to emphasise important issues or pivotal points in a developing argument. Methods of highlighting include changing the colour of text or underlining words or phrases. This also applies to videotapes and audiotapes, where changing your tone of voice can be used to emphasise key points.

- Targeting : 가르치는 학생과 내용에 잘 맞아야 한다.

It is important that both the type of educational event (for example, presentation, seminar, discussion) and the teaching materials that supplement it are targeted at what your students need to learn. Targeting therefore requires an awareness of what knowledge and skills your students already have. This can be difficult to judge, but it is worth spending time finding out about your expected audience. It becomes easier if you are doing a series of talks with the same group as you can get feedback from the learners to help you plan more effectively

Creating teaching materials.

가르치는 학생의 이름을 기억하라. 매우 단순하지만 중요한 예절이다.

- 일대일 교육에서 가르치는 사람이 학습자로부터 숨을 수 없듯, 학습자의 지식, 기술, 태도도 가르치는 사람에게 잘 들어온다. 

순서

Provide an orientation 

=> Agree on the ground rules 

=> Ask helpful question 

=> Give feedback 

=> Encourage reflection 

- 다른 사람으로부터의 피드백이 없으면 대부분의 학습 기회가 쓸데없이 낭비되는 것처럼, 일대일 학습에서도 학습자가 자신의 performance를 솔직하게 반성해보지 않으면 마찬가지가 된다. 

- 학습자의 반성적 사고를 도와주기 위해서 (a)가르치는 사람의 임상 추론과 의사 결정 과정을 보여주고 (b) 그 과정에서 어떠한 윤리적 가치와 신념이 작동했는지를 설명해주고 토론한다. 

Use other one to one teacher

- Senior medical students, junior doctors, registrars, nurses, allied health professionals 모두가 잠재적인 교사라고 할 수 있다.

ABC of learning and teaching in medicine: one to one teaching and feedback.

Gordon J.

(출처 : http://www.nps.org.au/publications/consumer/medicines-talk/pre-2006/mt15/how-gps-keep-up-to-date-with-medicines)

- 소그룹으로 가르치게 되면 학생들이 더 활발하게 참여하고, 자신의 의견을 더 많이 내놓을 것을 기대하지만 실제로는 쉽사리 그렇게 되지 않는다. 많은 교수자들은 너무도 쉽게 권위자, 전문가, 주 발언자(prime talker)와 같은 원래의 방식으로 돌아가버리고 만다. 

- 그룹에서 커뮤니케이션이 잘 안되는 이유 중 하나는, 물리적 조건이 커뮤니케이션을 하기에 어렵게 되어 있기 때문이다.