Development of a student rating scale to evaluate teachers’ competencies for facilitating reflective learning
Mirabelle A Schaub-de Jong,1 Johanna Scho¨nrock-Adema,2 Hanke Dekker,2 Marian Verkerk2 &
Janke Cohen-Schotanus2
도입
INTRODUCTION
최근 몇 년간 전문직업적 행동의 발달은 의학 교육의 필수적인 부분이 되었다.1–3 전문직업적 행동을 개발하기 위한 전제조건은 전문직업적 작업 상황에서 경험과 자신의 행동에 대해 성찰할 수 있는 능력이다.1,4,5 이 과정을 용이하게 하기 위해 필요한 기술을 개발하는 효과적인 방법은 소규모 그룹의 개인적 경험에 대한 성찰을 실천하는 것이다.6–8 이러한 성찰에는 개인의 함축connotation이 내재되어 있으므로 소그룹 설정은 신뢰할 수 있고 안전해야 한다.9 이것은 이러한 그룹의 촉진자들이 특정한 교사 역량이 필요하다는 것을 암시한다.10
In recent years the development of professional behaviour has become a vital part of medical education.1–3 A prerequisite to developing professional behaviour is the ability to reflect on experiences and on one’s own behaviour in a professional work situation.1,4,5 An effective method of developing the skills required to facilitate this process is to practise reflection on personal experiences in small groups.6–8 As personal connotations are inherent in this kind of reflection, the small-group setting needs to be trustworthy and safe.9 This implies that the facilitators of these groups need specific teacher competencies.10
의학교육과정에서 교사는 설정에 따라 정보 제공자, 촉진자, 평가자의 역할을 포함하여 서로 다른 역할을 한다.10
In medical curricula, teachers have different roles, including those of information provider, facilitator and assessor, depending on the setting.10
각 역할은 교육 목적에 따라 특정한 역량의 집합을 요구한다.10 예를 들어, 튜토리얼 그룹에서 학습 촉진을 위한 튜터의 역할은 새로운 이해를 자극하고, 협력적이고 자기주도적인 학습을 포함한다.11,12 촉진자의 역할은 촉진자가 학생들이 발전하도록 자극하고 흔들어야 한다는 것을 의미한다.대안적 관점을 수정하고, 그들이 학습 과정을 계획하고, 모니터링하고, 평가하는 데 적극적인 역할을 할 수 있도록 돕는다.12
Each role requires a specific set of competencies, depending on its educational aims.10 For example, in tutorial groups the tutor’s role for facilitating learning involves stimulating new understanding, and collaborative and self-directed learning.11,12 The facilitator’s role implies that the facilitator should stimulate students to develop and share alternative views and help them to play an active role in planning, monitoring and evaluating their learning processes.12
소그룹으로 성찰적 학습을 지도하는 촉진자의 역할도 또 다른 역량이 필요하다. 성찰적 학습 그룹에서 학생들은 성찰 기술을 습득한다: 학생들은 자신의 개인적 감정과 전문적인 행동을 포함하여 이론과 전문적인 실습을 비교함으로써 자신의 경험을 분석한다.9,15,16 자신의 경험을 분석하여, 기존의 행동과 그 행동을 조정할 수 있는 선택과 합성을 이끌어야 한다.16 이는 성찰적 학습 그룹의 초점이 고차적higher-order 기술에 집중되어 있음을 의미한다.17
However, the facilitator’s role for guiding reflective learning in small groups requires different teacher competencies. In reflective learning groups, students acquire reflective skills: they analyse their experiences by comparing theory and professional practice, including their own personal feelings and professional behaviours.9,15,16 The analysis of these experiences should lead to a synthesis with existing behaviour and choices to adjust that behaviour.16 This means that the focus in reflective learning groups is on higher-order skills.17
예를 들어, 이성적 추론에 중점을 두고 그룹 과정을 지도하는 교사들보다, 성찰적 학습 그룹을 촉진하는 교사들은 다음의 것들을 더 잘 할 필요가 있다:
(i) 학생들이 그들의 경험을 좀 더 명확하고 구체적으로 만들도록 돕고,
(iii) 학생들이 전문적인 행동에 영향을 미치는 감정을 조사하도록 돕고,
(iii) 학생들의 성찰 능력 향상에 중점을 두어 상호작용을 촉진한다.
(iv) 적극적인 경청과 같은 기술 발달을 자극한다.
To a greater degree than, for instance, tutors who guide group processes with an emphasis on rational reasoning, teachers who facilitate reflective learning groups need to:
(i) help students make their experiences more explicit and concrete;
(ii) help students investigate emotions that influence professional behaviour;
(iii) stimulate interactions among students with a focus on improving students’ reflective skills, and
(iv) stimulate the development of skills such as active listening.8,9,15,18–22
이 기사는 STERLinG(소그룹 내 반사적 학습을 장려하기 위한 교사의 역량에 대한 학생들의 인식) 규모의 개발과 검증에 대해 설명한다.
This article describes the development and validation of the STERLinG (Student perceptions of their Teachers’ competencies to Encourage Reflective Learning in small Groups) scale.
방법
METHODS
맥락
Context
이들 학생은 전문성 개발을 중심으로 소규모 그룹 세션(그룹당 7~10명)에 참여한다. 이러한 세션의 목적은 학생들이 전문직으로서의 자신들과 그들의 전문적 기술을 인식하도록 자극하여 전문직 행동의 발전을 장려하는 것이다. 그 과정은 학생들이 반성을 하도록 자극하는 일련의 운동으로 특징지어진다.
These students participate in small-group sessions (of seven to 10 students per group) focusing on professional development. The aim of these sessions is to stimulate students to become aware of themselves as professionals and of their professional skills in order to encourage the development of professional behaviour. The courses are characterised by a set of exercises that stimulate students to reflect.
세션 동안 학생들은 개인적인 경험을 보고하거나 전문직업적 실천으로부터 주제를 소개한다. 이러한 개인적인 경험은 학생들이 의사, 간호사, 환자 또는 고객과 상호작용을 하는 상황에서 온다. 학생들은 자신의 직업적 행동을 발전시키기 위해 이러한 직업적 경험이나 직업적 주제를 토론하고 분석하고 성찰한다. 모든 세션은 선생님에 의해 촉진된다. 교사의 원활한 역할은 모든 학생들이 참여하고 그룹이 협력적이고 개인적인 성찰 과정을 개발하도록 돕는 것을 의미한다. 교사는 또한 그룹을 자극하여 경험의 이유와 원인을 질문하여 자아 인식, 비판적 사고, 깊이 또는 새로운 이해를 촉진시킨다.
During the sessions, students report personal experiences or introduce themes from professional practice. These personal experiences come from situations in which the students interacted with doctors, nurses, patients or clients. The students discuss, analyse and reflect on these professional experiences or professional themes in order to develop their professional behaviour. All sessions are facilitated by a teacher. The facilitating role of the teacher implies involving all students and helping the group to develop collaborative and personal reflection processes. The teacher also stimulates the group into questioning the whys and wherefores of experiences to promote self-awareness, critical thinking and deeper or new understanding.
도구 개발
Instrument development
도구의 타당도
Validation of the instrument
참여자
Participants
절차
Procedure
중립적인 답변을 피하기 위해 4점 리커트 척도(1 = 전혀 해당되지 않음, 4 = 매우 적용 가능)를 사용했다.
To avoid neutral answers, a 4-point Likert scale (1 = not at all applicable, 4 = highly applicable) was used.
Study 1에서 학생들은 소그룹 회의 중 하나에서 선생님에 의해 연구에 대한 정보를 받았다. 현직 교사의 존재로 인해 사회적으로 바람직한 답변을 하는 학생들이 없도록 하기 위해, 학생들은 전년도 교사의 수행 정도를 평가하도록 하였다.
In Study 1, students were informed about the study by their teachers during one of their small-group meetings. To prevent the students giving socially desirable answers as a result of the presence of their current teacher, the students were asked to rate the performance of their previous year’s teacher.
자료 분석
Data analysis
연구 1에서는 주성분 분석(PCA)을 사용하여 계측기의 내부 구조를 조사했다. 우리는 직교 회전을 적용했는데, 이는 반사 학습을 촉진하는 데 필수적인 가능한 고차 역량에 대한 명확한 이론이 없었기 때문에 이러한 역량이 상관관계가 있는지 여부를 알 수 있는 이론적 근거가 없기 때문이다.24 점수 분포의 정규성을 검사하고 필요한 경우 변환을 수행한 후, 25,26 우리는 최근 권장한 대로 3가지 정신측정학 기준과 4가지 해석가능성 기준을 적용하여 베리맥스 회전으로 PCA를 수행했다.27
In Study 1, we used principal components analysis (PCA) to investigate the internal structure of the instrument. We applied an orthogonal rotation as we did not have an explicit theory about possible higherorder competencies essential for facilitating reflective learning in advance and hence no theoretical basis for knowing whether these competencies would be correlated.24 After inspecting the normality of the distribution of the scores and performing transformation where necessary,25,26 we performed PCA with varimax rotation applying the three psychometric criteria and four interpretability criteria as recommended recently.27
관련 정신측정학 기준:
(i) 스크리 플롯,
(ii) 고유값 1.5 이상 및
(iiii) 각 성분은 최소한 분산의 5%를 추가로 설명해야 한다.
The psychometric criteria concerned:
(i) the scree plot;
(ii) eigenvalues > 1.5, and
(iii) each component explaining at least an approximate additional 5% of the variance.
해석가능성 기준은 다음과 같이 명시되었다.
(i) 각 성분은 최소 3개의 상당한 적재가 있는 변수(최소 0.40)를 포함한다.
(ii) 동일한 구성 요소에 대한 변수 로딩은 동일한 구성을 측정한다.
(iii) 다른 구성 요소에 대한 변수 로딩은 다른 구성 요소를 측정하고
(iv) 회전 인자 패턴은 항목이 둘 이상의 구성요소에 유의하게 적재되지 않음을 의미하는 단순한 구조를 나타낸다.
The interpretability criteria stated that:
(i) each component contains at least three variables with significant loadings (at least 0.40);
(ii) variables loading on the same component measure the same construct;
(iii) variables loading on different components measure different constructs, and
(iv) the rotated factor pattern demonstrates a simple structure, which means that the items do not load significantly on more than one component.
권고대로, 조사된 정신측정학 기준에 따른 최선의 해결책의 해석 가능성뿐만 아니라, 한두 가지 성분이 더 많고 적은 해결책의 해석 가능성까지 조사했다. 단일 요인 솔루션은 저요인화 위험을 수반하므로,27 해석 가능성 분석에서 이 솔루션을 제외하기로 사전에 결정했다. 또한 완료 시간을 단축하고 이에 따른 응답자 부담을 줄이기 위해 비중요non-significant 적재loadings가 있는 항목을 제거하기로 했다.
As recommended, we investigated not only the interpretability of the best solution according to the psychometric criteria investigated, but also those of solutions with one or two components more and less. As a one-factor solution carries the risk of underfactoring,27 we decided beforehand to exclude this solution from the interpretability analysis. We also decided to eliminate items with non-significant loadings in order to reduce completion time and thus respondent burden.
각 솔루션에 대한 해석 과정은 이중 적재double-loading 항목을 제거하는 것으로 시작되었다. 다른 해석가능성 기준을 충족한다면, 항목의 분류와 인자의 해석은 그대로 유지되는지를 판단하기 위해 이중 적재 항목과 비신호 적재 항목(하중 < 0.4)) 없이 분석을 재실행하였다. 우리는 주관성을 최소화하고 해석의 타당성을 극대화하기 위해 연구자 삼각측량을 적용했다. 따라서, 5명의 교육학자들과 4명의 전문실습 교사가 모든 관련 해결책의 요인을 독립적으로 해석하였다. 그 후, 그들은 그들의 발견에 대해 논의했고 최선의 해결책에 대한 합의에 도달했다.
The interpretation process for each solution started with the elimination of double-loading items. If the other interpretability criteria were met, the analysis was rerun without the double-loading items and without items loading non-significantly (loading < 0.4) in order to determine whether the classification of items and the interpretation of factors remained the same. We applied researcher triangulation to minimise subjectivity and maximise validity of the interpretation. Therefore, five educationalists and four teachers of professional practice independently interpreted the factors for all relevant solutions. Subsequently, they conferred on their findings and reached consensus regarding the best factor solution.
Study 2에서는 원래 3-요인 STERLinG 구조를 검증하기 위해 경사 다중 그룹(OMG) 방법을 사용한 확인 인자 분석을 수행했다.28
OMG 방법의 첫 번째 단계는 동일한 척도에 할당된 항목을 조합하여 척도를 구성하는 것으로 구성된다.
이후 각 항목과 각 척도의 상관관계가 계산된다. 항목은 할당되는 척도와 가장 강하게 상관되어야 한다. 그렇지 않고 항목이 다른 척도와 더 강하게 상관되는 경우 이는 잘못 지정되었음을 나타낸다.
그 경우, 항목은 가장 상관관계가 있는 척도에 할당되어야 한다.
In Study 2, we performed a confirmatory factor analysis using the oblique multiple group (OMG) method to verify the original three-factor STERLinG structure.28
The first step in the OMG method comprises constructing scales by simply combining the items assigned to the same scale.
Subsequently, the correlation of each item with each scale is calculated. An item should correlate most strongly with the scale to which it is assigned. If this is not the case and an item correlates more strongly with any other scale(s), this indicates that it has been wrongly assigned.
The item should then be assigned to the scale with which it correlates most.
결과
RESULTS
연구1
Study 1
첫 번째 구성 요소에는 성찰 능력을 계발하여 자기성찰을 자극하고, 개인의 인식을 자극하며, 학생들의 비판적 사고력 향상에 도움을 주는 것을 일컫는 교사 역량이 포함되어 있었다. 패널은 이 구성요소를 Supporting self-insight(18개 항목)로 해석했다.
The first component contained teacher competencies referring to stimulating self-insight through developing reflection skills, stimulating personal awareness and helping students improve their critical thinking. The panel interpreted this component as Supporting self-insight (18 items).
두 번째 요소는 신뢰하고 안전한 환경을 의미하는 긍정적인 분위기를 조성하는데 필요한 조건을 제공하는 데 주로 초점을 맞췄다. 이 구성요소는 안전한 환경 조성(7개 항목)이라고 라벨을 붙였다.
The second component mainly focused on providing the necessary conditions for creating a positive atmosphere, which means a trusting and safe environment. This component was labelled as Creating a safe environment (seven items).
세 번째 구성 요소에는 학생들이 그들 자신의 학습 과정에 능동적인 역할을 하고 그들의 개인적, 전문적인 학습에 대한 책임을 질 수 있도록 격려하는 데 초점을 맞춘 교사 역량이 포함되어 있었다. 교사들은 학생들의 태도에 대한 피드백을 제공하고 그룹 성과에 대해 건설적인 피드백을 하도록 자극함으로써 이를 장려한다. 게다가, 교사들은 전문적인 행동과 관련된 학습 목표의 개발을 자극한다. 이 구성요소는 자율규제 장려(11개 항목)로 명명되었다.
The third component contained teacher competencies which focus on stimulating students to take an active role in their own learning processes and to take responsibility for their personal and professional learning. Teachers encourage this by providing feedback on the students’ attitudes and by stimulating them to give constructive feedback on group performance. Furthermore, teachers stimulate the development of learning objectives related to professional behaviour. This component was named Encouraging self-regulation (11 items).
연구 2
Study 2
연구 1에서 확인된 STERLinG 구조는 연구 2에서 사용된 데이터 집합의 총 분산 양의 53.0%를 설명했다. 선행 과제는 데이터에 의해 거의 전적으로 지원되었다(표 3). 36개 항목 중 1개 항목만 예상보다 다소 높은 정도로 다른 스케일에 로딩('코치가 경험을 원근법에 넣을 수 있도록 도와준다' 14번 항목)했지만 로딩 차이는 미미했다. 이 항목의 내용이 첫 번째 척도에 더 잘 맞고, 이 항목을 다른 척도로 하는 새로운 OMG 방법이 설명될 정도의 추가 분산(0.1%)을 초래함에 따라, 본 품목을 원래의 하위 척도로 유지하기로 결정했다.
The STERLinG structure identified in Study 1 explained 53.0% of the total amount of variance of the dataset used in Study 2. The a priori assignments were almost entirely supported by the data (Table 3). Only one of the 36 items loaded somewhat higher on another scale than expected (item 14, ‘My coach helps me to put experiences in perspective’, from the first scale Supporting selfinsight), but the difference in loading was negligible. As the content of this item fit better into the first scale and a new OMG method with this item in another scale resulted in a negligible amount of additional variance explained (0.1%), we decided to retain this item in the original subscale.
표 3 오블리크 다중 그룹 방법에서의 인자 적재
Table 3 Factor loadings in the oblique multiple group method
문항(번호)
Item (no.)
선생님은 My teacher…*
개인적인 감정을 인식할 수 있도록 돕는다 (1)
내 행동에 영향을 미치는 감정을 인식할 수 있도록 돕는다(2)
한 걸음 떨어져서 내 행동을 조사하는 데 도움이 된다(3)
상충되는 감정의 가능성을 깨닫게 한다(4)
나 자신을 더 잘 이해할 수 있도록 돕는다(5)
개인적 인식 개발에 도움이 된다(6)
감정을 표현하는 데 도움이 된다(7) 경험의
경험의 분석이 어려운 상황에 대처하는 데 도움이 되는 능력이라는 것을 깨닫게 한다(8)
모순된 감정에 주의를 기울이도록 나를 자극한다(9)
개인적인 통찰력을 자극한다(10)
나의 사고습관을 자세히 볼 수 있도록 도와준다(11)
나 자신을 거울에 비추어준다(12)
행동을 새롭게 바꾸어갈 시작점을 인식하는 데 도움이 된다(13)
경험을 다른 관점으로 볼 수 있도록 돕는다(14)
중요 이벤트의 측면에 대한 심층 분석 자극(15)
사건 분석에 옳고 그름의 답이 없음을 알게 한다(16)
경험을 구체화하도록 돕는다(17)
내 의견에 대한 문화적 영향을 인지할 수 있도록 돕는다(18)
Helps me recognise personal feelings (1)
Helps me be aware of emotions that influence my behaviour (2)
Helps me investigate my behaviour from a distance (3)
Makes me aware of the possibility of conflicting feelings (4)
Helps me to better understand myself (5)
Helps me to develop personal awareness (6)
Helps me to express my feelings (7)
Makes me aware that analysis of experiences is an ability that helps me cope with difficult situations (8)
Stimulates me to pay attention to contradictory feelings (9)
Stimulates personal insight (10)
Helps me to take a closer look at my thinking habits (11)
Holds up a mirror to myself (12)
Helps me recognise a starting point from which to move to new behaviour (13)
Helps me to put experiences into perspective (14)
Stimulates in-depth analysis of aspects of significant events (15)
Makes me aware that there is no right or wrong answer in event analysis (16)
Helps me make my experiences concrete (17)
Helps me to be aware of the cultural influences on my opinions (18)
선생님은 My teacher…*
학생과의 신뢰 관계를 개발한다(19)
나를 안심하게 한다(20)
그룹 내 안전한 학습 환경 구축한다(21)
그룹 내 학생과 개방적인 관계(22)
그룹 학생에 대한 헌신을 보여준다(23)
나의 가치를 확인해준다(24)
학생으로부터 피드백을 받을 의향이 있다(25)
Develops trusting relationships with the students (19)
Makes me feel safe (20)
Establishes a safe learning environment in the group (21)
Has an open relationship with the students in the group (22)
Shows commitment with the students of the group (23)
Affirms my self-worth (24)
Is willing to accept feedback from students (25)
선생님은 My teacher…*
나 자신의 학습 과정에 대한 책임을 지도록 나를 자극한다(26)
나만의 학습 목표를 개발하도록 격려한다(27)
개인적 발전에 대한 책임을 지도록 나를 자극한다(28)
내 전문적 발전에 대한 책임을 지도록 나를 자극한다(29)
전문직업적 인식 배양에 도움이 된다(30)
그룹 성과에 대해 건설적인 피드백을 하도록 나를 자극한다(31)
내 태도에 대한 피드백 제공한다(32)
중요한 분석을 통해 배운 내용을 요약하도록 나를 자극한다(33)
질문하도록 자극한다(34)
선택을 하도록 자극한다(35)
나 자신의 성과를 평가하도록 자극한다(36)
Stimulates me to take responsibility for my own learning process (26)
Encourages me to develop my own learning objectives (27)
Stimulates me to take responsibility for my personal development (28)
Stimulates me to take responsibility for my professional development (29)
Helps me develop professional awareness (30)
Stimulates me to give constructive feedback about our group’s performance (31)
Gives feedback on my attitude (32)
Stimulates me to summarise what we had learned from significant analysis (33)
Stimulates me to ask questions (34)
Stimulates me to make choices (35)
Stimulates me to assess my own performance (36)
고찰
DISCUSSION
STERLinG 척도라는 소규모 그룹의 성찰 학습을 촉진하는 데 필수적인 교사 역량을 평가하기 위해 일관성 있는 내부 타당성을 가진 신뢰할 수 있는 설문지가 개발되었다. 연구 1에서 확인된 STERLinG의 구조는 연구 2의 새로운 데이터 집합을 사용하여 확인되었다.
A reliable questionnaire with consistent internal validity was developed to assess teacher competencies essential for facilitating reflective learning in small groups: the STERLinG scale. The structure of the STERLinG identified in Study 1 was confirmed using a new dataset in Study 2.
최종 36항목 STERLinG는 신뢰성이 높은 세 가지 구성 요소로 구성된다.
자기통찰의 지원
안전한 환경 형성
자기조절 장려
The final 36-item STERLinG consists of three components with high reliability:
Supporting self-insight;
Creating a safe environment, and
Encouraging self-regulation.
첫 번째 구성 요소는 교육, 학생들이 성찰적 사고에 참여하도록 자극하는 등 성찰의 내용에 초점을 맞춘 교사역량을 말한다.
두 번째 요소는 안전하고 신뢰할 수 있는 환경을 구축하는 것을 목적으로 하는 교사 역량을 말한다.
세 번째 요소는 학생들이 전문적인 실천을 준비하기 위해 성찰 능력을 자율적으로 적용할 수 있도록 돕는 것을 목적으로 하는 교사 역량에 관한 것이다.
The first component refers to teacher competencies focusing on the content of teaching reflection, such as training and stimulating students to engage in reflective thinking.
The second component refers to teacher competencies aimed at establishing a safe and trustworthy environment.
The third component concerns teacher competencies aimed at helping students to apply reflective skills autonomously in order to prepare them for professional practice.
높은 수준의 학습을 달성하는 데 필수적인 세 가지 교육 기능: 인지, 감정, 메타인지.
three educational functions vital to achieving high-quality learning: cognitive, affective and metacognitive functions.
인지적 교육기능이란 [주요 내용을 제시하고 명확히 하는 것]을 말한다. STERLinG의 첫 번째 구성 요소인 자기통찰 지원(Supporting self-insight)은 이 교육기능과 유사하다. 이 구성요소는 성찰 교육의 주요 목표에 초점을 두고 있는데, 즉 학생들이 어떻게 성찰을 해야 하는가에 대한 통찰을 제공하고, 이 통찰을 적용하도록 돕는 것이다.
The cognitive educational function refers to presenting and clarifying the subject matter. The first component of the STERLinG, Supporting self-insight, resembles this educational function as it focuses on the main goal of teaching reflection, namely, that of providing insight in how to reflect and helping students to apply these insights.
정서적 교육기능은 [긍정적인 동기부여와 정서적 학습 환경을 조성하고 유지]하는 데 관여한다.29,30 두 번째 요소는 안전한 환경을 조성하고 개인적인 경험을 분석할 때 발생하는 감정에 대처하는 학생들을 지원하는 데 초점을 맞추고 있기 때문에 이 교육 기능에 해당한다.
The affective educational function is involved in creating and maintaining a positive motivational and emotional learning environment.29,30 The second component corresponds with this educational function as it focuses on creating a safe environment and supporting students in coping with emotions that arise when analysing personal experiences.
메타인지적 교육기능은 [인지 활동을 지시, 지도, 모니터링하고 학습 및 기분 상태를 조절]하는 데 초점을 맞춘다.29,30 STERLinG의 세 번째 구성요소는 고차적 교육 역량과도 관련이 있으며, 이 기능과 일치한다. 자기조절을 장려한다는 것은 학생들이 전문적 발달 과정에 스스로 책임을 지도록 자극하고, 그룹이 자율적으로 협동적이고 개인적인 반성 과정을 개발하도록 자극하는 과정을 말한다.
The metacognitive educational function focuses on directing, guiding and monitoring cognitive activities, regulating learning and mood states.29,30 The third component of the STERLinG corresponds with this function as it also concerns higher-order teacher competencies. Encouraging self-regulation refers to the process of stimulating students to take responsibility for their professional development processes and stimulating the group to autonomously develop collaborative and personal reflection processes.
교수 및 학습 성찰에 관한 문헌에서 SERLinGover 반복적인 테마에 의해 측정된 교사 역량의 세 영역.
The three domains of teacher competencies measured by the STERLinGcover recurring themes in the literature on teaching and learning reflection.
위에서 서술한 측면의 중요성이 문헌에서 강조되어 왔지만, 분명히 이 세 가지 필수 영역은 이전에 통합되지 않았다.
Although the significance of the aspects described above has been emphasised in the literature, apparently these three essential domains have not been brought together before.
튜터 및 임상 교사의 교육 활동의 품질을 평가하기 위해 여러 가지 기구가 개발되었다.11–14,33 STERLinG는 이러한 기존 기구에 중요한 추가 기구로, 반영 기술 교육에 특정한 교사 역량의 평가가 가능하기 때문이다.
Several instruments have been developed to assess the quality of teaching activities of tutors and clinical teachers.11–14,33 The STERLinG is an important addition to these existing instruments, as it enables the assessment of teacher competencies specific to the teaching of reflective skills,
결론
CONCLUSIONS
STERLinG는 소규모 그룹의 반사 학습을 촉진하는 데 필수적인 교사 역량을 평가하기 위해 개발되었다.
The STERLinG was developed to assess teacher competencies essential for facilitating reflective learning in small groups.
결론적으로, STERLinG는 교사 역량을 평가하고 고품질 반영을 달성하기 위해 개선이 필요한 역량을 식별하기 위한 실질적이고 유효한 도구로서 소그룹 환경에서 사용하도록 권고될 수 있다.
In conclusion, the STERLinG can be recommended for use in small-group settings as a practical and valid tool for assessing teacher competencies and identifying those competencies that need to be improved in order to achieve high-quality reflective
.2011 Feb;45(2):155-65.
doi: 10.1111/j.1365-2923.2010.03774.x.
Developmentof a student rating scale to evaluate teachers' competencies for facilitating reflective learning
1Department of Speech and Language Therapy, Centre for Applied Research and Innovation in Health Care and Nursing, Academy of Health Sciences, Hanze University Groningen, Groningen, the Netherlands. m.a.shcaub@home.nl
Context:teaching students in reflection calls for specific teacher competencies. We developed and validated a rating scale focusing on Student perceptions of their Teachers' competencies to Encourage Reflective Learning in small Groups (STERLinG).
Methods:we applied an iterative procedure to reduce an initial list of 241 items pertaining to teacher competencies to 47 items. Subsequently, we validated the instrument in two successive studies. In the first study, we invited 679 medical and speech and language therapy students to assess the teachers of their professional development groups with the STERLinG. Principal components analysis (PCA) with varimax rotation was used to investigate the internal structure of the instrument. In the second study, which involved 791 medical, dental, and speech and language therapy students, we performed a confirmatory factor analysis using the oblique multiple group (OMG) method to verify the original structure.
Results:in Study 1, 463 students (68%) completed the STERLinG. The PCA yielded three components: Supporting self-insight; Creating a safe environment, and Encouraging self-regulation. The final 36-item instrument explained 44.3% of the variance and displayed high reliability with α-values of 0.95 for the scale, and 0.91, 0.86 and 0.86 for the respective subscales. In Study 2, 501 students (63%) completed the STERLinG. The OMG confirmed the original structure of the STERLinG and explained 53.0% of the total variance with high α-values of 0.96 for the scale, and 0.94, 0.90 and 0.90 for the respective subscales.
Conclusions:the STERLinG is a practical and valid tool for gathering student perceptions of their teachers' competencies to facilitate reflective learning in small groups considering its stable structure, the correspondence of the STERLinG structure with educational theories and the coverage of important domains of reflection. In addition, our study may provide a theoretical framework for the practice of and research into reflective learning.
강의는 고등교육에서 정보 전달에 가장 많이 사용되는 도구다. 네덜란드의 의학 교육을 대충 살펴보면, 강사들이 참여하는 교육 활동의 약 70%가 학생들에 대한 강의로 이루어져 있다는 것을 보여준다.1
Lecturing is the most employed tool for information transmission in higher education. A cursory look at Dutch medical education demonstrates that around 70% of the teaching activities in which instructors engage consists of lecturing to students.1
인류학자들은 스토리텔링은 문화 전달에 가장 많이 사용되고 가장 성공적인 도구였다고 주장한다. 누군가에게 무언가를 말하고, 그 사람이 당신이 말하는 것에 관심을 보일 때, 그는 결국 그것을 기억하고, 사용하고, 그것을 다음 세대에 전할 것이라는 가정에 근거한다.
Anthropologists argue that story telling used to be the most employed and most successful instrument for cultural transmission. It is based on the assumption that when you tell somebody something, and that person shows interest in what you are telling him, he will eventually remember it, use it, and convey it to a next generation.
책이 싸고 널리 보급되기 전에는 교사는 학생들에게 자신이 알고 있는 것을 단순히 말해주는 것 외에는 다른 수단이 없었다. 그는 문자 그대로 자신의 노트에서 읽어서 학생들이 그가 지시하는 모든 것을 쓸 수 있게 했고, 따라서 거의 그들 자신의 책을 만들기도 했다. 영어 대학 제도에서 교사는 여전히 "독서자" 또는 "강사" ("legere, passivum: "lectus"는 "읽는다"는 뜻의 라틴어다.
In early era education, before books became cheap and widely available, the teacher had no other means than simply telling students what he knew. He would literally read from his own notes, enabling students to write down everything he dictated, thereby more or less creating their own books. In the English university system a teacher is still called a “reader,” or a “lecturer” (“legere,” passivum: “lectus” is Latin for reading).
2. 강의의 단점
2. Shortcomings of lectures
2.1. 학생 참여 부족
2.1. Lack of student engagement
그러나 강의에 대한 비판이 없는 것은 아니다. 예를 들어,
Bligh는 강의가 학생들에게 비판적 사고를 조장하고 싶다면 일반적으로 열악하다는 것을 시사한다.
켈리와 동료들은 3가지 유형의 교실에서 학생들의 참여를 관찰하면서 교류가 강의실에서 가장 낮다는 것을 발견했다.
강의 출석률이 낮은 경향이 있다.4 전형적으로, 출석자가 결석자보다 시험에서 더 높은 점수를 받더라도, 출석자의 절반 미만이 출석한다.5
조사에서, 학생들은 출석해야 할 중요한 이유가 시험에 출제될 것을 알기 위해서라고 말한다.; 지식 습득은 보통 덜 중요한 것으로 평가된다. 일부 교사들은 시험을 파워포인트 슬라이드를 통해 학생들과 공유하는 정보에서만 출제해서 그러한 태도를 강화하는 것으로 보인다.
그 결과 학생들이 교과서를 가지고 공부하지 않는다는 결과가 나왔다. 그들의 영역에 대한 지식은 반드시 피상적이고 축약된다. 지식은 인생보다는 시험을 위한 것이 된다.
Lecturing is not without its critics however.
Bligh,2 for instance suggests that lectures are generally poor if one wishes to promote critical thinking in students.
Kelly and colleagues,3 observing student engagement in three types of classrooms, found engagement to be the lowest in the lecture theater.
Attendance of lectures tends to be low.4 Typically less than half of the students show up, even if those who attend score higher on examinations than those absent.5
In surveys, students indicate that an important reason to attend is to get an impression of what will be asked during the examination; acquiring knowledge is usually rated as less important.
Some teachers seem to reinforce such attitudes by focusing during tests exclusively on information shared with students through PowerPoint slides.
The result is that students do not consult textbooks in their area. Their knowledge of the domain necessarily must become superficial and abbreviated; stuff for examinations rather than for life.
그리고 주의집중시간 대한 문제가 있다. 한 번에 15분 이상 강의를 들을 수 없다는 의견도 있다. 어떤 사람들은 이러한 관점에 이의를 제기하지만, 학생들이 강의에 집중할 수 있는 능력이 점점 떨어진다는 점은 교사들 사이에 널리 공유되고 있다. 이것은 서로 채팅하고, 이메일에 답하고, 페이스북과 상담하고, 트위터와 같은 수업 외적인 행동으로 표현된다. 교사는 [무대에서 영감을 주는 현자]라기 보다는 마치 [수업의 경찰]처럼 질서를 회복하는 역할을 하도록 점점 더 강요받고 있다.
Then there is the issue of attention span. Some say that students are unable to attend to lectures for more than 15 min at a time. Although others challenge this point of view, there is a broadly shared opinion among teachers that students are less and less able to stay engaged with a lecture for longer periods of time. This expresses itself in off-task behaviors such as chatting with each other, being engaged in answering emails, consulting Facebook, twittering, etc. The teacher is officer forced more and more to act as a police restoring order than as an inspiring sage on the stage.
시끌벅적한 강연장의 해독제인 카리스마는 대학 교사들 사이에서는 대게 부족하다. 마지막으로 강의 시간에는 제한이 있다. 교사는 학습해야 할 모든 과목을 충분히 상세히 논할 수 없다. 그는 주제를 요약하거나, 그가 중요하다고 생각하는 것에 초점을 맞추거나, 대략적인 방식으로 묘사하거나, 다른 사람들을 희생시켜 주제를 선택해야 한다. 그러므로 교사들은 종종 그들이 가르치는 자료를 충분히 다루지 못했다고 느낀다.
Charisma, an antidote to noisy lecture theaters, is usually in short supply among university teachers. Finally, lecture time is limited. A teacher cannot, in sufficient detail, discuss all subject matter to be learned. He has to summarize topics, focus on what he sees as essential, describe in approximate fashion, or select topics at the expense of others. Therefore, teachers often feel that they have insufficiently covered the material taught.
2.2. 배움이 없는 강의
2.2. Lack of learning from lectures
하지만 정말 중요한 질문은 학생들이 강의를 통해 배울까? 이다. 그렇다면, 그들은 무엇을 배울까? 강의가 지식을 전달하는데 얼마나 효과적인가에 대한 질문은 놀랍게도 거의 답을 찾지 못했다.
But the really important question is: do students learn from lectures? And if so: what do they learn? The question of how effective lectures are in transmitting knowledge has found surprisingly few answers.
강의의 효과에 대한 관련 시험은 정확히 동일한 시간 동안 두 가지 다른 교육 형식으로 학생들에게 정확하게 동일한 정보를 제공하는 것이다.
A relevant test of the effectiveness of lectures would be to have exactly the same information presented to students in two different teaching formats for exactly the same amount of time.
아르샤드와 동료들은 텍스트로 공부하는 것이 강사의 말을 듣는 것보다 더 우수한 이유가 적어도 네 가지 있다고 제안한다.
첫 번째는 학생들이 자신의 속도로 본문을 읽을 수 있는 반면, 교사는 강의 중에 교재가 제시되고 처리되어야 하는 속도를 결정한다는 것이다.
둘째로, 텍스트는 너무 어렵거나 너무 복잡해서 즉시 이해할 수 없는 자료를 다시 읽을 수 있게 해준다.
셋째, 글공부를 하는 동안 학생들은 기억력을 향상시키기 위해 자료의 일부를 연습하거나 자세히 설명할 수 있다. 그리고
넷째, 정교화 활동을 하더라도, 강사가 새로운 정보를 제시하여 이러한 활동에 지장을 줄 위험이 없다.
Arshad and colleagues suggest that there are at least four reasons why studying from text is superior to listening to a lecturer.
The first is that students can read the text at their own pace, whereas during a lecture the teacher determines the pace with which the material is presented and has to be processed.
Second, a text enables the rereading of materials too difficult or too complex to understand immediately.
Third, while studying a text, the student can rehearse some of the materials or elaborate on them to improve memory.
And fourth, while engaging in elaborative activities, there is no risk that a lecturer will interfere with these activities by presenting new information.
학습강좌에 관한 교육과정 수준의 연구는 사실상 전무하다. 한 가지 예외는 슈미트 외 연구진 1명이 '더 적게 배우면서 더 많이 배우다'라는 제목의 연구다. 조사 결과 의학교육 기간 중 수강해야 하는 강의가 많을수록 이들 학생의 졸업률이 낮아지고 졸업에 필요한 시간이 많아지는 것으로 나타났다. 반면 자율학습이 가능한 시간이 많을수록 졸업률이 높고 졸업에 필요한 시간도 짧아진다. 그 차이는 결코 사소한 것이 아니었다.
Curriculum-level studies concerning the lectures on learning are virtually absent. One exception is a study by Schmidt et al.1 entitled “Learning more by being taught less.” The investigators found that the more lectures student had to attend during their years in medical education, the lower the graduation rates of these students and the more time they needed to graduate. On the other hand: the more time for self-study was available, the higher the graduation rates and the shorter the time needed to graduate. The differences were by no means trivial.
이러한 발견에 대한 그들의 설명은 강의가 학습에 별 도움이 되지 않고 오히려 학습에 방해가 될 수 있다는 것이었다. 자습 시간이 많은 학생들은 시험을 준비하기에 더 나은 위치에 있고, 따라서, 더 많은 수의 자습으로 더 잘 한다.
Their explanation for these findings was that lectures do not add much to learning, but rather can be in the way of learning. Students having more time for self-study are in a better position to prepare themselves for examinations and, hence, do better on them and in larger numbers.
2.3. 왜 강의가 부분적으로만 효과적일까?
2.3. Why are lectures only partially effective?
왜 이러지? 우리는 강의가 우리가 "정보의 오류"라고 부르는 것의 희생물이 된다고 믿는다. 전통적인 강의에 대한 암묵적인 생각은 [정보가 한 사람으로부터 다른 사람에게 직접 전달될 수 있다는 믿음]이다. 그 다음 상대방은 송신자가 통신하는 대로 정보를 저장하고, 수신자가 주의를 기울인다면 전송되는 것은 기억된다. 그러나 이것은 옳지 않다. 인간의 마음이 수신자로서 작용하지 않기 때문이다. 학생들은 미래에 그것을 기억하고 사용할 수 있도록 [정보를 가지고 무언가를 해야 한다]. 그들은
자신의 사전 지식을 이용하여 정보를 상세히 기술할 수 있어야 하고,
정보를 자신의 말로 바꾸어 말할 수 있어야 하며,
정보를 다른 학생이나 선생님과 토론할 수 있어야 하며,
배운 것을 다른 사람에게 설명할 수 있어야 하고,
정보를 문제에 적용할 수 있어야 한다.
Why is this so? We believe that lecturing falls prey to what we would call “information fallacy.” the transmission Implicit to conventional lecturing is the idea that information can be directly transmitted from one person to another. The other person then stores the information as communicated by the sender, and what is transmitted is remembered, provided the receiver pays attention. This is a misconception because the human mind does not work as a receiver. Students have to do something with the information to enable them to remember and use it in the future. They have to be able
to elaborate upon the information using their prior knowledge,
to rephrase the information in their own words,
to discuss the information with other students or with the teacher,
to explain what is learned to others,
to apply the information to a problem.
이러한 모든 활동은 학생들이 장기적 사용을 위해 기억 속에 정보를 저장하는 것을 돕는다. 우리의 기억이 건설적이기 때문이다. 사람들이 어떻게 배우는지에 대한 이러한 관점을 구성주의라고 부른다.10 강의는 부분적으로만 이러한 종류의 적극적인 학습을 위한 여지를 줄 뿐이다.
All these help activities students storing the information in memory for longterm use. This is because our memory is constructive. This perspective on how people learn is called constructivism.10 Lectures only partially give room for this kind of active learning.
3. 해결책
3. Solutions
3.1. 어떻게 하면 강의를 더 잘 활용할 수 있을까?
3.1. How can we make better use of lectures?
지난 20년 동안 교육자들은 (위에 스케치된 유형의) 인지 활동을 가능하게 하기 위해 강의를 풍부하게 하려고 노력해왔다.
In the last twenty years educators have sought to enrich lectures such that they enable the kind of cognitive activities sketched above.
Mazur는 이 나라에서 최고인 그의 학생들이 그가 기대했던 것보다 이 시험에서 훨씬 더 저조한 성적을 내고 있다는 것을 발견했다.11 따라서, 그는 그의 교수법을 바꾸기로 결정했다. 그는 강의의 일부로 이른바 "peer teaching"(PI)을 사용한다.
Mazur discovered that his students, the best in the country, were doing much poorer on this test than he expected.11 Therefore, he decided to change his teaching approach. He uses what he calls “peer instruction” (PI) as part of his lectures.
마침내 2011년 사이언스지에 발표된 데슬라우리에스 외 4호의 연구는 주목할 만하다. 그것은 거의 600명의 학생들이 두 개의 큰 강의 시간에 세분화된 실험적인 연구를 포함했다. 이 두 수업은 이전의 성취, 강의 출석, 주제와의 연관성 면에서 동등했다. 한 그룹은 경험이 많은 교사로부터, 다른 그룹은 훈련은 받았으나 경험이 부족한 박사후속 동료로부터 가르침을 받았다. 경험 많은 교사는 내용을 다루기 위해 파워포인트(Powerpoint)를 사용하고, 수업 내용과 예시 문제를 추가했으며, 학생들은 각 수업 전에 미리 읽어야 했다. 경험이 부족한 강사는 강의를 하지 않았다. 오히려 학생들에게 잦은 피드백을 제공받으면서 수업 시간에 물리학자 같은 추론과 문제해결을 연습해야 하는 도전적인 클리커 문항과 과제를 제시하기도 했다.
Finally a study by Deslauriers et al. 4 published in Science in 2011, deserves attention. It involved an experimental study, in which almost six hundred students were subdivided in two large lecture classes. The two classes were equal in terms of previous achievement, attendance to lectures, and engagement with the subject matter. One group was taught by a highly experienced teacher; the other group by a trained but inexperienced postdoctoral fellow. The experienced teacher taught the subject—electromagnetic waves—in the usual ways, employing Powerpoint to address content, adding in class-demonstrations and example problems, while students were required to do prereading before each class. The inexperienced instructor did not lecture. Rather, he presented the students with a series of challenging clicker questions and tasks that require the students to practice physicist-like reasoning and problem solving during class time while being provided with frequent feedback.
저자들에 따르면, 이러한 활동의 목표는 학생들로 하여금 [모든 수업 시간을 (관련된 주제에 대한 예측과 논쟁을 만들고 시험하며, 문제를 해결하고, 자신의 추리와 다른 사람들의 추리를 비평하는 형태로) 과학적 사고에 몰두하게 하는 것]이었다. 각 수업이 시작될 때, 학생들은 2인 1조로 편성하도록 요청받았다. 수업시간에 질문을 클리커 문항으로 제시한 후 학생들은 그룹 내에서 문제를 토의하고 답안을 제출했다. 투표가 끝나자 강사는 결과를 보여주며 피드백을 했다. 소그룹 과제는 서면답변을 요구하는 질문이었다. 학생들은 같은 조에서 활동했지만 참여 학점을 위해 각 반의 마지막에 개별 답안을 제출했다.
According to the authors, the goal of these activities was to have the students spend all their time in class engaged in thinking scientifically in the form of making and testing predictions and arguments about the relevant topics, solving problems, and critiquing their own reasoning and that of others. At the beginning of each class, the students were asked to form groups of two. After a clicker question was shown to the class, the students discussed the question within their groups and submitted their answer. When the voting was complete, the instructor showed the results and gave feedback. The small-group tasks were questions that required a written response. Students worked in the same groups but submitted individual answers at the end of each class for participation credit.
이 실험의 결과는 매우 놀라웠다. 통제그룹에 대한 출석과 참여는 그대로였지만 실험그룹에서는 두 가지 '헌신의 지표'가 모두 크게 늘었다. 참석률은 57%에서 75%로 증가했으며, 참여율은 표준 프로토콜을 사용하여 훈련된 관찰자가 측정한 결과 45%에서 85%로 증가했다. 더 중요한 것은 실험군의 학생들이 전자파에 대해 대조군의 학생들보다 평균 2배 더 많이 배웠다는 것이다.
The results of this experiment were quite astonishing. While attendance to, and engagement in, the lectures remained the same for the control group, both indicators of commitment increased dramatically in the experimental group. Attendance grew from 57 to 75%, and engagement–as measured by trained observers using a standard protocol–increased from 45 to 85%. More importantly, students in the experimental group learned on average twice as much about electromagnetic waves as the students in the control group.
3.2. 강의 중 적극적인 학습에 대한 다양한 접근 방법
3.2. Various approaches to active learning during lectures
앞의 리뷰는 강의실 환경에서 활발한 학습이 다양한 형태를 취할 수 있음을 시사한다. 이러한 형식은
(1) 지식을 습득하는 시기와 방법,
(2) 학생들에게 제시되는 문제의 형식,
(3) 강의 중 학생들에게 요구되는 학습 활동의 성격
(4) 교사 피드백의 정도
...등 최소한 4가지 차원에서 서로 다를 수 있다.
The previous review suggests that active learning in the classroom setting can take various forms. These forms can differ from each other on at least four dimensions: (1) when and how knowledge is acquired; (2) the format of the problems presented to students; (3) the nature of the learning activities required from students during the lecture; and (4) the extent of teacher feedback.
1. 강의 중 능동적 학습을 목표로 한 모든 접근방식은 학생들이 먼저 사전 독서를 통해 또는 강의실 내 강사의 짧은 발표를 통해 개별적으로 지식을 습득한다고 가정한다.
1. All approaches to active learning during lectures assume that students first acquire knowledge individually, either through pre-reading or through short presentations by the lecturer in-class.
세 번째 학습 가능성의 하나는 학생들이 수업 중에 개별적으로 집중하는 것이다.
A third to study possibility is have students individually focused texts while in class.
2. [문제가 제시되는 형식]은 능동적-학습 접근법의 성공에 결정적이다. 그 문제들은 연루되어 있고 흥미롭게 여겨져야 하며, 코스의 목적과 관련이 있어야 한다.
2. The format in which problems are presented is crucial to the success of the active-learning approach. The problems should be engaging and seen as interesting, and relevant to the purpose of the course.
가장 간단한 형태로는 몇 가지 보기 중 하나의 가능한 답변이 가능한 질문이다. 즉, [객관식 질문]이다.
In its simplest form it consists of a factual question with a couple of possible answers, one of which is the correct one; a multiple choice question in other words.
더 흥미로운 것은 학생들이 [배운 것을 새로운 상황에 적용하도록 유도하는 문제]들이다. 그러한 문제들은 많이 찾았지만 쉽게 달성되지 않는 고등교육의 목표인 지식의 전수를 지원한다.
More interesting are problems that encourage students to apply what they have learned to new situations. Such problems support the transfer of knowledge, a much sought-after but not easily attained goal of higher education.
셋째, 의학 교육에서는 진단과 치료가 의사 양성의 중심이다. 진단 난이도는 공통적으로 증상이 나타나는 가능한 여러 질환을 구분하는 것이다. 여러 가능성있는 진단명과 함께 여러 사례의 황달환자를 제시하면 학생들이 이러한 각각의 질병이 이 사례에서 설명한 증상들을 어떻게 유발할 것인가에 대해 생각하고 토론해야 할 것이다.
Third, in medical education, diagnosis and treatment are central to the training of doctors. The difficulty of diagnosis is to distinguish between different possible diseases that have symptoms in common. Presenting a number of jaundice cases, each with a set of possible diagnoses, would force students to think about and discuss how each of these diseases would cause the symptoms described in the case
더 까다로운 유형의 문제는 [서술형 문제]인데, 클리커를 적용할 수 없고 다양한 반응을 수집할 다른 방법을 찾아야 하기 때문에 생산 측면에서도 그리 많지 않다. 그러나, 개방형 문제는 객관식 버전에 비해 중요한 이점이 있다. 지식의 인식recognition보다는 지식의 리콜recall에 의존하며, 객관식처럼 사고와 추론 과정을 제약constrain하지 않는다.
A more demanding type of problem is the open-ended problem; not so much in terms of its production as well because the clicker technology cannot be applied and the teacher has to look for other ways to collect various responses. However, an open-ended problem has an important advantage over a multiplechoice version. It relies on recall of knowledge rather than on recognition and does not constrain thinking and reasoning processes to the same extent as the multiplechoice version.
3. 학생들을 능동적인 학습 연습에 참여시키는 표준적인 방법은 학생을 2, 3, 4명씩 조별로 세분화하도록 하는 것이다.
3. The standard way to involve students in the active learning exercise is to have the audience subdivide itself in groups of two, three, or four.
여기서 자신의 사전 지식을 바탕으로 한 elaboration이 이루어지며, 이러한 elaboration은 다른 사람들의 생각과 마주하게 된다. 이 글에서 검토한 대부분의 저자들은 경험적 연구에서 관찰된 주제에 대한 보다 깊은 이해를 산출하는 것이 바로 이와 같은 [아이디어의 충돌]이라는 데 동의한다.
Here elaboration based on one’s own prior knowledge takes place and these elaborations are confronted with ideas of others. Most authors reviewed in this article agree that it is this clash of ideas that produces the deeper understanding of the topic at hand observed in the empirical studies.
네 번째 가능성은 서로 다른 의견을 가진 네 명의 학생들로 하여금 교실 앞에서 그들의 해결책을 옹호하게 하고 학생들이 최선의 답을 얻기 위해 투표하게 하는 것이다. 다섯 번째 가능성은 학생들 간의 즐거운 경쟁을 참여의 동력으로 삼는 것이다. 학생들은 앉기 보다는 서 있으라는 요구를 받는다. 그런 다음, 그들에게 많은 참/거짓 질문이 제시된다.
A fourth possibility is to have four students with different opinions defend their solution in front of the class and let the students vote for the best answer. A fifth possibility is to use pleasant competition among students as an engine for involvement. Students are asked to stand rather than to sit. Then they are presented with a number of true/false questions.
4. 해결책을 옹호한 후 제공되는 교사 피드백, 투표 또는 수집된 답변은 짧게, 짧게, 길게는 몇 분 이내로, 잘 준비해야 한다. 다시 말하지만, 다른 매체의 사용은 여기에서 도움이 될 것이다.
4. Teacher feedback provided after the solutions have been defended, the votes cast, or the answers collected, should be short, not more than a few minutes, and should be well prepared. Again, the use of other media would help here.
4. 고찰
4. Discussion
강의는 여러 가지 면에서 부족한 것 같다:
(a) 강의는 비판적 사고를 조장하는 데 서툴고,
(b) 일부 학생만 강의에 집중하고
(c) 출석을 하더라도, 참여의 범위가 제한되고,
(d) 학생들은 주제에 대한 관심을 느슨하게 하고, 여러 off-task 행동을 보여준다.
(e) 학생들은 extensive한 교과서보다 강의 노트를 바탕으로 학습 활동을 집중하는 경향이 있다.
(f) 강의가 대부분의 수업내용을 다룰 수 있다는 생각은 거짓이며,
(g) 강의에서 학생이 제한되는 내용에 대한 경험적 학습 문헌
Lectures seem to fall short in a number of ways:
(a) lectures are poor at promoting critical thinking,
(b) students attend lectures in limited numbers, and
(c) while present engage themselves only to a limited extent,
(d) students loose interest in the subject matter and display all kinds of off-task behaviors,
(e) students tend to concentrate their learning activities based on the lecture notes rather than the more extensive book,
(f) the idea that lectures can cover most subject-matter is false, and
(g) the empirical learn literature on what students from lectures is limited.
강의의 가장 근본적인 문제는 정보 전달 오류에 근거하는 경향이 있다는 점이다. 이것은 선생님이 가르치는 것은 학생에게 기억된다는 생각이다. 그러나 현실적으로 학생들은 가르친 대로 정보를 저장하지 않는다. 그들은 강의한 내용에 대한 해석을 저장한다. 기억은 [구성적]이고, 학생들은 무언가를 기억하고 사용하려면, 배운 것을 가지고 무언가를 해야 한다.
The most fundamental problem of lectures is that they tend to be based on the information transmission fallacy. This is the idea that what is taught by the teacher is remembered by the student. In reality however, students do not store information as taught. They store their interpretation of what is lectured. Memory is constructive and students have to do something with what they learn in order to remember and use.
본 논문은 4가지 공통 요소를 가진 교실에서의 다양한 학습 접근법을 설명했다.
(a) 학생들이 중요한 아이디어 개념을 숙달하기 위한 초기 개별 학습 시도,
(b) 교실 환경에서 교사가 관련 문제를 제시해야 한다.
(c) 문제에 대한 해결책을 마련하기 위한 개별 학생 또는 소규모 그룹의 정교한 활동
(d) 교사의 피드백
Our paper described various approaches of active learning in the classroom, that have four elements in common:
(a) an initial individual learning attempt by students to master important concepts of ideas,
(b) the presentation of a relevant problem by the teacher in the classroom setting,
(c) elaborative activities of individual students or small groups of students to come up with solutions to the problem, and
(d) feedback of the teacher.
강의실은 이야기를 하기에 좋은 곳이다. 학문은 사실과 이론으로만 구성되는 것이 아니다. 그것은 또한 세상을 보고 접근하는 방법을 수반한다: 기여자들이 공유하는 신념, 태도, 공통 윤리, 연구 관행들의 집합; 그 역사를 만든 과학자들에 대한 특정한 역사와 특정한 이야기들. 게다가 책이나 기사에 기술된 과학과 실제로 행해진 과학이 완전히 같은 것도 아니다.
the lecture theater is a good place to tell stories. A discipline does not only consist of facts and theories. It also entails a way to view and approach the world: a collection of beliefs, attitudes, a common ethic, and research practices that its contributors share; a particular history and particular stories about the scientists who made that history. In addition, science as described in books and articles, and science as actually carried out are not entirely the same thing.
문헌들은 대개 과학적인 노력의 최종 산물만을 묘사하고 있으며, 정적이고 형식적인 방법으로 그렇게 한다. 하지만 학생들은 그 모든 이야기를 들을 자격이 있다;
연구자가 어떻게 특정한 가설을 발전시켰는지에 대한 이야기
연구자가 마주한 어려움에 대한 이야기, 그리고
소중한 가설이 거짓으로 판명되었을 때의 감정 등..
연구자 자신보다 누가 이런 이야기를 더 잘 할 수 있을까?
Articles describe only the end product of a scientific endeavor and do so in a static and formal way. Students however deserve to hear the whole story;
the story of how the researcher developed a particular hypothesis,
the story of the difficulties the researcher encountered, and
his or her emotions when a cherished hypothesis turned out to be false.
Who can tell these stories better than the researcher him or herself?
On the Use and Misuse of Lectures in Higher Education
Institute of Psychology, Erasmus University Rotterdam, the Netherlands
Available online 16 December 2015.
Abstract
Background
The purpose of this article was to review the literature on lecture effectiveness and to suggest avenues for improvements.
Methods
Selective literature review with an emphasis on active learning in the classroom setting.
Results
Conventional lectures are effective only to a limited extent in attaining important curriculum objectives. They do not promote critical thinking; student attendance tends to be low and so is cognitive engagement; furthermore, the idea that lectures should and can cover all essential subject matter is false. Moreover, empirical literature on what students actually learn from lectures is lacking. A most fundamental problem of lectures is that they are based on the information transmission fallacy, the idea that students learn just by being told. The paper proposes an alternative approach to lecturing based on studies in teaching the natural sciences: active learning in the classroom. This approach has four key elements: (a) an initial individual learning attempt by students to master important concepts or ideas, (b) the presentation of a relevant problem by the teacher in the classroom setting, (c) elaborative activities of individual students or small groups of peers to come up with solutions to the problem, and (d) feedback of the teacher.
Conclusion
The available evidence suggests that active learning in the classroom setting supports and fosters learning to a much larger extent than conventional large-group teaching.
How medical teachers use narratives in lectures: a qualitative study
Graham Easton1,2
배경
Background
의학 교육에서 서사적 학습(내러티브나 이야기를 통한 학습)의 이점에 대한 교육학적이고 이론적인 주장이 강하다. 특히 의미 형성 분야("making sense")[1], 정체성의 발달[2–4], 기억력 향상[2–4], 공감 촉진[5, 6], 실천[7], 그리고 질병 대본이라고 알려진 것을 통한 임상 추론의 발달.[2, 8]
There are strong pedagogical and theoretical arguments for the benefits of narrative learning (learning through narratives, or stories) in medical education—particularly in the areas of meaning-making (“making sense”)[1],the development of identity [2], enhancing memory [2–4], promoting empathy [5, 6], reflection on practice [7], and the development of clinical reasoning through what are known as illness scripts [2, 8].
서사 학습 이론은 서사가 어떻게 학습을 촉진시킬 수 있는지를 설명하기 위한 시도다. 서술 학습 이론의 중심 제안은 다음과 같다.
Narrative learning theory is an attempt to explain how narratives might promote learning. The central proposal for narrative learning theory is that:
"배움이 일어나는 의미 틀은 우리의 삶을 플롯화emplot하거나 테마화thematise하려는 충동에서 나오는 구성이다."([10] p10).
“The frames of meaning within which learning occurs are constructions which grow out of our impulse to emplot or thematise our lives” ([10] p10).
서술적 학습은 교육적 메시지를 전달하는 효과적인 방법이 이러한 구성을 통해 이루어진다는 전제를 깔고 있다: 학습자들은 [새로운 지식]을 [살아온lived 경험]과 연결하고 그것을 [기존에 가지고 있던 의미의 서술]에 엮어낸다[11]. 즉, 우리는 우리의 경험과 행동을 '이야기'하여 이해시키거나, 삶의 혼란으로부터 논리 정연한 내러티브를 만들어내려는 자연스런 성향을 가지고 있다.
Narrative learning is based on the premise that an effective way to convey educational messages is via these constructions: learners connect new knowledge with lived experience and weave it into existing narratives of meaning [11]. In other words, we have a natural predisposition to make sense of our experiences and actions by “storying” them, or creating coherent narratives from the chaos of life.
서술 학습 이론은 학습을 경험으로부터 의미구축으로 이해하는 구성주의 학습 이론[12]의 넓은 우산 아래에 있다. 서술 학습 이론과 성인기의 지배적인 학습 이론 사이에는 분명한 유사성이 있다. 이 학습 이론은 경험 학습 이론이다. 즉, 성인의 학습은 살아있는 경험과 통합적으로 연관되어 있다는 것이다. Clark와 Rossiter는 경험은 항상 전-언어론적pre-linguistic이라고 주장한다. 즉, 학습자가 경험에 의미를 부여하기 위해서는 경험은 '내러티브' 또는 '스토리'의 형태로 변환되어야 한다.
Narrative learning theories fall under the broad umbrella of constructivist learning theory [12], which understands learning as construction of meaning from experience. There are clear parallels between narrative learning theory and the dominant theory of learning in adulthood—experiential learning theory; the idea that adult learning is integrally related to lived experience [13]. Clark and Rossiter argue that experience is always pre-linguistic—it has to be turned into narrative form, or “storied” before the learner can make meaning from it [14].
이야기는 믿을 수 있고(종종 익숙한 것을 낯설게 만든다), 기억에 남으며, 매력적이기 때문에 잠재적으로 강력한 교육 도구로 제안되었다[15]. 내러티브는 청자로 하여금 [기억을 촉진할 수 있는 의미 창조]를 하게끔 요구하고, 등장인물들과 등장인물의 동기 부여는 사실fact만으로는 이룰 수 없는 감정적인 반응을 발생시킨다[11].
Stories have been proposed as potentially powerful educational tools because they are believable (often making the unfamiliar familiar), memorable, and engaging [15]. Narratives demand that listeners become involved in creating meaning which can promote memory, and characters and their motivations encourage an emotional response that facts alone cannot [11].
이야기들이 의학 훈련에서 강의실 밖에서 널리 사용된다는 증거가 있다. 공식적인 사례 이력(임상 사례에 대한 전문적인 서술)은 병동 회진이나 회의 등에서 널리 사용되고 관찰 연구는 더 비공식적인 "일화"("해결 또는 미해결된 임상 사례의 비공식적인 이야기"라고 기술한 것)가 병원의 교육 환경에서 광범위하게 사용된다는 것을 확인했다[2, 16]. 설문 조사 연구에서는 GP 트레이너도 임상 GP 환경에서 연습생 GP를 가르칠 때 일화를 자주 사용하는 것으로 나타났다[17]. 교육과정에는 많은 다른 예시들이 있다. 예를 들어, 의학 인문학 프로그램[18], 중요한 사건 분석[또는 중대 사건 분석][19], 실무에 대한 성찰[20] 등이 있다.
There is evidence that stories are used widely outside the lecture theatre in medical training. Formal case histories (professional narratives about clinical cases) are used widely, for example on ward rounds or in meetings, and observational studies have confirmed that more informal “anecdotes” (which Hunter describes as “informal stories of clinical cases, solved and unsolved”) are used widely in educational settings in hospitals [2, 16]. A questionnaire study has suggested that GP trainers also use anecdotes frequently in teaching trainee GPs in a clinical GP setting [17]. There are many other examples of narratives being used in the curriculum, for example in medical humanities programmes [18], significant event analysis (or critical incident analysis) [19], and reflection on practice [20].
그러나 기초 의학 강의에서 서술어를 사용하는 것에 대한 연구는 부족하다. 기초의학 강의는 좀 더 형식적이며, 전통적인 환경으로, 좀 더 didactic한 교육 방식을 유도한다. 강의가 정보를 전달하기 위한 다른 교육 방법만큼 효과적일 수 있지만 [21], 강의가 학습자의 행동이나 가치를 수정하거나 흥미를 유발하는 데 어떤 역할을 한다는 증거는 거의 없으며, 학습자가 맥락이 결여된 대량의 정보에 압도될 수 있는 위험성도 있다[9].
However, research is lacking on the use of narratives in basic medical science lectures—where perhaps the more formal and traditional setting encourages a more didactic teaching style. Although lectures may be as effective as any other teaching method for delivering information [21], there is little evidence that they have any role in modifying behaviours or values or inspiring interest, and there is a danger that learners can be overwhelmed by a large volume of information for which they have no context [9].
의학 교육에서 사용되는 내러티브의 "유형"을 개발하려는 시도가 두 번 있었다. 하나는 간호교육의 예를 이용하여 고등교육에서 서술어를 사용하기 위한 이론적 구조를 개략적으로 설명한다 [24]. 다른 유형학은 외과의사들이 수술실에서 수술 훈련생들을 훈련시키는 데 사용하는 서술의 유형에 기초한다[25]. 문헌 조사 결과 강의 환경에서 사용되는 서술형 유형을 설명하려는 시도가 발견되지 않았다.
There have been two attempts to develop a “typology” of narratives used in medical education. One outlines a theoretical structure for the use of narratives in higher education, using examples from nurse education [24]. The other typology is based on the types of narratives used by surgeons in training surgical trainees in the operating theatre [25]. A literature search found no attempt to describe the types of narrative used in the lecture setting.
방법
Methods
이 연구는 다음을 포함하는 데이터 수집에 다중 방법 접근법을 사용했다.
The study used a multi-method approach to data collection which includes:
강의 관찰
Observation of lectures
강사와의 일대일 세미구조 인터뷰
One-to-one semi-structured interviews with lecturers
학생과의 그룹 인터뷰 초점
Focus group interviews with students
샘플링
Sampling
그 연구는 목적적 샘플링과 편의적 샘플링을 혼합하여 사용했다. 내러티브나 스토리가 풍부할 것 같은 기초 생물의학 강의는 관찰의 초점이 되는 만큼 관찰하는 것이 중요했다.
The study used a mix of purposive and convenience-based sampling. It was important to observe basic biomedical science lectures which were likely to be rich in narratives or stories, as those were the focus of the observations.
학생 포커스 그룹에 대한 표본 추출은 강의에 참석한 학생들의 관점을 탐구하기 위한 의도적인 것이었기 때문에 강의가 끝난 후 등록 시트를 통해 해당 그룹의 초청을 받았다.
Sampling for the student focus groups was purposive to explore the perspectives of students who had attended the lectures, so the groups were invited from those cohorts via sign-up sheets after the lectures.
자료 분석
Data analysis
서술적 조사가 분석의 기초가 되었다. 저자는 분석의 첫 번째 단계에 대해 데이터 내에서 서술문을 식별하고, 원시 데이터에서 귀납적으로 파생된 범주를 식별했다[27]. 서술적 "단위"를 확인하기 위해 저자는 라보프의 개인 경험 서술 구조에 대한 모델을 사용했는데, 이것은 영어의 다양성에 대한 사회언어학 연구로부터 발전되었다[28]. (그림 1 참조).
Narrative enquiry was the basis for analysis. For the first phase of analysis, the author identified narratives from within the data, and derived categories inductively from the raw data [27]. To identify narrative “units” the author used Labov’s model of the structure of the personal experience narrative, developed from his sociolinguistic work on the varieties of English [28]. (See Fig 1).
이러한 방식으로 서술어를 식별한 후, 주제 분석 접근법을 사용하여 주로 서술 내용이나 주제에 따라 그것들을 코드화한 다음, 강사 및 학생 인터뷰 후에 가능한 구성적 의미(각 서술마다 여러 개가 있음)로 코드화하였다. 그런 다음 저자는 귀납적 분석 과정[29]을 이용하여 동일한 강의 내에서나 다른 강의에서나 추가 서술적 예시의 관찰에 이 지식을 적용했다.
After identifying narratives in this way, a thematic analysis approach was used to code them according primarily to narrative content or theme and then, after lecturer and student interviews, to possible constructed meanings (of which there were often several for each narrative). Using an analytic inductive process [29], the author then applied this knowledge to observations of further narrative examples both within the same lecture, and in different lectures.
윤리적 승인
Ethical approval
과학적 강건함
Scientific rigour
설명의 타당성 위협을 최소화하기 위해 강의와 인터뷰의 오디오 녹음을 사용했으며, 주요 순간과 시간 로그의 현장 메모를 보관했다. 저자는 해석 영역에서 타당성을 유지하는 메이슨의 접근법을 채택하려고 노력해왔다. 즉, 해석이 어떻게 도달했는지 입증하고, 그가 해석한 단계를 정당화하는 것이다. [30].
To minimise threats to validity in description, audio recordings of lectures and interviews were used, and field notes of key moments and time logs were kept. The author has tried to adopt Mason’s approach to maintaining validity in the area of interpretation—demonstrating how the interpretation was reached and justifying the steps through which he made his interpretations [30].
Reissman은 신뢰성과 타당성에 대한 전통적인 생각은 서술적 분석에 적용되지 않는다고 제안하지만 그녀는 서술적 해석의 신뢰성에 대한 주장을 할 수 있는 네 가지 방법을 간략히 설명한다[31]. 다음은 다음과 같다.
설득력(이 해석이 설득력 있어 보일 때, 종종 이론적 주장이 참가자의 계정에 의해 뒷받침되기 때문에),
일관성(내레이터의 전체적인 목표가 보다 상세한 언어적 장치와 일치하는 것처럼 보이거나, 또는 핵심 주제가 내러티브를 통해 반복되는 것처럼 보이는 경우)
실용적 사용(연구가 인용되거나 다른 사람에 의해 사용되는 경우)
교신(연구자가 연구한 사람에게 결과를 되돌려 주는 경우).
Reissman suggests that traditional ideas about reliability and validity do not apply to narrative analyses but she outlines four measures through which we can make claims for the trustworthiness of narrative interpretations [31]. These are:
persuasiveness (when the interpretation seems convincing, often because the theoretical claims are supported by participants’ accounts),
coherence (where the overall goals of a narrator seem to match more detailed linguistic devices, or where key themes seem to repeat themselves throughout narratives),
pragmatic use (where a study is cited or used by others), and
correspondence (where researcher takes back results to those who have been studied).
이 중 저자는 이론과 데이터를 명확하게 일치시켜 연구결과가 설득력 있고, 자신이 인식한 주제들이 내러티브 내에서나 참가자들 사이에 끈질기게 존재한다는 것을 보여주기를 바라고 있다.
또한 학생들과 강사의 견해를 토론하고, 두 유형의 참가자들에게 강의 중 저자가 말한 서술문을 분석하는 것에 대한 견해를 물어보는 등 서신 왕래가 많았다.
저자는 인터뷰와 포커스그룹에서 강사와 학생들에게 자신이 파악한 내러티브의 몇 가지 사례를 제시하며 이것이 일종의 '이야기'라는 것에 동의하는지 물었다. 이어 저자는 강사의 의도된 의미가 무엇인지, 학생들의 이야기에 대한 이해가 무엇인지 질문했다.
추가 질문에서는 강사들이 이야기를 하는 이유, 왜 그것이 특정한 방식으로 이야기되었는지, 학생들이 그것이 학습에 도움이 되는지, 그리고 어떤 방식으로 이야기되었는지에 대해 조사했다.
마지막으로, 저자는 문제의 이야기에 대한 자신의 분석을 공개하고, 구성된 활자학(주제가 지배적인 주제) 내에서 자신의 위치를 설명하고, 학생들과 강사에게 이 분석이 타당하다고 생각되는지를 질문할 것이다.
Of these, the author hopes to show that the findings are persuasive by clearly matching theory to data, and that themes he has recognised are persistent within narratives and across participants.
There was also extensive use of correspondence by discussing lecturers’ views with students and vice versa, and by asking both types of participant their views on the author’s analysis of the narratives told during the lectures.
During interviews and focus groups, the author presented some examples of narratives he had identified to lecturers and students and asked them whether they agreed this was a type of “story”.
The author then went on to ask what lecturers’ intended meanings were, and what students’ understanding of the stories was. Further questioning explored the lecturers’ reasons for telling the story, why it was told in a certain way, and whether students found it helpful for learning and if so in what ways.
Finally, the author would reveal his own analysis of the story in question, describing its place within the constructed typology—its dominant theme—and ask students and lecturers if they felt that this analysis made sense to them.
결과
Results
강의 1
Lecture 1
의학 서사의 유형
A typology of medical narratives
저자는 반복적이고 분석적인 유도 방식을 사용하여 세 가지 강의에 걸쳐 강사가 사용하던 서술형 유형을 분류했다(표 1 참조).
Using an iterative, analytic induction approach the author developed a classification of the types of narratives that lecturers were using across the three lectures (see Table 1).
내러티브가 학습에 미치는 영향
Impact of narratives on learning
서술형 학습의 이론적 이점을 반영한 데이터에서 핵심 주제가 나왔다. 나는 이 링크를 전체적으로 강조하려고 노력할 것이다. 일부 테마는 많은 또는 모든 서술형 유형에 적용되며, 다른 테마는 하나 또는 두 개의 범주의 주요 특징이다(표 1 참조). 나는 강사와 학생들과의 인터뷰 내용을 발췌하여 결과를 설명할 것이다.
Key themes emerged from the data which echo the theoretical benefits of narrative learning—I will try to highlight these links throughout. Some themes apply to many or all narrative types; others are predominant features of one or two categories (see Table 1). I will illustrate findings with excerpts from interviews with lecturers and students.
강사와 학생 모두 내러티브와 스토리를 통해 이해도를 높이고 학생들이 자료를 이해하도록 돕는 이야기를 자주 했다.
Both lecturers and students often talked about narratives and stories improving understanding and helping students to make sense of the material.
인터뷰에서는 두 가지 특별한 주제가 나왔다: 자료에 참여하게 하고 청중에게 적절한 맥락을 제공하는 것이다.
Two particular themes emerged from the interviews: engagement with the material, and providing a relevant context for the audience.
강사 2는 또한 청중들을 참여engage시키기 위해 관련 서사의 중요성을 강조했고, 또한 흥미를 끄는 자료를 사용하여 "후크"를 제공했다.
Lecturer 2 also highlighted the importance of relevant narratives to engage an audience, and to provide a “hook” using material that also interests him:
참여의 주제와 학습에 관련된 맥락 제공은 또한 누군가 튜브에서 잠드는 것에 대한 강의 1의 이야기에 대한 토론에서도 나타났다(앞부분 참조). 강사 1은 청중들을 끌어들이기 위한 "훅"일 뿐만 아니라 학생들의 일상 생활과 관련된 맥락을 제공하는 방법으로서 다음과 같이 말하고 있다.
The themes of engagement and providing a relevant context for learning also both emerged in discussions about the story in Lecture 1 about someone falling asleep on the tube (see earlier). Lecturer 1 talks about it as a “hook” to engage audiences, but also as a way to provide a context relevant to the students’ everyday lives:
강의 내용을 관찰한 결과 학생들은 이야기를 하는 동안 engage했던 것으로 나타났다; 약간의 웃음과 수다스러움이 있었고, 머리들이 강사를 올려다보고 있었다. 이후 학생들과 가진 인터뷰에서는, 그들은 그 이야기를 유도하지 않고 분명히 기억했지만, 또한 그것이 매력적이고 관련이 있다는 것에 동의했고, 그러한 특징들 때문에 그들이 배우고 이해하는 데 도움이 되었다고 느꼈다.
From observations of the lecture it appeared that students were engaged during the story; there was some laughter and chatter and heads were looking up at the lecturer. In subsequent interviews with the students, they all clearly remembered the story without prompting, but also agreed that they found it engaging and relevant and felt that because of those features it helped them to learn and understand:
'참여'와 '학습 관련 맥락 제공'이라는 주제는 특히 인물과 투쟁 및 목표에 의해 추진되는 "스토리" 내러티브에서 특히 적용된다. 그러나 이 장르는 다른 장르에 비해서 학생들과 강사에 의해 덜 자주 언급되었다. 또한 이러한 theme은 [학생들에게 특별한 관련성을 제공하는 서술적 범주]에서 더 두드러지는 것처럼 보였다. 그들의 기존 경험(예: 튜브 스토리)과 임상 사례와 관련된 내러티브에 반향을 일으킨 실제 세계 내러티브(실제 및 가상):
The themes of engagement and providing relevant context for learning applied particularly to “story” narratives, driven by characters and struggles and goals (as illustrated by the two examples above); they were less often raised by students and lecturers in discussions of other narrative genres. These learning themes also seemed to appear more often in relation to narrative categories which provided particular relevance for the students—real world narratives that resonated with their existing experiences (eg the Tube Story) and narratives related to clinical cases, both real and hypothetical:
직업 정체성 개발
Professional identity development
면담에서 나온 또 다른 두드러진 서술 주제는 직업 정체성에 관한 것이었다. 여기서의 하위 테마는 전문성(특히 전문적인 태도), 진정성과 신뢰, 전문가가 되는 것, 그리고 과학의 오류가능성에 관한 것이었다.
Another prominent narrative theme which emerged from interviews was around professional identity. The subthemes here were about professionalism (particularly professional attitudes), authenticity and trust, becoming an expert, and the fallability of science:
이 모든 테마는 서사를 사용하여 정체성을 발달시킨다는 측면에서 서사 학습 이론과 공명을 가지고 있으며(이 경우 전문 의사로서), 사회적 용어(허용된 전문적 행동과 의학의 사회적 기업 측면에서)를 가지고 있다. 벵거와 라브의 실천 공동체 이론에서, 강의에 참가한 학생들은 전문 의료계의 "합법적인 주변적 참여자"로서, 공동 활동과 토론을 하고, 서로에게서 배워 공통된 전문적 정체성을 개발하도록 돕는 관계를 형성하는 것으로 볼 수 있다[32]. 이번 연구를 통해 기초과학 강의에 내러티브가 활용되어 다양한 방법으로 이 역할을 완수하고 있으며, 강사와 학생들은 이를 인정하고 있는 것으로 보인다.
All these themes have resonance with narrative learning theory in terms of using narratives to develop identity (in this case as a professional doctor), and in social terms (in terms of accepted professional behaviours, and the social enterprise of medical science). In Wenger and Lave’s theory of communities of practice , students in lectures could be seen as being “legitimate peripheral participants” of the professional medical community, engaging in joint activities and discussions, building relationships that help them learn from each other to develop a common professional identity [32]. From this research, it seems that narratives are being used in basic science lectures to fulfil this role in various ways, and lecturers and students acknowledge this.
기억
Memory
기억은 강사와 학생 모두에게서 나온 강한 주제였다. 학생들은 내러티브가 - 특히 "이야기" 장르가 - 정보를 더 잘 기억하도록 도와준다고 느꼈다. 그들은 종종 이야기가 흥미롭기 때문에 기억하는데 도움을 주기도 하지만, 종종 특정 인물과 관련된 구체적인 예라고 언급하기도 했다.
Memory was a strong theme which emerged from both lecturers and students. Students felt that narratives—again particularly the “story” genre—helped them remember information better. They often mentioned that stories helped them remember because they were engaging, but also that they were often specific examples relating to a particular person:
학생들도 내러티브가 기억에 남는다고 봤다. 왜냐하면 내러티브는 학생들의 미래 작업에 대한 관련성을 명확하게 설명했기 때문이다. A&E의 오피오드 과다복용에 관한 이야기(예:
Students also saw narratives as memorable because they clearly outlined the relevance for students in their future work. A story about opiod overdose in A&E for example:
기억의 초점은 [서사의 사용과 기억 사이의 이론적 연결고리]를 뒷받침하는 것으로 보이며, 특히 기억에 대한 가장 많은 토론을 불러일으킨 것은 그들의 캐릭터 중심적인 줄거리와 투쟁과 목표가 있는 "이야기" 장르의 서술이었다는 점이 흥미롭다. 그러나 학생들이 저자가 '스토리'로 분류한 것을 강의에서 가장 기억에 남는 부분으로 꼽는 사례도 여럿 있었다.
The focus on memory appears to back up the theoretical links between the use of narrative and memory, and it is particularly interesting that it was the “story” genres of narrative, with their character driven plots, struggles and goals, that provoked the most discussion around memory. There were however several instances where students would volunteer what the author had classified as “stories”, unprompted, as the most memorable part of the lecture.
공감/연민
Empathy/compassion
특히 실제 경험 및 임상 사례 범주에서 몇 가지 내러티브가 공감과 연민에 대한 코멘트가 있었다. 특히 1강사는 환자의 관점을 보여주는 듯한 여러 가지 내러티브를 들려주며 학생들이 환자의 입장이 되어보도록 격려했다. 렉처 1의 '잠금증후군' 환자에 대한 이야기는 일부 학생들에게 다음과 같은 강한 반응을 불러일으켰다.
Several narratives—especially in the real world experience and clinical case categories—drew comments about empathy and compassion. Lecturer 1 particularly, told several narratives which seemed to be promoting the patient’s point of view, encouraging students to step inside a patient’s shoes. A story in Lecture 1 about a patient with locked-in syndrome triggered some strong reactions in some students:
또 다른 이야기는, 수면 아포아에 관한 것으로, 학생들이 휴대폰이 울리면 몇 분마다 깨는 것이 어떨지 상상하도록 격려했다.
Another story, about sleep apnoea, encouraged students to imagine what it would be like to be woken every few minutes by their mobile phone going off…
이것은 원래 강의 성적표를 관찰하고 분석하여 얻은 결과지만, 나중에 학생들과 강사에게 내 분석에 동의하는지 직접 물어봄으로써 타당성이 입증된 사례다. 강사는 강사 본인에게 언급되기 전까지는 스스로 사용하고 있는 내러티브의 환자적 관점을 알지 못했다.
This is an example of a finding which was originally derived from observation and analysis of the lecture transcript, but which was later validated by asking the students and the lecturer herself if she agreed with my analysis. Before it was mentioned to her, the lecturer was unaware of the patient perspective nature of the narratives she was using:
공감과 연민의 증진은 서술적 교육학의 강력한 이론적 이점이다. 이러한 연구 결과는 기초 과학 강의에서도 서술적 학습의 이러한 측면이 실제로 작용하고 있음을 시사한다. 학생들과 강사들은 둘 다 사용된 많은 서술의 가치가 환자의 관점을 증진시키는 데 있다는 것을 인정했다.
The promotion of empathy and compassion is a strong theoretical benefit of narrative pedagogy—these findings suggest that even in basic science lectures, this aspect of narrative learning is indeed at work. Students and lecturers both acknowledged that the value in many of the narratives used was in promoting a patient perspective.
행동에 대한 성찰
Reflection on practice
비록 강의의 형식적인 요소는 아니지만, 토론 과정에서 성찰이 언급되었다. 예를 들어, 강사들은 내러티브를 강의의 쉼표처럼 사용하여 학생들에게 휴식을 주고, 그 전에 있었던 일들을 되돌아보는 시간을 갖는 것에 대해 이야기했다.
Although not a formal element of the lectures, reflection did come up in discussions. For example, lecturers talked about using narratives as punctuation marks in lectures, to give the students a rest, and time to reflect on what’s gone on before.
강의에서 내러티브와 스토리의 사용에 대한 강사 및 학생의 태도
Lecturer and student attitudes to the use of narratives and stories in lectures
특히 의학을 뚜렷하게 [인간의 노력human endeavour]이라고 보는 그들의 관점을 감안할 때, 학생들은 전반적으로 강사들이 과학 강의에서 내러티브나 이야기를 사용한다는 생각에 매우 수용적이었다. 학생들은 또한 [임상적 맥락에서 학생들의 학습을 돕기 위한 서사의 (합법적) 사용]과 [공식적인 과학적 담론에서 이야기들의 (억제되는discouraged) 사용]을 구별하는 것 같았다.
Students, on the whole, were very receptive to the idea of lecturers using narratives or stories in their science lectures, particularly given their view of medicine as a distinctly human endeavour. Students also seemed to distinguish between the (legitimate) use of narratives to aid student learning for a clinical context, and the (discouraged) use of stories in formal scientific discourse:
그러나 소수의 학생들은 강의에서 내러티브를 사용하는 것에 대해 부정적인 의견을 가지고 있었다. 여기서의 세 가지 주요 주제는 내러티브/일화가 학습보다 오락과 더 관련이 있을 수 있다는 것, 즉 너무 자주 (그리고 특히 시험에 집중하지 않는 것), 그러한 내러티브들이 대체로 결국 지루해질 수 있다는 것이었다.
But a minority of students had negative comments to make about the use of narratives in lectures. The three main themes here were that narratives/anecdotes may be more to do with entertainment than learning, that they are too often irrelevant asides (and particularly not focussed on passing exams), and that too many of them can become boring:
강사들은 강의에서도 내러티브를 사용하는 것이 개방적이었고, 상당부분 그들의 '비과학적' 본성이 그들의 가치를 떨어뜨리지 않는다고 느꼈다. 어떤 사람은 내러티브가 과학 기관에서 다소 "불투명한fluffy" 것으로 인식될 수 있지 않겠냐는 나의 의견에 반대했다.
The lecturers were also open to using narratives in their lectures, and felt quite passionately that their “nonscientific” nature did not detract from their value. One didn’t accept my suggestion that narratives might be perceived as rather “fluffy” in a scientific institution:
그러나 강사들은 모든 학생들이 강의에 내러티브를 사용하는 것에 대해 잘 알고 있지는 않다는 것을 알고 있었다. 강사 2는 이것이 일부 학생들이 단순히 그런 식으로 배우지 않기 때문에 그런 것인지 궁금했다.
But lecturers were aware that not all students were well-disposed towards the use of narratives in lectures. Lecturer 2 wondered whether this was because some students simply don’t learn that way:
L2: 거기에 적극적으로 반항하고 조금 짜증이 나서 시간 낭비라고 생각하는 학생들이 있다. 집중력을 유지하기 위해서는 스트레이트한 서술이 필요한 특정한 유형의 학습자가 있다. 이 경우 이야기는 이 학생들을 실제로 산만하게 하고, 따라서 그들은 강의에서 손을 뗀다; 나는 그것이 유일한 단점이라고 생각한다.
L2: There are the students who actively rebel against it and get a bit annoyed and think it’s a waste of time. Whether there are particular types of learners who need that straight narrative to maintain concentration, and then by telling a story you are actually distracting them and therefore they disengage with the lecture; I guess that’s the only downside.
강사들이 일부러 내러티브를 사용하는지, 아니면 아예 내러티브와 스토리를 사용하고 있다는 사실까지 알고 있었는지도 관심이었다. 강사 2는 그가 어떤 종류의 내러티브를 사용하고 있다는 것을 알고 있었고, 일부러 다음과 같이 사용했다.
I was interested too in whether the lecturers used narratives deliberately, or were even aware of the fact that they were using narratives and stories at all. Lecturer 2 was aware that he was using certain types of narratives, and did use them deliberately:
그러나 그는 자신이 몇 가지 다른 범주의 이야기를 하고 있다는 사실을 덜 알고 있었다.
But he was less aware that he was telling some other categories of narrative:
마지막으로, 1 강사는 강의와 학습에 [내러티브의 사용]이라는 개념에는 문제가 없지만, 실제 단어인 "이야기"와 "내러티브"라는 단어에 대한 문제를 인지하고 있다고 느꼈다.
Finally, Lecturer 1 felt that while she had no problem with the concept of using narratives in teaching and learning, she did perceive a problem with the actual words “story” and “narrative”:
고찰
Discussion
제시된 연구 결과를 보면, 강사들이 기초 과학 강의에 많은 내러티브를 사용하고 있는 것으로 보인다. 심지어 그들이 그렇게 생각하지 않을 때에도 말이다. 그들 중 일부는 의도적으로 서술어를 사용하고 있지만, 대개는 의학의 역사와 같은 특정 주제에 대해서만 이야기한다. 유형학은 임상 사례(실제 사례와 가상 사례 모두)부터 환자 경험 또는 그들 자신의 직업 경력에 대한 서술에 이르기까지 다양한 서술 주제를 설명한다.
From the findings presented, it appears that lecturers are using many narratives in their basic science lectures – even when they don’t think they are. Some of them are using narratives purposefully, but usually only on certain topics such as the history of medicine. The typology describes a variety of narrative themes, from clinical cases (both real and hypothetical) to narratives about patient experience or their own professional careers.
특정 범주의 내러티브는 학생과 강사 간에 특별한 공통의 의미를 담고 있는 듯하며, 이는 문헌에 기술된 서술의 이론적 이점을 반영한다 [2, 5, 6] —예를 들어 임상 사례 내러티브와 실제 세계 경험 내러티브는 종종 전문적 정체성에 대한 메시지를 전달한다. 이는 내러티브 이론에서 우리가 "스토리를 통해서by storying them" 우리의 정체성(전문직 정체성을 포함하여)을 창조한다고 주장하는 것과 같다.
Certain categories of narrative seem to carry particular shared meanings between students and lecturers, and these echo the theoretical benefits of narratives described in the literature [2, 5, 6]—for example, clinical case narratives and real world experience narratives often conveyed messages about professional identity—narrative theory holds that we create our identities—including professional identities—by storying them [2].
환자 내러티브는 종종 다른 사람에 대한 공감이나 인식을 증진시키는 것으로 해석되었다. —학습에서 내러티브의 이론적 이익을 추구하며, 듣는 사람이 다른 사람의 입장에 서도록 격려하고, 그렇지 않으면 내러티브가 닫힌 세계로 들어가도록 장려한다[5]. 또한 서술적 학습의 특정 측면과 관련된 특정 범주가 있었다.—특히 캐릭터가 주도하는 이야기들은 학생들이 더 잘 기억하고 있는 것 같았고, 특히 그들 자신의 전문적 맥락(예: 임상 사례)과 관련된 내러티브가 더 잘 기억되는 것 같았다.
Patient narratives were often interpreted as promoting empathy or awareness of others—another theoretical benefit of narratives in learning, encouraging the listener to put themselves in another person’s shoes and to enter worlds which are otherwise closed to them [5]. In addition certain categories were associated with particular aspects of narrative learning—character-driven stories in particular seemed to be better remembered by students, especially narratives with relevance to their own professional context (for example, clinical cases).
학생들은 내러티브나 스토리가 포멀한formal 과학 연구 논문에서 사용하기에 적절하지 않을 것이라고 생각했지만, 강의에서 서술어를 학습에 사용한다는 생각에 대부분 수용적이었다. 그러나 소수의 학생들은 내러티브가 특히 시험에서 시험해야 할 학습 목표와 관련이 없다면 관련없는 산만함이 될 수 있다고 생각했다. 이것은 학생마다 다른 학습 스타일 선호를 반영할 수 있다. 교수가 자기가 스토리를 말하고 있었다는 사실이나 말하고 있었던 스토리의 수와 범위를 종종 과소평가했다는 것은 흥미롭다; 이것 자체가 그들을 유용한 학습 도구로 간주하는 것을 꺼리는 것을 반영할 수 있다.
Whilst students felt that narratives or stories would not be appropriate to use in a formal scientific research paper, they were mostly receptive to the idea of using narratives for learning in lectures. A minority of students though, felt that narratives could be an irrelevant distraction, particularly if not related to learning objectives to be tested in exams. This may reflect different learning style preferences in different students. It is interesting that lecturers often underestimated the number and range of narratives or stories they were telling; this in itself might reflect a reluctance to consider them as useful learning tools.
일부 교수들은, '스토리'라는 단어가 유치함을 함축하고 있어 문제가 있다는 느낌도 있었지만 강사들은 내러티브와 스토리를 사용하는 태도에 학생들보다 훨씬 긍정적이었다. 일부에서 제시했듯이 의학 교육에서 이야기와 서사를 사용하는 것이 저평가되어 있다는 것은 거의 무의미했다[33].
However on direct questioning, lecturers were even more positive than students in their attitudes to using narratives and stories, although there was some feeling that the word “story” was problematic as it had connotations of childishness. There was little sense, as some have suggested, that the use of stories and narrative in medical education is undervalued, even maligned [33].
대부분의 학생들은 (전부는 아니지만) 내러티브가 가치 있는 학습 도구가 될 수 있다고 느꼈다. 이 연구에서 기존의 문헌과 공명하는 학습 과정의 몇 가지 핵심 부분이 밝혀졌다. 학생들과 강사들 모두 그들에게 적절한 맥락을 제공하는 서사의 가치를 강조했는데, 그 이야기에 학생들을 끌어들이고 참여시킴으로써, 이야기는 학생들이 자료를 더 잘 이해하는데 도움을 주는 것처럼 보였다. 의학 학습자를 포함한 모든 학습자에게 있어 중요한 단계는 자신이 경험하는 것으로부터 의미를 창조하는 것이다. 즉, 의미를 갖도록 하는 것make sense이다. 의미형성은 이해나 이해와 매우 밀접하게 연관되어 있다. 학습자가 의미를 구축하기 위해서는 그 전에 이해해야 한다.
Most students (but not all) felt that narratives can be a valuable learning tool. Several key parts of the learning process came to light in this study which resonate with the existing literature. Both students and lecturers highlighted narrative’s value in providing a relevant context for them—by drawing them in to the story and engaging them, stories seemed to help them understand the material better. A key step for any learner—including medical learners—is to create meaning from what they experience; to make it make sense. Meaning-making is very closely linked to comprehension or understanding—a learner must comprehend before he or she can create meaning.
환자의 질병 서사에 대한 많은 연구가 있으며, 의미형성에 있어서 내러티브의 중요성에 대한 이론에다가 경험적 무게를 더하고 있다. 예를 들어, Hanninen은 중독에 걸린 환자들은 [중독에 대한 자기 자신의 성공적인 이야기를 구성할 수 있을 때까지] 자기 회복을 촉진할 수 없다는 것을 발견했다[1]. 그러나 의미구축을 위한 또 다른 중요한 교육학적으로 분리되는 것은 참여engagement이다. 내러티브와 스토리 구조는 기존의 지식과 경험과의 연결을 제공하고, [익숙하지 않은 것을 친숙하게 보이게 함]으로써 학습자들을 참여시키는데 도움을 줄 수 있다.
There have been many studies of patient’s illness narratives which add empirical weight to the theoretical centrality of narrative in meaning-making. Hanninen, for example, found that patients with addictions were unable to promote self-recovery until they were able to construct a successful narrative of their addiction [1]. But another important pedagogical spin-off of meaning-making is engagement. Narratives and story structure may help to engage learners by offering a connection with existing knowledge and experience, and by making the unfamiliar seem familiar.
예를 들어 Holt와 다른 사람들[34, 35]은 스토리 구조가 학습자들이 기존 지식체계을 호출하는 데 도움을 줄 수 있고, 새로운 정보가 목적적합해 보이도록 만들 수 있다는 것을 보여주었다. 특히 학생들은 자신의 직업에서 직면할 가능성이 높은 임상 상황에 대한 이야기를 찾아냈다. 이는 내러티브가 경험적 학습사이클의 핵심 요소라는 개념을 뒷받침하며, 맥노튼이 제안한 것처럼 임상 사례에 대한 정보를 대리 취득하는 효과적인 방법이다[8].
For example Holt and others [34, 35] have shown that story structure can help learners call up existing banks of knowledge, and can make new information seem relevant. In particular, students found stories about clinical situations they are likely to encounter in their careers engaging and relevant. This supports the concept of narratives being a key element of the experiential learning cycle—and as MacNaughton has suggested, an effective way of vicariously acquiring information about clinical cases [8].
학생들과 강사들은 기억력 증진에 있어서 서사의 가치에 큰 초점을 맞췄는데, 이것은 나중에 그들의 직업에서 발견될 유용한 질병서사의 개발에 도움이 될 것 같다. 임상 사례 서사는 이와 관련하여 가장 관련성이 높은 서술 범주로 보였다. Hunter는 병원 내 교육 환경에서 관찰 연구를 통해 내러티브가 의대 학생들이 정보를 보유retain하는 데 유용한 방법이 될 수 있다고 가정했다[2]. 80명의 학부생을 대상으로 한 페르날드의 연구에서, 이야기는 [공식적인 책이나 강의 설명보다] 더 기억될 가능성이 높다는 것을 발견했다[36].
Students and lecturers focused a great deal on the value of narratives in promoting memory, something which is likely to help in the development of useful illness scripts to be retrieved later on in their careers. Clinical case narratives seemed the most relevant category of narrative in this regard. Hunter, from her observational studies in educational settings within hospitals, has postulated that narratives may be a useful way for medical students to retain information [2]. Fernald’s study of eighty undergraduates suggested that they found stories more likely to be remembered than formal book or lecture descriptions [36].
그러나 이러한 논쟁은 학습자들이 서로 다른 스타일의 학습을 선호할 수 있는 가능성을 다루지 않는다. 어떤 이들은 이야기를 선호할 수도 있고, 다른 이들은 목록이나 도표와 같은 비서사적 접근법을 통해 배우는 것을 선호할 수도 있다[37]. 그러나, 서사적 기술이 개인적인 기억의 장기 보존과 검색에 중심이라는 것이 응용 인지 심리학 분야에서 점점 더 많은 증거로 쌓이고 있다. 예를 들어, 연구들은 논리 정연한 이야기를 구성하는 아이들의 능력이 사건에 대한 더 많은 정보를 제공하는 그들의 능력과 연관되어 있다는 것을 보여주었다[38].
However this line of argument doesn’t address the possibility that different learners may have different preferences in learning styles—while some may favour stories, others may prefer to learn through non-narrative approaches such as lists or diagrams [37]. There is, though, increasing evidence from the field of applied cognitive psychology that narrative skills are central to long term retention and retrieval of personal memories. Studies have shown for example that children’s ability to construct coherent narratives is linked to their ability to provide more information about events [38].
서사학습 이론은 기억력memory과 관여engagement를 서술 구조의 잠재적인 강점으로 강조한다. 고전 이야기들은 특히 인물들의 행동과 의도에 청자를 포함하기 때문에 기억에 남는다. 그들은 적극적인 의미구축을 요구한다; 우리는 이야기 속에서 의미를 발견하는 것뿐만 아니라 창조해야 한다[11]. 이야기는 학습자를 참여시키고 공감하는 반응을 자극함으로써 학습자를 참여시킨다. – 생생한 인물의 세부사항과 그들의 동기부여는 우리를 이야기로 끌어들이고 관점을 증진시킨다[11]. 이 연구에서는, (비록 학생들도 서사의 가치가 제안되었을 때 알아볼 수는 있었지만), 강사들은 공감을 촉진하고 의학 분야의 전문적인 세계에 대한 통찰력을 제공하는데 있어서 내러티브의 가치를 더 강조하였다.
Narrative learning theory highlights both memory and engagement as potential strengths of narrative structures. Classical stories particularly are memorable because they involve the listener in the actions and intentions of the characters. They demand active meaning-making; we have to fill in any gaps and create as well as discover meanings within stories [11]. Stories engage learners by involving them and stimulating an empathic response – the vivid details of characters and their motivations draw us into a story and promote perspective taking [11]. In this study, lecturers highlighted more the value of narratives in promoting empathy, and offering insights into the professional world of medical science, although students too could see this when it was suggested to them.
문헌에 따르면 서사는 전문적 정체성 발달의 중심이며, 전문적 행동의 문화적 가치와 규범을 여러 세대의 의사를 통해 전수한다[39]:
The literature suggests that narratives are central in professional identity development, passing down cultural values and norms of professional behaviour through generations of doctors [39]:
의학에서 비유는 흔히 '이 엄청난 환자가 있었지'나 '내 인턴 시절에는'에서 출발한다. 뒤이어 벌어지는 이야기는 의사가 된다는 것이 무엇을 의미하는지에 대한 도덕성과 함께 매혹적인 의료 사건에 대한 이야기다.
In medicine, parables often start with “I had this great case” or “When I was an intern.” What ensues is a story about a fascinating medical case with a moral about what it means to be a doctor.
Hunter는 (의학 내러티브에 대한 학문적 연구를 바탕으로) 의학 학습자의 사회화와 전문화를 돕는 데 있어 서사의 중요한 역할을 밝혔다[2]. 내러티브 학습 이론은 정체성 발달과 사회적 측면을 핵심에 가까이 두고 있기 때문에 이론적인 측면에서는 적어도 [서사들이 어떻게 전문적 정체성과 문화의 이슈를 공유할 수 있는 매개체 역할을 할 수 있는지] 쉽게 알 수 있다. 이 연구는 이러한 아이디어에 무게를 더한다. 즉, 종종 전문적 문화, 직업, 과학의 낙오성에 대한 이야기를 선택한다.
Based on her scholarly studies of narratives in medicine, Hunter identifies an important role of narrative in aiding socialisation and professionalization of medical learners [2]. Narrative learning theory holds identity development and social aspects close to its core, so in theoretical terms at least, it is easy to see how narratives could act as a vehicle via which issues of professional identity and culture might be shared. This study adds weight to these ideas—lecturers often choosing to tell stories about professional culture, careers, and the fallability of science.
마지막으로, 확인된 모든 이야기들 중에서, 강조했던 배움의 거의 모든 측면에 대해 가장 많은 토론과 긍정적인 발언을 불러일으킨 것은 [캐릭터 중심적인 줄거리를 가진 "스토리"로 분류된 이야기로서, 목표를 달성하기 위한 어떤 감정적인 투쟁을 다루는 이야기]였다. 이것은 Haven, Bruner, Ricoeur 및 다른 사람들에게 [40–41] 학습 도구로서의 서술의 한 장르로서 캐릭터 주도형 "스토리"에 특히 강력한 무언가가 있을 수 있다는 것을 반향한다.
Finally, of all the narratives identified, it was the ones categorised as “stories” with a character-driven plot, and some emotional struggle towards achieving a goal, which provoked the most discussion and positive remarks about nearly all the aspects of learning I have highlighted. This resonates with Haven, Bruner, Ricoeur and others [40–41], that there may be something particularly powerful about character-driven “stories” as a genre of narrative as a learning tool.
한계
Limitations
결론
Conclusions
서사
Narrative
서술학, 문학 비평, 언어학 분야를 포함한 넓은 문헌에서 파생된 나의 서술에 대한 실무적 정의는 다음과 같다.
My working definition of narrative, derived from a wide literature, including the fields of narratology, literary criticism and linguistics is:
의미를 부여하는 방식으로 서로 연결되어 있는 일련의 사건.
A sequence of events connected together in a way that gives them meaning.
스토리
Story
서술에 대한 이 지나치게 중요한 정의 안에는 다양한 장르의 서술이 자리하고 있다([31], P 231). "이야기"는 특정한 유형의 서술이다; 모든 이야기는 서술이지만 모든 서술이 효과적인 것은 아니다. 이야기는 주인공, 갈등, 클라이맥스, 결심과 같은 인식 가능한 요소들을 가지고 있다. 이것은 스콜스가 널리 사용하는 이야기 해석이다.
Within this over-arching definition of narrative sit many different genres of narrative ([31], P 231). “Story” is a particular type of narrative; all stories are narratives, but not all narratives are effective stories. Stories have recognisable elements such as a protagonist, conflict, climax and resolution. This is Scholes’ widely-used interpretation of story:
…최소한 세 가지 기본 요소로 일련의 사건을 말하거나 재검증하는 것,
1) 어떤 곤경, 갈등 또는 투쟁을 수반하는 상황,
2) 목적을 위해 이 상황에 관여하는 생동감 있는 주인공,
3) 그 곤경이 어떻게든 해결되는 플롯 ([42], 페이지 59)
…a telling or recounting of a string of events with at least three basic elements:
1) a situation involving some predicament, conflict or struggle,
2) an animate protagonist who engages with this situation for a purpose,
3) a plot during which the predicament is somehow resolved ([42], p. 59)
단순성을 위해 나는 이 연구를 위해 Haven의 정의를 채택했다: "장애물을 극복하고 중요한 목표에 도달하기 위한 인물의 고군분투에 대한 상세한 캐릭터 기반 내레이션" [43].
For simplicity I adopted Haven's definition for this study: "A detailed, character-based narration of a character's struggles to overcome obstacles and reach an important goal" [43].
Observational Study
.2016 Jan 7;16:3.
doi: 10.1186/s12909-015-0498-8.
How medical teachers use narratives in lectures: a qualitative study
Background:There are strong theoretical arguments for using narratives in teaching and learning within medicine, but little is known about how they are used in medical lectures. This study explores the types of narratives lecturers use, the attitudes of lecturers and students to the use of narratives in teaching, and the aspects of learning that narratives may facilitate.
Methods:Observation of three medical lectures was followed by one-to-one interviews with the respective lecturers, and separate focus group interviews with medical students who attended each of the three lectures.
Results:Lecturers used a variety of narratives on a range of themes, from clinical cases to patient experience narratives or narratives about their professional careers. Students and lecturers highlighted key aspects of narrative learning: for example providing a relevant context, as a "hook" to engage the audience, and as a memory aid.
Conclusion:The findings support existing literature which suggests that narratives may be a useful tool for learning in medicine. This study suggests that narratives tap into several key learning processes including providing a relevant context for understanding, engaging learners, and promoting memory. For medical students in lectures, narratives may be particularly relevant in promoting humanistic aspects of medicine, including professional identity and empathy.
Lectures for Adult Learners: Breaking Old Habits in Graduate Medical Education
Avraham Z. Cooper, MD,a Jeremy B. Richards, MD, MAb
강의는 적어도 중세 이래로 학습자 그룹에게 정보를 전달하는 일차적인 방법이었다.1 인쇄기가 등장하기 전에는 강의가 공식적인 강의를 제공하는 가장 효율적인 방법이었다. 비록 지난 몇 세기 동안 강의의 많은 측면들이 바뀌었지만, 이러한 형식의 강의는 지금까지 시간의 시험을 견뎌왔다.2
Lectures have been the primary method of conveying information to groups of learners since at least the Middle Ages.1 Prior to the advent of the printing press, lecturing was the most efficient way to provide formal instruction. Although many aspects of lecturing have changed over the past several centuries, this format of instruction has so far withstood the test of time.2
교육학으로서의 강의에 대한 현대의 비평은 1931년으로 거슬러 올라가는데, 해밀턴 홀트가 그 강의를 "교수 공책의 내용이 어느 한쪽의 마음을 거치지 않고 만년필을 이용하여 학생의 공책의 페이지로 옮겨지는 신비한 과정"이라고 묘사했다.3
Modern critiques of lecturing as pedagogy date back to 1931, when Hamilton Holt described the lecture as “that mysterious process by means of which the contents of the professor’s notebooks are transferred by means of the fountain pen to the pages of the student’s notebooks without passing through the minds of either.”3
전통적인 강의 의존에 대한 비판과 대안적인 교육 전략 요구에도 불구하고 4-7 강의는 의학 교육에서 잘 확립되어 있다.
Despite criticism of traditional reliance on lectures and the call for alternative pedagogic strategies 4-7 lecturing remains well established in medical education
성인학습 이론과 관련 인지심리학적 관점을 바탕으로 가정교사와 동료의 필요성과 한계를 맞추기 위해서, GME 강의는 보다 집중적이고 활발하며 지속시간이 짧아야 한다.10
Based on adult learning theory and relevant cognitive psychological perspectives, we argue that to match the needs and limitations of housestaff and fellows, GME lectures must be more focused, active, and shorter in duration.10
인지심리학 : 작업기억과 간섭
COGNITIVE PSYCHOLOGY: WORKING MEMORY AND INTERFERENCE
현재 오전 또는 정오 강의는 보통 1시간 정도 지속된다. 그러나 성인 학습 데이터에 따르면 일반적인 학습자 주의력은 약 15~20분 후에 약 20분 후에 감소한다고 한다.11 20분 후에 강의는 두 가지 이유로 덜 효과적이다: 작업기억과 간섭.
Current morning or noontime lectures last typically around an hour. However, adult learning data suggest that typical learner attention span wanes after about 15 to 20 minutes.11 After 20 minutes, lectures become less effective for 2 reasons: working memory and interference.
강의가 진행될수록 학습자들은 작업기억에 의한 추가 조작이 필요한 정보를 더 많이 받아 강의의 이전 부분에서 여전히 처리되고 있는 정보의 동화를 저해한다. 이러한 [의미 있고 효율적인 방법으로 새로운 정보를 효과적으로 통합할 수 있는 능력의 감소]는 간섭이라고 불리는 과정이다.12
As a lecture progresses, learners receive more information that requires additional manipulation by working memory, impeding the assimilation of information still being processed from prior parts of the lecture. This decrease in the capacity to effectively incorporate new information in a meaningful and efficient manner is a process called interference.12
성인 학습 이론
ADULT LEARNING THEORY
작업기억과 간섭은 학습자의 참여에 의해 영향을 받을 수밖에 없으며, 새롭거나 낯선 자료를 듣고 작업하려는 [동기]와, 학습자의 동기와 참여가 지식 습득에 어떤 영향을 미치는지에 대한 [인식]이 중요하다. 성인 학습 이론, 즉 안드로고지는 이러한 개념을 포괄하는 이론적 체계를 설명한다.13
Working memory and interference are inevitably influenced by learner engagement, and motivation to listen to and work with new or unfamiliar material, as well as awareness of how learner motivation and engagement influences knowledge acquisition, is important. Adult learning theory, or andragogy, describes a theoretical framework that encompasses these concepts.13
성인 학습 이론의 기초 원리는 학습자의 개별 목표와 목표에 내용 적용의 중요성을 강조하고 성장과 학습에서 자율성의 중요성을 설명한다. 이러한 원칙은 6가지 주요 학습자 관련 요소로 강조된다: 알아야 할 필요성, 학습자의 자기 개념, 학습자의 경험의 역할, 학습 준비성, 학습 지향성, 동기 부여.
The foundational principles of adult learning theory emphasize the importance of applicability of content to a learner’s individual goals and objectives and describe the importance of autonomy in growth and learning. These principles are highlighted by six cardinal learnerrelated factors: the need to know, the learner’s selfconcept, the role of learner’s experiences, readiness to learn, orientation to learning, and motivation.
알아야 할 필요성
NEED TO KNOW
성인 학습자는 자신의 목표 및 목적과의 관련성을 파악할 수 있을 때 보다 쉽게 학습자료에 engage한다.. Taylor와 Hossam에 의해 기술된 바와 같이, 14 [알아야 할 필요성]은, 학습자 불협화음이라고 알려진, 학습자의 기존 지식이 불완전하다고 입증될 때(그리고 학습자가 이해할 때) 시작된다.
Adult learners more readily engage with material when they can identify relevance to their own goals and objectives. As described by Taylor and Hossam,14 the need to know begins when a learner’s existing knowledge is demonstrated (and understood by the learner) to be incomplete, also known as learner dissonance.
불협화음은 교육자와 학습자 모두가 생성할 수 있으며, 학습자의 목표, 관심사 및 목표와 관련된 지식결손을 식별함으로써 발생한다. 교육자는 학습자에게 중요한 핵심 주제와 개념을 세심하게 파악하여 이 원리를 활용할 수 있으며, 교육 세션 중에 학습자에게 맥락, 자원, 외적 동기 부여를 제공함으로써 학습을 강화할 수 있다.
Dissonance is achieved through both the educator and learner identifying knowledge deficits that are relevant to the learner’s goals, interests, and objectives. Educators can leverage this principle by carefully identifying core topics and concepts that are important to their learners and enhance learning by providing context, resources, and extrinsic motivations to learners during teaching sessions.
학습자가 강의 시간 동안 논의된 조건이나 문제가 있는 환자를 진료소에서 볼 때, 학습자의 지식 결손에서 비롯되는 불협화음 및 접하는 개념에 관여하고 씨름해야 할 필요성이 생기므로, 보다 의미 있는 학습으로 귀결된다.
When learners see patients in clinic with the conditions or problems discussed during the teaching session, the dissonance created from the learner's knowledge deficits and the need to engage and grapple with the encountered concepts results in more meaningful learning.
학습자의 자기 개념
LEARNER’S SELF-CONCEPT
특히 레지던트나 펠로우쉽에서 성인 학습자들은 그들의 시간과 정신 에너지에 상충적competing 영향을 미치는 경우가 많다.
Adult learners, especially in residency or fellowship, often have competing influences on their time and mental energy.
학습자들은 주어진 학습 경험에 대한 그들의 목표와 목표가 무엇인지에 대한 본질적인 자기 개념을 가지고 있고, 그 경험의 우선순위는 그 재료가 얼마나 그러한 목표와 잘 조화를 이루느냐에 따라 결정될 것이다. 강의 주제가 자신의 자기 개념과 맞지 않을 경우, 레지던트와 펠로우가 그 강의를 우선순위로 둘 가능성이 낮아지고 따라서 제시되는 내용을 깊이 고려하는 인지 작업에 주의를 기울일 가능성이 낮다.
Learners have an intrinsic self-concept of what their goals and objectives are for any given learning experience , and their prioritization of that experience will be determined by how well the material aligns with those goals. If a lecture topic is not compatible with their self-concept, residents and fellows are less likely to prioritize that lecture and therefore less likely to pay attention or put in the cognitive work of deeply considering the content being presented.
학습자 경험의 역할
ROLE OF LEARNERS’ EXPERIENCES
GME 학습자들은 과거의 교육적, 임상적 경험을 바탕으로 주어진 주제에 대한 기존의 지식체계를 가지고 강의를 찾는다. 그들은 또한 지식의 결핍을 가지고 있다.
GME learners come to a lecture with a preexisting fund of knowledge about a given topic based on past educational and clinical experience. They also have knowledge deficits.
학습할 준비
READINESS TO LEARN
훈련의 어떤 단계에 있느냐에 따라, 학습자들은 각 단계마다 다소 미묘하거나 심화된 자료를 처리할 수 있는 준비도가 달라진다. 초기 인턴들은 중재적 관상동맥 혈관 조영 기술에 대한 강의에서 이익을 얻을 수 있는 임상적 또는 지식적 배경을 가지고 있지 않을 수 있지만 급성 심근경색 진단과 같은 기초적인 주제에서 이익을 얻을 수 있을 것이다.
Depending on where they are in training, learners at different stages will have different levels of readiness to encounter more or less nuanced or advanced material. Early interns may not have the clinical or knowledge background to benefit from a lecture on interventional coronary angiographic techniques, but would benefit from foundational topics such as diagnosis of acute myocardial infarction.
학습 지향
ORIENTATION TO LEARNING
성인 학습자가 접하는 자료에 참여하려면 해당 자료가 적용 가능하고 자신의 당면한 상황에 적합하다고 느껴야 한다. 학습자가 중환자실에서 회전을 하는 동안 호흡부전 관리에 관한 강의를 할 가능성이 더 높다.
For adult learners to engage with encountered material, they must feel that the material is applicable and relevant to their immediate situation. Learners are more likely to engage with a lecture on the management of respiratory failure if it is given while they are rotating in the intensive care unit
학습 동기
MOTIVATION TO LEARN
학습자 행동을 촉진하는 내적 동기에 대한 인식은 주제에 대한 관심과 흥미를 최대화하는 데 도움이 될 수 있다. 보드 시험을 위해 공부하는 시니어 레지던트는 다가오는 시험과 관련된 high-yield 개념을 배우고자 하는 열망에 의해 동기부여가 되며, 그러한 동기를 인정하고 해결하는 강의에 참여할 가능성이 높다.
Awareness of the internal motivations that drive learner behavior can help maximize attention and interest in a topic. Senior residents studying for board examinations are motivated by a desire to learn high-yield concepts relevant to the upcoming examination and will likely engage with a lecture that acknowledges and addresses that motivation;
이론을 실천에 연결하기
BRINGING THEORY TO PRACTICE
우리는 합리적인 강의 조직, 적극적인 학습자 참여 보장, 짧은 강의 시간의 결합이 이러한 목표를 달성하기 위한 접근법을 제공할 것을 제안한다.
We suggest that the combination of rational lecture organization, ensuring active learner participation, and shorter teaching session durations offers an approach to achieve this goal.
합리적 조직
RATIONAL ORGANIZATION
학습자가 정보를 배우고 활용하는 방식을 고려해서, [성인 학습 이론과 인지 심리학의 원리에 부합하는 계획적인 방식]으로 강의를 조직하는 것은 보다 효과적인 교육 경험을 가능하게 할 것이다.
Taking into account how learners learn and using that information to organize lectures in a deliberate manner that aligns with the principles of adult learning theory and cognitive psychology will allow for a more effective educational experience.
학습자들이 어떻게 새로운 정보를 동화시키고 사용하는지를 인식하는 것은 또한 강의의 합리적 설계를 알려줄 수 있다; 지식의 적용을 향한 학습자의 방향을 결정하는 문제나 개념은 즉각적인 관련성을 증가시킬 것이다.14 성인 학습에서 "방법"과 "이유"는 "무엇"만큼 중요하다.
Acknowledging how learners assimilate and use new information can also inform rational design of lectures; framing problems or concepts in a manner that orients learners toward application of knowledge will increase immediate relevancy.14 The “how” and “why” of adult learning is as important as the “what.”
능동적 학습자 참여
ACTIVE LEARNER PARTICIPATION
강의 중 참여 기회와 상호작용 기회를 찾아 활용하게 되면 내용 기억 및 관련성이 향상된다. 능동적 학습에 대한 증거는 설득력이 있다; 다양한 맥락에서 서로 다른 수준의 학습자를 포함하는 수많은 긍정적인 연구는 능동적 학습 대 수동적 강의의 효과를 입증했다.15-23
Identifying opportunities for engagement and interactivity during lectures enhances content retention and relevancy. The evidence for active learning is compelling; numerous positive studies involving learners of different levels in many different contexts have demonstrated the effectiveness of active learning vs passive lecturing.15-23
이 메타 분석 및 기타 연구의 결과는 응용과 상호작용이 학습자 참여와 지식 보유를 증가시킨다는 주장을 뒷받침한다.16-24 성인 학습자에게 지식을 적용할 기회를 제공함으로써 새로운 정보나 낯선 정보를 기존 지식과 연관시킬 수 있는 시간을 제공한다.
The results of this meta-analysis and other studies support the contention that application and interaction increase learner engagement and knowledge retention.16-24 Offering adult learners the opportunity to apply knowledge provides them time to relate new or unfamiliar information to existing knowledge.
짧은 지속시간
SHORTER DURATIONS
한 시간 동안 진행되는 강의는 더 많은 내용을 다룰 수 있고 레지던트는 더 많은 정보에 "노출"되지만, 학습자가 다뤄진 주제를 의미 있게 기억할 것이라는 가정은 "알고 있다는 오류"의 희생자가 될 것이다. 이 오류는 "만약 누군가가 정보에 노출된다면, 그들은 즉시 그것을 배울 것이라는 한다는 가정"을 의미한다.
The hour-long lecture may cover more content and residents are “exposed” to more information, but assuming that the learners meaningfully retained the topics discussed would be to fall victim to the “fallacy of knowing”: the assumption that if someone is exposed to a piece of information, then they must immediately learn it.25
가정을 다시 생각해보기
RETHINKING ASSUMPTIONS
교수진 개발은 검증된 적극적 학습 기법을 강의 시간에 접목하는 데 초점을 맞춰야 하며, 수년 동안 변화 없이 진행해온 강의도 수정할 필요가 있을 것이다. PowerPoint 슬라이드 세트를 학생들에게 읽어주는 것이 적절한 가르침으로 받아들여져서는 안 된다.
Faculty development should focus on incorporating proven active learning techniques into teaching sessions, and lectures that have been delivered without changes for years will need to be revised. Reading from a PowerPoint slide set to a group of learners should not be accepted as adequate teaching.
강의 시간 단축에 대한 우려, 특히 강의 시간 단축에 대한 반론도 있다. GME 강의 단축에 대한 반대론 중 하나는 콘텐츠 전달을 극대화해야 한다는 가정 하에 레지던트와 펠로우를 최대한 핵심 콘텐츠에 노출시키고자 하는 바람이다. 커리큘럼 개발자들은 "모든 것을 끼워 넣겠다"는 이해할 수 있는 욕구를 가지고 있다. 그러나 그러한 충동은 궁극적으로 역효과를 낳는다. 학습자를 많은 양의 자료에 노출시키는 데 집중하기보다는 수익성이 높고high-yield 효과적인 세션을 개발하는 것이 우선되어야 한다.29
There are arguments against modifying lectures, and specifically, concerns about shortening the duration of lectures.27,28 One such argument against shortening GME lectures is the desire to expose residents and fellows to as much core content as possible, with the assumption that maximizing content delivery necessitates longer lectures. Curriculum developers have an understandable desire to “fit it all in.” Such an impulse, however, is ultimately counterproductive. Developing high-yield, effective sessions should be the priority, rather than focusing on exposing learners to large amounts of material.29
결론
CONCLUSION
작업 기억력과 간섭은 모든 학습자의 주의와 참여에 영향을 미치지만, 특히 GME 학습자들은 광범위한 경쟁적 임상 의무를 가지고 있기 때문에, 강의 시간을 단축하면 효과성을 높일 수 있다.
Working memory and interference influence attention and engagement for all learners, but are particularly relevant for GME learners because they have extensive competing clinical obligations - making lectures shorter can increase efficacy.
8. Lenz PH, McCallister JW, Luks AM, et al. Practical strategies for effective lectures. Ann Am Thorac Soc. 2014;12:561-566.
.2017 Mar;130(3):376-381.
doi: 10.1016/j.amjmed.2016.11.009.Epub 2016 Nov 28.
Lectures for Adult Learners: Breaking Old Habits in Graduate Medical Education
Holland Kaplan, MD Divya Verma, MD Zaven Sargsyan, MD
대학원 및 학부 의학 교육의 증가 추세는 전통적인 강의의 사용을 최소화하는 것이다.1.2 의과대학들은 강의에서 이탈하여 능동적인 학습 형식으로 전환한다고 광고하고 일부 커리큘럼은 전통 강의를 완전히 삭제한다.1.3 레지던시 프로그램도 플립 교실이나 다른 쌍방향 학습 형식으로 프로그램을 도입하기 시작했다. 6 이러한 전환은 학습자가 원격으로 강의 녹음을 스트리밍하거나 강의에 완전히 불참하는 경향과 더불어 더욱 노력적인 학습의 장점을 입증하여 알려준다.8-10 그러나 어떤 사람들은 역사적 효능, 규모, 효율성, 다양한 사고방식 및 전문지식에 대한 노출 등의 이점을 들어 강의가 여전히 의학교육에서 중요한 자리를 계속 차지할 것이라고 주장한다.11–13
A growing trend in graduate and undergraduate medical education is to minimize the use of traditional lectures.1,2 Medical schools advertise their departure from lectures and transition to active learning formats, with some curricula removing traditional lectures entirely.1,3 Residency programs have also begun to employ flipped classroom and other interactive learning formats.4–6 These transitions are informed by demonstrated merits of more effortful learning,7 as well as the tendency of learners to stream lecture recordings remotely or miss lectures entirely.8–10 However, others argue that lectures continue to hold an important place in medical education, citing benefits such as historical efficacy, scale, efficiency, and exposure to diverse thinking styles and expertise.11–13
팟캐스트 - 일반적으로 연속적으로 할부로 다시 대여되는 다운로드 가능한 오디오 파일이 의료 교육생들 사이에서 인기를 끌고 있다.14,15
Podcasts—downloadable audio files typically re-leased as installments in a series—have become popular among medical trainees.14,15
그들의 영향의 한 예로, 응급의학 레지던트 중 356명 중 72%는 팟캐스트가 그들의 임상 관행을'약간' 또는'아주 많이' 바꾸었다고 보고했다.
As one example of their impact, 72% of 356 responding emergency medicine residents reported that podcasts changed their clinical practice either‘‘somewhat’’ or ‘‘very much,’’ although further research is needed to document higher-level outcomes.17,24
팟캐스트와 전통적인 강의는 많은 유사점을 가지고 있다. 강의와 마찬가지로, 팟캐스트는 많은 학습자들에게 일방적으로 전문지식과 의견을 전달하도록 고안된 것처럼 보일 수 있다. 30 팟캐스트 운영자는 청취자들과 대화를 하거나, TBL과 같은 여러 새로운 커리큘럼이 사용하고 있는 전형적인 적극적인 학습 접근법 중 일부를 사용할 수 없다.
Podcasts and traditional lectures have many similarities. Like lectures, podcasts may appear to be designed to unilaterally transfer expertise and opinions to a large group of learners.30 Podcast speakers cannot create dialogue with their listeners or employ some of the typical active learning approaches that many new curricula embrace, such as team-based learning.
팟캐스트는 언제든지 휴대할 수 있고 접근할 수 있으며, 이는 현대 연습생들에게 중요한 것이다.24,31,32 청취자들이 재생을 가속화하고, 그들이 관심 있는 주제를 처리하고 연구하기 위해 잠시 멈추거나, 친숙하거나 덜 관련이 있는 주제를 건너뛸 수 있게 한다. 비동기 재생과 가속 재생의 인기는 강의에서도 입증되었고, 이는 가능한 한 자주 강의 녹음을 제공하는 것이 좋은 방법일 수 있음을 제안한다. 또한 대부분의 팟캐스트는 전통적인 강의보다 짧으며, 팟캐스트에서 선호되는 15분에서 30분 정도의 시간은 일반적인 성인 학습자의 집중력 범위에 해당된다.4,17 기본 1시간 강의 시간을 단축하는 것이 인지 심리학의 원리와 더 잘 부합할 수 있으며, 바쁜 임상 환경에 있는 교육생들에게 실질적인 혜택을 줄 수 있다.
Podcasts are portable and accessible anytime, which is important to modern trainees.24,31,32 They allow listeners to accelerate playback, pause to process and research topics of their interest, or skip topics they find familiar or less relevant. The popularity of asynchronous and accelerated playback has also been documented for lectures,9 suggesting that offering lecture recordings as often as possible may be prudent. Most podcasts are also shorter than traditional lectures, and their preferred length of 15 to 30 minutes corresponds with the typical adult learner’s attention span.4,17 Shortening the default 1- hour duration of lectures would better align with principles of cognitive psychology and may have practical benefits for trainees in busy clinical environments.
많은 팟캐스트는 여러 진행자들 사이에서 전문가 인터뷰와 토론을 채택하고 있다. 첫째, 이 대화 형식은 사실적인 지식 외에도 사고 과정을 공유하는데 도움이 된다. 아마도 더 중요한 것은, 그것은 호스트와 손님들이 농담, 유머, 그리고 성격을 통합함으로써 캐주얼하고 친근한 분위기를 만들 수 있게 한다는 것이다. 교육생들은 팟캐스트의 매력적 특성과 같은 직종의 다른 구성원들과의 유대감을 형성하는 능력을 설명할 때 이러한 특성을 인용했다. 24 이것은 사회문화적 학습 이론의 렌즈를 통해 볼 때 이해할 수 있다. 32 이 이론에서는 사회적 역할과 규범이 학습의 중요한 조절물modulator이다. 만약 팟캐스트를 듣는 것이 친숙한 토크쇼 진행자와 그 분야의 국가 전문가와 친밀한 모임에 참석하는 것처럼 느껴진다면, 이러한 인식된 맥락이 주의력, 신뢰도, 암묵적인 레슨을 받아들이는 경향도에 긍정적인 영향을 미칠 수 있다. 팟캐스트 사용이 갖는 사회적 측면은 레지던트가 팟캐스트의 내용을 동료나 감독자와 논의할 때 더욱 힘을 받게 된다.24
Many podcasts employ expert interviews and discussions among multiple hosts. First, this conversational format helps to share thought processes in addition to factual knowledge. Perhaps more importantly, it allows the hosts and guests to create a casual and friendly atmosphere by incorporating banter, humor, and personality. Trainees have cited this characteristic when describing the engaging nature of podcasts and their ability to engender a sense of connectedness with other members of the profession. 24 This is understandable when viewed through the lens of sociocultural learning theory,32 whereby social roles and norms are important modulators of learning. If listening to a podcast feels like attending an intimate gathering with a familiar talk show host and a national expert in the field, this perceived context may positively influence attention, credibility, and the tendency to adopt implicit lessons. The social aspect of using podcasts is further bolstered when residents discuss their content with peers or supervisors after the fact, which occurs often.24
의도적이든 대화적 형식이 낳은 결과든 간에, 팟캐스트는 또한 스토리텔링을 자주 이용한다. 의사소통의 내러티브적 형식은 연대기, 캐릭터, 인과관계를 묘사한다는 점에서 특징적이며, 과학에 대한 의사소통에 효과적이다. 의학 내러티브로부터 배우는 것은 감각 만들기, 공감, 기억력, 실천에 대한 성찰, 직업적 정체성 형성, 질병 스크립트 개발을 촉진하는 것으로 보여졌으며, 심지어 독특한 신경 네트워크의 사용을 수반할 수도 있다. 팟캐스트에서 내러티브가 사용된 것은 오디오 형식이라는 점 외에도, 의사소통 기술, 환자 관점, 실천practice의 도전과 즐거움, 진행자와 게스트의 경험 같은 주제들이 팟캐스트에 자주 포함되었기 때문일 수 있다. 이러한 관점은 동일한 자료를 혼자서 읽을 때 발생하지 않을 수 있지만, 강의에는 포함될 수도 있다.
Whether by intent or as a consequence of the conversational format, podcasts also make frequent use of storytelling. The narrative format of communication is distinguished by its description of chronology, characters, and cause-and-effect, and it is effective in communicating about science.33 Learning from narratives in medicine has been shown to promote sense-making, empathy, memory, reflection on practice, professional identity formation, and illness script development,33–36 and may even entail use of unique neural networks.37 The use of narratives in podcasts may be aided by their audio-only format, as well as the frequent inclusion of topics such as communication skills, patient perspectives, challenges and joys of practice, and experiences of the speakers and their guests. Such perspectives may not be found when reading the same material independently, but can perhaps be incorporated into lectures.
마지막으로, 매체의 본질적인 한계에도 불구하고, 많은 팟캐스트들은 사례나 질문을 둘러싼 논의의 포인트를 회상, 조작 또는 해석하기 위해 청취자에게 재생을 일시 중지하도록 요구하는 [적극적인 학습 전략]을 사용할 수 있다. 이러한 기술들 중 많은 것들이 (즉흥적인 비판적 사고에서 서술의 사용까지)이미 설명된 바 있고, 강의에서도 사용되어야 한다고 했지만, 더 광범위하고 일관성 있게 적용될 수 있었다.
Finally, despite the inherent limitation of the medium, many podcasts are able to use some active learning strategies, asking the listener to pause playback in order to recall, manipulate, or interpret points of discussion surrounding cases or questions. Many of these techniques—from prompted critical thinking to the use of narratives—have been described and advocated in lectures as well4,5,34 but could be applied more broadly and consistently.
이러한 가설들이 이론적, 경험적 근거를 가지고 있지만, 우리는 어떤 팟캐스트가 인기있거나 효과적인 이유는 이러한 설명한 특정한 특징들이 아니라 사실은 [진행자와 진행자의 실력때문인지]도 고려해봐야 한다.
Although these hypotheses have theoretical and empirical bases, we must also consider whether it is the particular speakers and their overall performances—not the specific features described above—that make certain podcasts popular and effective.
국제 교육 연구자 모임인 METRIQ Study Coorders는 팟캐스트를 포함한 온라인 자원의 특성, 사용 패턴, 교육 품질을 평가하는 도구를 개발해왔다. 이 작업은 위의 가설 중 일부를 명확히 하고 큐레이션 및 향후 개선에 기여할 수 있다.38,39
The METRIQ Study Collaborators, an international group of educational researchers, has been developing tools to evaluate the characteristics, use patterns, and educational quality of online resources, including podcasts. This work may clarify some of the hypotheses above and contribute to curation and future improvements.38,39
언어와 스토리텔링으로부터 배우는 것은 모든 인간이 가지고 있는 내면화된 기술이다. 커리큘럼에 소그룹과 능동적 학습 세션이 추가되는 경향은 바람직하지만, 강의는 여전히 제 역할을 할 것이다.
Learning from speech and storytelling is an inherent human skill. Despite the welcome addition of small group and active-learning sessions to medical curricula, lectures will continue to play a role.
4. Cooper AZ, Richards JB. Lectures for adult learners: breaking old habits in graduate medical education. Am J Med. 2017;130(3):376–381. doi:10.1016/j.amjmed. 2016.11.009.
12. Schmidt HG, Wagener SL, Smeets GACM, Keemink LM, van der Molen HT. On the use and misuse of lectures in higher education. Health Prof Educ. 2015;1(1):12–18. doi:10.1016/j.hpe.2015.11.010.
34. Easton G. How medical teachers use narratives in lectures: a qualitative study. BMC Med Educ. 2016;16(1):3. doi:10.1186/s12909-015-0498-8.
38. The METRIQ Study. The METRIQ Research Agenda. https://metriqstudy.org/research-agenda/. Accessed March 19, 2020.
맥마스터 의과대학의 첫 번째 PBL에 대한 회고(Health Professions Education, 2019)
Fifty Years on: A Retrospective on the World's First Problem-based Learning Programme at McMaster University Medical School
Virginie F.C.Servant-Miklosa,b,⁎
1. 도입
1. Introduction
50년 전인 1969년 가을, 맥마스터 의과대학은 그 당시 의학교육에서 다른 어떤 것과도 다른 프로그램의 문을 열었다. 1969년 9월 '맥스'의 문을 거닐었던 첫 20명의 학생들은 의학계의 테두리를 훨씬 넘어 고등교육을 통해 파문을 일으킬 수 있는 교육 경험을 시작했다. 그 경험은 결국 '문제 기반 학습'(PBL)으로 알려지게 되었고, 이후 500개 이상의 고등 교육 기관과 심지어 일부 K-12 학교에도 퍼지게 되었다.
Fifty years ago, in the fall of 1969, McMaster University School of Medicine opened the doors of a programme unlike any other in medical education at the time. For the first 20 students that walked through ‘Mac's’ doors in September 1969 began an educational experience that would send ripples through higher education far beyond the confines of the medical world. That experience eventually became known as ‘problem-based learning’ (PBL) and has since spread to more than 500 higher education institutions and even some K-12 schools.
오늘날, 문제 기반 학습은 튜터가 일반적으로 강의는 하지 않지만 학생들이 학습 구조를 형성하도록 도우며 지도하는 수업에서, 소수의 학생들이 현실적인 문제를 다루면서 학습이 시작되는 교육의 한 형태로 알려져 있다.1 또한 PBL에서는 자습에 많은 시간이 필요하며, 따라서 강의의 수는 반드시 제한된다.2
Today, problem-based learning is commonly known as a form of education in which the learning begins with a realistic problem tackled by a small group of students in a class guided by a tutor who does not lecture but helps the students structure their learning.1 In addition, problem-based learning requires a great amount of time for self-study, and the number of lectures is therefore necessarily limited.2
오늘날 PBL의 이러한 많은 '원칙'들이 도그마(dogma)로 받아들여지고 있고, 어떤 의학 교육 프로그램이 'PBL'이라는 칭호를 받을 자격이 있기 위해 준수해야 하는 규칙과 요구사항은 믿음의 기사articles of faith처럼 논의되고 있다. 그러나 이 규칙들 중 많은 것들이 아마도 맥매스터의 초기 역사에서 나온 미세한 사건들의 확대일 것이라는 것을 깨닫지 못하고 있으며, 그 기원은 이미 없어진 채로 지금까지 이어지고 있다.
It is ironic that so many of these ‘principles’ of PBL are today taken as dogma, and the rules and requirements that medical education programmes must abide by to deserve the appellation ‘PBL’ are debated like articles of faith, without realizing that many of these ‘rules’ are most probably enlargements of micro-events from McMaster's early history, the origins of which were lost, until now.
이 연구의 목적은 PBL의 '근거 신화'를 일부 풀고 PBL에 대한 향후 논의를 안내하기 위해 역사적으로 근거가 있는 회고전을 제공하는 것이다. 저자들은 시행착오, 성공과 실패와 함께 세계 최초의 PBL 프로그램을 논의함으로써 오늘날 의학 교육에서 PBL의 성격, 목적, 잠재력에 대한 논쟁을 다시 한번 부각시키기를 희망한다.
The aim of this research is to untangle some of the ‘founding myths’ of PBL and provide a historically grounded retrospective to guide future discussions on PBL. By discussing the World's first PBL programme, with its trials and errors, successes and failures, the authors hope to re-ignite the debate about the nature, purpose and potential of PBL in medical education today.
이 논문에 대해 행해진 역사적 연구는 '삼각측략'이라는 과정을 통해 진행되었는데, 이 과정은 서로 다른 출처의 데이터를 끌어내어 역사적 분석에 대한 귀납적 접근법과 헤르메니아적 접근법을 비교하는 것이다.
The historical research done for this paper proceeded using a process called ‘triangulation’, in which data from different types of sources is drawn and compared to feed an inductive and hermeneutical approach to historical analysis.
이 자료는 영국의 역사학자이자 철학자 윌리엄 위웰.3이 주장한 데이터에 대한 귀납적 접근법과 헤르메뉴틱 접근법을 사용하여 분석되었다. 이 방법의 본질은 역사학자, 그의 자료, 그리고 그 자료에서 나오는 의미 사이에 친밀한 관계를 구축하는 것이다. 이 과정에서 역사적 '사실'이 탄생한다. 그러나 그 과정은 무작위적이지 않다: 역사가는 데이터에 직면할 때 강화되거나 거부되는 가설에서 시작한다. 이 가설이 어떻게 나오느냐 하는 것은 연구와 선행지식에 관한 문제지만, 또한 휘웰이 "창의적 통찰력"이라고 부른 것에 대한 질문이다.3 이 연구의 경우 저자는 현대 출판물 등 쉽게 구할 수 있는 역사적 자료를 살펴 가설을 형성하기 시작했다. 이 가설은 추가적인 삼각 측량된 역사 데이터(아카이브, 인터뷰)에 직면하고 정제되거나 거부되었다가 의미 있는 맥락에서 그것을 포함하도록 더 세분화되었다.
The material was analysed using an inductive and hermeneutic approach to the data as advocated by the British historian and philosopher William Whewell.3 The essence of this method is to build an intimate relationship between the historian, his data, and the meaning that emerges from that data. From this process, historical “facts” are born. But the process is not random: the historian starts with a hypothesis, that strengthens or gets rejected as it becomes confronted with data. How this hypothesis emerges is a question of research, prior knowledge, but also what Whewell called “creative insight”.3 In the case of this research, the author started by looking at easily available historical data such as contemporary publications to begin to form a hypothesis. This hypothesis was confronted with further triangulated historical data (archives, interviews), and refined or rejected, then further refined to hermeneutically embed it within a meaningful context.
2. PBL은 세계적인 변화의 시대에 불만을 품은 5명의 의사들에 의해 설립되었다.
2. PBL was founded by five disgruntled doctors in a time of global change
종종 언급된 것에도 불구하고, PBL은 Howard Barrows 박사에 의해 '발명되지' 않았다. Howard Barrows는 1980년대에 PBL에 관한 첫 번째 책을 출판한 것이 이 잘못된 믿음이 유래를 설명하는 한 가지 이유이며, Barrows 자신은 이것을 열심히 바로잡고 싶어했다.5 Barrows는 사실 1970년대 초에 교수진에 합류했고 1970년대 후반에 프로그램을 운영하는데 훨씬 더 영향력이 있었다. 대신, 1969년의 맥매스터의 프로그램은 딘 존 에반스가 이끄는 토론토 의과대학의 의사 팀의 두뇌를 얻은 것이었다. 에반스는 겨우 35세였고 토론토 대학 의학부의 주니어 부교로, 당시 캐나다 의과대학의 최연소 학장이 되었다.
Despite what has often been stated,4 PBL was not ‘invented’ by Dr. Howard Barrows, a mistaken belief likely explained by Barrows’ publication of the first book on PBL in 1980s, and all too eagerly rectified by Barrows himself.5 Barrows in fact joined the faculty in the early 1970s and was far more influential in running the programme in the late 1970s. Instead, the McMaster's programme of 1969 was the brainchild of a team of doctors from Toronto Medical School led by founding Dean John Evans. Evans was only 35 years old and a junior associate in the Department of Medicine at the University of Toronto, making him the youngest Dean of a medical school in Canada at the time.
그러나 에반스는 hands-on planner는 아니었다. 따라서 커리큘럼의 실용적인 측면은 주로 에반스의 부학장이자 오른손잡이가 된 토론토 대학의 부학 교수인 윌리엄 스파울딩에 의해 개발되었다. 교육과정의 이행을 위해 중요한 것은 교육에 대한 휴머니스트적 신념을 가진 해부학자 제임스 앤더슨, 해밀턴의 건강직업과 좋은 관계를 가진 인턴사원 윌리엄 월시, 세계적으로 유명한 혈소판 연구원인 프레이저 머스타드였다. 스파울딩과 함께 1966년 결성된 의과대학 최초의 교육위원회(EC)를 구성하고 교육학 및 커리큘럼 콘텐츠 개발을 담당했다.
However, Evans was not a hands-on planner. The practical aspects of the curriculum were therefore principally developed by William Spaulding, an Associate Professor of Medicine from the University of Toronto who became Evans’ Associate Dean and right-hand man. Instrumental to the implementation of the curriculum were James Anderson, an anatomist with humanist beliefs about education, William Walsh, an internist with good connections to the health professions in Hamilton, and Fraser Mustard, a world-famous platelets researcher. Together with Spaulding, they made up the first Education Committee (EC) of the medical school, formed in 1966 and charged with developing its pedagogy and curricular content.
의학 교육에 대한 새로운 접근법을 개발하기로 한 결정은 교육 과학의 모범 사례나 특정 교육 철학에 대한 강한 신념에 근거한 것이 아니었다. 확실히 founder들은 아브라함 플렉너나 칼 로저스 같은 특정 작가들로부터 영감을 받았으나, 이 연결고리는 기껏해야 PBL이 발달한 배경이지 인과관계가 아니다.6
The decision to develop a new approach to medical education was not taken based on best-practice in educational sciences, or a strong belief in a particular educational philosophy. Certainly, the founders were inspired by certain authors like Abraham Flexner and Carl Rogers, but this connection is at best a background against which PBL was developed and not a causal relation.6
사실 founder들에 관한 한, PBL을 개발한 가장 큰 이유는 단지 그들 자신의 교육경험을 가진 불만과 미래의 의대생들에게 덜 지루한 경험을 제공하려는 욕구였다. 이것은 그 시대의 교육적 맥락 안에서 이해해야 한다: Barb Mueller의 설립 의장이 설명했듯이, 이것은 우드스톡과 히피들의 시대였다; 변화의 분위기가 늘 있었다(in the air).7 비록 설립자 중 특별히 정치적인 사람은 없었지만, 그들은 특히 학생 수가 크게 증가하고 전통적인 권위가 거부된 것을 언급하면서, 1960년대 후반에 전 세계의 대학 캠퍼스의 불안에 완전히 면역이 되었을 수는 없었다.
In fact, as far as the founders were concerned, the prime reason for developing PBL was simply a disgruntlement with their own educational experience and a desire to offer future medical students a less boring experience. This has to be taken within the educational context of the time: as the founding Chair of Surgery Barb Mueller explained, these were the days of Woodstock and the hippies; change was in the air.7 Though none of the founders were particularly political, they could not have been entirely immune to the unrest in university campuses around the world in the late 1960s, with particular reference to the massive increase in student numbers and the rejection of traditional authority.
그들은 이미 (WRU 대학과 같은 의료 교육에서 만들어지고 있는 소심한timid) 혁신의 시기에 있었다. 따라서 PBL은 뜬금없이 나타났거나, 전통적인 사고를 전복시키려는 의도적인 노력도 아니었으며, 그보다는 의학 교육에서 실험할 수 있는 의지, 많은 학생, 돈이 있는 시대에 실험으로 나타난 것이라고 볼 수 있다.
they came at a time where timid innovations were already being – made in medical education such as at Western Reserve University. Thus PBL appeared neither out of the blue, nor as a deliberate effort to subvert traditional thinking, but more as an experiment in a time where there was a will, a large number of students, and money available for experimenting in medical education.
따라서, 1969년에 출현한 맥매스터의 첫 의학 교육 프로그램의 구조는 EC의 첫 회의와 첫 학년의 개막 사이에 설립자들에 의해 수집된 많은 영감의 원천으로부터 차용되었음에도 불구하고, 당시의 어떤 의학교육 프로그램과도 달랐다.
Thus, the structure of McMaster's first medical education programme, as it emerged in 1969, differed from any other medical programme of the time, even though it borrowed from many sources of inspiration gathered by the founders between the first meeting of the EC and the opening of the first academic year.
3. 맥매스터는 시스템-기반 커리큘럼을 끌어들여서co-opt 자신의 것으로 만들었다.
3. McMaster co-opted the systems-based curriculum and made it its own
McMaster는 3단계에서 사용된 시스템 접근법을 발명하지 않았다. 이 커리큘럼 구조는 WRU(Western Reserve University)에 위치한 또 다른 북미 의대에서 차용되었다. 1952년, WRU는 단일 학제적 과정을 시스템 기반 과정으로 분류하는 "주제 위원회"로 대체하기 위해 커리큘럼을 개편했다.12 스파울딩은 1967년에 WRU를 방문했고, 후에 그들의 프로그램을 PBL의 시스템 기반 유닛에 돌렸다.13
McMaster did not invent the systems approach used in Phase III. This curricular structure was borrowed from another North American medical school located at Western Reserve University (WRU). In 1952, WRU reformed its curriculum to replace monodisciplinary courses with “subject committees” that broke the curriculum down into what ended up being systems-based courses.12 Spaulding visited WRU in 1967, and later credited their programme for PBL's systems-based units.13
그러나 맥매스터의 프로그램은 5주 동안 8개의 시스템 기반 유닛을 사용함으로써 기초 과학과 임상 과학을 성공적으로 혼합한 최초의 프로그램이었다. 이것은 기초 과학과 장기 시스템의 임상 구성요소를 모두 교묘하게 '매트릭스'로 배열하여 이루어졌으며, 그 후 이 두 가지 구성 요소가 문제에서 하나로 결합되었다. 이는 교육과정 계획에 대한 진보적인 접근으로 볼 수 있지만 단점이 없는 것은 아니었다. – 즉, 프로그램의 모든 단계를 통해 처리해야 할 자료material가 너무 많다는 것이다. 이는 실무적으로 어느 단계의 의장이든 할 일이 많다는 것을 의미했다.9
However, McMaster's programme was the first to successfully blend basic and clinical sciences through the use of its eight systems-based units of five weeks. This was done by a clever ‘matrix’ arrangement of both the basic sciences and the clinical components of the organ systems, which were then brought together in the problems. Although this could be seen as a progressive approach to curriculum planning, it did not come without drawbacks – namely, that there was soon too much material to handle, through all of the phases of the programme. This meant that in practice, the Chairman of any given phase had much arbitration to do.9
4. 초기 PBL 커리큘럼은 유동적이고 가변적이었다.
4. The early PBL curriculum was fluid and variable
단계 III의 순차적 통합 시스템 단위는 단계 III 의장의 조정 하에 독립적인 실체로 존재했으며, 그 중 첫 번째 실체는 스파울딩 자신이었다.9 각 단위는 소위원회로 그 단위의 커리큘럼을 준비하기 위해 함께 일하는 단위 기획자의 책임 하에 있었다. 캠벨은 1969년에 이러한 단위 기획자들과 소위원회가 '세부적인 접근방식에 상당한 유연성latitude를 허용했다'고 설명했고, 따라서 교육위원회의 일반적인 정책을 따르는 한, 유닛 기획자는 그가 적합하다고 본 대로 자신의 프로그램을 관리하는데 꽤 자유로워졌을 것으로 보인다.
The sequential integrated systems units of Phase III existed as independent entities under coordination of the Phase III Chairman – the first one of which was Spaulding himself.9 Each unit was under the responsibility of a unit planner, who would work together on the preparing the curriculum for that unit with a subcommittee. Campbell explained in 1969 that these unit planners and sub-committees had ‘been allowed considerable latitude in their detailed approach’,14 therefore it seems that a determined unit planner would have been quite free to manage his own programme as he saw fit, as long as it followed the general policies of the Education Committee.
기획planning은 조직적인 혼란의 형태로 진행된 것으로 보인다. 그 결과는 관련된 단위와 계획표에 따라 EC의 의지에 대한 해석의 변화 경향이었다. 이러한 점을 감안할 때, 우리는 유닛 간의 학습 목표의 배치에서 몇 가지 모순점을 발견하게 된다. 방사선학회의 창립 의장 Peter Cockshot에 의해 상기된다. 목표는 원래 아무 의미도 없을 정도로 느슨하게 만들어졌거나, 아니면 아주 구체적이고 타이트해서 거의 책의 색인처럼 되어 있었다. 그들은 그들이 대체해야 할 것보다 더 경직되어 있었다. 그래서 당신은 한 지역area을 계획하다가 몇 주 후에 당신이 모든 것을 잘못했다는 것을 깨닫고 다시 처음부터 다시 시작할 것이다.9
It seems that the planning proceeded in the form of organized chaos. The result was a tendency towards variation in the interpretation of the EC's will, depending on the unit and the planner involved. Given this, we find some inconsistency in the layout of learning objectives between units, as recalled by Peter Cockshott, founding chair of radiology: Objectives were originally either made so loose that they did not mean anything, or else so very specific and tight that they were almost like the index of a book. They were more rigid than what they were supposed to replace. So you would plan an area, then a few weeks later you would realize you had done it all wrong…and would start all over again.9
5. 소그룹들은 맥매스터에서 배우는 기본 단위였다.
5. Small groups were the basic unit of learning at McMaster
비록 '소그룹'이라는 아이디어의 입증에 대한 명확한 언급은 없지만, 그들은 처음부터 프로그램의 분명한 특징이었다. Mueller는 'tutorial'이 옥스포드와 캠브리지의 영어 튜토리얼 시스템에서 개작되었다고 제안했다.7 그러나 옥스브리지 자습서는 소규모의 집단 운동이 아닌 일대일 관계였으므로 영감이라 하더라도 적응할 수밖에 없었을 것이다.
Although there is no clear reference to the provenance of the idea of small groups, they were a clear feature of the programme from the beginning. Mueller suggested that ‘the ‘tutorial’ was adapted from the English tutorial systems of Oxford and Cambridge.7 But the Oxbridge tutorial was a one-on-one relationship, not a small group exercise, so even if it was an inspiration, it would have to have been adapted.
소규모 집단이 영국 출신이었든, 학습 중심적이든, 아니면 순전히 상황적이었든, 사실은 튜터를 동반한 네 명의 학생들로 구성된 소규모 집단의 학습 설정이 처음부터 맥매스터의 프로그램의 기본적인 특징이었다는 것이다.
Whether small groups were British-inspired, learning-driven or purely circumstantial, the fact is that the learning set-up of a small group of four students accompanied by a tutor was a basic feature of McMaster's programme from the beginning.
그룹에 배정된 학생 수는 다르지만, 소규모 그룹 작업은 여전히 오늘날 모든 PBL 프로그램의 필수불가결한 조건이다. 아마 그룹당 4명의 학생을 여전히 사용하는 현대 PBL 프로그램은 없을 것이다. 그 중 맥매스터는 거의 없고, 사람들은 이것이 주로 재정 측면의 현실적 문제일 것이라고 추측할 수 있다. 필자가 선행연구 프로젝트에서 PBL 실무기관 20여 곳을 조사한 결과, 6~15명의 학생이 표준인 것으로 보인다.
Small group work is still a sine qua non condition of any PBL programme today, although the number of students allocated to a group varies. There is probably no modern PBL programme which still uses four students per group, least of which McMaster, and one might conjecture that this is principally a question of financial realism. Based on the author's investigation of two dozen PBL-practicing institutions in prior research projects, the norm seems to be between 6 and 15 students.
6. 문제는 첫날부터 학습 과정의 출발점이었다.
6. Problems were the starting point of the learning process from day one
소규모 그룹과 마찬가지로, 문제 기반 형식은 처음부터 결정되었다. 우리는 1966년 MD 프로그램을 위해 작성된 그의 첫 번째 비망록에서 생물 의학 문제를 사용하는 아이디어를 옹호한 사람이 존 에반스 자신이라는 것을 안다.23 스파울딩은 EC에서 진지한 계획이 시작되자마자 생물 의학 문제에 대한 주제를 들었다. 그는 에반스의 아이디어가 커리큘럼 첫날부터 문제 기반 형식을 요구하는 것으로 해석되어야 한다고 단호하게 말했다. 1968년 비망록에서 스파울딩은 환자와 문제와의 접촉은 학술 프로그램의 첫 주부터 시작되어야 한다고 강조했다.7
Like small groups, the problem-based format was decided upon from the start. We know that it was John Evans himself that championed the idea of using biomedical problems, in his first ever memorandum written for the MD programme in 1966.23 Spaulding picked up the theme of biomedical problems as soon as serious planning began with the EC. He was adamant that Evans’ ideas should be interpreted as calling for a problem-based format from day one of the curriculum. In his memorandum of 1968, Spaulding stressed that contact with patients and problems should start from the first week of the academic programme.7
그 아이디어는 그들에게 모든 자원을 주고 그들이 문제를 해결하도록 내버려두는 것이었다. 그러나 이것은 질문을 던진다: 학생들이 강의의 도움을 받았는가 아니면 이 과정에 있지 않았는가?
The idea seems to have been: give them all of the resources and let them sort things out. But this begs the question: were the students assisted by lectures or not in this process?
7. PBL에서 강의의 제한적 사용
7. The limited use of lectures in PBL
맥매스터의 학습 시간 할당 문제는 중요한 문제인데, 최근의 출판물들은 '순수한' 문제 기반 학습 모델이 고전적인 소그룹 자습서로만 구성되어 있으며, PBL 커리큘럼에 강의나 세미나를 추가하는 학교들은 '순수한' PBL 모델의 혼합형 변형으로 간주되고 있기 때문이다.27 실제로, 하이브리드 PBL vs 순수한 PBL 논쟁에 참여하지 않고, 슈미트는 얼마 동안 강의의 양을 제한하는 것이 문제 기반 학습의 핵심 요소라고 주장해왔다.28 그러나 McMaster의 전체 커리큘럼은 정말로 튜토리얼 그룹 작업과 독학에만 기반을 두고 있었는가? 그리고 그렇지 않다면, 어떤 교육수단과 학습수단에 어느 정도의 시간이 할당되었는가?
The question of study time allocation at McMaster is an important one, because recent publications have proposed that a ‘pure’ Problem-based learning model only consists of the classic small-group tutorial, and schools that adds lectures or seminars to their PBL curriculum are to be considered as a hybrid variation of the ‘pure’ PBL model.27 Indeed, without partaking in the hybrid versus pure PBL debate, Schmidt has asserted for some time now that limiting the amount of lectures is a key component of Problem-based learning.28 But was the entire McMaster curriculum really solely based on tutorial group work and self-study? And if not, what proportion of the time was allocated to which means of teaching and learning?
그러나 EC가 교육에 대한 하향식 접근법을 선호하지 않는 것은 분명했으며, 스파울딩은 그의 유명한 '행진 명령' 중 일부를 다음과 같은 취지로 보냈다. '학생이 튜터와 미리 정해진 confrontation에서 보낼 수 있는 시간은 1/3 이하이다. 비공식적인 상담은 튜터가 하루의 마지막에만 이용할 수 있어야 한다.' 그는 자신이 썼듯이 시간의 상당 부분은 피할 수 없는 명확성으로 강의식 교육에 전념해야 한다는 생각에 분명히 반대했다. '오리엔테이션과 인스피레이션 외에는 강의하면 안 된다.'
It was, however, clear that the EC did not favour top-down approaches to education – and Spaulding sent out some of his famous ‘marching orders’ to that effect: ‘Less than one-third of the time of a student should be spent in a pre-determined confrontation with his tutor The tutor is to be available at the end of the day for informal consultation’.31 He clearly opposed the idea that any substantial portion of time should be dedicated to lecture-type exercises, as he wrote, with inescapable definitude: ‘No lectures except to orientate and inspire’.31
우리는 전형적인 맥매스터 학생의 주간이 어땠을지에 대한 흑백 증거를 가지고 있지 않다. 학생들이 자신의 편의에 따라 자습서를 정리하고, 원하는 대로 강의를 듣고, 자신의 학습 여행을 정리하고, 자율 학습을 할 수 있다는 점에서 '일반적인 한 주 스케줄'같은 것은 없었다는 것이 정답일 것이다. 따라서 일종의 고정적인 '시간표'을 제안하는 것은 맥매스터의 초기 커리큘럼에 대한 부정확한 묘사가 될 것이다. 학습 시간 할당은 학생, 주제, 그룹 친구, 튜터의 가용성 및 기타 모든 요소에 따라 유동적으로 이해된다.
We do not have black and white evidence of what a typical McMaster student's week might have looked like. The answer is probably that there was no ‘typical student's week’, given that students could arrange tutorials at their own convenience, attend lectures as they pleased, organize their own study trips and self-study. Thus, it would be an inaccurate depiction of McMaster's earliest curriculum to propose some sort of static ‘timetable’. Study time allocation is best understood as a flux – depending on the student, the subject, his group-mates, the availability of tutors and a whole other host of elements.
이 일기는 끝없는 호기심과 지식욕에 이끌려 4명의 학생들로 구성된 그룹이 실험실, 도서관, 지도교습회, 기숙사 방에서 심야 그룹 미팅 등으로 이어지는 의료 문제 해결을 위한 보물찾기 스타일의 탐구를 하는 매우 특별한 학습 과정의 인상을 준다. 특별한 순서가 없고 겉보기에는 아무런 구조도 없다.
The diary gives the impression of a very ad hoc learning process in which the group of four students, driven by endless curiosity and thirst for knowledge, engage in a treasure-hunt style quest for medical problem-solving that leads them to the lab, to the library, to their tutor meetings and to late-night group meetings in their dorm rooms in no particular order and with seemingly no structure.
8. 맥매스터에서는 종합 평가가 없었다.
8. There was no summative assessment at McMaster
McMaster의 formative years의 평가 정책에 대해 한 가지는 매우 명백하다: 공식적인 시험은 없었고, 단지 그룹의 튜터가 만족-불만족 기준에 의한 형성적 평가만이 있었다.
One thing is very clear about McMaster's assessment policy in its formative years: there were no formal examinations, only formative evaluations on a satisfactory/ unsatisfactory basis done by the group's tutor.
여기서 요약한 맥매스터 평가 시스템의 역설은, 3학년까지의 이상론적 평가에서 누렸던 자유로운 학습의 자유와 무관하게, 학생들은 캐나다의 다른 지역과 같은 사실에 근거한 전통적인 의료 면허 시험(LMCC로 알려져 있음)를 봐야 한다는 것이다. 노먼은 이 정책이 1989년까지 유지되었으나 LMCC에서 불합격율이 증가하면서 역전되었다고 언급함으로써 이 역설에 대해 언급했다.
The paradox of McMaster's evaluation system, as outlined here, is of course that at the end of three years of idealistic assessment-free freedom to learn, students were confronted with the same fact-based, traditional Medical License exam (known as the LMCC) as the rest of Canada. Norman remarked on this paradox, by noting that the policy was maintained until 1989, but then reversed in the face of increasing failure rates at the LMCC.35
Spaulding은 임시로 토론회를 열었는데, 이것은 교육기관의 교육목적을 어떻게든 촉진시킬 수 있는 일종의 '총괄적' 평가 시스템을 갖추자는 제안이었다.-37 그에 반대하는 앤더슨은 '튜토리얼이 평가를 위한 적절한 환경'이라고 제안하면서, 공식적 시험에 대해서 사망선고를 내렸다.
Spaulding tentatively opened the debate with a suggestion to put together a sort of ‘comprehensive’ assessment system that would somehow promote the education objectives of the institution – leaving it up to the faculty group to determine how.37 Opposing him, Anderson placed the first nail in the coffin of formal examinations by suggesting the use of the tutorial as appropriate setting for assessment:
스파울딩과 앤더슨의 편지는 1968년에 쓰여졌지만 1969년 12월 3일 EC 회의에서 다시 사용되었다. 따라서 우리는 두 가지 제안이 여전히 논의되고 있었고 프로그램 첫 해에는 어떠한 합의도 이루어지지 않았다고 결론지을 수 있다.
Both Spaulding and Anderson's letters, although penned in 1968, were re-used in an EC meeting of December 3, 1969. We can therefore conclude that both propositions were still on the table and no agreement had been reached well into the first year of the programme.
그러나 앤더슨은 12월 30일까지 그의 마지막 권고가 맥매스터의 정책에 반영되었다는 보고서에 따르면 평가에 관한 마지막 언급이 있는 듯 하다: "권고: A. 평가는 목표 달성에 대한 책임을 함께 분담하는 튜터와 학생 사이에 개인적인 유대관계가 있는 소규모 집단에 근거하여 이루어져야 한다.".42 이 보고서는 이 논쟁의 종료를 의미하며, 따라서 맥매스터의 (총괄평가가 없는) 평가 운명은 1989년에 LMCC 불합격률의 현실에 대해서 충분히 이해할 때까지 봉인되었다. 앤더슨이 주장했던 평가 정책의 실패를 반성하면서, 뮬러는 "파트너와 평가자"로서의 이중 튜터 역할이 실제로 공정하게 유지되는 것은 불가능하다고 언급했다.19
It seems, though, that by December 30th, Anderson had the last word on assessment as evidenced by a report in which his final recommendation echoed McMaster's policies: "Recommendations: A. Evaluation should be done on the basis of a small group in which there is a personal bond between a tutor and a student who together share responsibility for attaining goals".42 This report the end of the debate, and so, McMaster's assessment fate was sealed until the realism of LMCC failure rates in 1989 sunk in. Reflecting on the failure of Anderson's assessment policies, Mueller noted that the dual tutor role as a “partner and evaluator” was impossible to uphold fairly in practice.19
9. Conclusion
Fifty Years on: A Retrospective on the World's First Problem-based Learning Programme at McMaster University Medical School
There are many false ideas and a prioris about the history ofproblem-based learningin medical education, stemming from a dearth of historical studies of PBL. This study was conducted at McMaster University Faculty of Health Sciences and offers rigorous historical account of the first problem-based programme and lessons to be drawn from it. Archival data, oral history data from interviews with key participants to the history of McMaster and contemporary publications were triangulated using an inductive and hermeneutic method of historical analysis to produce the historical narrative in this paper. The key findings of this study are (1) PBL was founded by five disgruntled doctors in a time of global change; (2) McMaster did not pioneer the integrated systems approach, but it made it an integral part of problem-based learning; (3) The early PBL curriculum was fluid and variable (4) McMaster offered a loose educational structure dominated by small group learning; (5) The distinctive feature of problem-based learning, compared with all other progressive education methods, was the use of realistic problems at the start of the learning process; (6) Lectures and other top-down modes of knowledge transfer were conclusively not welcome at McMaster (7) Summative assessment was absent from the first problem-based learning programme.
Theoretical perspectives and applications of group learning in PBL
DARIO M. TORRE1, CEES VAN DER VLEUTEN2 & DIANA DOLMANS2
1Drexel University College of Medicine, USA, 2Maastricht University, The Netherlands
도입
Introduction
문제 기반 학습(PBL)은 의학 교육에서 가장 일반적인 학습 전략 중 하나이며, 전 세계의 많은 의과대학 커리큘럼에서 시행되었다(Barrows 1986; 알바니아 & Mitchell 1993; Schmidt 1993; Neville & Norman 2007). 실천은 이론에 의해 지속적으로 inform되기 때문에(Ramsden 1993), 학습 활동의 이론적 기초에 대한 이해의 강화는 교사의 실천을 촉진하고 강화해야 한다(Ten Cate et al.). 2004; Steinert 등 2006).
Problem-based learning (PBL) is one of the most common learning strategies in medical education and has been implemented in many medical school curricula around the world (Barrows 1986; Albanese & Mitchell 1993; Schmidt 1993; Neville & Norman 2007). Since practice is continually informed by theory (Ramsden 1993), an enhanced understanding of the theoretical basis of learning activities should facilitate and enhance teachers’ practices (Ten Cate et al. 2004; Steinert et al. 2006).
PBL의 이론적 기초는 이전에 노먼 & 슈미트(1992), 노먼 & 슈미트(2000), 슈미트(1993)에 의해 설명되었고 주로 인지 학습 이론과 연계되었다(Bruner 1961; Ausubel 1968). 또한 PBL은 학생들의 동기부여를 강화하고 자율성과 관련성(Ryan & Deci 2000; Deci & Ryan 2002; Ten Cate et al. 2011)을 촉진하는 역할을 할 수 있다고 보고되었다. 그러나 다른 이론들은 어떻게 PBL, 특히 그룹 학습에 맞는 이론들과 일치할까? 그룹 학습은 PBL의 주요 학습 특징 중 하나이다. 따라서 그룹 성과와 효과의 향상, 공동의 목표를 달성하고, 사회적 빈둥거림을 피하기 위한 개인 간의 협력을 촉진하는 한편, 새로운 지식의 창조와 공유를 촉진하는 것은 고된 교육 과제지만 가치 있는 목표다.
The theoretical foundations of PBL have been previously described by Norman & Schmidt (1992), Norman & Schmidt (2000) and Schmidt (1993) and linked predominantly to cognitive learning theories (Bruner 1961; Ausubel 1968). It has also been reported that PBL enhances students’ motivations and may play a role in fostering feelings of autonomy and relatedness (Ryan & Deci 2000; Deci & Ryan 2002; Ten Cate et al. 2011). But how do other theories align with PBL, especially theories that fit with group learning? Group learning is one of the key learning features of PBL. Thus enhancing group performance and effectiveness, fostering cooperation among individuals to achieve a common goal, avoid social loafing, while promoting creation and sharing of new knowledge are arduous educational challenges yet worthy goals.
이론과 응용
Theory and applications
사회적 상호의존성 이론
Social interdependence theory
PBL의 중요한 특징 중 하나는 학습이 학생 간의 상호작용이 학습에 긍정적인 영향을 주어야 하는 그룹에서 일어난다는 것이다(Dolmans et al. 2005). SIT(Johnson & Johnson 2013, 페이지 20)는 PBL에서 소그룹 학습에 필수적인 이론적 프레임워크를 제공한다. 사회적 상호의존성은 '개인의 결과가 자신과 타인의 행동에 영향을 받을 때 존재한다.'
One important characteristic of PBL is that learning takes place in groups where the interaction among students should have a positive impact on their learning (Dolmans et al. 2005). The SIT (Johnson & Johnson 2013, p. 20) provides an essential theoretical framework for small-group learning in PBL. Social interdependence ‘‘exists when the outcomes of individuals are affected by their own and other’s actions’’.
SIT의 기본 요소로는
사회적 상호의존성,
상호의존성의 정도(엔티타티비티),
촉진적 상호작용,
사회적 기술,
개인의 책임 및 개인적 책임에 대한 인식이 있다(Johnson & Johnson 2009, 2013).
The basic elements of SIT include:
social interdependence, and
the perception of degree of interdependence (entitativity),
promotive interaction,
social skills,
individual accountability and personal responsibility (Johnson & Johnson 2009, 2013).
사회적 상호의존성은 긍정적일 수도 있고 부정적일 수도 있다.
Social interdependence can be positive or negative.
긍정적인 상호의존성은 어떤 목표의 성취가 다른 사람들의 목표 성취와 연계되거나 상관될 때 발생한다. 그러므로 개인은 개인 목표가 집단의 다른 사람들도 그들 자신의 목표를 달성해야만 달성될 수 있다는 것을 인식한다.
Positive interdependence occurs when the achievement of a goal is linked or correlated to the goal achievement of others. Therefore, the individual perceives that an individual goal can only be achieved if others in the group achieve their own goals as well.
부정적인 상호의존성은 개인이 자신의 목표의 성취가 다른 사람의 목표의 성취와 부정적으로 연관되어 있다는 것을 인식할 때 발생한다. 개인의 목표는 다른 사람의 목표와 경쟁하여 개인에게는 유익하지만 집단은 유해할 수 있는 상황을 만들 수 있다.
A negative interdependence is when the individual perceives that the achievement of their goal is negatively correlated with the achievement of others’ goals. The goals of the individual might then be in competition with those of others, creating a situation that may be beneficial for the individual yet deleterious for the group.
세 번째 가능성은 상호의존성이 없는 것이다. 이 경우, 각 개인은 자신의 목표 달성이 다른 사람의 목표 달성과 긍정적이든 부정적이든 관련이 없다고 인식한다. 그러한 개인주의적 접근방식은 개인에게만 유익하고 집단에 이익이 되지 않는 결과를 얻는 결과를 낳는다(Johnson & Johnson 2009).
A third possibility is that of no interdependence. In this instance, each individual perceives that their goal attainment is related neither positively nor negatively to the achievement of others’ goals. Such individualistic approach results in obtaining an outcome that is only beneficial to the individual and not to the group (Johnson & Johnson 2009).
엔티타티비티는 구성원들이 공통의 목표를 추구하는데 응집력이 있고, 밀접하게 결합된, 통일된 전체로서 그룹을 인식하는 강한 상호의존성 인식이다(Johnson & Johnson 2013).
Entitativity is the perception of a strong degree of interdependence by which members perceive the group as a unified whole, closely bonded together, coherent in the pursuit of common goals (Johnson & Johnson 2013).
촉진적 상호작용은 [집단 수준의 목표 달성을 촉진하는 개인]을 포함한다. 따라서 학생들은 동료들에게 필요할 때 도움을 주고, 그들의 성과를 향상시키기 위한 피드백을 제공하며, 그룹이 최종 목표를 성공적으로 달성하도록 도울 수 있는 자원을 공유한다. 이러한 그룹의 멤버들은 계속해서 서로를 격려하고 지지한다.
Promotive interaction involves individuals facilitating the accomplishment of the goals for the group. Therefore, students provide their peers with help when needed, provide feedback to improve their performance and share resources that may help the group successfully achieve final goals. Members of the group continuously encourage each other and support one another.
(개인 책임과 함께) 개인과 집단 책임도 사회적 상호의존성 이론 프레임워크의 또 다른 원칙이며 그룹의 협력적 학습 과정에 핵심적인 역할을 한다. 각 멤버의 성과가 다른 그룹 멤버의 결과에 영향을 미치기 때문에, 각 사람은 그룹 전체의 성과에 대해 책임을 느낀다고 가정한다. 존슨앤드존슨(2009년, 페이지 368년)이 말한 바와 같이, '자기 혼자 못 하는 것은 나쁘지만, 자기 자신뿐만 아니라 다른 사람까지 못 하게 만드는 것은 더 나쁘다'는 것이다. 학습자가 그룹의 구성원이 자신의 성과를 존중하고 신뢰한다고 느낄 경우, 그룹에 대한 책임의 정도가 증가하여 책임감이 증가한다.
Individual and group accountability along with personal responsibility are another tenet of the social interdependence theoretical framework and play a key role in the group’s cooperative learning process. Because the performance of each member affects the outcome of other group members, each person is assumed to feel responsible for the performance outcome of the whole group. As stated by Johnson & Johnson (2009, p. 368), ‘‘failing oneself is bad, but failing others as well as oneself, is worse’’. If the learner feels that the members of the group respect and rely on his or her performance, the degree of responsibility toward the group increases, resulting in increased accountability.
마지막으로 사회성스킬은 SIT의 또 다른 핵심 요소다. 사회성스킬은 그룹 구성원들 간의 보다 긍정적인 관계 개발을 촉진하여 높은 수준의 그룹 성취도를 이끌어 낸다(Johnson 2009). 이러한 & Johnson의 사회성스킬은 구성원들이 서로에 대한 지지, 신뢰, 명확하고 모호하지 않은 의사소통, 요청과 도움뿐만 아니라 생각과 정보를 공유하는 것을 의미한다. 집단의 가장 효과적인 기능을 할 수 있기 때문에 집단의 개인들이 사회적, 대인관계적 기술을 습득하는 것이 중요하다. SIT는 그룹 학습을 위한 핵심 프레임워크를 나타내며, 그 주요 이론적 기초는 PBL에 적용 가능한 큰 관련성과 잠재력을 가질 수 있다.
Finally, social skills are another key component of SIT. Social skills facilitate the development of more positive relationships among group members, leading to high degree of group achievement (Johnson 2009). Such & Johnson social skills mean that members demonstrate support, trust in each other, have clear and unambiguous communication, ask and give help as well as share thoughts and information. It is important for individuals in the group to gain social and interpersonal skills because it will allow the most effective functioning of the group. SIT represents a key framework for group learning, and its major theoretical foundations may have great relevance and potential for application in PBL.
두 가지 어려운 문제가 있다.
There are two challenging issues
첫째, 집단 상호의존성에 대한 공통적인 우려는 사회적 빈둥거림(무임승차)의 발생이다. 사회적 빈둥거림(Social blocking)은 ‘합산적additive 집단 과제에 대해 다른 사람들과 협력할 때 개별적인 노력의 감소’(Johnson & Johnson 2013, 페이지 269)를 의미하며, 이로 인해 중복적인 비생산적인 노력이 초래된다. 단, [개인의 책임성이 높은 경우], 모든 구성원의 책임이 잘 알려져 있고 정의되어 있으며, 그룹 성과뿐만 아니라 개별 성과도 동료와 교사 모두 식별할 수 있고 평가된다. 이와 같이, 사회적 빈둥거림의 효과는 발생할 가능성이 훨씬 적다(Johnson & Johnson 2009, 2013).
First, a common concern about group interdependence is the occurrence of social loafing. Social loafing refers to ‘‘a reduction of individual effort when working with others on an additive group task’’ (Johnson & Johnson 2013, p. 269), resulting in redundant unproductive efforts. However, if individual accountability is high, responsibility of every member is well-known and defined, and individual performance as well as group performance is identifiable and assessed by peers and teachers alike. As such, the effect of social loafing is much less likely to happen (Johnson & Johnson 2009, 2013).
둘째로, 협동학습의 주창자들의 의견과 달리, 부정적인 상호의존성이 발생하면 경쟁적 학습이 일어날 수 있다. 경쟁적 학습에서 학생들은 (집단을 위한) 노력을 보류하고, 자신의 수행도를 낮추고, 다른 사람의 노력을 방해하는 등 자기 보호적 전략을 개발하는 경향이 있다. 결과적으로, 경쟁적 학습은 그룹 성취도를 낮출 수 있다(Johnson & Johnson 2013).
Second, within the setting of negative interdependence and in contrast with tenants of cooperative learning, competitive learning may occur. In competitive learning, students tend to develop self-protective strategies, such as withholding effort, creating impediments to one’s performance and hindering the effort of others. As a result, competitive learning can lower group achievement (Johnson & Johnson 2013).
잠재적 애플리케이션
Potential applications
SIT에는 두 가지 잠재적 적용이 있다.
There are two potential applications of SIT
첫째, 교육 자료를 생성하고, 보다 중요하게는 자료의 상호의존성을 창출함으로써 긍정적인 상호의존성을 키울 수 있다(Johnson & Johnson 2013). 물질적material 상호의존성이 있을 때, 그룹 전체에 분포하는 학습 자료는 상호 관련성이 있으므로, 각 학생은 전체 문제를 해결하기 위해 적극적으로 기여할 것으로 예상된다. (이 경우) 다른 학생과 협력하지 않고 한 학생만의 노력으로는(예: 복잡성 때문에, 그리고 다양한 관점이 포함되어야 하기 때문에) 문제를 해결할 수 없다.
First, positive interdependence can be fostered by creating instructional material and more importantly material’s interdependence (Johnson & Johnson 2013). In material interdependence, the learning material distributed throughout the group is interrelated, thus each student is expected to contribute actively in order to solve the whole problem; the problem cannot be solved when it is done by one student alone without collaborating with the others (e.g. because of its complexity and because different perspectives should be included).
문제는 너무 간단하거나 복잡하면 좋지 않다. 양쪽 모두 어느 경우든 협력적인 학습과 긍정적인 상호의존성을 방해할 것이기 때문이다. 이러한 이론적 원리에 따라, 재료와 긍정적인 상호의존성을 함양하기 위한 지침 자료로서 개념 맵의 활용에 초점을 맞춘 응용을 제안한다. 개념지도는 의미를 창조하기 위해 단어들을 연결하여 개념들이 연관되어 있는 지식을 그래픽으로 표현한 것이다(Novakia & Gowin 1984).
The problem cannot be too simple or too complex,because it will, in either case, hinder cooperative learning and positive interdependence. Following such theoretical principles, we propose an application that focuses on the use of concept maps as an instructional material to foster material and positive interdependence. A concept map is a graphic representation of knowledge in which concepts are related by linking words to create meaning (Novak & Gowin 1984).
개념 매핑은 이전에 PBL에서 사용되었지만 대부분 다른 목표와 교육 전략을 가지고 있다(Edmondson 1994; Rendas 등 2006).
Concept mapping has been previously used in PBL, yet mostly with different aims and educational strategies (Edmondson 1994; Rendas et al. 2006)
개념 맵은 처음부터 생성하거나 미리 정해진 개념을 연결하여 개발할 수 있으며, 동시에 연결된 개념 사이의 관계에 대한 설명을 제공한다(Ruiz-Primo & Shavelson 1996).
Concept maps can be created from scratch or developed by linking predetermined concepts while providing a description of the relation between the connected concepts (Ruiz-Primo & Shavelson 1996).
첫 번째 세션에서 각 학생은 사례의 특정 영역(예: 충격 대 분류 대 약리학의 생리학)에 대한 개념을 받고, 의미와 이해를 창출하는 방식으로 개념을 연결하는 지도를 완성함으로써 사전 지식을 활성화하도록 요청 받는다. 이후 학생들은 흰색 게시판에 지도를 공유하며 그룹별로 더 큰 지도를 만들게 되는데, 이 지도는 그룹이 정보를 분석하고, 설명을 제공하고, 사전 지식을 활성화한다. 그룹개념지도는 튜터가 평가하고, 평가요소의 일부가 되어, 개인과 집단의 책임을 창출하고, 추진적인 상호작용과 사회적 기술을 육성한다.
In the first session, each student receives concepts about only a specific area of the case (for example, physiology of shock versus classification versus pharmacology) and is asked to activate prior knowledge by completing a map linking concepts in a way that creates meaning and understanding. Afterward, the students share their maps on a white board and as a group create a larger map, by which the group analyzes information, provides explanations and activates prior knowledge. The group concept map is evaluated by the tutor and becomes part of the grade, thus creating individual and group accountability, fostering promotive interaction and social skills.
둘째, 각 학습 활동의 시작 시, 교육자는 그룹의 각 개인이 동료 피드백에 참여한다는 것을 명확히 해야 한다(Gukas 등 2008; Kamp 외 2013). SIT 관점에서 본다면, [과제 결과물]과 [팀워크]에 대한 그룹작업 전체에 걸친 동료 피드백의 도입이 매우 유익할 수 있다. PBL 블록 전체에서 학생들은 그룹 구성원들이 서로를 돕기 위해 취한 조치, 다른 구성원들이 얼마나 자주 교정적 설명을 제공하고 다른 완전한 구성원에 대한 지원을 보여주며 그룹에게 과제를 도와주는지에 대해 질문을 받을 것이다. 이러한 동료 피드백은 과정 중 어느 시점에서든 잠재적으로 익명화하여 그룹 구성원에게 제공될 수 있다. 동료의 피드백은 또한 강사에게 [그룹 내 상호의존성 정도 측정의 기회]를 제공하는 동시에, 사회적 빈둥거림의 영향을 감소시키는 매우 강력한 도구가 될 수 있다.
Second, at the beginning of each learning activity, the educator should also clarify that each individual in the group will engage in peer feedback (Gukas et al. 2008; Kamp et al. 2013). We argue that in the setting of SIT, the introduction of peer feedback throughout the course on both task work and teamwork can be very beneficial. Throughout a PBL block, students would be asked about actions that group members took to help each other, how frequently other members provide corrective explanations, showed support to other complete members and help the group the assignments. A summary of such feedback can be provided to the group’s members in a potentially anonymous manner at any point during the course. Peer feedback may also be a very powerful tool to diminish the impact of social loafing while providing tutors with an opportunity to better gauge the degree of interdependency within the group.
네트워크 전문성 커뮤니티의 사회인식 이론
Socio-cognitive theory of communities of networked expertise
네트워크 전문성은 "적절한 환경에서 문제를 해결하고 함께 지식을 쌓기 위한 지속적인 협력 노력으로부터 발생하는 높은 수준의 인지 능력을 수반한다" (Hakkarainen et al.). 2004. 페이지 9). 새로운 지식의 기원에 기여하는 학문의 접근법이나 은유법에는 세 가지가 있다. 즉, 습득, 참여(Sfard 1998)와 지식창출 은유법(Paavola et al. 2004).
Networked expertise entails ‘‘higher level cognitive competencies that arise, in appropriate environments, from sustained collaborative efforts to solve problems and build knowledge together’’ (Hakkarainen et al. 2004, p. 9). There are three approaches or metaphors of learning that contribute to the genesis of new knowledge: acquisition, participation (Sfard 1998) and knowledge creation metaphors of learning (Paavola et al. 2004).
'습득' 모델 또는 '습득'이라는 은유의 관점에서 [지식은 개인적 지식 형성의 과정]으로, 문제를 해결하기 위해 개인적 지식 구조를 사용하는 것이 특징이다.
In the acquisition model or metaphor of learning, knowledge is a process of individual knowledge formation, characterized by an individual use of knowledge structures to solve problems.
'참여'라는 비유에서 [개인은 공동체 내에서 상호작용적 참여과정]에 engage하며, [지식은 행동과 실천에 참여]하는 측면으로 간주된다.
In the participation metaphor of learning, individuals engage in an interactive process of participation within the community and knowledge is seen as an aspect of participation in actions and practices.
[학습의 지식 창조 모델]에는, 다른 두 모델과는 달리, 지식을 창조하고 발전시키는 신중한 과정이 있는데, 여기서 협력적인 관행과 사회 구조의 창조는 새로운 아이디어로 이어지고, 따라서 혁신적인 지식 공동체(IKC)가 된다.
In the knowledge creation model of learning, unlike the two other models, there is a deliberate process of creating and advancing knowledge, where collaborative practices and the creation of social structures lead to new ideas, and thus innovative knowledge communities (IKC).
그러한 모델은 '공유적인 활동 대상을 개발하기 위한 집단적 지식 창조의 측면을 강하게 강조한다' (Paavola et al. 2004, 558페이지).
Such a model ‘‘strongly emphasizes the aspect of collective knowledge creation for developing shared objects of activity’’ (Paavola et al. 2004, p. 558).
학습의 [지식 창조] 은유에서 학습은 [진정한 협력적 노력]이며, [개인, 공동체, 협업]이 [새로운 지식을 창출하는 공동체]를 개발하는 데 기여하는 삼자적 trialogical 접근법으로 대표된다. 가장 중요한 것은 PBL 그룹에서 자주 발생하는 것처럼, 생성된 지식은 공동체 내에서 협력적으로 공유되고 분산된다는 것이다. 이 설정에서 [지식 창조]의 주체는 고립된 개인이 아니라 [공동체]나 [공동체 자체에 내재된 개인]이다(Paavola & Hakkarainen 2005).
In a knowledge creation metaphor of learning, learning is a true collaborative effort and is represented by a trialogical approach where individuals, community and collaboration contribute to develop communities that create new knowledge. Most importantly, the knowledge created is then shared and distributed collaboratively within the community as often occurs in a PBL group. In this setting, ‘‘the agent of knowledge creation is not an isolated individual but either an individual embedded in a community or the community itself (Paavola & Hakkarainen 2005).
따라서, 인지 자원은 그룹 내에서 공유되어 [분산된 인식]의 과정을 만들어낸다. 분산 인식(Distributed connection)은 개인의 인지 자원을 advance시키기 위해 [인지 자원과 프로세스를 집단으로 공유하는 과정]을 말한다(Hutchins & Klausen 1996; Hutchins 1995, 2001). 개인이 혼자서는 달성할 수 없는 목표 달성을 허용할 수도 있는 전략이다.
Therefore, cognitive resources are shared within the group, creating a process of distributed cognition. Distributed cognition refers to a process where cognitive resources and processes are shared in a group in order to advance cognitive resources of the individual (Hutchins & Klausen 1996; Hutchins 1995, 2001). It is a strategy that may allow for the attainment of goals that an individual may not be able to achieve alone.
또한 분산 인식은 새로운 개인이 다른 사람들과 일하고 상호 작용함으로써 전문성을 획득할 수 있도록 하여 개인과 집단 인지 성장을 촉진할 수 있다. [그룹 구성원 간 서로 다르면서 동시에 중첩되는 지식과 전문성]을 의미하는 [인지적 다양성]은 개인과 집단의 성과가 보다 효과적이고 혁신적이 되게끔 한다(Dunbar 1995).
Distributed cognition may also allow new individuals to gain expertise by working and interacting with others, therefore promoting individual and group cognitive growth. Cognitive diversity, where group members have different yet overlapping levels of knowledge and expertise, results in more effective and innovative individual and group achievements (Dunbar 1995).
[지식 공유 네트워크]는 그룹 내 및 그룹 내 지식 보급에 주된 역할을 한다. 정보의 흐름을 허용하는 지식 네트워크 간의 상호작용은 "강성" 또는 "약성" 네트워크 연결을 이용할 수 있다(Hakkarainen et al. 2004).
Networks of knowledge sharing play a primary role in knowledge dissemination within and among groups. The interaction among knowledge networks that allows the flow of information, may utilize ‘‘strong’’ or ‘‘weak’’ network linkages (Hakkarainen et al. 2004).
[강한 유대감이나 연계]는 높거나 유사한 수준의 전문성이나 지식을 가진 집단들 사이에서 만들어지는 반면, [약한 유대감]은 다른 정도의 지식을 가진 집단들 사이에서 발전한다. 강한 연계는 [유사한 수준의 높은 전문지식을 가진 집단들 간의 지식공유를 중재]하기에, 그러한 집단들 간의 지식의 복잡성을 높이는 데 기여한다. 하지만 강한 연계는 [약한 연계]처럼 새로운 지식을 만들고 발전시키는 데는 기여하지 않는다. 대신 [약한 연계]를 통해 운용되는 지식공유 네트워크는 [비대칭적이거나 다른 정도의 지식을 가진 그룹 간의 지식공유를 제공하기 때문에] 새로운 지식창출에 가장 효율적이다.
The strong ties or linkages are those created among groups with high and similar level of expertise or knowledge, whereas the weak ties develop among groups with different degree of knowledge. Strong linkages by mediating knowledge sharing among groups with similar high levels of expertise contribute to enhance the complexity of knowledge between those groups yet they do not contribute to create and advance new knowledge to the same degree as weak linkages do. Knowledge-sharing networks that operate through weak linkages instead are most efficient for the creation of new knowledge because they provide knowledge sharing among groups with asymmetric or different degree of knowledge.
따라서 집단지식창출이 그룹 활동의 주요 목표 중 하나인 PBL 그룹에서 지식네트워크 공유와 분산인식을 가진 IKC는 몇 가지 잠재적 애플리케이션의 프레임워크 역할을 할 수 있는 필수적인 개념이다.
Therefore, in a PBL group, where collective knowledge creation is one of the main goals of group activity, IKC with knowledge networks sharing and distributed cognition are essential concepts that can serve as a framework for several potential applications.
[지식의 공유는 노동 집약적인 과정]으로, 신뢰와 협업에 대한 헌신이 필요하다(Kramer 1999). 따라서 개인/학습자가 그러한 과정에 전폭적으로 참여하지 않으면 집단지식 창조는 일어나지 않는다. 토론, 정보공유, 문제해결 활동은 피상적이 되고 비생산적이 되어 그룹 내에서 좌절과 불안을 초래할 수 있다.
Sharing of knowledge is a labor-intensive process, entails trust and commitment to collaboration (Kramer 1999). Therefore, if individuals/learners do not engage wholeheartedly in such process, collective knowledge creation does not occur. Discussions, information sharing and problem-solving activities can become superficial and unproductive often resulting in frustration and anxiety within the group.
잠재적 애플리케이션
Potential applications
첫째로, 교육자들은 학생들의 역할을 "지식을 가지고 일하는 전문가" 처럼 바라보고, 촉진할 수 있다. 각각의 학생들은 각자의 지식을 가지고 작업하기 시작하고, 어떤 영역이나 주제를 탐구하기 시작하고, 그 후에 그의 습득되거나 새로 만들어진 전문지식의 수준을 그 그룹에 가져간다. 그러나 지식공유 네트워크를 만들고 사회적 빈둥거림을 막기 위해서는 학생 개개인의 헌신과 노력이 필수적이다. PBL 교사는 다양한 콘텐츠 영역과 도메인에서 다양한 수준의 전문 지식을 가진 학습자 그룹이 서로 협력하고 협력하는 접근방식을 개발할 수 있다. [분산 인식] 및 [약한 네트워킹 연계에 기반한 지식 공유의 네트워크] 개념은 개개인뿐만 아니라 다수의 다른 그룹에 적용된다.
First, educators can facilitate the role of students as ‘‘expert-like working with knowledge’’ (Hakkarainen et al. 2004, p. 144). Each student begins to work with knowledge, delving into an area or topic and subsequently takes his level of acquired or newly created expertise to the group. However, the commitment and work of each student is essential to create a knowledge-sharing network and to discourage social loafing. PBL teachers can develop an approach where groups of learners with various levels of expertise in different content areas and domains collaborate and work with each other. The concepts of distributed cognition and networks of knowledge sharing with weak networking linkages are applied to a number of different groups and not only to the individual.
For example, (Figure 1).
이 학습 시나리오에서, 그룹에게 가져오는 사례와 시간에 따라 발생할 수 있는 변화에 대해 특별한 주의를 기울인다. 궁극적으로, 이 그룹들은 PBL 혁신적 지식 커뮤니티의 개발로 이어지는 일련의 세션에서 새롭게 만들어진 전문지식을 공유하고 전달한다. 이 접근법이 효과적이 되려면 학생들은 최소한 그룹 내, 그리고 궁극적으로 그룹들 사이에서 모든 학습 목표에 대한 어느 정도의 지식을 가지고 있어야만 지식과 전문지식의 공유가 보다 효과적으로 이루어질 수 있다.
In this learning scenario, special attention is given to the transfer of information across the cases they bring to the group and about the changes that may occur across time. Ultimately, the groups share and communicate their newly created expertise in a series of sessions leading to the development of a PBL innovative knowledge community. In order for this approach to be effective, the students should have at least some degree of knowledge of all learning objectives within the group, and eventually among groups, so that sharing of knowledge and expertise can more effectively occur.
전임상 시기에 PBL-IKC을 이루는 것은 많은 의대생들에게 시기에는 확실히 도전적이다. 그러나 6개월에 걸쳐 환자가 마주치는 것을 간략하게(30분)하고 다수의 일반적인 불만사항에 근거해 환자를 선택하는 경우, 그러한 전략의 실현가능성을 높일 수 있다. 그럼에도 불구하고, PBL-IKC와 지식공유 네트워크의 적용은 중규모 그룹(30~50명 학생)에 더 적합할 수 있으며, 임상실습 기간에는 더욱 실현가능할 수 있다.
The creation of PBL-IKC is certainly challenging in the preclinical years for large classes of medical students. However, if the patient encounters are spread over a six-month period are brief (30min), and patients are selected based on a number of common complaints, it might enhance the feasibility of such a strategy. Nevertheless, the application of PBL-IKC and knowledge-sharing network may be better suited for medium-size groups (30–50 students) and possibly more feasible within clinical clerkships.
둘째로, IKC는 '인지의 다양성을 이용하도록' 신중하게 설계되어 있기 때문에, 학생들은, 이질적 또는 하이브리드 전문지식을 가진 것으로 튜터에 의해 확인된 후, 그룹 전체의 다양한 지적 자원을 통합하여, 궁극적으로 협력적인 문제 해결을 촉진할 수 있도록 돕는다.
Second, because IKC are ‘‘deliberately designed to capitalize on cognitive diversity’’ (Hakkarainen et al. 2004, p. 144), students, after being identified by tutors as having heterogeneous or hybrid expertise can rotate across groups, help integrate the group’s diverse intellectual resources, ultimately facilitating collaborative problem solving.
고찰
Discussion
첫째로, ('발달'의 개념과 '자료의 상호의존성'의 개념에서 끌어낸 다음) 교사들은 긍정적인 상호의존성과 개인의 책임성을 함양하기 위한 수단으로 [개념 맵을 도입]할 수 있다. 그룹 개념 맵의 개발은 학생들이 준비 없이 사전 지식을 활성화할 수 있게 하여 교육자들이 기존의 지식 구조의 정도를 진정으로 측정하고 학생들이 새로운 문제에 어떻게 적용하는지 평가할 수 있게 한다. 학생은 [지도의 서로 다른 부분들을 연결하는 어려움에 겪게 되면서] 그룹 개념 맵을 만들기 위해 팀으로 활동할 필요를 느낄 것이다. 이것은 또한 학생들이 잘못된 생각을 확인하고 토론하고 연결된 개념에 대한 설명을 제공해야 한다. 강사들은 그룹 개념 맵을 평가하기 위한 훈련을 받아야 하며, 일부 점수 매기기 방법에 익숙해질 수 있다(Novaka & Gowin 1984; Ruiz-Primo & Shavelson 1996). 학생들은 또한 과목이나 의과대학 시작시에 개념 맵에 대한 설명을 받아야 할 것이다.
First, pulling from the concepts of development and materials’ interdependence and then introducing concept maps as a mean to foster positive interdependence and individual accountability could be utilized by teachers. The development of a group concept map permits the students to activate prior knowledge without preparation, allowing educators to truly gauge the degree of preexisting knowledge structures and assess how students apply it to the new problem. The student will need to work as a team to create a group concept map, facing the challenge of connecting the different parts of the map. This also requires the student to identify and discuss misconceptions and provide explanations for the concepts linked. Tutors will need to be trained in evaluating the group concept maps and possibly become familiar with some of the scoring methods (Novak & Gowin 1984; Ruiz-Primo & Shavelson 1996). Students will also need be introduced to concept maps at the beginning of the course or medical school.
둘째, 코스 전체에 걸쳐 구조화된 공식적인 동료 피드백 활동은 상호의존성의 정도에 관한 귀중한 정보를 제공하고, 그룹 책임성을 창출하며, 사회적 빈둥거림의 발생을 줄일 수 있다. 학생들은 긍정적이거나 부정적인 상호의존성을 설명할 수 있는 상황이나 사건을 기술하기 위한 코멘트를 제공하고 그룹 내에서 개별 구성원의 책임감을 높이는 방법에 대한 세련된tactful 제안을 제공하도록 권장되어야 한다.
Second, formal peer feedback activities structured throughout the course can provide valuable information about the degree of interdependency, creating group accountability and challenging the occurrence of social loafing. Students should be encouraged to provide comments to describe situations or events that would illustrate positive or negative interdependence and offer tactful suggestions on how to enhance individual members’ accountability within the group.
셋째, IKC의 개념 내에서 PBL 프로세스를 비계화하고 인지 다양성을 활용하면 새로운 지식을 창출할 수 있다. 환자와 함께 일하는 학생들의 그룹으로 대표되는 [지식 공유 네트워크]는 정보의 흐름을 개방할 수 있는 기회를 제공함으로써, [임상 지식과 경험의 정도가 다른 집단들 간의 통합]과 [임상 지식의 교환]을 유도한다. 이렇게 함으로써 여러 그룹이 협력하여 더 큰 학생 공동체를 형성하고, 필요한 튜터 교수의 수를 감소시킬 수 있다.
Third, scaffolding the PBL process within concepts of IKC and capitalizing on cognitive diversity allows for the creation of new knowledge. Networks of knowledge sharing, represented by groups of students working with patients, provide an opportunity to open the flow of information, favoring integration and exchange of clinical knowledge across groups with different degrees of clinical knowledge and experience. This application will also allow multiple groups to work together, creating larger communities of students, possibly decreasing the number of tutors needed.
넷째, 여러 집단에 걸쳐 하이브리드 능력을 가진 의대생을 로테이션 하는 것은 집단적 지식 창조를 촉진해야 한다. [하이브리드 또는 이질적인 능력을 가진 학생]은 특정한 과제를 수행할 수 있지만, [강한 관계적 기술]을 가지고 있고, [집단의 장점을 이해하고, 누가 특정 과제를 수행하는데 가장 적합할 수 있는지 식별할 수 있는 능력]을 가지고 있다. 이러한 학생을 고르는 것은 어려운 일일 수 있고, 일부 학생들이 이 역할을 오해할 수도 있다는 것은 명백하다. 그러나, 이러한 학생은 [경험이 풍부한 튜터와 그룹의 학생 구성원의 합의]로 확인할 수 있다. 이 학생은 로테이션하면서 소위 [전문가 협력 학생-교육자 그룹]에 속할 수 있는데, 이 학생들은 가르치는 것에 관심이 있고, 가치를 부여하며, 학습의 협력적인 면을 즐기고, 미래에 의학교육 관련 커리어를 추구할 수도 있다.
Fourth, rotating a medical student with hybrid abilities across groups should foster collective knowledge creation. The student with hybrid or heterogeneous abilities is able to carry out a specific task yet has strong relational skills, possesses the ability to understand the strengths of the group, to identify who is willing to be helpful in what and who may be best suited to accomplish a specific task. It is obvious that the selection of such person may be challenging and may lead some students to misjudge this role. However, such person could be identified by a consensus of an experienced tutor and student members of the group. The rotating student can be part of a group of so-called expert collaborative student-educators who have an interest in teaching, value and enjoy the collaborative aspect of learning and may pursue a medical education career in the future.
사회적 빈둥거림은 긍정적인 상호의존성에 대한 위한 실질적인 위협이다. 사회적 빈둥거림은 그룹 구성원의 기여를 확인할 수 없고, 그룹 크기가 크고, 각 그룹 구성원의 성과가 평가되지 않을 때 발생할 가능성이 더 높다. 그러나 개인의 책임감이 높고, 모든 구성원의 책임이 잘 알려져 있고 정의되어 있으며, 보다 중요한 것은 그룹 성과뿐만 아니라 개인 성과도 식별 가능하고, 동료 및 가정교사에 의한 비판단적이고 구체적인 피드백에 의해 형식적으로 평가된다면, 사회적 빈둥거림의 영향은 훨씬 적게 일어날 가능성이 있다(존소).n & Johnson 2009, 2013). 문헌에서 알 수 있듯이, 특히 사회적으로 응집력이 있는 집단의 맥락에서, [적어도 4명의 학생에 의해 제공되는 동료 피드백]은 어느 정도 차이를 만들 수 있고, 궁극적으로 사회적 책임을 강화할 수 있다(Eva 2001).
Social loafing is a real threat to the creation of positive interdependence and is more likely to occur when contributions from group members are not identifiable, the group size is large and the performance of each group member is not evaluated. However, if individual accountability is high, responsibility of every member is well known and defined, and more importantly individual performance as well as group performance is identifiable and formatively evaluated by nonjudgmental and specific feedback by peers and by tutors, the effect of social loafing is much less likely to happen (Johnson & Johnson 2009, 2013). As shown in the literature, peer feedback, particularly if provided by at least by four students in the context of a group that is socially cohesive, could make some degree of difference, enhancing social responsibility (Eva 2001).
부정적 사회적 상호의존성 상태에서 일어날 수 있는 경쟁적 학습은 건설적인 경쟁으로 볼 수 있다. 따라서 개인이 집단의 이익을 위해 효과적으로 임무를 완수하도록 장려하는 경쟁을 촉진하고, 자기 가치 강화와 집단의 다른 구성원들을 지원하는 데 기여하는 느낌은 경쟁적 학습을 건설적이고 유용한 과정으로 만드는 요인이다.
Competitive learning, which may occur in the setting of negative social interdependency, can be viewed as constructive competition. Therefore, fostering a competition where individuals are encouraged to complete their task effectively for the benefit of the group, enhancement of self-worth and feeling that completing a task contributes to support other members of the group are factors that would make competitive learning a constructive and useful process.
PBL에서는 자율학습의 단계가 결정적이다. 학생 혼자서만 종종 행해지는 이 단계는 PBL에서의 그룹 학습과 일치하지 않는 것 같고, 대신에 그룹의 학습을 더욱 자극하기 위한 중요하고 필수적인 단계로 볼 수 있다. 만약 우리가 자기주도학습이 그룹에게 보고하는 기능인 그룹활동에서 비롯되는 단계라는 것을 학습자에게 개념화하고 명확하게 한다면, PBL 과정의 이 단계는 그룹학습, 사회적 상호의존성, 집단지식창출 및 그룹목표의 달성과 복잡하고 밀접하게 연관되어 있는 것으로 보인다.
The phase of self-study is a crucial step in PBL. This phase, often conducted by the student alone, seems not be aligned with group learning in PBL and can be viewed instead as a crucial and essential step to further stimulate the learning of the group as well. If we conceptualize and clarify to the learner that self-directed learning is a step that originates from a group activity whose function is to report to the group, then this phase of the PBL process appears to be intricately and closely related to group learning, social interdependence, collective knowledge creation and achievement of group goals.
마지막으로 비록 [지식공유와 지식창조]가 자원집약적 과정이지만, [사회협력의 인지적 가치]를 이해하고, [주제나 프로세스에 대한 서로 다른 전문지식을 가진 그룹 간의 상호작용]을 통해 새로운 지식을 창출하는 것은 IKC 프레임워크의 적용을 중요하고 가치있게 만든다.
Finally, even though knowledge sharing and knowledge creation are resource intensive processes, understanding the cognitive value of social collaboration and creating new knowledge through interaction among groups with different expertise about topics or processes make the applications of IKC framework important and worthwhile.
Conclusion
,38 (2), 189-95
Theoretical Perspectives and Applications of Group Learning in PBL
An essential part of problem-based learning (PBL) is group learning. Thus, an in depth understanding of the theoretical underpinnings of group learning in PBL allows educators to bridge theory and practice more effectively thus providing ideas and tools to enhance PBL practices and research. The theory-driven applications examined in this article establish grounds for future research in PBL. The purpose of this article is to describe and examine two theoretical perspectives of group learning in PBL and their potential applications to improve educational practice. They include: (1) social interdependence theory and the meaning of positive interdependence, (2) socio cognitive theory of networked expertise and the concept of knowledge creation in innovative knowledge communities (IKC). Potential applications include the following: development of instructional material to foster positive interdependency using concept maps; formal and structured use of peer feedback throughout PBL courses to promote individual and group accountability; creation and sharing of new knowledge about different topics within and across IKC; and use of rotating students with hybrid abilities across PBL groups to foster distributed cognition.
Measuring actual learning versus feeling of learning in response to being actively engaged in the classroom
Louis Deslauriersa,1, Logan S. McCartya,b, Kelly Millerc, Kristina Callaghana, and Greg Kestina
학생들은 소극적인 강의 환경보다 교실에서 적극적으로 활동할 때 더 많이 배운다. 광범위한 연구는 특히 대학 수준의 과학 코스에서 이러한 관찰을 뒷받침한다. 또한 연구에 따르면, 적극적인 교수 전략은 강의 출석, 참여, 학생들이 이 분야에 대한 전문가적 태도를 습득하는 것을 증가시킨다(3, 799). 이러한 압도적인 증거에도 불구하고, 대부분의 강사들은 적어도 대규모 대학 수업과정(10–12)에서는 여전히 전통적인 방법을 사용하고 있다.
Students learn more when they are actively engaged in the classroom than they do in a passive lecture environment. Extensive research supports this observation, especially in college-level science courses (1–6). Research also shows that active teaching strategies increase lecture attendance, engagement, and students’ acquisition of expert attitudes toward the discipline (3, 7–9). Despite this overwhelming evidence, most instructors still use traditional methods, at least in large-enrollment college courses (10–12).
왜 이런 열등한 교육방법이 계속되는 것일까?
강사들은 시간 부족, 자원 부족, 부서 지원 부족, 학습내용커버 대한 우려, 교수 평가(13– 18) 우려 등을 능동적 교육 전략을 채택하지 못하는 장애물을 많이 꼽는다.
그들은 또한 학생들이 적극적인 교육 전략에 저항하고 전통적인 방법(10, 14, 17, 19, 22)을 선호한다고 인식한다.
실제로 적극적 교육을 시도하는 강사의 3분의 1이 결국 소극적 강의로 돌아가는데, 그 이유(23개)로 학생들의 불만을 많이 들었다.
강사들은 학생들이 서로 강제적으로 교류하는 것을 싫어하고(15, 17, 24), 자기 자신의 학습에 대한 책임감이 증가하는 것에 대해 원망하고(21, 22), "맹자가 맹인을 리드할 수 없다"(19)고 불평한다고 말한다.
Why do these inferior methods of instruction persist? Instructors cite many obstacles preventing them from adopting active teaching strategies, such as insufficient time, limited resources, a lack of departmental support, concerns about content coverage, and concerns about evaluations of their teaching (13– 18). They also perceive that students resist active teaching strategies and prefer traditional methods (10, 14, 17, 19–22). Indeed, one-third of instructors who try active teaching eventually revert to passive lectures, many citing student complaints as the reason (23). Instructors report that students dislike being forced to interact with one another (15, 17, 24), they resent the increase in responsibility for their own learning (21, 22), and they complain that “the blind can’t lead the blind” (19).
보다 최근의 문헌에 따르면, 강사들이 적극적인 학습을 설명하고 촉진한다면, 그것에 대한 학생들의 태도는 한 학기에 걸쳐 향상될 수 있다(25, 26). 그러나, 이러한 연구들은 학습자료에 적극적으로 관여engage하는 것에 대한 학생들의 고유하고 편견 없는 반응을 측정하지 않는다. 교사의 촉진promotion 없이 학생들이 능동적인 학습에 어떻게 자연스럽게 반응하는지에 대해서는 알려진 바가 없다. 또한 이전의 연구에서는 능동적인 교육 과정과 수동적인 교육을 위해 서로 다른 교육 과정 자료를 사용했으며, 교육 과정의 효과와 교육 과정 자료를 혼동할 가능성이 있었다.
More recent literature shows that if instructors explain and facilitate active learning, student attitudes toward it can improve over the course of a semester (25, 26). However, these studies do not measure students’ inherent, unbiased response to being actively engaged with the material. There is nothing known about how students naturally react to active learning without any promotion from the instructor. In addition, previous studies used different course materials for active versus passive instruction, potentially confounding the effect of pedagogy with that of course materials.
전통적인 강의의 학생들과 비교했을 때, 활동적인 수업의 학생들은 덜 배운다고 느끼지만, 실제로는 더 많이 배운다.학생들은 (학습 시험 점수가 능동적 학습을 했던 학생들보다 낮았음에도) 수동적 강의에서 수업의 질을 더 높게 평가했고, "모든 물리학 수업은 이런 식으로 가르치면 좋겠다"는 선호도를 보였다. 이러한 연구결과는 한 분야의 초심자는 자신의 능력에 대한 판단능력이 형편없다라는 관측과 일치하며, 강의의 [인지적 유창성]이 오해를 불러일으킬 수 있다(30, 31).
Compared with students in traditional lectures, students in active classes perceived that they learned less, while in reality they learned more. Students rated the quality of instruction in passive lectures more highly, and they expressed a preference to have “all of their physics classes taught this way,” even though their scores on independent tests of learning were lower than those in actively taught classrooms. These findings are consistent with the observations that novices in a subject are poor judges of their own competence (27–29), and the cognitive fluency of lectures can be misleading (30, 31).
자료 및 방법
Materials and Methods
우리는 실제 학습을 능동적 학습(실험적 처리)과 수동적 강의(제어)의 두 가지 대조적인 교육 방법에 따라 학생들의 학습감(FOL)과 비교했다. 전체 의전은 하버드 대학에서 가을과 봄 동안 가르치는 물리 과목에서 두 번 반복되었다.
We compared actual learning to students’ feeling of learning (FOL) following each of 2 contrasting instructional methods: active learning (experimental treatment) and passive lecture (control). The entire protocol was repeated twice in physics courses taught during fall and spring at Harvard University.
실제로, 비록 더 진보된 과정의 학생들은 종종 매우 예외적이지만, 이 연구의 학생들은 다른 주요 연구 대학의 물리학과에 필적하는 배경을 가지고 있다. 예를 들어 본 연구에 참여한 학생들은 역학에 대한 기본적인 개념 지식을 측정하는 포스 개념 인벤토리(FCI)와 물리학 관련 학생들의 인식이 전문가(7, 8)와 얼마나 유사한지를 측정하는 콜로라도 과학 조사에 대한 학습 태도검사(CLASS)를 완성했다. 본 연구(표 1)의 선행 시험 FCI 점수는 하케(1)가 발행한 메타분석에서 대학 점수의 분포가 높은 곳에 있는 점수와 유사하며, 이는 본 연구의 학생들이 다른 일류 대학과 대등한 수준의 고등학교 수준의 준비를 갖추고 있음을 확인시켜 준다.
Indeed, although the students in the more advanced course are often quite exceptional, the students in this study have backgrounds comparable to those of physics majors at other major research universities. For instance, the students who took part in this study completed the Force Concept Inventory (FCI), which measures basic conceptual knowledge about mechanics (32), and the Colorado Learning Attitudes about Science Survey (CLASS), which measures the extent to which students’ perceptions about physics are similar to those of experts (7, 8). The pretest FCI scores in this study (Table 1) are similar to those clustered near the high end of the distribution of university scores in the meta-analysis published by Hake (1), which confirms that the students in our study have high school preparation comparable to that at other top universities.
실험적인 개입은 각 코스 12주에 2회 연속으로 수업하는 동안 이루어졌다. 학생들은 무작위로 2개 그룹에 배정되었고, 2개의 다른 교실, 즉 A교사가 있는 A교실과 B교사가 있는 B교실에 보고하라는 지시를 받았다. 1교시 회의에서는 정적 평형을 주제로 A교사는 능동적 학습을, B교사는 수동적 강의로 같은 주제를 가르쳤다. 2교시 회의에서는 유체를 주제로 A교사는 소극적인 강의를, B교사는 능동적인 학습을 사용했다. 각 수업 기간이 끝날 때마다 학생들은 학급과 그들의 FOL에 대한 그들의 인식에 대한 간단한 조사를 끝마쳤고, 이어서 학습에 대한 객관식 시험(TOL)이 이어졌다. 표 2는 실험 설계를 요약한 것이다.
The experimental intervention took place during 2 consecutive class meetings in week 12 of each course. Students were randomly assigned to 2 groups and told to report to 2 different classrooms: room A with instructor A and room B with instructor B. For the first class meeting, on the topic of static equilibrium, instructor A used active learning, while instructor B taught the same topic using a passive lecture. For the second class meeting, on the topic of fluids, instructor A used a passive lecture while instructor B used active learning. At the end of each class period, students completed a brief survey about their perceptions of the class and their FOL, followed by a multiple-choice test of learning (TOL). Table 2 summarizes the experimental design.
연구 설계는 일관성을 보장하고 편견을 피하기 위해 다음과 같은 여러 가지를 통제했다.
The study design featured a number of controls to ensure consistency and avoid bias:
1) 두 강사 모두 선행 연구(3, 6, 36)에 상세히 기술된 모범 사례를 사용하여 광범위하고 동일한 [능동적 학습]에 관한 훈련을 받았다.
1) Both instructors had extensive, identical training in active learning, using best practices as detailed in prior research (3, 6, 36).
2) 두 강사 모두 유창하고 전통적인 강의를 해 본 경험이 있다.
2) Both instructors also had comparable experience in delivering fluent, traditional lectures.
3) 강의 슬라이드, 유인물 및 각 수업 시간에 제공되는 서면 피드백은 능동적인 강의와 수동적인 강의에 대해 동일했다.
3) The lecture slides, handouts, and written feedback provided during each class were identical for active instruction and for passive lecture.
4) 학생은 2개 그룹에 개별적으로 무작위로 배정되었으며, 이들 그룹은 여러 가지 물리학 배경과 숙련도 측정에서 구별할 수 없었다(표 1).
4) Students were individually randomly assigned to 2 groups, and these groups were indistinguishable on several measures of physics background and proficiency (Table 1).
5) 각 학생은 학생 간의 다른 가능한 변동을 제어하는 교차 학습 설계에서 두 가지 유형의 교육을 모두 경험했다.
5) Each student experienced both types of instruction in a crossover study design that controls for other possible variation between students.
6) 실험적인 개입 이전에 학생들은 어떤 강사에게도 노출되지 않았다.
6) Students had no exposure to either of the instructors before the experimental intervention.
7) 같은 결과를 가진 2개의 다른 과정으로 전체 의전을 반복했는데, 총 149명의 학생이 참가하였다.
7) The entire protocol was repeated in 2 different courses with the same results; a total of 149 students participated.
8) 강사들은 다른 작가가 독자적으로 준비한 TOL을 보지 못했다.
8) The instructors did not see the TOLs, which were prepared independently by another author.
9) TOLs의 저자는 강의 자료나 강의 슬라이드에 접근할 수 없었고, 각 주제에 대한 상세한 학습 목표 목록만을 바탕으로 시험을 작성했다.
9) The author of the TOLs did not have access to the course materials or lecture slides and wrote the tests based only on a list of detailed learning objectives for each topic.
대조군에서는 강사가 유인물을 바탕으로 슬라이드를 제시하고 설명과 시범을 보여주며, 예시 문제를 풀었다. 학생들은 강의를 들으면서 교사를 따라 답안을 채워나갔다. 정보가 전달되는 유창성을 극대화하는데 중점을 두었다. 유인물을 사용하고 문제 해결에 집중하는 것은 이들 강의에서 흔히 볼 수 있는 것과는 달랐다. 스테인스의 분류법(12)을 사용하여, 통제군의 이러한 수업접근법은 엄격하게 didactic한 것이며, 통상적인 클래스 회의에서 발견된 보충 그룹 활동은 하나도 없었다.
In the control group, the instructor presented slides based on the handouts, gave explanations and demonstrations, and solved the example problems while students listened and filled in the answers along with the instructor. Emphasis was placed on maximizing the fluency with which the information was delivered. The use of handouts and focus on problem-solving was different from the usual lectures in these courses. Using the taxonomy of Stains (12), these classes in the control group were strictly didactic in approach, with none of the supplemental group activities found in the usual class meetings.
실험군에서 강사는 의도적 연습deliberate practice의 원리를 이용해 학생들을 적극적으로 참여시켰다(3, 36, 37): 강사가 강의실을 돌아다니며 질문을 하고 도움을 주는 동안 학생들이 작은 그룹으로 협력하여 표본 문제를 해결하도록 지시받았다. 학생들이 각각의 문제를 시도한 후에, 강사는 통제 그룹에 주어진 해결책과 같은 완전한 해결책을 제공했다. 수업 기간 내내 학생들이 적극적으로 참여하면서 실험군은 완전 학생 중심(12명)이 됐다.
In the experimental group, the instructor actively engaged the students using the principles of deliberate practice (3, 36, 37): students were instructed to solve the sample problems by working together in small groups while the instructor roamed the room asking questions and offering assistance. After the students had attempted each problem, the instructor provided a full solution that was identical to the solution given to the control group. Students were actively engaged throughout the class period, making the experimental group fully student-centered (12).
이 두 그룹의 결정적인 차이점은 학생들에게 각각의 문제를 해결하는 방법을 직접 지시했는지 아니면 해결책을 제시하기 전에 작은 그룹으로 나누어 스스로 문제를 해결하도록 요구받았는지 여부였다. 즉, 두 그룹의 학생들은 유인물과 강사로부터 정확히 같은 정보를 받았고, 자료와의 적극적인 관여만 켜졌다가 꺼졌다 하는 것이다.
The crucial difference between the 2 groups was whether students were told directly how to solve each problem or were asked to try to solve the problems themselves in small groups before being given the solution. In other words, students in both groups received the exact same information from the handouts and the instructor, and only active engagement with the material was toggled on and off.
결과 및 고찰
Results and Discussion
학생들은 그들의 동의 수준을 5점짜리 리커트 등급으로 평가했는데, 1점은 강하게 반대하며 5점은 강하게 동의한다. 학생들은 먼저 "강사가 정보를 제공하는 동안 이 수업은 나를 듣는 사람으로 주로 참여시켰다"는 진술을 평가했다. 예상대로 수동 강의의 학생들은 능동 강의 학생들보다 더 강력하게 동의했다(평균 = 3.9). 실험 그룹에서조차 강의 시간의 약 50%는 각 그룹 활동에 이어서 미니-강의가 제공되었으며, 이 때 강사가 간결하고 목표한 피드백을 제공하였다는 점에 유의할 필요가 있다
Students rated their level of agreement on a 5-point Likert scale, with 1 representing strongly disagree and 5 representing strongly agree. Students first evaluated the statement “This class mostly involved me as a listener while the instructor presented information.” As expected, the students in the passive lecture agreed more strongly (mean = 3.9) than those in the active classroom (mean = 2.9, P < 0.001). Note that even in the experimental group, about 50%of the class time featured the instructor giving concise, targeted feedback as mini-lectures following each group activity (3, 6, 36).
그 후 학생들은 4개의 추가 진술로 그들의 동의 수준을 평가함으로써 그들 자신의 FOL을 평가했고, 그들은 각각 수업으로부터 인식된 학습의 일부 측면을 조사하였다. 주요 FOL 항목은 학생들에게 "이 수업에서 많은 것을 배운 것 같다"는 진술을 평가해 달라고 요청했다. 나머지 FOL 질문들은 이 1차 질문과 매우 관련이 깊었기 때문에 우리는 이 질문을 단독으로 사용하거나 학생들의 전체 FOL을 측정하기 위해 4개 조사항목의 합계를 사용할 수 있었다. 그림 1은 이 조사에서 질문된 4개의 FOL 질문을 나열하고 있다.
The students then assessed their own FOL by rating their level of agreement with 4 additional statements, each of which probed some aspect of their perceived learning from the class. The primary FOL item asked students to evaluate the statement “I feel like I learned a great deal from this class.” The remaining FOL questions were highly correlated with this primary question, so we could use either this question alone or a composite of all 4 survey items to measure students’ overall FOL. Fig. 1 lists the 4 FOL questions asked in the survey.
그림 1과 2에 표시된 막대 그래프는 이러한 FOL 및 TOL 결과의 몇 가지 측면을 강조한다. 특히 다음과 같은 관측(모든 것은 보다 상세한 통계분석에 의해 확인됨):
1) 모든 FOL 반응은 수동적 강의 환경에 대한 일관성 있는 학생 선호를 보여준다.
2) TOL의 점수는 반대로 능동적인 교실에서 상당히 높다.
3) 이러한 경향은 두 가지 주제에서(통계든 유체든) 모두 유사하다.
교차 연구 설계(표 2)를 고려할 때, 수동적 학습과 능동적 학습 사이의 TOL 및 FOL 점수의 변화는 주제, 강사 또는 강의실의 선택에 의해 크게 영향을 받지 않은 것으로 보인다.
The bar graphs shown in Figs. 1 and 2 highlight several aspects of these FOL and TOL results. We note, in particular, the following observations (all of which are confirmed by a more detailed statistical analysis): 1) All of the FOL responses show a consistent student preference for the passive lecture environment. 2) Scores on the TOL, by contrast, are significantly higher in the active classroom. 3) These trends are similar for both the statics and fluids topics. Given the crossover study design (Table 2), it appears that the shift in TOL and FOL scores between passive and active learning was not strongly affected by the choice of topic, instructor, or classroom.
표 3은 이러한 통계적 모델을 요약한다.
모델 1은 학생들의 전체 FOL을 예측하는데, 이것은 주요 요소 분석에 따라 가중치가 부여된 FOL 조사 응답의 복합체다. (기본 FOL 질문 2를 이 복합 변수 대신 단독으로 사용할 경우 전체 분석은 사실상 동일하다.) 능동적 수업의 학생들은 수동적 강의에 비해 절반 이상 낮은 FOL을 보고했다.
모델 2는 TOL에서 학생들의 성적을 예측한다. 이 경우 능동적 수업의 학생들은 시험에서 SD(0.46)의 절반 가까이 높은 점수를 받았다. 이러한 결과는 매우 유의하다(P < 0.001).
Table 3 summarizes these statistical models.
Model 1 predicts students’ overall FOL, which is a composite of the FOL survey responses weighted according to a principal components analysis. (The entire analysis is virtually identical if the primary FOL question 2 is used alone in place of this composite variable.) The students in active classrooms reported more than half an SD (0.56) lower FOL compared with those in passive lectures.
Model 2 predicts students’ performance on the TOL. In this case, students in active classrooms scored almost half an SD (0.46) higher on the examination. These results are highly significant (P < 0.001).
또한 교차 연구 설계는 각 개별 학생에 대해 범주형 변수를 추가함으로써 추가적인 사람 수준person-level 변화를 제어할 수 있게 해준다(각 학생을 자신의 control로 간주). 이러한 추가 공변량을 사용하여 의미 있는 변화를 찾을 수 없다.
반대로, 무작위 실험에 대해 예상한 바와 같이, 통계 모델에서 학생 수준의 공변량(CLASS 점수, FCI 점수, 중간 평균, 성별)을 모두 제거하면, 능동 학습의 효과에 대한 점 추정치도 의미 있는 변화(SE의 절반 이하)를 보이지 않는다.
In addition, the crossover study design allows us to control for any additional person-level variation by adding a categorical variable for each individual student (treating each student as his or her own control); we find no meaningful change using these additional covariates.
Conversely, as expected for a randomized experiment, if we remove from the statistical model all student-level covariates (CLASS score, FCI score, midterm average, and gender) the point estimates of the effects of active learning also show no meaningful change (less than half the SE).
교육연구에서는 데이터를 개별 학생 수준에서 분석할 것인지 아니면 그룹 차원에서 분석할 것인지(일반적으로 교실별로 분석할 것인지, 학교별로 분석할 것인지) 문제가 자주 발생한다.
In educational research, a question often arises whether to analyze the data at the individual student level or at the group level (typically by classroom or by school).
[기존 집단]이 치료 대 대조군 조건에 노출되는 경우, 무작위화 및 처리 모두 그룹 수준에서 적용되므로 통계 분석이 이러한 [집단을 설명해야] 한다. 대학 과학 강좌에 대한 많은 연구가 군집을 정확하게 설명하지 못하며, 실제로 Freeman 등 (4)은 메타 분석에서 이러한 감독을 시정해야 했다. 한편, 학생이 개별적으로 무작위화되거나, 실험이 각 학생이 두 가지 조건을 모두 받는 교차 연구라면, 그 치료가 (불가피하게) 학급 수준에서 전달되더라도, 개인 차원의 분석이 적절하다.
if preexisting groups are exposed to treatment versus control conditions, the statistical analysis should account for these clusters, since both randomization and treatment are applied at the group level. Many studies of college science courses do not correctly account for clustering, and indeed Freeman et al. (4) had to correct for this oversight in their meta-analysis. On the other hand, if students are individually randomized, or the experiment is a crossover study in which each student receives both conditions, then an individual-level analysis is appropriate, even if the treatment is (inevitably) delivered at the class level.
학생들은 각 수업 시간이 끝날 때마다 즉시 FOL과 TOL 조사를 받았기 때문에 교실 밖에서는 동료들의 영향이 없을 수 있었다. 더욱이, SI 부록에 나타난 바와 같이, 능동적 학습과 수동적 학습에 대해 관측되지 않는 매우 큰 동료 효과를 가정하더라도, 우리의 결과는 여전히 매우 중요한 것으로 남아 있을 것이다(P < 0.001).
Students took the FOL and TOL surveys immediately at the end of each class period, so there could be no peer effects outside the classroom. Moreover, as shown in SI Appendix, even if we postulate an extremely large unobserved peer effect on active versus passive learning, our results would still remain highly significant (P < 0.001).
우리는 이 관찰의 이면에 있는 인과관계를 이해하려고 노력했다. 기존 문헌에 대한 조사는 두 가지 가능한 요인을 제시한다.
1) 강의의 [인지적 유창성]은 학생들이 실제보다 더 많이 배우고 있다고 오도할 수 있으며,
2) 어떤 [주제의 초심자]는 [메타인지가 잘 되지 않아] 얼마나 배웠는지를 판단하기에는 부적합하다.
우리는 또한 세 번째 요소를 제안한다.
3) 대학 수업에서 집중적, 능동적 학습에 익숙하지 않은 학생들은, 능동적 학습에 수반되는 증가하는 인지적 어려움struggle로 인해 그 어려움이 실제로는 효과적 학습의 신호라는 것을 인식하지 못할 수 있다.
we sought to understand the causal factors behind this observation. A survey of the existing literature suggests 2 likely factors:
1) the cognitive fluency of lectures can mislead students into thinking that they are learning more than they actually are (30, 31) and
2) novices in a subject have poor metacognition and thus are ill-equipped to judge how much they have learned (27–29).
We also propose a third factor:
3) students who are unfamiliar with intense active learning in the college classroom may not appreciate that the increased cognitive struggle accompanying active learning is actually a sign that the learning is effective.
가장 중요한 변형 단서 중 하나는 인지 과제의 [겉보기 유창성]이다. [인식된 유창성]은 판단과 인식(31)에 광범위한 영향을 미친다. 실험실 맥락에서 이전의 연구는 유창한 강사와 유창하지 않은 강사(30)의 5분짜리 비디오에서 사실을 기억하는 학생들의 인식 능력을 비교했다. 유창하지 않은 강사disfluent는 눈을 마주치는 것을 피했고, 분명하게 말하지 않았으며, 유창하지 않은 강사는 학생들의 실제 리콜이 유창한 강사와 같음에도 불구하고 인지적 보유를 낮추기 위해 노력했다. 연구 결과, 학생들이 어려운 것을 억지로 헤쳐나갈 때, 그 결과 나타나는 비유창성disfluency이 더 깊은 인지 처리(31, 40)로 이어진다는 사실도 밝혀졌다.
One of the most important metacognitive cues is the apparent fluency of cognitive tasks. Perceived fluency has broad impacts on judgment and perception (31). In the laboratory context, previous research has compared students’ perceived ability to recall facts from a 5-min video from a fluent versus a disfluent lecturer (30). The disfluent lecturer—who avoided eye contact, did not speak clearly, and lacked flow—led to lower perceived retention even though students’ actual recall was the same as it was with the fluent lecturer. Research has also shown that when students are forced to struggle through something that is difficult, the consequent disfluency leads to deeper cognitive processing (31, 40).
우리의 연구에서, 적극적으로 가르치는 그룹의 학생들은 처음에 어떻게 해결해야 할지 몰랐던 어려운 물리 문제를 통해 동료들과 고군분투struggle를 해야 했다. 이러한 유형의 수업에서 수반되는 인지적 노력은 [학생들이 자신의 능력에 대해 부정확하게 부풀려진 인식을 확인하는 유창한 강의]와 대조적이며, 학생들로 하여금 자신의 이해 부족에 좌절하고, 이를 고통스럽게 인식하게 할 수 있다.
In our study, students in the actively taught groups had to struggle with their peers through difficult physics problems that they initially did not know how to solve. The cognitive effort involved in this type of instruction may make students frustrated and painfully aware of their lack of understanding, in contrast with fluent lectures that may serve to confirm students’ inaccurately inflated perceptions of their own abilities.
우리 학생들의 인식에 대해 더 알아보기 위해, 우리는 연구의 일부 학생들과 일대일 구조적인 후속 인터뷰를 실시했다. 학생들은 두 학기 모두에서 뽑혔고 전체 모집단의 대표 표본으로 CLASS 점수, FCI 점수, 최종 과정 점수를 측정하였다. 문헌과 일관되게, 대부분의 학생들(17명 중 15명)은 보다 [유창한 수동적 강의]에 비해 [능동적인 수업]의 가르침이 불편하고 흐름flow이 부족하다는 것을 알았다. 학생들은 (능동적 학습된에 대한 우려에 관하여)
그룹 활동에서 강사 피드백으로 전환될 때마다 반복되는 방해interruption(14개 응답),
수업 중 발생한 오류가 시정되지 않을 우려(10개 응답),
전반적인 좌절감과 혼란(14개 응답)을 들었다.
To learn more about our students’ perceptions, we conducted follow-up one-on-one, structured interviews with a subset of students from the study (17 students total). The students were drawn from both semesters and provided a representative sample of the entire population as measured by their CLASS scores, FCI scores, and final course grades. Consistent with the literature, most students (15 of 17) found the instruction in the active classrooms disjointed and lacking in flow when compared with the more fluent passive lecture. Students also cited the frequent interruptions that accompanied each transition from group activities to instructor feedback (14 responses), a concern that their errors made during class would not be corrected (10 responses), and a general feeling of frustration and confusion (14 responses) when discussing their concerns about the actively taught classes.
또 학생들이 단체로 일하는 것을 항상 즐기는 것은 아니라는 통념이 있지만, 인터뷰에서 집단 활동을 쟁점으로 제기한 학생은 한 명도 없었다. 이와는 대조적으로, 학생 1명을 제외한 모든 학생들은 수동적인 강의를 더 즐겁고 이해하기 쉽다고 언급했다. 면접이 끝날 때마다 학생들에게 연구 결과를 보여 주었다. 그 결과에 대해 코멘트를 한 후, 각 학생들에게 "이 결과를 보는 것이 여러분이 공부하는 방식에 영향을 미칠 것인지"라는 질문을 받았고, 17명의 학생들 중 14명이 그렇게 될 것이라고 말했다.
In addition, although conventional wisdom suggests that students do not always enjoy working in groups, none of the students raised group work as an issue during interviews. In contrast, all but 1 of the students found the passive lecture more enjoyable and easier to follow. At the end of each interview, students were shown the results of the study. After commenting on the results, each student was asked “if seeing these results will impact the way you study,” and 14 out of 17 students said that it would.
또한, FOL 질문 2: "이 강의에서 많은 것을 배운 것 같다"라는 질문을 통해 학생들의 FOL을 예측하는 선형 회귀 모델을 통해 FOL과 인지된 유창성 사이의 연관성을 조사했다. "교사는 가르침은 효과적이었다"라는 진술과 동의한 결과, [강사가 매우 유창하다고 인식한 학생]들은 [강사가 유창하지 않다고 인식한 학생]들에 비해 절반 이상의 SD(0.51) 높은 FOL을 보고하였다(P < 0.001). 특히, 교육 유형(능동적 대 수동적)은 FOL을 예측하는 데 유의하지 않았고, 강사의 유창성을 어떻게 인식하는지만 관련이 있었다.
In addition, we investigated the connection between FOL and perceived fluency with a linear regression model predicting students’ FOL, given by FOL question 2: “I feel like I learned a great deal from this lecture.” Students who perceived the instructor to be highly fluent, as measured by agreement with the statement “The instructor was effective at teaching,” reported more than half an SD (0.51) higher FOL compared with those who perceived the instructor as disfluent (P < 0.001). Notably, the type of instruction (active vs. passive) was not significant in predicting FOL; only the perceived fluency of the instructor was relevant.
우리는 학생들이 교육 효과에 대한 질문을 유창함의 척도로 해석하는 것을 검증하기 위해 추가로 일대일 구조적인 인터뷰를 실시했다. 이 인터뷰들은 학생들이 이 질문을 주로 1) 설명의 명확성, 2) 발표의 구성, 3) 원활한 강의 흐름으로 해석한다는 것을 보여주었다. 또한, 학생들은 예를 들어 수업 준비가 충분히 되지 않았거나 너무 피곤해서 세심한 주의를 기울이지 못한 경우, 개인적으로 자신이 배운 것이 별로 없다고 느끼더라도 교사가 매우 효과적이라고 보고하는 것을 상상할 수 있는 몇 가지 시나리오를 제시하였다. 학생들의 FOL과 교육의 효과/유효성 사이의 강한 상관관계는 더 [(강사의) 유창함이 높다고 인식하는 것인 높은 FOL과 관련이 있음]을 시사한다.
We conducted additional one-on-one, structured interviews to validate that students interpret the question about teaching effectiveness as a measure for fluency of instruction. These interviews revealed that students interpret this question primarily as 1) clarity of explanations, 2) organization of presentation, and 3) smooth flow of instruction. In addition, students presented several scenarios in which they could imagine reporting that a teacher was highly effective even if they personally did not feel they learned very much—for instance, if they were not sufficiently prepared for a class or too tired to pay close attention. The strong correlation between students’ FOL and the effectiveness/fluency of instruction suggests that greater perceived fluency is related to higher perceived FOL.
우리가 관찰한 결과를 설명할 수 있는 두 번째 요인은 초보자(우리 연구의 학생 등)는 일반적으로 메타인지가 부족하여 자신의 학습을 판단하는데 능숙하지 않다는 것이다. "[정확한 판단을 내리는데 필요한 능력]의 근간이 되는 지식은 곧 [판단이 정확한지를 판별하는 데 필요한 능력]에서 요구하는 지식과 동일하다. 전자가 부족하다는 것은 후자가 부족하다는 것이다."] 이 잘 알려진 효과는 학생들의 FOL이 신뢰할 수 없을지도 모른다고 예측하지만, 이러한 감정이 능동적인 교육 방식과 수동적인 교육 방식에 유리하게 치우쳐져야 하는지는 예측하지 못한다.
A second factor that could account for our observed results is that novices (such as the students in our study) generally have poor metacognition and are not good at judging their own learning. “The same knowledge that underlies the ability to produce correct judgment, is also the knowledge that underlies the ability to recognize correct judgment. To lack the former is to be deficient in the latter.” (27) Although this well-known effect predicts that students’ FOL may be unreliable, it does not predict whether these feelings should be biased in favor of active versus passive styles of teaching.
위에서 설명한 모델 2에 비선형 상호작용 용어를 추가하여 이 가설을 조사했는데, 이는 TOL에서 학생들의 성적을 예측하는 것이다. FCI에 의해 측정된 학생들의 배경 물리학 지식과 질문 2: "나는 이 강의에서 많은 것을 배운 것 같다."라는 질문 2에 의해 측정된, 적당히 의미 있는 상호작용을 발견했다. 이러한 상호작용는 정정 관계가 있었는데, 이는 [더 많은 사전 지식을 가진 학생들이 FOL과 시험에서의 실제 수행 사이에 더 강한(더 긍정적인) 상관관계를 가지고 있다는 것]을 의미한다. 이러한 관찰과 앞 단락의 관찰을 결합해보면, [초보 학생들은 실제 학습을 판단하는 데 서툴러서, 자신의 학습을 평가할 때 [(교수가) 유창하게 가르쳤다고 느끼는지]와 같은 부정확한 변형 단서에 의존할 것]이라고 해석할 수 있다. 이 두 가지 요소들이 우리가 이 연구에서 관찰한 강력하고 전체적인 부정적인 상관관계를 설명할 수 있을 것이다.
We investigated this hypothesis by adding a nonlinear interaction termto model 2, described above, that predicts students’ performance on the TOL. We found a moderately significant (P < 0.05) interaction between students’ background physics knowledge as measured by the FCI and their FOL as measured by question 2: “I feel like I learned a great deal fromthis lecture.” The sign of this interaction was positive, which means that students with more prior expertise had a stronger (more positive) correlation between FOL and actual performance on the test. Combining this observation with that in the previous paragraph, we propose that novice students are poor at judging their actual learning and thus rely on inaccurate metacognitive cues such as fluency of instruction when they attempt to assess their own learning. These 2 factors together could explain the strong, overall negative correlation we observed in this study.
마지막 요인은 이 연구의 학생들이 (지금까지) 대학에서 완전히 학생 중심적인 수업에 대한 경험이 거의 없었다는 것이다(12). 위에서 설명한 인터뷰에 의해 제안된 바와 같이, 학생들이 능동적 학습과 관련된 혼란과 인지적 노력을 경험했을 때, 학생들은 비유창성disfluency을 비효과적poor 학습의 신호로 인식했지만, 사실은 그 반대였다. 학생 중심의 적극적 학습이 새로운 방식이라는 것 만으로는 이러한 교육방식에 대한 학생들의 부정적인 반응을 설명할 수 있을 것 같지 않다.
A final factor could be that the students in this study had little prior experience with fully student-centered classrooms in a college environment (12). As suggested by the interviews described above, when students experienced confusion and increased cognitive effort associated with active learning, they perceived this disfluency as a signal of poor learning, while in fact the opposite is true. It is unlikely that the sheer novelty of student-centered active learning alone can account for students’ negative response to this mode of instruction.
첫째, 위에서 언급한 바와 같이 실험(능동적) 그룹과 제어(패시브) 그룹은 모두 이러한 과정에서의 일반적인 교육적 접근 방식에서 변화를 경험했다. 수동적 그룹에서 학생들은 일반적인 과정 강의에서 교차되는 작은 그룹 활동을 전혀 경험하지 못했다.
둘째, 1wk 강좌에 전문가 가정교사와 일대일 과외를 받는 사고실험을 상상할 수 있다. 이것은 그들의 일반적인 교실 경험으로부터의 극적인 변화를 구성하겠지만, 거의 모든 학생들은 그들의 친숙한 강의보다 분명히 더 우수한 이런 방식의 수업을 선호할 것이다.
First, as mentioned above, both the experimental (active) and control (passive) groups experienced a change from the usual instructional approach in these courses: in the passive group, students experienced none of the small-group activities that were interspersed in the usual course lectures.
Second, one can imagine a thought experiment in which students are given one-on-one tutoring with an expert tutor for 1 wk of a course. This would constitute a dramatic change from their usual classroom experience, but nearly all students would likely prefer this style of instruction—which is demonstrably superior (41, 42)—to their familiar lectures.
위에서 논의된 세 가지 요인에 기초하여, 학생들이 [집중적, 능동적 학습에 대해 비교적 부정적인 반응]을 보이는 것은 인지적으로 부담되는cognitively demanding 환경에서 경험한 비유창성disfluency의 결과일 가능성이 있다. 우리는 이러한 태도가 바뀔 수 있는지 알아보기 위해 한 학기 동안 개입을 실시했다. 여기에 기술된 것과 동일한 능동적 학습 전략을 사용한 물리학 코스의 시작 가까이, 강사는 능동적 학습에 대한 간략한 설명과 그 효과에 대한 증거로부터 시작된 20분간의 프레젠테이션을 했다. 그런 다음 그는 [인지된 유창성, FOL 및 실제 학습 사이의 연관성]에 대해 추가적으로 설명하면서, 본 연구에서 관찰한 부정적인 상관관계를 토론했다(본 프레젠테이션의 내용은 SI 부록에서 확인할 수 있다.) .
Based on the 3 factors discussed above, it is likely that a significant part of students’ comparably negative response to this intense style of active learning is a result of the disfluency they experience in this cognitively demanding environment. We carried out a semester-long intervention to see if these attitudes could be changed. Near the beginning of a physics course that used the same active learning strategy described here, the instructor gave a 20-min presentation that started with a brief description of active learning and evidence for its effectiveness. He then presented additional detail about the connections between perceived fluency, FOL, and actual learning, including a discussion of the negative correlations we observed in this study.
프레젠테이션에 이은 학생들의 질문과 토론을 보면, [학생들은 유창함과 FOL이 종종 오해를 불러일으킬 수 있다는 생각에 가장 관심이 있다]는 것을 보여주었다. 학생들은 이 지식이 능동적인 학습에 접근하는 방법을 이해하는 데 유용할 것이라고 지적했다. 학기 말에, 65% 이상의 학생들이 이번 학기 동안 활발한 학습의 효과에 대한 그들의 감정이 현저히 개선되었다고 한 조사에 보고했다. 비슷한 비율(75%)의 학생들은 학기 초의 개입이 강의 중에 이뤄지는 능동적 학습을 더 긍정적으로 받아들이게 되었다고 보고했다.
(The transcript for this presentation can be found in SI Appendix.) Students’ questions and discussion following the presentation indicated that they were most interested in the idea that fluency and FOL can often be misleading. Students indicated that this knowledge would be useful for understanding how to approach active learning. At the end of the semester, over 65% of students reported on a survey that their feelings about the effectiveness of active learning significantly improved over the course of the semester. A similar proportion (75%) of students reported that the intervention at the beginning of the semester helped them feel more favorably toward active learning during lectures.
능동적 학습의 성공은 결정적으로 학생의 동기부여와 참여에 따라 좌우되기 때문에, 학생들이 학기 초에 경험하는 능동적 학습에서의 고군분투가 이점이 있다는 것을 가치있게 평가하는 것이 가장 중요하다. 학생들이 [이런 방식으로는 제대로 배우지 못하고 있다]라는 본능적 반응에 현혹된다면, 그들은 자기조절을 하지 못할 것이고, 성공적으로 학습하지 못할 것이다. 게다가, 그룹 작업 동안, 일부 학생들이 불성실한 태도나 낮은 참여를 보인다면 그룹의 다른 학생들에게까지 부정적인 영향을 미칠 수 있다. 따라서, 학생들은 결국 스스로 한 학기를 마치고 나면 능동적 학습의 가치를 발견할 지도 모르지만, 만약 수업이 진행되는 기간동안에는 여전히 본질적으로 수업이 disfluent 하다고 느낀다면, 첫 번째 과정 동안 그들의 학습은 손상될 것이다.
As the success of active learning crucially depends on student motivation and engagement, it is of paramount importance that students appreciate, early in the semester, the benefits of struggling with the material during active learning. If students are misled by their inherent response into thinking that they are not learning, they will not be able to self-regulate, and they will not learn as successfully. In addition, during group work, poor attitudes or low engagement of a few students can have negative effects on other students in their groups. Thus, although students may eventually, on their own, discover the value of active learning during a semester-long course, their learning will be impaired during the first part of the course while they still feel the inherent disfluency associated with in-class activities.
우리는 강사들이 능동적인 학습과 관련된 인지적 노력의 증가 가치를 명시적으로 제시함으로써 초기에 개입할 것을 권고한다. 또한 강사는 학생들이 실제 학습 내용을 측정할 수 있도록 가능한 한 빨리 시험(또는 다른 평가)을 제공해야 한다. 이 전략들은 학생들이 가능한 한 빨리 적극적인 학습을 할 수 있도록 도울 수 있다. 그런 다음 학기 내내 강사는
연구 기반의 설명explanation과 촉진facilitation 전략(26)을 채택해야 하며,
학생들이 활동 중에 열심히 학습에 참여하도록 권장해야 하며,
인지적 노력의 가치를 일깨워 주어야 한다.
We recommend that instructors intervene early on by explicitly presenting the value of increased cognitive efforts associated with active learning. Instructors should also give an examination (or other assessment) as early as possible so students can gauge their actual learning. These strategies can help students get on board with active learning as quickly as possible. Then, throughout the semester, instructors
should adopt research-based explanation and facilitation strategies (26),
should encourage students to work hard during activities, and
should remind them of the value of increased cognitive effort.
또한 과목 전체에 걸쳐 ‘one-minute paper’과 같은 빈번한 피드백을 요청하고 학생들의 우려에 대응해야 한다. 학생들이 그것이 더 깊은 학습으로 이어진다는 것을 받아들이고 때때로 정확히 그 반대가 사실이라고 느낄 수도 있다는 것을 인정한다면 적극적인 학습의 성공은 크게 향상될 것이다.
Instructors should also solicit frequent feedback such as “one-minute papers” throughout the course (43) and respond to students’ concerns. The success of active learning will be greatly enhanced if students accept that it leads to deeper learning—and acknowledge that it may sometimes feel like exactly the opposite is true.
이 권고안은 (이러한 효과의 기초가 되는 인지 원리가 물리학이나 이 과정의 잘 준비된 학생에게만 특정되지 않기 때문에) 다른 학생 집단과 다른 학문에도 적용되어야 한다. 이 점을 설명하기 위해, 다른 학생 그룹 또는 다른 과목의 강좌를 상상해보십시오. 이 강좌는 매우 효과적인 대화형 교육학을 사용하여 자신의 학생 청중에게 맞춘 것이다. 이제 같은 자료를 사용하지만 강의에서 모든 상호작용을 배제하는 학생 사고에 대한 특별한 지식을 가진 유창하고 카리스마 있는 강사를 데려오십시오. 이 강의의 설계는 능동적인 학습만 켜고 끄는 것이다.
These recommendations should apply to other student populations and to other disciplines as the cognitive principles underlying these effects are not specific to physics or to the well-prepared students in this course. To illustrate this point, imagine a course with a different group of students, or in a different subject, that uses a highly effective interactive pedagogy with course materials tailored to its own student audience. Now bring in a fluent and charismatic lecturer with special knowledge of student thinking who uses the same materials but eliminates all interactive engagement from the course, consistent with the design of this study in which active learning alone is toggled on and off.
구체적인 예로서, 학생들의 일반적인 어려움과 오해를 대상으로 하는 잘 다듬어진 클리커 질문이 있는 피어 지침(2)을 고려한다. 강사는 학생들이 이러한 질문에 답하고 토론하는 것을 허락하는 대신에 각각의 답을 설명하고 설명하곤 했다. 학생들이 수동적인 강의 환경에서 덜 배울 것이 분명하다. 예를 들어, 클리커 질문에 능동적으로 관여하지 못하는 학생들은, 자신이 가지고 있던 오해를 발견할 수도 없고, 정확한 설명을 스스로 만들어낼 수도 없다.
As a specific example, consider Peer Instruction (2) with well-honed clicker questions that target common student difficulties and misconceptions. Instead of allowing students to answer and discuss these questions, the lecturer would describe and explain each of the answers. From the research reviewed in ref. 4, it is clear that students would learn less in the passive lecture environment. For instance, students deprived of active engagement with clicker questions could not discover their own misconceptions or construct their own correct explanations.
그러나 위에서 논의된 인지적 원칙에 입각하면, 유창한 강사는 [학생들이 강의로부터 많은 것을 배운 것처럼 느끼게 함으로써] 학생들의 어려움과 잘못된 생각을 해소할 수도 있다. 실제로, 매우 능숙한 학생들이 그들 자신의 학습을 더 잘 판단할 수 있다는 우리의 관찰에 비추어 볼 때, 우리 연구에 참가한 학생들보다 준비가 덜 된 학생들이 실제 학습과 FOL 사이에 훨씬 더 큰 불일치를 보일 것이라고 기대하는 것은 타당하다.
Yet based on the cognitive principles discussed above, the fluent lecturer could address student difficulties and misconceptions in such a way as to make students feel like they learned a lot from the lecture. Indeed, given our observation that highly proficient students are better able to judge their own learning, it is reasonable to expect that students who are less well prepared than those in our study would show even larger discrepancies between actual learning and FOL.
결론적으로, 우리는 학생들이 자신의 학습에 대한 인식이 능동적 학습 대 수동적 강의의 잘 통제된 구현 하에서 실제 학습과 역상관관계가 있을 수 있다는 것을 발견한다. 이러한 결과는 학기 초에 학생들을 준비시키고 지도하는 것이 중요하다는 것을 지적하며, 강사는 학생에게 [능동적 수업으로부터 이득을 받고 있다는 것을 설득해야 함]을 암시한다. 이러한 준비가 없으면, 학생들은 능동적인 학습에 지속적인 인지적 노력이 필요하다는 이유로 [본능적 불유창성inherent disfluency] 에 현혹될 수 있으며, 이는 다시 그들의 실제 학습에 부정적인 영향을 미칠 수 있다.
In conclusion, we find that students’ perception of their own learning can be anti-correlated with their actual learning under well-controlled implementations of active learning versus passive lectures. These results point to the importance of preparing and coaching students early in the semester for active instruction and suggest that instructors should persuade students that they are benefitting from active instruction. Without this preparation, students can be misled by the inherent disfluency associated with the sustained cognitive effort required for active learning, which in turn can have a negative impact on their actual learning.
이는 본 연구의 학생들과 마찬가지로 학생 중심의 적극적 학습(12)을 완전히 처음 접하는 학생들에게 특히 중요하다. 이러한 결과는 또한 학생들의 학습에 대한 인식에 의존하는 학생들의 교수 평가가 신중하게 사용되어야 한다는 것을 시사한다. 슈퍼스타 강사는 학생들이 능동적 학습이 아니라 수동적 강의를 선호할 만큼 긍정적인 FOL을 만들 수 있다. 또 fluency가 메타인지적 판단에 대한 강력한 영향을 미친다는 점을 감안할 때, 이러한 결과는 다양한 대학 수준의 과목으로 일반화될 가능성이 높다고 기대한다.
This is especially important for students who are new to fully student-centered active learning (12), as were the students in this study. These results also suggest that student evaluations of teaching should be used with caution as they rely on students’ perceptions of learning and could inadvertently favor inferior passive teaching methods over research-based active pedagogical approaches (44, 45)—a superstar lecturer could create such a positive FOL that students would choose those lectures over active learning. In addition, given the powerful general influence of fluency on metacognitive judgments (31), we expect that these results are likely to generalize to a variety of college-level subjects.
,116 (39), 19251-19257
Measuring Actual Learning Versus Feeling of Learning in Response to Being Actively Engaged in the Classroom
We compared students' self-reported perception of learning with their actual learning under controlled conditions in large-enrollment introductory college physics courses taught using 1) active instruction (following best practices in the discipline) and 2) passive instruction (lectures by experienced and highly rated instructors). Both groups received identical class content and handouts, students were randomly assigned, and the instructor made no effort to persuade students of the benefit of either method. Students in active classrooms learned more (as would be expected based on prior research), but their perception of learning, while positive, was lower than that of their peers in passive environments. This suggests that attempts to evaluate instruction based on students' perceptions of learning could inadvertently promote inferior (passive) pedagogical methods. For instance, a superstar lecturer could create such a positive feeling of learning that students would choose those lectures over active learning. Most importantly, these results suggest that when students experience the increased cognitive effort associated with active learning, they initially take that effort to signify poorer learning. That disconnect may have a detrimental effect on students' motivation, engagement, and ability to self-regulate their own learning. Although students can, on their own, discover the increased value of being actively engaged during a semester-long course, their learning may be impaired during the initial part of the course. We discuss strategies that instructors can use, early in the semester, to improve students' response to being actively engaged in the classroom.
학습의 정의를 확장하기: 셀프Self에서 소셜Social에서 시스템System으로(Med Educ, 2019)
Expanding the definition of learning: from self to social to system
Douglas P Larsen
개별 SRL 스킬 개발을 목표로 하는 학습 목표 및 개인화된 학습 계획과 같은 교육 개입이 보편화되었다. 그러나 이러한 학습자와 학습자에 대한 집중이 항상 예상대로 이루어지는 것은 아니다. SRL 기술의 중요성을 선언했음에도 불구하고, 이러한 유형의 개입에 대한 연구는 엇갈린 결과를 보여준다. 비록 일부 조사자들이 학습 목표를 달성한 성공에 대해 보고했지만, 다른 연구들은 대부분의 학습자들이 목표를 기억하는 데 어려움을 겪었고, 목표를 통해 학습에 대한 통찰력을 얻지 못했고, 그들의 목표가 시간과 노력의 가치가 있다고 느끼지 못했다는 것을 발견했다.11,12
Education interventions such as learning goals and individualised learning plans, aimed at individual SRL skill development, have become common. However, this focus on learning and learners does not always play out as anticipated. Despite the proclaimed importance of SRL skills, research on these types of interventions shows mixed results. Although some investigators have reported success with learning goals,9,10 other studies found that most learners had trouble remembering their goals, did not gain insight about learning through their goals, and did not feel that their goals were worth the time and effort.11,12
이러한 연구들의 결과는 우리가 원하는 학습을 이뤄내기 위해서는, 개인 수준의 프로세스에 대한 강조를 넘어서는 것이 필요할지도 모른다는 것을 시사한다. 사회적 상호작용과 시스템 분석을 통한 학습 프레임워크는 이러한 도전에 대한 해결책을 제공할 수 있다.
The results of these studies suggest that to produce the learning we want, we may need to move beyond an emphasis on individual processes. The frameworks of learning through social interactions and systems analysis may offer solutions to these challenges.
Nieboer et al.13은 단순히 학습자의 인지 과정 내에서가 아니라 감독자와 훈련자 사이의 상호작용을 통해 직장에서 학습이 어떻게 자주 발생하는지를 보여준다.
Nieboer et al.13 demonstrate how learning in the workplace often occurs through the interactions between supervisors and trainees rather than simply within the cognitive processes of the learner.
관계적 주체성relational agency은 개개인이 각자의 행동의 대상을 공동 창조하기 위해 서로의 자원을 끌어들이면서 일어난다.14 본 연구에서 레지던트와 감독자가 운영에 관련된 관행을 공동으로 구성함에 따라 피드백과 학습은 대화적인 과정이 된다.15
The exercise of relational agency occurs as individuals draw on the resources of each other to co-create the object of their actions.14 In this study, feedback and learning become a dialogical process as residents and supervisors co- construct the practices involved in the operation.15
본 연구는 '학습은 근무현장에서의 의사소통적 실천에 있다'는 것을 증명하는 기존의 연구와 부합한다. 실제로, 여러 조사 결과, 임상실습 학생 학습 목표든 전공의 개인화 학습 계획이든 간에 SRL 교육 개입을 성공적으로 이행하는 데 협력적 대화가 필수적이라는 사실이 밝혀졌다.16 1818 Berkhout 외 연구진 19는 학습자가 직장 학습에 경험이 많아짐에 따라, 학습자는 SRL을 추구함에 있어서 감독관들과 점점 더 협력적으로 되어간다는 것을 보여주었다.
The present study adds to a growing body of research demonstrating that ‘learning resides in the communicative practices of workplaces’, as expressed by Steven et al.2 in their study of medical student clinical learning. Indeed, several investigations have found collaborative dialogue to be essential for successful implementation of ostensibly SRL educational interventions whether they be clerkship student learning goals or resident individualised learning plans.16–18 Berkhout et al.19 showed that as learners became more experienced in workplace learning, their pursuit of SRL became increasingly collaborative with supervisors.
Nieboer 등은 전공의들은 수술실 작업에 적극적으로 참여함으로써 의사결정에 대한 논의를 쉽게 시작할 수 있다는 것을 발견했다. 반면, 외과 임상실습을 도는 의대생들에 대한 연구는 학생들은 종종 [supervisor에게 그들의 학습 목표에 대한 대화를 시작할 책임이 있다]고 인식한다는 것을 발견했고, 감독관들은 종종 관심을 보이지 않았다고 생각한다는 것을 보여준다.
Nieboer et al. found that residents’ active participation in the work of the operating room easily empowered them to initiate discussions around their decisions, but another study of medical students on a surgical clerkship found that students often perceived supervisors as responsible for initiating conversations about their learning goals and that supervisors often did not express an interest.21
이러한 질문들은 우리에게 단순히 개별적인 학습 과정으로부터 학습을 위한 사회적 상호작용을 강조하는 것 이상으로 추가적인 기회가 존재한다는 것을 상기시킨다. 오히려 우리는 실천과 관련된 모든 시스템이 학습을 창조하기 위해 상호 작용함을 고려해야 한다.(즉 사람, 공간, 계층, 사회적 규범, 노동의 분업, 공식적인 규칙과 규정, 기술, 담론 등)
These questions remind us that additional opportunities exist beyond simply shifting from individual learning processes to an emphasis on social interactions for learning. Rather, we must consider the entire system of practice: people, spaces, hierarchies, social norms, divisions of labour, formal rules and regulations, technologies, as well as discourses, which all interact to create learning.22
많은 학자들이 SRL에 대한 맥락화된 접근법을 요구했지만, 시스템의 요소를 가시화하고 연결의 다양성을 예측하기 위해서는 개념적 프레임워크가 필요하다. 문화-역사 활동 이론(CHAT), 배우-네트워크 이론(ANT), 복잡성 이론 및 시스템 엔지니어링과 같은 프레임워크는 특히 학습으로 이어지는 연결과 상호작용을 인식, 분석 및 최적화하기 위한 렌즈를 제공한다.22,25 이 이론들은 어떻게 상충하는 힘이 학습을 형성하고, 학습자와 감독자의 경험을 결정하는지를 탐구하는 데 사용되었다. 이러한 렌즈를 통해 볼 때, 학습 시스템은 [참가자와 요소가 어떻게 변화하는지] 뿐만 아니라 [시스템 자체가 어떻게 변화하는지]를 포괄한다. 이러한 시스템 수준의 변화과정을 확장적 학습이라고 일컬어 왔다.28
Although many scholars have called for a contextualised approach to SRL,4,23,24 conceptual frameworks are needed to make the elements of the system visible and foreground the multiplicity of their connections. Frameworks such as cultural-historical activity theory (CHAT), actor-network theory (ANT), complexity theory and systems engineering, among others, provide lenses to recognise, analyse and optimise the connections and interactions that lead to learning.22,25 These theories have been used to explore how competing forces shape learning and determine the experiences of both learners and supervisors.26,27 When seen through these lenses, a learning system describes not only how the participants and elements change but also how the system itself changes.22,25 This process of system change has been referred to as expansive learning.28
시스템 관점에서 학습을 보게 되면 많은 것이 달라진다. 학습은 더 이상 시험이나 능력을 통해 측정한 사실이나 기술의 축적이라고 적절히 설명할 수 없다. 오히려 학습은 "실천의 변화"라고 볼 수 있다. 실천의 변화는 시스템의 모든 요소들의 상호 작용에서 창발하고, 실천의 변화가 다시 시스템의 변화를 이끌어낸다.
교육자는 연습생들이 연습 시스템에 완전히 참여할 수 있도록 하는 커리큘럼을 설계하고 학습자가 참여에 의해 자신과 연습이 어떻게 변경되는지 인식할 수 있도록 돕는다.
교직원들은 스스로를 콘텐츠 전달자로 보지 않고, [실천의 공동 창조]를 통해 변화되는 참여자로 보게 될 것이다.
환자들은 교육 및 의료적 실천의 [공동 창조자]가 될 것이다.
규제 기관은 [학습과 역량에 대한 정의]를 확장하며, [실천의 복잡성을 설명할 수 있는 표준]을 설계할 것이다.
연구자들은 시스템 요소들 사이의 복잡한 관계를 풀기 위해 더 미묘한 질문을 할 것이다.
To see learning from a systems perspective has significant consequences. Learning can no longer be adequately described as the accumulation of facts or skills measured on tests or through competencies. Rather, learning will be seen as changes in practice that emerge from the interplay of all of the elements of a system as the system itself changes from those practices.
Educators will design curricula that enable full participation by trainees in the systems of practice and help learners to recognise how they and their practices are changed by that participation.
Faculty members will not see themselves as content deliverers but as participants that are also changed through the co- creation of practice.
Patients will be co-creators of both educational and health care practices.
Regulatory bodies will expand their definitions of learning and competence and design standards that account for the complexities of practice.
Researchers will ask more nuanced questions to untangle the complex relationships between elements of systems.
19 Berkhout JJ, Helmich E, Teunissen PW, van der Vleuten CPM, Jaarsma ADC. How clinical medical students perceive others to influence their self-regulated learning. Med Educ 2017;51:269– 79.
4 Schumacher DJ, Englander R, Carraccio C. Developing the master learner: applying learning theory to the learner, the teacher, and the learning environment. Acad Med 2013;88:1635–45.
24 Berkhout JJ, Helmich E, Teunissen PW, van der Vleuten CPM, Jaarsma ADC. Context matters when striving to promote active and lifelong learning in medical education. Med Educ 2018;52:34–44.
5 Cutrer WB, Miller B, Pusic MV, Mejicano G, Mangrulkar RS, Gruppen LD, Hawkins RE, Skochelak SE, Moore DE. Fostering the development of master adaptive learners. Acad Med 2017;92:70–5.
25 Rojas D, Grierson L, Mylopoulos M, Trbovich P, Bagli D, Brydges R. How can systems engineering inform the methods of programme evaluation in health professions education? Med Educ 2018;52:364–75.
26 Larsen DP, Wesevich A, Lichtenfeld J, Artino AR, Brydges R, Varpio L. Tying knots: an activity theory analysis of student learning goals in clinical education. Med Educ 2017;51:687– 98.
Comment
,53 (6), 539-542
Expanding the Definition of Learning: From Self to Social to System
PBL: 최선의 결과를 위한 학생의 역할과 책임(AMEE Guide No. 84) (Med Teach, 2014)
Problem-based learning (PBL): Getting the most out of your students – Their roles and responsibilities: AMEE Guide No. 84
EMILY BATE1, JULIETTE HOMMES2, ROBBERT DUVIVIER2 & DAVID C. M. TAYLOR1
1The University of Liverpool, UK, 2Maastricht University, The Netherlands
도입
Introduction
PBL은 학습은 [문제 중심 환경]에서 발생하는 [인지적 및 사회적 상호작용]에서 비롯된다는 믿음을 가지고 있다(그린오 외 1996; 이븐센 & 헬로 2000; 세이버 & 더피 2001). 학생들은 학습에 있어서 적극적인 동반자이며, 수동적인 수혜자가 아니다. PBL에 학생들의 참여는 학습의 목적을 달성하는 데 있어 가장 중요하다. 그것은 그들이 서로의 경험으로부터 배우고, 아이디어를 체로 치고, 분류하고 다듬고, 그들이 알고 있는 것을 통합하고, 그들이 임상 환경과 피할 수 없는 검사를 통과할 때 그들에게 잘 도움이 될 주장을 연습하는 과정에 그들이 관여하는 것이다(Taylor & Hamdy 2013).
PBL encapsulates the beliefs that learning results from cognitive and social interactions in problem-centred environments (Greeno et al. 1996; Evensen & Hmelo 2000; Savery & Duffy 2001). Students are active partners in their learning, and not passive recipients. The involvement of students in PBL is paramount to achieving the objective of learning. It is their involvement in the process that will help them to
learn from each other’s experiences,
sift, sort and refine ideas,
consolidate what they know, and
rehearse the arguments that will serve them well in the clinical environment and in passing the inevitable examinations (Taylor & Hamdy 2013).
PBL이란 무엇이며 왜 그것을 사용하는가?
What is PBL and why use it?
PBL은 1960년대 말 맥매스터 대학의 의학교육에 처음 사용된 소규모 그룹 협업 학습 방식이다. 전통적인 의학 교육과정에서의 PBL로의 전환은 [학생들이 그들의 의학적 교육에 환멸을 느끼고 있으며, 임상 실습에 적용할 수 없을 것 같은 과학적인 정보로 과부하가 걸렸다는 우려]에서 촉발되었다(Barrows & Tamblyn 1980).
PBL is a method of small group collaborative learning that was first used in medical education at McMaster University in the late 1960s. The move to PBL from the traditional medical curriculum was triggered by concerns that students were disenchanted with their medical education and becoming did overloaded with scientific information that not seem applicable to clinical practice (Barrows & Tamblyn 1980).
PBL에서, 일반적으로는 평균 8명인 그룹 학생들에게 임상 시나리오를 제공한다. 7단계 과정(Schmidt 1983)을 안내하기 위한 촉진자가 존재하지만, 촉진자는 학습 과정에서 학생들의 상호작용과 관여에 초점을 맞춘다.
In PBL, students in groups averaging eight in number are typically provided with a clinical scenario to work on. A facilitator is present to guide the seven step process (Schmidt 1983), but the facilitator focuses on the interaction and involvement of the students in the process of learning.
슈미트에 따르면, 임상 시나리오를 사용하면 학생의 본질적인 동기가 증가될 뿐만 아니라, specificity를 가지고 있기 때문에, 미래의 지식 검색을 용이하게 할 수 있다. 왜냐하면 [어떤 내용을 배운 상황]이 [그것을 적용할 맥락]과 유사할 때 지식 회상이 강화되기 때문이다(배움의 맥락-의존성)(Schmidt 1993). 가능한 한 학습과 실천은 분리되어서는 안 되며, 학습의 맥락은 가능한 한 authentic해야 한다(Taylor & Miflin 2008).
According to Schmidt, using clinical scenarios not only increases the intrinsic motivation of the student, but it also facilitates future knowledge retrieval, through encoding specificity, as future knowledge recall is enhanced when the situation in which it was learned resembles the context where it needs to be applied (the contextual dependency of learning) (Schmidt 1993). Wherever possible learning should not be separated from practice, and context of learning should be as authentic as possible (Taylor & Miflin 2008).
학생들은 시나리오의 구성요소에 대한 사전 지식을 활성화한 다음, 임상적 문제를 이해/해결하기 위해 채워야 하는 지식 격차를 파악하여, 임상추론 전략을 강화해야 한다(Norman & Schmidt 1992). 기억의 주요 특징은 [새로운 정보가 기존의 지식 네트워크로 연결]되는 방식이며, [개념들 사이의 연결이 만들어지거나 강화]되는 것이다. 따라서 학생들은 (새로 배운 내용이) 이미 알고 있는 것에 기초하거나, 이미 알고 있는 것과 연결될 때 새로운 지식을 더 잘 구축할 수 있다(Vygotsky 1997.
Students are required to activate their prior knowledge about the constituents of the scenario and then identify knowledge gaps that need to be filled to understand/solve the clinical problems, enhancing their clinical reasoning strategies (Norman & Schmidt 1992). a key feature of memory is the way in which new information is linked into existing knowledge networks, and connections between concepts are made or strengthened. Hence, students are better able to construct new knowledge when it builds upon, or is linked to, what they already know (Vygotsky 1997).
첫 번째 PBL 튜토리얼에 따라 학생들은 다음 PBL 그룹 미팅에 앞서 PBL 세션에 의해 확인된 지식을 얻기 위해 그들 자신의 수단과 전략을 사용한다. 이렇게 하면서 학생은 자기주도적인 학습자가 되는 방법을 배우고 있다.
Following the first PBL tutorial, the students use their own means and strategies to attain the knowledge required as identified by the PBL session, prior to the next PBL group meeting. In doing this, the student is learning howto become a self-directed learner.
다음 PBL 세션에서, 그 그룹은 그들이 배운 정보를 상세히 기술하면서 그들의 협력을 계속한다. PBL을 통한 협업은 사회적 동기와 인지적 관점 모두에서 필수적이다(Hmelo Silver 2004; Schmidt et al. 2006a).
At the next PBL session, the group continue their collaboration elaborating on the information that they have learned. The collaboration through PBL is essential from both a sociobehavioural motivational and a cognitive perspective (HmeloSilver 2004; Schmidt et al. 2006a).
PBL은 그 주제에 대한 지식과 이해를 발전시키는 것 외에도 학생들에게 위협적이지 않은 방식으로 협력하도록 가르친다. 이것은 또한 학생들이 학습 커뮤니티 외부에 있는 것에서부터 그들의 PBL 그룹과 연습 커뮤니티의 일원이 되는 것에 대한 분열을 극복하도록 돕는다. 결국 이것은 의사로서 다학제 팀 내의 일을 위한 중요한 준비로 보인다(박스 1).
In addition to developing their knowledge and understanding of the subject matter, PBL teaches students to collaborate in a non-threatening way. This also helps the students cross the divide from being outside the learning community to being a member of their PBL group and its community of practice (Lave & Wenger 1991). In turn this appears to be an important preparation for work within the multi-disciplinary team as a doctor (Box 1).
Box 1. Research-based conclusions that demonstrate the positive outcomes of problem-based learning.
Students graduating from a PBL programme have similar factual knowledge but better clinical performance than those from traditional schools (Albanese & Mitchell 1993; Thomas 1997; Watmough et al. 2006b), although they may have less confidence in their knowledge (Watmough et al. 2010)
The PBL process, and closer interaction between students and faculty is enjoyable (Vernon & Blake 1993; Vernon & Hosokawa 1996; Taylor & Miflin 2008)
Students from PBL programmes show a greater tendency to use evidence-based medicine (Thomas 1997).
PBL shows positive effects on physician competency, particularly in the social and cognitive domains, most notably with regards to cultural and ethical issues (Koh et al. 2008; Norman 2008).
PBL graduates demonstrate an ability to work more efficiently (Schmidtet al. 2006b)
왜 학생은 문제 기반 학습을 사용하여 공부해야 하는가?
Why should a student study using problem-based learning?
우리의 경험에 따르면, 대부분의 학교들이 PBL을 프로그램의 주요 요소로 사용하고 있지만, 학생들은 PBL이 무엇을 수반하는지에 대해 모호한 생각만을 가지고 있다. 우리는 학생들이 PBL school를 선택할 수 있는 여러 가지 가능한 이유들이 있다고 생각한다. 그들은 PBL 학교 내에서 가능한 학습의 독립성을 선호할 수도 있고, 교육적인 가르침을 싫어할 수도 있고, 초기 임상 접촉에 이끌릴 수도 있고(흔히 PBL 프로그램의 특징), 단순히 자리를 제공받았기 때문에 PBL 학교에 가게 되었을 수도 있다. 아직 발표되지 않은 리버풀에서 자료에 따르면 이 프로그램에 참가한 학생들의 약 4분의 1이 교육 방법에 근거하여 우리 기관을 선택하지 않았다. 학생들이 PBL 프로그램이 요구하는 독립적인 학습 수준에 동등하게 동기가 부여되지 않는다는 것을 받아들이는 것이 중요해 보인다.
In our experience, students only have a hazy idea of what PBL entails, even though most schools using PBL as a main element of their programme are very explicit about what it entails. We think that there are a number of possible reasons that students might opt for a PBL school: They might prefer the independence of study that is possible within a PBL school, they might have a distaste for didactic teaching, they might be attracted by early clinical contact (often a feature of PBL programmes), or they might simply have ended up in a PBL school because they were offered a place. At Liverpool our own, as yet unpublished, data suggest that around a quarter of students on the programme did not choose our institution on the basis of the instructional method. It seems important to accept that students are not equally motivated for the level of independent study called for by a PBL programme.
어떤 학생들은 (때때로 제공되는 것보다) 오히려 더 많은 지원과 격려가 필요할지도 모른다.
Some students may need rather more support and encouragement than is sometimes offered.
졸업생의 퍼포먼스에 대한 PBL 접근방식의 효과는 격렬하게 논의되어 왔고, 앞으로도 계속 논의될 것이다.
The effect of the PBL approach on the performance of graduating students has been fiercely debated, and will no doubt continue to be debated in the future.
경험적 증거는 PBL이 대인관계 및 인지영역의 일반적인 PBL 관련 역량에 영향을 미칠 뿐만 아니라 보다 효율적으로 작업할 수 있는 능력과 같은 보다 일반적인 업무 관련 기술에도 영향을 미친다는 것을 보여준다(Schmidt et al. 2006b).
Empirical evidence shows that PBL not only affects the typical PBL-related competencies in the interpersonal and cognitive domains but also the more general work-related skills such as the ability to work more efficiently (Schmidt et al. 2006b).
여러 연구에서 PBL 커리큘럼의 학생들은 환자와의 의사소통, 다른 보건 전문가와의 협력 및 정신사회적 문제가 있는 환자 관리와 같은 대인관계 기술에 더 잘 준비되어 있다고 느꼈다는 것이 밝혀졌다(Busari et al. 1997; Peters et al. 2000; Antepohl et al. 2003; Watmough et al. 2006a).
Several studies have shown that students from a PBL curriculum felt better prepared in interpersonal skills, such as communicating with patients, co-operating with other health professionals and managing patients with psychosocial problems (Busari et al. 1997; Peters et al. 2000; Antepohl et al. 2003; Watmough et al. 2006a).
인지 영역에서, PBL 졸업생이 더 나은 문제 해결자로 여겨진다. 특히 돌만스와 슈미트는 PBL이 학생 학습에 미치는 여러 가지 인지적 효과, 지식의 보유 증가, 기본적인 과학 개념을 임상적 문제로 통합하는 강화, 자기주도적 학습 능력의 발달, 과목에 대한 학생들의 내재적 관심 강화(Dolmans & Schmidt 1)를 발견했다.996).
In the cognitive domain, PBL-graduates are thought to be better problem solvers. In particular, Dolmans and Schmidt found several cognitive effects of PBL on student learning; increased retention of knowledge, enhancement of integration of basic science concepts into clinical problems, the development of self-directed learning skills and the enhancement of students’ intrinsic interest in the subject matter (Dolmans & Schmidt 1996).
학생들이 기초 과학 시험에서 낮은 점수를 받고 이러한 과목에서 준비가 덜 된 것으로 자신을 보는 두려움(Norman & Schmidt 1992)은 더 최근의 연구에서 근거 없는 것으로 판명되었다(Verhoven 등 1998; Prince et al. 2003). 비록 우리의 경험상 오래된 연구를 계속 인용하는 많은 사람들이 있지만.
The fear that students score lower on basic sciences examination and view themselves as less well prepared in these subjects (Norman & Schmidt 1992) proved unfounded by more recent studies (Verhoeven et al. 1998; Prince et al. 2003), although in our experience there are many people who continue to quote the older study.
PBL 졸업생들은 비 PBL 동료들과 비교했을 때 의대와 직장 간의 연결성, 의료 훈련 및 실습 준비 등에 대해 더 높은 평가를 내렸다(Prince et al. 2003; Watmough et al. 2010).
Compared with their non-PBL colleagues, the PBL graduates gave higher ratings for the connection between medical school and work, their medical training and preparation for practice (Prince et al. 2003; Watmough et al. 2010).
PBL에서 학생들은 어떻게 느끼는가?
How do students feel in PBL?
학습과 학생들이 느끼는 방법의 관계
The relationship between learning and the way students feel
느낌은 복잡한 개념이지만 감정, 동기, 이해의 관계와 관련이 있다. 어떤 교육 관행을 고려할 때 학생이 어떻게 느끼는가는 중요한 측면이다.
Feeling is a complicated concept, but it relates to the relationship between emotion, motivation and understanding. How the student feels is an important aspect when considering any educational practice.
감정은 학습에 필요한 인지(지식과 이해), 의욕(동기부여) 및 어펙트(감정)의 3가지 핵심 요소로 설명되어 왔다(Op 't Eynde & Turner 2006).
Emotion has been described as an integral component of the triad of Cognition (knowledge and understanding), Conation (motivations) and Affect (emotion), required for learning (Op ‘t Eynde & Turner 2006) (Figure 1).
개인의 감정이 복잡함에도 불구하고, 학생들이 경험하는 다양한 종류의 감정은 긍정적인 감정과 부정적인 감정으로 나눌 수 있다. 이것들은 감정을 활성화하고 비활성화하는 것으로 더 분류될 수 있다(Pekrun 1992; Pekrun et al. 2002). 이것은 우리가 학습에 대한 네 가지 주요 감정의 영향을 인식하는데 도움을 준다. 예를 들어, 지루함을 음의 비활성화 효과로 설명할 수 있는 반면, 불안은 학생들이 일하고 배우도록 동기를 부여할 수 있는 반면, 지루함은 그렇지 않을 수 있기 때문에 부정적인 활성화 효과로 간주할 수 있다(그림 2).
Despite the complexity of individuals’ emotions, the different types of emotions experienced by students can be divided into positive and negative emotions. These can be further classified into activating and deactivating emotions (Pekrun 1992; Pekrun et al. 2002). This helps us to recognise the effect of the four main categories of emotion upon learning. For example, boredom could be described as a negative deactivating affect, while anxiety could be regarded as a negative activating affect, as it may motivate the student to work and learn, while boredom may not (Figure 2).
동기는 행동의 방향, 강도, 지속성을 설명하기 위해 사용되는 구성이다.
Motivation is the construct used to explain the direction, intensity and persistence of behaviour.
여러 연구에서 동기부여는 인간 기능에 대한 기본적인 필요성(Locke 1991; Ryan & Deci 2000; Pintrich 2003)에서 시작한다는 것이 밝혀졌다.
자율성의 필요성, 즉 자신의 행동을 통제하는 느낌
환경과의 상호작용에 있어서 역량의 필요성.
연관성의 필요성, 즉 그룹에 소속된 느낌(Baumeister & Leary 1995).
Several studies have shown that motivation starts with the basic needs for human functioning (Locke 1991; Ryan & Deci 2000; Pintrich 2003), consisting of
the need for autonomy, i.e. the feeling to control one’s own behaviour;
the need for competence in the interactions with the environment and
the need for relatedness, i.e. the feeling of belonging to a group (Baumeister & Leary 1995).
학업 동기는 학교 성공과 실패에 대한 정확한 예측 변수인 것으로 나타났다(Deci et al. 1991; Vallerand & Bissonette 1992; Pintrich 2003; Rienties et al. 2009), 학습을 위해 어떻게 감성과 학문적 동기가 필요한지를 보여준다.
Academic motivation has been shown to be an accurate predictor of school success and failure (Deci et al. 1991; Vallerand & Bissonette 1992; Pintrich 2003; Rienties et al. 2009), illustrating how emotion and academic motivation are required for learning.
모든 학습자들은 독특하고 학습 과정에 특별한 지성과 감정적 특이성을 갖고 있기에, 교수는 말할 것도 없고, 학생도 잘 이해하기 쉽지 않다. (테일러 & 미플린 2008)
Every learner is unique and brings to the learning process a special intellect and the emotional idiosyncrasies far too complicated to be well understood by the student, let alone the faculty member. (Taylor & Miflin 2008)
PBL의 개별 학생들은 다른 학습 스타일을 가지고 있다고 믿어진다. 학습 스타일은 다음과 같이 정의될 수 있다.
individual students in PBL are believed to have different learning styles . Learning styles can be defined as:
학생의 정보 습득 능력, 또래 및 교사와의 상호작용 능력에 영향을 미치는 개인적 자질. (그라샤 1996)
personal qualities that influence a student’s ability to acquire information, to interact with peers and teachers. (Grasha 1996)
학생들이 PBL에서 느끼는 방식은 PBL에 대한 개별 학생들과 그들의 반응, 그리고 PBL 그룹 내의 학생들의 감정이라는 두 가지 다른 관점에서 접근할 수 있다.
The way that students feel in PBL can be approached from two different perspectives; the individual students and their response to PBL, and the students’ feelings within the PBL group.
PBL에 대한 학생들의 반응
The students’ response to PBL
새로운 대학생활은 스트레스가 많은 인생 사건이다(Dys & Renk 2006. 랜드 등의 작품 (2008)는 새로운 직업/생활의 문턱에 서 있는 이 상태를 경계 상태liminal state로 식별한다. 그 학생은 사회에서 그들의 새로운 역할을 받아들이고 있으며, 그들의 새로운 공동체의 언어를 이해하고, 방대한 새로운 지식의 접근과 통합을 시도하기 시작하고 있다.
Starting at University is a stressful life-event (Dyson & Renk 2006). The work of Land et al. (2008) identifies this state of standing at the threshold of a newcareer/life, as a liminal state. The student is coming to terms with their new role in society, and is starting to try to understand the language of their new community, as well as access and incorporate a vast body of new knowledge.
협업은 PBL의 학습이론과 동기부여의 토대이지만, 어려운 것일 수도 있다.
Although collaboration is fundamental to the learning theory and motivation for PBL, it can prove challenging.
학생마다 성격이 달라서 제각기 독특하다. 사람의 성격은 또한 집단 속에서 그들의 행동과 연관될 수 있다. 학생마다 서로 다른 성격 유형을 가지고 있기 때문에 여러 학생이 모여서 협업이 기대되는 상황에서 특히 중요하다.
Each student is unique, with a different personality. A person’s personality can also be associated with their behaviour in a group setting. This is particularly important when students are being expected to work together (Pittenger 1993) as different personality types are thought to have different strengths.
이와 더불어, PBL 과정을 지도하고 촉진하기 위해 지도교사가 참석함에도 불구하고, 튜터는 '올바른' 대답과 학습 목표를 전달하기 위해 존재하는 것이 아니기에, 교수가 옳고 그름을 판별해주는 '이중주의dualism' 상태에서 편안함을 느끼는 학생들에게는 답답하게 느껴질 수 있다(Perry, 1999년). 또한 PBL 초보자에게 학습 목표를 생성하기 위해 사전 지식을 사용하는 것은 충격이 될 수 있어, 자신이 놓쳤던 학습 목표와 이후의 지식 격차에 대한 불안감을 느낄 수도 있다(Maudsley et al. 2008).
In addition to this, despite a tutor being present to guide and facilitate the PBL process, the tutor is not present to impart the ‘‘correct’’ answers and learning objectives, which can be seen as frustrating for students, who may be most comfortable in a state of ‘‘dualism’’ (Perry, 1999), relying on the teacher to pronounce between right and wrong. In addition, the use of prior knowledge to direct the formulation of learning objectives may be a shock to the PBL novice, causing anxiety about missed learning objectives and subsequent knowledge gaps (Maudsley et al. 2008).
대입을 위해 수년간 표면적이거나 전략적인 잦은 시험을 거치면서 학습 접근법을 사용해왔던 학생들이, 대학에 오게 되면 이제 심층적인 학습 전략을 사용할 것으로 기대된다.
After many years of frequent examinations required to attain a place at university, where a surface or strategic learning approach has often been required, students are now expected to develop deep learning strategies.
시간과 인내를 가지고, 이러한 자기주도적 학습 방법(다른 사람의 도움 없이 개인이 주도적으로 자신의 학습 욕구를 진단하고, 학습 목표를 수립하고, 학습을 위한 인적자원과 물적 자원을 식별하는 과정(Knowles 1975, p. 18)은 (학생이 상당한 사전 지식을 가지고 있다는) 자신감을 쌓고, 이를 실현할 수 있다.
With time and perseverance, this method of self-directed learning (a process by which individuals take the initiative, with our without the assistance of others, in diagnosing their learning needs, formulating learning goals, identify human and material resources for learning, (Knowles 1975, p. 18)) can build confidence and promote realisation that the student does have a significant degree of prior knowledge.
[학생들 자신]과 [특히 교사]들이 그룹의 다른 구성원들의 감정에 적응하는 것은 중요하다. 이를 통해 자율성, 내재적 동기 및 자율규제의 기회로 인한 긍정적 활성화 감정을 촉진하는 균형에 도달할 수 있다(Sandars & Cleary 2011). 그러나 일부 학생들은 아직 이러한 수준의 자기조절을 달성할 수 없기 때문에, 부정적인 감정을 경험하는 것에 좌절하고 지루해 할 수 있다는 것을 기억한다(Pekrun et al. 2002).
It is important that the students themselves and particularly the tutors are attuned to the feelings of different members of the group. This enables a balance to be reached which facilitates the positive activating emotion resulting from the autonomy, intrinsic motivation and opportunity for self-regulation, (Sandars & Cleary 2011) while remembering that some students may be becoming frustrated and bored experiencing negative deactivating emotion, because they are not yet able to achieve this degree of self-regulation (Pekrun et al. 2002).
후자의 경우, 학생들은 PBL 과정 시간이 "쓸모없다고" 느낄 수 있다. – 왜 목표를 "추측"하기 위해 2시간 자습서에 참석한 다음, 배운 것에 대해 이야기하면서 4시간을 더 소비하는가? 튜터가 '정답'을 제공하지 않는다는 좌절감이 나중에 그룹 내의 다른 학생들이 서로 다른 답을 찾아냈다는 현실화에 의해 더욱 가중될 수 있다. PBL의 초반에는 서로 다른 관점으로 인해서 자신의 지식에 대한 의심과 불안을 야기할 수 있지만, 정확히는 PBL에서 발생하는 이러한 협력적 담론이 학습을 낳는 것으로 입증되어있다(van Meter & Stevens 2000).
If the latter is the case, then these students can feel that their time is ‘‘wasted’’ by the PBL process – why attend a 2h tutorial to ‘‘guess’’ the objectives, and then spend a further 4 h talking about what has been learned? The frustration that the tutor cannot provide the ‘‘correct answers’’ can be later compounded by the realisation that different students within the group have identified different answers. While initially the differing views can cause self-doubt and individual insecurity in knowledge, it is precisely this collaborative discourse in PBL that has been demonstrated to result in learning (van Meter & Stevens 2000).
페리는 지적 발달 단계를 상대주의에서 이원론, 다원성, 상대주의, 헌신 등 4단계 과정으로 설명한다(Perry, 1999).
페리는 많은 학습자들이 어떤 질문에도 옳고 그른 답이 있고, 지식은 syllabus에 의해 제한되며, 교육자의 역할은 학습자가 올바른 답을 배우도록 하는 것이라는 것을 분명히 이해하고, 고등 교육에 들어간다고 인식했다. 이것이 '이원론'로 묘사되는 무대다.
반면, 대부분의 교육자들은 한 syllabus에 의해 제한되어 있는 것보다 더 많은 지식이 '저기 바깥' 있다는 것을 알고 있다. 대부분의 해답은 실제 상황에 따라 다르기 때문에, PBL 조력자는 학습자가 그들 앞에 있는 자료를 이해하도록 돕고, 결과 자체에서 을 숙고하는 역할을 한다고 본다. 이것은 '상대주의에 대한 헌신'이다.
Perry describes the stages of intellectual development as a four stage process; dualism, multiplicity, relativism and commitment in relativism (Perry, 1999).
Perry recognised that many learners enter higher education with an explicit understanding that there are right or wrong answers to any question, that knowledge is bounded by a syllabus, and that the educator’s role is to ensure that the learner is taught the right answers. This is the stage described as ‘‘Dualism’’.
Most educators, in contrast, realise that there is more knowledge ‘‘out there’’ than can reasonably be circumscribed by a syllabus. As most answers depend on the actual context, PBL facilitators see their role as being to help learners understand the material in front of them, and think through the for in consequences themselves. This is a ‘‘commitment relativism’’.
대학 수준 교육의 목적은 이중주의 단계에서부터 상대주의에 대한 헌신을 거쳐 이상적인 세계에서 우리가 모두 지식의 공동 창조자라는 것을 인식하도록 돕는 것이다(Belenky et al. 1997). 아래에서 논의하는 바와 같이, 학생의 발전 단계는 그들이 PBL에서 느끼는 감정과 상관될 수 있다.
이중주의에 빠진 학생은 PBL이 좌절감을 느낄 수 있는데, 이는 튜터가 그들에게 정확한 답을 말해주지 않고 또래들이 같은 주제에 대해 다른 견해를 제시하기 때문이다.
다원성과 상대주의를 향해 나아가고 있는 학생은 다른 생각을 토론하고 다른 사람에게 질문하는 것이 더 편할 수도 있다.
The aim of University level education is to draw learners fromthe stage of dualism through to a commitment to relativism, and in an ideal world, helping them recognise that we are all co-creators of knowledge (Belenky et al. 1997). As we discuss below, the stage of development of a student can be correlated to how they feel in PBL. A student in dualism may find PBL frustrating, as the tutor does not tell them the correct answer and peers express differing views on the same topic. A student that is moving towards multiplicity and relativism may be more comfortable discussing different ideas and questioning others.
그러나 진보와 발전조차도 학생들에게 불확실성과 불안감을 수반하는 감정을 불러올 수 있다(Kloss, 1994). 왜냐하면 학생들은 과거에 성공을 가져다준 학습 스타일을 뒤로 하고, 책임감과 불확실성이 증가하는 세계로 나아가고 있다고 여기기 때문이다.
however, even progress and development can bring concomitant feelings of uncertainty and unease for the student (Kloss, 1994), because they are leaving behind the learning style that brought them success in the past, and they see themselves as moving forward into a world of increasing responsibility and uncertainty.
PBL 그룹 과정에 대한 학생들의 반응
The students’ response to the PBL group process
협업은 PBL에서 학습에 필요한 기본적인 요소 중 하나이지만 학생들이 같은 방same room에 있다고 여길 때에만 일어난다(Roschelle & Teasley 1995; Johnson & Johnson 2002).
Collaboration is one of the fundamental factors required for learning in PBL, yet it does not just occur if students find themselves in the same room (Roschelle & Teasley 1995; Johnson & Johnson 2002),
우리는 먼저 팀 상호 작용(행동)이 어떻게 지식 습득으로 이어지는지에 대해 더 많이 이해해야 한다.
we first have to understand more about how team interaction (behaviour) leads to knowledge acquisition.
상호작용 프로세스에는 두 가지 주요 구성요소가 있다.
There are two main components in the interaction process:
(1) 지식의 구축 및 공동 구성: 학생들이 이미 알고 있는 것에 대해 토론하고 이미 알려진 것과 새로운 사실이나 이해가 연관될 수 있는 방법에 대한 설명을 제안하는 것. 동료 팀원들이 적극적으로 듣고 있으며, 주어진 설명을 파악하거나 이러한 설명을 바탕으로 구축하려고 노력한다. (Bryant 1982; Stahl 1994; Webb et al. 1995; Barron 2000).
(1) Construction and co-construction of knowledge, where students discuss what they already know and suggest explanations for the ways in which new facts or understanding can be linked with what is already known fellow team members are actively listening and trying to grasp the given explanation or build on this given explanation (Bryant 1982; Stahl 1994; Webb et al. 1995; Barron 2000).
(2) 동의 또는 수용: 주제에 대한 추가 세부적인 내용에 도달하기 위해서는 논의, 토론 및 건설적인 인지적 충돌이 필수적인 제안된 해결책과 의미에 대한 동의 또는 수용이 확립되어야 한다(Bryant 1982; Bruke 1984; Clark & Schaeffer 1989; Traum & Dilenbourg 1998; Bossche et al. 2006).
(2) Next, agreement or acceptance needs to be established on the proposed solutions and meanings, in which discussion, debate and constructive cognitive conflict is essential to reach further elaboration on the topic (Bryant 1982; Bruffee 1984; Clark & Schaeffer 1989; Traum & Dillenbourg 1998; Bossche et al. 2006).
공동 구성과 건설적인 인지적 충돌은 지식 습득으로 이어지는 팀 학습 행동이다. 그러나 이러한 프로세스 외에도 그룹 구성원 간 및 환경 내 그룹 간에는 복잡한 역학관계가 존재한다(Forsyth 1983; Sheppard & Gilbert 1991; Argote et al. 2003; Dreu & Weingart 2003; Arrow et al. 2004; 해링턴 & 파인 2006; 라슨 2009)
Co-construction and constructive cognitive conflict are the team learning behaviours that will lead to knowledge acquisition. However, in addition to these processes, there are complex dynamics between group members and between groups within their environments (Forsyth 1983; Sheppard & Gilbert 1991; Argote et al. 2003; Dreu & Weingart 2003; Arrow et al. 2004; Harrington & Fine 2006; Larson 2009),
토론을 지배하거나, 침묵을 지키고, 동기부여를 하거나, 동료의 의욕을 꺾는 요인이 무엇인지 이해하지 못하는 학생들이 있다. 따라서 학생들이 함께 일하도록 하기 위해서는 강력한 조력자가 필요하다.
there are students who dominate discussions, or who remain silent, who do not understand the factors which motivate, or demotivate their colleagues, and a strong facilitator is needed to ensure that students work together.
사회적 응집력은 그룹 구성원들이 상호작용 과정에 적극적으로 기여하도록 자극한다(슬라빈 1995, 1996). 어떤 집단의 구성원들이 함께 일하고, 개별적인 감정적 행동이 안정화되면서, 집단 수준의 정서적 융합이 일어난다(켈리, 2008). 학생들이 다른 학생들과 협력할 때 사용하는 세 가지 감정 규제 과정이 확인되었다. 자율 규제, 공동 규제, 공유 규제. 학생들은 이러한 과정을 사용하여 그룹 내의 개인과 그룹 전체의 감정을 조절하며, 그림 1에서 볼 수 있듯이, 감정과 동기는 그룹으로서 성공적인 협업의 중심이다(Ja ̈rvela ̈ ̈ ̈ ̈ ̈ ̈ ̈ et al et al. 2010).
feelings of social cohesion stimulate group members to contribute actively to the interaction process (Slavin 1995, 1996) and as members of the group work together, and their individual emotional behaviours stabilise, group emotional convergence occurs (Kelly, 2008). Three emotion regulation processes have been identified that students use when collaborating with others; self-regulation, co-regulation and shared-regulation. Students use these processes to regulate the emotions of both the individuals within the group, and the group overall, as seen in Figure 1, emotion and motivation are both central to successful collaboration as a group (Ja¨rvela¨ et al. 2010).
집단 감정이 발달함에 따라, 집단의 동기 또한 발전한다.
As the group emotion develops, so too does the motivation of the group.
상황적 관점에 따르면, 동기부여는 사회적 상황에서 그룹 상호작용을 통해 나타나지만, 협력 그룹에 속한 모든 개별 멤버들의 동기부여는 (총) 그룹의 참여를 예측할 수 없다(Hickey 2003, Ja velrvela et al. 2010).
According to the situative perspective, motivation emerges through the groups interaction in a social situation; yet the motivation of all separate members in a collaborative group cannot predict the engagement of the (total) group (Hickey 2003, Ja¨rvela¨ et al. 2010).
앞에서 언급한 바와 같이, Johnson과 Johnson은 (2002; Johnson 등 2007) 협력을 추진하는 가장 중요한 측면 중 하나로 그룹 구성원들 간의 (사회적) 상호의존성을 이야기한다.
As mentioned before, Johnson and Johnson (2002; Johnson et al. 2007) posit (social) interdependence between group members as one of the most central aspects driving collaboration.
심리적 안전, 즉 팀이 [대인관계적 위험을 감수하기에 안전하다는 공유된 믿음]은 [팀 학습 행동에 대한 대인관계 맥락]을 촉진하며, 이는 복잡한 수술을 수행하는 의료팀들 사이에서 중요하다.(Edmondson 1999, 2003).
Psychological safety, the shared belief that the team is safe for interpersonal risk-taking, is acknowledged to facilitate the interpersonal context for team learning behaviour which was found to be important among medical teams performing complex surgery for example (Edmondson 1999, 2003).
마지막으로, 집단 잠재력, '집단이 효과적일 수 있다는 집단 구성원들의 집단적 믿음'은 집단 성과/효율을 향상시킨다. 다시 말해서, 잘 협력하는 집단은 더 성공적인 결과를 낳는다(반두라 1977; 스타지코비치 등). 2009).
Finally, group potency, ‘‘the collective belief of group members that the group can be effective’’, enhances group performance/effectiveness; in other words, groups that work well together have more successful outcomes (Bandura 1977; Stajkovic et al. 2009).
감정, 동기, 태도 및 신념의 사회적 측면과 학습에 미치는 영향은 PBL이 학생과 교사 모두에게 그룹 역학에 대한 많은 노력과 통찰력을 필요로 한다는 것을 보여준다. 이와 더불어 시간은 집단 동기 부여, 정서적 및 팀 학습 행동의 발전에 중요한 요소다.
The social aspects of emotion, motivation, attitudes and beliefs and their impact on learning, show that PBL requires a lot of effort and insight into group dynamics from both the students and the tutors. In addition to this, time is an important factor for the development of group motivational, affective and team learning behaviours.
(실적) 집단이 개발되고 더 높은 단계의 발전과 함께 집단이 더 나은 성과를 낸다는 일반적인 합의가 있다(Smith 2001; Wheelan et al. 2003; Arrow et al. 2004; Mathieu 등 2008). 불행히도 Wheelan 등은 기대했던 것보다 더 적은 수의 그룹만이 최적의 조건을 달성했다는 것을 발견했다(Wheelan & Lisk 2000; Wheelan et al. 2003).
there is a general consensus that (performance) groups develop and with the higher stage of development, groups perform better (Smith 2001; Wheelan et al. 2003; Arrow et al. 2004; Mathieu et al. 2008). Unfortunately, Wheelan et al. found that fewer groups achieved the optimum conditions than was hoped for (Wheelan & Lisk 2000; Wheelan et al. 2003).
Mpofu 외 연구진(1998)은 학생들이 참여와 의사소통을 가장 중요한 측면으로 평가했다는 것을 발견했다. 우리가 아는 한, 교육에서 그룹 효과를 정의하고 연구하는 연구가 전반적으로 부족하다(개요는 Decuyper 등 2010 참조). 그러나 모델은 조직적 또는 마케팅 분야에 존재하며(개요는 Salas 등 2007 참조), 앞에서 언급한 태도와 신념뿐만 아니라 그룹 효율성을 높이는 다른 변수인 시간, 의사소통, 그룹 프로세스를 강조한다.
Mpofu et al. (1998) found that students rated participation and communication as the most important aspects. To the best of our knowledge, there is a general lack of studies defining and researching group effectiveness in education (see Decuyper et al. 2010 for an overview). However, models do exist in organisational or marketing disciplines (see Salas et al. 2007 for an overview), emphasising not only the aforementioned attitudes and beliefs; but also time, communication and group processing which are other variables that increase group effectiveness.
학생은 무엇을 해야 하는가?
What does the student need to do?
(PBL을 올바르게 적용하기 위해서는) 우선 학생들이 PBL을 사용하는 이유를 이해할 필요가 있다. 많은 연구에서 PBL 관련 문제가 정기적으로 발생한다는 것을 보여준다(개요는 (Dolmans et al. 1998 참조). 이러한 문제들의 대부분은 협력 학습 과정의 어려움과 관련이 있다. 예를 들어, PBL에서 학생들은 소위 7개의 점프 절차를 따르도록 되어 있다(Schmidt 1993). 그러나 Schmidt와 동료(Moust et al. 2005)는 학생들이 브레인스토밍 및 정교화 단계를 건너뛰고 있으며, 이는 그들의 (사전) 지식을 제대로 구조화하지 못하는 결과를 가져온다는 것을 확인했다. 결과적으로 이것은 정보 획득의 효율을 떨어뜨렸다. 이러한 행동의 주된 이유는 학생들이 지식의 구축을 위한 상호작용과 정교함의 필요성을 중시하지 못했기 때문이다(Vischers-Pleiers et al. 2005).
First of all, students need to understand why PBL is used in order to apply this method of learning correctly. Many studies have shown that problems with PBL do occur on a regular basis (see (Dolmans et al. 1998) for an overview). The majority of these problems are related to difficulties in the process of collaborative learning. For example in PBL, students are follow supposed to a so-called seven jump procedure (Schmidt 1993). However, Schmidt and colleagues (Moust et al. 2005) identified that students were skipping the brainstorming and elaboration phases which resulted in a suboptimal structuring of their (prior) knowledge. In turn this led to less efficient information acquisition. The main reason for this behaviour was the failure of students to value the necessity of interaction and elaboration for construction of knowledge (Visschers-Pleijers et al. 2005).
다른 저자들은 또한 학생들의 사회적 동기에서, 주로 익명성의 감정과 '무임승차' 또는 '사회적 빈둥거림' 현상의 발생에 대해 언급하는데, 그 결과 이러한 그룹에서의 협업을 감소시켰다(Latane et al. 1979; Salomon & Globerson 1989; Bornstein 1992; Moustein et al. 2005; Kelly 2008).
Other authors also mention problems in students’ social motivation; mainly feelings of anonymity and the occurrence of ‘‘free riding’’ or ‘‘social loafing’’ phenomena which in turn reduced collaboration in these groups (Latane et al. 1979; Salomon & Globerson 1989; Bornstein 1992; Moust et al. 2005; Kelly 2008).
학생들은 PBL이 왜 사용되는지에 대한 진정한 이해 외에도 [팀 학습 행동에 직접적으로 영향을 미치는 그룹 역학]을 알아야 하며, 자신이 참여하고 있는 그룹의 역학을 어떻게 변화시킬지 알아야 한다.
In addition to a true understanding of why PBL is used, students should also be aware of the group dynamics that directly influence team learning-behaviour, and know how to change the dynamics in the groups in which they are participating.
PBL이 개인 학습에 비해 사회적, 인지적 이점을 얻을 수 있다는 사실 외에도, PBL은 학생들에게 다른 학생들과 협력하는 방법을 배울 수 있는 기회를 제공한다. 이것은 환자 진료가 사실에 입각한 지식과 기술적 기술 이상의 것을 필요로 하기 때문에 의학을 공부하는 모든 사람들에게 필수적이며, 이는 결국 전문적 능력을 정의하는 것으로 이어진다(Lung 2002).
Besides the fact that PBL could lead to social and cognitive advantages compared to individual learning, this teaching method also provides students with the opportunity to learn how to collaborate with others. This is essential for everyone studying medicine as patient care requires much more than factual knowledge and technical skills, which in turn leads to defining the professional competencies (Leung 2002).
마지막으로, PBL은 자연스러운 협력 방법을 제공하기 때문에, 많은 학생들에게 소셜 네트워크를 구축할 기회를 만들어 준다. 이러한 소셜 네트워크는 학습 중에 유익할 수 있다(Baldwin et al. 1997; Jippes et al. 2010; Hommes et al. 2012a). 의료실무에 협력한다(Lurie et al. 2009) 및 일자리 창출(리엔티즈 등 2010).
Finally, because PBL provides a natural way of collaborating, for many students it creates an opportunity to build social networks (see (Cross et al. 2005) for a practical overview and (Lurie et al. 2009) for an overview of its uses in medicine). These social networks can in turn be beneficial while learning, (Baldwin et al. 1997; Jippes et al. 2010; Hommes et al. 2012a) collaborating in medical practice (Lurie et al. 2009) and also create job opportunities (Rienties et al. 2010).
학생은 졸업에 가까워옴에 따라 자기주도적 학습자로 변모해야 한다. 초, 중, 고등학교는 일반 의무 교육을 실시하고, 대학 교육은 학생들의 학습 책임 개발을 목표로 한다. 따라서, 대학 자체는 단지 학습 환경(교사, 멘토, 튜토리얼 그룹, 전문 지식 및 자원)과 학생이 의료 전문가로 변신하는 것을 돕는 틀을 제공한다.
As the student nears the end of an undergraduate programme they should have transformed into a self-directed learner. Elementary, middle and high schools provide the general compulsory education, while university education aims to develop the student’s responsibility for their own learning. Consequently, university itself merely provides the learning environment (tutors, mentors, tutorial groups, expertise, and resources) and a framework to help a student transform into a medical professional.
문제는, 훌륭한 제도적, 전문적인 이유로, 학생이 의사로서 의료행위를 할 수 있을 만큼 충분히 지식이 있는지 여부를 결정해야 할 때 발생한다. 지식 습득 테스트는 의사가 되기에 충분한지를 판단하기 위한 근사치일 뿐이라는 것을 인식하는 것이 중요하다. 심지어 임상 기술에 대한 평가도 예비 의사가 실제로 실제로 무엇을 할 것인가에 근사치일 뿐이다. 왜냐하면 학생들은 언제나 자신이 학습했음을 입증하기 위해서라면 그들이 증명해야 할 것을 항상 보여줄 될 것이기 때문이다.
The problem comes when, for excellent institutional and professional reasons, we have to determine whether a student knows enough to be able to practise as a doctor. It is important to recognise that tests of knowledge acquisition are only a first- or second-degree approximation to actually being a safe an doctor. Even assessments of clinical skills are only approximation to what the prospective doctor will actually do in practice, since the student will always be demonstrating what they need to demonstrate in order to progress with their studies.
따라서 학습은 마음에서 일어나기에, 행동은 인지 프로세스에 대한 선험적 또는 신뢰할 수 있는 지표가 아니며, 만약 그렇게 생각한다면 학습과 수행 사이의 연관성을 너무 단순하게 본 것이다(Adams 2006). 학생들이 전문가가 되기 위해 시험을 통과해야 하기 때문에, 비록 이것이 학생을 '좋은' 전문직으로 만들 가능성은 거의 없지만, 학생들이 시험에 합격하기 위해서 필요한 것이라면 알아서 공부할 것이라고 보는 것이 논리적이다.
Learning occurs in the mind and behaviour is therefore not a priori or a reliable indicator of cognitive processes; which indicates that the current connection between learning and performance is too simplistic (Adams 2006). Since students need to pass tests to become a professional, it’s logical that students learn what is necessary to pass the tests, although it is quite unlikely that this makes a student a ‘‘good’’ professional.
'좋은' 의사가 알아야 할 모든 것은 알려져 있지 않다. 그것은 자신이 어떤 상황에 놓여있느냐에 따라 달라질 것이다. 유일하게 확실한 것은 [모든 것을 알 수 없다]는 것인데, 일부 학생들은 이를 받아들이기 어려워한다. 시험, 튜터, 멘토, 상급생뿐만 아니라 동료까지 모두 활용하여 자신의 한계를 인식해야 한다. 가장 중요한 것은 전문 실무에서 개인 학습이나 평가를 지도하거나 제공하는 교사가 없는 경우가 많기 때문에 평생 학습자가 되도록 동기를 부여할 수 있어야 한다(Schmidt 2000). PBL은 많은 사람들에게 중요한 전략이며, 어떤 요소가 중요하고 즉각적인 리콜이 필요한지, 그리고 그들의 남은 질문에 대한 신뢰할 수 있는 답을 어디서 어떻게 찾을 수 있는지를 개발자가 인식하도록 도와주기 때문에 중요한 전략인 것 같다.
The entirety of what a ‘‘good’’ doctor needs to know is unknown. It will depend upon the circumstances in which they find themselves. The only certainty is that one cannot know everything, which some students find difficult to accept. One needs to find one’s own practical limits; not only by using tests, tutors, mentors, students in more senior years but also classmates. Most importantly one needs be able to motivate oneself to be a life-long learner because in professional practice there is often no group to support individual learning or teacher that guides and/or provides assessments (Schmidt 2000). PBL appears to many to be an important strategy, because it helps the developing practitioner to recognise the limits of their knowledge, which elements are crucial and need immediate recall, and also where and how to find reliable answers to their remaining questions.
자기주도학습이 가능한 의사로 발전하는 과정은 경험과 능력, 책임감이 높아지면서 점차적으로 일어난다.
The process of development into a doctor capable of self-directed learning occurs in gradual stages as experience, competence and responsibility are increased.
학생들은 자신의 PBL 그룹이라는 실천공동체에 들어가 PBL 프로세스를 학습하고 활용하여 자기 주도 학습을 지도한다. 초기 비임상 단계에서 PBL 시나리오는 학생들이 학습 목표를 도출하는 주요 구체적인 경험을 형성한다. 이 PBL 과정은 학생들이 'boundary objects' 중 하나를 형성하면서 임상 장소로 나아갈 때 일정하게 유지된다. 이러한 일관성은 학생들이 새로운 임상 실습을 개발하고 진입함에 따라 중요하다(Wenger, 1998). 그렇다면 '평생 학습 능력이 있는 개인'은 무엇을 의미하는가?
Students enter into the communities of practice within their PBL groups, where they learn and utilise the PBL process to guide their self-directed learning. During the initial non-clinical phase, the PBL scenario forms the main concrete experience upon which the students derive their learning objectives. This PBL process remains constant when students progress to their clinical placements, forming one of the ‘‘boundary objects’’. This consistency is important as students develop, and enter their new clinical communities of practice (Wenger, 1998). So what is meant by ‘‘an individual capable of life-long learning’’?
평생학습의 과정은 Miflin 등에 의해 다음과 같은 사이클을 지속적으로 구현할 수 있는 것으로 기술되었다.
임상 시나리오의 평가,
구성 요소를 식별
현재 지식 격차를 인식
필요한 지식을 습득하기 위해 적절한 자원을 이용
학습한 정보의 평가,
학습의 후속적 적용(Miflin et al. 2000).
The process of lifelong learning was described by Miflin et al. as a being able to continuously implement the cycle of;
evaluation of a clinical scenario,
identifying it’s components,
recognising current knowledge gaps,
utilising an appropriate resource to acquire the necessary knowledge,
followed by appraisal of the information learned and subsequent application of the learning (Miflin et al. 2000).
그럼에도 불구하고, [평생학습능력]은 논쟁의 여지가 있고, 세 가지 관점에서 볼 수 있다(이븐슨 & 흐멜로 2000; 미플린 외). 2000):
Nevertheless, the ability of a student to be a life-long learner could be viewed from three main perspectives each, arguably, equally important (Evensen & Hmelo 2000; Miflin et al. 2000):
(1) [지식의 격차gap를 식별하고, 필요한 새로운 이해를 적극적으로 추구하는 책임]을 지려는 능력과 의지와 능력
(1) The ability and willingness of a person to identify a gap in their knowledge, and take responsibility for actively seeking the new understanding required,
예: 진단 과제를 제공하는 임상 사례에 대한 대응
e.g. in response to a clinical case that provides a diagnostic challenge
(2) 새로운 연구의 맥락에서 [현재의 이해와 실천을 지속적으로 성찰하고 업데이트]하는 능력과 동기 부여.
(2) The ability and motivation to continuously reflect on and update current understanding and practices, in the context of new research.
예를 들어 최신 치료 지침을 최신 상태로 유지하는 것은 새로운 연구에 따라 지속적으로 변화하기 때문이다.
e.g. keeping up-to-date with current treatment guidelines, as these continually change according to new research.
(3) 현재의 이해보다 개념적 프레임워크에 더 도전하여, [새로운 아이디어의 식별과 후속 적용]을 가능하게 하는 능력.
(3) The ability to challenge conceptual frameworks further than current understanding, enabling the subsequent identification of new ideas and their applications.
예: 임상 의학 지식의 응용과 간의 연관성을 식별한다. 연구 진행 중. 의학은 끊임없이 진화하고 발전하고 있다.
e.g. identifying links between and applications of clinical medical knowledge. Conducting research. Medicine is continually evolving and developing.
(Peters et al. 2000)
PBL 졸업생들은 임상(환자) 문제를 연구하고 적극적으로 배우는 경향이 있었고, 전통적인 졸업생들은 과학 연구의 본질을 최신 상태로 유지하는 연구와 학습을 하는 경향이 있었다(Peters et al. 이것은 평생 학습에 대한 다양한 방식의 동기 부여를 의미하며, PBL 커리큘럼이 임상 시나리오에 대응하여 평생 학습 프로세스의 실행을 장려할 수 있음을 시사한다. (2000).
PBL graduates tended to research and actively learn from clinical (patient) problems, while traditional graduates tended to research and learn to stay up-to-date with the body of scientific research (Peters et al. 2000). This suggests different motivations towards life-long learning and that the PBL curriculum may encourage the implementation of the lifelong learning process in response to a clinical scenario, as described by Miflin et al. (2000).
평생 학습에 필요한 기술,
the skills required for life-long learning,
(1) 학생들에게 학습해야 할 사항을 식별하고 사전 지식을 바탕으로 구축할 수 있는 체계적이고 실천된 방법을 제공한다.
(1) Provides students with a structured and practiced method through which they can identify what needs to be learned and build on their prior knowledge.
(2) 학생들은 필요한 지식을 얻기 위해 이용할 수 있는 방대한 자료의 레퍼토리를 찾고 활용하는 것에 익숙해질 수 있다.
(2) Enables students to become familiar with seeking and utilising the vast repertoire of resources available to attain the knowledge required.
(3) 상황으로부터 학습하기 위한 방법으로서 성찰의 사용을 확립하고, 이루어질 수 있는 추가적인 개선을 인식한다.
(3) Establishes the use of reflection as a method to learn from situations and recognise further improvements that can be made.
(4) 배우고 가르칠 때 타인과 협력할 수 있는 능력과 중요성을 확립한다.
(4) Establishes the ability to and importance of collaborating with others when learning and teaching.
교수들이 학생 참여에 대해 알아야 할 것은 무엇인가?
What does faculty need to know about student involvement?
기억해야 할 첫 번째 것은 학생들이 그들의 교육에 열성적이고 기꺼이 협력하고 있고, 그들은 정말로 가능한 최고의 결과를 원한다는 것이다!
The first thing to remember is that students are enthusiastic and willing partners in their education, and they really do want the best possible outcome!
교육과정은 학생과 교육자 모두가 자신들이 앞으로 무엇을 해야 하는지, 이전에 무엇을 했는지를, 그리고 교육과정 후반에 어떤 역량이 있을 것인지(그리고 어떤 역량이 이미 사람들에게 기대되는지)에 대해 명확히 알고 있다는 것을 의미하는 방식으로 설계(그리고 지도화)되어야 한다.
The programme needs to be designed (and mapped) in a way that means that both students and educators are clear about what they are supposed to be doing, what has gone before (and what competencies are expected of people already), and what will come later in the curriculum (and so may be safely left for later).
평가는 모든 사람이 적절한 단계에 도달하고 있으며, 다음 단계부터 이익을 얻을 수 있는 자만이 진전을 이룰 수 있도록 하기 위해 치밀하게 교육과정에 매핑되어야 한다.
Assessment needs to be carefully mapped against the curriculum, so that everyone can be sure that the competencies are being reached at the right stage, and that only those who are able to profit from the next stage are being allowed to progress.
프로그램 관리 팀은 학생들이 프로그램을 진행하면서 도움을 줄 수 있도록 충분한 개인들이 적시에 적절한 기술을 가지고 있는지 확인할 필요가 있다. 세 가지 어려운 전환점에 특히 주의를 기울여야 한다. (의대 입학, 첫 번째 임상 실습, (부분적으로) 독립적인 의사로서 일하기)
The programme management team needs to be certain that there are sufficient individuals, in the right place, at the right time and with the right skills, to help students as they progress through the programme – paying particular attention to the three difficult transition points – the entry to medical school, the first clinical placements and the transition to working as an (partially) independent practitioner.
학문적 통합을 촉진하는 프로그램의 조기에 과제를 포함하는 것이 바람직하다(Krause, 2001). 이것은 부분적으로 학생들이 그들의 새로운 학습 환경에 익숙해지도록 하기 위한 것이므로 PBL과 연습은 학문적 글쓰기에 포함되어야 하며, 부분적으로 문턱 효과를 극복하기 위해 포함되어야 한다(Land 등 2008).
It is desirable to include tasks early in the programme that facilitate academic integration (Krause, 2001). This is partly to familiarise the students with their newlearning environment so should include PBL and exercises in academic writing, and partly to overcome the threshold effect (Land et al. 2008).
Land와 동료들은 새로운 학문 분야에 들어서는 것은 [전문용어의 사용, 습득해야 할 새로운 지식의 어마어마한 양, 규칙을 이해하는 것의 어려움] 때문에 쉽지 않음을 보여주었다. 지지하고 잘 기능하는 PBL 그룹은 어휘를 탐구할 수 있는 안전한 사회적 공간을 제공할 수 있으며, 그들이 미래에 일할 것으로 기대할 수 있는 전문적인 경계를 형성하는 "게임의 법칙"으로 보이는 것을 제공할 수 있다.
Land and co-workers have shown that it is difficult to enter a new academic field, because of; the use of jargon, the bewildering amount of new knowledge one needs to acquire, and because the newcomer does not understand the rules. A supportive and well-functioning PBL group can provide a safe social space to explore vocabulary, and what appear to be the ‘‘rules of the game’’ that form the professional boundaries within which they will expect to work in the future.
훌륭한 PBL 촉진자는 학생들이 의료전문직에 들어서면 무엇을 하게 될지에 대해 어떻게 이해하고 있는지를 명확히 하도록 것을 도와줄 수 있다. 무엇보다 중요한 것은 [행동적 측면에서, 새로운 문제에 직면했을 때 그들 자신의 개인적인 사고 과정을 명확하게 함으로써] 롤모델로서 활동할 수 있다.
A good PBL facilitator can help students to articulate what they understand about what they are doing when they enter the profession, and importantly can act as a role model, both in terms of behaviour and also by articulating their own personal thought processes when facing a new problem.
튜터에게는 훈련이 중요하다. 이 훈련에는 문제 기반 학습을 위한 이론적 배경과 학습 이론, 학습 스타일 및 PBL이 학생들에게 미치는 영향에 대한 통찰력이 포함되어야 한다. 또한 튜터가 커리큘럼에서 PBL의 역할과 다뤄질 특정 자료의 범위와 깊이를 이해하는 것도 필수적이다. 이것은 학생들이 '얼마나 배워야 하는가'라는 공통의 문제를 극복하는데 도움이 될 것이다.
Training is crucial, both for new (Evans & Taylor 1996) and experienced tutors. The training needs to include the supposed theoretical background for problem-based learning, but also insights into learning theories, learning styles and the impact of PBL on students. It is also essential that staff understand the role of problem-based learning in the curriculum, and the extent and depth to which it is expected to cover specific material. This will help students through the common problem of ‘‘how much to learn’’.
PBL 교육에 대한 임상의의 신뢰 증진도 필수적이다. PBL 프로그램의 학생들이 전통적인 프로그램의 학생들보다 나쁘지 않고, 실제로 어떤 분야에서 더 잘 준비되어 있다는 강력한 증거가 있다. 일부 임상의는 증거 없이 PBL로 배운 학생들이 아무것도 모른다고 주장하며(Watmough et al. 2006c) 이는 학생이 대답을 하는 데 신중한 방식으로 질문을 하는 것이 쉽기 때문에 반대하기가 어려울 수 있다. 이 문제를 해결하기 위한 열쇠는 학생과 임상의가 임상(실습)을 시작하기 전에 학생이 알아야 할 것이 무엇이고(사전 지식 활성화), 예상되는 학습 결과가 무엇인지에 대한 매우 명확한 개념을 갖도록 하는 것이다.
Promoting clinician confidence in the PBL education is also essential. There is strong evidence that students from PBL programmes are no worse than those from conventional programmes, and are actually better prepared in some areas. Some clinician, without evidence, assert that students from a PBL programme don’t know anything (Watmough et al. 2006c) and this can be difficult to counter, since it is easy to ask a question in such a way that the student is cautious about giving an answer. The key to solving this problem lies in ensuring that students and clinicians have a very clear concept of what needs to be known by the student before they start the placement (activating prior knowledge), and what the expected learning outcomes are.
한편, 명시적으로 PBL 문제는 아니지만, 대부분의 시니어 의사들은 명백히 PBL 프로그램이 아닌 환경에서 훈련을 받았다는 것과 관련이 있다. PBL 프로그램은 일반적으로 수직통합된다. 즉, 임상 환경에서 학생들이 기초 과학과 사회학, 심리학, 윤리학 등과 같은 의료실무와 관련된 다른 과목 영역에 대해 배우기를 기대하고 있다는 것을 의미한다. 대부분의 시니어 의사들의 경험은 그들이 배치되기 전에 '그것들'을 알 것으로 예상된다는 것이었다. 그래서 교수와 학생들의 기대는 신중하게 관리될 필요가 있다.
This is not explicitly a PBL issue, but relates to the observation that most senior clinicians were trained in an environment that was not explicitly outcomes-based. PBL programmes are typically vertically integrated; this means that in the clinical environment students will be expecting to learn about basic sciences and the other subject areas allied to medical practise, such as sociology, psychology and ethics. The experience of most senior clinicians was that they were expected to ‘‘know those things’’ before they came onto the placement, so the expectations of staff and students need to be carefully managed.
학생을 직장에서 준비시키고, 나아가 미래의 교사와 지도자로 자리매김할 수 있도록 준비하는 한 가지 중요한 방법은 선배 학생들이 PBL 그룹을 운영하는데 책임을 지도록 격려하고 지원하는 것이며, 일반적으로 후배들의 학습을 지원하는 것이다.
One important way of preparing students for the workplace, and even further ahead, preparing them to take their place as future teachers and leaders, is to encourage and support senior students to take responsibility for running PBL groups, and generally supporting the learning of their junior colleagues.
PBL 조력자가 되겠다고 기여할 수 없는 학생들에게도, 다른 사람들이 배울 수 있도록 도와줄 기회가 많다. 이것들은 멘토링 프로그램에서부터 실행 교수 또는 개정 세션에 참여하는 우리에 이르기까지 다양하다. 교육자인 모든 사람들은 가르치는 것이 우리가 한 과목을 얼마나 많이 이해하는지를 발견하는 가장 빠르고 좋은 방법이라는 것을 깨닫는다. 이 때문에 교직원들이 무슨 일이 일어나고 있는지 알고, 비록 비공식적이긴 하지만 후배들이 배우도록 도우려는 사람들에게 지원을 해 주는 것은 가치 있는 일이다.
Even for those students who are not able to commit (for whatever reason) to being a PBL facilitator, there are many opportunities to help others to learn. These range from mentoring programmes, through to running teaching or us involved in revision sessions. All those of who are education realise that teaching is the best and quickest way to discover how much we understand a subject. For this reason, it is worthwhile members of faculty being aware of what is going on, and offering support, even if informal, to those who are trying to help their junior colleagues learn.
마지막으로 의과대학으로의 원활한 transition을 보장하는 것이 중요한 것처럼, 전공의 수련으로의 원활한 transition을 보장하는 것이 필수적이다. 이는 주로 학생들이 프로그램을 진행하면서 가정한 임상 접촉과 추가 책임을 통해 이루어진다. 영국에서는 학부 과정 마지막 해에 학생들이 잠재적으로 연습할 수 있다는 것을 증명할 수 있도록 하기 위해 학생 assistantships를 향한 움직임이 있다.
Finally, just as it is important to ensure a smooth transition into medical school, it is essential to ensure a smooth transition into post-graduate medicine. This is largely through the increasing clinical contact and the additional responsibilities that students assume as they progress through the programme. In the UK there is a move towards student assistantships in the final year of the undergraduate programme, to ensure that students are able to demonstrate that they will potentially be able to practise.
결론
Conclusion
,36 (1), 1-12
Problem-based Learning (PBL): Getting the Most Out of Your Students - Their Roles and Responsibilities: AMEE Guide No. 84
This Guide discusses the considerable literature on the merits or shortcomings of Problem-based learning (PBL), and the factors that promote or inhibit it, when seen through the eyes of the student. It seems to be the case that PBL works best when students and faculty understand the various factors that influence learning and are aware of their roles; this Guide deals with each of the main issues in turn. One of the most important concepts to recognise is that students and Faculty share the responsibility for learning and there are several factors that can influence its success. They include student motivation for PBL and the various ways in which they respond to being immersed in the process. As faculty, we also need to consider the way in which the learning environment supports the students develop the habit of life-long learning, and the skills and attitudes that will help them become competent reflective practitioners. Each of these elements place responsibilities upon the student, but also upon the Faculty and learning community they are joining. Although all of the authors work in a European setting, where PBL is used extensively as a learning strategy in many medical schools, the lessons learned we suggest, apply more widely, and several of the important factors apply to any form of curriculum. This Guide follows on from a previous review in the AMEE Guides in Medical education series, which provided an overview of PBL and attempts to emphasise the key role that students have in mastering their subject through PBL. This should render the business of being a student a little less mystifying, and help faculty to see how they can help their students acquire the independence and mastery that they will need.
Saying Goodbye to Lectures in Medical School — Paradigm Shift or Passing Fad?
Richard M. Schwartzstein, M.D., and David H. Roberts, M.D.
전통적인 강의 기반 과정으로부터의 이탈은 미국의 의대에서 30년 이상 진행되어 왔다. 혁신은 문제 기반 학습의 도입에서부터 시작되었다. 보다 최근에는 강의 기반의 가르침은 TBL, IPE, 임상 의학과 기초 과학을 통합한 연습으로 점점 대체되고 있다. 그러나 최근의 이러한 변화는 증거에 근거한 것인가, 아니면 단지 의학 교육의 최신 유행에 불과한 것인가? 모든 강의는 지양해야 하는가?
the movement away from traditional lecture-based courses has been under way in U.S. medical schools for more than three decades. Transformation began with the introduction of problem-based learning; more recently, lecture-based teaching has increasingly been replaced by team-based learning, interprofessional education, and exercises integrating clinical medicine and basic science. But are the newest proposed changes evidence-based, or are they merely the latest fad in medical education? Are all lectures to be avoided?
오늘날 대부분의 의사들은 이용 가능한 생물의학 정보가 한 사람이 배우고 보유할 수 있는 정보를 초과한다는 것을 흔쾌히 인정한다. 그러나 학생들이 배워야 하는 콘텐츠의 양, 전통적인 교실 환경에서 학습이 가장 잘 이루어지는지 여부, 그리고 의료 훈련생들이 성공적인 평생 학습자 및 적응 가능한 개업의가 되기 위해 필요한 또 다른 사항은 무엇인지에 대해서는 여전히 의문이 남아 있다.
Most physicians today readily acknowledge that the biomedical information available exceeds what one person can learn and retain. Questions remain, however, regarding how much content students must learn, whether that learning is best done in traditional classroom settings, and what else is required for medical trainees to become successful lifelong learners and adaptable practitioners.
방대한 내용을 담은 수십 장의 파워포인트 슬라이드를 가지고 전통적인 강의를 하는 교육자들은 [가르치는 것]과 [학생들이 배우는 것]을 혼동할 수 있다. 즉, 교사가 정보를 제공했다는 사실이 학생들이 그것을 배웠다는 것을 의미하지는 않는다. 사실, 인지 부하 이론은 우리의 뇌가 한번에 처리할 수 있는 정보의 양에 제한을 받는다는 것을 제안한다. 45분 안에 60개의 슬라이드가 [효과적인 교육 방법]처럼 보일 수도 있지만, [효과적인 학습 방법]이 될 것 같지 않다.
Educators giving a traditional lecture with dozens of content-heavy PowerPoint slides may confuse what they teach with what students learn: the fact that a teacher has presented a piece of information does not mean that students have learned it. In fact, cognitive-load theory suggests that our brains are limited in the amount of information they can process at a time3; 60 slides in 45 minutes may seem like an efficient way to teach, but it is unlikely to be an effective way to learn.
새로운 자료를 배우는 학생들도 '자신이 내용을 알고 이해했다는 환상'에 속아넘어갈 수도 있다.2 학생들이 유창하고 잘 표현된 자료를 듣거나 읽을 때, 그들이 이제 내용을 숙달했다고 믿는 것은 흔한 일이다.
Students learning new material may be deceived by the illusion of knowing and the fallacy of understanding.2 When students hear or read material that is fluent and well presented, it is common for them to believe they have now mastered the content.
의과대학들은 적극적인 학습과 팀 기반 활동을 강조하기 시작했다. 정보의 획득은 교실 밖에서 주로 발생한다: 인지과학에서 도출된 원칙에 따라, 사실적인 내용은 압도적으로 길지 않은 학습 과제에서 제시되고, 그 내용은 학생들이 그들의 이해 수준을 평가할 수 있도록 질문이나 문제들이 교차한다.
medical schools have begun emphasizing active learning and team-based activities. Acquisition of information occurs largely outside the classroom: in accordance with principles derived from cognitive science, factual content is presented in study assignments that aren’t overwhelmingly long, and the content is interspersed with questions or problems to ensure that students can assess their level of understanding.
교실 내에서, 학습은 교사에 의해 촉진될 수 있지만, 상당부분은 학생에 의해 추진drive되어야 한다. 증례는 수업자료의 관련성relevance을 확립하는 데 중요하다.
In the classroom, learning can be facilitated by the instructor, but it must be driven in large part by the student. Case vignettes are important for establishing the relevance of the material.
"무엇"(예: 저혈압의 원인이 무엇인가)로 시작하는 질문을 하는 대신, 강사들은 "어떻게"와 "왜" 질문을 사용해야 한다(예: "혈압 조절에 대해 어떻게 생각하십니까?", "이 환자는 왜 이런 상태에서는 저혈압이 될 것 같습니까?"). 학생들은 그들이 [지난 주에 토론한 사례]와 [새로운 사례나 예시]를 비교하도록 함으로써 지식의 전이를 더욱 촉진할 수 있다. [여러 개의 정답이 가능한 질문]은 담론과 대조적인 가설 생성을 장려하기 때문에 가장 바람직하다.
Instead of posing questions that begin with “what” (e.g., “What are the causes of hypotension?”), instructors can use “how” and “why” questions (e.g., “How do you think about blood pressure control?”; “Why would this patient be hypotensive under these conditions?”). Asking students to compare a new case or example with one they discussed the previous week further facilitates the transfer of knowledge.3 Questions for which there can be multiple right answers can be the most compelling because they encourage discourse and generation of contrasting hypotheses.
학생들이 집단으로 모여, 생각을 토론하고, 아이디어를 시험하고, 의사처럼 생각하는 법을 배우기 시작할 수 있도록 시간이 허용되어야 한다. 이러한 활동들은 사실을 암기하는 데 필요한 것보다 학생들의 노력을 더 필요로 하지만, 지식을 배우고 유지하는 데에도 더 효과적이다.2
Time must be allowed for students to work in groups to discuss thoughts, test ideas (both theirs and others), and begin to learn how to think like a doctor. These activities require more effort from students than it takes to memorize facts, but they are also more effective for learning and retaining knowledge.2
이른바 뒤집힌 교실 접근법은 밀레니얼 세대에 속하는 학생들에게 잘 어울린다.4
This so-called flipped classroom approach is well suited to students who are members of the millennial generation.4
밀레니얼은 온라인에서 정보를 찾는 것에 익숙해져 그들을 계속 참여시키고 짧은 세그먼트(예: 10분 미만의 비디오)로 제시되는 시각적 호소력 있는 콘텐츠로부터 가장 잘 배운다. 전통적인 강의는 많은 밀레니얼 학생의 관심에서 빠르게 멀어질 것이고, 참여하지 않는unengaged 학생들은 배우지 않을 것이다.
They are accustomed to finding information online and learn best from visually appealing content that keeps them engaged and is presented in short segments (such as videos that are less than 10 minutes long). The traditional lecture will quickly lose the attention of many of these students, and an unengaged student is not learning.
한 RCT에서...
In a randomized, controlled trial
이전 과목에서 [상대적으로 성적이 좋지 않았던 학생]들은, [동료들과 교류하고 그들의 생각을 공유하는 것]이 준비에 도움이 되었기 때문에 통계적으로 시험 점수에 상당한 향상을 보였다. flipped classroom 접근법을 사용하는 교수들은 종종 모든 것을 "커버해야"야 한다는 요건의 폭압으로부터 해방되었다고 느낀다. 정보의 습득은 수업 외의 학생에 의해 이루어지기 때문에 교사와 학생 간의 상호작용은 이해하기 어려운 콘텐츠에 초점을 맞추고, 실제 문제에 새로운 개념을 적용하는 데 초점을 맞출 수 있다.
Students who had performed relatively poorly in prior courses had a statistically significant improvement in their exam scores — possibly because interacting with their peers and sharing their ideas prepared them better. Faculty using a flipped-classroom approach often feel liberated from the tyranny of the requirement to “cover” everything. Since acquisition of information is accomplished by the student outside class, interactions between teachers and students can focus on content that is difficult to understand and on the application of new concepts to real-world problems.
그럼 강의의 종말이 왔는가? 만약 "강의lecture"가 수동적으로 정보를 흡수하고 있는 많은 학생 집단 앞에 서서 이야기하는 전통적인 그림을 의미한다면, 그렇다, 우리는 대부분 의과대학에서 이러한 방식의 교육을 포기해야 한다고 생각한다. 그러나 만약 '강의'가 [미리 준비한 학생들과의 대규모 그룹 대화형 학습 세션, 청중들을 대상으로 한 질문, 그룹 토론을 위한 시간, 청중 응답 시스템 사용](예를 들어 이해를 위해 학생들을 대상으로 설문 조사)을 의미한다면, 우리는 대화형 강의 스타일은 남아있어야 하며 효과적인 교육 도구가 될 수 있다.
So is the lecture dead? If “lecture” refers to the traditional picture of a professor standing in front of and talking at a large group of students who are passively absorbing information, then yes, we believe medical schools should be largely abandoning that teaching format. But if it describes large-group interactive learning sessions with students who have prepared in advance, with frequent questions directed at the audience, time set aside for group discussion, and use of audience response systems (to poll students on a question to assess for understanding, for example), then we believe an interactive lecture style format should remain an option and can be an effective teaching tool.
,377 (7), 605-607
Saying Goodbye to Lectures in Medical School - Paradigm Shift or Passing Fad?
학습을 위한 평가 AfL 가 대형강의에서도 가능한가? 과제와 대응전략(Asia-Pacific Journal of Teacher Education, 2019)
Is assessment for learning feasible in large classes? Challenges and coping strategies from three case studies
Yueting Xua and Gary Harfittb
aSchool of English and Education, Guangdong University of Foreign Studies, Guangzhou, China; bFaculty of Education, The University of Hong Kong, Hong Kong SAR, China
도입
Introduction
학습에 대한 평가(AfL)는 설계와 실습에서 학생 학습을 우선시하는 평가 접근방식으로서, 잘 구현되면 학생 학습의 중요한 동인으로 널리 인식되고 있다(Wiliam, 2011). AfL은 학습 잠재력 때문에 중국을 포함하여 고등교육(HE) 교육학의 일부가 되었다(Carless, 2017; Sambell, McDowell & Montgomery, 2013).
Assessment for learning (AfL), an assessment approach that prioritises student learning in its design and practice, is widely recognised as a critical driver of student learning when implemented well (Wiliam, 2011). Due to its learning potential, AfL has become part of higher education (HE) pedagogy (Carless, 2017; Sambell, McDowell, & Montgomery, 2013), including the Chinese contexts.
AoL의 원칙은 중국에서 평가의 문화와 잘 맞지만, AfL, 또는 "학습자 및 교사들이 [학습에 사용할 증거]를 찾고 해석하여, 학습자가 어디에 있고, 어디로 가야 하며, 어떻게 가장 잘 도달해야 하는지를 결정하는 과정"(ARG, 2002, 페이지 1)은 "도입된" 개념이다. 평가의 형성적목적을 강조하고, 학습의 다음 단계에서 사용할 수 있는 설명을 만드는 것을 목표로 한다(베리, 2011). ARG가 확인한 세 가지 요인 중,
학습자가 어디에 있는지 판단하는 것은 수업이나 시험에서 교사들이 수집한 정보를 통해 이루어질 수 있다;
학생들을 그들이 가야 할 곳으로 이동시키는 것은 교사들이 학습 기준을 명확히 하고 학생들의 현재 학습에 기반을 둘 것을 요구한다.
원하는 목표를 달성하는 최선의 방법은 효과적인 피드백 및 피드포워드를 통해 이뤄질 수 있다
분명히, 이 모든 것들은 평가에서 교사의 지식과 기술, 즉 평가문해력(AL)을 요구한다(Smith, 2011).
While principles of AoL are aligned with the culture of testing in China, AfL, or “the process of seeking and interpreting evidence for use by learners and their teachers to decide where the learners are in their learning, where they need to go and how best to get there” (ARG, 2002, p. 1), is an “imported” concept. It emphasises the formative purpose of assessment and aims at creating descriptions that can be used in the next stage of learning (Berry, 2011). Among the three factors identified by the ARG,
judgments about where learners are can be made through teachers’ gleaning information from class work or tests;
moving students forward to where they need to go requires teachers to clarify learning criteria and to build on students’ current learning; and
the best way to get to the desired goal can be achieved through effective feedback and/or feed forward.
Clearly, all these require teachers’ knowledge and skills in assessment, namely assessment literacy(AL) (Smith, 2011).
유교 문화권에서, AfL은 한정된 목적(예: 총괄평가의 평성적 사용)부터 확장된 목적(예: 포트폴리오)에 이르기까지 형성적 평가의 "연속체" 상에서 여러 가지 형태를 취할 수 있지만, 중국 교육적 맥락에서의 구현은 복잡하다(베리, 2011). AfL은 교사의 업무의 맥락 안에서 상호작용하는 다양한 요소들(예: 교사, 학생, 기관) 사이의 관여와 공생을 요구한다(Carless, 2011). 그러나 현실은 이러한 각각의 요인들이 시행 과정에서 실질적인 장벽을 전면에 내세울 수 있다는 것이다.
Although AfL can take many forms on a formative “continuum” from a restricted end (e.g., formative use of summative tests) to an extended one (e.g., portfolios) in a Confucius-heritage culture (Carless, 2011), its implementation in a Chinese educational context is complicated (Berry, 2011). It requires engagement and symbiosis among various factors (e.g., teacher, students, and institution) that interact within the context of teachers’ work (Carless, 2011). The reality, however, is that each of these factors may bring to the fore practical barriers in the process of implementation.
제도적 요소를 예로 들면, 커리큘럼과의 오정렬misalignment, 큰 학급 규모, 시간 제약(Liu & Su, 2017) 등은 모두 AfL을 실천하는 데 생기는 실질적인 장애물이다. 중국에서, 큰 학급 크기는 중국 특이적인 맥락적 문제다. CE 교실의 학생-교사 비율은 대학 등록이 급속히 확대됨에 따라 163:1(왕, 2009년)로 보고되고 있다(Xie, 2014년). 또 다른 변수는 교사 요인이다. AfL을 시행하는 교사들은 그들의 신념과 전문지식 면에서 그러한 과정에 대한 준비가 되어 있지 않다(Marshall & Drummond, 2006).
Taking the institution factor as an example, misalignment with curriculum, large class size, and time constraint (Liu & Xu, 2017) are all practical obstacles to AfL practice. In China, large class size is a particular contextual challenge. The student-teacher ratio in CE classrooms is reported to be 163:1 (Wang, 2009) due to the rapid expansion of university enrollment (Xie, 2014). Another variable is the teacher factor. Teachers who implement AfL are unprepared for such processes in terms of their beliefs and expertise (Marshall & Drummond, 2006).
대규모 수업 AfL 실천 프레이밍: 생태학적 관점에서 본 교사의 주체성
Framing AfL practice in large classes: teacher agency from an ecological perspective
대규모 수업은 종종 학생 학습에 부정적인 영향을 미친다고 인식되지만(Bigs, 1999), 다음과 같은 평가 관행에 내재된 장애물이 보고되었다.
채점에 소요되는 고된 시간과 노력(Harfitt, 2013)
수업 지원에 대한 접근 감소(Ballantyne, Hughes & Mylonas, 2002)
대화형 피드백을 위한 기회 감소(Carless, 2015).
While large classes are often perceived to have negative effects on student learning (Biggs, 1999), inherent obstacles to assessment practice have been reported, including
an arduous amount of time and effort spent on marking (Harfitt, 2013),
reduced access to tutorial support (Ballantyne, Hughes, & Mylonas, 2002), and
reduced opportunities for dialogic feedback (Carless, 2015).
이러한 어려움들이 위압적으로 들릴지 모르지만, 대규모 학급에서 평가를 어떻게 그리고 어느 정도까지 방해하는지에 대한 추정이 쉽지는 않다. 그 효과가 다양하고 맥락적인 것으로 볼 때(Bigs, 1999), 학급 규모가 그 자체로 학생 수행의 두드러진 특징이 아닐 수도 있다(Hornsby & Osman, 2014). 이보다 더 중요한 것은 참가자들, 즉 학습자들과 교사들이다. 수상 경력이 있는 많은 교사들이 대형 강의(카리스, 2015년)에 참여했다는 점을 감안하면 대형 강의의 효과를 판단하는 데 있어 교사의 역할과 영향력이 더 두드러진 것으로 보인다.
Although these challenges may sound daunting, easy extrapolations cannot be made concerning how and to what extent large classes impede assessment. Given that its effects are varied and contextual (Biggs, 1999), class size in and of itself is arguably not a distinguishing feature of student performance (Hornsby & Osman, 2014). What matters instead are the participants, namely, learners and their teachers. Given that many awardwinning teachers have been involved in teaching large classes (Carless, 2015), it seems that the role and influence of teachers are more prominent in determining the effectiveness of teaching large classes.
그러나, [교사들의 효과적인 실천]은 그들에게 주어진 특정한 생태학적 조건과 상황에서, [어떻게 그리고 어느 정도까지 agency를 행사할 수 있느냐]에 따라 크게 좌우된다. 이것은 행위자actor들이 "문제상황에 대한 그들의 반응을 비판적으로 형성하는" 방식에 관한 것이다. 교사들이 교육 시나리오에 어떻게 반응하는지를 평가하기 위해, 기관은 "행위자-상황 transaction의 새로운 현상"으로 이해될 필요가 있다는 것을 의미한다. 즉, agency란 교사들이 가지고 있는 자질이 아니라, 교사들의 "시간 관계적 맥락과 행동"을 가진 "engagement의 질"이다.
Effective practice of teachers, however, largely depends on how and to what degree they are able to exercise agency in and through particular ecological conditions and circumstances; this concerns the way in which actors “critically shape their responses to problematic situations” (Biesta & Tedder, 2007, p. 138). It means that to evaluate how teachers respond to educational scenarios, agency needs to be understood as “an emergent phenomenon of actor-situation transaction” (Biesta, Priestley, & Robinson, 2015, p. 626). In other words, agency is not a quality that teachers have, but “a quality of the engagement” of teachers “with temporal-relational contexts-for-actions” (Biesta et al., 2015,p.626).
우리는 이 논문에서 기관의 생태학적 관점을 채택하고 공간적으로 그리고 시간적으로 agency의 이해의 중요성을 강조한다. 즉, agency의 성과는 과거의 경험, 현재와의 투사적 평가 및 가능성에서 비롯된 개인의 노력과 특정한 환경에서 이용 가능한 문화, 구조 및 물질적 자원 및 제약 사이의 상호 작용이다. 교사들이 그들의 agency을 enact할 수 있는 정도는 [어떻게 교사가 상황적 가능성과 제약들 사이에서 그들의 믿음, 가치 그리고 속성을 동원하느냐]에 달려 있다(Priestley, Edwards, Priestley, 2012). 교사들이 전문적 agency의 enact을 지원할 수 있는 긍정적인 속성은 탄력성, 책임성, 헌신, 자율성 및 관리를 포함할 수 있다(Edward, 2015).
We adopt this ecological perspective of agency in this paper and emphasise the importance of understanding agency both spatially and temporally. In other words, achievement of agency is an interplay between individual efforts which derived fromone’s past experience, projective evaluations and possibilities with the present, and cultural, structural and material resources and constraints available in particular settings. The extent to which teachers are able to enact their agency depends on how they mobilise their beliefs, values and attributes among contextual possibilities and constraints (Priestley, Edwards, Priestley, & Miller, 2012). Positive attributes that may support teachers to enact their professional agency can include resilience, responsibility, commitment, autonomy and care (Edward, 2015).
특정한 생태학적 조건 하에서, 주체적agentic 교사들은 학생 배움을 지원하기 위해 적절한 전략을 채택하여, 대규모 학급에서 발생하는 도전을 혁신의 기회로 전환할 수 있다. (Hornsby & Osman, 2014) 일부 연구는 오디오 피드백(Savin-Baden, 2010)과 혼합 학습 접근법(Snowball, 2014)의 온라인 교수 및 학습과 같은 기술이 교사가 학습자에게 보다 간결한 피드백을 제공하는 데 도움이 될 수 있다고 제안한다. 또한 동료 평가는 학생들이 평가 과제에 대비하고 필요한 물류를 자동화할 경우 교사의 평가 작업량을 줄일 수 있다(Ballantyne et al., 2002; Mostert & Snowball, 2013). 또한 지속적인 평가는 대규모 수업에서의 자습서 참석을 개선할 수 있다(예, 2009).
Under particular ecological conditions, agentic teachers adopting appropriate strategies are able to convert specific challenges brought by large classes into innovative opportunities in support of student learning (Hornsby & Osman, 2014). Some studies suggest that technology such as audio feedback (Savin-Baden, 2010) and online teaching and learning in a blended learning approach (Snowball, 2014), may help teachers provide more succinct feedback to learners. In addition, peer assessment may reduce teachers’ assessment workloads if he/she prepares students for the assessment tasks and automates the necessary logistics (Ballantyne et al., 2002; Mostert & Snowball, 2013). Continuous assessment may also improve tutorial attendance in large classes (Yeh, 2009).
그러나 이러한 생태학적 조건, 즉 행동의 맥락(Biesta & Tedder, 2007)은 [이 과정에서 적극적인 역할을 수행하지 못할 경우] 자동으로 교사들이 쉽게 사용할 수 있는 자원이 되지는 않을 것이다. 따라서, 학급 규모 자체보다는 전문적인 주체적 교사들을 확보하는 데 더 연구초점을 두어야 한다(Mulryan-Kyne, 2010).
These ecological conditions, or contexts-for-actions (Biesta & Tedder, 2007), however, will not automatically become resources readily available for teachers’ use if they fail to play an active role in the process. Thus, research suggests that a heavier focus should be placed on ensuring professionally agentic teachers, rather than on class size per se (Mulryan-Kyne, 2010).
방법
Methods
RQ1: 대규모 학급이 교사의 아프리카 관행에 어떤 도전 과제를 제시하는가?
RQ1: What challenges do large classes present to teachers’ AfL practices?
RQ2: 대형 강의실의 교사들은 어떤 대처 전략을 사용하는가?
RQ2: What coping strategies do teachers of large classes use?
연구 맥락
Research context
3명의 참가자가 가르치는 수업은 각각 57명, 50명, 45명으로 구성됐다. 모든 학생들은 그들의 전반적인 영어 실력을 향상시키기 위해 고안된 일반 영어 강좌에 등록되었다. 세 명의 교사가 사용한 평가 계획은 다양했지만(표 1 참조), 이들의 공통점에는 최종 시험과 수업 출석의 많은 비율과 비논리적 요소로서의 참여 우선순위가 포함되었다.
The classes taught by the three participants consisted of 57, 50, and 45 students respectively. All of the students were enrolled in a General English course designed to enhance their overall English proficiency. Although the assessment plans used by the three teachers varied (see Table 1), their commonalities included the large proportion of the final examination and class attendance and participation being prioritised as an inherent component.
참가자
Participants
데이터 수집
Data collection
데이터 분석
Data analysis
분석을 용이하게 하기 위해 정성 데이터 분석 소프트웨어인 NVivo 9.0을 사용했다.
A qualitative data analysis software, NVivo 9.0, was used to facilitate the analysis.
한계
Limitations
결과
Findings
불충분한 주의집중 대처하기
Dealing with inadequate attention to individual students
첫 번째로 관찰된 과제는 개별 학생의 부적절한 관심으로, 이는 교사가 학생들의 진행 상황을 모니터링하고 이후의 교육 및 피드백 활동에 필요한 학습 데이터 수집을 방해했다. 그것은 교사와 대규모 수업의 학생들 사이에 신체적 근접성이 낮은 것에 따르는 직접적인 효과다.
The first observed challenge is inadequate attention to individual students, which hindered the teachers’ ability to monitor student progress and to collect learning data necessary for subsequent instruction and feedback actions. It is a direct effect of a low degree of physical proximity between the teacher and students in large classes.
린다의 수업에서는 57명의 학생들 모두가 집단으로 앉도록 요구받았지만, 그녀는 덜 반응하는 그룹들은 무시하면서 좀더 활동적인 그룹에만 관심을 기울일 수 있었다(린다: [CO-EPs-2, 3, 5, 8, 11, 13]. 로사의 경우, 그녀는 고정된 좌석 배치 때문에 교실 뒤에 앉아 있는 학생들을 항상 보고 들을 수 없었다(로사: [CO-EPs-2-14]). 마찬가지로 메이는 "멀티미디어" 교실에서 그녀와 눈을 마주치지 않기 위해 일부러 컴퓨터 화면 뒤에 숨었기 때문에 그녀의 학생들 중 일부를 볼 수 없었다.
In Linda’s class, even though all of the 57 students were required to sit in clustered groups, she only managed to pay attention to the more active groups while neglecting the less responsive ones (Linda: [CO-EPs-2, 3, 5, 8, 11, 13]). In Rosa’s case, she could not always see and hear those students sitting at the back of the classroomdue to the fixed seating arrangements (Rosa: [CO-EPs-2-14]). Similarly, May could not see some of her students because they deliberately hid behind their computer screens to avoid eye contact with her in their “multi-media” classroom (May:[CO-EPs-1-10]).
린다는 그 후 그룹화 전략을 강제했다. 그녀는 학생들을 무작위로 그룹으로 묶고, 수업 시간에 그룹으로 함께 앉아 수업이 끝난 후 몇 가지 과제에 대해 협력할 것을 요구했다(린다:[CO-EPs-1-14]). Linda는 나중에 이러한 전략이 자신이 추가적인 관심과 지원을 제공할 수 있는 [반응도가 낮은 그룹을 식별]하는 데 유용하다는 것을 알게 되었다(Linda:[COEPs-2-14]).
Linda then mandated a grouping strategy. She put students in groups randomly, and required them to sit together as groups in class and to collaborate on some tasks after class (Linda:[CO-EPs-1-14]). Linda later found this strategy useful in identifying the less responsive groups to whom she could provide extra attention and support (Linda:[COEPs-2-14]).
같은 도전에 대응해 메이가 내놓은 해법은 이름과 얼굴을 외우는 것이었다. 첫 번째 수업에서 그녀는 모든 학생들의 머리 사진을 찍고 첫 주(5월:[CO-EP-1]) 동안 각 학생들을 알아보려고 했다. 어떤 학생이라도 이름을 부르며 쉽게 찾아올 수 있는 이 능력은 그녀의 학생들에게 깊은 인상을 주었다.
Responding to the same challenge, May’s solution was to match names with faces. In the first class, she took headshots of every student and tried to recognise each of them during the first week (May:[CO-EP-1]). This ability to effortlessly call on any student by name impressed her students (May: [CO-EPs-2-8]).
대규모 수업에서 학생들의 의도적인 익명성에도 불구하고, 메이의 전략은 효과적으로 개인 가시성을 높이고 결석을 줄였다(May:[CO-EPs-3-10]). 그것은 좋은 환경을 육성하고 유지하기 위한 노력의 일환이었다. 즉, 학생들이 아프리엘의 필수 목표인 자기 규제 학습자가 되도록 하는 "진료의 에토스"(Sutton, 2012, p. 39)가 되었다.
Despite students’ deliberate anonymity in large classes, May’s strategy effectively increased individual visibility and reduced absenteeism (May:[CO-EPs-3-10). It was part of her effort to nurture and maintain a conducive environment, or “ethos of care” (Sutton, 2012, p. 39), which would lead to students’ becoming self-regulated learners, an essential goal of AfL.
개별화된 피드백 제공기회 감소에 대한 대처
Coping with reduced opportunities for individualised feedback
두 번째 어려움은 개별화된 피드백의 기회 감소이다. 세 교사 모두 시간적 제약을 한 요인으로 꼽았다.
The second challenge is reduced opportunities for individualised feedback. All three teachers pointed to time constraints as a factor.
커리큘럼(및 다른 교사들)에 보조를 맞추어야 한다는 강한 압력을 감안하여, 로자와 메이는 주로 전체 수업 방식(Rosa:[CO-EPs-13]), 5월:[CO-EPs-1-10])을 채택했고, 종종 전체 반에 문제를 제시하고, 어떤 학생으로부터 신속하고 정확한 응답을 기다리고 있다. 만약 빠른 응답이 나오지 않는다면, 교사가 스스로 질문에 대답할 것이다. 이러한 방식의 파장은 학생 대다수를 좌절시키는 동시에 적극적 학생만 참여시켰다는 것이었다.
Given the intense pressure to keep pace with the curriculum (and other teachers), Rosa and May largely adopted a whole-class teaching style (Rosa:[CO-EPs-1-13]); May:[CO-EPs-1-10]), often posing a question to the entire class and waiting for a quick, correct response from any student. If a quick response was not forthcoming, they would answer the question themselves. The repercussions of this practice were that it only engaged high performers while discouraging and disengaging the majority of the class.
이에 대처하기 위해 린다는 두 가지 전략을 채택했다. 하나는 "온라인 청취 모듈"을 위한 시간대를 이용하여 작성 컨퍼런스(Linda : [CO-EPs-3,7,10,13])를 실시하는 것으로, 이 세션은 언어 실험실에서 듣기 연습을 실시하도록 요구하는 "학습 모국어 자체" 세션이다. 비록 린다가 신체적으로 수업에 있을 필요는 없었고, "많은 동료들처럼 채점이나 학술적인 독서를 하기 위해 시간을 쓸 수도 있었다"(린다:[I-4: LL23], 그녀는 자발적으로 자신의 자유시간을 희생해 개별 학생들과 글쓰기 숙제에 대해 이야기를 나누었다.
To cope, Linda adopted two strategies. One was to conduct writing conferences (Linda: [CO-EPs-3,7,10,13]) using the timeslots for “online listening modules”, which are “learning-on-your own” sessions that require students to do listening exercises in the language laboratory. Although Linda did not have to physically be in class, or could have used the time to “do some marking or academic reading like many colleagues” (Linda:[I-4: LL23], she voluntarily sacrificed her free time to talk with individual students about their writing assignments.
Linda의 두 번째 전략은 인지적 비계 및 사회적 영향을 주는 지원을 통해 동료 피드백을 가능하게 하여 교사 피드백을 보충할 수 있도록 하는 것이었다(Linda:[CO-EP -3,6,10,13]). 다음 수업 발췌문은 학생 구두 발표 중 린다의 피드백을 설명하였다. 첫 번째 예에서, 그녀는 학생들이 "체면을 챙기는" 걱정을 버리고 비판적인 논평을 하도록 격려함으로써 사회적 영향을 주는 지원을 제공했다. 두 번째 예에서, 그녀는 학생들에게 프레젠테이션에 대한 질문을 제기하는 방법을 모델링하고 이해를 증진시키기 위해 동료 피드백을 바꾸는 인지적 비계를 제공했다.
Linda’s second strategy was to enable peer feedback through cognitive scaffolding and social-affective support so that it could supplement teacher feedback (Linda:[CO-EPs -3,6,10,13]). The following class excerpts illustrated Linda’s feedback enabling processes during student oral presentations. In the first example, she offered social-affective support by encouraging students to abandon the “face-saving” concern and to give critical comments. In the second example, she provided students with cognitive scaffolding by modelling how to raise questions for a presentation and rephrasing peer feedback to enhance comprehension.
린다와 달리 로사는 위챗(중국에서 가장 인기 있는 소셜 미디어 플랫폼)을 통해 학생들과 함께 오디오 피드백을 사용했다. 학생들의 프레젠테이션 개요를 받은 후, 그녀는 이 온라인 그룹(Rosa:[D-WeChat])을 통해 오디오 피드백을 전달했고, 이 그룹은 그 후 전 학급이 접근할 수 있었다.
Unlike Linda, Rosa used audio feedback with her students via WeChat (the most popular social media platform in China). After she received students’ presentation outlines, she delivered audio feedback through this online group (Rosa:[D-WeChat]), which was then accessible to the entire class.
이와는 대조적으로, 메이느 개별화된 피드백에 대한 기회 감소의 도전을 극복하는 데 거의 기여하지 않았으며([CO-EPs-3-14]), 두 가지 설명적 요인(5월: [I-7-LL78-96])을 제시하였다. 첫째, 그녀는 먼 새 캠퍼스에서 집으로 가는 버스(80km 떨어진 곳)를 놓칠 수 없었기 때문에 개인들에게 피드백을 주기 위해 방과 후에 머물 수 없었다. 둘째, 그녀는 소셜 미디어를 거의 사용하지 않았고, 따라서 이러한 플랫폼을 통해 학생들과 학습에 대해 이야기할 기회를 놓쳤다. 메이의 상황에서 개인화된 피드백이 거의 불가능해 보이는 것은 유감스러운 일이었다.
In contrast, May did little to overcome the challenge of reduced opportunities for individualised feedback (May: [CO-EPs-3-14]) and offered two explanatory factors (May: [I-7-LL78-96]). First, she could not stay after class to give feedback to individuals because she could not afford to miss her bus home (80 km away) from the distant new campus. Second, she rarely used social media, and thus missed the opportunity to talk with students about their learning via these platforms. It was unfortunate that individualised feedback seemed almost impossible in May’s practice.
압도적인 채점 업무 관리
Handling overwhelming marking responsibilities
또 다른 문제는 채점이었다. 표시하기 위한 많은 쓰기 과제들이 교사들이 신뢰할 수 있고 시기적절하게 표시하는 능력에 영향을 주고 방해했다.
Another challenge was marking. A heavy number of writing assignments to mark influenced and impeded the teachers’ abilities to mark in a reliable and timely manner.
그 후 로사는 공식 점검을 위해 "기술적으로 편리한" 캠퍼스를 보여주기 위해 그녀의 대학이 구입한 자동 에세이 채점(AES) 웹사이트에 적극적으로 지원을 요청했다(Rosa: [D-AES]. 이 웹사이트의 존재는 지속가능하기 보다는 무작위였지만, 제출된 에세이마다 문법, 단어 선택, 구조 및 기계적 문제에 관한 등급과 피드백을 모두 제공하였다. 제출된 초안이 많을수록 피드백이 증가하고 수정이 많을수록 부여된 등급이 높아진다(Rosa: [D-AES]).
Rosa then actively sought support from an automatic essay scoring (AES) website that her university had purchased to showcase their “technologically facilitated” campus for the official inspection (Rosa: [D-AES]). While the existence of this website was random rather than sustainable, it provided both grades and feedback concerning grammar, word choice, structure, and mechanical issues for each submitted essay. The more drafts submitted, the more feedback obtained and the more revisions made, the higher the grades awarded (Rosa: [D-AES]).
좋은 샘플에만 피드백을 제공하는 Rosa의 관행은 문제가 있어 보일 수 있지만, 그녀는 더 많은 전반적global 이슈(즉, 내용과 구조)에 그녀의 피드백을 집중하는 방식으로, AES 웹사이트를 잘 이용했다(5월 : [D-AES]. 이와는 대조적으로, 린다와 메이는 이 웹사이트에 접속하지 못했고, 학생 과제를 적시에 표시하지 못한 것을 후회했다.
Although Rosa’s practice of providing feedback to the good samples only might seem problematic, she did make good use of the AES website by focusing her feedback on more global issues (i.e., content and structure) (May: [D-AES]). By contrast, Linda and May did not have access to this website and regretted not being able to mark student assignments in a timely manner.
학생을 평가에 참여시킴으로써 위기를 기회로 전환
Turning challenges into opportunities by involving students in assessment
교사들이 직면하고 있는 네 번째 도전은 수업 중에 학생들을 평가에 참여시킬 기회가 적다는 것이었다. 이는 동료 평가 활동에는 대개 다른 사람의 작업을 평가하는 방법에 대한 관련 교육이 필요하기 때문이며, 이는 매우 시간이 많이 소요될 수 있고 따라서 대규모의 환경에서 더 비현실적으로 보일 수 있다.
The fourth challenge confronting the teachers was fewer chances to involve students in assessment during class. This is because peer assessment activities usually require relevant training on howto evaluate others’ work, which can be very time-consuming and therefore seems more impractical in large-class settings.
이 전략은 시간 제약 문제를 해결했지만, 학생과 교사 모두에게 더 많은 헌신을 요구했다. 일부 학생들은 처음에 추가 작업에 대해 불평했지만, 로사는 완료된 피드백 시트에 대해 추가 학점을 제공했다(Rosa: [CO-EPs-4-13]. 결국 대부분의 동료 피드백은 "양심적으로" 수행되었다. (로사: [I-5: L3])
While this strategy remedied the issue of time constraints, it demanded more commitment from both students and teachers. Although some students complained about the extra work at the beginning, Rosa offered extra credits for completed feedback sheets (Rosa: [CO-EPs-4-13). Eventually most of the peer feedback was done “quite conscientiously.” (Rosa: [I-5: L3])
로자와는 달리 메이는 퀴즈 관리 방식을 바꿔 학생들을 '피평가자'에서 '평가자'로 변화시켰다(5월: [CO-EPs-4-8]). 퀴즈는 전통적으로 학습된 내용이 실제로 학습되었는지 여부를 측정하는 것을 목표로 하는 AoL 활동이다. 그녀의 처음 두 번의 받아쓰기가 학생들을 낙담시켰을 때, 메이는 그녀의 연습을 적응시켰다. 세 번째 퀴즈부터, 그녀는 학생들에게 그룹별로 최소한 한 개의 받아쓰기 목록을 작성하도록 요구했는데, 그 중에서 그녀는 무작위로 하나를 선택했다.
Unlike Rosa, May transformed her students from “‘assessees” to “assessors” by changing how she administered quizzes (May: [CO-EPs-4-8]). Quizzes are conventionally an AoL activity aiming at measuring whether what was taught has actually been learned. When her first two dictations discouraged her students, May adapted her practice. From the third quiz onwards, she required students to work out at least one dictation list in groups, from which she would randomly pick one.
고찰
Discussion
대규모강의에서 유용한 AfL의 형태
Useful forms of AfL in large classes
AfL의 타당성 : 교사기관과 시간적, 상황적 조건 간의 타협
Feasibility of AfL: compromises made between teacher agency and temporal and contextual conditions
대규모 수업의 도전과 교사들의 대처 전략과 관련된 발견들은 AfL의 실현가능성은 교사의 agency와 시간적, 상황적 조건 사이의 타협이라는 것을 암시한다. 조사 결과를 면밀히 살펴보면 시간적, 상황적 조건이 AfL의 실현가능성을 위해 필요하지만 불충분한 조건을 구성하여 교사의 주체적agentic 선택과 행동에 가능성과 도전을 모두 제공할 수 있음을 알 수 있다. 이 주장은 기관의 적절하고 적절한 자원의 제공을 강조한 이전 연구(MulryanKyne, 2010)와 일치하지만, 우리의 연구결과는 이러한 맥락적 및 시간적 조건이 작용하는 두 가지 상황을 명시한다. 한 상황에서, 어떤 조건들이 촉진적으로 보일 수 있지만, 일시적일 뿐이며, 교사 agency가 없이 자동적으로 행동의 기회로 바뀌지는 않는다.
Findings related to the challenges of large classes and the teachers’ coping strategies suggest that the feasibility of AfL is something of a compromise between teacher agency and specific temporal and contextual conditions. A scrutiny of the findings reveals that temporal and contextual conditions constitute a necessary but insufficient condition for feasibility of AfL, providing both possibilities and challenges for teacher agentic choices and actions. While this argument aligns with prior research that highlighted the provision of adequate and appropriate resources by the institution (MulryanKyne, 2010), our findings specify two situations where these contextual and temporal conditions work. In one situation, these conditions might seem facilitative, but often transient and do not automatically turn into opportunities for actions without teacher agency.
위와 같은 교사들의 agentic 선택과 행동에 대한 분석은, 교사의 agency가 대규모 수업에서 주로 AfL 실현가능성의 정도를 결정하는 원동력임을 보여준다. 그러나, 어떻게 교사 기관이 시간적, 상황적 조건을 갖춘 학생 학습을 위해 유용한 타협을 할 수 있느냐는 교사들이 인지적이고 정서적으로 어느 정도 준비가 되어 있느냐에 달려 있다.
The above analyses of the teachers’ agentic choices and actions indicate that teacher agency is the driving force that mainly decides the extent of AfL feasibility in large classes. However, how teacher agency is able to make useful compromises for student learning with temporal and contextual conditions largely depends on the extent to which teachers are cognitively and affectively prepared.
인지적 준비는 교사의 과거 경험을 자원으로 크게 끌어들이는 교사 agency의 시간적 차원에 의해 가능하게 할 수 있다. 이상적으로, 교사들은 그들의 과거 경험이나 현재 진행중인 교사 교육 프로그램에서 상당한 수준의 AL을 획득하고 특정 교실에서 적응적으로 사용하는 방법을 배울 것으로 예상된다. 특히, 우리는 드루카 외 연구진(2015)의 견해뿐만 아니라, AL 제정에 대한 Smith의 결론에 따르면, 성공적인 AfL 실천을 위한 전제조건으로 적절한 교육적 맥락에서 교사들은AfL의 근거, 원칙 및 특징을 알 필요가 있다.
Cognitive preparations can be made possible on the temporality dimension of teacher agency that draws heavily on teachers’ past experiences as resources. Ideally, teachers are expected to acquire a substantial level of AL in their preand in-service teacher education programmes and learn how to use it adaptively in specific classrooms (MacLellan, 2004;Xu&Brown,2016). Specifically, we support Smith’s(2011) conclusion about AL as the prerequisite to successful AfL enactment, as well as DeLuca et al.’s(2015) view concerning the rationale, principles, and features of AfL required by teachers in appropriate educational contexts.
이러한 지식은 평가 과정이나 워크숍과 같은 공식적인 훈련 기회를 통해 교사들에게 전통적으로 전달되지만, 세 가지 사례 교사들의 경험은 [직장에서 배우는 것]과 [스스로 배우는 것]이 그들의 AL을 준비하는 두 가지 실용적인 방법이라는 것을 암시한다. 예를 들어, 방문 학자로서 린다의 관찰 경험은 그녀의 AL을 작문 컨퍼런스를 개최하고 동료들의 피드백을 가능하게 하기 위해 준비했다. 또 다른 예에서, 로사의 기술에 대한 독학적인 전문지식은 AES 웹사이트와 오디오 피드백을 비교적 쉽게 사용할 수 있도록 그녀의 AL을 준비했다. 비록 불충분하지만, 무작위로 수집된 이러한 경험들은 교사들이 기관의 달성에 대해 인지적으로 준비한 AL 선생님에게 중요한 입력이다.
While such knowledge is conventionally delivered to teachers through formal training opportunities, such as assessment courses and workshops, the three case teachers’ experiences suggest that learning on the job and teaching oneself are two practical ways of preparing their AL. For example, Linda’s observational experience as a visiting scholar had prepared her AL for conducting writing conferences and enabling peer feedback. In another example, Rosa’s self-taught expertise in technology had prepared her AL in terms of using the AES website and audio feedback with relative ease. Although insufficient, these randomly collected experiences are important input for teacher AL, which prepared teachers cognitively for their achievement of agency.
그러나 인지적 대비만으로는 교사들이 그들의 대리점을 행사하고 시간적, 상황적 조건으로 학생들의 학습에 도움이 되는 타협을 하기에는 충분하지 않다. 우리의 발견은 그것이 회복력, 책임감, 보살핌과 같은 긍정적인 믿음, 가치, 속성을 수반하는 감정적 대비가 결합될 필요가 있음을 시사한다(Edward, 2015; Priestley et al., 2012). 이 사례에서 주목할 만한 예로는 린다가 컨퍼런스 작성에 소요된 여분의 시간, 이름과 얼굴을 일치시키기 위해 메이즈 스포트, 로사의 오디오 피드백과 AES 웹사이트 사용 등이 있는데, 이 모든 것들은 추가적인 노력이 필요했다. 기관 성취에 대한 감정적인 레퍼토리의 일부로서 이러한 속성은 실제로 교사들이 그들의 AL을 활성화하고 학생 배움을 위한 전문적인 결정을 내리는 것을 지원했다.
Cognitive preparedness alone, however, is not sufficient for teachers to exercise their agency and make compromises that benefit student learning with the temporal and contextual conditions. Our finding suggests that it needs to be joined by affective preparedness, which entails positive beliefs, values, and attributes such as resilience, responsibility, and care (Edward, 2015; Priestley et al., 2012). Notable examples from the cases include the extra time that Linda spent on writing conferences, May’sefforts to match faces with names, and Rosa’s use of audio feedback and AES website, all of which required extra commitment. These attributes as part of affective repertoire for agency achievement actually supported teachers to activate their AL and to make professional decisions for student learning.
결론
Conclusions
우리의 중심적인 발견은 AfL이 여전히 대규모 수업에서 실현가능하지만, 선생님들이 그들 자신의 주체성agency과 시간적 그리고 상황적 조건 사이에서 내리는 타협에 달려있다는 것을 암시한다. 그들의 타협이 학생들의 학습에 용이하게 하는 정도는, 다시 말해서, 교사를 얼마나 인지적으로(즉, AL능력) 그리고 정서적으로(즉, AfL에 대한 헌신) 준비시키는가에 달려 있다.
Our central finding suggests that AfL is still feasible in large classes but depends on the compromises that teachers make between their own agency and temporal and contextual conditions. The extent to which their compromises made are facilitative to student learning, in turn, relies on how cognitively (i.e., AL) and affectively (i.e., commitment to AfL) prepared teachers are.
교사들이 기술을 이용하고 학생들이 참여시킨 평가를 이용하는 것은 유용한 타협안의 예들이다. 그것은 인지적으로 그리고 정서적으로 준비된 agency가 대규모 학급(또는 이와 유사한 불이익 구조적 환경)의 부정적인 영향을 최소화하고 AfL의 학습적 잠재력을 가져올 수 있음을 시사한다. 대규모 학급이 현실인 상황의 경우, 동료가 관여하는 AfL 활동뿐만 아니라 기술 중심의 커리큘럼과 학습 커뮤니티를 개발하기 위해 자원이 더 잘 할당될 수 있다(재할당될 수 있다.
The case teachers’ use of technology-facilitated and student-involved assessments are examples of useful compromises made. It suggests that agentic practitioners who are both cognitively and affectively ready can minimise the negative effects of large classes (or any other similar disadvantaged structural environment) and bring out the learning potential of AfL. For those contexts where large classes are a reality, resources might be better (re)allocated to develop technology-facilitated curricula and learning communities, as well as peer-involved AfL activities.
Is assessment for learning feasible in large classes? Challenges and coping strategies from three case studies
Pages 472-486 | Received 10 May 2017, Accepted 24 Nov 2018, Published online: 11 Dec 2018
ABSTRACT
While assessment for learning (AfL) has been widely used in college English classrooms in China where teachers usually teach large classes, how AfL is implemented in the large-class higher education (HE) context is relatively underexplored. To address this gap, this study explores some of the challenges presented by large classes and the teachers’ coping strategies through case studies of three university English teachers’ AfL practices. Challenges are identified surrounding how the teachers dealt with (a) inadequate attention to individual students, (b) reduced opportunities for individualised feedback, (c) overwhelming marking responsibilities, and (d) involving students in assessment, with strategies of putting students in groups, matching names with faces, conducting teacher-student conferences, utilising technology to facilitate feedback processes, enabling peer feedback, and transforming students from assessees to assessors. Findings are framed around useful forms of AfL in large classes and the feasibility of AfL in terms of compromises between teacher agency and their temporal and contextual conditions. The paper concludes with implications for teacher assessment training, teacher education and policy-making.
Cognitive Behavioural Coaching principles and basic tools to support trainees
Jenny Gavriel
Milton Keynes GP STP, Milton Keynes Hospital, Milton Keynes, UK
인지행동치료(CBT)
Cognitive Behavioural Therapy (CBT)
또한 CBT에 사용되는 도구는 비임상 상황에서 더 폭넓게 사용된다. – 개인이 낮은 수준의 스트레스와 낮은 자기 효율성과 같은 어려움을 처리할 수 있도록 돕는다. 이를 인지행동코칭(CBC)이라고 하며, 늑장, 주장부족, 리스크 테이크/의사결정능력 개발 등과 같은 문제에 도움이 되도록 개발되었다.[1]
the tools used in CBT also have a wider use in non-clinical situations – helping individuals to deal with difficulties like low level stress and low self-efficacy. This is called Cognitive Behavioural Coaching (CBC) and has been developed to help with problems like procrastination, lack of assertiveness, risk-taking/decision-making skills development and so on.[1]
역사
History
인지 행동 접근법의 논리는 아마도 "우리가 생각하는 것이 우리가 행동하는 방식에 영향을 미친다"일 것이다. 그러나, [인지 세계]와 [행동 세계] 사이의 이러한 협력이 항상 존재했던 것은 아니다.
The logic of the cognitive behavioural approach seems perhaps obvious – what we think effects how we behave. However, this collaboration between the cognitive world and the behavioural world has not always existed.
인지 기반 치료법은 심리역동적이다. 정신의 깊숙한 곳에서 일어날지도 모르는 일을 노출시키는 데 초점을 맞춘 치료법으로, 무의식에 집중하기 때문이다. 행동 요법은 자극 – 결과 모델에 기초하고, 보상은 원하는 행동을 강화하기 위해 사용된다.
Cognitive based therapies are psychodynamic – concentrating on the unconscious mind with therapies focused on exposing what might be happening deep down in the mind. Whereas behavioural therapies are based on a stimulus – outcome model; rewards are used to reinforce the desired behaviours.
이러한 요법이 요건을 충족하지 못하는 상황이 증가함에 따라, 치료사들은 순수한 인지적 접근법과 순수한 행동 접근법 둘 다에 불만족스러워하고 있었다. 이것은 그 둘을 결합시킨 새로운 치료법의 기초를 닦았다.
Therapists were becoming dissatisfied with both the pure cognitive approach and the pure behavioural approach as there were increasing situations where these therapies did not meet requirements. This laid the foundations for a new therapy that combined the two.
CBC의 가장 중요한 원칙은 우리가 어떤 것에 대해 생각하는 방식이 그것에 대해 어떻게 생각하는지에 영향을 미친다는 것이다. 우리가 생각을 통제할 수 있기 때문에, 따라서 우리는 우리의 반응과 행동에도 영향을 미칠 수 있다.
The overriding principle of CBC is that the way we think about something affects how we feel about it. Since we are able to control our thoughts we can therefore effect our reactions and behaviours.
ABC
ABC
ABC 모델(알베르트 엘리스 박사가 개발한, 그림 1 참조)은 사건, 신념 및 결과(행동)의 연관성을 설명한다. 활성화된 사건(A)은 자동적 사고, 감정 또는 행동이 될 수 있는 개인으로부터 반응(C)을 유발하는 실제적이거나 상상된 사건일 수 있다. 하지만, 우리는 [사건에서 결과로 가는 단순한 단계]보다 더 복잡하다; 우리는 모두 우리의 경험이 처리되는 일련의 핵심 신념을 가지고 있다. 같은 사건이 다른 개인에게 다른 생각, 감정, 행동을 야기할 수 있는 이유다.
The ABC model (developed by Dr Albert Ellis, see Figure 1) describes the link between events, beliefs and consequences (behaviours). The activating event (A) may be a real or imagined event that provokes a response (C) from the individual which could be an automatic thought, an emotion or a behaviour. However, we are more complex than this simple step from event to outcome; we all have a set of core beliefs through which our experiences are processed. This is why the same event can result in different thoughts, emotions and behaviours in different individuals.
기본 신념과 기본 요구
Basic beliefs and basic demands
우리의 핵심 신념은 일반적으로 우리 자신, 다른 사람, 그리고 세계에 대한 guiding principle이다. 때때로 이러한 핵심 신념들은 또한 우리가 우리 자신이나 다른 사람들 또는 세계의 요구의 형태를 취할 수 있다.
Our core beliefs are guiding principles about ourselves, about other people and about the world more generally. Sometimes these core beliefs can also take the form of demands that we make of ourselves or of other people or of the world.
부정적 자동사고
Negative automatic thoughts
어떤 사건이 일어난 직후, 건강하지 못한 핵심 신념은 수행을 방해할 가능성이 있는 생각을 불러일으킬 것이다. 이것들은 종종 부정적인 자동 사고라고 불리며 도움이 되지 않는 행동을 초래하는 경향이 있는 여러 가지 다른 유형으로 떨어진다(표 1 [3] 참조).
In the immediate moments following an event, unhealthy core beliefs will give rise to thoughts that are likely to be performance inhibiting. These are often called negative automatic thoughts and they fall into a number of different types that tend to result in unhelpful behaviours (see Table 1 [3]).
이러한 유형의 생각을 하기 쉬운 훈련생들은 불안을 줄이거나 당면한 과제에 대한 집중을 촉진함으로써 성과를 향상시키기 위해 이들을 인식하고 도전하는 데 도움을 받을 수 있다. 여기서 CBT 도구는 이러한 부정적인 자동적 사고를 식별하고 변화시키고 핵심 신념에 도전하는 데 유용하다.
Trainees who are prone to these types of thoughts can be helped to recognise and challenge them in order to improve performance by reducing anxiety or promoting focus on the task at hand. It is here that the tools of CBT are useful to help identify and alter these negative automatic thoughts and challenge the core beliefs.
CBC - 도구상자
CBC – tool kit
스페이스 모델
SPACE model
SPACE 모델[4]은 생각, 감정 및 물리적 반응이 상호 작용하는 방법을 보여주는 도구다. 도표를 완성하도록 유도해 어떤 사건이나 상황에 대한 수습자의 대응을 논의하는 틀이다. 부분적으로 이것은 해명도구로서, '언제 ...을 느꼈는가?'라는 질문을 던져서 '어려웠다'와 같은 대답을 얻는 것이 일반적이다. 물론 '어려움'은 실제로 감정이 아니고, 감정 상자에 '어려움'을 쓸 수 없고, 그 대신에 수련자는 그 상황에서 그들이 어떻게 느꼈는지를 정확히 생각할 수밖에 없다. 대화를 위한 가이드가 마련됨으로써, 의도하지 않게 오락가락하는 답변이 받아들여지기 쉽지 않다. 그 결과는 문제를 매우 명확하게 보여준다. 그림 2는 임상 기술 평가(CSA) 이전에 GP 연습생들의 도표가 어떻게 보일지 보여준다. 이 경우 다음과 같은 여러 영역을 다루도록 선택할 수 있다.
The SPACE Model [4] is a tool to demonstrate the ways in which thoughts, emotions and physical responses interact. It is a framework to discuss the trainee’s response to an event or a situation by encouraging them to complete the diagram. In part this is a clarification tool, it is common to ask the question ‘how did you feel when …?’ only to get an answer like ‘it was difficult’. Of course ‘difficult’ is not actually an emotion, one cannot write ‘difficult’ in the emotions box, instead the trainee is forced to consider exactly how they did feel in that situation. By having a guide for the conversation, it is less easy for unintentionally diversionary answers to be accepted. The result is a really clear picture of the problem; Figure 2 shows what the diagram may look like for a GP trainee prior to their Clinical Skills Assessment (CSA). In this instance you could choose to tackle a number of areas:
(1) 관련 생각을 토의하고, 소크라테스적 질문을 사용하여 사고의 기반을 이루는 근거에 도전한다. 만약 그들의 언어가 영구적이고 일반화되어 있다면, 일시적이고 구체화하도록 만들어야 한다: '나는 시험에 희망이 없다'라고 하는 대신, '지금 당장은 나는 이런 유형의 시험에서 수행하는 것이 어렵다는 것을 깨달았다'가 된다.
(1) Discuss the associated thoughts; use socratic questioning to challenge the evidence base of the thoughts. If their language is permanent and generalised, challenge it to become temporary and specific: ‘I am hopeless in exams’ becomes ‘At the moment I am finding it challenging to perform in this type of exam’.
(2) 그들이 감정 상태를 조절할 수 있고 따라서 시험 전에 스트레스의 신체적 증상을 줄일 수 있다는 자신감을 줄 수 있는 약간의 이완 기법으로 그들을 돕는다 – 이것은 자기 효능감의 수준을 증가시키는 것으로 밝혀졌다.[5]
(2) Help them with some relaxation techniques to give them confidence that they can control their emotional state and therefore reduce the physical symptoms of stress before the exam – this has been shown to increase the level of self-efficacy.[5]
(3) 시험의 준비 및 실습을 최대한 지원한다. 이 모델의 상호 관련성은 준비 행동의 지원이 다른 측면에 어떻게 도움이 되는지 보여준다. 부정적인 생각에 직접 도전하지 않는다면, 앞으로 부정적인 자동적 생각이 계속 영향을 미칠 것이다.
(3) Support them in preparing and practising the exam as much as possible. The interrelated nature of this model shows how support in the actions of preparing will help with the other aspects. Though without directly challenging the negative thoughts, it is likely the negative automatic thoughts will continue to have an impact in the future.
추론 사슬
Inference chaining
추론 체인은 '만약 ...이라면? 이라는 질문을 반복적으로 던지는 것이다.그 생각은 당신이 핵심 신념의 형태로 [진정한 근본적인 우려를 발견하는 지경에 이를 때까지 사고의 장벽을 제거하는 것]이다. 사실 추가적인 부드러운 도전이 장기적으로 더 유익할 수 있을 때, 지원이나 확신을 주기 위해 대화에서 '탈출exit'해 버리는 것은 종종 유혹적이다. 예를 들면 다음과 같다.
Inference chaining is a very simple strategy that involves repeatedly asking versions of ‘What if …?’ The idea is to remove the barriers to thinking until you reach the point of uncovering the real underlying concern in the form of a core belief. It is often tempting to take an ‘exit’ to a conversation in order to provide support or reassurance, when in fact additional, gentle challenge could be more beneficial in the long term. For example:
강사: 만약 당신이 이 '신규 학습된 절차'를 수행한다면 어떻게 될 것인가?
Trainer: What would happen if you had a go at carrying out this ‘newly learned procedure?’
교육자: 내가 틀릴지도 몰라.(훈련자가 관찰한 내용을 이해하고 모델에서 수행할 수 있다는 점을 안심시킬 수 있는 방법을 선택할 수 있음)
Trainee: I might get it wrong.(Trainer could choose to reassure that the trainee has observed it, they understand it and can do it on a model)
강사: 그리고 만약 네가 틀렸다면?
Trainer: And what if you did get it wrong?
교육자: 환자가 불평할 수도 있다.(트레인저는 다시 안심시킬 수 있다 – 이런 일이 일어날 것 같지 않다)
Trainee: The patient might complain.(Trainer could reassure again – it is unlikely that this will happen)
강사: 그리고 만약 환자가 불평을 했다면?
Trainer: And what if the patient did complain?
교육자: 나는 그 환자와 어려운 대화를 해야 하는 것이 정말 두렵다.(강사는 불만사항에 대처하는 것이 좋은 학습점이며 혼자서는 그렇게 하지 않을 것이라고 설명할 수 있다.)
Trainee: I really dread having to have a difficult conversation with the patient.(Trainer could explain that dealing with complaints is a good learning point and they wouldn’t be expected to do it alone)
강사: 그리고 만약 당신이 어려운 대화를 해야만 했다면?
Trainer: And what if you did have to have a difficult conversation?
교육자: 나는 당황하고 스트레스를 받을 것이다.(강사가 어려운 대화를 하는 방법을 안심시키고 지원할 수 있음)
Trainee: I would get flustered and stressed.(Trainer could reassure and provide support for how to have a difficult conversation)
강사: 하지만 만약 당신이 당황하고 스트레스를 받는다면 당신은 무엇을 걱정하는가?
Trainer: But what are you worried about if you did get flustered and stressed?
교육자: 그 환자는 나에 대한 존경을 잃게 될 것이다.
Trainee: The patient would lose respect for me.
강사: 그리고 만약 당신이 환자의 존경을 잃었다면?
Trainer: And what if you did lose the respect of the patient?
교육자: 그들은 다른 환자와 그것에 대해 이야기 할 수도 있다.
Trainee: They might talk about it with other patients.
강사: 만약 그들이 다른 환자와 그것에 대해 이야기한다면 그것은 무엇을 의미할까?
Trainer: What would it mean if they did talk about it with other patients?
교육자: 모두들 나를 쓰레기라고 생각할 것이다.
Trainee: Everyone would think I am rubbish.
여기서 핵심적인 믿음이 밝혀졌다. 이 수련자는 그들이 쓰레기라고 믿고 있으며, 그들이 새로운 어떤 알려지지 않은 것을 시도함으로써 그들이 이것을 알아내는 다른 사람들에게 자신을 노출시킬까 걱정한다. 지금 CBC 접근법은 이 문제에 도전하는 것이다.
이 믿음에 대한 증거의 균형을 논하고
어떤 규칙을 논의하기 위해 핵심 믿음의 다트보드(그림 3 [6])와 같은 것을 사용한다.
요구와 생각은 수행을 방해할 수 있는 이 핵심 신념에서 비롯된다.
논리적이고 소크라테스적 대화에 의해 쉽게 challenge되는 [핵심 신념의 영향에 대한 통찰]은 프로세스와의 참여를 강화할 수 있다.
Here a core belief has been uncovered – this trainee believes that they are rubbish and is worried that by attempting something new and unknown they expose themselves to other people finding this out. The CBC approach now is to challenge this –
discuss the balance of evidence for and against this belief,
use something like the core belief dartboard (Figure 3 [6]) to discuss what rules,
demands and thoughts stem from this core belief that may be inhibiting performance.
Insight into the impact of core beliefs that are easily challenged by logical, socratic dialogue can enhance the engagement with the process.
자존심에서부터 꾸물거림에 이르기까지 광범위한 문제에 대한 다른 전략도 많지만, [행동과 감정적 반응에 영향 주기 위해서, 자신의 생각을 통찰하고 통제한다는 동일한 근본원리]에 기초하고 있다.
There are many other strategies for a wide range of problems, from self-esteem to procrastinating, but each of them are based on the same fundamental principles of insight into and control over one’s thoughts in order to influence behaviours and emotional responses.
,27(4), 326-9
Cognitive Behavioural Coaching Principles and Basic Tools to Support Trainees
오해와 불일치: 총괄평가 피드백에 대한 집단적 환멸(Research in Education, 2017)
Misunderstandings and mismatches: The collective disillusionment of written summative assessment feedback
Jane Rand
York St John University, UK
피드백은 '미끌미끌'하다(Boud and Molloy, 2013a: 5). 그 목적은 수정correction에서 종적 발달에 이르기까지 넓고(Price et al., 2010), 종종 (단순화되어) daulism과 연관된다. 예를 들어 형성적 또는 총괄적, 튜터- 또는 피어-, 서면 또는 언어 등과 같다. dualism이 도움이 되지 않는 경우도 많지만, '해석적 이원론'은 개념으로서 피드백의 '실용적, 이론적 감'을 잡는 데 도움이 될 수 있다. 피드백의 지각 한계 내에 있는 공간은 여러분이 점유하는 공간에 따라 피드백의 의미가 바뀌기 때문에 미끄럽다. 즉, 학습자, 교사, 외부 심사관, 몇 가지 이름을 붙일 수 있는 품질 보증인이기 때문이다.
Feedback is ‘slippery’ (Boud and Molloy, 2013a: 5). Ranging in purpose from correction to longitudinal development (Price et al., 2010), it is often associated with (simplified) dualisms, for example formative and summative, tutorand peer-, written, and verbal; although dualisms are often unhelpful, ‘interpretive dualism’, Soja’s (1996: 5) principle of describing perceptual limits (or the points beyond which things no longer exist), can help to make ‘practical and theoretical sense’ of feedback as a concept. The space(s) within these perceptual limits of feedback are slippery because the meaning of feedback changes according to the space(s) you occupy: learner, teacher, external examiner, quality assurer to name a few.
이원주의의 위험은 [양 극단 binary limit 안쪽에서 차이를 위장하기 때문에] 한 쪽이 다른 한 쪽과의 비교를 통해서 평가될 수 있도록 허용한다는 것이다(Pile, 1994) 그러나 피드백은 다음 두 가지의 사이에 있다고 볼 수 있다.
Carless(2015)가 말하는 '구 패러다임' 사고, 즉 '교육적 반응이 옳은지 그른지를 학습자에게 알리는 데 사용되는 수많은 절차 중 하나' (Kulhavy, 1977: 211)
현대적 사고: '학생들이 다양한 소스의 피드백에 참여하여 이를 활용하여 그들의 일을 향상시키고 학습을 발전시키는 과정'
이 현대적 패러다임은 'telling'에서 다음으로 옮겨간다.
The danger with dualisms is that they permit one side to be valued over the other (Pile, 1994) because they disguise differences within the binary limits. Feedback, however, can be perceived between what Carless (2015) refers to as ‘old paradigm’ thinking: ‘any of the numerous procedures that are used to tell a learner if an instructional response is right or wrong’ (Kulhavy, 1977: 211), and contemporary thinking: as ‘a process in which students engage with feedback from various sources and make use of it to improve their work and/or develop their learning’ (Carless, 2015: 192). This, contemporary paradigm, moves from ‘telling’ to
학습자가 [교사를 포함한 다양한 출처로부터] 작업에 대한 정보를 얻는 과정. 최종 목적은 일을 개선하는 것이다. 이를 위해서 [주어진 작업에 대한 적절한 기준과 작업 자체의 품질 사이의 유사성과 차이점]을 인식해야 한다.
(Boud and Molloy, 2013a: 6)
...[a] process whereby learners obtain information about their work [from a variety of sources, including but not limited to teachers] in order to appreciate the similarities and differences between the appropriate standards for any given work, and the qualities of the work itself, in order to generate improved work. (Boud and Molloy, 2013a: 6)
학생들의 보고된 피드백에 대한 불만족에 관한 현대 연구 내에서 공통적인 주제는 다음과 같다:
너무 일반적이거나 모호하다.
지침이 부족하다(또는 개선을 위한 제안은 포함하지 않는다).
그것은 부정적인 것에 초점을 맞추고, 종종 명확하지 않으며, 평가 기준과 관련이 없다(Higins et al., 2001; Rae and Cochrane, 2008; Weaver, 2006).
Themes common within contemporary research around students’ reported dissatisfaction with feedback include that:
it is too general, or vague;
it lacks guidance (or includes no suggestions for improvement);
it focuses on the negative, is often not clear, and is unrelated to assessment criteria (Higgins et al., 2001; Rae and Cochrane, 2008; Weaver, 2006).
그러나 반면에, 초보(그리고 때로는 neophyte가 아닌) 학습자들은 피드백의 존재 자체가 개선된 성과를 가져오기에 충분하다는 것을 때때로 지각한다(Beard et al., 2014; O'Donovan et al., 2015). 문제는 많은 학생들이 자신이 받은 (서면) 피드백을 절대 읽지 않는다고 보고한다는 것이다.
Yet, on the other hand, neophyte (and sometimes, not-so-neophyte) learners sometimes perceive that the presence of feedback, in and of itself, is sufficient to bring about improved performance (Beard et al., 2014; O’Donovan et al., 2015), even though many students report never reading the (written) feedback that they receive (Weaver, 2006).
이론적으로, 피드백은 학생들의 성장, 개발, 학습, 성취에 가장 강력한 영향 중 하나로 간주된다(Rae와 Cochrane, 2008). 실제로 그것은 고등 교육의 대량화와 병행하여 증가하는 척도에서 경쟁적이고 다중적인 관점이 되었다.
Theoretically, feedback is considered as one of the most powerful influences on student growth, development, learning, and achievement (Rae and Cochrane, 2008); in practice it has become contested and multiperspectival in increasing measure, in parallel with the massification of higher education.
본 논문은 특히 '줄글로 전달되는 학생 수행능력에 관한 정보'(Jolly and Boud, 2013: 105)를 학습 단위의 평가(총괄 평가)에 초점을 맞춘다. 나는 피드백에서 '집단적 환멸'에 대한 Hounsell의 주장(2008: 2)에서 더 나아간다.
학생들이 평가 피드백을 잘못 이해하거나 대부분 접근할 수 없다고inaccessible 보는 것(Carless, 2006; Higgins et al., 2001; Weaver, 2006)
학생 해석과 강의자 의도의 불일치(Rae and Cochrane, 2008; Sopina and McNeill, 2015; Weaver, 2006).
This paper focuses specifically on written feedback: ‘information about student performance conveyed by prose’ (Jolly and Boud, 2013: 105) on assessment at the end of a unit of study (summative assessment). I develop Hounsell’s argument (2008: 2) around ‘collective disillusionment’ in feedback:
the result(s) of students misunderstanding assessment feedback discourses or finding them largely inaccessible (Carless, 2006; Higgins et al., 2001; Weaver, 2006), and
the mismatches between student interpretations and lecturers’ intentions of feedback (Rae and Cochrane, 2008; Sopina and McNeill, 2015; Weaver, 2006).
피드백 위험에 대한 집단적 환멸은, 보르디외(1984, 2010)의 용어, 반박과 부정으로 궁극적으로는 제거된다. 그러나 피드백은 학습에 대한 가장 강력한 단일 영향 중 하나로 동시에 위치한다.
Collective disillusionment in feedback risks, in Bordieu’s (1984, 2010) terms, refusals and negations and ultimately therefore elimination; yet feedback is simultaneously positioned as one of the most powerful single influences on learning.
서면(요약) 피드백
Written (summative) feedback
서면(요약) 피드백은 여전히 학술 프로그램에서 가장 일반적인 관행 중 하나이다. 그것은 1대1 토론과 (재)드래프트를 위한 기회와 함께 위치하는 지원적이고 형태적인 (Oxford/Cambridge 튜토리얼) 학습 지원 시스템 내에서 시작되었으나 현재는 대부분 분리되었다(Nicol, 2010).
Written (summative) feedback is still one of the most common practices in academic programmes. It originated within, but is now largely detached from, a supportive and formative (Oxford/Cambridge tutorial) learning support system, positioned alongside one-to-one discussion and opportunities for (re-)drafting (Nicol, 2010).
현대의 담론에서 그것은 다음과 같이 이해된다.
'...평가 대상 작업에 해당 속성이 있는지 여부를 나타내기 위해 특정 기준 또는 특성에 대한 상자에 체크 표시를 포함할 수 있는 사전 설계 등급 일람표, 양식 또는 '점수 시트'를 사용하여 제공되는 정보(Jolly and Boud, 2013: 105).
Within contemporary discourse it is understood as:
‘...information given [often] using pre-designed rating schedules, forms or ‘‘score sheets’’ that might contain a tick in a box against a particular criterion or characteristic to indicate whether the work being assessed has that attribute’ (Jolly and Boud, 2013: 105).
컨텍스트에서 평가 피드백 저하: 대량화, 시장화, 오해 및 불일치
Assessment feedback discourses in context: Massification, marketisation, misunderstandings, and mismatches
대량화의 영향(고등교육에 참여하는 적격 인구의 15~40%를 가리키는 말로 이해됨)은 문제가 있다. 교육을 하나의 산업으로 형성하는 포스트모던 이념은 긴장 상태에 있으며, 이는 교육을 '잔혹한 낙관론'으로 규정하며, 인간 발전을 지향하는 학원에 의해 설립되고 지배되기 때문에, 학생 등록과 소득 창출을 지향하는 제도에 박차를 가하기 때문이다. (Barnett, 1997: 6; McCardle-Clinton, 2008). 학자들에게 있어서 소비자 사회로의 전환에 따른 대량화 및 시장화 고등 교육 시스템은 '고등 교육의 과정과 지점에 대한 부적절한 개념'(Barnett, 1997: 163), 교육은 '준비된 식사'와 같은 '포장'이 되고 '쉽게 소비하기 위해' 만들어진다(Mcardle-Clinton, 2008: 95).
The impact of massification (understood as the term that refers to 15–40% of an eligible population participating in Higher Education) is problematic. The postmodern ideology that shapes education as an industry is in tension, subject to what Berlant (2011) defies as ‘cruel optimism’, because it is founded on, and dominated by an academy geared towards human development, thrust into a system that is geared towards student enrolment and income generation (Barnett, 1997: 6; McCardle-Clinton, 2008). For academics, a massified and marketised higher education system, predicated on the shift to a consumer society, results in ‘inadequate notions of the process and point of higher education’ (Barnett, 1997: 163), where education has become ‘encapsulated’, like a ready-meal, and ‘packaged for easy consumption’ (McCardle-Clinton, 2008: 95).
HE의 대량화는 학습의 틀을 좁히는 결과를 가져왔고, 이는 일반적으로 역사적으로 보다 반복성이 덜하다(Nicol, 2010; Rae and Cochrane, 2008; Taras, 2006).
Massification of HE has resulted in a narrow framework of learning, and one which is typically less iterative than historically (Nicol, 2010; Rae and Cochrane, 2008; Taras, 2006).
캡슐화된 교육 실습에서의 규모의 경제가 평가 실무에서는 복제되지 않았다(Glover와 Brown, 2006). 모듈화는 지도, 상호작용, 실습 및 학생들의 수행에 대한 체계적인 지식 개발 기회를 감소시켰다(Boud and Molloy, 2013b; Hounsell, 2008). 지식과 피드백은 단편적이 되었으며, 한 모듈에서 다른 모듈로 학습을 진전시킬 기회가 감소했다(Yorke, 2001).
The economies of scale in capsule education teaching practice have not been replicated in assessment practice (Glover and Brown, 2006). Modularisation has resulted in decreased opportunities for guidance, interaction, practice, and students’ development of systematic knowledge of their performance (Boud and Molloy, 2013b; Hounsell, 2008). Knowledge and feedback is piecemeal in nature (Glover and Brown, 2006), and there are reduced opportunities to carry forward learning from one module to another (Yorke, 2001).
피드백의 표현
The representation of feedback
학생들이 피드백에 만족하지 않는다는 것을 인식하는 것은 한 가지다.
Recognising that students are dissatisfied with feedback is one thing
이것이 가치 있는 이유 탐구.
Exploring why this might be is valuable;
평가 피드백은 대부분 오해되거나 적어도 학습자가 완전히 접근할 수 없다(Carless, 2006; Higgins et al., 2001; Weaver, 2006). (암묵적 가정을 포함하여) 학생들은 피드백의 이해와 사용에 대한 조언이 필요하다. 그래야만 피드백에 engage하고, 그것으로부터 배울 수 있는 능력을 개발하고, 피드백이 '배움의 잠재력을 방해'하는 장벽이 되지 않을 수 있다.
Assessment feedback discourses are largely misunderstood or at least not fully accessible to learners (Carless, 2006; Higgins et al., 2001; Weaver, 2006). Students need advice on understanding and using feedback, including its tacit assumptions, in order both to develop the capacity to engage with it and learn from it (Carless, 2006; Hounsell, 2008; Weaver, 2006) and to avoid feedback becoming a barrier that ‘distort[s] the potential for learning’ (Carless, 2006: 220).
연구에 따르면, 학생들의 해석과 강의자들의 피드백의 의도는 종종 일치하지 않는 것으로 나타났다. (Rae와 Cochrane, 2008; Sopina와 McNeill, 2015; Weaver, 2006) 학생과 강사는 피드백을 극단적으로 달리 개념화할 가능성이 높으며(Higgins et al., 2001), 피드백의 성격에 대한 인식과 그것이 사용되는 사용 간의 차이를 초래한다(Glover와 Brown, 2006).
Research indicates that student interpretations, and lecturers’ intentions, of feedback are often mismatched (Rae and Cochrane, 2008; Sopina and McNeill, 2015; Weaver, 2006). Students and lecturers are likely to conceptualise feedback in dramatically different ways (Higgins et al., 2001), resulting in a disparity between the perceptions of the nature of feedback and the use to which it is put (Glover and Brown, 2006):
이러한 포지션은 '집단적 환멸'의 주제로 피드백을 제공한다(Hounsell, 2008: 2; 강조 추가). 학생 성장, 개발, 학습, 성취에 가장 강력한 단일 영향 중 하나인 피드백이, 집단적 환멸로 인하여 피드백에 대한 불만족이나, 반박과 부정으로 이어질 수 있고, 따라서 결국 제거될 수 있기 때문에 문제가 된다.
This positions feedback as the subject of ‘collective disillusionment’ (Hounsell, 2008: 2; emphasis added). This is problematic because collective disillusionment in feedback – one of the most powerful single influences on student growth, development, learning, and achievement – could result in disaffection towards it (Ahmed, 2014) or, in Bordieu’s terms in refusals and negations (1984, 2010), and ultimately therefore in elimination.
현대의 서면 피드백은 transmission 모드로 작동하며, '빈약한 대화'로 특징지어지는 less-iterative 시스템을 나타낸다(Nicol, 2010: 501). 그것은 '...개선을 위한 1차적 수단이라는 부담을 지우고, 교사학생 토론(Nicol, 2010; Sadler, 2010: 541)에 근거한 역사적 관행을 대체할 것으로 기대된다.
Contemporary written feedback operates in a transmission mode (Rae and Cochrane, 2008), symptomatic of a less-iterative system characterised by ‘impoverished dialogue’ (Nicol, 2010: 501). It is expected to ‘...carry the burden of being the primary instrument for improvement’ and to replace historic practice based on teacher–student discussion (Nicol, 2010; Sadler, 2010: 541).
여기 다시 긴장감이 감돈다. 피드백(학생들이 학습 개선의 근거로 사용하는 정보로서 넓은 원칙으로 이해)이 오해와 불일치에 의해 지배된다면, 집단적 환멸이 크게 나타난다. 현대의 (대규모) 고등 교육 프레임워크에서, 글로 쓰여진 피드백은 거부와 부정의 위험이 있는 동시에, 학습에 가장 강력한 단일 영향 중 하나이기도 하다. 그 결과, 배움은 심각하게 위협받고 있다.
Here is the tension again. If feedback (understood in broad principle as being information used by students as a basis for improving learning) is dominated by misunderstandings and mismatches, collective disillusionment looms large. Written feedback within a contemporary (mass) higher education framework is at risk of refusal and negation, whilst simultaneously being positioned as one of the most powerful single influences on learning. Learning then is seriously threatened
피드백의 표현은 어떤 종류의 일을 하는가?
What kind of work does the representation of feedback do?
본 논문은 영국 대학의 모듈화된 학부 사회과학 프로그램에 종사하는 학생들과 관련된 소규모 연구의 경험적 자료를 바탕으로 한다. 이 연구는 학생연구원이 연구팀 내에 위치하는 파트너십 기반 모델을 채택했다.
this paper draws on empirical data from a small-scale study involving students engaged in a modularised undergraduate social science programme in a British University. The study adopted a partnership-based model in which a student-researcher was positioned within a research team
참가자로서뿐만 아니라 연구 설계, 수행 및 평가 내에서 학생들을 참여시키는 것은 우리의 연구, 실습 및 연구 실천을 향상시키는 데 핵심적인 역할을 한다. 이러한 파트너십 기반의 접근방식이 '용맹'인지(O'Donovan et al., 2015)를 고려했을 때, 위험에 직면했을 때 용기를 보여주는 것인지에 관심이 쏠린다. 우리가 차지하고 있는 공간에 따라 반응이 달라질 것이다. 이 공간들은, 또 다른 이원론을 그리기 위해, 노르덴스바 ̈rd(2011년)가 '소비자 은유 대 시민 은유'로 식별하는 지각 한계 안에 있다.
Engaging students within the design, conduct, and evaluation of research, and not just as participants, is central to improving our research, our practice, and our research practice. Considering whether such a partnership-based approach is ‘brave’ (O’Donovan et al., 2015), whether it demonstrates courage in the face of danger is intriguing. Responses will differ according to the space(s) we occupy. Those spaces, to draw on another dualism, lie within the perceptual limits of what Nordensva¨rd (2011) identifies as ‘[T]he consumer metaphor versus the citizen metaphor’.
피드백 양식의 수정사항(과정 제출 및 서면 피드백의 전자 프로세스에 포함됨)은 다음과 같은 세 가지 주요 특징으로 구성되었다.
The modifications to the feedback form (embedded within an electronic process of coursework submission and return of written feedback) comprised three key features:
. 피드백을 위한 섹션(제출된 작업이 텍스트 내 주석을 동반하거나 더 상세하지만 전면 시트에 국한될 수 있는 범위에서 요약 평가)
. a section for feed-back (a summary evaluation of the extent to which the submitted work demonstrated the module learning outcomes) that could be either short and accompanied by in-text annotations, or more detailed but limited to the front-sheet;
. 개발을 위한 세 가지 우선순위 측면을 중심으로 구성된 피드 포워드를 위한 섹션(미래 작업 개선을 위한 영역에 집중) 이러한 섹션은 (숫자) 등급 표시기 앞에 있으며, 그 뒤에 (수정된 양식에서) 다음과 같은 내용이 뒤따랐다.
. a section for feed-forward (focussing on areas for improvement in future work) structured around three priority aspects for development. These sections preceded the (numeric) grade indicator, which (in the modified form) was followed by;
. 학생들이 (수치) 세분화된 등급을 더 잘 평가할 수 있도록 하기 위해 대학 종합 평가 기준(등급 밴드별로 구분된 일련의 기준)을 시각적으로 분석할 수 있는 물리적 강조.
. the physical highlighting of the University generic assessment criteria (a series of criteria differentiated by grade band) to provide a visual analysis of strengths and areas for development, geared towards helping students better appreciate the (numeric) fine-grading.
연구 설계 및 실행 시 고려 사항
Considerations in the design and practice of the study
이 후 학생 연구자('EM')는 현재의 연구와 실무를 숙지하기 위해 평가 피드백에 관한 문헌의 초기 검토를 이끌었다.
After this the student-researcher (‘EM’) led an initial review of the literature on assessment feedback to familiarise herself with current research and practice.
EM은 조사를 위한 초기 영역을 식별했다(표 1).
EM identified initial areas for investigation (Table 1).
전자파 및 나 자신 사이에서 이러한 주제에 대한 논의는 탐사를 위한 세 가지 광범위한 목표를 식별하는 것으로 이어졌다.
Discussion of these themes between EM and myself led to the identification of three broad objectives for exploration:
1. 학생들이 (서면) 총괄 피드백에 어떻게 engage하는가? 즉, 학생들은 어떻게 종합 피드백을 이해하고 접근하며 경험하는가?
1. How do students engage with (written) summative feedback? That is, how do students understand, approach, and experience summative feedback?
2. 총괄적 피드백의 결과로 학생들이 자신의 업무의 강점과 발전에 대한 이해를 얼마나 포괄적으로 하고 있는가?
2. How comprehensive is students’ understanding of the strengths and areas for development of their work as a result of the summative feedback?
3. 학생들은 종합 피드백을 받은 결과 무엇을 하는가?
3. What do students do as a result of receiving summative feedback?
EM는 그러한 그룹 토론을 용이하게 한 이전의 경험이 없기 때문에 EM과 나 자신 사이의 논의 후에 포커스 그룹 내에서 사용하기 위한 일련의 프롬프트가 생성되었다. 이 프롬프트는 서면 요약 피드백에 대한 학생들의 경험의 탐구를 지원하는 것 외에도 학생들이 (필로 표시된) 피드백 양식을 평가하고 개선을 위한 권고사항을 제시하는 방법에 대해 대화를 할 수 있도록 설계되었다.
A series of prompts for use within the focus group were created, following discussion between EMand myself, as EMhad no previous experience of facilitating such a group discussion. In addition to supporting the exploration of students’ experience(s) of their written summative feedback, the prompts were designed to enable students also to engage in dialogue around how they would evaluate, and make recommendations for improvement to, the (piloted) feedback form(Table 2).
정규 학생 30명은 1학년에서 2학년까지의 비율을 약 1:2로 하여, 4개의 뚜렷한 학습 프로그램(학과의 프로그램의 약 절반)을 대표하는 연구에 참여하기로 동의했다.
Thirty full-time students consented to participate in the research, representing four distinct programmes of study (approximately half of the Department’s programmes), with a ratio of firstto second-year student of approximately 1:2.
5개의 포커스 그룹 회의가 열렸다. EM은 각각의 오디오 녹음을 기록하고 포스트 잇 노트를 수집했다.전자적으로 TM 데이터. 우리는 전체 대본을 검토하고, 초기 반응을 논의하며, 서로의 질문을 하고(해명과 검증을 위해), 떠오르는 '의미단위'를 고려하고(웰링턴, 2015) 보다 심층적인 분석의 기초가 되는 주제를 파악하기 위해 만났다.
Five focus group meetings were held; EM transcribed the audio-recording for each and collated the post-it noteTM data electronically. We met to review the full transcripts, discuss our initial reactions, ask questions of each other (for clarification and verification), consider emerging ‘units of meaning’ (Wellington, 2015), and discern themes for the basis of a deeper analysis.
학생들은 어떻게 종합 피드백을 이해하고, 접근하고, 경험하는가?
How do students understand, approach, and experience (written) summative feedback?.
학생들이 어떻게 서면 피드백을 경험하는지에 대해 들은 내용은 문헌에서 잘 리허설되었다(예: Boud and Molloy, 2013a,b; Carless, 2006; Glover and Brown, 2006; Hounsell, 2008; Weaver, 2006; Zimbardi 등, 2016 참조). 거의 모든 학생들은 코멘트 내용을 읽기 전에 (양식 하단의) 성적부터 본다고 보고했다. 비록 많은 학생들이 글을 읽지 않는다고 보고했지만, 대부분의 학생들은 필기된 코멘트들을 이차적으로 검토했고, 종종 학생이 점수가 '나쁘다'고 인식했을 때 특히 코멘트를 읽는 것을 미룬다고 보고했다. 대부분의 학생들은 코멘트를 한 번만 읽는다고 보고했다. 이렇게 하는 것에 대한 명확한 근거는 없었고, 오히려 피드백은 읽고 버리는 것, 또는 어떤 면에서 '일회용'으로 개념화되는 것으로 보였다. 일부 학생들은 피드백이 후속 모듈과는 관련이 없을 것이라고 생각했기 때문에 피드백을 한 번만 읽는다고 보고했다.
What we heard about how students experience written feedback is well rehearsed in the literature (see for example, Boud and Molloy, 2013a,b; Carless, 2006, 2007; Glover and Brown, 2006; Hounsell, 2008; Weaver, 2006; Zimbardi et al., 2016). Overwhelmingly, students reported locating their grade (at the bottom of the form) before reading the written comments. Most students reviewed the written comments as a secondary activity, although many reported never reading the written comments, and often students reported delaying reading the comments particularly if they perceived the grade as ‘bad’. Most students reported reading the comments only once. There was no explicit rationale for this, rather feedback appeared to be conceptualised as disposable or in some way ‘single-use’. Some students reported reading the feedback only once because they felt it would have no relevance to subsequent modules.
학생들은 자신의 피드백을 자주 이해하지 못한다고 설명했으며, 종종 다음과 같이 자신을 혼란스럽게 했다.
Students described not understanding their feedback more often than understanding it, often reporting themselves as confused by:
1. 모호함:
2. 생소하거나 불필요하게 전문화된 것으로 인식되는 용어의 사용:
3. 불일치:
1. Vagueness:
2. The use of terms that are unfamiliar, or perceived as unnecessarily specialised:
3. Inconsistencies:
학생들은 일반적으로 모듈을 통과했을 때 안도감을 느꼈고 피드백을 이해하기 어려울 때 좌절감을 느꼈다고 보고했다. 비록 예전에 갖고 있던 '단일 사용' 또는 일회용 피드백이래는 개념이 현대 'throw away' 사회 또는 학습에 대한 의도적인 표면 접근법의 반영이 될 수 있지만, 대체적인 해석은 피드백의 수용에 있어서 연구되지 않은 영역임을 시사한다.
Students generally reported experiencing relief when they passed modules, and frustration when feedback was difficult to understand; and, although the (earlier) conceptualisation of ‘single-use’ or disposable feedback could be a reflection of a contemporary ‘throw away’ society or of deliberate surface approaches to learning (Nicol, 2010), an alternative interpretation suggests the under-researched area of emotional investment in the receipt of feedback (Poulos and Mahony, 2008).
영향(감정을 넘어선 반응력)에 대한 그녀의 연구에서, 아메드(2014년)는 감정affect는 object에 대해서 가까워지거나 멀어지는 결과를 초래할 수 있다고 경고한다. 그리고 새들러(2010: 539)는 비동기적이고 일반적으로 독백적인 성격 때문에 쓰여진 것에 대해 상당한 'affective outlay'을 하도록 피드백 작성자들에게 주의를 준다. 피드백을 영향력 있고 관계 있는 것으로 경험하는 방법의 특성(만약, 그렇다면/따라서)도 데이터에서 명백했다.
In her work on affect (responsive forces beyond emotion), Ahmed (2014) warns of the risk that affect can result in towardness or awayness in relation to its object(s), in this case: feedback. And Sadler (2010: 539) cautions writers of feedback to ensure they commit considerable ‘affective outlay’ to what is written, because of its asynchronous, typically monologic, nature. The nature of how feedback is experienced as affective and relational (if, then/so) was also evident in the data:
피드백의 결과로 학생들이 자신의 업무의 강점과 영역을 이해하는 것은 얼마나 포괄적인가?
How comprehensive is students’ understanding of the strengths and areas for development of their work as a result of the feedback?.
학생들은 요약 서면 피드백에서 장점이나 긍정적인 진술을 식별하기 어려웠으며, 그 결과 요약과 텍스트 내 의견 사이의 불일치가 있을 때 특히 오해가 발생했다고 설명했다.
Students described finding it hard to discern strengths or positive statements in the summary written feedback, resulting in misunderstandings particularly connected to inconsistencies between the summary and in-text comments:
학생들은 긍정적인 것에 대한 분명한 욕구를 표현했다. 또한 binary하게, (건설적) 비판에 대한 반대한다.
Students expressed an explicit desire for positives, as approval, and in binary opposition to their perception of the disapproval of (constructive) criticism:
학생들은 서면 요약 피드백을 받은 결과 무엇을 하는가?
What do students do as a result of receiving written summative feedback?.
압도적으로 학생들은 요약 서술문 또는 텍스트 내 코멘트를 읽기 전에 점수부터 확인했다고 밝혔다.
overwhelmingly students identified that they located the grade before reading the summary narrative or in-text comments (if at all):
세 가지 우선순위 개발 지점이 일반적으로 도움이 된다고 여겨졌지만, 이것은 대체로 그것들이 summary narrative의 '분해' 즉 증류로 인식되었기 때문이다. 이 증류로부터, 한 학생은 더 상세하고 분석적이며 자율적인 반응을 보고했다: '그래, 나는 먼저 점수를 보고, 그 다음에 내 과제를 다시 읽어서 강조된 내용을 확인했고, 거기에 주석을 단 어떤 것이든 그것을 피드백 시트와 연결하려고 했다.'
Whilst the three priority development points were generally considered to be helpful, this was largely because they were perceived as ‘breaking down’, or distilling, the summary narrative. From this distillation, one student reported a more detailed, analytic, autonomous response: ‘Yeah I looked at the mark first and reread my assignment to see what had been highlighted as well, and anything annotated on there as well and tried to link that with the feedback sheet’.
시범 형태에 대한 학생들의 평가.
Students’ evaluation of the piloted form.
학생들은 자신에게 도움이 되는 서면 피드백을 제공하는 상위 세 가지 특성을 고려하도록 요청받았고, 다음과 같이 식별되었다.
Students were asked to consider the top three characteristics that make any written feedback helpful to them, and identified:
1. 후속 평가를 개선할 수 있는 방법의 명확한 식별.
2. 긍정적 코멘트가 있음
3. 접근성/가용성(전자적 형식은 피드백을 읽을 수 있고 '향후 사용을 위해 저장'할 수 있다는 것을 의미한다.
1. Clear identification of ways to improve subsequent assessments.
2. The inclusion of positive comments.
3. Accessibility/availability (an electronic format means that feedback is legible and could be ‘saved for future use’).
기준 (2)는 '장점'의 식별과 '긍정적' 코멘트를 명시적 구별한다는 것을 확인했다는 점에서 흥미롭다. 즉, 개선 방법이 논리적으로 따라올 수 있는 평가 요약보다는, 학생들은 (개선해야 할 방법과 함께) 칭찬 또는 승인에 대한 선호가 있음을 보여준다. 이는 교육의 affective fabric을 보여준다(Staunaes, 2016): 피드백의 형식에 의해서 학생들의 정서적 회복력이 무력화되기도 한다.
Criterion (2) is interesting insofar as it confirms the explicit distinction of ‘positive’ comments from the identification of ‘strengths’; suggesting a preference for praise or approval alongside ways in which to improve, rather than an evaluative summary from which ways to improve might logically follow. This illuminates the affective fabric of education (Staunaes, 2016): students’ emotional resilience appears in some way disabled by the format of the feedback.
학생들이 양식에 대해 어떤 개선을 권고할 것인지를 묻는 질문에 학생들은 압도적으로 양식의 하단에서 상단으로 점수(grade)을 재배치할 것을 제안했다. 많은 이들은 또한 요약 서술과 우선순위 개발 영역 간의 균형을 변경하여 전자의 수를 줄이고 후자의 것을 더 많이 요청하며, '비판'을 받을 기회를 줄이고 '사물을 바르게' 하는데 필요한 것을 더 많이 식별할 것을 제안했다.
When asked what recommendations for improvement(s) to the form students would make, overwhelmingly they suggested relocating the grade from the bottom to the top of the form. Many also suggested an alteration in the balance between the summary narrative and the priority development areas, requesting less of the former and more of the latter; suggesting less opportunity to receive ‘criticism’ and more identification of what is necessary to ‘put things right’.
영향?
Impact?
그럼에도 불구하고 중요한 한 가지 결과는 학생들이 후속 연도에 유용한 것으로 보고되었다. 즉, 성적은 피드백 양식의 상단으로 재배치되었다. 어떤 의미에서 이것은 'brave'한 것이다. (O'Donovan et al., 2015; 이것은 확실히 논쟁적이고, 평가 피드백에 대한 학습 이론과 현대 문헌에 부합하지 않으며, 지역적이고, 맥락화된 근거에 기반한 것이고, (국지적으로) 피드백이 어떤 representation을 갖는지에 의해서 정당화된다.
One small, but nonetheless significant, outcome was reported by students as being useful them in the follow-up year: the grade was repositioned to the top of the feedback form. In some senses this is ‘brave’ (O’Donovan et al., 2015); it is certainly controversial, and justified not through engagement with learning theory and the contemporary canon of literature on assessment feedback, but through attending to a local, contextualised, evidence base and paying attention to the kind of work the (local) representation of feedback does.
연구자 및 지식인으로서 우리는 '체계적이고 비판적이며 자기 비판적인 조사'에 대한 윤리적 책임을 지고 있다(Bassey, 1990: 35; 강조). 학생들과 연구에 참여하고 또한 우리의 연구의 설계, 수행 및 평가 내에서 학생들을 참여시키는 것은 우리의 연구, 우리의 관행, 그리고 우리의 연구 관행을 향상시키는 데 중심적이다. 이것은 또한 '이론적으로 건전한 접근법(To Evalually sound approachs to evaluation feedures)' (O'Donovan et al., 2015)을 채택할 수 있는 진정한, 상황화된, 근거 기반을 채택할 수 있는 방법이다.
As researchers and intellectuals we have an ethical responsibility for ‘systematic, critical and self-critical inquiry’ (Bassey, 1990: 35; emphasis added). Engaging with students in research and also engaging students within the design, conduct, and evaluation of our research is central to improving our research, our practice(s), and our research practice(s). It is also a way in which genuine, contextualised, evidence bases, from which ‘theoretically sound approaches [to assessment feedback]’ (O’Donovan et al., 2015) can be adopted.
도발자의 역할을 가정하면
Assuming the role of provocateur
학습은 심각한 위협을 받고 있다. 대규모화되고 시장화된 고등 교육 시스템에서 피드백의 표현representation of feedback이 학생들에게 하는 일work의 종류는 직접적으로 그러한 위협에 기여한다.
There is a danger that learning is under serious threat. The kind(s) of work the representation of feedback does for students in a massified and marketised Higher Education system directly contributes to that threat.
지식사회는 학습이 의미하는 사회적 인식론을 운영한다. 이 때 학습은 '... 목적을 함양하고 대응, 또는 의식적 사고를 가능하게 하는 가치 있는 종류의 발전' 이다. 학습은 '학생들이 다양한 소스의 피드백에 참여하여 그것을 개선하기 위해 사용하는 과정'에서 발전하는 것이다. 가치있는 종류의 학습을 개발하기 위해서, 그것은 피드백을 따른다.
A knowledge society operates a social epistemology (Barnett, 1997) in which learning means ‘... developments of worthwhile kinds, with some insight, that fosters purpose and that enables response, or conscious thinking’ (Barnett, 1997: 159), and learning is understood to develop from ‘process[es] in which students engage with feedback from various sources and make use of it to improve’ (Carless, 2015: 192). To develop worthwhile kinds of learning then, it follows that feedback
대상자가 학생이라면, 우리는 오늘날의 학생들이 (정책적으로) 소비자로서, 대학 시장에서 상품과 서비스의 제공자로서 위치하며, 지적 변화를 나타내는 "being"에서 "having"으로의 이동이 있었다는 것을 인정해야 한다.일부 학생들은 이론적 내용과의 투쟁에 반대하여 권리를 이행하는 데 만족을 추구한다(Williams, 2011: 172).
If the subjects are students, we must appreciate that today’s students are positioned (by policy) as consumers, in a market of universities as providers of products and services, and there has been ‘...a move from‘‘being’’ to ‘‘having’’ [that] represents an intellectual shift...with some students seeking satisfaction in the fulfilment of their rights as opposed to a struggle with theoretical content’ (Williams, 2011: 172).
그리고 대상이 학생이고, 평가 피드백이 (학생) 학습에 가장 강력한 단일 영향 중 하나라면, 사회 인식학에 필수적인 피드백은 학생들 내에서의 목적을 증진시키고 학생들에게 유용해야 한다. – 그것은 가치있어야 한다. 하지만 Boud와 Molloy는 경고한다. '[대량화와 모듈화 때문에] 보다 최근의 평가 체제는 가치 있는 학습 기회를 희생함으로써 발생했다.'
And if the subjects are students, and if assessment feedback is one of the most powerful single influences on (student) learning, then feedback integral to a social epistemology must foster purpose within students and be useful to students – it must be valuable. Yet Boud and Molloy (2013b: 699) warn that ‘[the] more recent regime of assessment may have arisen [because of massification and modularisation] at the expense of worthwhile learning opportunities’.
피드백은 참여를 위하여 재구성되어야 한다. 상호작용이 가능하고 독립적인 피드백(Boud and Molloy, 2013b)은 물론 피험자가 학생만이 아님을 인식한다. 학생과 학자 모두가 피드백을 정의하는 미끄러운 공간을 차지하고 있다.
Feedback must be reframed for participation. Mutually constructed and codependent feedback (Boud and Molloy, 2013b) recognises, of course, that the subjects are not only students. Students and academics (and others) occupy the slippery spaces that define feedback.
학생과 학자들이 피드백을 정의하는 공간을 공유한다면 피드백에 대한 집단적 환멸은 같은 방식으로 존재할 수 없다. 피드백에 대한 공동 연구를 통해 환멸을 줄일 수 있는데, 여기서 정책 동인의 꼬리가 학습견을 흔들어 보려는 시도가 중단된다(적어도). 그러나 이것은 새롭고 용감하며 접근법을 필요로 할 것이다. '규칙, 프로세스 및 자원 배분에 대한 근본적인 변화를 수반하는 것 같다.' (O'Donovan et al., 2015: 946).
Collective disillusionment in feedback cannot exist in the same way if students and academics share the spaces that define feedback. Disillusionment can be reduced through shared research into feedback, where the tail of policy drivers is interrupted (at least) in its attempt(s) to wag the learning dog. But this will require new, brave, approaches, ‘...likely to involve fundamental changes to rules, processes and resource allocations’ (O’Donovan et al., 2015: 946).
Misunderstandings and mismatches: The collective disillusionment of written summative assessment feedback
Feedback is slippery, its meaning changes according to the space(s) you occupy within the perceptual limits that define it; these can range from feedback perceived as correction, to feedback perceived as longitudinal developmental. This provocation focuses on written summative assessment feedback, a format that remains one of the most common practices within academic programmes, that has the potential to be one of the most powerful influences on student growth, development, and learning, and yet which many students report never reading. I develop the argument that written summative assessment feedback is the subject of collective disillusionment – the result of students misunderstanding assessment feedback discourses, and the mismatch(es) between student interpretations and lecturers’ intentions of feedback. As provocateur, I argue that collective disillusionment not only risks the negation of written feedback, but it also seriously threatens learning. I draw upon empirical data to illuminate how paying attention to the kind(s) of work the representation of feedback does can contribute to feedback being reframed for participation and offer an open invitation for further dialogue viaResearch in Education.
Filling the feedback gap: the unrecognised roles of shame and guilt in the feedback cycle
William E Bynum IV
이 저널의 이 에디션에 게재된 메타 리뷰에서, 반 드 리더 외 연구진.1은 이러한 질문에 대한 통찰력을 제공한다. 그들의 분석은 피드백 프로세스, 효과 또는 둘 모두에 영향을 미치는 33개의 변수를 식별했다. 그들은 변수를 피드백 사이클의 네 가지 단계에 매핑하고 미래 단계와 전체적인 피드백 효과에 대한 그들의 영향을 분석하였다.
In their meta-review published in this edition of the journal, van de Ridder et al.1 provide insight into these questions. Their analysis identified 33 variables that influence the feedback process, effect or both. They mapped the variables to the four phases of the feedback cycle and analysed their influence on future phases and the overall feedback effect.
연구진의 분석은 피드백을 수집하는 데 사용되는 프로세스에 영향을 미치는 변수에 대한 강력한 결과를 산출하지만(A 및 B 페이지), 피드백의 통신과 수신에 영향을 미치는 변수에 대한 정보의 상대적 부족을 보여준다(C 및 D 페이지). 저자들은 피드백 효과가 자존심에 위협적인 것으로 인식되면 낮춘다고 결론짓지만, 단계 C와 D에 대한 데이터가 상대적으로 부족하기 때문에 이 강력한 발견에 대한 더 깊은 이해가 불가능하다고 결론짓는다. 따라서, 이 연구는 의미 있는 피드백을 가장 잘 수집하고 준비하는 방법에 대한 설득력 있는 정보를 제공하지만, 이를 효과적으로 전달하고 건설적인 방식으로 수신할 수 있도록 보장하는 방법에 대해서는 중대한 gap이 있음을 보여준다.
While the analysis yields robust findings about variables that influence the processes used to collect feedback (phases A and B), it reveals a relative paucity of information about the variables that influence the communication and reception of the feedback (phases C and D). The authors conclude that feedback effectiveness is lowered if it is perceived as threatening to self-esteem,1 but the relative lack of data about phases C and D preclude a deeper understanding of this powerful finding. Thus, although the study provides compelling information about how to best gather and prepare meaningful feedback, it identifies a critical gap in our understanding about how to effectively communicate it and ensure that it is received in a constructive manner.
이 격차를 해소하기 위해, 우리는 피드백 과정에서 수치심과 죄책감이 작용하는 역할을 조사할 수 있다. 피드백을 받은 사람이
피드백을 받는 사람이, 검사를 받게 된 동작이나 행동이 아니라, 자신의 자신에 대한 부정적인 평가를 하게 될 때 수치심을 유발한다. 그 결과, 수치스러운 개인은 작고 열등하며 노출되었다고 느끼고, 스스로를 결함이 있고 가치가 없다고 볼 수도 있다.
반면에 죄책감은 불편한 피드백을 받았을 때 자기자신보다는 행동이나 동작에 집중하는 방식으로 대처하는 경향이다. 죄책감을 느끼는 사람들은 '내가 한 일은 나쁘지만 나는 나쁘지 않다'라고 말할 수 있다. 죄책감과 동반되는 부정적인 정서적 반응이 있지만, 그것은 자신에게 일반화되지 않으므로, 따라서 자기 평가를 해치는 것으로 이어지지 않는다.5
To begin addressing this gap, we might examine the roles played by shame and guilt in the feedback process.
Feedback leads to shame when the recipient receives it and adopts a negative evaluation of his or her self, as opposed to the behaviour or action under scrutiny.2,3 As a result, shamed individuals feel small, inferior and exposed and may see themselves as defective and unworthy.2
Guilt, on the other hand, is the tendency to respond to difficult feedback by focusing on the action or behaviour rather than the self.4 People who experience guilt are able to say: ‘This thing I did was bad, but I am not bad.’ Although there is still a negative affective reaction with guilt, it does not generalise to the self and thus does not lead to damaging self-assessments.5
내가 피드백을 주었던 레지던트는 그것을 self-level에서 해석했고, 자신을 1학년 레지던트(죄의식 대응)의 전형적인 도전에 허덕이는 능력 있는 학습자라기보다는 부족하고 부족하다고 보았다.
The resident to whom I provided feedback interpreted it at the self-level, and viewed himself as deficient and not good enough (a shame response), rather than as a capable learner who was struggling with typical challenges for a first-year resident (a guilt response).
수치심과 죄책감을 구별하는 것은 매우 중요하다. 왜냐하면 수치심과 죄책감은 학습에 중요한 의미를 지닌 다른 결과로 이어지기 때문이다.
수치심은 뒤로 물러서버리거나 숨기거나, 책임을 부인하며, 당면한 문제를 무시하려는 욕구로 이어진다.
이와는 대조적으로, 죄책감은 교정reparative 행동을 자극하고, 그 상황에서 성장하려고 시도하며 그 행동이 다시 일어나는 것을 막는다.
Distinguishing between shame and guilt is critically important because they lead to different outcomes with significant implications for learning.
Shame leads to a desire to withdraw or hide, deny responsibility, and ignore the problem at hand.2,3,6
Guilt, by contrast, stimulates reparative action and attempts to grow from the situation and prevent the behaviour from happening again.3,6
이것이 학습에 적용되면,
수치심은 비판적 학습 과정으로부터 멀어져버리게 만들 잠재력을 가지고 있다.
죄책감은 반대로 참여를 자극할 수 있는 잠재력을 가지고 있다. 따라서 죄책감이 피드백 프로세스의 주요 최종 목표가 되어야 한다.
Applied to learning,
shame has the potential to promote detachment from critical learning processes, whereas
guilt has the potential to stimulate engagement, the latter of which should be a primary end goal of the feedback process.
피드백을 전달할 때(C단계) 아무리 선의의 교사라도 학습자의 행동이 아닌 학습자 자신self에 대한 피드백을 일반화하게 되면 수치심을 유발할 수 있다. 학습자의 self에 초점을 맞춘 피드백은 그 효과성이 떨어지고 회피 행동, 자기 효과성 감소, 그만두려는 욕구 증가 등 해로운 결과를 초래하는 것으로 나타났는데, 이 모든 것은 수치스러운 반응과 일치한다. 이러한 결과를 피하고 학습자를 보다 건설적인 대응으로 이끌기 위해, 교사들은 학습자가 변화시킬 수 있는 특정 행동에 초점을 맞춰야 한다.7
When communicating feedback (phase C)1, even the most wellintentioned teachers can induce shame by generalising the feedback to the learner’s self, rather than his or her actions. Feedback that focuses on the learner’s self has been shown to decrease in its effectiveness and lead to damaging outcomes including avoidance behaviour, decreased self-efficacy, and an increased desire to quit,7–10 all of which are consistent with a shame response. To avoid this outcome and steer a learner towards a more constructive response, teachers should focus on specific actions that the learner can change, rather than core, unchangeable facets of his or her personality.7
굴욕적인 방식으로 전달되는 피드백은 수신자에게 수치심을 유발할 수도 있다. 의학의 교육에서는 humiliation, 즉 다른 사람을 비하하고 비하하는 행위가 불안하게 만연하고 있다. 굴욕적인 피드백에 대응하여 수치심을 경험하는 학습자는 그 치료가 정당하고 정확하며 합당하다고 믿는다. 그 결과 굴욕감이 주는 메시지, 즉 자기는 원래 부족한 사람이라고 믿음으로써 자신에 대한 부정적인 시각을 채택할 수도 있다.
Feedback that is communicated in a humiliating manner may also induce shame in the recipient.11 Humiliation, or the act of putting another in a lowered, debased position, is disturbingly prevalent in medical education.12 A learner who experiences shame in response to humiliating feedback believes that the treatment is justified, accurate and deserved.13 As a result, he may adopt a negative view of himself by believing in the message that humiliation sends: that he is inherently deficient.
W박사와의 세션에서 나는 행동 중심의, non-humiliating 방식으로 피드백을 전달했지만, 그럼에도 불구하고 그는 수치심을 경험했다. 이는 피드백 수신자의 수치심 경험 성향에 영향을 미치는 추가 요인의 존재를 시사한다. 심리학 문헌은 수치심에 대한 감수성과 근본적인 우울, 불안, 과거의 수치스러운 사건 등과 연관이 있음을 보여준다.
In my session with Dr W, I communicated the feedback in an actionfocused and non-humiliating way and yet as he received it (phase D)1, he experienced shame. This suggests the presence of additional factors that influence the feedback recipient’s tendency to experience shame. The psychology literature makes associations between susceptibility to shame and underlying depression,5 anxiety14 and past shaming events.15,16
임상 훈련은 철저한 조사scrutiny의 시간이며, 이 때 자신의 약점, 나쁜 습관, 지식 부족을 발견하게 되는 시간이다. 이처럼 높은 수준의 노출과 비판을 각오하지 않은 학습자, 특히 classroom에서 높은 학문적 성공을 거둔 학습자와 완벽을 기하기 위해 노력하는 학습자는 이 환경에서 심각한 도전에 당면할 수도 있다. 그 결과, 학생들은 자신의 부족함이 드러나는 자기 평가와 높은 수치심에 취약해지는 경향이 생길 수 있다. 이 뒤를 이어 정상적이고 기대되는 학습이 이어지는데, 여기에는 일상적이고 필요한 건설적 피드백 커뮤니케이션, 약점의 노출, 의료 오류 발생 등이 포함된다.
Clinical training is a time of intense scrutiny and the necessary ‘unearthing’ of weaknesses, bad habits and knowledge deficits. As such, it may present serious challenges for learners who are not prepared for such a high degree of exposure and criticism, especially those who achieved high academic success in the classroom and those who strive for perfection. As a result, they may be predisposed to damaging self-assessments and high levels of shame susceptibility following normal and expected facets of learning,17 including the routine and necessary communication of constructive feedback, exposure of weaknesses, and occurrence of medical error.
피드백으로 인한 수치심을 어떻게 피할 수 있을까? W 박사에게 수치스러운 반응을 인식한 것은 나에게 의학을 배우는 나 자신의 고군분투(오늘도 계속됨), 자신의 불완전함에 대한 커져가는 위안, 그리고 그들 둘 다 나에게 매일 개선을 위해 주는 동기 등에 대해 그에게 마음을 열 수 있는 기회를 주었다. 그렇게 함으로써, 나는 정상화와 취약성을 모델링하려고 시도했는데, 이 두 가지 방법 모두 학습자가 수치스러운 반응으로부터 멀어지게 하는 데 도움이 될 수 있다.
How can feedback-induced shame be avoided? The recognition of a shame response in Dr W provided me the opportunity to open up to him about my own struggles in learning medicine (which continue today), my growing comfort with my own imperfection, and the motivation they both give me to improve every day. In doing so, I attempted to utilise normalisation and to model vulnerability, both of which may help guide learners away from shame responses.18,19
1 van de Ridder JMM, McGaghie WC, Stokking KM, ten Cate OTJ. Variables that affect the process and outcome of feedback: a meta-review. Med Educ 2015;49:658–73.
Comment
,49 (7), 644-7
Filling the Feedback Gap: The Unrecognised Roles of Shame and Guilt in the Feedback Cycle
가이드라인: 의학교육에서 재교육에 대한 Dos 와 Don'ts (Perspect Med Educ, 2019)
Guidelines: The dos, don’ts and don’t knows of remediation in medical education
Calvin L. Chou · Adina Kalet · Manuel Joao Costa · Jennifer Cleland · Kalman Winston
할 것: 효과의 증거가 있는 교육 활동
하지 말기 것: 효과 또는 위해성이 없다는 증거가 있는 교육 활동 금지(부정 효과)
잘 모름: 효과의 증거가 없는 교육 활동
Do’s Educational activity for which there is evidence of effectiveness
Don’ts Educational activity for which there is evidence of no effectiveness or of harms (negative effects)
Don’t knows Educational activity for which there is no evidence of effectiveness
도입
Introduction
의료교육의 재교육은 ‘의사가 되기 위한 여정에 나섰지만 진로를 벗어난 훈련생들을 위한 시정을 촉진하는 행위’이다.
Remediation in medical education is ‘the act of facilitating a correction for trainees who started out on the journey toward becoming a physician but have moved off course’[1].
교정조치가 필요한 훈련생들의 누적 유병률에 대한 보고서는 외과 레지던스[2]의 2.0%에서 의과대학의 3.3%까지 다양했다[3]. 보고된 교정조치 성공률은 77% [2]에서 100% [3-5]까지 다양하다. 그러나 ‘성공’에 대한 표준적 정의는 없으며, 대부분의 프로그램은 단기적인 결과만을 보고한다. 예를 들어, 한 보고서는 교정조치 후 1학기에 합격한 학생의 91%가 1학기를 통과했지만, 2년 후[6] 전체 프로그램을 완료한 학생은 61%에 불과하다는 것을 보여주었다. 또한 교정조치가 필요한 학습자를 식별하기 위해 프로그램이 사용하는 기준은 같은 기관 내에서조차 매우 다양하다.
Reports of the cumulative prevalence of trainees in need of remediation have ranged from 2.0% in surgical residencies [2] to 3.3% in medical school [3]. The reported success of remediation has ranged from 77% [2] to 100% [3–5]. However, there is no standard definition of ‘success’, and most programs report only short-term outcomes. For example, one report showed that while 91% of students passed the first semester after remediation, only 61% had completed the entire program 2 years later[6]. Additionally, the criteria programs use to identify learners needing remediation vary widely, even within the same institution.
훈련생에 대한 요구가 의료 훈련 과정에 걸쳐 변화함에 따라 교정조치의 유형이 변경되는 것은 놀랄 일이 아니다.
초기 의대생들은 지식과 기술 격차, 사고방식, 자기 규제, 학습 접근방식에 어려움을 겪는 경향이 있다[7].
임상실습 학생들은 불충분한 지식 외에도 환자 프레젠테이션 기술, 기초 커뮤니케이션 기술(예: 자기 소개), 신체 검사 기술, 개별화된 환자 계획을 작성하기 위한 지식의 적용 및 합성과 씨름할 수 있다[8, 9].
인턴과 레지던트 시기에도 있어 지식은 계속해서 투쟁의 주요 영역이 될 수 있다[5, 10, 11].
또한 이러한 의료 훈련 단계에서 학습자는 임상적 판단[2, 5, 10, 11], 커뮤니케이션 [5], 전문성[2, 4, 5, 11, 12], 시간 관리 및 조직 능력[5, 10, 13]으로 어려움을 드러낼 수 있다.
Not surprisingly, as demands on trainees shift over the course of medical training, the types of remediation challenges change. Early medical students tend to struggle with knowledge and skills gaps, ways of thinking, self-regulation, and approaches to learning [7]. In addition to insufficient knowledge, students in clerkships can struggle with patient presentation skills, foundational communication skills (e.g. introducing oneself), physical examination skills, and the application and synthesis of knowledge to create individualized patient plans [8, 9]. For residents and foundation years (the 2 years immediately after medical school in the UK), knowledge can continue to be a major area of struggle [5, 10, 11]. In addition, learners at these stages of medical training can manifest difficulty with clinical judgment [2, 5, 10, 11], communication [5], professionalism [2, 4, 5, 11, 12], time management, and organization skills [5, 10, 13].
의대생과 의사들은 고군분투하는 데 익숙하지 않다. 의대 선정은 높은 학업 능력을 필요로 하며, 의대생들은 성취에 익숙해져 있다. 결과적으로, 학업적인 실패에 직면했을 때, 많은 사람들은 [문제를 악화시키고 신속하게 적응하고 교정 작업에 집중하는 능력을 제한할 수 있는] 불균형적인 감정 반응을 경험할 수 있다. 어떤 환경에서는 실패의 경제적 부담(예: 재시험이나 과정)이 상당할 수 있으며, 이는 주로 학생이나[14] 프로그램[15]이 부담한다. 우리는 또한 일부 학습자가 자신의 어려움을 최소화, 외부화하거나 학교나 교수를 비난하고 있다는 것을 알고 있다[16, 17]. 감독관과 기관이 효과적인 교정조치를 제공하는 것이 훨씬 더 어렵다.
Medical students and physicians are not accustomed to struggling. Selection into medical school requires high academic ability, and medical students are used to achieving. Consequently, when faced with academic failure, many may experience disproportionate emotional reactions that can exacerbate the problem and limit their ability to adapt quickly and focus on remedial work. In some settings, there may be a significant economic burden of failure (e.g. retaking exams or courses) which is mostly borne by the student [14] or the program[15]. We also know that some learners minimize, externalize, and blame faculty and the institution for their struggles [16, 17], making it even more challenging for supervisors and institutions to provide effective remediation.
고군분투하는 학습자에게는, 모니터링, 상담 및 기타 비용이 많이 드는 교정조치 전략이 필요하며, 이는 프로그램 및 교수진에 큰 부담tax이 될 수 있다. 또한 프로그램의 무결성을 훼손하거나 동료의 경험에 부정적인 영향을 미칠 수 있다[18-20]. 또한, 의료 교육에서 잘 문서화된 'failure to fail'도 문제인데, 왜냐하면 왜냐하면 이로 인해 [유능하다고 볼 수 없는 의사의 전문직 진입을 막아내지 못하여] 의학이 사회와 맺은 사회적 계약에 어긋나기 때문이다.
the presence of a struggling learner requires increased monitoring, counselling, and other costly remediation strategies, which may tax program and faculty resources. It may also damage the integrity of the program or negatively influence the experience of peers [18–20]. In addition, the well-documented ‘failure to fail’ in medical education is troubling because it challenges the social contract medicine has with society by erring toward keeping marginally competent practitioners in the profession [21–23].
고군분투하는 학습자에게 근본적인 문제를 해결하지 않고, 그저 반복적으로 marginal pass를 주는 것이 일반적이다 [16, 24, 25]. 프로그램은 때때로 교정조치에 있어 학습자를 부적절하게 재평가하여 교정조치가 성공적이었는지 확인하지 못했다[26]. 그러나 궁극적으로 의료계는 높은 품질, 안전, 전문적 관리에 대한 사회적 책임을 다하는 학습자를 졸업시킬 책임이 있다[27].
It is common to give struggling learners repeated marginal passes that avoid addressing the underlying problems [16, 24, 25]. Programs sometimes inadequately reassess learners in remediation, failing to ensure remediation was successful [26]. Ultimately, however, the medical profession has a responsibility to ensure that it will graduate learners that fulfil its social responsibility for high quality, safe, professional care [27].
더욱이 훈련생과 미래 환자의 법적 결과에 대해 우려하는 기관[21]은 교정조치 및 보호관찰에 대한 공식적인 정책을 의도적으로 회피할 수 있다[32]. 이러한 현상은 전체 기관 문화에 함께 기여하며, 어려움을 겪고 있는 학습자의 효과적인 식별과 개입을 위한 장벽을 형성하며, 이들 대부분은 곧(또는 이미) 실제 의사가 될 것이다.
Moreover, institutions, concerned about legal consequences from trainees and future patients [21], may intentionally avoid having official policies on remediation and probation [32]. These phenomena, which together contribute to overall institutional culture, create barriers to effective identification of, and intervention with, struggling learners, most of whom will soon be (or are already) practising physicians.
방법
Methods
본 지침은 본 분야에서 장학금을 발행한 4개국에 기반을 둔 의료 교육자 전체의 전문가 의견의 일치에 기초하고 있으며, 의료 교육에서의 교정조치에 관한 문헌을 대상으로 한 검토로 보완되었다.
These guidelines are based on consensus of expert opinion across medical educators based in four countries who have published scholarship in this area, supplemented with a targeted review of the literature on remediation in medical education.
Results (Tab. 2)
Part I. System level/Contextual issues
우리는 ‘[기대를 설정하고 피드백을 제공하며 사려 깊고 지속적인 평가를 제공함으로써] 잠재적으로 발생가능한 많은 문제 상황을 방지할 수 있다’는 스타인어트의 주장에 동의한다[18]. 우리는 학습자들이 일반적으로 고군분투하는 이유는, 부분적으로 교육제도가 실패하게 만들기 때문이라는 것에 주목한다. 우리는 많은 경우에 학습자 투쟁의 근본적인 원인은 인간과 시스템 고장 사이의 인터페이스에서 환자 관리 오류가 발생할 수 있는 방법과 유사한 일련의 학습 컨텍스트에 위치한다고 주장한다[35].
We agree with Steinert’s statement: ‘Many potentially difficult situations can be prevented by setting expectations, giving feedback, and providing thoughtful, ongoing evaluation’ [18]. We note that it is common for learners to struggle partly because the educational system has failed them. We assert that, in many cases, the underlying cause of learner struggles is situated in a series of misalignments between them and the learning context, akin to how patient care errors may arise from the interface between human and systems failures [35].
예를 들어, 학생이 지식 시험이나 임상실습에 불합격할 때, "특정 시험을 위한 수업"과 같은 손쉬운 해결책을 가지고, 이것을 고립된 사건으로 취급하는 것은 거의 도움이 되지 않는다[7, 17, 36]. 교정조치는 development나 alignment의 부적응maldaptive 패턴을 감지하기 위한 분석에 기초할 때 가장 성공적이다. 교정조치는 대체로 개별 학습자에게 초점을 맞추지만, 이상적으로는 프로그램에 피드백을 주어야 하며, (궁극적으로 프로그램을 개선하여) 더 많은 학습자에게 이익이 되는 조정으로 이어져야 한다.
For example, when a student fails a knowledge exam or a clerkship, it is rarely helpful to treat it as an isolated event addressed by a quick fix, such as teaching to a specific exam [7, 17, 36]. Remediation is most successful when based on an analysis to detect patterns of maladaptive development or alignment. Though remediation work typically focuses on the individual learner, it should also ideally feed back to the program and lead to adjustments that ultimately benefit a larger group of learners.
가이드라인 1. 학습자가 일반적으로 교정조치가 필요하다는 것을 전체 의료 교육 커뮤니티에 광고하십시오. 이 정보는 모든 학습자에게 제공되며 제공됨(임시적)
Guideline 1. Do advertise to the entire medical education community that learners commonly need remediation, which is resourced and available to all learners (tentative)
[교정조치에 대한 예측 가능한 필요성을 개방적으로 인정하는지, 의료교육에서 교정조치의 낙인을 찍는지, 적절하게 자원을 조달하는지의 여부]는 해당 기관의 문화를 반영한다[37]. 의료 교육 프로그램은 전통적으로 교육에 대한 deficit에 기초한 접근방식을 사용해 왔으며, 그 결과 학습자는 부정적인 꼬리표를 피하기 위해 더 깊은 이해보다는 표면 성과에 초점을 맞추도록 유도되었다[38].
Whether or not an institution openly acknowledges the predictable need for remediation and works to destigmatize and adequately resource remediation in medical education is a reflection of the culture of that institution [37]. Medical education programs have traditionally used deficit-based approaches to education, which can encourage learners to focus on surface performance rather than deeper understanding to avoid negative labels [38].
보다 최근에는 프로그램들이 역량 기반 접근법의 채택을 증가시켰는데, 이 접근방식은 훈련에 소요되는 시간을 강조하지 않고, 역량 획득의 개발적, 어쩌면 시간적으로 변동할 수 있는 성격을 강조한다[39]. 이 모델에서, 대부분의 학생들은 한두 번의 지원은 필요할 수 있다.
More recently, programs have increased adoption of competency-based approaches, which de-emphasize time spent in training and emphasize the developmental, possibly time-variable, nature of the acquisition of capacities [39]. In this model, many, if not most, students might need support at one time or another [27].
실제로, 우리는 현 시대에 모든 의료 전문가들이 필요로 하는 적응력을 개발하기 위해 학습, 자기 계발, 개인 개발, 복원력 구축 및 피드백으로 실천할 수 있는 기회로서 교정조치의 명시적 재구성을 지지하고 있다[27, 40, 41]. 이 목표는 프로그램 리더쉽과 교수진들이 실질적인 방법으로 이 접근법을 구현할 것을 요구한다. 학습자와 ‘교육 동맹’이 형성되는 문화를 채택하는 것은, 결손deficit에 기초한 접근보다는, 그 사람에 대한 무조건적인 긍정적 평가가 있는 문화를 채택하는 것은 성장 마인드를 지원할 수 있다[42-44].
Indeed, we advocate explicitly reframing, and thereby destigmatizing, remediation as a special zone of learning, self-improvement, personal development, resilience building, and an opportunity to practise with feedback, all to develop the adaptive capacity needed by all medical professionals in the current era [27, 40, 41]. This goal requires that program leadership and faculty embody this approach in substantial ways. Adopting a culture in which ‘educational alliances’ are formed with learners, where there is unconditional positive regard for the person rather than taking a deficit-based approach, can support a growth mindset [42–44].
제도 기반의 프로그래밍 방식에서는 교정조치가 정상화normalize된다. 예를 들어, 한 학교는 업무의 만족스러운 완료를 요구하는 투명한 학문적 정책을 수립하고 어려움을 겪고 있는 학생들의 조기 식별과 지원을 촉진할 때 자발적인 교정조치에 참여하는 학생들의 비율을 40%에서 거의 70%로 증가시켰다[45]. 따라서 우리는 교육과정에서 학습자가 교정조치 서비스를 필요로 할 수 있다는 기대를 명시적으로 광고하고, 이러한 서비스에 접근하는 방법을 학습자에게 지시할 것을 강력히 권장한다.
An institutionally-based programmatic approach normalizes remediation. For example, one school increased the percentage of students attending voluntary remediation sessions from 40% to nearly 70% when it instituted a transparent academic policy that required satisfactory completion of tasks and facilitated early identification and support of struggling students [45]. Accordingly, we strongly encourage programs to explicitly advertise an expectation that learners may require remediation services and to direct learners on how to access these services.
가이드라인 2. 학습자의 개선을 유도하는 강력한 피드백 문화를 개발하십시오.(중등도)
Guideline 2. Do develop a robust feedback culture that impels learner improvement (moderate)
강력한 피드백 문화의 중요성은 효과적인 교육의 가장 문서화된 측면 중 하나이다 [34, 4648]. 모든 학습자는 면밀한 관찰, 효과적인 피드백 및 지속적인 형태적 평가로부터 이익을 얻는다[34]. 학습자가 현재 진행 중인 피드백 프로세스에 완전하고 능동적으로 몰입하면 이상적인 의료 행위를 특징짓는 평생 학습에 대한 동기 및 참여가 증가한다 [31, 49]. 어떻게 임상 교사들이 학생들에게 피드백을 제공하도록 지원할 것인가는 여러 해 동안 연구 활동의 초점이었다[50, 51]. 불행히도, 학생들은 지속적으로 그들이 받는 피드백에 불만을 보고한다.
The importance of a robust feedback culture is one of the best-documented aspects of effective education [34, 46–48]. All learners benefit from close observation, effective feedback, and ongoing formative assessment [34]. Immersing learners fully and actively in ongoing feedback processes increases their motivation and engagement in the lifelong learning that characterizes ideal medical practice [31, 49]. Identifying how best to support clinical teachers in delivering feedback to students has been a focus of research activity for many years [50, 51]. Unfortunately, students consistently report dissatisfaction with the feedback they receive [52–54].
멀티소스 피드백은 개선을 위한 권고사항의 영향을 강화한다.
Multisource feedback enhances the impact of recommendations for improvement.
신뢰할 수 있고 대화적이며 학습자 중심적이며 투명한 프로그램 피드백 문화를 확립하는 것은 고군분투하는 학습자가 성능 향상을 달성하고 유지하는 데 특히 중요하다. 이렇게 해야, 의료 교육 프로그램의 모든 구성원이 프로그램의 다른 구성원으로부터 피드백을 주고 받을 것을 기대하고 존중하게 된다.
Establishing a trustworthy, dialogic, learner-focused and transparent programmatic feedback culture [56, 57], where all members of the medical education program are trained to give, receive, expect and respect feedback from all other members of the program, is especially important in helping struggling learners attain and maintain performance improvements.
가이드라인 3. 선발 및 평가 시스템을 원하는 결과 및 졸업 성과에 맞춰 조정(강함)
Guideline 3. Do align selection and assessment systems with desired outcomes and graduate qualities (strong)
앞에서 언급한 바와 같이 교정조치는 개별적인 수준에서 개입하는 것 이상을 포함한다. 세계적으로, 전통적으로 의학 교육에 참여하지 않은 그룹들을 통합하는 것에 대한 관심이 증가하고 있으며, 따라서 전문 교육으로 전환하는 데 도움이 필요할 수도 있다. 학생들의 다양성을 증가시키는 것은 ‘알아서 수영하거나 빠져죽거나’가 아닌 의료 교육에서 지원 문화를 보장하기 위해 선발, 평가 및 지원 시스템을 조정할 필요성을 강조해왔다.
As mentioned earlier, remediation involves more than intervening at an individual level. Globally, there is increasing interest in incorporating groups who have not traditionally participated in medical education and therefore may need help transitioning to professional education. Increasing the diversity of students has highlighted the need to align selection, assessment, and support systems, to ensure a culture of support in medical education rather than one of ‘sink or swim.’
선발은 의료 교육에서 첫 번째, 그리고 아마도 가장 중요한 평가다[58]. 필요한 학문적, 대인관계에 기초하여 지원자를 식별할 수 있는 공정하고 정확한 선발 과정을 개발하는 ‘비인지적’ 기준을 마련하는 것은 쉽지 않다[59, 60]. 이는 ‘좋은 의사’의 역량을 정의하고 이를 성과기반 선발절차의 기초로 사용함으로써 가장 잘 달성될 가능성이 높다[61-63].
Selection is the first, and perhaps most important, assessment in medical education [58]. Developing a fair and accurate selection process capable of identifying applicants based on the necessary academic and interpersonal, ‘noncognitive’ criteria is challenging [59, 60]. This is likely best achieved by defining the competencies of a ‘good doctor’ and using them as the basis of an outcome-based selection procedure [61–63].
이후의 모든 평가, 커리큘럼 및 가르침은 높은 수준의 공정성, 신뢰성 및 타당성을 포함해야 하며, 졸업생에게 기대하는 지식, 태도 및 행동과 이상적으로 일치해야 하며, 궁극적으로 실천하는 임상의[64, 65]
All subsequent assessments, curricula and teaching must incorporate high degrees of fairness, reliability, and validity, and should ideally align with the desired knowledge, attitudes, and behaviours expected from graduates, and ultimately practising clinicians [64, 65].
가이드라인 4. 재교육의 필요성을 줄일 수 있는 전략 수립(강함)
Guideline 4. Do construct strategies aimed at averting the need for remediation (strong)
교정조치의 필요성을 잠재적으로 방지할 수 있는 두 가지 특정 전략에 대한 강력한 증거가 있다: 인출 연습과 서포트 그룹.
there is strong evidence for two specific strategies that can potentially prevent the need for remediation: retrieval rehearsal and support groups.
자주 퀴즈를 내거나 리허설을 하면 지식 시험 성적이 향상된다[66, 67]. 한 연구는 광범위한 환경에서 지식을 보유하는 것에 대한 인출 연습을 뒷받침하는 강력한 증거[68-70] 외에, 강의 전후에 객관식 질문을 통해 시험을 치른 레지던트들이 이비인후과학 시험에서 그들의 성과를 향상시켰다는 것을 보여주었다. [71].
Frequent quizzing, or retrieval rehearsal, improves performance on knowledge exams [66, 67]. In addition to strong evidence in support of retrieval rehearsal on the retention of knowledge from a wide range of settings [68–70], one study showed that residents who were tested with multiple choice questions before and after didactic lectures improved their performance on an otolaryngology in-training examination. [71].
암묵적 커리큘럼에 의해 육성된 많은 스트레스 요인은 향후 교정조치의 필요성에 영향을 미칠 수 있다. [특히 성적에 대한 기준과 기대가 주관적이고 자의적이고 기발하게 보이는] 임상실습 환경에서, 학생들은 끊임없이 평가받고 있다고 느끼고 있다고 보고한다[38, 72, 73]. 이러한 스트레스 중 일부를 완화할 수 있는 잠재력이 있는 것으로 보이는 전략은 자기 인식, 자기 관리 및/또는 주의 훈련의 증가를 목표로 하는 세션이 있는 facilitated support group이다[74-76].
Many stressors, particularly those fostered by the implicit curriculum, can influence the need for future remediation. Students report feeling that they are constantly being evaluated, particularly in the setting of clerkships where the criteria and expectations for grades are subjective and appear arbitrary and whimsical [38, 72, 73]. A strategy shown to have potential to alleviate some of that stress is the facilitated support group with sessions aimed at increasing self-awareness, self-care, and/or mindfulness training [74–76].
가이드라인 5 고군분투하는 학습자들 사이의 공통된 패턴을 인식함과 동시에, 고도로 개별화된 재교육 프로세스 운영(중간)
Guideline 5. Do deliver remediation as highly individualized processes while recognizing common patterns across struggling learners(moderate)
학습자마다 어려움은 많은 원인과 징후를 가지고 있기 때문에, (비록 필수적이지만), 단 하나의 프로그램이나 remediator가 효과적인 교정조치를 수행하는 데 필요한 모든 기술을 synthesize할 수는 없다. 따라서 효과적인 교정조치의 책임은 보완적 전문지식과 제도적 역할을 포함하는 팀에 있다. 특정 학습자를 위해 구성된 재교육 팀은 특정 분야(예: 의사소통 기술, 임상 추론), 학습 전문가, 표준화된 환자 트레이너, 정신 건강 전문가, 연설 코치 등 많은 분야에서 심층적인 전문지식을 갖춘 교원으로 구성될 수 있다[77, 78]. 팀 기반 접근방식은 고도로 맞춤화되고 다원화된 교정조치가 가능하여 고군분투하는 학습자가 성공해야 할 수 있다.
Because learner difficulties have a multitude of causes and manifestations, a single course/program director or remediator, while essential to guide and coordinate remediation, cannot adequately synthesize all the skills necessary to conduct impactful remediation. Therefore, the responsibility for effective remediation lies with teams that include complementary expertise and institutional roles. Remediation teams, assembled ad hoc for a particular learner, may comprise faculty with deep expertise in particular areas (e.g., communication skills, clinical reasoning), learning specialists, standardized patient trainers, mental health professionals, public speaking coaches, among many others [77, 78]. The team-based approach can allow for the highly customized, multipronged remediation that struggling learners need to succeed.
그러나 의료 학습자의 고군분투(지침 13 참조)에는 집단으로 효율적으로 대처할 수 있는 몇 가지 공통적인 패턴이 있다. 개별화된 경험과 집단 교정조치 경험은 모든 학생들에게 커리큘럼과 시스템 개선에 활용되어야 한다.
However, there are some common patterns to the struggles of medical learners (see Guideline 13) that can be addressed efficiently in groups. Both individualized and group remediation experience should informcurricular and systems improvements for all students.
가이드라인 6. 충분히 주의하여 교정 정보를 '피드 포워드' (중간)
Guideline 6. Do ‘feed-forward’ remediation information, with an abundance of caution (moderate)
학습자 인계는 때로는 '피드 포워드'라고도 한다. 그러나 후속 과정 감독자나 임상 감독자가 고군분투하는 학습자에 대한 정보를 받는 교정조치 관행의 논란의 여지가 있는 영역이다.
일부 학습자를 포함하는 이 관행의 주요 비판자는 학습자가 부당한 대우를 받는 명시적이든 암시적이든 낙인 및 편견에 시달릴 수 있다는 우려를 우선시한다[79].
반면에, 다른 이들은 정보의 연속성이 부족하면 어려움을 겪고 있는 학생들을 조기에 식별하고 효과적으로 개입할 수 있는 교정자의 능력을 방해한다고 주장한다 [25, 29, 80-83].
Learner handover, sometimes termed ‘feeding forward’, is a controversial area of remediation practice where subsequent course directors or clinical supervisors receive information about struggling learners. The main detractors of this practice, which include some learners, prioritize their concerns that learners may suffer from stigmatization and bias, explicit or implicit, that result in unfair treatment [79]. On the other hand, others argue that lack of continuity of information hinders the early identification of struggling students and the remediators’ ability to intervene effectively [25, 29, 80–83].
학습자 인계에 대한 접근방식은 매우 다양해 보인다. 예를 들어, 미국 학교의 약 절반은 그들이 이 관행을 하고 있다고 주장하며, 많은 학교들은 이 문제에 대한 공식적인 정책이 없다[84]. 학습자 인계에 대한 프라이버시 우려가 제기될 수 있지만, 일부 환경에서는, 교육적 이해관계가 합법적인 대학 관계자들이 명시적인 학생 동의 없이 그러한 활동에 합법적으로 참여할 수 있다[85-87].
The approach to learner handover appears to be highly variable. For example, approximately half of US schools claim that they do (or don’t) engage in the practice, and many schools lack a formal policy on this issue [84]. Though privacy concerns about learner handovers may arise, in some settings, university officials with legitimate educational interests may legally engage in such activities without explicit student consent [85–87].
고군분투하는 학습자를 교육적 목적으로 인계하는 것에 대해서, 잠재적인 해악과 편익에 대한 증거가 있어, 그렇게 하는 것에 대한 판단을 복잡하게 만든다. 대부분 비의료적 환경에서 학습자 인도를 평가하는 최근의 범위 검토에서는 성과에 대한 사전 정보가 후속 등급에 편중되며 부정적인 사전 정보가 긍정적인 사전 정보보다 더 큰 영향을 미칠 수 있다는 일부 증거가 제시된다[88]. 그러나 정보를 공유하기 위해 특정 성능 표준을 사용하면 후속 판단의 편견을 완화할 수 있다[89]. 우리가 확인할 수 있는 한, 교육적인 목적을 위해 고군분투하는 학습자에 대한 정보를 공유하는 것에 반대하는 법적 사례는 미국에서 제기되지 않았다.
There is evidence for both potential harms and benefits of educational handovers about struggling learners, making the judgment about doing so complex. A recent scoping review evaluating learner handovers in a wide variety of mostly nonmedical settings, suggests that prior information about performance biases subsequent ratings, with some evidence that negative prior information may exert a larger effect than positive prior information [88]. However, using specific performance standards to share information may mitigate bias in subsequent judgments [89]. As far as we have been able to ascertain, there has been no legal case raised in the US against sharing information about a struggling learner for educational purposes.
사전 커리큘럼의 프로그램 리더들이 학생에 대한 정보를 후속 모듈 리더에게 전달할 때, 그것은 고군분투하는 학생들을 식별하는 데 도움이 되며, 학생 실패에 대한 책임을 분산시킴으로써 'failure to fail'을 줄이고, 일부 학생에 대한 우려를 감소시키며, 전문성 문제의 탐지를 증가시킨다[24]. 마지막으로, 단순히 위험에 처한 학생에 대한 정보를 공유하는 것(예: 저소득층 배경)은 고군분투하는 학습자에게 더 많은 자원을 제공하고 성적을 향상시켰다[90].
when program leaders of a pre-clerkship curriculum feed-forward information about students to the subsequent module leader, it helps identify struggling students, reduces ‘failure to fail’ by distributing responsibility for failing a student, reduces concerns about some students, and increases the detection of professionalism problems [24]. Finally, simply sharing information about students at risk (e.g. from low-income backgrounds) resulted in more resources for struggling learners and improved grades [90].
의료전문직의 사회적 계약에 따르자면, 우리는 학습자 인계는 대부분의 경우 정당화될 수 있는 관행이라고 믿는다. 따라서 우리는 프로그램이 이러한 관행을 다음과 같은 강력한 경고와 함께 공식적으로 제도화할 것을 권고한다.
학생의 지식에 대해서 인계하는 것이며, 사생활에 대해서 민감성을 갖는다.
효과적인 교정조치 전략으로 이어질 가능성이 높은 특정 성능 표준에 근거한 low-inference 정보로 구성된다.
교정조치 목표를 지원할 수 있는 다른 교직원들과만 공유한다(지침 24 참조).
We believe that the learner handover is a practice which is in most cases justified by our profession’s social contract. We therefore recommend that programs formally institutionalize this practice with strong caveats: that it occurs with the student’s knowledge and sensitivity to the student’s privacy, consists of low-inference information based in specific performance standards that are likely to lead to an effective remediation strategy, and is shared only with other members of the faculty who can support the remediation goals (see Guideline 24).
가이드라인 7. 최전선 교육자에 대한 교수진 개발 및 가시적 지원 제공, 고군분투하는 학습자의 조기 식별, 효과적인 개입 및 적절한 의뢰 (임시적)
Guideline 7. Do provide faculty development and tangible support for frontline educators in early identification of, effective interventions for, and appropriate referral of struggling learners (tentative)
교수 remediator들은 일반적으로 교정조치 수행 능력에 대한 신뢰도가 낮다[91]. 특히 전문직업성에 대한 교정에 대해 그렇다[92]. 많은 교수진들은 무엇이 허용되고 무엇이 표준에 부합되지 않는지 확인하는 데 대해 확신하지 못하는 반면, 더 경험이 많은 교수진들은 더 효과적으로 교정할 수 있을 것이다 [93, 94].
Faculty remediators generally have low confidence in their ability to conduct remediation [91], particularly in professionalism[92]. Many faculty are unsure about identifying what is permissible and what does not meet the standard [22],while more experienced faculty likely remediate more effectively [93, 94].
교정조치는 대부분의 교직원에게 할당되거나, 교수들이 예상하는 것보다 훨씬 더 많은 시간, 전문지식 및 자원을 필요로 한다[95, 96]. 한 연구는 효율성과 조직력을 다루는 데 필요한 교수 시간의 수를 고군분투하는 거주자당 25-75시간으로 정했다[13]. 우리는 교정조치 참여가 자발적으로만 이루어질 수 없으며, 적절한 보수를 받는 고도로 숙련된 사람들에 의해 이루어져야 한다고 믿는다.
Remediation requires much more time, expertise and resources than most faculty allocate or expect [95, 96]. One study placed the number of faculty hours needed to address efficiency and organizational skills at 25–75hours per struggling resident [13]. We believe that remediation cannot be done solely on a voluntary basis and should be done by highly experienced people who are remunerated adequately.
교정조치와 관련한 교수개발은 개별적으로 그리고 제도적으로 초점을 맞춘 역량 구축 프로세스를 필요로 한다. 교정 작업에 특정한 역량, 교사 속성, 학습 이론 및 교육 전략의 집합이 제안되었다[97]. 교정 작업에 특정한 역량, 교사 속성, 학습 이론 및 교육 전략의 집합이 제안되었다[97]. 특히, 효과적인 교직원 교정자들은 다음을 할 수 있어야 한다.
모든 역량에 걸쳐 학습자의 성과를 판단한다.
촉진 기술을 개발한다.
효과적인 교정 작업에 부합하는 정서지능, 용기 및 태도를 배양한다.
우리는 특정 영역의 전문성 개발을 위하여, 선택적이고 의욕적인 교육자들의 실천공동체를 육성하기 위한 프로그램을 추천한다.
Faculty development for remediation requires both individually and institutionally focused capacity building processes. A set of specific competencies, attributes of teachers, theories of learning, and teaching strategies specific to remediation work have been proposed [97]. In particular, effective faculty remediators must be able to
judge the performance of medical learners across a full range of competencies,
develop facilitation skills, and
cultivate emotional intelligence, courage, and attitudes consistent with effective remediation work.
We recommend programs to build faculty development processes that nurture a community of practice of select, highly motivated educators that develop specialized domains of expertise.
가이드라인 8. [교정 프로세스를 수행하는 개인]과 [교정 결과를 결정하는 개인]을 분리한다.(임시적)
Guideline 8. Do separate the individuals conducting the remediation process from those who determine the outcome of remediation (tentative)
의학 교육에서 진급이나 제적 판단은 복잡하고 매우 중요한 것이다. 이상적으로, 경험 있는 교직원은 명시된 기대치에 대해 학습자의 성과를 신중하게 검토한 후 이러한 결정을 냉정하게 한다. 항상, 가용한 데이터에 상당한 불확실성이 존재한다.
Medical education promotion or dismissal judgments are complex and highly consequential. Ideally, experienced faculty make these decisions dispassionately, after careful contextual review of the learner’s performance against stated expectations. Invariably, significant uncertainty exists in the available data.
재교육자는 신뢰, 기밀성 및 경계 제한을 확립하기 위해 고군분투하는 학습자와 개인적으로 협력해야 한다[37, 41]. 따라서 본질적인 이해 상충을 피하고 방어 가능한 판단을 하기 위해, 연습생과 친밀한 교정조치를 수행하는 사람들은 최종 판결 결정을 내리는 동일한 사람이 되어서는 안 된다[37, 98]. 그러나 필요한 경험을 가진 교직원이 거의 없는 작은 기관에서는 난관이 될 수 있다.
Remediators must personally engage with the struggling learner in order to establish trust, confidentiality, and boundary limits [37, 41]. Therefore, to avoid inherent conflicts of interest and make defensible judgments, those conducting the intimate remediation with the trainee must not be the same people who make the final adjudication decisions [37, 98]. This can be a challenge in small programs with few faculty members with the necessary experience.
가이드라인 9. 적절한 과정을 보장하고, 개별 학생의 투쟁에 대한 공감을 사회에 대한 의료진의 책임과 균형을 유지하십시오(중등도).
Guideline 9. Do ensure due process, balancing empathy for individual students’ struggles with the medical profession’s responsibility to society (moderate)
학습자, 특히 도움을 가장 필요로 하는 일부 학습자들은 일반적으로 자신을 노출하는 것을 좋아하지 않으며 아마도 부당하게 'struggling'으로 분류되는 것을 두려워할 수 있다. 당황한 학습자들에게는, 개인의 프라이버시가 보호된다는 것을 아는 것이 도움이 될 수 있다[6, 83, 99]. 과정은 공정하고 기밀이어야 하며 학습자가 가능한 한 프로세스와 해고를 포함한 잠재적 결과에 대해 잘 알고 있어야 한다는 점에서 정보에 입각한 동의를 포함해야 한다.
Learners, particularly some who most need help, commonly do not like to expose themselves and may fear they have been labelled, perhaps unfairly, as ‘struggling’. It can be helpful for the embarrassed learner to know that any individual’s privacy will be protected [6, 83, 99]. The process must be fair and confidential and include informed consent, in that the learner should know as much about the processes and potential outcomes, including dismissal, as possible.
제도적 정책은 다음을 뒷받침해야 한다.
의사 결정과 교정조치의 이유를 기술하는 팀 구성원 간의 신중한 문서화 및 커뮤니케이션
또한 개별화된 교정조치 계획(목표, 교육 전략 및 평가 포함)과 진행될 일의 순서
각 교정조치 영역, 보고 구조, 시간 프레임 및 의사결정을 책임지는 사람[22].
Institutional policies must support
careful documentation and communication among team members delineating the decision and the reasons for remediation,
a written individualized remediation plan (with goals, instructional strategies, and assessments) as well as the sequence of events, and
who is responsible for each remediation area, reporting structure, time frame, and decision making [22].
Supporting data가 핵심이다. 여기에는 개입 계획 및 학습 계약, 관찰된 결과 및 학습자 및 동료와의 지속적인 토론 요약을 포함한다[37]. 개별 연습생에게 공정한 과정을 보장해야 할 책임이 있지만, 의료 교육이 유능한 의사를 배출하는 사회와의 계약을 이행하는 것도 마찬가지로 중요하다[37, 98].
Supporting data are key, including the intervention plan and learning contract, observed outcomes, and ongoing summaries of discussions with learners and colleagues [37]. While there is a responsibility to ensure fair process for the individual trainee, it is equally important that medical education fulfils its contract with society to produce competent physicians [37, 98].
가이드라인 10. 의료 교육을 선택하지 않거나 완료할 수 없는 자에 대한 동정적 대안 경로를 만들 것(임시적)
Guideline 10. Do create compassionate alternative pathways for those who do not choose to or cannot complete medical training (tentative)
대부분의 학생들이 입학한 모든 학습자가 자신이 시작한 보건 전문 프로그램을 졸업할 수 있거나 졸업해야 하는 것은 아니라는 것에 동의하지만, 이러한 학습이 교정조치 정책 및 관행에 어떻게 영향을 주고 어떻게 영향을 미치는지에 있어 지역적 차이가 크다.
While most would agree that not every learner who is admitted can, or should, graduate from the health profession program they start, there is great regional variation in how this manifests and impacts remediation policy and practice.
대체 진로에 대한 실행 가능한 옵션에 대한 카운셀링을 개발하여 모든 의료 훈련생이 이용할 수 있도록 해야 한다. [의과대학에 입학하는 많은 사람들이 졸업을 하지 못하는 나라에서 행해지는 대체 경로에 대한 연구]는 다른 나라에도 정책개발에 도움이 될 것이다[100, 101].
Counselling on viable options for alternative career paths must be developed and made available to all medical trainees. Studies of alternate pathways taken in countries where many who enter medical school do not finish would inform the development of such policies elsewhere [100, 101].
제2부. 재교육 적용 프로세스
Part II. The remediation process
위의 시스템 수준 지침은 매우 중요하지만, 궁극적으로 교정조치 프로세스는 어려움을 겪고 있는 특정 학습자의 요구에 따라 매우 개별화된다. 재교육이 효과적이려면
학습자를 식별해야 한다.
문제 영역이 명확해야 한다
근본적인 원인 또는 설명을 탐구하고 이해해야 한다
유연한 교정조치 개입을 만들고 시행해야 한다.
진척도를 평가해야 한다.
While the systems-level guidelines above are critically important, ultimately the remediation process is highly individualized to the needs of the particular struggling learner. For remediation to be effective,
the learner must be identified;
the areas of struggle clarified;
underlying causes or explanations explored and understood [18];
a flexible remediation intervention crafted [3, 90, 102, 103] and implemented; and
progress assessed.
교정조치에 대한 책임은 과목 책임교수나 또는 프로그램 책임자에게서 시작한다. 설명과 개입의 작업은 대부분 remediator-learner dyad 내에서 수행된다. 마지막으로, 책임은 과정 또는 프로그램 책임자에게 돌아가 결과를 평가한다. 궁극적으로는 처분 판단이 필요하다(지침 8 참조).
Responsibility for remediation starts with course or program directors. The work of the clarification and intervention is mostly conducted within the remediator-struggling learner dyad. Finally, the responsibility returns to course or program directors for assessment of outcome. Ultimately a disposition judgment needs to be made (see Guideline 8).
뛰어난 교정조치 대응의 중심 요소는 숙련된 피드백을 통해 결함을 직접 해결하는 적절하고 달성 가능한 개입 또는 학습 계획의 수립이다[34]. 이것은 종종 임상 환경에서는 직접 관찰에 기초한다[104]. 그러나 어려움을 겪고 있는 개별 학습자를 위한 교정조치 계획은 결코 그것만 혼자서 존재하지 않는다. 앞서 언급한 바와 같이 교정조치는 교육과정의 다른 학생들에게도 정서적 영향과 자원적 비용을 유발한다.
The centrepiece of excellent remediation responses is establishment of an appropriate, achievable intervention or learning plan that directly addresses the deficiencies via skilled feedback [34], often based on direct observation in clinical settings [104]. However, remediation plans for individual struggling learners never exist in isolation. As previously mentioned, remediation exerts emotional impacts on and resource costs to other individuals in the program.
예를 들어, 한 학습자에 대한 교정조치 개입은 특히 고군분투하는 학습자의 교정조치 활동에 필요한 시간을 충당하기 위해 추가 의무를 부과해야 하는 경우에, 동료들에 의해 부당한 특별 대우로 인식될 수 있다. 우리는 프로그램 리더쉽이 고군분투하는 학습자의 프라이버시에 대한 존중을 유지하면서, 또래들에게 명확하고, 지지적이며, 공감할 수 있는 예상 지침을 제공할 것을 권고한다.
For example, remediation interventions for one learner may be perceived by peers as unfair special treatment, especially if it requires those peers to assume extra duties to cover the time needed for the struggling learner’s remediation activities. We recommend that program leadership provides clear, supportive, empathic anticipatory guidance to peers of struggling learners, while maintaining respect for the remediating learner’s privacy.
가이드라인 11. 재교육 적용의 필요성을 조기에 감지(중등도)
Guideline 11. Do aim to detect a need for remediation early (moderate)
많은 역량 영역에서, 어려움을 겪고 있는 학습자의 조기 식별은 교정조치의 성공을 극대화할 수 있다. 지식 결핍의 경우, 의과대학의 전임상실습 단계의 어떤 평가이든, struggle한 경우는 나중의 저조한 성과를 예측한다 [22, 105-107].
Early identification of learners who struggle in many competency areas can maximize the success of remediation interventions. For knowledge deficits, early struggle on any assessment in the pre-clerkship phase of medical school predicts later underperformance [22, 105–107].
영국의 한 의과대학에서 고군분투하는 학생들에 대한 분석은 시험 수행, 비전문적 행동, 건강 문제, 사회 문제 및 필요한 예방접종을 놓치는 것을 포함한 예측 변수의 조합이 전임상실습 단계에서 교정조치의 필요성을 증가시킬 수 있다고 제안했다[108]. 또 다른 영국의 의과대학에서는, 의과대학 시작 후 4, 7, 12개월에 고생하는 전임상 학생들의 조기 식별이 일어났을 때, 과거 통제와 비교해서 더 많은 학생들이 지원 서비스에 참여했고, 일대일 교정 서비스에 종사하는 학생들은 점원 전 연구를 성공적으로 완료할 가능성이 더 높았다[45].
Analysis of struggling students at one UK medical school suggested that a combination of predictors, including performance on examinations, unprofessional behaviour, health problems, social problems, and missed required vaccinations, may augur the need for remediation in the pre-clerkship phase [108]. At another UK medical school, when early identification of struggling preclerkship students occurred at 4, 7, and 12 months after starting, more students participated in supportive services, compared with historical controls, and those engaging in one-on-one remediation services were more likely to successfully complete pre-clerkship studies [45].
임상실습시기에 고군분투하는 학생들을 조기에 식별하는 데 영향을 미치는 매개변수를 규정하는 문헌도 있다. 전임상시기의 지식과 초기 임상 수행능력은 영국[97], 네덜란드[105] 및 아랍에미리트[109]의 의료 학교에서 worplace 기분 임상 성과를 예측한다. 낮은 임상실습 점수와 의사소통 기술 또는 전문성에 대한 학생의 발전 부족은 foundational clekrship 종료 시 주어지는 높은 수준의 임상 기술 검사의 환자-공급자 상호작용 부분의 실패를 예측한다[110]. 재교육에 refer된 학생들은 인턴쉽에서 낮은 점수를 받을 가능성이 높았고 USMLE 3단계 [111]에 불합격할 가능성이 더 높았다. 게라시오는 이전에 대인관계 기술 결손이 확인된 3명의 의대생들이 어떤 레지던트 프로그램과 일치하지 않았기 때문에 그들의 의료 훈련을 계속할 수 없었다고 보고했다[3].
There is some literature that defines parameters that influence early identification of struggling students in clerkships. Pre-clerkship knowledge and early clinical performance predict workplace-based clinical performance in medical schools in the UK [97], the Netherlands [105],and United Arab Emirates[109]. Low clerkship ratings and lack of student progress on communication skills or professionalism concerns predict failure on the patient-provider interaction portion of a high-stakes clinical skills examination given at the end of foundational clerkships [110]. Students referred for remediation after their internal medicine clerkship were more likely to receive poor ratings in internship and fail USMLE Step 3 [111]. Guerrasio reported that three medical students with previously identified interpersonal skills deficits did not match into any residency program and therefore could not continue their medical training [3].
프로페셔널리즘의 실수는 의과대학에서 미래에 발생할 struggle을 예측하며, 아마도 실제로는 그 이상일 것이다. Papadakis [112]는 의대 첫 2년 동안 낮은 MCAT 점수(예전 의대)와 낮은 성적은 후속 징계 조치의 7%의 위험을 수반하지만, 같은 기간의 비전문적 행동의 식별은 이 위험을 26%로 증가시킨다는 것을 보여주었다. [전임상실습 교육과정에서는 3회 이상의 출석 요구 세션의 무단결근 및 부정적 동료 평가]와 [임상실습 기간의 비전문적 행위]와 관련이 있다[113].
Professionalism lapses predict future struggles in medical school and probably much more. Papadakis [112] showed that while low MCAT scores (pre-medical school) and low grades during the first 2 years of medical school carry a 7% risk of subsequent disciplinary action as practising physicians, identification of unprofessional behaviour in that same period increases this risk to 26%. In a pre-clerkship curriculum, three or more unexcused absences from attendance required sessions and negative peer assessment correlate with unprofessional conduct during clinical years [113].
성격 척도는 학업적 struggle을 예측할 수 있는 힘이 거의 없는 것처럼 보이지만 [114, 115] 행동과 성격 사이에는 연관성이 있을 수 있다. 의과 대학 시절 비전문적 행동을 보인 의사는 캘리포니아 심리학 자료의 6가지 척도 중 4가지에서 낮은 점수를 받았다[116]. 마지막으로, 불충분한 전문직업성은 임상 기반 학습자나 개업의가 미국 한 기관의 공식적인 보호 관찰 상태에 배치되는 통계적으로 중요한 예측 변수였다[3].
While personality measures seem to have little power to predict academic struggles [114, 115], there may be an association between behaviour and personality. Physicians who demonstrated unprofessional behaviour during medical school scored lower on four out of six scales of the California Psychological Inventory [116]. Finally, poor professionalism was the only statistically significant predictor for placement of clinically-based learners or practitioners on official probationary status at one US institution [3].
이러한 영역에서 성능이 떨어지는 학습자에게 조기에 개입하기 위하여, 그리고 학습자를 'struggling'이라고 조기 낙인찍을 때 나타날 수 있는 부정적인 결과를 완화하기 위해 최선의 접근법을 식별하기 위해서는 더 많은 연구가 필요하다(가이드라인 25).
However, more work must identify the best approaches to intervene early with underperforming learners in these domains and to mitigate the potential negative consequences of early labelling of a learner as ‘struggling’. (Guideline 25).
가이드라인 12. 사례 컨텐츠 전반에 걸쳐 여러 소스에서 관련 데이터를 수집하십시오(강함).
Guideline 12. Do collect relevant data from multiple sources across case content (strong)
이상적으로, 다중 소스 피드백은 단일 관측 도구 또는 비공식 작업 공간 기반 관찰보다 정확한 식별과 효과적인 교정조치가 용이하다[117]. 그러나 [복수의 증거를 축적하기 위해 기다리는 것]은 [고군분투하는 학습자의 식별 지연의 위험]과 균형을 이루어야 한다. 일단 고군분투하는 학습자가, 대개 객관적인 측정(예: 불합격 시험)의 결과로 확인되거나, 학습자가 예상된 능력을 입증하지 못하고 있다는 임상 교사의 우려가 확인되면, 추가 성과 데이터를 검토하는 것이 필수적이다.
Ideally, multisource feedback facilitates accurate identification and effective remediation more than a single-rater tool or informal workplace-based observation [117]. However, waiting to accumulate multiple pieces of evidence must be balanced against the risk of delayed identification of the struggling learner. Once a struggling learner is identified, usually as a result of an objective measure (for example, a failed exam) or a clinical teacher’s concern that a learner is not demonstrating the expected competency, it is imperative to review additional performance data.
이 검토는 암묵적 편견의 잠재력에 대한 인식을 갖고 수행되어야 하며 [118] 임상 역량이 사례 특이성에 의해 크게 영향을 받으므로 단일 사례에 기초하여 결정되어서는 안 된다는 사실[119] 따라서 가능한 경우 하나 이상의 임상 영역에 걸쳐 둘 이상의 상황(예: 병원, 보행 클리닉)에서 복수의 직접 관찰을 권고한다. 그것은 또한 교정자가 퍼포먼스 패턴을 평가하기 위해 학습자의 학업 기록에 접근할 수 있는 경우에 도움이 될 수 있다.
This review must be done with awareness of potential of implicit bias [118]and the fact that clinical competence is greatly impacted by case specificity and should therefore not be determined based on a single case [119]. Accordingly, when possible, we recommend multiple direct observations in more than one context (e.g. hospital, ambulatory clinic) across more than one clinical domain. It can also help if remediators have access to the academic records of the learner in order to assess for performance patterns.
가이드라인 13. 교육 또는 직장 문제를 넘어서는 학습자 struggle의 여러 가지 원인을 탐구하십시오(강함).
Guideline 13. Do explore multiple causes of learner struggle beyond educational or workplace issues (strong)
비학업적 요인들은 일반적으로 학문적 struggle에 기여하거나 그 결과로서 나타난다. 여기에는 신체적(신규 의학 조건) 및 정신 건강 문제(정신적 질환, 성격 장애, 약물 남용 포함)와 이전에 진단되지 않은 학습 장애가 포함된다[78, 108]. 분명히, 젊은 성인들은 의료 훈련의 중요한 변종과 제약에 대처하는 법을 배우면서 가족과 재정적인 문제를 다루기, 문화와 공동체의 기대를 탐색하기, 계층 구조, 그리고 모든 것을 포함한 다른 스트레스 요인들을 경험할 위험에 처해 있다. 특히, 후배 의료 학습자들은 혼란스럽고 잘 조직되지 않은 의료 제공 시스템으로 자신의 고통과 좌절감을 관리하고, 잘 인식되거나 이해되지 않는 학습 환경[120], 윤리적 딜레마와의 인지 불협화음 [121, 122] 및 열악한 롤모델링 [94]에 적응해야 한다. 또한 여러 도메인에 걸친 평가를 통해서 기술 부족과 심각성 문제 사이에 overlap이 있는지 결정할 수 있다 [123]. 스트레스에 대한 반응은 적응적이거나 부적응적일 수 있기 때문에 [124, 125] 이러한 스트레스 요인에 직면하는 일부 학습자만이 학문적 struggle에 빠지게 된다.
It is common that non-academic factors contribute to or are a consequence of academic struggles. These include physical (new-onset medical conditions) and mental health issues (including psychiatric illness, personality disorders, substance abuse) and previously undiagnosed learning disabilities [78, 108]. Obviously, young adults are at risk of experiencing other stressors including juggling family and financial challenges, navigating cultural and community expectations, dealing with hierarchy, all the while learning to deal with the significant strains and constraints of medical training. In particular, junior medical learners must learn to manage their distress about and frustration with a chaotic and poorly organized healthcare delivery system and adjust to poorly perceived or understood learning environments [120], cognitive dissonance with ethical dilemmas [121, 122] and poor role modelling [94]. Assessment across multiple domains can also determine the overlap between skill deficits and attitudinal problems [123]. Because responses to stress can be adaptive or maladaptive [124, 125], only some learners facing these stressors may present with academic struggles.
국제 의료 졸업생, URM 훈련생, 기존에 fail을 경험한 연습생은 교정조치가 필요한 것으로 식별될 가능성이 더 높다[126]. 의학적으로 잘 표현되지 않은 소수 집단 학생들은 차별의 결과로 인한 스트레스의 위험에 처할 가능성이 있다. 의학의 저조한 소수민족 학생들은 불쾌하거나 해로운 심리적인 영향을 초래하는 명백한 차별뿐만 아니라 미미한 범죄의 정기적인 경험을 보고한다 [127 비백인 후보자들은 영국의 백인 후보들에 관해 충분히 수행하지 못했다[128]. 미국에서는 나이가 많거나, 아이를 갖거나, 미국 원주민이나 태평양 섬사람으로 자칭하는 의대생들이 중퇴하는 ‘serious thought’를 더 자주 한다. 이러한 집단들은 또한 중요한 정신사회적 스트레스 요인이 있는 학문적 문제의 더 큰 위험에 처해 있다[129]. 유사한 패턴은 다른 맥락에서 볼 수 있다[130].
International medical graduates, underrepresented minority trainees, older trainees, and trainees with prior failures are more likely to be identified as needing remediation [126]. Students from underrepresented minority groups in medicine are potentially at risk of stress from the consequences of discrimination. Underrepresented minority students in medicine report regular experiences of microaggressions as well as overt discrimination leading to unpleasant or harmful psychological impact [127]. Non-white candidates underperformed with respect to white candidates in the UK [128]. In the US, medical students who are older, have a child, or self-identify as Native American or Pacific Islander have more frequent ‘serious thoughts’ of dropping out. These groups are also at greater risk of academic problems with significant psychosocial stressors [129]. Similar patterns are seen in other contexts [130].
실제 능력과 무관하게, URM 학습자들은, 그들이 일반적으로 가지고 있는 부정적인 고정관념을 확인하는 것에 대해 불안해 할 때, 학업적 환경에서 저조한 성적을 낼 위험이 있다. 고정관념적 위협[131]이라고 불리는 이 현상이 의학 교육에서 작용한다는 것은 우리의 경험이었다. 고군분투하는 학습자 문제를 해결하기 위한 전략의 사전 검토에서, Steinert는 이 역동성에 대해 명시적으로 '누가 문제인가?'라고 질문한다[18]. 다양한 시스템 수준과 대인관계 개입은 고정관념을 부주의하게 강화하지 않기 위해 이러한 동적 평가와 구조 조정 평가에 대한 인식을 높이는 것을 포함하여 고정관념 위협의 영향을 감소시킨다. 사회, 제도 및 대인관계 개입이 차별을 감소시킬 때까지 교정자들은 이러한 역학 관계를 계속 알고 있어야 하며, 학생에 대한 지지도를 포함하여 성능 저하의 중요한 근본 원인을 다루는 교정조치 전략을 설계해야 한다[132].
Independent of actual ability, underrepresented minority learners are at additional risk of underperforming in academic settings when they become anxious about confirming commonly held negative stereotypes about them. It has been our experience that this phenomenon, called stereotype threat [131], is operative in medical education. In a prior review of strategies for addressing struggling learners, Steinert speaks to this dynamic by explicitly asking, ‘whose problem is it?’ [18]. A range of systems-level and interpersonal interventions reduce the impact of stereotype threat, including raising awareness of this dynamic and restructuring assessments to avoid inadvertently reinforcing stereotypes. Until societal, institutional, and interpersonal interventions reduce discrimination, remediators must remain aware of these dynamics and design remediation strategies which address the critical underlying causes of underperformance [132], including advocacy for a student.
Guideline 14. Do intervene proactively with struggling learners—do not rely on their initiative (strong)
고군분투하는 학습자가 식별되는 경우에도 조기 개입이 뒤따르지 않을 수 있다 [118]. 학습자가 자신을 과대평가하는 경향이 있어서, 자기 평가가 부정확하다[99, 133]. 특히 교정조치 프로그램에서, 고군분투하는 학습자의 약 7%만이 정확하게 재교육 프로그램에 self-refer했다. 정작 프로그램에 참여한 대다수 학생은 성과에 대한 만성적인 불안감을 가진 성취도가 높은 사람이었다[3]. 학업적으로 약한 학생과 피로를 겪는 학생들은 도움을 구하지 않는 경향이 있기 때문에 [129, 134] 시스템은 이러한 학습자를 식별하고 지원하기 위해 최선을 다해야 하며, 프로그램은 고군분투하는 학습자를 교정조치에 강제할 수 있는 역량, 지원 및 의지를 가지고 있어야 한다[6]. 교정조치에 동의하는 학생들은 거부하는 학생들에 비해서, 장기간에 걸쳐 시험성적을 개선한다는 것을 보여준다 [135].
Even when the struggling learner is identified, early intervention may not follow [118]. Weaker learners inaccurately self-assess, tending to overrate themselves [99, 133]. In remediation programs specifically, only about 7% of struggling learners accurately self-referred to one guidance program; the majority of people in the program were high achievers with chronic anxiety about performance [3]. Academically weaker students and those suffering burnout tend to avoid seeking assistance [129, 134], so the system must do its best to identify and support these learners and the program must have the capacity, support, and willingness to compel struggling learners into remediation [6]. Students who accept remediation demonstrate longer-term improvement in test-taking than those who decline [135].
가이드라인 15. 문제 해결을 위한 연습생에게 집중적인 종단적 튜터링을 실시하도록 함. 연구 기술, 협력적으로 설계된 계획, 빈번한 고품질 피드백 및 개별화된 평가에 중점을 둠(강함)
Guideline 15. Do have trainees in remediation undergo intensive, longitudinal tutoring with emphasis on study skills, collaboratively designed plans, frequent high-quality feedback, and individualized assessment (strong)
대부분의 교정 대상 학생들은 여러 가지 어려움을 겪기 때문에 일반적으로 ‘시험에서 성적을 잘 받게 하기 위한 수업’과 같은 제한된 개입에 응답하지 않는다[3, 7]. 성공적인 개입은 [콘텐츠 개발]과 [자기조절 학습 전략]을 결합하는 전체적인 접근방식에 의존한다. 구체적으로는 그러한 전략은 학습의 인지적 영역과 영향력 있는 영역을 모두 대상으로 하며, 예로서 관련 학술적 내용을 이용한 연구 능력에 초점을 맞춘다[6, 7, 105, 136-138].
Most remediating students have multiple challenges and therefore generally do not respond to limited interventions, such as ‘teaching to the test’ [3, 7]. Successful interventions rely on a holistic approach that combines content development and improving self-regulated learning strategies. Specifically, such strategies target both cognitive and affective domains of learning, and focus on study skills using relevant academic content as exemplars [6, 7, 105, 136–138].
이러한 성공적인 프로그램의 일반적인 특징 중 하나는 목표의 진척과 성취도를 평가하기 위해 미리 계획된 정기 회의이다. 이 때 고품질의 피드백과 평가를 통해 중간에 과정을 수정할 필요가 있는지 결정하고, 허용 가능한 수준으로 개선이 없을 경우 어떤 결과가 따르는지 설명한다[6, 139, 140].의료지식 교정조치의 경우, 진행 중인 소규모 그룹 작업은 하나의 주제 또는 유형의 문제에만 초점을 맞추지 않고, 특정 스터디 세션에서 내용과 유형의 문제를 혼합하는 등의 증거 기반 전략을 사용하여 학습자의 학습 능력을 향상시킬 수 있다(‘지침 4’;[68]),설명하기, 그리고 학생들에게 그들 자신의 객관식 질문을 쓰도록 한다 [6, 7, 105, 137].
One common hallmark of these successful programs incorporates regular pre-arranged meetings to assess progress and achievement of goals, with high-quality feedback and assessments determining the need for mid-course corrections and/or consequences in the absence of acceptable improvement [6, 139, 140]. For medical knowledge remediation, ongoing regular facilitated small group work can enhance learners’ study skills using evidence-based strategies, such as retrieval rehearsal (Guideline 4), mixing content and types of problems in a given study session rather than focusing only on one subject or type of problem (‘interleaved practice’;[68]), generating explanations, and having students write their own multiple-choice questions [6, 7, 105, 137].
데이터에 따르면 종단적 개입 및 후속 조치가 효과적이다. 비의료 환경에서 효과적인 프로그램은 최소 12개의 세션을 포함한다[139]. 임상실습 전 교정조치 개입에서 Winston [6]은 최대 2년간 성공을 보장하기 위해 전체 학기 출석을 의무화할 수 있는 충분한 dose effect를 발견했다. 15개 이상의 세션에 참여한 경우, 10개 이하의 세션만 참여한 경우에 비해서 장기 합격률을 두 배로 높였으며, 이는 다른 관련 연구와 일치하는 통계적으로 유의한 결과였다[30, 104, 107, 1개].37]. 교정조치의 더 긴 지속시간과 더불어 장기 추적은 최적의 결과를 도출한다[141, 142] (지침 18 참조).
Data support the benefits of longitudinal intervention and follow-up. In non-medical settings, effective programs encompassed at least 12 sessions [139]. In pre-clerkship remediation interventions, Winston [6] found a strong enough dose effect to mandate attendance for a full semester in order to ensure success for up to 2 years: 15 or more sessions doubled the long-term pass rates over 10 or fewer sessions, a statistically significant finding consistent with other relevant studies [30, 104, 107, 137]. In addition to longer duration of remediation, longer-term follow-up leads to optimal outcomes [141, 142] (see also Guideline 18).
마지막으로, 어려움을 겪고 있는 학습자들과의 교직원의 대면 시간이 증가함에 따라 보호관찰의 확률은 시간당 3.1%, 모든 부정적인 결과는 시간당 2.6% 감소하였다[3]. 물론, 실용적 이유로 교정자는 예상 개선을 위한 시간대를 지정해야 한다[94]. 우리는 시간이 교정조치의 품질의 유일한 구성요소가 아니라는 점을 강조한다(지침 26 참조).
Finally, increased faculty face time with struggling learners decreased the probability of probation (referral to administrative leadership due to unsuccessful remediation) by 3.1%per hour spent, and of all negative outcomes, by 2.6%per hour [3]. Of course, for pragmatic reasons, remediators must specify a time frame for expected improvement [94]. We emphasize that time is not the only component of worth—quality of the remediation interventions matters (see Guideline 26).
가이드라인 16. 자기조절학습에 대한 기술 평가 및 개선(강함)
Guideline 16. Do assess for and improve skills in learning self-regulation(strong)
성취도가 높은 학생들은 동기부여가 증가하며 [143] [어려움을 효과적으로 배우고 대처하는 방법]에 대한 더 많은 인식을 갖는다[144]. 이와는 대조적으로, 연구에 따르면 고군분투하는 학생들을 전형적으로
자기조절학습을 하지 않고,
서면 및 임상적 평가 형식에 대한 학습 전략을 부적절하게 선택하며,
실패에 대처하는 데 부적합한 전략을 사용하는 것으로 기술하고 있다.
이러한 부적응 전략은
단순 암기에 의존하는 것,
이전에 다른 맥락에서 작용했던 이전 전략을 엄격히 고수하는 것,
실제 지식 습득과 이해의 향상보다 공부에 소비된 시간과 노력을 강조하는 것, 그리고
실패의 이유를 외부화하는 것을 포함한다[16, 99].
High-achieving students exhibit increased motivation [143] and have more awareness about how to effectively learn and cope with difficulty [144]. In contrast, the literature describes struggling students as typically not engaging in self-regulated learning, making inappropriate choices of learning strategies for written and clinical formats of assessment, and using maladaptive strategies for coping with failure. These maladaptive strategies include relying on rote memorization, adhering rigidly to prior strategies that previously worked in other contexts, emphasizing time and effort spent studying rather than actual knowledge acquisition and improvement of understanding, and externalizing reasons for failure [16, 99].
고군분투하는 학생들에게는 일단 실패에 대한 감정적인 반응이 지나가면, 실패를 정상적인 것(더 나아가서는 반드시 겪는 것이 더 바람직한 것)으로 재구성하는 것이 중요하다. 이렇게 함으로써,
학습 접근방식을 재조정하고,
상호작용의 문제를 다시 검토하고,
성공을 향해 개선된 (학습)기술을 통합 할 수 있다.
In struggling students, once the emotional reaction to failure passes, it is important to reframe failure as a normal, even expected or desirable outcome, in order to allow for readjustment of study approaches, reexamination of interaction challenges, and incorporation of improved techniques toward success.
그러나 일부 학습자는 비난을 외부화하는데, 이는 다음과 같이 나타난다.
피드백을 처리할 수 없었다.
커리큘럼 및 평가 방법이 문제였다.
프로그램에서 더 일찍 개입하지 않은 것이 불만족이다(따라서 효과적으로 가르치겠다는 암묵적 계약을 이행하지 못한 책임이 있음)
(학습문제학생의 관리는) 치안 유지로 간주되기 때문에 공식적인 지원을 구하지 못했다
However, some learners externalize blame, which may manifest as an inability to process feedback, criticism of curriculum and assessment methods, dissatisfaction with programs that did not intervene earlier (and therefore are accountable for not upholding their implicit contract to teach effectively), and failure to seek formal support because it is viewed as policing.
고군분투하는 학습자들이 그들의 곤경을 받아들이면서 종종 모순되는 부정적인 태도들의 범위를 오락가락하는 것은 흔한 일이다. Remediator가 고군분투하는 학습자와 신뢰관계를 구축할 수 있다면, 공감하는 정서적 지도를 제공하면서 현실 점검reality checks을 제공할 수 있다.
It is common for struggling learners to cycle through a range of these often contradictory negative attitudes as they come to terms with their predicament. Remediators who are able to establish a trusting relationship with the struggling learner can provide reality checks while providing empathic emotional guidance.
교정조치는 [교정조치에 대한 학습자의 믿음과 행동의 변화를 관찰하는 렌즈]로서 remediator가 통해서 자기조절학습적 관점을 채택할 때 가장 성공적이다[145]. 처음에 학습자가 부정적이거나 공개적으로 반항적인 태도를 나타내더라도 교정조치에 대한 교정조치 및 비관론과 관련하여 어려움을 겪고 있는 학습자의 자기 효율성에 대해 다루는 것이 중요하다. 교정조치 계획의 공동 설계(예를 들어 증거 기반 연구 전략을 도입하고 학생들이 이를 적용할 과정 자료를 선택하도록 권장)는 학습자 자율성을 뒷받침한다[6]. 학습자는 개인의 성찰과 개선된 성과에 대한 증거를 수집하기 위한 구체적인 전략을 사용하여 자신의 공식적인 교정조치 계획을 개발할 수 있다[146].
Remediation is most successful when remediators adopt a self-regulated learning perspective as a lens through which to view variations in learners’ beliefs and behaviours about remediation [145]. It is important to address a struggling learner’s self-efficacy with respect to remediating and pessimism about remediation, even if the learner expresses negative or openly defiant attitudes at first. Collaborative design of the remediation plan (for example, introducing evidence-based study strategies and encouraging students to select the course material to apply them to) supports learner autonomy [6]. Learners can develop their own formal remediation plans with personal reflections and specific strategies to gather evidence of improved performance [146].
우리는 위에서 언급한 바와 같이 많은 어려움을 겪고 있는 학습자가 자신의 상황을 받아들이는데 시간이 걸리기 때문에 교육과정에서 교정조치를 시작하기 위해 학습자의 동기에만 의존해서는 안 된다는 것을 반복한다. 그러나, 한 연구는 의무적인 교정조치의 경우에도 참여 학습자가 여전히 높은 동기부여를 가질 수 있다는 것을 보여주었고[7] 이는 인내심, 지지 관계, 시간을 가지고 이러한 학습자가 자기조절능력을 강화하고 진전을 이룰 수 있음을 시사했다.
We reiterate that because it takes many struggling learners time to accept their situation, as mentioned above, programs must not rely solely on learners’ motivations to initiate remediation. However, one study showed that even with mandatory remediation, participating learners can still report high self-motivation [7], suggesting that with patience, a supportive relationship, and time, these learners can strengthen their self-regulation skills and make progress.
경미한 정도의 전문직업적 과실은 흔하다. 우리의 경험상 자기조절을 지원하는 전략은 이러한 경우에 가장 효과적인 교정조치의 주체가 된다. 학습자가 경험 있는 개인이나 전문 위원회와 자신의 행동에 대한 지지적이고 비판단적인 대화에 참여하게 되면 자기반성을 변화시키는 깊고 행동을 유발할 수 있다[147, 148]. 기타 잘 알려진 전문성 교정조치 사례에는 의무적인 정신 건강 평가와 비판적 성찰적 글쓰기 과제가 포함된다[86]. 중요한 것은 전문성 결여가 연속체에서 발생하거나, 유난히 비전문적 행동의 패턴이 있거나, 심각한 성격학적 장애의 증거가 있는 경우, 두드러지게 비전문적 행동이 교정될 가능성이 훨씬 적다는 점이다. 각각의 경우를 개별적으로 고려하는 것이 중요하다[149].
Mild to moderate lapses in professionalism are common. In our experience, strategies that support self-regulation are the mainstay of the most effective remediation in these cases. Engaging learners in supportive, non-judgmental conversations about their behaviour with experienced individuals or a professionalism committee can impel deep and behaviour altering self-reflection [147, 148]. Other well-publicized professionalism remediation practices include mandated mental health evaluation and critical reflection writing assignments [86]. Importantly, it is generally acknowledged that lapses in professionalism occur on a continuum and that markedly egregious unprofessional behaviour is much less likely to be remediable, especially if there is a pattern of unprofessional behaviour and evidence of serious characterological disorder. It is critical to consider each case individually [149].
가이드라인 17. 소규모 그룹에서, 지식과 기술을 전문 조력자와 함께 개선(중등도)
Guideline 17. Do remediate knowledge and skills in small groups with expert facilitators (moderate)
사회 인지 이론은 집단 학습의 효과가 비판적 사고의 담화 및 발전에 기초한다고 주장한다[150, 151]. 의료 교육에서 교육적 설계의 수많은 예는 문제 기반 학습과 팀 기반 학습과 같은 이 이론에 기초한다. 특히 교정조치에 있어서, 어려움을 겪고 있는 학생들은 종종 'unskilled and unaware'고 하며, 자신의 약점을 인식하지 못할 수 있다[133]. 비슷한 어려움을 겪으면서 다른 종류의 대안적 해결책을 가진 다른 사람들을 만나는 것은 집단 정체성과 사회적 규제에 대한 감각을 발전시키는데 도움이 될 수 있으며, 이는 결국 자율규제를 지원할 수 있다[152-154].
Social cognitive theory posits that the effectiveness of group learning is based in discourse and development of critical thinking [150, 151]. Numerous examples of instructional designs in medical education are based on this theory, such as problem-based and team-based learning. Particularly in remediation, struggling students are often ‘unskilled and unaware’ [133] and may not recognize their own weaknesses. Seeing others with alternative solutions to similar challenges can help develop a sense of group identity and social regulation, which may in turn support self-regulation [152–154].
이러한 집단접근법은 자기 소속에 대한 자부심을 강조하고, 서로를 지지하며, 고립되기보다는 이해감을 느끼면서 오명을 줄이는 데 도움을 줄 수 있다[102, 103]. 추가 편익은 그룹이 피드백을 주고 받는 연습을 할 때 발생한다. 이것은 자기 평가, 피드백, 그리고 어쩌면 자기 조절 학습의 평생 기술을 개발한다. 우리는 소규모 그룹의 인지 기술에 대한 교정조치의 수행 경험이 있지만, 이 전략을 사용한 전문성 교정조치의 지원을 위한 그러한 증거는 없다는 점에 주목한다.
This group approach can help reduce stigma by emphasizing the pride of belonging, supporting each other, and feeling understood rather than isolated [102, 103]. Additional benefit arises when the group practises giving and receiving feedback. This develops lifelong skills of self-assessment, feedback, and possibly self-regulated learning. We note that while there is experience doing remediation for cognitive skills in small groups, there is no such evidence to support professionalism remediation using this strategy.
교정조치가 그룹으로 수행되어야 하는 경우 전문가 교수 촉진자가 매우 중요하다. 소규모 그룹 학습의 숙련된 촉진, 정서적 지원, 명시적 설명 및 높은 품질의 작업에 대한 인정 및 협업 장려는 임상 기술 교정조치뿐만 아니라 강의실 기반 모두에서 성공으로 이끈다[6, 76, 103, 143, 153]. 훈련된 촉진자는 집단 사고groupthink와 토론의 조기종결premature closure를 방지할 수 있는데, 이는 특히 고군분투하는 학생들에게 중요하다[93, 153]. 또한 인지적 갈등과 불일치를 강조하고, 파괴적인 질문을 하고, 지적 호기심을 모델링해야 한다[155, 156]. 일반적으로 학습자는 학습을 강화하기 위해 감독자가 있는 것을 선호한다.[156] Guidance가 없다면, 학생들은 나쁜 습관을 길러 ‘역량의 착각’을 일으킬 수 있다[157, 158].
Expert faculty facilitation is crucial if remediation is to be done in groups. Skilful facilitation of small group learning, allowing for emotional support, explicit description and recognition of high quality work, and encouraging collaboration leads to success in both classroom-based as well as clinical skills remediation [6, 76, 103, 143, 153]. Trained faculty can prevent groupthink and premature closure of discussion, which is especially important for struggling students [93, 153]. In addition, faculty must highlight cognitive conflict and inconsistency, ask disruptive questions, and model intellectual curiosity [155, 156]. In general, learners prefer supervisors to be present to enhance their learning [156]; without guidance, they can develop bad habits and form ‘illusions of competence’ [157, 158].
가이드라인 18. 업데이트 적용 기간의 예상 종료 후에도 학습자 후속 조치 수행(중간)
Guideline 18. Do follow-up with learners, even after the presumed end of the remediation period (moderate)
그 증거는 많은 (전부는 아니지만) 학습자에게 underperformance는, [고립된 쉽게 해결할 수 있는 문제]가 아니라 [(오랜)시간에 걸친 패턴]이라는 것이다[159]. 여기 관련된 요인은 여러가지이다. 개인은 처음에 의료 교육과 훈련의 요구에 적응하는 데 어려움을 겪을 수 있지만, 궁극적으로 이러한 요구에 적응하거나 또는 그 대안으로 결코 독립적인 능력을 얻지 못한다. 시간을 두고 관찰하는 것만이 말해 줄 것이다. 게다가, 가장 열심히 하는 학생들조차 복잡한 삶을 살고 있고, 학업 성적은 그들의 시간과 에너지에 대한 비학력적인 요구에 따라 변동할 수 있다. 지원 기관 문화는 학습자들이 자기 모니터링을 하고 새로운 도전에 적응하는 데 도움을 구하도록 장려하고, 성취목표에 부족한 경우 사적인 논의에 invite한다. 이러한 (사전) 논의는 학습자와 교수 모두에게 [언제 어떤 유형의 지원이 필요한지] 결정하는 데 도움이 될 수 있다. 전문직업성 향상을 위해서는 학생들이 새로운 태도와 기술을 내실화하도록 하기 위한 장기적인 참여가 필요하다.
The evidence is that for many (but not all) learners, underperformance is a pattern over time rather than an isolated easily resolvable problem [159]. This is likely multifactorial. An individual may initially have difficulty adjusting to the demands of medical education and training but ultimately acclimatize, or alternatively, never gain independent ability to accommodate to these demands. Only observation over time will tell. Additionally, even the most hardy learners have complex lives, and academic performance may fluctuate with non-academic demands on their time and energy. A supportive institutional culture encourages learners to self-monitor and seek help in adjusting to new challenges and invites private discussions about underachievement. These discussions can help both learners and faculty decide when and what type of support is necessary. For professionalism remediation, long-term engagement is needed to ensure that students have internalized new attitudes and skills.
하지말 것
Don’ts
가이드라인 19. 성과에 대한 양적 학문적 지표에만 의존하지 않음(중간)
Guideline 19. Don’t rely solely on quantitative academic markers of performance (moderate)
의대에서의 학업성취도 예측의 가장 좋은 요소는 의대 이전의 학업성취도 이지만, 의대에서의 경험과 성적은 여전히 중요하다. 입학 전 적성 검사와 등급점 평균이 의과대학의 지식 시험에서 약 1/4을 차지하지만 [128, 160-162] 의과대학 내에서 성장과 발전의 여지가 많이 남아 있다. (입학시험에서) 높은 점수를 받은 의대 지원자가 더 나은 의사가 된다는 것을 보여주는 장기 추적 데이터가 거의 없다는 점을 감안할 때, 입학 전 데이터에 기초하여 remedial support를 제공하는 것은 정당화되지 않으며, 일부 학생들에게 오명을 씌울 수 있다.
The best predictor of academic performance in medical school is academic performance prior to medical school [160]; however, experiences and performance in medical school still matter. Though preadmission aptitude tests and grade-point average account for approximately one-quarter of the variance in knowledge testing in medical school [128, 160–162], much room for growth and development remains within medical school. Given that there are scant long-term follow-up data showing that medical school applicants with higher grades become better physicians, providing remedial support on the basis of pre-application data alone is not justified, and may stigmatize some students.
한 연구는 표준화된 학술 지표metrics에 대한 성과가 향후 교정조치의 필요성을 예측하지는 않지만, 모호하거나 부정적인 논평 또는 과도한 텍스트 코멘트 길이와 같은 작업장 평가의 비정형적 특성은 교정조치 필요성을 예측했다는 것을 발견했다. 우리는 신흥 연구가 이러한 연구 결과를 뒷받침할 것이라고 믿는다. Holistic한 프로그래밍 방식 포트폴리오 기반 평가 접근법은 구현하기 어렵지만 어느 정도 장래성이 있다[164]. 의학 교육에 대한 다원적 평가 데이터와 역량 또는 결과 기반 프레임워크는 학문적 지도, 승진 및 교정조치 판단의 기초가 될 수 있는 훨씬 풍부하고 포괄적인 데이터 및 의과대학 및 그 이상의 성공 예측에 대한 보다 신뢰할 수 있는 기반을 제공할 가능성이 있다.
One study found that while performance on standardized academic metrics did not predict the need for remediation in the future, atypical characteristics of workplace assessments like ambiguous or negative comments or excessive length of text comments, did [163]. We believe emerging research will support these findings. Holistic programmatic portfolio-based assessment approaches hold some promise, although they are challenging to implement [164]. Multisource assessment data and competency or outcomes-based frameworks for medical education will likely provide much richer and more comprehensive data upon which to base academic coaching, promotion, and remediation judgments and a more reliable basis for the prediction of success in medical school and beyond.
가이드라인 20. 추가 지원 없이 단순히 시간을 더 주거나, 학습자 경험을 반복하거나, 일반적이거나 모호한 조언을 하거나, '테스트에 대한 학습'만 하지 마십시오(강함).
Guideline 20. Don’t merely give more time, repeat the learner experience, give general or vague advice, or just ‘teach to the test’ without additional support (strong)
추가 지원 없이 훈련생을 약간 감속하는 것은 dismissal rate에 큰 영향을 미치지 않는다[165].
Merely decelerating a trainee without additional support does not significantly affect dismissal rates [165].
모름
Don’t knows
가이드라인 21. 교정조치의 장기적인 결과는 무엇인가?
Guideline 21. What are the long-term outcomes of remediation?
우리는 교정 프로그램의 장기적인 결과에 대해 거의 알지 못한다. 우리는 처음에 OSCE에 실패했다가 단기적인 성공을 거둔 표준 교정조치 계획에 참여한 학생들을 위해 한 5년 연구에서는 종적 개선이 없었다는 것을 알고 있다[30]. 주민에 대한 또 다른 사례-통제 연구는 교정 학습자가 결국 평균과 유사한 역량 수준에 도달했지만 더 많은 시험과 더 긴 완료 시간이 필요하다는 것을 보여주었다[95]. 임상수행시험에 실패한 학생들 중에서, Klamen과 Williams는 개선 후 점수의 개선에 주목했다[96]. 프로그램 결과에 대한 이러한 종적 추적의 보다 많은 부분이 개입의 효과를 평가하기 위해 필요하며 [166] 우리는 교정조치를 받은 학생에 대한 장기 모니터링을 강력히 권고한다. 예를 들어 의대나 레지던트에서의 교정조치는 미래에 연습의 어려움을 예측한다는 것을 강조할 수 있다. 또한, 훈련생이 일반적으로 훈련 경로를 따라 한 기관의 맥락에서 다른 환경으로 이동한다는 점을 감안할 때, 그러한 맥락에서 학습자의 진척도를 추적하면 교정조치 관행과 시스템이 기관 고유의 것이며 종적으로 지속되는 정도를 더욱 밝혀줄 수 있다.
We know very little about long-term outcomes of remediation programs. We do know that there was no longitudinal improvement in one 5-year study, for students who initially failed OSCEs and then engaged in a standard remediation plan with short-term success [30]. Another case-control study of residents showed that remediating learners eventually reached competence levels similar to the mean but needed more exams and a longer time for completion [95]. Among students who failed a clinical performance exam, Klamen and Williams noted an improvement in post-remediation scores [96]. More of this longitudinal tracking of program outcomes is necessary to evaluate the efficacy of our interventions [166], and we strongly recommend long-term monitoring of students who have undergone remediation. This kind of prospective, longitudinal follow-up may highlight, for example, that remediation in medical school or residency predicts practice difficulties in the future. Additionally, given that trainees commonly move along the training path from one institutional context to another, tracking learner progress across such contexts may further illuminate the extent to which remediation practices and systems are institution-specific and longitudinally durable.
가이드라인 22. 업데이트 적용의 최적 조합과 지속 시간은?
Guideline 22. What is the optimal blend and duration of remediation?
특히 특정 상황과 어려움에 대해서는 학습자의 교정조치의 완료를 언제 결정해야 할지 모른다. 교정조치의 이유는 특정 학생에 따라 다르며, 보통 결핍 요소는 여러가지이다. 교정조치의 복잡성을 고려할 때 케이스-바이-케이스로 하는 것이 가장 적절하다.
Especially for specific situations and difficulties, we do not know when to determine the completion of a learner’s remediation. Reasons for remediation vary for any given student, and there is rarely a single deficit. Given the complexity of remediation work, it is likely best conducted and assessed on a case-by-case basis.
그렇긴 하지만, 이 교육적 근거에 따르면, 다양한 접근법의 툴박스를 가지고 고군분투하는 학습자들을 가르치는 것이 이치에 맞는다는 것을 뒷받침한다. 핵심은 고군분투하는 학습자의 교정조치 계획의 모든 구성요소에 대해 증거 기반 접근방식을 최대화하는 것이다. 이것들은 복잡하고 매우 개별화된 개입을 하는 경향이 있다. 따라서 개입의 특정 요소가 미치는 영향을 파악하기 어려우며, 일반적인 교정조치 규칙은 파악하기 어렵다[138].
That said, the educational evidence base supports that teaching struggling learners with a toolbox of approaches makes good sense. The key is to maximize the evidence-based approach for every component of a struggling learner’s remediation plan. These tend to be complex, highly individualized interventions. Therefore, it is difficult to tease out the impact of any specific element of the intervention, making general remediation rules elusive [138].
가이드라인 23. 교정조치는 CBME와 학습자 중심의 접근방식에 어떻게 부합하는가?
Guideline 23. How does remediation fit with CBME andits approach of learner-centredness and de-emphasis of time?
이상적으로, 시간적 변동이 가능한 역량 기반 의료 교육(CBME)은 별도의 교육 활동과 무관하게 교정조치를 할 수 있다. 그러나 연습생들은 예를 들어 직업적 적합성career fit에 대한 양면성을 포함하여 여러 가지 이유로 고군분투한다. 따라서 완전히 실현된 CBME 프레임워크에서도 normal curriculum과 exclusion 사이에 'zone of remediation'이 필요할 가능성이 있다[27]. 이 zone framework는 다른 구역의 교육 관행이 다른 규칙, 역할 및 책임에 기초하는 방법을 보여준다. 이 zone들 사이를 이동하기 위한 임계값은 명시적이고 투명한 정책과 교정조치에 대한 특정 전문지식이 필요할 것이다. 지금까지는 진정으로 time-variable하게 운영가능한 CBME의 예는 거의 없지만, 그러한 시스템의 학생들이 경험한 과제를 모니터링하여 교정조치 영역에서 정책과 실행이 어떻게 진화할 필요가 있는지를 이해하는 것이 중요할 것이다.
Ideally, time-variable competency-based medical education (CBME) would make remediation as a separate educational activity irrelevant. However, trainees struggle for many reasons including, for example, ambivalence about career fit. Therefore, even in a fully realized CBME framework, there is likely to be a need for a ‘zone of remediation’ between the normal curriculum and exclusion [27]. This zone framework demonstrates how educational practice in different zones is based on different rules, roles and responsibilities. Thresholds for moving between zones would require explicit and transparent policies and specific expertise in remediation. While currently there are very few examples of truly time-variable CBME, it will be important to monitor challenges experienced by students in such a system to understand how policy and practise in the zone of remediation will need to evolve.
CBME을 향한 움직임은 교정조치에 대한 현재의 식별 및 상호접속 접근방식에 대한 대안적 패러다임의 기회를 가져온다. 하지만 그러기 위해서는 문화의 변화가 필요할 것이다. 지금까지는 [필요한 역량을 갖추기 위해 남들보다 조금 더 오래 걸리는 사람들]이라고 생각했다면, 이제는 [학습 속도를 궁극적인 성공 요인]으로 생각해야 한다.
The move towards CBME brings with it the opportunity for an alternative paradigm to the current identify-and-intervene approach to remediation. However, to do so will require a shift in culture, from regarding those who take a little longer than others to achieve the required competencies as struggling to thinking about learning pace as an individual factor in ultimate success in practice.
하지만 이것은 본질적으로 time-based and competitive한 시스템에서는 상상하기 어렵다. CBME는 사회에 대한 높은 수준의 의무를 유지하면서 학습자를 좀 더 긍정적으로 고려하고 우리의 학습자가 직면하는 많은 어려움에 대해 더 넓게 볼 수 있는 기회를 제공할 수 있다.
This is difficult to conceive of in systems which inherently remain time-based and competitive. CBME may provide an opportunity to consider ‘struggling’ learners with more positive regard and take a broader view of the many challenges that our learners encounter, while maintaining our obligation of high standards to society.
가이드라인 24. 교육적 핸드오버의 이점과 이러한 핸드오버로 인해 발생할 수 있는 부정적인 편견으로부터 학습자를 보호할 필요성 사이의 최적의 균형은 무엇인가? (자세한 내용은 지침 6을 참조하십시오.)
Guideline 24. What is the optimal balance between the benefits of educational handovers and the need to protect learners from negative bias that may arise from such handovers? (See Guideline 6 for further discussion.)
가이드라인 25. 교정조치의 필요성을 예측하는 구체적인 조치는 무엇인가?
Guideline 25. What specific measures predict the need for remediation?
몇몇 연구는 많은 수치화할 수 있는 의료 훈련 초기의 정량화가능한 성과척도들은 고군분투하는 학습자를 식별하기 위한 정보로서 신뢰성이나 구체성이 부족하다는 것을 보여준다. 성격 및 학습 능력 인벤토리는 성과 예측에 거의 추가되지 않으며 [114, 167] facking에 취약하다. 학습 스타일 평가는 학문적 성과와 관련성이 거의 없고, 있다고 해도 매우 약하다. 그러나 일부 지표는 향후 연구에 유용할 수 있다. 예를 들어, 최근의 한 연구는 1학년 의대생들에서 [수업 참여에 대한 체계적인 교수 평가]는 underperform이 시작되기 전에 fail을 예측할 수 있었다.
Several studies show that many quantifiable measures of performance carry neither reliable nor specific information to identify struggling learners early in medical training. Personality and study skills inventories add little to prediction of performance [114, 167] and are susceptible to faking [115]. Learning style assessments correlate weakly with academic performance [128], if at all [168, 169]. However, some indicators may be fruitful for future research. For example, one recent study found that systematic faculty ratings of in-class participation predicted failure of year 1 medical students before students began to underperform[170].
임상 성과에 대해서는, 미국 의과대학에서 초기에 실시한 면허 시험의 일부인 USMLE Step 1 점수는 의과대학에서의 낮은 임상 성과[171]와 낮은 지식을 약하게 예측했다. 그들은 레지던트에서의 전문직업성 문제를 예측하지 않았다[172].
For clinical performance, USMLE Step 1 scores, part of the licensing exam taken early in medical school in the US, weakly predicted low clinical performance in medical school [171] and low knowledge; they did not predict professionalism issues in residency [172].
가이드라인 26. 종단적 교정조치 프로그램(가이드라인 15)을 설정하는 것 외에 가장 효과적인 교정조치 관행은 무엇인가?
Guideline 26. Apart from establishing a longitudinal remediation program(Guideline 15), what are the most effective remediation practices?
궁극적으로 자원은 제한되며 가능한 교정조치 전략의 목록은 길며, 교정조치 정책 및 실무에 대한 정보를 제공하는 연구의 필요성을 강조한다[17].
Ultimately resources are limited, and the list of possible remediation strategies is long, highlighting the need for research that informs remediation policy and practices [17].
결론
Conclusion
교정조치는 학습자와 교수진, 개인, 시스템 및 사회적 요소가 포함된 매우 복잡한 과정이다. 좋은 소식은, 의학 교육자로서, 우리는 고군분투하는 학습자들을 위한 교육적 성과를 극대화할 수 있는 실천에 대한 인식과 전문성을 증가시키고 있다는 것이다. 이 논문은 우리가 현재 출판된 문헌에서 알고 있는 것과 교정조치에 관한 우리 자신의 광범위한 경험을 요약하고 있다. 우리는 이 분야에서 지속적인 개선을 필요로 하고 교정조치 연구에서 엄격한 가설 테스트가 여전히 도전적이지만, non-intervention으로 남기는 것은 윤리적 으로 위험하기 때문에, 낙관적일 이유가 있다고 믿는다.
Remediation is a highly complex process involving learners and faculty, individuals, systems and societal factors. The good news is that as medical educators, we have increasing awareness of and expertise in practices that can maximize educational outcomes for struggling learners. This paper summarizes what we currently know from the published literature and our own extensive experiences about remediation processes. We believe that whilst there is great need for ongoing improvement in this field, and whilst rigorous hypothesis testing in remediation studies remains challenging because of the ethical peril of a non-intervention condition, there is reason to be optimistic.
‘Do’ 가이드라인의 절반 이상이 개인 수준의 개입을 넘어선다. 이 지침은 다음과 같은 교육의 핵심 가치를 강조한다.
기대치 설정 및 투명한 교육 정책과 구조의 중요성
사회적 책임감을 동반한, 학습자에 대한 헌신과 연민의 균형
피드백 문화의 중요성, 적절한 과정 및 학습자에 대한 비판단적 긍정적 고려
학습자가 자신의 struggle 수준을 인식하지 못하는 경우의 활동
학습자가 학업적 고난을 경험할 때 원인의 모든 범위를 이해하는 총체적 접근법
우리는 우리의 지침이 의료 교육 관행의 이 영역에서 맥락, 예방 및 조기 발견의 중요성을 강조하도록 하는 것을 목표로 한다.
More than half of the ‘Do’s’ guidelines reach beyond individual interventions. These guidelines reflect the core values of education, highlighting
the importance of expectation-setting and transparent educational policies and structures;
balance of commitment to and compassion for our learners with our societal responsibility;
the importance of a culture of feedback, due process, and non-judgmental positive regard for learners;
proactivity when learners do not recognize their level of struggle; and
a holistic approach to understanding the full range of causes when learners experience academic struggle.
We aim to ensure that our guidelines underscore the importance of context, prevention, and early detection in this domain of medical education practice.
가장 일반적으로, 이 영역의 연구는 [학습자의 성과와 특정 후속 평가 및 성과 사이의 관계]와 [특정 교정조치 프로그램이 학습자가 특정 시험에 합격하는 데 어떻게 도움이 되는지] 테스트하는 데 초점을 맞추었다. 이러한 유형의 작업은 [맥락, 학습 환경 또는 재교육 인터벤션]이 특정 개인 또는 집단에 의도하지 않은 결과를 초래할 수 있는 방법에 대한 이해를 흐리게 하는 경향이 있다. 이는 교정조치 실무에서 선택을 하고 절충을 이해하는 우리의 능력을 제한한다.
Most commonly, research in this domain has focused on testing the relationship between learners’ performance on a particular assessment and performances on later assessments and how a particular remediation program assists in helping a learner pass a specific examination. This type of work tends to obscure our understanding of the ways in which the context, learning environment, or an individual remediation intervention may lead to unintended consequences for certain individuals or groups. This limits our ability to make choices and understand trade-offs in remediation practice.
34. Lefroy J, Watling C, Teunissen PW, Brand P. Guidelines: the do’s, don’ts and don’t knows of feedback for clinical education. PerspectMedEduc. 2015;4(284):99.
,8 (6), 322-338
Guidelines: The Dos, Don'ts and Don't Knows of Remediation in Medical Education
Introduction:Two developing forces have achieved prominence in medical education: the advent of competency-based assessments and a growing commitment to expand access to medicine for a broader range of learners with a wider array of preparation. Remediation is intended to support all learners to achieve sufficient competence. Therefore, it is timely to provide practical guidelines for remediation in medical education that clarify best practices, practices to avoid, and areas requiring further research, in order to guide work with both individual struggling learners and development of training program policies.
Methods:Collectively, we generated an initial list of Do's, Don'ts, and Don't Knows for remediation in medical education, which was then iteratively refined through discussions and additional evidence-gathering. The final guidelines were then graded for the strength of the evidence by consensus.
Results:We present 26 guidelines: two groupings of Do's (systems-level interventions and recommendations for individual learners), along with short lists of Don'ts and Don't Knows, and our interpretation of the strength of current evidence for each guideline.
Conclusions:Remediation is a high-stakes, highly complex process involving learners, faculty, systems, and societal factors. Our synthesis resulted in a list of guidelines that summarize the current state of educational theory and empirical evidence that can improve remediation processes at individual and institutional levels. Important unanswered questions remain; ongoing research can further improve remediation practices to ensure the appropriate support for learners, institutions, and society.
Role modelling—making the most of a powerful teaching strategy
Sylvia R Cruess, Richard L Cruess, Yvonne Steinert
의사들은 역사적으로 그들의 활동을 그들이 존중하고 신뢰하는 의사들의 활동 패턴에 맞추었다. 이러한 것들은 "자신의 전문직업적 존재방식과 행동방식으로 감명을 주는 개인"이라는 역할모델로 불려왔다.1
doctors historically have patterned their activities on those of practitioners whom they respect and trust. These have been called role models, “individuals admired for their ways of being and acting as professionals.”1
비록 역할 모델링이 "성격 형성"의 핵심이지만, 의대생들과 주니어 의사들은 많은 임상 교사들이 그닥 좋지 않은 역할 모델이라는 것을 관찰했다.
Although role modelling is at the heart of “character formation,”3 medical students and junior doctors have observed that many clinical teachers are poor role models.
역할 모델에서 배우는 것은 관찰과 성찰을 통해 이루어지며 의식 활동과 무의식 활동이 복잡하게 뒤섞여 있는 것이다(그림 1). 그 과정에 대한 적극적 성찰은 무의식적 감정을 원칙과 행동으로 번역할 수 있는 의식적 사고로 전환할 수 있다.
Learning from role models occurs through observation and reflection, and is a complex mix of conscious and unconscious activities (fig 1). Active reflection on the process can convert an unconscious feeling into conscious thought that can be translated into principles and action.
역할 모델은 멘토와 다르다.6 역할 모델은 다른 일을 하는 동안에도 (학습자에게) 영감을 주고 예시로서 가르친다. 멘토들은 시간이 지남에 따라 학생과 노골적인 관계를 맺고 있으며, 그들은 종종 자유롭게 질문을 하고 조언을 함으로써 학생을 지도한다.7
Role models differ from mentors.6 Role models inspire and teach by example, often while they are doing other things. Mentors have an explicit relationship with a student over time, and they more often direct the student by asking questions and giving advice freely.7
효과적인 역할 모델이 되는 이유는 무엇인가?
What makes for an effective role model?
첫 번째 vignette(박스 1)에 설명되어 있다.
illustrated in the first vignette (box 1).
역할 모델의 특성은 잘 문서화되어 있으며, 1348-10(그림 2)으로 세 가지로 나눌 수 있다.
The characteristics of role models have been well documented1348-10 (fig 2) and can be divided into three categories:
임상 역량은 지식과 기술, 환자 및 직원과의 커뮤니케이션, 건전한 임상 추론과 의사결정을 포괄한다. 이 모든 기술들은 의학의 실천의 핵심에 놓여 있는 것처럼 모델링되어야 한다.
Clinical competence encompasses knowledge and skills, communication with patients and staff, and sound clinical reasoning and decision making. All of these skills must be modelled as they lie at the heart of the practice of medicine.
교수 기술은 임상 능력을 전달하는 데 필요한 도구다. 효과적인 의사소통, 피드백 및 반성의 기회를 통합하는 학생 중심의 접근방식은 효과적인 역할 모델링에 필수적이다.
Teaching skills are the tools required to transmit clinical competence. A student centred approach incorporating effective communication, feedback, and opportunities for reflection is essential to effective role modelling.
개인의 자질에는 연민, 정직, 청렴 등 치유를 촉진하는 속성이 포함된다. 효과적인 대인관계, 실천과 가르침에 대한 열정, 그리고 탁월함을 향한 비타협적인 탐구가 똑같이 중요하다.
Personal qualities include attributes that promote healing, such as compassion, honesty, and integrity. Effective interpersonal relationships, enthusiasm for practice and teaching, and an uncompromising quest for excellence are equally important.
" 우리는 인정해야 한다...우리가 학생들에게 제공해야 할 가장 중요한 것은 우리 자신뿐이라는 것이다. 다른 모든 것은 책에서 읽을 수 있다." - DCTosteson19
“ We must acknowledge...that the most important, indeed the only, thing we have to offer our students is ourselves. Everything else they can read in a book.” – DCTosteson19
역할 모델링은 어디에서 이루어지는가?
Where does role modelling take place?
우리는 이제 형식적인 커리큘럼, 비공식적인 커리큘럼, 숨겨진 커리큘럼이 있다는 것을 이해한다.10 역할모델은 세 가지 모두에서 기능한다.
We now understand that there is a formal, an informal, and a hidden curriculum.10 Role models function in all three.
공식적인 커리큘럼은 교직원들이 자신들이 가르치고 있다고 믿는 것을 상세하게 설명하는 미션과 코스 목표에 요약되어 있다. 여기서 역할 모델링은 예외없이 이루어지며, 이 수준에서 의대 교사의 행위는 심오한 효과를 가져올 수 있다. 의술에 대한 열정과 열정을 보이는 교사들은 매우 효과적일 수 있다; 그렇게 하지 않는 것은 귀중한 기회를 놓치는 것이다.
The formal curriculum is outlined in mission statements and course objectives, detailing what faculty members believe they are teaching. Role modelling certainly takes place here, and the conduct of medical teachers at this level can have a profound effect. Teachers who show passion and enthusiasm for medicine can be extremely effective; failing to do so is to miss a valuable opportunity.
불문하고, 계획되지 않은, 그리고 고도의 대인관계 형태의 교습과 학습으로 구성된 비공식 교육과정은 매우 강력하다. 또래에서 고참 의사까지 비공식 커리큘럼에서는 모든 사람이 역할 모델로 기능한다.1011 및 부정적 역할 모델링의 많은 부식 효과가 여기에서 경험된다.
The informal curriculum, which consists of unscripted, unplanned, and highly interpersonal forms of teaching and learning, is very powerful. All role models, from peers to senior doctors, function in the informal curriculum,1011 and many of the corrosive effects of negative role modelling are experienced here.412
마지막으로, 크게 숨겨져 있는 영향의 집합은 기관의 조직 문화와 구조 수준에서 기능한다. 이 숨겨진 커리큘럼이 역할 모델링에 미치는 영향은 여기서 효과적인 역할 모델링의 여러 장벽을 발견할 수 있기 때문에 심대할 수 있다. 예를 들어,
[과로를 조장하는 제도적 문화]는, 학생들 사이에서 모범 사례를 입증하는 데 필요한 성찰적 실천을 촉진하는 데 충분한 시간을 할애하지 않는, 효과적인 역할 모델링에 부정적 영향을 미치게 된다.
마찬가지로, [부적절한 임상 치료나 열악한 대인관계를 용인하는 문화]는 모범이 되려고 노력하는 사람들의 감사와 지원을 보여주지 못하는 행정적 결정처럼 긍정적인 모델링을 억제한다.
Finally, a set of influences, which are largely hidden, function at the level of the organisational culture and structure of the institution. The influence of this hidden curriculum on role modelling can be profound, as many of the barriers to effective role modelling can be found here. For example, an institutional culture that promotes overwork, leaving insufficient time for harried clinical teachers to promote the type of reflective practice needed to demonstrate best practices among students, is detrimental to effective role modelling. Similarly, a culture that tolerates inadequate clinical care or poor interpersonal relationships inhibits positive modelling, as do administrative decisions that fail to show appreciation and support, both financial and non-financial, of those who are trying to be exemplary.
역할 모델링을 개선할 수 있는 방법은 무엇인가?
How can role modelling be improved?
역할 모델로서 우리 자신의 장단점을 분석하는 개인 수준과 우리가 가르치는 제도 문화의 영향을 고려하는 조직 차원의 두 가지 영역이 다루어져야 한다.
Two areas need to be addressed: the personal level, where we analyse our own strengths and weaknesses as role models, and the organisational level, where we consider the impact of the institutional culture in which we teach.
Box 2 역할 모델링 개선 전략
Box 2 Strategies to improve role modelling
역할 모델임을 인지하십시오.
임상 역량 입증
교육 시간 보호
당신이 하는 일에 대해 긍정적인 태도를 보여라.
학생 중심의 교육 방식 구현
임상 경험 및 모델링된 내용에 대한 성찰 촉진
동료와의 대화 유도
관련 인력 개발 참여
제도문화 개선 노력
가능한 경우 모델링하는 내용에 대해 명시적임
Be aware of being a role model
Demonstrate clinical competence
Protect time for teaching
Show a positive attitude for what you do
Implement a student centred approach to teaching
Facilitate reflection on clinical experiences and what has been modelled
Encourage dialogue with colleagues
Engage in pertinent staff development
Work to improve the institutional culture
Whenever possible be explicit about what you are modelling
개인 성과 개선 전략
Strategies to improve personal performance
역할 모델로서의 인식
Awareness of being a role model
교육 및 학습 전략으로서의 역할 모델링의 중요성과 우리가 모델링하는 것의 긍정적 또는 부정적 영향에 대한 의식적인 인식은 성과 향상에 필수적이다. 우리는 항상 역할 모델이다 - 우리가 가르칠 때 그리고 우리가 사회적 상황에 있을 때. 우리는 또한 학생들과 인식을 공유해야 한다.
The conscious recognition of the importance of role modelling as a teaching and learning strategy, and the positive or negative impact of what we are modelling, is fundamental to improving performance. We are role models at all times—when we are teaching and when we are in social situations.9 We must also share our awareness with our students.
가르칠 시간
Time to teach
임상적 요구의 어려움에도 불구하고, 우리는 대화, 성찰, 디브리핑을 용이하게 하기 위해 "시간을 보호"해야 하며, 이 모든 것들은 학습자에게 역할 모델링을 통해 교훈을 배우도록 하기 위해 필요하다.
Despite the challenges of clinical demands, we must “protect time” in order to facilitate dialogue, reflection, and debriefing, all of which are needed to make the lessons learnt through role modelling apparent to the learner.1415
부정적인 태도는 긍정적인 태도만큼 강력하다. 의식적으로 능력을 모델링하는 것, 긍정적인 태도, 그리고 의술의 실천에 대한 열정이 변화할 수 있다.14
Negative attitudes, are as powerful as the positive ones . Consciously modelling competence, positive attitudes, and enthusiasm for the practice of medicine, can be transformative.14
성찰의 중요성: 암묵적 표현
The importance of reflection: making the implicit explicit
우리가 보여주고 있는 행동과 속성을 의식하고 성찰하는 능력은 효과적인 역할 모델링에 필수적이다. 가능하면 학생과 후배 의사, 동료들이 지켜보는 가운데 무엇을 하는지 점검하고 설명해야 한다. 이것은 "행동에서의 반성"이라고 불렸다.14 조우가 일어난 후 환자, 학생, 그리고 자신에게 미치는 영향에 대해 학생들과 의논하는 것도 도움이 된다.-"행동에 대한 반성". 그때 우리가 이 경험을 미래의 행동과 연관시킨다면, 우리는 "행동을 위한 반성"에 종사하고 있다.
The ability to be conscious of, and reflect on, the behaviours and attributes that we are demonstrating is crucial to effective role modelling. Whenever possible, we should examine and explain what we do in the presence of students, junior doctors, and colleagues. This has been called “reflection in action.”14 It is also helpful to discuss with students the impact of the encounter on the patient, the student, and oneself after it has occurred—“reflection on action.” If we then relate this experience to future actions, we are engaged in “reflection for action.”
많은 상황들은 긍정적인 역할과 부정적인 역할 모델링의 혼합을 포함한다; 이러한 경험들을 돌이켜보면 학생들에게 귀중한 교훈을 준다. 하지만, 이러한 사건들에 대해 생각해보지 않는다면, 학생들은 관찰한 것들로부터 배우지 못할 수도 있다.
Many situations include a mix of positive and negative role modelling; reflecting on these experiences provides valuable lessons to students. However, without thinking about these events, students may not learn from what they have observed.
인력개발 참여
Participating in staff development
교육 기술을 향상시키기 위해 고안된 직원 개발 프로그램이 현재 널리 이용되고 있다.
Staff development programmes designed to improve teaching skills are now widely available,
제도문화 개선전략
Strategies to improve the institutional culture
역할 모델링에 영향을 미치는 수많은 요인들을 고려할 때, 우리가 일하는 기관 문화를 개선하기 위해 일하는 것은 무시할 수 없다. 효과적인 역할 모델링을 위한 중요한 제도적 장벽에는 과로를 조장하는 조직적 구조가 포함되어 있으며, 이로 인해 교육 시간이 부족해지고, 교육 기관 지원이 부족하며, 의료팀 구성원 간의 부적절한 환자 관리 또는 열악한 관계를 수용하는 문화가 있다.11
Given the multitude of factors that impact role modelling, working to improve the institutional culture in which we work cannot be ignored. The important institutional barriers to effective role modelling include an organisational structure that encourages overwork, resulting in insufficient time for teaching15; a lack of institutional support for teaching1011; and a culture that accepts inadequate patient care or poor relationships between members of the healthcare team.11
Review
,336 (7646), 718-21
Role Modelling--Making the Most of a Powerful Teaching Strategy
Teachers need to be aware of the conscious and unconscious components of learning from role modelling, so that the net effect of the process is positive
Challenging feedback myths: Values, learner involvement and promoting effects beyond the immediate task
Elizabeth Molloy1 | Rola Ajjawi2 | Margaret Bearman2 | Christy Noble3,4,5 | Joy Rudland6 | Anna Ryan1
1 | 도입
1 | INTRODUCTION
어떤 교육 의식은 너무 깊이 배어 있고 이념적으로 유혹적이어서 우리는 그것들을 도전할 필요가 없는 관행으로 받아들인다. 보건 전문가 또는 보건 전문가 학습자에게 제공하는 "균형잡힌" 피드백은 그러한 전통 중 하나를 대표하며, "펜들턴 시스템"과 "피드백 샌드위치"와 같은 모델을 통해 더욱 합법화되고 실제로 내재되어 있다. 지난 20년 동안의 연구, 특히 Workplace에 기초한 피드백에 대한 연구는 [피드백이 학습자에게 항상 우리가 희망하는 영향을 미치지는 않는다]는 것을 보여준다.1
Some educational rituals are so deeply ingrained and so ideologically seductive that we accept them as practices that don't need to be challenged. The provision of “balanced” feedback to health professionals or to health professional learners represents one of those traditions, further legitimised and embedded in practice through models such as the “Pendleton system” and the “feedback sandwich.” Research over the last 20 years, particularly in workplacebased feedback, reveals that feedback does not always have the effects on learners we would hope for.1
피드백 에피소드를 자세히 살펴보면 "피드백 샌드위치"가 구미를 증가시키는 바람직한 효과를 가지지 않을 수 있지만, 오히려 학습자와 교육자 모두에게 잘못된 장소에 에너지를 투자하는 결과를 가져올 수 있다는 것을 알 수 있다.2
교육자들은 그들이 민감한 코멘트이라고 생각하는 것을 만들어, 교육자 자신 이외의 누구에게도 해독하기 어려운 방식으로 전달하는 반면,
학습자들은 이러한 일방적 서술들을 해독하는 데 에너지를 쓰거나 칭찬에만 집중한다.
설상가상으로, 교육자와 학습자 모두 피할 수 없는 쓰라림을 피하기 위해 피드백을 회피하거나 왜곡할 수 있다.
Close examination of feedback episodes suggests that the “feedback sandwich” may not have the desired effect of increasing palatability, but may, rather, result in both learners and educators investing energy in the wrong places.2
Educators craft what they think are sensitive comments and deliver these in ways that may be hard to decipher by anyone other than the educators themselves,
whereas learners expend energy on decoding these oneway narratives or focus only on praise. Worse still, both educators and learners may avoid or deflect feedback all together3-5 to avoid the inevitable bitterness.
우리는 피드백 과정에 학습자를 참여시키는 것이 일방적 정보 전송에 의해 특징지어지는 교사 주도 피드백 의식에 보고된 감정적 반응을 탐색하는 가장 좋은 방법이라고 주장한다. 이것은 피드백 이해력을 가진 학습자를 무장시키는 것, 이는 "정보를 파악하여 업무나 학습 전략을 강화하기 위해 필요한 이해, 역량 및 성향"을 의미한다7 학습자 피드백 이해능력의 일부는 (대인)관계 활동에서 감정을 예측하고 감정을 관리하는 방법을 배우는 것이다. 특히 특히 학습자와 "다른 사람들" 사이의 성과에 대한 이질적인 관점이 있을 때, 그것이 교사든 동료든 환자든 말이다.
we argue that involving the learner in feedback processes is the best way to navigate the emotional responses that are reported in teacher led feedback rituals characterised by oneway information transmission. This means arming learners with feedback literacy, or the “understandings, capacities and dispositions needed to make sense of information and use it to enhance work or learning strategies.”7 Part of learner feedback literacy is indeed learning how to anticipate emotion and manage emotions in relational activities, particularly when there are disparate perspectives on performance between the learner and the “other,” whether that is the teacher, peer or patient.4
우리는 또한 "피드백 규칙"이 문맥을 깔아뭉게지 않도록, 피드백의 위치적이고 관계적인 성격에 더 명확하게 초점을 맞출 것을 주장한다. 우리는 피드백의 개념을 다음과 같은 정의로 표현된다.
We also argue for a clearer focus on the situated and relational nature of feedback, in which “feedback rules” do not stack up across contexts. Our conceptualisation of feedback is represented by the definition:
피드백은 학습자가 [개선된 작업]을 생성하기 위해 [주어진 작업에 대한 적절한 기준]과 [작업 자체의 품질] 사이의 [유사성 또는 차이를 인식]하기 위한 목적으로 [자신의 작업에 대한 정보]를 얻는 과정이다.8
Feedback is a process whereby learners obtain information about their work in order to appreciate the similarities and differences between the appropriate standards for any given work, and the qualities of the work itself, in order to generate improved work.8
피드백에 대한 이러한 광범위한 이해는, 교사로부터 학습자로의 일회적인 정보 교환이 아니라, 시간에 따라 제정된 과정으로서 피드백이 입력, 전형적으로 말하기의 입력이라는 개념에 도전한다. 이러한 피드백의 정의를 이용한다면,
학습자는 자신의 업무의 질에 대한 판단을 내리는 데 필요한 정보를 찾는 데 적극적이어야 하며,
학습 전략이나 미래 작업을 개선하기 위해 스스로 생성되고 외부적으로 생성된 이 정보를 이용해야 한다.
필연적으로, 이 루프를 닫기 위해 학습자는 이러한 새로운 이해를 실제로 변환하기 위한 후속 퍼포먼스 기회가 필요하다.
이러한 피드백의 관점은 우리가 교사들이 그들을 위해 무엇을 하는지 보다는 학습자의 판단, 우선순위, 행동에 초점을 맞출 것을 요구한다.
This broader understanding of feedback as a process enacted over time, rather than as a oneoff exchange of information from teacher to learner, challenges the notion that feedback is an input, typically, an input of telling. Using this definition of feedback, the learner is active in seeking the information he or she needs to make judgements about the quality of his or her own work, and uses this selfgenerated and externally generated information to improve learning strategies or future work. By necessity, in order to close this loop, learners need to access a subsequent performance opportunity in order to translate these new understandings into practice. This view of feedback demands that we focus on learners’ judgements, priorities and actions, rather than on what teachers do for them.9
2 도전하고자 하는 신화
2 | MYTHS READY FOR CHALLENGING
1 피드백은 칭찬과 비판의 균형을 위한 규칙을 필요로 한다(가치들은 무시된다).
2 피드백은 교사의 기술이다(배우는 사람은 무시된다).
3 피드백은 입력일 뿐이다(효과 무시).
1 Feedback needs rules for the balancing of praise and criticism (values are ignored).
2 Feedback is a teacher skill (learners are ignored).
3 Feedback is an input only (effects are ignored).
3 | 제 1편 : 프레이즈-크리틱 밸런싱 룰의 필요성
3 | MYTH 1: THE NEED FOR PRAISE-CRITICISM BALANCING RULES
연구에 따르면 학습자도 피드백에서 어려움을 겪는 것으로 나타났다.10-12 학습자 또한 피드백을 받을 때 부정적인 감정 반응을 보고하는데, 이는 교육자의 의도는 물론 episode of engagement를 넘는 효과를 가져올 수 있다.13 교육자는 이를 "피드백 메시지"를 열심히 제작하여, [학습자의 성과를 향상]시키고 [학습자의 자신감과 교육 파트너십에 대한 자신감을 유지]하려는 이중 목표를 갖고 전달한다. 학습자의 체면과 자신감을 보존하려는 시도는 [칭찬]과 [건설적 또는 "부정적" 피드백]을 동등한 정도로 제공하거나, 피드백 샌드위치의 경우 학습자를 평정 상태로 둘 목적으로 찬사를 '탄수화물 케이싱'하는 의식으로 이어졌다.
Research suggests that learners struggle to implement feedback in practice.10-12 Learners also report negative emotional reactions when receiving feedback, which may have effects beyond the educator's intent, and beyond the episode of engagement.13 Educators painstakingly craft “feedback messages” and deliver these to recipients with the dual goal of improving learners’ performance and maintaining learners’ selfconfidence and their confidence in the educational partnership. Attempting to preserve learner face and confidence, has resulted in recognisable rituals of providing praise and constructive or “negative” feedback in equal measure, or, in the case of the feedback sandwich, a carbohydrate-rich casing of praise with the intent of leaving the learner in a state of equanimity.
이른바 "균형잡힌" 피드백 전달 방법은 건설적인 피드백이 어렵다고 생각하는 교사에게 도움이 되는 것으로 홍보된다. 이 뒤의 의도는 학습자의 감정을 배려하고 교육자의 양심을 보호하는 것이다.
So-called “balanced” methods of feedback delivery, are promoted as helpful for the teacher who finds constructive feedback difficult. The intention behind the ritual is to be considerate of the learner's feelings and to protect the educator's conscience
그러나 샌드위치는 긍정적인/부정적인/긍정적인 것에 초점을 맞추고 있기 때문에 정보가 작업이나 학습 전략을 개선하기 위해 사용되는 과정이 아니라 정보로서의 피드백의 개념화를 강조한다.
However, through its very focus on positive/negative/ positive, the sandwich highlights a conceptualisation of feedback as information rather than as a process whereby information is used to improve work or learning strategies.
코칭 문헌에서 샌드위치에 대한 초점은 다른 함축적 의미를 갖는다: 존 워든은 1970년대에 기술 시연에 대한 샌드위치 접근법으로 알려져 있었는데, 그 때 그는
이상적인 형태를 보여주고,
그 뒤에 잘못된 형태를 보여주며,
다시 올바른 수행을 강화하기 위한 방법으로 이상적인 형태를 완성했다(부정적인 피드백은 보이지 않는다; 단순히 잠재적 오류를 분명히 보여주는 것이다).16
In the coaching literature, the focus on sandwiching takes on different connotations: John Woden was known for a sandwich approach to skills demonstration in the 1970s, when he
demonstrated ideal form,
followed by incorrect form, and
finished with ideal form as a way of reinforcing correct performance (no negative feedback in sight; simply a clear demonstration of potential errors).16
이 기법은 이후 Docheff에 의해 긍정적인 문구를 포함하는 피드백 샌드위치의 다른 버전에 적응되었고, 그 다음에 구체적인 성과 관련 정보가 뒤따랐고, 그 다음에 동기가 부여되었다.17 샌드위치에 부정적인 것이 없다는 것에 주목하라: 그것은 긍정적인 것, 특정한 것, 동기 부여적인 것으로 구성된다.
This technique was subsequently adapted by Docheff to a different version of the feedback sandwich that included a positive statement, followed by specific performance-related information and then motivation.17 Note the absence of negative from the sandwich: it consists of something positive, something specific and something motivating.
피드백 전달을 위한 펜들턴 외 연구진의 규칙은 일반 연습생과 감독자 사이의 지속적인 관계에서 관찰된 환자 상담 후 피드백 제공을 지원하기 위해 개발되었다.
Pendleton et al's18 rules for the delivery of feedback were developed to support the provision of feedback after patient consultations observed in the context of ongoing relationships between general practice trainees and supervisors.
피드백 샌드위치와 일관되게, 펜들턴 외 18은 인출(비판적 진술)에 앞서 예금(긍정적 진술)의 중요성을 강조하며, 어떤 의미에서는 이 또한 균형에 초점을 맞춘다.
Consistent with the feedback sandwich, Pendleton et al18 highlight the importance of making deposits (positive statements) before withdrawals (critical statements) and, in a sense, also focus on balance.
3.1 | 리프레이밍: "가치 주도" 피드백의 가치
3.1 | Reframing: the value of “values-led” feedback
샌드위치나 다른 규범적 모델을 통해 피드백을 "전달"하는 방법에 대한 우려되는 결과 중 하나는 피드백 전달 기술에 집착하는 것이다. 이것은 우리가 적절한 시기에 올바른 말을 하는 것이 우리의 학습자들이 나아지는데 필요한 전부라는 잘못된 결론으로 이어질 수 있다. 이에 대한 많은 결과들이 있는데, 이는 교육적으로 의도된 것이 공식화되기 때문이다.19 학습자에게 긍정적인 피드백과 부정적인 피드백의 균형을 주는 것 외에 우리가 할 수 있는 일은 무엇인가?
One of the consequences of our concern with how we “deliver” feedback through sandwiches or other prescriptive models is that we become obsessed with our feedback delivery skills. This may lead us to the erroneous conclusion that saying the right words at the right time is all that is necessary to help our learners improve. There are many consequences to this, not least tokenism, whereby what is intended to be educative becomes formulaic.19 What might we do other than “give” learners a balance of positive and negative feedback?
시뮬레이션 기반 학습 문헌은 유용한 조언의 원천이 될 수 있다. 디브리핑과 피드백은 "동전의 다른 측면"으로 볼 수 있다. 디브리핑은 "경험적 학습의 주기에 있어서, 지식과 기술의 차이를 식별하고 좁히는 데 도움이 되는 성찰"으로 포지셔닝된다.21 이에 발맞추어, 디브리핑이 이루어지는 방식은 신화적 피드백과는 다르다. "디브리핑하자"는 "내가 피드백을 좀 줄게"와는 현저하게 다른 요청이다.
The simulation-based learning literature may be a source of useful advice. Debriefing 20 and feedback can be viewed as “different sides of the same coin.” Debriefing is positioned as “a facilitated reflection in the cycle of experiential learning to help identify and close gaps in knowledge and skills.”21 In line with this, debriefing practices come without some of the unwelcome associations of mythic feedback. “Let's debrief” is a request markedly different from “Let me give you some feedback.”
2015년 디브리핑 전문가의 특성을 조사한 면접연구
A 2015 interview study investigating practice features of expert debriefers
헌신, 정직, 진정한 호기심, 학습중심성과 같은 전문가들에 의해 평가된 자질들은 중요한 영향을 미쳤다. 전문가들은 또한 그들이 학습자들과 그들의 상황에 동적으로 적응하는 "스스로 생각하는 것"에 관련된 것을 포함한 보고의 예술성에 대해서도 설명했다. 마지막으로, 그들은 실행 계획 개발, 학습자 반영 촉진 및 학습 목표 관리와 같은 구체적인 기법을 설명했다. 그러나, 크로그 외 연구진 24는 이러한 것들이 가장 중요하지 않다고 보고, 보고자의 교육적 가치가 그들의 전반적인 접근법의 기초를 형성한다고 제안했다.
The qualities valued by experts, such as dedication, honesty, genuine curiosity and learner-centredness, were significant influences. Experts also described the artistry of debriefing, including that involved in “thinking on their feet,” whereby they dynamically adapted to their learners and their context. Finally, they described specific techniques such as developing a plan of action, promoting learner reflection and managing learning objectives. However, Krogh et al24 saw these as the least significant and suggested that debriefers’ educational values formed the foundation for their overall approach.
이 연구24는 피드백 관행과 프로세스에 대한 귀중한 통찰력을 제공한다. 중요한 첫 번째 단계는 피드백 교환의 기초를 이루는 가치에 대해 생각하는 것이 될 수 있다. 디브리핑에서는, 시뮬레이션 세션이 시작될 때 학습자에게 핵심 교육 가치를 선언하는 것이 일반적이다. 예를 들면, "학습자를 존중하고 그들의 관점을 이해하려는 약속"과 같은 것이다. 이 commitment가 은 앞으로 해야 할 일의 토대를 마련한다.
this study24 provides valuable insights for feedback practices and processes. Thinking about the values that underpin feedback exchanges may be a critical first step. In debriefing, it is common to declare the core educational values to learners at the start of any simulation session, such as by articulating “a commitment to respecting learners and understanding their perspective.”25 This is done before any debriefing or even any task is undertaken that might generate feedback information. This commitment lays the ground for work that is to follow.
크로흐 외 연구진은 디브리핑 전문가들은 끊임없이 자기의 발전을 추구한다는 사실을 발견했다. 그들은 "불편함에 대한 편안함"을 깨닫게 되었고, 불편한 디브리핑 내용을 학습 기회로 사용하기 시작했다.24 이것은 상호 취약성이 개발을 위한 메커니즘으로 작용할 수 있는 피드백 교환에 참여하는 교사들에게 직접적인 유사성을 가지고 있다.26
Krogh et al24 found that expert debriefers were constantly seeking to develop themselves. They had come to find “comfort with discomfort” and had begun to use uncomfortable debriefings as learning opportunities.24 This has direct parallels for teachers who engage in feedback exchanges in which reciprocal vulnerability can work as a mechanism for development.26
4 | MYTH 2: FEEDBACK는 TEACHER SKILL
4 | MYTH 2: FEEDBACK IS A TEACHER SKILL
우리가 현재 "피드백"으로서 당연하게 여기는 의식은 [학습자로 하여금 지식, 기술, 정체성의 변화를 가능하게 하는 과정]으로서의 피드백의 목적을 손상시키거나 심지어 파괴할 수 있다. 학습자는 많은 경우 공식에서 빠져 있다. 가끔 피드백 기회(작업)에 대한 자극을 제공하는 정도 뿐이다.
The rituals we now take for granted as “feedback” may detract from, or indeed sabotage, the very purposes of feedback as a process that enables learner changes in knowledge, skill and identity. Learners are relatively absent from the equation, other than providing the stimulus for a feedback occasion (work).
전 세계의 고등 교육 이니셔티브는 교사의 "피드백텔링" 기술 향상에 초점을 맞추고 있으며, 매우 적은 기관만이 학습자가 피드백 과정에 참여하도록 돕는 방법에 초점을 맞추고 있다.7, 27
Higher education initiatives worldwide focus on improving the “feedbacktelling” skills of teachers, and very few institutions focus on how to help learners to engage in feedback processes.7, 27
피드백을 "제공"하는 방법은 직무 중심 철학을 부주의하게 강화했을 수 있는 초점을 가정한다. 피드백텔링에 초점을 둔 접근방식은 장기적으로는 실천에 더 유익할 수 있는 전문적 정체성 형성 및 자율 규제와 같은 개발의 더 개인적인 측면을 충족하지 못할 수 있다.
Methods of “giving” feedback, assume a focus that may have inadvertently reinforced a taskfocused philosophy. Such an approach may not meet more personal aspects of development, such as professional identity formation and selfregulation, which in the long term may be more beneficial to practice.
4.1 | 리프레이밍: 관계 기반 접근법이 더 유용할 수 있음
4.1 | Reframing: relationship-based approaches may be more useful
피드백 샌드위치를 피하고 의학 교육에서 우위를 점하고 있는 두 가지 관계 기반 접근방식은 "교육 동맹"과 관계, 반응, 내용, 코치(R2C2) 접근방식이다. 이러한 두 가지 접근방식은 피드백을 복잡한 사회적 상호 작용으로 인식하고 상호작용이 발생하는 관계, 문화 및 맥락으로 인식하여 보다 역동적이고 대응적인 피드백 대화를 목표로 한다.
Two relationship-based approaches that eschew the feedback sandwich and are gaining ascendency in medical education are the “educational alliance” and the relationship, reactions, content, coach (R2C2) approach. Both these approaches aim for a more dynamic and responsive feedback dialogue in recognition of feedback as a complex social interaction, influenced by those involved and the re-9 lationship, culture and context in which the interaction occurs.
교육 동맹는 치료 동맹의 강도에 대한 환자의 인식과 상관관계가 있다는 것을 확인한 심리치료학에서 작업을 확장한다.29 의료 교육에 적용되는 교육 동맹은
(a) 공동의 목표 의식
(b) 공유 활동
(c) 유대
...의 세 가지 주요 측면으로 구성된다.
The educational alliance extends work in psychotherapeutics which identified that outcomes correlated to patients’ perceptions of the strength of the therapeutic alliance.29 Applied to medical education, the educational alliance consists of three key aspects: (a) a shared sense of goals; (b) shared activities; and (c) bond.
공유된 목표와 활동을 확립함으로써, 교육 동맹이 강화되고 행동 변화에 활용될 수 있다.30 세 가지 요소는 다음과 같은 의미에서 상호 작용한다. 교육자가 시간을 내어 목표를 논의하고 협상하며 목표를 향해 일하는 방법에 대한 합의를 이끌어 낸다면, 이것은 감독자가 학습자에게 투자되어 신뢰와 존중의 인식(유착)을 강화한다는 것을 증명한다.
Through establishing shared goals and activities, an educational alliance is strengthened and can then be leveraged for behaviour change.30 The three components interplay in the sense that if an educator takes the time to discuss and negotiate goals and an agreement about how to work towards the goals, this demonstrates that the supervisor is invested in the learner and thereby strengthens perceptions of trust and respect (ie the bond).
예비 연구는, 학습자에 의해 교육 동맹이 강하다고 판단될 경우, 연습생들이 자신에 대해 더 많이 공개하고 피드백을 구하는 것과 같은 긍정적인 피드백 행동을 할 가능성이 더 높다는 것을 보여준다.5 중요한 것은, trainee들은 강력한 교육 동맹이라는 맥락에서는 (아주 부정적으로 표현되더라도) 건설적인 피드백에 따라 행동할 가능성이 높다고 보고한다.5
if the educational alliance is judged to be strong by the learner, preliminary research shows that trainees are more likely to disclose about themselves and to engage in positive feedback behaviours such as feedback seeking.5 Importantly, trainees report that they are more likely to act on constructive feedback (even if it is worded very negatively) in the context of a strong educational alliance.5
R2C2 접근방식은
(a) 휴머니즘,
(b) 정보에 입각한 자기평가,
(c) 행동변화의 과학의 세 가지 이론적 관점에 의해 알려진 의료교육의 피드백에 관한 연구를 통해 개발되었다.31
네 단계가 있다.
(a) 관계 형성
(b) 피드백에 대한 반응 탐구,
(c) 피드백 내용 탐구,
(d) 변화를 위한 코치
대화를 용이하게 하기 위해 각 단계에 대한 유도 질문이 있다.
The R2C2 approach was developed through research on feedback in medical education informed by three theoretical perspectives:
(a) humanism;
(b) informed selfassessment; and
(c) the science of behaviour change.31
There are four phases:
(a) building the relationship;
(b) exploring reactions to feedback;
(c) exploring feedback content; and
(d) coaching for change.
There are guiding questions for each of the phases to facilitate the conversation.
이 두 가지 접근방식에 걸쳐 공유된 교육 원칙에는
관계의 수립(및 재설정)의 중요성 인정,
목표의 논의와 설정,
학습자의 능동적 참여,
반복적 피드백 루프 및 학습자 개발에 초점
...이 포함된다. 둘 다 규범적이지 않지만, 교육자들이 높이 평가하는 구조를 제공한다.30,33
Shared educational principles across these two approaches include acknowledgement of the importance of establishing (and reestablishing) relationships, discussion and setting of goals, the active engagement of the learner, iterative feedback loops and a focus on learner development. Neither is prescriptive in flavour, but they offer structure, which is appreciated by educators.30,33
5 | MYTH 3: FEEDBACK는 입력만 가능
5 | MYTH 3: FEEDBACK IS AN INPUT ONLY
고등교육에서 현대의 피드백 관행은 "유용하길 바라는 마음으로 정보를 주는 것"8으로서, "그저 바라는 것hoping"이 정보의 효과를 감시하지 않는 환경에서 우리가 할 수 있는 최선의 방법이라고 묘사되어 왔다. 교육에서 피드백의 구현enactment은 [정해진 기준점이나 표준, 입력과 산출물]이 있는 생물과 공학에서의 피드백 메커니즘에서 상당히 벗어났다.8 교육에서, '입력'으로서의 피드백에 과도한 투자가 있었고, 출력(또는 효과)을 보장할 책임은 "학습"이라고 불리는 다른 분야에 맡겨두고 있었다.
Contemporary feedback practice in higher education has been described as the “provision of hopefully useful information”8 as “hoping” is about the best we can do in a climate in which the effect of the information is not monitored. The enactment of feedback in education has morphed considerably from the mechanism of feedback in biology and engineering, in which there are set points or standards, an input and an output.8 In education, there has been an overinvestment in feedback as input, with the responsibility for ensuring output (or effect) perhaps residing in another field called “learning.”
일정량의 telling을 처방하는 것은 피드백에 있어서 교사의 적응적 전문성을 간과하게 만든다. 적응적 전문성은 학습자의 단서, 학습자의 진행 상황 및 개인의 목표에 민첩하게 대응하는 교사(또는 동료)를 말한다. 지난 20년 동안 수행된 대규모의 연구는 다음과 같이 시사한다. 말하기(sensitive telling조차)로 특징지어지는 ritual은 원하는 효과를 가지지 못한다."학습자들은, 심지어 가능한 친절하게 반복해서 말을 들을 때에도, 순전히 듣는 것 만으로는 그다지 많이 배우지 않는다."36
A prescriptive “dose” of telling deemphasises teachers’ adaptive expertise in feedback. Adaptive expertise would involve the teacher (or peer) responding nimbly to learner cues, knowledge of the learner's progress and his or her individual goals. A large body of research carried out over the past two decades suggests that rituals characterised by telling (even sensitive telling) do not have the desired effect: “Learners do not always learn much from purely being told, even when they are told repeatedly in the kindest possible way.”36
"피드백은 학생들이 그들의 일에 대한 정보를 가지고 무엇을 하는지, 그리고 이것이 그들의 일과 학습 전략에 어떻게 증명할 수 있는 개선이 되는지 살펴봄으로써 평가되어야 한다."37
“feedback should be judged by looking at what students do with information about their work, and how this results in demonstrable improvements to their work and learning strategies.”37
5.1 | 리프레이밍: 피드백 프로세스에 대한 학습자의 참여는 (즉각 과제를 넘어) 효과를 낳는다.
5.1 | Reframing: learner engagement with feedback processes produces effects (beyond the immediate task)
5.1.1 | 피드백의 복수 출력
5.1.1 | The multiple outputs of feedback
많은 피드백 연구는 기술 또는 지식 평가를 수행하고, 학습자에게 그들의 성과에 대한 정보를 제공한 다음, 짧은 시간 내에 동일하거나 밀접하게 관련된 과제를 다시 시험한다. 비록 좋은 피드백 정보가 성과를 변화시킬 수 있다는 것을 인식하지만(그리고 그 퍼포먼스 향상이 중요하다), 구체적인 지식 습득이나 기술 성과에 대한 초점은 전체 그림의 한 부분에 불과하다.
Many feedback studies take a skill or knowledge assessment, provide learners with information about their performance, and then retest that same or a closely related task within a short time frame. Although we recognise that good feedback information can change performance (and that improved performance is important), a focus on specific knowledge attainment or skill performance is only one part of the picture.
그렇다면 우리는 피드백이 가장 넓은 의미에서 학습자에게 어떻게 영향을 미치는지에 대해 무엇을 알고 있는가? 피드백과 성능 사이에는 단순한 관계가 없다.39 신학적인 메타 분석에서 클루거와 데니시40은 피드백 개입의 3분의 1 이상은 후속 수행능력을 악화시키는 것과 관련이 있음을 발견했다.
So what do we know about how feedback influences learners in the broadest sense? There is no simple relationship between feedback and performance.39 In a seminal meta-analysis, Kluger and Denisi40 found that more than a third of feedback interventions were associated with worse subsequent performance.
우리가 피드백을 고려할 때, 우리는 무엇이 개발을 필요로 하는지, 즉 과제인지, 과정인지 사람인지에 주의를 기울일 필요가 있다.41
when we consider feedback, we need to pay attention to what requires development: the task, the process or the person.41
우리가 피드백을 더 장기적이고 폭넓게 이해한다면 다른 산출물을 고려할 수 있다. 여기에는 다음이 포함될 수 있다.
작업표준에 대한 이해도 향상,2
향상된 기술 또는 학습 전략,11
업무 품질(평가 판단)을 위한 학습자 능력 향상(42,43
학습자 직업 정체성의 변화44 및
학습 동기의 변화40
이러한 이득은 애당초 피드백 정보를 촉발한 [과제]라는 초점을 넘어서 더 오래 가는 가치를 지닐 수 있다.
Other outputs may be considered if we take a longer-term and broader understanding of feedback. These may include
improved understanding of standards of work,2
improved skills or learning strategies,11
improved learner capability for judging the quality of work (ie evaluative judgement),42,43
changes in learner professional identity44 and
changes in learner motivation.40
It may be that these gains or outputs have a life beyond the focus of the task that triggered the feedback information in the first instance.
5.1.2 | 피드백의 산출물로서의 전문적 정체성 전망
5.1.2 | Foregrounding professional identity as an output of feedback
직업적 정체성(또는 가능한 정체성)은 고정되거나 단일화된 것이 아니라, 개인이 평가적이고 감정적인 과정을 통해 다양한 경험, 상황, 사람들에게 반응한다는 점에서 관계적이다.
Professional identity (or possible identity) is neither fixed nor unitary; rather, it is relational in that an individual responds to various experiences, situations and people through an evaluative and emotional process.
개인들은 피드백 경험을 통해 자신의 직업적 자아에 대한 의미를 발전시킨다.47 반대로, 정기적인 피드백의 부재는 전문직 정체성 형성을 방해하는 것으로 밝혀졌다.44
Individuals develop meaning about their professional selves through feedback experiences.47 Conversely, the absence of regular feedback has been found to hamper professional identity formation.44
전문 동료와 고객 또는 환자를 포함한 다양한 소스의 피드백은 전문적 아이덴티티에 영향을 미칠 수 있다.46,48-50 그러나, 전문직 정체성 형성에 대한 피드백 프로세스의 기여는 입맛에 맞는 메시지의 단순한 수신과 그에 따른 응답에 의해 암시되는 것보다 더 뉘앙스가 있다. 오히려, 전문적 정체성을 형성하는데 도움을 주는 것은 "다른 사람의" (거부적) 반응이다.
Feedback from a range of sources, including professional peers and clients or patients, can influence professional identity.46,48-50 However, the contribution of feedback processes to professional identity formation is more nuanced than implied by the simple receipt of a palatable message and an according response. Rather, it is “others” reactions’ that help to shape professional identity.51, 52
Ibarra는 다음과 같은 두 가지 방법으로 "다른 사람"의 반응이 피드백 프로세스를 통해 정체성을 형성하는 방법을 식별했다.
(a) 다른 사람들이 새로운 학습자 행동을 검증(또는 보증하지 않음)한다.
(b) 다른 사람들이 개선 방법향에 대한 신호를 보낸다.
Ibarra51 identified two ways in which the reactions of “others” shaped identity through feedback processes that occur when:
(a) others validate (or fail to endorse) new learner behaviours; and
(b) others signal ways to improve.
외부 당사자들은 "(학습자가) 어떤 사람이 되어가고 있는지"에 대한 사회적 신호를 제공함으로써 정체성을 부여한다. 학습자들은 자신의 행동에 대한 다른 사람들의 반응을 측정함으로써 자신이 누구인지, 자신이 되고 싶은 사람은 누구인지를 이해하기 시작한다.
External parties confer identity by providing social signals about who one is becoming. By gauging others’ reactions to their behaviour, learners begin to understand who they are and who they want to be.53
반대로, 환자에 의해 잘 받아들여진 것과 같은 피드백 반응은 학습자의 전문적 자아의식을 검증할 수 있다.47 이러한 광범위하고 사회적으로 위치하는 용어의 피드백에 대해 생각하는 것은 학습자가 "무슨 말을 듣든" 임상 환경에서 다르게 행동하기 시작하는 이유를 설명할 수 있다.
Conversely, feedback reactions such as those generated by being well received by patients can validate a learner's sense of professional self.47 Thinking about feedback in these broader and socially situated terms may explain why learners start to act differently in clinical environments, no matter what they are “told.”
마찬가지로, 전문직 정체성은 개선 방법을 알려주는 피드백 단서에 의해 형성된다. 레지던트의 전문직 정체성 구축을 연구하면서, Pratt 등은 롤모델로부터 받은 피드백은, 그들을 관찰하고 상호작용하는 것과 합해져서, 행동을 형성하게 되고, 이것이 전문직 정체성을 개발하는 데 도움이 된다는 것을 발견했다.
Equally, professional identity is shaped by feedback cues that signal ways to improve.50,52 When examining medical residents’ construction of professional identity, Pratt et al52 found that residents’ interactions with, and observations of, role models, combined with feedback, helped to develop professional identities by shaping behaviour.
Pratt 등은 다음과 같은 점에서 경험들이 행동을 형성함으로써 정체성을 형성하고 있다고 주장한다. "...그들과 다른 사람들이 무엇을 잘못하고 있고, 결과적으로 그 일을 어떻게 해야 하는지를 알게 됨으로써, 의사로서 자신을 바라보는 방식을 바꾸었다."52
Pratt et al argue that experiences were shaping identities by shaping behaviour, in that: “…by learning what they, and others, were doing wrong and consequently how the work should be performed, they changed how they viewed themselves as physicians.”52
"Feedback as telling"은 과거에 머무르며 학습자에게 주체성을 거의 두지 않는 역방향의 오리엔테이션을 가지고 있다. 아주 짧은 만남에서조차, 연구는 ("acting as consultant"이나 미래 직업 전문 선택과 같은) 효과에 초점을 맞추는 것이 피드백 대화를 통해 그리고 상호 작용하는 목표와 관련하여 가능하다는 것을 강조한다.30 피드백이 양 당사자가 관점과 전략을 제공하는 중첩된 작업을 포함하는 반복적 과정으로 더 잘 설계된다면, 교육자 입장에서는 "언어적 재주"부려야 할 필요성일 줄어들 것이며, 학습자 입장에서는 학습자 정체성에 대한 위협의 위험이 줄어들 것이다.
“Feedback as telling” has a backward-facing orientation that lingers on the past and leaves the learner with little agency. Even within brief encounters, research highlights that a focus on effects such as “acting as a consultant” or future career specialty choices are possible through feedback dialogue and in reference to coconstructed goals.30 If feedback were to be better designed as an iterative process involving nested tasks whereby both parties offer perspectives and strategies, there might well be less of an imperative for linguistic gymnastics on the part of the educator, and less risk of threat to learner identity.
6 | 결론
6 | CONCLUSIONS
우리는 피드백의 사회적 내재성을 조사하고, 학습자 및 교사 취약성 및 지식의 부정확성과의 대화에서 신뢰의 역할을 특권화하는 데 더욱 집중적인 노력을 기울여야 한다고 주장한다. 우리의 실천이 규칙보다 가치에 의해 뒷받침된다면, 교수자와 학습자 모두 "인간 개발"이라는 사업에서 불가피한 울퉁불퉁하고 생소한 지형을 항해할 수 있는 더 많은 융통성을 갖게 될 것이다.
We argue for more concentrated efforts in examining the socially embedded nature of feedback, privileging the role of trust in dialogues with remits of learner and teacher vulnerability and coconstruction of knowledge. If our practices are underpinned by values, rather than rules, both parties are granted more flexibility to navigate the bumpy and unfamiliar terrain that is inevitable in the business of developing people.
최근의 대규모 연구는 학습자들과 교사들이 여전히 피드백을 [선생님이 요리해야 할 것]으로 보고 있다는 사실을 뒷받침한다. 훌륭한 요리사들은 재료를 다루는 데 능숙하지만, 동시에 고객(학습자)들이 수용해야 할 식욕과 알레르기를 가지고 있다는 것도 인지하고 있다.우리는 학습자들이 그 테이블에 참여할 때라는 증거를 제시했다. 잘 확립된 의식과 생존의 원칙보다는 교육적 원리를 이용한 재교육적 실천은 우리가 추구하는 효과를 줄 수 있다.
Recent largescale studies reinforce the finding that learners and teachers still see feedback as something the teacher needs to cook up (or assemble when it comes to the sandwich). Good chefs are expert in handling ingredients and are also cognisant that their customers (learners) have appetites and allergies that need to be accommodated. We have presented evidence to suggest that it is time for learners to join the table. Puncturing the well-established rituals and reframing practice using educational principles, rather than survival principles, may give us the effects we are after.
,54 (1), 33-39
Challenging Feedback Myths: Values, Learner Involvement and Promoting Effects Beyond the Immediate Task
Context:Research suggests that feedback in the health professions is less useful than we would like. In this paper, we argue that feedback has become reliant on myths that perpetuate unproductive rituals. Feedback often resembles a discrete episode of an educator "telling," rather than an active and iterative involvement of the learner in a future-facing process. With this orientation towards past events, it is not surprising that learners become defensive or disengaged when they are reminded of their deficits.
Methods:We tackle three myths of feedback: (a) feedback needs praise-criticism balancing rules; (b) feedback is a skill residing within the teacher; and (c) feedback is an input only. For each myth we provide a reframing with supporting examples from the literature.
Conclusions:Equipping learners to engage in feedback processes may reduce the emotional burden on both parties, rendering techniques such as the feedback sandwich redundant. We also highlight the benefits for learners and teachers of conceptualising feedback as a relational activity, and of tracing the effects of information exchanges. These effects may be immediate or latent, and may manifest in different forms such as changes in learner evaluative judgement or professional identity.
Concept maps in medical education: an analytical literature review
Barbara J Daley1 & Dario M Torre2
도입
INTRODUCTION
슐먼에 따르면, 1 '여러 전문직의 시그니처 교수법은 영원하지 않고 불변하지 않는다. 그들은 어느 시점에서도 현저히 안정되어 보이지만, 직업 그 자체와 전문적인 서비스나 관리를 제공하는 기관의 조건이 더 큰 사회적 변화를 겪기 때문에 항상 변화의 대상이 된다.'
According to Shulman,1 ‘the signature pedagogies of the professions are not eternal and unchanging. Even though they seem remarkably stable at any one point in time, they are always subject to change as conditions in the practice of the profession itself and in the institutions that provide professional service or care undergo larger societal change.’
의미 있는 학습, 즉 관련 의학 개념을 사전 지식에 연결하여 이해하고 관련시킬 수 있는 능력은 의대생들에게 커다란 형태적 가치가 있다.
Meaningful learning, the ability to understand and relate
relevant medical concepts by linking them to prior knowledge, is of great
formative value to medical students.
개념지도: 무엇인가?
CONCEPT MAPS: WHAT ARE THEY?
정의
Definitions
지식을 체계화하고 표현하기 위한 그래픽 도구인 개념 맵은 노박과 고윈3에 의해 개발되었으며 아우수벨의 4,5 동화 학습 이론에 기초하고 있다. 노박과 고윈3는 개념 지도를 ‘명제의 틀에 내재된 개념의 의미 집합을 나타내는 도식적 장치’라고 설명한다. 이러한 관점에서 우리는 새로운 개념을 이미 알고 있는 것과 연결시켜 개념으로 생각하고 배운다.6
The concept map, a graphic tool for organising and representing knowledge, was developed by Novak and Gowin3 and is based on Ausubel’s4,5 assimilation theory of learning. Novak and Gowin3 describe a concept map as ‘a schematic device for representing a set of concept meanings embedded in a framework of propositions’. In this view, we think and learn with concepts by linking new concepts to what we already know.6
또한, 학문이 성장함에 따라 개념을 계층적으로 저장하고 차별화한다. 개념 맵을 사용하여 학습한다는 것은 학습자가 개념을 서로 연결, 차별화 및 관련시키기 위해 의도적으로 노력하고 있음을 의미한다.3,7
In addition, concepts are stored hierarchically and
differentiated as learning grows. Learning with concept maps means that the
learner is making an intentional effort to link, differentiate and relate
concepts to one another.3,7
이론 프레임워크
Theoretical framework
Ausubel과 그의 공동저자들은 개념으로 사고와 학습하는 과정에서 개인은 세 가지 과정을 사용한다고 믿는다. 즉, 하위분화, 점진적 분화, 통합적 화해를 이용한다.5,8
하위분화에서 하위 수준의 개념은 상위개념에 따라 포함된다.9
점진적 분화에서는 개념을 더 미세한 요소와 더 미세한 요소로 세분화한다. 이와 같이 점진적 분화는 분석 과정과 유사하다.
마지막으로, 통합적 화해는 학습자가 지도 왼쪽에 있는 개념을 오른쪽의 개념과 조화시키고 연결하려고 시도할 때 발생한다.10,11 이것은 통합의 과정과 유사하다.
Ausubel and his co-authors believe that during the process of thinking and learning with concepts, an individual uses three processes: subsumption, progressive differentiation and integrative reconciliation.5,8
In subsumption, lower-order concepts are subsumed under higher-order concepts.9
In progressive differentiation, concepts are broken down into finer and finer components. In this way, progressive differentiation is similar to the process of analysis.
Finally, integrative reconciliation occurs when the learner attempts to reconcile and link concepts on the left side of the map with those on the right.10,11 This is similar to the process of synthesis.
개념 맵의 개념 맵인 그림 1은 이 세 가지 프로세스를 보여준다.
Figure 1, a concept map of a concept map, depicts these
three processes.
개념지도 만들기
Creating concept maps
개념 맵을 작성하기 위해 학습자는 다음 단계를 포함하는 능동적 프로세스에 참여한다.
첫째, 학습자는 가장 일반적인 개념을 식별하여 지도의 맨 위에 배치한다.
둘째로, 학습자는 일반적인 개념과 관련된 보다 구체적인 개념을 어떤 방식으로 식별한다.
셋째로, 학습자는 일반적이고 구체적인 개념을 자신에게 맞는 단어와 연계시킨다.
마지막으로 학습자는 적극적으로 지도의 한쪽에서 다른 쪽 개념으로 개념을 묶는 교차 링크를 찾는다.
To create a concept map, the learner engages in an active
process that includes the following steps.
Firstly, the learner identifies the
most general concepts and places them at the top of the map.
Secondly, the
learner identifies more specific concepts that relate to the general concepts
in some way.
Thirdly, the learner ties together the general and specific
concepts with linking words that make sense to him or her.
Finally, the learner
actively looks for cross-linkages that tie concepts from one side of the map to
concepts on the other.
개념 맵 사용 시 당면 과제
Challenges in using concept maps
개념 지도는 학생과 교수진 모두에게 새로운 학습방식으로 여겨지는 경우가 많으며, 그러한 만큼 개념지도를 학습전략으로 이해하고 통합하는 데 시간이 걸린다. 의과대학 교과과정에 개념 매핑을 통합하는 초기 단계에서 학생들의 저항이 나타나는 경우가 있다. 이 저항은 보통 지도를 만드는 데 걸리는 시간과 관련이 있다. 또한 지도 제작과 학습이 표준화된 시험에서 점수를 잘 받는 데 어떻게 도움이 되는지 학생들이 이해하지 못하는 것과 관련이 있을 수 있다.2.3
Concept maps are often considered a new way of learning by both students and faculty staff, and as such it takes time for both to understand and incorporate mapping as a learning strategy. Student resistance is sometimes seen during the initial stages of incorporating concept mapping into the medical school curriculum. This resistance is usually related to the time it takes to create maps. It may also be related to the students’ inability to understand how constructing maps and learning meaningfully will assist them in scoring well on standardised tests.2,3
지도를 사용하는 또 다른 도전은 지도들이 의미 있는 학습 개념을 구현하도록 설계되었다는 것을 교수들이 이해하도록 돕는 것이다. 이것은 교직원의 초점이 내용을 가르치는 것에서 학생들이 자신의 의료실무의 맥락 안에서 개념의 의미를 만들고 이해하도록 돕는 것으로 바뀐다는 것을 의미한다. 학생들이 의미에 대한 이해를 발달시킴에 따라, 그들의 지도에는 커리큘럼의 내용뿐만 아니라 임상 실습에서의 경험도 포함될 것이다. 이것은 학생들의 학습이 성장함에 따라, 그들이 만든 지도는 시간이 지남에 따라 바뀔 것이라는 것을 암시한다.
Another challenge in using maps involves helping faculty understand that maps are designed to implement the concept of meaningful learning. This means that the faculty member’s focus shifts from teaching content to helping the student create and understand the meaning of the concepts within the context of his or her medical practice. As students develop an understanding of meaning, their maps will incorporate not only the content of the curriculum, but also their experiences in clinical practice. This implies that as the students’ learning grows, the maps they create will change over time.
지도 교직원은 이것을 지도에서 'unreliability'로 볼 수 있는데, 실제로 지도의 특이성이 학생들의 학습이 시간이 지남에 따라 어떻게 발전하고 변화했는지를 보여준다. 이것은 전문지식의 발달에서 일어나는 과정과 유사하다. 의사들의 전문지식이 발달함에 따라 특정 주제에 대한 이해도가 높아지고 깊어진다. 한 사람이 두 전문가에게 같은 주제에 대한 지도를 개발하라고 한다면, 이 지도들은 그 전문가들의 다양한 임상 경험뿐만 아니라 다른 사람들의 인지 구조를 반영하고 있기 때문에 다르게 보일 가능성이 높다. 이처럼 콘셉트 맵핑은 학생과 교직원 모두의 조정이 필요한 학습전략이다.
Teaching staff may see this
as ‘unreliability’ in the maps,
when in reality the idiosyncratic nature of the maps demonstrates how the
students’ learning has grown and changed over time.
This is analogous to the process that takes place in the development of
expertise. As doctors develop their level of expertise, their understanding of
particular topics grows and deepens. If one asks two experts to develop maps on
the same topic, it is likely that these maps will look different because they
reflect the cognitive structures of different people, as well as the varied
clinical experiences of those experts. As such, concept mapping is a learning
strategy that requires adjustment on the part of both students and teaching
staff.
방법
METHODS
표 S1은 본 검토를 위해 선정된 35조 13~47항의 목적과 결과를 간략히 설명한다.
Table S1 briefly describes the purpose and findings of the
35 articles13–47 selected for this review.
결과
RESULTS
여기서 검토한 연구는 개념 맵이 의학 교육에서 네 가지 주요 방식으로 기능한다는 것을 나타낸다.
The studies reviewed here indicate that concept maps function in four main ways within medical education:
1 의미 있는 학습을 촉진하는 방법
2 학습을 위한 추가 자원을 제공함
3 강사가 학생들에게 피드백을 제공할 수 있도록 함
4 학습 및 성과 평가를 수행한다.
1 by promoting meaningful learning;
2 by providing an additional resource for learning;
3 by enabling instructors to provide feedback to students,
and
4 by conducting assessment of learning and performance.
의미있는 학습을 촉진
Promoting meaningful learning
개념 지도는 25년 이상 45년 이상 교육에서 성공적으로 사용되었으며, 증가하는 문헌은 의학 교육에서 사용이 증가하고 있음을 보여준다. 대다수의 기사는 개념 맵이 학습자의 의미 있는 학습, 비판적 사고 및 문제 해결의 개발을 촉진한다는 것을 나타낸다.
Concept maps have been successfully used in education for over 25 years45 and a growing body of literature indicates that their use in medical education is increasing. The vast majority of articles indicate that concept maps foster the development of meaningful learning, critical thinking and problem solving in the learner.13,17–20,22,24,26,37,40,42,46
의미 있는 학습은 학생이 새로운 지식을 이전의 지식과 연결시켜 더 통합된 인지 지식 구조를 만들 때 일어난다. 개념 맵을 사용하여 학생들은 기본 및 임상 과학 정보를 통합하고, 선형적 사고 패턴에서 보다 통합된 전체론적 패턴으로 이동하고, 그들의 학문 내에서 비판적 사고 능력을 보여줄 수 있었다.
meaningful learning occurs when the student links new knowledge with previous knowledge, thereby creating more integrated cognitive knowledge structures. through the use of concept maps, students were able to integrate basic and clinical science information, move from linear thinking patterns to more integrated holistic patterns, and demonstrate critical thinking abilities within their disciplines.
이러한 한계에도 불구하고, 많은 흥미로운 발견들이 이 검토에서 명백하다. 첫째, 개념 맵은 의료 및 보건 전문직 교육에서 [문제 기반 학습(PBL) 접근법]의 제공에 통합되고 있다. Hsu25는 PBL의 토론 구성요소 내에서 콘셉트 맵의 성공적인 사용을 보고한다. 그녀의 결과는 ‘실험집단이 통제집단에 비해 개념지도에 대한 명제 및 계층 점수가 상당히 높았다’.25 Rendas 등.37은 유사한 결과를 설명하고 ‘개념지도의 사용이 PBL 과정 내에서 의미 있는 학습을 자극했다는 것을 나타내는 것으로 나타난다’고 보고했다. 그들은 'PBL과 개념 매핑은 정보 수집, 가설 생성, 그리고 개념 맵에서 시각화된 광범위한 지식 요구의 노출에 허용된 학습 문제의 식별 방법 때문에 상호 보완적인 도구로 입증되었다.'37
Despite these limitations a number of interesting findings are apparent in this review. Firstly, concept maps are being integrated into the delivery of problem-based learning (PBL) approaches in medical and health professions education. Hsu25 reports the successful use of concept maps within the discussion component of PBL. Her results indicate that the ‘experimental group had significantly higher proposition and hierarchy scores for their concept maps compared with the control group’.25 Rendas et al.37 describe similar findings and report that their results ‘appear to indicate the use of concept maps stimulated meaningful learning within a PBL course’. They go on to state: ‘PBL and concept mapping proved to be complementary tools because the method of information gathering, hypothesis generation, and identification of learning issues allowed for the exposure of a broad range of knowledge needs that were visualised in the concept maps.’37
둘째로, 개념 맵은 [그룹과 협업 학습]의 발전을 촉진하기 위해 의료 및 보건 전문직 교육에 사용되고 있다. 예를 들어 Kinchin과 Hay27은 학생들의 컨셉 맵을 분석할 때 세 가지 주요 패턴이나 구조를 식별하는 정성적 연구를 수행했다. 이러한 패턴이나 구조물(스포크, 체인, 네트)은 서로 다른 발달 이해의 지표로 식별되었다. Kinchin과 Hay28은 협업 학습에서 이 작업과 개념 매핑을 확장하기 위해 계속되었다. 연구결과는 매우 다른 지식구조를 가진 3인 1조로 이루어진 학생들이 더 유사한 지식구조를 가진 그룹에 속한 학생들보다 학습에 더 큰 향상을 보인다는 것을 보여주었다.
Secondly, concept maps are being used in medical and
health professions education to foster the development of group and
collaborative learning. For example, Kinchin and Hay27 performed a qualitative
study that identified three major patterns or structures when analysing
students’ concept maps. These patterns or structures
(spoke, chain and net) were identified as indicators of different developmental
understanding. Kinchin and Hay28 went on to expand this work and study concept
mapping in collaborative learning. Findings indicated that students who were in
triads of individuals with very different knowledge structures showed greater
improvements in their learning than students who were in groups with more
similar knowledge structures.
셋째로, 최근의 연구는 특정한 학습 스타일을 가진 학생들이 개념 지도의 사용으로부터 이익을 얻는지 그리고 어떻게 얻는지 조사했다.
Thirdly, recent research has examined if and how students with specific learning styles benefit from the use of concept maps.
이 연구자들은 개념 맵이 다종다양한 학습 스타일을 가진 학습자 그룹 전반에 걸쳐 잘 기능할 수 있음을 나타낸다.
These researchers indicate that concept maps can function well across groups of learners with multiple and varied learning styles.
마지막으로, 두 가지 연구는 의학 교육 분야에서 흥미롭고 새로운 이슈를 제기했는데, 이것은 추가적인 연구와 탐구가 필요할 것이다. 한 연구에서 All과 Huycke14는 시간의 경과에 따른 학생의 사고의 진화를 보여주기 위해 대학원 교육에 직렬 개념 지도를 사용했다. All과 Huycke14는 직렬 개념 맵을 '지정된 기간에 걸쳐 단일 개념에 대해 생성된 일련의 진화하는 맵'으로 정의한다.
Finally, two studies have raised interesting and new issues within the field of medical education that will need additional research and exploration. In one of the studies, All and Huycke14 used serial concept maps in graduate education to demonstrate the evolution of a student’s thinking over time. All and Huycke14 define a serial concept map as ‘a series of evolving maps created about a single concept over a specified time period’.
또한 곤자'레즈 외 연구진.21의 새로운 연구는 개념 지도를 사용하는 그룹이 문제 해결 시험에서 상당히 더 잘 수행되었음을 나타낸다. 그들의 객관식 시험 성적은 전통적인 그룹의 성적과 비슷했다.
In addition, new work by Gonza´lez et al.21 indicate that the group using concept maps performed significantly better on the problem-solving examination. Their performance on the multiple-choice examination was similar to that of the traditional group.
West et al.,2는 개념 맵을 사용한 평가가 더 표준화된 테스트를 사용한 평가와 다른 인지 영역을 측정하고 있을 수 있음을 나타낸다. 곤자'레즈 외 연구진.21 연구에서 더욱 흥미로운 것은 문제 해결에서 개념 지도를 사용하는 것이 가장 낮은 인지 능력을 가지고 연구에 참가한 학생들에게 영향을 미친다는 사실이다.
West et al.,2 indicate that assessments with concept maps
may be measuring different cognitive domains from assessments with more
standard tests. Even more interesting in the Gonza´lez et al.21 study is the finding that using concept maps in problem
solving had the most impact on students who came into the study with the lowest
cognitive competence.
학습을 위한 리소스 제공
Providing a resource for learning
학습을 위한 자원으로서, 개념 지도는 학생들이 특정한 지식의 기관과 관련된 개념에 대한 숙달된 지식을 보여줄 수 있게 해준다. 개념 매핑은 자신의 이해에 대한 반성을 촉진하는 창조적인 활동이다.6 Pinto와 Zeitz에 따르면, 개념 지도는 학생들이 중요한 개념의 조직과 통합을 쉽게 이해할 수 있게 해준다. 토레 외 연구진은 학생들이 보고한 것에 주목한다: '개념 지도는 패턴 인식, 주제에 대해 폭넓게 생각할 수 있는 능력, 그리고 마지막으로 지식 통합을 가능하게 하는 사고 시스템을 개발함으로써 창의성을 허용했다.'
As a resource for learning, concept maps allow students to demonstrate their mastery of the concepts associated with a particular body of knowledge. Concept mapping is a creative activity that fosters reflection on one’s own understanding.6 According to Pinto and Zeitz,9 concept maps can facilitate students’ understanding of the organisation and integration of important concepts. Torre et al.40 note that students reported: ‘…the concept maps allowed for creativity by developing a system of thinking that included pattern recognition, the ability to think broadly on topics, and finally, allowed for knowledge integration.’
Laight30은 미리 준비된 개념 맵이 유용한지 물었다. 많은 학생들이 미리 준비된 개념 맵이 학습에 유용하다고 보고했다. 따라서, Laight30에 따르면, 미리 준비된 개념 맵은 대규모 수업에서 대안적이고 혁신적인 학습과 교수 기회와 방법을 제공할 수 있다.
Laight30 asked whether Pre-prepared concept maps were useful . A significant majority of students reported that pre-prepared concept maps were useful to their learning. Therefore, according to Laight30, pre-prepared concept maps may offer alternative and innovative learning and teaching opportunities and methods in large classes.
Patrick et al.36과 Weiss와 Levison41은 모두 개념 맵을 학습과 커리큘럼 개발을 위한 자원으로 설명한다. Weiss와 Levison은 또한 지도들이 학과와 학과들 간의 커리큘럼 주제 통합에 도움이 될 수 있다는 것을 보여준다.
Patrick et al.36 and Weiss and Levison41 both describe concept maps as a resource for learning and curriculum development. Weiss and Levison also indicate that the maps can serve to assist with the integration of curricular themes across and among departments and disciplines,
카스트로 외 연구진 15명과 윌렘슨 외 연구진.43은 개념 맵이 지식 모델 개발에 기능할 수 있음을 나타낸다. 카스트로 외 연구진 15명은 어떻게 그들이 영양학 커뮤니티 내에서 지식 온톨로지를 구축하기 시작했는지 묘사한다. Willemsen 외 연구진.43은 방대한 양의 정보를 시각화할 수 있는 지식 모델에서 155개의 개념 맵을 함께 만들었다.43
Castro et al.15 and Willemsen et al.43 indicate that
concept maps can function in the development of knowledge models. Castro et
al.15 describe how they used concept maps to begin building a knowledge ontology
within the nutrigenomics community. Willemsen et al.43 created 155 concept maps
linked together in a knowledge model that allows for the visualisation of vast
amounts of information.43
피드백 제공
Providing feedback
피드백과 관련하여 개념 매핑은 학생들이 주제를 명확히 하는 데 도움을 줄 수 있으며, 교사들은 지도를 사용하여 피드백을 제공하고 학생들의 오해를 확인할 수 있다.38 Kinchin과 Hay에 따르면, 27개의 콘셉트 맵은 학생과 교사 사이의 의사소통을 위한 도구로 보여지는데, 이것은 학생들의 연결 구조를 보여준다.
In relation to feedback, concept mapping can assist students in clarifying a topic, and teachers can use maps to provide feedback and identify student misunderstandings.38 According to Kinchin and Hay,27 concept maps are seen as a tool for communication between student and teacher which reveals the student’s constructions of connections.
에드몽슨과 스미스18 학생의 거의 절반은 개념 지도를 만드는 것이 효과적인 학습 장치라는 데 동의했다. 개념지도는 교사에게 학생들의 과오를 이해시켜 주었고, 이에 따라 교사가 피드백을 제공하고 내용과 성과를 명확히 할 수 있게 되었다.
Edmondson and Smith18 Almost one-half of the students agreed that creating a concept map was an effective learning device. As a teaching method, the concept map provided the teacher with an understanding of the students’ errors, thereby allowing the teacher to provide feedback and clarify both content and performance.
모스와 주트라스35. 통제 그룹은 개념 맵을 구성하지 않았다. 두 번째 그룹은 개별적으로 맵을 작성했고, 세 번째 그룹은 개별적으로 맵을 생성한 다음 피어 및 강사 피드백을 제공하는 팀으로 맵을 논의했다. 이 연구의 결과는 ‘ 피드백이 없는 개념 맵은 학생들의 성적에 큰 영향을 미치지 않았다’는 것을 나타내지만, 피드백이 있는 개념 맵은 학생들의 문제 해결 능력 및 실패율의 감소를 측정할 수 있는 수준으로 증가시켰다.35
Morse and Jutras35 . The control group did not construct concept maps; the second group constructed maps individually, and the third group created maps individually and then discussed them in teams that provided both peer and instructor feedback. Results from this study indicate that ‘concept maps without feedback had no significant effect on student performance, whereas concept maps with feedback produced a measurable increase in student problem solving performance and a decrease in failure rates’.35
노박과 고윈3은 개념 매핑의 주요 목적이 교육자와 학생 사이에 공유된 의미의 개발을 촉진하는 것이라고 생각한다. 강사들과 학생들이 개념 지도에 대해 토론하고, 생각하고, 수정함에 따라, 그들의 학습과 공유된 의미 부여 과정은 깊어진다.
Novak and Gowin3 believe that a major purpose of concept
mapping is to foster the development of shared meaning between the instructor
and the student. As instructors and students discuss, think about and revise
concept maps, their learning and shared meaning-making processes deepen.
학습과 수행능력 평가
Assessment of learning and performance
개념 맵은 다양한 연구에서 학생 임상 성과를 확인하고, 학생의 사고와 추론 과정을 이해하고, 학생 맵을 전문가 맵과 비교하기 위한 평가 도구로 사용되어 왔다. Williams44는 개념 맵이 단지 학습의 최종 과정으로서가 아니라 학습을 평가하는 데 사용될 수 있다고 지적한다. 그러나 로버츠에 따르면 38 ‘개념지도는 스타일이 크게 달라질 수 있기 때문에 특정 유형의 지도에 맞는 채점 방법을 선택해야 한다’고 한다.
Concept maps have been used in a variety of studies as an assessment tool to identify student clinical performance, understand student thinking and reasoning processes, and compare student maps with expert maps. Williams44 notes that concept maps can be used to assess learning rather than just as an end process of learning. However, according to Roberts,38 ‘because maps can vary greatly in style, a scoring method which suits the particular type of map must be chosen’.
Daley et al.17은 개념 지도를 학습 전략과 평가 전략 둘 다로 사용했다. 결과는 이번 학기의 첫 번째와 마지막 컨셉 맵 점수 사이에 통계적으로 중요한 변화가 있음을 나타낸다. 힉스-모어와 파스티리크23도 컨셉 맵으로 비판적 사고 수준을 평가하는 연구를 실시했다.
Daley et al.17 used concept maps as both a learning and an assessment strategy. Results indicate a statistically significant change between the first and last concept map scores of the semester. Hicks-Moore and Pastirik23 also conducted a study to assess the level of critical thinking with concept maps.
West et al..2 Daley et al.,17 West et al.2에 의해 수행된 연구는 개념 매핑 평가(CMA) 점수는 과정 지시 후에 향상되었지만, CMA 점수는 최종 과정 또는 표준화된 시험 점수와 관련이 없다는 것을 발견했다. West et al.에 따르면, 2 '긍정적 상관관계가 없다는 것은 CMA가 객관적 검사를 수행하는 것과 다른 지식 특성을 측정한다는 것을 의미한다'고 한다. 따라서 CMA는 학생이나 레지던트가 기존의 시험이 할 수 없는 방식으로 지식을 어떻게 조직하고 사용하는지를 평가할 수 있는 잠재력을 가지고 있다.
study carriedout by West et al.2 Like Daley et al.,17 West et al.2 found that concept mapping assessment (CMA) scores improved after course instruction; however, CMA scores did not correlate with final course or standardised test scores. According to West et al.,2 ‘the absence of a positive correlation suggests that CMA measures a different knowledge characteristic than do multiple-choice examinations’; therefore, CMA has the potential to evaluate how students or residents organise and use knowledge in a way that traditional tests cannot.
West et al.10은 구조적 채점 방법과 관계적 채점 방법을 연구함으로써 이 작업을 확장했다.
구조 점수는 지도의 계층 구조, 개념 링크 및 교차 링크 구성에 기초한다. 구조 채점에서는 4개 범주의 유효한 각 구성 요소에 대한 점수를 부여한다.
관계 점수는 지도의 전체 구조와 관계 없이 각 구성요소의 품질이나 중요도에 기초한다.
West et al.10 expanded on this work by studying both a structural scoring method and a relational scoring method.
Structural scoring is based on the map’s organisation of hierarchical structure, concept links and cross-links. Structural scoring assigns points for each valid component in four categories.
Relational scoring is based on the quality or importance of each component, with no regard to the overall structure of the map.
강사 지도와 학생 지도의 유사성은 지침에 따라 현저하게 증가했다.
the similarity of student maps with instructor maps
increased significantly following instruction.
그러나 부차적으로 맥가기 등은 전문가 지도에서 매우 다양한 내용을 보고하고 있다.33
However, as a side note, McGaghie et al. report a wide variety in the maps of experts.33
가장 최근에는 CMA에 대한 이해가 고무와 복수 채점 시스템 개발로 옮겨갔다. 예를 들어, Moni와 Moni34는 지도의 내용, 논리 및 표시에 기초한 평가 루브릭을 개발했다.
Most recently, the understanding of CMAs has moved to the development of rubrics and multiple scoring systems. For example, Moni and Moni34 developed an assessment rubric based on the content, logic and presentation of the maps.
D'Antoni et al.16은 West et al.2에 의해 개발된 CMA 점수 시스템을 채택하고 지도의 깊이를 개념 링크, 교차 링크, 계층, 예제, 그림 및 색상에 기초하여 평가할 수 있다는 것을 발견했다.
D’Antoni et al.16 adapted the CMA scoring system developed by West et al.2 and found that the depth of the map can be assessed based on concept links, cross-links, hierarchies, examples, pictures and colours.
스미니바산 외 연구진 39는 CMA의 신뢰성을 시험하기 위한 연구를 개발했다. 그들은 4개의 채점 시스템을 만들었고, 지도의 품질, 개념의 품질과 중요성, 그리고 하이브리드 시스템에 초점을 맞춘 채점 시스템은 유사한 신뢰성을 가지고 있었으며, 전체적으로 지도의 구조에만 초점을 맞춘 채점 시스템보다 더 신뢰성이 높다는 것을 발견했다.
Srinivasan et al.39 developed a study to test the
reliability of CMAs. They created four scoring systems and found that the
scoring systems that focused on the quality of the map, on the quality and
importance of concepts, and a hybrid system had similar reliability and were
overall more reliable than the scoring system that focused on the structure of
the map alone.
의학교육과 미래 연구를 위한 함의
IMPLICATIONS FOR MEDICAL EDUCATION AND
FUTURE RESEARCH
이 리뷰에서 인용된 연구는 개념 맵이 의대생 학습에 도움이 될 수 있다는 것을 보여준다. 심사자들은 의학 교육에 이 전략을 사용하는 것의 해로운 영향을 나타내는 어떤 연구도 찾을 수 없었다.
The research cited in this review demonstrates that concept maps can assist in medical student learning. The reviewers could find no studies that indicate detrimental effects of using this strategy in medical education.
마지막으로, 네스비트와 아데소프47이 언급하고 있듯이: ‘...투자자들은 학생들이 개념 지도와 함께 배우는 과정과 문제해결 전달, 응용, 분석, 개념적 변화와 학습 기술의 발전과 같은 더 높은 수준의 학습 목표에 미치는 영향을 검토해야 한다.' 우리는 의학 교육에서도 개념 지도와 임상 추론, 의료 문제 해결, 진단 오류 사이의 관계에 대한 추가 연구가 필요하다고 믿는다.
Finally, as Nesbit and Adesope47 state: ‘…investigators should examine the processes by which students learn with concept maps and their effects on higher-level learning goals such as problem-solving transfer, application, and analysis; conceptual change and the development of learning skills.’ We believe that further research into the relationships between concept mapping and clinical reasoning, medical problem solving and diagnostic errors in clinical practice is also needed in medical education.
노박과 캔 ̃as가 말한 것처럼: '처음에는 개념 맵이 정보의 또 다른 그래픽 표현으로 보일 수 있지만, 이 도구의 기초와 적절한 사용을 이해하면 사용자는 이것이 정말 심오하고 강력한 도구라는 것을 알게 될 것이다. 처음에는 단어의 단순한 배열처럼 보일 수도 있지만, 단어로 대표되는 개념을 체계화하는 데 주의가 사용되며, 명제나 사상이 잘 선택된 연결 단어로 형성되면, 좋은 개념 지도는 한 번에 간단하지만 심오한 의미를 지닌 우아하게 복잡하다는 것을 알게 된다.'12
As Novak and Can˜as state: ‘While at first glance concept maps may appear to be just another
graphic representation of information, understanding the foundations for this
tool and its proper use will lead the user to see that this is truly a profound
and powerful tool. It may at first look like a simple arrangement of words into
a hierarchy, but when care is used in organising the concepts represented by
the words, and the propositions or ideas are formed with well-chosen linking
words, one begins to see that a good concept map is at once simple, but also
elegantly complex with profound meanings.’12
Med Educ.2010 May;44(5):440-8. doi: 10.1111/j.1365-2923.2010.03628.x. Epub 2010 Mar 30.
Conceptmaps in medicaleducation: an analyticalliteraturereview.
Department of Administrative Leadership, School of Education, University of Wisconsin - Milwaukee, Milwaukee, Wisconsin, USA. bdaley@uwm.edu
Abstract
OBJECTIVES As the medical profession continues to change, so do the educational methods by which medical students are taught. Various authors have acknowledged the need for alternative teaching and learning strategies that will enable medical students to retain vast amounts of information, integrate critical thinking skills and solve a range of complex clinical problems. Previous research has indicated that conceptmaps may be one such teaching and learning strategy. This article aims to: (i) review the current research on conceptmaps as a potential pedagogical approach to medical student learning, and (ii) discuss implications for medical student teaching and learning, as well as directions for future research. METHODS The literature included in this review was obtained by searching library databases including ACADEMIC SEARCH, ERIC, EBSCOHost, PsychINFO, PsychARTICLES, PubMed/MEDLINE, CINAHL and EMBASE. This literaturereview is a summary of both conceptual and empirically published literature on the uses of concept mapping in medicaleducation. RESULTS The 35 studies reviewed here indicate that conceptmaps function in four main ways: (i) by promoting meaningful learning; (ii) by providing an additional resource for learning; (iii) by enabling instructors to provide feedback to students, and (iv) by conducting assessment of learning and performance. CONCLUSIONS This review provides ideas for medical school faculty staff on the use of conceptmaps in teaching and learning. Strategies such as fostering critical thinking and clinical reasoning, incorporating concept mapping within problem-based learning, and using concept mapping in group and collaborative learning are identified. New developments in medicaleducation include the use of serial conceptmaps, conceptmaps as a methodology to assist learners with lower cognitive competence, and the combination of group conceptmaps with structured feedback.
The Role of Argumentation in Hypothetico-Deductive Reasoning During Problem-Based Learning in Medical Education: A Conceptual Framework
Hyunjung Ju (Inje University College of Medicine) and Ikseon Choi (The University of Georgia)
도입
Introduction
문제 기반 학습(PBL)은 학습자가 먼저 문제에 부딪힌 다음 문제를 이해하고 해결하는 학생 중심의 질의 과정을 계속하는 학습 방법이다(Barrows & Tamblyn, 1980; Schwartz, Mennin, 2001). PBL 방법은 학생들이 문제의 맥락에서 규율의 기본 개념을 습득할 수 있을 것으로 예상하는데, 이는 그들의 전문적 실무에서 나중에 이러한 지식의 검색과 적용을 지원할 수 있고, 학생들의 추론과 문제 해결 능력을 개발할 수 있을 것이다(Barrows & Tamblyn, 1980; Savery, 2006).
Problem-based learning (PBL) is a method of learning in which the learners first encounter a problem and then continue with the student-centered inquiry process of understanding and solving the problem (Barrows & Tamblyn, 1980; Schwartz, Mennin, & Webb, 2001). The PBL method expects students to acquire basic concepts of a discipline in the context of problems, which can support the retrieval and application of this knowledge later in their professional practice, and to develop students’ reasoning and problem-solving skills (Barrows & Tamblyn, 1980; Savery, 2006).
PBL의 필수적인 요소들 중 하나는 그룹 토론이다: 4~8명의 작은 그룹으로 이루어진 학생들은 그들의 아이디어를 만들고 교환하고 다른 사람들의 생각, 믿음, 그리고 인식에 도전하도록 장려된다. (Hmelo-Silver & Barrows, 2008) 소규모 그룹 토론을 통해 학생들은 주어진 complex and ill-structured 문제에 대해서 원인을 탐구하고, 여러 해결책을 생성하고, 문제에 대한 대안적인 해결책을 협상하며, 필수적인 지식의 본질을 구축한다(Hmelo-Silver, 2004; Johnson, Johnson & Smith, 2007). 이러한 그룹 토론 동안 학생들은 문제를 합리적으로 해결하고 합리적인 결정을 내리기 위해 자신의 생각에 대한 정당성을 제공하는 타당한 주장을 구성할 수 있어야 한다(Jonassen, 2011). 즉, 논쟁은 소그룹 문제 해결에서 학생들 사이의 증거 기반 통신을 중재하는 핵심 메커니즘 중 하나이다(Jonassen, 2011; Kuhn, 1992; Walton, 2007).
One of the essential elements of PBL is group discussion: students in small groups of four to eight are encouraged to construct and exchange their ideas and challenge others’ thoughts, beliefs, and perceptions (Hmelo-Silver & Barrows, 2008). Through small group discussions, students explore causes of a given problem that is complex and ill structured, generate multiple solutions, negotiate alternative solutions to the problem, and build an essential body of knowledge (Hmelo-Silver, 2004; Johnson, Johnson, & Smith, 2007). During these group discussions, the students should be able to construct valid arguments, providing justifications for their ideas in order to rationally resolve the problem and make reasoned decisions (Jonassen, 2011). In other words, argumentation is one of the key mechanisms for mediating evidence-based communications among students in their small group problem solving (Jonassen, 2011; Kuhn, 1992; Walton, 2007).
교육학적으로 논쟁에 중점을 두는 것은, 학생들의 추론 능력을 향상시키려고 하는 일반적인 교육 목표와 일치하는데, 여기에는 원인reasons에 주의를 기울이고, 그러한 원인들의 질과 타당성을 평가하고, 그러한 이유에 기초한 유효한 생각이나 신념의 형성이 포함된다(Siegel, 1995). 이것은 학생들의 논쟁을 지원하는 것은 PBL에서 그들의 추론과 문제해결을 촉진하는 것을 포함한다(Cerbin, 1988; Jonassen, 2011). 컴퓨터 지원 협력 논술 소프트웨어(예: 조앤 조너슨, 2002) 사용 또는 질문(예: McNeill & Pimentel, 2010) 사용과 같은 비정형 문제 해결을 위한 학생들의 논술 능력을 배양하기 위한 교육 전략을 탐구하였다.
A pedagogical emphasis on argumentation is consistent with general educational goals that seek to enhance students’ reasoning abilities, including paying attention to reasons, evaluating the quality and relevance of those reasons, and formulating valid ideas or beliefs based on those reasons (Siegel, 1995). This suggests that supporting students’ argumentation involves promoting their reasoning and problem solving in PBL (Cerbin, 1988; Jonassen, 2011). Several studies have explored instructional strategies for fostering students’ argumentation skills for ill-structured problem solving, such as using computer-supported collaborative argumentation software (e.g., Cho & Jonassen, 2002) or questioning (e.g., McNeill & Pimentel, 2010).
논쟁 촉진 전략의 개발 외에도, PBL의 특정 분야에서는 어떤 추론 전략이나 문제해결 과정이 적용되는지를 파악한 다음, PBL의 문제해결 각 단계 내에서 어떤 1차적인 내용을 논쟁에 포함시켜야 하는지를 결정하는 것이 필수적일 것이다. 이것은 PBL의 특정 분야에서의 주장의 구조structure of argumentation를 위한 프레임워크의 구축을 지도할 수 있으며, 학생들에게 각 문제 해결 과정의 관점에서 건전한 논쟁을 만드는 방법에 대한 지침을 제공할 것이다.
In addition to developing argumentation promotion strategies, it would be essential to identify what reasoning strategies or problem-solving processes are applied in a specific discipline of PBL, such as medical education, and then to determine what primary content should be included in arguments within each phase of problem solving in PBL. This can guide the construction of a framework for the structure of argumentation in the specific discipline of PBL, which will provide students with guidance as to how to generate sound arguments in terms of each problem-solving process.
논쟁의 일반적인 구조로서, 주장, 자료, 영장 등 논쟁의 일차적 요소를 규정하는 툴민(1958년)의 논거모델은 주로 과학 교육(예를 들어, 과학 교육)을 포함한 많은 분야에서 문제 해결을 위한 논쟁을 용이하게 하기 위해 채택되어 왔다. 친앤 오스본, 2010). 그러나 논증 이론과 영역별 추론 또는 문제해결 과정을 통합하는 독특한 틀이나 모델에 초점을 맞춘 연구는 특히 드물다.
As the generic structure of argumentation, Toulmin’s (1958) argumentation model that specifies primary components of argumentation, such as a claim, data, and a warrant, as well as the mechanisms for generating arguments, has been mostly employed to facilitate argumentation for problem solving in many disciplines, including science education (e.g., Chin & Osborne, 2010). However, research focusing on a unique framework or model integrating argumentation theory and domain-specific reasoning or problem-solving processes is especially scarce.
PBL은 의료, 법률, 공학 교육을 포함한 다양한 전문 분야로 구현되었다(Sortret, 2006; Jonassen, 2011). 1960년대 후반 PBL이 의학 교육에 처음 도입된 이후, 전세계의 많은 의대들은 교과 과정의 일부로 PBL 접근 방식을 채택했다(Khoo, 2003; Neville, 2009; Savery, 2006). 이 논문은 의학 교육의 맥락에서 PBL에 초점을 맞출 것이다.
PBL has been implemented in a variety of professional disciplines, including medical, legal, and engineering education (Savery, 2006; Jonassen, 2011). Since PBL was initially introduced in medical education in the late 1960s, many medical schools around the world have adopted the PBL approach as part of their curricula (Khoo, 2003; Neville, 2009; Savery, 2006). This paper will focus on PBL in a medical education context.
의대 PBL은 학생들이 기본적인 과학과 임상 지식을 적용하여 환자의 문제의 원인을 탐구하고 문제 관리에 대한 결정을 내릴 수 있는 능력을 포함하는 임상 추리 기술, 특히 가설연역적추론(HDR) 기술을 개발할 수 있도록 돕는다(Barrows, 1985, 1994; Barrows & Tamblyn, 1980). HDR 과정에서, 소그룹의 학생들은
문제의 영역에서 연구가 발생하기 전에 먼저 종이, 비디오 또는 표준화된 환자를 통해 환자의 의료 문제를 제시해야 한다.
그들은 환자의 문제의 원인을 설명하기 위해 여러 가설을 만들어낸다.
그 가설을 검증하기 위해 조사를 하다.
마침내 환자를 위한 진단 결정 및 치료 계획을 수립한다(Barrows, 1985, 1994, Barrows & Tamblyn, 1980).
PBL in medical schools helps students develop their clinical reasoning skills, especially hypothetico-deductive reasoning (HDR) skills, that involve the ability to explore causes of a patient’s problem and make decisions about the management of the problem, applying basic science and clinical knowledge (Barrows, 1985, 1994; Barrows & Tamblyn, 1980). In the HDR process, students in a small group are
first presented with a patient’s medical problem through a paper, video, or standardized patient before any study occurs in the area of the problem, and
they generate multiple hypotheses to explain the causes of the patient’s problem,
conduct inquiries to test their hypotheses, and
finally make a diagnostic decision and treatment plan for the patient (Barrows, 1985, 1994; Barrows & Tamblyn, 1980).
Thus, HDR is considered as a clinical reasoning model as well as a learning model (Barrows, 1985, 1994; Barrows & Tamblyn, 1980; Groves, 2007; Hmelo, 1998; Patel, Arocha, & Zhang, 2005).
PBL은 전통적인 방법과 비교했을 때 이론상 학생들의 임상추론기술, 특히 HDR 기술을 촉진할 것으로 기대되지만, 이론적인 결과와 실제로 실제로 획득한 것 사이에는 차이가 있었다(Hung, 2011).
Patel과 그녀의 동료들(1993)은 임상 사례를 설명할 때 PBL 커리큘럼의 학생들이 비 PBL 커리큘럼의 학생들보다 더 광범위한 생물 의학 정보를 생성했지만, 이들의 정교함이 일관성이 떨어지고 때로는 진단추론오류가 발생했다고 보고했다.
주 외 연구진(2016년)은 또한 의대생들이 PBL(예: 환자의 문제에 대한 특정 진단으로 뛰어드는 것) 동안 체계적인 임상 추론 과정에 관여하는 데 어려움을 겪었다는 것을 발견했다.
Although PBL is expected to promote students’ clinical reasoning skills, especially HDR skills, in theory when compared to traditional methods, there have been gaps between theoretical outcomes and those actually obtained in practice (Hung, 2011).
Patel and her colleagues (1993) reported that when explaining clinical cases, students in PBL curricula generated more extensive elaborations of biomedical information than students in the non-PBL curriculum did, but their elaborations were less coherent and sometimes resulted in the generation of diagnostic reasoning errors.
Ju et al. (2016) also found that medical students had difficulties engaging in systemic clinical reasoning processes during PBL (e.g., jumping to a specific diagnosis for a patient’s problem).
HDR은 PBL에서 학습과 문제해결에서 핵심적인 역할을 하기 때문에 PBL에서 학생들의 HDR에 힘을 실어줄 수 있는 방법을 모색할 필요가 있다. 앞에서 논의한 바와 같이 논증 능력이 추론 능력과 관련이 있다는 점을 고려할 때 학생들은 기본적인 과학적 지식을 임상적 맥락에 통합하고 진단 연구에 일관성 있는 접근법을 취하고 HDR 과정 중 환자의 질병에 대한 집단적 모델을 구축할 수 있도록 논쟁에 참여하도록 권장해야 한다. (Frederiksen, 1999; Hmelo-Silver & Barrows, 2008).
As HDR plays a key role in learning and problem solving in PBL, it is necessary to explore ways to empower students’ HDR in PBL. Considering that argumentation ability is related to reasoning ability, as discussed earlier, students should be encouraged to engage in argumentation so that they can integrate basic scientific knowledge into clinical contexts, take a coherent approach to diagnostic inquiry, and build a collective model of a patient’s illness during HDR processes (Frederiksen, 1999; Hmelo-Silver & Barrows, 2008).
의대생들이 PBL 동안 이성적인 주장을 생성하기 위해서는 HDR 프로세스에서 논쟁의 역할을 이해하고 HDR의 각 단계에 따라 주장을 구성하는 방법을 배우도록 돕는 것이 중요하다. 또한 의대생들의 논쟁 기술 발달의 중심은 비계인데, 이것은 더 많은 지식을 가진 사람 또는 교육 도구와 자원이 학습자가 학습자의 능력을 벗어나는 작업을 수행하는 데 도움을 주는 과정으로 정의된다. 그러나 PBL에서의 HDR 프로세스와 관련하여 의대생들의 건전한 논쟁의 건설을 지원하기 위한 구체적인 비계 전략에 대한 연구는 거의 없었다..
In order for medical students to generate reasoned arguments during PBL, it is important to help them understand the role of argumentation in the HDR process and learn how to structure arguments according to each phase of HDR. Also central to the development of medical students’ argumentation skills is scaffolding (Andriessen, 2006; Belland, Glazewski, & Richardson, 2011; Cho & Jonassen, 2002), defined as the process by which more knowledgeable persons (Wood, Bruner, & Ross, 1976) or instructional tools and resources (Puntambekar & Hubscher, 2005) help learners accomplish a task that would otherwise be beyond the learners’ abilities. However, there has been little research on specific scaffolding strategies to support medical students’ construction of sound arguments with regard to the process of HDR in PBL.
따라서 본 논문의 목적은 PBL 동안 HDR 프로세스의 맥락에서 논쟁 구조를 의학 교육 환경에서 설명하고 HDR 프로세스에서 학생들의 주장을 강화하기 위한 가능한 비계를 제공하기 위한 개념적 프레임워크를 개발하는 것이다. 이러한 목적을 위해 본 논문은 PBL에서의 HDR의 성격과 HDR의 역할에 대해 논할 것이다. 마지막으로, 우리는 의학적 교육 환경에서 논거를 HDR 프로세스에 통합하는 개념적 프레임워크를 제안하고 강사와 도구에 의해 배열된 비계를 포함하여 제안된 프레임워크에 대한 교육적 권고를 논의할 것이다. 본 논문은 의학 교육 분야에서 사용되는 PBL 동안 학생들의 논쟁에 초점을 맞추고 있지만, 개념적 프레임워크는 다른 분야의 문제 해결이나 추론 과정과 관련하여 논쟁의 구조를 구성하는 것을 조명할 것이다.
Thus, the purposes of this paper are to develop a conceptual framework for explaining the structure of argumentation contextualized in HDR processes during PBL in a medical education context and to provide possible scaffolding for enhancing students’ argumentation in the HDR process. For these purposes, this paper will discuss the nature of HDR and the role of HDR in PBL in terms of medical education as well as the nature of argumentation. Finally, we will propose a conceptual framework that integrates argumentation into the HDR process in a medical education context and discuss instructional recommendations for the proposed framework, including scaffolding arranged by tutors and tools. Although this paper focuses on students’ argumentation during PBL used in the medical education field, the conceptual framework will shed light on constructing the structure of argumentation in relation to the problem solving or reasoning process in other disciplines.
가설연역적추론
Hypothetico-Deductive Reasoning (HDR)
추론은 주어진 문제를 해결하고 결정을 내리기 위한 일련의 논리적 단계를 통해 관측 데이터에 대한 관련 설명을 제공하는 과정이 포함한다(Feinstein, 1973a). HDR은 과학 분야에서 널리 사용되는 과학적 추론 접근법이다(Lawson, 2000; Patel et al., 2005). HDR은 "가설을 제안하고 그들의 논리적 결과가 관측된 데이터와 일치하는지 여부를 결정함으로써 그들의 수용성이나 거짓성을 시험하는 방법에 관계, 존재 또는 이용"으로 정의된다(Florida University of Florida, 2012).
Reasoning involves the process of providing relevant explanations for observational data through a series of logical steps to solve a given problem and make a decision (Feinstein, 1973a). Hypothetico-deductive reasoning is a scientific reasoning approach widely used in the field of science (Lawson, 2000; Patel et al., 2005). Hypothetico-deductive reasoning (HDR) is defined as “relating to, being, or making use of the method of proposing hypotheses and testing their acceptability or falsity by determining whether their logical consequences are consistent with observed data” (University of Florida, 2012).
HDR로서의 의학적인 추론은 내재된 과학적 방법으로 특징지어진다(Barrows & Tamblyn, 1980; Patel, Evans, & Groen, 1989). 의학에서 HDR은 의사가 익숙하지 않은 환자 사례를 접할 때 "환자의 의료 문제를 평가하고 관리"하기 위하여 사용된다(Barrows & Tamblyn, 1994; Barrows & Tamblyn, 1980; Seft on, Gordon, & Field, 2008). 의사들의 HDR은 다음과 같은 단계를 포함할 수 있다(Barrows, 1985, 1994; Barrows & Tamblyn, 1980).
Medical reasoning as hypothetico-deductive is characterized as the embodied scientific method (Barrows & Tamblyn, 1980; Patel, Evans, & Groen, 1989). In medicine, HDR is used to “evaluate and manage a patient’s medical problems” (Barrows & Tamblyn, 1980, p. 19) when physicians encounter unfamiliar patient cases (Barrows, 1985, 1994; Barrows & Tamblyn, 1980; Seft on, Gordon, & Field, 2008). Physicians’ hypothetico-deductive reasoning may incorporate the following phases (Barrows, 1985, 1994; Barrows & Tamblyn, 1980):
(1) 문제 프레이밍. 의사가 불충분한 정보를 가진 알 수 없는 환자와 마주쳤을 때, 그들은 환자의 초기 불평을 듣고, 그들의 관찰이나 의사의 질문에 대한 환자의 발언과 반응에서 얻은 다양한 단서(예: 외모, 나이, 또는 개인적인 상황)를 지각한다. 눈은 식별자의 초기 신호의 합성으로서 환자의 문제의 초기 개념을 형성한다.
(1) Problem framing. When physicians encounter a patient as an unknown with insufficient information, they listen to the patient’s initial complaint and perceive a variety of cues (e.g., appearance, age, or personal circumstances) taken from their observations or the patient’s remarks and responses to the physicians’ own questions. They form an initial concept of a patient’s problem as a synthesis of the identified initial cues.
(2) 가설 생성, 확인된 신호에 기초하여, 의사들은 브레인스토밍과 다른 사고를 사용하여 환자의 문제를 설명하기 위해 가능한 한 많은 가설을 생성한다. 이러한 가설들은 특정한 진단적 실체, 병리학적 과정, 해부학적 위치 또는 생화학적 변이일 수 있다. 가설을 만들고 순위를 매길 때, 그들은 질병의 유병률과 환자 상태의 심각성을 고려한다(Kovacs & Croskerry, 1999). 가설을 수정할 수도 있고, 가설의 순위를 변경할 수도 있고, 조사가 계속됨에 따라 새로운 가설이 만들어질 수도 있다.
(2) Hypothesis generation. Based on the identified cues, the physicians generate as many hypotheses as possible to explain the patient’s problem, using brainstorming and divergent thinking. These hypotheses can be specific diagnostic entities, pathophysiological processes, anatomical locations, or biochemical derangements. When generating and ranking hypotheses, they consider the prevalence of disease and the acuity of the patient’s condition (Kovacs & Croskerry, 1999). Hypotheses may be modified, the ranking of hypotheses can be changed, or new hypotheses may be created as the inquiry continues.
(3) 조사(자료수집) 전략. 의사들은 병력청취, 신체검사 또는 실험실 검사를 통해 가설을 강화, 보강 또는 배제하는 더 많은 정보를 얻기 위해 조사를 수행한다. 조사를 위해, 그들은 의사소통 기술과 기술 또는 정신 운동 기술과 같은 임상 기술을 채택할 필요가 있다.
(3) Inquiry strategy. Th e physicians carry out an inquiry to obtain more information that will strengthen, refine, or rule out hypotheses through history taking, physical examinations, or laboratory tests. For the inquiry, they need to employ clinical skills, such as communication skills and technical or psychomotor skills.
(4) 데이터 분석 및 통합. 그들은 자료수집 전략으로부터 데이터를 얻으면서, 모든 증상, 징후 또는 실험실 결과에 책임이 있는 기본적인 메커니즘의 관점에서, (수집한) 데이터가 고려되는 가설을 강화시키거나 약화시키는지 또는 새롭고 예상치 못한 가설을 제안하는지 결정하기 위해 수집된 가설에 대한 데이터를 분석한다. 획득한 중요한 데이터는 의사가 환자의 문제에 대해 마음속에 축적하고 있는 정보에 추가된다. 이 단계는 환자의 문제를 지속적으로 요약하는 것을 말한다.
(4) Data analysis and synthesis. Aft er obtaining data from the inquiry strategy, they analyze the data against the hypotheses entertained in order to determine whether the data strengthens or weakens any of the hypotheses being considered or suggests new and unsuspected hypotheses, in terms of basic mechanisms responsible for all symptoms, signs, or laboratory findings. Any significant data obtained is added to the information the physicians are accumulating in their minds about the patient’s problem. This refers to the ongoing summary of the patient’s problem.
(5) 진단 결정. 의사들은 습득한 데이터들의 일관성을 위해 각 가설을 평가하고 경쟁 가설들을 제거한다. 현재의 만남에서 더 이상 도움이 되는 데이터를 수집할 수 없다는 결론에 따라/그들은 환자의 문제와 관련된 근본적인 메커니즘이나 병리 생리학에 관해 가장 가능성이 높은 임상 진단에 도달한다.
(5) Diagnostic decisions. Th e physicians evaluate each hypothesis for consistency with the obtained data and eliminate competing hypotheses. Upon the conclusion that no more helpful data can be collected from the present encounter, they come to the most likely clinical diagnosis/es as to the underlying mechanisms or pathophysiology involved in the patient’s problem.
(6) 치료 결정. 그들은 환자의 상태를 개선하기 위해 적절한 관리 계획(예: 수술 또는 약물)을 수립하거나 정확한 기초 메커니즘을 확인하거나 증폭하기 위해 추가 조사(예: 실험실 또는 방사선 검사)에 대한 결정을 내릴 수 있다.
(6) Therapeutic decisions. They can make appropriate management plans (e.g., surgery or medication) to improve the patient’s condition or make a decision on further inquiry (e.g., laboratory or radiology tests) to verify or amplify the correct underlying mechanisms.
HDR에는 여러 단계가 있지만 프로세스는 다소 반복적이다(그림 1 참조). HDR의 일부 단계(가설 생성, 조회 전략, 데이터 분석/합성)는 의사가 필요한 모든 데이터를 얻었으며 여러 가설 중 하나가 다른 가설보다 상당히 가능성이 높다고 결정할 때까지 반복된다(Barrows, 1985, 1994; Barrows & Tamblin, 1980).
Although HDR has several phases, the process is rather iterative (see Figure 1). Some phases of HDR (hypothesis generation, inquiry strategy, and data analysis/synthesis) repeat until physicians decide that they have obtained all the data they need and that one of multiple hypotheses is significantly more likely than the others (Barrows, 1985, 1994; Barrows & Tamblyn, 1980).
HDR 프로세스는 도메인 지식과 경험이 부족하거나 문제의 해결책에 불확실성이 있을 때 종종 사용될 수 있다(Patel et al., 2005). 예를 들어, 의사는 이전에 보았던 환자와 유사한 임상 프레젠테이션을 가진 새로운 환자를 만났을 때 패턴 인식을 채택할 수 있는 반면, 더 복잡하고 알려지지 않은 환자 사례에 직면했을 때 HDR에 의존할 수 있다. HDR 모델은 의료 학생들에게 진단 문제를 해결하기 위한 유용한 절차 지침을 제공할 수 있다. 대부분의 임상 상황은 그들에게 친숙해 보이지 않고 일상적인 문제 해결 방법에 대한 경험이 부족하기 때문이다(Elstein, 1995). 의대생들이 문제 해결 능력을 개발하도록 돕기 위한 적절한 접근방식으로서의 HDR 모델은 PBL에 통합되어 있다(Groves, 2007; Hmelo, 1998; Patel et al., 2005).
The HDR process can often be used when domain knowledge and experience are insufficient or when there is uncertainty about a problem’s solution (Patel et al., 2005). For example, physicians may employ pattern recognition when encountering a new patient who has similar clinical presentations to patients seen previously, whereas they may resort to HDR when confronted with more complex and unknown patient cases. The HDR model can provide medical students with a useful procedural guideline to solve a diagnostic problem, because most clinical situations do not seem to be familiar to them and they lack experience with routine methods of problem solving (Elstein, 1995). The HDR model as an appropriate approach for helping medical students develop their problem-solving skills is incorporated in PBL (Groves, 2007; Hmelo, 1998; Patel et al., 2005).
PBL에서의 HDR
Hypothetico-Deductive Reasoning (HDR) in PBL
PBL은 학생들에게 주어진 문제 상황에 기본 개념, 이론 또는 원칙을 적용할 수 있는 기회를 제공함으로써, 문제에 대한 합리적인 설명을 구성하고 문제에 대해 실행 가능한 해결책을 제시하며, 이는 기존의 지식 기반 구조 조정과 새로운 지식 구축에 도움이 될 수 있다(Hmelo-Silver, 2004; Savery)., 2006). 의학 교육에서의 PBL의 경우, 의대생들은 임상 문제로서 제기되는 특정 사례의 맥락에서 기초적인 과학적 지식을 습득하도록 장려되어 그들이 미래의 임상 사례에서 지식을 더 잘 보존, 적용 및 회수할 수 있게 된다. PBL은 [학생들의 추론이 임상 정보를 과학 원리와 이론에 연결시키게 하여] 의대생들이 생물학적 지식과 임상적 지식을 통합하는 능력을 개발하도록 되어 있다(Barrows, 1994; Barrows & Tamblyn, 1980; Prince, Van de Wiel, Schherpbier, Van der Vleuten, & Boshuizen, 2000).
PBL provides students with opportunities to apply basic concepts, theories, or principles to a given problem context in order to construct reasonable explanations underlying the problem and generate viable solutions to the problem, which can assist in restructuring their existing knowledge base and building new knowledge (Hmelo-Silver, 2004; Savery, 2006). For PBL in medical education, medical students are encouraged to acquire basic scientific knowledge in the context of specific cases posed as clinical problems so they can better retain, apply, and retrieve the knowledge in their future clinical practices; PBL is supposed to develop medical students’ abilities to integrate biomedical and clinical knowledge in a way that students’ reasoning links clinical information to scientific principles and theories (Barrows, 1994; Barrows & Tamblyn, 1980; Prince, van de Wiel, Scherpbier, van der Vleuten, & Boshuizen, 2000).
임상 지식은 질병의 증상, 징후, 치료, 관리와 관련된 질병의 속성에 대한 지식으로 정의된다. 대조적으로,
생물의학 지식은 질병의 표현에 관련된 해부학적, 생화학적, 병리학적, 생리학적 원리 또는 메커니즘에 대한 지식을 포함한다(Boshuizen & Schmidt, 1992; Diemers et al., 2011; Patel et al., 1989).
Clinical knowledge is defined as the knowledge of the attributes of diseases, which relates to its symptoms, signs, treatments, and managements (Diemers, van de Wiel, Scherpbier, Heineman, & Dolmans, 2011; van de Wiel, Boshuizen, & Schmidt, 2000).
In contrast, biomedical knowledge includes the knowledge of anatomical, biochemical, pathological, and physiological principles or mechanisms involved in the representations of diseases (Boshuizen & Schmidt, 1992; Diemers et al., 2011; Patel et al., 1989).
학생의 경우, 임상 경험이 거의 없거나 전혀 없으므로, 환자의 문제를 이해하는 데 주로 생명 의학 지식이 활성화될 것이다(van de Wiel et al., 2000).
의료전문가의 경우, 주로 환자의 문제를 표현하고 진단하기 위해 생물학적 지식이 아닌 임상경험에서 축적된 임상지식을 사용한다(Patel et al., 1989) 그러나 낯선 환자의 경우, 그들은 쉽게 설명되지 않는 임상적 특징을 연결하기 위해 그들의 생물의학 지식을 사용한다.
For students who have little or no clinical experience, biomedical knowledge would be mainly activated in comprehending a patient’s problem (van de Wiel et al., 2000).
For medical experts, they predominantly use clinical knowledge accumulated from their clinical experiences, rather than biomedical knowledge, to represent and diagnose a patient’s problem (Patel et al., 1989), but when faced with an unfamiliar patient’s case, they employ their biomedical knowledge for connecting clinical features that are not easily explained (van de Wiel et al., 2000; Woods, Brooks, & Norman, 2007).
HDR의 과정에서는 "기본 과학 규칙(생리학적)을 중간 규칙(병리학적)으로 전환한 다음 임상 규칙(환자 중심)으로 전환해야 한다"(Patel, Groen, & Scott, 1988, 페이지 402)
기본적인 과학적 설명은 학생들이 특정 질병(Feinstein, 1973b; Woods et al., 2007)에서 특정한 징후나 증상이 발생하는 이유를 이해하고 임상적 추론에서 가설이 확산되는 것을 통제하는 역할을 한다(Feinstein, 1973b; Scholovits, Patil & Schwartz, 1988).
생리적 과정이나 질병 메커니즘에 대한 병리학적 지식은 기계적으로 여러 계층으로 구성되어야 한다(Szolovits et al., 1988). 이 계층은 임상적 특징이 흐트러졌을 때 학생들이 임상 케이스의 일관된 정신 표현을 만들도록 도울 수 있다(Boshuizen & Schmidt, 1992; Woods e).t al., 2007). 환자 문제의 원인, 병리학적 메커니즘은 환자의 문제에 책임이 있는 가설을 설명하고 검증하는 데 유익하다(Miller & Geissbuler, 2007).
In the process of HDR, “the basic science rules (physiological) have to be converted into intermediate rules (pathophysiological) and then into clinical rules (patient-oriented)” (Patel, Groen, & Scott, 1988, p. 402).
Basic scientific explanations help students understand why a particular sign or symptom occurs in a specific disease (Feinstein, 1973b; Woods et al., 2007) as well as play a role in controlling the proliferation of hypotheses in clinical reasoning (Feinstein, 1973b; Szolovits, Patil, & Schwartz, 1988).
The pathophysiological knowledge about physiological processes or mechanisms of diseases should be mechanistically organized into multiple hierarchies (Szolovits et al., 1988), which can assist students in creating a coherent mental representation of a clinical case when the clinical features become disorganized (Boshuizen & Schmidt, 1992; Woods et al., 2007). Causal, pathophysiological mechanisms of a patient’s problem are beneficial in explaining and validating hypotheses responsible for the patient’s problem (Miller & Geissbuler, 2007).
HDR 프로세스에 참여하는 동안 학생들은 환자의 문제를 분석하도록 권장되어야 하며, 기초 과학 지식을 사용하고 검색하며, 근본적인 책임 메커니즘에 초점을 맞추어야 한다(Barrows, 1985, 1994). 즉, 장기, 조직, 세포 또는 분자 수준과 같은 적절한 수준에서 환자 문제의 병리 생리학적 메커니즘뿐만 아니라 관련 시스템의 정상적인 구조와 기능을 이해할 수 있어야 한다(Barrows, 1994).
While engaging in HDR processes, students should be encouraged to analyze the patient’s problem, using and retrieving basic science knowledge and focusing on the underlying responsible mechanisms (Barrows, 1985, 1994). In other words, they should be able to understand the normal structure and function of the systems involved as well as pathophysiological mechanisms of the patient’s problem at the appropriate level, such as organ, tissue, cellular, or molecular levels (Barrows, 1994).
그러나, 몇몇 연구는 의대생들이 생물 의학적 지식을 임상 사례로 옮기기 위해 애쓰고 있다고 보고했다. (Boshuizen & Schmidt, 1992; Diemers et al., 2011; Prince et al., 2000) 학생들이 [학습]을 [문제 해결]로 전이하는 데 어려움을 겪는 것은 기본 개념에 대한 이해(개념과 이론의 정의만 간단히 암기), 추론 기술 또는 이전 경험 부족 등 다양한 요인에 기인할 수 있다(Dixon & Brown, 2012; Jonassen, 2011).
However, several studies have reported that medical students struggle to transfer biomedical knowledge to clinical cases (Boshuizen & Schmidt, 1992; Diemers et al., 2011; Prince et al., 2000). Students’ difficulties in transferring their learning into problem solving can be attributed to diverse factors, such as their incomprehension of underlying concepts (simply memorizing definitions of concepts and theories), lack of reasoning skills, or previous experiences (Dixon & Brown, 2012; Jonassen, 2011).
파텔 외 연구진(1988년)의 연구에서는 8명의 1학년과 2학년 의대생에게 3개의 기초과학 문헌을 읽고, 그 다음 임상 사례를 읽고 나서 진단을 내리고, 이 사건의 근본적인 병리학적 과정을 설명하도록 하였다.
1학년 학생들은 두 영역의 정보의 피상적 유사성에 근거하여 주어진 임상 문제에 기초적인 과학 정보를 적용하는 경향이 있었다. 예를 들어, 학생들은 정상 체온이 정상 체온조절과 연관되어 있기 때문에 환자의 비정상 체온을 비정상 체온조절과 연관시켰다. 그들은 그들의 개인적인 경험에 근거하여 병리학적 설명을 만들었다.
2학년 학생들은 광범위한 기초과학 지식을 사용하여 임상 사례의 병리학을 설명했지만, 그들의 인과적 설명은 때때로 부정확하고 일관성이 없어 보였다. 이것은 학생들이 HDR 과정 동안 환자의 사례에 관련된 병리학적 과정을 명확히 하기 위해 학습된 관련 정보를 통합하는, 환자 사례에 대한 인과적 과학적 설명을 구축할 수 있도록 교육 전략이 필요할 수 있음을 나타낸다.
In Patel et al.’s (1988) study, eight first-year and eight second-year medical students were asked to read three basic science texts, followed by a clinical case, then make a diagnosis, and explain the underlying pathophysiological processes of the case.
The first-year students tended to apply basic science information to the given clinical problem based on the superficial similarity of the information in the two domains—for example, students related the patient’s abnormal temperature to abnormal body thermoregulation, because normal temperature is associated with normal body thermoregulation—and they constructed pathophysiological explanations based on their personal experiences.
The second-year students used extensive basic science knowledge to explain the pathophysiology of the clinical case, but their causal explanations sometimes seemed incorrect and inconsistent. This indicates that instructional strategies may be needed so that students can build a causal, scientific explanation of a patient’s case that integrates the relevant information learned to clarify the pathophysiological processes involved in the patient’s case during HDR processes.
개념 매핑은 기본 과학 개념과 임상 컨텍스트(예: Rendas, Fonseca, 2006; 자세한 내용은 교육 권장 섹션 참조) 사이의 학생들의 과학적 연결을 촉진하기 위한 전략 중 하나로 사용되어 왔다. 더욱 중요한 것은 환자의 문제에 대한 설명을 진전시키기 위한 과학적 개념과 문제 또는 데이터의 조정을 포함한 HDR 프로세스는 이성적인 논쟁의 담론 내에 일련의 명제와 추론을 수반한다(Duschl & Osbert, 2002). HDR 프로세스 중에 의대생들이 자신의 주장을 명시적으로 제시하게 된다. 이 때, 학생들은 [환자의 사례에 기초적인 과학 지식을 적용하는 것]뿐만 아니라 [과학적 조사 과정과 환자의 사례에 대한 일관성 있는 설명]에 근거해야 한다. 이것은 다음 절에서 논의될 논쟁을 포함한다.
Concept mapping has been used as one of the strategies to facilitate students’ scientific connections between basic science concepts and clinical contexts (e.g., Rendas, Fonseca, & Pinto, 2006; see the instructional recommendation section for more detail). More importantly, the HDR process, including the coordination of scientific concepts and problems or data to advance an explanation of a patient’s problem, entails a series of propositions and inferences within a discourse of reasoned arguments (Duschl & Osborne, 2002). During HDR processes, engaging medical students in explicitly presenting their claims based on reasons can support not only the application of basic science knowledge to a patient’s case but also scientific inquiry processes and coherent explanations of the patient’s case. Th is involves argumentation that will be discussed in the following section.
논쟁
Argumentation
Argumentation은 두 명 이상의 개인이 클레임을 구성하고, 교환하고, 평가하고, 클레임에 대한 정당성을 제공하는 대화에 참여하는 사회적 과정을 말한다.논쟁은 문제 해결이나 의사결정에 중요한 역할을 하는 추론과 관련이 있다. PBL에서 학생들은 그들이 문제를 어떻게 조사했는지, 무엇이 문제를 야기했는지, 그리고 바람직한 문제 해결을 위해 어떤 해결책이 필요한지에 대한 유효한 논쟁을 구성하도록 장려되어야 한다. 또한 학생들의 논거 능력을 결정하는 것은 그들의 문제 해결 능력이나 추론 능력을 평가하는 수단을 제공할 수 있다(Jonassen, 2011; Nussbaum, 2011).
Argumentation refers to a social process in which two or more individuals engage in a dialogue where they construct, exchange, and evaluate claims and provide justifications for the claims (Blair, 2011; Cho & Jonassen, 2002; Jonassen, 2011; Nussbaum, 2011; Walton, 2007). Argumentation is associated with reasoning that plays a key role in problem solving or decision making (Cerbin, 1988; Jimenez- Aleixandre & Rodriguez, 2000; Jonassen, 2011; Kuhn, 1992; van Eemeren et al., 1996). In PBL, students should be encouraged to construct valid arguments about how they investigated a problem, what caused the problem, and what solutions are necessary for quality problem solving. Also, determining students’ argumentation ability can provide a means for assessing their problem-solving or reasoning abilities (Jonassen, 2011; Nussbaum, 2011).
Argumentation theory는 사회적 및 인지적 관점에서 협력적 문제 해결의 이해를 위한 이론적 프레임워크를 제공할 수 있다(Anderson et al., 2001; 드라이버, 뉴턴, 2000). 2011; Siegel, 1995). 툴민의 모델(1958년)은 논쟁 이론 분야에서 대표적인 것으로 여겨져 왔다(안드루스, 2005년; 지메네즈-알리산드레 & 로드리게스, 2000년; 조나센, 2011년; 누스바움, 2011년). 툴민 모델(1958)은 argumentation의 구성 요소를 설명하고 그들 사이의 기능적 관계를 나타낸다(그림 2 참조). Toulmin(1958)은 논쟁에 기여하는 세 가지 필수 구성요소를 다음과 같이 식별했다.
Argumentation theory can provide a theoretical framework not only for understanding collaborative problem solving from both social and cognitive perspectives (Anderson et al., 2001; Driver, Newton, & Osborne, 2000) but also for developing tools to analyze and evaluate students’ thinking and reasoning (Driver et al., 2000; Jonassen, 2011; Nussbaum, 2011; Siegel, 1995). Toulmin’s model (1958) has been considered to be seminal in the field of argumentation theory (Andrews, 2005; Jimenez-Aleixandre & Rodriguez, 2000; Jonassen, 2011; Nussbaum, 2011). Toulmin’s model (1958) describes the constitutive elements of an argument and represents the functional relationships among them (see Figure 2). Toulmin (1958) identifi ed three essential components which contribute to an argument:
(1) 주장: 장점이 확립되어야 하는 주장 또는 결론
(1) a claim: an assertion or conclusion whose merits need to be established;
(2) 데이터: 주장에 대한 지원을 제공하는 사실fact
(2) data: facts to provide support for the claim; and
(3) 이유: 데이터에서 주장로 이행하는 것을 정당화하고, 주장에 대한 자료의 관련성을 밝히는 사유(예: 규칙, 원칙 또는 추론 규칙).
(3) a warrant: a reason that justifies the transition from the data to the claim and reveals the relevance of the data for the claim (e.g., rules, principles, or a rule of inference).
타당한 argument의 핵심은 주장을 지지하는 데이터이며, 데이터와 주장 사이의 추론을 이어주는 다리로서의 이유이다, 데이터나 이유가 없다면, 주장이나 결론이 적절하고 정당하기는 불가능해질 것이다(Toulmin, 1958). 더욱이, Toulmin(1958) 식별자는 보다 복잡한 주장에서 다음과 같은 세 가지 추가 요소를 편집한다.
Central to the soundness of arguments is data that supports claims and warrants that act as inferential bridges between data and claims; without data and warrants, it would become impossible for claims or conclusions to be appropriate and legitimate ones (Toulmin, 1958). Furthermore, Toulmin (1958) identifi ed three additional components in more complex arguments:
(1) 백킹: 영장에 대한 근거를 제공하는 기본 가정(예: 사실 정보, 원칙, 가치 또는 믿음)
(1) a backing: a basic assumption that provides a rationale for the warrants (e.g., factual information, a principle, value or belief);
(2) 반박문: 주장을 약화시키거나 무효화하는 문구
(2) a rebuttal: a statement that weakens or invalidates the claim; and
(3) 클레임의 확실성을 제한하는 한정자. 일반적으로 "대부분", "아마도" 또는 "가능성"과 같은 모달 부록을 포함한다.
(3) a qualifier that limits certainty of the claim, which usually includes a modal adverb, such as “most,” “perhaps” or “probably.”
모든 arguments에 반드시 이러한 구성요소가 포함되어 있지는 않다. 일부 인수 구성요소는 존재하지 않거나 암묵적으로 남아 있을 수 있다(Nussbaum, 2011; Toulmin, 1958). 툴민의 모델(1958년)은 논쟁의 구조를 결정하고 논쟁의 질을 평가하기 위한 프레임워크를 제공하기 위해 사용되었다(Andrews, 2005; Duschl & Osbon, 2002; Newton, Driver, 1999; Nussbaum, 2011). 또한, 이 모델을 가르치는 것은 학생들이 토론에서 논쟁이 어떻게 전개되어야 하는지를 배우고 그들의 정당성을 더 명확히 하는 데 도움이 될 수 있다(Hewson & Ognnniyi, 2010; Newton et al., 1999; Nussbaum, 2011).
All arguments do not necessarily contain these components; some argument components may be absent or left implicit (Nussbaum, 2011; Toulmin, 1958). Toulmin’s model (1958) has been used to determine the structure of arguments and to provide a framework for evaluating the quality of argumentation (Andrews, 2005; Duschl & Osborne, 2002; Newton, Driver, & Osborne, 1999; Nussbaum, 2011). Also, teaching this model can help students learn how an argument should unfold in discussion and make more explicit their justifications (Hewson & Ogunniyi, 2010; Newton et al., 1999; Nussbaum, 2011).
몇몇 연구들(예: Berland & Reiser, 2009)은 학생들이 건전한 논쟁을 구성하는 데 어려움을 겪는다는 것을 발견했다. 예를 들어, 학생들은 자신의 주장을 뒷받침할 증거를 거의 제공하지 않고, 반론이나 상충하는 근거대한 고려를 거의 하지 않는다(Cerbin, 1988; Driver et al., 2000; Reznitskaya, Anderson, & Kuo, 2007). 또한 학생들은 그들의 주장과 증거를 정당화하기 위해 warrants이나 backing을 명확히 하는 데 어려움이 있다(Jimenez-Aleixandre & Rodriguez, 2000; McNeill, Lizotte, Krajcik, 2006).
Several studies (e.g., Berland & Reiser, 2009) have found that students have difficulty constructing sound arguments; for example, students provide little evidence to support their claims and give little or no consideration to counterarguments or conflicting evidence (Cerbin, 1988; Driver et al., 2000; Reznitskaya, Anderson, & Kuo, 2007) or students have challenges in articulating warrants or backings to justify their claims and evidence (Jimenez-Aleixandre & Rodriguez, 2000; McNeill, Lizotte, Krajcik, & Marx, 2006).
논쟁에 대한 학생들의 어려움은 학생들이 논쟁 구조에 대한 개념에 부족이나(Cerbin, 1988; Zeidler, 1997), 문제나 주제에 대한 지식이 부족에 기인할 수 있다(Cerbin, 1988; McNeill 등, 2006; von Aufschannaiter, Erduran, Osbon, 2008), 또는 교사들이 학생들의 논쟁에 대한 지지 능력이 부족하기 때문이다. 강의실(Driver et al., 2000; Newton et al., 1999). 학생들의 어려움을 극복하고 그들의 주장을 강화하기 위한 전략을 개발할 필요가 있다.
Students’ challenges with argumentation can be attributed to students’ naive conceptions of argument structures (Cerbin, 1988; Zeidler, 1997), their lack of knowledge about the issue or topic (Cerbin, 1988; McNeill et al., 2006; von Aufschnaiter, Erduran, Osborne, & Simon, 2008), or teachers’ lack of skills in supporting students’ argumentation in the classroom (Driver et al., 2000; Newton et al., 1999). It is necessary to develop strategies to overcome the students’ difficulties and foster their argumentation.
HDR 프로세스에 논쟁을 통합하기 위한 프레임워크
A Conceptual Framework to Integrate Argumentation into the HDR Process
HDR과 논쟁에 대한 이전의 논의에 근거하여, 본 섹션은 다음과 같은 프레임워크에 대해 자세히 설명할 것이다.
의학적 분야의 HDR의 각 단계에서 일반적인 논쟁 구조가 문맥화 될 수 있는 방법.
Based on the previous discussion on HDR and argumentation, this section will elaborate on a framework that explains how the generic structure of argumentation can be contextualized in each phase of HDR in the medical field.
HDR 과정의 맥락 안에서, 의대생들은 그들의 주장에 대한 증거와 생물 의학 및 임상 지식을 통합하여 [claim와 증거로부터 추론하는 것을 포함하여] 논쟁에 참여하는 것이 중요하다. 학생들의 주장은 환자의 문제에 대한 과학적, 인과적 설명을 만들고 환자의 상태에 대한 문제 해결을 위한 과학적 조사의 질을 개선하는 데 도움이 될 것이다.
Within the context of HDR processes, it is important for medical students to engage in argumentation, including relating evidence for their claims and reasoning from the claims and evidence by integrating biomedical and clinical knowledge. The students’ argumentation will help build scientific, causal explanations for a patient’s problem and improve the quality of their scientific inquiry for problem solving about a patient’s condition.
학생들이 HDR 과정 동안 건전한 논쟁을 구성하기 위해서는, 그들의 주장에서 툴민의(1958) 논쟁 모델의 최소 세 가지 기본 요소를 제공하는 것이 필수적이다.
클레임,
데이터(증거) 및
워런트
In order for the students to construct sound arguments during HDR processes, it is essential to provide at least three basic components of Toulmin’s (1958) argumentation model in their arguments:
a claim,
data (evidence), and
a warrant.
클레임은 본래의 질문이나 문제에 답하는 진술이 될 수 있다.
데이터는 학생들의 주장을 뒷받침하는 것으로서, 관찰 자료, 학생들에게 주어진 읽기 자료 또는 면접, 신체검사 또는 진단시험을 포함한 조사와 같은 몇 가지 출처에서 얻을 수 있다.
워런트는 왜 데이터가 주장을 뒷받침하는지에 대한 논리로서, 병리학적, 생리학적 원리나 메커니즘 또는 임상적 특징의 기초가 되는 프로세스 등이 있다.
The claim can be a statement that answers the original question or problem.
The data that supports students’ claims can come from several sources, such as observations, reading materials given to students, or investigations, including interviews, physical examinations, or diagnostic tests.
The warrant used to articulate the logic behind why the data support the claim can include pathological and physiological principles, mechanisms, or processes underlying clinical features.
예를 들어, 환자의 문제와 함께 제공된 경우, 학생들은 청구, 데이터 및 영장을 포함한 논쟁을 구성하여 그림 3에서와 같이 환자의 문제에 대한 가설을 생성할 수 있다.
For example, when provided with a patient’s problem, students can construct an argument, including a claim, data, and a warrant, to generate a hypothesis responsible for the patient’s problem as illustrated in Figure 3.
다음은 HDR의 Barrows(1994) 모델에서 채택된 HDR의 6단계와 관련하여 Toulmin의 (1958) 모델(청구, 데이터 및 영장)에 기초한 인수의 3가지 필수 요소를 포함한 논쟁의 구조를 논한다.
— 문제 프레임, 가설 생성, 조회 전략, 데이터 분석 및 통합, 진단 결정 및 치료 결정 -
이는 인수 통합 HDR 모델에 통합되어 있다(다음 페이지 그림 4 참조).
The following discusses the structure of argumentation, including the three essential components of an argument based on Toulmin’s (1958) model (a claim, data, and a warrant), in relation to the six phases of HDR adapted from Barrows’s (1994) model of HDR—problem framing, hypothesis generation, inquiry strategy, data analysis and synthesis, diagnostic decision, and therapeutic decision — which are integrated in The Argumentation- Integrated HDR Model (see Figure 4, next page):
(1) 문제 프레이밍.
학생들은 식별된 환자 정보 또는 중요한 것으로 간주되는 단서의 초기 해석으로서 환자의 문제에 대한 초기 개념을 형성하며, 이는 이 단계에서 주장이 될 수 있다.
이러한 주장을 뒷받침하기 위해, 그들은 관찰에서 얻은 초기 정보나 단서 또는 환자와의 처음 만남에서 언급된 환자의 발언을 사용한다.
학생들은 확인된 정보나 단서가 환자 자신의 청구와 데이터의 관련성을 정당화하는 데 있어 영장으로서 중요한 것으로 간주되는 이유를 설명한다.
(1) Problem framing.
Students form an initial concept of a patient’s problem as an initial interpretation of identified patient information or cues considered important, which can be a claim in this phase.
To support the claim, they use initial information or cues taken from observations or the patient’s remarks mentioned in the initial encounter with the patient.
The students explain why the identified information or cues are regarded as important for the patient as warrants for justifying the relevance of their claims and data.
(2) 가설 생성.
학생들의 주장은 기본 메커니즘(예: 생리적 메커니즘)이나 환자의 문제의 원인이 될 수 있는 질병 실체 같은 가설이다.
이러한 주장에 대한 데이터(증명)로서 학생들은 환자와 처음 만났을 때 나타나는 환자의 불만이나 증상을 설명한다.
데이터가 왜 주장을 뒷받침하는 것으로 간주되는지를 보여주는 정당성을 제공하기 위해 학생들은 환자의 문제와 관련된 병리 생리학적 메커니즘을 사용하여 영장을 제공한다.
학생들은 기초과학을 장기, 조직, 세포 또는 분자 수준에서 환자의 문제를 근본적으로 이해하도록 권장된다(Barrows, 1985).
(2) Hypothesis generation.
Students’ claims are hypotheses, such as basic mechanisms (e.g., physiological mechanisms) or disease entities that can be causes for the patient’s problem.
As data (evidence) for the claims, students describe a patient’s complaints or symptoms presented in their initial encounter with the patient.
To provide a justification that shows why the data are considered to support the claim, students provide warrants using pathophysiological mechanisms involved in the patient’s problem.
Students are encouraged to relate basic sciences to a fundamental understanding of the patient’s problem at the organ, tissue, cellular or molecular level (Barrows, 1985).
(3) 자료수집 전략.
주장에는 가설을 검증하는 데 필요한 조치(수집, 신체검사 항목, 실험실 또는 진단 시험) 또는 추가 정보가 포함된다.
이러한 주장을 뒷받침하기 위해 학생들은 고려된 가설에 의해 구성된 환자의 정보나 단서를 제공한다.
Warrant는 그들의 가설을 강화하거나 약화시키는 데 도움이 되는, 실험이 중계하는 것 또는 어떤 종류의 정보에 관한 정보를 접하는 기본적인 메커니즘을 포함한다.
(3) Inquiry strategy.
Students’ claims include what actions (questions, physical examination items, and laboratory or diagnostic tests) or further information can be necessary for validating their hypotheses.
To support the claims, students provide the patient’s information or cues organized by the hypotheses considered.
Warrants involve basic mechanisms underlying hypotheses entertained or information about what the tests relay or what kind of information the actions will produce that would be helpful in strengthening or weakening their hypotheses.
(4)데이터 분석과 합성.
주장은 고려하고 있는 환자 데이터 가설과의 관계에서 중요한지 여부이다; 즉, 청구는 조사 전략에서 얻은 환자의 데이터에 대한 해석이다.
데이터(증거), 질문에 대한 환자의 답변, 신체 검사 결과 또는 실험실 또는 진단 테스트 결과가 포함된다.
청구와 데이터(증거)의 연관성을 확립하기 위해 학생들은 생리적 또는 생화학적 메커니즘과 같은 기본적인 메커니즘에 대한 지식(기관, 조직, 세포 또는 분자)을 이용하여 warrant를 구성한다.
(4) Data analysis and synthesis.
Students’ claims involve whether the patient’s data is significant in relation to the hypotheses considered; in other words, the claims are interpretations of the patient’s data obtained from the inquiry strategies.
As data (evidence), the patient’s answers to questions asked, the findings of the physical examinations, or the results of laboratory or diagnostic tests are included.
To establish the connections between the claims and data (evidence), students construct warrants, using the knowledge of basic mechanisms, such as physiological or biochemical mechanisms, at the appropriate level (organ, tissue, cellular, or molecular).
(5) 진단 결정.
학생들은 가설 중에서 환자의 문제에 책임이 있을 가능성이 가장 높은 것을 결정하여 주장한다.
그들의 주장에 대한 데이터(증거)로서, 학생들은 분석/합성 과정에서 획득한 중요한 환자 데이터와 해석을 사용한다.
주장과 증거를 연결하기 위해, 그들은 환자의 문제와 관련된 메커니즘을 설명하며, 관련된 사건, 프로세스 및 구조의 인과관계를 설명하거나 환자의 가장 가능성이 높은 질병에 대한 진단 기준을 제시한다.
(5) Diagnostic decision.
Students make claims about decisions on the hypotheses most likely to be responsible for the patient’s problem.
As data (evidence) of their claims, students use significant patient data and its interpretations acquired in the analysis/synthesis process.
To link the claims and evidence, they explain underlying responsible mechanisms involved in the patient’s problem, describing the cause-effect chain of events, processes, and structures involved or present diagnostic criteria for the most likely disease of the patient.
(6)치료적 결정.
학생들은 환자의 문제 치료나 관리 전략에 결정에 대해 주장한다.
자신의 주장을 뒷받침하는 증거로서, [환자의 관련 증상, 징후 또는 임상 결과와 함께] 진단 결정을 사용한다.
Warrant로서, 그들은 치료적 개입에 관련된 생물학적 지식과 병리생리학적 메커니즘을 명확히 하거나, 증거 기반 의학과 관련하여 같은 질병을 진단 받은 환자에게 수술이나 방사선 같은 표준적인 의료 치료가 효과적인지 여부를 보여주는 연구 결과를 참조한다(디킨슨, 1998; Sackett, Rosenberg, Gray, Haynes, & Richardson, 1996.)
이 단계에서 학생들은 기본적인 병리학적 메커니즘의 관점에서 치료적 결정을 하도록 장려되어야 한다(Barrows, 1985).
(6) Therapeutic decision.
Students make claims about decisions on treatment or management strategies of the patient’s problem.
As evidence to support their claims, they use their diagnostic decisions with the relevant patient’s symptoms, signs, or clinical findings.
As warrants, they articulate pathophysiological mechanisms relating biomedical knowledge to therapeutic interventions or refer to results of research showing whether or not standard medical treatments, such as surgery or radiation, are effective for patients who are diagnosed with the same disease in relation to evidence-based medicine (Dickinson, 1998; Sackett, Rosenberg, Gray, Haynes, & Richardson, 1996).
In this phase, students should be encouraged to make therapeutic decisions in terms of basic pathophysiological mechanisms (Barrows, 1985).
협력적 논쟁
Collaborative Argumentation
PBL이 학생들에게 소규모 그룹 토론을 통해 문제를 해결하기 위해 협력할 것을 요구한다는 점에서(Barrows, 1985; Barrows & Tamblyn, 1980; Hmelo-Silver & Barrows, 2008), 이러한 맥락에서 논쟁은 문제 해결과 의사결정을 위한 협력 과정으로 간주된다(Baker, 2003). Means와 Voss(1996)는 학생들이 더 나은 추론을 만들고 문제해결 과정에 참여하도록 도울 수 있는 지식의 인식과 회수를 자극함으로써 학생들 사이의 상호작용 형태의 논쟁이 학생들의 추론과 학습에 중심적인 역할을 한다고 제안했다. 즉, 지지적인 대화형 환경에서 논쟁은 그룹 구성원들이 자신의 생각을 공식화하고 공유하고, 문제에 대한 여러 관점을 고려하고, 자신과 다른 사람들의 주장을 질문, 정당화, 평가하기 위한 수단으로 사용된다(Baker, 2003; Brown & Redmond, 2007; Golanics & Nussbaum, 2008).
Given that PBL requires students to work together to solve problems through small-group discussions (Barrows, 1985; Barrows & Tamblyn, 1980; Hmelo-Silver & Barrows, 2008), argumentation in this context is regarded as a collaborative process for problem solving and decision making (Baker, 2003). Means and Voss (1996) proposed that argumentation in the form of interactions between students plays a central role in students’ reasoning and learning by stimulating the recognition and retrieval of knowledge, which can help them generate better inferences and engage in the problemsolving process. In other words, argumentation in a supportive dialogical setting is used as a vehicle for group members to formulate and share their ideas, to consider multiple perspectives on an issue, and to question, justify, and evaluate their own and others’ arguments (Baker, 2003; Brown & Redmond, 2007; Golanics & Nussbaum, 2008).
HDR 프로세스 중에 소규모 그룹의 개별 학생들은 argumentation-integratedHDR 모델을 적용하여 청구, 데이터 및 영장을 포함한 유효한 주장을 스스로 생성할 수 있다. 또한 그룹 구성원의 주장에서 누락된 특정 요소를 제공하거나 질문을 통해 타인이 건전한 주장을 구성하는 데 도움을 줌으로써 협력적 논쟁 구성에 기여한다.
During HDR processes, individual students in a small group can generate valid arguments, including a claim, data, and a warrant, by themselves, applying the argumentation-integrated HDR model, as well as contribute to collaborative argument construction by providing certain components that are missing in their group members’ arguments or assisting others in constructing sound arguments through questioning.
예를 들어, "EKG[전심전도]가 환자에게 필요할 것 같다"와 같은 조사 전략 단계에서 그룹 내 한 학생이 자료와 영장 없이 청구만 했을 때, 다른 학생들이 데이터(예: "심근경색 가설을 테스트해야 한다") 또는 청구에 대한 영장(예: "EKG의 ST 세그먼트 상승 또는 우울증은 일반적으로 심근경색을 나타낸다.)을 추가하거나, 또는 "왜 검사가 필요하다고 생각하는가?"와 같은 질문을 할 수 있다.
For example, when one student in a group only offered a claim without data and warrants during the inquiry strategy phase, such as “I think an EKG [electrocardiogram] would be necessary for the patient,” other students could add data (e.g., “We need to test the myocardial infarction hypothesis”) or warrants (e.g., “ST segment elevation or depression on EKG is typically indicative of myocardial infarction”) for supporting the claim, or ask a question, such as “Why do you think the test is necessary?”
더욱이, 논쟁 통합 HDR 모델에 따르면, 협력적인 논쟁은 학생들이 무엇을 모르거나 어떤 추가적인 정보나 지식이 필요한지 인식하도록 자극할 것이다. 예를 들어, 위에서 언급한 상황에서 그룹 내 어떤 학생도 왜 테스트(EKG)가 환자를 위해 수행되어야 하는지에 대한 warrant을 제공할 수 없거나 테스트에 대한 자신의 지식이나 정보에 대해 확신을 가질 수 없다면, 그들은 탐색해야 할 그룹 학습 문제를 스스로 결정할 것이다.
Moreover, collaborative argumentation, according to the argumentation-integrated HDR model, will stimulate students to be aware of what they do not know or what additional information or knowledge is needed. For example, if in the situation mentioned above no students in the group could provide a warrant about why the test (an EKG) should be performed for the patient or feel certainty about his or her knowledge or information about the test, they would then determine their own group learning issues that need to be explored.
통합형 HDR 모델의 지침적 권장사항
Instructional Recommendations of the Argumentation-integrated HDR Model
우리가 만든 논거 통합 HDR 모델은 학생들이 PBL에서 HDR 프로세스 동안 건전한 논쟁을 생성하는데 도움을 줄 수 있는 교육 및 학습 전략의 필요성을 추가적으로 제시할 수 있다. 다음 절에서는 이전 연구를 바탕으로 다양한 유형의 비계(예: 강사와 도구에 의해 제공되는 지원)를 포함하여 학생들의 주장을 촉진하기 위한 4가지 교육 전략을 권고하고 PBL에서 의대생의 HDR 프로세스에 각 전략을 어떻게 적용할 수 있는지 논의한다.
The argumentation-integrated HDR model that we constructed can further suggest the need for teaching and learning strategies to assist students in generating sound arguments during HDR processes in PBL. The following section will recommend four instructional strategies for promoting students’ argumentation, including different types of scaffolding (e.g., supports provided by tutors and tools) based on previous studies and discuss how each strategy can be applied to the HDR processes of medical students in PBL.
타당한 논쟁의 구조설정에 관한 연구
An Aid for Understanding the Structure of Sound Arguments
학생들이 건전한 논쟁을 구성할 수 있도록 논쟁의 주요 요소와 다른 요소와의 관계를 이해하는 것은 필수적이다. 논쟁 구조의 발달되지 않은 정신적 모델을 가진 일부 학생들은 청구 지원 관계를 인식하지 못하고 누락되거나 혼란스러운 요소들로 논쟁을 일으킬 수 있다(Cerbin, 1988; Sampson & Clark, 2008; Zeidler, 1997).
It is essential for students to understand the primary components of an argument and their relationships with the other components so that they can construct sound arguments. Some students who have an undeveloped mental model of an argument structure may fail to recognize the claim support relationship and produce arguments with missing or confused elements (Cerbin, 1988; Sampson & Clark, 2008; Zeidler, 1997).
논거 구조에 대한 학생들의 이해를 지원하기 위한 검증된 전략 중 하나는 "업무에 대한 일반적인 학생 어려움에 기초"하도록 설계된 딱딱하거나 고정된 비계 역할을 하는 그래픽 논쟁 도구의 사용이다. 논쟁의 그래픽적 표현 전략은 학생들이 논쟁의 구조를 시각화할 뿐만 아니라 사고나 추론의 핵심 요소들을 더 명확하게 하는데 도움이 되며, 이것은 더 엄격한 논쟁 구조를 이끌 수 있다.
One of the validated strategies for supporting students’ understanding of argument structures is the use of graphical argumentation tools, which serve as hard (Saye & Brush, 2002) or fixed (Azevedo, Cromley, & Seibert, 2004) scaffolds that are designed “based on typical student difficulties with a task” (Saye & Brush, 2002, p. 81). The strategy of graphically representing arguments helps students not only visualize the structure of arguments but also make the key elements of thinking or reasoning more explicit, which can guide a more rigorous argument construction (Buckingham Shum, MacLean, Bellotti, & Hammond, 1997; Chin & Osborne, 2010; Jonassen, 2011; Toth, Suthers, & Lesgold, 2002).
진과 오스본의 (2010) 연구는 학생들이 툴민(1958년)의 논증 모델에 기초한 논증 도표의 종이 기반 방식을 사용하는 것이 학생들이 시각적, 언어적으로 생각을 정리하고, 그들 자신의 논증의 성격을 이해하고, 그들의 논증의 장점과 단점을 파악하는 데 도움이 된다고 제안했다. 서더스와 헌드하우젠(2003)의 연구에 따르면 대학생들은 주어진 과학 문제의 원인을 탐구하는 동안 자신의 가설, 자료, 그리고 가설과 자료 사이의 관계를 나타내기 위해 컴퓨터 기반 도구인 세 가지 중 하나를 사용했고, 그 후 그들의 조사 결과에 대한 에세이를 쓰도록 요구받았다. 이 연구는 다이어그램 사용자가 매트릭스와 텍스트 사용자보다 에세이에서 가설과 데이터 사이에 더 일관된 관계를 형성한다는 것을 발견했다.
Chin and Osborne’s (2010) study suggested that students’ use of a paper-based mode of an argument diagram based on Toulmin’s (1958) model of argumentation assisted the students in organizing their thinking visually and linguistically, comprehending the nature of their own arguments, and identifying the strengths and weaknesses of their arguments. According to Suthers and Hundhausen’s (2003) study, college students used one of three computer-based tools—a diagram, matrix, and text form—to represent their hypotheses, data, and relations between the hypotheses and data, while exploring causes of given science problems, and then were asked to write an essay about the results of their inquiry. The study found that the diagram users constructed more consistent relations between hypotheses and data in their essays than the matrix and text users did.
논쟁 다이어그램은 PBL에서 HDR 과정 동안 의대생들의 논쟁의 질을 촉진하는 잠재적인 해결책을 제공한다. 예를 들어, 학생들은 HDR 단계와 관련된 논쟁 구조를 배우고 종이 기반 또는 컴퓨터 기반 주장 다이어그램을 사용하여 개별적으로 또는 소규모 그룹으로 논쟁을 생성하는 연습을 하도록 권장되어야 한다. 학생들의 노력 외에도, 교사들이 HDR 과정에 대한 논쟁의 구조를 이해하는 것을 돕기 위해 PBL 튜터 교육 프로그램이나 워크숍이 필요할 것이며, 이 프로그램은 HDR 과정 동안 학생들의 주장을 뒷받침하는 기술을 개발할 수 있다. 그림 5(다음 페이지)는 논거 통합 HDR 모델에서 채택된 HDR의 각 단계에 대한 인수에 포함할 3가지 필수 구성요소(청구, 데이터 및 영장)를 학생 및 강사가 식별하는 데 사용할 논거 다이어그램의 예를 보여주고 있다.
Argument diagrams offer a potential solution in promoting the quality of medical students’ argumentation during HDR processes in PBL. For example, students should be encouraged to learn the structure of argumentation in relation to HDR phases and practice generating arguments individually or in small groups, using a paper-based or computer- based argument diagrams. In addition to the students’ efforts, a PBL tutor training program or workshop would be needed to help tutors understand the structure of an argument for the HDR process and exercise argumentation using argument diagrams, which can develop their skills to support students’ argumentation during HDR processes. Figure 5 (next page) shows an example of an argument diagram to be used for students and tutors to identify each of the three essential components (a claim, data, and a warrant) to be included in an argument for each phase of HDR, that was adapted from the argumentation-integrated HDR model.
질문을 통한 적시적 안내
Just-in-Time Guidance Through Questioning
질문은 학생들의 추론을 촉진할 수 있는 "가장 근본적인 인지 구성요소 중 하나"(Jonassen, 2011, 페이지 285)로 간주된다(Graesser, Bagget, & Williams, 1996). PBL과 같은 문제해결 학습 환경에서 교사들은 지식이나 설명을 제공하기 보다는 질문을 함으로써 자극의 역할을 하고 문제해결 과정에 학생들을 참여시켜야 한다(Hmelo-Silver & Barrows, 2008). 그러한 교사들의 질문은 [학생의 학습진행이나 과제성과에 대한 교사들의 지속적인 모니터링에 기초한 적시성 지원을 통해] 학생들의 논쟁 기술의 발전을 비계scaffold할 수 있다. (Andriessen, 2006; Jonassen, 2011).
Questioning is regarded as “one of the most fundamental cognitive components” (Jonassen, 2011, p. 285) that can promote students’ reasoning (Graesser, Bagget, & Williams, 1996). In problem-solving learning environments such as PBL, teachers should serve as stimuli and engage students in problem solving processes by asking questions rather than providing knowledge or explanations (Hmelo-Silver & Barrows, 2008). Such teachers’ questioning can scaffold the development of students’ argumentation skills through just-in-time supports based on teachers’ ongoing monitoring of their students’ learning progress or task performance (Andriessen, 2006; Jonassen, 2011).
예를 들어, McNeill과 Pimentel의 (2010) 연구에서, 주어진 과학 문제에 대한 토론 중에 교사가 종종 개방형 질문(학생들에게 그들의 생각을 표현하고 그들의 추론을 설명하도록 요청함)을 사용하는 학생들은 과학적 논쟁에 관여할 가능성이 더 높았고, 자료(증명)와 그들의 클리닝을 정당화하기 위한 영장을 제공했다.
또한, Hmelo-Silver와 Barrows(2008)는 PBL 세션 동안 학생들이 병리학적 메커니즘에 대한 지식을 활용하여 환자의 문제에 대한 인과적 설명을 구축하는 데 도움이 되는 PBL의 심층적인 추론과 설명을 필요로 하는 PBL의 촉진자의 질문을 제안했다.
For example, in McNeill and Pimentel’s (2010) study, students whose teacher frequently used open-ended questions (asking students to express their ideas and explain their reasoning) during discussions about the given science problem were more likely to engage in scientific argumentation, providing data (evidence) and warrants to justify their claims.
Additionally, Hmelo-Silver and Barrows (2008) suggested that PBL facilitators’ questions that required medical students’ deep reasoning and explanations, such as causal antecedent and consequence questions, during PBL sessions helped students build causal explanations of a patient’s problem, employing knowledge of pathophysiological mechanisms.
의대생들이 PBL에서 HDR 과정에 참여할 때, 교사들은 학생들이 환자의 문제의 원인에 대한 그들의 생각을 설명하기 위해 증거와 영장을 제공할 수 있도록 의도적으로 그들의 주장에 주의를 기울이고 적절한 질문을 함으로써 학생들의 주장을 비계화scaffold해야 한다(Barrows, 1985; Hmelo-Silver & Barrows, 2).008). HDR의 각 단계 중 학생들의 주장을 촉진하기 위해 강사가 사용할 수 있는 가능한 질문은 표 1에 제시되어 있다.
When medical students engage in HDR processes in PBL, tutors should scaffold the students’ argumentation by deliberately paying attention to their arguments and asking just-in-time questions so that the students can provide evidence and warrants to explain their ideas about the causes of a patient’s problem (Barrows, 1985; Hmelo-Silver & Barrows, 2008). Possible questions tutors can use for promoting students’ argumentation during each phase of HDR are presented in Table 1.
구조지식 및 추론에 대한 협력
Supporting Elaboration on Structural Knowledge and Reasoning
학생들이 그들의 구조적 지식을 상세히 설명하도록 하는 것은 학생들의 과학적 논쟁을 촉진하기 위한 효과적인 교육 전략으로 사용될 수 있다. 과학적 논쟁은 개념들 사이의 관계를 이해하고 설명하는 것을 포함한다(Duschl & Osborn, 2002). 이것은 "도메인 내의 개념들이 어떻게 상호 관련되는지에 대한 지식"으로 정의되는 구조적 지식과 관련이 있다.
Engaging students in elaborating on their structural knowledge can be used as an effective instructional strategy for promoting students’ scientific argumentation. Scientific argumentation involves understanding and explaining relationships between concepts (Duschl & Osborne, 2002), which is related to structural knowledge defined as “the knowledge of how concepts within a domain are interrelated” (Jonassen, Beissner, & Yacci, 1993, p. 4).
개념 매핑(개념의 구조화 및 정리, 연계 명제화 과정)은 학습자가 자신의 구조적 지식을 활성화하고 표현하는 데 도움이 되는 도구가 될 수 있다. 문제 해결에서 개념 매핑 접근방식은 학생들이 조사 중인 문제에 대한 근본적인 설명을 제공하면서 개념 관계의 동적 네트워크를 두드러지게 만들 수 있다(Gonzalez, Palencia, Umana, Galindo & Villafrade, 2008; Rendas 등, 2006).
Concept mapping —a process of structuring and organizing concepts and making a propositional statement to link them— can be a tool for assisting learners in activating and representing their structural knowledge (Edmondson, 1994; Jonassen et al., 1993; Novak & Gowin, 1984; Rendas et al., 2006; Watson, 1989). In problem solving, the concept mapping approach can enable students to make salient the dynamic network of conceptual relationships, providing underlying explanations for a problem being investigated (Gonzalez, Palencia, Umana, Galindo, & Villafrade, 2008; Rendas et al., 2006).
슈의 연구(2004년)에 따르면, 간호 강좌에서 PBL 토론 중에 컨셉 맵핑을 사용한 실험 그룹과, 컨셉 맵핑을 사용하지 않은 제어 그룹은 최종 테스트에서 임상 사례에 관한 컨셉 맵을 그려달라는 요청을 받았다. 연구 결과, 실험 그룹은 통제 그룹보다 개념 지도에서 더 높은 점수를 얻었으며, 이는 개념 매핑이 학생들이 환자 데이터를 조직하고, 간호 과정에 제시된 개념을 임상 사례에 적용하고, 문제에 대한 해결책을 도출하는 데 용이하게 한다고 나타냈다. 렌다스 외 (2006) 또한 PBL 병리학 강좌에서 의대생들의 개념 매핑 사용이 환자의 문제와 관련된 관련 병리 생리학적 개념에 대한 학생들의 이해를 촉진시키고, 그 문제를 해결하기 위한 가설을 만들고 정보를 모으는 데 도움을 주었다.
According to Hsu’s (2004) research, an experimental group, who used concept mapping during PBL discussions in a nursing course, and a control group, who did not use concept mapping, were asked to draw a concept map about a clinical case on their final test. Th is study revealed that the experimental group had higher scores for their concept maps than the control group, which indicated that concept mapping facilitated the students in organizing patient data, applying concepts presented in nursing courses to a clinical case, and generating solutions to problems. Rendas et al. (2006) also found that medical students’ use of concept mapping in a PBL pathophysiology course promoted the students’ understandings of the relevant pathophysiological concepts involved in a patient’s problem, and assisted them in generating hypotheses and gathering information for solving the problem.
따라서 PBL에서 개념 매핑은 기초과학의 정보를 구조화하고 체계화하고 환자의 임상발표와 연관시켜 의대생들의 임상추리를 돕는 인지적 도구가 될 수 있으며, 이는 환자의 문제에 대한 병리학적 이해를 향상시킬 수 있다(Ad대, Wilson, & Carrington, 2012; Azer, 2005; Dee, Haugen, & Kreiter, 2014; Guerrero, 2001; Rendas et al., 2006). 다음은 환자 문제의 메커니즘의 도표로 개념 지도를 작성하는 것이 HDR 과정 중 학생들의 일관성 있는 논거 구축을 지원하기 위해 고정된 비계(Saye & Brush, 2002; Azevedo et al., 2004)로 사용될 수 있음을 보여준다.
Thus, in PBL, concept mapping can be a cognitive tool to assist medical students with clinical reasoning by helping them structure and organize information and relate concepts in the basic sciences to a patient’s clinical presentations, which can enhance a pathophysiological understanding of a patient’s problem (Addae, Wilson, & Carrington, 2012; Azer, 2005; Dee, Haugen, & Kreiter, 2014; Guerrero, 2001; Rendas et al., 2006). The following shows that creating a concept map as a diagram of the mechanisms of a patient’s problem can be used as fixed scaffolding (Saye & Brush, 2002; Azevedo et al., 2004) to support students’ coherent argument building during HDR processes:
(1) 가설 생성. 개념 매핑은 학생들이 병리학적 메커니즘의 관점에서 데이터(증명)와 청구권(가설)을 명확히 할 수 있도록 할 수 있다.
(1) Hypothesis generation. Concept mapping can facilitate students to articulate data (evidence) and warrants for claims (hypotheses) in terms of pathophysiological mechanisms.
(2) 자료수집 전략. 학생들은 자신의 가설을 검증하기 위한 추가 임상 조사에 대한 제안을 토론하는 동시에, 그들의 연구 전략에 대한 자신의 생각을 정당화하기 위해 개념 지도에서 도출된 가설과 병리 생리학적 메커니즘을 재검토할 수 있다.
(2) Inquiry strategy. Students can discuss suggestions for further clinical investigations to validate their hypotheses while revisiting the hypotheses and pathophysiological mechanisms elicited in the concept map to justify their ideas about inquiry strategies.
(3) 데이터 분석 및 통합. 학생들은 질문 전략에서 얻은 환자 데이터가 향응하는 가설 및 병리학적 메커니즘과 어떻게 관련되는지 결정하기 위한 주장을 생성하기 위해 개념 지도에 포함된 가설과 병리학적 메커니즘을 사용할 수 있다. 그들은 또한 이전 개념 지도에 중요한 환자 데이터와 상세한 병리 생리학적 메커니즘을 추가하여 개념 지도에 상세히 기술할 수 있다.
(3) Data analysis and synthesis. Students can use the hypotheses and pathophysiological mechanisms included in the concept map to generate arguments for determining how the patient data obtained from inquiry strategies relate to the hypotheses and pathophysiological mechanisms entertained. They can also elaborate on the concept map, adding the significant patient data and detailed pathophysiological mechanisms to the previous concept map.
(4) 진단 및 치료 결정. 최종 가설을 중심으로 한 정교한 개념 지도는 학생들이 환자 문제에 대한 진단 및 치료 개입에 대한 주장을 구성하도록 유도할 수 있으며, 이는 환자 문제에 대한 종합적인 기계론적 도표 구축을 촉진할 수 있다.
(4) Diagnostic and therapeutic decisions. The elaborated concept map that is focused around the final hypothesis can guide students in constructing arguments about diagnosis and therapeutic interventions for the patient’s problem, which can promote building a comprehensive mechanistic diagram of the patient’s problem.
환자 사례에 대한 기계론적 시퀀스의 시각적 표현을 통해 학생들의 과학적 논쟁을 향상시키기 위해서는, 강사들이 PBL에서 HDR 프로세스 동안 학생들에게 자신의 개념 매핑에 대해 질문하거나 피드백을 제공함으로써 적시에 지원을 사용할 필요가 있을 것이다(Azer, 2005; Torre, Durning, 2013).
In order to enhance students’ scientific argumentation through a visual representation of mechanistic sequences for a patient’s case, it would be necessary for tutors to employ timely supports by asking the students questions about or providing feedback on their concept mapping during HDR processes in PBL (Azer, 2005; Torre, Durning, & Daley, 2013).
HDR 과정에서의 학생논쟁 품질 평가
Assessing the Quality of Students’ Argumentation in the HDR Process
HDR 과정 중 학생들의 논쟁의 질을 평가하는 것은 그들의 주장을 진단하고 그들의 주장을 촉진하기 위한 효과적인 지침을 제공하는 데 필수적이다(Jonassen, 2011). 툴민(1958년)의 논법 모델은 다양한 분야의 논법의 질을 분석하고 평가하는 일반적인 틀로 이용되어 왔다. 예를 들어, 조와 조나센(2002)은 경제학 강좌에서 문제해결 세션 동안 구성된 학생들의 주장을 평가했고, 진과 오스본(2010)은 과학 수업에서 유사한 평가를 수행했다. 둘 다 툴민(1958년)의 논거 모델을 기반으로 한 스크럼을 사용했다.
Assessing the quality of students’ argumentation during HDR processes is essential for diagnosing their argumentation and providing effective guidance for promoting their argumentation (Jonassen, 2011). Toulmin’s (1958) argumentation model has been used as a generic framework for analyzing and assessing the quality of argumentation in diverse disciplines. For example, Cho and Jonassen (2002) assessed students’ arguments constructed during problem-solving sessions in an economics course, and Chin and Osborne (2010) performed a similar assessment in a science class; both used rubrics based on Toulmin’s (1958) argumentation model.
앞서 제안된 argumentation-integrated HDR 모델은 HDR 과정 동안 구성된 의대생들의 주장을 평가하는 데 효과적인 도구가 될 수 있다. 모델에 제시된 HDR의 각 단계에 따른 논쟁 구조는 각 추론 단계에서 생성된 학생들의 각 주장에 어떤 인수 요소(청구, 데이터 또는 영장)가 포함되었는지 결정하는 데 사용될 것이다.
Meanwhile, the argumentation-integrated HDR model previously proposed can be an effective tool for assessing medical students’ arguments constructed during HDR processes. The structure of argumentation according to each phase of HDR represented in the model will be used for determining which components of an argument (a claim, data, or a warrant) were included in each of the students’ arguments generated during each reasoning phase.
예를 들어, 가설 생성 단계에서 "환자가 혈류분해와 호흡곤란을 호소하기 때문에 폐암에 걸릴 수 있다"와 같은 주장을 만든다면, 그 주장은 가설 생성 단계의 argument structure 측면에서는 청구(환자. . 폐암)와 데이터(그. . 호흡곤란)의 두 가지 요소로 해부될 것이다.
For example, if a student produced an argument during the hypothesis generation phase such as, “The patient may have lung cancer, because he complains of hemoptysis and dyspnea,” the argument would be dissected into two components — a claim (The patient . . . lung cancer) and data (because he . . . dyspnea)— in terms of the argument structure for the hypothesis generation phase.
그런 다음, 학생들의 논쟁에서 세 가지 주요 요소의 조합이 발생하는지 확인한다. 1 청구, 2 데이터와 관련된 청구, 3 데이터 및 영장과 결합된 청구와 같은 청구는 학생들의 논거의 품질을 확인하는 데 도움이 될 수 있다. 세 가지 요소를 모두 포함하는 논쟁의 질은 주장만 포함하는 논쟁의 질보다 더 높은 것으로 간주된다.
Then, identifying what combinations of the three primary components of an argument occur in the students’ arguments, such as a claim, a claim coupled with data, and a claim coupled with data and a warrant, can be helpful for ascertaining the quality of the students’ arguments; the quality of an argument including all of the three components is regarded as higher than the quality of an argument that only includes a claim.
이 평가는 학생들이 HDR의 각 단계에 대해 일관성 있는 접근법을 취하는지 여부뿐만 아니라 학생들의 논쟁의 장단점을 감지할 수 있게 해 줄 수 있으며, 이는 학생들에게 효과적인 피드백을 제공하는 데 도움이 된다. 또한, 개념적 프레임워크는 HDR 과정 동안 학생들의 자기반성과 자기평가에 있어 그들의 논쟁의 질을 향상시키기 위한 노력으로 안내할 수 있다. 그러므로 argumentation-integrated HDR 모델을 사용하여 HDR 과정 중 학생들의 논쟁의 질을 평가하는 것은 학생들의 주장을 촉진하는 데 중심적인 역할을 할 것이다.
This assessment can allow for detecting the strengths and weaknesses of the students’ argumentation as well as seeing if the students take coherent approaches to each phase of HDR, which helps to provide effective feedback for the students. Furthermore, the conceptual framework can guide students in self-reflection and self-assessment on their own argumentation during the HDR process in an effort to enhance the quality of their argumentation. Thus, assessing the quality of students’ argumentation during HDR processes through the use of the argumentation-integrated HDR model will play a central role in promoting students’ argumentation.
시사 및 결론
Implications and Conclusion
건전한 주장을 구성하고 합리적 사고를 강화하는 것은 증거와 영장(Lu, Chiu, & Law, 2011; Von Aufschannaiter et al., 2008)과 같은 자신의 주장에 대한 정당성을 제공하는 능력에 달려 있다. 이러한 논쟁 기술은 학생들이 PBL에서 이성적인 토론을 수행하는데 필수적이며, 이것은 질적인 추론과 문제 해결로 이어질 수 있다. 그러나 의학 교육 환경에서 학생들은 PBL(예: Ju et al., 2016) 동안 의미 있는 논쟁과 임상적 추론 과정을 통해 어려움을 겪는 것처럼 보였다. 이것은 HDR과 같은 임상적 추론 과정에서 문맥화된 학생들의 주장을 개발하고 검토하는 방법에 대한 명확한 지침이 필요하다는 것을 시사하였다. 본 연구에서는 툴민(1958년) 모델에 기초한 논거의 3가지 필수요소(청구, 자료, 영장)를 포함한 논쟁의 구조를 바로우스(1994년)의 임상 추론 모델에서 채택된 HDR의 각 단계에 통합하는 개념적 프레임워크를 제안했다.
Constructing sound arguments and enhancing rational thought depends on the ability to provide justifications for one’s claims, such as evidence and warrants (Lu, Chiu, & Law, 2011; von Aufschnaiter et al., 2008). Such argumentation skills are essential for students to carry out reasoned discussions in PBL, which can lead to quality reasoning and problem solving. However, in a medical education context, students seemed to have challenges with meaningful argumentation and clinical reasoning processes during PBL (e.g., Ju et al., 2016). This has suggested the need for explicit guidance on how to develop and examine students’ argumentation contextualized in clinical reasoning processes, such as HDR. In this study, we proposed a conceptual framework integrating the structure of argumentation, including the three essential elements of an argument (a claim, data, and a warrant) based on Toulmin’s (1958) model, into each phase of HDR adapted from Barrows’s (1994) model of clinical reasoning.
프레임워크로 설명한 argumentation-integrated HDR 모델은 의대생들이 HDR 프로세스의 논쟁 구조를 식별하고 PBL의 HDR 프로세스 동안 의대생들의 주장을 분석하고 평가하는 수단으로 사용될 수 있다. 또한, 논거 구조 이해, 질문, 구조 지식의 상세화, 논거 평가 등 PBL 중 HDR 프로세스에 관한 학생들의 주장을 촉진하기 위한 모델에 기초한 교육 권고안을 논의하였다. 특정 비계 예제와 함께 권장되는 이러한 전략은 PBL 이전에 교직원 전문 개발 및/또는 학생 오리엔테이션에서 구현될 수 있으며 PBL 중에 적용할 수 있다.
The argumentation-integrated HDR model articulated in the framework can be used as a means to help medical students identify the structure of argumentation for HDR processes and to analyze and assess medical students’ argumentation during HDR processes in PBL. In addition, we discussed instructional recommendations based on the model for promoting students’ argumentation concerning HDR processes during PBL, such as understanding argument structures, questioning, elaborating on structural knowledge, and assessing argumentation. These recommended strategies with specific examples of scaffolding can be implemented in faculty professional development and/or students’ orientation prior to PBL and applied during PBL.
예를 들어, 논쟁 통합 HDR 모델에 대한 지침을 포함하여 PBL 이전에 PBL 강사와 학생들에게 제공되는 교육 세션은 PBL 동안 학생들을 논쟁에 참여시키고 HDR을 향상시키기 위한 지침을 제공할 수 있다. 또한 모델로부터 개발된 질문 프롬프트를 강사에게 제공하면 PBL 동안 HDR의 각 단계에 따라 학생들에게 질문을 하는 데 도움이 될 수 있다. 추천된 전략이 학생들의 논쟁의 질과 그들의 HDR 능력에 미치는 영향을 조사하기 위한 향후 연구가 필요하다.
For example, a training session offered to PBL tutors and students prior to PBL, including instruction on the argumentation- integrated HDR model, can provide guidelines for engaging students in argumentation and enhancing their HDR during PBL. Moreover, providing tutors with question prompts developed from the model can assist tutors in asking students questions according to each phase of HDR during PBL. Future research is needed to investigate the effects of the recommended strategies on the quality of students’ argumentation and their HDR abilities.
비록 우리의 개념적 프레임워크가 의학 교육 상황에 초점을 맞추었지만, 그것은 주요 추론 전략의 하나로 HDR을 사용하는 다른 학문에 적용될 수 있다. HDR 접근방식은 화학 및 생물학과 같은 과학 교육에 사용되었다(Lawson, 2000; Patel et al., 2005). 예를 들어 생물학에서 PBL에 대한 논쟁 구조는 생물학적 문제 상황에 따라 본 논문에서 제안된 논쟁 통합 HDR 모델을 채택하고 수정함으로써 개발될 수 있다.
Although our conceptual framework focused on a medical education context, it can be applicable to different disciplines using HDR as one of the primary reasoning strategies. The HDR approach has been used in science education, such as chemistry and biology (Lawson, 2000; Patel et al., 2005). For example, the structure of argumentation for PBL in biology may be developed through adapting and modifying the argumentation- integrated HDR model proposed in this paper in accordance with the biological problem context.
또한, 개념적 프레임워크는 의학적 교육 분야를 넘어서는 분야별 추론 또는 문제 해결 모델과 논쟁 구조를 결합하는 프레임워크 또는 모델을 구축하는 데 모범적일 수 있다.
예를 들어, 법교육에서의 PBL은 "문제 발견, 문제 해결 접근법의 예비 고려, 질의 전략, 발행 식별, 연구, 법률 분석 및 해결책, 상담이나 사례 관리"와 같은 법적 문제 해결 과정을 포함한다(Kurtz, Wylie, & Gold, 1990, 페이지 804). 각 프로세스의 성격과 과제를 파악함으로써, 툴민의(1958년) 주장 모델을 법적 문제해결 프로세스에 통합하는 개념적 프레임워크나 모델을 개발할 수 있다.
마찬가지로, 공학 교육에서 학생들은 엔지니어가 고객과 사용자의 요구를 충족시키기 위한 효과적인 해결책을 고안하기 위해 적용하는 설계 사고를 개발하도록 권장된다(Dym, Agogino, Eris, Frey, & Leifer, 2005). 설계 사고 과정에는 " 강조, 정의, 이상, 프로토타입 및 테스트"를 포함한 몇 가지 단계가 포함된다(d.school, 2013). 논쟁 모델과 설계 사고 과정을 결합한 프레임워크는 학생들이 설계 과정 동안 의미 있는 토론에 참여하도록 유도할 수 있으며, 따라서 더 높은 품질의 문제 해결을 제공할 수 있다.
Moreover, the conceptual framework can be exemplary for building a framework or model combining an argumentation construct with a discipline-specific reasoning or problem- solving model beyond the medical education field.
For example, PBL in legal education includes the following legal problem-solving processes: “problem finding, preliminary consideration of approaches to the problem, inquiry strategy, issue identification, research, legal analysis and solutions, and counselling or case management” (Kurtz, Wylie, & Gold, 1990, p. 804). Through identification of the nature and task of each process, a conceptual framework or model that integrates Toulmin’s (1958) argumentation model into legal problemsolving processes can be developed.
Likewise, in engineering education, students are encouraged to develop design thinking that engineers apply to devise effective solutions for meeting the needs of clients and users (Dym, Agogino, Eris, Frey, & Leifer, 2005). The design thinking process involves several phases, including “emphasize, define, ideate, prototype, and test” (d.school, 2013). A framework combining an argumentation model with design thinking processes may guide students in engaging in meaningful discussions during the process of design and thereby yield higher quality problem solving.
Abstract
One of the important goals of problem-based learning (PBL) in medical education is to enhance medical students’ clinical reasoning—hypothetico-deductive reasoning (HDR) in particular—through small group discussions. However, few studies have focused on explicit strategies for promoting students’ HDR during group discussions in PBL. This paper proposes a novel conceptual framework that integrates Toulmin’s argumentation model (1958) into Barrows’s HDR process (1994). This framework explains the structure of argumentation (a claim, data, and a warrant) contextualized in each phase of HDR during PBL. This paper suggests four instructional strategies—understanding argument structures, questioning, elaborating on structural knowledge, and assessing argumentation—for promoting medical students’ argumentation in relation to HDR processes. Further implications of the proposed framework for other disciplines, such as science, legal, and engineering education, are also discussed.
Recommended Citation
Ju, H. , & Choi, I. (2018). The Role of Argumentation in Hypothetico-Deductive Reasoning During Problem-Based Learning in Medical Education: A Conceptual Framework. Interdisciplinary Journal of Problem-Based Learning, 12(1).
Barriers and solutions to online learning in medical education – an integrative review
Diane O’Doherty1*, Marie Dromey2, Justan Lougheed1, Ailish Hannigan1, Jason Last3 and Deirdre McGrath1
배경
Background
의료 교육은 오랫동안 교사 중심의 모델을 통해 강의실에서 대면 강의를 포함하여 학습에 대한 교육학적 접근법을 확립해 왔다[1]. 교육 관행에 대한 이러한 특정 접근방식은 교육 문화[2] 내에서 나타날 수 있으며, 조직이나 교육 분야 내에 만연되어 새롭고 새로운 관행과 기술을 채택하는 것을 꺼리게 된다. 지난 수십 년 동안 의료 교육 관행은 전통적인 형태의 교육 방식에서 온라인, 거리 또는 전자 학습을 사용하는 다른 매체로 바뀌었다[3]. Howlett 등에서 설명한 바와 같이. [4], "전자(e) 또는 온라인 학습은 학습과 교수 모두를 전달, 지원 및 향상시키기 위해 전자 기술과 미디어를 사용하는 것으로 정의될 수 있으며, 온라인 콘텐츠를 활용하는 학습자와 교사 사이의 의사소통을 포함한다."
Medical education has many long established pedagogical approaches to learning including face to face lectures in classrooms via a teacher-centred model [1]. This particular approach to educational practices can manifest within a teaching culture [2], becoming pervasive within an organisation or discipline, leading to a reluctance to adopt new and emerging practices and technologies. Over the last number of decades there has been a shift in medical education practice from traditional forms of teaching to other media which employ online, distance or electronic learning [3]. As described by Howlett et al. [4], “Electronic (e) or online learning can be defined as the use of electronic technology and media to deliver, support and enhance both learning and teaching and involves communication between learners and teachers utilising online content”.
온라인 학습은 학생들에게 "더 쉽고 더 효과적인 접근"을 제공할 수 있다[5]. 그러나 전통적인 학습에서 온라인 학습으로의 전환이 아무 어려움 없이 이루어지는 것은 아니다. 점점 더 많은 시간 제약과 요구가 학생과 교육자들에게 지속적으로 주어지며, 각 과에서는 보다 개인화되고 자기주도적인 학습 경험을 제공하는 새로운 방법을 찾도록 유도한다.
Online learning can provide students with “easier and more effective access to a wider variety and greater quantity of information” [5]. However, the transition from traditional to online learning is not without challenges. Increasing time constraints and demands are continually placed on students and educators alike, driving departments to find new ways of providing a more personalised, self-directed learning experience.
21세기의 의과대학 졸업생은 '출세hit the ground running'를 할 것으로 예상된다[6]. 역동적인 작업장에서 유연성을 확보하기 위해 전통적인 임상 교육뿐만 아니라, 최신 기술을 사용하는 교육도 필요하다.
Medical graduates of the twenty-first century are expected to ‘hit the ground running’ [6], requiring not only a traditional clinical education but also one that is up-to-date with the latest technologies in order to ensure flexibility in a dynamic workplace.
교육자, 학생 및 임상의가 지속적으로 기술을 업데이트하고, 변화하는 의료 환경에 뒤처지지 않으며, '디지털 사용' 상태를 유지할 필요성이 더 커지지 않았다. 디지털 리터러시는 다음과 같이 정의되었다.
(a) '디지털 기술, 통신 도구 또는 네트워크를 사용하여 정보를 찾고, 평가하고, 사용하고, 생성할 수 있는 능력',
(b) '정보가 컴퓨터로 제공될 때, 다양한 출처에서 다양한 형식으로 이해하고 사용할 수 있는 능력',
(c) '리터러시는 미디어를 읽고 해석하고, 디지털 조작을 통해 데이터와 이미지를 재생산하며, 디지털 환경에서 얻은 새로운 지식을 평가하고 적용하는 능력을 포함한다' [7].
There has never been a greater need for educators, students and clinicians to continuously update their skills, to remain abreast of the changing healthcare environment and to remain ‘digitally literate’. Digital literacy has been defined as:
(a) ‘The ability to use digital technology, communication tools or networks to locate, evaluate, use and create information’,
(b)‘ The ability to understand and use information in multiple formats from a wide range of sources when it is presented via computers.’,
(c) ‘Literacy includes the ability to read and interpret media, to reproduce data and images through digital manipulation, and to evaluate and apply new knowledge gained from digital environments’ [7].
모바일 기기, Web 2.0, Web 3.0 및 보다 최근의 Web 4.0의 출현과 소셜 미디어 기술의 폭발은 학습자들이 자신만의 개인화된 학습 경험을 만들 수 있는 기회를 제공한다. 그러므로 교수와 강사들은 그러한 학습을 위한 기술의 효과적인 사용을 지도하고 지원하는 데 중요한 역할을 한다.
The advent of mobile devices, Web 2.0, Web 3.0 and more recently Web 4.0 and the explosion of social media technology provides opportunities for learners to create their own personalised learning experiences. Academic faculty and tutors therefore have a crucial role in guiding and supporting the effective use of technology for such learning.
많은 요인들이 학생 주도 요인에서 직원 주도 요인에 이르기까지 온라인 학습 프로그램의 성공 여부에 영향을 미칠 수 있다[8, 9]. 예를 들어, 직원들 사이의 "문화적 저항"은 이전에 기술 기반 교육에 대한 학생 참여의 장벽으로 확인되었으므로, 직원 중심의 이니셔티브가 성공적인 e-러닝 프로그램 도입의 열쇠가 될 수 있다[8]. 또한 의학교육의 변화와 발전이 이미 과중한 업무에 시달리는 교수들에게 추가적인 압력을 가하고 있는 것으로 인식되었다[10]. 의대나 프로그램 내에서 e-러닝으로의 이행을 고려할 때, 강력한 근거기반 연구는 교수진이 기술적 진보에 뒤처지지 않도록 자신의 위치를 강화할 수 있다.
Many factors can influence whether or not an online learning programme will succeed or fail, ranging from student led factors to staff led factors [8, 9]. For example, “cultural resistances” amongst staff have previously been identified as a barrier to student engagement with technology-based education; therefore, staff focused initiatives may be key to the introduction of successful e-learning programs [8]. It has also been recognised that changes and developments in medical education are putting extra pressure on already overworked faculty [10]. When considering the implementation of e-learning within a medical school or programme robust evidence based research may strengthen one’s position when encouraging faculty to remaining abreast of technological advances.
그것은 e-러닝을 교수 관행에 통합하는 데 저항할 수 있는 의료진의 근본적인 우려를 해결하는 데 도움이 될 것이다. 의료 교육에서 e-learning에 대한 강력한 근거 기반을 확보하려면 모든 관점(학생, 교육자, 교육자, 교육자, 교육자/학교/대학)을 고려하는 것이 중요하다. 지금까지 의료 교육자의 관점에서 장벽과 해결책에 대한 증거에 대한 검토는 없었다. 그러나 학생들이 직면하고 있는 장벽과 온라인 학습과의 참여를 개선하기 위한 해결책과 관련하여 완료된 작업이 있다[11–13]. 따라서 이 검토는 문헌의 이 격차를 메우기 위한 것이다.
It will aid in addressing underlying concerns amongst medical faculty who may be resistant to integrating e-learning into teaching practices. In order to ensure a robust evidence base for, or against, e-learning in medical education, it is crucial that account be taken of all perspectives (student, educator, training body / school / university). To date there has been no review of the evidence on barriers and solutions from a medical educator’s perspective but there has been work completed in regards to the barriers which students face and the solutions to improve engagement with online learning [11–13]. This review therefore aims to fill this gap in the literature.
리뷰 목적
Review aims and objectives
방법
Methods
실험적 설계와 비실험적 설계를 모두 갖춘 연구와 같이 다양한 방법론을 가진 연구를 포함할 수 있도록 하기 위해 문헌의 통합적 검토를 실시했다. Whittemore & Knafl [14]의 프레임워크는 검토의 엄격성을 향상시키기 위해 사용되었다.
An integrative review of the literature was conducted in order to allow for the inclusion of studies with diverse methodologies, such as those with both experimental and nonexperimental designs. The framework of Whittemore & Knafl [14] was used to enhance the rigour of the review.
Search strategies
Inclusion and exclusion criteria
Data appraisal
Data extraction
Data analysis
주제 분석은 이 검토에 포함된 혼합 방법 연구에 대한 가장 적절한 데이터 분석 형태였다. 각 기사는 두 개의 표제 하에 분석되고 연역적으로 부호화되었다.
Thematic analysis was the most appropriate form of data analysis for the mixed method studies included in this review. Each article was analysed and deductively coded under two headings:
1. 온라인 학습의 발전과 구현에 대한 장벽
2. 온라인 학습의 개발 및 구현의 장벽에 대한 해결책
1. Barriers to the development and implementation of online learning
2. Solutions to the barriers to the development and implementation of online learning.
결과
Results
Search results
Coding
핵심 주제
Core themes
스킬 Skills
장벽 – 스킬 부족
Barrier – Skill deficit
기술, 특히 테크니컬 스킬의 부족은 온라인 학습의 개발과 구현에 관여할 때 교육자들이 직면하는 장벽 중 하나임이 밝혀졌다[19]. 열악한 기반 시설과 함께 컴퓨터 및 타이핑 기술[20]이 부족하면 교육자가 온라인 학습의 개발 또는 전달에 관여할 의향이나 능력을 저해할 수 있다[20].
Lack of skills, in particular technical skills, was found to be one of the barriers met by educators when engaging with the development and implementation of online learning [19]. Insufficient computer and typing skills [20] together with poor infrastructure can inhibit educator’s willingness or ability to engage with the development or delivery of online learning [20].
솔루션 – 참여
Solution – Engagement
필요한 기술을 습득하기 위해서는, 프로그램의 개발을 비롯하여, e-러닝에 참여하는 것이 교수실습을 위한 기술을 습득하는 데 중요하다는 것이 인정되었다[19].
In order to gain the necessary skills, it was acknowledged that engaging with e-learning, including the development of such programs, was important for gaining skills for teaching practice [19].
펄먼 외 [21] ePortfolio 툴 사용에 대해 제공된 교육을 통해 교수진에게 필요한 기술을 제공하는 것이 중요하다고 주장한다. 워크샵을 통해 교직원들은 이 새로운 기술을 배우고 도구에 익숙해질 수 있다. 또한 워크샵에 참석한 instructional design 스텝으로부터 배울 수도 있었다. 프로그램의 성공을 보장하기 위해서는 교수진이 도구에 대한 필요한 교육을 받는 것이 매우 중요했다.
Perlman et al. [21] argue the importance of providing faculty with the necessary skills via training provided on the use of the ePortfolio tool. Workshops allowed faculty to learn this new skill and gain familiarity with the tool through use and from instructional design staff who were present during workshops. In order to ensure the success of the program it was crucial that faculty received the necessary training on the tool.
자원 Resources
장벽 – 시간
Barrier – time
의료 교육자들은 이미 개인 생활과의 균형을 유지하며 교직, 연구 및 유지할 수 있는 충분한 시간을 찾아야 한다는 압력을 받고 있다[22]. 이러한 맥락에서 온라인 학습 도구의 숙달, 개발 및 구현에 전념할 시간이 불충분하다고 볼 수 있다. 이러한 투자 시간의 예상은 컴퓨터 기반 도구가 "항상 예상보다 오래 걸린다"는 선입견과 함께 교육자 자신의 교육자 자신의 교육학 시스템에 해로운 것으로 볼 수 있다[19]. 흥미롭게도, 시간 부족은 온라인 또는 e-러닝에 참여할 인센티브의 부족과 관련이 있는 것으로 보인다[23]. 펄먼 외 [21] 전자 ePortfolio 툴을 사용하는 교수진의 장애물로 시간을 강조한다. 교직원들은 프로그램의 시범적 성격으로 인해 보호되는 행정시간을 제공받지 못하기에 보상받지 못한 수업시간을 투자해야 했다. 이러한 교육 기구의 효과적인 사용을 보장하기 위해서는 교육자들이 이러한 유형의 도구에 익숙해지고 참여할 수 있는 시간을 갖는 것이 매우 중요하다는 점에 주목했다. 교수진은 이 도구를 준비하고 사용하는 데 4~5 half days of clinical work를 사용했다.
Medical educators are already under pressure to find sufficient time to manage teaching, research and maintain a work life balance personal life commitments [22]. In this context, inadequate time to devote to the mastery, development and implementation of online learning tools can be seen as a significant barrier. This expectation of time to be invested can be seen as detrimental in an educator’s own pedagogical system in conjunction with preconceived notions that computer based tools “always take longer than expected” [19]. Interestingly, lack of time appears to be linked with lack of incentives to engage with online or e-learning [23]. Perlman et al. [21] highlight time as a barrier for faculty engaging in using an electronic ePortfolio tool. Faculty members had to invest uncompensated teaching time as they were not afforded protected administrative time due to the pilot nature of the program. It was noted that in order to ensure the effective use of such a teaching instrument, it is crucial that educators are afforded the time to become familiar with and engage with this type of tool. Faculty spent on average four to five half days of clinical work in preparing and using the tool.
솔루션 – 시간
Solution – time
사실 디지털 도구의 채택은 의료 교육자가 개념을 배우고 실무에 반영할 수 있도록 시간을 확보할 수 있다[20]. 또한, 교육자가 온라인 학습의 개발 또는 구현에 관여하는 데 시간을 보내도록 요청받는 경우, '교직원 보상 및 노력에 대한 인정에 대한 공식적 메커니즘'이 있을 것을 제안한다. [23].
The adoption of digital tools can, in fact, free up time allowing medical educators to learn concepts and to reflect on practices [20]. Furthermore, where educators are asked to spend time engaging with the development or implementation of online learning it is proposed that there be a ‘formal mechanism for faculty reward and acknowledgement for efforts…‘ [23].
장벽 – 인프라
Barrier – infrastructure
많은 경우, 기반시설과 기술의 부족은 의료 교육에서 장애물로 볼 수 있으며, 전형적으로 저소득 국가에서 그러하다[9]. 이러한 국가들 중 많은 나라들은 전자 우편과 같은 기술적 기초가 부족한 반면, 다른 나라들은 인터넷 접속이 간헐적으로만 가능하거나, 복사 같은 서비스의 질이 떨어지는 것에 대해 언급한다. 이러한 기술적 제한은 교수진과 지리적 맥락에서 e-러닝의 장벽으로 작용할 수 있다[9]. 예를 들어, Attardi & Rogers [24]는 열악한 인터넷 연결과 같은 기술적 문제를 캐나다에 있는 기관의 강의 생중계 장벽이라고 지적했다. 베디앙 등 [9] 카메룬과 같은 저소득 국가에서 직면하고 있는 인터넷 연결성, 와이파이 및 물리적 인프라 접근성이 얼마나 열악한 문제인지를 강조한다. Lakbala의 연구[25]는 또한 이란과 같은 저소득 국가에서 e-러닝을 시행할 때 보건 전문가 교육자들이 직면하는 다양한 장벽들을 강조한다. 확인된 장애물에는 컴퓨터에 대한 제한된 접근과 열악한 물리적 인프라가 포함된다.
In many instances, the lack of infrastructure and technology can be seen as a barrier in medical education, typically in low-medium income countries [9]. Many of these countries lack technological basics, such as email, while others comment on the poor quality of services, such as intermittent internet access or photocopying. These technological limitations can act as a barrier to e-learning within a faculty and geographical context [9]. For example Attardi & Rogers [24] identified technical issues such as poor internet connectivity as barriers to live broadcasting of lectures in their institution in Canada. Bediang et al. [9] highlight how poor internet connectivity, Wi-Fi and access to physical infrastructure are issues which are faced in a low-income country such as Cameroon. Lakbala’s study [25] also highlights the different barriers met by health profession educators in implementing e-learning in a low-income country such as Iran. Barriers identified include limited access to computers and poor physical infrastructure.
솔루션 – 비용
Solution – cost
말루니 외 [26] 웹 기반 교육의 실제 비용을 결정하기 위해 균등분석이 완료되는 경우, 웹 기반 접근방식은 '전통적인 대면 교육보다 확실히 우수하여, 프로그램이 중단점에 도달하는 데 필요한 등록enrolment 건수가 낮아진다'는 사실을 발견했다. 이러한 분석은 온라인 프로그램을 개발하는 데 있어서 의대들이 채택하는 접근방식은 아닐 수 있지만, 인프라의 구축 비용을 장애물이 아니라, 장애물에 대한 잠재적 해결책으로서 볼 수도 있다.
Maloney et al. [26] found that where a break-even analysis is completed to determine the true cost of a web-based education, the web-based approach was ‘robustly superior than a traditional face-to-face education, allowing lower number of enrolments for a program to reach its break-even point’. While this analysis might not always be an approach adopted by medical schools in developing an online programme, it is suggested as one of the ways in which one might look at the cost of establishing the correct infrastructure not as a barrier but as a potential solution to a barrier.
제도적 전략 및 지원 Institutional strategies & support
Barrier – poor communication
장벽 – 의사소통 불량
도구나 프로그램이 어떻게 구현될 것인지에 대해 제도적 지원이 부족하고 방향성이 부족한 경우, 구현은 거의 성공적이지 않았다[27].
Where there was a lack of institutional support and limited direction as to how tools or programs would be implemented, implementation was rarely successful [27].
e-러닝의 구현은 종종 양극화에 채택되는 과정으로 보고된다. e-러닝 도구의 채택은 기관의 여러 부서에서 이루어질 수 있지만, 부처간 의사소통의 부족은 장애요인이 된다.
Implementing e-learning is often reported as a process which is adopted in polarisation; while the adoption of e-learning tools may be taking place across a number of departments in an institution, there may be a lack of interdepartmental communication which is seen as a barrier.
생성된 비동기 환경은 아이디어와 공유된 지식의 적극적인 교환을 지원하지 않는 환경으로 인식된다.
The asynchronous environment generated is perceived as one which does not support the active exchange of ideas and shared knowledge.
"때때로 (온라인에서는) 다른 사람들이 말하는 것의 정확한 의미를 확신하지 못하기 때문에, 온라인에서 '토론'을 하는 것이 어렵다는 것을 알았다." [20]
“I have found it difficult at times to have a ‘discussion’ online as you are never quite sure about the exact meaning of what people are saying.” [20]
솔루션 – 협업
Solution – collaboration
베디앙 등 [9] 온라인/전자 학습 프로그램의 구현이 성공적으로 완료될 수 있는 가장 중요한 방법 중 하나는 모든 관련 이해 관계자 및 부서를 교수진 내에 포함시키고 협업을 촉진하기 위한 새로운 접근방식을 채택하는 것임을 발견했다. 그들은 'i) 자격 있고 헌신적인 인적 자원, ii) 재정 자원 할당 및 iii) 모든 이해관계자의 필요성에 따라 지원을 하기 위해 e-러닝 관리자가 적절한 메커니즘을 수립해야 할 필요성을 구체적으로 설명했다.
Bediang et al. [9] found that one of the most important ways in which implementation of online / e-learning programs can be completed successfully is to include all relevant stakeholders and departments within a faculty and for new approaches to be adopted to facilitate collaboration. They specifically outlined the need for e-learning managers to put appropriate mechanisms in place in order to ‘
i) have qualified and dedicated human resources,
ii) allocate financial resources and
iii) support of all stakeholders according to their needs’.
펄먼 외 [21] 교수진이 온라인 프로그램 개발과 그 미래의 성공을 위해 지속적으로 참여하게 하려면, 교육기관에 대한 지원의 제공이 필수적이라는 점에 주목했다.
Perlman et al. [21] noted that the provision of institutional support to faculty so that they might continue to participate in the development of online programs and for its future success is imperative.
그러므로 온라인 학습을 실시할 때 핵심 기술의 구현과 교수들이 그 전략을 채택하도록 촉진하는 제도적 전략이 필요하다[9].
An institutional strategy is therefore required which facilitates the implementation of key skills and the adoption of methodologies by faculty when implementing online learning [9].
태도 Attitude
장벽– 태도
Barrier – Attitude
새로운 기술과 도구를 사용하는 것에 대한 교육자들 사이의 부정적인 태도는 온라인 학습의 개발과 실행에 장애요인이라고 볼 수 있다. 교육자들은 새로운 도구를 사용하는 전체 과정에 압도되고 사소한 기술적 문제를 탐색하는 데 인내심이 거의 없다는 사실에 주목했다[28].
Negative attitude amongst educators in engaging with new technologies and tools can be seen as a barrier to the development and implementation of online learning. Educators noted feeling overwhelmed with the entire process of engaging with new tools [16] and having little patience for navigating minor technical issues [28].
특정 도구에 대한 제한된 지식이나 적절한 훈련의 부족에서 기인하는 그러한 감정은 온라인 학습 관행을 구현하고 개발하도록 요청 받았을 때 일부 교육자들의 태도에 영향을 미칠 수 있다.
Such feelings of inadequacy, stemming from limited knowledge of, or proper training with, a particular tool may be influencing the attitude of some educators when asked to commit to implementing and developing online learning practices.
솔루션 – 문화
Solution – culture
사용하기가 어려워 보이는 전자 학습 도구와 기술에 대해 긍정적인 태도를 유지하는 것은 상당히 문제가 될 수 있다. 한 연구에 참여한 교육자들은 긍정적인 태도를 유지하기 위해 노력하는 것이 중요하다고 언급했다[20].
Maintaining a positive attitude in the face of seemingly difficult to use and time consuming e-learning tools and technologies can be quite problematic. Educators involved in one study noted that it was important to try to maintain a positive attitude [20].
이러한 새로운 도구를 채택하면 실제로 전반적으로 긍정적인 경험을 얻을 수 있으며 선입견을 깨트릴 수도 있다.
Adopting these new tools may in fact produce a positive experience overall and even break down preconceived notions;
고찰
Discussion
긍정적인 경험이 확인되었고, 일부 교육자들은 새로운 도구를 사용하는 것을 즐겼다는 사실을 언급했지만[9, 20], 그러한 개발의 배후에 강력한 제도적 지원이 필요하다는 것을 확고히 강조하였다. 제도적 지원이 부족하고 그러한 도구나 프로그램이 어떻게 구현될지에 대한 방향이 제한적이었던 경우, 구현은 거의 성공적이지 않았다[24]. 그러므로 온라인 학습을 도입할 때는 명확한 제도적 전략이 권장된다[9, 26]. 또한 학습자가 응집력 있는 교육을 받을 수 있도록 하기 위해 교수간 협력이 필요하다 [9, 20].
While positive experiences were identified, with some educators commenting on the fact that they enjoyed engaging with new tools [9, 20], there was firm emphasis on the need for strong institutional support behind such developments. Where there was a lack of institutional support and limited direction as to how such tools or programs would be implemented, implementation was rarely successful [24]. A clear institutional strategy therefore is recommended when implementing online learning [9, 26]. There is also a strong need for inter-faculty collaboration to ensure that a cohesive education is available for learners [9, 20].
이 리뷰에서 확인된 많은 주제들은 보건 직업 교육에 관한 이전 연구들에 부합한다. 예를 들어 Childs 등. [29]에서는 의료 전문가와 학생을 위한 효과적인 e-러닝의 장벽과 해결책에 대해 논의했으며, technical skill을 장애요인이자 동시에 해결책으로 언급했다. 열악한 교육자 기술도 페테르손 & 올로프손에 의해 장벽으로 지적되었다[2]. 훈련 부족을 둘러싼 문제가 확인된 경우, Childs 등이 제안한 해결책 중 하나는 그러한 훈련의 도입(또는 개선)이다. Childs 등은 또한 기본적인 컴퓨터 사용능력 정책의 시행을 권고하기까지 했다[29].
Many of the themes identified in this review compliment previous studies in health profession education. For example Childs et al. [29], discussed the barriers and solutions to effective e-learning for health professionals and students and identified technical skills as both a barrier and a solution. Poor educator skills was also noted as a barrier by Pettersson & Olofsson [2]. Where issues surrounding lack of training are identified, one of the solutions proposed by Childs et al. [29] is the introduction (or improvement) of such training. Childs et al. also went so far as to recommend the enforcement of a basic computer literacy policy [29].
Petterson & Olofsson의 연구는 또한 e-러닝 기술의 구현을 방해하는 원인으로 시간을 언급한다[2]. 그들은 교수들이 이러한 새로운 기술을 배울 수 있는 시간이 제한되어 있고 이는 사실상 자신감을 손상시킨다고 언급했다. 또한 교수진은 가용 시간이 부족하기 때문에 원격교육의 교육적 측면과 조직적 측면에 대해 우려했다. 교육자가 새로운 기술을 배우는 데 필요한 시간을 확보하기 위해, 기관은 교육자가 이러한 기술을 개발하고 개념을 배우고 실천요강을 반영할 수 있는 보호된 시간을 허용해야 한다[20].
Pettersson & Olofsson’s study also references time as a barrier to the implementation of e-learning technologies [2]. They noted that there is limited time available for faculty to learn these new technologies which in effect damages self-confidence. The lack of time available also made faculty concerned about the pedagogical and organisational aspects of distance teaching. In order to allow educators the necessary time to learn new technologies, institutions should allow for protected time for educators to develop these skills, learn concepts and reflect on practices [20].
함의
Implications for educators
이 검토에서 확인된 온라인 학습에 대한 장벽과 해결책은 온라인 학습으로의 이동을 장려할 때 개별 교육자로부터 "buy-in"할 필요가 있음을 강조한다.
The barriers and solutions to online learning identified in this review highlight the need for significant “buy-in” from individual educators when encouraging a move to online learning.
BMC Med Educ.2018 Jun 7;18(1):130. doi: 10.1186/s12909-018-1240-0.
Barriers and solutions to onlinelearning in medicaleducation - an integrativereview.
Graduate Entry Medical School, University of Limerick, Limerick, Ireland. diane.odoherty@ul.ie.
2
School of Medicine, University College Dublin, Dublin, Ireland.
3
Graduate Entry Medical School, University of Limerick, Limerick, Ireland.
4
University College Dublin, Dublin, Ireland.
Abstract
BACKGROUND:
The aim of this study is to review the literature on known barriers and solutions that face educators when developing and implementing onlinelearning programs for medical students and postgraduate trainees.
METHODS:
An integrativereview was conducted over a three-month period by an inter-institutional research team. The search included ScienceDirect, Scopus, BioMedical, PubMed, Medline (EBSCO & Ovid), ERIC, LISA, EBSCO, Google Scholar, ProQuest A&I, ProQuest UK & Ireland, UL Institutional Repository (IR), UCDIR and the All Aboard Report. Search terms included onlinelearning, medical educators, development, barriers, solutions and digital literacy. The search was carried out by two reviewers. Titles and abstracts were screened independently and reviewed with inclusion/exclusion criteria. A consensus was drawn on which articles were included. Data appraisal was performed using the Critical Appraisal Skills Programme (CASP) Qualitative Research Checklist and NHMRC Appraisal Evidence Matrix. Data extraction was completed using the Cochrane Data Extraction Form and a modified extraction tool.
RESULTS:
Of the 3101 abstracts identified from the search, ten full-text papers met the inclusion criteria. Data extraction was completed on seven papers of high methodological quality and on three lower quality papers. Findings suggest that the key barriers which affect the development and implementation of onlinelearning in medicaleducation include time constraints, poor technical skills, inadequate infrastructure, absence of institutional strategies and support and negative attitudes of all involved. Solutions to these include improved educator skills, incentives and reward for the time involved with development and delivery of online content, improved institutional strategies and support and positive attitude amongst all those involved in the development and delivery of online content.
CONCLUSION:
This review has identified barriers and solutions amongst medical educators to the implementation of onlinelearning in medicaleducation. Results can be used to inform institutional and educator practice in the development of further onlinelearning.
KEYWORDS:
Barriers; E-learning; Medicaleducation; Medical faculty; Onlinelearning; Solutions
하나보단 둘이 낫다? (Adv Health Sci Educ Theory Pract, 2019)
Two heads are better than one?
Geoff Norman1
강의에 대한 소규모 그룹 강의의 우위는 교육자들이 모이는 거의 모든 장소에서 교직원 개발 워크숍과 컨퍼런스에서 반복적으로 되풀이되는 만트라다. 전형적으로, "강의에서 배우는 사람은 아무도 없다"는 단호한 진술로 시되는데, 이 "axiom"을 산문화한 바로 그 사람들이 강의로부터 사실상 모든 자신의 교육(또는 그렇지 않은)을 받았을 가능성이 높기 때문에, 인지부조화의 심각한 사례를 만들어낸다.
The superiority of small group instruction over lectures is a mantra repeated over and over at faculty development workshops and conferences, almost any place that educators assemble. Typically, it is prefaced by a flat statement that “No one learns anything from lectures”, which creates a serious case of cognitive dissonance, since the very folks who are proselytizing this “axiom” were likely to have received virtually all their own education (or not) from lectures.
놀랄 것도 없이, 소규모 집단 지도에 대한 증거는 상당히 광범위하지만, 전혀 일관되진 않다. 체계적인 검토에서 나온 일부 증거는 소규모 그룹 지도의 효과 크기가 중간 수준(Lipsey와 Wilson 1993)이지만, 특정되지 않은 통제 조건과 쿡(2009)이 보여준 것처럼 어떤 교육(강의조차)도 없는 것보다 우수하다는 것을 보여주었다. 더욱이, 일부 연구는 non-expert 강사가 운영하는 소규모 그룹의 부정적인 영향을 보여주었다(Eagle et al. 1992; Davis et al. 1992).
Not surprisingly, the evidence about small group instruction, while fairly extensive, is far from uniform. Some evidence from systematic reviews showed that the effect size of small group instruction is moderate (Lipsey and Wilson 1993), however the control condition as not specified and as Cook (2009) showed any education (even lectures) is superior to no education. Moreover, some studies have shown a negative effect of small groups with non-expert tutors of about the same magnitude (Eagle et al. 1992; Davis et al. 1992).
최근의 광범위한 검토는, unguided instruction(발견 학습)는 열등한 교육 전략이며, worked example이 우월하다고 주장했다(Kirschner et al. 2006). 이것 역시 논쟁거리가 되었다(Hmelo- (2007); 슈미트 외 (2007). 하지만 결국 누가 옳았든 간에, 소그룹 교수법이 여러 사람이 주장하는 것처럼 배움의 마법의 총알은 아니다.
A recent extensive review claimed, with evidence, that unguided instruction (discovery learning) is an inferior instructional strategy, and that worked examples are superior (Kirschner et al. 2006). This too was contested (Hmelo-Silver et al. (2007); Schmidt et al. (2007). Still whoever eventually turns out to be right, small groups are not the magic bullet for learning that they are purported to be.
그러나 소그룹들은 그들의 교육적 효과에 대해 유일한 필수적 요소로 간주되지 않는다. 우리는 모두 해결하기 어려운 문제는 작은 그룹에 의해 더 잘 해결될 수 있다는 생각을 가지고 성장했다. "함께 모여서 그것을 브레인스토밍하자"는 모든 질병의 해결책으로 여겨진다. 성공적인 브레인스토밍 전략에 관한 책들이 쓰여져 왔다. 소그룹의 전성기 시절이던 60년대에, 우리가 모든 것을(문자 그대로 모든 것을) 소그룹으로 했던 때에, "창조적 문제 해법synectics"과 같은 불명확한 이름로 불렸던 elaborate ritual은 소그룹들이 모든 것을 제대로 할 수 있다는 것을 보여주는 듯 했다.
However, small groups are not viewed only as a sine qua non for their educational effects. We have all grown up with the idea that any problem that is tough to solve can be solved better by a small group. “Let’s get together and brainstorm that” is viewed as the solution to all ills. Books have been written about successful strategies for brainstorming. In the heyday of small groups, the sixties, where we did everything—EVERYTHING—in small groups, elaborate rituals called obscure names like “synectics” evolved to ensure that the small group would do everything just right.
그러나 문제가 있었다. 나는 증거를 검토한 작은 책을 읽었던 것을 분명히 기억한다. 특히 한 연구는 정말로 황제의 옷을 벗겨냈다. 그들은 브레인스토밍 그룹에 대한 문제 해결책과 분리된 방에 갇혀서 어쩔 수 없이 스스로 생각해 낸 같은 종류의 사람들을 비교했다. 각 개개인이 자기 나름대로 솔루션을 생성하게 한 경우, 브레인스토밍 그룹보다 더 많은(놀랍지 않다) 더 나은(놀랍다) 솔루션을 가지고 있었다.
There was a small fly in the ointment however. I distinctly remember reading a small book that reviewed the evidence. One study in particular really stripped off the emperor’s clothes. They compared problem solutions on brainstorming groups to solutions by the same number and kind of people who were locked in separate rooms and forced to come up with them on their own. When you looked at solutions generated by individuals left to their own devices, they had more (no surprise) and better (surprise) solutions than the brainstorming groups.
사람들을 각각 따로 분리해두고, 아이디어를 생각해 낸 다음, 결과를 종합한다는 생각이 완전히 사라진 것은 아니다. 그것은 이제 "NGT"라고 불린다. 즉, 이는 이름뿐인 그룹이다. 전략은 최종 최적 솔루션 집합에 도달하기 위해 여러 번 반복하면서 그러한 접근법을 수행하도록 진화했다. 최근의 검토 기사(Van De와 Delbecq 1971)는 정확히 같은 결론에 도달한다.
the idea of leaving people alone to come up with ideas and then aggregating results has not been entirely lost. It is now called the “nominal group process”—that is, a group in name alone. Strategies have evolved to conduct such an approach over multiple iterations to arrive at a final optimal set of solutions. A recent review article (Van De and Delbecq 1971) comes to precisely the same conclusion:
...문제 해결 위원회를 위한 그룹 프로세스의 최적 조합:
(1) 1단계: 사실 조사, 아이디어 생성, 초기 주관적 가능성 추정을 위한 명목상의 그룹 프로세스 사용
(2) 2단계: 구조화된 피드백을 사용하고, 상호작용적 논의
(3) 3단계: 최종 독립적 개별 판단에 대한 명목 그룹 투표.
…the optimal combination of group processes for a problem-solving committee is:
(1) the use of nominal group processes for fact-finding, idea generation, or initial subjective probability estimation in the first phase of a committee’s work;
(2) the use of structured feedback and interacting discussion in the second phase; and
(3) nominal group voting for final independent individual judgments in the final phase.
그러나, 이러한 결과는 대부분 눈에 띄지 않게 되었다. 반대로, 건강 관리 시스템의 변화로 인해 "건강 관리 팀"과 같은 다분야 그룹에 의해 점점 더 많은 보살핌이 전달되면서 그룹의 우월성에 대한 일부 아이디어들이 최근에 다시 태어났다. 실제로 국립의학원은 진단 오류에 대한 하나의 해결책은 협력적 팀 기반 진단이라고 제안했다(Ball et al. 2015).
However, these results have gone largely unnoticed. Conversely, some of the ideas about superiority of groups have been reborn recently as changes in the health care system result in more and more care being delivered by multidisciplinary groups like “health care teams.” The National Academy of Medicine has, in fact, proposed that one solution to diagnostic errors is collaborative, team-based diagnosis (Ball et al. 2015).
최근까지, 많은 헬스케어가 그룹이나 팀 단위로 이뤄졌다는 증거는 많았지만, 이것이 좋은 일이라는 증거는 많지 않았다. 그러나 3월에 JAMA에 집단진단이 개인진단보다 확실히 우수하다는 것을 보여주는 연구가 나타났다(Barnett et al. 2019).
Until recently, while there was lots of evidence that much health care was delivered in groups or teams, there was not much evidence that this was a good thing. But in March, a study appeared in JAMA that purported to show that group diagnosis was demonstrably superior to individual diagnosis. (Barnett et al. 2019).
...군집단은 접근방식에 관계없이 지속적으로 개인보다 높은 성과를 거두었다. 2명의 사용자(77.7% 정확도)에서 9명의 사용자(85.5% 정확도)로 구성된 그룹은 하위 전문 분야에서 개별 전문가(66.3% 정확도, P < .001년)를 능가했다.
…groups consistently outperformed individuals regardless of approach…. Groups from 2 users (77.7% accuracy) to 9 users (85.5% accuracy) outperformed individual specialists in their subspecialty (66.3% accuracy; P < .001).
큰 표본 크기에 근거하여 얻은 이러한 이득은 실로 인상적이다. 그것은 정말로 당신이 서둘러서 모든 진단은 적어도 두 명의 의사가 해야 한다고 요구하기를 원한다. 그러나 이것은 사실이 아니다.
These gains, based on large sample sizes, are truly impressive. It really wants you to rush out and demand that every diagnosis should be done by at least two physicians. What a pity that they’re not true.
실제로 일어난 일은 다음과 같다. 이 연구는 의사와 레지던트가 표준화된 형식으로 사례를 제출할 수 있고 데이터 뱅크의 사례를 진단할 수 있는 온라인 플랫폼 "휴먼 Dx"를 포함했다.
Here’s what actually happened. The study involved an online platform “Human Dx” where physicians and residents could submit cases in standardized format and could also attempt to diagnose cases in the data bank.
"그룹"이라는 꼬리표가 명목이라는 점이 주목할 만하다. 실제 그룹 프로세스는 없었고, 개개인의 기여에 대한 사후 평균화만 있었다. 이와 같이, 그것은 소규모 그룹의 효과에 대해서는 아무 것도 언급하지 않는다. 오히려, 우리가 이미 알고 있는 크라우드소싱이 효과가 있다는 증거로 볼 수도 있다.
It is notable, that the label “group” is nominal. There was no actual group process; only post hoc averaging of independent contributions. As such, it says nothing about the effectiveness of small groups; rather, it might be viewed as evidence that crowdsourcing works, which we already know.
조금 더 정교한 수준에서, 당신이 그것들을 종합하기로 선택하더라도, 어떤 단일 추정치보다 정보에 입각한 임상의 "n"명이 추정한 확률의 평균이 진실에 더 가까울 것이라는 것은 이치에 맞는다. 그것은 단순히 평균의 표준오차와 표준편차 사이의 "1/√n" 관계를 반영한다.
On a slightly more sophisticated level, it stands to reason that the average of “n” informed clinicians’ estimates of probability is going to be closer to the truth than any single estimate, however you choose to aggregate them. That simply reflects the “1/√n” relation between the standard error of the mean and the standard deviation.
요컨대, 그 논문은 잘못된 질문에 대한 확고한 답을 만들어 낸다. 그들이 해야 할 일은 독립적으로 획득한 "n" 진단(사용한 것과 같은 방법을 사용함)의 정확성을 한 방에서 싸웠던 "n" 집단의 일치로 얻은 단일 차등 진단과 비교하는 것이다.
In short, the paper yields a robust answer to the wrong question. What they should have done is compare the accuracy of “n” diagnoses obtained independently (using methods like the one they did use) to a single differential diagnosis obtained by consensus of a group of “n” who fought it out in a room.
"1954~2014년 기간에 걸쳐 6,500만 개의 논문, 특허 및 소프트웨어 제품을 분석한 결과, 이 기간 동안
소규모 팀은 새로운 아이디어와 기회로 과학기술에 지장을 주는 경향이 있는 반면,
더 큰 팀은 기존 것을 개발하는 경향이 있었다."(Wu 등,2019년).
그룹 규모와 생산성의 역관계는 보편적인 것으로 보인다.
a study that appeared in Nature that week, based on an analysis of “65 million papers, patents and software products that span the period 1954–2014 and demonstrate that across this period
smaller teams have tended to disrupt science and technology with new ideas and opportunities, whereas
larger teams have tended to develop existing ones.” (Wu et al. 2019).
It seems that the inverse relation between group size and productivity is universal.
예로 이것 발견을 확인할 마지막으로, 나는 1964년(1964년 힉스)에 피터 힉스에 의해, 혼자 발표된 이 원래 이론적인 기사로 힉스 입자를 제안하고, 찾았다. 그 당시 나는 문서에서는 2012년 이상 3000명의 작가들(ATLAS검출기를 공동 작업(알.,(알.,(알., 끝도 없이 지겹도록)다로 힉스 입자의 존재를 확인하라셔.
Finally, to confirm this finding by example, I sought out the original theoretical article proposing the Higgs boson, which was published by Peter Higgs, alone, in 1964 (Higgs 1964). I then located the article confirming the existence of the Higgs boson, which appeared in 2012 and had over 3000 authors (ATLAS Collaboration et al., et al., et al., ad infinitum ad nauseam).
결론적으로, 이 editorial의 제목은 거의 옳다. 보다 정확하게 말하면 이렇다. 두(독립적) 머리는 하나의(그룹으로 이뤄진 두 개의)머리보다 낫다.
To conclude, my title is almost right. A more accurate revision: Two (Independent) Heads are Better Than One (Group of Two Heads).
강의시간 동안의 집중력: 8초? 10분? 그 이상? (Adv Physiol Educ, 2016)
Attention span during lectures: 8 seconds, 10 minutes, or more?
Neil A. Bradbury
Department of Physiology and Biophysics, Chicago Medical School, Rosalind Franklin University of Medicine and Science, North Chicago, Illinois
TED와 금붕어
TED and the Goldfish
아주 훌륭한 POPULAR TED 회담은 연사들이 기술에서부터 생물 의학 연구, 문화에 이르기까지 광범위한 주제에 대해 자신의 생각을 발표하는 일련의 회담이다. 모든 연설자에게 주어진 한 가지 핵심 규정은 그들이 그들의 자료를 제시할 수 있는 최대 18분이라는 것이다. 18분을 지시하는 규칙은 18분이 "심각한" 프레젠테이션을 할 수 있을 만큼 길지만 사람의 주의를 끌 수 있을 만큼 짧다는 개념에 근거를 두고 있다. 생리학 커리큘럼에서 "TED" 접근방식을 광범위하게 구현해야 하는가?
THE ENORMOUSLY POPULAR TED talks are a series of talks in which speakers present their ideas on a wide range of topics from technology to biomedical research to culture. One key stipulation given to all speakers is that they have a maximum of 18 min to present their material. The rule dictating 18 min is based on the notion that 18 min is long enough to have a “serious” presentation but short enough to hold a person’s attention. should a “TED” approach be widely implemented in physiology curricula?
실제로 50분짜리 강의는 여전히 많은 기관에서 큰 영향력을 행사하고 있다. 한 학생의 주의력이 10-15분 후에 급격히 떨어진다는 여러 작가의 주장에 근거하여 학생의 주의를 끌기에는 너무 길다는 비판을 받고 있다.
Indeed, the 50-min lecture still holds sway at many institutions. It is criticized as being too long to hold a student’s attention based on several authors’ claims that a student’s attention span declines precipitously after 10–15 min.
2015년, 마이크로소프트가 의뢰하고 타임지에서 토론한 연구에 따르면, 평균적인 집중시간 범위는 사실 8초 밖에 되지 않았다. 정말 그렇다면, 15분 강의에 참여하는 것조차 확실히 영웅적일 것이다.
In 2015, a study commissioned by Microsoft and discussed in Time magazine found that the average attention span was in fact only 8 s. If indeed this is the case, then even participating in a 15-min lecture would be positively heroic.
인간을 위한 8초 주의력 범위는 실제로 사람들이 다른 곳을 보기 전에 웹 페이지에서 보내는 평균 시간을 반영한다. 그래서 고맙게도 우리는 8초짜리 강의 제한은 생략할 수 있지만, 생리학 교과과정은 15분짜리 주의력 범위라는 개념만 접해야 한다는 생각에 여전히 남아 있다. 그러나 이 시기의 지혜에 대한 인식과 동의에도 불구하고 실제로 그러한 논문을 뒷받침할 자료가 있는가?
the 8-s attention span for humans actually reflects the average time a person will spend on a web page before looking somewhere else. So thankfully, we can dispense with the 8-s lecture limit, but we are still left with the idea that a physiology curriculum should only entertain the concept of a 15-min attention span. However, despite the perceived and agreed upon wisdom of this time point, are there actually any data that would support such a thesis?
10분 집중력의 시초
Genesis of the 10-Min Attention Span
학술문학은 현대 학생들의 특징인 10~15분짜리 관심의 범위를 지켜야 한다는 결론을 뒷받침하고 전파하는 기사와 책들로 가득하다. Davis(5)는 저서 Tools for Teaching에서 "...강습 중 학생들의 주의력은 약 10-15분 후에 약해지는 경향이 있다"고 기술하고 있다. 이와 비슷하게 완카트(20)는 강의 시작 시 학생들의 관심이 높지만 10~15분 만에 최저점에 도달했다고 주장한다. 심리학자 윌버트 J. 맥키치를 기리는 에세이에서 벤자민(1)은 "강연이 시작되면 대부분의 학생들이 관심을 기울이고 있으며, 대부분의 학생들에게 관심은 약 10분 정도 지속된다"고 주장한다. 실제로 맥케이치(13)는 강의 시작 10분 전부터 강의 시간이 10분 정도 흐른 뒤 줄어든다며 책 14권(19일자)에 20여 년이 지난 지금도 이 작가의 반향을 불러일으켰다.
The academic literature is replete with articles and books supporting and propagating the conclusion that lectures should adhere to the 10to 15-min attention span that is characteristic of modern students. In the book Tools for Teaching, Davis (5) states that “...student attention during lectures tends to wane after approximately 10–15 minutes.” Similarly, Wankat (20) argues that “Although student attention is high at the start of a lecture, it has reached a low point after 10–15 minutes.” In essays honoring the psychologist Wilbert J. McKeachie, Benjamin (1) asserts that “When the lecture begins, most students are paying attention, and for most students that attention lasts for about 10 minutes.” Indeed, McKeachie (13), in Teaching Tips (8th Ed.), has maintained that “Attention typically increases fromthe beginning of the lecture to 10 minutes into the lecture and decreases after that point,” a sentiment still echoed by this author more than 20 yr later in the 14th edition of the book (19).
이러한 출판물에 관해서는 몇 가지 점이 주목할 만하다.
첫째, 모든 주제들은 모호하고 정량적으로 정의되지 않는 변수(관심)에 대해 정량적으로 정밀한 10-15분 시간 코스에 합의한다.
둘째, 그러한 정확한 시간 범위에 대한 증거적 논의는 무시할 수 있다.
셋째, 위의 모든 보고서는 주의사항에 관한 주요 데이터를 제공하지 않지만 10~15분 주의사항 범위 주장에 대한 근거로서 동일한 단일 초기 보고서를 인용하는 것에 만족한다.
Several points are noteworthy regarding these publications.
First, all of themagree on a quantitatively precise 10–15 min time course for a variable (attention) that is nebulous and never quantitatively defined.
Second, evidentiary discussion for such a precise time span is negligible.
Third, all of the above reports do not provide any primary data on attention but are content to all cite the same single initial report as the basis for the 10to 15-min attention span assertion.
따라서, 10분에서 15분까지가 집중력의 범위라는 널리 퍼진 개념은 결국 1978년 출판된 하나의 핵심 원고에 의존하는 것으로 보인다.
Thus, the propagated concept of a 10to 15-min attention span ultimately appears to rely on a single key manuscript published in 1978 (10) describing the waning of attention during a lecture.
노트 필기
Note Taking
만약 10분에서 15분 정도의 주의력을 가진 모든 인용구가 1978년 Hartley와 Davies(10)의 기사와 함께 나온다면, 분명히 이 기사에 대한 철저한 조사를 할 필요가 있다. 이 출판물에 관해 주목할 만한 것은 주의의 범위가 실제로 기사의 주제가 아니라는 것이다. 오히려, 이 논문의 주제는 사실 "노트 필기"이다.
If all of the citations for a 10to 15-min attention span originate with a 1978 article by Hartley and Davies (10), then a thorough examination of this article is clearly warranted. What is remarkable regarding this publication is that attention span is not actually the subject of the article; rather, the subject of the manuscript is in fact “note taking.”
실제로 노트 필기의 비율은 강의 과정 내내 비교적 일정하게 나타나며, 노트 필기의 변화는 강사가 학생 피로보다는 요점을 말하고 있는지를 반영하는 것으로 보인다. 그러나 여전히 의문점은 남아 있다: 노트필기가 집중력의 대리지표로서 충분한가? 대답은 '아니오'로 보인다.
In fact, the rate of note taking appears to be relatively constant throughout the course of a lecture, and changes in note taking appear to reflect whether the lecturer is making key points rather than student fatigue. However, the question still remains: is note taking a good surrogate for attention? The answer appears to be no.
실제로, Hartley는 저자의 작품(9)과 Maddox와 Hole(12)의 작품을 인용하면서, 노트필기가 반드시 집중력을 나타내는 것은 아니라고 지적한다. 따라서, 노트 필기는 어떤 식으로든 관심을 끌 수 있는 좋은 대용품이 아니며, 비록 그렇다 하더라도, 그것은 학생 참여에 대한 10-15분 제한을 지지하지 않는다.
Indeed, citing the author’s own work (9) and that of Maddox and Hoole (12), Hartley points out that note taking is not necessarily indicative of attention at all. So, note taking is not a good proxy for attention whatsoever, and even if it were, it does not support a 10to 15-min limit on student engagement.
개인별 평가
Personal Assessment
노트 필기가 유용한 척도가 아니라면, 학생들의 주의력 범위를 연구하기 위해 어떤 다른 접근법을 사용할 수 있는가? 스튜어트와 러더포드(18)의 연구는 학생들에게 강의 중 주의력이 어느 정도인지를 직접 물어 영국 의대생들의 관심을 분별하려고 시도했다.
If note taking is not a useful metric, then what other approaches can be used to study student attention spans? A study by Stuart and Rutherford (18) attempted to discern attention of British medical students by asking the students themselves what their attention level was during a lecture.
따라서 주의집중의 차이는 개별 강사의 교수 방식과 관련이 있는 것으로 보였으며, 학생의 주의력 유지 능력과는 관련이 없는 것으로 보였다. 이와 같은 발견은 자명해야 한다. 우리는 모두 10분간의 강의 시간이 너무 길어서 10분간의 강의 시간이 너무 길었던 강의들을 경험했지만, 다른 강의들에게는 1시간이라는 시간이 완전히 부적절해 보인다.
Thus, differences in attention appeared to be related to individual lecturers’ teaching styles and not related to the student’s individual abilities to remain attentive. A finding like this should be axiomatic. We have all experienced lectures where the lecture has been so awful and jejune that 10 min of lecture has been 10 min too long, yet for other lecturers 1 h seems wholly inadequate.
직접 관찰
Direct Observation
존스톤과 퍼시벌(11)은 학생 자신의 평가를 활용하는 것이 아니라 외부 관찰자 2명을 채용하여 주의 범위를 평가하려고 시도했는데, 이 두 명의 임무는 수업을 지켜보고 주의의 표류 시간을 기록하는 것이었다.
Johnstone and Percival (11) attempted to evaluate attention span not by utilizing the student’s own evaluations but by employing two outside observers, whose job it was to watch the class and record the times of perceived attention drift.
그러나 조사 결과의 타당성에 대한 우려를 제기하는 방법론에는 몇 가지 문제가 있다. 비록 두 저자가 동일한 강의를 관찰했을 때 주의력 감퇴가 일어났을 때와 일치한다고 명시되어 있지만, 주의력 감퇴가 무엇인지에 대한 정의는 없었다. 선생을 외면하는 어퍼슨은 그 자료를 반성하고 그것을 이전 작업과 통합하고 있는지도 모른다. 선생님을 뚫어지게 쳐다보는 학생이 어젯밤의 저녁식사를 생각하고 있을지도 모른다.
However, there are several problems with the methodology that raise concerns about the validity of the findings. Although it is stated that when both authors observed the same lecture they were in agreement as to when attention lapses occurred, there was no definition as to what was an attention lapse. Aperson looking away fromthe teacher may be reflecting on the material and integrating it with prior work. A student fixedly staring at the teacher may be thinking about last night’s dinner.
클리커와 집중력
Clickers and Attention
최근, 번스 외 연구진(4)은 "클릭커"를 사용하여 학생들의 관심 문제를 해결하려고 시도했다.
Recently, Bunce et al. (4), attempted to address the question of student attention using “clickers.”
회상과 보존
Recall and Retention
10~15분 강의에 찬성하는 주장 중 하나는 강의에 포함된 자료는 15분 동안 강의하는 동안 유지되지 않는다는 것이다. 이러한 주장을 뒷받침하는 데이터는 존스톤과 퍼시벌(11)에 의해 제시되었다. 그는 후속 시험 중 명백한 "주의 착오" 동안 다룬 자료에 대한 지식을 시험하려고 시도했다.
One of the arguments in favor of a 10to 15-min lecture is that material covered in the lecture is not retained during lectures lasting 15 min. Data in support of this contention were presented by Johnstone and Percival (11), who attempted to test knowledge of material covered during an apparent “attention lapse” during subsequent tests.
Trenaman의 작품에 대한 McLeish의 보고서(15)는 강의의 길이와 그 강의에서 다룬 자료의 보유retention 사이에 역관계가 있다고 주장했다.
McLeish’s report (15) of the work by Trenaman argued that there was an inverse relationship between the length of the lecture and the retention of the material covered in that lecture.
분명히 15분 세션에 비해 40분 세션에서 더 많은 자료가 다루어져 있기 때문에 보유율이 줄어드는 것은 놀랄 일이 아니며, 이는 두 세션에서 다루는 테스트 가능한 항목의 수로 충분히 설명할 수 있다. 본 연구의 결과가 강의 길이와 강의 직후의 재료 보존 사이의 역관계를 규정한다고 해도, 이것이 과연 의미 있는 분석인가? 어떤 생리학 교수도 학생들에게 수업이 끝나자마자 시험을 볼 거승로 생각하지 않을 것이다.
Clearly, more material is covered in a 40-min session compared with a 15-min session, so it is not surprising that retention percentage is reduced, and this can be fully accounted for by the number of testable items covered in the two sessions. Even if the outcome from this study does define an inverse relation between lecture length and material retention immediately following the lecture, is this in any way a meaningful analysis? No physiology course director would expect students to immediately take examinations on the material just covered in a lecture.
다행히도 그러한 분석은 1992년에 Scerbo 등 (16)에 의해 수행되었다. 이전의 보고와 일치하여, 강의 기간 동안 노트 필기의 감소가 관찰되었다. 그러나, 노트 테이크의 감소는 후속 평가 중 커버리지를 부착하는 데 영향을 미치지 않았다.
Fortunately, such an analysis was performed by Scerbo et al. (16) in 1992. Consistent with previous reports, there was an observed decline in note taking during the length of a lecture. However, the decline in note taking had no impact on the retention of covered material during subsequent evaluation.
집중력의 객관적 평가
Objective Assessment of Attention Span
논의된 바와 같이, 주의의 개념은 다소 모호하고 학생들의 주의에 대한 작업 설명은 잘못 정의되어 있다. 주의력 평가에 관한 많은 간행물의 주관적 성격을 고려할 때, 학생 주의를 객관적으로 결정할 필요가 분명히 있는 것으로 보이지만, 어떤 생리적 변수가 쉽고 최소의 침습적 데이터 수집에 적합할 수 있는가? 적어도 두 가지 요인은 주의력과 연관될 수 있다. 아루살(Arousal)은 일반적인 활동 수준과 학생의 대뇌피질의 비특정 자극의 척도를 말한다. 심장 박동수는 꽤 쉽게 수집할 수 있는 자극의 한 가지 표시다.
As discussed, the concept of attention is somewhat nebulous and the working description for student attention ill-defined. Given the subjective nature of many publications on attention assessment, there appears to be clear need for an objective determination of student attention, but what physiological variables are amenable to easy and minimally invasive data collection? At least two factors can be associated with attention: arousal and motivation. Arousal refers to a general level of activity and a measure of nonspecific stimulation of a student’s cerebral cortex. Heart rate is one indication of arousal that is fairly easy to collect.
블라이(2)는 심장 박동수 감소와 커버 소재 유지 사이의 전체적인 상관관계를 찾을 수 없었다.
Bligh (2) was unable to find any overall correlation between declining heart rate and retention of covered material.
의대생 보유에 대한 연구에서, 자일스 외 연구진(8)은 15분에서 30분 사이에 제시된 정보가 가장 잘 회수된 반면 처음 15분 동안 제시된 자료는 가장 나쁜 보존 상태를 가지고 있다는 것을 발견했다. 흥미롭게도, 강의실에서 학생이 앉아있는 좌석 위치는 강의자료 내 특정 내용의 위치만큼이나 학습자료의 유지retention에 많은 영향을 미쳤다. 강의실 앞, 중간, 뒤쪽에 앉은 학생들은 강의 직후 실시한 시험에서 각각 80점, 71.6점, 68.1%를 받았다. 그러나, 이러한 발견들은 그 자체로 좌석 위치보다는 학생이 어디에 앉는지를 결정하는 동기적 요인(관심의 또 다른 구성요소)을 반영할 가능성이 높다.
In a study of medical student retention, Giles et al. (8) found that information presented between the 15and 30-min time segments was recalled best, whereas material presented during the first 15 min had the worst retention. Interestingly, the seating position of the student in the lecture hall had as much impact on material retention as the placement of material within the lecture. Students sitting at the front, middle, and back of the lecture hall scored 80, 71.6, and 68.1%, respectively, on tests given immediately following the lecture. However, these findings likely reflect motivational factors (another component of attention) that determine where a student sits, rather than the seating position by itself.
강의 도중 집중력에 영향을 미치는 요인
Factors Affecting Attention during Lectures
블리(2)는 "강의의 용도는 무엇인가?"라는 책에서 관심에 영향을 미치는 몇 가지 요인을 개략적으로 설명하고 있다. 저자는 강의가 '솔로 퍼포먼스'여야 할 이유가 없다고 주장한다. 2인 1조로 된 교수 간 대화나 그룹 프리젠테이션도 동등한 정도로 유효하다. 마찬가지로, 강의를 듣는 학생들이 강의에 참여하지 못할 이유도 없다. 이것은 아마도 학생들이 선생님이 제기하는 질문에 답할 수 있도록 하는 "클릭커"를 사용하는 것이 가장 좋은 예일 것이다.
In the book What’s the Use of Lectures?, Bligh (2) outlines several factors affecting attention. The author argues that there is no reason that lectures should be “solo performances,” with paired faculty dialogues or group presentations being equally valid. Similarly, there is no reason why students attending a lecture cannot be part of the lecture. This is probably best exemplified by the use of “clickers” that allow the students to answer questions posed by the teacher.
학생들에 의해는 또한 심각하게 선생님들 단지 투영된 글자의 긴 팸플릿을 읽음으로써 장애 요인이 될 수 있다. 그 정도 관객 앞에서 강의는 공연하려면, 교사들은 말속도, 숙련도, 스타일 등을 바꾸기 위한 조치를 적극적으로 취해야 한다. 이런 점에서 도움이 되는 것은 motivational speaker의 비디오에서 매우 잘 보여 줄 수 있다. 그 이상은 아니더라도, 자기 강의 영상을 보는 것도 마찬가지다. 이것은 교사가 학생의 관점에서 강의를 볼 수 있게 해주고 개선의 훌륭한 지침이 될 수 있다.
Attention by students can also be seriously hampered by teachers merely reading long tracts of projected text. To the extent that lectures are a performance in front of an audience, teachers should actively take measures to alter rates of speech, cadence, and style. In this regard, watching videos of motivational speakers can be very illustrative. Equally if not more illuminating is watching videos of one’s own lectures. This allows a teacher to see the lecture from a student’s viewpoint and can be a great guide for improvements.
강의의 시대는 갔는가?
Has the Sun Set on the Day of the Lecture?
비록 많은 사람들이 발견에 근거한 추론이라기 보다는 짚신처럼 보이지만, 강의 형식의 유용성에 대해 많은 논쟁이 제기되었다. 분명히, 학생들이 단지 10분에서 15분 정도의 집중 시간을 가지고 있기 때문에 강의는 무시되어야 한다는 생각은 잘못되었고 그것을 뒷받침할 자료는 거의 없다. 과거에는 강의가 "수동적" 학습의 경험으로 여겨졌지만, 현재는 "능동적" 학습에 초점을 두어 "flipped teaching"이나 "소형 문제 해결 그룹" 등의 활동에 초점이 맞춰져 있다. 강의 접근에 반대하는 또 다른 주장은 그 강의가 학생 중심적이지 않고 "연단 위의 현자"에 초점을 맞추고 있는 교육 러디즘의 한 형태를 나타낸다는 것이다. 현자의 정의를 보는 것은 유익하다. 메리암웹스터 사전은 현자를 "반성과 경험을 통한 지혜, 혹은 지혜, 신중함, 훌륭한 판단력으로 특징지어진다"고 정의하고 있다. 그러한 자질이 훌륭한 교사에게 있어서 가치가 없거나 인정된다고 여겨지는 것은 놀라운 일이다.
Many arguments have been raised against the utility of the lecture format, although many seem to be straw men, rather than reasoning based on findings. Clearly, the notion that lectures should be dismissed because students have only a 10to 15-min attention span is erroneous and has little if any data to support it. The lecture format has been deemed a “passive” learning experience, with the current trend in “active” learning being focused on activities such as “flipped teaching” and “small problem-solving groups. A further argument against the lecture approach is that the lecture represents a form of educational Luddism, which is not student-centered and focusses on the “sage-on-the-stage”. It is informative to look at the definition of a sage. Merriam Webster’s dictionary defines sage as “wise through reflection and experience, or characterized by wisdom, prudence and good judgement.” It is surprising that such qualities are deemed unworthy or passé in a good teacher.
사실, 최근의 연구는 그 강의가 학생들이 새로운 지식을 습득하는 데 효과적인 방법이 될 수 있다는 것을 보여준다. 아마도 이것이 문제의 핵심으로 와서 강의의 목적이 무엇인가라는 근본적인 질문에 대한 해답을 필요로 하는 것은 아닐까? 확실히, 하나의 측면은 정보의 전달이며, 그 강의는 효과적인 방법 (2)이다. 학생이 수집할 수 있는 정보에 대한 다양한 온라인 출처가 있지만, 어떤 출처가 신뢰할 수 있는지, 아니면 단순히 잘못된 정보인지 판단하거나, 어떤 정보가 중요한지 파악하는 것은 여전히 현자를 필요로 한다. 자주 인용되는 이분법적인 "연단 위의 현자"와 "곁에서 가이드"는 강의 형식을 폄하하기 위해 자주 사용된다. 현실에서 이러한 대조는 거짓 선택의 오류를 보여주는 2학년 토론의 썰매에 지나지 않는다. 이 구조는 이용 가능한 유일한 두 가지 선택사항이라는 것을 암시하지만, 최소한의 생각은 이것이 분명히 그렇지 않다는 것을 보여준다.
In fact, recent studies show that the lecture can be an effective way to help students acquire new knowledge. Perhaps this comes to the heart of the issue and requires an answer to the fundamental question of what is the purpose of a lecture? Certainly, one aspect is the conveyance of information, for which the lecture is an effective method (2). There are manifold online sources for information from which the student can collect; however, determining which sources are reliable or just plain wrong or discerning what information is salient vs. minutiae still requires a sage. The quoted dichotomy of “sageon-the-stage” vs. “guide-by-the-side” is often used to disparage the lecture format. In reality, this contrast is nothing more than a sophomoric debating sleight, displaying the fallacy of the false choice. The construct implies that these are the only two options available, yet a minimal amount of thought reveals that this is clearly not the case.
강의는 학생들에게 내용을 소개하는 데 유용하다. 예를 들어, 구글에서 "위장관 생리학"을 빠르게 검색하면 14만 명의 조회수가 발생한다. 다음 중 정확한 정보를 제공하는 사이트는 무엇이며, 그 중 생리학 부전공을 가진 학부생과 관련이 있는 사이트와 의대생과 관련된 사이트는 무엇인가? 학생이 (적어도 처음에) 스스로 이러한 선택사항들을 적절히 평가할 수 있을 것 같지는 않다. 강의는 주제에 대한 좋은 도입단계를 제공한다. 강의는 특정 클래스에 필요한 컨텍스트, 세부사항 및 이해 수준을 제공한다. 이러한 측면은 스승의 축적된 경험과 지혜에 의존하는 것이며, 감히 말하건대 스승이 현자(sage)가 되는 것에 의존하는 것이다.
Lectures are useful for introducing students to content. A quick search on Google for “gastrointestinal physiology,” for example, generates 1,400,000 hits. Which of these sites provides accurate information, which of themare relevant to undergraduate students with a minor in physiology, and which of them are relevant to medical students? It is unlikely that a student can adequately assess these options for themselves (at least initially). Lectures provide a good entry into a topic; they provide context and the level of detail and comprehension that are required for a particular class. These aspects are things that rely on a teacher’s accumulated experience and wisdom or, dare one say it, on the teacher being a sage.
만약 학생이 직접 강의를 들을 수 있는 것처럼 침대에서 유튜브 비디오를 보는 동일한 학습 경험을 얻을 수 있다면, 왜 이런 가정이 삶의 다른 측면에서도 똑같지 않은 것일까? 우리 모두는 거의 무제한으로 음악을 녹음할 수 있다; 우리는 우리의 스케줄에 편리할 때 텔레비전에서 쇼를 볼 수 있다. 만약 가상의 경험이 실제로 실제의 경험과 동일하다면, 라이브 음악 콘서트에 갈 필요도 없고, 라이브 연극이나 뮤지컬을 보러 갈 필요도 없고, 유명한 연사가 말하는 것을 듣기 위해 갈 필요도 없고, 경기장에서의 축구나 야구 경기장에 갈 필요도 없다. 그러나 그러한 장소들은 종종 빨리 매진된다. 생방송과 녹화된 이벤트 사이에 다른 점은 감정적인 매수다. 확실히 책, 혹은 심지어 비디오는 내용을 전달하는 데 훌륭한 미디어가 될 수 있지만, 살아있는 교사는 학생들에게 어떤 주제에 대해 더 많이 생각하게 하고 수동적인 미디어만으로 얻을 수 있는 것보다 더 깊은 내용을 탐구하도록 고무시킬 수 있다. 동기부여 연설자들은 이것을 매우 잘 알고 있으며, 많은 사람들은 라이브 프레젠테이션을 함으로써 놀랄 만큼 좋은 생활을 하고 있다.
If a student can get the identical learning experience viewing a YouTube video in bed just as they can attending a lecture in person, why is this assumption not evident in other aspects of life? We all have access to virtually unlimited recordings of music; we are able to watch shows on television when it is convenient for our schedule. If a virtual experience is indeed identical to a real experience, then no one need go to a live music concert, no one need to go to watch a live play or musical, no one need go to hear a distinguished speaker give a talk, and no one need attend a football or baseball game at a stadium. Yet such venues are often quickly sold out. What is different between a live and recorded event is the emotional buy-in. Certainly books, or even videos, can be excellent media for conveying content, but a live teacher can inspire a student to think more about a subject and delve deeper into content than can be achieved by passive media alone. Motivational speakers know this very well, and many make a remarkably good living by giving live presentations.
확실히 카리스마는 학생들에게 어떤 과목에 대한 흥분을 불러일으키는데 도움을 주지만, 아마도 학생들을 격려하는 가장 큰 측면은 교사 입장에서 그 과목에 대한 열정일 것이다. 강의는 교사가 지적, 개인적, 도덕적 가치를 모델링할 수 있는 한 곳이다. 그들은 대개 학생들이 교직원을 직접 만나는 몇 안 되는 장소 중 하나로서, 학생들이 교사와 교류하고 질문을 할 수 있게 한다. 교직원들이 답을 모를 때 이를 인정하는 것이 중요하다. 이런 식으로, 교수진은 학생들을 존중하고 돌보는 모델 면에서 더 넓은 교육을 제공할 수 있다.
Certainly charisma helps in generating excitement about a subject in students, but probably the biggest aspect of inspiring students is passion for the subject on the part of the teacher. Lectures are one place where a teacher can model intellectual, personal, and moral values. They are usually one of the few places where students meet faculty in person, allowing students to interact with teachers and pose questions; it is critical that faculty acknowledge when they don’t know the answers. In this way, faculty can provide a broader education in terms of modeling respect and care for students.
실제로 마틴 루터 킹 박사는 "지능과 인격을 더한 것이 진정한 교육의 목표"라고 말했다. 강의는 잘 풀리지 않는 생리학 분야에 관심을 집중시킬 수 있는 질문을 제기할 수 있는 플랫폼으로도 활용될 수 있다. 그 본질에 따른 교과서는 출판될 무렵에는 상당히 시대에 뒤떨어져 있고, 비록 많은 것들이 사실이지만(예: 심장은 피를 펌프질하고 췌장은 호르몬과 효소를 분비한다), 이러한 과정에 대한 기계론적 이해는 지속적으로 발전하고 있다. 따라서, 강의는 생리적 과정이나 메커니즘에 대해 상당한 의견 불일치가 있는 분야에 대해 알려지지 않은 것에 대한 논의를 위한 좋은 출발점이 될 수 있다.
Indeed, Dr. Martin Luther King stated that “...intelligence plus character – that is the goal of true education.” Lectures can also be used as a platform to allow questions to be raised that can focus attention on areas of physiology that are not well worked out. Textbooks by their very nature are considerably out of date by the time they are published, and although many things remain true (e.g., the heart pumps blood, the pancreas secretes hormones and enzymes), the mechanistic understanding of these processes is continuously evolving. Thus, a lecture can be a good launching point for discussions on what is not known about physiological processes or areas in which there is considerable disagreement about mechanism.
우리는 강의를 고정된 내용만을 전달하는 것으로 생각하는 경향이 있지만, 그것들은 불확실성을 보여주고 의견 불일치를 다루는 지적 과정을 개발하는 데 귀중한 도구가 될 수 있다. 다행히도, 이제 교사들이 강의의 질을 향상시키고 단순히 정보를 전달하는 것뿐만 아니라 새로운 사고방식에 영감을 주고 동기를 부여하고 문을 여는 것을 도울 수 있는 많은 자료들이 있다. 그런 점에서 강의 형식(3, 6, 14) 내에서조차 교직원들이 학생들의 비판적 사고를 장려하는 데 도움이 되는 책들이 많다.
We tend to think of lectures as only passing on fixed content, but they can be a valuable tool in showing uncertainty and developing the intellectual processes for handling disagreements. Fortunately, there are now many sources to help teachers improve the quality of lectures and move the lecture beyond merely conveying information but also to inspire, motivate, and open doors to newways of thinking. In this regard, there are many books that help faculty encourage critical thinking by their students, even within a lecture format (3, 6, 14).
결론
Conclusion
과학자들과 생리학자들로서, 우리는 우리의 주장들을 뒷받침하는 연구와 자료에 대한 증거를 제시해야 한다. 그러나 주목의 범위에 관해서는 "내가 들은 바로 그거야"라는 것 외에는 아무런 지지도 없이 15분이라는 근거 없는 만트라를 외친다. 현재 '평생학습'과 '근거기반교육'라는 교육적 트렌드로 강의에 10~15분 제한을 독단적으로 적용하겠다고 고집한다면 우리는 정말 증거에 신경 쓰지 않는다는 뜻을 내비치는 것과 마찬가지다. 그 외에도, 생리학 수업의 교사들은 여전히 주제에 대한 열정을 열심히 보여줄 뿐만 아니라, 자료의 관련성을 보여주고, 가르치는 것에 대한 맥락을 제공함으로써 학생들의 동기를 증가시키기 위해 가능한 한 많이 해야 한다. 생리학은 훌륭한 과학이며, 학생들은 열정과 열정으로 생리학을 가르치는 것만큼도 기대하지 말아야 한다. 이 과목에서 가능한 한 많은 시간을 보내기를 원하는 학생들이 있는 것보다 생리학의 미래에 더 좋을 수 있는 것은 무엇인가?
As scientists and physiologists, we are called on to provide evidence for our research and data backing up our assertions. Yet when it comes to attention span, an unsubstantiated mantra of 15 min is chanted, with no support other than “That’s what I’ve been told.” With the current educational trends of “lifelong learning” and “evidence-based teaching,” if we insist on dogmatically applying a 10to 15-min limit on lectures, we are implying that we really don’t care about evidence. Beyond that, it still behooves teachers in physiology classes to do as much as possible to increase student motivation by showing the relevance of material and providing a context for what is taught as well as eagerly displaying a passion for the subject. Physiology is a wonderful science, and students should expect nothing less than having physiology taught with passion and enthusiasm. What could be better for the future of the discipline of physiology than to have students wanting to be in class and eager to spend as much time as they possibly can in the subject?
Adv Physiol Educ.2016 Dec 1;40(4):509-513. doi:10.1152/advan.00109.2016.
Attentionspan during lectures: 8seconds, 10minutes, or more?
Department of Physiology and Biophysics, Chicago Medical School, Rosalind Franklin University of Medicine and Science, North Chicago, Illinois neil.bradbury@rosalindfranklin.edu.
Abstract
In the current climate of curriculum reform, the traditional lecture has come under fire for its perceived lack of effectiveness. Indeed, several institutions have reduced their lectures to 15 min in length based upon the "common knowledge" and "consensus" that there is a decline in students' attention10-15 min into lectures. A review of the literature on this topic reveals many discussions referring to prior studies but scant few primary investigations. Alarmingly, the most often cited source for a rapid decline in student attention during a lecture barely discusses student attention at all. Of the studies that do attempt to measure attention, many suffer from methodological flaws and subjectivity in data collection. Thus, the available primary data do not support the concept of a 10- to 15-min attention limit. Interestingly, the most consistent finding from a literature review is that the greatest variability in student attention arises from differences between teachers and not from the teaching format itself. Certainly, even the most interesting material can be presented in a dull and dry fashion, and it is the job of the instructor to enhance their teaching skills to provide not only rich content but also a satisfying lecture experience for the students.
PowerPoint® presentation flaws and failures: a psychological analysis
Stephen M. Kosslyn1*, Rogier A. Kievit 2, Alexandra G. Russell 3 and Jennifer M. Shephard4
도입
INTRODUCTION
파워포인트, 키노트, 그리고 그들의 전자 슬라이드쇼 형제들은 널리 퍼진 의사소통 수단이 되었다. 실제로 2001년에 마이크로소프트는 하루 평균 3천만 건의 파워포인트 프리젠테이션이 제공된다고 추정했고, 우리는 오늘날 그 숫자가 얼마인지 상상할 수 밖에 없다. Presentations 컴퓨터 프로그램을 사용하는 학계, 사업, 정부, 군부, 심지어 유치원에서 고등 학교까지 학교에서 컴퓨터는 아주 흔하다. PowerPoint® 과목은 어떻게 고환을 연출하기 위한 후두암(후 주석(알., 2009년), 인공 신체 부위와 장구학(웡(알., 2004년)의 3차원 구조와 같은 다양한 주제를 가르치는 데 사용되고 있다.시험(테일러(알., 2004년), 발달 심리학(서스킨드, 2008년), andphysics(Gunel(알., 2006년).
PowerPoint®, Keynote®, and their electronic slideshow siblings have become pervasive means of communication. Indeed, in 2001, Microsoft estimated that an average of 30 million PowerPoint® presentations were given each day – and we can only imagine what that number is today (Parker, 2001). Presentations using such computer programs are commonplace in academia, business, government, the military, and even K-12 schools. PowerPoint® has been used to teach subjects as varied as the three-dimensional structure of the larynx (Hu et al., 2009), prosthetics and orthotics (Wong et al., 2004), how to perform a testicular exam (Taylor et al., 2004), developmental psychology (Susskind, 2008), andphysics (Gunel et al., 2006).
관찰자들은 파워포인트®와 이를 활용하는 프리젠테이션의 가치에 대해 다양한 의견을 제시했으며, 매체의 사용에 대해 상당한 실증적 연구가 수행되었다. 이 연구의 한 세트는 이 매체를 사용하는 것이 학습이나 이해를 향상시키는지를 연구했다. 예를 들어, 구넬 외. (2006)은 학생들이 챕터 요약보다 PowerPoint® 프레젠테이션을 통해 더 많은 물리학을 배웠다는 것을 발견했으며, 다른 연구원들은 학생들이 PowerPoint® 프레젠테이션 이후에 다른 미디어를 따라 하는 것과 거의 동일한 양의 자료를 기억한다고 보고했다. 실제로, 몇몇 연구들은 PowerPoint®가 실제로 학습을 방해한다는 것을 발견한다. 예를 들어, 사보이 외 (2009)은 학생들이 전통적인 강의에서 파워포인트® 기반의 강의 중에 그 정보가 구두로 제시되었을 때보다 더 많은 언어 정보를 상기시켰다는 것을 보여주었다.
Observers have offered varied opinions about PowerPoint®and the value of presentations that utilize it (e.g., for overviews, see Farkas, 2006; Stoner, 2007), and considerable empirical research has been conducted on the use of the medium (e.g., for reviews, see Susskind, 2005, 2008; Levasseur and Sawyer, 2006; Savoy et al., 2009). One set of this research has examined whether using this medium improves learning or comprehension. For example, Gunel et al. (2006) found that students learned more physics from PowerPoint® presentations than from chapter summaries, whereas other researchers have reported that students remember about the same amount of material following PowerPoint® presentations as they do following other media (such as overheads and use of the blackboard; e.g., Szabo and Hastings, 2000; Beets and Lobingier, 2001; Campbell et al., 2004; Apperson et al., 2006; Experiments 1 and 3; Susskind, 2005, 2008). Indeed, some studies find that PowerPoint® actually impairs learning. For example, Savoy et al. (2009) showed that students recalled more verbal information from a traditional lecture than they did when that information was presented verbally during a PowerPoint®-based lecture.
또한 연구원들은 학생들이 다른 유형의 프레젠테이션보다 PowerPoint® 프레젠테이션을 선호하는지 여부를 조사했다. 이러한 연구의 결과는 일반적으로 학생들이 PowerPoint® 프레젠테이션을 좋아한다는 것을 나타낸다(Suskind, 2008; Savoy 등, 2009). 애퍼슨 외 (2008) 심리학 학생들에게 PowerPoint® 프레젠테이션에 대해 특별히 좋아하는 것이 무엇인지를 물었더니, 한 번에 하나의 항목으로 구성된 목록을 보는 것을 좋아하며, 주요 문구, 그래픽, 관련 소리 및 색상의 배경의 개요도 좋아한다는 것을 알게 되었다. 그러나 마하르 외 에 주목할 만하다. (2009) 목록의 각 항목이 개별적으로 제시되었을 때 전체 목록이 동시에 제시된 후의 메모리 보존을 비교했고, 동시 조건에서 더 나은 메모리(그러나 테스트에 있는 9개 항목 중 2개 항목만 해당)를 발견했다.
Researchers have also examined whether students prefer PowerPoint®presentations toother types of presentations. The results of such studies generally indicate that students do like PowerPoint® presentations (Susskind, 2008; Savoy et al., 2009). Apperson et al. (2008) asked psychology students what in particular they liked about PowerPoint® presentations, and found that they like to see lists built up one item at a time and that they also like outlines of key phrases, graphics, relevant sounds, and colored backgrounds. However, it is worth noting that Mahar et al. (2009) compared memory retention after an entire list had been presented simultaneously to retention when each item on the list had been presented individually, and found better memory (but only for two of the nine items on their test) in the simultaneous condition.
이 문헌의 간략한 개요에도 결과가 엇갈리고 있음을 알 수 있다. 다양한 결과의 한 가지 이유는 프레젠테이션의 품질에 차이가 있을 수 있다. 매체가 메시지의 전부가 아니다. 매체를 효과적으로 또는 비효과적으로 사용할 수 있다. 우리가 볼 때, 핵심은 PowerPoint®의 사용 여부가 아니라 어떻게 사용하느냐이다. 제대로 설계되지 않은 슬라이드를 활용하는 PowerPoint® 강의나 제대로 준비되지 않은 연사가 제공하는 강의가 효과적이지 않다면 아무도 놀라지 말아야 한다. 이 글에서는 심리학적 원리를 이용하여 슬라이드쇼 설계, 슬라이드 준비 및 프리젠테이션 실행에 대한 객관적인 지침을 개발하고, 이 지침을 사용하여 PowerPoint® 슬라이드 및 프레젠테이션의 결함을 평가한다.
Even this brief overview of the literature reveals that the results are mixed. One reason for the varied results may lie in differences in the quality of the presentations: the medium is not the entire message; any medium can be used effectively or ineffectively. In our view, the key is not whether or not PowerPoint® is used, but rather how it is used. Nobody should be surprised if a PowerPoint® lecture utilizing poorly designed slides or presented by an inadequately prepared speaker is not effective. In this article, we use psychological principles to develop objective guidelines for slideshow design, slide preparation, and presentation execution, and use these guidelines to assess flaws in PowerPoint® slides and presentations.
여기서 보고된 세 가지 연구에서 우리는 Kosslyn에 제시된 아이디어를 경험적으로 확장하고 PowerPoint® 슬라이드쇼, 슬라이드, 프리젠테이션이 인간의 인식, 기억 및 이해의 원리를 얼마나 잘 존중하는지 분석한다. 구체적으로, 우리는 다음가 같은 가설을 세웠다.
다음 절에 제시된 심리적 원칙이 다른 분야의 PowerPoint® 슬라이드쇼에서 위반됨(Study 1)
특정 유형의 프레젠테이션 결함이 청중에게 눈에 띄고 좌절감을 줄 수 있다는 것(Study 2)과
관찰자는 개별 슬라이드의 그래픽 표시에서 위반을 식별하는 데 어려움을 겪을 것이다(Study 3).
In the three studies reported here, we empirically extend ideas presented in Kosslyn (2007, 2010) and analyze how well PowerPoint® slideshows, slides, and presentations respect principles of human perception, memory, and comprehension. Specifically, we hypothesize
that the psychological principles presented in the following section are violated in PowerPoint® slideshows across different fields (Study 1),
that some types of presentation flaws will be noticeable and frustrating to audience members (Study 2), and
that observers will have difficulties in identifying violations in the case of graphical displays in individual slides (Study 3).
여덟 개의 인지적 의사소통 원칙
EIGHT COGNITIVE COMMUNICATION PRINCIPLES
Levasseur와 Sawyer(2006)는 광범위한 리뷰에서 발표 설계에 대한 직접적인 지침을 제공하는 연구가 거의 없다는 점에 주목한다(Sucoff, 2006 참조). 그러나, 그러한 지침을 제정하는 데 사용될 수 있는 기본적인 심리 과정에 대한 많은 연구가 수행되었다. 이러한 관찰은 효과적인 디스플레이는 [인간 정보 처리의 강점에 따라 작동해야 하며, 인간 정보처리의 약점에 의존하지 않아야 한다]는 근본적인 점을 이해한 많은 연구원들에 의해 높이 평가되었다.
Levasseur and Sawyer (2006) note in their extensive review that remarkably little research provides direct guidelines for designing presentations (see also Suchoff, 2006). However, much research on basic psychological processes has been conducted that can be used to formulate such guidelines. This observation has been appreciated by many researchers, who have understood the fundamental point that effective displays must play to the strengths of human information processing and must avoid relying on the weaknesses of such processing (e.g., Aspillaga, 1996; Helander et al., 1997; Mejdal et al., 2001; Vekiri, 2002; Watzman, 2003; Stanney et al., 2004).
우리는 다음과 같은 공식화가 인간 정보처리의 전통적인 관점 안에서 이러한 지침들을 조직하기 위한 몇 가지 가능한 방법 중 하나에 불과하다는 것을 인정하지만, 이 방법(Kosslyn, 2007년)은 연구자들 사이의 주요 합의점을 포착하는 것으로 보인다. 더구나 이 일련의 원칙들은 우리가 조사한 구체적인 규칙들을 정리하는 편리한 방법이며, 우리가 조사한 심리처리의 구체적인 측면을 확인하는 것이 바로 이러한 규칙들이다. 따라서, 원칙에 따라 데이터를 그룹화하는 것 외에도, 우리는 각각의 개별 규칙에 대한 데이터를 제공한다 – 또한 독자들이 특정한 관심 규칙에 대한 결과를 고려할 수 있도록 한다.
We acknowledge that the following formulation is but one of several possible ways to organize these guidelines within the conventional view of human information processing, but this one (fromKosslyn, 2007) appears to capture the major points of agreement among researchers. Moreover, this set of principles is a convenient way to organize the specific rules we examined, and it is these rules that identify the specific aspects of psychological processing we investigated. Thus, in addition to grouping the data according to the principles, we provide the data for each individual rule – which also allows readers to consider the results for those rules of particular interest.
8가지 인지적 의사소통 원칙을 공식화하면서, 우리는 과제 분석을 시작했다. 즉, 우리는 청중이 프레젠테이션을 이해하기 위해 무엇을 해야 하는지를 고려했다. 이 분석은 인식과 이해가 정보 처리 작업의 뚜렷한 클라스class(예: Reisberg, 2006; Smith and Kosslyn, 2006)으로 분해될 수 있다는 현재의 표준 관점에 기초하고 있으며, 이 관점은 인코딩, 작업 메모리, 장기 메모리에 액세스이다. 여기서는 슬라이드 설계의 시각적 측면이 PowerPoint® 프레젠테이션의 주요 요인이기 때문에 시각적 형식에 주로 초점을 맞춘다(연구 2에서 다루듯이 발표자의 말하기 스타일과 프레젠테이션 구조도 중요하다).
In formulating our eight Cognitive Communication Principles, we began with a task analysis; that is, we considered what the viewer must do to understand a presentation. This analysis rests on the now-standard view that perception and comprehension can be decomposed into distinct classes of information processing operations (e.g., see Reisberg, 2006; Smith and Kosslyn, 2006), which underlie encoding, working memory, and accessing long-term memory. We focus here primarily on the visual modality because the visual aspects of the slide design are a major factor of PowerPoint® presentations (although the presenter’s speaking style and structuring of the presentationare alsoimportant, as we address in Study 2).
인코딩 프로세스
ENCODING PROCESSES
일련의 슬라이드를 볼 때, 청중들은 먼저 그들이 보는 것을 인코딩해야 한다; 만약 그들이 자료를 인코딩하지 못한다면, 그것은 존재하지 않는 것이 낫다. 우리는 인코딩에 관한 본질적인 사실에 근거하여 세 가지 원칙을 공식화했다.
When viewing a sequence of slides, audience members first must encode what they see; if they fail to encode material, it may as well not exist. We formulated three principles based on essential facts about encoding.
식별성
Discriminability
인코딩의 초기 단계는 인코딩할 재료를 인식해야 하는데, 이것은 패턴이 배경이나 다른 패턴과 명확하게 달라져야 한다. 이것은 우리에게 차별성의 원칙을 공식화하게 한다: 두 가지 특성(두 가지 색상, 회색도, 크기 등)이 쉽게 구별할 수 있을 만큼 큰 비율이 다르지 않으면 다른 정보를 전달할 수 없다(Woodson et al., 1992). 이 원칙은 두 속성이 너무 비슷하여 구별할 수 없을 때 발생하는 위장술의 기초가 된다. 그리고 프레젠테이션에서는 위장을 할 곳이 없다. 게다가, 우리 인간은 영역의 크기 차이들 사이에서 차별을 잘 하지 못한다: 우리는 면적을 과소평가하는 경향이 있고, 영역이 증가하면 이러한 경향이 더 강해진다(Stevens, 1975) 차별성의 원칙에는 다음과 같은 구분이 있다.
The initial step of encoding requires noticing the to-be-encoded material, which requires patterns to be clearly different from the background and from other patterns. This leads us to formulate the Principle of Discriminability: two properties (such as two colors, degrees of gray, or sizes) cannot convey different information unless they differ by a large enough proportion to be easily distinguished (Woodson et al., 1992). This principle underlies camouflage, which occurs when two properties are so similar that they are not distinguishable – and there’s no place for camouflage in a presentation. In addition, we humans are not very good at discriminating among differences in the sizes of areas: we tend to underestimate areas, and do so to an increasingly large degree as the area increases (Stevens, 1975). The Principle of Discriminability has the following corollaries:
(1) 활자체가 충분히 크지 않으면 문자는 쉽게 구별할 수 없다.
(1) Unless typefaces are large enough, letters cannot easily be distinguished from each other.
(2) 텍스트나 그래픽의 색이 나타나는 배경의 색과 명확하게 구별되지 않으면 쉽게 구별할 수 없다.
(2) If the color of text or graphics is not clearly distinct from the color of the background on which they appear, they cannot be readily distinguished.
(3) 글자가 비슷한 활자체(시각적으로 복잡하기 때문에, 모든 대문자, 모든 기울임꼴 또는 굵기)는 쉽게 읽을 수 없다.
(3) Typefaces in which letters are similar (because they are visually complex, all upper case, all italics, or all bold) cannot be easily read.
(4) 별도 "공간 주파수 채널"에 의해 등록되는 패턴이 쉽게 구분되기 때문에, 시청자들은 점들을 연결하는 선들 보다 두 배 정도 두꺼운 점들을 쉽게 구별할 수 있다. 또한 질감 패턴은 요소(예: 줄무늬)가 적어도 2:1로 달라지는 경우(또한 "시각적 박자"의 산만함을 피할 수 있다)에 쉽게 구별할 수 있다
(4) Because patterns that are registered by separate “spatial frequency channels” are easily distinguished (Stromeyer and Klein, 1974; De Valois and De Valois, 1990), viewers can easily distinguish points that are about twice as thick as the lines that connect them and can easily distinguish texture patterns in which elements (e.g., stripes) vary by at least 2:1 (which will also avoid distracting “visual beats”).
(5) 마찬가지로 최소 30 ̊씩 다른 "방향 채널"(토마스·길레·1979년; 드 발루아·데 발루아·1990년)에 의해 처리되기 때문에, 시청자는 적어도 30 ̊씩 차이가 날 때 다른 지역에서 선의 방향을 쉽게 구별할 수 있다.
(5) Similarly, because orientations that differ by at least 30˚ are processed by different “orientation channels” (Thomas and Gille, 1979; De Valois and De Valois, 1990), viewers can easily distinguish orientations of the lines in different regions when they vary by at least 30˚.
(6) 마지막으로 빛의 파장이 망막에 집중하는 방식 때문에, 우리는 코발트 블루(빨간색과 파란색이 혼합된 것임)에 초점을 집중시키는 데 어려움을 겪으며, 빨강과 파랑에 동시에 초점을 맞추는 데 어려움을 겪는다(이러한 색상의 조합은 "shimmer"하는 경향이 있다). 따라서 텍스트나 다른 미세한 선이 만약 깊은 파랑색으로 표현되어있다면 구별하기가 어렵다. 또한 빨간색과 파란색으로 정의된 경계가 인접한 경우도 distracting하다.
(6) Finally, because of the way that different wavelengths of light focus on the retina, we have difficulty bringing cobalt blue (which is a mixture of red and blue) into focus, and we have difficulty focusing on red and blue at the same time (combinations of these colors tend to“shimmer”); thus text or other fine lines are difficult to distinguish if they are rendered in deep blues, and boundaries defined by adjacent red and blue regions are distracting.
지각적 조직화
Perceptual organization
일단 재료가 눈에 띄면, 그림/지상 분리의 기초가 되는 프로세스는 종종 물체에 대응되는 지각 단위(단어 및 그래픽 포함)로 입력을 구성한다). 이러한 관찰은 지각적 조직의 원리를 공식화하도록 이끈다. 즉, 사람들은 자동으로 요소를 그룹으로 구성하여 집중하고 기억한다(LarkinandSimon, 1987; Gropper, 1991; Aspilaga, 1996; Helander et al., 1997; Vekiri, 2002). 그러한 집단은 여러 가지 방법으로 나타난다(Palmer, 1992). 고전적인 그룹화 "로즈"는 시청자가 요소를 단일 그룹으로 보도록 하는 지각 조건을 명시한다. 예를 들어, 우리는 근처에 있는 요소("근접의 법칙"이라고 함)를 함께 묶는 경향이 있다. 즉, "xxx xxx"를 6개의 별도 x가 아닌 3개의 그룹으로 각각 2개의 그룹으로 본다. 마찬가지로, 우리는 유사한 것으로 보이는 요소("유사성 법칙"이라고 함)를 함께 묶는 경향이 있다. 예를 들어, "///＼＼＼"를 6개의 별도 선이 아닌 2개의 그룹으로 본다.
Once material is noticed, processes that underlie figure/ground segregation organize the input into perceptual units that often correspond to objects (including words and graphics). This observation leads us to formulate the Principle of Perceptual Organization: people automatically organize elements into groups, which they then attend to and remember (LarkinandSimon, 1987; Gropper, 1991; Aspillaga, 1996; Helander et al., 1997; Vekiri, 2002). Such groups emerge in numerous ways (Palmer, 1992). Classical grouping “Laws” specify the perceptual conditions that lead viewers to see elements as a single group. For example, we tend to group together elements that are nearby (the so-called “Law of Proximity”). That is, we see “xxx xxx” as two groups of three each, not six separate x’s. Similarly, we tend to group together elements that appear similar (the so-called“Lawof Similarity”). For instance, we see “///\\\” as two groups, not six separate lines.
그룹화는 또한 특정 영역을 정의하기 위해 복잡한 표에서 사용되는 선에 의해 부과될 수 있으며, 이것은 표를 읽기 쉽게 한다. 또한 일부 시각적 차원은 자동으로 분류되며, 이러한 차원은 "통합적"이며, 독립적으로 쉽게 고려될 수 없다. 예를 들어, 높이와 너비는 쉽게 구별되는 것으로 보이지 않고 오히려 하나의 형태로 구성되며, 시청자들은 두 개의 차원이 아닌 전체 영역을 별도로 등록register한다(Macmillan과 Ornstein, 1998). 다른 필수 차원으로는 색, 명도, 채도가 있는데, 이들 역시 독립적으로 관찰할 수 없다. 오히려 우리의 시각 시스템은 색상을 단일 색상으로 그룹화하는 경향이 있다. 따라서 이러한 다른 색상의 치수는 별도의 측정치를 전달하는 데 쉽게 사용할 수 없다. 지각조직의 원리는 다음으로 귀결된다.
Grouping also can be imposed by lines, such as those used in complex tables to define specific regions, which makes the tables easier to read. In addition, some visual dimensions are automatically grouped; these dimensions are “integral,” and cannot easily be considered independently. For example, height and width are not easily seen as distinct, but rather are organized into a single shape – and viewers register the overall area, not the two dimensions separately (Macmillan and Ornstein, 1998). Other integral dimensions are hue, lightness, and saturation, which cannot easily be attended to independently; rather, our visual systems tend to group them into a single color – and thus these different dimensions of color cannot easily be used to convey separate measurements. The Principle of Perceptual Organization has the following corollaries:
(1) 라벨은 초기에 가장 가까운 그래픽 요소에 적용되는 것으로 보인다.
(1) Labels initially are seen as applying to the closest graphic element.
(2) 공통 색상은 [공간 내에서 분리하더라도] 디스플레이의 부분들을 그룹으로 조직화한다.
(2) Common color organizes parts of a display into a group, even if they are separated in space.
(3) 일반적인 패턴이나 순서는 디스플레이의 일부가 공간 내에서 분리되어 있더라도 그룹으로 구성된다. 예를 들어, 키의 요소(예: 각각 다른 색의 작은 사각형, 라벨과 연관된 작은 사각형)를 표시장치의 해당 부분(예: 막대 그래프의 막대)과 같은 방식으로 정렬할 때 키의 요소는 표시장치의 해당 부분과 적절히 그룹화된다.
(3) Common patterns or orderings organize parts of a display into a group, even if they are separated in space. For example, when the elements in a key (e.g., small squares of different colors, each associated with a label) are ordered the same way as the corresponding parts of the display (e.g., bars in a bar graph), the elements in the key will be grouped appropriately with the corresponding parts of the display.
(4) 형상과 위치는 시각 시스템(Ungerleider and Mishkin, 1982)에서 대부분 별도로 처리되기 때문에, 한 위치의 원소가 항상 다른 위치의 원소와 쉽게 분류되는 것은 아니다. 따라서 "분리되어있지만 관련된 요소"가 명시적으로 그룹화되도록 디스플레이를 구성하는 것이 유용하다 (예를 들어, 특정 점 값을 읽어야 할 경우 그래프 왼쪽의 Y 축을 따라 위치가 있는 막대 그래프의 막대 상단을 그룹화).
(4) Because shape and location largely are processed separately in the visual system (Ungerleider and Mishkin, 1982), an element in one location will not always be easily grouped with elements in other locations. Hence, it is useful to construct a display so that separated-but-related elements are explicitly grouped (e.g., by using inner grid lines to group the tops of bars in a bar graph with locations along the Y axis at the left of the graph, if specific point values are to be read).
(5) 그룹화 법칙 때문에 우연히 형성되는 가짜 그룹에 의해 이해력이 손상된다.(예: 두 개 이상의 범주에 대한 측정 쌍이 동일한 산포도에 표시되거나, 근접성 또는 유사성으로 인해 특정 객체가 있는 슬라이드 그룹 상단에 배너가 표시될 때 형성될 수 있는 그룹)
(5) Comprehension is impaired by spurious groups, which form accidentally because of the grouping laws (e.g., such as those that can form when pairs of measurements for two or more categories are plotted in the same scatter plot, or when a banner at the top of a slide groups with specific objects in the display because of proximity or similarity).
두드러짐
Salience
모든 지각 단위가 동시에 처리될 수 있는 것은 아니다. 단지 그들이 서로 다른 위치에 있고 눈의 시각적 예민성이 중심와fovea에서 가장 크기 때문이다(따라서 사람들이 그들의 시선gaze을 고치는 것은 높은 해상도로 인코딩될 것이다). 따라서 어떤 단위는 다른 단위에 앞서 상세하게 인코딩되어 있다. 주의attention는 어떤 패턴이 자세히 처리될 것인지를 선택하고, 무엇이 다른지 자동적으로 주목하게 된다. 우리는 바닥판 위에 붙어 있는 못이나 녹색 불빛 그룹에서 하나의 빨간 빛을 즉각적으로 발견한다. Salience의 원리는 다음과 같다: 인식 가능한 큰 차이에 주의를 기울인다. 실제로 뇌의 한 부분(상위 콜리큘러스)은 주의력 반사로 작용하여 자극 사이의 차이가 큰 경우에 우리의 시각적 주의를 자동으로 끌어당긴다(Posner, 1980; Glimcher and Sparks, 1992; Krauzlis et al., 2004). '생리학의 원리'에는 다음과 같은 각질이 있다.
Not all perceptual units can be processed simultaneously, if only because they are in different locations and the visual acuity of the eye is greatest at the fovea (and hence whatever people fixate their gazes on will be encoded with higher resolution). Thus, some units are encoded in detail before others. Attention selects which patterns will be processed in detail, and attention is automatically drawn to what is different; we immediately notice the nail that sticks above the floorboards or the one red light in a group of green lights. The Principle of Salience states: attention is drawn to large perceptible differences. In fact, a part of the brain (the superior colliculus) operates as anattentional reflex, automatically drawing our visual attention to large differences among stimuli (Posner, 1980; Glimcher and Sparks, 1992; Krauzlis et al., 2004). The Principle of Salience has the following corollaries:
(1) 움직임이 특히 두드러지는 신호(Buchel et al., 1998)이기 때문에, 애니메이션은 주의를 사로잡고 지시한다.
(1) Because movement is a particularly salient cue (Buchel et al., 1998), animation captures and directs attention.
(2) 형식이 뚜렷한 텍스트(색상, 크기 또는 활자체)가 눈길을 끈다.
(2) Text with a distinct format (color, size, or typeface) draws attention.
(3) 시각적 불균형이 눈길을 끈다. 예를 들어, 우리는 파이 차트에서 쐐기가 폭발한 것을 알아채게 된다. 왜냐하면 경계선이 붕괴되었기 때문이다. 그러나, 한두 개 이상의 쐐기가 폭발하면, 그 경계가 붕괴되어 분리된 조각들이 더 이상 두드러지지 않게 된다.
(3) Visual disparities draw attention. For example, we notice a wedge exploded from a pie chart because the boundary has been disrupted; however, if more than one or two wedges are exploded, the boundary becomes so disrupted that the separated pieces are no longer salient.
(4) 중요도와 일치하는 경우(Helander et al., 1997), 슬라이드(예: 제목 또는 주제 문장) 또는 그림(그래프, 다이어그램, 데모)에서 더 중요한 측면이 관객의 주의를 더 끌 것이며, 이러한 측면에 대한 나중의 기억력을 향상시킨다(Schmidt, 1991).
(4) If salience is aligned with importance (Helander et al., 1997), the more important aspects of the slide (e.g., the title or topic sentence) or of an illustration (graph, diagram, demo) draw the audience members’ attention – which will also enhance later memory for those aspects (Schmidt, 1991).
(5) 특수한 두드러짐의 사례는 색상에서 발생한다: 각막이 빛을 분산시켜 망막에 투사하는 방법에 대한 기이한 점 때문에, "따뜻한" 색(빨간색 등 비교적 파장이 긴 색)은 "차가운" 색(파란색 등 비교적 짧은 색)보다 시청자에게 더 가깝게 보인다; Held, 1980; Allen, Rubi 참조n, 1981; 트라비스, 1991). 따라서 다른 라인 아래를 지나는 라인에 따뜻한 색상을 사용한다면, 시청자들은 뒤에 있는 소재가 앞으로 나아가기 위해 고군분투하는 것처럼 보이는 짜증나는 착각을 경험하게 될 것이다.
(5) A special case of salience arises with colors: because of a quirk in how the corneas diffuse light and project it onto the retinas, “warm” colors (i.e., those with relatively long wavelengths, such as red) seem closer to the viewer than do “cool” colors (i.e., those with relatively short wavelengths, such as blue; see Held, 1980; Allen and Rubin, 1981; Travis, 1991). Thus, if warmer colors are used for lines that pass beneath other lines, viewers will experience an annoying illusion in which material at the back appears to be struggling to move forward.
작업기억
WORKING MEMORY
시각 패턴이 인코딩된 후에는 반드시 통합되어야 한다. 일반적인 프레젠테이션에서 재료는 여러 슬라이드의 과정에서 작동 메모리에 통합되어야 하며, 각각의 슬라이드에는 여러 개의 눈 고정 장치가 필요할 수 있다. 완전히 각각의 디스플레이와 전체 프레젠테이션을 제대로 이해하는 통합 과정은 서곡입니다. 다음 두개의 특정 원칙에 작업 기억에 대한 높은 수요 유발할 수 있다.
After visual patterns are encoded, they must be integrated. Ina typical presentation, material must be integrated in working memory over the course of multiple slides, each of which may require multiple eye fixations. This integrating process is a prelude to fully comprehending both individual displays and the entire presentation. The high demands on working memory lead to the following two specific principles.
제한된 용량
Limited capacity
작업 기억에 대한 핵심 사실 중 하나는 그 카파시티가 매우 제한되어있다는 것(예:Baddeley, 2007년)이다. 제한된 용량의 원칙은 사람들이 정보를 보존하고 처리할 수 있는 제한된 능력을 가지고 있으므로, 너무 많은 정보를 보유하거나 처리해야 하는 경우 메시지를 이해하지 못할 것이라고 말한다. 제한된 용량의 원칙은 다음과 같다.
One of the key facts about working memory is that it has a very limited capacity (e.g., Baddeley, 2007). The Principle of Limited Capacity states that people have a limited capacity to retain and to process information and will not understand a message if too much information must be retained or processed (Smith and Mosier, 1986; Shneiderman, 1992; Helander et al., 1997; Lund, 1997; Sweller et al., 1998). The Principle of Limited Capacity has the following corollaries:
(1) 작업 기억에서 사람들이 유지할 수 있는 정보의 양은 심리적 단위로 정의된다.예를 들어, 고전적인 지각 그룹화 법에 의해 생성된 지각 그룹. 우리는 그러한 유닛 4개만 작업 기억에 저장할 수 있다(Cowan, 2001). 단, 이들 각 단위는 차례로 4단위로 구성될 수 있다. 따라서 위계적 조직화는 정보를 기억하는 우리의 능력을 향상시킬 수 있다.
(1) The amount of information that people can retain in working memory is defined in terms of psychological units, such as the perceptual groups produced by the classical perceptual grouping laws. We can hold in working memory only about four such units (Cowan, 2001). However, each of these units in turn can comprise four units – and thus hierarchical organization can enhance our ability to hold information in mind.
(2) 일반적으로 인간은 동시에 약 4단위의 움직임을 추적할 수 있다(Intriligator and Cavanagh, 2001 – 특별한 상황에서는 더 많은 것을 추적할 수 있다; Alvarez와 Franconeri, 2007).
(2) In general, humans can track the movement of only about four units at the same time (Intriligator and Cavanagh, 2001 – although under special circumstances, more can be tracked; Alvarez and Franconeri, 2007).
(3) 라벨 검색의 필요성 제거는 작업부하를 감소시킨다.예를 들어 키를 사용하는 대신 디스플레이에 직접 항목을 표시하는 것이다.
(3) Eliminating the need to search for labels – for instance by directly labeling items in a display rather than using a key – reduces processing load (c.f. Sweller, 1999).
(4) 청중들은 제시된 정보를 처리할 시간이 필요하다.
(4) Audience members need time to process the information that is presented.
(5) 단, 반대로 슬라이드가 매우 느리게 페이드인되거나 페이드 아웃될 경우, 청중들은 이들을 잘못 구성한 다음 초기 조직을 해체해야 할 수 있다. 또한 노력이 필요하다(Potter, 1966)
(5) However, conversely, if slides fade-in or fade-out very slowly, the audience members may organize them incorrectly and then have to break their initial organization – which also requires effort (Potter, 1966).
정보적 변화
Informative change
작업기억은 용량이 제한되기 때문에 외재적extraneous 정보는 관련relevant 정보를 희생시키면서 그것을 쉽게 압도할 수 있다. 그러나 동일한 토큰으로 시각적 또는 청각적 단서를 사용하여 정보를 구성할 수 있다. 정보 변화의 원리에 따르면, 사람들은 지각 속성의 변화가 정보를 전달하기를 기대하며, 그러한 지각 변동에 의해 필요한 모든 정보가 전달되기를 기대한다. 실제로, "정보"라는 바로 그 개념은 변화라는 관점에서 정의되어 왔다: 변화가 있을 때만 정보가 전달된다(Shannon, 1948). 정보 변화의 원리는 다음과 같은 구분을 가지고 있다.
Because working memory has limited capacity, extraneous information can easily overwhelm it at the expense of relevant information. But, by the same token, visual or auditory cues can be used to help organize the information. According to the Principle of Informative Change, people expect changes in perceptual properties to carry information, and expect every necessary piece of information to be conveyed by such a perceptible change. Indeed, the very concept of “information”has been defined in terms of change: only when there is a change is information conveyed (Shannon, 1948). The Principle of Informative Change has the following corollaries:
(1) 관객 구성원은 단어, 그래픽 또는 기타 외관의 변화가 새로운 정보를 전달한다고 가정한다(Smith and Mosier, 1986; Shneiderman, 1992; Aspilaga, 1996; Helander 등, 1997; Lund, 1997). 예를 들어, 청중의 구성원들은 새로운 정보가 텍스트의 배경, 글머리 기호 또는 색상의 변화에 의해 전달되고 있다고 가정한다. 외관appearance나 슬라이드 간 전환이나 용어("fowl" 대 "bird")에서 변화가 무작위 또는 임의로 발생하면 청중을 오도할 수 있다.
(1) Audience members assume that words, graphics, or other changes in appearance convey new information (Smith and Mosier, 1986; Shneiderman, 1992; Aspillaga, 1996; Helander et al., 1997; Lund, 1997). For example, audience members assume that newinformation is being conveyed by changes in the appearance of the background, bullet points, or color or typeface of text. Random or arbitrary changes in appearance, in transitions between slides, or in terminology (“fowl”versus “bird”) can lead the audience astray.
(2) 프리젠테이션의 시작과 끝 부분을 명확히 표시한다(예를 들어, 다른 형식, 서체 또는 배경과 함께 제목을 제시하거나 슬라이드를 마무리하여)는 관객이 프리젠테이션을 따르도록 돕는다.
(2) Clearly marking the beginnings and ends of sections of a presentation (for instance by presenting a title or concluding slide with a distinct format, typeface, or background) helps audience members follow the presentation.
장기기억에 접근
ACCESSING LONG-TERM MEMORY
우리의 업무 분석은 우리에게 제3의 등급의 관련 과정을 제시하도록 이끈다. 자료의 의미를 추출하지 않으면 정보를 인코딩하고 적절하게 통합하는 것은 무용지물이 될 것이다. 자극에 의미를 부여하기 위해서, 우리는 그것들을 장기 기억 속에 기존에 저장되어있던 자료와 비교해야 한다; 우리가 보는 것의 수입을 이해하는 것은 관련 정보를 검색하는 것에 의해서만이다. 다음 원칙은 장기 메모리에 접근하고 관련 저장된 정보를 활성화하는 용이성에 영향을 미치는 요인을 다룬다.
Our task analysis leads us to posit a third class of relevant processes. Encoding information and integrating it appropriately would be useless if the meaning of the material were not extracted. In order to ascribe meaning to stimuli, one must compare them with material previously stored in long-term memory; it is only by retrieving associated information that we comprehend the import of what we see. The following principles address factors that affect the ease of accessing long-term memory and activating the relevant stored information.
적절한 지식
Appropriate knowledge
의미는 [그 사람이 이미 장기 기억 속에 저장되어 있는 필수 정보를 가지고 있는 경우에만] 패턴으로 설명ascribe될 수 있다. 청중에게 도달하기 위해서는 발표자는 관객들이 이미 알고 있는 것과 접촉해야 한다(Osman, Hannafin, 1992; Shneidman, 1992; Fleming and Levie, 1993; Lund, 1997; Schwartz 등). 적절한 지식의 원칙:의사소통은 관련된 개념, 전문용어 및 기호에 대한 사전 지식이 필요하다. 발표자가 새로운 개념이나 전문용어, 상징에 의존한다면 관객들은 이해하지 못할 것이다. 적절한 지식의 원리에는 다음과 같은 구분이 있다.
Meaning can be ascribed to a pattern only if the person has the requisite information already stored in long-term memory; to reach an audience, the presenter must make contact with what the audience members already know (Osman and Hannafin, 1992; Shneiderman, 1992; Fleming and Levie, 1993; Lund, 1997; Schwartz et al., 1998). The Principle of Appropriate Knowledge states: communication requires prior knowledge of relevant concepts, jargon, and symbols. If the presenter relies on novel concepts, jargon, or symbols, the audience members will fail to understand. The Principle of Appropriate Knowledge has the following corollaries:
(1) 익숙하지 않은 개념, 관습, 형식, 용어 및 기호는 이해할 수 없다. 더욱이, 그들이 이해될 때, 그들은 노력한 처리가 필요할 것이다.
(1) Unfamiliar (for that audience) concepts, conventions, formats, terminology, and symbols may not be understood. Moreover, when they are understood, they will likely require effortful processing (which will be accomplished only if the audience is highly motivated).
(2) 메시지를 전달하기 위해 익숙하지 않은 (그 청중에게) 개념, 관습, 형식, 용어 및 기호가 절대적으로 필요한 경우, 명시적으로 소개하고 설명해야 하며, 이러한 설명은 청중이 친숙한 정보를 도출하면 더욱 효과적이다.
(2) If unfamiliar (for that audience) concepts, conventions, formats, terminology, and symbols are absolutely necessary to convey the message, they must be explicitly introduced and explained – and such explanations are more effective if they draw on information that is familiar to the audience.
호환성
Compatibility
자극의 의미는 그 표면 특성(크기 또는 색상 등)의 해석이 그 상징적 의미와 일치하지 않으면 추출하기 어려울 것이다. 호환성 원칙은 [메시지가 그 의미와 호환되는 경우에] 이해하기 가장 쉽다는 것이다(Vessey, 1991; Woodson 등, 1992; Vekiri, 2002; Speier, 2006). 이 원리는 고전적인 "스트룹 효과"(MacLeod, 1991년)에 의해 증명되었듯이, 위반되었을 때 아마도 가장 명백하다. 스트룹 효과에서, 사람들은 단어들이 잉크와 다른 색깔의 이름을 붙일 때(예: "파란색"이라는 단어를 인쇄할 때 사용하는 파란색 잉크)보다 단어들을 인쇄하는 데 사용되는 잉크의 색 이름을 붙이는 데 더 많은 어려움을 겪는다. 우리는 표면 특성(예: 잉크의 색)과 의미를 모두 등록register한다. 이 원칙은 지각 양식에 걸쳐 적용되며, 따라서 일반적으로 오디오와 시각 콘텐츠가 텍스트와 전달되는 전체적인 메시지와 조화를 이룰 때 가장 좋으며, 부적절한 소리와 시각은 이해에 방해가 된다. 호환성 원칙에는 다음과 같은 코럴라인이 있다.
The meaning of a stimulus will be difficult to extract if the interpretation of its surface properties (such as the size or color) is inconsistent with its symbolic meaning. The Principle of Compatibility states that a message is easiest to understand if its form is compatible with its meaning (Vessey, 1991; Woodson et al., 1992; Vekiri, 2002; Speier, 2006). This principle is perhaps most evident when it is breached, as demonstrated by the classic “Stroop effect” (MacLeod, 1991). In the Stroop effect, people have more difficulty naming the color of the ink used to print words when the words name a different color from the ink (e.g., blue ink used to print the word “red”) than when words name the same color (e.g., blue ink used to print the word “blue”). We register both the surface properties (e.g., the color of the ink) and the meaning. This principle applies across perceptual modalities, and thus comprehension generally is best when audio and visual contents coordinate with text and the overall message that is being conveyed; inappropriate sounds and visuals will interfere with comprehension. The Principle of Compatibility has the following corollaries:
(1) 색은 metathetic(metathetic 차원에 대한 값은 정성적으로 배열됨) 변수이기 때문에 색상의 변화는 수량의 다른 양을 나타내는 것으로 자동으로 보이지 않는다. 이와는 대조적으로, 채도와 강도(또는 밝기)는 양적 변수(양적 치수에 대한 값이 정량적으로 배열됨)이기 때문에, 이러한 치수를 따르는 변화는 양적 변동에 따라 정렬된다(Stevens, 1975).
(1) Because hue is a metathetic (values on metathetic dimensions are arranged qualitatively) variable, variations in hue are not seen automatically as signaling different amounts of a quantity; in contrast, because saturation and intensity (or brightness) are prothetic variables (values on prothetic dimensions are arranged quantitatively), variations along these dimensions do line up with variations in quantities (Stevens, 1975).
(2) 애니메이션은 물체의 자연적인 움직임(예: 자동차의 그림이 위에서 내려오면 안 된다)에 맞지 않으면 이해를 방해하고, 사운드와 슬라이드 배경은 주제에 적합하지 않을 경우 방해가 된다. (꽃무늬 배경, 또는 새들이 지저귀는 소리는 바다의 탄소 저수지 발표와 호환되지 않는다.)
(2) Animation interferes with comprehension if it does not fit the natural movements of the object (e.g., a picture of a car should not drop down from the top), and sounds and slide backgrounds will interfere if they are not appropriate for the topic (a floral background, or the sounds of birds chirping, are not compatible with a presentation about carbon reservoirs in the ocean).
(3) 시청자는 대표되는 항목의 대표적인 예를 가장 쉽게 묘사하는 아이콘을 해석한다. 예를 들어, 오리의 그림은 카나리아 그림의 경우 "물새"가 아니라 "펫새"를 효과적으로 묘사하고, 반대로도 묘사한다(Rosch et al., 1976).
(3) Viewers most easily interpret icons that depict the typical examples of represented items. For example, a picture of a duck effectively illustrates “water fowl” but not “pet bird,” and vice versa for a picture of a canary (Rosch et al., 1976).
(4) 구식 외관 활자체는 첨단장치의 서면 설명에 사용하면 상반된 메시지를 보낼 수 있다.
(4) Old-fashioned looking typeface would send a conflicting message if used in a written description of a high-tech device.
(5) 서로 다른 종류의 그래픽은 [정보의 종류가 다르다는 점을 명시적으로 만들기 때문에] 서로 다른 포인트를 지적하는 데 적합하다(Tersky et al., 2002). 선 그래프(바 또는 혼합 그래프 대신)는 그래프에서 선 높이의 연속적인 변동이 측정의 연속적인 변동을 직접 나타내기 때문에 추세를 효과적으로 나타낸다. 마찬가지로 그래프에서 선을 교차하는 것은 막대 세트보다 더 효과적으로 상호작용을 나타낸다. 막대 그래프는 철근의 이산 높이가 특정 측정을 직접 나타내기 때문에 (트렌드가 아닌) 특정 값을 효과적으로 나타낸다. 지도는 지리적 영역에 대한 복잡한 정보를 보여주거나 목적지로 가는 대체 경로를 보여준다. 차트는 시간 경과에 따른 조직 구조, 일련의 단계 또는 프로세스를 효과적으로 설명한다("흐름 차트")
(5) Because they make different sorts of information explicit, different sorts of graphics are appropriate for making different points (Tversky et al., 2002). Line graphs (rather than bar or mixed graphs) illustrate trends effectively because the continuous variation in the height of a line in a graph directly indicates the continuous variations of a measurement. Similarly, crossing lines in a graph indicate interactions more effectively than sets of bars. Bar graphs illustrate specific values (not trends) effectively because the discrete heights of the bars directly indicate specific measurements. Maps illustrate complex information about geographic territories or show alternate routes to a destination. Charts effectively illustrate organizational structure, a sequence of steps, or processes over time (“flow charts”).
관련성
Relevance
마지막으로, 메시지는 특정 청중에게 너무 많은 정보나 너무 적은 정보가 제공되지 않도록 보정되어야 한다(Grice, 1975) (참고: Informative Change의 원칙은 특정 메시지를 제공하면 필수 정보를 제공해야 한다고 명시한다. 관련성 원칙의 요점은 우선 적절한 메시지를 제공하는 것이다.) 충분한 정보를 제공하지 않는 것이 문제라는 것은 분명하지만, 아마도 너무 많은 정보(예: 외부 그래픽, 텍스트 또는 오디오)를 제공하는 것도 문제라는 것은 덜 명백하다. 너무 많은 정보를 표시하는 것은 부분적으로 문제가 되는데, 이는 시청자들이 노력이 필요한 관련 정보를 검색하도록 하기 때문이다(예: Wolfe, 1998). 관련성의 원칙에 따르면 커뮤니케이션은 [너무 많거나 너무 적은 정보가 제시되지 않을 때] 가장 효과적이다(Smithand Mosier, 1986; Woodsonet al, 1992; Vekiri, 2002; Bartsch and Cobertn, 2003). 이 원리는 다음과 같은 코롤라리를 가지고 있다.
Finally, the message must be calibrated so that neither too much nor too little information is presented for a specific audience (Grice, 1975). (Note: the Principle of Informative Change states that, given a specific message, the requisite information must be provided – the present point is about providing an appropriate message in the first place.) It is clear that not providing enough information is a problem, but perhaps it is less immediately evident that providing too much information (such as extraneous graphics, text, or audio) is also a problem. Presenting too much information is a problem in part because this forces viewers to search for the relevant information, which requires effort (e.g., Wolfe, 1998). The Principle of Relevance states that communication is most effective when neither too much nor too little information is presented (Smithand Mosier, 1986; Woodsonet al., 1992; Vekiri, 2002; Bartsch and Cobern, 2003). This principle has the following corollaries:
(1) 지나치게 많거나 적은 것을 결정하기 위해서는 메시지의 성격에 대해 알아야 한다: 의도된 포인트가 무엇인지에 따라 특정 정보가 필요하거나 관련이 없을 수 있다.
(1) To decide what is too much or too little, one must knowabout the nature of the message: depending on what the intended point is, specific information can be necessary or extraneous.
(2) 정보를 이해하려고 할 때, 사람들은 (대부분 무의식적으로) 그것을 서사narrative로 정리한다(c.f. Wagoner, 2008; Karns et al., 2009). 주제를 정의하고 처음부터 로드맵을 제시하면(개요 또는 기타 개요에서) 이 과정을 용이하게 한다.
(2) When attempting to understand information, people (largely unconsciously) organize it into a narrative (c.f. Wagoner, 2008; Karns et al., 2009). Defining the topic and presenting a roadmap at the outset (in an outline or other overview) facilitates this process.
(3) 그래픽(사진, 도면, 그래프, 다이어그램), 오디오 및 비디오는 관련 개념을 명확하게 설명할 수 있는 세부사항을 제공할 수 있다. 그러나 사진은 종종 모호하다(비트겐슈타인, 1953/2001년).
(3) Graphics (photos, drawings, graphs, diagrams), audio, and video can provide detail to illustrate the relevant concepts clearly. However, pictures are often ambiguous (Wittgenstein, 1953/2001), and when they are ambiguous labels can clarify them.
연구 1
STUDY 1
Levasseur와 Sawyer(2006)는 슬라이드가 효과적으로 기능하도록 설계되어야 하는 방법에 대한 연구가 현저하게 적다고 지적했다. 이러한 부족에 대한 가능한 한 가지 이유는 많은 사람들이 "좋은 디자인"이 대부분의 사람들에게 직관적으로 명확하다고 느낄 수 있기 때문에 그것을 연구할 이유가 없다는 것이다. 이러한 추측과 일관되게, 일부 사람들은 방금 논의된 종류의 심리 원칙은 명백하며, 발표에서 위반되는 경우는 거의 없다고 주장했다. 이 가정을 평가하기 위해, 우리는 PowerPoint® 슬라이드쇼의 샘플을 조사했다. 구체적으로, 우리는 계층화된 샘플링 절차를 사용하여 다음과 같은 다섯 가지 범주의 슬라이드쇼를 검토했다. 연구(학문), 교육, 정부, 기업, 기타. 우리는 방금 요약한 8가지 원칙을 위반할 수 있는 137가지 방법(각각 규칙에 명시됨)을 공식화했다(표 1 참조).
Levasseur and Sawyer (2006) noted that there is remarkably little research on how slides should be designed so that they function effectively. One possible reason for this dearth is that many may feel that “good design” is intuitively clear to most people, and hence there is no reason to study it. Consistent with this conjecture, some have claimed that the sorts of psychological principles just discussed are obvious, and rarely if ever would be violated in a presentation. To evaluate this supposition, we examined a sample of PowerPoint® slideshows. Specifically, we used a stratified sampling procedure to examine a selection of slideshows in five categories: Research (academic), Education, Government, Business, and Miscellaneous. We formulated 137 ways (each specified in a rule) in which the eight principles just summarized could be violated (see Table 1).
MATERIALS AND METHODS
우리는 처음에 웹에서 무작위로 계층화된 PowerPoint® 슬라이드쇼 샘플을 획득했다. 이에 따라, 우리는 효과적인 PowerPoint® 통신의 특정 규칙 위반을 검색하기 위해 체크리스트(표 1 참조)를 사용하여 두 명의 심판에게 각각의 PowerPoint®slideshow를 독립적으로 채점하도록 요청하였다. 이러한 규칙은 소개에서 논의된 8가지 일반 원칙의 특별한 경우였다. 아래에서 언급한 바와 같이, 두 명의 추가 심판이 약간 다른 기준을 사용하여 슬라이드쇼를 평가했다.
We first acquired a random, stratified sample of PowerPoint® slideshows from the web. Following this, we asked two judges to score each PowerPoint®slideshow independently, using a checklist (see Table 1) to search for violations of specific rules of effective PowerPoint® communication; these rules were special cases of the eight general principles discussed in the Introduction. As noted below, two additional judges evaluated the slideshows using slightly different criteria.
RESULTS
종속 변수는 슬라이드쇼가 원칙을 위반했는지 여부였다. 우리는 "배드-애플-스포일-더-바렐" 접근법을 취했는데, 단 하나의 슬라이드에도 규칙을 위반한 물질이 포함되어 있다면, 슬라이드쇼는 규칙을 위반한 것으로 평가되었다. 슬라이드쇼가 특정 원리 내에서 하나 이상의 규칙을 위반했다면, 그 원리에 대한 점수는 "1;"이 될 것이다. 어떤 원칙에 대해 어떤 규칙도 위반되지 않았다면, 그 원리에 대한 점수는 "0"이 될 것이다. 우리는 먼저 엄격한 초기 점수에서 나온 결과를 제시하고, 그 후에 더 자유로운 점수에서 나온 결과를 제시한다.
The dependent variable was whether or not a slideshow violated a principle. We took a “bad-apple-spoils-the-barrel” approach: if even a single slide contained material that violated a rule, the slideshow was scored as having violated the rule. And if a slideshow violated one or more rules within a specific principle, the score for that principle would be “1;” if none of the rules were violated for a principle, the score for it would be “0.” We present first the results from the strict, initial scoring, and after this the results from the more liberal scoring.
셋째, 우리는 어떤 규칙이 가장 자주 위반되는지 조사했다. 특히 다음과 같은 다섯 가지 규칙이 가장 자주 위반된다는 것을 알게 되었다.
Third, we examined which rules were violated most often. In particular, we found that the following five rules were violated most often:
(1) 불릿 기호가 붙은 것을 개별적으로 표시하지 않고, 상단에서 하단으로 목록을 증가시킨다(슬라이드쇼의 96%).
(2) 불릿 기호 당 2개 이상의 행을 사용한다(91%).
(3) 4개 이상의 불릿 기호 항목들이 단일 목록(91%)에 표시됨
(4) 목록의 계층적 구성은 사용하지 않으며, 각 수준(86%)에서 항목 수가 4개 미만이다.
(5) 모든 대문자, 모든 기울임꼴 또는 굵은 글꼴을 사용한다(81%)
(1) Bulleteditems are not presented individually, growing the list from the top to the bottom (96% of the slideshows);
(2) More than two lines are used per bulleted sentence (91%);
(3) More than four bulleted items appear in a single list (91%);
(4) Hierarchical organization of lists is not used, with no more than four items at each level (86%);
(5) All uppercase, all italics, or all bold typefaces are used (81%).
표 2는 자유형 및 엄격한 채점 방식을 모두 사용하여 원칙당 범주의 위반 사항을 요약한 것이다.
Table 2 provides a summary of the violations per category per principle, using both the liberal and the strict scoring method.
결론
CONCLUSION
분명한 것은, 엄격한 채점 기준이나 자유주의적인 채점 기준에 의해, 많은 슬라이드쇼가 결함이 있다는 것이다. 실제로, 두 기준 중 어느 하나라도 결함이 없다는 이유로 점수를 매긴 슬라이드쇼는 없었다. 엄격한 기준을 적용하여 각 슬라이드쇼는 9개 등급의 원칙 중 평균 6.23을 위반하였는데, 이는 자유주의 기준을 사용하여 5.88로 약간 축소되었다. "과다 결정"된 규칙 그룹을 제외한 8개의 개별 원칙만 고려했을 때, 엄격한 코딩은 6.17이었고 자유주의 코딩은 5.86이었다. 가장 폭력적인 세 가지 원칙은 차별성(자료가 너무 비슷하여 쉽게 구별할 수 없기 때문에), 제한된 용량(너무 많은 정보가 제시되었기 때문에), 정보화적 변화(정보가 표시되는 방법의 변화는 실제로 전달되는 정보의 변화를 반영하지 못하기 때문이다)이다.
As is clear, by either the strict or liberal scoring criteria, many slideshows are flawed. Indeed, not a single slideshow was scored – according to either set of criteria – as having no flaws. Using the strict criteria, each slideshow violated on average 6.23 of the nine classes of principles, which shrank slightly to 5.88 using the liberal criteria. Considering just the eight individual principles, excluding the“over-determined”group of rules, the overall violation was 6.17 for the strict coding and 5.86 for the liberal coding. The three most-violated principles were Discriminability (because material was too similar to be easily distinguished), Limited Capacity (because too much information was presented), and Informative Change (because changes in how information was presented did not actually reflect changes in the information being conveyed).
가장 자주 위반되는 원칙인 호환성조차도 최소한 1/4의 슬라이드쇼에서 여전히 위반되었다.
Even the least-frequently violated principle, Compatibility, was still violated in at least a quarter of the slideshows.
또한, 위반이 여러 범주에 걸쳐 비교될 수 있었다는 사실이 흥미롭다. 우리는 다른 주제들의 가능한 영향을 고려하기 위해 다른 범주를 부분적으로 검토했다. 다른 주제(또는 영역)의 슬라이드쇼는 평균 복잡성이 다를 수 있지만, 결과는 특정 원칙의 위반이 일반적으로 주제에 따라 다르지 않다는 것을 시사한다. 그렇긴 하지만, 우리는 어떤 특정 규칙이 다른 범주에 비해 더 자주 위반된다는 것을 발견했고, 이것은 주제의 복잡성의 차이를 반영할 수 있다.
In addition, the fact that violations were comparable across the different categories is of interest. We examined the different categories partly in an effort to consider the possible influence of different topics. Although slideshows of different topics (or areas) may differ in their average complexity, the results do not suggest that violations of specific principles generally vary for different topics. That said, we did find that some specific rules were violated more frequently in some categories than others, which could reflect differences in the complexities of the topics.
연구 2
STUDY 2
Study 1의 PowerPoint® 슬라이드쇼를 분석한 결과, 슬라이드쇼 자체는 일반적으로 여러 가지 면에서 결함이 있는 것으로 나타났다. 우리는 시청자들이 보다 일반적으로 프레젠테이션 결함에 민감한지 알고 싶었고, 따라서 우리는 참가자들에게 그들이 지난 해에 얼마나 많은 전자 슬라이드쇼 프리젠테이션을 보았는지 대략적으로 보고하고, 그 다음에 그 프레젠테이션의 다양한 측면을 그들의 품질로 평가하도록 요구하는 설문조사를 실시했다.
The analysis of PowerPoint® slideshows in Study 1 revealed that slideshows themselves typically are flawed in multiple ways. We wanted to know whether viewers are sensitive to presentation flaws more generally, and thus we conducted a survey asking participants to report approximately how many electronic slideshow presentations they had seen in the past year, and then to rate various aspects of those presentations in terms of their quality.
MATERIALS AND METHODS
RESULTS
CONCLUSION
이러한 결과는 연구 1의 결과와 수렴된다. 즉, 우리가 질문한 7가지 원칙(첫 번째 연구에서 고려된 8가지 원칙 중)은 모두 정기적으로 위반된다. 그러한 위반은 청중을 어느 정도 괴롭힌다. 그리고 Study 1과 마찬가지로 호환성 원칙의 위반은 가장 흔하지 않은 반면, 가장 성가시고 일반적인 위반 중 하나는 Limited Capacity(슬라이드에는 다음 슬라이드가 제시되기 전에 흡수해야 할 물질이 너무 많이 포함되어 있었다)의 원칙 하에 있었다. 이러한 결과는 Study 1과 같이 프리젠테이션이 많은 룸프나 개선점을 가지고 있을 뿐만 아니라, 청중들이 프리젠테이션을 괴롭히는 일반적인 종류의 문제에 민감하다는 것을 보여준다.
These results converge with those from the Study 1, namely that all seven principles we asked about (out of eight considered in the first study) are violated on a regular basis. Such violations bother audience members to some extent. And as with Study 1, violations of the Principle of Compatibility were least common, whereas one of the most annoying and prevalent violations fell under the principle of Limited Capacity (slides contained too much material to absorb before the next slide was presented). These results show that presentations not only have much room for improvement, as shown in Study 1, but also that audience members are sensitive to the general sorts of problems that plague presentations.
따라서 Study 1과 Study 2의 연구 결과는 흥미로운 의문을 제기한다: 왜 적어도 어떤 사람들은 심리적 원칙이 너무 명백해서 아무도 그것을 위반하지 않을 것이라고 생각하는가? 프리젠테이션이 지루하거나 명확하지 않은 것과 같은 전반적인 문제를 인식하지만, 그렇게 쉽게 인지할 수 있는 결점을 만드는 특정 슬라이드의 정확한 문제를 인식하지 못하는 것이 가능한가? 우리는 다음 연구에서 이 가능성을 조사한다.
The findings from Study 1 and Study 2 thus raise an interesting question: why do at least some people feel that the psychological principles are so obvious that nobody would violate them? Is it possible that although people recognize overall problems – such as that a presentation is boring or unclear – they fail to recognize the precise problems with specific slides that produce such easily noticed flaws? We investigate this possibility in the following study.
연구 3
STUDY 3
이 연구는 두 가지 질문에 답하기 위해 고안되었다.
첫째, 우리는 사람들이 다른 원칙들을 위반한 개별 슬라이드에서 그래픽 디스플레이를 식별할 수 있는지 알고 싶었다.
둘째로, 만일 그들이 그러한 결함이 있는 표시장치를 식별할 수 있다면, 우리는 참가자들이 표시장치에 결함이 있는 이유를 알고 있는지 알고 싶어했다.
The present study was designed to answer two questions: first, we wanted to know whether people can identify graphical displays in individual slides in which the different principles have been violated. Second, if they can identify such defective displays, we wanted to know whether participants are aware of why a display is defective.
이전의 두 연구는 조사였다. 이러한 연구는 "실제 세계"에서 발생하는 현상을 타파하는 장점이 있지만, 관련 변수에 대해 엄격한 통제를 하지 않는 단점이 있다. 3번 연구는 실험에 의존한다. Study 1에서 시각적 표시장치 설계 규칙의 하위 집합을 선택하고 각 그림에 대해 두 가지 그림을 준비했다. 한 그림은 규칙 위반을 포함했고 한 그림은 그렇지 않았다(이 그림들 중 다수는 Kosslyn, 2007에 표시된 "Do/Don't" 그림에서 직접 가져갔다). 각 슬라이드를 제시하기 전에 참가자들이 슬라이드의 특정 측면에 집중하도록 유도하는 질문을 제시하였다. 예를 들어, 한 슬라이드 쌍의 경우, "어느 슬라이드가 두 변수가 얼마나 밀접하게 관련되어 있는지를 보여주는 더 나은 작업인가?"라고 물었다. 참가자들에게 특정 기준에 따라 어떤 슬라이드가 더 나은지 표시한 다음, 자신이 선택한 이유를 설명하도록 하였다.
The previous two studies were surveys. Such studies have the advantage of tapping into phenomena that occur in the “real world,” but the disadvantage of not having rigorous control over the relevant variables. Study 3 relies on an experiment. We selected a subset of the visual display design rules from Study 1, and prepared two illustrations for each one: one illustration included a violation of the rule and one did not (many of these pairs were taken directly from the“Do/Don’t” illustrations shown in Kosslyn, 2007). Prior to presenting each pair of slides, we presented a question that guided participants to focus on a specific aspect of the slide. For example, for one slide pair we asked, “Which slide does a better job showing how closely two variables are related?” Participants were asked to indicate which slide was better, according to that specific criterion, and then to explain why they made their choice.
MATERIALS AND METHODS
RESULTS
CONCLUSION
요컨대, 미끄럼틀의 구체적인 특징에 주의를 기울이도록 안내된 경우에도 관찰자들은 심리적 원리가 언제 위반되었는지, 그리고 문제가 있다는 것을 깨달았을 때에도 이 문제의 본질을 잘 알지 못하는 경우가 많다. 그러나 뇌에서 정보처리가 작동하는 방식을 고려할 때 시청자가 위반 사실을 알아차리지 못하더라도 여전히 그 영향을 받을 수 있다고 주장할 수 있다. 실제로, 우리는 이것이 사실이라고 예상할 것이고, 이 가설을 향후 연구에서 조사할 가치가 충분히 있다.
In short, even when guided to pay attention to specific features of slides, observers do not always understand when the psychological principles have been violated, and even when they do realize that there is a problem, they often are not aware of the nature of this problem. Given the way information processing works in the brain, however, one could argue that even if viewers do not notice a violation, they could still be affected by it. Indeed, we would predict this to be the case, and it is well worth investigating this hypothesis in future research.
고찰
DISCUSSION
여기에서 보고된 세 가지 연구에서는 PowerPoint® 슬라이드쇼, 슬라이드, 프리젠테이션이 인간의 인식, 기억 및 이해의 원리를 얼마나 잘 존중하는지 분석하였다. 구체적으로는 가설을 세우고 발견하였다.
심리적 원칙이 종종 여러 분야의 PowerPoint® 슬라이드쇼에서 위반된다는 것(Study 1)
어떤 유형의 프레젠테이션 결함은 청중에게 눈에 띄고 짜증나게 한다(Study 2).
관찰자는 개별 슬라이드의 그래픽 디스플레이에서 많은 위반을 식별하는 데 어려움을 겪는다(Study 3).
In the three studies reported here, we analyzed how well PowerPoint® slideshows, slides, and presentations respect principles of human perception, memory, and comprehension. Specifically, we hypothesized and found
that the psychological principles are often violated in PowerPoint® slideshows across different fields (Study 1),
that some types of presentation flaws are noticeable and annoying to audience members (Study 2), and
that observers have difficulty identifying many violations in graphical displays in individual slides (Study 3).
이러한 연구는 다음 그림을 그리는 데 수렴된다. PowerPoint® 프레젠테이션은 일반적으로 결함이 있으며, 어떤 유형의 결함은 다른 결함보다 더 흔하며, 결함은 한 도메인이나 맥락에 국한되지 않으며, 어떤 유형의 결함은 청중들을 짜증나게 하지만, 슬라이드 설계 수준의 결함은 숙련되지 않은 관찰자에게 항상 명백하지는 않다(그러나 우리는 그러한 결함이 정보 처리에 부정적인 영향을 미칠 수 있다고 주장한다).
These studies converge in painting the following picture: PowerPoint® presentations are commonly flawed; some types of flaws are more common than others; flaws are not isolated to one domain or context; and, although some types of flaws annoy the audience, flaws at the level of slide design are not always obvious to an untrained observer (but, we would argue, such flaws may negatively impact information processing).
특히, Study 1에서 우리는 PowerPoint® 슬라이드쇼가 평균적으로 우리가 고려한 8가지 원칙 중 약 6가지를 위반한다는 것을 발견했다. 더욱이, 이것은 여러 분야에서 생산된 슬라이드쇼에 해당된다. 차별성, 제한된 용량 및 정보 변경의 원칙이 가장 빈번하게 위반되었다.
Study 2에서 우리는 응답자들이 일반적으로 프레젠테이션의 문제에 대해 알아차리고 짜증을 냈다고 보고했으며, 이러한 문제는 우리가 고려한 대부분의 원칙을 위반하는 것에서 비롯되었다.
마지막으로, Study 3에서 관찰자는 특정 규칙이 특정 슬라이드에서 위반되는 경우를 인식하지 못하는 경우가 많으며, 위반 없이 슬라이드를 선택한 경우에도 종종 자신의 선택을 설명할 수 없다는 것을 보여주었다.
Specifically, in Study 1 we found that PowerPoint® slideshows on average violate approximately six of the eight principles we considered. Moreover, this is true for slideshows produced in different fields. The principles of Discriminability, Limited Capacity, and Informative Change were most frequently violated.
In Study 2 we found that respondents commonly reported having noticed and been annoyed by problems in presentations in general, and these problems arose from violations of most of the principles we considered.
Finally, in Study 3 we showed that observers often did not recognize when a specific rule was violated in a given slide, and that even when they did select the slide without the violation, they often could not explain their choice.
하지만 우리는 우리의 원칙의 위반이 정말로 프레젠테이션에서 "flaws"을 구성한다고 확신할 수 있을까? 서론에서 언급했듯이, 우리의 원칙은 간단한 과제 분석에서 비롯되며, 그 결과 우리는 인간의 인식, 기억, 이해에 관한 과학 문헌의 기본적인 발견을 고려하였다. 이러한 연관성 때문에, 그 원칙들은 표면적인 타당성을 가지고 있다: 만약 프레젠테이션이 원칙을 위반하면, 그것은 인간의 정보 처리를 저하시킨다(taxes). 그리고 프레젠테이션이 정보 처리에 세금을 부과하기 때문에 청중들은 정보 처리를 인지하고, 기억하고, 이해하는데 어려움을 겪을 것이고, 따라서 그것이 결점이라고 합리적으로 말할 수 있다.
But can we be confident that violations of our principles really constitute “flaws” in a presentation? As noted in the Introduction, our principles grow out of a straightforward task analysis, which in turn led us to consider basic findings in the scientific literature on human perception, memory, and comprehension. Because of this connection, the principles have face validity: if a presentation violates a principle, it taxes human information processing. And because the presentation taxes information processing, the audience members will have difficulty perceiving, remembering, or comprehending it – and hence, it can reasonably be said to be flawed.
그럼에도 불구하고, 미래 연구는 이해와 후속 기억력에 대한 특정 원칙을 위반하는 영향을 명시적으로 검토해야 한다.
Nevertheless, future studies should explicitly examine the effects of violating specific principles on comprehension and subsequent memory.
우리가 설명한 원칙과 규칙을 존중하는 것은 "최적" 프레젠테이션을 수행하지 않을 것이라는 점에 주목할 필요가 있다. 대신, 원칙과 규칙을 존중하는 것은 이러한 특정 방법에 결함이 없음을 보증할 것이다. 단순히 우리가 문서화하는 결함을 피하는 것은 프레젠테이션이 좋은지 확실히 할 수는 없지만, 그러한 결함을 포함하는 것은 프레젠테이션을 나쁘게 만들 것이다(또는 적어도 좋지는 않을 것이다). 원칙과 규칙이 경험적 문헌에 뿌리를 두고 있다는 점을 감안할 때, 이를 위반하는 것을 피하면 프레젠테이션이 개선될 것이다. (단, 우리는 또한 이 주장이 얼굴 유효성에 기초하고 있으며, 후속 작업에서 명시적으로 시험되어야 한다는 것을 주목해야 한다.)
It is worth noting that respecting the principles and rules we have described will not produce “optimal” presentations. Instead, respecting the principles and rules will ensure that presentations are not flawed in these specific ways. Simply avoiding the glitches that we document will not ensure that the presentation is good, but including such glitches will make a presentation bad (or at least not as good as it could be). Given that the principles and rules are rooted in the empirical literature, avoiding violating them will improve a presentation. (However, we also must note that this claim is based on face validity, and must be explicitly tested in subsequent work).
우리는 또한 여기서 보고된 세 가지 연구 중 두 가지에서 발표자와는 독립적으로 슬라이드를 다루었다는 것을 지적해야 한다. 어떤 사람은 숙련된 발표자가 슬라이드를 사용하여 발표할 때 잠재적 "flaws" 중 적어도 일부는 심각하지 않을 수 있다고 주장할 수 있다. 예를 들어, 재능 있는 발표자는 특정한 결점을 보완할 수 있을 것이다(예: 청중들에게 눈에 잘 띄지 않을 정도로 작은 텍스트를 소리내어 읽음으로써). 그러나 다른 모든 것이 같다면 결함이 있는 슬라이드를 보여주는 데 이점과 단점이 없다. 비록 재능 있는 발표자들이 어떤 결점을 보완할 수는 있겠지만, 애초에 보상하지 않아도 된다면 더 좋을 것이다.
We also must point out that in two of the three studies reported here, we treated the slides independently of the presenter. One could argue that at least some of the potential “flaws” may not be as severe when the slides are discussed by a skilled presenter. For instance, a talented presenter may be able to compensate for a particular flaw (e.g., by reading aloud text that is so small as to be all-but-invisible for the audience members). However, all else being equal, there is no advantage – and considerable disadvantage – to showing flawed slides. Although some flaws may be compensated for by talented presenters, it would be better if they did not have to compensate in the first place.
요컨대, 우리는 전자 슬라이드쇼 프리젠테이션의 디자인을 개선할 여지가 많다는 것을 문서화했다. 심리학적 원칙이 완전히 명백하지는 않으며, 사람들이 항상 본능적으로 그것을 존중하는 것도 아니다. 아마도 그러한 결함을 피하는 가장 좋은 방법은 슬라이드쇼 초안을 준비하고, 여기서 설명하는 심리적 원칙과 규칙에 따라 각 슬라이드를 검토한 다음, 결함이 발견되는 대로 수정하는 것이다. 또한 발표자들은 일반적인 발표 실수, 특히 청중이 매우 짜증스럽게 보고하는 실수를 피하기 위해 부록에 대한 검토를 원할 수 있다. 잘 설계되지 않은 슬라이드를 보완하도록 설계된 프레젠테이션 기법(예: 작은 글자로 큰 소리로 슬라이드를 읽는 것)이 때때로 역효과를 일으켜 청중이 흥미를 잃고 튜닝을 하지 못하게 할 수 있다는 점을 유념할 필요가 있다. 청중들에게 불필요한 일을 하게 하는 것은 성공적인 발표를 위한 비법이 아니다.
In short, we have documented that there is plenty of room for improvement in the design of electronic slideshow presentations. The psychological principles apparently are not entirely obvious, nor do people always respect them instinctively. Perhaps the best way to avoid such flaws is to prepare a slideshow draft, review each slide according to the psychological principles and rules we describe here, and then correct flaws as they are detected. Presenters may also want to review the Appendix in order to avoid common presentation mistakes, particularly those that the audience reports as highly annoying. It is worth noting that presentation techniques designed to compensate for poorly designed slides (such as reading aloud slides with miniscule text), may sometimes backfire – causing the audience to lose interest and tune out. Making your audience do unnecessary work is not a recipe for a successful presentation.
Front Psychol.2012 Jul 17;3:230. doi: 10.3389/fpsyg.2012.00230. eCollection 2012.
PowerPoint(®) Presentation Flaws and Failures: A Psychological Analysis.
Center for Advanced Study in the Behavioral Sciences, Stanford University Stanford, CA USA.
Abstract
Electronic slideshow presentations are often faulted anecdotally, but little empirical work has documented their faults. In Study 1 we found that eight psychological principles are often violated in PowerPoint(®) slideshows, and are violated to similar extents across different fields - for example, academic research slideshows generally were no better or worse than business slideshows. In Study 2 we found that respondents reported having noticed, and having been annoyed by, specific problems in presentations arising from violations of particular psychological principles. Finally, in Study 3 we showed that observers are not highly accurate in recognizing when particular slides violated a specific psychological rule. Furthermore, even when they correctly identified the violation, they often could not explain the nature of the problem. In sum, the psychological foundations for effective slideshow presentation design are neither obvious nor necessarily intuitive, and presentation designers in all fields, from education to business to government, could benefit from explicit instruction in relevant aspects of psychology.
거꾸로 교실: 보건전문직대학에서 학습과 참여를 촉진하기 위한 과목 재설계(Acad Med, 2014)
The Flipped Classroom: A Course Redesign to Foster Learning and Engagement in a Health Professions School
Jacqueline E. McLaughlin, PhD, MS, Mary T. Roth, PharmD, MHS, Dylan M. Glatt, Nastaran Gharkholonarehe, PharmD, Christopher A. Davidson, ME, LaToya M. Griffin, PhD, Denise A. Esserman, PhD, and Russell J. Mumper, PhD
최근 몇 년 동안 미국의 대학들은 학생들을 제대로 교육시키지 못한 것으로 인해 상당한 조사scrutiny를 받았다. 고등교육의 질에 대한 계속되는 우려는 1,3,4 개혁에 대한 많은 요구들을 불러일으켜 전통적인 교과과정을 변화시킬 필요성에 관심을 끌고 있다.
In recent years, colleges and universities in the United States have faced considerable scrutiny for their apparent failure to adequately educate students. Ongoing concerns about the quality of higher education have prompted numerous calls for reform,1,3,4 drawing attention to the need to transform traditional curricula
의과, 간호, 약학 대학들은 모두 학생들이 사회의 진화하는 건강 관리 요구를 충족시킬 수 있도록 더 잘 준비하도록 해야 한다는 도전을 받아왔다. 1910년 Flexner 보고서 이후, 교육을 체계화하여 보건 전문가 지망생들에게 전달하는 방식에는 거의 변화가 없었으며, 수업 중 강의는 전국 대부분의 교실에서 계속 이루어지고 있다.10
Medical, nursing, and pharmacy schools all have been challenged to better prepare their students to meet the evolving health care needs of society.5–8 Since the 1910 Flexner report,9 little has changed in the way that education is structured and delivered to aspiring health professionals, and in-class lectures continue to prevail in the vast majority of classrooms across the country.10
점점 더 많은 문헌에서 지속적으로 교실에서 일어나고 있는 일을 재고해야 할 필요성을 지적한다. 수업 시작 10분 후 학생들의 주의가 실질적이고 꾸준히 감소하고 의대생의 평균 주의 시간이 수업 시작 15분에서 20분이라는 연구 결과가 나왔다. 비록 학생들의 관심이 수업 마지막 몇 분 동안 돌아오지만, 14 그들은 그 시간 동안 제시된 자료의 20%만 기억한다.15 게다가, 한 시간 동안 진행되는 강의에서 수동적인 학습은 종종 학생들을 지루하게 하고 풍부한 교육 경험을 빼앗을 수 있다.16 학생들은 스스로 정보를 읽고 배울 수 있지만, 그들은 [생각을 자극하고 도전하고, 문제를 해결하는 데 지도하며, 그들의 학습과 자료의 적용을 장려하는 코치나 멘토 역할]을 할 instructor가 필요하다.17
A growing body of literature consistently points to the need to rethink what is taking place in the classroom. Research shows that students’ attention declines substantially and steadily after the first 10 minutes of class11,12 and that the average attention span of a medical student is 15 to 20 minutes at the beginning of class.13 Although students’ attention returns in the last few minutes of class,14 they remember only 20% of the material presented during that time.15 Furthermore, passive learning in hourlong lectures often bores students and can deprive them of rich educational experiences.16 Students can read and learn information on their own, but they need instructors to act as coaches and mentors to stimulate and challenge their thinking, guide them in solving problems, and encourage their learning and application of the material.17
팀워크, 토론, 자기 성찰, 사례 연구와 같은 적극적인 학습활동은 학생들의 참여와 성찰을 촉진하여 태도와 가치를 탐구하는 동시에, 지식을 습득하고 기술을 강화하도록 장려한다.18 적극적인 학습에 학생들을 참여시키는 것이 학습 성과를 향상시킨다는 것을 보여준다. 그리고 그들의 동기부여와 태도를 개선한다.19–21 또한 능동적인 학습은 고차적 사고, 문제 해결 및 비판적 분석을 촉진하는 동시에 학생과 강사 모두에게 피드백을 제공한다.21,22
Active learning exercises, such as teamwork, debates, self-reflection, and case studies, that prompt students’ engagement and reflection encourage them to explore attitudes and values, while fostering their motivation to acquire knowledge and enhance skills.18 Evidence shows that engaging students in active learning enhances their learning outcomes and improves their motivation and attitudes.19–21 Moreover, active learning stimulates higher-order thinking, problem solving, and critical analysis while providing feedback to both the student and instructor.21,22
뒤집힌 교실(역, 역, 역, 역으로도 알려져 있음)에서 강사들은 강의 내용을 미리 녹음하여 학생들이 스스로 시청할 수 있도록 인터넷에 게시하여 수업 시간이 문제 기반 학습과 탐구 지향 전략과 같은 학생 중심의 학습 활동에 전념할 수 있도록 한다. 이 접근법은 강사에게 광범위한 학습 스타일을 적용할 기회를 주며, 수업 시간에는 문제 해결을 장려하는 교육 과정을 구현할 수 있는 기회를 제공한다. 또한, 수업을 flip하여 강사들이 각 학생에게 적합한 다양한 학습 경험을 개발할 수 있다.17
In the flipped classroom (also known as the reverse, inverse, or backwards classroom), instructors prerecord lectures and post them online for students to watch on their own so that class time can be dedicated to student-centered learning activities, like problem-based learning and inquiry-oriented strategies.17,23–25 This approach provides instructors with opportunities to engage a wide range of learning styles and implement pedagogies that encourage problem solving during dedicated class time. In addition, flipping the classroom empowers instructors to develop different learning experiences appropriate for each student.17
가장 중요한 것은 뒤집힌 교실 모델이 학생 중심이라는 것이다. 각 학생은 자료에 대한 기본적 이해를 가지고 수업에 나와 수업 토론에 충분히 참여할 책임이 있다. 따라서 내용 습득은 스스로 진행되며, 스스로 콘텐츠를 보는 시기와 양을 통제할 수 있게 한다. 강사들은 학습을 용이하게 하기 위해 학생들을 콘텐츠로 안내하고, 상호작용 경험을 정리하고, 학생들이 창의적으로 생각하도록 유도하며, 전문가의 통찰력과 피드백을 제공한다. 강의실 내의 풍부하고 개방적인 경험은 학생들이 중요한 인지 개발을 촉진하고 협업을 통해 혁신을 촉진함으로써 성공을 준비한다.17
Most important, the flipped classroom model is student-centered. Each student is responsible for coming to class with a basic understanding of the material, so that she or he can fully participate and engage in class discussion. Content acquisition then is self-paced and self-guided, enabling students to control when and how much content they view. To facilitate learning, instructors guide students to the content, organize interactive experiences, challenge students to think creatively, and provide expert insight and feedback. Rich, open-ended experiences within the classroom equip students for success by fostering critical cognitive development and promoting innovation through collaboration.17
우리는 1학년 약대생들에게 필요한 대학원의 건강 전문 강좌를 개설했다.
we flipped a graduate-level health professions course in pharmaceutics required for first-year pharmacy students.
본 문서는 보건 직업 학습 환경 및 그 이상의 대규모 학생 코호트에서 학습 경험을 전환하기 위한 혁신적이고 실용적인 전략을 개발, 구현 및 평가하고자 하는 강사 및 교육 프로그램에 대한 지침 역할을 하기 위한 것이다.
This article is intended to serve as a guide to instructors and educational programs seeking to develop, implement, and evaluate innovative and practical strategies to transform the learning experience in a large cohort of students within a health professions learning environment and beyond.
과목 재설계
Course Redesign
우리의 강의 재설계는 우리 학생들의 교육 경험을 변화시키고, 수업 내 활동적인 학습을 강화하려는 학생들의 요구에 부응하려는 열망에서 영감을 받았다. 그 당시, 주로 전통적인 강의로 이루어진 우리 교실에 채용된 방법론이 수십 년 동안 크게 변하지 않았다는 집단 인식의 결과로, 점점 더 많은 수의 교실 혁신들이 노스 캐롤라이나 대학 에셀만 약학대학에 스며들고 있었다. 우리의 코스 재설계의 목표는
(1) 학생의 학습을 개선하고 학생을 비판적 사고자, 문제 해결자, 팀 플레이어로 개발한다.
(2) 학습 과정 전반에 걸쳐 학생과 강사를 완전히 참여시킨다.
(3) 창조적 기술과 응용 학습을 통해 고차적 사고를 자극한다.
Our course redesign was inspired by a desire to transform the educational experiences of our students and to meet students’ requests for enhanced in-class active learning exercises.26,27 At the time, an increasing number of classroom innovations were permeating the University of North Carolina (UNC) Eshelman School of Pharmacy as the result of a collective awareness that the methodologies employed in our classrooms, which consisted mainly of traditional lectures, had remained largely unchanged for decades. The goals of our course redesign were to
(1) improve students’ learning and develop students as critical thinkers, problem solvers, and team players;
(2) fully engage students and instructors throughout the learning process; and
(3) stimulate higher-order thinking through the use of creative technologies and applied learning.
과목 설명
Course description
약대생들의 약 120명의 전임교직원과 620명의 의사가 3개의 캠퍼스(채플힐의 주요 UNC 캠퍼스 및 엘리자베스 시티와 아셰빌의 위성 캠퍼스)에 수용되어 있다.
The approximately 120 full-time faculty and 620 doctor of pharmacy students are housed on three campuses (the main UNC campus in Chapel Hill and satellite campuses in Elizabeth City and Asheville).
기초약학 II(PHCY 411)는 1학년 전문직 학생들에게 필요한 1년 과정의 두 번째 과정이다.
Basic Pharmaceutics II (PHCY 411) is the second course in a yearlong sequence required for first-year professional students.
본 코스를 재설계하기 전 9년 동안, 코스 코디네이터(R.J.M)는 전통적인 강의 형식을 사용하여 PHCY 411을 전달하였다(보충 디지털 그림 1, http://links.lww.com/ACADMED/A177 참조). 이 강의는 75분짜리 강의와 가끔 15분짜리 적극적인 학습 활동(퀴즈 또는 페어&쉐어 활동). 학생들의 지식을 평가하기 위해 강사들은 시험을 이용했다. 문제의 약 75%는 객관식이었고, 나머지는 단답형 및 논술형 문제였다.
In the nine years prior to this course redesign, the course coordinator (R.J.M.) delivered PHCY 411 using a traditional lecture format (see Supplemental Digital Figure 1, http://links.lww.com/ ACADMED/A177), which consisted of a 75-minute lecture and an occasional 15-minute active learning activity (quiz or pair & share activity).28,29 To assess students’ knowledge, instructors used examinations—approximately 75% of the questions were multiple-choice, while the remaining were short-answer and essay questions.
새로운 과목 형식
New course format
그림 1에서 보듯이, PHCY 411 뒤집힌 교실에서, 우리는 수업 시간 중 모든 강의를 자습하는 온라인 비디오로 오프로드하고, 예정된 수업 시간을 네 번의 능동적 학습활동으로 채웠다. 뒤집힌 교실의 평가에는 보다 비판적인 사고와 문제 해결 연습을 포함하도록 고안된 풍부한 도구들이 포함되었다.
As shown in Figure 1, in the PHCY 411 flipped classroom, we offloaded all in-class lectures to self-paced online videos and filled the scheduled class time with four active learning exercises. Assessment in the flipped classroom included a rich mixture of instruments designed to encompass more critical thinking and problem-solving exercises.
우리는 우리의 PHCY 411 뒤집힌 교실에서 세 가지 필수 요소, 즉 오프로드된 내용, 학생 중심 학습, 그리고 적절한 평가에 초점을 맞췄다.
we focused on three essential elements in our PHCY 411 flipped classroom: offloaded content, student-centered learning, and appropriate assessment.
수업 전 내용
Offloaded content.
UNC Esselman 약학대학원에서, 우리는 오프로드된 강좌 콘텐츠를 통합 학습 가속기 모듈(iLAM)이라고 부른다. 우리는 Echo360 강의실 캡쳐를 사용하여 25개의 컨텐츠 중심 iLAM을 미리 녹음하여 학생들이 어떤 컴퓨터나 인터넷이 가능한 기기에서도 언제든지 접속할 수 있는 웹 기반 학습 관리 시스템인 Sakai,31에 내장된 웹 사이트로 오프로드했다.31 학생들은 비디오를 일시 중지, 되감기, 빠르게 전달할 수 있었고 각각의 iLAM을 여러 번 볼 수 있게 되었고, 이것은 학생들이 그들 자신의 속도로 배울 수 있게 했다. 2011년 PHCY 411을 제공하기 위해 사용되는 PowerPoint 슬라이드의 iLAM을 채택하고, 중요한 개념, 정보 및 그림만 강조하도록 설계하였다.
At the UNC Eshelman School of Pharmacy, we refer to offloaded course content as an integrated learning accelerator module (iLAM).26,27 We prerecorded 25 content-focused iLAMs using Echo360 Classroom Capture30 and offloaded them to a Web site embedded in Sakai,31 a Web-based learning management system that students could access at any time on any computer or Internet-enabled device.31 Students had the ability to pause, rewind, and fast forward the videos and were allowed to view each iLAM multiple times, which enabled students to learn at their own pace. We adapted the iLAMs from PowerPoint slides used to deliver PHCY 411 in 2011 and designed them to emphasize only critical concepts, information, and illustrations.
최종 콘텐츠 중심의 iLAM을 개발하는 데 있어 한 가지 특별한 도전은 예년에 사용된 약 29시간의 강의를 통합consolidate하는 것이었다. 그러나, 우리는 이 단계가 학생들의 수업 외 준비 시간을 최소화하고 학생들이 수업에 오기 전에 배워야 할 중요한 개념만을 강조하기 위해 필요하다고 생각했다. 각 iLAM의 평균 길이는 34.6분(범위 21~55분)이었으며, 총 25개 강의의 총 시청 시간은 14.4시간이었다.
One particular challenge in developing the final content-focused iLAMs was consolidating about 29 hours of lectures used in previous years. However, we deemed this step necessary both to minimize students’ out-of-class preparation time and to emphasize only the critical concepts students needed to learn prior to coming to class. The average length of each iLAM was 34.6 minutes (range of 21–55 minutes), with a total viewing time for all 25 lectures of 14.4 hours.
학생중심학습
Student-centered learning.
미리 녹음된 iLAM과 배정된 교과서 및 배경 판독값을 수업 전 학생들의 준비 도구로 지정하여, 수업 내 모든 수업 시간은 학생들의 지식을 평가하고 비판적 사고를 촉진하며 토론을 촉진하기 위해 고안된 학생 중심의 학습활동에 전념하였다. 일반적으로 각 75분 수업은 다음과 같은 활동을 수용했다(그림 1 참조).
With prerecorded iLAMs and assigned textbook and background readings designated as preparatory tools for students prior to class, every in-class period was devoted to student-centered learning exercises designed to assess their knowledge, promote critical thinking, and stimulate discussion. In general, each 75-minute class accommodated the following activities (see Figure 1).
활동 #1(청중 응답 및 개방형 질문)28,29클리커(또는 청중의 반응) 질문과 개방형 질문을 사용하여 할당된 iLAM과 수업 시작 시 판독치에 제시된 기본 개념에 대한 학생들의 이해를 평가했다. UNC Esselman 의 약학대학원은 모든 학생들이 이 프로그램에 합격시에 클릭커를 구매할 것을 요구한다. 수업 중에 강사는 7~10개의 질문 각각에 응답하기 위해 약 30초를 주었다. 그런 다음 강사는 반응을 분석하고 즉각적인 피드백과 관점을 제공했다. 클릭자 질문에 이어 강사는 iLAM, 판독치 또는 기타 관련 출처에 제공된 내용을 다루는 학생들로부터 질문을 받았다.
Activity #1 (audience response and open questions).28,29 We assessed students’ understanding of the basic concepts presented in the assigned iLAMs and readings at the beginning of class using clicker (or audience response) questions and open questions. The UNC Eshelman School of Pharmacy requires that all students purchase a clicker on acceptance into the program. During class, the instructor gave students approximately 30 seconds to respond to each of 7 to 10 questions. The instructor then analyzed the responses and provided immediate feedback and perspective. Following the clicker questions, the instructor invited questions from students that addressed content provided in the iLAMs, readings, or other related sources.
활동 #2(페어&쉐어 활동).28,29 각 수업은 세 가지 다른 유형의 페어&쉐어 활동 중 하나를 포함한다: 신속, 성찰, 사전 예방.
신속한 페어&쉐어 활동에서, 강사는 수업 시간에 토론 질문을 제시하고 학생들이 서로 짝을 이루고 아이디어를 공유할 수 있는 시간을 주었다. 그런 다음 학생들은 강사의 요구에 따라 자신의 아이디어를 강의실에 제시했고, 강사는 피드백, 관점, 그리고 토론을 확대했다.
이와는 대조적으로, 강사는 코스 웹사이트의 포럼 섹션에 수업 24시간에서 36시간 전에 온라인에 서찰적 페어&쉐어 질문을 올렸고, 학생들은 다음 수업 전에 체계적이고 잘 숙고된 답변(필요하다면 참고문헌이 있는 400단어)을 제공해야 했다. 강사는 반사적인 쌍과 질문을 공유하기 위해 특정 응답을 선택하고 수업 중에 토론하기 위해 제시하였다.
마지막으로, 학생 자원자들이 proactive하게 페어&쉐어 질문을 준비했다. 이 경우, 강사로부터 의견을 받은 한두 명의 학생이 강의 주제와 관련된 토론의 설계, 준비 및 조정을 담당했다. 본질적으로, 이 학생들은 해당 수업 중에 강사로 기능했다. Proactive 페어&쉐어 연습의 총 실행에는 5시간에서 7시간이 걸렸다.
Activity #2 (pair & share activities).28,29 Each class included one of three different types of pair & share activities: rapid, reflective, or proactive.
In rapid pair & share activities, the instructor presented a discussion question in class and gave students time to pair together and share ideas with one another. The students then presented their ideas to the class as requested by the instructor, who then followed up with feedback, perspective, and expanded discussion.
In contrast, the instructor posted reflective pair & share questions online 24 to 36 hours before class in the forum section of the course Web site, and students were required to provide a structured and well-thought-out answer (<400 words, with references if needed) prior to the next class. The instructor selected certain responses to reflective pair & share questions and presented them for discussion during class.
Finally, student volunteers prepared proactive pair & share questions. In this exercise, one or two students, with input from the instructor, were responsible for designing, preparing, and moderating a discussion related to the class topic. In essence, they functioned as the instructor during the corresponding in-class exercise. Total execution of the proactive pair & share exercise took 5 to 7 hours.
활동 #3(학생 프레젠테이션 및 토론) 이 활동에서, 4~5명의 학생들로 구성된 한 그룹은 배정된 읽기의 요약과 해석을 제시하고, 주제와 관련된 자료들에 대한 다른 학생들의 질문에 대답할 책임이 있다. 각 학급별로 최대 3개 그룹에게 발표 자료를 작성하여 제출하도록 하였다. 주사위 굴리기 방식으로, 강사는 강의실 토론을 주도할 세 그룹 중 하나를 무작위로 선정했다. 모든 그룹은 발표 대상자 선정 여부와 상관없이 발표 자료로 등급이 매겨졌고, 각 그룹의 모든 학생들은 같은 점수를 받았다. 단체들은 학기 중 두 차례 발표 자료를 준비해야 했고, 학생 한 명당 평균 총 작업시간은 3~5시간이었다. 대다수의 집단은 한 번, 단 두 개의 집단은 두 번 발표하도록 선택되었다.
Activity #3 (student presentations and discussion). In this activity, one group of four or five students was responsible for presenting a summary and interpretation of the assigned readings and answering other students’ questions about material related to that class’s topic. For each class, up to three groups were asked to prepare and submit presentation materials. By a dice roll, the instructor randomly selected one of those three groups to present and lead the in-class discussion. All groups were graded on their presentation materials regardless of whether they were selected to present, and all students in each group received the same grade. Groups were required to prepare presentation materials twice during the semester, and the average total work for each student was three to five hours for each preparation. The majority of groups presented once; only two groups were chosen to present twice.
활동 #4(개별 퀴즈 또는 쌍별 퀴즈). 각 수업이 끝날 때마다 강사는 10문제짜리 객관식 퀴즈를 보았다. 그리고 나서, 그는 전체 학생 업무량과 시험 일정에 따라 8개 학급에서 등급에 이르는 퀴즈를 골랐다. 퀴즈가 시행되었을 때, 강사는 학생들에게 그것이 그들의 최종 성적에 기여할지 여부를 통지했다. 각각의 퀴즈는 그 수업의 내용만을 다루었고, 어떤 경우에는 학생들이 짝을 지어 일하도록 허용하고 그 질문들에 대해 공개적으로 토론하도록 했다. 이 활동은 학생들이 코스 내용을 최신 상태로 유지하고 서로 배우도록 격려하고, 과정이 진행됨에 따라 강사에게 귀중한 피드백을 제공하였다.
Activity #4 (individual or paired quiz). At the end of each class, the instructor administered a 10-question multiple-choice quiz on paper; then, he selected the quizzes from eight classes to grade based on overall student workload and exam schedule. At the time the quiz was administered, the instructor notified the students whether it would contribute to their final grade. Each quiz covered only that class’s material, and, in some cases, students were permitted to work in pairs and openly discuss the questions. This activity encouraged students to stay current with the course content and learn from one another, and provided valuable feedback to the instructor as the course progressed.
소강의 .32 PHCY 411 뒤집힌 강의실의 중요한 구성 요소는 강사가 학생들의 학습을 강화하고 필요한 경우 방향을 전환하기 위해 사용하는 소강의이었다. 이러한 소강의는 전형적으로 1분에서 3분 정도 길이였으며, 교실 역학을 기초로 필요할 때 통합되었다. 소강의는 강사가 학생들을 활동적인 학습 환경의 혼란으로부터 "좋은 장소good place"로 되돌려 놓을 수 있는 기회를 제공했을 뿐만 아니라, 학생들로 하여금 [혼란이 있더라도 교수가 명확한 설명과 관점을 제공해줄 것]이라고 알게 함으로써, 학생들이 스스로 탐구하고 확장할 수 있도록 강화했다.
Microlectures.32 A critical component of the PHCY 411 flipped classroom was the microlecture, used by the instructor to reinforce and, if needed, redirect students’ learning. These microlectures were typically one to three minutes in length and were incorporated when needed on the basis of classroom dynamics. Not only did the microlectures provide an opportunity for the instructor to bring the students back to a “good place” from the chaos of an active learning environment but they also reinforced the idea that students could, in fact, explore and extend themselves knowing that the instructor would provide clarity and perspective when confusion ensued.
적절한 평가.
Appropriate assessment.
적절한 평가는 코스 재설계의 중심 신조였다. 클리커 질문, 페어&쉐어 활동과 같은 적극적인 참여 활동은 강사가 학생들의 학습에 대한 실시간 형성평가를 할 수 있도록 하고, 학생들의 지식의 gap이나 오해와 관련하여 즉각적인 피드백을 제공할 수 있도록 했다. 학생 프레젠테이션(최종 성적의 1.6%에 해당) 8개 등급의 퀴즈(총 12.9%), 3개의 예정된 시험(각각 16.1%), 종합 및 누적 최종 시험 1회(32.3%)이 과정 내용에 대한 학생들의 이해를 평가하고 원하는 학습 성과와 목표를 달성할 수 있는 학생들의 능력을 측정했다.
Appropriate assessment was a central tenet of the course redesign. Active engagement activities, like clicker questions and pair & share activities, enabled instructors to make real-time, formative assessments of students’ learning and provide immediate feedback concerning misconceptions or gaps in students’ knowledge.
Students’ presentations (worth 1.6% of the final grade),
eight graded quizzes (worth a total of 12.9%),
three scheduled examinations (each worth 16.1%), and
one comprehensive and cumulative final examination (worth 32.3%)
...assessed students’ understanding of the course content and measured students’ ability to achieve desired learning outcomes and objectives.
학기 초에 배정된 두 개의 프로젝트는 추가적인 실습 기회를 제공하고, 더 높은 수준의 사고를 장려하며, 블룸의 학습 분류 체계 상단과 일치하도록 학생들의 분석, 종합, 평가 능력을 평가했다.34 첫 번째 프로젝트(패키지 삽입 분석, 4.8% 가치) 식품의약품안전청이 승인한 제품의 처방 정보에 PHCY 410 및 PHCY 411에서 학습한 개념을 적용한다. 두 번째 프로젝트(임상적 이론적 제안 개요)는 학생들에게 임상적 단점을 식별하고, 치료를 위한 투여량 양식을 설계하고, 3페이지 분량의 연구 제안 개요를 작성하도록 요청했다. 그러나 본 코스가 끝나기 전에 우리는 이 두 번째 프로젝트를 최대 3.2%의 추가 비용에 해당하는 선택적 보너스 연습으로 전환했다. 강의 시작 시 강사는 두 프로젝트의 예를 코스 웹 사이트에 게시했다.
Two projects assigned at the beginning of the semester provided additional practice opportunities, encouraged higher-order thinking, and assessed students’ ability to analyze, synthesize, and evaluate material, consistent with the top of Bloom’s Taxonomy of Learning.33,34 The first project (package insert analysis, worth 4.8%) required students to apply the concepts they learned in PHCY 410 and PHCY 411 to the prescribing information of a Food and Drug Administration–approved product. The second project (clinical pharmaceutics proposal outline) asked students to identify a clinical shortcoming, design a dosage form for treatment, and write a three-page research proposal outline. However, prior to the end of the course, we converted this second project to an optional bonus exercise worth up to an additional 3.2%. At the beginning of the course, the instructor posted examples of both projects to the course Web site.
마지막으로, 학생들은 온라인에서 성찰적 페어&쉐어 질문에 응답하거나(추가적인 1.6%에 해당), 사전 예방적 쌍과 공유 활동을 촉진하는 것에 대해 보너스 점수를 받았다(추가적인 3.2%에 상당).
Finally, students received bonus points for responding online to reflective pair & share questions (worth up to an additional 1.6%) or facilitating a proactive pair & share activity (worth up to an additional 3.2%).
과목 도입
Course implementation
우리는 그 뒤집힌 교실이 대부분의 학생들에게 새로운 경험일 가능성이 있다는 것을 인정했다. 그들의 이행transition을 용이하게 하기 위해, 우리는 코스에 대한 철저한 설명과 재설계의 동기를 상세히 설명하는 설명을 포함하는 포괄적인 실라버스를 제공했다. 또한, 우리는 학생들이 각 수업 전에 오프로드된 자료를 검토하고 수업 중 훈련에 적극적으로 참여할 것이라는 우리의 기대를 강조하는 코스의 성공 요령을 담은 가이드를 제공했다.
We recognized that the flipped classroom was likely a new experience for most students. To ease their transition, we provided a comprehensive syllabus that included a thorough description of the course and an explanation detailing our motivation for the redesign. In addition, we provided a guide with tips for success in the course, which emphasized our expectations that the students would review the offloaded material prior to each class and would actively engage in the in-class exercises.
이번 학기 내내, 우리는 이 새로운 형식 하에서 학생들의 수업 업무량 균형을 맞추는 능력을 면밀히 모니터했다. 우리는 학생들에게 부담을 주거나 기회를 제한하지 않고, 이 새로운 역동적인 환경에서 학생들의 강의 자료 탐색을 촉진하는 데 전념했다. 우리는 학생들이 학기 중에 계속해서 초기 투자해야 한다는 것을 인정했지만, 우리는 이 투자가 학생들이 시험 전에 공부하는데 시간을 덜 써야 하기 때문에 배당금을 지불했다paid dividends고 믿었다. 통상적인 비공식적인 학생 투표로, 우리는 학점당 수업 외 시간의 총 시간이 UNC 지침과 일치하도록 보장했다. 예를 들어, 학생들의 피드백에 대응하여, 우리는 임상 의학 제안서 개요 프로젝트를 학생들의 작업부하의 균형을 더 잘 맞추기 위해 선택적인 보너스 연습으로 전환하기 위해 학기 내내 약 4분의 3을 선택했다.
Throughout the semester, we closely monitored the students’ ability to balance the course workload under this new format. We were committed to facilitating students’ exploration of the course material in this new dynamic environment without burdening them or limiting their opportunities. We recognized that students had to invest time upfront and continuously during the semester, but we believed that this investment paid dividends as it required students to spend less time studying prior to exams. By routine, informal student polling, we ensured that the total out-of-class time per credit hour was consistent with UNC guidelines. In response to students’ feedback, for example, we chose about three-quarters of the way through the semester to convert the clinical pharmaceutics proposal outline project into an optional bonus exercise to better balance students’ workload.
뒤집힌 교실을 실행할 때, 우리는 교수진 시간과 자원도 고려할 것을 권고한다. 2012년에 교수진은 기존의 강의실을 준비하기 위해 2011년에 필요했던 것보다 뒤집힌 강의실을 준비하는 데 127%의 시간이 더 필요했다(보충 디지털 표 1, http:// 참조). 이러한 투입시간 증가의 이유는 강의 녹화, 능동적 학습활동 준비, 그리고 학업과 시험에 필요한 여분의 시간에 있었다. 그러나 리소스 재사용 능력과 코스 설계에 통합된 효율성 향상으로 2013년에 이러한 시간 약속을 줄일 수 있을 것이다.
When implementing the flipped classroom, we recommend that faculty time and resources also be taken into consideration. In 2012, faculty needed 127% more time to prepare the flipped classroom than they needed in 2011 to prepare the traditional classroom (see Supplemental Digital Table 1, http:// links.lww.com/ACADMED/A177). We attributed this increase in time commitment (93% for the teaching assistant and 170% for faculty) to the extra time required to
capture lectures,
prepare active learning exercises, and
grade projects and examinations.
However, the ability to reuse resources and greater efficiencies incorporated into the course design will reduce these time commitments in 2013.
우리의 뒤집힌 교실 모델은 특히 사려 깊은 서면 피드백을 제공하는 것과 관련이 있기 때문에, 수업 촉진을 제외하고, 강사의 효율성과 전문성 수준에서 기능하는 고도로 훈련된 교사 보조자를 필요로 했다. 우리의 모델은 또한 보조교사가 주당 20시간(또는 학기당 약 260~270시간)을 이 과정에 할애하여 풀타임으로 일하도록 요구하였다. 2011년과 2012년 모두, 조교수는 Molecular Pharmakistics 부서에서 정규 박사 과정을 밟았고, 수업 참석, 근무 시간, 학생들과 의사소통, 과제 준비 및 등급 부여를 했다(보충 디지털 표 1, http://links.lww.com/ ACADMED/A177 참조).
Our flipped classroom model required a highly trained teaching assistant, who, except for class facilitation, functioned at the level of efficiency and expertise of the instructor, especially as it related to providing thoughtful written feedback. Our model also required that the teaching assistant work full-time, committing 20 hours per week (or about 260–270 hours per semester) to the course. In both 2011 and 2012, the teaching assistant was a full-time PhD student in the Division of Molecular Pharmaceutics who attended classes, held office hours, communicated with students, and prepared and graded assignments (see Supplemental Digital Table 1, http://links.lww.com/ ACADMED/A177).
교수진은 2013년에 2012년에 비해 필요시간이 크게 줄어들겠지만, 보조교사의 소요시간은 거의 동일할 것이다.
Although faculty will see a significant drop in time commitment in 2013 compared with 2012, the teaching assistant’s time commitment will be about the same.
과목 성과
Course Outcomes
과정 전·후 조사의 참여는 자발적이었지만, 코스 평가 참여는 코스에서 점수를 받도록 하였다. 과정 평가에 대한 식별자와 인구통계학적 정보를 수집하지 않았기 때문에, 우리는 학생들의 반응을 다른 수집된 데이터와 연결할 수 없었다.
Participation in the pre-and post- course surveys was voluntary; however, participation in the course evaluation was required to receive a grade in the course. Because we did not collect identifiers and demographic information on the course evaluations, we could not link students’ responses to any other collected data.
표 1은 2011 및 2012년 전체 인구 자료
Table 1 for complete 2011 and 2012 demographics
2012년 조사 응답자 중 82.0%는 25개의 iLAM을 모두 청취한다고 응답했으며, 15.3%는 20~24개의 iLAM을 청취하는 것으로 응답했다. 다음으로 79.3%는 일주일에 한 번 이상 iLAM을 시청하는 것으로 응답했으며, 19.3%는 주당 1개의 iLAM을 시청한다고 응답했다. 학생들은 학기 내내 과정 웹 사이트 194.09 ± 90.02회, iLAM 사이트 39.37 ± 16.84회에 접속했다. 온라인 참여척도와 기말고사 성적 사이의 모든 상관관계는 약했다(r = -0.04 p ~ r = 0.20). p 완료된 추가 신용 활동 수와 원시 최종 코스 등급 사이의 상관관계는 중간 수준이었다(r = 0.34). p
Of survey respondents in 2012, 82.0% reported listening to all 25 iLAMs, while an additional 15.3% reported listening to 20 to 24 iLAMs. Next, 79.3% reported watching iLAMs more than once a week, with an additional 19.3% reporting watching one iLAM per week. On average, students accessed the course Web site 194.09 ± 90.02 times and the iLAM site 39.37 ± 16.84 times throughout the semester. All correlations between online engagement measures and final exam performance were weak (r = −0.04 p to r = 0.20). The correlation between p the number of completed extra credit activities and raw final course grade was moderate (r = 0.34). p
Table 2
게다가, FC에서 출석률이 더 높았고(P = .03) 독립 t 검정에서는 2011년(160.06 ± 14.65)에 비해 2012년(165.48 ± 13.34) 기말고사 성적 사이에 통계적으로 유의미한 차이(P = .001)가 나타났다.
Furthermore, attendance was higher in the flipped classroom (P = .03), and an independent t test showed a statistically significant difference (P = .001) between final exam grades (out of 200 points) in 2012 (165.48 ± 13.34) compared with those in 2011 (160.06 ± 14.65).
Table 3
코스 후 조사에서 학생들에게 iLAM의 가용성이 가장 큰 이점을 제공하는 3가지 방법을 선택하도록 요청했을 때, 90.0%는 iLAM이 "각 수업 시간에 대비할 수 있도록 도와줬다"고 답했고, 58.0%는 "내 속도로 학습할 수 있게 했다"고 답했고, 47.3%는 "시험 준비를 할 수 있게 했다"고 답했다. 47.3%는 iLAM이 "내 전체 학습 능력을 향상시켰다"고 지적했다. 91%의 학생들은 뒤집힌 교실의 전반적인 수업 형식이 학습을 크게 향상시켰다는 것에 강하게 동의하거나 동의했다. 전통적인 강의 형식에 대한 선호도는 전코스 조사의 109명(72.7%)에서 23명(15.4%)으로 감소했고, 뒤집힌 강의실 형식에 대한 선호도는 41명(27.3%)에서 126명(84.6%)으로 증가했다.
When students were asked on the postcourse survey to select up to three ways that the availability of iLAMs provided the most benefit, 90.0% indicated that the iLAMs “helped me prepare for each class session,” 58.0% indicated that the iLAMs “allowed me to learn at my own pace,” 47.3% indicated that the iLAMs “helped me prepare for the exams,” and 47.3% indicated that the iLAMs “improved my overall learning.” Ninety-one percent of students strongly agreed or agreed that the overall course format of the flipped classroom greatly enhanced their learning. Preference for the traditional lecture format decreased from 109 students (72.7%) in the precourse survey to 23 students (15.4%) in the postcourse survey, while preference for the flipped classroom format increased from 41 students (27.3%) to 126 students (84.6%)
(P < .001, 그림 2 참조). 어떤 학생도 flipped에서 traditional format으로 선호 방식이 바뀌지는 않았다.
(P < .001, see Figure 2). No students changed their preference from the flipped to traditional format.
다음 단계
Next Steps
우리는 내용물을 오프로드하고, 학생들을 적극적인 학습에 참여시키고, 적절한 성과를 평가하는 것이 학생들의 교실에서 학습 경험을 향상시키는데 필수적이라고 믿는다. 뒤집힌 교실의 개선된 결과는 부분적으로 자율성, 관련성 및 역량을 본질적인 동기 부여에 대한 선천적 필요성으로 식별하는 자기 결정 이론에 의해 설명될 수 있다.35
We believe that offloading content, engaging students in active learning, and appropriately assessing performance are essential for enhancing students’ learning experiences in the flipped classroom. Improved outcomes in the flipped classroom can be explained, in part, by self-determination theory, which identifies autonomy, relatedness, and competence as the innate needs for intrinsic motivation.35
여기서 코스 재설계 접근법을 구체적으로 기술했지만, 다양한 오프로드, 능동적 학습 및 평가 접근법을 이용할 수 있을 것이다. 예를 들어 오프로딩은 대신 장 또는 모듈, 캡처한 비디오, 강사 유인물 또는 교과서 뒤에 평가 도구가 내장된 고수준의 애니메이션 eBook을 사용할 수 있다. 또한, 학생들이 교실에서 능동적인 학습에 참여하도록 하기 위해 많은 다양한 도구를 사용할 수 있다.28,29 우리는 [우리가 사용한 구체적인 방법보다] 교실에서 콘텐츠를 오프로드하고 능동적인 학습에 참여하게 만드는 실천이 훨씬 더 중요하다고 믿는다.
Although we have specifically described our course redesign approach, we recognize that various offloading, active learning, and assessment approaches are available. For example, offloading may instead use high-level animated eBooks with built-in assessment tools after chapters or modules, captured video, instructor handouts, or textbooks. In addition, a plethora of different tools are available to engage students in active learning in the classroom.28,29 We believe that the actual practice of offloading content and engaging in active learning in the classroom is far more important than the specific methods we used.
2013년 봄 PHCY 411까지 다음과 같은 실질적인 변경을 수행했다.
To the spring 2013 PHCY 411, we made the following substantive changes:
1. 우리는 더 이상 교과서를 읽어야 한다고 생각하지 않는다. 왜냐하면 많은 학생들이 교과서가 시대에 뒤떨어진 것은 아닐지라도, redundant하다고 생각했기 때문이다.
1. We no longer considered the textbook to be required reading, because many students found it to be redundant, if not outdated.
2. 우리는 강의에서 배운 개념을 가장 잘 응용하는 12개의 현대 연구 논문의 그룹 토론에 기초하여 학생 발표와 토론을 새로운 30분간의 능동적 학습활동으로 대체했다.
2. We replaced the student presentations and discussion with a new 30-minute active learning exercise based on group discussions of 12 contemporary research articles that best apply concepts learned in the course.
3. 강사는 강의 시간 외 온라인에서 웹사이트를 통해 20분짜리 퀴즈를 관리하고 등급을 매겼다.
3. The instructor administered and graded 20-minute quizzes (taken alone or paired) online outside of class time via the course Web site.
4. 패키지 삽입 분석은 필수 과제로 남았지만, 수업 마지막 날 모든 학생들이 학습 경험으로 다른 세 학생의 프로젝트를 검토하고 등급을 매겼다.
4. The package insert analysis remained a required project; however, on the last day of class, all students reviewed and graded three other students’ projects as a learning experience.
5. 개념 확대, 신기술, 속보, 현행 임상시험, 신약제품, 웹링크 등을 위한 정보 포털로 활용할 수 있는 온라인 411 파마코피디아을 개발했다.
5. We developed an online 411 Pharmacopedia to be used as an information portal for expanding concepts, new technologies, breaking news, current clinical trials, new drug products, and Web links.
Dr. McLaughlin is assistant professor and associate director, Office of Strategic Planning and Assessment, UNC Eshelman School of Pharmacy, Chapel Hill, North Carolina. She was a postdoctoral fellow at the time of the redesign. Dr. Roth is associate professor and director, Office of Strategic Planning and Assessment, and executive director, The Academy, UNC Eshelman School of Pharmacy, Chapel Hill, North Carolina. Mr. Glatt is a PhD student, Division of Molecular Pharmaceutics, UNC Eshelman School of Pharmacy, Chapel Hill, North Carolina. He was teaching assistant for the Basic Pharmaceutics II course at the time of the redesign. Dr. Gharkholonarehe is a pharmacy resident, REX UNC Health Care, Raleigh, North Carolina. She was a student in the Basic Pharmaceutics II course two years before the redesign. Mr. Davidson is director, Office of Educational Technology Research and Development, UNC Eshelman School of Pharmacy, Chapel Hill, North Carolina. Dr. Griffin is teaching assistant professor, Brody School of Medicine, East Carolina University, Greenville, North Carolina. She was a postdoctoral research fellow, Office of Educational Technology Research and Development, UNC Eshelman School of Pharmacy, Chapel Hill, North Carolina, at the time of the redesign. Dr. Esserman is instructor in public health, Yale University, New Haven, Connecticut. She was research assistant professor, Departments of Medicine and Biostatistics, University of North Carolina at Chapel Hill School of Medicine, Chapel Hill, North Carolina, at the time of the redesign. Dr. Mumper is vice dean and professor, Division of Molecular Pharmaceutics, and course coordinator for the Basic Pharmaceutics II course, UNC Eshelman School of Pharmacy, Chapel Hill, North Carolina.
Abstract
Recent calls for educational reform highlight ongoing concerns about the ability of current curricula to equip aspiring health care professionals with the skills for success. Whereas a wide range of proposed solutions attempt to address apparent deficiencies in current educational models, a growing body of literature consistently points to the need to rethink the traditional in-class, lecture-based course model. One such proposal is the flippedclassroom, in which content is offloaded for students to learn on their own, and class time is dedicated to engaging students in student-centered learning activities, like problem-based learning and inquiry-oriented strategies. In 2012, the authors flipped a required first-year pharmaceutics course at the University of North Carolina Eshelman School of Pharmacy. They offloaded all lectures to self-paced online videos and used class time to engage students in active learning exercises. In this article, the authors describe the philosophy and methodology used to redesign the Basic Pharmaceutics II course and outline the research they conducted to investigate the resulting outcomes. This article is intended to serve as a guide to instructors and educational programs seeking to develop, implement, and evaluate innovative and practical strategies to transform students' learning experience. As class attendance, students' learning, and the perceived value of this model all increased following participation in the flippedclassroom, the authors conclude that this approach warrants careful consideration as educators aim to enhance learning, improve outcomes, and fully equip students to address 21st-century health care needs.
The Facilitator Instrument for Team-Based Learning (FIT)
Ruth E. Levinea, Peggy Hsiehb, P. Adam Kellyc, Lisa Carchedid, Jennifer Gibsone, Paul Haidetf, Paul Kolesg, Lindsey Pershernh, Dawnelle Schattei, Brenda Talleyj, Dwight Wolfa, and Britta Thompsonf
배경
Background
TBL은 학생들이 교직원 시간을 크게 늘리지 않고도 대규모 학급에 내장된 작은 팀들에 참여할 수 있게 해주기 때문에 보건과학 교육에서 인기 있는 교육방법으로 자리 잡았다. TBL은 한 명의 교수만 있어도 최대 400명의 학습자로 구성된 대규모 수업에서 성공적으로 수행되는 것으로 알려져 있다.
Because TBL enables students to engage in small teams embedded within large classes without a significant increase in faculty time, it has become a popular pedagogy in health science education. TBL has been purported to be successfully conducted in large classes of up to 400 learners,9 even with only one faculty facilitator.
TBL 진행은 강의와도 다르고 PBL(문제 기반 학습)과 다른 유형의 소그룹 진행과도 다르다.10,11 PBL과 대조적으로, TBL 진행자는 종종 내용 전문가여야 하며 개념을 명확히 하고 세션에서 가장 중요한 점을 강조해야 한다. TBL 조력자는 논의를 가이드하고 많은 학습자 그룹에게 탐색질문을 던져야 한다. TBL 조력자들은 강사와는 대조적으로, 학생들에게서 말하기 보다는 그들과 대화하고 답을 끌어내야 한다. 그들은 토론과 비건설적인 논쟁을 장려하는 동시에 생산적인 논쟁이나 접선적인 토론을 방해함으로써 종종 큰 교실에서 학생들의 팀들 간의 상호작용을 촉진해야 한다.12 비록 고품질의 TBL 촉진을 달성하기 위해서는 독특한 기술이 분명히 필요하지만, 현재까지 특별히 TBL 촉진 퀄리티를 평가하기 위한 어떤 도구도 개발되지 않았다.
TBL facilitation differs from both lecture and other types of small group facilitation such as that used in Problem-Based Learning (PBL).10,11 In contrast to PBL, TBL facilitators must often be content experts, clarifying concepts and highlighting the most important points of a session. TBL facilitators must guide discussion and ask probing questions to large groups of learners. In contrast to lecturers, TBL facilitators must talk with and draw answers from students rather than talk at them. They must facilitate interactions between teams of students, often in large classrooms, by encouraging discussion and nonconstructive controversy, while discouraging productive argument or tangential discussion.12 Although a unique skill set is clearly necessary to achieve high quality TBL facilitation, to date no instrument has been developed specifically to assess the quality of TBL facilitation.
교수진 승진 및 기타 시상 및 보상과 같은 고부담 의사결정에 학습자 평가learner rating의 사용이 증가함에 따라, 13,14 TBL 촉진 품질을 정확하게 평가할 수 있는 학습자 등급 평가 도구를 보유하는 것이 중요하다. 본 연구의 목적은 의학교육에서 크고 작은 그룹 환경 모두에서 팀 기반 학습 촉진 기능의 품질을 평가하기 위한 타당성과 신뢰성의 증거를 가진 도구를 만드는 것이었다.
With the increasing high stakes use of learner ratings for decision making purposes such as faculty promotion and other awards and rewards,13,14 it is important to have a learner rating instrument that accurately evaluates the quality of TBL facilitation. The purpose of our study was to create an instrument with evidence of validity and reliability to evaluate the quality of Team-Based Learning facilitation in both large and small group settings in medical education.
the Facilitator Instrument forTBL(FIT).
방법
Methods
도구 개발
Instrument development
문항 생성
Item generation
목적적합하고, 대표적이며, 기술적인 품질의 도구를 만들도록 하기 위해, TBL 교육자 국제 연합의 3명의 핵심 지도자로 구성된 15명, "팀 기반 학습 협업" 또는 TBLC (www.teambasedlearning.org),으로 알려져 있음, TBL 촉진 품질을 평가하기 위한 도구를 만들어야 할 필요성을 확인하였다.
To ensure that we created an instrument that was relevant, representative, and of technical quality,15 a core group of 3 leaders of the international association of TBL educators, known as the “Team-Based Learning Collaborative” or TBLC (www.teambasedlearning.org), identified the need to create an instrument to evaluate the quality of TBL facilitation.
그 후 핵심 그룹은 기기에 대한 콘텐츠 유효성을 개발하고 제공하기 위해 TBL 전문가 패널을 식별했다.
The core group then identified a TBL expert panel to develop and provide content validity for an instrument.
총 12명의 전문가(핵심 3명, 패널 9명)가 있는데, 이는 문헌이 제시한 범위에 잘 포함되어 있다.20
a total of 12 experts (3 core and 9 panelists), which is well within that suggested by the literature.20
그룹(핵심 그룹 및 패널리스트)은 TBLC의 연례 회의 중 하나에서 장시간 대면했다. 문헌에 근거하여, 그룹은 TBL 촉진 구조가 단차원적이라고 가정했다.14
The group (core group and panelists) met face-toface for an extended time during one of the annual meetings of the TBLC. Based on the literature, the group assumed the TBL facilitation construct to be uni-dimensional.14
그 그룹은 고품질의 TBL 촉진과 관련된 행동에 대해 합의를 보았다.
The group came to consensus regarding the behaviors associated with high quality TBL facilitation.
도구 개발
Instrument design
모든 행동 항목은 "TBL 세션 동안 교수진 경험을 평가하기 위해 이 양식을 사용하십시오"라는 지침과 함께 전혀그렇지 않음의 1점부터 완전히 그렇다의 7점까지 7점 만점으로 평가되었다.
All behavioral items were rated on a 7-point scale from not at all ¼ 1 to completely ¼ 7 with instructions to “Please use this form to rate your experiences with faculty during your TBL session.
응답 프로세스
Response process
예비 학생들이 항목과 대응 앵커를 의도한 대로 해석할 수 있도록 하기 위해(a: 대응 프로세스 또는 유효성의 실질적인 측면) TBL에는 익숙하지만 이 평가도구 개발에 참여하지 않은 4년차 의대생 6명을 포커스 그룹에 채용했다.
To ensure that prospective students would interpret the items and response anchors as intended (aka: validresponse process or substantive aspect of ity),15,20,23 six 4th-year medical students who were familiar with TBL but were not part of the instrument’s development were recruited for a focus group.
학생들은 도구의 사본을 받아 완성하도록 한 다음, 응답 규모와 함께 각 항목을 채울 때 어떤 생각을 하고 있는지 설명해 달라는 요청을 받았다. 그들은 또한 혼란스러운 워딩도 함께 설명해 달라는 요청을 받았다. 그들의 피드백을 바탕으로, 응답 오류의 가능성을 줄이기 위해 단어 명료성을 위해 7개의 항목을 수정했다. 응답 앵커에 대한 변경은 없었다.
The students were given a copy of the instrument, asked to complete it, and then asked to describe what they were thinking about as they filled out each item along with the response scale. They were also asked to describe any confusing wording. Based on their feedback, seven items were modified for word clarity to decrease the likelihood of response error. No changes were made to the response anchors.
파일럿 테스트
Pilot test
장소와 참가자
Sites and participants
내적구조타당도
Internal structure validity
FIT의 척도 특성을 결정하기 위해 내부 구조를 분석했다.
To determine the scale properties of the FIT, we analyzed the internal structure.
맥락 민감성
Context sensitivity
파일럿에서, 우리는 FIT 복합 점수와 TBL, 나이 및 성별을 촉진하는 데 있어 자신감과 즐거움, 년수와 연간 대략적인 시간을 포함하여 촉진자의 다양한 자체 보고 특성과 상관관계를 맺었다.
In our pilot, we correlated FIT composite scores with a variety of self-reported characteristics of facilitators including number of years and approximate hours per year facilitating TBL, confidence and enjoyment in facilitating TBL, age, and gender.
결과
Results
참가자
Participants
학교 및 코스의 특성은 표 1에 기술되어 있다.
Characteristics of the schools and courses are described in Table 1.
물론, 1학년과 2학년은 과목당 90명에서 200명까지, 3학년 임상 과정(모든 정신의학 임상실습)은 규모가 6년에서 32명에 이르는 소규모였다.
Of note, the year 1 and 2 pre-clinical courses were predominately large in size, ranging from 90 to 200 students per course, and the year 3 clinical courses (all psychiatry clerkships) were small, ranging in size from 6to 32.
(조달자의 기술 통계 자료는 표 2 참조).
(see Table 2 fordescriptive statistics of the facilitators).
내적구조타당도
Internal structure validity
탐색적 요인 분석에 근거하여 척도에 부정적으로 적재된 항목을 하나 제거하여 13개 항목을 도출하였다.
Based on exploratory factor analysis, we eliminated one item that negatively loaded on the scale, resulting in 13 items.
모든 항목이 상관성이 높았기 때문에, 가장 낮은 항목 총 상관성과 가장 낮은 항목 총 상관성을 나타내는 두 항목을 제거하여, 두 개의 추가 항목이 삭제되었다.
because all items were highly correlated, we eliminated two items that showed the lowest loadings as well as the lowest item-total correlations, resulting in the deletion of two additional items.
FIT 항목의 최종 사본과 각 항목의 설명통계 및 항목 간 상관관계는 표 3에서 볼 수 있다.
A final copy of the FIT items along with descriptive statistics for each item and inter-item correlations canbe seen in Table 3.
맥락 민감성
Context sensitivity
FIT 평균 종합 점수는 6.19(SD1⁄41.10)이었다.
The FIT mean composite score was 6.19 (SD¼1.10).
표 4: 촉진자 특성 및 FIT 등급 분석
Table 4 for analysis of facilitator characteristics and FIT ratings
고찰
Discussion
TBL과 관련된 긍정적인 학습 성과는 TBL 문헌에 잘 나타나 있다. 여러 문헌에서 또한 TBL 촉진자들이 대규모 수업을 관리하고 소그룹을 촉진하기 위해 고급 교수 기술을 보유해야 한다고 강조한다.1–3,10,12,26
The positive learning outcomes associated with TBL are well established in the TBL literature. This literature also emphasizes that TBL facilitators must possess advanced teaching skills to manage a large class and facilitate small groups.1–3,10,12,26
교수진 승진, 급여, 수상 및 기타 고부담 결정에 대한 학습자 평가의 점점 더 큰 이해 관계 특성 때문에 TBL 촉진 기술의 유효한 척도가 필요하다.13
The increasingly high stakes nature of learner evaluations for faculty promotion, salary, awards, and other high stakes decisions necessitates the need for a valid measure of TBL facilitation skills.13
학급 크기가 중요한가? 일반 교육 문헌에 따르면 (일부 연구에서는 매우 거나 매우 큰 규모의 학급에서 평가가 상대적으로 높은 곡선 관계를 발견했지만) 일반적으로 학생 등급은 작은 규모의 학급에서 약간 더 높은 경향이 있다.27 TBL 문헌은 TBL 방법을 최대 400명의 학생으로 구성된 수업에서 사용할 수 있다고 한다.
Does class size matter? The general education literature suggests that student ratings of teachers tend to be slightly higher in small classes, although some studies have found the relation to be curvilinear with very small and very large classes rated highest.27 The TBL literature suggests that the TBL method can be used in classes of up to 400 students.
최근 Menenenga와 Ostebo가 TBL에 대한 학생 만족도를 조사한 결과, 가장 작은 규모(n1⁄434)가 중간 규모(n1⁄469)와 큰 규모(n1⁄420)에 비해 TBL에 대한 선호도가 가장 높고, TBL에 대한 평가가 가장 높은 것으로 나타났다.28 톰슨 외 연구진들은 학급 규모와 집단 규모가 [소규모일 경우 TBL의 성공적인 구현을 서포트하는 enabler이고] [대규모일 경우 TBL 구현에 어려움을 주는 inhibitor]라고 제안했다. 우리는 참여 유지, 팀원의 업무 수행 유지, 정교한 질문 기법 사용, 그리고 다른 촉진 행동들이 300명에 비해 30명의 학생들로 이루어지기 더 쉽다는 것을 강조한다.
A recent study by Mennenga and Ostebo regarding student satisfaction with TBL showed that the smallest class (n¼34) reported the highest level of satisfaction, had the highest preference for TBL and the most favorable assessment of TBL compared to the medium (n¼69) and large (n¼120) classes.28 Studies by Thompson et al.29–31 suggested that class size and group size was either an enabler, with small classes supporting successful implementation of TBL, or an inhibitor, with large classes making implementation challenging. We purport that maintaining engagement, keeping teams on task, using elaborative interrogation techniques, and other facilitation behaviors are easier to accomplish with 30 students compared to 300.
FIT를 사용한 TBL 촉진에 대한 평가를 고부담 결정에 사용할 경우 잠재적으로 중요한 맥락으로 클래스 크기를 고려해야 한다.
Any evaluation of TBL facilitation using the FIT should take into account class size as a potentially important context if using the instrument for any high stakes teaching decisions.
학생들은 임상실습 과정 동안 그들의 지원자들을 더 높게 평가하는가? 의과대학 전반에 걸쳐, 더 대규모로 이뤄지는 전임상 과정의 과정 내용은 소규모로 이뤄지는 임상 과정의 과정 내용과 다르며, 이 연구에 참여한 학교도 다르지 않았다. 일반 교육에 대한 포괄적인 리뷰에서, 벤튼과 캐신14는 학급 규모, 학문분야, 그리고 학생들의 동기 부여가 학습자의 등급과 관련이 있을 수 있다는 것을 발견했다. 이들은 상위 학년의 강좌가 하위 학년보다 약간 더 우수하고, 인문·예술 강좌가 수학과 과학 과목보다 높게 평가되었으며, 과목이나 내용에 대한 선행 관심도가 높은 강좌가 더 높은 평가를 받는 것으로 조사됐다. 따라서 학생들이 임상 과정 중 실제 촉진자 기술 수준 또는 어쩌면 학급 규모에 관계 없이 임상 과정 이전의 과정과 비교하여 TBL 촉진 기술을 더 높게 평가할 수 있다. 또한, 고부담의 표준화 시험(즉, USMLE Step 1)과 같은 임상 전 커리큘럼 동안 경쟁적으로 요구되는 상황에서, 학생들은 TBL과 같은 능동적인 학습 전략에 참여하기 위한 buy-in을 줄일 수 있다.
Do students rate their facilitators higher during the clerkship curriculum? Across medical schools, the course content of the larger preclinical courses is different than the course content of smaller clinical courses, and the schools involved in this study were no different. In a comprehensive review of general education, Benton and Cashin14 found that class size, academic discipline, and student motivation may be related to learner ratings. They found that higher-level courses were rated slightly better than lower-level courses, humanities and arts courses were rated higher than math and science courses, and courses in which students had prior interest in the course or material were rated higher. Therefore, it is possible that students may rate TBL facilitation skills higher during clinical courses compared to pre-clinical courses, regardless of true facilitator skill level or perhaps even class size. Moreover, with competing demands during the pre-clinical curriculum such as high stakes standardized exams (ie, USMLE Step 1), students may have less buy-in for participating in active learning strategies such as TBL.32,33
촉진자가 TBL을 얼마나 즐기는가가 중요한가? 일부 연구는 에너지/열정, 질서정연, 자존심과 같은 요소들이 교사들의 수업 관행에 긍정적인 영향을 미치는 것으로 보여졌기 때문에 교사들의 평가에 영향을 미칠 수 있다는 것을 보여주었다. 가르치는 것을 즐긴다는 것은 교육의 질에 영향을 미칠 수도 있고, 이 경우, 아마도 촉진성의 질에 영향을 미칠 수도 있다. 사실, 수학 수업에서 중학생들을 대상으로 한 이전의 연구에서, 교사들의 가르치는 것에 대한 즐거움에 대한 보고는 교실 내의 감정 전달이라고 불리는 학생들의 즐거움과 긍정적으로 연관되어 있는 것으로 나타났다.35 아마도 그것은 의과대학에서, 특히 TBL의 편의를 위해 다르지 않을 것이다. 향후 연구에서 촉진자 즐거움이 인지된 촉진자 품질에 영향을 미칠 수 있다고 밝혀진다면, 우리는 이것이 추가 조사를 위한 중요한 영역이라고 주장한다.
Does facilitator enjoyment of TBL matter? Some studies have indicated that factors such as energy/ enthusiasm, orderliness, and self-esteem may influence teacher ratings since these have been shown to positively impact teaching practices. Enjoyment of teaching can impact the quality of teaching, or for this case, perhaps the quality of facilitation.14,34 In fact, in a previous study with middle school students in math classes, teacher reports of their enjoyment of teaching were shown to be positively related to student enjoyment, referred to as emotional transmission within the classroom.35 Perhaps it is no different in medical school, specifically for TBL facilitation. If future studies indicate that facilitator enjoyment of the method can impact the perceived quality of facilitation, we purport that this is an important area for further investigation.
성별이 TBL 촉진 퀄리티와 관련된 요소인가? 교육 문헌의 검토는 교사의 평가에 성별이 미치는 영향이 뒤섞여 있음을 시사하며, 27 어떤 연구는 여성 강사에 비해 남자 강사에 대한 높은 평가 점수를 보고하고, 다른 연구는 그 반대의 모습을 보이며, 그리고 다른 연구는 여전히 교사 등급에 대한 학생 평가에서 성별 차이가 없음을 보여준다.14,36–더 자세히 설명하면, 여성 강사들이 배려하고, 접근 가능하고, 좋은 관계형 환경을 조성하는 것으로 묘사될 가능성이 더 높은 반면, 남자 강사들은 과정 계획, 능력, 지식 및 조직력에 대해 높은 평가를 받을 가능성이 더 높은 것으로 나타났다.36
Is gender a factor related to quality of TBL facilitation? A review of the education literature suggests the impact of gender on teacher evaluations is mixed,27 with some studies reporting higher evaluation scores for male instructors compared to female instructors, others showing the reverse, and still other studies no gender differences in student evaluation of teacher ratings.14,36–41 Examining this literature in greater detail indicated that female instructors were more likely to be described as caring, approachable, and fostering a good relational climate whereas, male instructors were more likely to receive high ratings for course planning, competence, knowledge, and organizational skills.36
한계
Limitations
타당성 추가 증거를 확립하기 위해, FIT는 더 많은 촉진자를 가진 다른 모집단에서 평가되어야 하며, 클래스 크기, 성별, 과정 유형, TBL 세션 길이, 방법론의 촉진자 즐거움 및 잠재적으로 추가 변수를 탐구해야 한다.
To establish additional evidence of validity, the FIT needs to be assessed in different populations with more facilitators, exploring class size, gender, course type, TBL session length, facilitator enjoyment of the methodology, and potentially additional variables.
Conclusions
1. 학습자의 반응에 적극적으로 귀를 기울였다.
1. Actively listened to the responses of the learners.
2. 처음에 혼란스러웠던 개념을 명확히 한다.
2. Clarified concepts when they were initially confusing.
3. 대안적 답변에 대한 논의를 유도elicit한다.
3. Elicited discussion of alternative answers.
4. 질문에 대해 생각을 유도하는 질문으로 응답했다.
4. Responded to questions with thought guiding questions.
5. 학습자에게 증거를 가지고 의견을 지지하도록 촉구한다.
5. Prompted learners to support opinions with evidence.
6. 비생산적인 논의를 리디렉션한다.
6. Redirected nonproductive discussions.
7. 핵심 원칙을 명확히 하는 방식으로 팀 토론을 마무리했다.
7. Concluded team discussions in a way that made the key principles clear.
8. 논의된 사안의 중요성을 이해하는데 도움을 주었다.
8. Helped me understand the significance of the issues that were discussed.
9. 세션의 가장 중요한 점을 강조하였다.
9. Highlighted the most important points of the session.
10. 토론하는 동안 모든 팀을 참여시키려고 노력했다.
10. Tried to engage all teams during discussions.
11. 질문을 사용하여 내 생각을 더 심화시켜주었다.
11. Used questions to deepen my thinking.
12. TBL 세션 중 개인을 존중한다 *
12. Respected individuals during the TBL session *
13. 효율적인 수업시간 관리 *
13. Managed class time efficiently *
14. 말이 너무 많았다 *
14. Talked too much *
* 최종기기에서 삭제된 항목
* Item deleted in final instrument
Teach Learn Med.2019 Aug 7:1-9. doi: 10.1080/10401334.2019.1646653. [Epub ahead of print]
The FacilitatorInstrument for Team-BasedLearning (FIT).
a Department of Psychiatry and Behavioral Sciences, The University of Texas Medical Branch , Galveston , Texas , USA.
2
b Office of Educational Programs, McGovern Medical School , Houston , Texas , USA.
3
c Department of Medicine, Tulane University School of Medicine , New Orleans , Louisiana , USA.
4
d Department of Psychiatry, University of Texas Southwestern at Austin , Austin , Texas , USA.
5
e Office of Medical Education, Tulane University School of Medicine , New Orleans , Louisiana , USA.
6
f Woodward Center for Excellence in Health Science Education, Penn State College of Medicine , Hershey , Pennsylvania , USA.
7
g Department of Pathology, Wright State University Boonshoft School of Medicine , Dayton , Ohio , USA.
8
h Department of Psychiatry, University of Texas Southwestern School of Medicine , Dallas , Texas , USA.
9
i Department of Psychiatry and Behavioral Sciences, McGovern Medical School , Houston , Texas , USA.
10
j Department of Psychiatry, University of Texas Health Science Center at San Antonio , San Antonio , Texas , USA.
Abstract
Construct: We sought to evaluate the quality of Team-BasedLearning facilitation in both large and small group settings. Background: Team BasedLearning (TBL) is an increasingly popular small group instructional strategy in health science education. TBL facilitation skills are unique and differ from those needed to lecture or facilitate other types of small groups. Measuring facilitation skills and providing feedback to TBL instructors is important, yet to date no valid instrument has been developed and published for this purpose. Approach: We created an 11-item instrument (ratings of each item on a 7-point scale) designed to assess TBL facilitation skills, considering major sources of validity. Twelve experts in TBL facilitation and training developed the content of the FIT. To ensure response processes were valid, we used an immediate retrospective probing technique with 4th year medical students who were not part of the study. The FacilitatorInstrument for Team-BasedLearning (FIT) was piloted with 2,840 medical students in 7 schools in large (year 1 and 2) and small (year 3) courses. The internal structure of the FIT was analyzed. Results: In total, 1,559 and 1,281 medical students in large and small TBL classes, respectively (response rate 88%) rated 33 TBL facilitators. The composite mean score for the FIT was 6.19 (SD = 1.10). Exploratory factor analysis and Cronbach's alpha indicated that all items loaded on 1 factor, accounting for 77% of the item variance. Cronbach's alpha for the 11 items was 0.97. Analysis of facilitator variables and course context indicated that FIT scores were statistically significantly correlated with type of class (pre-clinical or clinical) and size of class as well as the facilitator enjoyment in using TBL as a method. Gender and the amount that facilitators used TBL each year was weakly correlated, with other factors not correlated (years facilitating TBL, confidence in facilitating TBL, and age). Conclusions: Analysis of FIT scores from 2,840 medical students across multiple institutions and teaching settings suggests the utility of the FIT in determining the quality of TBL facilitation across a range of medical education settings. Future research is needed to further analyze course contexts and facilitator variables that may influence FIT scores with additional facilitators. Additionally, FIT scores should be correlated with additional measures of TBL facilitator quality, such as direct observations, especially if these data are used for summative decision-making purposes.
KEYWORDS:
TBL; Team-basedlearning; assessment; faculty development
Team-based learning (TBL) in the medical curriculum: better than PBL?
Annette Burgess1*, Jane Bleasel1, Inam Haq1, Chris Roberts1,2, Roger Garsia3,4,5, Tomas Robertson1,3 and Craig Mellis1,3
배경
Background
국제적으로, 의과대학은 오랫동안 하이브리드 문제 기반 학습 (PBL) 커리큘럼을 개발하기 위해 다양한 접근법을 사용해 왔다[1]. 그러나 시간이 지남에 따라, 이러한 다수의 하이브리드 PBL 모델은 덜 효과적이 되었고, 의도된 학생 중심 학습 철학에 따라 점점 더 정렬되었다[2]. 대면 PBL 그룹 미팅 시간이 광범위하지만 그룹 작업에 대한 기여에 대한 개인의 책임이 제한됨에 따라, 하이브리드 PBL 모델에 대한 학생 만족도는 최근 몇 년 동안 감소하였다[2].
Internationally, medical schools have long used a variety of approaches to develop hybrid Problem based learning (PBL) curricula [1]. However, over time, a number of these hybrid PBL models have become less effective, and decreasingly aligned with the intended student-centred learning philosophy [2]. With extensive face-to-face PBL group meeting time, yet limited individual accountability for contribution to group work, student satisfaction with hybrid PBL models has decreased in recent years [2].
PBL에 대한 불만족감은
큰 규모의 학생 그룹(n = 10),
PBL의 시간 집약도(매주 2회 1.5시간 세션),
불충분한 동료 참여, 그리고
진행자의 가변적 전문성, 교수 경험 및 열성에서 비롯되었다[3].
Dissatisfaction with PBL has arisen from
increasingly larger groups of students (n = 10),
the time intensiveness of PBL (two 1.5 h sessions each week),
insufficient peer engagement, and
the variable expertise, teaching experience and enthusiasm of facilitators [3].
PBL에 대한 우리 학생들의 의견이 감소하는 것은 코호트 전체에 걸친 표준화의 부족과 시간 효율적인 학습 전략에 대한 가치 증가 때문이라고 할 수 있다[3]. 이전 연구들도 마찬가지로 "무계획적" PBL 튜토리얼 프로세스와 학생들의 무책임함이 학생 불만족의 주요 기여요인임을 보고했다[4–6].
Our students’ declining opinion of PBL, can be attributed to lack of standardisation across the cohort, and the increasing value placed on time efficient learning strategies [3]. Earlier studies similarly reported “haphazard” PBL tutorial processes, and lack of student accountability as key contributors to students’ dissatisfaction [4–6].
혼합 학습 접근법을 채택한 PBL의 대안은 팀 기반 학습(TBL)이며, 최근 의학 교육에서 인기를 얻고 있다[9]. TBL은 의료 교육자가 학생들에게 실제 임상 문제를 해결하기 위해 팀 내에서 일하는 자원 효과적이고 진정한 경험을 제공할 수 있도록 한다[10].
An alternative to PBL that adopts a blended learning approach, is Team-based learning (TBL), which has gained recent popularity in medical education [9]. TBL allows medical educators to provide students with resource effective, authentic experience of working in teams to solve real life clinical problems [10].
2016년, 우리는 1차 의료 프로그램의 근골격계 과학, 호흡기 과학, 심혈관 과학 블록 전반에 걸쳐 지속 가능하고 표준화된 TBL 모델을 통합하고자 했다.
In 2016, we sought to incorporate a sustainable and standardised TBL model across the Musculoskeletal sciences, Respiratory sciences, and Cardiovascular sciences blocks of the Year 1 medical program.
하이데(2012년)에 따르면, "TBL 방법의 기초가 되는 7가지 핵심요소는 1) 팀 구성, 2) 준비성 보장(RA), 3) 즉각적인 피드백, 4)급 문제 해결 순서, 5) 4가지 S의 (중대한 문제, 동일 문제, 특정 선택 및 동시 보고), 6) 인센티브 구조, 7) 동료 검토[10]이다.].
According to Haidet (2012), the “seven core design elements that underlie the TBL method” are:
1) team formation,
2) readiness assurance (RA),
3) immediate feedback,
4) sequencing of in-class problem solving,
5) the four S’s (significant problem, same problem, specific choice, and simultaneous reporting),
6) incentive structure, and
7) peer review [10].
방법
Methods
표본과 참여자
Sampling and participants
PBL과 TBL세션 내용
Content of the PBL and TBL sessions
Table 1.
PBL의 구조
Structure of problem based learning
학생들은 10명의 학생들로 구성된 PBL 그룹에 배정되었다. 이 프로그램의 1학년과 2학년 동안 학생들은 별도의 날에 대학 캠퍼스에서 1.5시간씩 매주 두 개의 PBL 튜토리얼을 들었다. 첫 번째 PBL 세션은 학생 주도였고, 두 번째 PBL 세션에는 촉진자가 참석했다. 학생들은 그룹 멤버들과 협력하여 두 PBL 세션 사이에 임상 문제를 분석하고 가설을 공식화하며 자기주도 학습 과제를 수행할 것으로 기대되었다.
Students were assigned to PBL groups of ten students. During Year 1 and Year 2 of the program, students attended two 1.5 h weekly PBL tutorials on university campus on separate days. The first PBL session was student led, and a facilitator was present at the second PBL session. In collaboration with their group members, students were expected to analyse a clinical problem, formulate hypothesis, and undertake selfdirected learning tasks between the two PBL sessions.
TBL의 구조
Structure of team-based learning
TBL 세션은 일반적으로 발생할 수 있는 두 개의 PBL 세션을 대체하여 2시간 동안 매주 한 번씩 개최되었다.
The TBL sessions were held once per week for two hours, replacing the two PBL sessions that would normally occur.
팀 형성
Team formation
학생들의 성별, 국제 지위 및 과학 배경에서 잠재적인 불일치를 줄이기 위해, 선형 방정식 시스템을 사용하여 학생들을 TBL 팀으로 배분이 최소화되었다[11]. 학생들은 5~6명 중 한 명으로 구성된 팀에 배정되었고, 각 교육 구역에 대해 팀들이 함께 남아 있었다.
To reduce potential discrepancies in gender, international status, and science background of students, allocations of students into their TBL teams was carried out with a minimisation technique using a system of linear equations [11]. Students were allocated to teams consisting of either five or six students, and teams remained together for each teaching block.
수업 전 읽기자료
Pre-class reading
수업 중 스케줄
In-class schedule
수업 중 구조는 표 2에 요약되어 있다.
The structure during class is outlined in Table 2
우리는 공식적인 동료 평가나 공식적인 인센티브 구조를 포함하지 않았다. 오히려, 우리는 학생들이 TBL 준비 과정과 문제 해결 활동을 준비하고 참여하도록 팀에 대한 책임감에 의해 동기 부여를 받을 것이라고 가정했다. 우리는 또한 문제 해결 활동 동안 학생 팀들이 동시에 공개하는 특정한 선택보다는 개방형 응답을 사용했다는 점에 주목한다.
we did not include formal peer evaluation or a formal incentive structure. Rather, we assumed that students would be motivated by a sense of accountability to their teams to prepare and participate in the TBL readiness assurance process and problem-solving activities. We also note that we used open-ended responses during the problem solving activities, rather than a specific choice that is simultaneously disclosed by student teams.
자료 수집과 분석
Data collection and analysis
설문
Questionnaires
각 교육 블록의 완료 후 학생 참가자들에게 PBL에 관한 질문지 1개와 TBL에 관한 질문지 2개가 배포되었다.
Two questionnaires, one regarding PBL, and one regarding TBL, were distributed to student participants following the completion of each teaching block
이 설문지는 의학교육에서 팀 프로세스의 품질을 측정하기 위해 톰슨과 동료(2009)가 설계한 검증된 설문지에서 채택되었다[12]. 세션의 최고와 최악의 특징을 이끌어내기 위해 열린 질문도 받았다.
The questionnaire was adapted from a validated questionnaire designed by Thompson and colleagues (2009), to measure the quality of team processes in medical education [12]. Open-ended questions were also asked to elicit the best and worst features of the sessions.
결과
Results
설문: 학생 설문
Questionnaire: Student questionnaire
PBL에서의 경험에 관한 닫힌 항목에 대한 학생들의 반응은 그림. 1. TBL에서의 경험에 관한 동일한 닫힌 항목에 대한 학생들의 반응은 그림. 2. TBL과 관련된 두 가지 추가 질문에 대한 응답은 그림. 3에 나타나 있다.
Student responses to closed items regarding their experience in PBL are shown in Fig. 1. Student responses to the same closed items regarding their experience in TBL are sown in Fig. 2. Responses to two additional questions specific to TBL are shown in Fig. 3.
또한, 그림 3에서 보듯이, 대다수의 학생(83%)은 TBL에서 "수업 시작시의 개인 및 팀 시험이 나의 학습에 도움이 되었다"고 강하게 동의하거나 동의했으며, 69%는 "집단 간의 비교가 나의 학습을 향상시켰다"고 강하게 동의하거나 동의했다.
Additionally, as shown in Fig. 3, the majority of students (83%) strongly agreed or agreed that in TBL, the “individual and team tests at the beginning of class assisted in my learning”, and 69% strongly agreed or agreed that the “Competitiveness between groups enhanced my learning”.
PBL의 가장 잘 인식되고 가장 어려운 특징에 관한 공개 질문의 답변은 표 3과 4에 각각 예시되어 있다.
Responses to open ended questions regarding students’ perceived best and most difficult features of PBL are illustrated in Tables 3 and 4 respectively.
고찰
Discussion
결과는 학생들이 그들의 TBL에서의 경험이 PBL에서의 경험보다 압도적으로 더 긍정적이라는 것을 발견했다는 것을 보여준다. 학생들은 PBL의 10개 그룹과 비교하여 5, 6명의 학생들로 이루어진 소규모 그룹에서 일하는 것이 참여와 동료 학습의 증가라고 보고했다.그들은 준비 보증 프로세스가 동기를 부여하고 흥미를 유발한다는 것을 알았다.
Results indicate that students found their experience inTBL to be overwhelmingly more positive than their ex-perience in PBL. Students reported working in smallgroups of five or six students, compared to larger groupsof 10 in PBL, increased participation and peer learning.They found the readiness assurance process motivating and engaging;
학생들은 PBL에서 임상적 추론과 토론의 기회를 즐겼지만, 강사의 가변적 경험과 제한된 방향, 그리고 큰 그룹 크기가 학습에 방해가 된다는 것을 알게 되었다.
Although students enjoyed opportunities for clinical reasoning and discussion in PBL, they found the variable experience of tutors, limited direction, and large group size hindered their learning.
TBL의 구조는 학생들이 팀으로 일하고, 증거를 종합하고, 서로 의사소통할 수 있도록 준비하는데 도움이 되는 요소들을 가지고 있다.
The structure of TBL has elements conducive to preparing students to work in teams, synthesise evidence, and communicate with each other.
특히, TBL의 경우, 93%의 학생들이 "모든 팀 구성원들이 토론에 참여하기 위해 노력했다"고 강하게 동의하거나 동의한 반면, PBL의 46%는 찬성했다. TBL을 위한 필수 지식 획득을 위한 지정된 준비로 인해 수업 중 학습 콘텐츠의 부담이 변경되었다[17]. 대다수의 학생들(83%)은 TBL에서 "수업 초의 개인 및 팀 시험이 나의 학습에 도움이 된다"는 것에 강하게 동의하거나 동의했다.
Notably, in TBL, 93% of students strongly agreed or agreed that “all team members made an effort to participate in discussion”, compared to 46% in PBL. Designated preparation for essential knowledge acquisition for TBL shifted the burden of learning content during class [17]. The majority of students (83%) strongly agreed or agreed that in TBL, the “individual and team tests at the beginning of class assisted in my learning”.
학생들은 TBL에서 더 준비된 상태로 수업에 출석할 가능성이 더 높았고, 그 결과 팀과 수업 토론의 질이 향상되었다고 말했다.
Students noted they were more likely to come to class prepared in TBL, hence the quality of team and class discussion improved.
개별 학생의 준비 요건이 달랐던 PBL과 달리, TBL에서는 모든 학생이 같은 수업 전 요건이 있었고, 수업할 준비가 되어 있었다.
Unlike in PBL, where individual students had different preparation requirements, in TBL, all students had the same pre-class requirements, and came to class ready to engage.
교사들은 학생들이 적극적인 학습 역할을 하도록 지도할 수 있는 능력을 가지고, 자신의 분야에서 전문가가 될 것으로 예상된다[19]. TBL의 단계를 따라 세 명의 조력자는 한 방에서 10개의 작은 그룹(즉, 50명에서 60명)을 쉽게 관리할 수 있었다. TBL의 장점은 콘텐츠 전문가인 촉진자의 피드백과 지침이 증가했다는 것이다.
Teachers are expected to be experts in their fields, with the ability to guide students to take an active learning role [19]. By following the steps in TBL, three facilitators were readily able to manage 10 small groups of students (ie, 50 to 60 students) in one room. An advantage of TBL was the increased feedback and guidance from facilitators, who were content experts.
PBL에서는 학생들이 조력자의 가변적 전문지식과 지도의 부족을 발견하여 불확실성을 초래하였고, 그룹 내 학습 진보를 방해하였다. 불행하게도, PBL 교육 세션에서 피드백은 종종 부족했다. 그러나 즉각적인 피드백의 제공은 학생들의 콘텐츠 지식에 대한 이해를 향상시킬 수 있는 능력을 가지고 있다[18]. TBL에서는 피드백이 잘 진행되었고, PBL에서는 46%에 비해 80%의 학생이 "교습자로부터 유용하고 적시에 피드백을 받았다"는 것에 강하게 동의하거나 동의하였다.
In PBL, students found the variable expertise of their facilitators, and lack of guidance, led to uncertainty, and hindered learning progress within groups. Unfortunately, feedback was often lacking in PBL teaching sessions. However, provision of immediate feedback has the ability to enhance students’ understanding of their content knowledge [18], and is crucial to knowledge acquisition, application, and retention [20, 21]. Feedback was well facilitated in TBL, with 80% of students strongly agreeing or agreeing that “I received useful and timely feedback from the tutor” compared to 46% in PBL.
이상적인 PBL 튜터는 컨텐츠 전문가[22]가 아니라 그룹 조력자라는 것은 널리 받아들여지고 있지만, 시기적절한 피드백이 없으면 오류가 수정되지 않을 수 있으며, 학생들은 새로운 콘텐츠에서 "길을 잃은" 느낌이 증폭된다[21].
TBL에서는 교직원의 전문 지식을 활용하여 풍부한 피드백을 제공하는 학습 경험을 설계한다[23]. 학생들은 RAT과 문제해결활동 과정에서 피드백을 받기 때문에 자신의 이해에 대해서 의심을 남기지 않는다. 또한, 의대 교육 내에서 임상 컨텍스트의 제공은 학생들이 내용을 이해하고 상기할 수 있도록 돕는다 [24, 25].
Although it is widely accepted that the ideal PBL tutor is a group facilitator, rather than a content expert [22], without timely feedback, errors may go uncorrected, and a students’ sense of being “lost” with new content is amplified [21].
In TBL, faculty’s expertise is utilised to design a learning experience for students that is rich in feedback [23]. Students are never left in doubt regarding their understanding of the content, with feedback being received through the readiness assurance process, and during problemsolving activities, where facilitators assist individuals and teams as required. Additionally, the provision of clinical context within medical education helps students to understand and recall content [24, 25].
TBL에서, 준비 보증 과정의 순서에 따라, 공식 시험 절차는 학생들이 콘텐츠에 관여하고 자신의 이해도를 측정할 수 있는 여러 기회를 갖도록 보장한다[15]. 학생들은 자신의 답을 다른 팀원들과 비교하고, 의견 일치를 보기 위해 토론에 참여함으로써 스스로 학습을 쌓았다.
TBL 형식은 학생들이 의료 교육과 관련된 중요한 능력, 즉 팀워크 능력과 비판적 사고력을 개발할 기회를 제공한다. [26]
PBL에서, 우리 학생들은 그러한 관행이 제한적이고, 큰 그룹 크기에 의해 방해받고 있다고 보고했다.
In TBL, the formal testing procedure, with the sequence of the readiness assurance process ensured students had several opportunities to engage with the content and gauge their own understanding [15]. Students built on their own learning by comparing their answers to other team members, and engaging in discussion in order to come to a consensus.
The TBL format provides the opportunity for students to develop critical competencies relevant to health care education: teamwork abilities and critical thinking skills. [26]
In PBL, our students reported such practices were limited, and hindered by large group sizes.
치과대학에서 PBL의 그룹 규모 효과에 대한 이전의 연구 보고에서, 소규모의 그룹(3명)과 중간 크기(6명)의 그룹이, 큰 그룹(9명)보다 학생 사이의 만족도와 자기주도 학습이 증가했다[27].
A previous study reporting on the effect of group size in PBL in a dental school found a correlation between small (3) to medium (6) sized groups and increased satisfaction and self-directed learning among students, compared to larger groups (9) [27].
특히 PBL의 학생들이 선호하는 주요 특징은 임상적 추론을 위한 폭넓은 기회와 학생들이 그들 자신의 임상 경험을 토론할 수 있는 기회를 가진 토론 지향적인 세션이었다.
Notably, key features favoured by students in PBL, were the discussion oriented sessions, with broader opportunities for clinical reasoning, and the opportunity for students to discuss their own clinical experiences.
PBL의 구조 안에서, 학생들은 그들 자신의 학습을 계획하고 감시하도록 장려된다. PBL에서는 학생들에게 사전 읽기 과제가 주어지지 않는다. 그러나, 그들은 더 많은 자기 주도적인 학습과 그룹 토의를 위해 그들 자신의 질문과 이슈를 만들어내도록 권장되어 평생 학습 능력을 촉진한다[30]. 돌맨스 등. [30]은 PBL의 긍정적인 요소와 TBL을 결합함으로써 학생 학습을 최적화할 수 있다고 제안한다.
Within the structure of PBL, students are encouraged to plan and monitor their own learning. In PBL, students are not given pre-reading assignments. However, they are encouraged to generate their own questions and issues for further self-directed learning and group discussion, promoting lifelong learning skills [30]. As Dolmans et al. [30] suggests, by combining the positive elements of PBL with TBL, student learning may be optimised.
연구 한계
Study limitations
학생들이 TBL이 단순히 새로운 교육방법이었기 때문에 좋아했을 가능성이 있으며, 이는 더 오랜 기간에 걸쳐 수행되온 것보다 반응을 더 긍정적으로 만들었을 수도 있다.
It is possible that students simply found the new method of teaching (TBL) to be novel, which may have made their responses more positive than if the study was carried out over a greater length of time.
우리는 TBL의 문제 해결 활동 단계 내에서 "사전 결정된 결과로 토론을 제한"하는 한 가지 "특정 선택"만 허용하는 것을 발견했고, 대신 개방형 질문을 사용했다[33]. 그러나 문제 해결 활동 내에서 "특정 선택"을 피할 수 있는 이점은 교수진이 특정 선택 질문/답변(MCQ)을 생성할 필요가 없다는 점이며, 이는 쓰기 어렵고 시간이 많이 소요될 수 있다[33, 34].
We found allowing only one “specific choice” within the problem-solving activity phase of TBL “restricts the discussion to predetermined outcomes” [33], and instead used open-ended questions. However, the advantage of avoiding “Specific choice” within the problem-solving activity is that faculty do not need to generate the specific choice questions/answers (MCQs), which can be difficult and time consuming to write [33, 34].
결론
Conclusions
우리 연구의 결과는 TBL이 학생들이 선호하는 교육 전략이라는 것을 강력히 시사한다. 그러나 TBL 동안 학생들이 지적한 바와 같이, 병리생리학의 흐름도에 대한 논의에 더 많은 시간을 할애할 필요가 있다.
The findings from our study strongly suggest that TBL is the students’ preferred teaching strategy. However, as noted by students during TBL, greater time needs to be devoted to discussion of the pathophysiology flow-chart.
33. Badget RG, Stone J, Collins TC. The importance of free-text responses in team-based learning design. Acad Med. 2014;89:1578. XXX
12. Thompson BM, Levine RE, Kennedy F, Naik AD, Foldes CA, Coverdale JH, Kelly PA, Parmelee D, Richards BF, Haidet P. Evaluating the quality of learning-team processes in medical education: development and validation of a new measure. Acad Med. 2009;84:10. XXX
BMC Med Educ. 2017 Dec 8;17(1):243. doi: 10.1186/s12909-017-1068-z.
Team-basedlearning (TBL) in the medicalcurriculum: better than PBL?
Education Office, Sydney Medical School, Edward Ford Building A27, University of Sydney, Sydney, 2006, Australia. Annette.burgess@sydney.edu.au.
2
Education Office, Sydney Medical School, Edward Ford Building A27, University of Sydney, Sydney, 2006, Australia.
3
Sydney Medical School - Northern, University of Sydney, Sydney, Australia.
4
Sydney Medical School - Central, University of Sydney, Sydney, Australia.
5
Clinical Immunologist, Department of Immunology, Royal Prince Alfred Hospital, Camperdown, 2050, Australia.
6
Central Clinical School ( RPAH campus level 4), Sydney Medical School, University of Sydney, level 2 Medical Foundation Building Parramatta Rd, Camperdown, NSW, 2050, Australia.
Abstract
BACKGROUND:
Internationally, medical schools have long used a variety of approaches to develop hybrid Problem based learning (PBL) curricula. However, Team-basedlearning (TBL), has gained recent popularity in medicaleducation. TBL maintains the advantages of small group teaching and learning, but in contrast to Problem-based learning (PBL), does not require large numbers of tutors. In 2016, TBL was introduced to Year 1 of the Sydney Medical Program (SMP).This study sought to compare students' perceptions of using TBL in place of PBL.
METHODS:
Year 1 students (n = 169) completed three PBL and three TBL sessions during one of the following teaching blocks: Musculoskeletal (n = 56), Respiratory (n = 59) or Cardiovascular (n = 54). Student feedback following completion of each block of teaching was collected by questionnaire, using closed and open ended items. Data were analysed using descriptive statistics and thematic analysis.
RESULTS:
In total, 144/169 (85%) of participants completed a questionnaire regarding PBL, and 152/169 (90%) completed a similar questionnaire regarding TBL. The students found positive aspects of their TBL experience to include the smaller group size, the use of readiness assurance tests, immediate feedback from senior clinicians, and time efficiency. In PBL, students reported that variable expertise of tutors; limited direction; and large group size hindered their learning.
CONCLUSIONS:
Overwhelmingly, students preferred TBL over PBL, as the optimal teaching strategy. Students found the structure and format of the TBL sessions more conducive to learning, engagement and participation than PBL sessions. Although the use of TBL required an instructional approach, needing direction from the tutor, it remained student-centred, generating a range of positive outcomes. Study results provide confidence to change from PBL to TBL within Year 1 and Year 2 of the SMP in 2017.
Team cohesiveness, team size and team performance in team-based learning teams
Britta M Thompson,1,2 Paul Haidet,3 Nicole J Borges,4 Lisa R Carchedi,5 Brenda J B Roman,6 Mark H Townsend,7 Agata P Butler,8 David B Swanson,9 Michael P Anderson10 & Ruth E Levine11
도입
INTRODUCTION
TBL(Team-based Learning)은 학생들이 수업 전에 핵심 사실 자료를 개별적으로 학습한 다음 수업 시간을 이용해 학습팀에서 이 핵심 자료의 적용을 실행하도록 요구하는 체계적인 교육 방법이다.3,4
Team-based learning (TBL) is a structured educational method that requires students to individually learn core factual material prior to class and then to use class time to practise the application of this core material in learning teams.3,4
원래 강의의 대체물로 고안된 TBL은 한 교실에서 여러 개의 소그룹을 용이하게 하는 교사의 지도 방식이며, 보통 한 명의 강사와 함께 한다. 팀 기반 학습은 사실의 획득을 넘어 의미 있는 실제 시나리오에서 세션 또는 과정 내용의 적용을 강조한다.6
Originally designed as a replacement for the lecture, TBL is a teacher-directed method of facilitating multiple small groups in one classroom, usually with a single instructor. Team-based learning moves beyond the acquisition of facts to emphasise the application of session or course content in meaningful real-world scenarios.6
TBL 관련 팀 성적 결과
Team academic performance outcomes associated with TBL
최근 건강 직업 교육에서 TBL 문헌에 대한 체계적인 리뷰에서, Fatmi et al.10과 Haidet et al.11은 TBL 방법을 강의와 같은 다른 교육 방법과 비교한 교육 연구의 지식 결과의 개선을 보고했다. 일부 연구자들은 가장 낮은 4분위수의 학생들이 TBL로부터 가장 많은 혜택을 받을 수 있다고 지적했다.8
In recent systematic reviews of the TBL literature in health professions education, Fatmi et al.10 and Haidet et al.11 reported improvements in knowledge outcomes in educational studies that compared TBL methods with other educational methods such as the lecture. Some researchers have noted that students in the lowest academic quartiles may benefit most from TBL.8
지금까지, 대부분의 TBL 연구의 초점은 팀보다는 (개별) 학생들의 향상된 성과였다. 의료 환경 내에서 팀워크가 강조되는 점을 감안할 때, TBL 팀의 성과 결과를 평가하는 것은 중요한 노력이다.
To date, the focus of most TBL studies has been the improved performance outcomes of students rather than of teams. Given the emphasis on teamwork within the health care setting, assessing the performance outcomes of TBL teams is an important endeavour.
팀 성과 결과와 관련된 변수
Variables associated with team performance outcomes
팀 응집력
Team cohesion
팀 기능 또는 팀 응집력은 팀 목표 달성에 있어 멤버가 서로에게 헌신하는 정도를 반영한다. 팀 화합에 기여하는 것으로 평가되는 요소로는 팀 세션 수, 팀 내 시간, 팀 규모, 팀 책임 및 성공 보상이 포함된다.3 팀 응집력은 TBL의 학업성취도 결과와 관련된 요소다. Michaelsen 등은 저접착 팀의 구성원들이 고압 상황에서 힘을 합칠 가능성이 적고 팀으로서 성적이 좋지 않다고 제안한다. 더 많은 팀들이 더 나은 성과와 연관되어 있기 때문에 TBL 활동은 팀 화합을 촉진해야 한다고 오랫동안 주장되어 왔다. 그러나 보건과학 교육에서 이러한 가정을 시험해 본 연구는 거의 없다.
Team functioning, or team cohesion, reflects the degree to which members are committed to one another in the achievement of team goals. Factors that are purported to contribute to team cohesion include number of team sessions, amount of time in the team, team size, team accountability and rewards for success.3 Team cohesion is a factor that is related to academic performance outcomes in TBL. Michaelsen et al.3,4 suggest that members of low-cohesion teams are less likely to pull together in high-pressure situations and perform poorly as a team. It has long been purported that TBL activities should promote team cohesiveness because more cohesive teams are associated with better performance outcomes. However, few, if any, studies have tested this assumption in health sciences education.
팀크기
Team size
비즈니스와 교육 분야의 문헌에 근거하여, TBL 팀의 최적 규모는 5명에서 7명으로 간주된다.2,3 큰 팀은 복잡한 교실 문제를 해결하기 위한 집단적인 지능을 보유하는 것으로 알려져 있다. 비록 큰 팀들이 더 많은 집단적 지능을 가지고 있지만, 작은 팀들은 더 빨리 응집성을 발전시켜 그들의 초기 팀 성적을 향상시킨다.3
Based on literature from the fields of business and education, the optimal size of a TBL team is considered to be five to seven members.2,3 Large teams are purported to possess the collective intelligence to solve complex classroom problems. Although larger teams have more collective intelligence, smaller teams develop group cohesiveness more quickly, thereby enhancing their initial team performance.3
성별
Gender
교육 및 비즈니스 문헌에서, 연구자들은 다양한 관점의 시연을 위해 남성과 여성을 모두 포함하는 것의 가치를 보여주었지만, 집단 다양성은 처음에는 팀의 응집력을 감소시킬 수 있다. 일부 연구들은 여학생들이 TBL 과정을 남성들보다 훨씬 더 높게 평가하고 또한 그들의 남학생들과 비교했을 때 개인 준비 보증 시험과 최종 시험에서 더 높은 점수를 받는다는 것을 보여주었다.
Within the education and business literature, researchers have shown the value of including both males and females for the demonstration of diverse viewpoints; however, group diversity can initially decrease the cohesiveness of a team.3 Some studies12 have indicated that female students rate TBL processes significantly more highly than males and also score more highly on individual readiness assurance tests (iRATs) and final examinations compared with their male counterparts.
팀 성과 척도(TPS)
Team Performance Scale (TPS)
방법
METHODS
TBL 팀의 응집력에 대한 인식을 결정하기 위해, TPS13은 사무직의 마지막 주에 학생들에게 시행되었다. TPS는 각 항목이 0에서 6까지의 척도로 점수가 매겨지는 18item 도구(' 모든 항목들은 학생들에게 그들의 팀의 행동을 평가하도록 요구했다. 항목에는 '모든 팀원들이 토론에 참여하기 위해 노력했다', '우리 팀은 최종 답변을 결정하기 전에 여러 가지 관점을 적극적으로 이끌어냈다', '팀원들은 다른 팀원들이 말할 때 말하는 것에 주의를 기울이는 것 같았다' 등이 포함되어 있었다.
To determine perceptions of TBL team cohesiveness, the TPS13 was administered to students during the final week of the clerkship. The TPS is an 18item instrument in which each item is scored on a scale of 0 (‘none of the time’) to 6 (‘all of the time’). All items asked students to rate the behaviour of their team. Items included:
‘All team members made an effort to participate in discussions’,
‘My team actively elicited multiple points of view before deciding on a final answer’ and
‘Team members seemed attentive to what other team members were saying when they spoke.’
각 학생의 평균 점수를 결정하여 TPS 점수를 분석하였다. 크론바흐의 TPS 알파값은 0.95이었다. TPS 점수의 추가 유효성 및 신뢰성 분석은 톰슨 외 연구진 13에서 확인할 수 있다. 상관 관계 및 회귀 분석에 대한 팀 수준 점수를 결정하기 위해 각 TBL 팀원(mTPS)의 평균 개별 TPS 등급을 결정했다.
Scores on the TPS were analysed by determining a mean score for each student. Cronbach’s alpha for the TPS was 0.95. Additional validity and reliability analyses of TPS scores can be found in Thompson et al.13 To determine team-level scores for correlation and regression analyses, we determined the mean individual TPS ratings from members of each TBL team (mTPS).
팀의 학업 성적을 평가하기 위해 학생들은 NBME 정신의학 과목 시험을 마쳤다. 이 테스트는 TBL 연습과 유사하게 단일 최선의 대답 형식으로 객관식 애플리케이션 질문을 사용한다.
To assess the academic performance of teams, students completed the NBME Psychiatry Subject Test. This test utilises multiple-choice application questions in a single best-answer format, similarly to TBL exercises.
그 시험은 개인별로 먼저 학생들에게 실시되었다. 그 후 TBL 팀에게 팀 테스트로 실시되었다. 개별 시험을 치른 후, 학생들은 개인과 팀 NBME 시험 사이에 30분간의 휴식을 취했지만, 훈련된 환경에서 머물도록 요구되었고, 쉬는 시간 동안 시험에 대해 논의할 수 없었다. 각 TBL 팀은 팀과 동일한 NBME 정신의학 과목 시험을 완료하여 하나의 집단 시험을 완료했다.
The test was administered to students first on an individual basis. It was then administered as a team test to the TBL teams. After turning in their individual tests, students were given a 30-minute break between the individual and team NBME examinations, but were required to stay in the proctored environment and were not allowed to discuss the test during the break. Each TBL team then completed the same NBME Psychiatry Subject Test as a team, completing one collective test.
팀 NBME 시험 점수에 다른 변수가 미치는 영향을 결정하기 위해 팀 성별 구성, 팀 크기 및 회전을 결정했다. 각 팀의 성별 구성은 각 팀(성별) 내의 남성 비율을 계산하여 결정되었다. 팀 사이즈는 각 TBL 팀의 총 학생 수(팀 크기)이다. 로테이션은 각 TBL 팀의 실습로테이션이 발생한 지점을 나타낸다. 첫 번째 6주 회전이 '1'로 코드화되었고, 두 번째 6주 회전이 '2'로 코드화되었다.
To determine the influence of other variables on team NBME test scores, we determined the team gender make-up, the team size and the rotation. The gender make-up of each team was determined by calculating the percentage of males within each team (Gender). Team size was the total number of students on each TBL team (Team size). Rotation denoted the point at which each TBL team’s clerkship rotation occurred: the first 6-week rotation was coded as ‘1’, the second 6-week rotation was coded as ‘2’ and so on.
결과
RESULTS
우리는 먼저 팀 NBME 점수를 mTPS, mNBME, 팀 크기, 회전 및 성별과 연관시켰다.우리는 팀 NBME 점수가 mTPS와 상당히 부정적으로 상관되어 있고 mNBME 점수 및 팀 규모와 상당히 긍정적으로 상관되어 있다는 점에 주목했다(표 1).
We first correlated the team NBME scores with mTPS, mNBME, Team size, Rotation and Gender.We noted that team NBME scores were significantly negatively correlated with mTPS and significantly positively correlated with mNBME scores and Team size (Table 1).
다변수 선형 회귀 분석에서는 팀 수준 변수(mTPS, mNBME, 팀 크기, 회전 및 성별)의 조합이 팀 NBME 점수를 상당히 예측한 것으로 나타났다. 각 변수의 베타 가중치는 표 2에 제시되어 있다.
Multivariable linear regression analysis indicated that the combination of team-level variables (mTPS, mNBME, Team size, Rotation and Gender) significantly predicted team NBME scores. The beta weights of each variable are presented in Table 2.
마지막으로, 우리는 HLM을 사용하여 우리의 데이터를 분석하여 학생들을 팀 내에 배치했다. 개인 수준에서는 각 팀 내 학생에 의한 개별 NBME 시험점수와 개별 TPS 점수를 사용했다. 팀 레벨에서는 팀 사이즈, 회전, 성별을 사용했다. 우리의 모델은 R2-값 0.997로 중첩된 항(R2 = 0.16)이 없는 모델보다 훨씬 잘 맞았다. 흥미롭게도, 팀 내에 내포된 학생들에 대한 우리의 분석은 개별 NBME 시험 점수와 개별 TPS 점수의 추정 효과가 팀 NBME 시험 점수와 연관되어 긍정적이고(그리고 통계적으로 유의함) 있음을 보여주었다(표 3).
Finally, we analysed our data using HLMs, nesting students within teams. At the individual level, we used individual NBME test scores and individual TPS scores by students within each team. At the team level, we used Team size, Rotation and Gender. Our model had an R2-value of 0.997, which was a much better fit than that of the model without the nested terms (R2 = 0.16). Interestingly, our analysis of students nested within teams showed that the estimated effects of both individual NBME test scores and individual TPS scores were positively (and statistically significantly) associated with team NBME test scores (Table 3).
고찰
DISCUSSION
결과는 팀 특성이 TBL의 팀 성적에 영향을 미친다는 것을 보여주었다. 세 가지 분석을 모두 사용하여, 대형 TBL 팀이 팀 NBME 테스트에서 더 높은 점수를 얻었다는 점에 주목했다. 계층적 선형 모델링을 통해 TBL 팀의 각 추가 인원은 팀 NBME 시험 점수를 거의 1점 증가시켰다.
Results indicated that team characteristics influenced the academic performance of teams in TBL. Using all three analyses, we noted that larger TBL teams scored more highly on the team NBME test. Hierarchical linear modelling indicated that each additional person on a TBL team resulted in almost a point increase in team NBME test scores.
세 가지 분석 모두 또한 로테이션이 팀 NBME 시험 점수와 긍정적으로 연관되어 있음을 나타내었지만, 오직 HLM만이 이 관계가 통계적으로 유의하다는 것을 나타냈다. 올해 초에 회전한 팀들은 HLM 분석을 이용하여 6번 회전 팀들을 제외하고 팀 시험에서 약 1~3점 낮은 점수를 받는 경향이 있었다.
All three analyses also indicated that Rotation was positively associated with team NBME test scores; however, only HLM indicated that this relationship was statistically significant. Teams that rotated earlier in the year tended to score about 1 to almost 3 points lower on the team test, with the exception of those on rotation 6, using HLM analysis.
우리의 결과는 다양한 통계 분석이 팀 내에서 수집된 데이터 결과에 어떻게 영향을 미칠 수 있는지를 보여준다.
학생의 NBME 시험 점수(mNBME)가 분석 방법에 관계없이 팀 NBME 시험 점수와의 통계적으로 유의하고 긍정적인 관계를 입증한 반면,
팀 응집력(TPS 점수) 결과는 사용된 분석의 영향을 강하게 받았다.
Our results illustrate how various statistical analyses can influence the results of data collected within teams. Whereas NBME test scores (mNBME) of students demonstrated a statistically significant and positive relationship with team NBME test scores, regardless of analysis method, the results on team cohesion (TPS scores) were strongly influenced by the analysis used.
우리는 다양한 분석 방법을 사용하여 얻은 결과의 차이점에 놀랐다. 상관관계 및 회귀분석을 위해 각 팀 구성원의 개별 TPS 점수를 각 팀의 평균 점수로 응축했다.
We were surprised at the differences in the results we obtained using various analysis methods. For the correlation and regression analyses, we analysed the individual TPS scores of each team member condensed into a mean score for each team.
우리의 연구를 위해, 우리는 HLM이 우리가 각 팀 내에서 개별 TPS 점수의 차이를 더 적절하게 설명할 수 있도록 했다고 느낀다. 개별 TPS 점수의 이러한 차이는 팀 응집력이 팀 NBME 시험 성과의 중요하고 긍정적인 예측 변수임을 보여주었다.
For our study, we feel that HLM more appropriately allowed us to account for variation in individual TPS scores within each of the teams. This variation in individual TPS scores indicated that team cohesion was a significant and positive predictor of team NBME test performance.
우리의 결과는 성공적인 팀 수행을 위해 충분한 지적 풀을 확보할 수 있을 만큼 팀이 커야 한다는 Michaelsen et al.2의 제안을 지지한다.
Our results support the proposal of Michaelsen et al.2, who suggest that teams must be large enough to ensure an adequate intellectual pool for successful team performance.
흥미롭게도, 최근의 연구에서, 스와브 외 연구진 16은 팀 내에서 '너무 많은 재능'이라는 효과를 제시했다. 이 효과는 너무 많은 지배적이고 기능적인 개인이 한 팀 내에서 알파 순위를 다투어 팀 응집력을 떨어뜨릴 때 발생한다. 가금류 과학 연구에 따르면, 너무 많은 알을 낳는 암탉을 함께 키우는 것은 실제로 난자 생산량이 감소하는 것으로 나타났다. 왜냐하면 암탉들이 그 그룹의 꼭대기로 가는 길을 쪼아보려고 불필요한 시간을 보내기 때문이다. 마찬가지로, 축구나 농구와 같은 스포츠에서 상호의존적인 팀의 슈퍼스타의 수는 응집력과 성능이 실제로 감소하는 지점까지 성과와 응집력에 도움이 된다. 우리 팀의 대부분이 5명에서 7명으로 구성되어 있었기 때문에, 우리는 얼마나 큰지(또는 얼마나 작은지)를 연구할 수 있는 능력에 한계가 있었다.
Interestingly, in a recent study, Swaab et al.16 suggested a ‘too-much-talent’ effect within teams. This effect occurs when too many dominant and high-functioning individuals jostle for alpha rank within a team, which diminishes team cohesion. Studies in poultry science have shown that housing too many high egg-producing hens together actually decreases egg production because the hens spend unnecessary time trying to peck their way to the top of the group. Similarly, the number of superstars on an interdependent team in a sport such as football or basketball (unlike those in more individual sports such as baseball) benefit performance and cohesion up to a point, at which cohesion and performance actually diminish. Because most of our teams consisted of five to seven individuals, we were limited in our ability to study how large is too large (or how small is too small).
팀 응집력은 TBL 팀 프로세스의 중요한 부분으로 강조되어 왔다. Michaelsen et al.4는 회원이 그룹의 모든 구성원의 자원으로 완전히 접근하고 이익을 얻기 전에 최소 20-25시간의 TBL이 필요하다고 제안한다. 마찬가지로, 심리치료 분야에서의 연구는 응집력이 결과에 가장 강한 관계를 가지려면 적어도 12번의 세션이 필요하다고 제안한다.17
Team cohesion has been emphasised as an important part of the TBL team process. Michaelsen et al.4 suggest that a minimum of 20–25 hours of TBL is required before members fully access and benefit from the resources of all members of the group. Likewise, research in the area of psychotherapy suggests that at least 12 sessions are required for cohesion to have the strongest relationship to outcomes.17
우리의 연구는 몇 가지 한계를 가지고 있었다. 첫째, 본 코스의 마지막에 실시된 TPS와 팀 NBME 과목 테스트에서 대부분의 팀이 NBME 팀 시험에서 99번째 백분위수에서 점수를 받아서 천장 효과가 있었다(그리고 원시 점수로 다시 채점됨), 대부분의 학생들이 팀을 응집력 있는 팀으로 평가했다.
Our study had several limitations. Firstly, the TPS and team NBME Subject Test administered at the end of the course showed a ceiling effect: most of the teams scored at the 99th percentile on the team NBME test (and were re-scored as raw scores), and most students rated their teams as cohesive.
우리의 결과는 팀 NBME 점수와 긍정적이고 유의하게 관련된 변수로는 [더 큰 팀, 올해 후반에 로테이션한 팀]이 포함되었음을 시사한다. 개인 수준에서는 [개별 NBME 시험 점수와 팀 응집 등급]이 상위 팀 NBME 시험 점수와 상당히 관련이 있었다.
Our results suggested that variables that were positively and significantly associated with team NBME scores included larger teams and teams that rotated later in the year. At the individual level, individual NBME test scores and team cohesion ratings were significantly associated with higher team NBME test scores.
Med Educ.2015 Apr;49(4):379-85. doi: 10.1111/medu.12636.
Teamcohesiveness, teamsize and teamperformance in team-basedlearningteams.
Department of Paediatrics, University of Oklahoma College of Medicine, Oklahoma City, Oklahoma, USA; Office of Medical Education, University of Oklahoma College of Medicine, Oklahoma City, Oklahoma, USA.
Abstract
OBJECTIVES:
The purpose of this study was to explore the relationships among variables associated with teams in team-basedlearning (TBL) settings and team outcomes.
METHODS:
We administered the National Board of Medical Examiners (NBME) Psychiatry Subject Test first to individuals and then to teams of Year three students at four medical schools that used TBL in their psychiatry core clerkships. Team cohesion was analysed using the TeamPerformance Scale (TPS). Bivariate correlation and linear regression analysis were used to analyse the relationships among team-level variables (mean individual TPS scores for each team, mean individual NBME scores of teams, teamsize, rotation and gender make-up) and team NBME test scores. A hierarchical linear model was used to test the effects of individual TPS and individual NBME test scores within each team, as well as the effects of the team-level variables of teamsize, team rotation and gender on team NBME test scores. Individual NBME test and TPS scores were nested within teams and treated as subsampling units.
RESULTS:
Individual NBME test scores and individual TPS scores were positively and statistically significantly (p < 0.01) associated with team NBME test scores, when team rotation, teamsize and gender make-up were controlled for. Higher team NBME test scores were associated with teams rotating later in the year and larger teams (p < 0.01). Gender make-up was not significantly associated.
CONCLUSIONS:
The results of an NBME Psychiatry Subject Test administered to TBL teams at four medical schools suggest that larger teams on later rotations score higher on a team NBME test. Individual NBME test scores and team cohesion were positively and significantly associated with team NBME test scores. These results suggest the need for additional studies focusing on team outcomes, team cohesion, teamsize, rotation and other factors as they relate to the effective and efficient performance of TBL teams in health science education.
교육혁신의 전이가 사실은 변형프로세스인가? (Adv in Health Sci Educ, 2012)
Is transferring an educational innovation actually a process of transformation?
Lara Varpio • Robert Bell • Gary Hollingworth • Alireza Jalali • Paul Haidet • Ruth Levine • Glenn Regehr
도입
Introduction
교육 및 의학교육 문헌에 대한 최근의 논쟁은 교육 프로그램 개발의 타당성과 기관 간에 복제될 수 있는 혁신에 관한 질문을 포함한다(Regehr 2010).
어떤 사람은 일반화가능하고 전이가능한 프로그램에 대한 대규모 평가가 지역사회가 교육 개선에 효과적으로 나아갈 수 있는 유일한 방법이라고 제안한다(Slavin 2008; Whitcomb 2002).
이와는 대조적으로, 다른 이들은 맥락을 "환원불가한 공변량irreducible covariate"(Howell 2008)으로 보고 있으며, 어떤 혁신도 불가피하게 국지적 맥락에 적응해야 최대의 가치를 얻을 수 있다고 본다(Berliner 2002; Haidet et al. 2006).
Recent debates in the education and medical education literature include questions regarding the feasibility of developing educational programs and innovations that can be replicated across institutions (Regehr 2010).
Some propose that large-scale assessment of generalizable, transferrable programs is the only way the community can move forward effectively in improving education (Slavin 2008; Whitcomb 2002).
In contrast, others see context as an ‘‘irreducible covariate’’ (Howell 2008) and that any innovation inevitably has to be adapted to the local context to be maximally valuable (Berliner 2002; Haidet et al. 2006).
교육혁신을 지역적 맥락에 통합하려면 혁신의 원래 설계의 이상과 채택 현장의 상황의 현실 사이에 타협이 필요하다. 이 절충과정에서, 혁신의 일부 기본 원칙은 보존되고, 다른 원칙은 변형되며, 다른 원칙은 버려질 수 있다.
Incorporating an educational innovation into a local context requires compromise between the ideal of the innovation’s original design and the realities of the adoption site’s context. Through this compromise, some fundamental principles of the innovation will be preserved, others be transformed, and others may be abandoned.
본 연구의 원래 의도는 Stake의 반응성 평가 모델(1975)을 사용하여 학부 의대생들과 함께 TBL의 파일럿을 평가하는 것이었다.
The original intent of this study was to evaluate the piloting of TBL with our undergraduate medical students using Stake’s responsive evaluation model (1975).
하지만, 파일럿의 개발과 실행 중에, 우리 팀은 우리의 가장 흥미로운 교훈이 우리의 특정한 맥락에서 TBL을 구현하는 과정을 분석하는 것에서 나온다는 것을 깨달았다. TBL의 잠재적 기여도에 대한 정보를 제공하는 평가를 수행하려면 먼저 보다 추상적인 문제를 해결해야 했다. 우리가 TBL을 한 거야?
However, during the pilot’s development and implementation, our team realized that our most interesting lessons came fromanalyzing the process of implementing TBL in our specific context. to conduct an informative evaluation of the potential contributions of TBL to our local context, we first needed to grapple with a more abstract problem: Is what we did TBL?
우리의 맥락에서 TBL을 도입하기 위해서, 우리는 일련의 타협을 해야 했다. 우리의 타협은 개입의 원래 설계의 이상을 채택하는 것과 우리의 맥락의 현실에 디자인을 맞추는 것 사이의 협상이었다.
To adopt TBL in our context, we had to engage in a series of compromises. Our compromises were negotiations between adopting the ideal of the intervention’s original design, and adapting the design to the realities of our context.
우리는 '언제부터 더 이상 TBL이 아니게 되는가?'를 알아야 했다. 이것이 우리가 처음 탐구하기 시작한 조사는 아니었지만, 우리는 이 긴급한 질문이 중요한 영향을 미칠 것을 제안한다.
we had to know: ‘When does it stop being TBL’? While this was not the investigation we first set out to explore, we propose that this emergent question has important ramifications.
TBL
Team-based learning
원래 1970년대 후반 래리 마이클슨 등이 구상하고 개발한 팀 기반 학습은 배정된 팀 활동을 통해 대규모 그룹 환경에서 소규모 그룹 학습을 지원하는 전략이다. 팀 기반 학습은 단일 교사 교실에서 사용될 수 있기 때문에, 종종 전통적인 소규모 그룹 방법보다 더 교수진 효율적이라는 찬사를 받는다(Nieder et al. 2005).
Team-based learning, originally conceived and developed by Larry Michaelsen and others in the late 1970s, is a strategy that supports small-group learning, through assigned team activities, within a large-group setting. Team-based learning can be employed in singleteacher classrooms and so is often lauded for being more faculty-efficient than traditional small-group methods (Nieder et al. 2005).
TBL에 관한 글에서는 이 전략을 기본 철학, 철학을 실현하기 위해 필요한 조건을 형성하는 원리, 그리고 원칙을 가능하게 하는 교실 기법의 세 가지 단계로 기술하고 있다.
Writings on TBL describe this strategy at three levels: the underlying philosophy, the principles that form the necessary conditions to effect the philosophy, and the classroom techniques that enable the principles.
TBL의 철학의 핵심은 팀으로서의 학습이 그룹 내 개인으로서의 학습과 가치 있게 다르다는 믿음이다(Fink 2004). 예를 들어, Fink는 고기능 팀은 ad hoc 학습 그룹과 구별하는 두 가지 주요 특성을 보여준다고 제안한다.
(1) 그룹의 복지welfare에 대한 높은 수준의 개인 헌신과
(2) 그룹 구성원들 사이의 높은 신뢰도.
A core tenet of TBL’s philosophy is the belief that learning as a team is valuably different than learning as individuals in a group (Fink 2004). For example, Fink suggests that high-functioning teams demonstrate two key characteristics distinguishing them from ad hoc learning groups:
(1) a high level of individual commitment to the group’s welfare and
(2) a high level of trust among group members (Fink 2004).
이러한 특성으로 인해 팀은
구성원들 사이에서 매우 높은 개인의 노력을 고무한다.
회원들이 정직한 의사 소통을 통해 서로에게 도전할 수 있도록 노력한다.
효과적인 협업을 촉진한다.
최소한의 외부적 도움을 받아 복잡하고 도전적인 작업을 수행한다(Fink 2004).
These characteristics allow teams to
inspire very high individual effort among members,
engender willingness for members to challenge each other through honest communication,
promote effective collaboration, and
accomplish complex, challenging tasks with minimal external help (Fink 2004).
이러한 철학적 목표를 결실을 맺기 위해, TBL이 효과적으로 기능하기 위해 필요한 조건으로서 네 가지 핵심 원칙이 명확히 표현되고 정교해졌다. 다음 네 가지 원칙은 다음과 같다.
To bring these philosophical goals to fruition, four key principles have been articulated and elaborated as necessary conditions for TBL to function effectively. These four principles are:
원칙 1. 집단은 적절하게 형성되고 관리되어야 한다.
원리 2 학생들은 책임을 져야 한다.
원리 3 팀 배정은 학습과 팀 개발을 촉진해야 한다.
원론 4 학생들은 빈번하고 즉각적인 피드백을 받아야 한다(Michaelsen 2004).
Principle 1. Groups must be properly formed and managed;
Principle 2. Students must be made accountable;
Principle 3. Team assignments must promote both learning and team development;
Principle 4. Students must receive frequent and immediate feedback (Michaelsen 2004).
첫 번째 원칙은 (a) 팀은 강사에 의해 신중하게 구성되고 관리되어야 하며, (b) '그룹'에서 고성능 학습 '팀'으로 진화하기 위해 비교적 오랜 기간 함께 있어야 한다(Michaelsen 2004). 이러한 팀들은 높은 수준의 응집력과 참여가 특징이며, 각 멤버가 가져오는 자원을 충분히 활용할 수 있다.
The first principle requires that (a) teams be carefully formed and managed by the instructor, and that (b) they remain together for relatively long periods to evolve from ‘groups’ into high-performance learning ‘teams’(Michaelsen 2004). Such teams are characterized by high levels of cohesiveness and participation, allowing themto draw fully upon the resources each individual member brings.
원칙 2는 (1) 학생의 개인 및 그룹 작업의 품질을 모니터링할 것과 (2) 학생의 업무 품질은 중대한 결과significant consequences를 가져올 것을 요구한다(Michaelsen 2004). 이러한 책임은 팀 내에서 응집력과 신뢰의 발전을 지원한다.
Principle two requires that (a) the quality of student’s individual and group work can be monitored and that (b) the quality of their work will have significant consequences (Michaelsen 2004). This accountability supports the development of cohesiveness and trust within the team.
세 번째 원칙은 팀 배정이 성공적인 완료를 위해 그룹 상호작용이 필요하다고 요구한다(Michaelsen 2004). 이것은 팀원들이 성공을 위해 서로의 생각에 도전하도록 동기를 부여한다.
The third principle requires that team assignments require group interaction for successful completion (Michaelsen 2004). This provides incentive to the team members to challenge each other’s thinking in order to be successful.
마지막으로, 네 번째 원칙은 모든 수업 내 과제에 대한 피드백을 즉시 공개적으로 제공하도록 요구한다(Michaelsen 2004). 개인과 그룹 배정 모두에 대한 이러한 지속적이고 시기적절한 피드백은 팀원들이 그룹 구성원의 장점을 활용할 수 있는 능력에 대한 자신감을 준다.
Finally, the fourth principle requires that feedback on all in-class assignments be provided immediately and publicly (Michaelsen 2004). Such ongoing and timely feedback for both individual and group assignments gives the team confidence in their ability to harness the strengths of their group members.
네 가지 원칙을 모두 적용하는 것은 접근법의 실질적인 적용을 구성하는 특정 강의실 기법 집합이다. 이러한 기법의 수준에서, TBL은 일반적으로 세 단계(Thompson et al. 2007; Michaelsen et al)로 구성된다. 2004). 1단계는 교실 밖에서 일어나고, 2단계와 3단계는 교실 안에서 일어난다.
Enacting all four principles is a set of specific classroom techniques forming the practical application of the approach. At the level of these techniques, TBL is generally described as consisting of three phases (Thompson et al. 2007; Michaelsen et al. 2004). Phase 1 takes place outside the classroom, while Phases 2 and 3 occur within the classroom.
1단계에서 학생들은 사전 할당된 준비 자료를 독립적으로 공부한다.
In Phase 1, students independently study pre-assigned preparatory materials.
2단계 동안 각 학생은 개별 준비 보증 테스트(IRAT)를 완료한다. 그런 다음, 강사가 할당된 그룹에서 학습자가 현재 GRAT(그룹 준비도 보증 테스트)라고 하는 동일한 테스트를 공동 재응시한다. 개별(IRAT) 및 그룹 준비도 보증 테스트(GRAT)는 일반적으로 학생들이 1단계 준비 자료에서 개념을 이해했는지 여부를 강사가 결정할 수 있도록 설계된 객관식 또는 참 거짓 질문이다. 그런 다음 그룹은 GRAT 답변을 보고하여 즉시 표시 및 보고하십시오. IRAT와 GRAT은 학생들이 1단계 준비 작업에 대한 책임을 지고 팀 상호 작용과 피어 투 피어 학습을 지원한다.
During Phase 2, each student completes an Individual Readiness Assurance Test (IRAT). Then, in instructorassigned groups, learners collaboratively retake the same test, now called a Group Readiness Assurance Test (GRAT). Individual (IRATs) and Group Readiness Assurance Tests (GRATs) are typically multiple choice or true–false questions designed to promote peer teaching and to enable the instructor to determine if students have understood the concepts from the Phase 1 preparatory materials. Groups then report their GRAT answers for immediate marking and reporting. The IRAT and GRAT hold students accountable for their Phase 1 preparation work and support team interaction and peer-to-peer learning.
3단계에서 학생들은 수업 중 복잡한 애플리케이션 과제를 완료하기 위해 그룹별로 일한다. 이 단계 동안 할당된 시간에, 그룹들은 직접 비교와 즉각적인 피드백을 위해 더 larger class와 동시에 그들의 답안을 공유한다. TBL '방법'에 대한 자세한 설명은 다른 곳에서 확인할 수 있다(Michaelsen et al. 1997, 2008).
In Phase 3, students work in their groups to complete in-class complex application assignments. At assigned times during this phase, groups will simultaneously share their assignment answers with the larger class for direct comparison and instant feedback. More detailed descriptions of the TBL ‘method’ are available elsewhere (Michaelsen et al. 1997, 2008).
방법
Methods
이 사례 연구 분석을 실시하기 위해, 우리 연구팀은 의학 교육 문헌에서 흔히 볼 수 없는 정성적 연구 방법론인 자가학(authethnography)을 채택했다. 오토텍노그래피(Autoethnography)는 '필자들이 특정 분야나 문화에 대한 이해를 넓히기 위해 자신의 경험을 토대로 하는 고도의 개인화된 계정을 포함하는 긴급 민족적 글쓰기 관행'이다(Holt 2003, 페이지 18). 자동문헌가들은 다른 사람들이 목격할 수 없는 과정, 현상 및 그룹 역학에 대한 통찰력을 제공하기 위해 연구-인사이더 보고서의 중요성을 지적한다(Vickers 2002). 비커스 제안대로: '때로는, 질적 연구를 보고하는 목소리가 전달하려는 이야기가 있는 현지의 작가의 개인적인 목소리여야 한다.'따라서, 이 방법론은 연구자들이 데이터가 어떻게 '고투의 살아 있는 순간들의 복잡함 속에 embed되는가'를 강조할 수 있게 한다(Ellis and Bochner 2000, p. 744).
To conduct this case study analysis, our research team employed a qualitative research methodology uncommon in medical education literature: autoethnography. Autoethnography is an ‘‘emergent ethnographic writing practice [that] involves highly personalized accounts where authors draw on their own experiences to extend understanding of a particular discipline or culture’’ (Holt 2003, p. 18). Autoethnographers point to the importance of research-insider reports to provide insights into the processes, phenomena, and group dynamics that others cannot witness (Vickers 2002). As Vickers proposes: ‘‘sometimes, the voice reporting qualitative research should (Vickers’s italics) be the personal voice of a situated author with a story to tell’’ (2002, p. 619). Thus, this methodology enables researchers to highlight how data are ‘‘embedded in the complexities of lived moments of struggle’’ (Ellis and Bochner 2000, p. 744).
중요한 것은, 이러한 유형의 조사의 목적은 객관적 사실을 진전시키는 것이 아니다(Holt 2003; Ellis and Bochner 2000). 대신 오토메토닉은 "논의할 수 없는 결론보다는 더 많은 대화를 위한 교훈"이기 때문에 연구 커뮤니티에 중요한 통찰력을 제공한다(Ellis and Bochner 2000, 페이지 744).
Importantly, the goal of this type of inquiry is not to advance objective facts (Holt 2003; Ellis and Bochner 2000). Instead, autoethnographies provide important insights to research communities because they ‘‘offer lessons for further conversation rather than undebatable conclusions’’ (Ellis and Bochner 2000, p. 744).
오토네노그래피로 인해 분석은 연구과정(그래피), 문화(에트노스), 자아(오토)에 초점을 맞출 수 있다 이 분석의 목적이 "우리의 파일럿 연구(auto)의 '백스테이지' 경험(그래피)이 어떻게 TBL의 핵심 원칙(에트노스)의 채택에 도전했는가"였기 때문에 우리는 자동문학적 접근법이 이 조사를 가장 잘 뒷받침할 것이라고 느꼈다.
Because autoethnography allows analysis to focus on the research process (graphy), the culture (ethnos), and the self (auto) (Reed-Danahay 1997), and because the aim of this analysis was to explore how the ‘backstage’ experiences (graphy) of our pilot study (auto) challenged the adoption of TBL’s core principles (ethnos), we felt that an autoethnographic approach would best support this inquiry.
자료 수집
Data collection
파일럿 구현 중 TBL 원칙 1의 진화를 반영하기 위해 연구팀 내에서 인터랙티브 인터뷰(Davis and Ellis 2008)를 실시하였다. 대화형 인터뷰는 연구자와 연구 참여자가 공동감각 및 비상한 이해 개발(Davis 및 Ellis 2008)에 참여하는 대화로 정의된다.
To reflect on the evolution of TBL Principle 1 during our pilot implementation, we conducted an interactive interview (Davis and Ellis 2008) within our research team. Interactive interviewing is defined as a conversation in which the researcher and research participant(s) engage in joint sense-making and emergent understanding development (Davis and Ellis 2008).
TBL 파일럿의 구현에 대해 추가적인 관점을 제공하기 위해, 연구 기간 내내 상세한 감사 추적(로저 및 코울 1993)을 유지했다. 이러한 감사 추적에는 구현 팀 회의록, 팀 대응 기록, 개별 연구원 및 강사 성찰의 상세한 서면 기록이 포함된다.
To bring additional perspectives to bear on the implementation of the TBL pilot, detailed audit trails (Rodgers and Cowles 1993) were maintained throughout the duration of the study. These audit trails include detailed written records of implementation team meeting minutes, of team correspondences, and of individual researcher and instructor reflections.
자료 분석
Data analysis
이 인터뷰 기록은 연구팀의 정성적 연구원들 중 한 명이 분석했다.
The interview transcript was analyzed by one of the research team’s qualitative researchers (LV).
코딩은 이행팀원(RB, GH, AJ)이 검토하여 면접관(RB)이 확인하였다. 외부 TBL 전문가(RL)와의 회원 확인(Janesick 2000)은 이러한 분석의 유효성을 뒷받침했다.
Coding was reviewed by the implementation team members (RB, GH and AJ) and confirmed by the interviewee (RB). Member checks (Janesick 2000) with an external TBL expert (RL) supported the validity of these analyses.
결과
Results
도입 맥락
The implementation site context
우리 캐나다 의과대학은 연간 총 150명의 학부생을 두고 있다. 우리 학교의 한 가지 독특한 특징은 우리 학생들이 영어와 프랑스어를 기반으로 두 개의 흐름으로 나뉘어져 있다는 것이다. 앵글로폰 개울에는 111명, 프랑코폰에는 39명이 있다. TBL 시행 당시 우리 학교는 학생들에게 의학지식을 제공하는 것을 강조하는 PBL and 강의 기반 교육과정에서 벗어나고 있었다. 새로운 커리큘럼은 사례 기반 학습과 TBL을 구현하여 소규모 그룹의 적극적인 학습을 지원한다.
Our Canadian medical school has an annual undergraduate class size totalling 150 students. One unique feature of our school is that our students are divided into two streams based on language of instruction: English or French. There are 111 students in the Anglophone stream and 39 in the Francophone. At the time of the TBL implementation, our school was transitioning away from a PBL and lecture-based curriculum that emphasized providing students with medical knowledge. The new curriculum implements Case-Based Learning and TBL to support more small-group, active learning.
시행팀이 처음 만났을 때(2007년 9월) 파일럿 운영 시기와 방법에 대한 논의는 다음과 같은 교수자를 찾는 것이 필요했다.
(1) 교실에서 TBL을 배우고 구현하는 데 전념할 것
(2) TBL을 사용하는 강좌가 몇 개 있을 것
When the implementation team first met (September 2007), the discussion of when and how to run the pilot required finding an instructor who
(1) was committed to learning and implementing TBL in their classroom, and
(2) would have a course with several lectures in which to use TBL.
우리는 몇 주 동안 TBL 파일럿을 운영하기를 희망했지만, TBL을 지원할 수 있고 여러 강의가 가능한 교육자에게는 강좌를 찾을 수 없었다. 우리가 확보할 수 있는 가장 긴 옵션은 첫 해 신장학 블록에서 1주 동안 파일럿을 조종할 수 있었다.
While we had hoped to run the TBL pilot over several weeks, we could not find a course with an educator who could support TBL and who had multiple lecture availabilities. The longest option we were able to secure could run the pilot over 1-week in the first year renal block.
시행일(2008년 4월)이 가까워짐에 따라, 또 다른 상황적 요인이 우리 파일럿에 영향을 미쳤다. 일정이 겹쳐서, 우리는 원래 예정된 시간대에 파일럿을 실행할 수 없었다. 우리 강사는 이미 교육을 받았고, 수업 자료(IRAT, GRAT 및 응용 프로그램 과제)는 이미 개발되고 있었기 때문에, 우리는 새로운 강사와 강좌를 찾는 것을 포기하기로 결정했다. 대신, 우리는 시험 날짜를 옮기기로 결정했다. 우리의 원래 강사는 2008년 5월에 학생들과 90분짜리 강의를 두 번 했다. 우리는 이 두 강의를 TBL 모듈로 대체하기로 결정했다. 학생들이 그룹 참여에 대해 서로 정확히 평가하기에 충분한 상호작용을 하지 않기 때문에, 이러한 TBL 세션에 과목 성적의 백분율이 할당되지 않을 것이라고 결정되었다. 그 결과, TBL 파일럿에 대한 학생들의 참여는 자발적이었다.
As the implementation date (April 2008) neared, another contextual factor influenced our pilot. As a result of scheduling conflicts, we could not run the pilot in the originally scheduled time slot. Since our instructor had already been trained, and our class materials (IRAT, GRAT and application assignments) were already being developed, we decided to forgo finding a new instructor and course. Instead, we decided to move the pilot date. Our original instructor had two 90-min lectures scheduled with students in May 2008. It was decided that we would replace these two lectures with TBL modules. It was decided that no percentage of the course grade would be allotted to these TBL sessions since students would not have sufficient interactions to accurately grade each other on group participation. As a result, student participation in the TBL pilot was voluntary.
이러한 맥락에서 우리는 다음과 같이 묻는다. 파일럿 시절 "효과적인 팀 구성과 관리"라는 TBL 원칙을 transfer할 수 있었는가, 아니면 이 원칙이 변경transform 되었는가?
In this context, we ask: Were we able to transfer the TBL principle of effective team formation and management during our pilot or did we transform it into something else?
원칙 1은 이 4가지 원칙 중 가장 강력하게 기술되었고 우리의 데이터 세트를 통해 추적할 수 있었기 때문에 이 논문의 초점이 될 것이다.
Principle 1 will be the focus of this paper since, of the four, this principle was most robustly described and traceable through our data set.
파일럿의 원리 #1 실행
Executing Principle #1 in the pilot
TBL의 제1원칙에 대한 우리의 구현의 영향을 탐구하기 위해, 효과적인 팀 개발 및 관리를 위한 두 가지 조건을 검토하였다.
(1) 집단의 응집력과 자원 공유에 대한 장벽을 최소화하고
(2) 학습 그룹이 팀으로 진화할 수 있도록 대한 장기적 헌신을 지원한다.
In exploring of the effect of our implementation on the first principle of TBL, two conditions for effective team development and management were examined:
(1) minimizing barriers to group cohesiveness and support resource sharing; and
(2) supporting long-term commitment to learning groups so they can evolve into teams.
그룹 응집력 및 지원 리소스 공유에 대한 장벽 최소화
Minimizing barriers to group cohesiveness and support resource sharing
처음에 우리는 두 언어 흐름의 학생들과 함께 파일럿을 운영할 계획이었지만, 우리는 학생들을 하나의 큰 학급 환경으로 묶을 수 없다는 것을 빠르게 깨달았다.
While we had initially planned to run the pilot with students in both language streams, we quickly realized that we could not group the students together into one large class setting.
그림 1에서 임상의사 교육자는 프로그램 내의 두 언어 그룹의 실상을 설명한다.
In Fig. 1, the clinician educator articulates the reality of two language groups in the program.
이러한 우려를 염두에 두고, 구현 팀은 TBL 파일럿을 언어 그룹별로 하나씩 두 개의 스트림으로 분할했다.
With this concern in mind, the implementation team split the TBL pilot into two streams—one for each language group.
그림 1 두 가지 언어 흐름의 예와 그룹 응집성의 장벽 최소화
Fig. 1 Example of two language streams and minimizing barriers to group cohesiveness
여기 프랑스어 전용 하천이 있는데, 일부 학생들은 프랑스어로 일하고 배우는 것이 훨씬 더 편하다. 그리고 그들은 그들의 교육이 프랑스어로 전달되기를 기대하고 있다. 분명히 영어로 수업을 진행하고 프란코폰 학생들을 무작위로 그룹에 넣는 것 만으로는 타당한 해결책이 아니었다. 우리는 집단 내에서 진정한 불화를 만들어냈을 것이다.
Here we have a dedicated French-language stream, where some students are much more comfortable working and learning in French. And they have an expectation that their education is delivered in French. Obviously, just running the sessions in English and putting the Francophone students in the groups in a random way was not a reasonable solution. We would have created real disharmony within groups.
학습 그룹을 팀으로 발전시킬 수 있도록 장기적인 노력 지원
Supporting long-term commitment to learning groups so they can evolve into teams
시범 세션의 짧은 기간을 고려할 때, 우리 팀은 아마도 학생 그룹이 팀으로 진화하기에는 충분히 길지 않을 것이라고 추측했다. 강사는 다음 두 개의 모듈만 있으면 TBL의 첫 번째 원칙을 위반할 수 있다는 의견을 제시한다(그림 2).
Given the short duration of the pilot session, our team hypothesized that it would probably not be long enough for student groups to evolve into teams. Our instructor offers his opinion (Fig. 2) that we would be violating TBL’s first principle by only having two modules:
그림 2 TBL의 첫 번째 원칙의 이러한 측면을 이전하지 않는다는 우려의 예
Fig. 2 Example of our concern that we were not transferring this aspect of TBL’s first principle
마이클슨에게 있어 TBL은 시간이 지남에 따라 진화하고 함께 있는 팀에 대한 지속적이고 장기적인 약속이었다. 우리 교육과정에서는 그런 일이 일어나지 않았다.그것은 아니었다: "이 '코스'는 팀 기반 학습 과정이다." 대신 "이번 '수업'은 팀 기반 학습 강의"입니다 라고 말했다 ....우리가 이런 일을 할 수 있는 방법은 우리의 한정된 기간 동안, 확실히 우리의 조종사가 아닌, 신장블록에 있는 나의 두 군데에서 할 수 있는 방법이 없다는 것은 명백했다. 우리는 학생들을 짧은 시간 동안 그들의 TBL 그룹에 함께 모이게 할 예정이었습니다. - 코스 내내 진행되는 장기간의 그룹이 아니라, 그 대신에 두 번의 강의 시간을 위해서였죠. 괜찮다고 생각하지만, 팀 기반 학습은 아닌 것 같지만, TBL이 우리를 위해 어떤 모습을 보일지.
TBL, for Michaelsen, was this ongoing, long-term commitment to a team that evolved over time and stayed together. And that’s not what I saw happening in our curriculum….It wasn’t: “This ‘course’ is a Team-Based Learning course.” Instead, it was: “This ‘lecture’ is a Team-Based Learning lecture session.” ….It was apparent that there was just no way that we were going to be doing this in our limited time-frame, certainly not in our pilot, in my two [90-minute] spots in the renal block. We were going to have students together in their TBL groups for short periods of time – not extended, course-long groups, but instead for a couple of lecture sessions. I think that’s fine, but I don’t think that’s Team-Based Learning – but it’s what TBL was going to look like for us, here.
우리 조종사는 TBL 그룹을 장기간에 걸쳐 함께 유지하는 것은 불가능했다.
Keeping TBL groups together over extended periods was not possible in our pilot.
그러나 학생들이 그룹을 이루어 함께 있는 짧은 시간에 임상의학 교육자는 그들이 어떻게 팀으로 진화할 수 있는지를 목격했다. TBL을 우리의 문맥으로 끌어들이기 위한 협상에서, 우리는 이 기본 원칙을 다른 것으로 변화시켰지만, 그 '다른 것'은 장점이 있었다. 그림 3은 강사가 그룹 개발을 볼 수 있음을 보여준다. 그는 학습 그룹이 짧은 시간 동안이라도 더 기능적인 팀으로 변할 수 있다는 약속이 있다는 것을 인정했다.
Yet, in the short time that students were together in groups, the clinician educator witnessed how they could evolve into teams. In the negotiations to bring TBL into our context, we did transform this foundational principle into something else—but that ‘something else’ had merit. Figure 3 demonstrates that the instructor could see group development. He acknowledged that there was the promise that learning groups could turn into more functional teams, even over a short period of time:
그림 3 그룹 개발 예제
Fig. 3 Example of group development
나는 모든 그룹들이 단지 서로를 잘 알지 못하는 학생들로 이루어진 것에서 기능하는 팀으로 가는 것을 봤다고 말할 수 없다. 하지만 나는 그룹 발전을 보았다. 나는 지배적이고 경솔한 학생들을 보았다 - 변화. 늦게 들어온 한 남자는 그의 그룹에서 일종의 파괴적이었고, 다른 학생들에게 첫 수업을 하는 동안 꽤 지배적이었다....하지만, 그는 그들에게 정답을 주지 않았어! 그는 정말로 훨씬 더 low-key 를 갖게 되었고, 두번째인, 둘째 날에 더욱 더 그렇게 되었다. 그래서, 나는 그것이 작동하는 것을 보았다. 나는 이 그룹들을 보았다. 당신이 한 번 이상 함께 하고, 그것이 작동하기 시작했으며, 그들은 더 기능적인 팀이 되었다.
I can’t say that I saw all the groups go from being just a group of students that didn’t really know each other very well, to a functioning team. But I did see group development. I did see students that were dominant and flippant - change. One guy that came in late was sort of disruptive in his group, being quite dominant during the first part of the first session to the other students.…But, he didn’t give them the right answers! He became really much more low-key, and even more so in the second iteration, the second day. So, I saw it work. I saw these groups that you keep together for more than one session, that it started to work and they did become more functional teams.
고찰
Discussion
우리의 맥락에서 TBL의 파일럿을 준비하면서, 구현 팀은 TBL에 관한 많은 (그리고 일부는 읽은) 출판물들을 읽고, TBL 전문가들과 2일간의 워크숍에 참여했으며, 준비와 구현 과제를 명시적으로 함께 논의하였다. 이러한 준비에도 불구하고, 우리는 지역적 고려사항들이 얼마나 빠르고 효과적으로 TBL을 구현하는 원칙과 철학, 특히 우리가 원칙 1을 위반하고 있다는 우리의 믿음을 명확하게 확장시키는 기능적 변화를 이끌어냈는지에 감명을 받았다. 우리는 재빨리 TBL이 맥락을 벗어나서 존재할 수는 없다는 것을 알게 되었고, 우리는 이 원칙을 지키기 위해 애썼다. 그 과정에서 우리는 종종 테크닉을 변화시키거나 심지어 포기하기도 해야 하는 맥락적 요인을 수용해야 했다.
In preparing to pilot TBL in our context, the implementation team read many (and some read all) of the available publications on TBL, participated in a two-day workshop with TBL experts, and discussed preparation and implementation challenges together explicitly. Despite this preparation, we were impressed by how quickly and effectively local considerations led to functional alterations that clearly stretched the principles and philosophies embodying TBL—specifically our belief that we were violating Principle 1. We quickly became aware that TBL could not exist a-contextually and we struggled to maintain this principle while accommodating the contextual factors requiring us to change and sometimes abandon techniques.
우리의 구현이 다른 원칙들에 미치는 영향에 대한 해석은 필연적으로 더 추측적이지만(데이터가 이러한 원칙들을 심층적으로 탐구하는 것을 허용하지 않았기 때문에), (적어도)우리는 원칙 1의 측면의 이전transfer과 변형이 다른 TBL 원칙에 영향을 미쳤다고 믿는다. [집단의 응집력에 대한 장벽을 최소화]하고 [자원공유를 지원함]이라는 tenet을 transfer함으로써, 우리가 원칙 3(팀 과제는 학습과 팀 발전을 촉진해야 한다.)의 달성을 지지했다는 주장이 나올 수도 있다.
While our interpretations of our implementation’s impact on the other principles are necessarily more speculative (as the data did not allow for as in depth exploration of these principles), we believe that the transfer and transformation of aspects of Principle 1 likely had impact on the other TBL principles. By transferring the tenant of minimizing barriers to group cohesiveness and supporting resource sharing, it might be argued that we supported the achievement of Principle 3: that team assignments must promote both learning and team development.
특정 개인에게 유리한 주요 특성이 모든 그룹에 고르게 분포되었기 때문에, 강사는 모든 그룹 구성원의 지적 자원을 획득하기 위해 팀이 필요로 하는 과제를 설계할 수 있다. 이러한 주요 특성이 균등하게 분포되지 않은 경우, (각자 독립적으로 과제를 완성할 수 있기 때문에) 일부 그룹은 팀 협업이 필요하지 않을 수 있다. 혹은 다른 그룹은 상당한 팀 협업에도 불구하고 과제를 성공적으로 완수할 수 있는 자원이 없었을 수 있다. 그러므로 원리 1의 이러한 측면을 이전함으로써 우리는 원리 3의 실현을 지지한다는 가설을 세울 것이다.
Since key characteristics that would advantage certain individuals were evenly distributed across all groups, the instructor could design assignments that required teams to capture the intellectual resources of all group members. If these key characteristics were not evenly distributed, some groups may not have required team collaboration since each individual could have completed the assignments independently. Other groups may not have had the resources to successfully complete the assignments even with considerable team collaboration. Therefore, by transferring this aspect of Principle 1 we would hypothesize that we supported the realization of Principle 3.
학습 그룹에 대한 장기적인 헌신을 변화시켜 그들이 팀으로 진화할 수 있게 함으로써, 우리는 [학생들이 반드시 책임져야 한다]는 원칙 2를 훼손했다고 주장할 수도 있다. Michaelsen은 그룹을 학습 팀으로 발전시키려면 특정한 행동을 평가하고 보상할 필요가 있다고 주장한다. 그는 '학생들은 개별적으로 그룹 작업을 준비하고, 그룹 과제를 완료하는 데 시간과 노력을 쏟으며, 생산적인 방법으로 서로 교류해야 한다'고 제안한다. Michaelsen은 TBL 교실 환경에서 이러한 평가를 하기에 가장 좋은 위치에 있는 것은 학생들 자신이라고 제안한다. 우리의 조종사는 단 두 번의 교육 세션에서 열렸기 때문에, 학생들이 상호간에 이러한 행동들을 평가할 수 있도록 충분한 양의 상호작용을 하지 않기로 결정되었다. 따라서, 어떤 성적도 TBL 세션 활동에 할당되지 않았고 공식적인 학생 책임도 이행되지 않았다. 이렇게 해서 원리 1의 한 측면을 변형시킴으로써 우리가 원리 2를 훼손했다는 추측을 할 수 있을 것 같다.
By transforming the long-term commitment to learning groups so they can evolve into teams, it might be argued that we undermined Principle 2: that students must be made accountable. Michaelsen posits that developing groups into learning teams necessitates assessing and rewarding specific behaviours. He suggests that ‘‘students must be accountable for individually preparing for group work, devoting time and effort to completing group assignments, and interacting with each other in productive ways’’ (Michaelsen 2004). Michaelsen suggests that, in the TBL classroom setting, it is the students themselves who are in the best position to make these evaluations. Since our pilot was held in only two instructional sessions, it was decided that the students would not engage in a sufficient quantity of interactions to enable the evaluation of these behaviours in each other. Thus, no grades were allotted to TBL session activities and no formal student accountability was implemented. In this way, by transforming one aspect of Principle 1, it seems plausible to speculate that we undermined Principle 2.
우리가 TBL을 했느냐 하는 문제에 고심하면서, 우리 팀이 이 질문에 대한 해답에 대해 완전히 동의하고 있지 않기 때문에 일반적인 진실 진술의 개발을 추구하지 않는 연구 방법론을 선택한 것이 적절하다. 우리의 토론에서 명백해진 것은 이것을 결정하는 명확한 규칙들이 없다는 것이다. 대부분, 우리는 즉각적인 피드백을 위해 IRAT 및 GRAT 검사, 수업 내 과제 및 수업 내 진행 상황 공유를 포함하여 TBL의 기술을 효과적으로 복제했다는 것을 집단적으로 편안하게 느꼈다. 일부 팀원들에게는 이 정도면 TBL로서 우리의 개입을 인정하기에 충분했다. 그러나 원칙의 차원에서는 모호성이 더 컸다. 원리 1의 통념을 살펴보니, 어떤 면은 이전되고, 반면에 어떤 면은 변형되었다. 우리는 또한 이러한 이전과 변화가 다른 원칙들에 영향을 미친다는 것을 깨달았다. 따라서, [우리가 과연 TBL을 구현했는지]와 관련한 토론과 이견의 중요한 부분은 TBL의 네 가지 원칙의 수준에서 집중되었고, 우리가 이들에 대해 진실인지 여부에 집중되었다.
In struggling with the question of whether we did TBL, it is appropriate that we chose a research methodology that doesn’t seek to develop generalizable truth statements since our team is not in complete agreement regarding the answer to this question. What became apparent in our discussions is that there is no unambiguous set of rules by which to determine this. Mostly, we felt collectively comfortable that we effectively replicated the techniques of TBL, including implementing the IRAT and GRAT examinations, in-class assignments and in-class sharing of progress for immediate feedback. For some team members, this was sufficient to qualify our intervention as TBL. However, at the level of principles, there was greater ambiguity. Examining the tenets of Principle 1, we found that some aspects were transferred, while others were transformed. We also realized that these transfers and transformations had impact on the other principles. Thus, an important part of our discussion and disagreement regarding whether we implemented TBL was focused at the level of its four principles, and whether we were true to these.
결국 우리는 우리가 TBL을 했는가에 대한 문제는 TBL의 기본 철학인 [학습팀의 창설creation of learning teams]로 돌아와야만 해결될 수 있다는 것을 깨달았다. 강의실 기법과 핵심 원칙의 목적은 높은 수준의 개인 신뢰와 그룹 헌신을 가진 학습자 팀을 만드는 것이다. 우리는 (위의 결과에 기술된 바와 같이) 집단에서 팀으로 이러한 변혁의 힌트를 보았지만, 학생들이 우수한 학습팀을 정의하는 집단적 책임감과 신뢰감을 어느 정도 경험했는지를 공식적으로 평가하지는 않았다. 따라서 우리는 그 문제를 해결할 수 없다는 것을 알게 된다. 그러나, 우리는 이 오토네노그래픽 사례 연구가 의료 교육에 대한 고려를 위한 중요한 요점을 제공한다고 제안한다.
In the end, we realized that the question of whether we did TBL could only be resolved by returning to TBL’s underlying philosophy: the creation of learning teams. The purpose of the classroom techniques and key principles is to create teams of learners with high levels of individual trust and group commitment. While we saw hints of this transformation from groups to teams (as described in the results above), we did not formally assess the extent to which the students experienced the sense of collective responsibility and trust that define excellent learning teams. Thus, we find ourselves unable to resolve the question. However, we suggest that this autoethnographic case study does provide important points for consideration for medical education.
우리의 사례 연구에서 알 수 있듯이, 교육적 혁신을 한 사이트에서 다른 사이트로 도입하는 것은 단순한 이전 문제가 아니라 변혁의 과정이다. 교육 혁신은 철학과 함께 시작되며, 교실 기술을 통해 운영되는 기본 원칙의 개발로 이어진다. 혁신의 원래 기법이 새로운 사이트에서 구현 솔루션을 찾는 데 도움이 될 수 있지만, 이러한 테크닉은 기성품off-the-shelf 솔루션이 아니다. 그 [기술]들이 비록 그저 표면적 구조로 보일 수도 있지만, 사실 그것들은 더 깊은 [원칙]의 실현이라고 경고할 것이다. 그리고 [원칙]은 그 자체가 더 깊은 [철학]을 실현하는 것이다. 기술 및/또는 원칙이 새로운 맥락으로 수정modify될 때, [변경사항modification]이 여전히 [혁신의 철학]을 뒷받침하는지 분석하는 것이 중요하다. 이를 위해, 우리는 교육 혁신에 대한 설명이 그들이 의존하는 원칙에 대한 분석을 포함하도록 도울 수 있다고 제안한다.
As our case study illustrates, introducing an educational innovation from one site to another is not simply a matter of transfer; it is also a process of transformation. An education innovation begins with a philosophy, leading to the development of fundamental principles, operationalized through classroom techniques. While the innovation’s original techniques might help us to find implementation solutions at a new site, these techniques are not off-the-shelf solutions. We would caution that while the techniques may seem only to be surface structures, they are in fact realizations of deeper principles. And principles are themselves realizations of the deeper philosophy. When techniques and/or principles are modified to a new context, it is important to analyze if the modifications still uphold the innovation’s philosophy. To this end, we suggest that descriptions of educational innovations might helpfully include analyses of the principles upon which they rely.
한 가지 중요한 주의사항이 포함되어야 한다. 교육혁신을 새로운 맥락에서 구현할 때, 교육혁신을 변형시키는 과정이 반드시 한탄하거나 피해야 할 변화는 아니다. 우리는 우리가 우리 기관에서 시험한 것이 장점이 있다고 믿고 있으며, 우리는 그것의 미래에 대한 가능성에 대해 흥분하고 있다. 그러나 우리는 TBL로 알려진 혁신을 평가하는 문헌에 우리의 연구 결과를 추가하는 것을 주저할 것이다. 우리의 분석에 근거하여, 우리는 TBL (또는 PBL 또는 CBL)과 같은 교육운동은 [기법]에 관한 것이 아니라, [원칙을 통해 가능하게 되고] [기법을 통해 제정되는] [교육철학에 관한 것]이라고 확신하게 되었다. [철학을 성취했다는 것]을 증명할 수 없는 한, [기법]에 기초하여 라벨을 적용하는 것은 문헌에 inform하기보다는 더럽힐 가능성이 더 높다.
One important caveat must be included: The process of transforming an educational innovation when implementing it in a new context is not necessarily a change to be lamented, or to be avoided. We believe that what we piloted at our institution had merit and we are excited about its future possibilities. But we would hesitate to add our findings to the literature assessing the innovation known as TBL. Based on our analysis, we have become convinced that educational movements such as TBL (or PBL or CBL) are not about technique, they are about educational philosophy enabled through principles and enacted through techniques. Unless one can demonstrate having accomplished the philosophy, applying a label based on techniques is more likely to muddy the literature than inform it.
Academy for Innovation in Medical Education, Faculty of Medicine, University of Ottawa, ON, Canada. lara.varpio@uottawa.ca
Abstract
Recent debates question the extent to which adopting an educationalinnovation requires compromise between the innovation's original design and the adoption site's context. Through compromises, the innovation's fundamental principles may be transferred, transformed, or abandoned. This paper analyzes such compromises during the piloting of Team-Based Learning (TBL). We ask: When is the process of transferring an innovationactually a process of transformation? This study is an autoethnography of our research team's implementation process. Autoethnographies are personalized accounts where authors draw on their own experiences to extend understanding of a particular topic. To conduct this autoethnography, we used an in-depth, interactive interview with the piloting clinician educator. In the analysis of TBL's fundamental principles, some aspects of the principles transferred easily, while others were transformed. Analysis raised concerns that the transformations threatened the foundational principles of TBL. While an educationalinnovation's techniques may seem to be surface structures, they are realizations of deeper fundamental principles. The fundamental principles are themselves realizations of the innovation's foundational philosophy. When techniques and/or principles are modified to a context, it is important to analyze if the modifications continue to uphold the innovation's philosophy.
거꾸로 교실: 실천을 위한 핵심 아이디어와 권고 리뷰(Educ Psychol Rev, 2017)
Flipped Classrooms: a Review of Key Ideas and Recommendations for Practice
Sarah J. DeLozier1 & Matthew G. Rhodes1
"플립된 교실"이란? 단일 모델(터커 2012)은 없지만, 플립된 강의실은 수업 전에 숙제로 배정된 강의 내용(예: 사전 녹음된 강의)을 코스 구조로 특징으로 한다. 수업 시간에는 문제, 발전된 개념, 협업 학습에 참여한다(Findlay-Thompson 및 Mombourquette 2014). 강의 내용을 강의실에서 없앰으로써 강사가 개별 학생과 일대일로 참여할 수 있는 시간이 더 많아지지만(Roehl et al. 2013), 마찬가지로 중요한 것은 플립된 강의실 모델은 학생 중심이라는 점이다(Mclaughlin et al. 2014).
What are "flipped classrooms?" Although there is no single model (Tucker 2012), the flipped classroom is characterized by course structure: instructional content (e.g., prerecorded class lectures) is assigned as homework before coming to class. In-class time is then spent working on problems, advancing concepts, and engaging in collaborative learning (Findlay-Thompson and Mombourquette 2014). Removing the instructional content from in-class time allows the instructor more time for one-on-one engagement with individual students (Roehl et al. 2013), but perhaps equally important, the flipped classroom model is student-centered (McLaughlin et al. 2014).
O'Flaherty와 Phillips(2015)가 검토한 28개 고등교육 연구 중 11개 또는 절반 이하만이 학생 성취도를 보고했으며, 이 중 두 형식 사이에 겹친 비교 시험, 평가 또는 시험 문제가 있는 전통적인 강의실과 비교한 것은 5개뿐이다. 오히려 성과는 흔히 학생들의 학습에 대한 인식만을 보여주었다.
Of the 28 higher-education studies reviewed by O’Flaherty and Phillips (2015), only 11—or fewer than half—reported measures of student performance, and amongst these, only five reported comparisons to a traditional classroom with comparable exams, assessments, or exam questions that overlapped between the two formats . Rather, outcomes frequently reflected students’ perceptions of their learning
학생들의 평가에 의존하는 것은 그들이 학습을 정확하게 평가할 수 있다고 가정한다. 그러나 이러한 가정과는 달리, 메타인식에 대한 연구(즉, "알고 있는 것"; Flavell 1979;넬슨1996년)에 따르면, 학생들이 종종 자신의 학습을 평가하거나 학습을 강화하는 전략을 식별할 수 없다고 제안한다. 연구결과는 학생들의 학습에 대한 인식이 학습 성과의 객관적인 척도와 같지 않다는 것을 보여준다. 따라서, 뒤집힌 강의실에 대한 평가와 검토는 이상적으로는 학습에 대한 객관적 척도에 따라 guide되어야 한다.
Relying on students’ evaluations assumes that they can accurately assess learning. However, in sharp contrast to this assumption, research in metacognition (i.e., "knowing about knowing"; Flavell 1979;Nelson1996) suggests that students are often unable to assess their own learning or identify strategies that enhance learning. findings indicate that students’ perceptions of learning are not tantamount to objective measures of learning performance. Accordingly, any evaluation and review of flipped class- rooms should ideally be guided by objective measures of learning.
그러나 뒤집힌 교실의 효율성을 평가하는 데 있어 또 다른 장애물은 교실 "flip"의 구현에 있어 상당한 차이점이 존재한다는 데 있다.
예를 들어, 강사들은 강의의 일부만 플립된 강의실 접근법을 반영하는 "부분적" 플립을 이용할 수 있다(Seery 2015).
또한, 뒤집힌 교실에는 독해, 숙제, 보충 비디오 등을 포함한 강의 이외의 많은 수업외 활동들이 포함될 수 있다.
마지막으로, 수업 내 활동은 역할극, 토론, 퀴즈, 그룹 프레젠테이션 등의 활동을 포함하여 매우 다양하다(O'Flaherty 및 Phillips 2015 참조).
Yet, another obstacle to evaluating the efficacy of flipped classrooms lies in the vast differences in instructor implementation of the classroom "flip."
For example, instructors might utilize a "partial" flip, in which only a portion of lectures reflect a flipped classroom approach (Seery 2015).
Additionally, the flipped classroom may include a large array of out-of-class activities beyond lectures, including readings, homework, and supplemental videos1.
Finally, in-class activities vary widely, including activities such as role-play, debates, quizzes, and group presentations, amongst others (see O’Flaherty and Phillips 2015).
이러한 다양한 접근방식을 고려할 때, 뒤집힌 교실은 (수업 내 활동과 수업 외 활동 모두에 대해) 교실 뒤집기를 만드는 데 사용된 개별 전략에 관하여 평가되어야 한다.
Given this variety of approaches, flipped classrooms should be evaluated with regard to the individual strategies used in creating the classroom flip, both for in-class and out-of-class activities.
수업 밖 강의
Out-of-Class Lectures
뒤집힌 강의실 형식의 강의실 외부에서 가장 일반적인 이동 방법 중 하나는 학생들이 수업에 참석하기 전에 미리 녹화된 비디오 강의나 스크린캐스트를 보도록 요구하는 것이었다(Abeysekera and Dawson 2015). 강의는 수업의 많은 부분을 차지하고 있기 때문에, 사전에 녹음된 강의가 학습에 어떤 영향을 미치는지, 해로운지, 긍정적인지를 검토하는 것이 타당해 보인다. 생리학 강의에서 10개의 강의에 대해, El Sayad와 El Raouf(2013)는 간호 학생들에게 비디오 기반 형식이나 내레이팅된 PowerPoint 형식을 번갈아 보게 하고, 퀴즈와 시험을 통해 학습을 측정하도록 했다. 전반적으로, 이러한 시험에 합격하거나 불합격한 학생 비율(즉, 60 % 이하)은 평가에 대한 강의 형식에 따라 다르지 않았다. 마찬가지로, Ellis와 Mathis(1985)는 사회학 입문 학생들이 수업 시간 내내 TV 강의나 직접 강의를 시청하고 강의 형식에 관계없이 유사한 시험 성적을 관찰했다. 또한, Conway 등(2010년)은 학생 성적에 영향을 미치지 않고, 그들이 담당한 추가적인 수업 외 과제를 완료하기 위한 시간을 제공하기 위해 수업 시간을 14% 단축했다. 따라서, 비디오 강의 그 자체로는 학생들 학습을 추가add하거나 훼손detract하지 않는 듯 보인다.
One of the most common means of moving instruction outside the classroom in a flipped classroom format has been to require students to watch prerecorded video lectures or screencasts prior to attending class (Abeysekera and Dawson 2015)2. Because the lecture is such a large portion of a class (even within the flipped classroom), it seems reasonable to examine whether prerecorded lectures have any impact, deleterious or positive, on learning. For ten in-class lectures in a physiology course, El Sayad and El Raouf (2013) had nursing students alternate between viewing a video-based format or a narrated PowerPoint format, with learning measured through quizzes and exams. Overall, the percentage of students who passed or failed these tests (i.e., earned 60 %or less) did not differ across lecture formats for any of the assessments. Similarly, Ellis and Mathis (1985) had introductory sociology students watch either televised or in-person lectures for an entire class semester and observed similar test performance regardless of lecture format. As well, Conway et al. (2010) reduced in-class lecture time by 14 %to provide time for completing additional out-of-class assignments which they were responsible for, with no effect upon student grades. Thus, it does not appear that video lectures, in and of themselves, either add to or detract from student learning.
문헌을 추가로 검사해 보면, 교육 내용을 전달하는 형식도 학습에 상당한 영향을 미치지 못한다는 것을 알 수 있다. 예를 들어, Stephenson 등. (2008) 인간 유전학 과정의 다양한 주제에 대해 세 가지 강의 형식(전통적, 가상, e-강의) 각각에 노출된 생물과학 전공자들 사이의 학습을 비교했다.
전통적인 강의 형식에서, 학생들은 파워포인트 프레젠테이션을 하는 강의실 강사를 보충 자료로 보았다.
가상 강의 형식에서 학생들은 대화형 다중 매체 온라인 강의(주로 텍스트 기반)를 통해 이동했는데, 이 강의는 세 가지 주제를 하위 주제별로 정리하고 자기 평가 질문 외에도 대화형 오디오와 시각적 설명을 제공했다.
마지막으로, e-lecture 형식으로 학생들은 언제든지 강의를 중지, 일시 중지, 단축 또는 되감기할 수 있는 능력을 가진 내레이션된 PowerPoint 강의를 보았다.
실제 리콜, 이해, 분석 기술, 적용 기술 및 평가 기술을 평가하여 학습을 검토했다. 전반적으로 강의 형식에 관계없이 시험 성적은 비슷했다.
Further inspection of the literature indicates that the format of imparting instructional content also fails to substantially influence learning. For example, Stephenson et al. (2008) compared learning amongst bioscience majors exposed to each of three lecture formats (traditional, virtual, e-lecture) for different topics in a human genetics course.
For the traditional lecture format, students viewed an in-class lecturer giving PowerPoint presentations with printed notes as supplements.
In the virtual lecture format, students navigated through an interactive multi- media online lecture (primarily text-based), which organized each of the three topics into subtopics and provided interactive audio and visual explanations in addition to self- assessment questions.
Finally, in the e-lecture format, students viewed narrated PowerPoint lectures with the ability to stop, pause, fast-forward, or rewind the lectures at any time.
Learning was examined using a test assessing factual recall, comprehension, analysis skills, application skills, and evaluation skills. Overall, test performance was similar regardless of lecture format.
장 외 (2006)는 인터넷 검색엔진을 주제로 경영정보시스템 학생들의 실적을 조사했다. 참가자들은 표준 강의, 인터랙티브 비디오 강의(즉, 일시정지, 신속진행 능력 등), 비인터랙티브 비디오 강의 또는 소리보다는 텍스트 자막이 있는 강의에 노출되었다. 인터랙티브 비디오 강의는 다른 모든 조건들 사이에서 유사한 성능을 보이며 최고의 시험 성적을 거두었다. 물론 이 연구는 단 한 개의 강의만을 대상으로 실시되었으며, 이는 전체 강좌에 걸쳐 일반화하는 데 어느 정도 주의를 기울일 것을 시사한다.
Zhang et al. (2006) examined management information systems students’ performance on the topic of internet search engines. Participants were exposed to either a standard lecture, an interactive video lecture (i.e., the ability to pause, fast-forward, etc.), a noninteractive video lectures, or a lecture with text subtitles rather than sound. Interactive video lectures resulted in the highest test performance, with similar performance between all other conditions. Of note, this study was conducted on only one lecture, suggesting some caution in generalizing across an entire course.
전체적으로, 현존하는 데이터는 비디오 강의 자체가 학습에 영향을 미치지 않는다는 것을 암시한다. 그러한 데이터는 매체가 콘텐츠의 전달자이며 학습 자체에 영향을 미칠 가능성이 낮다는 이론과 일치한다(Clark 1983, 1994). 따라서, 교실 밖에서 강의를 하는 것의 어떤 이점은 적극적인 학습을 위한 수업 시간을 제공하는 것에서 와야 한다.
Collectively, the extant data suggest that video lectures themselves do not affect learning. Such data are consistent with the theory that the medium is a carrier of content and unlikely to affect learning itself (Clark 1983, 1994). Thus, any advantage of providing lectures outside the classroom should come from releasing class time for active learning.
수업 중 활동
In-Class Activities
강의실을 뒤집는 주된 동기는 능동적 학습을 포함한 수업 중 활동을 위한 추가 시간을 제공하기 위한 것이다(Haak et al. 2011). 여러 가지 방법이 일관되게 학습을 향상시키는 것처럼 보이지만, 사용된 특정 능동 학습 방법의 유용성은 다양하다(예: Freeman et al. 2014 참조). 실제로, [어떤 능동적인 학습 방법의 성공]은 그 방법에 의해 [관여된 과정]의 함수일 것이다.
The primary motive for flipping a classroom is to provide additional time for in-class activities, including active learning (Haak et al. 2011). The particular methods of active learning used vary in their utility (Prince 2004), although several methods appear to consistently enhance learning (see e.g., Freeman et al. 2014, for a review). Indeed, the success of any method of active learning will be a function of the processes engaged by that method,
청중 응답, 개방형 질문 및 퀴즈
Audience Response, Open Questions, and Quizzes
맥러플린 외 연구진(2014년)은 학생들에게 수업 밖 콘텐츠(비디오 강의 및 판독치)에 관한 클릭자 질문(즉, 일반적으로 "클릭커"로 불리는 청중 응답 시스템을 통해 관리되는 질문)에 응답하도록 했다. 그런 다음, 강사는 학생들의 반응을 토대로 강의, 독서 또는 관련 내용에 관한 학생들의 피드백과 질문에 답할 수 있다. 또한, 각 수업이 끝날 때마다 학생들은 개별적이든 쌍으로든 그날의 자료에서 간단한 퀴즈를 완성했다. 다른 거꾸로교실 강사들도 학생들이 수업 외 과제를 완료했는지 확인하기 위한 수단(2015년 10월, 윌슨 2013년) 또는 내용에 대한 학생들의 실시간 피드백을 수집하기 위해 클리커 질문이나 퀴즈를 활용하여 보고한다(Ferreri and O'Connor 2013).
McLaughlin et al. (2014) had students respond to clicker questions (i.e., questions administered via audience response systems, commonly termed "clickers"; Caldwell2007) regarding out-of-class content (video lectures and readings). Based on students’ responses, the instructor would then provide feedback and answer questions from students regarding the lectures, readings, or related content. Additionally, at the end of each class, students completed brief quizzes on that day’s material, either individually or in pairs. Other flipped classroom instructors also report utilizing clicker questions or quizzes, either as a means of ensuring that students completed the out-of-class assignments (Hung 2015; Wilson 2013) or to gather real-time feedback regarding student understanding of content (Ferreri and O’Connor 2013).
수업 강의를 듣거나 수업 토론에 참여하는 시간과 비교했을 때, 클리커 사용이 시험 점수를 향상시키거나 손상시키지는 않는 것으로 보인다(검토의 경우 Caldwell 2007 참조). 클릭자 질문을 사용하는 것의 이점에 대한 한 가지 잠재적인 설명은 학생들이 검색retrieval에 참여하도록 장려한다는 것이다. 이러한 검색은 테스트 효과로 알려진 검색 결과(검토의 경우 Roediger 2008; Rowland 2014 참조)와 비교하여 검색된 정보에 대한 메모리를 강화한다. 실제로, Rowland의 메타 분석은 시험testing material가 동일한 정보를 단순히 다시 읽는 것보다 더 높은 평균 성능(즉, 정확하게 리콜, 인식된 항목의 비율 등)을 초래한다는 것을 발견했다(g=.50).
Clickers appear to either improve or fail to harm exam scores, relative to equivalent time listening to class lectures or participating in class discussions (for a review, see Caldwell 2007). One potential explanation for an advantage of employing clicker questions is that it encourages students to engage in retrieval. Such retrieval enhances memory for the retrieved information, compared to rereading that material, a finding known as the testing effect (for reviews, see Roediger 2008; Rowland 2014). Indeed, Rowland’s meta-analysis found that testing material resulted in higher average performance (i.e., in terms of proportion of items correctly recalled, recognized, etc.) than simply rereading that same information (g=.50).
클리커가 다른 테스트 정보보다 메모리를 더 향상시키는가? 래스트리(2008)는 기계학 과정의 두 가지 다른 섹션에서 이 질문을 검토했다. 하나는 클리커와 클리커 질문을 사용하고 다른 하나는 플래시 카드를 통해 동일한 클릭자 질문을 제시한다. 최종 시험 성과는 클리커든 플래시 카드 사용한 것이든 시험을 본 자료에 대해서는 유사하며, 클리커 사용에 따른 추가 이익은 없다. 따라서 클리커가 대규모 그룹에 시험을 관리하는 실질적인 수단을 제공하지만, 정보를 검색retrieving하는 행위는 형식에 관계없이 학습에 도움이 된다. 실제로 시험의 이점은 수업 내 활동에만 국한되지 않는다. 예를 들어, 동급이 아닌 재료에 대한 퀴즈(예: Flynn 2015).Wilson2013) 또한 학습을 강화할 수 있다. 또한, 강사가 수업 전에 학생들에게 나눠준 out-of-class 자료로 시험하는 경우, 강의실에서 다루는 내용을 맞춤화하기 위해 이러한 시험의 피드백을 사용할 수 있는 추가 기회가 있다(예: Hurtubise et al. 2015).
Do clickers enhance memory more than other means of testing information? Lasry (2008) examined this question in two different sections of a mechanics course: one using clickers and clicker questions and the other presenting the same clicker questions via flashcards. Final exam performance was similar for material tested via clickers or flashcards, arguing against any additional benefit accruing from clickers. Thus, although clickers provide a practical means of administering tests to large groups, the act of retrieving information should benefit learning regardless of theformat. Indeed, the benefits of testing are not restricted to in-class activities. For example, quizzes on out-of-class material (e.g., Flynn 2015;Wilson2013) can also enhance learning. Further, if instructors test students on out-of-class material prior to class, they have the additional opportunity to use feedback from these tests to tailor the content addressed in-class (e.g., Hurtubise et al. 2015).
짝지어 공유하기 활동
Pair-and-Share Activities
맥러플린 외 연구진(2014년)은 학생들이 수업과 함께 수업을 공유하기 전에 서로 (2인 1조로) 작업하는 세 가지 다른 유형의 "페어 앤 쉐어" 활동을 사용했다.
Rapid PaS 활동에서, 학생들은 수업 중 토론 질문을 받고 함께 짝을 지어 토론하고 나중에 다른학생과 강사에게 자신의 아이디어를 발표하였다. 강사는 피드백을 제공한다
Reflective PaS 활동에서, 학생들은 토론 질문에 간단한 에세이로 답할 수 있는 2-3일의 시간을 가졌고, 강사는 수업 중 토론을 위해 에세이를 제시할 그룹을 선택했다.
Proactive PaS 활동에서, 학생들은 함께 짝을 이루어 교대로 자신의 토론 질문을 준비하고 그 주제에 대한 수업 토론을 주최했다.
McLaughlin et al. (2014) used three different types of "pair-and- share" activities in which students worked with each other (in groups of two) prior to sharing their work with the class.
In rapid pair-and-share activities, students were given an in-class discussion question and were paired together to discuss and later present their ideas to the class and instructor, who provided feedback.
In reflective pair-and-share activities, students had 2– 3 days to answer discussion questions in brief essays, from which the instructor selected groups to present their essays for in-class discussion.
In the proactive pair-and-share activities, students paired together and took turns preparing their own discussion questions and hosting class discussion on that topic.
그룹 토론은 학습에 도움이 되는 것으로 보인다. 스미스 외 (2009) 그룹 토론은 적용된 원칙에 대한 학생들의 개념적 이해뿐만 아니라 학생들의 성적에 혜택을 주었다. Smith 등(2011년)은 학생들이 첫 번째 질문에 개별적으로 대답하는 유사한 설계를 사용하여 학생들이 [그룹 토론에 참여하거나, 강사 설명을 받거나, 그룹 토론과 강사 설명을 결합할 수 있도록] 했다. 그 후 학생들은 동일한 기본 개념이나 원칙을 활용하는 두 번째 질문에 개별적으로 대답했다. 두 번째 문제에서의 성적은 쌍의 첫 번째 문제에서의 성과에 관계 없이 그룹 토론과 강사 설명의 조합을 받은 학생들에게 가장 좋았다.
Group discussions appear to benefit learning. Smith et al. (2009) , group discussion benefitted student performance as well as their conceptual understanding of the applied principles. Using a similar design, in which students answered the first question individually, Smith et al. (2011) allowed students to either engage in group discussion4, receive instructor explanation, or a combination of group discussion and instructor explanation. Students then individually answered a second question, which utilized the same underlying concept or principle. Performance on the second question was best for students who received the combination of group discussion and instructor explanation, regardless of performance on the first question of the pair.
그룹 활동이나 토론의 이점은 그룹 규모와 같은 요인에 따라 달라지는가?
Do the benefits of group activities or discussion depend on factors such as the size of the group?
실제로, 그룹 역학(예: 개인의 영향)도 그룹 크기가 증가함에 따라 변할 수 있다(Fay et al. 2000). 그룹 크기(5명 대 10명)를 조정하면서, 페이 외 (2000년) 소규모 그룹 토론의 학생들은 서로 상호작용하는 구성원에 의해 똑같이 영향을 받는 반면, 대규모 그룹 토론의 학생들은 주로 지배적인 그룹 화자에 의해 영향을 받는다는 것을 발견했다. 그룹 규모 문제는 아직 해결되지 않았지만, Michaelsen과 Sweet(2008a, b, 2011년)은 그룹이 도전적인 지적 과제를 해결해야 할 때 5명에서 7명의 멤버로 구성된 그룹을 추천한다.
Indeed, group dynamics (e.g., influence of individuals) may also change as group size increases (Fay et al. 2000). Manipulating only group size (5 vs. 10 members), Fay et al. (2000) found that students in smaller group discussions were equally influenced by members they interacted with, whereas students in larger group discussions were primarily influenced by dominant group speakers. Although the issue of group size is not yet resolved, Michaelsen and Sweet (2008a, b, 2011) recommend groups of five to seven members when groups must address challenging intellectual tasks.
학생 프레젠테이션
Student Presentations
맥러플린 외 연구진(2014년)은 4, 5명의 학생들로 구성된 그룹에게 읽기자료 요약본을 준비하고 발표 자료를 만들도록 했다. 이 자료들은 수업 중 토론을 이끌기 위해 사용되었는데, 그 동안 학생들은 다른 학생들의 질문에 답하는 책임을 맡았다. 실제로 학생 프레젠테이션은 일반적으로 뒤집힌 강의실 형식으로 사용되는 것으로 보고된다(Hung 2015; Kim et al. 2014; Mason et al. 2013; McLaughlin et al. 2013; Schlairet et al. 2015).
McLaughlin et al. (2014) had groups of four to five students prepare a summary of class readings and create presentation materials. These materials were used to lead in-class discussion, during which the students were responsible for answering other students’ questions. Indeed, student presentations are commonly reported as being used in the flipped classroom format (Hung 2015; Kim et al. 2014; Mason et al. 2013; McLaughlin et al. 2013; Schlairet et al. 2015).
최근 평론에서 카베리와 오랜드(2012년)는 가르치는 것이 어떻게 자신의 학습(즉, 학습에 의한 학습)에 도움이 될 수 있는지를 논한다. 가르치는 과정(준비, 발표, 학생 평가로 구성)은 흔히 의사소통 등 관련 기술을 향상시키는 것 외에 교사가 제시된 내용을 배우는 데 도움이 되는 것으로 추정한다.
In a recent review, Carberry and Ohland (2012) discuss how teaching can benefit one’s own learning (i.e., learning-by-teaching). The teaching processes (composed of: preparation, presentation, and student assessment) are frequently presumed to benefit the teacher’s learning of the presented content, in addition to improving related skills, such as communication
예: 피오렐라 및 메이어(2014년)
For example, Fiorella and Mayer (2014)
시험을 예상한 참가자에 비해, 가르치는 것이 기대되는 참가자는 즉각적이고 지연된 이해력 테스트에서 모두 더 잘 수행했으며, 이러한 효과는 가르치도록 예정되었거나, 실제로 가르친 사람들에게 가장 강력했다. 전반적으로, 이러한 결과는 발표(또는 발표할 것으로 기대됨)가 시험을 예상하여 강의 듣거나 공부하는 것 이상의 이점을 학생들에게 제공한다는 것을 나타낸다.
Compared to participants who expected a test, those who expected to teach performed better on both immediate and delayed comprehension tests, with this effect being strongest for those who both expected to teach and actually did teach. Overall, these results indicate that presenting (or the expectation of presenting) provides benefits to the student above and beyond either listening to a class lecture or studying in anticipation of a test.
이러한 데이터는 [정보가 단순히 제공되는 경우]보다 [그 정보를 생성하거나 학습할 자료를 능동적으로 만들어내는 경우]가 기억에 더 좋다는 발견을 연상시킨다(검토의 경우 Bjork 등 2007; Mulligan 및 Lozito 2004 참조). 즉, 프레젠테이션을 하는 학생들은 프레젠테이션을 위한 자료를 생성해야 하는 반면, 프레젠테이션을 듣는 학생들은 프레젠테이션 자체로부터 제공되는 추가 검토로부터 이익을 얻을 수 있지만, 그 자료를 만드는 것의 혜택을 받지 못할 수 있다. 그러한 연구 결과는 학생이 프레젠테이션을 위해 자신의 컨텐츠를 생성하거나 생성하는 정도로 학생 프레젠테이션의 이점이 향상될 것임을 시사한다(Foos et al. 1994 참조). 즉, 학생이 관련 클래스 개념을 연결하거나 자신의 프레젠테이션에 관련 외부 판독값을 도입할 경우, 그 결과 학습에 대한 편익이 강의 자료를 단순 요약한 것보다 클 수 있다.
These data are reminiscent of the finding that generation, or actively producing information that is being learned, results in better memory for that information than if the information is simply provided to them (for reviews, see Bjork et al. 2007; Mulligan and Lozito 2004). That is, students presenting must generate the material for the presentation, whereas students listening to the presentation might benefit from the additional review provided from the presentation itself but would not receive the benefits of generating that material. Such findings suggest that the benefit of student presentations would be enhanced to the degree that the student generates, or creates, his or her own content for the presentation (see also Foos et al. 1994). That is, if the student connects related class concepts or introduces relevant outside readings into his or her presentation, the resulting benefit to learning may be greater than if the presentation was a simple summary of the class material.
플립된 강의실과 능동적 학습 상호 작용
Active Learning Interacting with the Flipped Classroom
지금까지, 우리는 그들이 관여하는 인지 과정(예: 세대)의 관점에서 플립 강의실의 다양한 구성 요소를 검토했다(예: Jensen et al. 2015). 그러나 이러한 프로세스는 여러 활동이 함께 짝을 이룰 때 상호 작용할 수 있다는 점에 유의해야 한다. 예를 들어, spacing과 variation 모두 개별적으로 학습에 유익하지만, spaced variation이 원래 학습(Appleton-Knapp et al. 2005) 또는 자료의 특성(예: McDaniel et al. 1986)과 연결되지 않을 경우 이 두 가지의 조합은 역생산적이 된다.
Thus far, we have reviewed various components of the flipped classroom in terms of the cognitive processes (e.g., generation) they engage (e.g., Jensen et al. 2015). However, it must be noted that these processes may interact when multiple activities are paired together. For example, although both spacing and variation individually benefit learning, their combination becomes counter- productive if spaced variations fail to be connected with the original learning (Appleton-Knapp et al. 2005), or with the nature of the material (e.g., McDaniel et al. 1986).
따라서, 뒤집힌 교실에서 사용되는 개별 기법의 편익은 함께 사용되는 다른 방법에 의해 달라질 수 있다. 한 가지 흥미로운 가능성은, 뒤집힌 교실이 여러 가지 활동적인 학습 방법을 결합하는 데 이상적인 장소가 될 수도 있다는 것이다. 예를 들어, 일부 활동적인 학습(클릭커, 온라인 숙제, 데모)을 통합한 수업과 비교하여 플린(2015년)은 다양한 활동적인 학습 기법을 통합하고 뒤집힌 강의실(즉, 탈퇴율과 실패율 감소, 시험 점수 증가)을 보고하였다.
Accordingly, the benefits of any individual technique employed in flipped classroom may be altered by other methods in use. One intriguing possibility is that flipped classrooms may be an ideal venue for combining multiple methods of active learning. For example, compared to classes that integrated some active learning (e.g., clickers, online homework, and demonstrations), Flynn (2015) integrated a wide variety of active learning techniques and reported a benefit for flipped classrooms (i.e., reduced withdrawal and failure rates, increased exam scores).
요약 및 결론
Summary and Conclusions
전반적으로, 우리는 그들의 잠재적 편익을 평가하면서 뒤집힌 교실에서 구현된 몇 가지 교육 전략을 고려했다. 요약하자면, 비디오 교육은 그 자체로 학습 성과의 변화를 책임지는 것으로 보이지는 않지만, 능동적인 학습으로 인해 학습 성과를 향상시키는 수업 중 활동에 추가 시간을 제공할 수 있다(2004년 이후). 뒤집힌 교실에서 흔히 볼 수 있는 다른 학습 활동(예: 퀴즈 또는 클릭자 질문, 쌍방 공유 활동, 학생 프레젠테이션 및 토론)은 학습 성과를 높이는 데 필요한 조건과 효과 면에서 모두 다르다.
Overall, we considered several instructional strategies that have been implemented in a flipped classroom, evaluating their potential benefits. To summarize, video instruction in and of itself does not appear responsible for changes in learning performance, but may provide additional time for in-class activities that enhance learning performance due to active learning (Prince 2004). Other learning activities common in the flipped classroom (e.g., quizzes or clicker questions, pair-and-share activities, student presentations and discussion) differ both in their effectiveness and in the conditions necessary for enhancing learning performance.
아마도 가장 중요한 것은 (표준 퀴즈나 클리커 질문을 통해) 학생들을 시험하는 것의 이점은 다른 사람들의 성과에 달려있지 않다는 것이다. 논의된 모든 능동적 학습 방법 중 테스트는 효과적인 학습 전략으로서 격리 및 식별하기 가장 간단하다(그러나 학생 지식에 기초한 이에 대한 일부 제한은 Carpenter et al. 2015 참조). 이와 같이, 우리는 시험의 이점이 robust하며, 수행 방법에 관계없이 성능을 향상시킬 가능성이 높다는 점에 주목한다(수행방식에 무관하게 효과적이라는 것은 다른 여러 테크닉과 다른 점이다). 클리커는 학생들이 전통적인 시험이나 퀴즈보다 더 즐겁게 보는 방식으로 빈번한 시험을 통합할 기회를 제공할 수 있다(Birjandi와 Alemi 2010).
Perhaps most important, the benefit of testing students (either through standard quizzes or clicker questions) is not contingent upon the performance of others. Of all the active learning methods discussed, testing is the simplest to isolate and identify as an effective learning strategy (but see Carpenter et al. 2015, for some limits to this based on student knowledge). As such, we note that the benefits of testing are robust and likely to enhance performance regardless of how it is carried out—something difficult to say about many techniques. Clickers may present an opportunity to incorporate frequent testing in a manner that students find more enjoyable than traditional exams or quizzes (Birjandi and Alemi 2010).
우리는 다른 형태의 능동적 학습을 무시할 것을 권하지 않는다. 예를 들어, 협업 학습(Kirschner 등) 2009), 공동 학습(Johnson et al. 1998), 문제 기반 학습(Dochy et al. 2003)은 다양한 수준의 지원을 받으며 광범위하게 사용되는 그룹 학습 활동이다(Prince 2004). 그룹 학습의 이점은 과제복잡성, 사전 경험, 그룹에 대한 개인의 기여와 같은 다양한 요인에 따라 달라진다(Gadgil et al. 2012; Kirschner et al. 2009; 메이드 외 2009년) 또한 이에 대해서 뒤집힌 교실에서 더 많은 연구를 할 가치가 있다. 그룹 활동은 개별 학습 과정 내용 향상뿐만 아니라 리더십 기술 개발, 팀 작업 능력 향상, 사회적 서포트 구축 등의 추가적인 이점을 제공할 수 있다(Johnson et al. 1998). 이러한 요인들 중 다수는 학업과정에서 retention에 중요할 뿐만 아니라 일단 직무를 시작한 이후에도 성공을 거두는 데 중요하다.
We do not recommend that other forms of active learning be ignored (and certainly, several other techniques might be viable). For example, collaborative learning (Kirschner et al. 2009), cooperative learning (Johnson et al. 1998), and problem-based learning (Dochy et al. 2003)are broadly used group learning activities with varying levels of support (Prince 2004). Benefits of group learning depend upon a variety of factors, such as task complexity, prior expertise, and individuals’ contributions to the group (Gadgil et al. 2012; Kirschner et al. 2009; Meade et al. 2009) and are worthy of further exploration in the flipped classroom. As well as enhancing individual learning course content, group activities can provide additional benefits such as developing leadership skills, enhancing the ability to work in teams, and building social support (Johnson et al. 1998). Many of these factors are important not only for retention in academic settings but for achieving success once in the workforce.
미래 방향
Future Directions
뒤집힌 교실에 대한 종합적인 연구는 아직 초기 단계에 있다.
Comprehensive research on flipped classrooms is still in a nascent stage.
파스카렐라와 테렌지니(2005)가 지적한 바와 같이, "근거에 따르면...여러 가지 힘이 학생 학습과 변화에 영향을 미치기 위해 여러 가지 환경에서 작용한다는 것을 강력히 시사한다"(p. 629). 이 통찰력은 뒤집힌 교실 접근방식의 개별적 구성에 대한 연구를 간결하게 요약한다.
As noted by Pascarella and Terenzini (2005), "evidence strongly suggests that…multiple forces operate in multiple settings to influence student learning and change" (p. 629). That insight succinctly summarizes the research on the individual compo- nents of a flipped classroom approach.
McLaughlin, J. E., Roth, M. T., Glatt, D. M., Gharkholonarehe, N., Davidson, C. A., Griffin, L. M., &Mumper, R. J. (2014). The flipped classroom: a course redesign to foster learning and engagement in a health professions school. Academic Medicine, 89,236–243.
Citation
DeLozier, S. J., & Rhodes, M. G. (2017). Flipped classrooms: A review of key ideas and recommendations for practice. Educational Psychology Review, 29(1), 141-151.
Flipped classrooms refer to the practice of assigning lectures outside of class and devoting class time to a variety of learning activities. In this review, we discuss the range of approaches to the flipped classroom and focus on activities frequently used in these settings. Amongst these, we examine both out-of-class activities (e.g., video lectures) and in-class activities (e.g., quizzes, student discussions).We argue that the value of these activities reflects the particular cognitive processes engaged by the activity regardless of whether the setting is the traditional (lecture-based) classroom or the flipped classroom. Future work should continue to examine the influence of individual activities on student learning and behaviors, particularly when objective measures of learning, such as quizzes and exams, are held constant. (PsycINFO Database Record (c) 2017 APA, all rights reserved)
