피드백의 프레이밍이 만족, 자기효능감, 수행에 미치는 영향(Adv Health Sci Educ Theory Pract, 2015)

피드백의 프레이밍이 만족, 자기효능감, 수행에 미치는 영향(Adv in Health Sci Educ, 2014)

Framing of feedback impacts student’s satisfaction, self-efficacy and performance 

J. M. Monica van de Ridder • Claudia M. M. Peters • Karel M. Stokking •

J. Alexander de Ru • Olle Th. J. ten Cate

도입

Introduction

피드백은 임상 훈련에 중요한 것으로 간주된다(Bowen and Irby 2002; Dornan 2006; Irby 1995; Liberman et al. 2005; McIlwrick et al. 2006). 임상교육에서 피드백은 '연수생 성과와 연수생 성과 개선을 위한 목적으로 주어진 기준과의 비교에 관한 특정 정보'로 정의되었다(van de Ridder et al. 2008).

Feedback is considered to be important in clinical training (Bowen and Irby 2002; Dornan 2006; Irby 1995; Liberman et al. 2005; McIlwrick et al. 2006). In clinical education feedback has been defined as ‘Specific information about the comparison between trainee’s performance and a standard given with the intent to improve trainee’s performance’ (van de Ridder et al. 2008).

학생들은 임상적 맥락(Dornan 2006년)에 참여할 때 피드백을 supportive하게 것으로 보고, "건설적인 피드백"을 preceptor의 두 번째 중요한 행동 특성으로 평가한다(Schultz et al. 2004).

Students view feedback as supportive when participating in the clinical context (Dornan 2006), and they rate ‘‘giving constructive feedback’’ as the second most important behavioral characteristic of a preceptor (Schultz et al. 2004).

피드백 효과가 다양하다는 것에 대한 가능한 설명은 제공방식이 여러 가지라는 점이다(Branch and Paranjape 2002; Daelmans et al. 2005; Van de Ridder et al. 2006 미공개). Valence framing - 피드백 메시지를 긍정적 또는 부정적으로 프레이밍하는 것 - 도 그 한 가지이다(Dunegan 1996; Levin et al. 1998).

A possible explanation for the diverse feedback effects are the different ways in which it is provided (Branch and Paranjape 2002; Daelmans et al. 2005; van de Ridder et al. 2006 unpublished). Valence framing -framing the feedback message positively or negatively- is one variety (Dunegan 1996; Levin et al. 1998).

Valence framing은 '동일한 비판적 정보를 긍정적인 방식 또는 부정적인 방식'으로 프레이밍하는 것으로 정의되었다(Levin et al. 1998). 따라서 프레임은 메시지의 포장을 의미하며, 메시지의 내용과는 무관하고, 메시지 내용은 개선을 위한 포인트 또는 개선점에 대한 긍정적인 - 좋은 점 또는 부정적인 피드백 - 또는 둘 다로 구성될 수 있다. 

• 긍정적 프레이밍: "당신이 이것을 아주 잘 했지만, 개선해야 할 몇 가지 요점이 있다.'

• 부정적 프레이밍: "당신은 이것을 정확하게 하지 않았다. 당신은...이렇게 해야 한다"

두 예에서 모두 피드백 메시지의 내용은 부정적이다.

Valence framing has defined as casting ‘the same critical information in either a positive or a negative light’ (p.150) (Levin et al. 1998). So, framing refers to the packaging of the message and it is independent of the message content, which can consist of positive -about good points- or negative feedback -about points for improvement-, or both. ‘‘You did this quite well, but there are some points for improvement…’’ would be considered a positively framed feedback message. Negatively framed feedback is: ‘‘You did not do this correctly. You should…’’ In both examples the content of the feedback message is negative.

본 연구에서는 학생들의 만족도, 자기 효과 및 성과와 같은 결과 척도에 대한 긍정적이고 부정적인 피드백의 영향을 평가했다.

In this study we evaluated the effect of positively and negatively framed feedback on outcome measures such as students’ satisfaction, self- efficacy, and performance.

만족

Satisfaction

학생들의 긍정적인 반응(예: '나는 이 피드백을 받는 것을 좋아한다')은, 설령 그들의 인식이 정확하지 않더라도, 학습을 자극하고 충성으로 이끌 수 있다(Kirkpatrick과 Kirkpatrick 2006; Morgan과 Rego 2006). 연구에 따르면, 성적에 대한 긍정적인 피드백이 학생들의 만족도에 긍정적인 영향을 미친다고 한다(Nesbit and Burton 2006).

Positive reactions of students (e.g., ‘I liked to receive this feedback’) can motivate, stimulate their learning and lead to loyalty (Kirkpatrick and Kirkpatrick 2006; Morgan and Rego 2006), even if their perceptions are not accurate (Jussim 1991). Research shows that positive feedback on performance positively influences students’ satisfaction (Nesbit and Burton 2006),

Self-efficacy

밴두라(1986)는 자기효능감을 '지정된 유형의 퍼포먼스를 달성하는 데 필요한 과정이나 조치를 조직하고 실행하는 능력에 대한 판단'으로 정의한다(p.391). 그것은 자기 인식으로 분류될 수 있다. 이러한 자기 인식은 enactive attainment, 대리적 경험, 언어적 설득, 그리고 생리적인 상태에 기초한다. 자기 효능감은 행동선택, 노력 투입 및 지속성, 사고 패턴 및 감정 반응과 같은 것들에 영향을 미친다. 자기신뢰는 심리사회적 기능에 다양한 방식으로 기여한다.

Bandura (1986) defines self-efficacy as: ‘people’s judgments of their capabilities to organize and execute courses or action required to attain designated types of performances’ (p.391). It can be classified as self-perception. This self-perception is based on enactive attainment, vicarious experiences, verbal persuasion, and one’s physiological state. Self- efficacy influences for example choice behavior, effort expenditure and persistence, thought patterns, and emotional reactions. Self-beliefs contribute in various ways to psychosocial functioning (Bandura 1986).

자기 강화 이론은 모든 사람이 자신의 기능을 개선하기를 원하므로 좋은 점들에 대한 긍정적인 피드백만 효과적이다라고 말한다(Swann et al. 1987). 이 이론에 따르면, 특히 부정적인 피드백은 자기효능감을 줄이고 긍정적인 피드백은 자기효능감을 증가시킨다는 것을 보여준다. (Reynolds 2006) 부정적 피드백은 (자기효능감이 높은 사람보다) 자기효능감이 낮은 사람에게 더 많은 영향을 미친다(Baker 2001).

Self-enhancement theory suggested that everyone wants to improve their own functioning and therefore only positive feedback -about good points- is effective (Swann et al. 1987). Results in line with this theory show that particularly negative feedback reduces self-efficacy and positive feedback increases self-efficacy (Reynolds 2006). Negative feedback has more influence on subjects with low self-efficacy compared to subjects showing high self-efficacy (Baker 2001).

자기 검증 이론은 피드백이 개인의 '자기개념'과 일치한다면, 피드백이 부정적일 때조차 valid하다고 인정할 것이라고 기술한다(Swann et al. 1987). 자기 검증 이론에 따르면, 부정적 피드백은 (높은 자기효능감을 가진 사람보다) 낮은 자기효능감을 가진 사람들이 더 잘 수용한다는 것을 보여준다. (Nease et al. 1999)

Self-verification theory states that when the feedback is in line with a person’s self- concept they will endorse the feedback as valid, even when it is negative (Swann et al. 1987). Empirical research in line with self-verification theory shows that negative feedback is better accepted by people with low self-efficacy about a specific competency compared to subjects with high self-efficacy (Nease et al. 1999).

Performance

일반적으로 피드백은 성능에 미치는 영향이 작거나 중간 정도인 것으로 간주된다(Ivers et al. 2012) 효과 크기는 종종 작거나(Kluger and DeNisi 1996), 엄청난 변화를 보인다(Hattie and Timperley 2007). 피드백을 신뢰할 수 있는 출처에 의해 체계적으로 제공하면 교육이나 지침과 같은 다른 개입과 결합하는 것이 더 효과적이다(Ivers et al. 2012; Veloski et al. 2006).

Generally feedback is considered to have a small or moderate impact on performance (Ivers et al. 2012) effect sizes are often small (Kluger and DeNisi 1996), or show an enormous variation (Hattie and Timperley 2007). When feedback is given systematically, by a credible source, combined with other interventions such as education or guidelines, it appears to be more effective (Ivers et al. 2012; Veloski et al. 2006).

방법

Methods

설계

Design

과제

Task

프레이밍

Framing

두 조건 모두에서 학생들은 WR 작업에 익숙한 숙련된 의사 역할을 하는 최종 1학년 의대생에 의해 제공되는 부정적인 내용의 피드백 메시지를 받았다. 

• 긍정적인 프레임 조건에서는 다음과 같은 피드백이 제시되었다. "너는 이것을 잘했다. 몇몇 팁은...’’ 

• 피드백은 부정적으로 시작됨: "이것이 잘 되지 않았다. 당신은 바꾸어야 한다...’’

In both conditions students received a feedback message with negative content, provided by a final year medical student with stage-play experience, acting as an experienced physician familiar with the WR task. 

• In the positive framing condition, feedback was voiced as: ‘‘You did this well; some tips are…’’ 

• Feedback framed negatively started with: ‘‘This is not well done; you should change…’’

참가자

Participants

60~70%는 여성

The medical student population in the Netherlands consists of a stable 65–70 % woman since early 1990s (Ten Cate 2007).

절차

Procedure

The experiment was carried out in June 2007, in the skills lab of the UMCU. Other instructional events were unlikely to interfere with the study, as at this time of the year no classes take place and students are preparing for exams. To collect the outcome measures for this study, each individual went through the route according to Fig. 1.

도구

Instruments

만족도

Students’ satisfaction with the video instruction, training opportunities, and the received feedback is measured with a five-item scale. 

자기효능감

A visual analogue scale (VAS) was used to measure self-efficacy regarding the detection of hearing loss by using the WR task (0 mm = ‘I am extremely confident’, 100 mm = ‘I am extremely unconfident’). This procedure for measuring students’ self- efficacy towards medical skills has been used in a study by Turner (Turner et al. 2008). This study provides evidence for the validity of the instrument for a similar purpose.

자료분석

Data analysis

Correlations were determined to get insight in the relationship between the variables satisfaction (SAT), performance (P1, P2, P3) and self-efficacy (SE1, SE2, SE3 and SE4). Whenever assumptions of normality, linearity, homogeneity of variances, and/or homogeneity of regressions slopes were violated, a Mann–Whitney U test was performed, otherwise a mixed model analysis or T test was used to compare framing effects on satisfaction (SAT), performance (P1, P2, P3) and self-efficacy (SE1, SE2, SE3 and SE4).

Effect sizes (ES) were reported using partial g2 and r. Small, medium, and large effect sizes are respectively 0.01, 0.06, and 0.14 for partial g2 (for those unfamiliar with partial g2, this is equal to d = 0.2, 0.5. and 0.8) and 0.1, 0.3, and 0.5 for r (Cohen 1988).

결과

Results

참가자

Participants

도구의 퀄리티

Quality of the instruments

가정

Assumptions

상관관계

Correlations

피드백 효과

Effect of feedback framing on satisfaction

(Table 1).

자기효능감에 대한 영향

Effect of feedback framing on self-efficacy

퍼포먼스에 대한 영향

Effect of feedback framing on performance

고찰

Discussion

의대 학생들이 개선을 위한 포인트와 관련하여, 부정적인 내용이 포함된 피드백 메시지를 받을 때, 메시지의 프레임은 (긍정적이든 부정적이든) 피드백에 대한 만족, 직무 수행 및 직무 성과에 대한 자신의 효율성에 영향을 미친다. 우리는 긍정적 프레임 피드백 그룹이 더 만족했고, 피드백을 받은 직후 더 높은 자기효율을 보였으며, 부정적 프레임 상태의 그룹보다 피드백을 받은 후 2주 후에 더 잘 수행했다고 결론 내렸다. 또한, 부정적 프레임 피드백 조건에서, 학생들은 T2에서, 즉 피드백을 받기 전에도 상당히 낮은 점수를 보였다는 것을 발견했다.

When medical students receive a feedback message with a negative content -about points for improvement- the framing of the message, either positively or negatively, affects their satisfaction with the feedback, their self-efficacy regarding task performance and their task performance. We conclude that the positively framed feedback group was more satisfied, had higher self-efficacy immediately after receiving feedback, and performed better 2 weeks after receiving feedback than the group in the negatively framed condition. In addition, we found that in the negatively framed feedback condition, students showed significantly lower performance scores at T2, i.e., even before feedback was received.

우리의 연구 결과를 어떻게 설명할 것인가? 만족도에 대한 결과는 다른 연구와 일치하는 패턴을 보여준다. 칭찬, 칭찬(Boehler et al. 2006) 또는 고성능 피드백(Nesbit and Burton 2006)과 같은 긍정적 피드백 메시지는 학생들의 만족도를 증가시킨다.

How do we explain our findings? The results on satisfaction show a pattern which is in line with other studies: positive feedback messages, such as compliments, praise (Boehler et al. 2006) or high performance feedback (Nesbit and Burton 2006) increase students’ satisfaction.

SE3과 SE4 사이의 시간은 학생들이 WR 과제를 연습하지 않은 2주이다. 이 새롭고 복잡한 작업의 실행 부족은 SE4가 그렇게 많이 떨어진 이유를 설명할 수 있다. SE4에서 학생들은 더 이상 무지하지 않았고 그들은 과제 난이도에 대해 무엇을 기대해야 하는지 알고 있었다. 이것이 왜 T4의 자기효능감이 T1보다 더 낮았는지 설명해 줄 것이다.

The time between SE3 and SE4 is 2 weeks, in which students have not practiced the WR task. The lack of practice of this new, complex task might explain why SE4 dropped so much. At SE4 students were no longer ignorant and they knew what to expect regarding task difficulty. This may explain why self-efficacy at T4 was even lower than at T1.

성과에 대한 연구 결과는 다소 헷갈린다. 양성 프레임 피드백 조건의 P1 학생들은 음성 프레임 조건에서보다 훨씬 더 좋은 성적을 얻었다. 이것은 우연일까 실험적인 효과일까? 가능한 설명은 두 조건 모두에서 학생들이 무의식적으로 피드백 제공자의 비언어적 행동과 메시지 유형에 대한 목소리의 톤으로부터 신호를 '인식'했고, 이는 행위자가 상황을 알고 있었기 때문에 그들의 첫 번째 수행에 영향을 미쳤으며, 간단하게 지시하는 동안 candidate들을 무의식적으로 이 인식을 불안하게 노출시켰을 수 있다는 것이다. 우리는 나쁜 소식이 전달되는 상황에서도 유사한 현상을 본다. 즉, 피드백을 받는 사람들은 종종 무엇이 오는지 '감각'을 갖는다(Maynard 1996년). 그녀가 학생들의 실험 상태에 대해 사전에 알리지 않았기 때문에, 그녀가 T2 이전의 상태를 무의식적으로 밝히는데 SP가 도움이 될 가능성은 거의 없다.

The findings on performance are somewhat puzzling. At P1 students in the positively framed feedback condition performed significantly better than in the negatively framed condition. Is this coincidence or an experimental effect? A possible explanation is that students in both conditions unconsciously ‘perceived’ signals from feedback provider’s non-verbal behavior and tone of voice about the message type, and that this influenced their first performance, as the actor was aware of the condition and may have unconsciously disclosed this awareness while briefly instructing the candidate. We see a similar phenomenon in situations in which bad news is transmitted: feedback recipients often have a ‘feeling’ of what comes (Maynard 1996). It is very unlikely that the SP could have been instrumental in any unconscious revelation of the condition prior to T2 as she was not pre- informed about the experimental condition of the students.

우리는 중간 효과 크기에 근접한 양의 프레임 조건에서 편익을 제안하는 유의하지 않은 P2 차이를 관찰했다(r =-.25). 더 많은 수의 학생들이 상당한 영향을 미쳤을 수도 있다. 유의적인 영향력의 부재도 업무 유형의 결과일 수 있다. Kluger와 DeNisi(1996)는 복잡한 작업에 대한 피드백이 쉬운 작업에 비해 덜 효과적이라는 것을 제안하면서 이러한 가능성을 다룬다. 가능한 설명은 복잡한 정신운동가 작업에 대한 피드백은 (단일 직무에 대한 피드백 또는 인지 직무에 대한 피드백과 비교하여) 처리되고 흡수하는데 까지 더 많은 시간이 필요할 수 있다는 것이다. P3에서 발견된 효과는 이것을 보여주는 것 같다.

We observed a non-significant P2 difference suggesting a benefit in the positively framed condition with a close to medium effect size (r =-.25). A larger cohort of students might have generated a significant effect. The absence of a significant effect might also be a consequence of task type. Kluger and DeNisi (1996) address this possibility, suggesting that feedback on complex tasks is less effective than on easy tasks. A possible explanation is that feedback about a complex psychomotor task might need more time to be processed and to sink in, compared to feedback on single task, or feedback on a cognitive task. The effect found at P3 seems to illustrate this.

또 다른 설명은 과제의 특정 측면에 대한 피드백이, 바로 그 다음에 적용될 때에는 'good performance'를 희생하는 댓가로 적용되게 되며, 이것이 결국 overall한 performance의 증가를 초래하지 않는다는 것이다.

Another explanation is that feedback given on one specific aspect of the task is applied in the next performance but at the expense of the good performance of other task aspects, and this does not lead to an increase of overall performance.

Implications

임상 학습 환경에서 매일의 실습을 위해 이러한 결과의 의미는 무엇인가? 긍정적인 표현은 피드백 직후 더 높은 자기효율을 가진 더 많은 학생들을 만족시켰다. 비록 만족과 자기효과는 지각적 수준에서 측정되지만, 우리는 지각이 행동에 영향을 미친다는 것을 안다(Jussim 1991; Sitzman et al. 2008). 또한 긍정적인 프레임 피드백 조건에서는 기존 차이가 2주 후에도 여전히 존재하며, 이는 긍정적인 프레임을 사용하여 피드백을 제공하라는 권고에 추가된다.

What is the meaning of these results for daily practice in the clinical learning environment? The positive formulation led to more satisfied students with higher self-efficacy immediate after the feedback. Although satisfaction and self-efficacy are measured on the perceptual level, we know perceptions affect behavior (Jussim 1991; Sitzman et al. 2008). Further, we see that in the positively framed feedback condition the pre-existing differences still exist after 2 weeks, which adds to the recommendation to give feedback using a positive framing.

---

Adv Health Sci Educ Theory Pract. 2015 Aug;20(3):803-16. doi: 10.1007/s10459-014-9567-8. Epub 2014 Dec 27.

Framing of feedback impacts student's satisfaction, self-efficacy and performance.

van de Ridder JM1, Peters CM, Stokking KM, de Ru JA, Ten Cate OT.

Author information

1

Center for Research and Development of Education, University Medical Center Utrecht, Utrecht, The Netherlands, m.van.de.ridder@asz.nl.

Abstract

Feedback is considered important to acquire clinical skills. Research evidence shows that feedback does not always improve learning and its effects may be small. In many studies, a variety of variables involved in feedback provision may mask either one of their effects. E.g., there is reason to believe that the way oral feedback is framed may affect its effect if other variables are held constant. In a randomised controlled trial we investigated the effect of positively and negatively framed feedback messages on satisfaction, self-efficacy, and performance. A single blind randomised controlled between-subject design was used, with framing of the feedback message (positively-negatively) as independent variable and examination of hearing abilities as the task. First year medical students' (n = 59) satisfaction, self-efficacy, and performance were the dependent variables and were measured both directly after the intervention and after a 2 weeks delay. Students in the positively framed feedback condition were significantly more satisfied and showed significantly higher self-efficacy measured directly after the performance. Effect sizes found were large, i.e., partial η (2) = 0.43 and η (2) = 0.32 respectively. They showed a better performancethroughout the whole study. Significant performance differences were found both at the initial performance and when measured 2 weeks after the intervention: effects were of medium size, respectively r = -.31 and r = -.32. Over time in both conditions performance and self-efficacydecreased. Framing the feedback message in either a positive or negative manner affects students' satisfaction and self-efficacy directly after the intervention be it that these effects seem to fade out over time. Performance may be enhanced by positive framing, but additional studies need to confirm this. We recommend using a positive frame when giving feedback on clinical skills.

PMID:

 

25542198

 

DOI:

 

10.1007/s10459-014-9567-8

[Indexed for MEDLINE]