피드백 반응성에 영향을 미치는 요인: 공포, 자신감, 추론과정의 상호작용(Adv in Health Sci Educ, 2012)

피드백 반응성에 영향을 미치는 요인: 공포, 자신감, 추론과정의 상호작용(Adv in Health Sci Educ, 2012)

Factors influencing responsiveness to feedback: on the interplay between fear, confidence, and reasoning processes

Kevin W. Eva • Heather Armson • Eric Holmboe • Jocelyn Lockyer •

Elaine Loney • Karen Mann • Joan Sargeant

도입

Introduction

Davis et al. (2006)은 자기 평가가 평생 학습과 자기조절, 환자 진료에서의 역할에 대한 반성을 촉구했다.

Davis et al. (2006) ‘‘prompt[s] reflection on the use of self-rated assessment and its role in lifelong learning and value in self regulation and patient care.’’

일반적인 결론은 개선을 촉진하기 위해서는 정확한 외부 피드백이 중요하다는 것이다 (Sargeant et al. 2010). 이 결론은 더 많은 피드백을 원하는 학생들의 보편적인 호소에 부합하며, 또한 Boud (1999)가 자기 평가를 개인적인 활동이 아니라 외부 출처로부터의 피드백을 포함해야한다는 제안과도 일치합니다. 또한 Ericsson (2004)이 제안한 피드백과 성찰을 전문성 습득 메커니즘의 기본 요소로 제시하는 deliberate practice 모델과도 일치한다.

The general conclusion is that accurate external feedback is crucial if one hopes to facilitate improvement (Sargeant et al. 2010). This conclusion is consistent with both the prevalent pleas from students for more feedback and with Boud’s (1999) suggestion that the very concept of self-assessment should not be considered to be an individual activity, but instead, should encompass feedback from external sources. It is also consistent with Ericsson’s (2004) model of deliberate practice which presents feed-back and reflection as fundamental to the mechanism through which expertise is gained.

그러한 외부 피드백이 성과를 향상시킬 수 있다는 충분한 증거가있다 (예, Boehler et al., 2006). 마찬가지로, 시험에 응시하는 것은 (지필이든 임상이든) 유형은 달라도 똑같이 강력한 피드백을 제공합니다. 시험은 반복적 학습이라는 잠재적 이점을 넘어, 메모리/성능에 유익한 영향을 미친다 (Larsen et al., 2008; Kromann et al. 2009). 후자와 같은 형태의 외부 피드백은 비요크가 '바람직한 어려움'(1999)이라고 부르는 학습향상을 위한 더 폭 넓은 전략의 구체적인 예이다. 여기에는 하나의 세션에서 모든 학습 된 자료를 다루는 대신(매스 트레이닝) 여러 세션에 걸쳐 교육을 분산시켜두는 것(간격을 둔 훈련)이 있고, 학습자가 장기간에 걸쳐 퍼포먼스를 향상시킬 수 있도록 암시적으로 피드백을 제공하는 challenge를 만드는 것 등이 있다. 중요한 것은, 이러한 방식의 이득은 어떤 학습조건이 효과를 극대화하는지에 관련한 사람들의 직감에 반한다는 것이다(Boehler et al. 2006; Kornell and Son 2009).

there is ample evidence that such external feedback can improve performance (e.g., Boehler et al. 2006). Similarly, sitting an examination, be it written or clinical, provides feedback of a different, but equally powerful, type. Testing appears to have beneficial effects on memory/performance that extend beyond the potential benefits of repeated study (Larsen et al. 2008; Kromann et al. 2009). This latter form of external feedback is a specific example of a broader class of strategies for improving learning that Bjork has called ‘‘desirable difficulties’’ (1999). The notion here is that placing obstacles in front of learners, such as spreading training over multiple sessions (spaced training) rather than covering all of the to-be-learned material in a single session (massed training), creates challenges that implicitly provide feedback to learners that enables greater long-term gains in performance. Importantly, the benefit received is often counter to people’s intuitions regarding which study conditions maximize learning (Boehler et al. 2006; Kornell and Son 2009).

더 문제를 복잡하게 만드는 것은, 피드백이 일반적으로 (모든 경우에) 유익한 것이 될 수 없다는 점이다. 바람직한 어려움에 대한 이론과 많은 경험적 연구에 따르면 피드백의 양이 증가하면 오히려 학습이 감소 할 가능성이 있는데, 왜냐하면 너무 많은 피드백은 struggle해야 하는 material의 extent를 감소시킴으로써 장기 숙련도를 감소시키기 때문이다(Schmidt 1991).

Here the story becomes increasingly complicated in that feedback cannot generically be described as beneficial. The theory of desirable difficulties, and many empirical findings suggest that increasing amounts of feedback has the potential to decrease learning as too much feedback can reduce the extent to which one needs to struggle with the material and, thus, can reduce long-term proficiency (Schmidt 1991).

고려해야 할 한 가지 요소는 피드백은 그것의 사용 또는 개념이 균일하지 않다는 것입니다. 어떻게, 그리고 누구에 의해 피드백이 전달되는지가 중요하며, 영향은 상황의 특성에 따라 다양합니다 (Shute 2008; Kluger and van Dijk 2010). 피드백이 어떻게 자기 평가 및 성과 향상에 inform하는지를 고려할 때 이것은 중요한 포인트입니다.

One factor that must be taken into account  is that feedback is not uniform in use or in concept. When, how, and by whom feedback is delivered matters and the effects are variable as a function of the specifics of the situation (Shute 2008; Kluger and van Dijk 2010). This is a salient point as we consider how feedback informs self-assessment and performance improvement. 

또한 어떤 형태의 피드백도 결코 전달되지 않거나 진공 상태에서 받아 들여지는 것이 아니라는 더 넓은 인식으로 연결된다. 즉각적이고 일관된 응답으로 피드백을 전달할 수 있는 테크놀로지 시스템과는 달리, 전달되는 모든 피드백은 수신자가 가진 [world of practice, 피드백 제공자, 자신의 능력을 보는 필터]를 통해 해석됩니다. 추가적 필터에는 수신자의 동기, 두려움 및 기대치가 포함됩니다 (Stewart 2008, Kennedy 외 2009). 결과적으로, 전달되는 정보가 의도적으로 (수령인에 의해) 실제 업무에 통합되도록하는 것이 목표라면, 평가에서 '자아'를 배제할 수 없습니다. 다중 소스 피드백(MSF)의 영향에 대한 이전의 연구도 이를 지지하는데, 피드백의 가치에 대한 평가는 부분적으로 피드백이 자기평가와 조화를 이룰 수 있는 정도에 달려 있기 때문이다(Sargeant 외. 2008).

It also leads to the broader realization that feedback of any form is never delivered or received in a vacuum. Unlike a technological system where feedback can be delivered as a command with immediate and uniform response, any feedback that is delivered will be interpreted through the filters with which the receiver views the world of practice, the feedback provider, and his/her own abilities. Additional filters include the receiver’s motivations, fears, and expectations (Stewart 2008; Kennedy et al. 2009). As a result, one cannot take the ‘self’ out of the assessment if the goal is to have the information being delivered be deliberately incorporated (by the receiver) into practice. Previous examinations of the impact of multi-source feedback (MSF) support this statement as they have suggested that the extent to which feedback is deemed valuable is dependent, in part, on the degree to which the feedback can be reconciled with one’s self-assessments (Sargeant et al. 2008).

이 단계를 더 진행하려면 성능 개선을 위해 취약한 자기평가가 수정되어야하는지 여부를 질문하는 것이 중요합니다. 예를 들어 Kruger와 Dunning (1999)의 연구는 퍼포먼스 향상이 발생하더라도 개인의 인식이 변하지 않는다는 것을 보여 준다. 이 두 가지가 align되는 이유는 인식에 맞추어 퍼포먼스가 향상되기 때문이다. 이것은 피드백이 필요하다는 것을 암시하지만, 피드백이 반드시 영향을 미치기 위해서 반드시 self-concept에 통합 될 필요는 없습니다.

To take this a step further, it is important to question whether or not flawed self-appraisal must be corrected to enable performance improvement. For example, Kruger and Dunning’s (1999) work demonstrates that performance gains often occur without altering individuals’ self-perceptions, the two becoming aligned because performance increases to meet perceptions. This suggests that feedback is necessary, but doesn’t necessarily need to be incorporated into one’s self-concept to have an influence.

방법

Methods

The data analyzed to address these issues were collected as part of a larger qualitative study that took place across 5 countries using focus groups aimed at determining participants’ perceptions of a variety of formal reflective activities (Sargeant et al. 2010). Using purposive sampling, we recruited learners at various levels of practice from 8 health professional training programs (within medicine and midwifery) known to use portfolios, personal learning plans, multi-source feedback, defined outcome competencies, and/or audit and feedback strategies. Programs included 3 undergraduate (midwifery and MD) programs, 2 postgraduate (medical residency) programs, and 3 practicing physician (family physicians and internists) programs. We invited volunteer participants by letter via each program’s administrative office. Participating institutions’ research ethics review boards approved the study.

• We conducted 2 focus groups for 7 of the 8 programs and 3 focus groups for the 8th program. 

• They were about 1.5 h in length, recorded and transcribed. 

• One researcher moderated all groups assisted by at least one team member or their research associate, a person familiar with the program and culture. 

• Interviews were semi-structured and we used open-ended questions to explore participants’ perceptions of self-assessment generally and the use of the specific program activities listed above with respect to their capacity to prompt pedagogically meaningful reflection that could inform one’s self-assessment and direct learning. 

• We used preliminary data analysis from each group to expand data collection and revise subsequent questions to address important concepts and emerging themes.

• We conducted the analysis iteratively as a team. 

• We developed an initial coding structure organized around the interview questions and emerging themes. 

• We determined themes initially independently by open-coding transcripts and then comparing interpretations through group discussions conducted by teleconference and email. 

• At least five team members analyzed each transcript and participated in this process, continually informing the coding structure and its revision. 

• We resolved differences in interpretation through discussion and re-examining transcripts and coded data. 

• We held a face-to-face meeting to confirm emerging themes and form subgroups to conduct detailed analyses of related categories of data. 

• At a subsequent two-day meeting we discussed categories in depth, continued analysis through constant comparison, and constructed a preliminary conceptual diagram of informed self-assessment that was subsequently published (Sargeant et al. 2010). 

• Analysis continued using constant comparison of incidents, categories and participant groups to elaborate the themes pertaining to the uptake and interpretation of data. 

• High levels of team member engagement and interaction through all stages of analysis enhanced its rigour (Liamputtong and Ezzy 2005)

결과

Results

(1) 경험, 자신감, 무지해 보일 것에 대한 두려움 사이의 상호 작용.

(2) 피드백에 대한 접근, 해석 및 사용에 미치는 영향

(3) 외부 피드백의 해석 (및 잠재적으로 편향) 메커니즘.

(1) the interplay between experience, confidence, and fear of not appearing knowledgeable; 

(2) influences upon accessing, interpreting and using feedback; and 

(3) mechanisms guiding (and potentially biasing) interpretation of external feedback.

경험, 자신감, 무지해 보일 것에 대한 두려움 사이의 상호 작용.

The interplay between experience, confidence (real and projected), and fear of not appearing knowledgeable

[학습자와 의사가 얼마만큼이나 환자, 동료 또는 자신에게 자신의 한계에 대해 공개해야하는지]에 관해 그룹마다 의견의 근본적인 차이가 남아 있습니다. 일부 사람들은 겸손의 부족 (즉, 자신의 한계를 공개하려는 의지)이 일부 개인의 실천에 근본적인 문제라고 주장했다.

there remain fundamental differences of opinion across all groups with respect to how much learners and physicians should disclose to their patients, their colleagues, or themselves about their limitations. Some argued that lack of humility (i.e., the willingness to disclose one’s limitations) is a fundamental problem with some individuals’ practice.

내가 실수를했다[또는] 나는 모른다고 말할 수 있어야한다. 이는 서로 완전히 상반되는 두 가지인데, 당신이 알고 있어야하고 확신을 가지고 있어야하지만, 동시에, 당신이 당신 자신을 보고 '나는 모릅니다'라고 말 할 수 있는 능력을 가져야만 한다 [의사 M2]

You have to be able to say I made a mistake [or] I don’t know. So it’s kind of diametrically opposed to all of this training that you had that you are supposed to know and be confident and yet at the same time, you know you have to have this ability to look at yourself and say, I don’t know. [Physician M2]

다른 사람들은 지식의 부족을 환자에게 공개하면 안된다고 주장했다.

Others argued that one should not disclose this lack of knowledge to patients

저는 항상 사람들에게 나에게 묻는 것 중 내가 대답하지 못할 것은 없다고 말한다. 어떤 증상에도 답을 찾을 것이다. 비록 그것은 사실이 아닐 지도 모르지만, 나는 자신감을 가지고 말한다. [의사 M3]

I always tell people that there is nothing they can bring me that I can’t figure out … every symptom that they bring we will find a solution for …That may not even be true, but I tell them that with confidence. [Physician M3]

이러한 상황은 학생에게 특히 어려웠습니다.

Such situations were especially challenging for learners.

내가 무언가를 할 수 없다는 사실을 사람들에게 보여주고 싶지는 않습니다. [불확실 할 때]  의사를 불러야 하는 상황에서 나는 그렇게하지 않는 경향이 있습니다. 어쩌면 의사 선생님에게 전화하는 것도 좋은 방법 일 수 있습니다. 하지만 나 자신이 그렇게하기에는 너무 약하다는 느낌이 들기 때문에 혼자서 알아 내려고 노력합니다. [의대생 I1]

You don’t want to show people you’re not capable of doing this. So that part of calling the doctors [when uncertain], I tend not to. Maybe [calling the doctors is] a good way, but it also makes me feel like I’m too weak to do it myself, so I try to do figure it out by myself. [Medical student I1]

즉, 의사들은 지식이 없는 것처럼 보이는 것을 두려워하는 것에 너무 취약하다. 모르는 것처럼 보이는 것에 대한 두려움이 동기 부여 요소가 되지만, 한 참가자는 "정말 바보 같이 보일 것에 대한 두려움"을 표현했다. [의사 L8].

That said, physicians too were susceptible to fear of not appearing knowledgeable and suggested that the fear of appearing not to know is a motivational factor, one participant expressing ‘‘the fear of looking really stupid.’’ [Physician L8].

실제적인 자신감을 가능하게하는 것과 관련하여, 참가자들은 영향을받은 많은 요소가 있음을 표명했습니다. 여기에는 자신의 수행에 대한 인식, 성과를 내고자하는 동기, 외부에서 생성 된 정보에 대한 그들의 해석 등이 있다. 이 때 중심적이고 중요한 주제는 경험이었습니다. 경험은 특정 작업을 수행할 수 있는지를 근본적으로 결정하는 요인으로 취급되었습니다. 직접 경험한 케이스의 절대 숫자와 특정한 경험의 발생 모두가 지침 역할을한다고 생각되었습니다. 그러나 경험이나 이러한 경험에서 얻은 정보의 질에 관해서는 거의 언급되지 않았다. 즉, 경험이 있다는 것 만으로도 자신감과 편안함에 기여하는 것처럼 보였습니다.

With respect to enabling actual confidence, participants voiced opinions indicating that a large number of factors influenced their perceptions of their own performance, their motivations for wanting to perform well and their interpretation of externally generated information. A central and critical theme was that of experience. Experience was treated as a fundamental determinant of whether or not one is able to perform certain tasks. Both the absolute number of cases one has seen and the occurrence of specific experiences were thought to play a guiding role. However, little was mentioned in terms of the quality of either the experience or of the information gained from these experiences. That is, experience alone seemed to contribute to confidence and a sense of comfort.

학습자들에게 경험은 일반적으로 긍정적인 것이었고, 바람직했으며, 자신감을 높여주었다. 그럼에도 불구하고 자신감은 미약했고, 참석자들은 특정 사건에 관한 자신감의 상실은 극복해야 할 필요가 있음을 분명히했습니다.

For learners, experience was generally viewed positively, was desired, and generally led to increased confidence. Yet, confidence appeared tenuous and participants’ comments also made it clear that loss of confidence in response to particular events is something that needs to be overcome.

실제로, 자신의 능력에 대한 자신감은 피드백의 역할에 관한 중요한 주제였습니다. 참가자은 분명히 다른 사람들로부터 피드백을 받기를 원했지만, 욕망은 종종 안도감 (즉, 행동 교정 전략보다는 자신감 구축의 원천)을 원하는 것을 암시했다.

Indeed, confidence in one’s abilities, was a major theme regarding the role of feedback. While participants clearly wanted feedback from others a number of statements implied that the desire could often be construed as wanting reassurance (i.e., as a source of confidence building rather than as a behaviour correction strategy).

내가 나 자신을 평가하느니 차라리 다른 누군가가 나를 평가할 것이라고 생각합니다. 왜냐하면 내가하는 일이 옳다는 확신을 조금씩 갖게 해주기 때문이다 [의대생 C6]

I think I would rather have somebody else assess me than assess myself …. ‘cause it just gives me a bit more confidence that what I’m doing is right. [Medical student C6]

그렇다고해서, 참가자들이 모든 것을 다 포기해서라도 자신감만을 중요하게 평가했다고 말할 수는 없습니다

That is not to say that participants valued confidence at all costs as many did speak of the risk of becoming over-confident

"스스로 항상 모든 것을 다룰 수 있어야한다고 생각하면 곤경에 빠지게 될 것이다. 그리고 근본적으로 자기평가라는 것이 어떤지를 알아야 한다. 자기평가는 이런 것이다. 나는 이건 끔찍하게 못합니다. 내가 항상 옳지는 못합니다. 거기에 대해서 어떻게 도움을 요청할지를 알아야합니다. [의사 A5]

‘‘You know, if you think that you should be able to handle all things at all times, then you’re going to get into trouble, and you have to recognize, and that’s basically what self-assessment is, like, ‘I’m not terribly good at this, I don’t really get it all the time, and I need to know how to ask for help with that. [Physician A5]

사실, 참가자들은 교정적 피드백을 요구하거나 받을 준비를 하기 위해서는, 특정 수준의 편안함, 경험, 자신감을 획득해야 한다는 역설을 제시했습니다. 즉, 자신감과 경험은 두 가지 방식으로 작동하는 것으로 나타났습니다. 참가자가 피드백을 요구하고 받아들이도록 허용하고, 일부는 본질적으로 비판적일 수 있는 피드백에 대해서 스스로를 보호하는 역할을 한다.

In fact, participants’ responses suggested a paradox in that one needed to achieve a particular level of comfort, experience, and confidence prior to being prepared to ask for or receive corrective feedback. That is, confidence and experience appeared to work in two ways: By enabling participants to ask for and accept feedback and, for some, guarding them against feedback that might be critical in nature.

외부 피드백의 해석과 수용에 대한 영향

Influences on interpretation and uptake of external feedback

일부 참가자들은 자신감 단독으로는 능력에 대한 unreliable한 지표가 될 수 있다는 것을 인식했습니다. 많은 의사들이 이전의 신념에서 벗어나고 싶다는 말을했으며, 자신의 퍼포먼스에에 약점이 있다는 것을 발견했을 때 처음으로 발생하는 느낌을 표현하기 위해 ''충격 ''과 감정적 단어를 사용했습니다. 그들은 정보를 활용하기 전에 그 감정을 극복 할 필요성을 지적했습니다.

Some participants were cognizant that confidence alone could be an unreliable indicator of ability. A number of physicians spoke of the need to be shaken out of a prior belief and used emotionally-tied words like ‘‘shock’’ to express the feeling that first arises when discovering that there was a weakness in their performance. They further indicated a need to get over that feeling before the information could be utilized.

이러한 외부 정보가 활용될 가능성에 영향을 주는 것은 피드백 출처의 신뢰성에 대한 인식이었다. 사람들은 피드백의 정확성에 중점을 두었습니다. 

• 학생 참여자는 실제로 성과를 관찰하지 않은 supervisor나 다른 사람들이 제공 한 피드백을 평가절하했다. 

• 가정의는 또한 가정의의 역할을 이해하지 못하는 비판적 컨설턴트와 객관적으로 진료를 판단하는 데 필요한 의학 지식이나 통찰력이 부족한 환자들을 언급했다.

The likelihood of such external information being utilized was very clearly thought to depend on the perceived credibility of the source, another dominant theme in the data. Emphasis was placed on the perceived accuracy of the feedback. Student participants discounted feedback provided by supervisors and others if they had not actually observed their performance. Family physicians likewise commented on critical consultants who did not understand the family physician’s role and patients who lacked the medical knowledge or insight required to objectively judge care. 

몇몇은 동료 상호 작용에 쉽게 참여할 수있는 기회가 없는 것이 "혼자서 진료를 할 때"의 어려움을 유발하며, 이것은 외부 피드백에 대한 접근을 제한한다고 지적했습니다. 동등하게 중요한 것은 피드백이 선의에 기반하거나 악의가 없는 위치에서 와야 한다는 믿음이었다. 이러한 신념은 종종 피드백 제공자와 수용자 사이의 강력한 관계의 결과로 발달했다.

Some noted that the lack of opportunity to readily engage in collegial interactions creates difficulty ‘‘when you are in … solo practice’’ [Physician K7] and limits access to external feedback. Equally important was the need to believe that the feedback was delivered from a position of beneficence and nonmaleficence, that belief often developing as a result of strong relationships being established between the feedback deliverer and recipient.

외부 피드백의 해석을 가이드하는(또는 편향시키는) 기전

Mechanisms guiding (and potentially biasing) interpretation of external feedback

외부 피드백의 정확성을 의심 할 수있는 여러 가지 이유가 있었으며, 따라서 특정 행동을 변경하려는 경우 전달되는 피드백에 대한 수령인의 해석을 고려해야한다는 개념을 강화했습니다. 이 의문은 어떤 경우에는 명백하게 나타났습니다.

Throughout this discussion it appeared that respondents had any number of reasons to doubt the veracity of the external feedback received, thus reinforcing the notion that one must consider the recipient’s interpretation of the feedback conveyed if one hopes to alter the focal behaviour. This doubt was outright in some instances:

시험에 대해서 글자 그대로 모든 사람이 다 다르게 생각한다... 스스로 자신감이 얼마나 높은지를 가지고 잘 하고 있는지를 스스로 평가할 수 있지만, "오, 이렇게 하는게 맞아요."라고 누군가가 말한다면 정확히 그렇게 똑같지 하진 않을 것이다[의대생 C3]

I think it’s quite difficult ‘cause like with examination stuff literally everyone does it differently …you can assess how good you are by kind of how confident you feel in what you’re doing, but you’ll never …do it exactly the same as someone else who might say, ‘Oh, this is the right way.’ [Medical student C3]

참여자들은 잠재적으로 편향된 추론을 드러내기도 했다. 즉, 참여자들의 단어 선택은 때로는 자신의 수행에 대한 추론이 길을 ​​잃을 수있는 방식을led astray 암시합니다.

In other instances, the doubt indicated by participants’ statements revealed potentially biased reasoning. That is, while the research design did not allow assessment of the accuracy of participants’ statements, their choice of words were sometimes suggestive of ways in which reasoning about one’s own performance could be led astray.

예를 들어, 어떤 사람은 긍정적 피드백을 신뢰하는 반면, 부정적 피드백을 평가절하하는 경향을 드러냈고, 이는 긍정적인 성과는 부정적인 성과만큼이나 우연히 발생한 것일 수 있다는 것을 생각하지 않게 하여 자신감을 높여주었다.

For example, some expressed views that suggested a tendency to trust positive outcomes/feedback while discounting negative ones, thereby potentially increasing confidence by not accounting for the fact that positive outcomes can arise by chance just as readily as can negative outcomes.

나는 그가 정말로 긍정적 인 피드백을 주 었음에 놀랐다. 그리고 그것이 저에게 유용했기 때문에 그것이 정말로 기대하지 않았을 때 진정한 확신을 얻었습니다. 그러나 그것은 내가 [피드백] 유용하다고 생각한 유일한 시간입니다. [대학원 E4]

I was surprised that he gave me really positive feedback. And so that was useful to me because that was a real confidence booster when I wasn’t expecting it at all. But that’s about the only time I’ve found [feedback] useful. [Postgraduate E4]

편향될 가능성을 높이는 또 다른 것은 부정적인 결과를 상황적 (외적) 요인으로 돌리는 한편, 긍정적인 결과는 자신의 기술로 돌리는 인간의 경향이다.

Adding to the potential for bias were the tendency humans have to attribute negative outcomes to situational (external) factors while attributing positive outcomes to one’s own skill.

마지막으로, 연구에서 [자기 평가를 용이하게 하기 위한 외부 정보의 사용]에 초점을 맞추었음에도 불구하고, 많은 참가자들은 자신의 경험에 대한 자신감과 "충분히 알고 있음"을 강조하는 진술을했다. 근본적인 수준에서 이것은 특정 상황에서 practice하기에 적합한지 스스로 판단 할 수 있다는 생각에 머물러 있음을 보여준다.

Finally, despite the discussion being focused on the use of external information to facilitate self-assessments, many participants made overarching statements about their confidence in their experience and ‘‘knowing enough.’’ These statements suggested that they remained of the opinion that at some fundamental level they were able to judge for themselves whether or not they are fit to practice in specific situations.

고찰

Discussion

외부 데이터와 자기 평가가 충돌 할 때 불협화음을 조화시키려는 시도는 다양하고 복잡하다는 것이 분명했습니다.

it was clear that, when conflict arises between external data and one’s own self-appraisal, attempts to reconcile the dissonance are variable and complex.

사회 심리학 문헌은 우리 연구 결과의 해석을 돕기위한 유용한 통찰력을 제공합니다. 이 영역에서 판단 및 의사 결정은 일반적으로 어떤 요인이 데이터의 해석 / 문제에 영향을 미치는지 조사한다. Tversky and Kahneman (1974)의 고전적 연구에서 비롯된이 분야의 연구자들은 때로는 '뜨거운인지'와 '차가운인지'로 묘사되는 두 가지 광범위한 종류의 영향을 밝혀 냈습니다 (Gilovich 1991).

The social psychology literature provides useful insight to aid the interpretation of our findings. In this domain judgment and decision-making are typically considered through examination of what factors influence one’s interpretation of data/an issue. Growing out of the classic work of Tversky and Kahneman (1974), researchers in this field have identified two broad classes of influences sometimes described as ‘‘hot cognition’’ and ‘‘cold cognition’’ (Gilovich 1991).

• 뜨거운 인식은 감정, 각성 및 동기 부여와 관련이 있으며 종종 자신의 인식을 보호하거나 강화하는 요인을 포함합니다. 예를 들어, self-serving 편향은 사람들이 성과의 실패를 상황 요인과 자신의 능력에 대한 성공으로 돌릴 때 발생한다고 말합니다.

Hot cognitions are related to emotion, arousal, and motivation, often involving factors that protect or strengthen one’s perception of oneself. For example, self-serving bias is said to arise when people attribute failures of performance to situational factors and successes to their own ability.

• 차가운 인식은 주의력, 기억력 및 판단력이 작용하는 분석적 또는 비감정적 방식에서 주로 발생하는 영향을 나타냅니다. 차가운인지의 잘 알려진 예는 확증 편향(즉, 일방적 인 방식으로 가설을 시험하는 경향이 있으므로 증거의 균형이 우리의 선입견을 뒷받침하는 경향이 있음)입니다.

Cold cognition, in contrast, represents influences that arise more from analytic or unemotional ways in which attention, memory, and judgment operate. A well-known example of cold cognition is confirmation bias (i.e., the tendency to test hypotheses in a one-sided way, thus ensuring that the balance of evidence supports our preconceptions).

참가자들의 의견은 뜨거운 인식과 차가운 인식이 모두 자신의 인식에 영향을 미칠 수 있고, 다른 사람들로부터 피드백을 해석하는 방식에 영향을 줄 수 있음을 제안합니다. 이러한 영향은 사람들의 광범위한 문제에 대한 사람들의 인식에 영향을 미치는 것으로 나타났습니다.

the comments generated by participants suggest that both hot and cold cognition can influence one’s perception of oneself and impact upon the way one interprets feedback from others just as readily as these influences have been found to impact upon people’s perceptions of broader issues.

뜨거운 인식의 측면에서 참가자들은 피드백을 찾고/받는 것이 갖는 정서적 특성을 지적했습니다. 개발하고 개선하기를 원하는 것은 "바보처럼 보이는 것"에 대한 두려움과 균형을 이루며, 피드백의 receiver/seeker가 취약한 위치에 있다는 일반적인 감각을 제공합니다.

In terms of hot cognition, participants noted the emotional nature of seeking/receiving feedback. Wanting to develop and improve was balanced with fears of ‘‘looking stupid,’’giving a general sense that receivers/seekers of feedback were in a vulnerable position

이 활동의 ​​감정적으로 자극적인 성격과 참가자들의 반응의 자기 방어적인 성격은 다음 세 가지 방법으로 간접적으로 반영되었습니다.

• (1) 피드백을 받을 준비가되기 전에 자신감을 요구하는 것

• (2) 피드백 제공자가 선의와 비-악의적 입장이라는 것에서 확립된 신뢰적 환경의 맥락에서 의견에 대해 더 개방적이라는 것

• (3) "충격"은 퍼포먼스가 적절하지 못한 상황에서 움츠려들거나 회피하지 않도록 의도적으로 극복해야하는 일반적인 초기 반응이라는 것

The emotionally evocative nature of this activity and the self-protective nature of participants’ responses were further indirectly reflected in three ways: 

(1) participants’ statements about requiring confidence prior to being prepared to receive feedback, 

(2) the notion that one is likely to be more open to feedback within the context of an established environment of trust in which the feedback provider presents from a position of beneficence and non-maleficence, and 

(3) the ‘‘shock’’ described as a common initial response that one must try deliberately to overcome to avoid shrinking away from tasks or situations in which performance was sub-optimal.

이 후자의 발견은 나쁜 소식 (예 : 분노에서 거부, 협상, 우울증 및 수용으로 이동하는 것, Kudebler-Ross 2005)에 대처하는 인기있는 '슬픔의 단계'모델을 염두에 둡니다.

This latter finding brings to mind the popular ‘‘stages of grief’’ models of coping with bad news (e.g., moving from anger through denial, bargaining, depression, and acceptance; Ku¨bler-Ross 2005)

피드백을받는 것이 정서적으로 중립적인 task가 아니기에, 우리가 심리적 면역 체계 (부정적인 감정에서 대상을 보호하는인지 메커니즘)을 고려해야합니다. Gilbert와 Wilson (2000)에 의해 기술 된 바와 같이, 참가자들이 피드백을 명시적으로 갈망하는 것조차 어떤 경우에는 피드백을 seek하지 않거나(즉, 회피) 또는 피드백이 가능한 때에도 그것을 가치있게 여기지 않는 것(즉, 평가절하)하는 방식으로 나타나곤 한다.

That receiving feedback is not an emotionally neutral task requires us to consider the psychological immune system (cognitive mechanisms that protect the subject from negative emotions), as described by Gilbert and Wilson (2000), as one of the reasons whereby participants’ stated desire for feedback may still, in some circumstances, translate into feedback not being sought (i.e., avoidance) or in its not being recognized as valuable when it is available (i.e., discounting).

우리는 실제로 피드백이 결코 적응을 유도하는 데 사용되지 않는다는 것을 암시하고자 하는 것이 아니다. 또한 많은 경우에 피드백을 평가절하하는 것이 적절한 반응이라는 것을 인정한다.

We do not mean to imply that feedback is never heeded or used to guide adaptations in practice. Further, we readily acknowledge that it is perfectly appropriate to discount feedback in many circumstances.

긍정적 자기 효능감의 적응적 성격 (Dweck 1999)

adaptive nature of positive self-efficacy (Dweck 1999)

많은 경우에 우리는 자신의 능력에 관한 긍정적 인 전망을 유지하는 것이 낫습니다. 결과적으로 우리는 셀프 서비스 바이어스 (self-serving bias) 같은 경향이있을 수 있습니다.

in many circumstances we are better off maintaining a positive outlook regarding our own abilities. As a result, we may be prone to things like self-serving bias,

피드백을 사용/해석하는 방법을 결정할 때, 다른 여러 영역에서 밝혀진 인지적 경향이 우리의 추론을 personally 적응적adaptive 방식으로 편향시킨다는 것을 고려해야 한다고 지적하는 것이다.

it simply points out that the cognitive tendencies that have been readily identified in many other domains as biasing our reasoning in a personally adaptive manner must be considered in determining how feedback is used/interpreted.

우리는 피드백 해석과 관련된 뜨거운 인식에 대한 awareness가 (암묵적이든 아니든) 피드백 제공의 필요성에 대해 많은 교사 / 동료가 느끼는 망설임에 기여할 수 있다고 추측합니다. 그러나 상황에서 감정을 제거하더라도 피드백을 통합하는 데 따르는 어려움을 완전히 극복 할 수는 없습니다. 실제로, 참가자들은 차가운 인지 (즉, 기억 /주의의 한계)도 관련되어 있다고 제안했다.

We speculate that awareness, implicit or otherwise, of the hot cognition involved in interpreting feedback can contribute to the hesitation many teachers/peers feel regarding the need to deliver feedback. Removing the emotion from the situation, however, is unlikely to completely overcome the difficulties inherent in incorporating feedback. Indeed, participant interviews suggested that cold cognition (i.e., limitations of memory/ attention) is also involved.

임상 및 평판 영역에서의 기존 연구는, 우리가 스스로 자신을 평가사도록 남겨지면 우리는 (실제 달성 된 성과 수준에 따라 숙련도를 판단하는 것이 아니라) 추가 경험을 통해 학습하는 속도가 줄어들 때 자신이 숙달 된 것으로 판단한다. 경험은 자신감을 결정하므로, 양날의 검이됩니다. 경험이없는 일부 참가자는 피드백을 수집하는 데 불편 함을 나타내고 자기효능감에 미치는 부정적인 영향에 대해 우려했습니다. 

Previous work in both clinical and lay domains has suggested that, when left to our own devices, we judge ourselves to have achieved proficiency when the rate at which we are learning from additional experiences declines (i.e., rather than judging proficiency based on the actual level of performance achieved; Eva 2009). That experience determines confidence, therefore, becomes a double-edged sword. Without experience some participants indicated discomfort with collecting feedback and concern about the negative impact it could have on their self-efficacy. 

그러나 경험이 축적됨에 따라 자신감과 교정적 피드백을 평가절하 할 수있는 더 큰 역량을 얻게됩니다. 왜냐하면 기술이 달성되었다는 것과 피드백의 출처 (사람이든 시험이든 또 다른 데이터 세트이든)는 리시버의 능력에 대해 어떤 식으로든 편향되거나 잘못 되었다는 "증거"를 보여주는 더 큰 개인 데이터베이스를 갖게 되기 때문이다

As experience accumulates, however, one gains both confidence and a greater capacity to discount corrective feedback as a result of having a greater personal database of cases on which to draw as ‘‘evidence’’ that the skill has been achieved and that the source of the feedback (be it a person or a test or some other dataset) must be biased in some way or misinformed about the receiver’s abilities.

실제로 많은 참여자 의견은, 피드백이 일반적으로 필요하며 문제는 종종 단순히 피드백을 사용할 수 없거나 품질이 충분하지 않다는 것을 분명히합니다. 오히려 이 이론적인 관점은, 피드백이 수신 될 때, 모든 관련자의 최선의 의도에도 불구하고 falling on deaf ears가 될 수 있는 방식으로 해석 될 수있는 복잡한 다양한 방식을 이해하는 데 도움이됩니다.

Indeed, many participant comments make it clear that feedback is generally desired and that the problem is often that feedback is simply unavailable or truly of insufficient quality. Rather, the interviews and this theoretical perspective merely help us to understand the complex variety of ways in which feedback, when received, can be interpreted in ways that can lead to it falling on deaf ears despite the best intentions of all involved.

한계

Limitations

피드백은 결코 진공 상태에서 제공되지 않습니다. 따라서 성능을 향상시키고 잘못 판단 된 개인 판결에 대한 의존도를 극복하기위한 노력은 수신자가 그 의견의 신뢰성에 관한 중요한 지침을 제공한다고 믿는 맥락에서 고려되어야합니다. 피드백이 어떻게 인식되고 논의되는지는 피드백이 어떻게 해석되고 채택되는지를 결정할 것이다 (Hattie and Timperley 2007).

Feedback is never provided in a vacuum. As such, any effort to improve performance and overcome reliance on often flawed personal judgments must be considered in the context of what receivers believe provides important guidance regarding the credibility of that feedback. How feedback is perceived and discussed will determine how feedback is interpreted and adopted (Hattie and Timperley 2007).

Conclusion

요약하자면, 두려움 (바보 또는 부정적 피드백을 찾는 것), 자신감 (경험에서 파생 된 것, 피드백을 얻고 자하는 /받는 것을 결정하는 것에 영향을주는 것), 추론 프로세스 (감기 및 추위에 대한 감정 및 분석 측면) 간의 상호 작용 인지)는 피드백 전달에 대한 간단한 처방이 없다는 개념을 강화하는 복잡한 혼합물을 만드는 것으로 보입니다.

By way of summary, the interplay between 

• fear (of looking stupid or of negative feedback), 

• confidence (as derived from experience and influencing one’s willingness to seek/ accept feedback), and 

• reasoning processes (with their emotional and analytic aspects of hot and cold cognition, respectively) 

...appears to create a complex mixture that reinforces the notion that there is no simple recipe for the delivery of feedback.

신뢰할 수있는 피드백을 전달하기를 희망하는 경우, 수신자의 인식을 통해 해석 가능하고 palatable한 방식으로 피드백을 조정해야합니다. 피드백은 학습자가 self-concept를 유지할 수 있는 선의의 명확한 위치에서 전달 될 때 주의력과 행동의 가치가 있다고 인식 될 가능성이 가장 큽니다.

If one hopes to convey feedback that is perceived as credible an effort must be made to tailor feedback in a manner that will be interpretable and palatable through the lens of the recipient’s perceptions. Feedback appears most likely to be perceived as worthy of attention and action when delivered from a clear position of beneficence that allows the learner to maintain their self-concept.

---

Adv Health Sci Educ Theory Pract. 2012 Mar;17(1):15-26. doi: 10.1007/s10459-011-9290-7. Epub 2011 Apr 6.

Factors influencing responsiveness to feedback: on the interplay between fear, confidence, and reasoning processes.

Eva KW1, Armson H, Holmboe E, Lockyer J, Loney E, Mann K, Sargeant J.

Author information

1

Centre for Health Education Scholarship, University of British Columbia, Vancouver, BC, V5Z 4E3, Canada. kevin.eva@ubc.ca

Abstract

Self-appraisal has repeatedly been shown to be inadequate as a mechanism for performance improvement. This has placed greater emphasis on understanding the processes through which self-perception and external feedback interact to influence professional development. As feedback is inevitably interpreted through the lens of one's self-perceptions it is important to understand how learners interpret, accept, and use feedback (or not) and the factors that influence those interpretations. 134 participants from 8 health professional training/continuing competence programs were recruited to participate in focus groups. Analyses were designed to (a) elicit understandings of the processes used by learners and physicians to interpret, accept and use (or not) data to inform their perceptions of their clinical performance, and (b) further understand the factors (internal and external) believed to influence interpretation of feedback. Multiple influences appear to impact upon the interpretation and uptake of feedback. These include confidence, experience, and fear of not appearing knowledgeable. Importantly, however, each could have a paradoxical effect of both increasing and decreasing receptivity. Less prevalent but nonetheless important themes suggested mechanisms through which cognitive reasoning processes might impede growth from formative feedback. Many studies have examined the effectiveness of feedback through variable interventions focused on feedback delivery. This study suggests that it is equally important to consider feedback from the perspective of how it is received. The interplay observed between fear, confidence, and reasoning processes reinforces the notion that there is no simple recipe for the delivery of effective feedback. These factorsshould be taken into account when trying to understand (a) why self-appraisal can be flawed, (b) why appropriate external feedback is vital (yet can be ineffective), and

(c) why we may need to disentangle the goals of performance improvement from the goals of improving self-assessment.

PMID:

 

21468778

 

PMCID:

 

PMC3274671

 

DOI:

 

10.1007/s10459-011-9290-7