Informed Self-Assessment의 긴장: 피드백에 대한 열망과 피드백을 얻어 사용함의 망설임의 갈등(Acad Med, 2011)

Informed Self-Assessment의 긴장: 피드백에 대한 열망과 피드백을 얻어 사용함의 망설임의 갈등(Acad Med, 2011)

Tensions in Informed Self-Assessment: How the Desire for Feedback and Reticence to Collect and Use It Can Conflict

Karen Mann, PhD, Cees van der Vleuten, PhD, Kevin Eva, PhD, Heather Armson, MD,

Ben Chesluk, PhD, Timothy Dornan, DM, PhD, Eric Holmboe, MD,

Jocelyn Lockyer, PhD, Elaine Loney, MS, and Joan Sargeant, PhD

연구 결과에 따르면 자신의 성과를 정확하게 평가하는 능력은 광범위한 결함이 있다.3–5 문헌에 따르면, 자기평가가 타당하려면 다양한 출처로부터 외부 정보를 받아야 한다.4,6

research findings concerning individuals’ ability to assess their own performance accurately have consistently revealed widespread flaws.3–5 The literature suggests that, to be valid, self-assessment must be informed by external information from a variety of sources.4,6

우리는 정보 제공 자체 평가라는 용어를 사용하여 개인이 외부 및 내부 데이터를 사용하여 자신의 능력에 대한 평가를 생성하는 과정을 설명합니다.

We use the term informed self-assessment to describe the set of processes through which individuals use external and internal data to generate an appraisal of their own ability.

외부 정보를 활용하는 활동으로 자기평가를 개념화하는 것은 새로운 것이 아니다. Boud9는 광범위한 교육 문헌에 자기 평가를 논하며, 자기평가란 자신의 성과에 대한 내부 및 외부 데이터를 모두 바탕으로 자신의 성과를 판단하기 위한 기준과 비교하는 과정이라고 설명했다. 이 프로세스는 engaged facilitation을 통해 자료를 적절히 해석 및 활용하도록 guide할 때 더 도움이 됩니다.1,6,7

conceptualizing self-assessment as an activity that must be informed by external information is not novel. Writing in the wider education literature, Boud9 described self-assessment as a process that requires drawing on both internal and external data about one’s performance and comparing these with a standard to make a judgment about one’s performance. The process is aided when engaged facilitation guides learners in interpreting and using data appropriately.1,6,7

본 보고서의 목적은 위에 설명된 자체 평가 모델의 긴장 구성 요소에 대한 심층적인 탐구 결과물을 제시하는 것입니다.

The purpose of our present report is to present findings resulting from in-depth exploration of the tensions component of the informed self-assessment model described above.

방법

Method

This qualitative study employed principles of grounded theory.13,14 We held 17 focus groups (January to May 2008) involving learners at the undergraduate and postgraduate levels, as well as practicing physicians, from eight medical education programs in five countries. We used purposive sampling, believing that participants experienced with structured self-assessment activities would be more conversant with the concepts and provide richer data.

Semi-structured interview questions addressed participants’ perceptions of 

• the ways in which they self-assess their clinical performance generally, 

• the data they draw on, 

• the contributions of formal and informal activities and resources for informing their self-assessments, and 

• the factors influencing their usefulness. 

In the grounded theory tradition, the interview questions were revised as analysis progressed to explore and clarify emerging concepts.

One member of the research team(J.S.) facilitated all group discussions, with assistance from at least one other team member who was familiar with each program’s self-assessment activities and context. The cofacilitator assisted by clarifying questions or comments, participating in the discussion to enable greater exploration of concepts if required, and recording field notes. Discussions were audio-recorded and transcribed.

• Initial themes were identified by reading and discussing the transcripts, and were expanded, revised, and modified through subsequent and iterative analysis, discussion, and interrogation of the data over a period of about 18 months. 

• Two team members (J.S., E.L.) independently coded the first transcript and compared their interpretations of themes, which were then reviewed and verified by another team member (J.L.) and then through group discussion. 

• Each transcript was read and discussed by at least three other team members in a series of teleconferences, continually informing revision of the coding structure. 

• One team member (E.L.) computer-coded the data. 

• The team met face-to-face for two days to critically discuss analyses of related data conducted by team subgroups, resulting in a preliminary conceptual diagram of informed self-assessment that integrated the major themes. 

• Themes were interpreted through constant comparison and their interrelationships explored. 

• Team subgroups refined the components of the conceptual model, verifying that they were grounded in the data. 

• Matrices, theoretical memos, and conceptual mapping aided this process. 

• Discussion and reexamination of transcripts and coded data were used to resolve differences of interpretation.

결과

Results

Table 2.

자기자신 내부의 긴장

Tensions within self

자기평가에 informing하는 과정에는 두 가지 지속적인 내부 긴장이 수반되었다. 

(1) 피드백을 원하지만, disconfirming한 정보를 두려워하는 것

(2) 피드백을 활용할 필요가 있지만, 자기평가와 맞지 않아 그렇게 하는데 어려움을 겪는 것

The process of informing one’s self-assessment was accompanied by two ongoing internal tensions: 

(1) wanting feedback yet fearing disconfirming information, and 

(2) recognizing the need to use feedback yet struggling to do so because of incongruence with one’s self-appraisal.

학습자들은 자신이 어떻게 하고 있는지와 어떻게 개선하는지를 깨닫기 위해 피드백이 필수적이라고 인식했다.

Feedback was perceived by learners across all groups as essential to knowing how one was doing and how to improve.

그럼에도 불구하고, 모든 학습자들은 자신의 수행능력에 대해서 부적적이거나 비판적인 정보를 담은 피드백을 두려워하는 긴장 상태에 있었다.

Nonetheless, for learners at all levels, wanting feedback was always in tension with fearing feedback information that would be negative or critical about their performance.

자기 자신 내부의 두 번째 긴장은 자기 평가에 부합하지 않는 피드백에 의해 발생되는 어려움을 극복하는 것과 관련이 있었다. 이로 인해서 개선을 위해 피드백을 듣고, 받아들이고, 사용하기 어렵게 만들었다. Disconfirming한 피드백을 받을 경우, 그 정보를 자신의 성과에 대한 자신의 관점과 조화시킬 필요가 있었고, disconfirming한 피드백이 불러일으킬 수 있는 감정적 반응을 극복할 것을 요구했다. 의사들은 어떻게 disconfirming 피드백이 충격과 긴장을 유발하는지, 그리고 어떻게 그것이 궁극적으로 자기 인식의 변화를 가져오는지 설명했다.

The second tension within self concerned overcoming the difficulty created by feedback that is incongruent with the individual’s self-appraisal, thus making even feedback that is received and valued difficult to hear, accept, and use to improve. Disconfirming feedback required reconciling the information received with one’s own view of one’s performance and often required moving past the emotional reactions that disconfirming feedback can evoke. Physicians relate how disconfirming feedback can elicit shock and tension and, eventually, result in changed self-perception.

사람들 사이의 긴장

Tensions between people

사람들 사이의 긴장감은 informed self-assessment(ISA)의 관계적 성격을 강조했다. 전체적으로 긴장감은 자발적인 것이었지만, 네트워크나 동료들의 일부이기도 했다.

The tensions between people highlighted the relational nature of informed self-assessment. An overarching tension was the need to be autonomous, yet to be part of a network or group of colleagues.

• (1) 타인에게 질문하고 피드백을 통해 배울 수 있기를 원하지만, 무능해 보이고 싶지 않으며, 약점을 공유하기를 원하지 않는다. 

• (2) 피드백은 원하나, 피드백을 추구할 수 없거나 수신된 피드백을 신뢰할 수 없음 

• (3) 피드백을 주고 받기 위해서는 긍정적이고 안전한 관계가 필요하지만, 진정한 피드백은 관계를 해칠 우려가 있다.

• (1) wanting to be able to question others and learn from feedback, yet not wanting to look incompetent or share areas of deficiency, 

• (2) wanting feedback, yet not being able to pursue it or not trusting feedback that is received, and 

• (3) needing a positive and safe relationship to give and receive feedback, yet worrying about damaging the relationship with genuine feedback.

autonomous하면서도, 동시에 네트워크나 동료들의 일부가 되어야 할 필요성은 모든 수준의 학습과 연습에서 표현된 긴장감이었다. 의사들의 경우, 우리가 종종 그들의 진료행위를 평가하기 위한 명확한 기준에 근거한 공식적인 피드백에 접근하지 못하는 것을 발견했는데, 15 특히 동료의 가치에 대한 두드러지는 주제는 어려운 환자를 의논하고, 행동을 검토하며, 함께 배우고 서로로부터 배우며, 스스로의 진료행위를 돌아보게 하는 거울로서의 가치였다.e. 그들은 이러한 상호 작용을 가치 있는 피드백을 제공하는 것으로 보았고, 따라서 자기 평가에 informing하고 환자 관리 개선을 위한 기회를 제공하였다.

The need to be autonomous yet also to be part of a network or group of colleagues was a tension expressed at all levels of learning and practice. For practicing physicians, who we found often lacked access to formal feedback based on explicit standards to assess their practice,15 a particularly strong theme was the value of having colleagues with whom to discuss difficult patients, review actions, learn with and from, and whose practices could serve as a mirror or check for one’s own practice. They viewed these interactions as providing valuable feedback, thus informing self-assessment and providing opportunities for improved patient care.

학부 학습자는 동료의 상호작용의 가치에 대한 유사한 견해를 나타냈다.

An undergraduate learner expressed a similar view of the value of peer interaction:

한 학생은 병동 한쪽에, 다른 학생은 병동의 다른 한 쪽에 있다. 우리는 무슨 경험을 했는지, 어떻게 일을 했는지에 대해 이야기합니다. 그리고 그것은 여러분이 자신을 돌아보는 데 정말 도움이 됩니다. 예를 들어, "내가 일을 잘하니, 평범한 학생이니?" 또는 "내가 정말 바보야?" 이를 통해 경험을 공유할 수 있습니다. (5학년)

There is one student at one side of the ward and [another student] at the other side of the ward. We often talk to each other, how you experienced this or how did you do things. And it really helps you to reflect on yourself. Like, “Do I do things well, am I a normal student?” or “Am I very stupid?” It helps you to [share] experience. (Undergraduate I5)

그러나 동시에, 의문을 제기하고 배우기를 원하면서도 무능해 보이기를 원하지 않기 때문에 긴장이 고조되었다. 의사 참여자들은 자신들이 아무것도 모른다는 것을 다른 사람들에게 인정하는 것이 얼마나 어려운지에 대해 말했다. 학생들과 레지던트들은 질문하기를 꺼린다고 말했다. 그들은 이러한 상황에서 우월한 지식의 태도를 보여준 동료들에 비해 스스로 부적절하다는 느낌을 기술하였다. 일부 참가자는 이러한 긴장을 성숙하게 해결한 것으로 보이며, 중요한 것은 신뢰할 수 있는 동료 또는 컨설턴트 그룹을 양성하여 환자 진료를 돕고 안전하고 신뢰할 수 있는 방식으로 자체 평가를 제공하는 것이다.

At the same time, however, tension emerged between wanting to question and learn and yet not wanting to look incompetent. Physician participants spoke of how difficult it was to admit to others that they did not know something. Students and residents spoke of reluctance to ask questions. They described feeling inadequate in such situations compared with peers who conveyed an attitude of superior knowledge. Some participants seemed to have resolved this tension with maturity and, importantly, had cultivated a group of trusted colleagues or consultants who could provide help with patient care and inform self-assessment in a safe and trusted manner.

그러나, 유명하고 신뢰할 수 있는 동료들이 있는 그룹 내에서조차, 자기 평가에 inform하기 위한 자료를 찾는 것은 unspoken으로 남을 수 있다. 개인들은 자신의 지식을 다른 사람과 비교하면서 [자신의 접근방식을 재고하거나] [자신의 지식을 갱신할 필요가 있다]고 마음속으로 느꼈다.

Yet, even within the group, with well-known and trusted colleagues, the seeking of data to inform self-assessment could be left unspoken. Individuals noted inwardly to themselves the need to reconsider an approach or update their knowledge as they compared their knowledge with others’.

모르는 것은 모르는 것이지요. 맞죠? 누군가는 그것을 알고 있음을 깨닫고, "나는 그것을 몰라"라고 말하기 전 까지는 말이에요.

You don’t know what you don’t know, right?…Until somebody knows itand you say, “I don’t know that.” (Physician M1)

사람들 사이의 긴장감은 자기 평가에 잠재적으로 정보를 줄 수 있는 피드백을 찾고자 하는 열망에서도 비롯되었다. 학습자에게 있어, 감독자의 피드백은 특히 얻기 어려웠고, 원하는 만큼 자주 받지 못했다. 감독관에게 피드백을 요청하는 것은 충분히 autonomous하게 수행하지 못하는 것으로 인식될 위험이 있었다.

Tensions between people also resulted from the desire to seek feedback that could potentially inform self-assessment, yet being precluded from doing so. For learners, feedback from supervisors was especially challenging to obtain and was not received as frequently as desired. Asking for feedback from supervisors runs the risk that one will be perceived as not performing autonomously enough, as a resident related:

그러나 피드백을 받았더라도, 때때로 신뢰도가 낮은 것으로 인식되었다. 특히 감독자가 장시간에 걸쳐 평가가 필요한 성과를 실제로 관찰하거나 감독자를 충분히 면밀하게 관찰할 수 있는 기회를 갖지 못한 경우에 그러하였다.

However, when feedback was received, it was sometimes not perceived as credible, especially if the supervisor had not actually had the opportunity to observe the performance on which the assessment was needed or to observe the supervisee closely enough over time.

사람들 사이의 세 번째 긴장은 관계의 성격과, 피드백 제공에 대한 관계의 영향, 그리고 지속적인 관계가 피드백에 대해 갖는 함의에 관한 것이었다. 동료 학습자, 연습 동료, 전문가 등 다른 동료들로부터 받은 피드백은 [상호 신뢰와 존경이 존재하는 관계에서 발생했을 때] 더 도움이 된다고 생각되었습니다. 이러한 특징들은 오랜 기간의 친숙함과 관계 때문에 종종 형성되었다. 그러한 피드백은 유용하고 신뢰할 수 있는 것으로 인식되었다.

The third tension between people concerned the nature of relationships, their influence on the provision of feedback, and the implications of feedback for the ongoing relationship. Feedback from other colleagues, be they peer learners, practice colleagues, or specialists, was definitely thought to be enhanced when it occurred in a relationship where mutual trust and respect were present. These characteristics had often formed because of familiarity and relationships of long duration. Such feedback was perceived as intended to be helpful and credible.

그러나 역설적으로 관계에서 신뢰와 존중은 건설적인 피드백을 받을 가능성을 감소시킬 수도 있다.

Paradoxically, however, trust and respect in the relationship might lessen the likelihood of receiving constructive feedback: Feedback-giving sometimes was tempered by the desire not to harm or disrupt the relationship.

그러나, 피드백을 제공하지 못하는 것은 (피드백을 주는 행위와 마찬가지로) 관계에 해를 끼치는 것으로 인식될 수 있다. 예를 들어, 참가자들은 동료(예: 간호사)가 다중 소스 피드백을 통해 피드백을 제공하기를 거부하는 상황을 설명했다. 이러한 주저함은 잠재적으로 부정적인 피드백처럼 인식되어, 어떤 기준을 충족시키지 못했는지에 대한 의문을 갖게 만들었다: 직접적인 피드백이 없을 경우 사람들 사이의 긴장이 감소하기 보다는 증가되었다.

In fact, however, the failure to give feedback could be perceived to be as damaging to the relationship as the act of giving feedback. For example, participants described situations where a coworker (e.g., a nurse) declined to provide feedback through multisource feedback. This reluctance was perceived by participants as indicating potentially negative feedback, raising questions about what standard(s) they had failed to meet: Absence of direct feedback increased, rather than diminished, the tensions between people.

학습 및 진료 환경의 긴장

Tensions in the learning or practice environment

개인은 자신이 속한 환경과 별개로 작동하지 않는다.

(1) 명시된 커리큘럼과 "실제 과정" 사이의 긴장 

(2) 자기평가에 도움이 되는 authentic 활동에 참여하는 것과 "평가 게임을 하는 것" 사이의 긴장

Individuals do not operate separately from the environment they are part of;

(1) tensions between the stated curriculum and the “curriculum-in-action,” and 

(2) tensions between engaging in authentic activities that inform one’s self-assessment and “playing the evaluation game.”

학습자들은 명시된 커리큘럼을 통해 수신한 명시적 피드백과 시행 중인 커리큘럼을 통해 수신한 암묵적 피드백 사이의 긴장감과 어느 정도 불협화음을 인지했다고 보고했다. 이것은 [학습자들이 요청받은 것]과 [선생님들이 실제로 하는 것] 사이의 단절로 보여졌다. 한 학부생이 OSCE에 대해 다음과 같이 언급했다.

Learners reported perceiving a tension and some dissonance between the explicit feedback received through the stated curriculum and the implicit feedback received through the curriculum-in-action. This presented as a disconnect between what they as learners were asked to do and what they saw their teachers do. An undergraduate made this comment about an OSCE:

우리는, 마치 우리가 "해야 하는 모든 것"에 대한 체크리스트(gold standard)를 하고 있는 것 같습니다. 그러나 실제로는 많은 의사들이 너무 바쁘거나 어떤 이유로든 신경쓸 수 없기 때문에 많은 것들을 놓치고 있습니다. (C2)

We’re, like, doing the proper checklist of everything that we should do, the gold standard, whereas in reality a lot of doctors miss out things because they’re too busy or can’t be bothered for whatever reason. (C2)

그 결과 학생들은 espoused 관행과 enacted 관행 사이의 격차를 해소할 수 없었다. 더우기, [일관되지 않은 표준]과 [안정적인 벤치마크 세트를 찾을 수 있는 수단 부족]은 이를 더욱 복잡하게 했다. 또한 위계적 관계와 권력 역학도 이 긴장 해결을 더 복잡하게 했다. 

The result was that individuals could not resolve the gaps between espoused and enacted practices. This was further complicated by standards that were inconsistent and by lack of a means to find a stable set of benchmarks. Hierarchical relationships and power dynamics complicated resolving this tension. 

[자신의 평가에 도움이 되고자 할 때inform 얻는 혜택]과 [자기 평가 프로세스의 authenticity에 대한 우려] 사이에 최종적인 긴장이 발생했는데, 이는 ISA전략이 어떻게 도입되느냐 또는 학습자 engagement가 어떠냐에 따라 유용할수도, 역효과를 낼 수도 있음을 시사한다. 예를 들어, 성찰활동 및 피드백에 대한 요구사항이 많을 때, 어떤 학생들은 이것이 정말 도움이 되는지, 아니면 이것이 다른 사람을 위해 해야 하는 일종의 "게임"인지에 의문을 제기하였다.

A final tension emerged between the benefits expected of seeking to inform one’s self-assessment and concerns about the authenticity of self-assessment processes, which suggests that the use of informed self-assessment strategies can be helpful or counterproductive depending on their implementation and learner engagement. For example, when there were many requirements for reflective activity and/or feedback, some questioned whether it was helpful or a meaningless “game” that had to be played to satisfy others:

아직 면허가 없는 학습자와 대학원 학습자 모두 포트폴리오를 만들고 공식적인 성찰과 자체 평가에 참여하는데 필요한 유사한 긴장감의 예를 설명했다. 그 반응은 강제적 성찰과 자발적인 성찰 사이의 긴장, 자신의 성찰을 검토함으로써 배우는 것과 "다른 누군가를 위해서" 그것을 한다는 감정 사이의 긴장을 보여주었다.

Both prelicensure learners and postgraduate medical learners described similar examples of tension in being required to create portfolios and engage in formal reflection and self-assessment. The responses revealed tension between forced and spontaneous reflection, and between learning from reviewing one’s reflection and a feeling of “doing it for someone else,”

저는 우리가 성찰해야 하는 것은 강요된 것이었고, 우리가 하고 싶어하는 것은 아니었다. 그것은 일종의 "이렇게 해야 한다, 그렇지 않으면 너는 너의 포트폴리오를 망칠 것이다."와 같은 것이었다. "만약 네가 이것이 중요하다고 생각한다면, 그것에 대해 생각해 보아라, 그러면 그것은 너를 도울 것이다."가 아니었다.

[I]t seemed like it was quite forced upon us that we had to reflect, and it didn’t seem like something that we’d want to do. It was sort of like “You must do this, otherwise you’ll fail your portfolio” rather than, “If you feel like this was significant, then reflect on it and it’ll help you.”

그러니까 "아, 그럼 (포트폴리오를 위해서) 뭐라도 만들어야겠네요"같은 것이다 .질보다 양이 중요하다. (H7) 

So it’s just about “Ahh, ok, then, I have to make something up for it”…. The quantity is more [valuable] than the quality. (Undergraduate H7)

그러나 이러한 긴장감에도 불구하고, 일부는 그들이 어쩔 수 없이 포트폴리오를 유지하고 있더라도, 포트폴리오가 학습과 자기 평가에 유용하다는 것을 발견했다.

Yet, despite these tensions, some found that, however reluctantly they had approached keeping a portfolio, they considered it useful for their learning and self-assessment.

고찰

Discussion

Teunissen et al16과 Kennedy et al17,18 모두 피드백을 구하고 도움을 요청하는 훈련생들의 행동에 영향을 미치는 복잡하고 역동적인 상호작용을 설명한다. 이 저자들은 직접적으로 긴장이라고 표현하지는 않았지만, 놀라운 것은 이들 역시 우리 연구의 practicing physician들과 마찬가지로 훈련생들 사이에서 다양한 tension이 존재하고 있다는 것이다.

Both Teunissen et al16 and Kennedy et al17,18 describe a complex and dynamic interplay of influences on trainees’ behavior in feedback-seeking and asking for help. Although not labeled directly as tensions by these authors, What is striking is that the tensions these two author groups identified among trainees were also found present to varying extents in practicing physicians in our study.

비록 우리의 연구가 종단적 데이터를 산출하지는 못했지만, 우리는 학습자와 의사 단계에서 긴장감이 지속되는지, 그리고 시간이 지남에 따라 변화했는지, 아니면 단순히 더 이상 관련이 없는지를 탐구하는 데 관심이 있었다. 우리의 연구 결과에 따르면, 대부분의 긴장은 시간이 지나도 변하지 않는 것처럼 보였다; 게다가, 긴장은 그것을 마주칠 때마다 재협상을 필요로했고, 심지어 경험으로도 그 영향이 줄어들지 않는 것처럼 보였다.

Although our study did not yield longitudinal data, we were interested to explore whether tensions were sustained across learner and physician stages, and whether they changed over time, were resolved, or simply were no longer relevant. Based on our findings, most tensions did not seem to change over time; moreover, they seemed to require renegotiation each time they were encountered and their impact was undiminished, even with experience.

두 가지 이론적 관점

Two theoretical perspectives

사회인지이론

Social cognitive theory.

첫째로, 이 이론은 다른 사람들과, 다른 사람들로부터 배우는 (학습의) 사회적 성격에 중점을 둔다; 그것은 또한 개인과 학습 환경 사이의 지속적인 역동적 상호 작용이다. SCT에서 개인의 주체성을 강조하며, 개개인은 목표를 설정하고, 목표에 대해서 성과와 진행상황을 성찰할 수 있는 선천적인 능력이 있다. 또한 학습자가 자신의 목표를 향해 진행상황을 모니터링할 수 있도록 하는 데 있어 피드백의 근본적인 중요성을 강조한다.

First, this theory places central importance on the social nature of learning with and from others; it also posits a continuous dynamic reciprocal interaction between the individual and the learning environment. SCT emphasizes individual agency, viewing individuals as having an innate capability to set goals and to reflect on their performance and progress toward their goals; it also emphasizes the fundamental importance to learning of feedback, particularly its role in helping learners to monitor progress toward their goals.

둘째, SCT는 또한 다른 사람들의 행동과 상호작용을 관찰하고 그 결과들을 관찰함으로써 일어나는 대리vicarious 학습에 중점을 둔다. 본 연구에서는 학습자와 의사가 [직업과 직장에서 중요하게 여기는 것]을 관찰하는 과정에서 [무엇이 역량인가]와 같은 가치가 강화될 수 있습니다. 학습자들은 또한, 특정한 가치들이 겉으로는 강조되지만, 실제로는 실천되지 않는다는 것을 알 수 있다.22 실제로 케네디와 동료의 17,18명이 환경에서 상호작용을 관찰하는 과정에서 작업하듯이, 학습자들은 일부 피드백을 찾는 행동FSB이  위험하다고 판단할 수 있다.

Second, SCT also emphasizes the vicarious learning that occurs through observation of others’ actions and interactions, along with their consequences. In our study, values such as appearing competent may be reinforced by what learners and physicians observe and see is valued in the profession and in the workplace. Learners may also see that although certain values are espoused, they are not enacted in practice.22 Indeed, as in Kennedy and colleagues’17,18 work through watching interactions in the environment, learners may determine that some feedback-seeking behaviors are risky.

셋째, 자기효능감(특정 업무나 일련의 업무를 수행하는 능력에 대한 스스로의 인식)은 SCT필수적이다. 연구결과로부터 비록 두 가지 내적 긴장이 별도로 표현되었지만, 두 가지 모두 낮은 자기효능감이 이유일 수 있다.

Third, the construct of self-efficacy, or the perceptions that persons hold of their ability to execute a specific task or set of tasks, is integral to SCT.19 Although two internal tensions were articulated separately, the concept of self-efficacy may underlie them both.

상황학습과 실천공동체

Situated learning and communities of practice.

두 번째 유용한 이론적인 관점은 상황학습과 실천 공동체입니다. 이 이론적 접근법은 사회문화 이론에서 비롯되며, 그 전제는 학습은 그것이 일어나는 맥락과 분리될 수 없다는 것이다. 이러한 관점에서 학습자는 자기 평가를 위한 기술을 습득할 뿐만 아니라, 커뮤니티에 존재하는 긴장을 습득하게 된다.

A second helpful theoretical perspective is that of situated learning and communities of practice . These theoretical approaches originate in sociocultural theory and are based on the premise that learning is inseparable from the context in which it occurs. In this view, learners may not only acquire the skills to inform their self-assessments but may also acquire the tensions extant in the community.

상황학습의 핵심 원칙은 학습은 커뮤니티 참여를 통해 이루어지고, 커뮤니티에 대해 점점 더 큰 책임을 가지게 됨을 의미합니다. 학습자는 커뮤니티의 활동 및 실습에 참여하며 "구성원이 말하는 것이 무엇인지"와 "어떻게 말해야 하는지"를 모두 학습합니다. 우리의 참가자들은 공동체의 일원이 되기 위해 노력했고, 그렇게 하는 방법 중 하나는 기존 구성원이 평가에 대해 어떻게 말하는지, 어떻게 암묵적 또는 명시적으로 피드백을 찾는지 등을 듣고 배우는 것이었다.

A key tenet of situated learning is that learning occurs through the learner’s participation in, and becoming an increasingly responsible part of, the community. Learners participate in the community’s activities and practices, learning both “from talk” and “to talk.” Our participants strove to become part of the community and did so through listening and learning how to talk about assessment and how to seek feedback both tacitly and explicitly.

마지막으로, Lave와 Wenger의 20년 관점에서는, 새로운 커뮤니티 구성원들 또한 참여를 통해 기여하는 바가 있기 때문에, 기존의 긴장을 재생산하는 데 참여할 수 있다.

Last, in Lave and Wenger’s20 view, newer community members also contribute through their participation, and therefore they may participate in creating and recreating the existing tensions.

실천을 위한 함의

Implications of our findings for practice

Informed self-assessment를 위한 효과적인 환경을 제공하기 위한 다음의 조건을 제시한다. 

we propose the following conditions that might support the provision of an effective environment for informed self-assessment.

내적 긴장에 대해,

(1) 피드백 수령의 감정적 측면에 대해 분명히 인식한다. 

(2) 자기 평가를 모순된 피드백과 조화시키는 데 내재된 어려움을 인식한다.

For tensions within the self, 

(1) there is explicit recognition of the emotional aspect of receiving feedback, and 

(2) the inherent difficulty in reconciling self-appraisal with contradictory feedback is recognized.

개인 간 긴장에 대해

(1) 교사-리너와 동료-동료 관계는 존중되고 지지적이도록 한다. 

(2) 제공되는 피드백은 학습자의 필요에 맞게 전달한다 

(3) 학습을 가능하게enable 하는 피드백의 adoption이 지원한다.

For tensions between individuals, 

(1) teacher–learner and peer–peer relationships are respectful and supportive, 

(2) feedback that is provided is informed and specific to the learner’s needs, and 

(3) the adoption of feedback that seeks to enable learning is supported.

학습 환경의 긴장에 대해

(1) 상호 학습 및 집단 학습의 분위기를 지원한다. 

(2) 피드백을 주고 받는 것에 대한 적절한 모델링을 한다

(3) informed 자체 평가의 이점을 교사와 학습자에게 분명히 보여준다

For tensions in the learning environment, 

(1) a climate of mutual and collective learning is supported, 

(2) there is appropriate modeling of giving and receiving feedback, and 

(3) benefits of informed self-assessment are made explicit to teachers and learners.

Conclusions

Informed self-assessment 는 그 자체가 목적이 아니라, 성능을 개발, 유지 및 개선하는 데 필수적인 방법으로 보아야 합니다. 우리가 설명한 긴장감은 학습에 지장을 줄 수 있고 따라서 궁극적으로 학습자가 더 큰 능력을 달성하는데 영향을 미칠 수 있는 [정보에 근거한 자기 평가]의 개발을 지연시킬 수 있다.

Informed self-assessment should not be seen as an end in itself but, rather, as an essential route to developing, maintaining, and improving performance. The tensions we have described may slow the development of informed self-assessment, which could impede learning and, therefore, ultimately have an impact on the learner’s achievement of greater competence.

11 Sargeant J, Armson H, Chesluk B, et al. The processes and dimensions of informed self-assessment: A conceptual model. Acad Med. 2010;85:1212–1220. http://journals.lww.com/ academicmedicine/Abstract/2010/07000/The_ Processes_and_Dimensions_of_Informed.28. aspx. Accessed May 16, 2011.

---

Acad Med. 2011 Sep;86(9):1120-7. doi: 10.1097/ACM.0b013e318226abdd.

Tensions in informed self-assessment: how the desire for feedback and reticence to collect and use it can conflict.

Mann K1, van der Vleuten C, Eva K, Armson H, Chesluk B, Dornan T, Holmboe E, Lockyer J, Loney E, Sargeant J.

Author information

1

Division of Medical Education, Faculty of Medicine, Dalhousie University, Halifax, Nova Scotia, Canada. Karen.Mann@Dal.Ca

Abstract

PURPOSE:

Informed self-assessment describes the set of processes through which individuals use external and internal data to generate an appraisal of their own abilities. The purpose of this project was to explore the tensions described by learners and professionals when informing their self-assessments of clinical performance.

METHOD:

This 2008 qualitative study was guided by principles of grounded theory. Eight programs in five countries across undergraduate, postgraduate, and continuing medical education were purposively sampled. Seventeen focus groups were held (134 participants). Detailed analyses were conducted iteratively to understand themes and relationships.

RESULTS:

Participants experienced multiple tensions in informed self-assessment. Three categories of tensions emerged: within people (e.g., wanting feedback, yet fearing disconfirming feedback), between people (e.g., providing genuine feedback yet wanting to preserve relationships), and in the learning/practice environment (e.g., engaging in authentic self-assessment activities versus "playing the evaluation game"). Tensions were ongoing, contextual, and dynamic; they prevailed across participant groups, infusing all components of informed self-assessment. They also were present in varied contexts and at all levels of learners and practicing physicians.

CONCLUSIONS:

Multiple tensions, requiring ongoing negotiation and renegotiation, are inherent in informed self-assessment. Tensions are both intraindividual and interindividual and they are culturally situated, reflecting both professional and institutional influences. Social learning theories (social cognitive theory) and sociocultural theories of learning (situated learning and communities of practice) may inform our understanding and interpretation of the study findings. The findings suggest that educational interventions should be directed at individual, collective, and institutional cultural levels. Implications for practice are presented.

PMID:

 

21785309

 

DOI:

 

10.1097/ACM.0b013e318226abdd