"나는 절대 프로 축구선수는 못 될거야" - 자기평가의 오류들 (J Contin Educ Health Prof. 2008)

"나는 절대 프로 축구선수는 못 될거야" - 자기평가의 오류들 (J Contin Educ Health Prof. 2008)

“I’ll Never Play Professional Football” and Other Fallacies of Self-Assessment

KEVIN W. EVA, PHD; GLENN REGEHR, PHD

자기평가라는 용어가 사용되는 다양한 맥락 각각은 '자기평가'라는 용어의 사용을 정당화해줄지도 모르지만, 종합적으로 보면 그렇게 다양한 개념들을 하나의 이름 아래 두는 것은 교육자와 이론가 모두에게 혼란과 갈등의 원인이 될 뿐이다.

While each of these contexts may, individually, be a justifiable use of the term self-assessment, collectively, couching such very different concepts under a single label can be a significant source of confusion and conflict for educators and theoreticians alike."

Self-assessment라는 용어가 여러 커뮤니티에 수출되어 사용됨에 따라서 모든 것을 포괄하는 용어가 되었고, 결국 "어떻게도 정의되지 않는" 것이 되어버렸다.

It is important, however, to recognize that when such terms are exported to the larger community, they run the risk of becoming so all- encompassing as to include everything and, therefore, ul- timately define nothing."

Lingard와 Haber는 "우리가 쓰는 용어가 우리가 가질 수 있는 사고의 폭을 열어주기도 하고 제한하기도 한다"

Lingard and Haber have stated that “the language we use both makes possible and constrains the thoughts we can have.”4"

Self-Assessment Versus Self-Directed Assessment Seeking"

보건의료인에게 있어 자기평가가 CPD cycle에서 매우 중요하다는 것은 일반적으로 잘 알려진 사실이다. 이는, '자기조절에 능한 전문직'의 원형이 계속적 교육 활동에 대한 길잡이로서 정기적으로 자신의 약점을 찾아내는 것이기 때문이며, 이를 통해서 현실에서의 격차를 좁혀나가는 것이다. 이러한 점에서 '자기평가'란 종종 은연중에 개인적이고, 누군가 지도해주지 않는 와중에 이뤄지는 성찰과정으로 여겨진다. 예컨대 이러한 개념은 Colliver가 말한 "니 점수를 맞춰봐" 형식의 자기평가 연구 모델에 부합하는 것이다. 이러한 연구 결과의 결과는 '자기평가 점수는 대체로 정확하지 못하다'라는 결과를 반복해서 생산해냈다.

It seems generally well accepted in the health professions that self-assessment is a key step in the continuing pro- fessional development cycle. That is, the archetype of the self-regulating professional is seen as one who regularly self- identifies areas of professional weakness for the purposes of guiding continuing education activities that will overcome these gaps in practice.6 In this construction, self-assessment is often ~implicitly or otherwise! conceptualized as a per- sonal, unguided reflection on performance for the purposes of generating an individually derived summary of one’s own level of knowledge, skill, and understanding in a particular area. For example, this conceptualization would appear to be the only reasonable basis for studies that fit into what Colliver has described as the “guess your grade” model of self-assessment research,7 the results of which formthe core foundation for the recurring conclusion that self-assessment is generally poor.8"

이러한 "지도받지 않는, 내적으로 생성되는" 자기평가에 대한 구조는 Boud가 말한 "자기평가란 고립되고 개인적인 활동이 아니라 동료와, 교사와 다른 정보원을 동반하게 된다"와 대비된다.

This “unguided, internally generated” construction of self- assessment stands in stark contrast to the model put forward by Boud, who argued that “the phrase self-assessment should not imply an isolated or individualistic activity; it should com- monly involve peers, teachers, and other sources of in- formation.”9"

Boud가 묘사한 자기평가는 '바깥을 바라보고' '외부적으로 피드백을 찾으며' '외부로부터 정보를 찾고' '이러한 외부 정보원 평가에 활용하여' '수행능력의 향상을 이뤄내는 것'이다. 이러한 측면에서 자기평가는 자신을 평가하는 교육학적 전략 그 이상이며, 한 사람이 마스터해야하는 능력이 아니라, 길러야하는 습관에 가깝다.

The conceptualization of self-assessment as enunciated in Boud’s description would appear to involve a process by which one takes personal responsibility for look- ing outward, explicitly seeking feedback and information from external sources, then using these externally generated sources of assessment data to direct performance improvements. In this construction, self-assessment is more of a pedagogical strategy than an ability to judge for oneself; it is a habit that one needs to acquire and enact rather than an ability that one needs to master."

자기평가의 정확성에 대한 근거에서 나타나는 것은 분명하다. '우리는 그것을 잘 못한다' 그러나 '자기주도적 평가 탐색'의 습관이 가르쳐질 수 있는 것인지, 그리고 그것이 다양한 맥락에 걸쳐서 적용가능한지, 아니면 이러한 활동을 의도적으로 교육학적으로 포함시키는 것이 과연 바람직한지는 알지 못한다.

While the evidence pertaining to the accuracy of self- assessment as an ability is robust and clear—we do not do it well—there appears to be little research that directly tests whether or not the habit of self-directed assessment seeking can be taught in a manner that leads the learner to apply the habit cross-contextually, or whether intentionally engaging in this sort of activity is pedagogically advantageous. It is"

재미있는 사실은 자기평가라는 단어가 원래는 자기 기입형 다지선다형 시험과 같은 자기주도적 평가를 촉진하기 위한 문헌들로부터 의학교육계에 들어오게 되었다는 사실이다.

interesting to note that the phrase self-assessment originally made its way into the medical education lexicon by virtue of papers that were promoting self-directed assessments such as self-administered multiple-choice question exams;10"

Self-Assessment Versus Reflection"

인간은 스스로에 대한 총괄평가 결과를 내리는 것을 잘 못한다는 것은 여러 근거로부터 드러난 것 뿐만 아니라, 사람은 원래 이러한 형태의 자기평가를 잘 못하도록 태어난 것이기도 하다. 그 이유로는 여러 인지적 이유(정보 무시, 기억 편향), 사회생물학적 이유(긍정적 전망을 하도록 적응됨), 사회적 이유(동료와 상관으로부터 언제나 적절한 피드백을 받는 것은 아님) 등이 있다.

We, along with many others, have argued ~and continue to believe! that the evidence reveals not merely that humans are poor at producing self-generated summative assessments of their own performance or ability, but that humans are actually predisposed to being poor at this form of self-assessment. There are cognitive reasons ~eg, information neglect and memory biases!,11 sociobiological reasons ~it being adap- tive to maintain an optimistic outlook!,12 and social rea- sons ~eg, not always receiving adequate feedback from peers and supervisors!13"

그러나 사람이 자기평가를 잘 못한다는 결과가 수행능력에 대한 성찰이 무의미한 활동이라는 것을 의미하는 것은 아니다.

The conclusion that humans do not self-assess well, however, should in no way imply that reflection on performance is a useless activity."

즉, 자기성찰은 '왜 환자의 건강상태가 이러한 방식으로 악화되는가'를 이해하는 것, 혹은 '왜 어떤 사회적 관계가 특별히 성공적이었는가'를 이해하는 것 등의 활동이다. 이러한 "왜" 질문에 대한 답을 찾는 것은 교육학적 전략으로 매우 효과적임이 밝혀졌고, 세상에 대한 이해와 스스로 그것을 구성하는 방식에 도움이 된다. 이러한 방식으로 정신적 에너지를 재투자하는 경향의 차이가 진정한 전문가와 경험만 많은 비전문가를 결정짓는 요인이 된다. 그러나 다시 한번 강조하는데, 이러한 형태의 자기성찰적 행동 - 세상을 더 잘이해하기 위한 - 은 자기평가에 대한 능력과 동일하게 평가될 수 없다. '왜' 질문을 효과적인 방식으로 하는 것이 반드시 스스로의 지식과 능력 수준을 아는 것을 필요로 하지는 않기 때문이다.

Thus, reflection involves activities such as try- ing to understand why a patient’s health state deteriorated in the way it did or why a social interaction went partic- ularly well. Exploring these sorts of “why” questions may very well prove to be an effective pedagogical strategy that can lead to better understanding of both the world and the adequacy of one’s own personal constructions of it. Certainly the expertise literature would suggest that the tendency to reinvest mental energy in this way is a defin- ing determinant of who achieves true expert status in any given field and who evolves into an “experienced non- expert.”15 Again, however, promoting those sorts of re- flective behaviors—aimed at understanding the world better—should not be considered the same as promot- ing self-assessment as a mechanism for judging personal competence. Asking “why” in an effective manner does not require insight into one’s own level of knowledge or abilities,"

Self-Assessment Versus Self-Monitoring"

누군가는 자신의 약점을 인지할 수도 있다. 그러나 여전히 그러한 인식이 더 포괄적인 자기개념에 영향을 주지 않을 수도 있다. 부족한 수행능력에 대한 원인을 "~만 아니었으면 되었을텐데"와 같은 방식으로 깎아내리는 것은 매우 자연스러운 현상이다. 그러나 그러한 식으로 우리의 즉각적 수행능력의 효과성에 대해 인식하는 것으로는 그것들이 모여서 정확한 자기평가를 이루는 것을 보장해주지 않는다.

One may recognize weak- nesses in performance, in the moment, but still not have those observations impact upon one’s broader self-concept. It is easy ~and typically automatic! to find reasons to dis- count negative performances by saying things like “If only @insert favourite excuse here# hadn’t occurred.”18 The end result is that a series of moments in which we are aware of the effectiveness of our immediate performance does not guarantee that those moments will be aggregated to generate an accurate self-assessment overall."

한 의사가 자기의 역량을 넘어서는 특정한 상황을 인지하는 능력은 환자 안전의 중요한 결정요인이 된다. 그리고 이것은 그 의사가 지식과 술기의 격차를 효과적으로 극복해나가기 위해서 더 포괄적인 차원에서의 지속적 교육을 받을 수 있느냐보다 중요하다.

A physician’s ability to recognize when a particular situation is beyond his boundaries of compe- tence is likely to be a greater determinant of patient safety than whether or not that physician is able to determine which broad-based continuing education activities would most ef- fectively fill his gaps in knowledge0skill."

자기평가와 자기주도적 평가 탐색을 비교하였다. 또한 자기평가와 자기성찰을 비교하였고, 마지막으로 자기평가와 자기모니터링을 비교하였다.

In this section, we have contrasted self-assessment ~an abil- ity! with self-directed assessment seeking ~a pedagogical strat- egy! as potential mechanisms for determining one’s areas of strength and weakness, we have contrasted self-assessment ~an ability! with reflection ~a pedagogical strategy! as po- tential mechanisms for improving one’s understanding of the world, and we have contrasted self-assessment ~an ability! with self-monitoring ~an immediate contextually relevant re- sponse to environmental stimuli! as potential mechanisms for determining the need to recruit additional resources to facilitate performance in particular situations."

The Illusion of Personal Accuracy in Self-Assessment

"자기평가를 잘 하지 못한다"라는 말을 들으면 가장 먼저 보이는 반응은 "'걔네'는 왜 그렇데?"이다. 한발 더 나아가서 만약에 "우리"가 "그들"로 하여금 자기평가를 잘 하게 만들 수 있을 것이다라는 믿음을 갖기에 이른다. 이러한 반응은 무척 팽배해서 역설적으로 대부분의 사람들이 자신의 자기평가능력이 평균 이상이라고 생각하고 있다.

The most common response to the findings that self-assessment is poor appears to be bewilderment at how“they” can be so bad, with a concomitant belief that if “we” can just get “them” to self-assess as well as we do, then everything will be okay. This reaction is suf- ficiently pervasive that, ironically, the majority of people think they are above average in self-assessment ability.19"

자기평가에 대한 최근에 경험이 있는데, 한 사람이 자기는 자기평가에 아주 능하다면서, 절대로 자신은 전문 축구선수는 되지 못할 것이라고 말했고, 이것이 바로 자신의 한계를 잘 안다는 증거라고 말했다. 그러나 이것은 사람들이 자기평가에 대해서 생각하는 세 가지 흔한 실수를 보여준다.

At a recent reception following a talk on self- assessment, a colleague suggested that his self-assessment was fine—after all, he knewhe was never going to be a pro- fessional football player, so he clearly knew his limitations. This sort of claim raises three issues that highlight some of the pitfalls regarding thinking about self-assessment."

첫 번째로, 운동능력의 수준에 대한 평가와 같이 객관적으로 관찰가능한 성과에 대한 평가는 인지적 능력 혹은 덜 객관적인 신체적 능력에 대한 평가와 다르다. 이런 운동능력은 인지적 태도와 달리 외부 정보에 의해서 감지 가능하며 특정 수행을 하기 위한 내적 정신적 과정과 다르다.

First, judging the quality of physical skills for which there is an objectively observable outcome is probably impor- tantly different from judging cognitive aptitudes or less ob- jective physical skills in that, unlike cognitive aptitudes, the mental processes required to judge the quality of physical performances are different ~often derived from external in- formation conveyed via the senses! fromthe internal mental processes required to enact the performance.20"

두 번째로 여기에는 논리적 헛점이 있다. 자세히 말하자면, 세상을 2x2 테이블로 본다고 하면, 스스로 잘 한다고 여기는 - 스스로 못 한다고 여기는, 그리고 다른 사람이 잘 한다고 인정하는 - 다른 사람이 못 한다고 인정하는 네 가지 조합이 있다.

To elaborate, we might think of the world as a 2 2 table in which there are some activities at which we thrive and others at which we perform poorly, crossed with some activities we think we do well and others we think we do poorly."

마지막으로, 이 특별한 상황은 극단적 상황에서의 추론이며, 흔히 오류를 범하기 쉬운 전략이다.

Finally, this particular example involves a process of rea- soning fromextreme examples, another erroneous rhetorical strategy."

안타깝게도, 이러한 개인 수준의, 오류 투성이의 자기 과신은 교육자로서의 우리가 스스로 하여금 자신의 강점과 약점을 효과적으로 찾아내는 것이 가능하다고 믿게 만든다. 그 결과 우리 교육자들은 해답의 일부가 되기는 커녕 문제의 일부가 되고 있다.

Un- fortunately, it is this personal, flawed self-confidence in our own self-assessment ability that has led us as educators to perpetuate the myth that the effective self-identification of strengths and weaknesses is even possible. As a result, we educators have not only failed to be part of the solution, we have actually been part of the problem."

Truths About Self-Assessment

우리의 뇌는 근본적으로 자신의 능력에 대해서 과도하게 긍정적인 태도를 갖도록 설계되어 있다.

Rather, the tendency to be overly opti- mistic about one’s abilities is a fundamental property of the way our brains are wired.25"

우리의 수행능력이 나쁠 때는 외부 환경을 비난하기가 쉽다.

When we have a poor performance, usually it is easy to find a way to blame external circumstances.18"

그러나 우리는 과도하게 긍정적이라는 일반적 원칙은 확고하다. Gilbert가 쓴 것과 같이 "진화는 이러한 정신적 과정을 우리 동의 없이 뇌에 설치했다는 점에서 MS window award를 받을 만하다."

we are betteroff being overly optimistic is a robust one. As Gilbert haswritten in another context, “Evolution deserves the Micro-soft Windows Award for installing these mental processes inevery one of us without asking permission.”28 "

문제는 단순이 이러한 정신 차원의 문제가 존재한다는 것 뿐만 아니라, 사람들은 그것이 작동한다는 것조차 모른다는 점이다.

The problem is not that these mental phenomena exist. It is that people do not appreciate that they are active."

온타리오에서의 PREP는 가정의학 의사들의 역량을 지속적으로 측정했고, '불충분한 역량'의 두 번째 뛰어난 예측인자는 '고립된 직무환경' 임을 밝혔다.

The Physician Review andEnhancement Program in Ontario, charged with evaluatingand assessing family physicians’ ongoing competence withinthe province, have reported that the second best predictor ofincompetence is working in isolation.29"

답은 분명하다. 자기평가라는 것은 절대로 스스로 개발할 수 있는 일반적 기술이 아니다.

The evidence is clear and overwhelming: self-assessment is not and will never be a generic skill that one can develop."

우리는 이러한 부정확한 자기평가가 '우리'의 문제이며 '그들'의 문제가 아님을 다시 강조하고 싶다.

We wish to reemphasize that the inadequacy of self-assessment must be viewed as a “we” problem rather than a “they” problem."

자기성찰 연습는 세상을 더 잘 이해하는 것에 목적이 있다. 

The focus of these exercises is not to determine that one is greator at least good enough, but rather to determine how oneunderstands the world and how one might increase this un-derstanding to the benefit of future performance."

"의사들은 자기평가를 얼마나 잘 하는가?" "어떻게 자기평가능력을 향상시킬 수 있는가?" "어떻게 자기평가 능력을 측정할 수 있는가?"와 같은 연구질문은 폐기되어야 한다. 대체로 연구자들이 자기평가 능력을 향상시켰다고 할 때를 보면 Ward가 묘사한 오류에 흔히 빠져있다. 집단 수준의 상관관계에 지나치게 빠져있거나, 실제 점수와 한 사람이 평가한 자기평가 점수 사이의 차이를 정확도의 척도로 보는 것이다. 대신 우리는 세 가지 분야의 연구를 해야 한다.

We believe that research questions that take the form of “How well do various practitioners self-assess?” “How can we improve self-assessment?” or “How can we measure self-assessment skill?” should be considered de- funct and removed from the research agenda. Usu-ally when researchers claimto have improved self-assessmentthey have fallen prey to one of the fallacies described byWard et al. ~eg, placing undue faith in group-based corre-lations or mistaking distance of individual guesses fromtruescores as a sensible measure of self-assessment accuracy!.30 Instead, we see three potential programs of research that parallel the three concepts we have distinguished from self- assessment in the first section of this article."

이런 것을 염두에 둔다면, 주요 주제는 역량을 어떻게 유지할 것인지, 그리고 어떻게 CPD를 유지할 것인지이다. Schon의 용어를 따르자면 자신의 행동에 대한 성찰은 '자기주도적 평가 탐구'의 습관을 기르고 외부의 피드백 소스를 흡수하여 자신의 장점과 단점을 인지하는 능력을 개발하는 것이다.

Withthis inmind, we wouldargue that the predominant concern regarding the professional issues of maintenance of competence and continuing professional development ~in Schön’s terms, issues of reflection on practice!31 should fo- cus upon developing habits of self-directed assessment seek- ing and upon understanding factors that influence our ability to absorb these external sources of feedback in developing a coherent self-awareness of our strengths and weaknesses."

중요한 것은 한 사람이 그 자신의 점수를 정확히 예상할 수 있느냐가 아니라, 자신의 점수를 알았을 때 무슨 행동을 하느냐이다.

The relevant issue is not whether a person can predict his score on a test, but what he does with the information when he finds out his score."

Self-directed assessment seeking에 대해서 우리가 해야 할 질문은 이런 것이다. 

Thus, we should be asking questions like “What forms of external data would helpindividuals recognize areas that require updating?” “How can we collect and deliver these data in a meaningful form?” “How can we convince people to believe this feedback and incorporate it into their self-concept?” and, more generally, “How can we get people to act on externally derived infor- mation?”"

• “What forms of external data would help individuals recognize areas that require updating?” 
• “How can we collect and deliver these data in a meaningful form?” 
• “How can we convince people to believe this feedback and incorporate it into their self-concept?” and, more generally, 
• “How can we get people to act on externally derived information?”

Self-reflective exercises에 관해서 우리가 물어야 하는 질문은 이런 것이다.

• “Does engaging in self-reflection result in improved performance” could parallel the emerging literature that reveals the pedagogical benefits of externally derived assessment strategies (eg, multiple-choice tests of knowledge).32,33 

• More sophisticated questions could address 
• (a) whether or not sharing one’s self-reflections with peers, a tutor, or a mentor is necessary to elicit full advantage of the activity and 
• (b) whether or not developing the habit of self-reflection in one context tends to transfer readily to maintaining that habit in novel contexts or at variable stages of one’s career

Self-Monitoring에 관해서 우리가 물어야 하는 질문은 이런 것이다. 

Thus, we should be asking questions like “Do individuals show behavioral indications of slowing down0help seeking when they reach the bound- aries of their knowledge0abilities in their moment-to-moment interactions with patients?” “What cues ~external or internal! initiate such slowing down processes?” “Does the initiation of these processes impact upon the appropriateness of the care provided?” and “Howbest can the skills associated with slowing down and help seeking be taught?”"

• “Do individuals show behavioral indications of slowing down/help seeking when they reach the boundaries of their knowledge/abilities in their moment-to-moment interactions with patients?” 
• “What cues (external or internal) initiate such slowing down processes?” 
• “Does the initiation of these processes impact upon the appropriateness of the care provided?” and 
• “How best can the skills associated with slowing down and help seeking be taught?”

---

J Contin Educ Health Prof. 2008 Winter;28(1):14-9. doi: 10.1002/chp.150.

"I'll never play professional football" and other fallacies of self-assessment.

Eva KW1, Regehr G.

Author information

• 1Department of Clinical Epidemiology and Biostatistics, Program for Educational Research and Development, McMaster University, Hamilton, Ontario, Canada. evakw@mcmaster.ca

Abstract

It is generally well accepted in health professional education that self-assessment is a key step in the continuing professional development cycle. While there has been increasing discussion in the community pertaining to whether or not professionals can indeed self-assess accurately, much of this discussion has been clouded by the fact that the term self-assessment has been used in an unfortunate and confusing variety of ways. In this article we will draw distinctions between self-assessment (an ability), self-directed assessment seeking and reflection (pedagogical strategies), and self-monitoring (immediate contextually relevant responses to environmental stimuli) in an attempt to clarify the rhetoric pertaining to each activity and provide some guidance regarding the implications that can be drawn from making these distinctions. We will further explore a source of persistence in the community's efforts to improve self-assessment despite clear findings from a large body of research that we as humans do not (and, in fact, perhaps cannot) self-assess well by describing what we call a "they not we" phenomenon. Finally, we will use this phenomenon and the distinctions previously described to advocate for a variety of research projects aimed at shedding further light on the complicated relationship between self-assessment and other forms of self-regulating professional development activities.

PMID:

 

18366120

 

[PubMed - indexed for MEDLINE]