자기 자신의 역량 부족 인식의 어려움: 자신의 스킬 부족을 인식하지 못하는 신참 의사(Acad Med, 2001)

자기 자신의 역량 부족 인식의 어려움: 자신의 스킬 부족을 인식하지 못하는 신참 의사(Acad Med, 2001)

Difficulties in Recognizing One’s Own Incompetence: Novice Physicians Who Are Unskilled and Unaware of It

BRIAN HODGES, GLENN REGEHR, and DAWN MARTIN

Kruger and Dunning은 스스로의 역량을 평가하는 능력의 부족은 광범위한 과제(유머, 논리적 추론 등)에서 가장 낮은 점수를 받은 분위에 속한 사람들에게 흔하게 나타나는 것이라는 연구 시리즈를 발표하였다. 연구자들은 가장 높은 점수를 받은 사람들은 자신의 능력을 과소평가하는 반면, 다른 사람의 수행능력을 확인한 다음에는 자신의 능력을 더 정확하게 파악함을 보여주었다. 중간 분위에 있는 사람들은 스스로의 스킬에 대한 평가를 전반적으로 정확히 하는 편이며, 다른 사람의 수행능력을 관찰한 이후에도 유지되었다. 그러나 가장 낮은 분위에 있는 사람들은 자신의 능력을 과대평가했으며, 다른 사람의 수행능력을 본 이후에도 자기평가가 여전히 부정확했다. Kruger and Dunning은 이와 같이 '아는 것이 적은 사람은 자기 자신이 무엇을 아는지에 대해서도 아는 것이 적다'라고 결론내렸다. 이 연구에서 그들은 어떻가 본질적으로 자기 능력을 과대평가하는 사람들을 도와줄 수 있으는지 의문을 제기했다.

Kruger and Dunning1 published an elegant series of studies illus- trating that deficits in the ability to assess one’s own competence were common among the subjects in the lowest-scoring quartile on a wide range of tasks such as recognition of humor and logical reasoning. These researchers demonstrated that subjects who had the highest scores underestimated their abilities but were able to recalibrate following exposure to the performances of others. Those scoring in the middle quartiles were generally accurate in assessing their skills, and this remained so after exposure to others’ perfor- mances. People in the lowest quartile, however, greatly overesti- mated their abilities and failed almost entirely to correct their self- assessments following exposure to the performances of others. Kruger and Dunning concluded that those who know less also know less about what they know. In their study they raise the question of how to help learners who intrinsically overestimate their abilities and therefore do not perceive their own incompetence.

Kruger and Dunning의 연구는 의학교육에 있어 흥미로운데, 의사들에게 비슷한 연구를 했을 때, 가장 스킬이 떨어지는 의사가 스스로의 능력을 부정확하게 평가할 위험이 가장 높기 때문이다.

The work of Kruger and Dunning is intriguing for medical ed- ucators because, if replicated with doctors, it suggests that those with the least skill may be most at risk of inaccurately assessing their abilities.

각자 인터뷰를 마친 후, 레지던트들은 수행장면이 녹화된 비디오를 평가한 이후에 스스로의 수행을 다시 평가했다. 스스로의 평가에 대한 레지던트의 평가는 전문가의 평가와 두 가지 방식으로 비교하였다. 첫째로, 전문가가 레지던트에 대해서 한 평가를 4분위로 나누어서 비디오 시청 전 후의 평가 결과와 비교하였다. 두 번째로, 레지던트의 척도 사용을 표준화하기 위해서 각 레지던트의 점수는  네 개의 기준점 비디오의 평가 평균에 따라 rescale 되었다. z score를 활용했다.

Following their own interviews, the residents were asked to assess the videotaped performances and were then given an opportunity to rescore their own performances. The residents’ ratings of their own performances were then compared with scores of experts in two ways. First, the experts’ ratings of the residents were sorted in tertiles and plotted against both the pre- and the post-video self- assessed ratings of the residents. Second, in an effort to standardize the use of scales across the residents, each resident’s score was re- scaled relative to his or her mean assessment of the four benchmark videos. A z score was calculated for each resident’s performance by subtracting the resident’s mean score of the videos from his or her actual self-assessment and dividing by the standard deviation of the video ratings.

우리는 가장 높은 수행능력을 보여준 레지던틑 집단이 자기평가에 대해서 가장 잘 recalibrate하는 것을 발견했다. 최하위 집단의 일부 레지던트가 유사한 결과를 보여주긴 했으나 일관되진 않았고, 8명 중 2명은 이미 과대평가된 자기평가가 더 악화되었다.

We found that those residents in the highest performance group were able to recalibrate their self-assessments more accurately when presented with benchmark videos. Some residents in the lowest performance group were also able to do this, although not as con- sistently, and two of eight individuals actually worsened their al- ready inflated self-assessments.

기술적인 관점에서 보다면, 우리는 이 연구가 자기평가연구에 중요한 기여를 한다고 생각한다. 지금까지 대부분의 자기평가의 정확성에 대한 보고는 대상자의 raw score를 전문가의 점수와 비교하였다. 이번 연구에서 raw score는 자기평가에 있어서의 문제를 드러내주지 못했는데, 이는 각 레지던트가 평가 스케일을 각자의 방식으로 사용하였기 때문이다. 자기평가의 점수를 다른 사람에 대한 평가점수를 가지고 recalibrating 했을 때만이 가장 우수한 레지던트는 더 정확해졌고, 가장 안 우수한 레지던트는 그렇지 못했다는 차이를 보여주었다.

From a technical point of view, we feel this work might make an important contribution to the evolving area of self-assessment research. To date, almost all reports of accuracy of self-assessment have relied on comparisons of the raw scores of a group of subjects on a measure of performance, compared with scores of expert(s).3 In this study, examining raw scores alone did not illustrate the problems of self-assessment shown in previous studies because dif- ferent residents were using the measurement scale in different ways.2 It was only by recalibrating their self-assessments relative to the way that they rated others that it was possible to see that the highest performers were gaining accuracy while the lowest perform- ers were not.

교육적 함의를 찾아보면, 자기주도학습(SDL)은 자기-조절하는 전문직에게 특히 중요하며, 전문가인 개개인에게 평생교육의 의무가 온전히 맡겨지기 때문이다. 이는 의사들이 스스로 부족한 부분을 정확히 찾아낼 수 있고 이후 학습을 위해 무엇이 부족한지를 알아낼 수 있다는 가정에서 출발한다. 그러나 만약 일부 의사들이 자신의 스킬을 정확히 평가해내지 못한다면? 만약 그러한 비정확성이 지속되고, 이것이 다른 사람들이 어떻게 하는지를 보고 나서도 지속된다면? 어떻게 이들 학습자가 이 역량 부족을 극복할 수 있을까?

Turning to the educational implications, this work begins to re- inforce a growing concern expressed by educators in health profes- sional education.3 Self-directed learning is based on the assumption that adult learners can identify and remedy deficits in their knowl- edge and skills. This is particularly important for self-regulating professions such as medicine, where continuing education is left entirely in the hands of individual professionals. It is only through accurate self-assessment that physicians can identify areas in which they are deficient in order to pursue further learning. But what if some physicians in some circumstances cannot accurately self-assess their skills? What if this inaccuracy persists, even when they are exposed to performances of peers? How will these learners over- come incompetence if left to direct their own learning?

다행스럽게도, 자기평가능력을 향상시키는 것은 가능하며, 우리는 실제로 기준이 되는 수행능력을 제시하는 것이 더 나은 자기평가 결과를 가져옴을 확인하였다. 그러나 최하위 그룹에서는 자기평가의 변화가 매우 미미하거나 유의하지 않았다는 것이 문제.

Fortunately, improvements of self-assessment did occur in most of Kruger and Dunning’s subjects and in our own. Indeed, we have confirmed that exposure to benchmark performances can lead to better self-assessments. However, that change in self-assessment was minimal or insignificant for the lowest group of residents, who were presumably at the greatest risk of incompetence.

Jeremy Taylor는 "사람들이 무지함을 깨닫게 하는 것은 불가능하다. 왜냐하면 그렇게 되지 위해서는 거기에 필요한 지식이 있어야 하기 때문이다. 따라서 인식하지 못하는 자는 그것을 가지는 것도 불가능하다"

Jeremy Taylor said: ‘‘It is impossible to make people understand their ignorance, for it requires knowledge to perceive it; and there- fore, he that can perceive it hath it not.’’

---

Acad Med. 2001 Oct;76(10 Suppl):S87-9.

Difficulties in recognizing one's own incompetence: novice physicians who are unskilled and unaware of it.

Hodges B1, Regehr G, Martin D.

Author information

• 1Toronto General Hospital, Ontario, Canada. brian.hodges@utoronto.ca