임상 프리셉터로부터 받은 유도 질문에 대한 학생의 이해(Teach Learn Med, 2016)

Medical Students’ Understanding of Directed Questioning by Their Clinical Preceptors

Lawrence Loa and Glenn Regehrb

aCentre for Health Education Scholarship and Division of Geriatric Medicine, Faculty of Medicine, University of British Columbia, Canada; bCentre

for Health Education Scholarship and Department of Surgery, Faculty of Medicine, University of British Columbia, Canada

도입

Introduction

교사와 의대생 간의 언어적 상호작용은 임상 훈련 중에 발생하는 주요 교육 활동 중 하나를 구성한다. 그러한 언어적 상호작용의 많은 형태들 중, 하나의 일반적인 형태는 교수들이 학생들에게 질문을 하는 것을 포함한다. 흔히 "소크라테스 방식"이라고 불리는 이 방법은 20세기 초 의과대학에서 일어난 활동에 대한 Flexner의 설명에서 증명되었듯이 적어도 1세기 동안 널리 퍼져있고, 의심할 여지 없는 의학의 초석이었다. 그러나 이 과정은 1989년 브랑카티1의 풍자 작품에서 유행하여 "핌핑"이라 불렸으며, 의대생에게 잇달아 제기되는 어려운 질문들을 재빨리 연속해서 가리키는 것을 뜻한다.

Verbal interaction between preceptors and medical students constitutes one of the primary educational activities that occur during clinical training. Of the many forms of such verbal interaction, one prevalent form involves preceptors asking students questions. Often labeled the “Socratic method,” it has been a widespread, unchallenged cornerstone of medical education for at least a century, as evidenced by Flexner’s descriptions of the activity occurring in medical schools in the early 20th century.1 However, the process has also been called “pimping,” a term popularized in a satirical piece by Brancati1 in 1989 to refer to a series of difficult questions posed to a medical student in quick succession.

비록 소크라테스 방법과 핌핑이라는 용어가 모두 지시된 질문directed questions을 포함하는 활동을 의미하지만, 그들의 함축은 다르다. 코스트와 첸은 소크라테스식의 정신과는 대조적으로 핌핑이 학습자들에게 부정적인 감정을 불러일으키는 방식을 강조했다.2

Although both the terms Socratic method and pimping refer to activities involving directed questions, their connotations differ. Kost and Chen emphasized the ways in which pimping evokes negative emotions in learners, in contrast to the spirit of the Socratic method.2

웨어와 동료들은 한 기관의 4학년 의대생들의 핌핑에 대한 관점을 탐구하고, 학생들이 감독의사의 동기에 대한 그들의 인식에 따라 어떻게 핌핑을 "좋은" 혹은 "나쁜" 것으로 분류했는지에 대해 설명했다.4

Wear and colleagues did explore the perspectives of 4th-year medical students at one institution regarding pimping and described how students categorized pimping as being either “good” or “bad” depending on their perception of the motive of the supervising physician.4

지식을 시험하거나, 알고 있는 것의 언어화 연습을 유도하거나, 학생에게 사람들 앞에서 수행을 가르치기 위한 의도라고 인식한 질문은 "좋은" 핌핑으로 생각되었다.

Questions from a preceptor that were perceived to be intended to test knowledge, to induce practicing the verbalization of what they know, or to teach students to perform in front of people were thought of as “good” pimping.

이와는 대조적으로, 학생들이 생각하는 것만큼 똑똑하지 않다는 것을 상기시키기 위한 것 같은 질문이나, 학생들이 답을 알지 못한다고 인정한 후에도 지속되는 질문들은 "나쁜" 것으로 보였다.4 이 과정의 "나쁜" 측면은 종종 핌핑이라는 용어를 둘러싼 부정적인 의미를 반영할 수 있다.

In contrast, questions that seemed intended to remind students that they were not as smart as they thought, or questioning that persisted even after students had conceded not knowing the answers, was seen as “bad.”4 This “bad” aspect of the process may reflect the negative connotations often surrounding the term pimping.

좋은 핌핑과 나쁜 핌핑에 대한 설명을 발견했음에도 불구하고, 웨어 등은 전반적으로 학생들이 핌핑을 교육 도구로서 중시했고, 미래에 훈련생들을 포섭하기 위한 의도였다고 보고했다. 학생들은 핌핑이 창피함과 굴욕을 피하기 위해 책을 더 많이 읽도록 동기를 부여했다고 믿었다. 이는 핌핑을 부정성 편견을 강화하는 교수법이라고 기술한 문헌과 일치한다. 즉 인간은 긍정적인 면보다 환경의 부정적인 면에 더 관심을 가지고 영향을 받는다는 생각이다.5 그것은 협박intimidation에 의한 가르침으로 설명되는데, 이를 통해 적절한 답변을 하지 못했던 학생들이 부끄러움을 느끼고 더 열심히 공부한다는 것이다.5 웨어 외 연구결과와 마찬가지로 의대생들이 교수법으로 didactic teaching보다 질문을 선호한다고 보고되었다.

Despite finding descriptions of both good pimping and bad pimping, Wear et al. reported that, overall, students valued pimping as an educational tool and intended to pimp trainees themselves in the future.4 Students believed pimping motivated them to read more in order to avoid embarrassment and humiliation.4 This is consistent with literature that has described pimping as a teaching method that reinforces the negativity bias—the idea that humans are more attentive to and influenced by negative aspects of their environment than positive ones.5 It is described as teaching by intimidation, wherein trainees who cannot produce an acceptable answer are shamed into reading more afterward.5 Consistent with Wear et al.’s findings,4 in a survey study following a radiology conference at which different teaching methods were demonstrated, medical students reported preferring questioning to didactic teaching.6

학생들은 신용credibility을 관리하기 위해 상당한 노력을 기울이며, 불확실성이 있는 상황에서 그렇게 하기 위해 특정한 전략을 사용한다. 예를 들어, 증례 프레젠테이션의 맥락에서 의대생들은 자신의 불확실성이 눈에 띄게 만드는 것은 평가에 부정적인 영향을 미칠 것이기 때문에 자기 자신에게 해를 끼친다는 믿음을 갖고 있었다. 따라서, 학생들은 자신이 모르는 것이 들키지 않게 유도하고, 불안함을 위장하고, 지식을 가지고 있음을 보이고 싶어한다.

students expend considerable effort to manage credibility and that they use specific strategies to do so in circumstances where they have uncertainty. For example, in the context of case presentations, medical students have expressed a belief that drawing attention to one’s own uncertainty is self-detrimental, as it will negatively impact one’s assessment.7 Thus, students try to deflect attention away from their deficits, disguise their insecurities, and assert the knowledge they do possess.

의대생들은 환자 사례를 제시할 때 그들의 전략을 미리 계획하고 연습할 기회를 갖는 반면에, 감독의사로부터 직접적이고 즉흥적인 질문에 답해야 하는 것은 다른 상황이다. 이 경우 학생들은 질문을 받느냐의 선택의 여지가 없고, 준비하거나 예행연습할 기회가 없을 가능성이 높다.

Whereas medical students have the opportunity to premeditate and rehearse their strategies when presenting a patient case, having to answer a direct, unprompted question from a preceptor is a different situation. In this case, the students have no choice in whether they are asked questions, and likely do not have the chance to prepare or rehearse.

방법

Methods

일대일 면접은 학생들과 유사한 질문을 탐구하는 다른 사람들에 의해 사용되어 왔다.4 그리고 이 연구를 위한 비공식 시험에서는 학생들이 질문 맥락에서 사용하는 명시적 전략을 기꺼이 그리고 표현할 수 있다는 것을 암시했다. 따라서, 이 연구는 브리티시 컬럼비아 대학교의 4학년 의대생들과 약 50 6060분 동안 지속되는 반구조적 인터뷰를 포함했다.

One-on-one interviewing has been used by others exploring similar questions with students,4 and informal piloting for this study suggested that, in oneon-one interviews, students were willing and able to articulate explicit strategies that they use in the questioning context. Thus, this study involved semistructured interviews lasting approximately 50–60 minutes with 4th-year medical students in the University of British Columbia undergraduate medical program.

참여자

Participants

우리는 여러 가지 이유로 4학년 의대생을 대상인구로 선정했다. 첫째로, 이 학생들은 그들의 "핵심" 임상실습 로테이션 전체 세트를 이수했다. 따라서 인터뷰한 모든 학생들은 의학, 수술, 소아과, 정신의학, 산부인과, 가정 의학을 포함한 다양한 임상적 특수 환경에서 학습한 개인적인 경험을 가지고 있었다. 따라서, 우리는 이 훈련 단계에서 그들이 질의응답 교환을 위한 기술과 전략을 개발했을 것이고, 여러 임상적 전문지식을 통한 학습 경험을 끌어냄으로써 이러한 전략을 반영할 수 있을 것이라고 가정했다.

We selected 4th-year medical students as the target population for several reasons. First, these students had completed their full set of “core” clinical clerkship rotations (which are conducted in the 3rd year of training in our medical school). Thus all the students interviewed had personal experiences of learning in a wide variety of clinical specialty environments including medicine, surgery, pediatrics, psychiatry, obstetrics/gynecology, and family medicine. We assumed, therefore, that at this stage of training they would have developed skills and strategies for the question–answer exchange and would be able to reflect on these strategies by drawing on learning experiences from across clinical specialties. 

그러나, 4학년 의대생으로서 이 그룹은 아직 뚜렷하게 전공이 분리되지는 않았는데, 그 문화적 차이는 연구에 더 많은 복잡성을 더해 주었을 수도 있고, 또는 단 하나의 전공만을 선택함으로써 우리의 연구 결과를 제한하게 했을 수도 있다. 4학년 의대생들을 활용함으로써, 우리는 다양한 맥락에서 의대생으로서의 경험을 구체적으로 반성할 수 있는 비교적 동질적인 참가자들을 인터뷰하고 있었다. .

However, as 4thyear undergraduate medical students, this group had not yet separated into distinct specialty residencies, whose cultural differences might have added a further layer of complexity to the study or might have caused us to limit our findings through the selection of only one specialty. By using 4th-year medical students, we were interviewing a relatively homogenous group of participants who were able to reflect specifically on their experiences as medical students in a variety of contexts. 

최종적으로, 우리는 이 학생들이 레지던트 교육을 위한 선발 과정을 마친 후에 연구를 수행했다. 따라서 우리는 면접관(연구가 실시되는 기관에서 노인 의학 담당 의사로 임명되려던 사람)의 눈에는 그들이 "잘 보이려고" 하는 압박감을 덜 느낄 것이라고 믿을 만한 이유가 있어서 우리가 학생들로부터 진정한 성찰을 얻을 가능성을 증가시켰다.

Finally we conducted the study after these students had completed the selection process for residency training. Thus we had reason to believe that they would feel less pressure to “look good” in the eyes of the interviewer (an individual who was about to be appointed as a staff physician in geriatric medicine at the institution where the study was conducted), increasing the likelihood that we would get authentic reflections from the students.

절차

Procedure

각 인터뷰는 연구의 목표에 대한 설명과 임상 의학 교육에 대한 질문 답변 활동의 존재를 강조하는 도입 문구로 시작되었다. 참가자들은 답을 모를 때, 교관들로부터 질문에 대한 답변 접근법, 채용에 대해 인지한 전략, 그리고 질문의 상황에 대한 이해에 어떤 영향을 받았는지를 조사하기 위해 고안된 일련의 질문을 받았다. 반구조화 면접의 기법과 일치하여, 각각의 면접은 개별 학생의 개인적 성찰과 통찰력에 기초하여 조정되었다.

Each interview began with a description of the goals of the research and an introductory statement highlighting the existence of the question–answer activity in clinical medical education. Participants were asked a series of questions designed to probe their approaches to answering questions from their preceptors when they did not know the answer, the strategies they were aware of employing, and how these were affected by their understanding of the circumstances of the questioning. Consistent with the techniques of semistructured interviewing, each interview was adapted based on the individual student’s personal reflections and insights.

분석

Analysis

결과

Results

9명의 참가자들과의 인터뷰가 있었다. 그 결과 270페이지의 면접 성적표에 대한 분석은 몇 가지 주제를 만들었다.

There were nine participant interviews. Analysis of the resulting 270 pages of interview transcripts produced several themes

학습을 최적화하기

Optimizing learning

모든 참여 학생들은 그들의 임상 교수에 의해 질문을 받는 것이 대부분 그들이 배울 수 있는 기회라는 태도를 직간접적으로 표현했다. 한 학생이 말했듯이, "일반적으로 나는 이런 생각을 했다. 이것들은... 의도된 질문들이다. 날 바보처럼 보이게 하려고 거기 있는 게 아니야 그들은 내가 배우게 하고, 나의 지식을 시험하기 위해 거기에 있다. 학생들은 교사를 효과적으로 가르칠 수 있도록 하기 위해 그들이 질문에 어떻게 반응하는지에 대한 예를 제공했다. 이런 점에서, 학생이 답을 모를 때 질문을 "빙빙 돌려" 말하게 된 한 가지 동기는 추가 가르침의 지침으로 알려진 것을 교관에게 분명히 말하는 것이었다. 학생들은 "모른다"고 간단히 말하면, 교수가 너무 낮은 수준에서 가르칠 수도 있다고 생각했다. 그래서 자신이 알고 있는 것을 preceptor에게 말하는 것은 preceptor가 올바른 장소에서 출발할 수 있게 해준다.

All participating students either directly or indirectly expressed the attitude that being asked directed questions by their clinical preceptor was predominantly an opportunity for them to learn. As one student described, “Generally I had the idea … these are … well-intentioned questions. They’re not there to make me look stupid. They’re there for me to learn and kind of test my knowledge” (Interview I2). Students provided examples of how they responded to questions in order to help the preceptor target his or her teaching effectively. In this regard, one motivation for “talking around” a question when a student did not know the answer was to articulate for the preceptor what was known as a guide to further teaching. Students indicated awareness that if one simply says, “I don’t know,” the preceptor might teach at too low a level. So telling the preceptor what one does know allows the preceptor to start in the right place.

이미지 관리

Managing image

학습이 모든 참가자들에 의해 지시된 질문의 중요한 측면으로 인용되었지만, 참가자들은 또한 질문에 대응하는 방식으로 자신의 이미지를 관리하는 것의 중요성을 설명하였다.

Although learning was cited by all participants as being an important aspect of directed questioning, participants also described the importance of managing their image in the way they responded to questions.

참가자들이 이러한 이미지 관리 우선순위와 학습 우선순위를 명시적으로 대조하지는 않았지만, 학습 잠재력을 극대화하기 보다는 긍정적인 인상을 주기 위한 접근법을 설명하였다.

Although participants did not explicitly contrast this image management priority with the learning priority, they did describe approaches intended specifically to make a favorable impression rather than maximize learning potential,

이 발췌문은 또한 좋은 이미지를 관리한다는 것이, 단순히 모든 해답을 알고 있는 것처럼 보이는 것은 아니라는 학생들의 공통된 이해를 보여준다. 오히려 그들이 훌륭한 학습자라는 이미지를 투영해야 한다는 인식도 있었다. 훌륭한 학습자는 학생들에 의해 질문에 대한 답을 알지 않고도 참여, 관심, 그리고 약간의 콘텐츠 지식을 가지고 있는 것으로 묘사되었다.

This excerpt also exemplifies a common understanding among the students that looking good was not merely a case of knowing all the answers. Rather, there was also a perceived need to project an image that they are good learners. A good learner was described by students as engaged, interested, and having some content knowledge without necessarily knowing the answer to the question.

훌륭한 학습자가 되기 위한 중요한 요소는 자신의 사고 과정을 전달하는 능력이었다.

A key component of being a good learner was the ability to communicate one’s thought process:

따라서 학생들의 부분적인 지식을 공유하는 전략은 토론을 지식의 한계점까지 몰고 갈 뿐만 아니라, 동시에 그들이 열성적인 학습자이고 쉽게 가르칠 수 있다는 것을 보여주기 위한 수단이었다.

Thus, the students’ strategy of sharing partial knowledge was not only a means of bringing the discussion to the limits of their knowledge but also, simultaneously, to demonstrate they were enthusiastic learners and easily teachable.

이미지를 관리하는 또 다른 중요한 측면은 자신감의 투영이었다. 참가자들은 교사의 질문에 답할 때 얼마나 자신감 있게 보여야 하는지에 대한 판단이 다양했으며, 어떤 교수들은 일반적으로 불확실성의 정도를 표현하는 것을 더 좋아하고, 어떤 교수들은 일반적으로 매우 확실한 것처럼 들리는 것을 더 선호했다. 그럼에도 불구하고, 참가자들은 일반적으로 자신감의 투영 관리가 유리한 이미지를 촉진하는 중요한 요소라는 것을 인정했다. 참가자들 사이에는 불확실성을 표현하는 것을 선호하거나 특정하게 들리는 것을 선호하는 공통의 원칙이 있었다. 학생이 얼마나 자신감 있게 말해야 하는가는 그 당시 그들이 실제로 얼마나 자신감 있게 느꼈는지 보다는 그들의 preceptor가 어떤 것을 선호하는지에 달려 있었다.

Another important aspect of managing image involved the projection of confidence. Participants varied in their judgments about how confident they ought to appear when answering their preceptors’ questions, with some generally preferring to express a degree of uncertainty and others generally preferring to sound very certain. Nonetheless, participants universally acknowledged that the management of the projection of confidence was an important component of promoting a favorable image. There was a common principle among participants, whether preferring to express uncertainty or preferring to sound certain: How confident they should sound depended on their preceptors’ preferences rather than how confident they actually felt at the time.

프리셉터 의도를 추론하는 것의 중요성

The importance of inferring preceptor intent

비록 참가자들이 preceptor의 눈에 잘 보이기 위한 다양한 접근법을 설명했지만, 이러한 접근법들 중에서 강력한 주제는 '질문자의 의도를 정확하게 유추하는 것'이었다. 한 학생이 묘사했듯이, "글쎄, 나는 그것을 프레이밍했다.나는 왜 그가 질문을 하는지에 대한 아이디어를 얻어야만 했지, 그렇지?" (I2) 다른 학생은 질문자의 의도가 무엇인지 인식하여 구체적인 전략과 연관시켰다.

Although participants described various approaches toward looking good in the eyes of their preceptors, a strong unifying theme among these approaches was accurately inferring the intentions of the questioner. As one student described, “Well, I kind of framed it—I had to get an idea of why he was asking the question, right?” (I2) Another student was more explicit in relating the questioner’s perceived intent to specific strategies,

우리 학생 참가자들은 교사의 의도를 가르치는 것, 평가하는 것, 또는 위계를 설정하거나 유지하는 것 등 세 가지 범주로 나뉘는 것을 인식했다. 학생들이 교사의 의도를 어떤 것으로 인식하느냐에 따라 '잘 해 보이는 것'의 수단은 다양할 것이고, 따라서 학생 I4가 방금 설명한 예에서와 같이 연습생들의 질문에 대한 답변 접근방식이 달라지게 될 것이다. 학생들은 일반적으로, 

• 교사가 [가르치기 위해] 질문을 한다고 인식했을 때, 학생들은 보편적으로 제시하기에 가장 유리한 이미지는 "좋은 학습자"라고 생각했다. 

• 교사의 질문 뒤에 숨은 의도가 [학생의 지식 수준을 엄격히 평가]하기 위한 것임을 인식했을 때, 사고 과정을 전달하는 것은 덜 중요했고, 학생들은 간결하고 정확한 답을 목표로 했다.

Our student participants perceived that the intention of preceptors fall into three broad categories: to teach, to assess the trainee, or to establish or maintain hierarchy. Depending on what students perceived the intention of preceptor to be, the means of “looking good” would vary, and thus trainees’ approaches to answering questions would change, as in the examples just described by student I4. In general, when they perceived preceptors to be asking questions in order to teach, students universally believed that the most favorable image to present was being a “good learner.” When students perceived that the intention behind a preceptor’s question was strictly to assess the knowledge level of the student, communicating a thought process was less important and the students aimed to be succinct and accurate.

• 교사의 의도를 위계적 우월성 보여주는 것이라고 인식했을 때, 학생들은 그들의 능력의 최선에 직설적으로 대답한 다음, 인내심을 가지고 나머지 만남의 시간을 참아냄으로써 이러한 질문들에 접근했다. 물론, 적어도 일부 학생들은 질문의 역학관계는 그 자체로 모든 preceptor가 학생에게는 위계적 특징을 가지고 있다는 것을 의미함을 이해했다.

When the perceived intention of the preceptors was to assert their hierarchical superiority, students approached these questions by straightforwardly answering to the best of their ability, then patiently enduring the rest of the encounter. Of course, at least some participants understood that the power dynamics of questions meant that all preceptor to student questioning situations had a hierarchical quality to them.

...의대생으로서 나는 "당신, 이 질문에 대답하시오."라고 말할 힘이 없다. 그러나 다른 사람들은 모두 나를 보고 "이 질문에 대답하시오."라고 말할 수 있는 힘을 가지고 있다.

…As a medical student I don’t have the power …to say “you, answer this question.” …But everybody else has the power to look at me and say, “[Name], answer this question.”

상환 관리 전략

Strategies to manage the situation

학생들은 자신에게 주어진 특정 질문에 대한 답을 하는 전략을 넘어 질문 상황 자체를 효과적으로 관리하기 위한 다양한 전술을 구사했다. 이러한 접근방식 중 두드러진 패턴은 

• 대화의 과정을 학생이 잘 아는 주제로 유도하고, 

• 더 어려운 질문보다 더 쉬운 질문을 받기 위해 그룹 내에서 참여할 때 시간을 맞추는 것, 

• 질문을 받지 않기 위해 그룹 내에서 회피하는 것을 포함한다.

Beyond their strategies for answering specific questions asked of them, students expressed a range of tactics to effectively manage the questioning situation itself. Predominant patterns among these approaches included 

• directing the course of the conversation to a topic about which the student is knowledgeable, 

• timing their participation when in a group in order to receive easier questions rather than more difficult ones, and 

• shying away when in a group to avoid being asked questions.

Preceptor와의 대화를 지휘하는directing 전술은 학생들이 개선이 필요하다고 느끼는 주제에 초점을 맞춰 학습을 극대화하기 위한 메커니즘으로 쉽게 사용되었을지도 모른다. 그러나 참가자들은 보다 일반적으로 실제 학습기회를 조금 잃더라도, [대화를 자신이 강점 영역으로 이동]시켜 [어려운 질문을 피하거나] 심지어 [(자신이) 지식이 있거나 교육 가능한 것처럼 보이도록 하는 기법]이라고 기술하였다. 이것은 이미지 관리에 관한 섹션의 I5 학생으로부터 인용한 바와 같이, 그 주제에 대해서 자신의 preceptor에게 질문을 하기 직전에, 주제에 대해 몰래 읽는 것과 같은 이 전술이 어떻게 수행되는지에 대한 설명에 의해 뒷받침되었다.

The tactic of directing conversation with a preceptor might easily have been used by students as a mechanism for maximizing their learning by focusing on topics where they felt they needed to improve. However, the participants more commonly described the strategy as a technique to move the conversation into areas of particular strength so as to avoid difficult questions, or even to look knowledgeable or teachable, at the potential cost of real learning opportunities. This was supported by descriptions of how this tactic is carried out, such as reading secretly about a topic immediately before soliciting questions from one’s preceptor on that topic, as quoted from student I5 in the section on managing image.

타이밍을 잘 잡는 것은, 학생들이 질문 맥락을 관리하는 또 다른 전략으로, 세션 후반에 질문하는 질문들이 더 대답하기 어려울 것으로 예상하여, 자기 조에게 질문이 던져질 때 초반에 일찍 답변을 자원하는 것이 포함되었다. 일찍 답변을 자원함으로써 학생들은 그들이 "할당량을 채울 것"이라고 믿었고, preceptor에 의해 적절히 참여했다는 것을 보게 될 것이라고 믿었다. 따라서 그들은 나중에 답을 알지 못할지도 모르는 질문에 대답해야 하는 것에 대해 안도하게 될 것이다.

Timing one’s participation, another strategy by which students managed the questioning context involved volunteering early to answer to questions that are asked to a group, in anticipation that questions asked later in the session will be more difficult to answer. By volunteering to answer early questions, students believed they would “meet their quota” and would be seen by the preceptor to have adequately participated. They would thus be relieved of having to answer later questions to which they might not know the answers.

학생들이 답을 모를 수 있는 질문을 받는 것을 피하기 위한 훨씬 더 간단한 전략은, 조원이 모여있을 때 교사와 눈을 마주치지 않고 그룹에서 분리disengage하는 것을 포함했다. "바닥만 보고 움직이지 않고 가만히 있어. 그러면 거의 눈에 띄지 않을 것이다" (I9) 참가자들은 비록 이 기법이 역효과를 불러 일으켜 교관들이 의도적으로 회피하려는 것으로 인식되는 학생의 질문을 질문하게 하는 것은 가능하지만, 학생들은 종종 질문에 직면하지 않으려는 욕구를 전달하는 학생들의 비언어적 신호를 존중한다는 믿음을 표현했다고 설명했다.

An even more straightforward strategy for avoiding being asked questions to which students may not know the answer involved avoiding eye contact with the preceptor when in a group setting and disengaging from the group. “Just looking at the floor, not moving, staying still. So you’re almost invisible” (I9). Participants explained that although it was possible for this technique to backfire, causing preceptors to deliberately ask questions of a student perceived as trying to shy away, the students expressed a belief that, more often than not, preceptors respected students’ nonverbal cues communicating a desire not to face questions.

맥락적 문제

Contextual complications

많은 미묘한 문맥적 요소들이 질문에 대한 답을 결정할 때 그들의 고려사항에 영향을 주었다. 이러한 문맥적 복잡성은 다음의 세 가지 범주로 분류되었다.

• (a) 질문을 받은 상황에 다른 누가 있는지 

• (b) 질문이 어떤 과 로테이션 중에 발생했는지

• (c) 학습자의 훈련 단계 

a number of subtle contextual factors influenced their considerations when deciding how to answer a question. These contextual complicators fell into three broad categories: 

• (a) who else is present in the directed questioning situation, 

• (b) during which specialty rotation the directed questioning occurs, and 

• (c) the stage of training of the learner.

환자, 기타 연습생 및 기타 의료 전문가와 같은 다른 사람의 존재는 지시된 질문 동안 이미지 관리에 영향을 미쳤다. 학생들은 환자들이 같이 있는 것이 지시된 질문을 하는 동안 어떻게 상호작용을 변화시켰는지에 대한 설명에서 다양했다. 어떤 이들은 환자의 존재가 학생들의 우선순위를 잘 보이는 것에서 정직하게 보이는 것으로 바꾼다고 했지만, 다른 이들은 환자가 앞에 있으면 유능하고 자신감 있게 보이려는 욕구가 증가했다고 묘사했다.

The presence of other parties, such as patients, other trainees, and members of other healthcare professions, influenced image management during directed questioning. Participants varied in their descriptions of how patients altered the interaction during directed questioning. Whereas some described patients’ presence as shifting the students’ priorities from looking good to being honest, others described an increased desire to appear competent and confident in front of the patient. 

흥미롭게도, 몇몇 학생들은, 종종 환자가 있을 때 preceptor가 학생들이 박식한 것처럼 보이도록 하기 위한 노력에 공모complicit하여, 상호작용의 형태를 더욱 shaping한다고 언급했다. 다른 trainee이나 다른 의료전문직이 있는 경우 질문과 관련된 불안감을 증가시켰고 학생들의 '잘 보이기'에 대한 욕구를 고조시켰다. 그러나, 참가자들은 또한 직접적인 질문에 대답하는 예절을 설명했는데, 좋은 이미지를 유지하려면 다음의 것들도 알아야 했다. 

• 언제 너무 '나대지' 말아야 할지

• 언제 다른 사람들에게 질문에 대답할 기회를 줄지

• 언제 성공에 대한 답을 "나의 명석함"보다 우연의 일치나 우연의 탓으로 돌려야 할지

• 언제 스승의 눈에 동료가 잘 보이도록 도와야 할지

Of interest, several students noted that the preceptor would often be complicit in the effort to make the student look knowledgeable when in the presence of a patient, thereby further shaping the form of the interaction. The presence of other trainees or other healthcare professionals increased the anxiety associated with directed questioning and heightened students’ desire to look good. However, participants also described an etiquette in responding to directed questioning, wherein maintaining a good image also called for knowing 

• when not to be too outspoken, 

• when to give others a chance to answer questions, 

• when to modestly attribute successful answering to coincidence or chance rather than “intrinsic brilliance” (I4), and 

• when to help make colleagues look good in the eyes of the preceptor.

참가자들은 학생들이 미래에 희망하는 전공과 로테이션에서 질문이 발생했을 때, 교관의 눈에는 잘 보여야 한다는 압박감이 더 컸다고 표현했다. 이와는 대조적으로, 많은 참가자들은 학생들이 직업으로 추구하는 것에 관심이 적은 전공분야의 회전 동안, 질문을 받은 경우에 학습learning을 더 높은 우선순위로 정할 수 있다는 것을 인정했다. 그러한 상황에서 그들은 불확실성을 인정하고 지식의 한계를 표시할 가능성이 더 높다고 보고하였다. 그 결과, 일부 참가자들은 자신이 관심이 덜한 로테이션 동안 직접 질문을 통해 더 많은 것을 배울 수 있었다고 느꼈다고 보고했다.

Unanimously, participants expressed that when directed questioning occurred in rotations of the specialties that students were pursuing for future careers, there was more pressure to look good in the eyes of the preceptor. In contrast, many participants acknowledged that, during rotations in specialties for which students were less interested in pursuing as careers, they were more able to prioritize their learning during directed questioning. In such circumstances, they reported being more likely to admit uncertainty and display the limits of their knowledge. As a result, some participants reported feeling that they were able to learn more from directed questioning during the rotations in which they were less interested as a career.

많은 참가자들은 또한 학습자였고 모든 것을 알 것으로 예상되지 않았기 때문에 답을 모른다는 것을 인정하는데 편안함을 느꼈지만, 임상 훈련을 통해 레지던트로 진척되면서 답을 얻지 못하는 것이 덜 받아들여질 것으로 예상한다고 표현했다.

Many participants also expressed that, although they felt comfortable admitting they did not know an answer because they were learners and were not expected to know everything, they anticipated that as they progressed through their clinical training into residency, not having the answers would become less acceptable.

고찰

Discussion

첫째로, 참가자들은 질문의 목적이나 의도는 가르침과 학습에 있다는 것을 인정하면서, 다른 문헌처럼 학생들이 질문이 이 목적을 달성하는 데 효과가 있다고 높이 평가한다는 확인하였다.4

First, participants acknowledged that one purpose or intention of directed questioning was for teaching and learning, affirming other literature which has suggested that students appreciate its effectiveness for this purpose.4

질문이 [학생의 기존 지식의 한계]에 관련된 내용을 타겟으로 할 때 이것은 심지어 교육 및 학습 활동으로서 지시된 질문이 부정성 편견negativity bias을 이용한다는 이전의 제안과 일치한다.5 이 아이디어는 우리의 연구 참가자들이 어떻게 유도된 질문들이 그들이 지식 격차gap를 스스로 확인하는 데 효과적인지에 대한 그들의 설명에서 공유했다.

when questions target content at the limits of the students’ previous knowledge. This is consistent with previous suggestions that even as a teaching and learning activity, directed questioning capitalizes on the negativity bias.5 This idea was shared by our study participants in their descriptions of how directed questions were effective in helping them self-identify knowledge gaps

하지만 학생들은 이미지 최적화에도 큰 관심을 보였다. 또한 직접적인 질문의 맥락에서 바람직한 이미지는 자신감 있고 신뢰할 수 있는 임상의가 아니라 "좋은 학습자"와 "교육 가능한 학생" 중 하나라는 것이 우리의 학생 참여자들의 코호트에서도 흥미로웠다. 이 "좋은 학습자" 이미지 때문인지, 우리 참가자들은 문제에 관심을 표명하고, 이후의 가르침에 효과적으로 초점을 맞추도록 하기 위해 자신이 알고 있는 것을 명확히 하는 한, 질문에 대한 답을 알지 못하더라도 성공적인 상호작용을 할 수 있다고 느꼈다. 이 점에서, 학생들이 교사의 의도가 "teaching opportunity의 시작"이라고 인식했을 때 [학습]과 [이미지 관리]가 양립할 수 있었다.

However, they were also highly attentive to optimizing their image. It was also intriguing in our cohort of student participants that, in the context of directed questioning, the desirable image was not merely the confident, credible clinician but one of the “good learner” and teachable student. Perhaps because of this “good learner” image, our participants felt that they could have a successful interaction even if they did not know the answer to a question as long as they expressed interest in the question and clarified what they did know in order help the preceptor effectively focus subsequent teaching. In this regard, the priorities of learning and image management could be compatible when students perceived that the intention of the preceptor was to initiate a teaching opportunity.

둘째로, 우리의 참가자들은 그들의 대답을 framing할 때 다양한 상황적 요인을 알고 수용해야 한다는 것을 놀랄 만큼 정교하게 이해하고 있었다. 이러한 요소들은 질문자의 의도를 어떻게 인식하느냐를 포함했다(이것이 교육적 probe인지, 신속한 평가 기법인지, 아니면 엄격한 위계의 강조인지). 그러나, 그들은 또한 다른 사람들의 존재, 특히 그들의 이미지가 또한 중요한 다른 연습생들을 포함했다.

Second, our participants showed remarkable sophistication in their understanding that they must be aware of and accommodate a variety of contextual factors when framing their answers. These factors included the perceived intent of the questioner (whether this was a teaching probe, a rapid assessment technique, or strictly an assertion of hierarchy). However, they also included the presence of others, and in particular other trainees whose image was also important to attend to.

지식을 나누지 말아야 할 때를 의식하는 것 또는 (다른 사람(질문자 또는 다른 학습자)보다 더 앞서간 사람(one-upping)으로 인식될 수 있는 경우) 답을 알고 있다는 사실을 대단치 않다고 생각하는 것 등이 중요한 고려사항이었다. 이것은 긴스버그와 동료들의 발견을 연상시킨다. 이들은 학생들의 전문적인 추론에서 "당신의 위치를 아는 것"(아마도 훌륭한 학습자 이미지의 한 측면일 것이다)이라는 원칙을 확인했다. 그것은 또한 긴스버그 외 연구진에게 "선배를 나쁘게 보이게 만들지 말라"는 원칙을 말해준다. 이는 팀 플레이어로서의, 직접적인 질문 상호작용(참가자에 의해 명시적으로 표현되지는 않았지만) 동안 학생들의 마음속에 있을 수 있는 또 다른 이미지의 가능성을 제기한다. 그러나, 우리는 이것이 매우 추측성이라는 것을 인정해야 하며, 그것을 확인하고 좀더 충분히 탐구하기 위해서는 이 가능성을 목표로 한 추가 연구가 필요할 것이다.

Being aware of when not to share one’s knowledge, or downplaying the fact that one knows the answer when it might be perceived as “one-upping” another person (the questioner or another learner), became an important consideration. This is reminiscent of the findings of Ginsburg and colleagues, who identified in students’ professional reasoning the principle of “knowing your place” (perhaps an aspect of the good learner image).13 It also speaks to Ginsburg et al.’s principle of “allegiance” to the team (“Don’t make your senior look bad”),13 which raises the possibility of another image that may be in students’ minds during directed questioning interactions (albeit less explicitly articulated by our participants) of being a team player.14 However, we must acknowledge that this is highly speculative, and additional studies targeted at this possibility would be required in order to confirm it and explore it more fully.

세 번째 중요한 발견으로서, 우리는 원래 우리의 연구를 [학생들이 상호작용의 조건에 대해 거의 통제하지 못하는 상황]에 대한 탐구라고 프레임했었다. 질문 상호작용에 내재된 힘의 역동성을 인식하고,15 우리는 학생들이 사례 보고서나 도움 요청을 시작하는 것과 같은 맥락에서보다 상황에 대한 통제력이 더 낮을 것이라고 가정했다. 하지만, 우리 연구에 참가한 학생들이 실제로 상황에 대한 통제력을 발휘하기 위해 몇몇 기법을 설명했다. 일부는 대화를 "안전한" 영역으로 선제적으로 유도하는 것을 포함했다(한 학생은 심지어 더 동등한 힘의 역동성을 유지하는 한 형태로 비임상적 토론으로의 리디렉션하는 전략을 보였다). 다른 사람들은 그들이 그 활동에 관여하고 싶지 않다는 신호를 교장에게 보내는 것을 포함했는데, 학생들은 일반적으로 교사들로부터 존경을 받는다고 느꼈다.

As a third important finding, we note that we originally framed our research as an exploration of a situation in which students had little control over the conditions of the interaction. Recognizing the power dynamic embedded in the questioning interaction,15 we assumed that students would have less control over the situation than in contexts such as the case report or initiating a request for help. However, we found that the students in our study did, in fact, describe several techniques to exert a level of control over the situation. Some of these involved preemptively directing the conversation into “safe” territory (with one student even identifying redirection to nonclinical discussions as a form of maintaining a more equal power dynamic). Others involved sending signals to the preceptor that they did not wish to engage in the activity, which the students generally felt were respected by preceptors.

이러한 가능성은 흥미로우며, directed question에서 비대칭적인 권력 역동에도 불구하고, 학생들이 "단지 사회적 경험에 관해서 불운한 인질만은 아니다."라는 것을 보여준다

the possibility is intriguing and suggests that even in the apparently asymmetric power dynamic of directed questioning, students “are not mere and hapless hostages to the social experience.”16(p53)

한계

Limitations

두 번째 잠재적 한계로서, 우리는 9명의 참가자의 소소한 표본 크기를 가지고 있었다. 관련 질문을 다루는 유사한 참가자 집단을 포함하는 유사한 연구에서, 약 10명의 학생 면접이 이론적 충분함을 제공하는 것으로 밝혀졌으며, 17 우리는 우리가 자발적으로 참여한 사람들을 위해 우리의 연구 질문에 관련된 주제를 효과적으로 포화시키고 있다고 믿는다.

As a second potential limitation, we had a modest sample size of nine participants. In similar studies involving similar participant populations addressing related questions,4,7 around ten student interviews have been found to provide theoretical sufficiency,17 and we do believe that we were achieving effective saturation of the themes relevant to our research question for those who volunteered to participate.

Conclusions

경계 긋기: 임상추론 정의의 어려움(Acad Med, 2018)

Drawing Boundaries: The Difficulty in Defining Clinical Reasoning

Meredith Young, PhD, Aliki Thomas, PhD, OT, Stuart Lubarsky, MD, MHPE, Tiffany Ballard, MD, David Gordon, MD, Larry D. Gruppen, PhD, Eric Holmboe, MD, Temple Ratcliffe, MD, Joseph Rencic, MD, Lambert Schuwirth, MD, PhD, and Steven J. Durning, MD, PhD

모든 보건 전문가는 정보를 수집하고 합성하고, 가설을 생성하고, 임상적 인상, 예후, 진단, 치료, 관리 및/또는 관리 계획을 수립함으로써 임상 추론에 참여한다. 직업 전반에 걸친 임상 추론의 근본적 특성은 필수적인 임상 추론의 연구(예: 노먼 외 연구진), 교수(예: Eva3당) 및 평가(예: Durning et al4에서와 같이) 모두와 관련된다. 또한, 역량 기반 의료 교육 및 대학원 의료 교육 역량 인증 위원회, CanMEDS, Good Medical Practice와 같은 프레임워크의 채택이 증가하고 있으며, rehabilitation practice의 프레임워크는 졸업과 의료 전문가들을 위한 보다 분명하고 구체적으로 역량을 설명할 것을 요구한다.

Every health professional engages in clinical reasoning—by gathering and synthesizing information; generating hypotheses; and formulating a clinical impression, prognosis, diagnosis, treatment, care, and/or management plan. The foundational nature of clinical reasoning across professions makes research (e.g., as described by Norman et al2), teaching (e.g., per Eva3), and assessment (e.g., as in Durning et al4) of clinical reasoning essential. Furthermore, the growing adoption of competency-based medical education and frameworks such as the Accreditation Council for Graduate Medical Education’s competencies,5 CanMEDS,6 Good Medical Practice,7 and frameworks of rehabilitation practice8 demand more explicit and specific competency descriptions for graduating and practicing health professionals.9–11

임상적 추론이 임상적 실천(예: 힉스 외 연구진)에 필수적인 것으로 생각되며 보건 직업 교육(HPE)과 연구에서 어디에나 있는 것으로 보인다는 점을 감안할 때, 사람들은 임상적 추론이 "무엇인가"에 대한 공통적이거나 합의된 이해를 기대할 수 있다. 그러나 임상적 추론을 둘러싼 연구는 역사적으로 단편적으로만 언급되어 왔다. "이것은 많은 공동체의 구성원들이 컨퍼런스에 논쟁하고 참여하는, 제도화된 평행 놀이로 특징지어졌던 것처럼 보인다. 그러나 (연구자들은) 도메인에 대한 그들 자신의 이론을 발전시키기 때문에, 대체로 서로의 데이터를 무시하거나 배척한다."13

Given that clinical reasoning is thought to be essential to clinical practice (e.g., as described by Higgs et al12) and appears to be ubiquitous in health professions education (HPE) and research, one might expect a common or agreed-on understanding of what clinical reasoning “is.” However, research surrounding clinical reasoning has historically been referred to as a fragmented literature, as it “seems to have been marked by this quality of institutionalized parallel play, with many of the community’s members arguing and engaging at conferences, but largely ignoring or dismissing each other’s data as they develop their own theories about the domain.”13

각 페어링 내에서 검토자들은 독립적으로 간행물의 하위 세트를 검토하여 검토에 포함시킬지 여부를 결정하도록 요청받았다. 그러나 이 과정에서 연구에 포함되어야 할 출판물을 검토한 짝을 이룬 구성원들 간의 합의가 현저히 미흡하다는 것을 발견하였다.

Within each pairing, the reviewers were asked to independently review a subset of publications to determine whether they would be included in our review. During this process, however, we discovered remarkably poor agreement between members of each pair of reviewers regarding which publications should be included in the study

이 초기의 예기치 못한 발견은 우리가 검토 과정을 멈추고 가능한 설명에 대해 되돌아보게 했다. 그러므로 이 기사는 우리 팀이 이 낮은 합의에 대응하여 행한 독특한 보조 연습에서 나온 예상치 못한 관찰에 초점을 맞춘다.

This early unexpected finding led us to pause the review process and reflect on possible explanations. This article, therefore, focuses on the unexpected observations that emerged from a unique ancillary exercise our team engaged in response to this low agreement

일시 중지, 성찰

A Pause-and-Reflect Exercise

열악한 평가자간 합의의 잠재적 원인을 탐구하기 위해, 우리는 각 팀원에게 임상 추론의 구성요소로 간주되어야 하고 고려되어서는 안 되는 활동과 과정을 포함하여 임상 추론에 대한 자신의 개인적 정의를 제공하도록 요구하는 성찰적 실천을 고안했다.

To explore potential causes of poor interrater agreement, we devised a reflective exercise in which each team member was asked to provide his or her own personal definitions of clinical reasoning, including processes and activities that should and should not be considered components of clinical reasoning.

임상 추론의 "작업 정의working definition"와 임상 추론의 "구성요소 프로세스component process"로 간주해야 하는 것에 대한 그들의 생각, 그리고 어떤 구성요소가 임상 추론이 "아닌 것outside"으로 간주되어야 하는지에 대한 그들의 생각.

“working definitions” of clinical reasoning, their thoughts on what should be considered “component processes” of clinical reasoning, and their thoughts on which components should be considered “outside” of clinical reasoning.

우리는 주제 분석에서 원칙을 차용하는 질적 설명의 렌즈를 통해 세 가지 목표 질문에 대한 응답에 접근했다. 질적 서술에서는 "연구자가 자료에서 멀리 떨어지거나, 또는 그들의 데이터로 이동하도록 요구"19(p335)하지 않는다.

We approached the responses to the three target questions through the lens of qualitative description,19,20 which borrows principles from thematic analysis. Qualitative description does not “require researchers to move as far from or into their data”19(p335) compared with other approaches to qualitative analysis.

Scoping methodology에서 표준은 아니지만, 우리는 이 "일시중지 및 성찰" 단계가 우리의 공정의 엄격함과 합성에서 생성된 발견의 신뢰성을 보장하기 위해 매우 중요하다고 느꼈다. 이 단계의 목표는 평가자 간 신뢰도를 높이기 위한 목적으로 임상 추론의 단일 정의를 생성하는 것이 아니라, 검토 팀 내의 다양한 정의를 분류하고 문서화하는 것이었다.

Though not standard in scoping methodology,14–18 we felt that this “pause-and-reflect” stage was crucial for ensuring the rigor of our process and the credibility of the findings generated from our synthesis. The goal of this stage was not to generate a single definition of clinical reasoning for the purpose of increasing interrater reliability but, rather, to catalog and document the variety of definitions within our review team.

임상추론의 정의

Definition of Clinical Reasoning

"임상 추론에 대한 당신의 '작업적 정의'는 무엇인가?"

“What is your ‘working definition’ of clinical reasoning?”

팀원들은 임상적 추론을 다음을 목적으로 운영되는 과정으로 여겼다. 

• 진단, 치료 및/또는 관리 계획에 도달

• 개선된 환자 결과와 웰빙을 위한 노력

Team members considered clinical reasoning to be a process that operates toward the purpose of 

arriving at a diagnosis, treatment, and/or management plan, as well as 

striving for improved patient outcomes and well-being.

한편, 임상 추론을 "최종 목표" 또는 그 자체가 행동 지향적인 산출물로 보는 것을 넘어, 우리 팀은 임상 추론에 관여하는 요소들이 "무엇"인지 확인했다.

Beyond viewing clinical reasoning as a means to an “end goal” or itself an action-oriented output, our team identified components of “what” is involved in clinical reasoning.

팀원들에 따르면, 이러한 구성 요소는 임상의의 인지 프로세스에 크게 의존한다. 

• 지식(과학적이고 형식적인 지식, 경험적으로 도출된 지식) 

• 실천 이론들 

• 이전의 경험이나 전문 지식 

또한 개별 정의에는 임상 추론 과정이 어떻게 전개되는지에 대한 진술이 포함되었다. 

• 의식적이거나 무의식적인 과정, 

• 분석적 또는 비분석적 프로세스, 

• 인과관계 추론, 

• 인지적 표현의 창조, 

• 확률론적 추리 

According to team members, these components rest heavily on a clinician’s cognitive processes: 

• knowledge (scientific and formal knowledge, experientially derived knowledge), 

• theories of practice, and 

• previous experience or expertise. 

Individual definitions also included statements regarding how the process of clinical reasoning unfolds: 

• conscious or unconscious processes, 

• analytic or nonanalytic processes, 

• causal reasoning, 

• the creation of a cognitive representation, and 

• probabilistic reasoning. 

일부 팀원은 추론 과정 내에서 상황 및/또는 환경 요인의 중요성을 언급했고, 다른 팀원은 인지적으로 기반한 프로세스만 언급했다.

Some team members mentioned the importance of contextual and/or environmental factors within the reasoning process, and others mentioned only cognitively based processes.

임상추론은 무엇인가?

What Is Clinical Reasoning

팀 구성원은 임상적 만남의 목적을 다양하에 언급했다.

• 임상 지식, 

• 관찰 

• 데이터 수집, 

• 관련성 있는 임상 결과와 관련되지 않은 임상 결과의 구별 

• 데이터 해석, 

• 문제 표현, 

• 가설 생성, 

• 가설 평가, 

• 진단 검증, 

• 위험 또는 편익에 대한 고려 

• 증거 기반 의약품의 적용, 

• 판단, 

• 행동의 이행, 그리고 

• 개입 결과의 평가

Team members variably included determining the objectives of the clinical encounter, clinical knowledge, observation, data collection, differentiation of relevant from irrelevant clinical findings, data interpretation, problem representation, hypothesis generation, hypothesis evaluation, diagnostic verification, consideration of risks or benefits, application of evidence-based medicine, judgment, implementation of action, and evaluation of the results of intervention.

임상추론이 아닌 것은 무엇인가?

What Is Not Clinical Reasoning

그들은 열거했다. 

• 의사소통 기술, 

• 의료 종사자들 간의 신뢰 

• 증거 기반 관행, 

• 의학적인 맥락 밖의 추론, 

• 환자와의 관계 또는 관계 

• 임상 기술 및 데이터 수집(이력 검사, 신체 검사, 특정 절차 기술) 

• 비판적 사고, 

• 치료 비용에 대한 고려, 

• 기준 확률에 대한 명시적 의존도 

• 알고리즘 사용, 

• 시각 기반 진단(예: 심전도, 방사선학) 

• 인지적 스타일

They listed 

• communication skills, 

• trust between health care workers, 

• evidence-based practice, 

• reasoning outside of the medical context, 

• relationship or rapport with patient, 

• clinical skills and data collection (history taking, physical exam, specific procedural skills), 

• critical thinking, 

• consideration for cost of treatment, 

• explicit reliance on baseline probabilities, 

• use of algorithms, 

• visual-based diagnosis (e.g., ECG, radiology), and 

• cognitive styles.

해석

Interpretation

팀원들의 정의는 매우 다양했다.

Team members varied greatly in their definitions—

이 성찰 연습에서 생성된 정의와 용어는 임상 추론에 대한 다양한 개념화를 보여준다. 이러한 다양한 개념화들은 임상적 추론이 다면적인 구조임을 시사하고 있으며, 문헌과 우리 팀원들 사이에 여러 가지 이해가 공존하고 있다.

The definitions and terminologies generated from this reflective exercise likely represent different conceptualizations of clinical reasoning. These varied conceptualizations suggest that clinical reasoning is a multifaceted construct, with multiple coexisting understandings—both in the literature and amongst members of our team.

이 연습을 통해 두 가지 주요 통찰력이 나타났다. 즉, 우리는 임상 추론이 "무엇인지"에 대한 서로 다른 정의와 개념화를 가지고 있으며, 이러한 상이한 개념화는 부분적으로 임상 추론의 관련 기여자로서 어떤 "계수counts"에 기초하여 다른 것으로 보인다는 것이다.

Two main insights emerged through this exercise: that we hold different definitions and conceptualizations of what clinical reasoning “is,” and that these different conceptualizations appear to differ based, in part, on what “counts” as a pertinent contributor to clinical reasoning.

임상적 추론이 일어나고 있는 상황에 존재가능한 참가자는 다음과 같다.

Consider some of the possible players in a clinical encounter in which clinical reasoning is taking place:

1. 의료 전문가: 추론이 "두뇌"되고 있는 초점 개인.

2. 환자: 이력, 신체검사 결과, 실험실 결과 및 진단 단서 출처

3. 기타 의료 전문가: 컨설턴트, 팀원, 전문가 의견을 제공하는 사람 또는 실험실 결과의 해석을 제공하는 사람

4. 가족 또는 병력의 기타 제공자: 불만사항 또는 환자 선호도에 대한 정보를 제공하는 개인

5. 의료 환경 또는 시스템: 환자 차트(전자식 또는 기타), 환자를 볼 수 있는 시간 제한 또는 이 환자의 이전 기록.

• 1. The health care professional: The focal individual in whose “head” the reasoning is occurring;

• 2. The patient: The source of history, physical examination findings, lab results, and diagnostic cues;

• 3. Other health care professionals: Whether a consultant, a team member, someone providing expert opinion, or someone providing an interpretation of lab findings;

• 4. A family member or other provider of collateral history: An individual providing information on the context of the complaint or patient preferences; and

• 5. The health care environment or system: Patient charts (electronic or otherwise), restrictions on the time available to see a patient, or previous history with this patient.

일부는 임상 추론을 [의료 전문가의 개별 인지 프로세스(의식적이든 무의식적이든)]로 제한하였고, 어떤 연구진은 [임상 추론의 관련 요소(예: 전자 건강 기록과의 상호작용)로서 인간 기술 또는 인간 체계의 상호작용]을 포함하였다. 팀원들은 임상 추론의 특정한 영역을 강조하여, 무엇이 임상 추론의 연구, 교육 또는 평가를 위한 정당한 대상인지에 대해 다른 고려사항을 제시했다. 

Some restricted clinical reasoning to the health care professional’s individual cognitive processes (whether conscious or unconscious), and others included human–technology or human– system interactions as being relevant components of clinical reasoning (e.g., interactions with electronic health records). Team members highlighted specific areas of focus of clinical reasoning , suggesting different considerations for what may be legitimate targets for research, teaching, or assessment of clinical reasoning.

예를 들어, 팀원들이 가지고 있는 임상 추론 개념의 범위는 다음과 같이 다양하였다.

1. 의료 제공자 개인의 인지 프로세스

2. 환자와 의료 제공자 간의 상호 작용

3. 환자와 의료 제공자 간의 상호작용과, 여기에 그 외 데이터 출처를 허용(예: 실험실 보고서, 전문가의 의견)

4. 거의 범위제한이 없음. 즉, "추론의 최종 결과에 기여"하는 어떤 것이든 임상 추론의 구성요소로 포함되고 허용

• 1. The individual cognitive processes of the health care provider;

• 2. The interaction between patient and health care provider;

• 3. The interaction between patient and heath care provider, with allowance for other data sources (such as lab reports, expert opinion); or

• 4. Very few limits, where anything that “contributed to the final outcome of reasoning” was included and permissible as a component of clinical reasoning.

경계 긋기

Drawing Boundaries

우리의 관찰을 해석하는 것을 돕기 위해, 우리는 수학에서 흔히 볼 수 있는 연습인 경계 조건의 서술에 비유하는 것이 유용하다는 것을 알았다.

To help us interpret our observations, we found it useful to draw an analogy to a practice common in mathematics: the delineation of boundary conditions.

경계조건은 수학에서 미분 방정식 분야의 핵심 개념이다.21 그것은 "미분방정식에 대한 가능한 해결책을 제한하는 명시적 제한"이다. 어떤 작업에서, 사용 중인 경계 조건을 명시하는 목적은 구성된 방정식이 작동할 것으로 예상되는 조건을 명확하게 설명하기 위함이다.

• 경계조건 내부에서, 방정식은 설명력을 가져야 하며 주어진 매개변수 내의 해결책이 가능해야 한다. 

• 경계조건 외부에서, 공식이 기능할 것이라는 기대는 없다. 

따라서 특정 경계 조건을 설정할 때 수학자들은 이론이나 모델이 보유할 것으로 예상되는 문제 공간을 명확하게 기술한다.

A boundary condition is a notion core to the field of differential equations in mathematics.21 It is “a stated restriction, usually in the form of an equation, that limits the possible solutions to a differential equation.”22 The purpose of stating the boundary conditions at play in your work is to clearly delineate the conditions under which you expect the constructed equation to operate—within the boundaries, the equation should have explanatory power and a solution within given parameters should be possible; outside of the boundary conditions, there is no expectation for the formula to function. In setting specific boundary conditions, mathematicians therefore clearly delineate the problem space in which their theory or model is expected to hold.

이 수학적 원리를 임상추론의 맥락에 확장하면

If we extend this mathematical principle to the current context,

• 예를 들어, 예시 이론과 같은 인지 이론은 다층 의료팀을 조사하기 위해 설계된 연구에 사용된다면 예측력의 일부를 잃을 수 있다. 

• 또는, 성찰적 실천과 같이 메타인지에 뿌리를 둔 이론은 신속한 영상검사 해석을 검토할 때 설명력이나 서술력이 떨어질 수 있다. 

이러한 예들은 연구 설계 또는 집중 영역과 서로 다른 개념화 또는 임상 추론 이론의 기초가 되는 경계 조건 사이의 불일치를 강조한다.

• For example, a cognitive theory such as exemplar theory23 may lose some of its predictive power if used in a study designed to examine multileader health care teams.

• Or, a theory rooted in metacognition, such as reflective practice,24 may have less explanatory or descriptive power when examining rapid radiographic interpretation. 

These examples highlight a mismatch between study design or area of focus and the boundary conditions that underlie different conceptualizations or theories of clinical reasoning.

우리는 경계 조건과 연습 결과의 유추를 이용하여 두 가지 추측성 결론을 도출할 수 있다.

Using the analogy of boundary conditions and the findings from our exercise, we are able to draw two speculative conclusions.

첫 번째 추정은 임상 추론 문헌에서 우리가 관찰한 단편화를 생각하면, 저자들은 서로 다른 경계 조건 내에서 작동하는 경향이 있다는 것이다. 서로 다른 작업 체계는 그들이 지지하는 임상 추론의 [서로 다른 개념화]가 [서로 다른 경계 조건]에 의해 틀이 만들어지기 때문에 거의 합치되지 않을 것이다. 예를 들어 임상적 충돌 동안에 임상의사가 관여하는 인지적 과정으로 임상적 추론의 정의를 제한하는 경계는 추론에 대한 환경적 또는 기술적 영향의 영향을 포함하는 광범위한 경계 조건과 잘 일치할 것 같지 않다. 특정 연구의 경계 조건 외부에 위치한 연구자들은 자신의 경계조건에 부합하지 않는 연구를 정당하다고 여기기가 어렵거나, 그 문헌에서 나온 연구 결과를 그 현상에 대한 그들 자신의 이해에 매핑하기가 어려울 수 있다.

The first speculation is that the fragmentation we have observed in the clinical reasoning literature13 may represent authors’ tendencies to operate within different boundary conditions. Different bodies of work would rarely coalesce because the different conceptualizations of clinical reasoning they espouse are framed by different boundary conditions—for example, boundaries that limit the definition of clinical reasoning to the cognitive processes engaged by clinicians during clinical encounters are unlikely to align well with the wider set of boundary conditions encompassing the influence of environmental or technological influences on reasoning. Researchers exploring literature situated outside of their boundary condition are likely to struggle to engage with it as legitimate research, or struggle to map the findings from that literature onto their own understanding of the phenomenon.

두 번째 추정은 유사한 경계 조건 내에서 작업하는 연구자, 교육자 및 실무자들과 관련이 있다. 임상적 추론에서 출판 패턴에 대한 피상적인 검토는 서로 활발히 engage하는 저자들은 유사한 경계 조건 내에서 활동할 가능성을 보여준다. 예를 들어, 우리는 인간 인식이라는 경계 조건 내에서 일하는 저자들이 (서로서로는) 풍부하고 열정적으로 관여하지만, 다른 경계 조건 내에서 활동하는 저자들의 작품을 거의 인용하지 않는 것을 관찰했다.

The second speculation relates to the researchers, educators, and practitioners who operate within similar boundary conditions. A cursory review of publication patterns in clinical reasoning suggests that the authors who engage actively with each other (and typically disagree) operate within similar boundary conditions—for example, we have observed that the authors who work within boundary conditions limited to human cognition (representing several different conceptual frameworks and theoretical lenses) engage profusely and enthusiastically, but seem to rarely cite work from those operating within a different set of boundary conditions.

[경계 조건]이라는 은유는 검토 과정 동안 우리 자신의 연구팀 내에서 발생하는 의견 불일치를 조명하는 데 우리에게 꽤 유용했다.

The analogy of boundary conditions has been quite useful for us in shedding light on the disagreements occurring within our own research team during the review process.

성찰

Reflections

임상적 추론에 대한 개개인의 이해를 명시적으로 하는 과정은 우리 팀 내의 서로 다른 관점에 대한 귀중한 통찰력을 가져왔다.

The process of rendering our individual understandings of clinical reasoning explicit resulted in valuable insights into the differing viewpoints within our team,

팀원 간의 차이는 주로 임상 추론이 "끝나는" 위치(=목적)가 어디이며, 추론 프로세스가 작동하는 경계 조건이 무엇인지에 대한 것이다.

Disparities amongst team members primarily pertained to individual demarcations regarding where clinical reasoning “ends” and the boundary conditions under which the reasoning processes operates.

문헌에서 임상 추론 연구는 다양하고 역사적으로 단편화되어있다. 그러므로 이 문헌이 구성요소 프로세스와 기여 요인 주위에 배치될 수 있는 복수의 정의와 복수의 가능한 한도의 공존을 구체적으로 나타내는 것은 놀랄 일이 아니다.. 다양한 정의 또는 개념화가 병렬적으로 존재하는 이러한 모습은 "전문직업성", 26 "타당도", 27 및 "역량"28 등 HPE25의 다른 영역에서도 자주 언급되며, 임상추론에만 국한되지 않는다.

Clinical reasoning research represents a diverse and historically fragmented literature10; it is not surprising, then, that this literature may represent multiple notions of what clinical reasoning “is”— specifically the coexistence of multiple definitions and multiple possible limits to be placed around component processes and contributing factors. This coexistence of multiple parallel definitions or conceptualizations has been documented in other domains in HPE25 such as “professionalism,”26 “validity,”27 and “competence”28—and so is not limited to the construct of clinical reasoning.

(연구자는) 스스로 자신의 경계 조건들을 "라벨링"함으로써, 다루고자 하는 문제와 우리가 연구하려고 하는 현상의 세부사항들을 기술할 의무가 있으며, 우리의 이론들이 사실일 것으로 기대되는 조건에 대해 명시할 수 밖에 없다. 그것은 또한 다른 사람들이 우리의 연구를 적절히 비평할 수 있게 할 것이고 경계 조건이나 이론적 틀에 걸친 협력 증대를 위한 문을 열 수 있게 할 것이다.

“Labeling” our boundary conditions would oblige us to delineate the problem we are trying to address and the specifics of the phenomenon we are attempting to study, and compel us to be explicit about the conditions under which we expect our theories to hold true. It would also allow others to appropriately critique our research work and may open doors for increased collaborations across boundary conditions or theoretical frames.

시사점 및 한계점

Implications and Limitations

경계 조건의 수학적 개념은 유용한 비유로 작용했다.

The mathematical concept of boundary conditions has served as a useful analogy

그러나 경계 조건의 개념은 불변의 장벽, 지식의 비전송성, 정해진 조건, 그리고 이론 프레임의 비교 불가능한 차이를 시사한다.

However, the notion of boundary conditions suggests impermeable barriers, nontransferability of knowledge, set conditions, and incommensurable differences in theoretical frames.

우리는 대신에 임상추론을 개념화하는 경계가 투과성을 가진다고 제안하고 싶다. 이 분야의 연구자들이 이론이나 경계 조건에 걸쳐 겹치는 영역, 즉 상호보완성을 찾기 위해 노력한다면, 임상 추론의 교육 및 평가를 종합적으로 지원하고, 그 개념에 대한 우리의 기본적 이해를 더욱 발전시킬 것이다.

We would like to suggest, instead, that the boundaries within which clinical reasoning is conceived have the potential to become permeable, as researchers in the field work to find areas of overlap, or complementarity, across theories or boundary conditions to comprehensively support the teaching and assessment of clinical reasoning and to further develop our foundational understanding of the concept. 

임상 추론에 대한 통일된 정의는 달성할 수 있지 않으며, 심지어 바람직하다고도 할 수 없다. 오히려, 경계에 대한 개방적인 인정은 임상 추론과 그 구성요소 프로세스에 대한 보다 포괄적인 이해를 구축하기 위해 임상 추론에 종사하는 사람들 간에 더 나은 의사소통을 촉진할 수 있다.

It is unlikely that a unified definition of clinical reasoning is achievable, or even desirable; rather, the open acknowledgment of the boundaries could facilitate better communication amongst those working in clinical reasoning to build a more comprehensive understanding of clinical reasoning and its component processes.

이번 성찰적 연습에 따르면, 임상 교사들이 모두 임상 추론의 동일한 개념화를 공유하고 있을 가능성은 매우 낮다. 또한 임상 추론의 개념을 논의할 때 학생과 교사가 동일한 이해를 공유할 가능성도 낮다. 이는 교육 팀이 커리큘럼을 설계하거나 역량의 합의된 정의를 위해 작업하거나 교육 결과를 설명할 때 어려움을 초래할 수 있다. 또한 임상 추론에 "관련된" 기여자인 것에 대한 다른 개념으로 인해 학습자에게 "좋은" 임상 추론의 "올바른" 버전을 가르치는 데 유용하거나 필요한 것으로 보이는 다른 작업이 발생할 수 있다. 중요한 것은 HPE 커뮤니티가 이러한 다양한 개념화 및 경계 조건이 임상적 추론을 가르치고 평가하는 방법 및 암묵적 경계 조건의 예상하지 못한 결과에 영향을 미치는 경우 어떻게 "어떻게" 반성할 것을 촉구한다.

On the basis of this reflective exercise, it is unlikely that clinical teachers all share the same conceptualization of clinical reasoning, and also unlikely that students and teachers share the same understanding when discussing the concept of clinical reasoning. This may lead to difficulty when educational teams design curricula, work toward consensus definitions of competencies, or describe educational outcomes. It is also possible that different notions of what is a “relevant” contributor to clinical reasoning would result in different tasks seen as useful or necessary for teaching learners the “right” version of “good” clinical reasoning. 

중요한 것은, HPE 커뮤니티가 이러한 다양한 개념화 및 경계 조건이 [우리가 임상적 추론을 가르치고 평가하는 방법과 암묵적 경계 조건의 가능한 의도하지 않은 결과]에 영향을 미치는지, 미친다면 어떻게 영향을 미치는지 성찰할 것을 촉구한다.

Importantly, we urge the HPE community to reflect on “if and how” these varied conceptualizations and boundary conditions affect the ways in which we teach and assess clinical reasoning and the possible unintended consequences of implicit boundary conditions.

14 Thomas A, Lubarsky S, Durning SJ, Young ME. Knowledge syntheses in medical education: Demystifying scoping reviews. Acad Med. 2017;92:161–166.

17 Gordon M. Are we talking the same paradigm? Considering methodological choices in health education systematic review. Med Teach. 2016;38:746–750.

4 Durning SJ, Artino AR Jr, Schuwirth L, van der Vleuten C. Clarifying assumptions to enhance our understanding and assessment of clinical reasoning. Acad Med. 2013;88:442–448.

27 St-Onge C, Young M, Eva KW, Hodges B. Validity: One word with a plurality of meanings. Adv Health Sci Educ Theory Pract. 2017;22:853–867.

전문가적 진단에 대한 저명한 의사의 인식(Acad Med, 2012)

Renowned Physicians’ Perceptions of Expert Diagnostic Practice

Maria Mylopoulos, PhD, Lynne Lohfeld, PhD, Geoffrey R. Norman, PhD, Gurpreet Dhaliwal, MD, and Kevin W. Eva, PhD

보건 전문가 커뮤니티의 교육자들은 전문가 퍼포먼스를 이해하고 보다 효과적인 전문가를 개발하는 데 사용할 수 있는 적절한 역량 프레임워크를 만들기 위해 광범위한 노력을 해왔다. 의학 분야에서 이러한 전문지식의 탐구들은 전통적으로 의사의 진단적 통찰력에 초점을 맞추었으며, 효과적이고 효율적인 임상적 추론을 뒷받침하는 지식을 이해하는 데 중점을 두고 있다. 연구자들이 의사의 조직과 지식의 사용에 있어 중요한 전문가의 차이를 확인한 반면에, 연구자들은 모든 의사가 동일한 수준의 전문가 성과를 달성하는 것은 아니며, 일부 의사들은 그냥 '그저그런 정도에 머무는' 것을 점점 더 인식하고 있다.2

Educators in the health professions community have made extensive efforts both to understand expert performance and to create appropriate competency frameworks that can be translated into developing more effective experts. In the field of medicine, these explorations of expertise have traditionally focused on physicians’ diagnostic acumen, with an emphasis on understanding the knowledge that underpins effective and efficient clinical reasoning. Whereas researchers have identified important expert–novice differences in physicians’ organization and use of knowledge,1 researchers also increasingly recognize that not all physicians achieve the same level of expert performance, with some merely “swelling the ranks of the mediocre.”2

의사의 진단적 통찰력을 뛰어넘는 전문가 수행의 측면을 탐구하는 연구는 이러한 현실을 강화시켰다. 본 연구는 "적응적 전문가adaptive expert"는 지식을 효과적으로 사용할 뿐만 아니라, 그 실천과정에서 새로움을 접하면 새로운 지식을 구축할 수 있는 방법을 강조하여, 지속적인 실천 개선 과정에 참여하는 것을 강조한다.3 또한, 걸출한exceptional 의료 실천에 대해 의사가 어떤 개념을 가지고있는지가 더 한 사람이 가지고 있는 지식을 넘어서는 다양한 기술과 전문적인 적합성을 반영하고 있다는 것을 보여주었다.4

Studies exploring facets of expert performance that range beyond physicians’ diagnostic acumen have reinforced this reality. This research has emphasized the ways in which “adaptive experts” not only use knowledge effectively but also are able to construct new knowledge in response to novelty in their practice, thereby engaging in a process of sustained practice improvement.3 Moreover, our own research has shown that physicians’ conceptions of exceptional medical practice increasingly reflect a diverse set of skills and professional aptitudes that extend beyond the knowledge that one possesses.4

방법

Method

2008년부터 2010년까지, 우리는 전문가 진단 실습의 실질적인 이론의 개발에 기여하기 위하여, 구성주의적 근거이론의 인터뷰 기반 연구를 수행했다.

From 2008 to 2010, we conducted a constructivist grounded theory,5 interview-based study, intended to contribute to the development of a substantive theory of expert diagnostic practice.

참가자

Participants

우리의 목표 샘플링 접근방식은 기준과 이론적 샘플링 전략을 결합했다.6

Our purposive sampling approach combined both criterion and theoretical sampling strategies.6

우리의 샘플을 내과 교수진들로 제한하는 것은 그들이 특별한 동료들을 지명하는 이유의 변동성을 단순히 전문분야에 걸친 다양성에 기인할 수 없다는 것을 보장했다.

Restricting our sample to internal medicine faculty ensured that any variability in their reasons for nominating an exceptional colleague could not be attributed simply to the variability across specialties.

우리는 이메일을 통해 모든 내과 교수들에게 그들이 "뛰어난 의사"로 간주하는 동료들을 지명하는 웹 기반의 조사를 완료하도록 요청했다. 응답자들이 특정한 실천적 측면에 편견을 갖지 않도록 하기 위해, 우리는 "뛰어난 실무자"라는 문구를 정의하지는 않았다. 그 후 응답자에게 "걸출한 진단가"와 "걸출한  전문가"를 추천하도록 요청하였다.4 전자에 대해 더 자세히 설명하지는 않았지만 후자를 "윤리적인 의사결정, 의사소통 능력 또는 환자와의 관계에 근거한 것"이라고 정의했다.

We asked all internal medicine faculty via e-mail to complete a Web-based survey nominating peers whom they considered to be “outstanding practitioners.” To avoid biasing respondents to particular aspects of practice, we did not define the phrase “outstanding practitioner” any further. We then asked respondents to nominate “exceptional diagnosticians” and “exceptional professionals.”4 We did not elaborate further on the former term but did define the latter as being “based on ethical decision-making, communication skills, or relationships with patients.”

포화 샘플7에는 34명의 참가자가 포함되었다. 20명은 예외적인 진단 전문가로, 14명은 예외적인 전문가로 지명되었다.

Our saturation sample7 included 34 participants: 20 nominated as exceptional diagnosticians, 14 nominated as exceptional professionals.

자료 수집

Data collection

본 연구의 2단계인 현재 연구를 위해, 우리는 각 참가자들과 1시간 반의 구조적인 인터뷰를 실시했다. 우리는 우리 연구팀의 구성원들과 4명의 연구 과학자 그리고/또는 일반 전문 문헌에 대한 강한 지식을 가진 의료 교육자들이 포함된 하루 동안의 회의 동안에 협의 과정에서 인터뷰 프로토콜을 개발했다. 우리는 먼저 각 참가자의 뛰어난 임상 실습, 진단적 통찰력, 전문가 문제 해결, 개인 생활 및 경력 궤적에 대한 개념화를 탐구했다. 그런 다음 참가자들에게 "쉬운", "힘든" 또는 "스텀퍼"로 판명된 진단 경험(즉, 결코 해결할 수 없는 경우)을 설명해 달라고 요청했다.

For our current study, phase two of the project, we conducted a one-hour, semistructured interview with each participant. We developed the interview protocol in a consultative process during a daylong meeting that included members of our research team and four research scientists and/or medical educators with strong knowledge of the general expertise literature. We first explored each participant’s conceptualizations of outstanding clinical practice, diagnostic acumen, expert problem solving, and personal life and career trajectory. We then asked the participants to describe diagnostic experiences that they found to be “easy,” “hard,” or “stumpers” (i.e., cases they were never able to solve).

자료 분석

Data analysis

우리는 면접 성적표에 대한 구성주의적 근거 이론 분석을 실시했다. 각 연구팀원(연구현장 3명, 연구보조원 1명)은 일정한 비교분석을 용이하게 하기 위해 자료수집 과정에서 나타난 예비코드를 개별적으로 파악했다.7 우리의 구성주의 기반 이론 접근방식과 일관되게, 팀의 각 구성원은 데이터를 탐색하기 위해 자신의 이론 렌즈를 사용했고, 그 결과 데이터에서 나올 때 유도적인 주제와 연역적 연구자들이 그들의 이전 데이터 및 이론적 관점을 의도적으로 개발하기 위해 사용한 분석 프로세스를 만들었다.그는 주제 구조를 드러내고 있다.

We conducted a constructivist grounded theory analysis of the interview transcripts. Each member of the research team (five investigators from three of the research sites and a research assistant) individually identified the preliminary codes as they emerged during data collection to facilitate the constant comparative analysis.7 Consistent with our constructivist grounded theory approach, each member of the team used his or her own theoretical lens to explore the data, resulting in an analytic process that was both inductive—themes developed as they emerged from the data—and deductive—researchers purposefully used their prior data and theoretical perspectives to develop the emerging thematic structure.

결과

Results

의사들이 전문가 진단 관행을 개념화하는 방법에 대한 이해를 나타내는 4개의 상호 연결된 테마가 인터뷰 기록에 대한 분석에서 나타났다. 

(1) 의료 실무에 대한 목적적이고 지속적인 참여를 통해 구축된 광범위한 지식 보유 

(2) 환자 "스토리"를 효과적으로 수집할 수 있는 기술의 보유

(3) 해당 지식과 진단 중 환자 이야기를 반영하여 통합

(4) 임상실습을 통한 지속적인 학습

Four interconnected themes informing our understanding of how physicians conceptualize expert diagnostic practice emerged from our analysis of the interview transcripts: 

• (1) possession of extensive knowledge built through purposeful, continuous engagement in clinical practice, 

• (2) possession of the skills to effectively gather patient “stories,” 

• (3) reflective integration of that knowledge and those patient stories during diagnosis, and 

• (4) continuous learning through clinical practice.

주제 1: 임상 실습에서 목적적이고 지속적인 참여를 통해 구축된 광범위한 지식 보유

Theme 1: Possession of extensive knowledge built through purposeful, continuous engagement in clinical practice

참석자들은 폭넓은 지식 기반을 확보하고 유지하는 것이 중요하다고 강조했다. 특히, 그들은 지식의 개발과 유지보수를 의료실무에 지속적으로 관여하는 적극적인 과정으로 보았다.

Participants emphasized the importance of acquiring and maintaining an extensive knowledge base. Notably, they saw the development and maintenance of knowledge as an active process of continued engagement in clinical practice:

참가자들은 [임상적 실천을 통해 이루어지는 일상적인 학습]이 우수성을 뒷받침하는 광범위한 지식기반의 유지에 필수적이라고 강조한 반면, 그들은 또한 [자신의 전문분야에 대한 깊은 지식]을 유지하고 [여러 의료영역에 걸쳐 광범위하게 넓히는 데] 있어서 독서reading의 중요성에 대해 언급했다.:

Whereas participants emphasized that the daily learning that takes place through clinical practice is integral to the maintenance of the extensive knowledge base underpinning excellence, they also commented on the importance of reading both for maintaining a deep knowledge in their specialty and for gaining breadth across the broader medical domain:

비록 그 점이나 그 논문이 내가 현재 하고 있는 어떤 일에도 사실 전혀 무관한 것처럼 보이지만, 지금부터 6개월 내지 8개월 후에 그것이 관련될지도 모른다. 그리고 사실대로 말하자면 나는 아주 자세하게 기억하지 못할 것이다. 그러나, 그것은 나에게 어떤 임상적인 점에 대한 나의 결정에 영향을 미칠 수 있는 추가적인 약간의 지식을 가질 수 있는 계층화, 배경화 그리고 능력을 주는 것 같다.

Even though that point or that article is seemingly actually quite irrelevant to anything I’m doing currently, six or eight months from now that might become relevant. And to tell you the truth I won’t remember a lot in great detail. But, it seems to give me that layering and background and ability to then have that additional little bit of knowledge that maybe influences my decision about some clinical point.

주제 2: 환자 이야기를 효과적으로 수집하는 기술 보유

Theme 2: Possession of the skills to effectively gather patient stories

참가자들은 진단 과정에서 환자 이야기라고 기술한 지식을 습득하는 것이 중요하다는 점에 주목했다. 그들은 신체 검진와 관련된 효과적인 의사소통 및 기술력을 포함하여 이러한 이야기를 습득할 수 있는 기술을 강조하였다.

Participants noted the importance of acquiring knowledge that they described as patient stories during the diagnostic process. They highlighted the skills that enabled them to acquire these stories, including effective communication and technical skills related to physical examination:

사실, 나는 듣는 것을 배우는 것이 가장 중요하다고 생각해. 이 기술은 [환자가 당신에게 말하고자 하는 것]을 실제로 듣고, [환자가 당신이 듣고자 하는 것만 말하도록 하지 않도록 하는] 기술이다. 그것들은 매우 다른 것이다. 나는 숙련되지 않은 임상의가, 경험이 적은 임상의가 계속 질문을 할수록 환자가 실제로 가만히 앉아서 무슨 말을 해야 하는지를 듣는 것이 아니라 환자에게 지시하는 것이라고 생각한다. 왜냐하면 대부분의 진단은 당신의 눈이 아니라 귀로 발생하기 때문이다.

Actually, I think most important is learning to listen. It’s the skill of actually hearing what the patient wants to tell you and not trying to get the patient to tell you what you want to hear. Those are two very different things. I think the less skilled clinician, less experienced clinician interrupts, keeps asking questions, directs the patient rather than actually sitting back and actually hearing what the patient has to say because the vast majority of diagnosis happens with your ears, not with your eyes.

참가자들은 또한 [사용 가능한 모든 지식을 환자 이야기와 관련지어 관찰 및 분석하는 것]을 통하여, 환자의 상호작용을 이해하는 것의 중요성에 대해 언급했다.

Participants also commented on the importance of understanding patient interactions through observing and collating all available knowledge into a patient story:

엘리트 임상의는 지식과 기술력뿐만 아니라, 듣고 보고 두드리고 나서 모든 것을 종합해 볼 수 있는 능력이 있는데, 이것은 그들이 가지고 있는 또 다른 재능이다.

Elite clinicians not only knowledge and technical skills, but they have the ability to pick up the physical things by hearing, looking at it, percussing it, and then have to put it all together, which is another talent they have.

주제 3: 진단 중 해당 지식과 환자 이야기를 반영하여 통합

Theme 3: Reflective integration of that knowledge and those patient stories during diagnosis

참가자들은 [과거의 지식]과 [경험을 현재]의 [환자 이야기]와 통합하여 발생하는 진단 과정을 이해하였다.

Participants understood the process of diagnosis to occur through the integration of past knowledge and experience with a current patient story:

또한 참가자들은 진단 과정 중에 지식을 효율적으로 통합하고 사용하기 위한 패턴 인식의 우선성을 인식했다.

In addition, participants recognized the primacy of pattern recognition for integrating and using knowledge efficiently during the diagnostic process:

경험적 데이터베이스를 가져가야 할 것 같다. 휴리스틱스나 패턴 인식을 위해 지름길을 만들 수 있도록 말이다. 그것은 오직 경험으로만 올 수 있다. 여러분은 심장마비라는 주제에 대한 20가지의 다른 변형을 봐야만 한다. 심장마비라는 미묘한 비정형적 표현뿐만 아니라 공통점을 인식할 수 있기 때문이다.

So I think you have to take your experiential database … to allow you to kind of make short cuts to have those heuristics, that pattern recognition. That only can come with experience. You have to have seen 20 different variations of the theme of heart attacks to be able to recognize the common as well as the subtle atypical presentations.

그러나 참여자들은 패턴 인식이 오진을 초래할 수 있다는 가능성을 인식하였고, 진화하는evolving 진단을 위해 성찰적 자세가 필요하고, 보완적임을 명시하였다.

However, participants also articulated a necessary and complementary reflective stance toward the evolving diagnosis, thereby recognizing the possibility that pattern recognition can lead to misdiagnosis:

내가 가끔 빠져드는 함정이나 함정 중 하나는 이것이 패턴에 해당한다고 가정하고 어떤 상태에 고정되는 것이다. 그리고 네모난 펙트를 잘못된 구멍에 집어넣으려고 하는 것과는 반대로 "좋아, 또 무슨 일이 일어날 수 있지?" "왜 이게 맞지 않는 거지?"라고 말하는 사고의 융통성을 유지하기는 어렵다.

One of my traps or pitfalls that I fall into sometimes is that you kind of assume this is going to fall into the pattern and you kind of get anchored to a certain condition. And it’s hard to keep the flexibility of thought to say, “Okay, what else could be going on?” and “Why is this not fitting?” as opposed to trying to jam a square peg into the wrong hole.

또한 참가자들은 자신의 경험을 활용하여, 기존 지식이 필요한 진단을 위해 불충분할 때를 인식하는 것과 현재 환자 평가를 자신의 임상 영역에 대한 깊은 이해를 증진시키는 기회로 사용하는 것이 중요하다는 점에 주목하였다.

Moreover, participants noted the importance both of using their experience to recognize when their existing knowledge was insufficient for the necessary diagnosis and of using their current patient assessment as an opportunity to cultivate a deep understanding of their clinical domain:

주제 4: 임상 실습을 통한 지속적인 학습

Theme 4: Continuous learning through clinical practice

진단 활동에 대한 성찰적 접근방식은 medical practice에 대한 광범위한 접근방식을 보여주는 것이었다. 이러한 태도는 그들을 평생학습자로 만들었다. 왜냐하면 [실천에 기초한 학습에 종사하는 임상의사로서 겸손]의 필요성뿐만 아니라 [그들 자신의 지식에 대한 회의적인 입장]을 갖게 했기 때문이다.

For participants, the reflective approach to the activity of diagnosis was mirrored by their broader approach to medical practice that shaped them as lifelong learners through the adoption of a skeptical stance toward their own knowledge as well as the need for humility as clinicians engaged in practice- based learning;

겸손한 것 같아. 겸손은 당신의 실수로부터 배우는 것을 의미한다고 생각한다. 왜냐하면 당신이 근본적인 것을 하지 않았기 때문에 다음 번에는 그것을 하지 않기 때문이다. 그것도 전문가로서의 한 부분이다.

I think being humble. I think humility means learning from your mistakes also because you remember when you didn’t do something fundamental so you don’t do it the next time. That’s part of being an expert too.

고찰

Discussion

우리의 결과는 네 가지의 상호 연결된 진단 관행을 강조하는 탁월함의 모델을 보여준다.

Our results reveal a model of excellence that emphasizes four interconnected dimensions of diagnostic practice.

의학 교육에 있어서의 현재 담론의 맥락 안에서 우리의 결과를 탐구하는 것은 이러한 우수한 진단능력을 구성하는 두 가지 주요 특징을 전면에 내세운다. 

(1) 진단 프로세스를 뒷받침하는 의료 역량의 통합적 특성 

(2) 진단 프로세스의 "최적 적응" 특성.

Exploring our results within the context of current discourses in medical education brings to the forefront two key features of this construct of diagnostic excellence: 

(1) the integrated nature of the medical competencies that underpin the diagnostic process, and 

(2) the “optimally adaptive”3 nature of the diagnostic process.

대학원 의학 교육 위원회(ACGME)의 핵심 역량9 및 CanMEDS 의사 역할10은 강력한 지식 기반을 넘어 광범위한 기술을 유지하는 의사의 중요성을 강조한다. 우리의 연구에서 나온 우수성의 모델은 [진단 전문가로서의 능력을 유지하고 향상시키기 위하여] [진단 프로세스 및 광범위한 접근 방식에서 의사가 다양한 역량을 어떻게 통합하는지]를 강조한다. 

The Accreditation Council for Graduate Medical Education (ACGME) core competencies9 and the CanMEDS physician roles10 emphasize the importance of physicians maintaining a broad skill set beyond a strong knowledge base. The model of excellence that emerged from our study highlights the ways in which physicians integrate different competencies both during the diagnostic process and in their broader approach to maintaining and improving their skills as diagnosticians.

예를 들어, 우리의 연구결과는 뛰어난 의사가 진단적 실천을 생각하는 방식이 다음의 밀접한 관계를 반영한다는 것을 시사한다. 

• CanMEDS 역할에서 의료 전문가, 의사 전달자 및 학자

• ACGME 역량에서 의료 지식, 대인 관계 및 커뮤니케이션 기술, 연습 기반 학습 및 개선 

For example, our findings suggest that the way in which reputed physicians conceive of diagnostic practice reflects a close entwining of 

• the medical expert, communicator, and scholar CanMEDS roles, or 

• the medical knowledge, interpersonal and communication skills, and practice-based learning and improvement ACGME competencies.

우리가 여기서 보고한 결과는 한 가지 능력이나 역할을 훌륭히 해내는 것만으로 뛰어난 의사가 되기에는 부족하다는 것을 시사한다. 게다가, 그들은 의사들이 통합적 구조로서 그들 자신과 다른 사람들의 의료 행위를 이해한다는 것을 증명한다.

the results that we report here suggest that excelling in any one competency or role alone is insufficient to be an exceptional physician. Moreover, they demonstrate that physicians understand their own and others’ medical practice as an integrated construct,

기본적으로, 학생과 전공의가 진단 전문 지식과 뛰어난 의료 지식을 위해 노력하는 것을 돕는데 있어서, 우리는 그들의 실천기반 학습과 의사소통 기술을 동시에 길러야 한다. 이러한 기술들을 그들의 진단적 우수성의 발전을 위한 중요한 수단이며, 단순히 양호한 임상 수행의 독립적인 요소가 아니다. 이와 관련하여, 특정 역량에 의도적으로 초점을 맞추는 평가 관행은 역효과를 낳을 수 있기에, 역량이 독립적으로 평가되어야 한다는 wisdom에 더욱 의문을 제기할 수 있다.

Essentially, in helping students and residents strive for diagnostic expertise and outstanding medical knowledge, we must simultaneously cultivate their practice-based learning and communication skills and treat these skills as a crucial means toward their development of diagnostic excellence, rather than simply as independent components of good clinical performance. In this regard, assessment practices that deliberately focus on a particular competency may be counterproductive, bringing further into question the wisdom of assessing competencies independently.11

참가자들은 진단 정의에서 이러한 기술의 통합은 사전 지식과 환자 이야기를 결합하는 과정으로 설명하면서 환자가 마주치는 동안 진화하는 진단에 대한 성찰적 자세를 채택했다. 예를 들어, 참가자는 지식을 [패턴 인식 과정을 통해 환자를 효율적으로 진단하는 수단]으로서뿐만 아니라 [까다로운 진단 사례에서 새로운 지식을 구성하기 위한 자료]로서 설명하였다. 적응성 전문 이론가들이 말한 바와 같이, 이러한 행위는 의사가 "최적 적응성 경로"을 따르는 것으로 이해해야 한다.

Participants described this integration of skills in their definition of diagnosis as a process of combining prior knowledge with patient stories while adopting a reflective12,13 stance toward a diagnosis as it evolves during a patient encounter. For example, participants described using knowledge not only as a means to efficiently diagnose a patient through a process of pattern recognition but also as a resource to construct new knowledge in challenging diagnostic cases. We understand this process to be at work when a physician is working within the “optimal adaptability corridor,”3 as described by adaptive expertise theorists.

optimal adaptability corridor OAC 란 적응적 전문가가 실천의 효율(과거 지식의 사용)과 혁신(새로운 지식의 구축 및 학습) 치수 사이에서 효과적인 균형을 유지할 수 있는 능력을 말한다. 실제로 이러한 전문가들은 그 한계로 인해 제약이나 misled 없이 과거의 지식을 활용할 수 있는 동시에 필요할 때 효과적인 문제 해결을 위한 새로운 지식을 구축할 수 있다. OAC를 따르게 되면, 본 연구에서 "임상실천을 통한 지속적인 학습"으로 개념화한 프로세스인, 문제 해결과정을 통한 지속적 학습이 가능하다

The optimal adaptability corridor refers to the ability of adaptive experts to maintain an effective balance between complementary efficient (use of past knowledge) and innovative (construction and learning of new knowledge) dimensions of their practice. In effect, these experts are able to use their past knowledge without being constrained or misled by its limitations, while also constructing new knowledge for effective problem solving when necessary. Working within the optimal adaptability corridor allows experts to continuously learn as they problem solve, a process that participants conceptualized as “continuous learning through clinical practice.”

임상추론에서 오류의 원인: 인지적 편향, 지식 부족, 이중처리 사고(Acad Med, 2017)

The Causes of Errors in Clinical Reasoning: Cognitive Biases, Knowledge Deficits, and Dual Process Thinking

Geoffrey R. Norman, PhD, Sandra D. Monteiro, PhD, Jonathan Sherbino, MD, Jonathan S. Ilgen, MD, Henk G. Schmidt, PhD, and Silvia Mamede, MD, PhD

의료오류는 2000년 획기적인 의학연구소(IOM) 보고서인 "The Errr Is Human: Building a Safer Health System"이 발표된 이후 상당한 주목을 받아왔다. 그 보고서는 의료 오류에 대한 사회적 비용이 크다는 점에 대해 구체적인 주의를 환기시켰다. IOM의 2015년 후속 보고서도 다음과 같이 덧붙였다.

Medical errors have received considerable attention since the publication of the landmark Institute of Medicine (IOM) report “To Err Is Human: Building a Safer Health System” in 2000.1 The report called specific attention to the large societal cost of medical errors. A 2015 follow-up report also from the IOM added that

의료전달시스템은 수십 년 동안 사각지대를 가지고 유지되어 왔다. 바로 진단 오류이다. 이는 정확하지 않거나 지연된 진단을 말하며, 모든 진료 환경 전반에 분포하고 있으며, 지속적으로 납을할 수 없을 만큼 많은 수의 환자를 계속 해친다.2

[t]he delivery of health care has proceeded for decades with a blind spot: Diagnostic errors—inaccurate or delayed diagnoses—persist throughout all settings of care and continue to harm an unacceptable number of patients.2

이 후속 보고서에서 IOM은 의사, 가족, 시스템을 포함한 여러 가지 진단 오류의 원인을 강조하였다. 그러나 진단을 목적으로 하는 추론 과정에 대한 설명은 전적으로 임상의의 인지 과정에 국한되었다. 이러한 초점이 맞춰지는 한 가지 이유는 결국 "임상추론은 의사의 마음 속에서 일어난다"는 것일 수 있다.2

In this follow-up report, the IOM highlighted the multiple causes of diagnostic error, including the clinician, the family, and the system. However, the description of the process of reasoning directed at making a diagnosis was entirely restricted to the cognitive processes of the clinician. One reason for this focus may be that, at the end of the day, “clinical reasoning occurs within clinicians’ minds.”2

확실히, 1970년대와 1980년대의 첫 번째 연구로 거슬러 올라가는 초창기 임상추론 연구는 심리학적 관점에 의해 지배되어 왔으며, 개인 임상의사의 사고 과정을 탐구했다.

Certainly, research in clinical reasoning, dating back to the first studies in the 1970s and 1980s,3,4 has been dominated by a psychological perspective, exploring the thinking processes of the individual clinician.

그루펜과 동료5는 1차 진료의사들이 78%의 사례에서 CC만을 근거로 정확한 진단을 내렸다는 것을 발견했다. 보다 최근에 펠라키아와 동료6은 응급의사들운 환자를 만나기 전에 이미 25%의 가설을, 임상적 만남의 첫 5분 동안 75%의 가설을 생성했다는 것을 보여주었다.

Gruppen and colleagues5 found that primary care physicians had the correct diagnosis based on just the chief complaint in 78% of cases. More recently, Pelaccia and colleagues6 showed that emergency physicians generated 25% of hypotheses before meeting the patient and 75% of hypotheses in the first five minutes of the clinical encounter.

이러한 발견은 사고의 "이중 프로세스 모델"을 기술하는 심리학에서 다수의 문헌에서 나온 결과와 일치한다.7–13 특정한 이론은 다를 수 있지만, 일반적인 특징은 사고에는 두 가지 시스템이 관련되어 있다는 것이다. 

• 더 빠른 시스템인 타입 1은 자동적이고, 무의식적이며, 겉보기에는 힘이 없어 보이는 반면, 

• 느린 시스템인 타입 2는 통제되고, 의식적이며, 노력한다. 

에반스와 스타노비치13이 설명했듯이 

• 시스템1은 "직관적이고, 휴리스틱하며, 

• 시스템2는 "반사적이고, 분석적"이다.

These findings are consistent with the findings from a large body of literature in psychology that describes “dual process models” of thinking.7–13 Although particular theories may differ, a common feature is that thinking involves two systems. The faster system, Type 1, is automatic, unconscious, and seemingly effortless, whereas the slower system, Type 2, is controlled, conscious, and effortful. As Evans and Stanovich13 described it, Type 1 is “intuitive, heuristic,” and Type 2 is “reflective, analytic.”

많은 저자들은 제1형 사고와 관련된 휴리스틱스와 그로 인한 인지적 편견이 진단 오류를 초래할 수 있는 가능성에 관심을 가져왔다.18–20 2015년 IOM 보고서는 휴리스틱스와 진단 오류의 관계에 대해 상당히 자세히 설명하였다.

Many authors have drawn attention to the heuristics associated with Type 1 thinking and to the possibility that the resulting cognitive biases may lead to diagnostic errors.18–20 The 2015 IOM report went into considerable detail about the relationship between heuristics and diagnostic errors:

휴리스틱스(Heuristics)는 인식 전략 또는 무의식적으로 채택되는 정신적 지름길로서, 의사결정에 특히 중요하다. 휴리스틱스는 의사결정을 용이하게 할 수 있지만 오류를 일으킬 수도 있다. 휴리스틱이 실패할 때, 그것은 인지적 편견이라고 불린다.2

Heuristics—cognitive strategies or mental shortcuts that are automatically and unconsciously employed—are particularly important for decision making. Heuristics can facilitate decision making but can also lead to errors. When a heuristic fails, it is referred to as a cognitive bias.2

비록 이 진술이 절대적인 것처럼 보이지만, 인간 추론에서 편향의 증거는 상당부분 상식 수준에서, 전문지식이 없이 질문에 대답하는 학부 심리학과 학생들의 연구에서 도출되었다.21 IOM 보고서는 이러한 연구를 광범위하게 인용하였으나 임상 추론에서 편견의 역할에 대한 증거를 검토하지 않았다.2

Although this statement appears definitive, much of the evidence of bias in human reasoning has been derived from studies of undergraduate psychology students answering commonsense and expertise-free questions.21 The IOM report extensively cited these studies but did not examine evidence of the role of biases in clinical reasoning.2

기억과 이중 처리의 구조

The Architecture of Memory and Dual Processing

인간의 추론은 왜 빠른 직관적 처리와 휴리스틱스에 의존하는가? 답은 사고와 기억의 특징 때문이다. 정신은 모든 계산이 발생하는 [제한된 용량의 작업 메모리]와 새로운 정보와의 연관성의 강도에 기초하여 메모리를 검색하는, [본질적으로 용량이 제한되지 않은 장기적 연관 기억]을 모두 포함한다.22

Why does human reasoning rely on rapid intuitive processing and heuristics? The answer lies in the nature of thinking and memory. The mind contains both a working memory of limited capacity in which all computations occur and a long-term, associative memory of essentially limitless capacity, whereby memories are retrieved based on the strength of their association with the new information.22

유형 1 사고는 새로운 정보와 기억 속의 유사한 예제 사이에 직접적인 연관성을 만드는 것으로 볼 수 있다.23 그러한 메모리 검색은 매일 매 시간마다 수천 번 발생한다.

Type 1 processing can be viewed as making a direct association between new information and a similar example in one’s memory.23 Such memory searches occur thousands of times every hour of every day;

이러한 연관성 만드는 작업은 노력없이 이뤄지며, 작업 메모리에 과부하를 주지 않는다.13 유사한 예를 검색할 가능성은 오류를 야기할 수 있는 여러 요인에 의해 영향을 받을 수 있는 연관성의 강도와 관련이 있다.24

These associations are effortless and do not overload our working memory.13 The likelihood of retrieving a similar example is related to the strength of the association, which can be influenced by a number of factors, that may lead to errors.24

• 과거에 연고가 관찰된 횟수, 

• 기억 속에 저장된 예시 횟수 또는 

• 공통적인 특징의 개수, 

• 최근성이나 생동감 같은 외부 특성의 개수,

• the number of times the association has been observed in the past, 

• the number of examples stored in one’s memory, or 

• the number of common features, 

• the number of extraneous characteristics, such as recency or vividness,

반대로, 타입 2 프로세싱은 자신의 작업 메모리에 있는 연산에 기초한다. 예를 들어, 사례에 존재하는 진단 범주에서 피쳐를 식별하고 특정 질병의 가능성을 추정한다.23 타입 2 프로세싱은 그 성격상 추상적이고 규범적이거나 논리적인 규칙과 일치하기 때문에 작업기억에 무거운 부담을 지운다. 따라서 제한된 작업 메모리에 대한 부하가 증가함에 따라 계산 오류가 발생할 가능성이 발생한다.13

Conversely, Type 2 processing is based on computations in one’s working memory—for example, identifying the features from a diagnostic category that are present in a case and estimating the likelihood of a particular disease.23 Type 2 processing is, by its nature, abstract and normative—or consistent with logical rules—so it places a heavy burden on one’s working memory. Thus, the possibility arises that computational errors may occur as a result of the increased load on one’s limited working memory.13

그렇다면 이 두 과정과 추론 오류 사이의 관계는 무엇인가? 한 가지 관점은 [모든 오류는 유형 1 추론에서 발생하며, 유형 2 추론에 의해서는 수정되지 않는다]는 관점이다.

What is the relationship, then, between these two processes and reasoning errors? One view is that all errors originate from the heuristics that are employed in Type 1 reasoning and not corrected by Type 2 reasoning:

직관적 판단의 오류는 두 시스템의 고장을 모두 포함한다. 오류를 발생시킨 시스템 1과 오류를 감지하고 수정하지 못한 시스템 2.25

Errors of intuitive judgment involve failures of both systems: System 1, which generated the error, and System 2, which failed to detect and correct it.25

대안적 관점은 [두 프로세스 모두에서 오류가 발생]한다는 것이다.

An alternative view is that errors arise from both processes:

아마도 이중 과정 이론에 대한 인식에서 가장 끈질긴 오류는 제1종 프로세스(직관적, 휴리스틱)가 모든 나쁜 사고를 책임지고 제2종 프로세스(반사적, 분석적)가 반드시 올바른 반응을 이끌어 낸다는 생각일 것이다.... 그래서 이 좋은 생각의 본질은 나쁜 생각이고 어떤 이중 과정 이론들은 그것을 그들의 핵심 용어로 만들었다.13

Perhaps the most persistent fallacy in the perception of dual-process theories is the idea that Type 1 processes (intuitive, heuristic) are responsible for all bad thinking and that Type 2 processes (reflective, analytic) necessarily lead to correct responses.… So ingrained is this good–bad thinking idea that some dual- process theories have built it into their core terminology.13

그렇다면 어떻게 하면 오류를 줄일 수 있을까? 위의 첫 번째 공식에서 오류는 유형 1 처리에 있어서 유선 연결된 인지적 편견의 결과이기 때문에, 해결책은 편견이 발생할 수 있는 시기를 감지하는 것을 학습한 다음 분석 유형 2 추론을 사용하여 다음과 같이 수정하는 것이다.

How can we reduce errors, then? In the first formulation above, because errors are a consequence of hardwired, cognitive biases in Type 1 processing, the solution is to learn to detect when a bias may arise and then use analytical Type 2 reasoning to correct it:

시스템 1에서 비롯되는 오류를 차단하는 방법은 원칙적으로 간단하다: 인지 지뢰밭에 있다는 징후를 인식하고 속도를 늦추고 시스템 2에 보강을 요청한다.

The way to block errors that originate in System 1 is simple in principle: recognize the signs that you are in a cognitive minefield, slow down, and ask for reinforcement from System 2.26

이 관점은 오류가 지식의 결핍에서 발생할 수 있다는 것을 인정하거나 (분석적이든 경험적이든) 도메인에서 지식을 증가시키는 것이 오류의 감소로 이어질 것임을 시사하지 않는다. 그 대신, 이 관점은 오류로 이어질 수 있는 사고 과정의 결함에 초점을 맞추고 있다.

This view does not acknowledge that errors may arise from knowledge deficits or suggest that increasing knowledge in a domain (either analytical or experiential) will lead to fewer errors. Instead, the focus is on flaws in the thinking processes that may lead to errors.

다른 이론가들은 이 두 과정이 다른 종류의 지식을 반영한다고 본다. 

• 제1종 프로세싱은 무의식적인 연관성의 과정을 통해 개별 경험의 검색을 수반하는 반면, 

• 제2종 프로세싱은 "상징적으로 표현된 ...지식"을 사용한다9 

프로세스에 집중하는 것과는 대조적으로, 이 관점은 각 유형의 생각에서 요구되는 지식의 종류와 그 지식이 어떻게 학습되는지를 명시적으로 검토한다.

Other theorists believe that the two processes reflect different kinds of knowledge. Type 1 processing involves the retrieval of individual experiences through a process of unconscious association, while Type 2 uses “symbolically represented … knowledge.”9 In contrast to a focus on processes, this perspective explicitly examines the kinds of knowledge required by each type of thinking and how that knowledge is learned.

만약 오류가 인지적 편견의 결과라면,

If errors are a consequence of cognitive biases, then:

1. 지식과 경험의 증가와 오류의 관계는 없을 것이다.

1. There will be no relationship between increasing knowledge and experience and errors.

2. (속도감 있는 작업이나 주의 산만과 같은) 제약조건은 제2형식 분석 처리에 영향을 미치고 더 많은 오류를 초래할 것이다.12

2. Constraints such as speeded tasks or distractions will affect Type 2 analytical processing and lead to more errors.12

3. 오류는 인지편향을 명시적으로 인식하고 오차를 시정하기 위한 분석전략을 발동하는 학습을 통해 교정될 것이다.19

3. Errors will be corrected by learning to explicitly recognize a cognitive bias and invoke analytical strategies to correct the error.19

반대로 오류가 지식 결손의 결과라면,

Conversely, if errors are a consequence of knowledge deficits, then:

1. 경험이 많아지면 분석적 지식이나 경험적 지식 모두 커져서 오류가 줄어든다.

1. More experience will lead to greater knowledge, both analytical and experiential, and result in fewer errors.

2. 제1형 처리가 전문지식을 밑거름으로 하는 한, 신속한 작업이나 산만함이 정확도에 미치는 영향은 미미할 것이다.

2. To the extent that Type 1 processing underlies expertise, speeded tasks or distractions will have minimal effect on accuracy.

3.오류는 구체적인 지식을 적용한다면 시정될 것이다.

3. Errors will be corrected by applying specific knowledge.

오류의 원인에 대한 두 가지 넓은 관점을 검토하기 위해, 인지 편향이나 지식 부족을 우리는 문헌에 대한 검토를 either/or 이분법적으로 프레이밍했다. 그러나 실제로는 두 가지 결손 모두 오류의 원인이 될 가능성이 높다.

To examine the two broad perspectives on the causes of errors—cognitive bias or knowledge deficiency—we have framed our review of the literature as an either/or dichotomy. In fact, it is likely that both deficits contribute to errors.

의학 임상 추론 연구의 증거

Evidence From Clinical Reasoning Studies in Medicine

임상적 추론의 오류는 인지적 편견에 의해 야기되는가?

Are errors in clinical reasoning caused by cognitive biases?

Evans12가 지적한 바와 같이, 오류는 유형 1 처리의 휴리스틱에서 발생하여 유형 2 처리의 개입에 의해 수정되는 한 가지 증거는 오류와 진단 속도 사이의 관계다. 진단을 철저히 하기 위해 더 긴 시간을 사용하거나 속도를 늦추라는 지침은 제2형식 처리를 더 많이 사용할 수 있어야 하며 따라서 더 높은 정확도를 산출해야 한다.

As Evans12 indicated, one kind of evidence that errors arise from the heuristics of Type 1 processing and are corrected by the interventions of Type 2 processing is the relationship between errors and the speed of diagnosis. A longer time to a diagnosis, or instructions to slow down, to be thorough, etc., should permit more use of Type 2 processing and hence produce greater accuracy.

이러한 모든 연구는 시간을 증가시키고, 따라서 타입 2 처리에 더 많이 의존하는 것은 오류를 개선시키지 않는다는 것을 시사한다. 그러나, 최근의 한 연구는 시간을 심하게 제약하는 것이 초보자의 오류를 증가시킨다는 것을 보여주었다.32

All of these studies suggest that increasing time, and thus relying more heavily on Type 2 processing, does not ameliorate errors. However, one recent study showed that severely constraining time does increase novices’ errors.32

문헌에서 나온 증거에 따르면, 더 많은 처리 시간은 일반적으로 더 적은 수의 오류가 아니라 더 많은 오류와 연관되어 있다. 만일 오류가 유형 1 처리의 인지적 편견에 의해 야기되고 유형 2 처리에 의해 해결된다면, 그 반대가 사실일 것이다. 이 발견에 대한 한 가지 설명은 두 시스템 모두에서 오류가 발생할 수 있다는 것이다. 예를 들어, 조기 종결(진단 오류의 가장 일반적인 원인으로 확인됨3)와 확증편향 모두 데이터 수집 및 합성 과정에서 발생하는 현상이기 때문에 유형 2 프로세싱과 연관될 가능성이 더 높다.34 더욱이 오류 해결은 단순히 추가적인 분석 노력을 기울이는 경우가 아니며, 충분한 지식이 없으면 추가 처리가 오류를 해결하는 데 도움이 되지 않을 것 같다. 우리는 적절한 시기에 이 과정에서 지식의 역할에 대해 자세히 설명할 것이다.

According to this evidence from the literature, more processing time is generally associated with more, not fewer, errors. If errors are caused by cognitive biases in Type 1 processing and resolved by Type 2 processing, the reverse would be true. One explanation for this finding is that errors can arise in both systems; for example, both premature closure (which has been identified as the most common contributor to diagnostic error33) and confirmation bias are phenomena that arise during the process of data gathering and synthesis, so they are more likely to be associated with Type 2 processing.34 Moreover, the resolution of errors is not simply a case of exerting additional analytical effort; without sufficient knowledge, additional processing is not likely to be helpful in resolving errors. We will elaborate on the role of knowledge in this process in due course.

임상 추론의 오류가 제1형 처리와 관련되어 있는가?

Are errors in clinical reasoning associated with Type 1 processing?

지금까지 일반 문헌에는 100개 이상의 인지편견이, 의학 문헌에는 적어도 38개 이상의 인지편향에 대해 기술되어 있다.19 인지편향과 진단오차를 연관짓는 글의 두드러진 점을 감안할 때, 진단추론에서 인지편향에 대한 경험적 실증적 실증이 비교적 적다는 것은 다소 놀라운 일이다. 최근 체계적인 검토에서 보건의료에서 인지편향에 대한 213개의 연구가 확인되었지만, 많은 사람들이 진단추론이 아닌 치료선택(추론)과의 관련성을 검토했다.39 이 기사를 검토한 후, 우리는 15개의 연구만이 진단오류에서 인지편향의 역할을 검사했고, 7개의 편견만 검사했다고 결론지었다.

To date, over 100 cognitive biases have been described in the general literature and at least 38 in the medical literature.19 Given the prominence of writings associating cognitive bias with diagnostic error,14–20,35–38 it is somewhat surprising that there are relatively few empirical demonstrations of cognitive bias in diagnostic reasoning. A recent systematic review identified 213 studies of cognitive bias in health care; however, many examined the therapeutic choices , not diagnostic reasoning.39 After reviewing this article, we concluded that only 15 of the studies examined the role of cognitive bias in diagnostic error, and only 7 biases were examined.

실제로 존재하는 진단 추론에서 인지편향의 역할에 대한 증거는 다음 두 종류의 연구에서 도출된다. 

• (1) 편견을 설명하기 위해 자극이 특별히 조작되는 실험 연구 (예: 연구 초기에 참가자에게 사례를 보여 준 다음, [가용성 편향] 시퀀스 후반에 유사한 사례를 진단하도록 요청함)

• (2) 오류가 발생한 경우에 대해, 후향적으로 검토하여 가능한 오류의 원인을 판단한다.

The evidence of the role of cognitive bias in diagnostic reasoning that does exist is derived from two kinds of studies: 

• (1) experimental studies in which the stimuli are specifically manipulated to illustrate a bias (e.g., by showing participants a case early in the study, then asking them to diagnose a similar case later in the sequence [availability bias]); and 

• (2) retrospective reviews of cases where an error has occurred, to determine the possible cause of the error.

많은 실험 연구들이 다양한 인지적 편견을 보여주었다.

A number of experimental studies have demonstrated various cognitive biases.

다른 여러 연구에서는 유사한 사례에 대한 참가자의 최근 경험과 다른 진단으로 인해 오류가 발생한 "가용성" 편향을 입증했다.

Several other studies have demonstrated “availability” bias, where participants’ recent experience with a similar case but a different diagnosis led to errors.

그러나 피부과에서의 두 가지 연구에서 동일한 카테고리의 사례를 직전에 본 경우, 정확한 진단을 더 용이하게 할 수 있다는 것이 밝혀졌다.44,4,45

However, availability bias seems to work both ways—two studies in dermatology showed that a prior example from the same category can facilitate accurate diagnosis.44,45

모든 연구가 인지적 편견을 유도할 수 있었던 것은 아니었다. 크리스텐슨과 동료 46명은 연구에 사용된 8가지 사례 중 두 가지 사례에만, 최소한의 편견만이 존재한다는 것을 발견했다.

Not all studies were able to induce a cognitive bias. Christensen and colleagues46 found that minimal bias was present in only two of the eight cases used in the study.

따라서, 편견을 유도하기 위해 특별히 설계된 자료를 사용한 많은 연구가 임상의사가 인지적 편견, 특히 가용성 편견을 보일 수 있다는 것을 보여주었지만, 그들은 이러한 편견이 실제로 발생할 수 있는 정도에 대한 통찰력을 제공하지 못했다. 또한 어떤 연구에서는 가용성 편향이 정확성을 감소시킬수도, 개선할 수 있다는 연구 결과가 나왔다.44,45

Thus, although a number of studies that used materials specifically designed to induce bias showed that clinicians can exhibit cognitive biases, particularly availability bias, they provided no insight into the extent to which these biases may arise in practice. Moreover, some studies showed that availability bias may both reduce and improve accuracy.44,45

진단 추론에서 인지편향의 역할을 조사하는 두 번째 연구 부류는 실제 오류에 대한 후향적 검토다. Graber와 동료들은 응급실에서 발생한 100건의 진단 오류 사례를 연구했다. 그들은 사례의 약 68%가 인지적 편견, 주로 조기 폐쇄(즉, 중요한 정보를 얻지 못한 채 접견을 종료)와 관련이 있다는 것을 발견했다. 그러나 또 다른 연구는 인지적 편견의 인과관계에 대한 증거를 찾지 못했다.48

The second class of studies that examine the role of cognitive bias in diagnostic reasoning are retrospective reviews of actual errors. Graber and colleagues33 studied 100 cases of diagnostic errors committed in the emergency department. They found that about 68% of cases were associated with a cognitive bias, primarily premature closure (i.e., terminating the encounter without getting the critical information). However, another study found no evidence of a causal role of cognitive biases.48

최근 한 연구는 특정 편향을 예시하지는 않았지만 두 가지 동일한 가능성이 있는 진단을 받았기 때문에 선택된 경우, 진단 오류 전문가들에게 인지적 편견을 식별하도록 요청했다..49 전문가들 사이에서 특정 편차의 유무에 대한 동의는 0에 가까웠다. 더욱이, 이 연구는 후향적 검토 자체가 사후 판단 편향에 취약하다는 것을 보여주었는데, 동일한 사례 연구에서도 진단이 잘못되었던 경우 진단이 옳았던 경우보다 두 배나 많은 편견을 식별하게 되었다.

A recent study asked experts in diagnostic errors to identify cognitive biases in case workups that were chosen because they did not exemplify a particular bias but had two equally probable diagnoses.49 Agreement on the presence or absence of specific biases among the experts was close to zero. Furthermore, the study showed that retrospective review is itself vulnerable to hindsight bias, where an incorrect diagnosis resulted in the identification of twice as many biases as a correct diagnosis in an otherwise identical case workup.

이것은 임상의사의 사후판단편성의 분명한 예다. 전문가들이 특정 편견에 동의할 수 없고 사후 판단 편향에 취약하다면, 어떻게 편견의 정의를 가르치는 것이 오류 감소로 이어질 수 있는가?

This is a clear example of hindsight bias in the clinicians. If experts cannot agree on specific biases and are vulnerable to hindsight bias, how can teaching definitions of biases lead to error reduction?

임상적 추론의 오류는 지식의 결핍에 의한 것인가?

Are errors in clinical reasoning caused by knowledge deficits?

놀랄 것도 없이, 추가 교육과 지식이 오류 감소와 관련이 있다는 실질적인 증거가 있다. 이러한 증거의 대부분은 임상의사 시니어 레지던트가 주니어 레지던트보다 오류율이 낮다는 것을 보여주는 연구에서 도출되었다. 비록 이것이 항상 그런 것은 아니지만, 실제 경험이 실천을 향상시킨다는 것은 문헌에서 덜 명확하다; 대부분의 연구는 작은 부정적인 면을 보여준다. 즉, 진단 정확도와 나이 사이의 negative 관계가 있다.

Not surprisingly, there is substantial evidence that additional education and knowledge are associated with reduced error rates. Much of this evidence is derived from studies of postgraduate trainees that show that practicing clinicians and/or senior residents have lower error rates than junior residents,41,50,51 although this is not always the case.52 It is less clear from the literature that experience in practice leads to improved practice; most studies show a small negative relationship between diagnostic accuracy and age.53,54

실제 임상 진단 수행에 대한 한 연구에서 Zwaan과 동료들48은 "최적화되지 못한 임상 행위"의 원인이 불충분한 지식이라는 증거를 발견했다.

In one study of actual clinical diagnostic performance, Zwaan and colleagues48 found evidence of insufficient knowledge as a basis for “suboptimal clinical acts.”

그러나 이러한 연구는 어떤 종류의 전문지식이 오류와 관련되어있는지를 식별하지 못한다. 

• 경험적experiential 지식의 정확성과 측정 사이의 긍정적인 연관성은 전문지식이 제1형 처리와 관련이 있음을 시사할 수 있다. 

• 공식적formal 지식의 측정과의 연관성은 전문지식이 부분적으로 더 광범위한 분석적 지식기반에 존재함을 의미할 수 있으며, 따라서 제2형 처리에 기여할 것이다.

However, these studies do not identify the kind of knowledge that is related to errors and expertise. 

• A positive association between accuracy and measures of experiential knowledge would suggest that expertise is related to Type 1 processing; 

• an association with measures of formal knowledge would imply that expertise resides in part in a more extensive analytical knowledge base, and thus would contribute to Type 2 processing.

우리는 문헌에서 두 가지 관계에 대한 증거를 발견했다.

We found evidence for both relationships in the literature.

임상 추론 오류 감소 전략

Strategies for reducing errors in clinical reasoning

문헌에는 일반 전략, 휴리스틱 기반 전략, 지식 기반 전략 등 최소 세 가지 종류의 개입이 설명되어 있다.55

At least three classes of interventions have been described in the literature: general strategies, heuristic- based strategies, and knowledge-based strategies.55

일반 오류 감소 전략.

General error reduction strategies.

아마도 오류를 줄이기 위한 가장 간단한 전략은 "속도를 줄이고 시스템 2에서 보완을 요청하라"는 Kaneman의 지시에 따라, 임상의사에게 신중하고 체계적으로 그리고 모든 대안을 모색하라고 훈계하는 것일 것이다. 이러한 유형의 개입을 검토하기 위한 전형적인 연구전략은, 타입 2 처리에 이용 가능한 시간을 수정하기 위해, 한 집단은 "조심하고, 체계적이며, 철저하다"라고 하고, 다른 집단은 "가능한 한 빨리 가라"라고 하는 두 집단 설계를 이용하는 것이다. 이 전략을 사용한 세 가지 연구는 진단 정확도에 차이가 없음을 보여주었다.29,30,56 반면에 Mamede와 동료들은 비슷한 전략을 사용하였고 어느 정도 성공하였다.

Perhaps the simplest strategy to reduce errors is to admonish clinicians to be careful and systematic and to explore all alternatives, following Kahneman’s26 directive to “slow down and ask for reinforcement from System 2.” A typical research strategy to examine this type of intervention is to use a two-group design in which one group is told to be “careful, systematic, thorough” and the other group is told to “go as quickly as possible,” with a view to modifying the time available for Type 2 processing. Three studies using this strategy showed no difference in diagnostic accuracy.29,30,56 On the other hand, Mamede and colleagues57 used similar strategies with some success.

경험적 기반 오류 감소 전략.

Heuristic-based error reduction strategies.

인지적 편견의 영향을 줄이기 위한 전략은 이러한 인식이 진단 오류를 감소시킬 것이라는 가정 하에 참가자들에게 발생가능한 편견을 교육하기 위해 고안되었다. 몇몇 연구들은 단순히 편견을 확인하는 데 초점을 맞춰왔다.

Strategies directed at reducing the effect of cognitive biases are designed to educate participants about possible biases, with the assumption that this awareness will reduce diagnostic errors. Several studies have focused on simply identifying biases.

본드와 동료는 응급의학 전공의에게 인지적 편견에 대한 강의를 했다. 전공의들이 편견에 대해 배웠다고 인식했지만, 다시 한번 진단 오류에 대한 개입의 효과는 테스트되지 않았다. Ogdie와 동료들61은 전공의들이 인지편향과 진단오류 경험에 대한 성찰적 글쓰기 및 토론 과제를 완료하는 과정을 구현했다. 비록 전공의들이 인지적 편견을 보인 사건을 상기할 수 있었지만, 그 편향을 독립적으로 확인하지 못했고, 그 편향이 그들의 진단 정확도에 미치는 영향의 측정도 없었다.

Bond and colleagues60 taught a course on cognitive biases to emergency medicine residents. Although residents perceived that they had learned about biases, again, the effect of the intervention on diagnostic errors was not tested. Ogdie and colleagues61 implemented a course where residents completed reflective writing and discussion assignments about their experience with cognitive bias and diagnostic error. Although the residents were able to recall an episode where they exhibited a cognitive bias, there was no independent confirmation of that bias and no measurement of its effect on their diagnostic accuracy.

오직 세 가지 연구만이 참가자들에게 진단 추론에서 특정한 인지적 편견을 인식하도록 가르치기 위해 고안된 교육적 개입의 효과를 조사했다.62–64 이러한 연구들 중 두 가지는 응급의학 교대로 사무직 학생에 대한 교육적 개입을 테스트했고, 이어서 서면 사례 기반 사후 테스트가 있었다.62,63 개입에 따른 오류의 감소는 없었다.

Only three studies examined the effect of an educational intervention designed to teach participants to recognize specific cognitive biases in diagnostic reasoning.62–64 Two of these studies tested an educational intervention on clerkship students in an emergency medicine rotation, followed by a written case-based posttest.62,63 There was no reduction in errors from the intervention.

다른 연구에서는 [debiasing 체크리스트의 효과("내가 경험적 사고의 내재적 결함을 고려했는가?"와 같은 질문 포함)] 대 [25개의 가능한 차등 진단에 대한 사례별 체크리스트의 효과]65를 비교했다. 저자들은 debiasing 체크리스트의 유의한 이점은 찾지 못했다. 그러나 사례별 체크리스트는 진단 정확도를 크게 향상시켰다.

One other study directly compared the effect of a debiasing checklist (with questions like “Did I consider the inherent flaws of heuristic thinking?”) versus the effect of a case-specific checklist of 25 possible differential diagnoses.65 The authors found no significant benefit to the debiasing probe; however, the case- specific checklist resulted in a significant improvement in diagnostic accuracy.

따라서 다수의 연구가 레지던트가 인지적 편견을 정의하는 법을 배울 수 있다는 것을 증명했고, 특정한 편견을 설명하기 위해 설계된 서면 및 비디오 사례 작업에서 편견을 인식할 수 있다는 약한 증거가 있지만, 놀랍게도 [인지적 편견을 식별하는 능력]과 [편견과 진단 오류의 감소] 사이의 연관성을 연구한 연구는 거의 없다. 이 관계를 연구한 사람들은 그러한 개입에 아무런 도움이 되지 않았다.

Thus, although a number of studies have demonstrated that residents can learn to define cognitive biases, and there is weak evidence that they may be able to recognize biases in written and video case workups that are designed to illustrate specific biases, surprisingly few studies have examined the link between their ability to identify cognitive biases and a decrease in diagnostic errors. Those that did study this relationship showed no benefit to such interventions.

지식 기반 오류 감소 전략.

Knowledge-based error reduction strategies.

아마도 가장 광범위하게 연구된 개입은 Mamede, Schmidt 및 동료들이 개발한 기술인 의도적 성찰일 것이다.42,43,666670 그들의 전략은 [작업 진단working diagnosis이 정확하지 않다는 것을 인식하는 열쇠가 그 진단과 모순되는 증거를 식별하는 것]이라는 가정에 기초한다. 이 기법은 사례로 돌아가서 그 특징을 모두 기록한 다음 작업 진단과 일치하지 않는 특징을 식별해야 한다.

Perhaps the most widely studied intervention is deliberate reflection, a technique developed by Mamede, Schmidt, and colleagues.42,43,66–70 Their strategy is based on the assumption that the key to recognizing that a working diagnosis is not correct is identifying evidence that is inconsistent with that diagnosis. This technique requires going back to the case, writing down all of its features, and then identifying any features that are discordant with the working diagnosis.

이 전략은 분석적(타입 2) 사고에 근거한 시정조치를 권장하지만, 그것은 분명히 (잘못에 대한 인지적 휴리스틱을 식별하는 것이 아니라) 적절한 지식을 식별하는 데 초점을 맞추고 있으며, 진단적 관련 정보의 검색 및 재구성에 대한 구조적 접근방식으로 가장 잘 설명될 수 있다.

Although this strategy encourages a corrective action based on analytical (Type 2) thinking, it is clearly focused on identifying the appropriate knowledge, not on identifying the cognitive heuristic at fault, and may best be described as a structured approach to the retrieval and reorganization of diagnostically relevant information.

한 연구는 단순 사례와 복잡한 사례 진단에 대한 성찰 효과와 지시되지 않은 추론의 효과를 대조하였다.69 복잡한 사례 진단에서 성찰의 긍정적인 효과가 주로 주목되었다.

One study contrasted the effects of reflection and those of undirected reasoning on diagnosing simple versus complex cases.69 The positive effect of reflection was primarily noted in diagnosing complex cases.

세 번째 연구 52. 간단한 사례를 해결하는 레지던트의 경우, 저자들은 진단 정확도에 차이가 없음을 발견했고, 복잡한 사례를 해결하는 사람들에게는 '의식적인 사고' 조건에서 결과가 우월했다. 반대로, 이 개입은 의대생들이 간단한 사건을 해결하는 데 도움이 되었지만, 복잡한 사건을 해결하는 데는 도움이 되지 않았다. 이 연구결과는 이 개입이 분석지식을 동원했다는 것을 시사하는데, 초보자들에게는 [단순한 사례의 해결]이 개선되고, 반면 더 advanced 의사에게는 [복잡한 사례의 해결]에 효과적이었다.

A third study 52. For residents solving simple cases, the authors found no difference in their diagnostic accuracy; for those solving complex cases, the results of the conscious thought condition were superior. Conversely, the intervention benefited medical students solving simple cases but not those solving complex cases. This finding suggests that the intervention mobilized analytical knowledge, which for novices resulted in improvement in solving simple cases and for more advanced clinicians was effective for solving complex cases.

salient distracting feature가 있는(즉, 임상의의 정확한 진단을 방해하기 위해 의도적으로 포함된 특징) 연구에서, 성찰적 추론을 사용하도록 권장된 레지던트들은 예시-기반 추론을 사용하라는 말을 들었을 때보다 더 정확했다.68 그러나 저자들은 의대생들에게 아무런 차이를 발견하지 못했다. 다시 말하지만, 이 발견은 레지던트의 보다 광범위한 분석적 지식을 보여주는 것일지도 모른다.

In a study of salient distracting features (i.e., features deliberately included to distract the clinician from the correct diagnosis), residents encouraged to use reflective reasoning were more accurate than when they were told to use exemplar-based reasoning.68 However, the authors found no difference for medical students. Again, this finding may reflect residents’ more extensive analytical knowledge.

두 가지 연구에 따르면, 성찰을 위한 추가 시간이 레지던트와 경험 있는 의사들 사이에서 진단 정확도의 큰 증가를 이루었다.71,72 그러나 반사 단계에는 참여자의 정확도 향상에 큰 기여를 할 수 있는 추가 임상 데이터의 제시도 포함되었다.

Two studies showed that additional time for reflection resulted in a large increase in diagnostic accuracy, among both residents and experienced physicians.71,72 However the reflection phase also involved the presentation of additional clinical data, which may be a major contributor to participants’ increased accuracy.

이러한 연구를 통해 우리는 학습자의 수준과 사례의 난이도가 영향을 미치기는 하지만, 성찰이 상당히 일관되게 유익하다고 결론지을 수 있다. 이러한 차이는 [문제해결에 필요한 적절한 지식의 가용성]의 차이로 인한 결과인 듯 하다. 성찰이 효과적인 경우에는, 참가자들이 자신의 지식을 식별하고 재구성하도록 장려했기 때문에 그러한 결과를 달성한 것이다. 

From these studies, we conclude that reflection is fairly consistently beneficial, although the level of the learners and the difficulty of the cases do affect its impact. This mitigation appears to be a consequence of the availability of appropriate knowledge to resolve the problem; to the extent that reflection is effective, it achieves these results by encouraging participants to identify and reconfigure their knowledge. 

이 전략은 복잡한 사례를 해결하는 주니어 임상의에게는 효과적이지 않다. 왜냐하면 그들은 처음부터 사건을 해결할 충분한 지식을 가지고 있지 않기 때문이다. 반대로, 전문가들은 그러한 문제들을 처음부터 쉽게 해결할 수 있기 때문에 단순한 경우를 해결하는 데 있어서 성찰의 혜택을 받지 못한다.

This strategy is ineffective for junior clinicians solving complex cases because they simply do not have sufficient knowledge to resolve the case from the start. Conversely, experts do not benefit from reflection in solving simple cases, because they can solve such problems easily from the start.

이러한 개입에 대해 한 가지 더 고려할 점이 있다. 일반적으로 모든 경우에 대한 성찰은 두 번째 패스로 요구되며, 원래의 서면 케이스가 이용 가능하다. 실제로 유용하기 위해서는, Kahneman이 말하는 것처럼, 임상의는 "자신이 지뢰밭에서 있다는 것을 인식해야" 하며, 자신이 실수를 저질렀다고 믿고, 더 이상 return할 case description이 없을 때 추가 검토를 시작해야 한다. 그렇다면 문제는 [의사는 과연 주어진 상황이 문제가 있다는 것을 인식하고 스스로 오류를 고칠 수 있는가] 하는 것이다.

There is one further consideration regarding these interventions. the reflection is usually required for all cases as a second pass, with the original written case available. To be useful in practice, the clinician must, as Kahneman26 says, “recognize [she is] in a minefield” and initiate additional review when she believes she has committed an error and does not have a case description to which to return. The question then is: Can clinicians recognize that a situation is problematic and correct the error on their own?

답은 "약간만 그렇다"인 것 같다. 인턴, 레지던트, 의대생들을 대상으로 프리드먼과 동료 73명이 실시한 대규모 연구에서 참가자들의 자기평가 신뢰도가 잘못 진단한 경우보다 올바르게 진단된 경우에 더 높은 것으로 나타났다. 전문지식이 높아짐에 따라 정확성과 신뢰성이 향상되었지만, 저자들은 과신 및 저신뢰의 많은 예를 확인하였다.

The answer appears to be “a bit.” A large study by Friedman and colleagues73 involving practicing internists, residents, and medical students showed that participants’ self-assessed confidence was higher for cases they diagnosed correctly than for those they diagnosed incorrectly. Increasing expertise led to greater accuracy and confidence, although the authors identified many instances of both over- and underconfidence.

결론적으로, 여러 근거에 따르면, 휴리스틱스 및 편견의 식별을 통한 오류 감소에 대한 개입이 진단 오류에 아무런 영향을 미치지 않는다는 것을 암시한다. 이와는 대조적으로, 임상의가 자신의 지식을 동원하고 재구성하거나 사례의 내용을 성찰하도록 장려하는 다양한 전략을 사용하는 여러 연구에서는 어느 정도 이점이 나타났다. 즉, 이는 참가자가 문제와 관련된 추가 지식을 identify해야 한다는 것을 보여주는 결과일 가능성이 높다.

In conclusion, the evidence suggests that interventions directed at error reduction through the identification of heuristics and biases have no effect on diagnostic errors. By contrast, a number of studies using various strategies that encourage clinicians to mobilize and reorganize their knowledge or to reflect on the content of the case showed some benefit, which is presumably a consequence of directing participants to identify additional knowledge that is relevant to the problem.

결론

Conclusions

(1) 임상 추론의 오류가 주로 많은 저자가 제시한 하나의 처리 전략(타입 1)에서 발생하는지 

(2) 이러한 오류가 인지적 편견 또는 지식 결손의 결과인지 여부.

(1) whether errors in clinical reasoning arise primarily from one processing strategy (Type 1) as suggested by many authors, and 

(2) whether these errors are a consequence of cognitive biases or knowledge deficits.

우리가 문헌에서 발견한 증거는 일관성이 있는 것 같다. 임상 추론의 오류가 주로 제1형식 처리에서 발생하며 제2형식 처리에 의해 수정된다는 이론적 입장은 너무 단순하다. 오류는 두 종류의 처리에서 모두 발생할 수 있다. 무엇이 오류를 일으키고 그것들을 줄이기 위해 무엇을 할 수 있는지에 대해, 현재까지 문헌은 Graber와 동료들의 결론에 부합한다. "이러한 개입의 폭과 열의 사이에는 큰 차이가 있지만... 실제 개입의 빈약함[그리고 진단 정확도나 오류를 다루는 매우 제한된 증거]이 있다." 

The evidence we found in the literature appears consistent. The theoretical position that errors in clinical reasoning arise primarily from Type 1 processing and are corrected by Type 2 processing is simplistic. Errors can arise from both kinds of processing. As to what causes errors and what can be done to reduce them, the literature to date aligns with Graber and colleagues’55 conclusion that there is “a major discrepancy between the breadth and enthusiasm for these interventions … but a paucity of actual interventions [and] very limited evidence addressing diagnostic accuracy or errors.” 

그럼에도 불구하고, 우리가 검토한 연구에서 몇 가지 결론은 가능하다. 첫째, 지금까지의 근거는 [대부분의 오류는 인지적 편견의 결과이며, 의사들이 편견을 인식하도록 훈련시킴으로써 감소될 수 있다]는 가정을 지지하지 않는다. 마찬가지로, "속도를 늦추거나, 성찰하거나, 주의하고, 체계적으로 행동하라"는 일반적인 경고는 진단 과정을 늦추는 것 이상의 효과는 그다지 없어 보인다. 이와는 대조적으로, 지식이 부족한 것이 진단 오류의 중요한 원인이 되며, 지식의 일부 재조직화를 유도하는 전략은 작지만 일관된 이점이 있는 것으로 보인다.

Nevertheless, some conclusions are possible from the studies we reviewed. First, the assumption that most errors are a consequence of cognitive biases and could be reduced by training physicians to recognize biases is not borne out by the evidence. Similarly, general admonitions to slow down, reflect, or be careful and systematic likely have minimal effect beyond slowing the diagnostic process. By contrast, knowledge deficits are a significant contributor to diagnostic error, and strategies to induce some reorganization of knowledge appear to have small but consistent benefits.

개별 수준에서 오류 감소를 지향하는 다양한 교육 전략을 검토했지만, 다른 수준의 다른 접근 방식도 제안되었다. 집단 의사결정은 시뮬레이션 트라우마 사례를 사용하여 연구된 그러한 가능성 중 하나이다.74 컴퓨터 의사결정 지원 시스템은 오랜 역사를 가지고 있다. 그러나, 그러한 시스템이 의사에게 주는 이점은 크지 않다.75 그리고 앞에서 논의한 바와 같이, 의사들은 종종 자신의 오류를 인식하지 못하기 때문에 의사결정에서 서포트를 얻고자 하지 않는다.

While we have examined various educational strategies directed at error reduction at an individual level, other approaches at different levels also have been suggested. Group decision making is one such possibility that has been studied using simulated trauma cases.74 Computer decision support systems have a long history; however, the benefit of such systems to physicians is not large,75 and, as we discussed earlier, physicians often are not aware of their errors, so they do not seek out decision support.73

하지만 한 가지는 분명하다. [진단 오류는 인지적 편견에서 비롯되며], [비교적 단순하고 빠른 전략이 편견을 식별하고 제거하는 것이 오류를 줄일 수 있다]는 가정이 얼마나 매력적이든간에, 근거는 이러한 전략이 효과성이 없거나 제한적이라는 것을 일관되게 입증한다. 지식이 중요하다. 인지적 편견에서 오류의 일부 비율이 발생하더라도 오류를 해결하기 위해서는 임상적 지식의 적용이 필요한데, 이러한 지식이 부족한 것이 초반의 실수의 원인이었을 수 있다.77 오류 감소에 관한 과학이 있다면 그것은 유아기에 있으며, 우리는 아직 갈 길이 멀다.

One thing is clear though. However attractive the assumption is that diagnostic errors originate in cognitive biases, and the implication that relatively simple and quick strategies directed at identifying and eliminating biases can reduce errors, the evidence is consistent in demonstrating that such strategies have no or limited effectiveness.76 Knowledge matters. Even if some proportion of errors arise from cognitive biases, the resolution of errors also involves the application of clinical knowledge, which may underlie the initial mistake.77 If there is a science of error reduction, it is in its infancy, and we have far to go.

마지막으로, 진단 오류의 실제 비율에는, 약간의 불확실성이 있지만, 이러한 오류를 방지할 수 있는 범위에는 훨씬 더 큰 불확실성이 존재한다는 점에 주의해야 한다. 임상에서 모호함은 상수다. 절대적 진단을 내릴 정보가 불충분하기 때문에, 어떤 오류는 발생할 수밖에 없다. 모든 오류를 없애기 위해 마법의 총알이 등장할 것이라는 가정은 희망사항에 지나지 않을 것이다.

Finally, we must caution that, while there is some uncertainty in the actual rate of diagnostic errors, there is far greater uncertainty in the extent to which these errors are preventable. Ambiguity is a constant in clinical practice; it is inevitable that some errors will arise simply because there is insufficient information to make a definitive diagnosis. The assumption that a magic bullet will emerge to eliminate all errors is likely nothing more than wishful thinking.

2 Balogh EP, Miller BT, Ball JR, eds. Improving Diagnosis in Health Care. Washington, DC: National Academies Press; 2015.

의료전문직 교육에서 임상추론이라는 용어: 함의와 고려할 점(Med Teach, 2019)

The terminology of clinical reasoning in health professions education: Implications and considerations

Meredith Younga,b , Aliki Thomasa,c,d , David Gordone, Larry Gruppenf , Stuart Lubarskyb,g, Joseph Rencich,i , Tiffany Ballardf, Eric Holmboej,k,l , Ana Da Silvam , Temple Ratcliffen , Lambert Schuwirtho,p,q,r and Steven J. Durningr

임상 추론은 보건 전문가(Higs et al. 2008)의 핵심 요소로 간주되며, 보건 직업 교육(Eva 2005; Young et al. 2018a의 요약)에서 교육 및 평가에 중요한 초점이 되어 왔다.

Clinical reasoning is considered a core component of being a health professional (Higgs et al. 2008) and has been an important focus for teaching and assessment in health professions education (summaries in Eva 2005; Young et al. 2018a).

그러나 임상 추론은 동질적 구인이 아니다. 임상 추론에 관한 문헌은 광범위하고 다양하여 다양한 직업과 이론적 프레임워크를 나타낸다(Eva 2005; Norman 2005; Ilgen et al. 2012; Cutrer et al. 2013; Holmboe & Durning 2014; Norman et al. 2014; Bluumal-Barby and Kriger 2015). 임상추론에 관한 여러 가지 서로 다른 이론적 틀 외에도, 임상 추론을 가리키는 용어도 많다. 보건 전문직 전반에 걸친 임상 추론과 관련하여 100개 이상의 용어가 확인되었다. 

However, clinical reasoning is not a homogeneous construct—the literature on clinical reasoning is broad and diverse, representing many different professions and theoretical frameworks (Eva 2005; Norman 2005; Ilgen et al. 2012; Cutrer et al. 2013; Holmboe & Durning 2014; Norman et al. 2014; Blumenthal-Barby and Krieger 2015). In addition to several different theoretical frameworks within the literature, there are a large number of terms used to refer to clinical reasoning. A recent review identified over one hundred terms used in reference to clinical reasoning across the health professions (Young et al. under review). 

용어의 다양성(예: 진단 추론, 직관적 프로세스, 상황별 추론, 비판적 사고, 공유 의사 결정)은 다음으로 이어진다. 

• 교육적 개입에서 다양한 타겟, 

• 평가에서 다양한 초점 

• 임상적 추론이 무엇인지에 대한 서로 다양한 이해

이러한 용어는 명시적으로 정의되는 경우는 거의 없고, 주로 독자에게 해석이 맡겨져 있다.

The diversity of terms (e.g. diagnostic reasoning, intuitive processes, contextualized reasoning, critical thinking, shared decision making) leads to different targets for specific teaching interventions, different areas of focus for assessment, and likely different understandings of what clinical reasoning is. These terms are seldom explicitly defined (Young et al. under review), leaving interpretation up to the reader.

방법론

Methodology

이 범위 연구는 검토에 포함된 625개 논문에서 임상 추론을 언급하는 데 사용되는 용어를 식별하고 분류하였다.

This scoping study identified and categorized terms used to refer to clinical reasoning across 625 papers included in the review.

데이터 추출

Data extraction

분석

Analysis

용어의 분류가 특정 전문적 배경의 영향을 받을 가능성이 있다는 것을 인지하고, 분석 과정의 엄격성과 신뢰도를 높이기 위해 분류 과정(그림 1에서 요약)에 다양한 전문 분야(연구자 또는 임상 교육자)를 가진 5명의 팀원(MY, AT, SL, DG, LG)이 포함되었다. 

• 연구자 또는 의사교육자

• 의사 또는 직업 치료사 

• 연구 및/또는 교육 책임의 핵심 중점 분야로서의 임상 추론을 다루는 사람

Recognizing that the categorization of terminology is likely influenced by particular professional backgrounds, the categorization process (summarized in Figure 1) involved five team members (MY, AT, SL, DG, LG) with various areas of expertise (researcher or clinical educator; physician or occupational therapist; clinical reasoning as a core focus area of research and/or educational responsibility), in order to increase the rigor and trustworthiness of the analytical process.

1단계: 카테고리 구조 개발

Phase 1: developing category structure

2단계: 테스트 카테고리 구조

Phase 2: testing category structure

3단계: 불일치 조정

Phase 3: reconciling disagreement

결과

Results

13개의 코더들이 임상적 추론을 언급하는 데 사용되는 것으로 625개의 논문에서 110개의 용어를 확인했다(영 외). 검토 중인 110개 항은 625개 논문에서 모두 693차례 확인됐다.

Thirteen coders identified 110 terms, across 625 papers, as being used to refer to clinical reasoning (Young et al. under review). The 110 terms were identified a total of 693 times across the 625 papers.

용어 및 코드 설명 범주

Categories of terms and code descriptions

아래의 6개 범주에 대해 설명하고 각 범주와 관련된 합의 용어를 표 1에 제시한다. 코딩 프로세스를 통해 개발되고 개선된 용어의 범주는 다음과 같았다.

The six categories of terms are described below and consensus terms associated with each category are presented in Table 1. The categories of terms, developed and refined through our coding process, were:

1. 추론의 목적: 임상추론을 하는 목적, 과제 또는 목표(예: 환자 관리)와 관련된 용어

1. Purpose/goal of reasoning terms referred to the purpose, task, or goal for engaging in reasoning (e.g. patient management).

2. 추론의 결과: 용어는 과정이나 추론에 대한 접근(예: 진단)보다는, 임상 추론의 성과나 산출물, 또는 정의된 추론의 종결점end-point에 초점을 맞춘다.

2. Outcome of reasoning: terms reflect a focus on the product or output of clinical reasoning or on a defined end-point of reasoning, with little emphasis on process or approach to reasoning (e.g. diagnosis).

3. 추론 수행능력: 추론의 성과나 과정의 숙달(예: 임상 역량, 전문가적 추론) 또는 추론 결과의 퀄리티(예: 판단 오류)에 관한 용어

3. Reasoning performance: terms reflect the mastery of performance or process(es) of reasoning (e.g. clinical competence, expert reasoning), or the quality of outcome of reasoning (e.g. judgment error).

4. 추론 프로세스: 문제 해결에 사용되는 프로세스, 전략, 구성 요소, 단계 또는 근거를 포함하는 임상 추론의 프로세스 구성요소에 초점을 맞춘 용어. 추론 과정을 반영하는 용어는 다양한 인지적 또는 심리학적 기반 프레임워크(예: 패턴 인식)와 밀접하게 연계되는 경향이 있었다.

4. Reasoning process: terms focus on the process components of clinical reasoning, encompassing processes, strategies, components, steps, or rationale used to solve a problem. Terms reflecting reasoning process tended to be tightly linked to a variety of cognitive or psychology-based frameworks (e.g. pattern recognition).

5. 추론 기술: 이 용어에서 임상추론(또는 구성요소 프로세스)이라는 용어는 안정적이고 일반화 가능하다. 확장extension을 통해서 교육가능, 학습가능, 훈련가능한 작업이나 기술들의 광범위한 집합이다(예: 비판적 사고).

5. Reasoning Skills: terms imply clinical reasoning (or component processes) is stable and generalizable; a set of broad tasks or skills that are teachable, trainable, and/ or by extension learnable (e.g. critical thinking).

6. 추론의 맥락: 이 범주는 환경, 사회, 환자 또는 제공자 특성이 임상 추론에 미치는 영향(예: 상황 인식)을 반영한다.

6. Context of reasoning: This category reflects the influence of environmental, social, patient, or provider characteristics on clinical reasoning (e.g. situational awareness).

임상적 추론을 가리키는 용어의 분류

Categorization of terms used to refer to clinical reasoning

1. 가장 적절한 분류(n1⁄474)에 대해 완전한 합의가 가능했던 용어. 표 1을 참조한다.

1. Terms for which complete consensus was possible regarding the most appropriate categorization (n¼74); see Table 1.

2. 다수결 합의(코더 3개 중 2개로 정의)는 가능했지만 합의가 불가능했던 용어(n1⁄416); 표 2를 참조한다.

2. Terms for which majority agreement (defined as two of three coders) was possible, but no consensus was possible (n¼16); see Table 2.

3. 동의나 합의가 불가능했던 용어(n1⁄420); 표 3을 참조한다.

3. Terminology for which no agreement or consensus was possible (n¼20); see Table 3.

4. 표 4의 임상적 추론을 언급하기 위해 가장 일반적으로 사용되는 5가지 용어와 그 분류(해당되는 경우)에 관한 합의.

4. Agreement regarding the five most commonly used terms to refer to clinical reasoning, and their categorization (where applicable), in Table 4.

고찰

Discussion

심층적이고 반복적이며 다단계 코딩 프로세스를 통해 다음과 같은 6가지 주요 용어 범주를 파악했다. 

• 기술로서의 추론, 

• 하나의 과정으로서 추론, 

• 목표 지향적인 추론, 

• 결과의 수단으로서의 추론, 

• 문맥적으로 자극된 추론, 또는 

• 추리 수행 

Through an in-depth, iterative, and multi-stage coding process, we identified six main categories of terms: 

• reasoning as a skill, 

• reasoning as a process, 

• reasoning as goal-oriented, 

• reasoning as a means to an outcome, 

• reasoning as contextually-influenced, or 

• reasoning performance. 

대다수의 용어(110개 중 74개)에 대해서는 합의가 이루어졌지만 임상 추론을 지칭하는 용어의 거의 3분의 1에 대해서는 분류의 차이를 해소할 수 없었다.

Though consensus was reached for the majority of terms (74 out of 110), we were unable to resolve differences in categorization for nearly one third of terms used to refer to clinical reasoning.

우리는 이 조건들에 대한 협상된 공통의 이해를 통해 합의를 도출하는 것이 우리의 의견 불일치를 문서화하는 것만큼 유익하지 않다고 판단했다. 추측이지만, 이 가장 일반적인 용어들 중 일부는 똑같이 광범위한 임상 추론 구조를 위한 넓은 대체물로 사용될 수 있다. 따라서, [초점, 훈련, 입장, 교육이나 평가 대상, 또는 무엇이 임상추론을 구성하는지에 대한 개념화]에 따라 다르게 해석되는 경향이 있다. 

We decided that creating consensus through a negotiated common understanding of these terms was not as beneficial as documenting our disagreement. While speculative, it may be that some of these most common terms are used as broad substitutes for the equally broad construct of clinical reasoning, and, as such, tend to be interpreted differently depending on the focus, training, stance, teaching or assessment target, or even conceptualization of what constitutes clinical reasoning (Young et al. 2018b). 

"임상추론"이라는 용어가 서로 다르게 사용되며 서로 다르게 이해되는 매우 광범위한 개념일 뿐만 아니라, 이러한 [일반적 대체 용어]는 용어에 대한 로르샤흐 시험의 기능을 할 수 있다. 즉, 사람마다 임상 추론을 이해할 때 자신의 특별한 렌즈를 통해 용어를 해석하는 것이다.

It may be that in addition to the term “clinical reasoning” being a very broad concept that is differentially used (Young 2018) and differentially understood (Young et al. 2018b), these common substitute terms may function as terminological Rorschach test—with individuals interpreting these terms through the lens of their particular understanding of clinical reasoning.

우리 팀 전체의 합의가 부족하다는 것은 중요한 의미를 지닌다. 임상추론을 가리키는 용어의 [유추된 의미]에 모호함이 있음을 시사한다.

The lack of consensus across our team has important implications. It suggests that there is ambiguity in the inferred meaning of terms used to refer to clinical reasoning.

교육 및 평가 실무의 맥락에서, 이것은 임상 추론을 언급하기 위해 사용되는 용어에 대한 일관되지 않은 이해가 있을 수 있다는 것을 의미한다. 사람마다 교육 및 평가의 함의에 대해서 동일한 의미를 서로 다른 의미로 사용할 수 있다. —임상 교육자, 프로그램 감독자 또는 학습자 중 어느 쪽이든 —

In the context of teaching and assessment practices, this could mean that there may be inconsistent understanding of the terms being used to refer to clinical reasoning. Individuals—whether clinical educators, program directors, or learners—may use the same terms with different intended meanings with potentially concerning pedagogical and assessment implications.

예를 들어, 교육 세션의 주제가 "진단 판단"에 있는 경우

—이 개념은 다르게 이해될 수 있다. 

• 추론 목적(임상적 추론 뒤에 있는 "이유")으로, 

• 추리 기술(좋은 임상 추론의 "행복"), 또는 

• 추리 수행(숙달되어야 할 것)으로서. 

For example, if the topic of a teaching session is on “diagnostic judgment”—that concept could be understood differently; 

• either as a reasoning purpose (the “why” behind clinical reasoning), 

• a reasoning skill (the “habits” of good clinical reasoning), or as 

• a reasoning performance (something to be mastered). 

또한 진단 판단에 대한 이러한 상이한 이해는 매우 다른 평가 관행을 초래할 수 있다.

• 어떤 사람은 formal rationale로 의사결정을 정당화할 수 있는 능력에 초점을 맞출 수 있다. 

• 다른 사람은 판단을 위한 정보출처로 복수의 증거 자료를 얼마나 일관되게 사용하는지를 조사할 수 있다. 

• 또 다른 사람은 시간이 지남에 따라 진단의 정확도가 향상되었다는 문서화된 증거가 있는지 검사할 수 있다.

Further, these different understandings of diagnostic judgement would likely result in very different assessment practices—

• one might focus on the ability to justify a decision with a formal rationale (assessing the “why”), 

• the other might examine how consistently one uses multiple sources of evidence to inform judgment (assessing the “habits”), and 

• another might examine whether there is documented evidence of improved accuracy of diagnosis across time (assessing mastery).

용어는 또한 교사와 학습자 사이에서도 서로 다르게 이해될 수 있다. 학습자가 competent reasoner가 되기 위해 어떤 행동을 보여 주어야 하는지에 관한 혼동을 초래할 수 있다(2015년).

Terms may also be differentially understood between teachers and learners— potentially leading to confusion regarding what behaviors learners should be demonstrating to appear as competent reasoners (similar to procedural variation work done by Arpamian et al. (2015)).

용어를 사람마다 서로 다르게 이해하는 문제는 임상추론에 국한되지 않는다. 예를 들어, 어떤 구성의 서로 다른 이해와 관련된 유사한 문제는 전문직업성에서 확인되었다(Wynia et al.2014). 임상 추론의 경우, 우리가 모두가 공통의 이해 또는 의도된 해석을 한다고 가정하지만, 임상추론이라는 용어의 의도된 의미에 대한 혼동이 존재하면 역량 프레임워크 내에서 특히 문제가 될 수 있다.

The potential of multiple different understandings of a key term are not limited to clinical reasoning; for example,similar issues around different understandings of a construct have been identified in professionalism (Wynia et al.2014). In the case of clinical reasoning, confusion regarding the intended meanings of terms could be particularly problematic within competency frameworks if we assume a common understanding, or intended interpretation

우리는 우리가 의도적으로 완전히 합의된 방법에 관여하려고 하지 않았다는 것을 반복하고 싶다. 델파이 방법론을 사용하거나 델파이 방법론을 채택하거나 "주요 규칙" 분류 또는 코드화 규칙을 부과하는 것이 가능했을지라도, 합의를 지지하기 위한 과정에 참여하는 것은 우리의 분석 과정에 의해 밝혀지는 중요한 불일치를 얼버무렸을 것이다. 의견 불일치를 해소하기 위해 노력하기보다는, 임상추론에 대한 여러 용어에 대한 이해의 차이에 관한 논의를 촉진하는 편이 낫다고 판단했다.

We want to reiterate that we intentionally did not seek to fully engage in consensus methods. Though it may have been possible to use a Delphi, or adapted Delphi methodology, or to impose a “majority rules” categorization or coding rule, engaging in a process intended to support consensus would have glossed over important disagreements brought to light by our analysis process. Rather than trying to resolve disagreement, we decided to report it to facilitate a discussion regarding differences in our understandings of the many terms for clinical reasoning.

Conclusion

이 연구는 또한 임상추론은 다양한 용어로 표현되는 다차원적 개념이며, 일반적으로 이해되는 하나의 통일된 구조라기 보다는 암묵적 의미와 유추된 의미 모두를 가진 다차원 개념임을 시사한다.

This work also suggests that clinical reasoning is a multidimensional concept, with a wealth of associated language, and a multiplicity of both implied and inferred meanings, rather than a singular, unified, commonly understood construct. 

Young ME, Dory V, Lubarsky S, Thomas AT. 2018a. How different theories of clinical reasoning influence teaching and assessment. Acad Med. 93:1415. (AM Last Page)

Young ME, Thomas A, Lubarsky S, Ballard T, Gordon D, Gruppen L, Holmboe E, Ratcliffe T, Rencic J, Schuwirth L, Durning S. 2018b. Drawing boundaries: the difficulty of defining clinical reasoning. Acad Med. 93:990–995.

Wynia MK, Papadakis M, Sullivan WM, Hafferty FW. 2014. More than a list of values and desired behaviors: a foundational understanding of medical professionalism. Acad Med. 89:712–714.

평가에 의해서 가려진 것: 내과 WBA에서 증례발표에 대한 학습자와 교수자의 관점(Acad Med, 2019)

Overshadowed by Assessment: Understanding Trainee and Supervisor Perspectives on the Oral Case Presentation in Internal Medicine Workplace-Based Assessment

Lindsay Melvin, MD, MHPE, James Rassos, MD, Daniel Panisko, MD, MPH, Erik Driessen, PhD, Kulamakan M. Kulasegaram, PhD, and Ayelet Kuper, MD, DPhil

구두증례발표(OCP)는 의사들 간의 의사소통에 필수적인 역할을 한다.1 33 의대생들은 환자의 사례를 제시하는 기술을 일찍 배워 여러 해에 걸쳐 익힌다.4 OCP는 임상 지식의 향상, 환자 커뮤니케이션, 데이터 수집, 해석 및 구두 프레젠테이션을 포함한 많은 기술을 통합하도록 훈련자에게 요구한다.4,5 나아가 OCPs는 연수생과 감독관 간 밀접한 전문적 접촉의 순간을 허용한다.

The oral case presentation (OCP) plays an essential role in communication between physicians.1–3 Medical students learn the skill of presenting a patient’s case early and hone it over many years.4 OCPs require trainees to integrate many skill sets, including the refinement of clinical knowledge, patient communication, data gathering, interpretation, and verbal presentation.4,5 Further, OCPs allow moments of close professional contact between trainees and supervisors.

그러나, 훈련 프로그램에서 OCP는 공식적인 평가로서 표준화되어있지 않다. OCP의 의료 교육 및 특히 IM 훈련에서 잘 확립된 역할에도 불구하고, 감독관이 전체론적 연습생 평가에 OCP를 어떻게 통합하는지, 연습생이 의학교육에서 OCP를 어떻게 인지하는지에 대한 이해는 여전히 부족하다.

However, OCPs are not standardized as formal assessment in training programs. Despite the OCP’s well-entrenched role in medical education and specifically in IM training, there remains a paucity of understanding around how supervisors integrate OCPs in holistic trainee assessment or how trainees perceive the OCP in their medical education.

우리가 아는 바로는, 지금까지 이 분야의 연구는 OCP의 내용, 형태 또는 스타일의 정량화에 초점을 맞추었다. 이전 연구에서 OCP가 연습생 평가에 기여한다는 것이 광범위하게 드러났지만, 8개의 OCP 평가에 대한 최근 연구는 주로 개별 OCP의 내용 및 프레젠테이션 스타일의 체크리스트 평가 형식을 가정했으며, 임상적 추론은 거의 다루지 않았다.5,9–13

To our knowledge, research in this domain to date has focused on quantification of content, form, or style of an OCP. Although previous studies have shown broadly that an OCP contributes to a trainee’s evaluation,8 recent work on evaluation of OCPs has predominantly assumed the form of checklist assessments of content and presentation style of individual OCPs, with few addressing clinical reasoning.5,9–13

의대생들은 OCP를 데이터 수집 및 공유에 있어 structured exercise으로 보는 반면, 임상의사들은 OCP를 flexible narrative로 본다.4 링가드와 하버14는 또한 감독 임상의가 OCP의 "관련성relevance" 개념에 중요시한다는 점을 상세히 설명했다. "관련성"은 (임상적으로나 수사적으로나) 맥락에 따라 달라지며, 연수생이 OCP에서 유연해야 할 필요성을 강조한다.

Medical students have been described as viewing OCPs as a structured exercise in data gathering and sharing, whereas attending clinicians view OCPs as a flexible narrative.4 Lingard and Haber14 have also elaborated on the importance that supervising clinicians place on the concept of “relevance” in the OCP. “Relevance” is clinically and rhetorically context dependent, highlighting the need for trainees to be flexible in their OCPs.

역량 기반 의료 교육(CBME) 프레임워크에서는 WBA가 핵심적이다. CBME는 authentic formative 평가를 위해 Workplace-based 활동을 이해하고 최적화하는 교육자의 관심을 새롭게 했다.

In a competency-based medical education (CBME) framework, workplace-based assessment is pivotal. CBME has renewed educators’ interest in understanding and optimizing workplace-based activities for authentic formative assessment.

OCP는 즉각적으로 관찰가능한 활동이며, 내재된 교육적 잠재력을 가지고 있다.16 OCP에 대한 훈련자 및 감독자의 OCP 경험은, 특히 평가와 관해서는 동일한 퍼즐의 두 조각을 나타낸다. CBME 교육 모델의 구성요소로 OCP를 공식화하려면 연습생 교육 및 평가에 OCP가 어떻게 사용되는지 명확히 이해해야 한다.

The OCP is an immediately observable activity, ripe with inherent educational potential.16 Trainee and supervisor experiences with OCPs, particularly in assessment, represent two pieces of the same puzzle. Formalization of the OCP as a component of CBME training models6,17 necessitates that we clearly understand how OCPs are used in trainee education and assessment.

방법

Method

내과의 임상 감독자에 의한 전공의 교육 및 평가에서 OCP의 역할을 탐구하기 위해 구성주의자 기반 이론 접근법을 사용했다. 구성주의 기반 이론에서, 지식은 특정 환경과 맥락 안에서 참여자의 경험에 대한 연구자의 탐구를 통해 형성된다. 참가자와 연구자의 경험과 견해는 모두 사회 활동을 둘러싼 의미 구축에 영향을 미친다. 우리 연구팀은 이 연구에 다양한 임상 및 교육적 전문지식을 가져왔다.

We used a constructivist grounded theory approach to explore the role of the oral OCP in trainee education and assessment by clinical supervisors within IM. In constructivist grounded theory, knowledge is constructed through the researcher’s exploration of participants’ experiences within specific settings and contexts.18,19 Both participants’ and researchers’ experiences and views affect the construction of meaning around a social activity.18 Our research team brought varying expertise in clinical and educational work to this study.

세팅

Setting

토론토 대학의 일반 IM 임상 강의실에서, OCP는 하룻밤 사이에 입원한 환자들의 아침 식사 중에 발생한다. OCP의 수는 매일 평균 1-4건이다. 케이스는 보통 후배 연수생(의대생 또는 1학년 레지던트)이 감독관에게 직접 발표한다. 본 연구에서 "훈련자"는 3학년 또는 4학년 의대생과 IM 레지던트를 가리킨다. 본 수련 프로그램에서, 개별 OCP는 공식적으로 평가되지 않는다. 레지던트와 학생을 위한 최종 ITER은 전체 로테이션에 대해서 평가하며, OCP의 요소들은 "의료 전문가" 및 "커뮤니케이터" 카테고리에 포함되어있고, 이를 바탕으로 CanMEDS 영역에서 1에서 5점까지의 등급으로 평가한다.

At the University of Toronto on a general IM clinical teaching unit, OCPs occur during the morning intake of patients admitted overnight on call. The number of OCPs averages between one and four cases daily. Cases are usually presented by junior trainees (medical students or first-year residents) directly to supervisors. In this study, “trainees” refers to clinically based third-or fourth-year medical students and residents in IM. In our training programs, individual OCPs are not formally evaluated. Final in-training evaluation reports for residents and students reflect the entire rotation and employ a 1–5 rating scale across the CanMEDS domains of practice, with elements of OCPs encompassed under the “medical expert” and “communicator” categories.

샘플

Sample

참가자의 샘플링에 대한 이론적 전략을 따랐으며, 이에 따라 데이터 수집과 분석은 후속 데이터 수집에 정보를 제공하였다.19,20

We followed a theoretical strategy for participant sampling, whereby data collection and analyses informed subsequent data collection.19,20

우리는 연령, 성별 및 연도에 따라 다양한 참가자를 선별하기 위해 목표 샘플링을 사용했으며, 이는 우리의 연구 질문에 대한 이해를 증진시키고 상세히 설명할 수 있다.

We used purposive sampling to select participants varied in age, gender, and years of experience who would be able to enrich and elaborate on our developing understanding of our research questions.19,20

모집

Recruitment

자료수집

Data collection

자료 수집과 분석은 반복적이었으며, 근거 이론에 부합한다.

Data collection and analysis was iterative, consistent with grounded theory.20

면접자는 스터디 팀이 작성하고 다듬은 반구조화된 인터뷰 가이드(http://links.lww.com/ACADMED/A599 참조)를 사용했으며 연습생 학습, 평가 및 평가에서 OCP 사용에 관한 개방형 질문 및 잘 했거나 잘 못했던 OCP의 구체적 특징을 묻는 질문으로 구성되었다. 우리는 발생하는 주제와 개념을 탐구하기 위해 인터뷰 가이드를 반복적으로 수정했다. 분석하기 전에 모든 데이터가 deidentified되었다.

Interviewers used a semistructured interview guide created and refined by the study team (see Supplemental Digital Appendixes 1 and 2, available at http://links.lww.com/ACADMED/A599) and consisting of open-ended questions regarding the use of the OCP in trainee learning, evaluation, and assessment as well as questions about specific features of strong and weak OCPs. We iteratively revised the interview guides to explore arising themes and concepts.19 Interviews were audio-recorded and transcribed verbatim. All data were deidentified prior to analysis.

자료분석

Data analysis

우리는 반복적이고 지속적인 비교 방식으로 구성주의적 근거 이론적 접근법을 사용하여 모든 기록을 분석하였다.19,21,22 이론적 샘플링은 데이터 분석과 함께 반복적으로 지속되어 새롭게 부상하는 프레임워크의 차이를 해결하고 코드의 전체 범위의 의미에 대한 이해를 공고히 하였다.19,21–23 분석이 이루어지는 동안, 우리는 데이터 세트를 결합하고 비교하기 전에, 각 참가자를 별도로 그룹화하였다.

We analyzed all transcripts using a constructivist grounded theory approach, in an iterative, constant comparative fashion.19,21,22 Theoretical sampling continued iteratively alongside data analysis to address gaps in the emerging framework and solidify understanding of the full range of meaning of the codes.19,21–23 During analysis, we considered each participant group separately before combining and comparing the data sets for further analysis.

두 명의 면접관(L.M.과 J.R)은 초기 코드를 개발하기 위해 라인 바이 라인 코딩을 실시했다. 그리고 나서 우리는 각 세트의 첫 세 번의 인터뷰 후에 새롭게 등장하는 코드와 개념에 대해 토론하기 위해 만났다. 우리는 새로운 코드가 나타나지 않을 때까지 계속하여 코드의 예를 확인하고 확인하지 않기 위해 반복 코딩에 대한 지속적인 비교 접근방식을 사용했다. 우리는 코딩 구조를 다듬고, 테마 간의 관계를 탐구하고, 전체 데이터 세트에 근거한 분석의 측면에 도전하고, 이론적 모델을 다듬기 위해 여러 번 만났다.22 연구팀의 각 구성원은 분석에 다양한 연구와 교육적 전문지식을 가져왔다. 그 후, 몇몇 작가(K.M.K., D.P., A.K)는 각각 코드화되지 않은 대본을 읽어 부호화 구조와 이론적 모델을 검증하였다. 이론적 포화 상태가 달성될 때까지 데이터 수집이 계속되었으며, 새로운 테마가 발생하지 않았고 데이터가 교육 실무에서 OCP의 사용을 충분히 이해할 수 있다고 그룹 합의에 의해 결정되었다.23,24

The two interviewers (L.M. and J.R.) conducted line-by-line coding to develop initial codes. We then met to discuss emerging codes and concepts after the first three interviews of each set. We used a constant comparative approach to iterative coding in which transcripts were read multiple times to ascertain confirming and disconfirming examples of codes, continuing until no new codes emerged. We met several times to refine the coding structure, explore relationships among themes, challenge aspects of the analysis based on the full data set, and refine a theoretical model.22 Each member of the research team brought varied research and educational expertise to the analysis. Subsequently, several authors (K.M.K., D.P., and A.K.) each read uncoded transcripts to verify the coding structure and theoretical model. Data collection continued until theoretical saturation was achieved, determined by group consensus that no new themes were arising and the data were sufficient to understand the use of OCPs in educational practice.23,24

우리는 연구 주제와 해석에 대한 잠재적 영향과 관련하여 우리 개개인의 입장을 반영할 수 있도록 주의를 기울였다. 이러한 입장은 연구팀 회의에서 논의되었다. 연구에 참여하지 않은 임상의와 교육 전문가와의 구성원 확인은 우리의 연구 결과를 확인하는 데 사용되었다.

We took care to be reflexive about our individual positions in relation to the research subject and potential effects on interpretation. These stances were discussed at research team meetings. Member checking with clinicians and educational experts who had not participated in the study was used to confirm the resonance of our findings.

결과

Results

모든 인터뷰 대상자는 IM에서 OCP의 필수 요소에 대한 공유된 정신 모델shared mental model을 보여주었다. OCP 내용 및 프레임워크의 세부사항을 둘러싸고 감독자와 연습생들 사이에 긴장감은 없었다.

All interviewees demonstrated a shared mental model of the required elements of OCPs in IM. There was no tension between supervisors and trainees around the details of OCP content and framework.

역량 평가를 위한 OCP

The OCP in assessment of competence

가장 중요한 발견은 [환자 진료를 위한 정보 공유]라는 OCP의 명백한 목적이 [임상 역량을 평가하고자 OCP를 암묵적으로 사용]하게 되면 가려진다overshadowed는 것이다. OCP는 trainee가 자신의 역량을 시연하는 활동이자, 감독자가 trainee의 역량을 평가하는 활동이다. OCP는 [적절한 환자 진료를 보장하기 위한 것]과 [의료 교육 내의 성과 평가]라는 두 가지 차원에서 동시에 이뤄진다. 데이터 분석은 WBA에서 감독자와 연습생 모두 OCP를 어떻게 인지했는지를 설명하는 이론적 프레임워크를 개발했다(그림 1 참조).

The overarching finding was that the explicit purpose of an oral OCP in information sharing for patient care appeared to be overshadowed by the implicit use of OCPs in assessment of clinical competence and educational standing. The OCP is an activity centered around trainee demonstration, and supervisor assessment, of competence. OCPs are assessed concurrently on two levels: for ensuring appropriate patient care and as a performance assessment within medical education. Data analysis resulted in the development of a theoretical framework addressing how OCPs were perceived by both supervisors and trainees in workplace-based assessment (see Figure 1).

환자에 대한 공통 이해 개발

Developing a shared understanding of the patient

겉보기에 OCP의 주된 목적은 환자 치료에 필요한 정보를 전달하는 것이다. 훈련생과 감독관 모두 이와 관련하여 일반적으로 OCP의 중요성을 언급하면서, OCP의 성공이 환자와 환자의 문제를 명확히 이해하게 된다고 설명했다.

Ostensibly, the primary purpose of an OCP is communicating necessary information required for patient care. Trainees and supervisors alike spoke of the importance of OCPs generically in this regard, explaining that a successful OCP results in a clear understanding of the patient and the patient’s problems:

감독자는 이해하고 싶어한다

Supervisors seek understanding

감독관들은 환자를 이해하기 위한 수단으로 OCP에 접근했고, 이를 통해 훈련생을 평가했다.

Supervisors approached the OCP as a means to understand the patient and, through their ability to do so, subsequently assess the trainee.

서사

Narrative

환자 프레젠테이션에 대한 이해를 증진하는 과정에서, 감독자들은 환자에 대한 understanding의 발전과정에 대해서 유연성을 허용했다. [서사로서 증례 프레젠테이션]의 개념이이 이러한 shared understanding을 구성하는 본질이었다. 서사의 명확성이 부족하면 trainee의 OCP가 부적절함을 의미할 수 있다.

In building understanding of a patient presentation, supervisors allowed for flexibility around how comprehension is developed. Inherent to constructing this shared understanding was the concept of the case presentation as a narrative. Lack of clarity in a narrative could signify an inadequate OCP by the trainee:

정보 통합 및 관련성 이해

Information synthesis and understanding relevance

성공적인 OCP의 가장 중요한 것은 적절한 정보 통합과 필터링 능력이었다. 효과적인 OCP는 "관련성"을 어떻게 이해하느냐에 달려있다.

Crucial to a successful OCP was the ability of a trainee to show adequate information synthesis and filtering. An effective OCP hinges on the understanding of “relevance,”

감독자들은 OCP에서의 임상 추론의 정교함이란, 관련성을 종합하고 이해함으로써 입증할 수 있으며, 훈련생들의 능력을 설명했다고 말했다. (감독자와 연습생 모두) trainee가 이것을 잘 하지 못한다는 것은 뭔가 어려움을 겪고 있다는 신호라고 말했다.

Supervisors described that the sophistication of clinical reasoning in an OCP, demonstrated through synthesis and understanding relevance, delineated trainees’ abilities. Both supervisors and trainees described that failings in these features, may signal a learner in difficulty.

불확실성 관리

Managing uncertainty

감독자들은 임상적 불확실성이 종종 발생한다는 것을 인지했다. 감독관들은 자신의 한계에 대한 이해를 표현하는 훈련생들을 칭찬하였으며, trainee들이 어떻게 임상적 불확실성을 식별하고 관리하는지를 보여주었다.

Supervisors recognized that clinical uncertainty often arises. Supervisors lauded trainees who express an understanding of their limitations, demonstrating how they identify and manage clinical uncertainty.

전공의는 통제하고 싶어한다

Trainees seeking control

훈련생들은 감독관이 [환자 관리]와 [수련생 평가] 모두에서 OCP를 사용한다는 사실을 알고 있었다. 따라서, 훈련생에게 OCP는 자신이 develop한 환자에 대한 공통이해를 통제하기 위한 과정으로 보았다. 조심스러운 performance은 감독자의 암묵적 선호에 따라 조정되었고, 밤을 새워 선배 전공의를 거치며 다듬어졌다. 예를 들어, 연습생들은 information synthesis를 [감독관에게 자신의 능력을 증명하기 위한 방법]으로 프레이밍했다.

Trainees were cognizant of the fact that supervisors use OCPs in both patient care and assessment. Thus, trainees viewed the OCP as an exercise in controlling the shared understanding of a patient that is developed. The careful performance was adapted to oft-implicit supervisor preferences and polished by senior residents overnight. For example, trainees often framed information synthesis as a way to demonstrate their ability to the supervisor:

평가에 참여하여 연습생들은 [감독관이 그들의 환자관리 결정에 동의할 수 있도록], OCP에서 의도적으로 이야기를 구성하고자 하는 욕구를 나타냈다. 훈련생들은 종종 OCP를 "논쟁" 또는 "이야기 판매"라고 묘사한다.

Attuned to assessment, trainees expressed a desire to purposefully construct the OCP’s narrative such that the supervisor would agree with their management decisions, or “buy into (the) plan” (R2-11). Trainees often described OCPs as an “argument” (R3-12), or of “selling a story” (R2-11)

불확실성 회피

Avoiding uncertainty

통제에 대한 열망에 걸맞게, trainee는 불확실성의 표현을 가치있게 여기지 않았다. 감독관들의 인식과는 달리, 연습생들은 불확실성을 (강점보다는) 약점으로 비유했다. 훈련자는 표시된 불확실성 수준을 최소화하기 위해 OCP를 제어하는 것에 대해 말했다.

Fitting with the desire for control, the expression of uncertainty was not valued by trainees. In contrast to the perceptions of supervisors, trainees equated uncertainty to weakness rather than strength. Trainees spoke of controlling the OCP to minimize the level of uncertainty displayed:

The OCP as a performance

연습생 면담에서는 [(학습보다) 평가에서 OCP의 활용]에 대한 토론이 주를 이뤘다. OCP의 평가 역할에 대한 훈련자의 의식은 다음과 같은 만남에서 강한 성과 추론을 초래했다.

trainee interviews were dominated by discussions of OCPs’ use in assessment, rather than learning. Trainees’ consciousness of the OCP’s role in assessment resulted in a strong overtone of performance in the encounter:

버퍼로서 선배 전공의 

Senior resident as buffer

선배 전공의는 [경험과 감독자 선호에 대한 사전 지식]을 통해 후배들이 이 performance을 무사히 navigate할 수 있도록 돕는 데 중추적인 역할을 한다고 묘사되었다. 하룻밤 사이에 선배 레지던트와 함께 한 첫 OCP는 일종의 리허설이었고, 선배들은 감독관과의 아침 프레젠테이션 전에 후배들의 OCP를 다듬어주었을 것이다.

Senior residents were described as being pivotal in helping juniors navigate this performance through experience and prior knowledge of supervisor preferences. The first OCP with the senior resident overnight was often used as a practice run, and seniors may have polished the juniors’ OCP prior to the morning presentation with the supervisor:

연습생과 감독자 모두, OCP를 심사숙고해서 구성하기 때문에, 평가에서 과대평가될 수 있으며, 이 경우 아마도 진짜 능력을 잘못 나타내는 것일 수 있다는 사실을 인식했다.

Both trainees and supervisors displayed awareness of the fact that carefully constructed OCPs were perhaps a misleading representation of true abilities if the OCP is overvalued in assessment:

슈퍼바이저의 선호에 적응

Adapting to supervisor preferences

OCP가 명백히 평가에 가중치를 갖기 때문에, 연습생들은 어떤 감독관이 종종 암묵적이거나 특이한 성향을 보일 때 좌절감을 언급했다.

Because of the OCP’s apparent weight in assessment, trainees also described frustrations with often-implicit and idiosyncratic supervisor preferences for OCPs:

고찰

Discussion

연수생과 감독관 모두에게, 환자관리 및 의학교육이라는 OCP의 명백한 목적은 synchronous informal assessment activity라는 특성에 의해 가려졌다.

both trainees and supervisors, the explicit purpose of the OCP in IM patient care and medical education was overshadowed by the synchronous informal assessment activity.

임상 감독관들은 OCP를 사용하여 서술적 사용, 정보 합성, 불확실성 탐색과 같은 연습생 데모 기술을 통해 환자에 대한 이해를 형성했다. 결과적으로, 훈련생들은 선배 전공의에 의해 다듬어진, [각 감독관의 개별 선호도에 맞춘 퍼포먼스]로서 OCP를 통제하려고 했다. (훈련생과 슈퍼바이저는) OCP의 핵심 요소들의 정신 모델을 공유함에도 불구하고, OCP에 대한 기대가 대체로 암묵적이었기에 긴장이 고조되었다.

Clinical supervisors used OCPs to form an understanding of the patient through trainee-demonstrated skills such as using narratives, information synthesis, and the navigation of uncertainty. Consequently, trainees sought to control the OCP, viewing it as a performance tailored to each supervisor’s individual preferences, refined by senior residents. Tensions arose due to the largely implicit expectations of the activity, despite the shared mental model of the core elements of an OCP.

효과적인 OCP는 여러 영역에서 역량을 입증하는 것을 나타내며 교육 발전의 창을 제공한다. OCP에서 지식 통합과 합성이 무엇보다 중요하다는 사실은 [OCP에서 내용만을 평가하는 것이 아니라는 것]을 입증하는 다른 연구와도 부합한다.8,11,13,25 "관련성"의 이해를 통해 임상적 추론을 입증하는 것은 성공적인 OCP에 매우 중요하다. 그러나 '관련성'은 환자, 컨텍스트 및 감독자 선호도에 따라 달라지는 것이다

An effective OCP represents the demonstration of competence in multiple domains and offers a window into educational development. The finding that knowledge integration and synthesis is paramount in the OCP is supported by other studies which demonstrate that content alone is not the only evaluated aspect of an OCP.8,11,13,25 Demonstrating clinical reasoning through the understanding of “relevance” is critical to a successful OCP. However, relevance is a shifting target for trainees, depending on the patient, context, and supervisor preferences.14

물밑으로 흐르는 평가의 분위기는 연습생과 감독자 사이의 동태를 변화시킨다. 평가가 있었기에, trainee들은 OCP를 역량을 입증하는 performance로 보았다. 훈련생들은 심사원의 approval을 얻으려고 쇼맨십 멘탈리티를 취했다. 이것은 LaDonna와 동료들의 연구 결과를 보완하는데, 26 더 나아가 OCP는 학습자의 행동에 의도하지 않은 결과를 초래하는 임상적 관행을 관찰하는 형태임을 시사한다. Lo and Regehr의 연구 결과와 비슷하게, 본 연구에서도 연습생들은 OCP에서 이미지 관리에 몰두했다. 그러나, 그들의 연구와는 달리, 훈련의 모든 단계에 걸친 우리의 참여자들은 OCP를 가르치는 것과 배우는 것에 쉽게 연관시키지 않았다. Trainee가 [평가와 성과에 대한 관심]을 주로 갖고 있었기에, OCP의 초점은 풍부한 WBL에서 벗어나게 되었다

The undercurrent of assessment throughout the encounter alters the dynamic between trainee and supervisor. Driven by assessment, the trainees we interviewed viewed the OCP as a performance in demonstrating competence. Trainees assume a showmanship mentality, seeking approval from the assessor. This complements findings from LaDonna and colleagues,26 further suggesting that the OCP is a form of observation of clinical practice with unintended consequences on learner behavior. Similar to the findings of Lo and Regehr,27 trainees from our study were preoccupied with image management during the OCP. However, unlike their study, our participants across all stages of training did not readily associate OCPs with teaching and learning. Trainee concern with assessment and performance diverts the focus of the OCP away from rich workplace-based learning.

이러한 발견은 앞선 연구를 보완하며, 의학교육 내에서 OCP 동안 발생하는 WBA와 WBL 사이의 긴장을 보여준다.4,15,28

These findings elaborate on earlier work, demonstrating further tensions during OCPs between workplace-based assessment and learning within medical education.4,15,28

[불확실성 탐색]에 대한 이질적인 관점도 긴장 상태를 보여준다. 이전의 연구 결과와 일관되게, 훈련생들은 불확실성을 피해야 할 약점이라고 말했다.28 감독관들이 불확실성의 논의를 강점으로 보는 사실은 대부분 훈련생들에게 알려지지 않았다.

The disparate views of navigating uncertainty also exemplify the tension: Trainees spoke of uncertainty as a weakness to be avoided, consistent with previous findings.28 The fact that supervisors view discussions of uncertainty as a strength is largely unbeknownst to trainees.

그러나, 평가를 우선시한 나머지 trainee는 무능해 보일 것을 우려하여 불확실성에 대처하는 능력을 강조했다. 또 다시 이런 방식으로 WBA는 WBL보다 우선한다.

However, overarching assessment deemphasizes to trainees the ability to cope with uncertainty, for fear of seeming incompetent. In this way, assessment supersedes formative workplace learning.

우리의 연구는 OCP가 CBM의 WBA에서 OCP의 잠재적 사용을 정당화하면서 역량을 평가하고 입증하는 수단으로 받아들여진다는 것을 증명한다.

our study demonstrates that OCPs are accepted as a means of assessing and demonstrating competence, legitimizing the potential use of OCPs in CBME workplace-based assessment.

또한 이번 연구에서는 선배 레지던트들이 의학교육 apprenticeship을 통하여 영향력을 행사하는 것을 밝혀냈다. 선임 레지던트들은 OCP의 학습을 형성하고, 감독관들에게 최종 OCP를 위한 후배들을 지도하고 준비하는데 필수적이다. 이전의 문헌은 실무에서의 코칭과 평가의 분리를 요구해 왔다.32,33 이 연구를 통해 우리는 선배 레지던트들이 중요한 sideline 코치라는 것을 알 수 있다. 이것의 요소들은 이미 실제에 있는 것으로 보인다.34

Our findings also shed light on the influential role of senior residents as near-peers in medical education apprenticeship. Senior residents are essential in shaping learning of and from OCPs, guiding and preparing juniors for the final OCP to supervisors. Previous literature has called for the separation of coaching and assessment in practice.32,33 Through this study, we see that senior residents are crucial sideline coaches. it appears that elements of this are already in practice.34

OCP에서 슈퍼바이저의 성향에 대해 훈련생들과 감독관들은 서로 다른 이야기를 했다. 그러한 선호preference는 대개 함축적이며 상황에 매우 의존적이다.4,14 훈련생들은 [외관상 무작위로 보이는 스타일적 차이]가 평가에 영향을 미친다고 생각하여, 이를 두려워하는 것으로 보인다.

Trainees and supervisors spoke of differing supervisor preferences for OCPs. Such preferences are usually implicit and often highly dependent on context.4,14 Trainees appear to dread these seemingly random stylistic discrepancies, as they are perceived to affect assessment.

Apramian과 동료들은 감독관들이 performance가 아니라 사실은 preference를 얼마나 잘 흉내내는지를 평가하고 있는 것이 아닌지 대해 의문을 제기했다. OCP를 평가 활동으로 검토할 때 이와 유사한 질문이 발생한다.35 OCP는 진실한 임상적으로 내재된 활동이지만, 선배 레지던트와 감독자가 선호하는 것을 모방하고 모델링하는 데 집중하게 되면 평가의 타당성을 떨어뜨릴 수 있다.

Apramian and colleagues raised questions of whether supervisors are assessing the mimicry of preference, rather than performance. A similar question arises when examining the OCP as an assessment activity.35 Though the OCP is an authentic, clinically embedded activity, mimicry and modeling of senior residents and supervisor preferences may detract from its assessment validity.

OCP의 결점에도 불구하고, 그것은 잘 알려진 비공식 평가 방법과 훈련생들의 in vivo 역량을 평가하고 감독자들이 능력을 평가하는 수단으로 남아있다.

Despite the OCP’s flaws, it remains a well-recognized method of informal assessment and a means for trainees to demonstrate and for supervisors to assess competence “in vivo.”

CBME에서는 임상적으로나 교육적으로 유의하지 않은 직접 관찰을 사용하는 새로운 형태의 평가를 추가할 위험이 있다. 우리는 authentic한 임상적 맥락 안에 존재하는 WBA를 최적화해야 한다. OCP는 병력청취검사 또는 신체검사 기술에 대한 대리지표가 아니며, 그보다는 임상 추론을 직접 관찰할 수 있는 기회이다: 임상추론은 의학 교육에서 중요한 기술이지만, 여전히 평가 측면에서는 모호한 점이 있다.

In CBME, there is a risk of adding new forms of assessment employing direct observation that are not clinically or educationally meaningful. We must optimize workplace-based assessments that exist within authentic clinical contexts. The OCP is not a surrogate for direct observation of history-taking or physical examination skills, but an opportunity for the direct observation of clinical reasoning: a crucial skill in medical education, yet elusive in evaluation.40–42

OCP는 [환자 관리의 핵심 요소]이자, [연습생 교육 및 평가]를 위한 authentic, clinically embedded encounter의 역할을 한다. 그러나 평가에 집중하면 연습생들이 성과 지향적인 행동에 관심을 갖게 된다.

The OCP serves both as a core element in patient care and an authentic, clinically embedded encounter for trainee education and assessment. However, focus on assessment leads trainee attention toward performance-oriented behaviors.

중요한 것은, 감독자는 OCP의 서사, 통합, 불확실성 관리와 같은 핵심 측면을 연습생에게 다시 강조할 필요가 있다는 점이다. 감독자가 평가의 미묘한 요소를 명시적으로 명확히 한다면, 과제의 formative nature를 활용가능할 것이며, 연습생이 performance와 control에 초점을 두어 행동하는 것을 막아줄 것이다.

Importantly, supervisors can reemphasize for trainees key aspects of the OCP, such as the narrative, synthesis, and managing uncertainty. Faculty development for supervisors to explicitly clarify subtle elements of the assessment would harness the formative nature of the task and redirect trainee behavior away from performance and control.43,44

결론적으로, 우리가 인터뷰한 감독관과 훈련생들 모두 OCP를 평가에서 중요한 역할을 하는 임상 활동으로 보았다.

In conclusion, both the supervisors and trainees we interviewed viewed the OCP as a clinical activity with an important role in assessment.

Limitations

Conclusion

36 ten Cate O, Hart D, Ankel F, et al; International Competency-Based Medical Education Collaborators. Entrustment decision making in clinical training. Acad Med. 2016;91:191–198.

38 Sklar DP. Competencies, milestones, and entrustable professional activities: What they are, what they could be. Acad Med. 2015;90:395–397.

27 Lo L, Regehr G. Medical students’ understanding of directed questioning by their clinical preceptors. Teach Learn Med. 2017;29:5–12.

33 Watling C. The uneasy alliance of assessment and feedback. Perspect Med Educ. 2016;5:262–264.

핵심 임상실습 성적: 객관성의 환상(Acad Med, 2019)

Core Clerkship Grading: The Illusion of Objectivity

Karen E. Hauer, MD, PhD, and Catherine R. Lucey, MD

성적은 유치원부터 대학까지 보편적으로 받아들여지고 겉으로 보기에 객관적으로 보이는 성취의 척도다. 고학년 평균은 대학, 졸업생 또는 전문학교에 입학할 수 있는 학생의 능력에 종종 도움이 된다. 그러므로 의과 교육적인 측면에서 레지던트 프로그램이 그들이 그들의 프로그램에 들어가고 싶어하는 졸업 의대생을 선발하기 위해 핵심 임상실습 성적에 의존하도록 발달해온 것은 놀랄 일이 아니다.

Grades are a universally accepted and seemingly objective measure of accomplishment from kindergarten through college. High grade point averages are frequently instrumental to a student’s ability to earn entrance into college, graduate, or professional school. It is therefore not surprising that, in the medical education context, residency programs have developed a reliance on core clerkship grades to select the graduating medical students they would most like to enter their programs.

핵심 임상실습 성적을 사용하는 근거는 (미적분학 과정의 시험 점수의 평균과 마찬가지로) 성적이란 [어떤 학생이 과거에 성취한 것은 미래에 유사한 상황에서 유사한 성적을 낼 수 있는 가능성에 대한 척도]라는 것이다. 더욱이 한 학생을 다른 학생과 비교하여 순위를 매기기 위해 성적을 사용하는 것이 공정하고 공평하며 필요한 것이라는 가정이 있다.

The rationale behind the use of core clerkship grades is that they, like the average of test scores in a calculus course, are a measure of a student’s achievement and the likelihood of future similar performance by that student in similar circumstances. Moreover, there is an assumption that it is fair, equitable, and necessary to use grades to rank one student in comparison with another.

의대 2학년 때 핵심 임상실습을 시작하려는 전국적인 경향에도 불구하고, 핵심 임상실습 성적에 대한 이러한 의존은 오늘날에도 여전히 유효하다. 이 말은, 특정 전공분야에서 어떤 학생이 미래 성공할지 여부가 의대 교육이 절반도 지나지 않은 시점에 평가될 수 있다는 것을 의미한다.

This reliance on core clerkship grades remains true today, despite the national trend to begin core clerkships in year two of medical school, meaning that a student’s aptitude for future success in a given specialty may be judged before the halfway point in his or her medical school education.

핵심 임상실습에서 점수의 과녁을 놓치는 이유

How Core Clerkship Grades Miss the Mark

복잡성

Complexity

성적은 많은 교육적 맥락에서 유용하지만, 핵심 임상실습은 미적분학 수업이 아니다. 학생이 숙달할 것으로 예상되는 [역량의 복잡성]과 학생이 귀속되어 학습하게 될 [맥락의 가변성]은 쉽게 성적에 반영되지 않는다. 

Although grades are useful in many educational contexts, core clerkships are not calculus classes. The complexity of competencies a student is expected to master and the variability of contexts in which they are expected to learn do not translate readily to grades. 

그럼에도 불구하고, 학생과 교수들은 모두 성적으로 환산된 정량적 점수가 복잡한 임상 환경에서 학생들의 수행 정도를 정확하게 측정한다는 객관성의 환상에 굴복한다. 전국의 의과대학은 학생들의 웰빙를 장려하고 학습을 강화하기 위해 교육과정 초기에 합격/불합격 등급을 사용하는 경우가 많지만, 같은 학교에서는 학생을 차별화하기 위해 "명예" "고등 합격" "통과" 등과 같이 총괄적 성적을 부여한다.1

And yet, students and faculty alike succumb to the illusion of objectivity—that quantitative ratings converted to grades convey accurate measures of students’ performance in complex clinical environments. Although medical schools across the country commonly use pass/fail grading early in the curriculum to encourage student well-being and enhance learning, the same schools assign summative clerkship grades of “honors,” “high pass,” and “pass” to differentiate students.1

자료의 오류

Flawed data

게다가, 그 성적을 산출하기 위해 수집된 자료들이 자주 결함이 있다는 충분한 증거가 있다. 학생을 감독하는 교직원과 레지던트는 학생들이 환자에게 임상 기술을 수행하는 상황을 거의 관찰하지 않는다고 보고하면서도, 동시에 병력청취, 신체 검사, 환자 의사소통을 포함한 학생들의 능력을 일상적으로 평가한다.4 아마도 감독자들은 회진 중 구두 발표 기술 등 대리 정보로 이러한 기술을 평가하거나, 학생을 관찰한 다른 사람의 의견을 구할 것이다.

In addition , there is ample evidence that the data collected to support that grade are frequently flawed. Supervising faculty and residents routinely rate students’ skills including history taking, physical examination, and patient communication, although students report rarely being observed performing these clinical skills with patients.4 Presumably, supervisors rate these skills by inferring from proxy information, such as oral presentation skills during rounds, or seek input from others who have observed the student.

문제는 의학교육의 로테이션 모델로 인해서 더 심각해진다. 교수들이 자주 교대함에 따라서 이들에게 감독받는 학생들은 관찰 기반 피드백을 받을 기회가 적어지고, 받은 피드백에 응답할respond 수 있는 능력을 보여주기가 점점 더 어려워지기 때문이다.3,6 교수들은 심지어 학생들을 관찰하고 있는 상황에서조차, 교수마다 관찰 결과를 등급으로 변환하는 방법이나, 성과 기대치를 이해하는 방법은 매우 다양하다. 평가자의 인식에 관한 문헌에 따르면, 교수들이 등급을 매기는rating 복잡한 과정을 지나치게 단순화해서는 안 된다. 왜냐하면 평가자들마다 개별적인 관점과 편견에 영향을 받기 때문이고, 학생들에게 주어진 학생-환자 조우의 특정한 측면에 의해서도 영향을 받기 때문이다.

The rotational model of medical training exacerbates the problem of assessment as students supervised by faculty who rotate frequently are increasingly challenged to find opportunities to receive observation-based feedback and to demonstrate their ability to respond to feedback.3,6 Even when faculty do observe students, the ways that they translate those observations to ratings and understand performance expectations are widely variable. Literature on rater cognition urges caution in oversimplifying the complex processes by which faculty make ratings, which are inherently informed by their individual perspectives and biases as well as the specific aspects of particular student–patient encounters.7

학생들의 성적에 대한 서술형 평가도 한계가 있다. 학습과 개선에 있어 성과에 대한 서술적 피드백은 필수적이지만, 학생들은 임상실습 동안 유용한 서술적 피드백을 거의 받지 못한다고 보고한다. 일반적으로 서술적 정보를 포함하고 있는 총괄 평가에서 [개선을 위한 영역]이 언급되어있으면, 마치 performance가 나빴던 것으로 간주된다. 서술형 코멘트는 슈버파이저들이 직무과정에서 학습한, 하지만 학생들은 모호하고 애매하다고 느끼는 "암호화된" 언어로 가득 차 있다.8

Narrative evaluations of student performance suffer shortcomings as well. Although narrative feedback on performance is essential for learning and improvement, students report rarely receiving useful narrative feedback during clerkships. In summative evaluations, which do typically contain narrative information, mention of areas for improvement are considered to signal bad performance. Narratives can be replete with “code” language that supervisors learn on the job but that students find obscure and ambiguous.8

불균등한 기회

Unequal opportunities

모든 학생들이 핵심 임상실습에 대한 중압감은 똑같이 느끼지 않는다. 시간에 쫓기고 상대평가로 등급이 매겨지는 환경에서, 초반부터 빠르게 적응하고 잘 수행하는 학생들은, 비록 모든 학생이 최종적으로 동일한 기대성과를 달성하더라도, 다른 학생들보다 더 좋은 점수를 받을 것이다. 이러한 현실은 본질적으로 의대 이전에 얻은 이점을 가져다 주는 학생들에게 유리하다. 의사 가족을 둔 학생들 또는 의료 또는 다른 전문적 경험을 가진 학생들은 이미 임상 환경의 언어와 규범 중 일부를 이해하고 있다. 현실에서 그들은 "빠른 학습자"가 아니라, 이미 적응할fit in 줄 아는 학습자들이다.

Grading pressures in core clerkships are not felt equally by all students. In a time-challenged, normatively graded environment, students who adapt quickly and perform well from the start may be rated more favorably than other students, even if they all eventually achieve expected competency. This reality inherently favors students who bring advantages acquired before medical school. Students who come from families of physicians or other health providers, and those who have medical or other professional experience, already understand some of the language and norms of the clinical environment. In reality, they are not “quick learners” but, rather, learners who already know how to fit in.

원래 자신이 가지고 있던 경험이나 문화적 배경이 임상 실습의 전문적인 환경과 다른 학생들은 자연스럽게 적응하는 데 더 많은 시간이 필요할 수 있다. 비록 더 많은 것을 배울 수 있는 이러한 학생들은 많은 노력을 기울이고 빠른 속도로 배울 수 있지만, 어떤 평가자들은 이 학생들을 다른 학생들보다 더 낮게 평가한다. 하지만 학생들마다 배우는 속도는 다르더라도, 같은 성과에 도달할 수 있다.

Students whose experience or cultural background differs from the professional environment of clinical practice may naturally need more time to acclimate. Although these students who have more to learn may apply great effort and learn at a rapid rate, their assessors frequently rate them as lower-performing than some of their peers. Students can learn at different rates and get to the same point

외향과 자신감을 더 강한 수행의 지표로 추천할 수 있는 환경에서, 선천적으로 조용하거나 사고 과정에 더 내향적인 학생들은 다른 기술과 상관없이 덜 능력 있는less competent 학생으로 간주될 수 있다.

In an environment where extroversion and confidence may be commended as indicators of a stronger performance, students who are naturally quiet or who are more introverted in their thought processes may be viewed as less competent, regardless of their other skills.

특히, 현재 핵심 임상실습은 평가와 채점 관행은 URM 학생들에게 불리하게 작용할 수 있는 방식이다. 표준화된 시험성적에서 모집단간 차이는 소수민족과 다수민족 사이에 존재하는 것으로 알려져 있으며, 오랜 기간 동안 지속된 구조적 인종차별에 기인한다. 임상 성과보다 표준화된 시험에 상당한 비중을 두는 등급 패러다임은 이러한 구조적 문제의 영향을 증폭시킬 수 있다.

Particularly concerning are the ways that current assessment and grading practices in core clerkships may disadvantage students who are underrepresented in medicine. Population group differences in standardized exam performance are known to exist between minority and majority populations and are attributed to long-standing structural racism. Grading paradigms that give substantial weight to standardized exams over clinical performance may amplify the impact of these structural issues.

초점의 이동

Shifting the Focus

의과대학의 일차적 책임은 학생을 서열화하는 것이 아니라 모든 졸업생이 다음 교육 단계로 이행하는 데 필요한 필수 역량을 갖추도록 하는 것이다.

The primary responsibility of medical school is not to rank students but to ensure that every graduate is prepared with the requisite competencies needed to transition into the next phase of education

학생들이 진로 선택권을 유지하기 위해 honor 등급을 받아야 한다고 느낄 때, 

• 그들은 배움과 향상보다는 보여주기performing에 초점을 맞추고 있다. 

• 그들은 마음을 여는 질문을 환영하기 보다는 두려워한다. 

• 그들은 교정 피드백을 찾기 보다는 두려워한다. 

• 그들은 또래와 협력하기 보다는 경쟁한다. 

• 그들은 환자들로부터 배울 수 있는 기회에 활력을 느끼기보다는 스트레스를 받는다.

When students feel compelled to earn an honors grade to maintain their career options, 

• they focus on performing rather than on learning and improving, 

• they dread rather than welcome questions that stretch their minds, 

• they fear rather than seek out corrective feedback, 

• they compete rather than collaborate with peers, and 

• they feel stressed rather than energized by the opportunity to learn from their patients

• 임상실습이 표준화된(쉘프) 시험에 의존하여 성적 과제의 객관성을 높이려고 할 때, 학생들은 그들의 직접적인 환자 관리와 전문가 간 팀 능력을 최적화하는 것보다 [시험을 위한 공부]를 우선시한다. 

• 시간에 쫓기는 교수들이 자신의 평가 역할을 우등생인지 아닌지를 판단하는 것으로 볼 때, 학생들은 미래의 성공을 위한 코칭보다는 [즉각적인 성과를 판단]하는 데 더 초점을 맞춘다.

• When clerkships attempt to increase the objectivity of grade assignments by relying on standardized (shelf) exams, students prioritize studying for the test over optimizing their direct patient care and interprofessional team skills. 

• When time-challenged faculty view their assessment role as determining whether or not the student is an honors candidate, they focus more on judging immediate performance rather than coaching for future success.

평가에 대한 새로운 접근

A new approach to assessment

의과대학은 측정의 우선순위를 정하고 학생 역량 개발을 지속적으로 진전시키는 평가 프로그램의 설계와 구현에 노력을 다시 집중해야 할 시점이다(표 1).

It is time for medical schools to refocus their efforts on designing and implementing programs of assessment that prioritize measuring and continuously advancing student competency development (Table 1).

학습을 위한 평가AfL는 학생의 발전, 성찰, 평생학습 능력을 촉진하는 관찰과 피드백을 수반한다. 학생들은 누군가가 보고 있을 때 좋은 성적을 내는 것 만이 아니라 [학습과 향상을 보여준 것에 대해 보상]을 받아야 한다.12

Assessment for learning entails frequent observation and feedback that promote students’ development, reflection, and lifelong learning skills. Students should be rewarded for demonstrating learning and improvement, rather than only for performing well when someone is watching.12

교육자는 핵심 임상실습의 시작부터 학생 및 학생의 다른 교육자와 협력하여 각 학생의 출발점에 대한 이해를 학습 및 평가 과정에 포함시켜야 한다. (한 임상실습 학생에 대한 수행 정보가 다음 임상실습으로 제공되는) 학생들이 "Feed Forward"를 교수들을 편향시키는 정보라고 두려워하기 보다는, 종단적 학습의 전략으로 포용하게 되어야 한다.

Educators must work with students and students’ other educators from the beginning of a core clerkship to incorporate understanding of each student’s starting point into the learning and assessment process. “Feed forward,” in which performance information about a student from one clerkship is provided to the next clerkship, should be embraced as a strategy for longitudinal learning rather than feared by students as information that biases their teachers.

학생들이 성장과 발전을 보여줄 수 있는 기회

Opportunities for students to demonstrate growth and development

지속적인 학습을 위한 평가의 마인드 습관 기르기

Fostering the habit of mind of assessment for continuous learning

학생들의 성적평가는 핵심 임상실습 성적 할당에 초점을 맞추기보다는 학습 진척도에 대한 전문가의 판단을 반영해야 한다. 예를 들어, 임상교육위원회는 정량적 점수 및 서술적 코멘트를 포함한 학생들의 평가 데이터를 한 과의 임상실습과 전체 임상슬습에 걸쳐 검토할 수 있다. 학생들은 자신의 performance 데이터를 검토하여 상대적 강도의 영역과 추가적인 성장을 위한 영역을 자체 평가할 수 있다. 이러한 접근방식은 학생들이 핵심 임상실습에서 [보여주기]보다는 [학습]에 집중할 수 있게 할 것이다. 그 결과 서브인턴을 포함한 4학년 임상실습에서 최고의 성과를 보여줄 준비가 될 것이다. 

Rather than focusing on assigning grades in the core clerkships, student performance review should incorporate expert judgment of learning progress. For example, a committee of clerkship educators can review assessment data for students, including both quantitative scores and narrative comments, within and across clerkships. Students could simultaneously review their own performance data to self-assess areas of relative strength and areas for further growth. This approach would enable students to focus on learning rather than performance during the core clerkships, so that they are ready to demonstrate their best performance during final-year clinical rotations, including subinternships. 

최종 학년에서 grading으로 돌아가는 것은 각 학생의 레지던트 수행 능력에 대한 가장 최근의 평가를 반영하기 때문에 논쟁이 있다.

There is an argument to be made for returning to grading during final-year rotations because those rotations reflect the most current assessment of each student’s ability to perform well in residency.

전공의 선발에 미치는 영향

The effect on residency selection

의대와 레지던트 프로그램 이사는 지식과 기술을 향상시키면서 뛰어난 환자 진료를 제공할 레지던트 프로그램에 학생을 매칭하는 것을 같은 목표로 삼고 있다. 전공의 선발을 위한 최선의 정보는 학생들의 가장 최근의 역량 업적을 기술하는 하위 인터네셔널의 성적, 내러티브 및 추천서의 조합에서 찾을 수 있다.

Medical schools and residency program directors share the same goal: to match students to the residency programs in which they will provide outstanding patient care while advancing their knowledge and skills. The best information to achieve this goal is found in the combination of grades, narratives, and letters of recommendation from subinternships that describe students’ most recent competency achievements.

학생들이 어떻게 그들의 학습에 접근하고, 팀원들과 함께 일하며, 그들의 기술을 향상시키기 위해 피드백을 통합하는 정직하고, 솔직한 묘사를 묘사하는 핵심 사무직 내러티브들은 레지던트 이사와 관련된 여러 기술에 대한 귀중한 정보를 제공할 것이다.

Core clerkship narratives that portray honest, forthright descriptions of how students 

• approached their learning, 

• worked with team members, and 

• incorporated feedback to improve their skills would provide valuable information about multiple skills relevant to residency directors,

교육자들은 프로그램이 예비 후보들에 대한 전체적인 검토에 더 많은 시간을 할애할 수 있도록 레지던트 프로그램 자라에 대한 지원자의 수를 제한하는 국가 전략을 옹호해야 한다.

Educators should advocate for national strategies to decrease the high volume of applicants per residency program position so that programs can spend more time on a holistic review of potential candidates.

결론

Conclusion

임상실습 성적 부여는 학습자에게 그들의 궁극적인 독립적 관행에 대한 함축과 함께 의도하지 않은 여러 결과를 초래한다. 점수는 조기 학습자에게 스트레스와 혼란을 야기하며, 이는 학습에 대한 바람직한 접근법을 방해하고 불평등을 심화시키는 방식으로 학생들에게 불리하게 작용할 수 있다. 학습을 위한 평가에 초점을 맞춘 성적을 없애는 것은 필수 환자 관리 및 팀워크 기술을 개발하는 과정에 학습자를 참여시키고 평생 학습 습관의 개발을 촉진할 수 있는 가능성을 가지고 있다.

Clerkship grading causes multiple unintended consequences for learners with implications for their eventual independent practice. Grading generates stress and confusion for early learners, and that can interfere with desired approaches to learning and disadvantage students in ways that exacerbate inequities. Eliminating grades focused on assessment for learning holds promise to engage learners in the process of developing essential patient care and teamwork skills and to foster their development of lifelong learning habits.

10 Krupat E, Borges NJ, Brower RD, et al. The Educational Climate Inventory: Measuring students’ perceptions of the preclerkship and clerkship settings. Acad Med. 2017;92:1757– 1764.

12 Boud D. Feedback: Ensuring that it leads to enhanced learning. Clin Teach. 2015;12:3–7.

임상교육 지도 상황에서 입다물기(MUM): 개인적 생각과 공공의 판단(Med Educ, 2019)

Keeping mum in clinical supervision: private thoughts and public judgements

Catherine E Scarff,1 Margaret Bearman,2 Neville Chiavaroli1 & Steve Trumble1

도입

INTRODUCTION

이 시나리오를 상상해보라. 바쁜 클리닉이나 긴 병동 회진의 끝이며, 당신은 직장 평가에서 훈련생을 관찰할 예정이다. 그렇게 할 때, 당신은 연습생이 그 일에 고군분투하고 있는 것을 보게 되고 당신은 줄 '부정적 피드백'을 갖게 된다. 무슨 생각을 하고 있는 거야? 그리고 나서, 너는 어떻게 생각하니?

Imagine this scenario. It is the end of a busy clinic or long ward round and you are scheduled to observe a trainee in a workplace assessment. As you do so, you see that the trainee is struggling with the task and you have ‘negative feedback’ to give. What goes through your mind? And then, what do you say?

많은 임상 감독자들은 학습자의 성과에 대한 바람직하지 않은 관점을 갖게 될 때, 감독자는 자신의 생각을 말하기를 꺼린다.12 이것은 학습자가 자신의 성과에 대해, 특히 뭔가 문제가 있을 때, 충분한 정보를 제공받지 못하는 '피드백 소실'로 이어질 수 있다. 3 극단적으로, 이것은 기준을 충족하지 못하는 학습자의 'failure to fail'를 초래한다.1,2,4 그러한 바람직하지 않은 평가 뉴스를 전달하기를 꺼리는 것은, 본질적으로 종합적이든 형태적이든, 때때로 'MUM 효과'라고 알려진 심리 현상에 직접적으로 연관될 수 있다.

Many clinical supervisors are reluctant to speak their mind when they have formed an unfavourable view of a learner’s performance.1,2 This can lead to ‘vanishing feedback’,3 where a learner is not given sufficient information about their performance, in particular that their work is unsatisfactory. At an extreme, this results in the ‘failure to fail’ those learners who do not meet standards.1,2,4 Such reluctance to communicate unfavourable assessment news, whether summative or formative in nature, can at times, be directly linked to a psychological phenomenon known as ‘the MUM effect’.

1970년대 이후, 다양한 심리학과 경영학 연구는 일반적으로, 사람들이 불쾌감을 주는 메시지에 대해 Mum(MUM)한다는 것을 확인시켜 주었다.5 이러한 경험적 연구의 focused body는 의학 교육 문헌에서 상대적으로 탐구되지 않은 영역이지만, 어떤 상황에서는 직접적으로 표현을 하지 못하는 "예의바름"에 대해서 설명하기 위해 구성주의적 관념을 사용해 왔다. 의학 교육은 MUM 효과 문헌에서 참고할 것이많은데, 특히 우리의 최선의 노력에도 불구하고 'failure to fail'이 임상 감독에서 지속될 경우 더욱 그러하다.

Since the 1970s, a range of psychological and management studies have confirmed that, in general, people are likely to keep Mum about Unpleasant Messages (MUM).5 This focused body of empirical research remains relatively unexplored in the medical education literature, although constructionist notions of politeness have been used to explain a lack of direct expression in some circumstances.6 The MUM effect literature has much to offer medical education, particularly when ‘failure to fail’ persists in clinical supervision, despite our best efforts.4

1970년 조지아대 심리학과에서 로젠과 테서는 '사람들은 긍정적인 정보보다 부정적인 정보 전달을 더 꺼릴 것'이라는 상식적 개념을 시험해 보려고 했다. 5 이 기념비적인 MUM 효과 실험은 메시지의 성격과 전달 방법 사이의 관계를 조사했다.5 급한 메시지를 전달할 기회가 주어졌을 때, MUM에 대해 연구되고 있다는 것을 알지 못했던 피험자들은, (좋은 소식에 비해서) 나쁜 소식을 완전히 전달하지 못했다.5 저자들은 그 후 '무소식은 희소식'이라는 진언론을 '무소식은 비소식'으로 다시 표현했다.

In 1970, in the Department of Psychology at the University of Georgia, Rosen and Tesser sought to test the ‘common sense notion that people will be more reluctant to communicate information which is negative rather than positive for the recipient’.5 This seminal MUM effect experiment examined the relationship between the nature of the message and how people deliver it.5 Subjects, who were unaware that they were being studied about MUM, when given an opportunity to deliver an urgent message, did not deliver it as completely when the news was bad compared with good.5 The authors subsequently rephrased the aphorism ‘no news is good news’ to ‘no news is bad news’.7

MUM은 의료 교육 문헌에 거의 나타나지 않는다. 단, 평가자의 rating이 학습자 성과를 어떻게 적절하게 반영하는지 이해하는 데 초점을 맞추고 있다.17 비록 '불쾌한 리퍼커션'18에 대한 우려가 rating에 영향을 미치는 것으로 알려져 있지만, 이것은 '맥락적' 요인17 또는 등급 '변동성variability'의 출처source로 간주된다.18 MUM 효과에서는 초점이 다르다. 여기서는 적절한 rating 판단을 하더라도 평가자가 이러한 판단(등급, 서면 의견 또는 구두 피드백 정보)을 학습자에게 전달하지 않을 수 있음을 의미한다.

MUM appears rarely in the medical education literature, except fleetingly as a possible explanation for rater bias.16 However, rater cognition literature is predominantly focused on understanding how assessors’ ratings appropriately reflect learner performance.17 Although concern about ‘unpleasant repercussions’18 is noted as influencing ratings, it is considered as a ‘contextual’ factor17 or a source of rating ‘variability’.18 The MUM literature has a different focus. It suggests that, even if the appropriate assessment judgements are made, the assessor may not communicate these judgements (as ratings, written comments or verbal feedback information) to the learner.

임상 감독관들이 [개인적 생각]을 [공적 판단]으로 변환시킬 수 없는 것은 임상 평가와 의료에 심각한 영향을 미친다. 

• 첫째, 이는 평가자 인식 문헌에 기술된 바와 같이 학생평가에서 오류의 원인이 된다. 이것은 복수의 평가자를 사용함으로써 다소 개선될 수 있으며, 이를 위해 최근 의료 교육 평가에 대한 '프로그램적' 접근방식은 복수의 평가자로부터 빈번한 형성적 '저부담' 평가에 의존한다. 

• 둘째로, 의학교육 피드백 문헌에 따르면 평가자들은 학습자의 수행능력에 대한 정보를 주지 않으며(관대함 편향), 이는 학습자의 적절한 학습 기회를 막는다. 30여 년 전, 엔데는 같은 문제에 주목했는데, 그는 이를 '사라지는 피드백'이라고 불렀다. '... 교사는 선의 때문에 학생의 문제를 둘러서 이야기하거나, 완전히 난해하게 할 정도로 간접적인 표현을 사용한다. 부정적인 평가를 두려워하는 학생은, 선생님의 이같은 회피 행위를 지지하고 강화한다. 그 결과 최고의 의도에도 불구하고, 어떤 실질적인 가치도 전달되지도, 수신되지도 않는다.'

• 마지막으로, 아무리 극단적으로라도, 임상 감독관은 학습자가 필요한 기준을 아직 충족하지 못했을 때 합격하게 놔두게 한다. 'Failure to fail'는 제대로 수행하지 못한 연습생에 대한 교정조치나 추가 지원이 없는 것을 뜻하며, 이는 (환자에게 해를 입히는 등) 심각한 결과가 발생하기 전에 개입하여 성과를 개선할 수 있는 기회를 놓치게 만든다. 결정적으로, failure to fail을 해결하기 위한 개입은(교수개발 포함)아주 제한된 개선만을 가져왔다. 즉, FtF는 의료 교육 및 실천에서 광범위한 영향을 미치는, 지속적으로 발생하는 결과이다.

Clinical supervisors’ inability to turn private thoughts into public judgements has serious implications for clinical assessment and health care more broadly. 

• Firstly, it is a source of error in rating learners, as is described in the rater cognition literature.18 This may be somewhat ameliorated by the use of multiple raters and to this end, recent ‘programmatic’ approaches to medical education assessment rely on frequent formative ‘low stakes’ assessments from multiple raters.19–21 

• Secondly, the medical education feedback literature suggests assessors withhold information about performance (‘leniency bias’), which prevents trainees from learning appropriately.22 Over 30 years ago, Ende noted the same issue, which he called ‘vanishing feedback’: ‘... the well-intentioned teacher talks around the problem or uses such indirect statements as to obfuscate the message entirely. The student, fearing a negative evaluation, supports and reinforces the teacher’s avoidance. The result is that despite the best of intentions, nothing of any real value gets transmitted or received’.3 

• Finally, at the most extreme, clinical supervisors let learners pass when they have not yet met the required standard.4 ‘Failure to fail’ denies remediation or extra support to poorly performing trainees and results in a missed opportunity to intervene and improve performance before a serious consequence occurs, such as harm to patients. Critically, interventions aimed at addressing failure to fail, including faculty development, have resulted in only limited improvements.4 In other words, this is a persistent problem with wide-ranging consequences for health care education and practice.

아래 우리가 약술한 바와 같이, MUM 문헌은 '입을 닫는 것'을 유지하는 상태가 팽배하다고 말한다.23 2626 더 유용하게, MUM 효과 연구는 또한 개개인마다 서로 다른 방식으로 침묵을 지킨다는 것을 지적한다. 또한 'Mum 행동을 engage하는 정도도 다양하다.'30

As we outline below, the MUM literature suggests that keeping mum is pervasive.23–26 More usefully, the MUM effect research also notes that individuals keep mum in different ways27–29 and ‘vary in the extent they engage in these behaviors’.30

기사에서 나온 연구결과는 세 가지 테마로 함께 묶였다. 즉, MUM 행동이 어떻게 생겼는지를 설명하는 주제, MUM 효과의 잠재적 이유를 탐구하는 주제, 그리고 MUM 행동에 영향을 줄 수 있는 요소를 고려하는 테마.

The findings from the articles were clustered together into three themes: 

• those that describe what MUM behaviours look like, 

• those that explore potential reasons for the MUM effect and 

• those that consider factors that can influence MUM behaviours.

MUM효과의 행동적 표현

BEHAVIOURAL MANIFESTATIONS OF THE MUM EFFECT

미루기

Delaying behaviours

가장 초기의 연구는 MUM 효과가 나쁜 소식을 전달하는데 있어서 '미루기' 형태로 나타난다는 것을 지적한다.5,27,38 예를 들어, 테서,로젠,테서는 현장 연구에서 나쁜 소식 전달이 좋은 소식과 비교하여 지연되었다는 것을 보여주었다.27 비슷하게 베네딕트와 레빈도 성과 평가에 관한 실험에서 [시뮬레이션된 감독자들이 하위 성과자들에게 수행 등급을 부여하는 것을 지연시켰다는 것]을 보여주었다. .29

The earliest research notes the MUM effect manifests as a ‘delay’ in delivering bad news.5,27,38 For example, Tesser, Rosen and Tesser showed in a field study that bad news delivery (rejection of a disability financial aid application) was delayed compared with good.27 Similarly, Benedict and Levine showed in an experiment about performance appraisal that simulated supervisors delayed giving performance ratings to lower performers.29

어떤 상황에서는 지연이 의사소통에 도움이 될 수 있다. 왜냐하면, 어떤 메시지를 받게 될지에 대한 valence를 알리고, teller를 돕는 '사회적 기능'을 할 수 있다.

it is noted that delay may even be beneficial to communication in some situations, serving a ‘social function’ 26 of announcing the valence of the message to come and so helping tellers in their task.9,26

왜곡하기

Distorting behaviours

불쾌한 메시지를 왜곡하는 모습은 실험실 설정에서도 관찰되었으며 28,29,36 메시지의 왜곡은 비즈니스 환경에서 '설탕발림'으로 보고되었다.34,39

Distorting an unpleasant message has also been observed in laboratory settings28,29,36 and distortion of the message has been reported in business settings as ‘sugarcoating’.34,39

조직적 학습에서 '설탕발림'의 효과를 모델링하는 것은, 메시지에 대한 약간의 왜곡이 사실 의사소통을 촉진할 수 있지만, 특정 지점을 넘어서면 효과적인 의사소통이 악화될 수 있음을 시사한다.34 이것은 긴스부르크 등이 언급한 언어 분석과 일치한다. 임상 작업 기반 평가에서 서면 코멘트를 수행했으며, 이는 좋은 수행자와 나쁜 수행자 모두에 대해서 광범위한 '헷징'이 발생함을 보여준다.6

Modelling the effects of ‘sugarcoating’ in organisational learning suggests some small amount of distortion of the message may in fact promote communication but when present beyond a certain point, effective communication deteriorates.34 This aligns with the linguistic analysis that Ginsburg et al. have conducted on written comments in clinical work- based assessments, which shows extensive ‘hedging’ for both good and bad performers.6

회피하기

Avoidant behaviours

중요한 것은, 나쁜 소식을 전달하는 사람들은 부정적인 메시지를 전달하는 것을 회피할 수 있다는 것이다.5,11,33,39 예를 들어, 2006년 자연주의 연구에서 인터뷰한 교장들 중 절반 이상이 처음에 성적이 나쁜 교사들의 문제를 무시하거나 회피한 것을 인정했다. 교장이 학생들의 실패를 관리하지 않기 위해 학생들에게 행동을 해 달라고 애원하는 극단적인 예를 포함한다.

Significantly, communicators of bad news may avoid delivering some or all of a negative message.5,11,33,39 For example, over half of the principals interviewed in a 2006 naturalistic study admitted to initially ignoring or avoiding the problem of underperforming teachers, including an extreme example of a principal begging students to behave to avoid managing their teacher’s failings.11

MUM효과는 왜 발생하는가?

WHY DOES THE MUM EFFECT OCCUR?

의사소통자의 성격이나 조직 분위기가 부정적인 메시지 전달에 상당한 영향을 미칠 수 있다는 점도 주목할 필요가 있다.39,41,42

It is worth noting that there are also factors in play; the communicator’s personality or the climate of an organisation may have a significant impact on delivery of negative messages.39,41,42

자신에 대한 걱정

Self-concern

Rosen과 Tesser는 '불쾌한 메시지의 전송을 가능하게 하는 상황에 놓이는 것은, 그가 실제로 메시지를 전송하는지 여부에 관계없이 개인 내면의 긴장을 조성한다'.5 초기 실험 연구에서는 의사소통자들이 나쁜 소식을 공유할 때 죄책감을 경험할 수 있다는 것을 보여주었다.

MUM behaviours may result from a communicator’s desire to avoid bad feelings in themselves, although Rosen and Tesser highlight that ‘being put into a situation that makes transmission of unpleasant messages possible creates a tension system within the individual regardless of whether or not he actually transmits the message’.5 Early experimental studies5,43 showed that communicators may experience feelings of guilt when sharing bad news

메시지 전달자는 수신자가 소식을 어떻게 볼지를 명시적으로 고려할 수 있으며, 의도적으로 메시지를 지연시키는 것은 메시지를 전달하는 자신에 대한 부정적인 평가를 최소화하기 위한 것일 수 있다.23 MUM 행동에 대한 추가적인 이유는 나쁜 소식을 전달할 때 (또는 실제로 요구되는) 의사소통자의 기분 변화를 피하기 위함이다.35 이는 임상평가 문헌에 반영된다: 많은 연구에서 평가자도 trainee를 fail시킬 때, 정서적으로 댓가를 치름을 보고한다.4

Communicators may explicitly consider how their delivery of news will be viewed by receivers24 and the deliberate use of delay may be intended to minimise a negative evaluation of the communicator.23 A further reason given for MUM behaviours is to avoid the negative change in the communicator’s mood that occurs (or in fact is required) when delivering bad news.35 This resonates with the clinical assessment literature: many studies report the emotional toll on clinical assessors when failing a trainee.4

타인에 대한 걱정

Concern for others

메시지 전달자는 불쾌한 메시지를 받는 사람에 대한 우려를 하기 때문에 MUM 행동이 발생할 수 있다. 일반적으로 사람들은 [다른 사람이 좋은 소식을 받고 싶어할 것이고, 반대로 나쁜 소식을 받고 싶어하지 않을 것]이라고 가정하기에, 이것이 행동에 영향을 미칠 수 있다는 것이다.35

The communicator’s concern for the recipient of an undesirable message can also lead to MUM behaviours. The common assumption is that people will want to receive good news and, conversely, not want to receive bad news and this may influence the communicator’s behaviour.35

Conlee와 Tesser에 따르면, 나쁜 소식조차도 듣고 싶어하는 수신인의 욕구를 분명하게 밝힌 상황에서, 메시지 전달자가 이것을 알고 있더라도, 정보 전달을 증가시켰지만, 완전히 MUM 효과를 없앤 것은 아니라는 것을 발견했다.44

Conlee and Tesser tested the effect of clearly stating a recipient’s desire to be told news, even if bad. They found that although knowledge of the recipient’s desire to hear news did increase its transmission, it did not entirely eliminate the MUM effect.44

받는 사람이 부정적인 메시지에 어떻게 반응할 것인지에 대한 의사소통자의 믿음도 MUM 결정에 영향을 미칠 수 있다. '발신자는 수신자를 부정적인 감정 상태로 만들지 않는 것을 선호한다'35 그리고 '특정 메시지가 관련 받는 사람에게 미칠 정서적 영향에 민감하게 보인다'.35 이것들은 대부분 고통을 주고 싶어하지 않기 때문에 매우 자연스러운 공감 반응으로 보인다. 부정적인 메시지를 전달하기 위한 유혹은 다른 사람에게 불행을 야기시키지 않기를 바라는 메시지 전달자의 소망, (진정할 시킬 수 없을지도 모르는) 나쁜 소식에 화가 난 사람과 함께 있는 것에 대한 두려움, 또는 수신자가 발신자를 가혹하게 판단할 것이라는 두려움 때문일 것이다.35

A communicator’s belief of how a recipient may respond to a negative message can influence his or her decision to tell or not. ‘Communicators prefer not to put the recipient in a negative affective state’35 and appear sensitive to the ‘emotional impact a particular message would have on the relevant recipient’.35 These seem like very natural empathetic responses, as most do not wish to cause distress. Reluctance to deliver a negative message may be because of 

• the communicator’s wish to avoid causing unhappiness in another, 

• their fear of being with a person who is upset by bad news, whom they may be unable to calm down, or 

• their fear that an emotional recipient will judge them harshly.35

규범에 대한 우려

The communicator’s concern with norms

사회 규칙이나 규범을 준수하려는 전달자의 욕구는 MUM행동에 관한 세 번째 가능한 설명을 나타낸다.35 이것은 임상평가에서 탐구된 '예의바름 이론'의 개념과 일치한다.6 여기서 좋은 소식을 주는 것은 '체면을 살리는 것'으로 보여지고 따라서 규범적인 것이다. 다시, 이것은 '의학 내에서 [훈련생]과의 비판적인 논의를 자주 피하는 문화가 있다'는 임상평가 설정에서 일어나는 것으로 보고된다.46

Communicators’ desires to conform to societal rules or norms represent a third possible explanation for MUM behaviours.35 This aligns with notions of ‘politeness theory’ explored in clinical assessment,6 where giving good news is seen as ‘face saving’ and therefore normative. Again, this is reported to occur in the clinical assessment setting: ‘there is sometimes a culture within medicine where the critical discussions with [trainees] are often avoided’.46

MUM행동은 무엇에 영향을 받는가?

WHAT CAN INFLUENCE MUM BEHAVIOURS?

의사소통 책임

Responsibility to communicate

의사소통자에게 부정적인 메시지를 전달하기 위한 책임을 명확하게 할당하는 것은 행동에 영향을 미치는 것으로 나타났다.

Clearly assigning responsibility to communicate a negative message to a communicator has been shown to affect behaviour.

참가자들에게 뉴스를 전달할 책임이 주어지는 실험에서, 그들은 그렇게 해야 할 의무가 있다고 느꼈고, 그들이 결정하지 않도록 요청받거나 어디에서 결정하도록 허용된 사람들과 비교했다.

in an experiment where participants were given the responsibility to communicate a piece of news, they felt more obliged to do so, compared with those who were asked not to or where they were allowed to decide;

메시지의 결과

Consequence of the message

결과에 대한 인식이 MUM 행동에 영향을 미칠 수 있다. 성과 평가의 중요성이 증가함에 따라, 성과 관리 환경에서 메시지 전달자의 불편함 수준도 증가했다.49

Perception of consequences may affect MUM behaviours. In a performance management setting, as the importance of a performance appraisal increased, so too did communicators’ levels of discomfort.49

결과에 대한 불확실성은 메시지의 전달에도 영향을 미칠 수 있다. Weenig의 실험적인 연구는 [뒤따르는 결과가 불확실한 나쁜 뉴스]가 [뒤따르는 결과가 확실한 가진 나쁜 뉴스]보다 더 쉽게 전달된다는 것을 암시한다. 그 결과 전자는 '더 급하고 더 도움이 된다'.51

Uncertainty about the consequence may also affect the delivery of the message. Weenig’s experimental work suggests that bad news with indefinite consequences is delivered more readily than bad news with definite consequences, as a result of the former being regarded as ‘more urgent and more helpful’.51

익명성

Anonymity

MUM 효과는 여전히 익명의 상황에서 발생할 수 있다.52 그러나 익명성이 MUM 행동에 미치는 영향에 대한 연구는 혼합되어 있다.23,53

The MUM effect may still occur in anonymous situations;52 however, studies are mixed as to the influence of anonymity on MUM behaviours.23,53

직무만족

Job satisfaction

의사소통자의 작업 상황에 대한 만족도가 영향을 미칠 수 있다.

A communicator’s level of satisfaction with their work situation may influence

콕스 등은 메시지 전달자의 직무만족도나, 전달자 자신의 감독관에 대해 갖는 신뢰의 수준이 스스로 보고된 MUM 행동과 부정적인 관계가 있음을 시사한다. 15 비젤은 고용 안정과 같은 요인들이 나쁜 소식을 전달하려는 의지에 영향을 미칠 수 있다고 지적한다.33

Cox et al. suggest levels of job satisfaction and trust in a supervisor are negatively related to self-reported MUM behaviours;15 Bisel notes that factors such as job security may affect willingness to deliver bad news.33

기존 관계

Pre-existing relationship

일반적으로, MUM 행동은 통신자와 수신자 사이에 기존에 존재하는 관계에 의해 바뀔 수 있다. 위에서 언급한 바와 같이, 감독자에 대한 신뢰는 MUM 행동의 가능성을 감소시킬 수 있다. Weenig 등은 둘 사이의 관계가 가까울수록 정보 교환이 발생할 가능성이 더 높지만, 다른 연구의 결과는 덜 확정적이다.8

In general, MUM behaviours may be modified by the presence of a pre-existing relationship between the communicator and the recipient. As noted above, trust in a supervisor may decrease the likelihood of MUM behaviours. Weenig et al. suggest that the closer the relationship between the two, the more likely that information exchange will occur,51,55 although results of other studies are less conclusive.8

(위계) 차이도 관련이 있다. 예를 들어, Ploeger, Kelly, Bisel은 부하들이 자신들보다 더 높은 직원에 대해 MUM을 유지할 가능성이 더 높다는 것을 보여주었다.40 이러한 관계 발견은 의학 교육과 매우 관련이 있다.

differences are also relevant. For example, Ploeger, Kelly and Bisel showed that subordinates were more likely to keep MUM to an employee senior to them.40 These relationship findings are highly relevant to medical education,

매체

Medium

어떤 매체로 전달되느냐도 중요할 수도 있지만, 이것은 여전히 논쟁의 대상이다.

The medium of the message may be significant, but this is still a matter for debate.

메타 분석 결과 응답자들이 전화 인터뷰의 질문에 매우 긍정적인 반응을 보일 가능성이 더 높았으며, 다른 덜 직접적인 방법과 비교하였다.59 대조적으로, Dibble은 전달 방식이 의사소통을 꺼리는 자기 보고 수준에 영향을 미치지 않는다는 것을 발견했다(대면 vs 전자 메일).26

a meta-analysis showed that respondents were more likely to give extremely positive responses to questions in telephone interviews, compared with other less direct methods.59 By contrast, Dibble found that mode of delivery did not affect the self- reported level of reluctance to communicate (e-mail in comparison with face to face),26

문화적 차이

Cultural differences

MUM 효과는 '광범위한' 경향으로 설명되어 왔으며, 60개의 MUM 행동에 대한 보고가 많은 환경에서 나왔다.

The MUM effect has been described as a ‘widespread’ tendency,60 and reports of MUM behaviours have come from many settings

의학교육의 실질적 함의

PRACTICAL IMPLICATIONS FOR MEDICAL EDUCATION

이 문헌 검토는 MUM 효과가 만연하고, 바람직하지 않은 메시지를 전달하거나 왜곡하는 것을 완전히 피할 수 있으며, 문화와 작업장에 걸쳐 지속된다는 것을 시사한다.

This literature review suggests that the MUM effect is pervasive, can lead to a complete avoidance of delivering or distortion of an undesirable message, and persists across cultures and workplaces.

임상 성과 평가 설정에 대한 이 작업의 즉각적이고 실질적인 함축은 5가지다.

There are five immediate, practical implications of this work for clinical performance assessment settings.

1 MUM 효과는 불가피하게 발생할 것이다. 

1 The MUM effect will inevitably occur. 

MUM 효과가 만연하하다면, 이는 프로그램적 평가의 가치를 뒷받침한다. 사람마다 그들의 MUM 행동의 범위에서 다양한 것으로 보인다. 따라서, 낮은 이해관계를 가지는 많은 다른 평가자들로부터 많은 평가 지점을 갖는 것은 MUM 효과의 발생을 제거하지는 않지만, MUM 효과의 영향을 줄여줄 것이다

If the MUM effect is pervasive, then this supports the value of the programmatic assessment movement.19–21 It appears that people vary in the extent of their MUM behaviours; therefore, having many points of assessment from many different assessors, each with low stakes, should reduce the impact of the MUM effect, although not eliminate its occurrence.

2 학습자를 위한 메시지의 이점에 초점을 맞추면 평가자와 관련 MUM 행동의 불편함을 줄일 수 있다. 

2 Focusing on the benefit of the message for the learner may reduce the discomfort for assessors and associated MUM behaviours. 

교육은 성과 평가와 같지 않다. 교육에서, 나쁜 퍼포먼스 메시지는 배울 수 있는 좋은 기회, 혹은 심지어 '좋은 소식'으로 생각될 수 있다. 이것은 교육 동맹의 개념과 일치한다. 학습자는 자신들에게 가장 큰 관심을 가지고 있다고 믿는 감독자를 신뢰하게 될 것이다.56 이는 기존 관계가 MUM 행동에 어떤 영향을 미칠 수 있는지를 이해하는 열쇠가 될 수 있다. [누군가에게 최고의 이익이 되고자 하는 것]은 분명히 [어떤 불편함으로부터 그들을 보호하는 것]과 같지 않다.

Education is not the same as performance appraisal. In education, poor performance messages can be thought of as good opportunities to learn, or even ‘good news’. This aligns with the notion of the educational alliance, where the trainee will trust a supervisor who they believe has their best interests at heart.56 This may be the key to understanding how a pre-existing relationship can affect MUM behaviours; working towards someone’s best interests is clearly not the same as protecting them from any discomfort.

3 [불편한 메시지 전달]이 job의 일부로 간주될 때 MUM은 감소한다. 

3 MUM manifestations reduce when delivery of an undesirable message is seen as a part of the job. 

임상의가 환자에게 나쁜 소식을 전달하는 것을 피하지 않는 것과 마찬가지로, 우리는 의료 감독자들이 스스로를 교육자로 보도록 장려하고 지원할 수 있으며, 이와 함께 불편한 메시지를 피드백 프로세스의 일부로 제공할 필요가 있다. 이는 일부 감독자들이 부정적인 피드백을 제공하는 것을 꺼린다고 보고하고, 일부는 교육과 평가 사이의 역할 충돌을 보고하기 때문에 중요하다.63

In the same way that clinicians don’t avoid delivering bad news to patients, we can encourage and support clinical supervisors to see themselves as educators, and with this comes the need to provide undesirable messages as part of feedback processes. This is important as some supervisors report reluctance to provide negative feedback62 and some report a role conflict between teaching and assessing.63

4 모든 MUM 행동이 해롭지는 않을 수 있다. – 정도는 관련이 있다. 

4 Not all MUM behaviours may be harmful – the extent is relevant. 

강조된 바와 같이, 메시지 전달이 다소 지연될 경우 이점이 있을 수 있다.9,26 일부 '설탕발림'이 메시지를 더 '맛있게' 만들 수도 있다. 설탕 코팅64의 효능을 의심하는 이유는 있지만, 진정성은 매우 중요하다.65 달달하게 만드는 것은 퍼포먼스에 대한 정보라기보다는, 동기부여적 격려로 볼 수 있다. 이것은 추가적인 조사가 필요한 영역이다.

As highlighted, there may be benefits to some delay in delivering messages.9,26 It may also be that some ‘sugarcoating’34 may make the message more ‘palatable’, although there is reason to doubt the efficacy of sugarcoating64 and sincerity is very important.65 It may be that sweetening can be seen as motivational encouragement rather than part of the information on performance; this is an area for further investigation, not just within the MUM literature.

5 우리는 우리의 평가자에게 더 관대해야 한다.

5 We should be more forgiving of our assessors. 

여러 연구에 따르면 MUM은 인간의 자연스러운 경향이며 따라서 세계의 모든 교수개발을 동원해도 불편한 메시지를 숨기는 침묵을 해소하지 못할 수도 있음을 시사한다. MUM 효과에 대한 정보를 임상 감독자에게 제공하는 것이 반드시 문제를 '수정'하는 것은 아닐 것이다. 그러나 그러나 평가자는 왜, 언제, 어떻게 그들이 훈련생들로부터 정보를 보류하는지 이해해야 하고, 자신의 행동을 조절하기 위한 조치가 필요한지 이해해야 한다. 또한 만약 그들이 MUM 효과가 너무 강력하다고 판단되면 피드백이나 평가 의무를 스스로 내려놓아야 한다. (어떤 시스템에서든) 평가자는 수행기준을 충족하지 못하는 연습생이 진행되지 않도록 보장하는 책임을 질 수 있음을 깨닫는 것이 중요하다.

This body of work suggests that MUM is a natural human tendency and therefore all the faculty development in the world may not resolve the reticence to deliver undesirable messages. Providing clinical supervisors with information about the MUM effect will not necessarily ‘fix’ the problem, but it may permit assessors to understand why, when and how they withhold information from trainees and therefore take steps towards regulating their behaviour or allow them to excuse themselves from feedback or assessment duties if they find the effect to be overpowering. It is important that assessors realise that, regardless of the system, they can take responsibility for ensuring that trainees who do not meet performance standards are not allowed to progress.

비록 MUM 효과가 만연할 수 있지만, 보편적인 것은 아니며 다른 평가 맥락은 특정한 행동을 구속하거나 가능하게 할 수 있다. 한 가지 심오한 차이점은 평가의 목적이 주로 피드백(형성적)인지 아니면, 주로 progress 판단을 기록하기 위한 것인지(총괄적)이다.

Although the MUM effect may be pervasive, it is not universal and different assessment contexts may constrain or enable certain behaviours. One profound difference is whether the assessment’s purpose is primarily as feedback (formative) or if it is primarily for recording a judgement of progress (summative).

임상 감독관들은 피드백이 그들의 소관의 핵심 부분이라는 것을 매우 잘 알고 있다; 보건 전문직 전반에서 임상 감독관들은 피드백을 교수 개발을 위한 가장 시급한 영역 중 하나로 식별한다.66 Bing-You 등은 적절한 감독관 몇 명이 피드백 역할을 전문화 해야한다고 제안한다. 이것은 MUM 효과를 감소시키는 한 가지 방법이 될 수 있다.

Clinical supervisors are acutely aware that feedback is a core part of their remit; across the health professions clinical supervisors identify feedback as one of the most urgent areas for faculty development.66 Bing-You et al. suggest22 that a few suitable supervisors should specialise in the feedback role and we should target our efforts to building these clinicians’ sense of identity as educators. This may be one way to reduce the MUM effect;

또한, 피드백이 단순한 메시지 이상의 것에 맞춘다면, [성과에 관한 정보]는 단지 더 큰 일련의 피드백 교환이나 관계의 한 부분이다; Bing-You의 비유로 보자면, 탱고 댄스의 한 스텝에 불과한 것이다.

Additionally, in line with feedback being more than just the message,67 this places provision of information on performance as just one part of a larger series of feedback exchanges or relationships; to use Bing-You’s analogy, just one step in the dance.22

때때로 평가 메시지는 발달적developmental이지 않다. 이러한 경우, 평가의 주된 목적이 progress에 대한 고부담 결정을 결정하는 경우, MUM 효과를 '제어'하는 다른 접근법이 있을 수 있다. 다시 한 번, 임상 감독관이 메시지 전달이 자신의 핵심 업무의 일부라는 것을 알게 하는 것은 매우 중요하다. 이것을 넘어, 복수의 메시지 전달자를 활용하면 MUM 효과를 개선시킬 수 있다. 이것은 두 가지 방법으로 가능하다.

Sometimes, assessment messages are not developmental. In these instances, when the primary purpose of assessment is making high- stakes decisions on progress, then there may be other approaches to ‘control’ the MUM effect. Once again, ensuring that clinical supervisors see that delivery of the message is part of their core job is very important. Beyond this, it may be that multiple message givers may ameliorate the MUMeffect. This is possible in two ways.

첫째, 프로그램적 평가에서와 같이 복수의 메시지를 수집할 수 있다. 그러나 MUM 문헌의 주요 통찰력 중 하나는 '나쁜 소식'이 충분히 표현되지 않을 것이라는 점이기 때문에, 단 한번의 좋지 않은 평가 결과가 다른 평가들을 더 세밀하게 조사하게 하는 결과를 초래해야 한다는 점을 고려할 가치가 있을 것이다. 물론 이는 단일한 평가 결과가 다소 정확하다는 것을 암시하지는 않는다. 그러나 전반적으로 평가자는 불편한 메시지를 전달하기보다 묵혀둘 가능성이 더 높기 때문에, (한두 건의) 부정적인 평가라고 해서 간과해서는 안 된다.

Firstly, multiple messages may be collated, as in programmatic assessment. However, as one of the key insights from the MUM literature is that ‘bad news’ will be under-represented, it may be worth considering that singular poor assessment results should result in other assessments being given stronger scrutiny. Of course, this does not suggest that a singular poor assessment result is more or less accurate; however, because, across the population, assessors are more likely to withhold undesirable messages than deliver them, a negative assessment should not be overlooked.

둘째로, 메시지 전달 자체가 패널이나 그룹을 통해 이루어질 수 있기 때문에, 나쁜 뉴스의 전달자가 되기 위해 개인에게 의존하기보다는, 합의를 통해 MUM 경향에 신경쓸 수 있다.

Secondly, delivery of the message itself can be through a panel or a group, so that the natural MUM tendencies can be attended to through consensus rather than relying on an individual to be the bearer of bad news.

LIMITATIONS OF THIS REVIEW

CONCLUSIONS

17 Kogan JR, Conforti L, Bernabeo E, Iobst W, Holmboe E. Opening the black box of clinical skills assessment via observation: a conceptual model. Med Educ 2011;45 (10):1048–60.

18 Gingerich A, Kogan JR, Yeates P, Govaerts MJB, Holmboe ES. Seeing the ‘Black Box’ differently: assesssor cognition from three research perspectives. Med Educ 2014;48:1055–68.

6 Ginsburg S, van der Vleuten C, Eva KW, Lingard L. Hedging to save face: a linguistic analysis of written comments on in-training evaluation reports. Adv Health Sci Educ 2016;21 (1):175–88.

66 Bearman M, Tai J, Kent F, Edouard V, Nestel D, Molloy E. What should we teach the teachers? Identifying the learning priorities of clinical supervisors Adv Health Sci Educ 2018;23 (1):29–41.

© 2018 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

대부분의 의료 과오는 커뮤니케이션에 의한 것이라는 미신(Med Educ, 2018)

Debunking the myth that the majority of medical errors are attributed to communication

Timothy C Clapper1 | Kevin Ching1,2

1 | 도입

1 | INTRODUCTION

많은 기사, 책, 발표는 의료적 오류의 대다수가 의사소통에서 기인한다는 선언으로 시작한다. 비록 잘못된 의사소통이 일부 오류의 원인이 될 수 있지만, 우리는 보고된 오류의 대다수가 통신의 직접적인 결과가 아닐 수 있으며, 이것은 추가적인 조사가 요구된다.

Many articles, book chapters and presentations begin with a declaration that the majority of medical errors are attributed to communication. Although miscommunication may be a contributing factor in some errors, we propose that the majority of reported errors may not be the direct result of communication and this requires additional investigation.

교육자와 연구자로서 의학적인 오류의 대다수가 의사소통 오류에 기인한다는 것을 암시하는 많은 문헌과 발표를 발견하는 것은 항상 놀라운 일이었다. 혼란을 가중시키는 것은 우리가 발견한 것의 많은 부분이 실제 연구로부터 보고되지 않고 있다는 것이다.

As educators and researchers, it has always been surprising to find much of the literature and presentations suggesting that the majority of medical errors are attributed to miscommunication. Adding to the confusion is that much of what we have come across is not being reported from actual research.

1.1 | 문제의 틀 짜기: 왜 신화를 실추시키는 것이 중요하고 도전적인가.

1.1 | Framing the problem: why debunking the myth is important and challenging

1.1.1 | 잘못된 인용문 및 기타 오역

1.1.1 | Incorrect citations and other misinterpretations

인터넷1에서 이용할 수 있는 공동위원회 프레젠테이션은 2006년부터 2008년까지 의료 오류의 근본 원인 분석을 보고했다. 발표자는 의료적 오류의 70%를 스탭의 의사소통 탓으로 돌렸으나 스탭의 실수를 초래한 사건에 대한 통찰력은 제공하지 않았다. 이 오류의 45%는 의사와의 의사소통으로 분류되었다. 우리는 저자에게 연락했는데, 그는 우리를 위해 다음과 같이 그녀의 진술을 분명히 했다. "소통에 의한 오류의 경우 70%가 직원 의사소통 관련" (개인소통, 2018년 1월 25일) "근본적인 원인은 두 가지 이상의 의사소통 오류를 수반할 수 있다"는 그녀의 발언은 많은 설명을 덧붙이고 우리가 그 문제를 소급적으로 이해하는 데 도움을 준다. 이 설명을 바탕으로 한 보다 정확한 진술은 의사소통과 관련된 모든 오류의 70%가 스탭 커뮤니케이션을 수반한다는 것이다. (정확하게 말하자면) 이 발표에서, 공동위원회는 대다수의 오류가 의사소통에 기인한다는 것을 암시하지 않았다.

A Joint Commission presentation available on the Internet1 reported the root cause analysis of medical errors from 2006 to 2008. The presenter attributed nearly 70% of the medical errors to staff communication, but did not provide insight into the events that led to the errors made by staff members. Fortyfive percent of these errors were classified as communication with the physician. We contacted the author, who clarified her statement for us as follows: “… of errors due to communication, 70% involved staff communication” (personal communication, 25 January 2018). Her statement to us that “a root cause may involve more than one type of communication error” adds a great deal of clarification and assists us with understanding the issue retrospectively. A more accurate statement based on this clarification would be that 70% of all errors related to communication involve staff communication. It is important to note that in this presentation, the Joint Commission did not imply that the majority of errors were attributed to communication,

2차 출처를 인용하거나 정보를 잘못 해석할 경우, 저자들은 실수로 의사소통 오류의 신화에 기여하고 이를 퍼뜨릴 수 있다. 예를 들어, 발표된 정책 개요의 저자는 다음과 같은 주장을 한다: "연구 결과 모든 의료 오류의 70%가 의료팀 상호작용의 장애에 기인할 수 있다는 것을 발견했다. 이 직책에 대한 인용과 지원은 "의료상의 오류: 우리가 뭘 알아? 어떻게 하지? 3 이 특정한 출처의 저자는 다음과 같이 말하고 있다: "그러나 이 책에 따르면, 의료상의 오류의 80% 이상은 비통신이나 잘못된 의사소통의 탓으로 돌릴 수 있다." 한 소스는 잘못된 의사소통이 문제라는 것을 암시하는 반면, 다른 소스는 같은 것이 아닐 수도 있는 팀 상호 작용이라는 것을 암시한다. 또한, 보고 시 문제의 규모(70% 대 80%)도 달라졌다.

When citing secondary sources, or misinterpreting information, authors may inadvertently contribute to and spread a communi-2 cation myth. For example, the author of a published policy brief makes the following assertion: “Research has found that 70% of all medical errors can be attributed to breakdowns in healthcare team interactions.” The citation and support for this position statement come from a book review titled, Medical error: What do we know? What do we do?3 The author of this particular source states: “More than 80% of medical error, though, according to this book, can be blamed on noncommunication or miscommunication.” One source implies that miscommunication is the problem, whereas the other implies that it is team interactions, which may not be the same thing. In addition, the magnitude of the problem is changed when it is reported (70% vs 80%).

1.1.2 | 오분류 및 오분류

1.1.2 | Misclassification and miscategorisation

투약 오류는 2017년 공동위원회 요약자료에서 상당한 수의 이벤트를 나타낸다.5 이 보고서에서는 투약 오류와 소통 오류를 그룹화한다. 단, 공동위원회 고유의 언어를 사용하는 경우, 소통 오류가 아닐 수도 있으며, 적어도 그 범주에 국한되지 않을 수 있다.

Medication errors represent a substantial number of events in the 2017 Joint Commission summary data.5 In this report, medication errors are grouped with communication errors. However, if using the Joint Commission's own language, they may not be communication errors or at least limited to that category.

우리는 많은 투약 오류가 시행commission의 오류이거나, 누락ommission의 오류일 수 있다고 제안한다. 

• 누락의 오류는 조치를 취하지 않았을 때 생긴 오류다. 이와는 대조적으로 

• 시행의 오류는 의사 결정과 행동이 오류를 야기할 때 발생하는 오류다. 의약품에 대한 체중 기반 투여량 계산은 절차적 또는 인지적 기술을 포함하기 때문에 시행의 오류가 될 수 있다.

we propose that many medication errors may be errors of omission or errors of commission. Errors of omission are errors made when we did not take action when we should have. Errors of commission, by contrast, are errors that occur when decisions and actions led to the error. A weightbased dosing calculation for medication is likely to be an error of commission because it involves a procedural or cognitive skill.

보고에 있어서 표준화의 결여도 문제이다. 공동위원회에 정보를 보고하는 기관들은 이를 볼륨 있게 하고 충분한 세부사항을 포함하지 않아 분류 과정이 복잡해지고 더욱 왜곡되어 곤란해지며 아마도 신뢰할 수 없게 된다.  또한, 정보를 보고하는 것이 전문적 위해를 초래할 것이라는 의료 사업자의 두려움과 이러한 보고 시스템의 정확성에 대한 신뢰 부족은 문제를 더욱 복잡하게 만든다.7, 8 

There is also the lack of standardisation in reporting. The hos-pitals reporting the information to the Joint Commission do so vol-untarily and do not include enough detail, which complicates and further distorts the classification process and makes it difficult and perhaps  unreliable.  In  addition,  fear  among  health  care  providers that reporting information will cause them professional harm, and a lack of confidence in the accuracies of these reporting systems, fur-ther complicate the problem.7, 8 

2 | 방법

2 | METHODS

2.1 | 자료출처 및 검색전략

2.1 | Data source and search strategy

체계적인 검토 및 메타분석 보고(PRISMA)10에 따라 의학 오류, 연구 및 커뮤니케이션이라는 학술적 의학 저널과 용어 조합을 사용하여 체계화된 검토를 실시했다.

A systematised review was conducted in accordance with the Preferred Reporting for Systematic Reviews and MetaAnalysis (PRISMA)10 using scholarly medical journals and term combinations related to the issue: medical errors, research and communication.

2.2 | 포함 및 제외 기준

2.2 | Inclusion and exclusion criteria

그림 1과 같이 의료 오류와 보고된 원인에 대한 보고된 일반화된 1차 연구에 기초하였다.

As shown in Figure 1, inclusion was based on reported generalised primary research of medical errors and the reported causes.

2.3 | 연구 선택

2.3 | Study selection

이 검토 결과 2881개의 검색 결과가 나왔다.

This review resulted in 2881 search results.

2.4 | 데이터 추상화

2.4 | Data abstraction

42개 연구기사 각각에 대해 논문 인용, 연구의 종류와 목적, 주요 결과와 연구자의 논평 등을 포함시켜 오류의 유형을 분류하고 문제를 틀리게 만들었다.

For each of the 42 research articles, we included the citation for the article, the type of research and the aim of the research, key results and researcher comments to categorise the type of error and frame the problem.

3 | 결과

3 | RESULTS

부록 S1은 연구 유형, 표본 정보, 연구 결과 및 결과로부터의 의견과 분석을 포함한 기사의 개요를 제공한다. 중복되는 부분도 있었지만 이번 조사에서는 커미션 오류(20건, 47.6%), 누락 오류(6건, 14.2%), 통신 오차를 통한 오류(4건, 9.5%, 그림 2) 등 세 가지 범주의 오류가 우세했다.

Appendix S1 provides an overview of the articles, including the types of research, sample information, results of the research and comments and analysis from the results. Although there was some overlap, three categories of errors were dominant in this research: errors of commission (20 articles; 47.6%), errors of omission (six articles; 14.2%) and errors through miscommunication (four articles; 9.5%; Figure 2).

4 | 고찰

4 | DISCUSSION

무엇이 의료 오류를 구성하는지에 대한 정의는 상황적 의도, 표준화되지 않은 분류 체계 및 대체 조치의 사용에 따라 달라진다.13 의료 오류에 대한 체계적인 검토에서 우리는 문헌에서 오류 보고에 대한 이질적이고 일관되지 않은 설명을 발견했다.

Definitions of what constitutes a medical error vary depending on situational intent, nonstandardised classification schemes and the use of surrogate measures.13 In our systematic review of medical errors, we found heterogeneous and inconsistent descriptions of error reporting in the literature.

오류 보고의 여러 유형에도 불구하고, 연구 문헌에 보고된 누락 오류와 시행 오류의 비율이 의사소통의 오류로 인한 오류보다 더 크다는 증거를 발견했다.

Notwithstanding the multiple types of error reporting, we found evidence that errors of omission and errors of commission account for a greater proportion of medical errors reported in the research literature than those attributed to miscommunication.

의료 오류의 대부분은 지식 기반 오류와 진료 지연, 임상 평가, 임상 추론 및 의사 결정에서 인간 실패human failure 등으로 구성되었다. 평가와 진단에서 실패는 일반적으로 판단의 오류를 포함한다. 절차 기술 수행의 기술적 오류도 흔하다.

The majority of medical errors were comprised of knowledge-based mistakes and delays in care,14 as well as human failures in clinical assessment, clinical reasoning and medical decision making.8,14–25 Failings in assessment and diagnosis typically included errors of judgement.16, 24–28 Technical errors in the performance of procedural skills are also common.25,30,31

투약 오류도 흔하다. 많은 약물 오류는 의사결정의 인지적 오류 또는 기술 기반 오류 또는 성과 및 지식 부족의 결과일 수 있다.32-34 가장 일반적으로 보고된 의약품 오류는 잘못 계산되었거나 실수한 용량 또는 절차 오류에 초점을 맞추었다.18,27,32,33,35,40 Kuo 등이 발견한 의약품 오류의 53%는 처방 오류로 구성되었다.

Medication errors are also common. Many medication errors may be the result of cognitive errors in medical decision making, or skillsbased errors, or performance and knowledge deficits.32–34 The most commonly reported medication errors centred on miscalculated and mistaken doses, or missteps.18,27,32,33,35–40 Fiftythree percent of the drug errors found by Kuo et al36 consisted of prescribing errors.

일부 투약 오류는 의사소통 자체의 오류보다 비효율적인 인계에 의해 야기되었다. 벤자민 외 연구진 41은 부정확하거나 불완전한 정보, 비효율적인 핸드오버 방법, 핸드오버에 대한 표준화된 절차의 결여 및 환자에 대한 지식이 부족한 미식별 레퍼러에 대한 명확한 설명을 제공했다. 이러한 인계 오류는 잘못된 소통보다는 잘못된 판단, 결함 있는 메모리, 표준화된 핸드오버 툴의 사용을 소홀히 하여 발생한 것으로 보인다. 이것이 바로 가완데가 그의 획기적인 책에서 체크리스트의 필요성을 강조한 이유였다.

Some medication errors were caused by ineffective handovers rather than errors in communication itself. Benjamin et al41 provided an explicit description of defective handovers caused by inaccurate or incomplete information, ineffective handover methods, lack of standardised procedures for handovers, and uninformed referrers lacking knowledge about their patients. Rather than miscommunication, it appears that these handover errors were generated by faulty judgement, flawed memory and neglecting to use standardised handover tools. These were the very reasons why Gawande42 highlighted the need for checklists in his groundbreaking book.

보고된 소통 오류는, 기존에 언급되던 것보다 human factor를 포함하는 오류 중에서 적은 비율만을 차지하였다. 대부분은 종합해서aggregated 보고되었고 42개(9.5%)의 연구논문 중 4개만이 소통을 통한 오류 비율이 더 높다고 보고했다.39,43,44,46 설명이 없는 경우에는, 어떤 종류의 소통이 오류인지 불분명할 때가 많았다.

Communication errors, when reported, made up a smaller proportion of failures involving human factors than previously described. Most were reported in aggregate and only four research articles of 42 (9.5%) reported larger proportions of errors through communication.39,43,44,46 If they were described at all, it was frequently unclear what kind of communication was in error.

소통 오류 자체는 명시적으로 공개되지 않았지만, 사건 후 조치계획은 표준화된 인계 프로토콜과 문서화 절차를 사용할 것을 권고하였다. 이러한 시정조치를 본다면, (대인 커뮤니케이션 기술의 실패가 아니라) 시스템 기반 소통 실패가 근본 원인이라고 볼 수 있다.

Although the communication errors themselves were not explicitly disclosed, the postevent action plans recommended the use of standardised handover protocols and documentation procedures. Corrective actions suggest systemsbased communication failures as a root cause rather than failings in interpersonal communication skills.20,39,46,47

소통오류 비율이 가장 높은 경우는 Woolf 등.24에 의한 익명 오류 보고서의 계단식 사건 분석의 일부로 설명되었다. 다양한 단계의 실수를 식별하고 오류의 사슬을 함께 연결하기 위한 노력에서, 그들은 가정의학과의사들이 보고한 오류의 67%가 잘못된 의사소통에 기인할 수 있다는 것을 발견했다. 이러한 통신 오류 중 90%는 "메시지, 지시, 의료 데이터 처리 오류"에 의한 "정보 소통"의 실패와 연계되었다. 이러한 오류들은 전자 진료 기록과 환자와의 전자 통신 전략의 사용으로 막을 수 있었던 오류들이었다.

The highest reported rate of communication errors was described as part of a cascade event analysis of anonymous error reports by Woolf et al.24 In an effort to identify various stages of mistakes and link chains of errors together, they found that 67% of errors reported by a group of family physicians could be attributed to miscommunication. Among these communication errors, 90% were linked to failures in “informational communication” caused by “errors in processing messages, instructions, and medical data.” These were errors that could have been prevented by the use of electronic medical records and electronic communication strategies with patients.

4.1 | 몇 가지 가능한 설명

4.1 | Some possible explanations

의사와 다른 의료 사업자는 많은 기술과 지식 세트를 유지해야 한다. 기억해야 할 것이 너무 많고 연습할 시간이 너무 적어서 모든 분야에 능숙하게 남아 있으면 오류가 발생할 수 있다.

Physicians and other health care providers must maintain a number of skill and knowledge sets. With so much to remember and so little time to practise and remain proficient in every area, errors can occur.

단, 공동위원회가 열거한 이벤트는 누락 오류나 실행 오류로 명확히 분류할 수 있다. 이러한 각 사건에는 시술자 측의 치료나 기술, 진단 또는 인지결손이 포함될 가능성이 있다. 예를 들어, 

• 낙상은 보건의료 제공자가 안전 절차가 제자리에 있어야 하지만 제공되지 않았다는 것을 알고 있다면 누락 오류로 분류될 수 있다. 

• 낙상 발생 가능성을 줄이기 위해 안전 메커니즘을 적용할 때 기술, 진단 또는 인지적 결핍의 결과인 경우 실행 오류로 분류할 수 있다.

However, the events listed by the Joint Commission48 can clearly be classified as errors of omission or errors of commission. Each of these events is likely to include delays in treatment or skill, diagnosis or cognitive deficits on the part of a practitioner. Falls, for example, may be categorised as errors of omission if a health care provider knew that a safety procedure needed to be in place but was not provided. It could be classified as an error of commission if the fall was the result of a skill, diagnosis or cognitive deficit when applying a safety mechanism to reduce the likelihood of a fall occurring.

잘못된 환자, 잘못된 사이트 또는 잘못된 절차로 보고된 사건 중 하나는 부적절한 의사소통과 관련이 있는 것으로 보일 수 있지만, 그것은 그저 실패 원인의 한 부분일 수 있다. 공동 위원회가 지적한 바와 같이, 타임아웃 절차를 생략하고, 수술 부위는 부적절하게 표시되며, 제공자는 환자 검증 단계를 건너뛰고, 환자 인계은 효과적이지 않는 경우가 생긴다. 이 모든 것은 실행 오류를 포함하는데, 즉, 임상 제공자는 무엇인가 해야 한다는 것을 알고 있었지만, 단계를 건너뛰거나, 절차를 생략하거나, 작업을 올바르게 수행하지 못했다.

One of the reported events, wrong patient, wrong site or wrong procedure, would appear to be related to inadequate communication; however, that may only be a part of the reason for the failure. As noted by the Joint Commission,48 timeout procedures are skipped, surgical sites are inadequately marked, providers skip patient verification steps and patient handovers are ineffective. These all involve errors of commission, whereby a clinical provider knew something had to be done, but skipped steps, bypassed procedure or did not accomplish the task correctly.

특히 의약품 관리에 대한 정보를 포함하고 있기 때문에 한 의사에서 다른 의사로 transfer를 위한 인계도구의 중요성에 주목했다. 이 검토에서 지원되는 것처럼 의사소통의 오해는 환자 인계 과정에서 오류를 초래하는 원인이 될 수 있다. 부적절한 인계는 읽기 어려운 필기 또는 구두 메시지로 인해 발생할 수 있지만, 표준화된 인계 프로토콜을 사용하지 못한 경우에도 발생할 수 있다. 의사는 기존에 제공해오던 care에 대한 보고와 함께, 사례의 진단이나 해석을 보고하기 때문에, 부적절한 핸드오버에는 실행 오류도 포함될 수 있다.

We noted the importance of the handover tool for transferring care from one provider to another, especially as it includes information about medication administration. As supported by this review, miscommunication may be a contributing factor in patient care handover failures that lead to error. Although inadequate handovers may be caused by illegible handwriting or verbal messaging, they may also be caused by failures to use standardised handover protocols. Because the provider reports on the care that was provided, along with the diagnosis or interpretation of the case, inadequate handovers may also include errors of commission.

Atul Gawande42는 의사들이 정보가 중요할 것이라고 생각하지 않기 때문에, 다른 의사에게 인계할 때 엄청난 양의 정보를 생략한다고 보았다. 자신의 주변 환경에서 너무 많은 일이 일어나고 있기 때문에, 제공자들은 심지어 모든 관련 정보를 포함하는 것을 기억하지 못하여 누락의 오류를 야기할 수 있다. 대부분의 조직은 일종의 인계 체크리스트나 절차를 사용하지만, 효과적으로 사용하거나 전혀 사용하지 않을 수 있다. 또한, 우리 조직에서는 부서별로 다른 몇 가지 핸드오버 툴(즉, SBAR, IPASS, EDPASS, SBARIP 등)이 사용되고 있다. 우리는 핸드오버 도구 형식의 불일치가 임상 오류를 초래할 수 있는 시스템 문제를 야기할 수 있다는 우리의 주장을 설명하기 위해 그들이 대표하는 것을 설명할 필요도 없다. 부서 간에 정보를 한 형식에서 다른 형식으로 전송할 때 정보가 손실될 수 있다.

Atul Gawande42 observed that providers leave out a great amount of information from one handover to another because at the time they did not think the information would be important. With so much going on in their environment, providers may not even remember to include all of the pertinent information, leading to an error of omission. Most organisations utilise some sort of handover checklist or procedure, but may not be using them effectively or using them at all. In addition, in our organisation, there are several handover tools in use (ie SBAR, IPASS, EDPASS, SBARIP, and more), varying by department. We do not even have to spell out what they represent to make our point that inconsistencies in the handover tool format can create systems issues that can lead to clinical error. Information can be lost when transferring information from one format to another between departments.

절차적 스킬은 실ㄺ이 저하되기 쉬우며, 숙련도를 유지하기 위해 적절한 초기 지침과 지속적인 실행이 필요하다. 우리는 시술자들이 기도를 주입할 때 환자의 이빨을 부러뜨리거나 목 뒤쪽에 손상을 줄 수 있다는 것을 알고 있다. 그들은 이 희귀한 절차를 충분히 자주 시행하지 않았기 때문에 크리코시트로트 수술 중에 기관내관이 아닌 외소판 관을 삽입할 수 있다. 실력이 저하되기 쉬운 기술을 연습할 수 있는 교육과 기회는 이러한 오류의 많은 부분을 방지할 수 있다. 문제는 각 직업이나 전문 분야에서 요구되는 방대한 수의 기술과 절차의 숙련도와 역량을 습득하고 유지하는 것이다.

Procedural skills are perishable and require adequate initial instruction and ongoing practise to maintain proficiency. We know that practitioners can break a patient's teeth when intubating an airway or cause damage to the back of the throat. They can insert an endotracheal tube into the oesophagus rather than the trachea during a cricothyrotomy because they have not practised this rare procedure often enough. Education and opportunities to practise the perishable skills may prevent many of these errors from occurring. The problem is acquiring and retaining proficiency and competency in the vast number of skills and procedures that are required in each profession or specialty.

4.2 | 소송을 통한 설명

4.2 | Explanation through litigation

우리의 체계적인 검토는 연구 논문에서 보고된 오류에 초점을 맞추었다. CoverMD.com은 유명한 의료 과실 보험 웹사이트다. 이 웹사이트에 실린 그의 글에서, Bialak53은 미국에서 가장 흔한 10가지 의학적 오류를 기술했다. 표 1은 Bialak이 발생한 오류를 설명하기 위해 사용한 실제 사건의 예와 함께 요약본을 제공한다.

Our systematic review focused on reported errors in research articles. CoverMD.com is a wellknown medical malpractice insurance website. In his article on this website, Bialak53 described the ten most common medical errors in the USA. Table 1 provides a summary along with an example of an actual event that Bialak used to describe the errors that occurred.

명시된 지연, 부적절한 결정, 그리고 잘못 수행된 기술 등을 비롯하여, 비알락 보고서의 모든 의료적 오류는 누락 또는 커미션의 오류로 분류될 수 있다. 어떤 사례도 의사소통의 오류는 아닌 것 같다. 이러한 결과는 다른 수단보다 통신에 의한 오류 비율이 작을 수 있다는 우리의 연구 결과와 일치한다.

With the noted delays, improper decisions and skills that were performed incorrectly, all of the medical errors in Bialak's53 report may be classified as errors of omission or commission. None of the cases appear to be errors in communication. These results align with our findings that a smaller percentage of errors may be attributed to communication than other means.

4.3 | 한계

4.3 | Limitations

5 | 결론

5 | CONCLUSIONS

자기보고에 의존하여 발생하는 데이터와 이슈의 오분류는 의료오차의 정확한 비율을 높은 신뢰도로 진술할 수 없는 조건을 만들어낸다. 그러나, 우리가 이 체계적인 검토를 통해 수집한 증거로부터, 우리는 의료상의 오류의 대다수가 의사소통에서 기인한다는 주장을 뒷받침할 믿을 만한 자료를 찾지 못했다. 크리코 스트래티지스, 54세 친구의 생일파티에서 혈당이 치솟았다. 하버드대 병원 보험회사 소속 연구분석그룹 중 2009~2013년 23건의 의료과실사 사례를 분석한 결과 의사소통 실패가 의료오차로 이어지는 7000건(29.5%)이 넘는 사례를 확인했다. 우리의 검토에서, 의료상의 오류가 어떤 형태의 부적절한 의사소통에서 기인할 수 있다는 압도적인 통계를 42개(9.5%)의 연구 논문 중 4개만이 보고했다. 이는 오류의 실제 원인을 일부 저자와 발표자가 정확하게 보고하고 인용하지 않을 수 있음을 암시한다.

The misclassification of data and issues that come with a reliance on selfreporting create the conditions where we may not be able to state with a high level of confidence the exact rates of medical error. However, from the evidence we have gathered through this systematic review, we have not found any reliable data to support the assertion that the majority of medical errors are attributed to communication. CRICO Strategies,54 a at her friend's birthday party and her blood sugar spiked. Among research and analysis group affiliated with the insurers of the Harvard hospitals, analysed 23 658 malpractice cases from 2009 to 2013 and identified over 7000 cases (29.5%) where failures in communication led to medical error. In our review, only four research articles of 42 (9.5%) reported overwhelming statistics that suggest medical errors could be attributed to some form of inadequate communication. This implies that the real cause of errors may not be reported and cited correctly by some authors and presenters.

© 2019 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

비판적 사고, 편향, 이중처리: 일반화가능한 스킬이라는 죽지않는 신화(Med Educ, 2019)

Critical thinking, biases and dual processing: The enduring myth of generalisable skills

Sandra Monteiro1,2 | Jonathan Sherbino2,3 | Matthew Sibbald2,3 | Geoff Norman1,2

1 | 소개

1 | INTRODUCTION

사실상 모든 사람들이 (이루어지기는 했지만 충분히 충족되지 않은) 가장 중요한 학교교육의 목표는 학생들이 비판적으로 생각할 수 있도록 하는 것이라는 데 동의할 것이다. (Willingham, 20071)

Virtually everyone would agree that a primary, yet insufficiently met, goal of schooling is to enable students to think critically. (Willingham, 20071)

모두가 그렇지는 않다. 우리는 동의하지 않는다. 본 논문에서 우리는 위의 주장(교육의 중심 초점은 비판적 사고, 문제 해결, 임상적 추론과 반성과 같은 일반적인 기술을 주입하는 것이어야 한다는 것)이 사실 신화라는 입장을 옹호한다.

Not everyone. We do not agree. In this paper, we defend the position that the above assertion (ie that the central focus of education should be to inculcate general skills like critical thinking, problem solving, clinical reasoning and reflection) is indeed a myth.

우리의 중심적 주장은 의학 교육과 인지심리학에서 상당부분의 증거가 이 주장을 뒷받침하지 못한다는 것이다. 대신에, 증거에 따르면, 전문성의 본질은 어떤 종류의 일반적인 사고 기술이 아니라, 대규모의, 조직화된, 회상가능한retrievable 공식적이고 경험적인 지식이라는 것을 계속해서 증명한다.

Our central claim is that the preponderance of evidence, in medical education and cognitive psychology, does not support this assertion. Instead, the evidence demonstrates again and again that the essence of expertise is the possession of a large, organised and retrievable body of both formal and experiential knowledge, not any kind of general thinking skills.

당연히 가르침과 배움은 지식이 아닌 사고에 관한 것이어야 한다는 고귀한 생각은 의학에만 있는 것이 아니다. 그것이 두드러지게 특징지었던 한 분야는 지난 세기가 시작될 무렵의 미국 교육이었는데, 그 때 고전 유럽 교육에서와 마찬가지로 라틴어, 그리스어, 논리학의 학습으로 대변되는 "정신적 능력"의 발달에 중점을 두었다. 그 반대의 증거는 1906년에 Thorndike에 의해 제시되었는데, 그는 상이한 업무에 대한 일반적인 전이transfer 효과가 매우 낮다는 것을 보여주었다(Leman et al2에서 설명됨): 일반적 기술("정신적 능력")이란 존재하지 않는다. 그러나 라틴어의 과목은 그 존재의 근거가 사라진 지 한참 후까지도 공립학교 교과과정에 남아 있었다.

Not surprisingly, the noble idea that teaching and learning should be about thinking, not knowledge, is not unique to medicine. One area in which it featured prominently was American education around the turn of the last century, when, as in classical European education, the emphasis was on the development of “mental faculties” exemplified by the study of Latin, Greek and logic. Evidence to the contrary was presented by Thorndike in 1906, who showed that typical transfer effects across dissimilar tasks were very low (described in Lehman et al2): general skills (“mental faculties”) did not exist. However, the course in Latin remained in the public school curriculum long after the rationale for its existence had disappeared.

심리학에서 "정신적 능력"은 특히 미국에서 과학심리를 지배하는 행동주의로 대체되었다. 그러나 20세기 후반에 이러한 기계론적, 환원주의적 이론적 관점은 결국 인지적 심리로 대체되었다. 동시에, 건강 전문가 교육의 초점은 행동 목표에서 근본적인 사고 과정의 개발을 향해 나아갔다.

In psychology, “mental faculties” were replaced by behaviourism, which dominated scientific psychology, particularly in the USA, to midcentury. However, in the latter decades of the 20th century, this mechanistic and reductionist theoretical perspective was eventually superseded by cognitive psychology. Concurrently, the focus of health professions education moved away from behavioural objectives towards the development of underlying thinking processes.

2 | 르네상스: 1960-1980

2 | THE RENAISSANCE: 1960-1980

2.1 | 정보처리 모델의 출현

2.1 | The emergence of information-processing models

2.1.1 | 인지심리학

2.1.1 | Cognitive psychology

인지혁명의 원동력은 인간의 "정보처리"에 대한 은유로서 컴퓨터의 발전이었다. 마음의 은유로서 '기계'가 침입하면서, 초기에는 뉴웰과 사이먼의 "일반적인 문제 해결사(이름이 모든 것을 보여준다)"와 같은 인공지능에 대한 연구로 이어졌다. 이것은 인간(과 기계)의 문제 해결은, 문제를 해결하기 위해 특정한 지식 기반을 동원할 수 있는 일반적인 전략을 채택하는 문제라는 전제에 기초한다. 여러 문헌에 브레인스토밍, 측면서고, 연관성 등과 같이, "내용과 무관하게" 문제 해결과 창의성 향상으로 이어지는 수많은 전략이 스며들었지만, 결과는 그렇지 못했다. 우리는 이제 그 은유가 너무 지나치게 문자 그대로 받아들여졌다는 것을 안다. 인간의 마음은 1970년대와 1980년대에 디자인된 컴퓨터와 같은 방식으로 작용하지 않는다.

A driving force behind the cognitive revolution was the development of computers as a metaphor for human “information processing.” Early forays into the machine as a metaphor of the mind led to research in artificial intelligence such as Newell and Simon's “general problem solver” (the name says it all), based on the premise that human (and machine) problem solving was a matter of adopting general strategies that could then be mobilised with specific knowledge bases to solve problems.3,4 The lay literature was permeated by numerous contentfree strategies—brainstorming, lateral thinking, synectics—that purported to lead to large increases in problem solving and creativity, but did not. We now know that the metaphor was taken too literally; human minds do not work in the same way as the computers that were designed in the 1970s and 1980s.5

2.1.2 | 의학 교육

2.1.2 | Medical education

전문가 진단 추론 연구의 기원은 1970년대에 실시된 대표적 연구이다.

The origins of research on expert diagnostic reasoning are credited to seminal work conducted in the 1970s

처음에는, 일반적인 과정이 나타났다. 처음 몇 초 또는 몇 분 이내에 발생하는 초기 "가정 생성" 단계와 추가적인 확인 데이터를 위한 길고 순차적이며 체계적인 검색의 두 단계로 구성되었다.

A general process did emerge from these studies. It consisted of two stages: an initial “hypothesis generation” stage occurring in the first few seconds or minutes of the encounter, followed by a long, sequential and systematic search for additional confirmatory data.

그러나 세 가지 추가 연구 결과가 발생하여 근본적인 가정에 심각한 도전을 제기하였다. 

• 첫째로, 그 과정은 너무 일반적이었다. 의대 1학년 학생부터 전문 임상의사에 이르기까지 모든 사람들은 기본적으로 동일한 가설의 생성과 테스트 과정을 사용하고 있었다. 전문가들이 그것을 더 잘 하고 있다는 것은 간단히 언급되었다. 

• 둘째로, 진단 정확도라는 그 프로세스의 성과를 조사했을 때, 주로 "가설의 내용"이라는 하나의 변수와 관련이 있는 것으로 밝혀졌다. 참가자들이 일찍부터 이 진단에 대해 생각했다면, 그들은 정확한 결과를 얻었고, 그렇지 않았다면, 글쎄, 그들은 그렇지 않았다. 

• 마지막으로, 그리고 결정적으로, 한 문제에 대한 성공은 다른 문제에 대한 성공을 보장하지 않았다. 문제에 대한 전형적인 상관관계는 0.1~0.3이었다. 따라서 일반적인 문제 해결 전략의 개념은 경험적 테스트에 실패했다.

However, three additional findings arose which presented a serious challenge to the underlying assumption. 

• Firstly, the process was too general. Everyone, from firstyear medical student to expert clinician, was essentially using the same process of generating and testing hypotheses; it was simply noted that experts were doing it better. 

• Secondly, when the outcome of the process—diagnostic accuracy—was examined, it was found to relate primarily to only one variable: the content of the hypothesis. If participants thought of the diagnosis early on, they got the correct outcome; if they didn't, well, they didn't. 

• Finally, and critically, success on one problem was no guarantee of success on another. The typical correlation across problems was 0.10.3. Thus, the notion of general problem-solving strategies failed an empirical test.

Elstein 등은 후기 논문에서 이러한 발견을 우아하게 요약했다: 

"맥락과 내용을 배제한 임상 추론의 purely formal syntax는 생성된 가설에 대한 품질의 차이도, 사례에 따른 임상의사의 변동성도 설명할 수 없다. 오히려 구체적 사례에서 더 나은 가설을 만들어내는 능력 뒤에는 도메인 고유의 지식의 차이가 있는 것처럼 보였다."

Elstein et al, in a later paper, summarised these findings elegantly: “A purely formal syntax of clinical reasoning stripped of context and content could account neither for difference in the quality of hypotheses generated nor for clinicians’ variability across cases. It seemed, rather, that differences in domain-specific knowledge must lie behind the ability to generate better hypotheses in specific cases.”

3 | 계몽기: 1980-2000

3 | THE ENLIGHTENMENT: 1980-2000

3.1 | 지식의 역할과 기술의 특수성

3.1 | The role of knowledge and specificity of skills

3.1.1 | 인지심리학

3.1.1 | Cognitive psychology

곧 인간의 문제 해결은 정교한 기술을 습득하는 문제가 아니라 광범위하고 풍부한 지식 네트워크에서 운영되는 상당히 단순한 전략에 해당한다는 것을 알게 되었다.4

It soon emerged that human problem solving was not a matter of acquiring elaborate skills; rather, it amounted to fairly simple strategies operating on extensive and rich knowledge networks.4

추론에서 이러한 핵심적 지식의 역할은 다른 영역의 전문지식을 이해하는 것에 기초한 새로운 연구 분야로 이어졌다. 이러한 발견에서 바로 "의도적 연습"과 같은 현상이 나타났다. 이러한 견해에 따르면 전문지식은 일반적인 전략과도, 무수한(진짜로 수천개에 달하는) 문제를 가지고 실천에서 얻은 경험적 지식과는 아무런 상관이 없다.

This central role of knowledge in reasoning then led to a new field of research based on understanding expertise in different domains. Phenomena such as “deliberate practice” emerged directly from these findings.10 In this view, expertise has nothing to do with general strategies and everything to do with experiential knowledge acquired from practice with many, indeed, thousands of problems.

인지 기술의 제한된 일반화가능성은 또 다른 연구 영역인 전이 연구에서 나타났다. 전이에 대한 무수한 연구 프로그램은 far transfer는 하는 것은 매우 어렵다는 것을 일관되게 보여주었다.11 전이란 한 맥락에서 습득한 지식을 다른 맥락에서 동일한 개념 구조를 가진 문제를 해결하는 데 활용하는 것이다.

The limited generalisability of cognitive skills emerged in another research domain: studies of transfer. An extensive research programme examining transfer—using knowledge acquired in one context to solve problems with the same conceptual structure in a different context—revealed consistently that far transfer was exquisitely difficult.11

마지막으로, 인간의 문제 해결을 시뮬레이션하기 위해 컴퓨터를 계속 사용하는 것은 "수단-목적 분석"과 같은 일반적인 방법을 사용하는 프로그램들이라는 것을 보여주었다. 단순한 문제에 유용한 반면, 지식이 풍부한 영역에서는 효과적이지 않았고, "취약한 방법"이라고 불렸다. "전문가 시스템"이라고 불리는 전문가 지식을 바탕으로 한 대안들은 구체적 영역specific domain에서 훨씬 뛰어났다.12

Finally, the continued use of computers to simulate human problem solving revealed that programs using general methods like “means–end analysis,” while useful for simple problems, were ineffective in knowledge-rich domains and were referred to as “weak methods.”4 Alternatives based on expert knowledge, called “expert systems,” were far superior in specific domains.12

3.1.2 | 의학 교육

3.1.2 | Medical education

[지식의 중심성]을 지적하는 초기의 발견은 임상추론 연구에 있어서 강조의 변화를 가져왔다. 연구자들은 어떤 일반적인 추론 기술을 더 추구하기 보다는 전문가들이 사용하는 지식 구조의 종류를 탐구하기 시작했다.

The early findings pointing to the centrality of knowledge led to a change of emphasis in the study of clinical reasoning. Instead of further pursuing some generalisable reasoning skill, researchers began to explore the kinds of knowledge structures that experts use.

실제로, 지식에 대해서 단일한 중심적인 형태는 없을 가능성이 높다; 오히려, 전문 지식의 한 가지 특징은 분석적인 것에서 경험적인 것에 이르는 광범위한 지식영역이다.

Indeed, it is likely that there is no one central form of knowledge; rather, one hallmark of expertise is the mastery of vast domains of knowledge ranging from analytical—base rates and physiological mechanisms—to experiential.

4 | 반계몽주의: 2000년부터 현재까지

4 | THE COUNTERENLIGHTENMENT: 2000 TO THE PRESENT

4.1 | 사고력의 부활

4.1 | The reemergence of thinking skills

새 천년은 일반 교육과 심리학, 그리고 의학 교육에서 일반적인 사고 전략에 대한 관심이 되살아나는 것을 발견했다. 그러나 이름은 바뀌었다. 비판적 사고, 메타인지, 성찰과 같은 용어가 등장했다. 게다가, 의사결정의 "이중 프로세스" 이론은 문제 해결과 진단에 관한 담론을 지배하게 되었다.

The new millennium found a resurgence of interest in general thinking strategies, both in general education and psychology, and in medical education. However, the names changed. Terms like “critical thinking,” “metacognition” and “reflection” entered the lexicon. Moreover, “dual process” theories of decision making came to dominate discourse on problem solving and diagnosis.

4.2 | 인지심리학

4.2 | Cognitive psychology

4.2.1 | 비판적 사고

4.2.1 | Critical thinking

비판적 사고는 흔히 학생들이 지식 습득과 병행하여 개발할 수 있는(그러나 반드시 연결되어 있는 것은 아니다) 기술로 묘사된다.18

Critical thinking is often described as a skill that students can develop in parallel with (but not necessarily connected to) knowledge acquisition.18

대다수의 문헌은 비판적 사고는 일반적이고 맥락에 구애받지 않는 기술이라고 가정하고 있다. "판단, 분석, 평가, 추론"과 태도 "양심적이고, 잘 알고, 열린 마음" 유연성... 신중성..." 등.19. 일반적인 비판적 사고 교육의 효과는 일반적인 비판적 사고 프로세스를 테스트하기 위해 설계된 왓슨-글레이저 비판적 사고 평가(WGCTA)와 같은 척도로 평가된다.20

By far the majority of the literature assumes that critical thinking is a general, context-independent set of skills: “judgement, analysis, evaluation, inference” and attitudes “inquisitive, well-informed… open-minded,

flexible… prudent…” and so on.19 The effect of general critical thinking instruction is commonly assessed by measures such as the Watson–Glaser Critical Thinking Appraisal (WGCTA), designed to test general critical thinking processes.20

4.2.2 | 메타인지

4.2.2 | Metacognition

메타인지(metacognition)는 자신의 생각을 인식하는 것을 말한다. 메타인지에 대한 대부분의 연구는, 메타인지는 지식과는 구별되며, [학습을 할 수 있는 일반적인 자기조절활동]으로 구성되어 있다고 가정한다. 그리고 이 능력은 "학생들이 학습과 문제 해결을 위한 전략을 감시하고, 반성하고, 개선하도록 돕는다." 

Metacognition refers to awareness of one's thinking. Most research on metacognition assumes that it consists of general selfregulatory activities that can be learned distinct from knowledge and that “help[ing] students monitor, reflect upon, and improve their strategies for learning and problem solving.”21 

그러나 브랜스포드와 슈워츠는 다음과 같이 지적한다. 

"연구 결과에 따르면, 메타인지적 활동에는 지식이 강력하게 요구된다. 메타인지는 "한 번에, 모든 것을 배울 수 있는" 일반적인 기술이 아니다. 예를 들어 특정 과제의 수행요건에 대해 잘 구분된 지식이 없으면, 사람들은 자신이이 그 과업을 수행할 준비가 되어 있는지 여부를 정확하게 평가할 수 없다."

However, Bransford and Schwartz point out: “Research also suggests that metacognitive activities have strong knowledge requirements; they are not general skills that people learn “once and for all.” For example, without welldifferentiated knowledge of the performance requirements of a particular task, people cannot accurately assess whether they are prepared to perform that task.”11

4.2.3 | 이중 프로세스 이론과 인지적 편견

4.2.3 | Dual process theories and cognitive biases

이중 프로세스 이론은 신속하고 무의식적이며 맥락적으로 한정된 프로세스(시스템 1 또는 유형 1)와 느리고 의식적이며, 노력하며, 탈맥락화된 프로세스(시스템 2 또는 유형 2)의 두 가지 기본적 사고 프로세스를 제시한다. 이러한 이론들은 예측이 아니라 서술적이다; 그들은 어떻게 해결해야 하는지를 규정하거나 어떻게 해결될지를 예측하기 보다는 어떻게 애매한 문제가 해결되는지를 묘사한다.

Dual process theories posit two underlying thinking processes: a fast, unconscious, contextually bound process (System 1 or Type 1) and a slow, conscious, effortful, decontextualised process (System 2 or Type 2).22 These theories are descriptive, not predictive; they describe how ambiguous problems are solved rather than prescribing how they should be solved or predicting how they will be solved.

"기본 중재자default-interventionist"라고 불리는 지배적인 이중 프로세스 이론은 시스템 1을 기본 전략으로, 시스템 1의 불가피한 오류를 수정하기 위해 적절히 개입할 백업으로 시스템 2를 제시한다. 시스템 1 추론은 인지적 지름길이나 "휴리스틱"을 주로 이용하며, 이것은 인간 정보 처리가 제한된 결과이다. 그 결과, 시스템 1에서는 오류가 발생하기 쉽고 편견으로 이어질 것으로 예상된다.23 대부분의 오류는 시스템 1의 편견의 결과로 시스템 1에서 발생하는 것으로 추정되며 시스템 2를 통해서만 해결할 수 있다고 생각한다. 진단에 대한 이중 프로세스 모델은 국지적 내용 및 상황별 지식(시스템 1)에 의존하는 전략에 대한 일반 분석 방법(시스템 2)의 효과에 대한 직접 테스트에 해당한다.

The dominant dual process theory, called “default-interventionist,” posits System 1 as the default strategy and System 2 as a backup with which to intervene as appropriate to correct the inevitable errors of System 1. System 1 reasoning makes heavy use of cognitive shortcuts or “heuristics” as a consequence of the limitations of human information processing. These in turn are expected to be error-prone and to lead to bias.23 Most errors are presumed to arise in System 1 as a consequence of biases in System 1 and can only be resolved using System 2. Dual process models of diagnosis amount to a direct test of the effectiveness of general, analytical methods (System 2) against strategies that depend on local content and contextual knowledge (System 1).

그러나, 오류는 시스템 1에서 비롯되고 시스템 2에 의해 수정된다는 가정은 앞 섹션에서 설명한 결과와 직접적으로 배치된다. 즉, [정교한 특정 지식을 바탕으로 한 간단한 전략]이 [보다 일반적이고 지식-무관련 전략]을 일관되게 능가한다.

The assumption that errors originate in System 1 and are corrected by System 2 runs directly counter to the findings discussed earlier in the Enlightenment section, in which simple strategies based on elaborate specific knowledge consistently outperform more general, knowledge-lean strategies.

오류는 시스템 1에서 고유하게 발생한다는 주장은 일부 "이중 처리" 이론가들에 의해 제기되었다. 에반스와 스타노비치 주지사는 분명히 "아마도 가장 끈질긴 오류는 1타입 프로세스(직관적이고, 휴리스틱한)가 모든 나쁜 사고에 책임이 있고 2타입 프로세스(반사적이고, 분석적)가 반드시 올바른 반응을 이끌어 낸다는 생각이다. 따라서 다양한 형태의 이중 프로세스 이론은 추론과 판단 연구의 인지적 편견을 1형 프로세싱 탓으로 돌렸다... 그에 상응하는 논리적 추론, 합리적인 의사결정 및 비철학적 판단은 2형 프로세싱에 귀속되었다."22

The claim that errors arise uniquely in System 1 has been challenged by some “dual processing” theorists. Evans and Stanovich state unequivocally: “Perhaps the most persistent fallacy… is the idea that Type 1 processes (intuitive, heuristic) are responsible for all bad thinking and that Type 2 processes (reflective, analytic) necessarily lead to correct responses. Thus, various forms of dual process theory have blamed Type 1 processing for cognitive biases in reasoning and judgement research… Correspondingly, logical reasoning, rational decision making, and nonstereotypical judgements have been attributed to Type 2 processing.”22

비록 오류는 시스템 1에서 비롯되고 시스템 2에서 개선된다는 개념이 만연하지만, 최근의 이론과 증거가 시사하는 바와는 전혀 다르다.

Although the notion that errors originate in System 1 and are ameliorated in System 2 is pervasive, recent theory and evidence suggest otherwise.

4.3 | 의학 교육

4.3 | Medical education

4.3.1 | 비판적 사고

4.3.1 | Critical thinking

심리학 문헌과 유사하게, 일부 연구는 (비판적 사고가 성격과 유사하다고 암묵적으로 가정하여) 비판적 사고 시험의 점수와 임상적 의사결정 또는 사무적 성과와 같은 결과 사이의 관계를 조사한다. 대신에, 연구는 수년간의 교육으로 비판적 사고방식의 향상을 찾고 있는데, 그것은 그것이 기술과 같다고 가정하고, 시간이 지남에 따라 점차적으로 증가하고 있다. 일반적으로 연관성은 미약하고, 리뷰 기사의 주요 저자들은 "동시적 타당성은 제한적"이라고 결론내리며, "증거는... 아직 근거가 없다", "결과...혼합되고 모순된다."28라고 말한다.

Similar to the psychology literature, some studies examine the relationship between scores on a critical thinking test and outcomes such as clinical decision making or clerkship performance,24-26 implicitly assuming that critical thinking is trait-like. Alternatively, studies look for improvement in critical thinking with years of education,27 which presumes it is skill-like, gradually increasing over time. In general, associations are modest, leading authors of review articles to conclude “limited concurrent validity,”28 “evidence… is still unsubstantiated,”24 and “results… are mixed and contradictory.”28

4.3.2 | 메타인지

4.3.2 | Metacognition

의학 내에서는 자기 자신의 사고에 대한 인식이 성찰 행위로 번역되어 왔다. 많은 교육 프로그램들은 전문성과 관련된 기술 개발을 돕기 위해 공식적이고 비공식적인 성찰 활동을 통합한다. 형식적으로, 성찰적 실천가가 되거나 성찰적인 전문적 실천을 하는 것은 도날드 숄의 고전적인 작업과 관련이 있는데, 이들은 자신의 행동과 생각을 가까운 최근의 "행동에서의 반성"이나 먼 과거의 "행동에서의 반성"으로부터 검토할 수 있는 활동을 강조한다.29. 일반적으로 이 활동은 복잡성, 모호성 또는 불확실성에 대응하여 유기적으로 발생한다. 일부 저자들은, 이는 일상적으로 사용되는 메타 인식과 성찰의 일반적인 전략이 성과를 향상시킬 것으로 해석한다.

Within medicine, awareness of one's own thinking has been translated into the act of reflection. Many education programmes incorporate formal and informal reflective activities to help develop skills related to professionalism. Formally, being a reflective practitioner or having a reflective professional practice is associated with the classic work of Donald Schön, who emphasises activity that allows examination of one's actions and thoughts from the near “reflection in action” or distant “reflection on action” past.29 Typically, this activity occurs organically, in response to complexity, ambiguity or uncertainty.30 This has been interpreted by some authors to suggest that a general strategy of metaawareness and reflection used routinely will improve performance.31,32

그러나 우리는 성찰을 실행하고 그 효과에 대한 체계적인 연구를 실시하려는 시도를 거의 알지 못한다.

We are aware of very few attempts to operationalise reflection and conduct systematic study of its effectiveness.

구조화된 전략33-37은 비교적 일관된 결과를 보여준다. 즉, 학생의 경우 단순한 사례, 레지던트의 경우 복잡한 사례에 대해 도움이 된다. 덜 구조화된 접근법을 평가하는 다른 연구들(즉, 단순히 다른 모양을 취하거나 실제적인 실천 제약조건과 일관되도록 체계적으로 하기 위한 지침)은 단순하거나 복잡한 사례에 아무런 영향을 주지 않았다.38,39

The structured strategy33-37 shows relatively consistent results—a benefit for simple cases with students and complex cases with residents. Other studies evaluating a less structured approach (ie instructions to simply take another look or to be systematic, consistent with realistic constraints of practice) have shown no effect for simple or complex cases.38,39

게다가 의사와 학생들은 실수를 했을 때 인지하는 데 어려움을 겪는다.38 예를 들어, 몬테이로 외 연구진이 실시한 연구에서 의사들은 어떤 경우에 더 많은 반성을 필요로 하는지 결정할 수 없었다. 마찬가지로, Friedman 등은 학생, 레지던트, 의사가 지속적으로 그들의 진단에 대해 지나치게 자신하고 있다는 것을 발견했다.17, 17, 40

Moreover, physicians and students have difficulty recognising when they have made an error.38 For example, in a study by Monteiro et al,38 physicians were unable to determine which cases required further reflection. Similarly, Friedman et al found that students, residents and physicians were consistently overconfident in their diagnoses.17, 40

추론을 개선하기 위한 메타인지 전략은 문헌에서 어느 정도 주목을 받았으며, 자주 자가 모니터링 훈련을 하면 결과가 개선될 것이라고 제안한다.41,42 그러나 자세히 살펴본 결과 이러한 성과 개선이 진단 정확도로 이어지지는 않는다.

Metacognitive strategies to improve reasoning have received some attention in the literature, often with suggestions of improved outcomes resulting from training in selfmonitoring.41,42 However, upon closer inspection these improved outcomes do not transfer to diagnostic accuracy.

4.3.3 | 이중 프로세스 이론과 인지적 편견

4.3.3 | Dual process theories and cognitive biases

지적한 바와 같이 이중 처리 모델은 임상추론에서 받아들여지게 되었다. 이 이론의 중심은 성공적인 추론이 효과적인 사고 과정을 반영한다는 개념이며, 반대로, 오류는 인지적 휴리스틱스에서 비롯되는 결함 있는 추론의 결과라는 개념이다. 여기에는 임상 추론의 성격에 대한 두 가지 강력한 가정이 수반되며, 두 가정 모두 경험적 시험의 대상이 된다.

As indicated, a dual process model of thinking has become the accepted theory of clinical reasoning. Central to the theory is the notion that successful reasoning reflects effective thinking processes and, conversely, that errors are a consequence of flawed reasoning, originating in cognitive heuristics. This involves two strong assumptions about the nature of clinical reasoning, both of which are subject to empirical testing.

[가정 1] 거의 모든 진단 오류는 시스템 1 사고에서 비롯되는 인지적 편견의 결과물이다.43

Assumption 1 Almost all errors of diagnosis are a consequence of cognitive biases originating in System 1 thinking.43

시스템 1 사고와 인지적 편견이 진단 오류의 주요 원인이라는 개념은 많은 저자와 의학연구소 보고서에 의해 설명되었다. 그러나 뒷받침되는 증거는 약하다. 문헌에 기술된 편견의 수는 30개에서 130개까지 다양하지만, 의학에서 인지적 편견에 대한 세 가지 체계적인 검토는 증거가 있는 총 24개의 편견을 식별한다.48-50 그러나 이는 진단 오류뿐만 아니라 관리 및 예후의 오류와 환자 관련 편견을 포함한다. 단 7개만이 진단 오류와 관련이 있다. 더욱이, 세 가지 체계적인 검토에서 오직 세 가지 편견, 즉 가용성, 확인, 사후 판단만이 공통적으로 인용된다.48-50

The notion that System 1 thinking and cognitive biases are primary causes of diagnostic error has been described by many authors43-46 and features in the Institute of Medicine report.47 However, the supporting evidence is weak. Although the numbers of biases described in the literature range from 30 to 130, three systematic reviews of cognitive biases in medicine identify a total of 24 biases for which there is evidence.48-50 However, these encompass not just diagnostic errors, but also errors of management and prognosis, as well as patientrelated biases; only seven are related to diagnostic error. Moreover, only three biases—availability, confirmation and hindsight—are cited in all three systematic reviews.48-50

여기서, 우리는 세 가지 공통된 편향에 대한 확립된 정의를 검토한다.

Here, we examine the established definitions of three common biases.

가용성 편향: 사물이 쉽게 떠오를 경우, 더 가능성이 높거나 자주 발생하는 것으로 판단하는 성질. 따라서, 최근 질병에 대한 경험은 질병이 진단될 가능성을 부풀릴 수 있다.43

Availability bias: the disposition to judge things as being more likely, or frequently occurring, if they readily come to mind. Thus, recent experience with a disease may inflate the likelihood of its being diagnosed.43

가용성(Availability)은 관리자의 에피소드에서 발생하는 진단 오류에 대한 검토자에 의해 식별된 가장 일반적인 인지적 편견 중 하나이다.51, 52 그러나 이는 논리적으로 불가능하다. 관찰자, 즉 서면 사례를 검토하는 감사자는 임상의사에게 "신기하게 떠오른 것"이 무엇인지 알 길이 없다. 따라서, 시스템 1의 사고는 무의식적이고 직관적인 과정으로 특징지어지므로, (관찰자 뿐만 아니라) 환자를 관리했던 임상의도 알 길이 없다.

Availability is one of the commonest cognitive biases identified by reviewers of diagnostic errors occurring in episodes of care.51, 52 However, this is logically impossible. An observer, or an auditor reviewing a written case, has no way of knowing what “readily came to mind” to the clinician. For that matter, as System 1 thinking is characterised as an unconscious, intuitive process, neither does the clinician who managed the patient.

확인 편향: 반박할 증거를 부정하기보다 진단을 뒷받침할 증거를 확인하는 경향이 있다. 비록 후자가 종종 더 설득력 있고 확정적이긴 하지만.43

Confirmation bias: the tendency to look for confirming evidence to support a diagnosis rather than look for disconfirming evidence to refute it, despite the latter often being more persuasive and definitive.43

확증 편향은 분석 규칙에 의해 생성된 숫자 시퀀스 세트를 사용하여 Wason53에 의해 처음 연구되었다. 임상적 맥락에서, 정의가 시사하는 바와 같이, 이는 가설을 우선적으로 뒷받침하기 위한 근거의 체계적인 수집과 가중치 부여에서 발생한다. 이것은 시스템 1 추론의 결과가 아니다.

Confirmation bias was first studied by Wason53 using sets of number sequences generated by an analytical rule. In a clinical context, as the definition suggests, this arises in the systematic gathering and weighting of evidence to preferentially support hypotheses. This is not a consequence of System 1 reasoning.

사후확신 편향: 결과를 아는 것은 과거의 사건에 대한 인식에 큰 영향을 미칠 수 있고 실제로 일어난 일에 대한 현실적인 평가를 방해할 수 있다.43

Hindsight bias: knowing the outcome may profoundly influence the perception of past events and prevent a realistic appraisal of what actually occurred.43

결과가 알려질 때 힌트가 생긴다. 따라서 오류의 근본원인의 결정은 임상사례를 검토하는 사람들에게 중심적인 문제지만 진단을 추구하는 임상의에게는 문제가 되지 않는다. 사후확신 편향은 시스템 1 사고와 관련이 없다.

Hindsight arises when the outcome is known. Thus, the determination of underlying causes of error is a central issue for those reviewing clinical cases, but is not a problem for a clinician seeking a diagnosis. Hindsight bias is not related to System 1 thinking.

[가정 2] 오류는 인지적 편견의 결과이기 때문에, 오류 감소 전략은 임상의사가 인지적 편견을 식별하고 시스템 1 사고에 내재된 오류를 수정하기 위해 시스템 2 추론을 효과적으로 사용하는 접근에 초점을 맞추어야 한다(예: 인지적 강제 전략).

Assumption 2 Because errors are a consequence of cognitive biases, error reduction strategies should focus on approaches that help clinicians identify cognitive biases and effectively use System 2 reasoning to correct the errors inherent in System 1 thinking (eg cognitive forcing strategies).43, 51, 60

인지강화전략은 "지금 이 순간"에 대한 인식과 추론을 개선하기 위한 일반적인 전략이다.61 인지강화전략의 기본 개념은 자신의 생각의 자기인식을 높이고 일반적인 인지편견을 피함으로써 잠재적 오류를 식별하는 것이다.43,60,61

Cognitive forcing strategies are general strategies for improving metacognition and reasoning “in the moment.”61 The basic concept is to increase selfawareness of one's own thinking and identify potential errors by avoiding common cognitive biases.43,60,61

아마도 가장 간단한 "인지적 강제력 전략"은 임상의사에게 체계적으로 주의를 주거나, 속도를 늦추거나, 대안을 고려하라는 일종의 지시일 것이다. 많은 연구에서 신속한 진단이 느린 체계적 성찰와 비교되었다.38,39,62-64 균일한 발견은 "체계적이고 철저하게 하라는 지침이 결과 처리 시간을 늘리지만, 진단 오류에는 아무런 영향을 미치지 않는다"는 것이다.

Perhaps the simplest “cognitive forcing strategy” is some form of instruction to caution the clinician to be systematic, to slow down or to consider alternatives. In a number of studies, rapid diagnosis has been compared with slower systematic reflection.38,39,62-64 A uniform finding is that instructions to be systematic and thorough result in longer processing time, but have no impact on diagnostic errors.

몇몇 리뷰는 학생들에게 편견을 인식하도록 가르치기 위해 고안된 전략의 효과를 조사하였다.32, 49, 50, 65 편견에 대한 훈련은 인지적 편견에 대한 인식을 증가시킨다.66-68 그러나, 진단 오류에 대한 차감 효과에 대한 연구는 마이너스였다.69-71

Several reviews have examined the effectiveness of strategies designed to teach students to recognise biases.32, 49, 50, 65 Training increases awareness of cognitive biases.66-68 However, studies of the effect of debiasing on diagnostic errors have been negative.69-71

4.4 | 요약

4.4 | Summary

여러 증거는 (탈편견, 성찰 등 무엇이든간에) 오류를 줄이기 위한 "일반화된 내용-무관 전략"은 효과가 없거나 미미한 효과 뿐임을 보여준다. 이는 오류가 [불충분한 사고 능력]이 아니라 [불충분한 지식]에서 비롯된다는 단순한 이유 때문이다. 성찰 전략은 효과가 균일하지 않지만 작은 편익을 가질 수 있다..65 탈편향 전략은 균일하게 아무 효과가 없었다.65 따라서, 임상의로 하여금 과정이나 추론을 성찰하거나, 일반적인 분석적 접근법을 적용하도록 권장하는 시도는, 의사들로 하여금 지식이 아니라, 분석적 기술이나 약한 방법에 초점을 맞추게 하기 때문에 단순한 이유 때문에 효과적이지 않을 수 있다.

The evidence shows that generalised, content-independent strategies—debiasing, reflection or whatever—to reduce errors have no or minimal effectiveness for the simple reason that errors derive not from inadequate thinking skills but from inadequate knowledge. Reflection strategies may have a small benefit, although effects are uneven.65 Debiasing strategies have shown uniformly null effects.65 Thus, attempts to encourage clinicians to reflect on the process or reasoning, or to apply general analytical approaches, may not be effective for the simple reason that they focus on analytical skills, or on weak methods, not knowledge.

달리왈이 말했듯이, "중증근무력증에 대해 듣지 못했다면, 인지적으로 그 진단에 방해가 되는 편향을 없앨 수 없다. [...] 전문가 수행의 영역에서는 지식이 왕이다."72

As Dhaliwal said: “If you have not heard about myasthenia gravis, you cannot cognitively debias your way into that diagnosis. […] In the realm of expert performance, knowledge is king.”72

5 | 고찰

5 | DISCUSSION

축적된 증거에 비추어, 우리는 일반 기술의 신화가 왜 의학 교육에 반세기 동안 지속되어 왔는지 설명해야 한다. 한 가지 이유는 그것이 의학의 실천에 필요한 많은 지식의 영역을 숙달하는 지름길을 제공하기 때문일 것이다. 2002년에 크로스케리는 다음과 같이 썼다. "...우리는 [과연 축적된 경험의 혜택과 함께 제공되는 판단의 개선을 기다리지 않고서] 임상의사를 더 나은 의사결정자로 만드는 것이 가능한 일인지 알아야 한다."60

In light of the accumulated evidence, we must address why the myth of general skills has persisted in medical education for half a century. One reason may be that it offers a shortcut to mastery of the many areas of knowledge required in the practice of medicine. In 2002, Croskerry wrote: “…we need to know whether we can make clinicians better decision makers without simply waiting for the improved judgement that comes with the benefit of accumulated experience.”60

의학교육 커리큘럼은 제한된 시간과 자원에 시달린다. 아마도 의료 교육자와 커리큘럼 설계자들은 필연적으로 전이가 될 것이라는 환상을 가지서는, 일반화 가능한 기술들에 끌리게 되고, 따라서 무수한 다른 지식 영역에서 학습과 실천의 필요성을 피하게 될 것이다. 모두가 너무 바쁘기 때문에 그 신화는 계속된다.

Medical education curricula suffer from restricted time and resources. Perhaps medical educators and curriculum designers are inevitably drawn towards generalisable skills that have the illusion of transfer, thereby avoiding the necessity of learning and practice in myriad different knowledge domains. The myth persists because everyone is too busy.

역량 기반 교육을 향한 움직임은 신화의 만연함을 보여준다. 비록 어떤 역량은 요추 구멍이나 삽관 같은 특정한 지식에 바탕을 두고 있지만, "완전하고 체계적인 역사 수행"이나 "전문간 협업 기술 시연"과 같이, 프레임워크는 맥락과 무관하게 습득해야 하는 역량에 따라 짜여져 있다. "좋은 병력청취"라는 말의 밑바탕은 일반화가능성을 암시하는 가정이다. 만약 그렇다면, 접근방식이 특정 임상 내용과 어떻게 또는 심지어 결합되더라도 문제가 되지 않아야 한다. 접근방식은 쉽게 전이되어야 한다. 그러나, 우리가 제시한 증거는 심리학과 의학 교육 양쪽으로부터 인지기술이 무엇이든 그것의 일반화가능성에 의문을 제기한다.

The movement towards competency-based education illustrates the pervasiveness of the myth. Although some competencies are based on specific knowledge, such as a lumbar puncture or intubation, many are framed around content and the context-free competencies to be acquired, such as “performing a complete and systematic history” or “demonstrating interprofessional collaboration skills.” Underlying the “good history” is an implicit assumption of generalisability. It should not matter how or even if the approach is paired with specific clinical content; the approach should transfer easily. However, the evidence we have presented, from both psychology and medical education, casts doubt on the generalisability of any cognitive skill.

마지막으로, 탈편향 전략이 가정하는 것은 오류의 근본 원인이 인지적 편견이라는 점이다. 이것은 약간의 호소력을 가지고 있다: 그것은 임상의사를 비난으로부터 해방시킨다; 인지적 편견은 단순히 인간 상태의 일부일 뿐이다. 그러나 만약 인지편향이 진단오차의 핵심이라면, 비판적 사고나 인지적 차이에 대한 훈련을 받으면 추론능력이 향상되고 오류가 감소되어야 한다. 그러한 효과에 대한 증거는 명확히 없다.

Finally, the assumption of debiasing strategies is that the root cause of error is cognitive bias. This has some appeal: it absolves the clinician from blame; cognitive bias is simply part of the human condition. However, if cognitive bias is so central to diagnostic error, then training in critical thinking or cognitive debiasing should result in improved reasoning skill and reduced error. Evidence for such an effect is conspicuously absent.

신화가 지속된다면 결국 효과적이지 않은 개입을 숙달하는 데 귀중한 교육 시간과 학습 시간이 바쳐질 것이다. 진단 오류의 유행을 주목하는 것이 유용할 수 있지만, 인지적 편견의 긴 리타니는 아무런 부가 가치도 없다. 편견을 식별하는 것은 오류를 줄이는 것과 같지 않다는 것을 충분한 증거가 반복적으로 입증했다.

The consequence of the persistence of the myth is that valuable instructional and learning time may be devoted to mastering interventions that, in the end, are not effective. Although it may be useful to draw attention to the prevalence of diagnostic error, the long litany of cognitive biases has no added value. Ample evidence has demonstrated repeatedly that identifying biases is not equivalent to reducing error.

오류율을 낮추는 것은 칭찬할 만한 목표다. 그러나 직관적 추론의 인식된 결함을 보완하기 위해 [일반적인 문제해결 프로세스]를 조정함으로써 이것이 달성될 수 있다는 광범위한 가정에 기초한 전략은 비효과적인 것으로 나타났다. 이 영역의 진전은 시스템 1 추론의 힘을 받아들이고 시스템 1에서 사용하는 경험적 지식의 폭과 깊이를 향상시키기 위한 인터리브 연습과 같은 전략을 고안함으로써 발생할 가능성이 더 높다.

Reducing error rates is a laudable goal. However, strategies based on the broad assumption that this can be achieved by tuning up a general problemsolving process in order to compensate for the perceived defects of intuitive reasoning have been shown to be ineffective. Progress in this area is more likely to arise from accepting the power of System 1 reasoning and devising strategies such as interleaved practice to improve the breadth and depth of the experiential knowledge used by System 1.

6 | 결론

6 | CONCLUSIONS

우리는 의학 교육에서 대중화된 현재의 추론과 사고방식의 모델들이 심리학에서 1세기 이상, 의학에서 반세기 이상 축적된 증거에 비교하자면 [모순되는 이론적 입장]을 자행한다는 것을 보여주었다. 전문가들에 의해 사용되는 지식의 효율적 전략이 [일반적인 분석적 접근법, "합리적" 접근법]보다 열등하다고 볼 수 있는 입장에 대한 명분이 없다.

We have shown that the current models of reasoning and thinking popularised in medical education perpetrate a theoretical position that is inconsistent with the evidence accrued for over a century in psychology and half a century in medicine. There is no justification for the position that knowledge-rich, efficient strategies, as used by experts, can be viewed as inferior to general analytical and “rational” approaches.

우리는 이성적인 일반화 규칙이 사례 경험에서 도출된 휴리스틱스보다 더 효과적이라는 주장에 이의를 제기하는 것은 처음이 아니다.73,74 인공지능의 구루로 인정받은 드레퓌스는 이렇게 썼다: 플라톤에서 ...피아제트 ... 촘스키...까지 이어지는 [초심자가 구체적인 사례에서 시작하여 점점 더 능숙해짐에 따라, 점점 더 정교한 규칙들을 추상화하고 내실화할 것] 관점을 버릴 준비가 되어있어야 한다. 그러나 기술 습득은 아마 반대 방향으로 진행된다고 밝혀질 것이다. 추상적인 규칙에서 특정 사례로 움직일 것이다"

We are not the first to challenge the assertion that rational generalisable rules are more effective than heuristics derived from case experience.73,74 Dreyfus, acknowledged as the guru of artificial intelligence, wrote: “We must be prepared to abandon the traditional view that runs from Plato to… Piaget … Chomsky… that a beginner starts with specific cases and… as he or she becomes more proficient, abstracts and interiorises more and more sophisticated rules. It might turn out that skill acquisition moves in just the opposite direction: from abstract rules to particular cases.”75

[합리적이며, 탈맥락화된 전략]의 신격화는 상황별 휴리스틱 접근법으로부터 진화적 적응을 나타낸다는 일부 주장과 일관된다. 인간의 인식이 순수하게 정신적 노력을 통해 진화할 수 있다면 실로 경이로운 일일 것이다. 전문화된 전문지식의 현 시대에, 교육의 중심 초점은 비판적 사고, 문제해결, 임상적 추론, 반성과 같은 일반적인 기술을 주입하는 것이어야 한다는 이 논문의 시작 부분에서 우리가 소개한 주장에 이의를 제기해야 할 모든 이유가 있다. 아마도 호모 사피엔스-"현명한 사람"-은 "호모 사이언스"(알고 있는 사람)이라는 진화의 정점으로 대체되어야 할 것이다.

The deification of rational, decontextualised strategies is consistent with some claims that they represent an evolutionary adaptation from contextualised heuristic approaches. It would be a marvel indeed if human cognition were able to evolve purely through mental effort. In the current era of specialised expertise, there is every reason to challenge the assertion we introduced at the beginning of this paper: that the central focus of education should be to inculcate general skills like critical thinking, problem solving, clinical reasoning and reflection. Perhaps Homo sapiens—“wise man”—should be replaced by “Homo sciens”—“knowing man”—at the apex of evolution.

48. Blumenthal-Barby JS, Krieger H. Cognitive biases and heuristics in medical decision making: a critical review using a systematic search strategy. Med Decis Making. 2015;35(4):539-557.

49. Saposnik G, Redelmeier D, Ruff CC, Tobler PN. Cognitive biases associated with medical decisions: a systematic review. BMC Med Inform Decis. 2016;16(1):138.

50. Lambe KA, O'Reilly G, Kelly BD, Curristan S. Dualprocess cognitive interventions to enhance diagnostic reasoning: a systematic review. BMJ Qual Saf. 2016;25:808-820.

© 2019 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

위험한 사업: 심리적 안전과 의학 학습의 위험(J Grad Med Educ, 2016)

Risky Business: Psychological Safety and the Risks of Learning Medicine

William E. Bynum, MD

Taha M. Haque, DO

일요일 밤이고, A의사는 1년차 레지던트로서 두려움에 떨며 다가오는 한 주를 병동에서 보내고 있다. 그는 환자에 대한 정보를 정확하게 수집해야 할 것이다. 그는 동료들과 감독관들, 그리고 다른 부서와 현재의 직원들 앞에 서서 그가 모은 것을 고도로 방법론적 방식으로 할 것이다. 그는 그의 지식을 조사하고 지식 격차를 확인하기 위해 질문을 받을 것이다. 그는 실수를 할 수도 있고, 중요한 정보를 놓칠 수도 있고, 질문에 잘못 대답할 수도 있다. 그는 자신의 성과에 대한 피드백을 받게 될 것이며, 이런 가운데서도 자신의 자기 가치와 직업적 정체성에 대해 반성하게 될 것이다. Edmondson1이 학습 행동이라고 칭한 이러한 모든 사건들은 개인적이고 전문적인 성장, 지식의 획득, 회복력의 발달의 기회를 제공할 것이다.

It is Sunday night, and Dr A is a first-year resident contemplating, with a twinge of dread, his upcoming week on the wards. He will be required to accurately gather information about his patients. He will stand up in front of his peers, supervisors, and staff from other departments and present, in a highly methodological fashion, what he has gathered. He will be asked questions to probe his knowledge and identify knowledge gaps. He may make mistakes, miss vital information, and incorrectly answer questions. He will receive feedback about his performance, and, in the midst of all these things, he will reflect on his self-worth and professional identity. All of these occurrences, which Edmondson1 has termed learning behaviors, will provide opportunities for personal and professional growth, acquisition of knowledge, and development of resilience.

그러나, 의사A는 또한 그가 끊임없는 평가의 '현미경 아래' 있는 것처럼 느끼고, 그가 비틀거리거나 실패할 경우 판단, 보복, 굴욕으로 이어질 수 있다는 두려움을 느낀다. 임상 학습 환경에 존재하는 모호성과 불확실성은 그의 학습 경험과 관련된 위험을 증가시킨다. 지속적인 평가에 동반하여, 본질적으로 학습 가치가 있지는 않지만, 매우 강력한 일련의 내면적 위험에 취약하다. 여기에는 무능하거나, 가치가 없거나, 부족하다고 느끼는 위험, 팀 내의 소외감과 손상된 소속감을 경험하는 것, 신뢰할 수 있는 조언자들로부터 수치심을 받는 것, 학문적 투쟁에 직면했을 때 remediate해야 하는 것, 의료 오류에 따른 비난이나 법적 책임이 포함된다.