임상추론에서 오류의 원인: 인지적 편향, 지식 부족, 이중처리 사고(Acad Med, 2017)

임상추론에서 오류의 원인: 인지적 편향, 지식 부족, 이중처리 사고(Acad Med, 2017)

The Causes of Errors in Clinical Reasoning: Cognitive Biases, Knowledge Deficits, and Dual Process Thinking

Geoffrey R. Norman, PhD, Sandra D. Monteiro, PhD, Jonathan Sherbino, MD, Jonathan S. Ilgen, MD, Henk G. Schmidt, PhD, and Silvia Mamede, MD, PhD

의료오류는 2000년 획기적인 의학연구소(IOM) 보고서인 "The Errr Is Human: Building a Safer Health System"이 발표된 이후 상당한 주목을 받아왔다. 그 보고서는 의료 오류에 대한 사회적 비용이 크다는 점에 대해 구체적인 주의를 환기시켰다. IOM의 2015년 후속 보고서도 다음과 같이 덧붙였다.

Medical errors have received considerable attention since the publication of the landmark Institute of Medicine (IOM) report “To Err Is Human: Building a Safer Health System” in 2000.1 The report called specific attention to the large societal cost of medical errors. A 2015 follow-up report also from the IOM added that

의료전달시스템은 수십 년 동안 사각지대를 가지고 유지되어 왔다. 바로 진단 오류이다. 이는 정확하지 않거나 지연된 진단을 말하며, 모든 진료 환경 전반에 분포하고 있으며, 지속적으로 납을할 수 없을 만큼 많은 수의 환자를 계속 해친다.2

[t]he delivery of health care has proceeded for decades with a blind spot: Diagnostic errors—inaccurate or delayed diagnoses—persist throughout all settings of care and continue to harm an unacceptable number of patients.2

이 후속 보고서에서 IOM은 의사, 가족, 시스템을 포함한 여러 가지 진단 오류의 원인을 강조하였다. 그러나 진단을 목적으로 하는 추론 과정에 대한 설명은 전적으로 임상의의 인지 과정에 국한되었다. 이러한 초점이 맞춰지는 한 가지 이유는 결국 "임상추론은 의사의 마음 속에서 일어난다"는 것일 수 있다.2

In this follow-up report, the IOM highlighted the multiple causes of diagnostic error, including the clinician, the family, and the system. However, the description of the process of reasoning directed at making a diagnosis was entirely restricted to the cognitive processes of the clinician. One reason for this focus may be that, at the end of the day, “clinical reasoning occurs within clinicians’ minds.”2

확실히, 1970년대와 1980년대의 첫 번째 연구로 거슬러 올라가는 초창기 임상추론 연구는 심리학적 관점에 의해 지배되어 왔으며, 개인 임상의사의 사고 과정을 탐구했다.

Certainly, research in clinical reasoning, dating back to the first studies in the 1970s and 1980s,3,4 has been dominated by a psychological perspective, exploring the thinking processes of the individual clinician.

그루펜과 동료5는 1차 진료의사들이 78%의 사례에서 CC만을 근거로 정확한 진단을 내렸다는 것을 발견했다. 보다 최근에 펠라키아와 동료6은 응급의사들운 환자를 만나기 전에 이미 25%의 가설을, 임상적 만남의 첫 5분 동안 75%의 가설을 생성했다는 것을 보여주었다.

Gruppen and colleagues5 found that primary care physicians had the correct diagnosis based on just the chief complaint in 78% of cases. More recently, Pelaccia and colleagues6 showed that emergency physicians generated 25% of hypotheses before meeting the patient and 75% of hypotheses in the first five minutes of the clinical encounter.

이러한 발견은 사고의 "이중 프로세스 모델"을 기술하는 심리학에서 다수의 문헌에서 나온 결과와 일치한다.7–13 특정한 이론은 다를 수 있지만, 일반적인 특징은 사고에는 두 가지 시스템이 관련되어 있다는 것이다. 

• 더 빠른 시스템인 타입 1은 자동적이고, 무의식적이며, 겉보기에는 힘이 없어 보이는 반면, 

• 느린 시스템인 타입 2는 통제되고, 의식적이며, 노력한다. 

에반스와 스타노비치13이 설명했듯이 

• 시스템1은 "직관적이고, 휴리스틱하며, 

• 시스템2는 "반사적이고, 분석적"이다.

These findings are consistent with the findings from a large body of literature in psychology that describes “dual process models” of thinking.7–13 Although particular theories may differ, a common feature is that thinking involves two systems. The faster system, Type 1, is automatic, unconscious, and seemingly effortless, whereas the slower system, Type 2, is controlled, conscious, and effortful. As Evans and Stanovich13 described it, Type 1 is “intuitive, heuristic,” and Type 2 is “reflective, analytic.”

많은 저자들은 제1형 사고와 관련된 휴리스틱스와 그로 인한 인지적 편견이 진단 오류를 초래할 수 있는 가능성에 관심을 가져왔다.18–20 2015년 IOM 보고서는 휴리스틱스와 진단 오류의 관계에 대해 상당히 자세히 설명하였다.

Many authors have drawn attention to the heuristics associated with Type 1 thinking and to the possibility that the resulting cognitive biases may lead to diagnostic errors.18–20 The 2015 IOM report went into considerable detail about the relationship between heuristics and diagnostic errors:

휴리스틱스(Heuristics)는 인식 전략 또는 무의식적으로 채택되는 정신적 지름길로서, 의사결정에 특히 중요하다. 휴리스틱스는 의사결정을 용이하게 할 수 있지만 오류를 일으킬 수도 있다. 휴리스틱이 실패할 때, 그것은 인지적 편견이라고 불린다.2

Heuristics—cognitive strategies or mental shortcuts that are automatically and unconsciously employed—are particularly important for decision making. Heuristics can facilitate decision making but can also lead to errors. When a heuristic fails, it is referred to as a cognitive bias.2

비록 이 진술이 절대적인 것처럼 보이지만, 인간 추론에서 편향의 증거는 상당부분 상식 수준에서, 전문지식이 없이 질문에 대답하는 학부 심리학과 학생들의 연구에서 도출되었다.21 IOM 보고서는 이러한 연구를 광범위하게 인용하였으나 임상 추론에서 편견의 역할에 대한 증거를 검토하지 않았다.2

Although this statement appears definitive, much of the evidence of bias in human reasoning has been derived from studies of undergraduate psychology students answering commonsense and expertise-free questions.21 The IOM report extensively cited these studies but did not examine evidence of the role of biases in clinical reasoning.2

기억과 이중 처리의 구조

The Architecture of Memory and Dual Processing

인간의 추론은 왜 빠른 직관적 처리와 휴리스틱스에 의존하는가? 답은 사고와 기억의 특징 때문이다. 정신은 모든 계산이 발생하는 [제한된 용량의 작업 메모리]와 새로운 정보와의 연관성의 강도에 기초하여 메모리를 검색하는, [본질적으로 용량이 제한되지 않은 장기적 연관 기억]을 모두 포함한다.22

Why does human reasoning rely on rapid intuitive processing and heuristics? The answer lies in the nature of thinking and memory. The mind contains both a working memory of limited capacity in which all computations occur and a long-term, associative memory of essentially limitless capacity, whereby memories are retrieved based on the strength of their association with the new information.22

유형 1 사고는 새로운 정보와 기억 속의 유사한 예제 사이에 직접적인 연관성을 만드는 것으로 볼 수 있다.23 그러한 메모리 검색은 매일 매 시간마다 수천 번 발생한다.

Type 1 processing can be viewed as making a direct association between new information and a similar example in one’s memory.23 Such memory searches occur thousands of times every hour of every day;

이러한 연관성 만드는 작업은 노력없이 이뤄지며, 작업 메모리에 과부하를 주지 않는다.13 유사한 예를 검색할 가능성은 오류를 야기할 수 있는 여러 요인에 의해 영향을 받을 수 있는 연관성의 강도와 관련이 있다.24

These associations are effortless and do not overload our working memory.13 The likelihood of retrieving a similar example is related to the strength of the association, which can be influenced by a number of factors, that may lead to errors.24

• 과거에 연고가 관찰된 횟수, 

• 기억 속에 저장된 예시 횟수 또는 

• 공통적인 특징의 개수, 

• 최근성이나 생동감 같은 외부 특성의 개수,

• the number of times the association has been observed in the past, 

• the number of examples stored in one’s memory, or 

• the number of common features, 

• the number of extraneous characteristics, such as recency or vividness,

반대로, 타입 2 프로세싱은 자신의 작업 메모리에 있는 연산에 기초한다. 예를 들어, 사례에 존재하는 진단 범주에서 피쳐를 식별하고 특정 질병의 가능성을 추정한다.23 타입 2 프로세싱은 그 성격상 추상적이고 규범적이거나 논리적인 규칙과 일치하기 때문에 작업기억에 무거운 부담을 지운다. 따라서 제한된 작업 메모리에 대한 부하가 증가함에 따라 계산 오류가 발생할 가능성이 발생한다.13

Conversely, Type 2 processing is based on computations in one’s working memory—for example, identifying the features from a diagnostic category that are present in a case and estimating the likelihood of a particular disease.23 Type 2 processing is, by its nature, abstract and normative—or consistent with logical rules—so it places a heavy burden on one’s working memory. Thus, the possibility arises that computational errors may occur as a result of the increased load on one’s limited working memory.13

그렇다면 이 두 과정과 추론 오류 사이의 관계는 무엇인가? 한 가지 관점은 [모든 오류는 유형 1 추론에서 발생하며, 유형 2 추론에 의해서는 수정되지 않는다]는 관점이다.

What is the relationship, then, between these two processes and reasoning errors? One view is that all errors originate from the heuristics that are employed in Type 1 reasoning and not corrected by Type 2 reasoning:

직관적 판단의 오류는 두 시스템의 고장을 모두 포함한다. 오류를 발생시킨 시스템 1과 오류를 감지하고 수정하지 못한 시스템 2.25

Errors of intuitive judgment involve failures of both systems: System 1, which generated the error, and System 2, which failed to detect and correct it.25

대안적 관점은 [두 프로세스 모두에서 오류가 발생]한다는 것이다.

An alternative view is that errors arise from both processes:

아마도 이중 과정 이론에 대한 인식에서 가장 끈질긴 오류는 제1종 프로세스(직관적, 휴리스틱)가 모든 나쁜 사고를 책임지고 제2종 프로세스(반사적, 분석적)가 반드시 올바른 반응을 이끌어 낸다는 생각일 것이다.... 그래서 이 좋은 생각의 본질은 나쁜 생각이고 어떤 이중 과정 이론들은 그것을 그들의 핵심 용어로 만들었다.13

Perhaps the most persistent fallacy in the perception of dual-process theories is the idea that Type 1 processes (intuitive, heuristic) are responsible for all bad thinking and that Type 2 processes (reflective, analytic) necessarily lead to correct responses.… So ingrained is this good–bad thinking idea that some dual- process theories have built it into their core terminology.13

그렇다면 어떻게 하면 오류를 줄일 수 있을까? 위의 첫 번째 공식에서 오류는 유형 1 처리에 있어서 유선 연결된 인지적 편견의 결과이기 때문에, 해결책은 편견이 발생할 수 있는 시기를 감지하는 것을 학습한 다음 분석 유형 2 추론을 사용하여 다음과 같이 수정하는 것이다.

How can we reduce errors, then? In the first formulation above, because errors are a consequence of hardwired, cognitive biases in Type 1 processing, the solution is to learn to detect when a bias may arise and then use analytical Type 2 reasoning to correct it:

시스템 1에서 비롯되는 오류를 차단하는 방법은 원칙적으로 간단하다: 인지 지뢰밭에 있다는 징후를 인식하고 속도를 늦추고 시스템 2에 보강을 요청한다.

The way to block errors that originate in System 1 is simple in principle: recognize the signs that you are in a cognitive minefield, slow down, and ask for reinforcement from System 2.26

이 관점은 오류가 지식의 결핍에서 발생할 수 있다는 것을 인정하거나 (분석적이든 경험적이든) 도메인에서 지식을 증가시키는 것이 오류의 감소로 이어질 것임을 시사하지 않는다. 그 대신, 이 관점은 오류로 이어질 수 있는 사고 과정의 결함에 초점을 맞추고 있다.

This view does not acknowledge that errors may arise from knowledge deficits or suggest that increasing knowledge in a domain (either analytical or experiential) will lead to fewer errors. Instead, the focus is on flaws in the thinking processes that may lead to errors.

다른 이론가들은 이 두 과정이 다른 종류의 지식을 반영한다고 본다. 

• 제1종 프로세싱은 무의식적인 연관성의 과정을 통해 개별 경험의 검색을 수반하는 반면, 

• 제2종 프로세싱은 "상징적으로 표현된 ...지식"을 사용한다9 

프로세스에 집중하는 것과는 대조적으로, 이 관점은 각 유형의 생각에서 요구되는 지식의 종류와 그 지식이 어떻게 학습되는지를 명시적으로 검토한다.

Other theorists believe that the two processes reflect different kinds of knowledge. Type 1 processing involves the retrieval of individual experiences through a process of unconscious association, while Type 2 uses “symbolically represented … knowledge.”9 In contrast to a focus on processes, this perspective explicitly examines the kinds of knowledge required by each type of thinking and how that knowledge is learned.

만약 오류가 인지적 편견의 결과라면,

If errors are a consequence of cognitive biases, then:

1. 지식과 경험의 증가와 오류의 관계는 없을 것이다.

1. There will be no relationship between increasing knowledge and experience and errors.

2. (속도감 있는 작업이나 주의 산만과 같은) 제약조건은 제2형식 분석 처리에 영향을 미치고 더 많은 오류를 초래할 것이다.12

2. Constraints such as speeded tasks or distractions will affect Type 2 analytical processing and lead to more errors.12

3. 오류는 인지편향을 명시적으로 인식하고 오차를 시정하기 위한 분석전략을 발동하는 학습을 통해 교정될 것이다.19

3. Errors will be corrected by learning to explicitly recognize a cognitive bias and invoke analytical strategies to correct the error.19

반대로 오류가 지식 결손의 결과라면,

Conversely, if errors are a consequence of knowledge deficits, then:

1. 경험이 많아지면 분석적 지식이나 경험적 지식 모두 커져서 오류가 줄어든다.

1. More experience will lead to greater knowledge, both analytical and experiential, and result in fewer errors.

2. 제1형 처리가 전문지식을 밑거름으로 하는 한, 신속한 작업이나 산만함이 정확도에 미치는 영향은 미미할 것이다.

2. To the extent that Type 1 processing underlies expertise, speeded tasks or distractions will have minimal effect on accuracy.

3.오류는 구체적인 지식을 적용한다면 시정될 것이다.

3. Errors will be corrected by applying specific knowledge.

오류의 원인에 대한 두 가지 넓은 관점을 검토하기 위해, 인지 편향이나 지식 부족을 우리는 문헌에 대한 검토를 either/or 이분법적으로 프레이밍했다. 그러나 실제로는 두 가지 결손 모두 오류의 원인이 될 가능성이 높다.

To examine the two broad perspectives on the causes of errors—cognitive bias or knowledge deficiency—we have framed our review of the literature as an either/or dichotomy. In fact, it is likely that both deficits contribute to errors.

의학 임상 추론 연구의 증거

Evidence From Clinical Reasoning Studies in Medicine

임상적 추론의 오류는 인지적 편견에 의해 야기되는가?

Are errors in clinical reasoning caused by cognitive biases?

Evans12가 지적한 바와 같이, 오류는 유형 1 처리의 휴리스틱에서 발생하여 유형 2 처리의 개입에 의해 수정되는 한 가지 증거는 오류와 진단 속도 사이의 관계다. 진단을 철저히 하기 위해 더 긴 시간을 사용하거나 속도를 늦추라는 지침은 제2형식 처리를 더 많이 사용할 수 있어야 하며 따라서 더 높은 정확도를 산출해야 한다.

As Evans12 indicated, one kind of evidence that errors arise from the heuristics of Type 1 processing and are corrected by the interventions of Type 2 processing is the relationship between errors and the speed of diagnosis. A longer time to a diagnosis, or instructions to slow down, to be thorough, etc., should permit more use of Type 2 processing and hence produce greater accuracy.

이러한 모든 연구는 시간을 증가시키고, 따라서 타입 2 처리에 더 많이 의존하는 것은 오류를 개선시키지 않는다는 것을 시사한다. 그러나, 최근의 한 연구는 시간을 심하게 제약하는 것이 초보자의 오류를 증가시킨다는 것을 보여주었다.32

All of these studies suggest that increasing time, and thus relying more heavily on Type 2 processing, does not ameliorate errors. However, one recent study showed that severely constraining time does increase novices’ errors.32

문헌에서 나온 증거에 따르면, 더 많은 처리 시간은 일반적으로 더 적은 수의 오류가 아니라 더 많은 오류와 연관되어 있다. 만일 오류가 유형 1 처리의 인지적 편견에 의해 야기되고 유형 2 처리에 의해 해결된다면, 그 반대가 사실일 것이다. 이 발견에 대한 한 가지 설명은 두 시스템 모두에서 오류가 발생할 수 있다는 것이다. 예를 들어, 조기 종결(진단 오류의 가장 일반적인 원인으로 확인됨3)와 확증편향 모두 데이터 수집 및 합성 과정에서 발생하는 현상이기 때문에 유형 2 프로세싱과 연관될 가능성이 더 높다.34 더욱이 오류 해결은 단순히 추가적인 분석 노력을 기울이는 경우가 아니며, 충분한 지식이 없으면 추가 처리가 오류를 해결하는 데 도움이 되지 않을 것 같다. 우리는 적절한 시기에 이 과정에서 지식의 역할에 대해 자세히 설명할 것이다.

According to this evidence from the literature, more processing time is generally associated with more, not fewer, errors. If errors are caused by cognitive biases in Type 1 processing and resolved by Type 2 processing, the reverse would be true. One explanation for this finding is that errors can arise in both systems; for example, both premature closure (which has been identified as the most common contributor to diagnostic error33) and confirmation bias are phenomena that arise during the process of data gathering and synthesis, so they are more likely to be associated with Type 2 processing.34 Moreover, the resolution of errors is not simply a case of exerting additional analytical effort; without sufficient knowledge, additional processing is not likely to be helpful in resolving errors. We will elaborate on the role of knowledge in this process in due course.

임상 추론의 오류가 제1형 처리와 관련되어 있는가?

Are errors in clinical reasoning associated with Type 1 processing?

지금까지 일반 문헌에는 100개 이상의 인지편견이, 의학 문헌에는 적어도 38개 이상의 인지편향에 대해 기술되어 있다.19 인지편향과 진단오차를 연관짓는 글의 두드러진 점을 감안할 때, 진단추론에서 인지편향에 대한 경험적 실증적 실증이 비교적 적다는 것은 다소 놀라운 일이다. 최근 체계적인 검토에서 보건의료에서 인지편향에 대한 213개의 연구가 확인되었지만, 많은 사람들이 진단추론이 아닌 치료선택(추론)과의 관련성을 검토했다.39 이 기사를 검토한 후, 우리는 15개의 연구만이 진단오류에서 인지편향의 역할을 검사했고, 7개의 편견만 검사했다고 결론지었다.

To date, over 100 cognitive biases have been described in the general literature and at least 38 in the medical literature.19 Given the prominence of writings associating cognitive bias with diagnostic error,14–20,35–38 it is somewhat surprising that there are relatively few empirical demonstrations of cognitive bias in diagnostic reasoning. A recent systematic review identified 213 studies of cognitive bias in health care; however, many examined the therapeutic choices , not diagnostic reasoning.39 After reviewing this article, we concluded that only 15 of the studies examined the role of cognitive bias in diagnostic error, and only 7 biases were examined.

실제로 존재하는 진단 추론에서 인지편향의 역할에 대한 증거는 다음 두 종류의 연구에서 도출된다. 

• (1) 편견을 설명하기 위해 자극이 특별히 조작되는 실험 연구 (예: 연구 초기에 참가자에게 사례를 보여 준 다음, [가용성 편향] 시퀀스 후반에 유사한 사례를 진단하도록 요청함)

• (2) 오류가 발생한 경우에 대해, 후향적으로 검토하여 가능한 오류의 원인을 판단한다.

The evidence of the role of cognitive bias in diagnostic reasoning that does exist is derived from two kinds of studies: 

• (1) experimental studies in which the stimuli are specifically manipulated to illustrate a bias (e.g., by showing participants a case early in the study, then asking them to diagnose a similar case later in the sequence [availability bias]); and 

• (2) retrospective reviews of cases where an error has occurred, to determine the possible cause of the error.

많은 실험 연구들이 다양한 인지적 편견을 보여주었다.

A number of experimental studies have demonstrated various cognitive biases.

다른 여러 연구에서는 유사한 사례에 대한 참가자의 최근 경험과 다른 진단으로 인해 오류가 발생한 "가용성" 편향을 입증했다.

Several other studies have demonstrated “availability” bias, where participants’ recent experience with a similar case but a different diagnosis led to errors.

그러나 피부과에서의 두 가지 연구에서 동일한 카테고리의 사례를 직전에 본 경우, 정확한 진단을 더 용이하게 할 수 있다는 것이 밝혀졌다.44,4,45

However, availability bias seems to work both ways—two studies in dermatology showed that a prior example from the same category can facilitate accurate diagnosis.44,45

모든 연구가 인지적 편견을 유도할 수 있었던 것은 아니었다. 크리스텐슨과 동료 46명은 연구에 사용된 8가지 사례 중 두 가지 사례에만, 최소한의 편견만이 존재한다는 것을 발견했다.

Not all studies were able to induce a cognitive bias. Christensen and colleagues46 found that minimal bias was present in only two of the eight cases used in the study.

따라서, 편견을 유도하기 위해 특별히 설계된 자료를 사용한 많은 연구가 임상의사가 인지적 편견, 특히 가용성 편견을 보일 수 있다는 것을 보여주었지만, 그들은 이러한 편견이 실제로 발생할 수 있는 정도에 대한 통찰력을 제공하지 못했다. 또한 어떤 연구에서는 가용성 편향이 정확성을 감소시킬수도, 개선할 수 있다는 연구 결과가 나왔다.44,45

Thus, although a number of studies that used materials specifically designed to induce bias showed that clinicians can exhibit cognitive biases, particularly availability bias, they provided no insight into the extent to which these biases may arise in practice. Moreover, some studies showed that availability bias may both reduce and improve accuracy.44,45

진단 추론에서 인지편향의 역할을 조사하는 두 번째 연구 부류는 실제 오류에 대한 후향적 검토다. Graber와 동료들은 응급실에서 발생한 100건의 진단 오류 사례를 연구했다. 그들은 사례의 약 68%가 인지적 편견, 주로 조기 폐쇄(즉, 중요한 정보를 얻지 못한 채 접견을 종료)와 관련이 있다는 것을 발견했다. 그러나 또 다른 연구는 인지적 편견의 인과관계에 대한 증거를 찾지 못했다.48

The second class of studies that examine the role of cognitive bias in diagnostic reasoning are retrospective reviews of actual errors. Graber and colleagues33 studied 100 cases of diagnostic errors committed in the emergency department. They found that about 68% of cases were associated with a cognitive bias, primarily premature closure (i.e., terminating the encounter without getting the critical information). However, another study found no evidence of a causal role of cognitive biases.48

최근 한 연구는 특정 편향을 예시하지는 않았지만 두 가지 동일한 가능성이 있는 진단을 받았기 때문에 선택된 경우, 진단 오류 전문가들에게 인지적 편견을 식별하도록 요청했다..49 전문가들 사이에서 특정 편차의 유무에 대한 동의는 0에 가까웠다. 더욱이, 이 연구는 후향적 검토 자체가 사후 판단 편향에 취약하다는 것을 보여주었는데, 동일한 사례 연구에서도 진단이 잘못되었던 경우 진단이 옳았던 경우보다 두 배나 많은 편견을 식별하게 되었다.

A recent study asked experts in diagnostic errors to identify cognitive biases in case workups that were chosen because they did not exemplify a particular bias but had two equally probable diagnoses.49 Agreement on the presence or absence of specific biases among the experts was close to zero. Furthermore, the study showed that retrospective review is itself vulnerable to hindsight bias, where an incorrect diagnosis resulted in the identification of twice as many biases as a correct diagnosis in an otherwise identical case workup.

이것은 임상의사의 사후판단편성의 분명한 예다. 전문가들이 특정 편견에 동의할 수 없고 사후 판단 편향에 취약하다면, 어떻게 편견의 정의를 가르치는 것이 오류 감소로 이어질 수 있는가?

This is a clear example of hindsight bias in the clinicians. If experts cannot agree on specific biases and are vulnerable to hindsight bias, how can teaching definitions of biases lead to error reduction?

임상적 추론의 오류는 지식의 결핍에 의한 것인가?

Are errors in clinical reasoning caused by knowledge deficits?

놀랄 것도 없이, 추가 교육과 지식이 오류 감소와 관련이 있다는 실질적인 증거가 있다. 이러한 증거의 대부분은 임상의사 시니어 레지던트가 주니어 레지던트보다 오류율이 낮다는 것을 보여주는 연구에서 도출되었다. 비록 이것이 항상 그런 것은 아니지만, 실제 경험이 실천을 향상시킨다는 것은 문헌에서 덜 명확하다; 대부분의 연구는 작은 부정적인 면을 보여준다. 즉, 진단 정확도와 나이 사이의 negative 관계가 있다.

Not surprisingly, there is substantial evidence that additional education and knowledge are associated with reduced error rates. Much of this evidence is derived from studies of postgraduate trainees that show that practicing clinicians and/or senior residents have lower error rates than junior residents,41,50,51 although this is not always the case.52 It is less clear from the literature that experience in practice leads to improved practice; most studies show a small negative relationship between diagnostic accuracy and age.53,54

실제 임상 진단 수행에 대한 한 연구에서 Zwaan과 동료들48은 "최적화되지 못한 임상 행위"의 원인이 불충분한 지식이라는 증거를 발견했다.

In one study of actual clinical diagnostic performance, Zwaan and colleagues48 found evidence of insufficient knowledge as a basis for “suboptimal clinical acts.”

그러나 이러한 연구는 어떤 종류의 전문지식이 오류와 관련되어있는지를 식별하지 못한다. 

• 경험적experiential 지식의 정확성과 측정 사이의 긍정적인 연관성은 전문지식이 제1형 처리와 관련이 있음을 시사할 수 있다. 

• 공식적formal 지식의 측정과의 연관성은 전문지식이 부분적으로 더 광범위한 분석적 지식기반에 존재함을 의미할 수 있으며, 따라서 제2형 처리에 기여할 것이다.

However, these studies do not identify the kind of knowledge that is related to errors and expertise. 

• A positive association between accuracy and measures of experiential knowledge would suggest that expertise is related to Type 1 processing; 

• an association with measures of formal knowledge would imply that expertise resides in part in a more extensive analytical knowledge base, and thus would contribute to Type 2 processing.

우리는 문헌에서 두 가지 관계에 대한 증거를 발견했다.

We found evidence for both relationships in the literature.

임상 추론 오류 감소 전략

Strategies for reducing errors in clinical reasoning

문헌에는 일반 전략, 휴리스틱 기반 전략, 지식 기반 전략 등 최소 세 가지 종류의 개입이 설명되어 있다.55

At least three classes of interventions have been described in the literature: general strategies, heuristic- based strategies, and knowledge-based strategies.55

일반 오류 감소 전략.

General error reduction strategies.

아마도 오류를 줄이기 위한 가장 간단한 전략은 "속도를 줄이고 시스템 2에서 보완을 요청하라"는 Kaneman의 지시에 따라, 임상의사에게 신중하고 체계적으로 그리고 모든 대안을 모색하라고 훈계하는 것일 것이다. 이러한 유형의 개입을 검토하기 위한 전형적인 연구전략은, 타입 2 처리에 이용 가능한 시간을 수정하기 위해, 한 집단은 "조심하고, 체계적이며, 철저하다"라고 하고, 다른 집단은 "가능한 한 빨리 가라"라고 하는 두 집단 설계를 이용하는 것이다. 이 전략을 사용한 세 가지 연구는 진단 정확도에 차이가 없음을 보여주었다.29,30,56 반면에 Mamede와 동료들은 비슷한 전략을 사용하였고 어느 정도 성공하였다.

Perhaps the simplest strategy to reduce errors is to admonish clinicians to be careful and systematic and to explore all alternatives, following Kahneman’s26 directive to “slow down and ask for reinforcement from System 2.” A typical research strategy to examine this type of intervention is to use a two-group design in which one group is told to be “careful, systematic, thorough” and the other group is told to “go as quickly as possible,” with a view to modifying the time available for Type 2 processing. Three studies using this strategy showed no difference in diagnostic accuracy.29,30,56 On the other hand, Mamede and colleagues57 used similar strategies with some success.

경험적 기반 오류 감소 전략.

Heuristic-based error reduction strategies.

인지적 편견의 영향을 줄이기 위한 전략은 이러한 인식이 진단 오류를 감소시킬 것이라는 가정 하에 참가자들에게 발생가능한 편견을 교육하기 위해 고안되었다. 몇몇 연구들은 단순히 편견을 확인하는 데 초점을 맞춰왔다.

Strategies directed at reducing the effect of cognitive biases are designed to educate participants about possible biases, with the assumption that this awareness will reduce diagnostic errors. Several studies have focused on simply identifying biases.

본드와 동료는 응급의학 전공의에게 인지적 편견에 대한 강의를 했다. 전공의들이 편견에 대해 배웠다고 인식했지만, 다시 한번 진단 오류에 대한 개입의 효과는 테스트되지 않았다. Ogdie와 동료들61은 전공의들이 인지편향과 진단오류 경험에 대한 성찰적 글쓰기 및 토론 과제를 완료하는 과정을 구현했다. 비록 전공의들이 인지적 편견을 보인 사건을 상기할 수 있었지만, 그 편향을 독립적으로 확인하지 못했고, 그 편향이 그들의 진단 정확도에 미치는 영향의 측정도 없었다.

Bond and colleagues60 taught a course on cognitive biases to emergency medicine residents. Although residents perceived that they had learned about biases, again, the effect of the intervention on diagnostic errors was not tested. Ogdie and colleagues61 implemented a course where residents completed reflective writing and discussion assignments about their experience with cognitive bias and diagnostic error. Although the residents were able to recall an episode where they exhibited a cognitive bias, there was no independent confirmation of that bias and no measurement of its effect on their diagnostic accuracy.

오직 세 가지 연구만이 참가자들에게 진단 추론에서 특정한 인지적 편견을 인식하도록 가르치기 위해 고안된 교육적 개입의 효과를 조사했다.62–64 이러한 연구들 중 두 가지는 응급의학 교대로 사무직 학생에 대한 교육적 개입을 테스트했고, 이어서 서면 사례 기반 사후 테스트가 있었다.62,63 개입에 따른 오류의 감소는 없었다.

Only three studies examined the effect of an educational intervention designed to teach participants to recognize specific cognitive biases in diagnostic reasoning.62–64 Two of these studies tested an educational intervention on clerkship students in an emergency medicine rotation, followed by a written case-based posttest.62,63 There was no reduction in errors from the intervention.

다른 연구에서는 [debiasing 체크리스트의 효과("내가 경험적 사고의 내재적 결함을 고려했는가?"와 같은 질문 포함)] 대 [25개의 가능한 차등 진단에 대한 사례별 체크리스트의 효과]65를 비교했다. 저자들은 debiasing 체크리스트의 유의한 이점은 찾지 못했다. 그러나 사례별 체크리스트는 진단 정확도를 크게 향상시켰다.

One other study directly compared the effect of a debiasing checklist (with questions like “Did I consider the inherent flaws of heuristic thinking?”) versus the effect of a case-specific checklist of 25 possible differential diagnoses.65 The authors found no significant benefit to the debiasing probe; however, the case- specific checklist resulted in a significant improvement in diagnostic accuracy.

따라서 다수의 연구가 레지던트가 인지적 편견을 정의하는 법을 배울 수 있다는 것을 증명했고, 특정한 편견을 설명하기 위해 설계된 서면 및 비디오 사례 작업에서 편견을 인식할 수 있다는 약한 증거가 있지만, 놀랍게도 [인지적 편견을 식별하는 능력]과 [편견과 진단 오류의 감소] 사이의 연관성을 연구한 연구는 거의 없다. 이 관계를 연구한 사람들은 그러한 개입에 아무런 도움이 되지 않았다.

Thus, although a number of studies have demonstrated that residents can learn to define cognitive biases, and there is weak evidence that they may be able to recognize biases in written and video case workups that are designed to illustrate specific biases, surprisingly few studies have examined the link between their ability to identify cognitive biases and a decrease in diagnostic errors. Those that did study this relationship showed no benefit to such interventions.

지식 기반 오류 감소 전략.

Knowledge-based error reduction strategies.

아마도 가장 광범위하게 연구된 개입은 Mamede, Schmidt 및 동료들이 개발한 기술인 의도적 성찰일 것이다.42,43,666670 그들의 전략은 [작업 진단working diagnosis이 정확하지 않다는 것을 인식하는 열쇠가 그 진단과 모순되는 증거를 식별하는 것]이라는 가정에 기초한다. 이 기법은 사례로 돌아가서 그 특징을 모두 기록한 다음 작업 진단과 일치하지 않는 특징을 식별해야 한다.

Perhaps the most widely studied intervention is deliberate reflection, a technique developed by Mamede, Schmidt, and colleagues.42,43,66–70 Their strategy is based on the assumption that the key to recognizing that a working diagnosis is not correct is identifying evidence that is inconsistent with that diagnosis. This technique requires going back to the case, writing down all of its features, and then identifying any features that are discordant with the working diagnosis.

이 전략은 분석적(타입 2) 사고에 근거한 시정조치를 권장하지만, 그것은 분명히 (잘못에 대한 인지적 휴리스틱을 식별하는 것이 아니라) 적절한 지식을 식별하는 데 초점을 맞추고 있으며, 진단적 관련 정보의 검색 및 재구성에 대한 구조적 접근방식으로 가장 잘 설명될 수 있다.

Although this strategy encourages a corrective action based on analytical (Type 2) thinking, it is clearly focused on identifying the appropriate knowledge, not on identifying the cognitive heuristic at fault, and may best be described as a structured approach to the retrieval and reorganization of diagnostically relevant information.

한 연구는 단순 사례와 복잡한 사례 진단에 대한 성찰 효과와 지시되지 않은 추론의 효과를 대조하였다.69 복잡한 사례 진단에서 성찰의 긍정적인 효과가 주로 주목되었다.

One study contrasted the effects of reflection and those of undirected reasoning on diagnosing simple versus complex cases.69 The positive effect of reflection was primarily noted in diagnosing complex cases.

세 번째 연구 52. 간단한 사례를 해결하는 레지던트의 경우, 저자들은 진단 정확도에 차이가 없음을 발견했고, 복잡한 사례를 해결하는 사람들에게는 '의식적인 사고' 조건에서 결과가 우월했다. 반대로, 이 개입은 의대생들이 간단한 사건을 해결하는 데 도움이 되었지만, 복잡한 사건을 해결하는 데는 도움이 되지 않았다. 이 연구결과는 이 개입이 분석지식을 동원했다는 것을 시사하는데, 초보자들에게는 [단순한 사례의 해결]이 개선되고, 반면 더 advanced 의사에게는 [복잡한 사례의 해결]에 효과적이었다.

A third study 52. For residents solving simple cases, the authors found no difference in their diagnostic accuracy; for those solving complex cases, the results of the conscious thought condition were superior. Conversely, the intervention benefited medical students solving simple cases but not those solving complex cases. This finding suggests that the intervention mobilized analytical knowledge, which for novices resulted in improvement in solving simple cases and for more advanced clinicians was effective for solving complex cases.

salient distracting feature가 있는(즉, 임상의의 정확한 진단을 방해하기 위해 의도적으로 포함된 특징) 연구에서, 성찰적 추론을 사용하도록 권장된 레지던트들은 예시-기반 추론을 사용하라는 말을 들었을 때보다 더 정확했다.68 그러나 저자들은 의대생들에게 아무런 차이를 발견하지 못했다. 다시 말하지만, 이 발견은 레지던트의 보다 광범위한 분석적 지식을 보여주는 것일지도 모른다.

In a study of salient distracting features (i.e., features deliberately included to distract the clinician from the correct diagnosis), residents encouraged to use reflective reasoning were more accurate than when they were told to use exemplar-based reasoning.68 However, the authors found no difference for medical students. Again, this finding may reflect residents’ more extensive analytical knowledge.

두 가지 연구에 따르면, 성찰을 위한 추가 시간이 레지던트와 경험 있는 의사들 사이에서 진단 정확도의 큰 증가를 이루었다.71,72 그러나 반사 단계에는 참여자의 정확도 향상에 큰 기여를 할 수 있는 추가 임상 데이터의 제시도 포함되었다.

Two studies showed that additional time for reflection resulted in a large increase in diagnostic accuracy, among both residents and experienced physicians.71,72 However the reflection phase also involved the presentation of additional clinical data, which may be a major contributor to participants’ increased accuracy.

이러한 연구를 통해 우리는 학습자의 수준과 사례의 난이도가 영향을 미치기는 하지만, 성찰이 상당히 일관되게 유익하다고 결론지을 수 있다. 이러한 차이는 [문제해결에 필요한 적절한 지식의 가용성]의 차이로 인한 결과인 듯 하다. 성찰이 효과적인 경우에는, 참가자들이 자신의 지식을 식별하고 재구성하도록 장려했기 때문에 그러한 결과를 달성한 것이다. 

From these studies, we conclude that reflection is fairly consistently beneficial, although the level of the learners and the difficulty of the cases do affect its impact. This mitigation appears to be a consequence of the availability of appropriate knowledge to resolve the problem; to the extent that reflection is effective, it achieves these results by encouraging participants to identify and reconfigure their knowledge. 

이 전략은 복잡한 사례를 해결하는 주니어 임상의에게는 효과적이지 않다. 왜냐하면 그들은 처음부터 사건을 해결할 충분한 지식을 가지고 있지 않기 때문이다. 반대로, 전문가들은 그러한 문제들을 처음부터 쉽게 해결할 수 있기 때문에 단순한 경우를 해결하는 데 있어서 성찰의 혜택을 받지 못한다.

This strategy is ineffective for junior clinicians solving complex cases because they simply do not have sufficient knowledge to resolve the case from the start. Conversely, experts do not benefit from reflection in solving simple cases, because they can solve such problems easily from the start.

이러한 개입에 대해 한 가지 더 고려할 점이 있다. 일반적으로 모든 경우에 대한 성찰은 두 번째 패스로 요구되며, 원래의 서면 케이스가 이용 가능하다. 실제로 유용하기 위해서는, Kahneman이 말하는 것처럼, 임상의는 "자신이 지뢰밭에서 있다는 것을 인식해야" 하며, 자신이 실수를 저질렀다고 믿고, 더 이상 return할 case description이 없을 때 추가 검토를 시작해야 한다. 그렇다면 문제는 [의사는 과연 주어진 상황이 문제가 있다는 것을 인식하고 스스로 오류를 고칠 수 있는가] 하는 것이다.

There is one further consideration regarding these interventions. the reflection is usually required for all cases as a second pass, with the original written case available. To be useful in practice, the clinician must, as Kahneman26 says, “recognize [she is] in a minefield” and initiate additional review when she believes she has committed an error and does not have a case description to which to return. The question then is: Can clinicians recognize that a situation is problematic and correct the error on their own?

답은 "약간만 그렇다"인 것 같다. 인턴, 레지던트, 의대생들을 대상으로 프리드먼과 동료 73명이 실시한 대규모 연구에서 참가자들의 자기평가 신뢰도가 잘못 진단한 경우보다 올바르게 진단된 경우에 더 높은 것으로 나타났다. 전문지식이 높아짐에 따라 정확성과 신뢰성이 향상되었지만, 저자들은 과신 및 저신뢰의 많은 예를 확인하였다.

The answer appears to be “a bit.” A large study by Friedman and colleagues73 involving practicing internists, residents, and medical students showed that participants’ self-assessed confidence was higher for cases they diagnosed correctly than for those they diagnosed incorrectly. Increasing expertise led to greater accuracy and confidence, although the authors identified many instances of both over- and underconfidence.

결론적으로, 여러 근거에 따르면, 휴리스틱스 및 편견의 식별을 통한 오류 감소에 대한 개입이 진단 오류에 아무런 영향을 미치지 않는다는 것을 암시한다. 이와는 대조적으로, 임상의가 자신의 지식을 동원하고 재구성하거나 사례의 내용을 성찰하도록 장려하는 다양한 전략을 사용하는 여러 연구에서는 어느 정도 이점이 나타났다. 즉, 이는 참가자가 문제와 관련된 추가 지식을 identify해야 한다는 것을 보여주는 결과일 가능성이 높다.

In conclusion, the evidence suggests that interventions directed at error reduction through the identification of heuristics and biases have no effect on diagnostic errors. By contrast, a number of studies using various strategies that encourage clinicians to mobilize and reorganize their knowledge or to reflect on the content of the case showed some benefit, which is presumably a consequence of directing participants to identify additional knowledge that is relevant to the problem.

결론

Conclusions

(1) 임상 추론의 오류가 주로 많은 저자가 제시한 하나의 처리 전략(타입 1)에서 발생하는지 

(2) 이러한 오류가 인지적 편견 또는 지식 결손의 결과인지 여부.

(1) whether errors in clinical reasoning arise primarily from one processing strategy (Type 1) as suggested by many authors, and 

(2) whether these errors are a consequence of cognitive biases or knowledge deficits.

우리가 문헌에서 발견한 증거는 일관성이 있는 것 같다. 임상 추론의 오류가 주로 제1형식 처리에서 발생하며 제2형식 처리에 의해 수정된다는 이론적 입장은 너무 단순하다. 오류는 두 종류의 처리에서 모두 발생할 수 있다. 무엇이 오류를 일으키고 그것들을 줄이기 위해 무엇을 할 수 있는지에 대해, 현재까지 문헌은 Graber와 동료들의 결론에 부합한다. "이러한 개입의 폭과 열의 사이에는 큰 차이가 있지만... 실제 개입의 빈약함[그리고 진단 정확도나 오류를 다루는 매우 제한된 증거]이 있다." 

The evidence we found in the literature appears consistent. The theoretical position that errors in clinical reasoning arise primarily from Type 1 processing and are corrected by Type 2 processing is simplistic. Errors can arise from both kinds of processing. As to what causes errors and what can be done to reduce them, the literature to date aligns with Graber and colleagues’55 conclusion that there is “a major discrepancy between the breadth and enthusiasm for these interventions … but a paucity of actual interventions [and] very limited evidence addressing diagnostic accuracy or errors.” 

그럼에도 불구하고, 우리가 검토한 연구에서 몇 가지 결론은 가능하다. 첫째, 지금까지의 근거는 [대부분의 오류는 인지적 편견의 결과이며, 의사들이 편견을 인식하도록 훈련시킴으로써 감소될 수 있다]는 가정을 지지하지 않는다. 마찬가지로, "속도를 늦추거나, 성찰하거나, 주의하고, 체계적으로 행동하라"는 일반적인 경고는 진단 과정을 늦추는 것 이상의 효과는 그다지 없어 보인다. 이와는 대조적으로, 지식이 부족한 것이 진단 오류의 중요한 원인이 되며, 지식의 일부 재조직화를 유도하는 전략은 작지만 일관된 이점이 있는 것으로 보인다.

Nevertheless, some conclusions are possible from the studies we reviewed. First, the assumption that most errors are a consequence of cognitive biases and could be reduced by training physicians to recognize biases is not borne out by the evidence. Similarly, general admonitions to slow down, reflect, or be careful and systematic likely have minimal effect beyond slowing the diagnostic process. By contrast, knowledge deficits are a significant contributor to diagnostic error, and strategies to induce some reorganization of knowledge appear to have small but consistent benefits.

개별 수준에서 오류 감소를 지향하는 다양한 교육 전략을 검토했지만, 다른 수준의 다른 접근 방식도 제안되었다. 집단 의사결정은 시뮬레이션 트라우마 사례를 사용하여 연구된 그러한 가능성 중 하나이다.74 컴퓨터 의사결정 지원 시스템은 오랜 역사를 가지고 있다. 그러나, 그러한 시스템이 의사에게 주는 이점은 크지 않다.75 그리고 앞에서 논의한 바와 같이, 의사들은 종종 자신의 오류를 인식하지 못하기 때문에 의사결정에서 서포트를 얻고자 하지 않는다.

While we have examined various educational strategies directed at error reduction at an individual level, other approaches at different levels also have been suggested. Group decision making is one such possibility that has been studied using simulated trauma cases.74 Computer decision support systems have a long history; however, the benefit of such systems to physicians is not large,75 and, as we discussed earlier, physicians often are not aware of their errors, so they do not seek out decision support.73

하지만 한 가지는 분명하다. [진단 오류는 인지적 편견에서 비롯되며], [비교적 단순하고 빠른 전략이 편견을 식별하고 제거하는 것이 오류를 줄일 수 있다]는 가정이 얼마나 매력적이든간에, 근거는 이러한 전략이 효과성이 없거나 제한적이라는 것을 일관되게 입증한다. 지식이 중요하다. 인지적 편견에서 오류의 일부 비율이 발생하더라도 오류를 해결하기 위해서는 임상적 지식의 적용이 필요한데, 이러한 지식이 부족한 것이 초반의 실수의 원인이었을 수 있다.77 오류 감소에 관한 과학이 있다면 그것은 유아기에 있으며, 우리는 아직 갈 길이 멀다.

One thing is clear though. However attractive the assumption is that diagnostic errors originate in cognitive biases, and the implication that relatively simple and quick strategies directed at identifying and eliminating biases can reduce errors, the evidence is consistent in demonstrating that such strategies have no or limited effectiveness.76 Knowledge matters. Even if some proportion of errors arise from cognitive biases, the resolution of errors also involves the application of clinical knowledge, which may underlie the initial mistake.77 If there is a science of error reduction, it is in its infancy, and we have far to go.

마지막으로, 진단 오류의 실제 비율에는, 약간의 불확실성이 있지만, 이러한 오류를 방지할 수 있는 범위에는 훨씬 더 큰 불확실성이 존재한다는 점에 주의해야 한다. 임상에서 모호함은 상수다. 절대적 진단을 내릴 정보가 불충분하기 때문에, 어떤 오류는 발생할 수밖에 없다. 모든 오류를 없애기 위해 마법의 총알이 등장할 것이라는 가정은 희망사항에 지나지 않을 것이다.

Finally, we must caution that, while there is some uncertainty in the actual rate of diagnostic errors, there is far greater uncertainty in the extent to which these errors are preventable. Ambiguity is a constant in clinical practice; it is inevitable that some errors will arise simply because there is insufficient information to make a definitive diagnosis. The assumption that a magic bullet will emerge to eliminate all errors is likely nothing more than wishful thinking.

2 Balogh EP, Miller BT, Ball JR, eds. Improving Diagnosis in Health Care. Washington, DC: National Academies Press; 2015.

---

Comment

 

, 92 (1), 23-30

 Jan 2017

The Causes of Errors in Clinical Reasoning: Cognitive Biases, Knowledge Deficits, and Dual Process Thinking

Geoffrey R Norman 1, Sandra D Monteiro, Jonathan Sherbino, Jonathan S Ilgen, Henk G Schmidt, Silvia Mamede

Affiliations 

Affiliation

• 1G.R. Norman is emeritus professor, Department of Clinical Epidemiology and Biostatistics, McMaster University, Hamilton, Ontario, Canada. S.D. Monteiro is assistant professor, Department of Clinical Epidemiology and Biostatistics, McMaster University, Hamilton, Ontario, Canada. J. Sherbino is associate professor, Department of Medicine, McMaster University, Hamilton, Ontario, Canada. J.S. Ilgen is associate professor, Department of Medicine, University of Washington School of Medicine, Seattle, Washington. H.G. Schmidt is professor, Department of Psychology, Erasmus University, Rotterdam, the Netherlands. S. Mamede is associate professor, Department of Psychology, Erasmus University, Rotterdam, the Netherlands.

• PMID: 27782919
 
• DOI: 10.1097/ACM.0000000000001421

Abstract

Contemporary theories of clinical reasoning espouse a dual processing model, which consists of a rapid, intuitive component (Type 1) and a slower, logical and analytical component (Type 2). Although the general consensus is that this dual processing model is a valid representation of clinical reasoning, the causes of diagnostic errors remain unclear. Cognitive theories about human memory propose that such errors may arise from both Type 1 and Type 2 reasoning. Errors in Type 1 reasoning may be a consequence of the associative nature of memory, which can lead to cognitive biases. However, the literature indicates that, with increasing expertise (and knowledge), the likelihood of errors decreases. Errors in Type 2 reasoning may result from the limited capacity of working memory, which constrains computational processes. In this article, the authors review the medical literature to answer two substantial questions that arise from this work: (1) To what extent do diagnostic errors originate in Type 1 (intuitive) processes versus in Type 2 (analytical) processes? (2) To what extent are errors a consequence of cognitive biases versus a consequence of knowledge deficits?The literature suggests that both Type 1 and Type 2 processes contribute to errors. Although it is possible to experimentally induce cognitive biases, particularly availability bias, the extent to which these biases actually contribute to diagnostic errors is not well established. Educational strategies directed at the recognition of biases are ineffective in reducing errors; conversely, strategies focused on the reorganization of knowledge to reduce errors have small but consistent benefits.