비판적 사고, 편향, 이중처리: 일반화가능한 스킬이라는 죽지않는 신화(Med Educ, 2019)

비판적 사고, 편향, 이중처리: 일반화가능한 스킬이라는 죽지않는 신화(Med Educ, 2019)

Critical thinking, biases and dual processing: The enduring myth of generalisable skills

Sandra Monteiro1,2 | Jonathan Sherbino2,3 | Matthew Sibbald2,3 | Geoff Norman1,2

1 | 소개

1 | INTRODUCTION

사실상 모든 사람들이 (이루어지기는 했지만 충분히 충족되지 않은) 가장 중요한 학교교육의 목표는 학생들이 비판적으로 생각할 수 있도록 하는 것이라는 데 동의할 것이다. (Willingham, 20071)

Virtually everyone would agree that a primary, yet insufficiently met, goal of schooling is to enable students to think critically. (Willingham, 20071)

모두가 그렇지는 않다. 우리는 동의하지 않는다. 본 논문에서 우리는 위의 주장(교육의 중심 초점은 비판적 사고, 문제 해결, 임상적 추론과 반성과 같은 일반적인 기술을 주입하는 것이어야 한다는 것)이 사실 신화라는 입장을 옹호한다.

Not everyone. We do not agree. In this paper, we defend the position that the above assertion (ie that the central focus of education should be to inculcate general skills like critical thinking, problem solving, clinical reasoning and reflection) is indeed a myth.

우리의 중심적 주장은 의학 교육과 인지심리학에서 상당부분의 증거가 이 주장을 뒷받침하지 못한다는 것이다. 대신에, 증거에 따르면, 전문성의 본질은 어떤 종류의 일반적인 사고 기술이 아니라, 대규모의, 조직화된, 회상가능한retrievable 공식적이고 경험적인 지식이라는 것을 계속해서 증명한다.

Our central claim is that the preponderance of evidence, in medical education and cognitive psychology, does not support this assertion. Instead, the evidence demonstrates again and again that the essence of expertise is the possession of a large, organised and retrievable body of both formal and experiential knowledge, not any kind of general thinking skills.

당연히 가르침과 배움은 지식이 아닌 사고에 관한 것이어야 한다는 고귀한 생각은 의학에만 있는 것이 아니다. 그것이 두드러지게 특징지었던 한 분야는 지난 세기가 시작될 무렵의 미국 교육이었는데, 그 때 고전 유럽 교육에서와 마찬가지로 라틴어, 그리스어, 논리학의 학습으로 대변되는 "정신적 능력"의 발달에 중점을 두었다. 그 반대의 증거는 1906년에 Thorndike에 의해 제시되었는데, 그는 상이한 업무에 대한 일반적인 전이transfer 효과가 매우 낮다는 것을 보여주었다(Leman et al2에서 설명됨): 일반적 기술("정신적 능력")이란 존재하지 않는다. 그러나 라틴어의 과목은 그 존재의 근거가 사라진 지 한참 후까지도 공립학교 교과과정에 남아 있었다.

Not surprisingly, the noble idea that teaching and learning should be about thinking, not knowledge, is not unique to medicine. One area in which it featured prominently was American education around the turn of the last century, when, as in classical European education, the emphasis was on the development of “mental faculties” exemplified by the study of Latin, Greek and logic. Evidence to the contrary was presented by Thorndike in 1906, who showed that typical transfer effects across dissimilar tasks were very low (described in Lehman et al2): general skills (“mental faculties”) did not exist. However, the course in Latin remained in the public school curriculum long after the rationale for its existence had disappeared.

심리학에서 "정신적 능력"은 특히 미국에서 과학심리를 지배하는 행동주의로 대체되었다. 그러나 20세기 후반에 이러한 기계론적, 환원주의적 이론적 관점은 결국 인지적 심리로 대체되었다. 동시에, 건강 전문가 교육의 초점은 행동 목표에서 근본적인 사고 과정의 개발을 향해 나아갔다.

In psychology, “mental faculties” were replaced by behaviourism, which dominated scientific psychology, particularly in the USA, to midcentury. However, in the latter decades of the 20th century, this mechanistic and reductionist theoretical perspective was eventually superseded by cognitive psychology. Concurrently, the focus of health professions education moved away from behavioural objectives towards the development of underlying thinking processes.

2 | 르네상스: 1960-1980

2 | THE RENAISSANCE: 1960-1980

2.1 | 정보처리 모델의 출현

2.1 | The emergence of information-processing models

2.1.1 | 인지심리학

2.1.1 | Cognitive psychology

인지혁명의 원동력은 인간의 "정보처리"에 대한 은유로서 컴퓨터의 발전이었다. 마음의 은유로서 '기계'가 침입하면서, 초기에는 뉴웰과 사이먼의 "일반적인 문제 해결사(이름이 모든 것을 보여준다)"와 같은 인공지능에 대한 연구로 이어졌다. 이것은 인간(과 기계)의 문제 해결은, 문제를 해결하기 위해 특정한 지식 기반을 동원할 수 있는 일반적인 전략을 채택하는 문제라는 전제에 기초한다. 여러 문헌에 브레인스토밍, 측면서고, 연관성 등과 같이, "내용과 무관하게" 문제 해결과 창의성 향상으로 이어지는 수많은 전략이 스며들었지만, 결과는 그렇지 못했다. 우리는 이제 그 은유가 너무 지나치게 문자 그대로 받아들여졌다는 것을 안다. 인간의 마음은 1970년대와 1980년대에 디자인된 컴퓨터와 같은 방식으로 작용하지 않는다.

A driving force behind the cognitive revolution was the development of computers as a metaphor for human “information processing.” Early forays into the machine as a metaphor of the mind led to research in artificial intelligence such as Newell and Simon's “general problem solver” (the name says it all), based on the premise that human (and machine) problem solving was a matter of adopting general strategies that could then be mobilised with specific knowledge bases to solve problems.3,4 The lay literature was permeated by numerous contentfree strategies—brainstorming, lateral thinking, synectics—that purported to lead to large increases in problem solving and creativity, but did not. We now know that the metaphor was taken too literally; human minds do not work in the same way as the computers that were designed in the 1970s and 1980s.5

2.1.2 | 의학 교육

2.1.2 | Medical education

전문가 진단 추론 연구의 기원은 1970년대에 실시된 대표적 연구이다.

The origins of research on expert diagnostic reasoning are credited to seminal work conducted in the 1970s

처음에는, 일반적인 과정이 나타났다. 처음 몇 초 또는 몇 분 이내에 발생하는 초기 "가정 생성" 단계와 추가적인 확인 데이터를 위한 길고 순차적이며 체계적인 검색의 두 단계로 구성되었다.

A general process did emerge from these studies. It consisted of two stages: an initial “hypothesis generation” stage occurring in the first few seconds or minutes of the encounter, followed by a long, sequential and systematic search for additional confirmatory data.

그러나 세 가지 추가 연구 결과가 발생하여 근본적인 가정에 심각한 도전을 제기하였다. 

• 첫째로, 그 과정은 너무 일반적이었다. 의대 1학년 학생부터 전문 임상의사에 이르기까지 모든 사람들은 기본적으로 동일한 가설의 생성과 테스트 과정을 사용하고 있었다. 전문가들이 그것을 더 잘 하고 있다는 것은 간단히 언급되었다. 

• 둘째로, 진단 정확도라는 그 프로세스의 성과를 조사했을 때, 주로 "가설의 내용"이라는 하나의 변수와 관련이 있는 것으로 밝혀졌다. 참가자들이 일찍부터 이 진단에 대해 생각했다면, 그들은 정확한 결과를 얻었고, 그렇지 않았다면, 글쎄, 그들은 그렇지 않았다. 

• 마지막으로, 그리고 결정적으로, 한 문제에 대한 성공은 다른 문제에 대한 성공을 보장하지 않았다. 문제에 대한 전형적인 상관관계는 0.1~0.3이었다. 따라서 일반적인 문제 해결 전략의 개념은 경험적 테스트에 실패했다.

However, three additional findings arose which presented a serious challenge to the underlying assumption. 

• Firstly, the process was too general. Everyone, from firstyear medical student to expert clinician, was essentially using the same process of generating and testing hypotheses; it was simply noted that experts were doing it better. 

• Secondly, when the outcome of the process—diagnostic accuracy—was examined, it was found to relate primarily to only one variable: the content of the hypothesis. If participants thought of the diagnosis early on, they got the correct outcome; if they didn't, well, they didn't. 

• Finally, and critically, success on one problem was no guarantee of success on another. The typical correlation across problems was 0.10.3. Thus, the notion of general problem-solving strategies failed an empirical test.

Elstein 등은 후기 논문에서 이러한 발견을 우아하게 요약했다: 

"맥락과 내용을 배제한 임상 추론의 purely formal syntax는 생성된 가설에 대한 품질의 차이도, 사례에 따른 임상의사의 변동성도 설명할 수 없다. 오히려 구체적 사례에서 더 나은 가설을 만들어내는 능력 뒤에는 도메인 고유의 지식의 차이가 있는 것처럼 보였다."

Elstein et al, in a later paper, summarised these findings elegantly: “A purely formal syntax of clinical reasoning stripped of context and content could account neither for difference in the quality of hypotheses generated nor for clinicians’ variability across cases. It seemed, rather, that differences in domain-specific knowledge must lie behind the ability to generate better hypotheses in specific cases.”

3 | 계몽기: 1980-2000

3 | THE ENLIGHTENMENT: 1980-2000

3.1 | 지식의 역할과 기술의 특수성

3.1 | The role of knowledge and specificity of skills

3.1.1 | 인지심리학

3.1.1 | Cognitive psychology

곧 인간의 문제 해결은 정교한 기술을 습득하는 문제가 아니라 광범위하고 풍부한 지식 네트워크에서 운영되는 상당히 단순한 전략에 해당한다는 것을 알게 되었다.4

It soon emerged that human problem solving was not a matter of acquiring elaborate skills; rather, it amounted to fairly simple strategies operating on extensive and rich knowledge networks.4

추론에서 이러한 핵심적 지식의 역할은 다른 영역의 전문지식을 이해하는 것에 기초한 새로운 연구 분야로 이어졌다. 이러한 발견에서 바로 "의도적 연습"과 같은 현상이 나타났다. 이러한 견해에 따르면 전문지식은 일반적인 전략과도, 무수한(진짜로 수천개에 달하는) 문제를 가지고 실천에서 얻은 경험적 지식과는 아무런 상관이 없다.

This central role of knowledge in reasoning then led to a new field of research based on understanding expertise in different domains. Phenomena such as “deliberate practice” emerged directly from these findings.10 In this view, expertise has nothing to do with general strategies and everything to do with experiential knowledge acquired from practice with many, indeed, thousands of problems.

인지 기술의 제한된 일반화가능성은 또 다른 연구 영역인 전이 연구에서 나타났다. 전이에 대한 무수한 연구 프로그램은 far transfer는 하는 것은 매우 어렵다는 것을 일관되게 보여주었다.11 전이란 한 맥락에서 습득한 지식을 다른 맥락에서 동일한 개념 구조를 가진 문제를 해결하는 데 활용하는 것이다.

The limited generalisability of cognitive skills emerged in another research domain: studies of transfer. An extensive research programme examining transfer—using knowledge acquired in one context to solve problems with the same conceptual structure in a different context—revealed consistently that far transfer was exquisitely difficult.11

마지막으로, 인간의 문제 해결을 시뮬레이션하기 위해 컴퓨터를 계속 사용하는 것은 "수단-목적 분석"과 같은 일반적인 방법을 사용하는 프로그램들이라는 것을 보여주었다. 단순한 문제에 유용한 반면, 지식이 풍부한 영역에서는 효과적이지 않았고, "취약한 방법"이라고 불렸다. "전문가 시스템"이라고 불리는 전문가 지식을 바탕으로 한 대안들은 구체적 영역specific domain에서 훨씬 뛰어났다.12

Finally, the continued use of computers to simulate human problem solving revealed that programs using general methods like “means–end analysis,” while useful for simple problems, were ineffective in knowledge-rich domains and were referred to as “weak methods.”4 Alternatives based on expert knowledge, called “expert systems,” were far superior in specific domains.12

3.1.2 | 의학 교육

3.1.2 | Medical education

[지식의 중심성]을 지적하는 초기의 발견은 임상추론 연구에 있어서 강조의 변화를 가져왔다. 연구자들은 어떤 일반적인 추론 기술을 더 추구하기 보다는 전문가들이 사용하는 지식 구조의 종류를 탐구하기 시작했다.

The early findings pointing to the centrality of knowledge led to a change of emphasis in the study of clinical reasoning. Instead of further pursuing some generalisable reasoning skill, researchers began to explore the kinds of knowledge structures that experts use.

실제로, 지식에 대해서 단일한 중심적인 형태는 없을 가능성이 높다; 오히려, 전문 지식의 한 가지 특징은 분석적인 것에서 경험적인 것에 이르는 광범위한 지식영역이다.

Indeed, it is likely that there is no one central form of knowledge; rather, one hallmark of expertise is the mastery of vast domains of knowledge ranging from analytical—base rates and physiological mechanisms—to experiential.

4 | 반계몽주의: 2000년부터 현재까지

4 | THE COUNTERENLIGHTENMENT: 2000 TO THE PRESENT

4.1 | 사고력의 부활

4.1 | The reemergence of thinking skills

새 천년은 일반 교육과 심리학, 그리고 의학 교육에서 일반적인 사고 전략에 대한 관심이 되살아나는 것을 발견했다. 그러나 이름은 바뀌었다. 비판적 사고, 메타인지, 성찰과 같은 용어가 등장했다. 게다가, 의사결정의 "이중 프로세스" 이론은 문제 해결과 진단에 관한 담론을 지배하게 되었다.

The new millennium found a resurgence of interest in general thinking strategies, both in general education and psychology, and in medical education. However, the names changed. Terms like “critical thinking,” “metacognition” and “reflection” entered the lexicon. Moreover, “dual process” theories of decision making came to dominate discourse on problem solving and diagnosis.

4.2 | 인지심리학

4.2 | Cognitive psychology

4.2.1 | 비판적 사고

4.2.1 | Critical thinking

비판적 사고는 흔히 학생들이 지식 습득과 병행하여 개발할 수 있는(그러나 반드시 연결되어 있는 것은 아니다) 기술로 묘사된다.18

Critical thinking is often described as a skill that students can develop in parallel with (but not necessarily connected to) knowledge acquisition.18

대다수의 문헌은 비판적 사고는 일반적이고 맥락에 구애받지 않는 기술이라고 가정하고 있다. "판단, 분석, 평가, 추론"과 태도 "양심적이고, 잘 알고, 열린 마음" 유연성... 신중성..." 등.19. 일반적인 비판적 사고 교육의 효과는 일반적인 비판적 사고 프로세스를 테스트하기 위해 설계된 왓슨-글레이저 비판적 사고 평가(WGCTA)와 같은 척도로 평가된다.20

By far the majority of the literature assumes that critical thinking is a general, context-independent set of skills: “judgement, analysis, evaluation, inference” and attitudes “inquisitive, well-informed… open-minded,

flexible… prudent…” and so on.19 The effect of general critical thinking instruction is commonly assessed by measures such as the Watson–Glaser Critical Thinking Appraisal (WGCTA), designed to test general critical thinking processes.20

4.2.2 | 메타인지

4.2.2 | Metacognition

메타인지(metacognition)는 자신의 생각을 인식하는 것을 말한다. 메타인지에 대한 대부분의 연구는, 메타인지는 지식과는 구별되며, [학습을 할 수 있는 일반적인 자기조절활동]으로 구성되어 있다고 가정한다. 그리고 이 능력은 "학생들이 학습과 문제 해결을 위한 전략을 감시하고, 반성하고, 개선하도록 돕는다." 

Metacognition refers to awareness of one's thinking. Most research on metacognition assumes that it consists of general selfregulatory activities that can be learned distinct from knowledge and that “help[ing] students monitor, reflect upon, and improve their strategies for learning and problem solving.”21 

그러나 브랜스포드와 슈워츠는 다음과 같이 지적한다. 

"연구 결과에 따르면, 메타인지적 활동에는 지식이 강력하게 요구된다. 메타인지는 "한 번에, 모든 것을 배울 수 있는" 일반적인 기술이 아니다. 예를 들어 특정 과제의 수행요건에 대해 잘 구분된 지식이 없으면, 사람들은 자신이이 그 과업을 수행할 준비가 되어 있는지 여부를 정확하게 평가할 수 없다."

However, Bransford and Schwartz point out: “Research also suggests that metacognitive activities have strong knowledge requirements; they are not general skills that people learn “once and for all.” For example, without welldifferentiated knowledge of the performance requirements of a particular task, people cannot accurately assess whether they are prepared to perform that task.”11

4.2.3 | 이중 프로세스 이론과 인지적 편견

4.2.3 | Dual process theories and cognitive biases

이중 프로세스 이론은 신속하고 무의식적이며 맥락적으로 한정된 프로세스(시스템 1 또는 유형 1)와 느리고 의식적이며, 노력하며, 탈맥락화된 프로세스(시스템 2 또는 유형 2)의 두 가지 기본적 사고 프로세스를 제시한다. 이러한 이론들은 예측이 아니라 서술적이다; 그들은 어떻게 해결해야 하는지를 규정하거나 어떻게 해결될지를 예측하기 보다는 어떻게 애매한 문제가 해결되는지를 묘사한다.

Dual process theories posit two underlying thinking processes: a fast, unconscious, contextually bound process (System 1 or Type 1) and a slow, conscious, effortful, decontextualised process (System 2 or Type 2).22 These theories are descriptive, not predictive; they describe how ambiguous problems are solved rather than prescribing how they should be solved or predicting how they will be solved.

"기본 중재자default-interventionist"라고 불리는 지배적인 이중 프로세스 이론은 시스템 1을 기본 전략으로, 시스템 1의 불가피한 오류를 수정하기 위해 적절히 개입할 백업으로 시스템 2를 제시한다. 시스템 1 추론은 인지적 지름길이나 "휴리스틱"을 주로 이용하며, 이것은 인간 정보 처리가 제한된 결과이다. 그 결과, 시스템 1에서는 오류가 발생하기 쉽고 편견으로 이어질 것으로 예상된다.23 대부분의 오류는 시스템 1의 편견의 결과로 시스템 1에서 발생하는 것으로 추정되며 시스템 2를 통해서만 해결할 수 있다고 생각한다. 진단에 대한 이중 프로세스 모델은 국지적 내용 및 상황별 지식(시스템 1)에 의존하는 전략에 대한 일반 분석 방법(시스템 2)의 효과에 대한 직접 테스트에 해당한다.

The dominant dual process theory, called “default-interventionist,” posits System 1 as the default strategy and System 2 as a backup with which to intervene as appropriate to correct the inevitable errors of System 1. System 1 reasoning makes heavy use of cognitive shortcuts or “heuristics” as a consequence of the limitations of human information processing. These in turn are expected to be error-prone and to lead to bias.23 Most errors are presumed to arise in System 1 as a consequence of biases in System 1 and can only be resolved using System 2. Dual process models of diagnosis amount to a direct test of the effectiveness of general, analytical methods (System 2) against strategies that depend on local content and contextual knowledge (System 1).

그러나, 오류는 시스템 1에서 비롯되고 시스템 2에 의해 수정된다는 가정은 앞 섹션에서 설명한 결과와 직접적으로 배치된다. 즉, [정교한 특정 지식을 바탕으로 한 간단한 전략]이 [보다 일반적이고 지식-무관련 전략]을 일관되게 능가한다.

The assumption that errors originate in System 1 and are corrected by System 2 runs directly counter to the findings discussed earlier in the Enlightenment section, in which simple strategies based on elaborate specific knowledge consistently outperform more general, knowledge-lean strategies.

오류는 시스템 1에서 고유하게 발생한다는 주장은 일부 "이중 처리" 이론가들에 의해 제기되었다. 에반스와 스타노비치 주지사는 분명히 "아마도 가장 끈질긴 오류는 1타입 프로세스(직관적이고, 휴리스틱한)가 모든 나쁜 사고에 책임이 있고 2타입 프로세스(반사적이고, 분석적)가 반드시 올바른 반응을 이끌어 낸다는 생각이다. 따라서 다양한 형태의 이중 프로세스 이론은 추론과 판단 연구의 인지적 편견을 1형 프로세싱 탓으로 돌렸다... 그에 상응하는 논리적 추론, 합리적인 의사결정 및 비철학적 판단은 2형 프로세싱에 귀속되었다."22

The claim that errors arise uniquely in System 1 has been challenged by some “dual processing” theorists. Evans and Stanovich state unequivocally: “Perhaps the most persistent fallacy… is the idea that Type 1 processes (intuitive, heuristic) are responsible for all bad thinking and that Type 2 processes (reflective, analytic) necessarily lead to correct responses. Thus, various forms of dual process theory have blamed Type 1 processing for cognitive biases in reasoning and judgement research… Correspondingly, logical reasoning, rational decision making, and nonstereotypical judgements have been attributed to Type 2 processing.”22

비록 오류는 시스템 1에서 비롯되고 시스템 2에서 개선된다는 개념이 만연하지만, 최근의 이론과 증거가 시사하는 바와는 전혀 다르다.

Although the notion that errors originate in System 1 and are ameliorated in System 2 is pervasive, recent theory and evidence suggest otherwise.

4.3 | 의학 교육

4.3 | Medical education

4.3.1 | 비판적 사고

4.3.1 | Critical thinking

심리학 문헌과 유사하게, 일부 연구는 (비판적 사고가 성격과 유사하다고 암묵적으로 가정하여) 비판적 사고 시험의 점수와 임상적 의사결정 또는 사무적 성과와 같은 결과 사이의 관계를 조사한다. 대신에, 연구는 수년간의 교육으로 비판적 사고방식의 향상을 찾고 있는데, 그것은 그것이 기술과 같다고 가정하고, 시간이 지남에 따라 점차적으로 증가하고 있다. 일반적으로 연관성은 미약하고, 리뷰 기사의 주요 저자들은 "동시적 타당성은 제한적"이라고 결론내리며, "증거는... 아직 근거가 없다", "결과...혼합되고 모순된다."28라고 말한다.

Similar to the psychology literature, some studies examine the relationship between scores on a critical thinking test and outcomes such as clinical decision making or clerkship performance,24-26 implicitly assuming that critical thinking is trait-like. Alternatively, studies look for improvement in critical thinking with years of education,27 which presumes it is skill-like, gradually increasing over time. In general, associations are modest, leading authors of review articles to conclude “limited concurrent validity,”28 “evidence… is still unsubstantiated,”24 and “results… are mixed and contradictory.”28

4.3.2 | 메타인지

4.3.2 | Metacognition

의학 내에서는 자기 자신의 사고에 대한 인식이 성찰 행위로 번역되어 왔다. 많은 교육 프로그램들은 전문성과 관련된 기술 개발을 돕기 위해 공식적이고 비공식적인 성찰 활동을 통합한다. 형식적으로, 성찰적 실천가가 되거나 성찰적인 전문적 실천을 하는 것은 도날드 숄의 고전적인 작업과 관련이 있는데, 이들은 자신의 행동과 생각을 가까운 최근의 "행동에서의 반성"이나 먼 과거의 "행동에서의 반성"으로부터 검토할 수 있는 활동을 강조한다.29. 일반적으로 이 활동은 복잡성, 모호성 또는 불확실성에 대응하여 유기적으로 발생한다. 일부 저자들은, 이는 일상적으로 사용되는 메타 인식과 성찰의 일반적인 전략이 성과를 향상시킬 것으로 해석한다.

Within medicine, awareness of one's own thinking has been translated into the act of reflection. Many education programmes incorporate formal and informal reflective activities to help develop skills related to professionalism. Formally, being a reflective practitioner or having a reflective professional practice is associated with the classic work of Donald Schön, who emphasises activity that allows examination of one's actions and thoughts from the near “reflection in action” or distant “reflection on action” past.29 Typically, this activity occurs organically, in response to complexity, ambiguity or uncertainty.30 This has been interpreted by some authors to suggest that a general strategy of metaawareness and reflection used routinely will improve performance.31,32

그러나 우리는 성찰을 실행하고 그 효과에 대한 체계적인 연구를 실시하려는 시도를 거의 알지 못한다.

We are aware of very few attempts to operationalise reflection and conduct systematic study of its effectiveness.

구조화된 전략33-37은 비교적 일관된 결과를 보여준다. 즉, 학생의 경우 단순한 사례, 레지던트의 경우 복잡한 사례에 대해 도움이 된다. 덜 구조화된 접근법을 평가하는 다른 연구들(즉, 단순히 다른 모양을 취하거나 실제적인 실천 제약조건과 일관되도록 체계적으로 하기 위한 지침)은 단순하거나 복잡한 사례에 아무런 영향을 주지 않았다.38,39

The structured strategy33-37 shows relatively consistent results—a benefit for simple cases with students and complex cases with residents. Other studies evaluating a less structured approach (ie instructions to simply take another look or to be systematic, consistent with realistic constraints of practice) have shown no effect for simple or complex cases.38,39

게다가 의사와 학생들은 실수를 했을 때 인지하는 데 어려움을 겪는다.38 예를 들어, 몬테이로 외 연구진이 실시한 연구에서 의사들은 어떤 경우에 더 많은 반성을 필요로 하는지 결정할 수 없었다. 마찬가지로, Friedman 등은 학생, 레지던트, 의사가 지속적으로 그들의 진단에 대해 지나치게 자신하고 있다는 것을 발견했다.17, 17, 40

Moreover, physicians and students have difficulty recognising when they have made an error.38 For example, in a study by Monteiro et al,38 physicians were unable to determine which cases required further reflection. Similarly, Friedman et al found that students, residents and physicians were consistently overconfident in their diagnoses.17, 40

추론을 개선하기 위한 메타인지 전략은 문헌에서 어느 정도 주목을 받았으며, 자주 자가 모니터링 훈련을 하면 결과가 개선될 것이라고 제안한다.41,42 그러나 자세히 살펴본 결과 이러한 성과 개선이 진단 정확도로 이어지지는 않는다.

Metacognitive strategies to improve reasoning have received some attention in the literature, often with suggestions of improved outcomes resulting from training in selfmonitoring.41,42 However, upon closer inspection these improved outcomes do not transfer to diagnostic accuracy.

4.3.3 | 이중 프로세스 이론과 인지적 편견

4.3.3 | Dual process theories and cognitive biases

지적한 바와 같이 이중 처리 모델은 임상추론에서 받아들여지게 되었다. 이 이론의 중심은 성공적인 추론이 효과적인 사고 과정을 반영한다는 개념이며, 반대로, 오류는 인지적 휴리스틱스에서 비롯되는 결함 있는 추론의 결과라는 개념이다. 여기에는 임상 추론의 성격에 대한 두 가지 강력한 가정이 수반되며, 두 가정 모두 경험적 시험의 대상이 된다.

As indicated, a dual process model of thinking has become the accepted theory of clinical reasoning. Central to the theory is the notion that successful reasoning reflects effective thinking processes and, conversely, that errors are a consequence of flawed reasoning, originating in cognitive heuristics. This involves two strong assumptions about the nature of clinical reasoning, both of which are subject to empirical testing.

[가정 1] 거의 모든 진단 오류는 시스템 1 사고에서 비롯되는 인지적 편견의 결과물이다.43

Assumption 1 Almost all errors of diagnosis are a consequence of cognitive biases originating in System 1 thinking.43

시스템 1 사고와 인지적 편견이 진단 오류의 주요 원인이라는 개념은 많은 저자와 의학연구소 보고서에 의해 설명되었다. 그러나 뒷받침되는 증거는 약하다. 문헌에 기술된 편견의 수는 30개에서 130개까지 다양하지만, 의학에서 인지적 편견에 대한 세 가지 체계적인 검토는 증거가 있는 총 24개의 편견을 식별한다.48-50 그러나 이는 진단 오류뿐만 아니라 관리 및 예후의 오류와 환자 관련 편견을 포함한다. 단 7개만이 진단 오류와 관련이 있다. 더욱이, 세 가지 체계적인 검토에서 오직 세 가지 편견, 즉 가용성, 확인, 사후 판단만이 공통적으로 인용된다.48-50

The notion that System 1 thinking and cognitive biases are primary causes of diagnostic error has been described by many authors43-46 and features in the Institute of Medicine report.47 However, the supporting evidence is weak. Although the numbers of biases described in the literature range from 30 to 130, three systematic reviews of cognitive biases in medicine identify a total of 24 biases for which there is evidence.48-50 However, these encompass not just diagnostic errors, but also errors of management and prognosis, as well as patientrelated biases; only seven are related to diagnostic error. Moreover, only three biases—availability, confirmation and hindsight—are cited in all three systematic reviews.48-50

여기서, 우리는 세 가지 공통된 편향에 대한 확립된 정의를 검토한다.

Here, we examine the established definitions of three common biases.

가용성 편향: 사물이 쉽게 떠오를 경우, 더 가능성이 높거나 자주 발생하는 것으로 판단하는 성질. 따라서, 최근 질병에 대한 경험은 질병이 진단될 가능성을 부풀릴 수 있다.43

Availability bias: the disposition to judge things as being more likely, or frequently occurring, if they readily come to mind. Thus, recent experience with a disease may inflate the likelihood of its being diagnosed.43

가용성(Availability)은 관리자의 에피소드에서 발생하는 진단 오류에 대한 검토자에 의해 식별된 가장 일반적인 인지적 편견 중 하나이다.51, 52 그러나 이는 논리적으로 불가능하다. 관찰자, 즉 서면 사례를 검토하는 감사자는 임상의사에게 "신기하게 떠오른 것"이 무엇인지 알 길이 없다. 따라서, 시스템 1의 사고는 무의식적이고 직관적인 과정으로 특징지어지므로, (관찰자 뿐만 아니라) 환자를 관리했던 임상의도 알 길이 없다.

Availability is one of the commonest cognitive biases identified by reviewers of diagnostic errors occurring in episodes of care.51, 52 However, this is logically impossible. An observer, or an auditor reviewing a written case, has no way of knowing what “readily came to mind” to the clinician. For that matter, as System 1 thinking is characterised as an unconscious, intuitive process, neither does the clinician who managed the patient.

확인 편향: 반박할 증거를 부정하기보다 진단을 뒷받침할 증거를 확인하는 경향이 있다. 비록 후자가 종종 더 설득력 있고 확정적이긴 하지만.43

Confirmation bias: the tendency to look for confirming evidence to support a diagnosis rather than look for disconfirming evidence to refute it, despite the latter often being more persuasive and definitive.43

확증 편향은 분석 규칙에 의해 생성된 숫자 시퀀스 세트를 사용하여 Wason53에 의해 처음 연구되었다. 임상적 맥락에서, 정의가 시사하는 바와 같이, 이는 가설을 우선적으로 뒷받침하기 위한 근거의 체계적인 수집과 가중치 부여에서 발생한다. 이것은 시스템 1 추론의 결과가 아니다.

Confirmation bias was first studied by Wason53 using sets of number sequences generated by an analytical rule. In a clinical context, as the definition suggests, this arises in the systematic gathering and weighting of evidence to preferentially support hypotheses. This is not a consequence of System 1 reasoning.

사후확신 편향: 결과를 아는 것은 과거의 사건에 대한 인식에 큰 영향을 미칠 수 있고 실제로 일어난 일에 대한 현실적인 평가를 방해할 수 있다.43

Hindsight bias: knowing the outcome may profoundly influence the perception of past events and prevent a realistic appraisal of what actually occurred.43

결과가 알려질 때 힌트가 생긴다. 따라서 오류의 근본원인의 결정은 임상사례를 검토하는 사람들에게 중심적인 문제지만 진단을 추구하는 임상의에게는 문제가 되지 않는다. 사후확신 편향은 시스템 1 사고와 관련이 없다.

Hindsight arises when the outcome is known. Thus, the determination of underlying causes of error is a central issue for those reviewing clinical cases, but is not a problem for a clinician seeking a diagnosis. Hindsight bias is not related to System 1 thinking.

[가정 2] 오류는 인지적 편견의 결과이기 때문에, 오류 감소 전략은 임상의사가 인지적 편견을 식별하고 시스템 1 사고에 내재된 오류를 수정하기 위해 시스템 2 추론을 효과적으로 사용하는 접근에 초점을 맞추어야 한다(예: 인지적 강제 전략).

Assumption 2 Because errors are a consequence of cognitive biases, error reduction strategies should focus on approaches that help clinicians identify cognitive biases and effectively use System 2 reasoning to correct the errors inherent in System 1 thinking (eg cognitive forcing strategies).43, 51, 60

인지강화전략은 "지금 이 순간"에 대한 인식과 추론을 개선하기 위한 일반적인 전략이다.61 인지강화전략의 기본 개념은 자신의 생각의 자기인식을 높이고 일반적인 인지편견을 피함으로써 잠재적 오류를 식별하는 것이다.43,60,61

Cognitive forcing strategies are general strategies for improving metacognition and reasoning “in the moment.”61 The basic concept is to increase selfawareness of one's own thinking and identify potential errors by avoiding common cognitive biases.43,60,61

아마도 가장 간단한 "인지적 강제력 전략"은 임상의사에게 체계적으로 주의를 주거나, 속도를 늦추거나, 대안을 고려하라는 일종의 지시일 것이다. 많은 연구에서 신속한 진단이 느린 체계적 성찰와 비교되었다.38,39,62-64 균일한 발견은 "체계적이고 철저하게 하라는 지침이 결과 처리 시간을 늘리지만, 진단 오류에는 아무런 영향을 미치지 않는다"는 것이다.

Perhaps the simplest “cognitive forcing strategy” is some form of instruction to caution the clinician to be systematic, to slow down or to consider alternatives. In a number of studies, rapid diagnosis has been compared with slower systematic reflection.38,39,62-64 A uniform finding is that instructions to be systematic and thorough result in longer processing time, but have no impact on diagnostic errors.

몇몇 리뷰는 학생들에게 편견을 인식하도록 가르치기 위해 고안된 전략의 효과를 조사하였다.32, 49, 50, 65 편견에 대한 훈련은 인지적 편견에 대한 인식을 증가시킨다.66-68 그러나, 진단 오류에 대한 차감 효과에 대한 연구는 마이너스였다.69-71

Several reviews have examined the effectiveness of strategies designed to teach students to recognise biases.32, 49, 50, 65 Training increases awareness of cognitive biases.66-68 However, studies of the effect of debiasing on diagnostic errors have been negative.69-71

4.4 | 요약

4.4 | Summary

여러 증거는 (탈편견, 성찰 등 무엇이든간에) 오류를 줄이기 위한 "일반화된 내용-무관 전략"은 효과가 없거나 미미한 효과 뿐임을 보여준다. 이는 오류가 [불충분한 사고 능력]이 아니라 [불충분한 지식]에서 비롯된다는 단순한 이유 때문이다. 성찰 전략은 효과가 균일하지 않지만 작은 편익을 가질 수 있다..65 탈편향 전략은 균일하게 아무 효과가 없었다.65 따라서, 임상의로 하여금 과정이나 추론을 성찰하거나, 일반적인 분석적 접근법을 적용하도록 권장하는 시도는, 의사들로 하여금 지식이 아니라, 분석적 기술이나 약한 방법에 초점을 맞추게 하기 때문에 단순한 이유 때문에 효과적이지 않을 수 있다.

The evidence shows that generalised, content-independent strategies—debiasing, reflection or whatever—to reduce errors have no or minimal effectiveness for the simple reason that errors derive not from inadequate thinking skills but from inadequate knowledge. Reflection strategies may have a small benefit, although effects are uneven.65 Debiasing strategies have shown uniformly null effects.65 Thus, attempts to encourage clinicians to reflect on the process or reasoning, or to apply general analytical approaches, may not be effective for the simple reason that they focus on analytical skills, or on weak methods, not knowledge.

달리왈이 말했듯이, "중증근무력증에 대해 듣지 못했다면, 인지적으로 그 진단에 방해가 되는 편향을 없앨 수 없다. [...] 전문가 수행의 영역에서는 지식이 왕이다."72

As Dhaliwal said: “If you have not heard about myasthenia gravis, you cannot cognitively debias your way into that diagnosis. […] In the realm of expert performance, knowledge is king.”72

5 | 고찰

5 | DISCUSSION

축적된 증거에 비추어, 우리는 일반 기술의 신화가 왜 의학 교육에 반세기 동안 지속되어 왔는지 설명해야 한다. 한 가지 이유는 그것이 의학의 실천에 필요한 많은 지식의 영역을 숙달하는 지름길을 제공하기 때문일 것이다. 2002년에 크로스케리는 다음과 같이 썼다. "...우리는 [과연 축적된 경험의 혜택과 함께 제공되는 판단의 개선을 기다리지 않고서] 임상의사를 더 나은 의사결정자로 만드는 것이 가능한 일인지 알아야 한다."60

In light of the accumulated evidence, we must address why the myth of general skills has persisted in medical education for half a century. One reason may be that it offers a shortcut to mastery of the many areas of knowledge required in the practice of medicine. In 2002, Croskerry wrote: “…we need to know whether we can make clinicians better decision makers without simply waiting for the improved judgement that comes with the benefit of accumulated experience.”60

의학교육 커리큘럼은 제한된 시간과 자원에 시달린다. 아마도 의료 교육자와 커리큘럼 설계자들은 필연적으로 전이가 될 것이라는 환상을 가지서는, 일반화 가능한 기술들에 끌리게 되고, 따라서 무수한 다른 지식 영역에서 학습과 실천의 필요성을 피하게 될 것이다. 모두가 너무 바쁘기 때문에 그 신화는 계속된다.

Medical education curricula suffer from restricted time and resources. Perhaps medical educators and curriculum designers are inevitably drawn towards generalisable skills that have the illusion of transfer, thereby avoiding the necessity of learning and practice in myriad different knowledge domains. The myth persists because everyone is too busy.

역량 기반 교육을 향한 움직임은 신화의 만연함을 보여준다. 비록 어떤 역량은 요추 구멍이나 삽관 같은 특정한 지식에 바탕을 두고 있지만, "완전하고 체계적인 역사 수행"이나 "전문간 협업 기술 시연"과 같이, 프레임워크는 맥락과 무관하게 습득해야 하는 역량에 따라 짜여져 있다. "좋은 병력청취"라는 말의 밑바탕은 일반화가능성을 암시하는 가정이다. 만약 그렇다면, 접근방식이 특정 임상 내용과 어떻게 또는 심지어 결합되더라도 문제가 되지 않아야 한다. 접근방식은 쉽게 전이되어야 한다. 그러나, 우리가 제시한 증거는 심리학과 의학 교육 양쪽으로부터 인지기술이 무엇이든 그것의 일반화가능성에 의문을 제기한다.

The movement towards competency-based education illustrates the pervasiveness of the myth. Although some competencies are based on specific knowledge, such as a lumbar puncture or intubation, many are framed around content and the context-free competencies to be acquired, such as “performing a complete and systematic history” or “demonstrating interprofessional collaboration skills.” Underlying the “good history” is an implicit assumption of generalisability. It should not matter how or even if the approach is paired with specific clinical content; the approach should transfer easily. However, the evidence we have presented, from both psychology and medical education, casts doubt on the generalisability of any cognitive skill.

마지막으로, 탈편향 전략이 가정하는 것은 오류의 근본 원인이 인지적 편견이라는 점이다. 이것은 약간의 호소력을 가지고 있다: 그것은 임상의사를 비난으로부터 해방시킨다; 인지적 편견은 단순히 인간 상태의 일부일 뿐이다. 그러나 만약 인지편향이 진단오차의 핵심이라면, 비판적 사고나 인지적 차이에 대한 훈련을 받으면 추론능력이 향상되고 오류가 감소되어야 한다. 그러한 효과에 대한 증거는 명확히 없다.

Finally, the assumption of debiasing strategies is that the root cause of error is cognitive bias. This has some appeal: it absolves the clinician from blame; cognitive bias is simply part of the human condition. However, if cognitive bias is so central to diagnostic error, then training in critical thinking or cognitive debiasing should result in improved reasoning skill and reduced error. Evidence for such an effect is conspicuously absent.

신화가 지속된다면 결국 효과적이지 않은 개입을 숙달하는 데 귀중한 교육 시간과 학습 시간이 바쳐질 것이다. 진단 오류의 유행을 주목하는 것이 유용할 수 있지만, 인지적 편견의 긴 리타니는 아무런 부가 가치도 없다. 편견을 식별하는 것은 오류를 줄이는 것과 같지 않다는 것을 충분한 증거가 반복적으로 입증했다.

The consequence of the persistence of the myth is that valuable instructional and learning time may be devoted to mastering interventions that, in the end, are not effective. Although it may be useful to draw attention to the prevalence of diagnostic error, the long litany of cognitive biases has no added value. Ample evidence has demonstrated repeatedly that identifying biases is not equivalent to reducing error.

오류율을 낮추는 것은 칭찬할 만한 목표다. 그러나 직관적 추론의 인식된 결함을 보완하기 위해 [일반적인 문제해결 프로세스]를 조정함으로써 이것이 달성될 수 있다는 광범위한 가정에 기초한 전략은 비효과적인 것으로 나타났다. 이 영역의 진전은 시스템 1 추론의 힘을 받아들이고 시스템 1에서 사용하는 경험적 지식의 폭과 깊이를 향상시키기 위한 인터리브 연습과 같은 전략을 고안함으로써 발생할 가능성이 더 높다.

Reducing error rates is a laudable goal. However, strategies based on the broad assumption that this can be achieved by tuning up a general problemsolving process in order to compensate for the perceived defects of intuitive reasoning have been shown to be ineffective. Progress in this area is more likely to arise from accepting the power of System 1 reasoning and devising strategies such as interleaved practice to improve the breadth and depth of the experiential knowledge used by System 1.

6 | 결론

6 | CONCLUSIONS

우리는 의학 교육에서 대중화된 현재의 추론과 사고방식의 모델들이 심리학에서 1세기 이상, 의학에서 반세기 이상 축적된 증거에 비교하자면 [모순되는 이론적 입장]을 자행한다는 것을 보여주었다. 전문가들에 의해 사용되는 지식의 효율적 전략이 [일반적인 분석적 접근법, "합리적" 접근법]보다 열등하다고 볼 수 있는 입장에 대한 명분이 없다.

We have shown that the current models of reasoning and thinking popularised in medical education perpetrate a theoretical position that is inconsistent with the evidence accrued for over a century in psychology and half a century in medicine. There is no justification for the position that knowledge-rich, efficient strategies, as used by experts, can be viewed as inferior to general analytical and “rational” approaches.

우리는 이성적인 일반화 규칙이 사례 경험에서 도출된 휴리스틱스보다 더 효과적이라는 주장에 이의를 제기하는 것은 처음이 아니다.73,74 인공지능의 구루로 인정받은 드레퓌스는 이렇게 썼다: 플라톤에서 ...피아제트 ... 촘스키...까지 이어지는 [초심자가 구체적인 사례에서 시작하여 점점 더 능숙해짐에 따라, 점점 더 정교한 규칙들을 추상화하고 내실화할 것] 관점을 버릴 준비가 되어있어야 한다. 그러나 기술 습득은 아마 반대 방향으로 진행된다고 밝혀질 것이다. 추상적인 규칙에서 특정 사례로 움직일 것이다"

We are not the first to challenge the assertion that rational generalisable rules are more effective than heuristics derived from case experience.73,74 Dreyfus, acknowledged as the guru of artificial intelligence, wrote: “We must be prepared to abandon the traditional view that runs from Plato to… Piaget … Chomsky… that a beginner starts with specific cases and… as he or she becomes more proficient, abstracts and interiorises more and more sophisticated rules. It might turn out that skill acquisition moves in just the opposite direction: from abstract rules to particular cases.”75

[합리적이며, 탈맥락화된 전략]의 신격화는 상황별 휴리스틱 접근법으로부터 진화적 적응을 나타낸다는 일부 주장과 일관된다. 인간의 인식이 순수하게 정신적 노력을 통해 진화할 수 있다면 실로 경이로운 일일 것이다. 전문화된 전문지식의 현 시대에, 교육의 중심 초점은 비판적 사고, 문제해결, 임상적 추론, 반성과 같은 일반적인 기술을 주입하는 것이어야 한다는 이 논문의 시작 부분에서 우리가 소개한 주장에 이의를 제기해야 할 모든 이유가 있다. 아마도 호모 사피엔스-"현명한 사람"-은 "호모 사이언스"(알고 있는 사람)이라는 진화의 정점으로 대체되어야 할 것이다.

The deification of rational, decontextualised strategies is consistent with some claims that they represent an evolutionary adaptation from contextualised heuristic approaches. It would be a marvel indeed if human cognition were able to evolve purely through mental effort. In the current era of specialised expertise, there is every reason to challenge the assertion we introduced at the beginning of this paper: that the central focus of education should be to inculcate general skills like critical thinking, problem solving, clinical reasoning and reflection. Perhaps Homo sapiens—“wise man”—should be replaced by “Homo sciens”—“knowing man”—at the apex of evolution.

48. Blumenthal-Barby JS, Krieger H. Cognitive biases and heuristics in medical decision making: a critical review using a systematic search strategy. Med Decis Making. 2015;35(4):539-557.

49. Saposnik G, Redelmeier D, Ruff CC, Tobler PN. Cognitive biases associated with medical decisions: a systematic review. BMC Med Inform Decis. 2016;16(1):138.

50. Lambe KA, O'Reilly G, Kelly BD, Curristan S. Dualprocess cognitive interventions to enhance diagnostic reasoning: a systematic review. BMJ Qual Saf. 2016;25:808-820.

---

, 54 (1), 66-73

 Jan 2020

Critical Thinking, Biases and Dual Processing: The Enduring Myth of Generalisable Skills

Sandra Monteiro 1 2, Jonathan Sherbino 2 3, Matthew Sibbald 2 3, Geoff Norman 1 2

Affiliations 

Affiliations

• 1Health Research Methods, Evidence and Impact, McMaster University, Hamilton, Ontario, Canada.
• 2McMaster Education Research, Innovation and Theory Programme, McMaster University, Hamilton, Ontario, Canada.
• 3Department of Medicine, McMaster University, Hamilton, Ontario, Canada.

• PMID: 31468581
 
• DOI: 10.1111/medu.13872

Abstract

Context: The myth of generalisable thinking skills in medical education is gaining popularity once again. The implications are significant as medical educators decide on how best to use limited resources to prepare trainees for safe medical practice. This myth-busting critical review cautions against the proliferation of curricular interventions based on the acquisition of generalisable skills.

Structure: This paper begins by examining the recent history of general thinking skills, as defined by research in cognitive psychology and medical education. We describe three distinct epochs: (a) the Renaissance, which marked the beginning of cognitive psychology as a discipline in the 1960s and 1970s and was paralleled by educational reforms in medical education focused on problem solving and problem-based learning; (b) the Enlightenment, when an accumulation of evidence in psychology and in medical education cast doubt on the assumption of general reasoning or problem-solving skill and shifted the focus to consideration of the role of knowledge in expert clinical performance; and (c) the Counter-Enlightenment, in the current time, when the notion of general thinking skills has reappeared under different guises, but the fundamental problems related to lack of generality of skills and centrality of knowledge remain.

Conclusions: The myth of general thinking skills persists, despite the lack of evidence. Progress in medical education is more likely to arise from devising strategies to improve the breadth and depth of experiential knowledge.

© 2019 John Wiley & Sons Ltd and The Association for the Study of Medical Education.