편향을 없애는 지름길은 없다(Med Educ, 2019)

편향을 없애는 지름길은 없다(Med Educ, 2019)

There is no shortcut to de-biasing biases

Jerome I Rotgans1 & Henk G Schmidt2

그들의 논문 '정보 왜곡 편향: 의학적인 의사결정에 대한 영향'에서 보일과 푸르돈은 진단 정확도를 위협하는 편견이 지속적으로 증가하고 있는 목록에 새로운 추가 항목으로 '정보 왜곡 편향'을 소개한다.1 정보 왜곡 편향은 가장 중요한leading 진단이 발생할 때마다 후속 정보가 그러한 진단을 지원하거나 덜 중요한non-leading 진단을 무시하는 것으로 해석되는 것을 의미한다. 이 정의는 문헌에서 '확증 편향'이라고 기술한 것과 매우 유사하다. 그러나 보일과 푸르돈은 정보 왜곡 편향과 단순한 확인 편향을 구분하는 것은 [(정보 왜곡 편향에서는) 덜 중요한non-leading 대안을 불호disfavoring하는 것]에 중점을 두고 있다고 주장한다.1

In their article ‘The Information Distortion Bias: Implications for Medical Decisions’, Boyle and Purdon introduce ‘information distortion bias’ as a new addition to the continually growing list of biases threatening diagnostic accuracy.1 Information distortion bias proposes that whenever a leading diagnosis emerges, subsequent information will be interpreted as supporting that diagnosis or disfavouring a nonleading diagnosis. This definition closely resembles what has been described in the literature as ‘confirmation bias’. However, Boyle and Purdon maintain that it is the emphasis on the disfavouring of the non-leading alternative that distinguishes information distortion bias from simple confirmation bias.1

디바이어싱에 대한 첫 번째 접근 방법으로 보일과 푸르돈은 인식awareness을 창출create하기 위한 훈련을 제안한다.1 우리는 현재 인지적 인식, 인지적 강제 전략, 인지적 디바이어싱에 대한 교육 개입과 같은 디바이어싱 전략이 효과적이라는 납득할 만한 증거가 없기 때문에 이 아이디어를 회의적이다.

As a first approach to de-biasing, Boyle and Purdon suggest training to create awareness.1 We are sceptical of this idea because there is currently no convincing evidence that de-biasing strategies, such as metacognitive awareness, cognitive forcing strategies and teaching interventions directed at cognitive de-biasing, are effective.

현재의 기술 시대정신과 잘 연결되는 보일과 푸르돈의 보다 흥미로운 제안은 탈-편향을 위하여 인공지능(AI)을 활용하고 의료에서의 의사결정을 개선해야 한다는 것이다.

A more interesting suggestion by Boyle and Purdon, which connects well with the current technology zeitgeist, concerns the use of artificial intelligence (AI) to de-bias information distortion and improve medical decision making.1

실제로, 한 연구는 영상 진단 분야에서 AI적어도 동등하게 좋은 결과를 낼 수 있었고, 어떤 경우에는 더 나은 결과를 내기도 한다는 것을 보여주었다.

Indeed, one study showed that in the field of diagnostic imaging, AI was capable of making equally good, and in some cases even better, referral recommendations on a range of retinal diseases based on optical coherence tomography scans.4

그러나 두 가지 잠재적인 문제가 있다. 첫째, AI에 입력되어야 하는 많은 사례들은 일반적으로 동일한 의료 조건의 프로토타입적(전형적) 발현 사례들이다. (임상적으로) 복잡한 사례는 드문데다가, 기계 학습에 사용할 수 있는 예시가 적기 때문에 결과적으로 프로그램 성능이 떨어질 가능성이 높다.

However, there are two potential problems. First, the large numbers of examples that need to be inputted are generally examples of prototypical manifestations of the same medical condition(s). complex cases are rarer, there are fewer exemplars that can be used for machine learning and therefore the resulting program is likely to perform less well.

둘째, AI는 시각 진단 과제에서 주요 성공을 예약했다. 그러나 문제는 대부분의 의료 오류는 응급실과 내과에서 발생한다는 점이다. 이러한 환경에 얼마나 잘 적응할 수 있을지, 스캔 이미지를 뛰어넘는 훨씬 더 많은 환자 정보와 사례 표현이 수반되는 더 복잡한 사례에서 신뢰할 수 있는 진단이 생성될 수 있을지 의문이다.

Second, AI has booked its main successes in visual diagnostic tasks. The problem is, however, that most medical errors occur in the emergency department and in internal medicine. It is questionable how well technology will be able to adapt to these environments and generate reliable diagnoses in more complex cases that involve significantly more patient information and case representations that go beyond images of scans.

요컨대 의학의 기술 발전은 언제나 흥미진진하지만, 이러한 시스템들이 우리가 상상하는 대로 할 수 있으려면 갈 길이 멀다.

The bottom line is that technological advances in medicine are always exciting, but there is a long way to go before these systems can do what we imagine them to be able to do.

그렇다면 디바이어스 편견에 대해 할 수 있는 일이 아무것도 없는 것일까? 나쁜 소식은 문제를 해결할 수 있는 은빛 총알도, 지름길도, 교묘한 속임수도 없는 것처럼 보인다는 것이다. 그러나 일부 지식지향적 접근방식은 다른 접근방식에 비해 효과가 우수하다는 것이 입증되었다. 예를 들어, Mamede 등은 어떤 경우에 대한 차등 진단 생성과 최종 진단을 선택할 수 있기 전에, 각각의 대안적 진단을 지지하거나 확인하는 징후와 증상을 체계적으로 나열해야 하는 [의도적인 성찰 기법]을 개발했다. 이 '비교와 대조compare-and-contrast' 기법은 레지던트의 가용성 편향을 상쇄하기 위해 고안된 연구에서 성공적이었다.5

Is there then nothing that can be done to de-bias biases? The bad news is that there appears to be no silver bullet, no shortcut, no clever trick with which to fix the problem. However, some knowledge-oriented approaches have been proven to work better than others. For instance, Mamede et al.5 developed a deliberate reflection technique that requires the generation of differential diagnoses for a case and the systematic listing of the signs and symptoms that support or disconfirm each alternative diagnosis before a final diagnosis can be chosen. This ‘compare-and-contrast’ technique was successful in a study designed to counteract availability bias in residents.5

이러한 기법은 유망하지만 편견을 예방하기보다는 치료한다. 우리는 편향에 대한 유일한 진정한 해독제는 (질병에 대한) 지식 증가라고 주장한다. 편향과 진단 오류에 관한 문헌에서 자주 언급되는 악당은 (전문성이 높아짐에 따라) 내과의사들이 휴리스틱스에 의존하는 경향이다. 휴리스틱스는 어떤 사건에 대해 추론하는 과정에서 취해지는 인지적 지름길이다. 이러한 지름길은 의식적인 통제 밖에 있기 때문에 종종 편향과 오류의 원인으로 의심된다. 다만 휴리스틱스가 맞으면 정확한 진단이 나온다는 점에 유의해야 한다. 문제의 질병에 대해 충분한 지식이 있다면 휴리스틱은 정확하다. 그러므로 지식은 편견을 예방하고 그에 따른 진단 오류의 출현을 막는 열쇠가 된다. 

Although these techniques are promising, they cure rather than prevent biases. We argue here that the only true antidote to biases is increased knowledge of disease. A frequently mentioned villain in the literature on bias and diagnostic error is the tendency of physicians to rely, with increasing expertise, on heuristics. Heuristics are cognitive shortcuts that are taken in the course of reasoning about a case. As these shortcuts are outside conscious control, they are often suspected sources of biases and errors. However, it should be noted that if the heuristic is correct, it will result in a correct diagnosis. A heuristic is correct if sufficient knowledge is present about the disease in question. Thus, knowledge is key to preventing biases and the subsequent emergence of diagnostic errors. 

지식에는 두 가지 종류가 있다. 첫째, 선언적 지식이 있는데, 여기에는 기초과학이나 생물의학 지식 등 교과서에서 얻은 지식이 포함된다. 둘째, 경험적 지식이 있다. 이러한 유형의 지식은 환자들과의 경험을 통해 개발되고 그 환자와의 특정한 맥락에서 인코드encode된다. 의사가 다양한 환자를 통해 그 질병에 더 많이 노출될수록 자신의 경험적 지식은 풍부해지고 향후 다른 환자에게 적용할 때 경험적 지식은 더 정확해질 것이다.

There are two broad types of knowledge. First, there is declarative knowledge, which includes knowledge from textbooks, such as basic sciences and biomedical knowledge. Second, there is experiential knowledge. This type of knowledge is developed through experiences with patients and encoded in the specific context with that patient. The more exposure a practitioner has to different patients and their diseases, the richer his or her experiential knowledge will be and the more accurate the heuristic will be when applied to another patient in the future.

의과대학과 레지던트에서의 선언적 지식의 발달은 충분히 강조되어 있지만, 경험적 지식의 발달은 전형적으로 비정형적이며 스스로 일어나도록 내버려둔다. 우리는 이것에 대해 뭔가 조치가 취해져야 한다고 믿는다.

There is ample emphasis on the development of declarative knowledge in medical school and residency, but the development of experiential knowledge is typically unstructured and left to occur on its own. We believe that something should be done about this.

이러한 교육을 효과적으로 실시하기 위해서는, 편견을 유발하지만 동료 및 전문가와의 토론을 통해 해결되는 사례를 선택하여 활용해야 한다. 비록 이 생각이 야심차게 들리지만, 실제로 이 일과는 실행하기가 비교적 쉬워 보이고 첨단기술의 해결책이 필요하지 않다. 여기 사고 실험이 있다. 일주일에 한 번(예: 금요일) 오후를 허용하여 4년간의 학부 교육 기간 동안 10건의 사례를 논의한다. 이는 약 1600여 건으로, 희귀하다고 여겨지는 것을 포함하여 매우 다양한 복잡한 의학적 조건을 다룰 수 있다. 이들 1600여 건은 학생들의 지식과 편향성 휴리스틱스를 만들어낼 것이다.

To make such training effective, cases that invite bias but are resolved through discussion with peers and an expert can be selected. Although this idea sounds ambitious, in practice this routine appears relatively easy to execute and does not require high-tech solutions. Here is a thought experiment. Allow for an afternoon once per week (e.g. on Fridays) to discuss 10 cases during 4 years of undergraduate training. This will add up to approximately 1600 cases, which could cover a vast variety of complex medical conditions, including those that are considered rare. These 1600 cases will add to the knowledge of students and the creation of bias-resistant heuristics.

2 Brush JE Jr, Sherbino J, Norman GR. How expert clinicians intuitively recognize a medical diagnosis. Am J Med 2017;130 (6):629–34.

---

Comment

 

. 2019 Nov;53(11):1064-1066.

 doi: 10.1111/medu.13958.

There Is No Shortcut to De-Biasing Biases

Jerome I Rotgans 1, Henk G Schmidt 2

Affiliations 

Affiliations

• 1Nanyang Technological University, Lee Kong Chian School of Medicine, Singapore, Singapore.
• 2Department of Psychology, Erasmus University, Rotterdam, the Netherlands.

• PMID: 31650594
 
• DOI: 10.1111/medu.13958