실패의 유용성: 연구와 학문을 위한 분류학(Perspect Med Educ, 2019)

The utility of failure: a taxonomy for research and scholarship

Meredith Young

아마도 인류의 오류의 역사는, 모든 것을 고려했을 때, 그들의 발견의 역사보다 더 가치 있고 흥미로울 것이다. 진실은 균일하고, 좁다[. . ] 그러나 오류는 끝없이 다양하다1. (벤자민 프랭클린)

Perhaps the history of the errors of mankind, all things considered, is more valuable and interesting than that of their discoveries. Truth is uniform, and narrow[. . . ] But error is endlessly diversified1. (Benjamin Franklin)

우리 모두는 [위대한 학자 또는 과학자]에 대한 친밀한 전형들을 가지고 있다.

We all have our own closely-held archetypes of a great scholar or scientist

우리는 훌륭하고 성공적인 스칼라십이란 어떤 모습인지에 대해 조심스럽게 단면적인 견해를 가지고 있다[1].

We have a carefully crafted one-sided view of what good and successful scholarship looks like [1].

학자 공동체로서 우리는 또한 연구비 확보가 얼마나 어려운지를 알고 있다(내 맥락에서 성공률 16–47%) [2, 3], 그리고 특정 저널에 게재되는 논문의 낮은 비율(상위 HPE(Health Professions Education) 저널에 대한 수용률)이 약 13–30%를 맴돌고 있다[4].

As a scholarly community we are also aware of how challenging it is to secure funding (success rates in my context range from 16–47%) [2, 3], and the low percentages of papers that see publication in a given journal (acceptance rates for top Health Professions Education (HPE) journals hover around 13–30%) [4].

이러한 지표는 이종 학자들의 공동체를 위한 총체적인 성공 척도로, 프로젝트가 자금을 지원받지 못하거나 출판되지 못하는 다양한 이유가 있을 수 있다[4–11].

Those metrics are aggregate measures of success for a heterogeneous community of scholars, and a project may not receive funding or be accepted for publication for a variety of reasons[4–11]—

'피칭', 즉 프로젝트를 다른 사람에게 설명할 때, 우리는

• 문헌의 gap을 식별하지 못할 수도 있고

• 우리의 목표를 명확히 설명하지 못하거나, 일관된 이론 또는 개념 체계를 설명하지 못할 수도 있고

• 데이터 수집 또는 분석에 대한 접근 방식을 효과적으로 설명하지 못할 수도 있고

• 이 연구가 HPE 커뮤니티에 미치는 영향을 명확히 설명하지 못할 수도 있다.

In ‘pitching’ or describing a project we may have failed to identify the gap in the literature [12], failed to clearly articulate our objectives, failed to describe a coherent theoretical or conceptual framework [13, 14], failed to describe our approach to data collection or analysis effectively, or failed to articulate the impact of this piece of scholarship on the HPE community.

여기서, 나는 분명히 잘 적응하고, 잘 설계되고, 심사숙고하며, 잘 실행되지 않는 학문적 프로젝트에 초점을 맞추고 싶다. 간단히 말해 [기대되는 연구결과를 생성하지 못했거나] [가정이나 이론을 뒷받침하지 못하거나 완전히 놀랍고 종종 곤혹스러운 결과를 낳은] '좋은 연구' 에 초점을 맞출 것이다. 즉, 기대했던 결과나 지식, 영향을 일으키지 못한 이러한 수준 높은 연구 노력을 탐구하고, 학술 프로젝트의 건전한 실패는 사실 HPE에서의 성공적인 학술활동의 중요한 요소라고 주장하고 싶다.

Here, I would like to focus explicitly on the well-situated, well-designed, well-considered, and well-executed scholarly project that fails—

the ‘good study’ that simply 

fails to generate the expected learning outcomes, 

fails to support an assumption or theory, or generates entirely surprising and often puzzling results. 

In other words, I wish to explore these high-quality research endeavours that have failed to generate the findings, knowledge, or impact that were anticipated, and argue that the failure of a sound scholarly project is actually a critical component of successful scholarship in HPE.

실패는 성공의 결여로 정의될 수 있지만, 또한 '기대, 요구 또는 예상된 무언가의 비발생'으로 정의될 수 있다[16]. 연구, 프로젝트 또는 일련의 탐구 실패가 모든 과학 또는 학술 분야에서 중요한 역할을 했다[1, 17, 18]. 실패가 없다면 발견도, 새로운 이론도, 사상에서의 새로운 혁명도 있을 수 없다[17]. 가설과 이론의 반증falsification은 현재의 과학적 관행[18–20]의 특징이며, 이러한 관행은 언제 특정 아이디어가 실패하는지를 발견하는 데 의존한다. 변칙적이거나 예상치 못한 발견의 축적은 현상에 대한 [현재의 사고방식의 실패]의 표시로, 쿤은 이것이 종종 패러다임 변화의 시작을 의미한다고 제안한다[17].

Failure can be defined as a lack of success, but also as a ‘nonoccurrence of something due, required or expected’ [16]. The failure of a study, project, or line of inquiry to generate expected findings has had a critical role in every domain of science or scholarship [1, 17, 18]. Without failure there can be no discovery, no new theories, no new revolutions in thought [17]. Falsification of hypotheses, and theories have been a hallmark of current scientific practices [18–20], and these practices rest on discovering when an idea fails. The accumulation of anomalous or unexpected findings is a marker of the failure of a current way of thinking about a phenomenon, and Kuhn suggests that this often marks the beginning of a paradigm shift [17].

실패는 학술연구의 중요한 요소 중 하나이며, 우리의 사고가 진보하도록 돕기 위해 필요하다. 그러나, 과학 공동체가 크게 쓰이면서, 우리는 실패의 빈도, 실패의 이익, 실패의 직접적인 결과로 가능한 성장을 제대로 전달하지 못했다[1]. 우리는 일반 대중에게 연구에는 일정 빈도의 실패가 필요하다는 것을 인정하지 않았으며, 대신에 마치 작업한 프로그램을 의도적으로 논리적이고 선형적이며 실패가 없는 것으로 정교하게 큐레이션하고 홍보하는 것을 선택했다[1]. 우리의 실패를 조용히 정리함으로써 우리는 중요한 무의미하거나 예상치 못한 발견을 집단적으로 놓쳐왔으며, 그 결과 연습생, 동료, 그리고 종종 우리 자신으로부터 배울 수 있는 중요한 기회를 숨기거나 최소화하게 되었다.

Failure is one important component of scholarship, and is necessary to help our thinking progress. But, as a scientific community writ large, we have done a poor job of communicating the frequency of failure, the benefits of failure, and the growth that is possible as a direct result of failure [1]. We have failed to admit the frequency of failure necessary in scholarship to the general public, instead choosing to promote our carefully curated programs of work as intentionally logical, linear, and failure-free [1]. By quietly filing away our failures we are collectively missing out on important null or unexpected findings and hiding or minimizing important opportunities for learning from our trainees, peers, and often ourselves.

실패의 형태 분류법 생성

Generation of the taxonomy of forms of failure

스튜어트 파이어스타인의 저서 '실패:과학이 그렇게 성공적인 이유'[1]. 

Stuart Firestein’s book ‘Failure:Why Science is So Successful’ [1]. 

이 책에서 저자는 두 개의 인용구, 즉 에디슨과 아인슈타인의 분류법 내에서 내가 그렸던 인용구들을 그리고 있는데, 이 두 인용구들을 대조한 그의 작품은 내가 학문적인 실패의 유형에 대해 생각하는 데 기초를 두었다.

In this book, the author draws on two quotes—the ones I have drawn on as examples within the taxonomy from Edison and Einstein—and his work contrasting these two quotes laid the foundations in my thinking about the types of scholarly failure.

표1

Tab. 1.

실패의 형태

Forms of failure

혁신 지향적 실패

Innovation-oriented failure

HPE는 깊은 이론과 완전히 실용적인 분야를 연결하는 분야다. Albert는 HPE연구를 [생산자(즉, 연구자 및 학자)를 위해 생산한 작업]과 [사용자(즉, 교육자 및 교사)를 위해 생산한 작업]의 스펙트럼으로 설명했으며[37], [서비스 지향 연구]와 [발견 지향 연구] 사이의 긴장을 논의하였다[38]. HPE 연구에 존재하는 스펙트럼을 존중하는 한편, 이 분야는 최대한의 환자 관리를 지원하기 위한 최선의 교육을 보장한다는 실용적 목표에 초점을 맞춘 것으로 묘사되어 왔다. 즉, '의학교육의 1차 목표는 환자진료를 개선하는 것이다' [39, 페이지 6].

HPE is a field that bridges the deeply theoretical and the entirely pragmatic. Albert describes HPE scholarship on a spectrum of work produced for producers (i.e. researchers and scholars) to work produced for users (i.e. educators and teachers) [37], and has discussed the tension between service-oriented research and discovery-oriented research [38]. While respecting the spectrum of work present in HPE scholarship, the field has been described as centring on the pragmatic goal of ensuring the best education to support the best possible patient care. In other words, ‘The primary goal of medical education is to improve patient care’ [39, p. 6].

우리의 첫 번째 실패는 혁신적 사고방식과 강하게 연관되어 있다. 종종 혁신은 어떤 것을 '이렇게 해야 한다' 또는 '이렇게 되어야 한다'는 생각, 즉 커리큘럼을 어떻게 구성해야 하는지, 콘텐츠가 어떻게 전달되어야 하는지, 또는 역량에 대한 추론이나 판단이 어떻게 이루어져야 하는지에 대한 생각에서 시작된다. 현상을 유지하는 것에서 '해야 하는 방식'으로 바꾸려는 시도가 이루어지며, 어떤 일을 하는 새로운 방식을 혁신하고 구현하기 위한 시도가 이루어진다. 때로는 효과가 있고, 때로는 효과가 없다.

Our first kind of failure is strongly associated with an innovation mindset. Often innovations begin with an idea of how something ‘should be’ or ‘should be done’—a particular way a curriculum should be structured, how content should be delivered, or how inferences or judgments of competence should be made. Attempts are made to change from a status quo to what ‘should be’—attempts are made to innovate and implement a new way of doing something. Sometimes it works, and sometimes it doesn’t.

토마스 에디슨의 것으로 유명한 '나는 실패한 적이 없다, 단지 그것이 작동하지 않는 10,000가지 방법을 발견했다'는 인용문은 혁신 지향적인 실패의 본질을 포착하고 있다. 이런 종류의 실패는 체계적이고 진보적이며 목표 지향적인 실패다. 왜 혁신이 실패했는지에 대한 세심한 고찰과 함께 당신이 생각해야만 하는 것을 향한 느린 진군이다. 왜 기술혁신이 의도한 목표에 도달하지 못했는지에 대한 세심한 분석을 통해, 다시 한 번 시도를 할 때 기술혁신의 [프로세스나 내용을 수정]하도록 만든다. - 어떤 것을 '해야 하는' 방법에 더 가까이 다가가도록 한다.

The quote ‘I have never failed, just found 10,000 ways it doesn’t work2’, famously attributed to Thomas Edison, captures the essence of innovation-oriented failure. This kind of failure is systematic, progressive, goal-oriented failure. The slow march towards what you think should be, with careful consideration for why an innovation may have failed. Careful analysis of why an innovation failed to reach its intended goal leads to modification of process or content of the innovation often in order to try it again—to try to get closer to how things ‘should be’.

혁신지향적 실패는 가고 싶은 곳을 알 때 일어나지만, 거듭되는 시도와 실패는 어떻게 가야 하는지 알아내는 데 도움이 된다.

Innovation-oriented failure occurs when you know where you want to go, but repeated attempts and failures help you figure out how to get there.

발견 지향적 실패

Discovery-oriented failure

과학적인 사고가 어떻게 변해왔는가를 논할 때, 우리는 종종 물리학의 역사를 그린다. 중요한 예는 우리가 태양계의 중심이라는 개념을 어떻게 포기했는가 하는 것이다. 이것들은 패러다임 변화의 전형적인 예로서, 우리의 '전형적인' 이해방식이 새로운 이론, 새로운 가정, 그리고 세계의 새로운 이해로 대체될 때 나타난다. 새로운 발견, 새로운 이론, 사상에서의 새로운 혁명은 현상에 대한 현재의 이해가 실패하는 것에 달려 있다.

When discussing how scientific thought has changed, we often draw on the history of physics—a key example being how we abandoned the notion of the earth being the centre of the solar system. These are classic examples of paradigm shifts [17]—when our ‘typical’ way of understanding something is replaced by a new theory, new set of assumptions, and new understandings of the world. New discovery, new theories, new revolutions in thought are dependent on the failure of our current understanding in the face of phenomena.

우리의 두 번째 유형의 실패는 발견 지향적인 실패다. 이러한 종류의 실패는 우리가 알고 있는 것(또는 우리가 알고 있다고 생각하는 것)[40]의 경계에서 발생한다—이러한 종류의 실패는 우리가 이론을 개발하거나 시험하고 있을 때, 가설을 반증하려고 시도하거나, 어떤 사상의 일반성 또는 새로운 맥락으로의 전달 가능성을 비판적으로 검토할 때 일어난다[13, 41]. 발견지향적 실패의 전형은 아인슈타인의 '실패는 진행중인 성공이다3'라는 말로 대변될 수 있다. 이런 종류의 실패는 이론, 아이디어, 가설을 깨질 때까지 밀어붙이는 큰 규모의 실패다. 그것을 향상시키기 위해서, 혹은 언제 그것을 포기해야 하는지를 알기 위해서 그것을 더 잘 이해하기 위해서 그것이 실패할 때까지 밀어붙이는 것이다. 발견 지향적인 실패는 통념에 도전하고, 사고의 변화 가능성을 열어두고, 낡은 문제나 현상에 대한 새로운 설명을 탐구하며, 우리가 알고 있다고 생각하는 것의 한계를 시험하는 것이다.

Our second type of failure is discovery-oriented failure. This kind of failure occurs at the periphery of what we know (or think we know)[40]—this kind of failure happens when we are developing or testing a theory [32], attempting to falsify a hypothesis, or critically examine the generalizability or transferability of an idea to a new context [13, 41]. Our archetype of discovery-oriented failure is none other than Einstein for whom ‘Failure is success in progress3’. This kind of failure is purposeful failing on a grand scale—pushing a theory, an idea, a hypothesis until it breaks. Pushing it until it fails in order to understand it better in order to improve it, or to know when to abandon it. Discovery-oriented failure is what challenges conventional wisdom, opens up the possibility of changes in thought, explores new explanations for old problems or phenomena, and tests the limits of what we think we know.

어떻게 보면 발견 중심의 실패는 엔지니어링 및 제조에서 파괴 시험의 원리와 유사하다. 파괴 시험에서 물체, 물질 또는 최종 제품은 세밀한 감시 하에 다양한 조건(예: 압력, 온도, 진동)을 받는다. 그 물체는 실패할 때까지 점점 더 많은 스트레스를 받는다. 그 실패는 면밀하게 분석된다. 어떤 조건에서 실패했는가? 어떻게 실패했지? 그리고 때때로 파괴적인 테스트는 치명적인 결함을 제거하고 그 대상, 물질 또는 제품은 재설계, 재설계 및 재시험된다.

In a way, discovery-oriented failure is analogous to the engineering and manufacturing principle of destructive testing. In destructive testing, an object, material, or final product is subjected to a variety of conditions (e.g. pressure, temperature, vibration) under close monitoring. The object is subjected to increasing stress until it fails. The failure is analyzed closely—under what conditions did it fail? How did it fail? And occasionally, destructive testing uncovers a fatal flaw and that object, material, or product is re-engineered, re-designed, and re-tested.

발견 지향적 실패와 파괴 실험은 아이디어나 물체가 강하게 남아 있는 상황과 실패하는 상황을 이해하기 위해 기대한 한계를 뛰어넘는다. 이런 종류의 실패는 덜 빈번하고 덜 자주 출판된다.

Discovery-oriented failure and destructive testing both push beyond anticipated limits in order to understand the circumstances under which an idea or object remains strong, and where it fails. this kind of failure is a less frequent, less frequently published,

우연적 실패

Serendipitous failure

그리고 때때로 그저 일이 계획대로 되지 않는다. 우리는 기술혁신이나 연구를 설계하는 것은 건전한 교육 및 연구 실천에 의존하고 이론 및 개념적 프레임워크를 세심하게 만들고 연구나 개입을 시작하기 전에 가용한 작업을 도출하는 것이라는 것을 배우고 싶다. 우리는 (일반적으로) 연구가 어떻게 진행될 것 같은지, 우리가 기여하고자 하는 문헌의 어떤 이론과 토론이 어떤 것인지에 대한 감각을 가지고 있으며, 어쩌면 특정한 가설을 의도적으로 시험하고 있는지도 모른다.

And sometimes things just don’t go as planned. We are taught (and hopefully role model) that crafting an innovation or designing a study are dependent on engaging sound educational and research practices, carefully crafting theoretical and conceptual frameworks [13, 14], and drawing on available work prior to launching a study or intervention. We (generally) have a sense of how the study is likely going to progress, what theories and discussions in the literature we are intending to contribute to, and perhaps are even purposefully testing a specific hypothesis.

하지만, 어떤 때는 계획대로 되지 않는다. 아이작 아시모프가 말했다.'과학에서 들을 수 있는 가장 흥미진진한 구절, 새로운 발견을 예고하는 구절은 "유레카!"가 아니라 "그것 참 재미있군" ...'4이다. 이러한 우연한 실패는 연구와 학술활동의 실패에서 더 흔한 유형 중 하나일 수 있다.

But, some-times things don’t go as planned. Isaac Asimov said‘The most exciting phrase to hear in science, the one that heralds new discoveries, is not “Eureka!” (I found it!) but “That’s funny” ...’4. This serendipitous failure may be one of more common types of failure in research and scholarship—

이러한 기회주의적 실패는 발견의 패턴 뒤에 숨겨진 '왜'를 이해하기 위해 예상치 못한 발견과 연관시키고 추적하는 데 초점을 맞춘다[42].

This opportunistic failure focuses on engaging with and chasing the unexpected finding to try to understand the ‘why’ behind the pattern of findings [42].

일반적으로 과학철학의 핵심 사상가로 여겨지지는 않지만, 우리의 우연한 실패의 전형은 '실수라는 것은 없다. 그저 행복한 작은 사고들만 있을 뿐이다'이라고 말한 미국의 공공 화가 밥 로스다. 아시모프와 로스 둘 다 예상치 못한 사건의 가치를 인식하고, 실패를 전통적인 관념으로 보기보다는, [새로운 이해를 창조하거나 발견하기 위한 기회를 수용하기 위한 기회로 인식 전환을 가능캐해주는 통찰력과 진보]로 바라본다. 이러한 종류의 실패는 반직관적인 발견, 전형적인 접근법이나 틀에 대한 질문, 그리고 전통적인 사고방식에 대한 생산적인 조사방식의 발견을 가능하게 한다. 이런 종류의 실패를 이용하기 위해서는, 우리는 우연한 발견과 예기치 못한 발견 뒤에 있는 메커니즘을 탐구하는 데 열려 있어야 한다.

While not typically considered a key thinker in the philosophy of science, our archetype for serendipitous failure is American public painter Bob Ross, who said ‘there are no mistakes, just happy little accidents’. Asimov and Ross both recognize the value of unexpected events—and suggest the insights and progress possible in shifting perception from traditional notions of failure to opportunities to embrace the unexpected to create, or uncover, new understanding. This kind of failure allows for the circumstantial discovery of counter-intuitive findings, of questioning typical approaches or frames, and of productive lines of inquiry counter to traditional pathways of thinking. In order to harness the benefits of this kind of failure, we must be open to exploring the mechanisms behind our serendipitous and unexpected findings.

고찰

Discussion

첫째, 실패가 의도성이 있는지, 혁신 지향적이었는지, 발견 지향적이었는지, 예상치 못한 뜻밖의 실패였는지는 연구와 학술활동의의 필수적인 요소라는 것이다. '과학은 어리둥절한 어리둥절함, 회의론, 실험의 난해함 속에서 성장한다'[1,p.59], 우리는 일반적으로 의미 있는 실패 뒤에 행해진 종종 어리둥절하고, 예상치 못한, 도전적인 작업을 감추고, 따라서 다소 정리된 형태의 학문적 과정을 영속시켜 왔다[1]. 우리는 실패의 가치를 과소평가해왔고, 이것은 좋은 연구가 선형적이라는 편견, 성공 중심성에 대한 편향된 관점을 형성하게 기여했을 가능성이 높다[1]. 우리가 현대 과학을 논리적이고 선형적인 방법으로 서서히 증거를 축적하는 것으로 생각하는 경향이 있는 반면, 포퍼는 성공 가능성이 높은 작고 안전한 가설들이 지식을 쌓는 데 기여하지만, 이해를 진전시키는 데는 도움이 되지 않는다고 제안했다. 오히려, 앞으로 나아가는 위대한 발걸음은 크고 위험한 아이디어에서 나온다. 실패 가능성이 높은 아이디어는 우리의 사고 진전에 도움을 주는 아이디어들이다[18].

The first is that failure is an integral component of research and scholarship—whether that failure was purposeful and innovation-oriented, discovery-oriented, or unanticipated serendipitous failure. ‘Science grows in the mulch of puzzled bewilderment, scepticism, and experiment’ [1,p.59],and we have typically hidden the often puzzling, unanticipated, and challenging work done following a meaningful failure, and so have perpetuated a rather tidiedup version of the scholarly process [1]. We have underrepresented the value of failure, and this has likely contributed to a skewed perspective of the linearity and success-focused nature of good scholarship [1]. While we tend to think of modern science as slowly accumulating evidence in a logical, linear way, Popper has suggested that small, safe hypotheses with a high likelihood of success contribute to building knowledge, but don’t help advance understanding. Rather, great steps forward come from big, risky ideas—ideas that have a high likelihood of failure are the ones that help our thinking progress [18].

두 가지 결과가 있을 수 있다: 

만약 결과가 가설이 옳았다면, 당신은 측정을 한 것이다. 

만약 결과가 가설에 반하는 것으로 나왔다면, 당신은 발견을 한 것이다.5

There are two possible outcomes: if the result confirms the hypothesis, you’ve made a measurement. If the result is contrary to the hypothesis, then you’ve made a discovery.5

과학에서 실패가 중요한 역할을 한다는 것을 인정하면서, 우리는 실패가 제공하는 기회를 의도적으로 이용해야 한다(표 2의 특정 권고사항). 이 작품 전체에 걸쳐 짜여진 암묵적인 주장은 실패한 프로젝트가 실패한 연구는 아니라는 것이다. 그러나, 왜 특정한 혁신이 실패했는지 또는 왜 실패한 프로젝트를 성공적인 장학금으로 바꾸기 위해 특정한 결과의 패턴이 생성되었는지 이해하기 위해 많은 노력이 필요하다.

Acknowledging that failure has an important role to play in science is an important first step, we must also purposefully engage with the opportunities that failure provide (specific recommendations in Tab. 2). An implicit argument woven throughout this piece is that a failed project is not failed scholarship. However, hard work is needed to understand why a particular innovation failed, or why a particular pattern of results were generated in order to turn a failed project into a successful piece of scholarship.

실패를 교훈으로 삼아야 한다.

engage with the failure in order to learn from it.

• 왜 혁신이나 개입이 문제를 해결하지 못했는지, 

• 왜 어떤 특정한 조건에서 이론이 실패하는지, 

• 왜 깨끗하게 설계된 연구가 예상치 못한 방향으로 진행되었는지.

why an innovation or intervention failed to solve a problem, 

why a theory fails under certain conditions, or 

why a cleanly designed study went in an unanticipated direction.

그러나, 이러한 목적적 참여는 시간이 걸리고, 종종 후속 연구를 위한 자원이 필요하며, 때때로 새로운 이론적 렌즈를 배우고 채택하는 것을 포함하며, 때로는 주어진 장학금 전체에 내재된 자신의 가정을 비판적으로 재고하는 것을 포함한다. 실패한 프로젝트를 제쳐놓거나 서랍 바닥에 집어넣어버리는 것이 더 쉬울 수 있지만, 실패에 관여하지 않는 것을 선택하는 것은 학문적으로 성장하기 위한 기회를 놓치는 것이다

But, this purposeful engagement takes time, often requires resources for follow-up studies, occasionally involves learning and adopting a new theoretical lens, and sometimes involves critically reconsidering your own assumptions embedded throughout a given piece of scholarship. It may be easier to put a failed project aside, or tuck it into the bottom of a file drawer, but choosing not to engage with a failure is a missed opportunity for scholarly growth.

의도적으로 실패에 관여하는 것은 연구팀에 유익할 수 있지만, 연구란 근본적으로 사회적 노력이다. 우리 공동체는 사회적으로 배운다. 우리는 다른 사람들의 일을 통해 배운다. 생산적 실패가 제공하는 기회를 공동체적으로 활용하기 위해서는 공개적으로 실패와 협력해야 한다. 공개적으로 실패를 공유하는 것은 쉽지 않다.

While purposefully engaging with failure can be informative to a research team, scholarship is a fundamentally social endeavour. Our community learns socially—we learn from the work of others. In order to capitalize as a community on the opportunities provided by productive failure, we must publically engage with failure. Sharing failure publically is not easy.

과학은 외부인들이 상상하는 직설적인 논리적인 방식으로 진행되지 않는다. 대신에 한 발 앞으로 (그리고 때로는 뒤로) 가는 경우는 종종 매우 인간적인 사건이다.

Science seldom proceeds in the straightforward logical manner imagined by outsiders. Instead its steps forwards (and sometimes backward) are often very human events6.

실패에 대한 공개와 실패한 프로젝트를 이해함으로써 도출된 중요한 통찰력은 우리의 건강직업 교육(HPE) 학계 커뮤니티에서 가치 있는 것으로 볼 필요가 있다.

Public disclosure of failure, and important insights drawn from understanding a failed project, need to be seen as valuable by our Health Professions Education (HPE) scholarly community.

공동체로서, 우리는 우리의 집단적 지식 기반을 키우기 위해 생산적인 실패와 그것으로부터 비롯되는 우리의 통찰에 대해 더 편안하게 토론할 필요가 있다. 다른 것이 아니라면, 실패한 프로젝트에 대한 고의적인 공개 토론은 제한된 연구와 교육 자원을 더 효과적으로 사용하게 할 수 있다. 만약 우리가 누군가가 시도하고 실패했다는 것을 안다면, 우리는 같은 것을 다시 시도함으로써 이득을 얻을 것 같지 않다.

As a community, we need to become more comfortable discussing productive failures and our insights that have resulted from them in order to grow our collective knowledge base. If nothing else, deliberate public discussion of failed projects could lead to more effective use of limited research and educational resources—if we know that someone has tried and failed, we are unlikely to benefit from trying the same thing again.

실패에 의도적으로 관여하고, 실패한 일을 공개적으로 논하는 것은 적절한 학술 자원 관리 및 성공적인 혁신의 더 나은 translation에 기여할 수 있다[45]. 또한, 의도적으로 실패에 관여하는 것은 커뮤니티 전체의 성장형 마음가짐을 가져올 수 있다[46]. 여기서 우리는 실패에 관여하는 것을 학문적 공동체로서 성장과 발전의 기회로 평가할 것이다.

Purposefully engaging with failure, publicly discussing failed work, could contribute to appropriate scholarship resource stewardship and better translation of successful innovations (if we know why/how they have failed) [45]. Further, purposefully engaging with failure could embed a community wide growth mindset [46]—where we would value engaging with failures as opportunities for growth and development as a scholarly community.

커뮤니티 전체의 성장 사고방식의 가능성 외에도, 광범위한 교육 문헌에서의 연구는 생산적 실패의 이점을 문서화했다[47].

In addition to the possibility of a community-wide growth mindset, work in the broader educational literature has documented the benefits of productive failure [47].

집단으로 일하는 학생들이 능력 밖의 문제를 해결하기 위해 창의적으로 문제를 해결하려고 노력하지만, 그렇지 않다면 그렇게 하는 경우는 드물다. 그러나 이러한 '생산적인 실패'의 효과는 학생들이 개별적으로 문제를 풀어나갈 때 나타난다. 문제를 해결하는 데 실패하도록 설계된 그룹에서 작업한 사람들은 후속 작업에 더 잘 수행한다. 그들은 잘 정의되지 않은 문제와 잘 정의되지 않은 문제를 모두 해결할 수 있다. 해결할 수 없는 문제를 해결하기 위해 고군분투하는 후유증은 나중에 문제를 더 잘 풀 수 있다는 것이다.

For the students who work in groups to solve problems outside of their abilities, they engage creatively trying to solve the problem, but rarely, if ever, do. But the effects of this ‘productive failure’ are seen when the students go on to solve problems individually. Those who worked in groups designed to fail to solve the problem perform better on the subsequent tasks—they are better able to solve both well- and ill-defined problems. The aftereffects of struggling to solve an unsolvable problem are that you are better able to later solve problems.

생산적 실패의 현상은 고등교육의 맥락[48]에 적용되었고, 계속 다듬고 토론되고 있지지만, 기초적인 개념은 연구와 학술활동에서 실패의 가치에 대한 논의에 여전히 도움이 된다. 실패한 학문적 프로젝트에 관여하는 것 자체가 통찰력이나 해결책으로 이어지지 않을 수도 있지만, 그럼에도 불구하고 그것은 우리의 다음 문제나 프로젝트에 더 효과적으로 관여하는 것을 촉진할 수 있다. 한 프로젝트에 실패하는 것을 감수하는 것은 다음 학문적 프로젝트에 도움이 될 수 있다.

The phenomena of productive failure has been applied in higher education contexts [48], and continues to be refined [49] and debated, however the underlying notion remains helpful for a discussion of the value of failure in research and scholarship. While engaging with our failed scholarly projects may not in itself lead to insight or solution, it may nevertheless facilitate engaging with our next problem or project more effectively—engaging with the failure on this project may support our next scholarly project.

마지막으로, 과학의 실패를 성찰하는 것은 실패의 배후에 있는 과학자, 학자, 연구원들에 대한 인정을 필요로 한다. 공동체로서 실패를 인정하고, 받아들이고, 실패로부터 배우는 것은 실패한 프로젝트의 경험을 인간화하고 정상화하는데 도움이 될 수 있다. 즉, 우리 모두는 실패하고, 모두 실패하고, 그리고 계속 실패할 것이다. 만약 우리가 실패하지 않는다면, 우리는 우리의 분야를 발전시키지 못하고 있는 것이다[18]. 결론적으로, 나는 Neil Gaiman7에 동의한다. "가서, 흥미로운 실수를 하십시오. 영광스럽고 환상적인 실수를 하십시오." 그런 다음 그것들을 공유하십시오.

Finally, reflecting on failure in science necessitates an acknowledgement of the scientists, scholars, and researchers behind the failures. Acknowledging, engaging with, and learning from failures as a community may help to humanize and normalize the experience of a failed project—we all fail, have all failed, and will continue to fail. If we aren’t failing, we aren’t helping our field move forward [18]. In conclusion, I echo Neil Gaiman7 and encourage us to “Go, and make interesting mistakes, make glorious and fantastic mistakes”. And then be sure to share them.

42. Young M, LaDonna K, Varpio L, Balmer D. Focal length fluidity: research questions in medical education research and scholarship. Acad Med. 2019;94(11S):S1–S4.

질적연구 실행가이드 파트4. Trustworthiness와 출판(Eur J Gen Pract, 2018)

Series: Practical guidance to qualitative research. Part 4: Trustworthiness and publishing

Irene Korstjensa and Albine Moserb,c

도입

Introduction

신뢰성

Trustworthiness

질적 연구의 품질 기준은 무엇인가?

What are the quality criteria for qualitative research?

동일한 품질 기준이 '빅3' 접근방식을 포함한 모든 정성적 설계에 적용된다. 정량적 연구에 사용되는 품질 기준(예: 내부 타당성, 일반성, 신뢰성, 객관성)은 정성적 연구의 품질을 판단하기에 적합하지 않다. 질적 연구자들은 신뢰성trustworthiness에 대해 말하는데, 이것은 '결과가 신뢰할 수 있을까?'라는 질문을 제기하는 것이다[4].

The same quality criteria apply to all qualitative designs, including the ‘big three’ approaches. Quality criteria used in quantitative research, e.g. internal validity, generalizability, reliability, and objectivity, are not suitable to judge the quality of qualitative research. Qualitative researchers speak of trustworthiness, which simply poses the question ‘Can the findings to be trusted?’ [4].

가장 잘 알려진 기준은 링컨과 구바가 정의한 신뢰도, 이전 가능성, 신뢰성 및 확인성이다 [4].

the best-known criteria are credibility, transferability, dependability, and confirmability as defined by Lincoln and Guba [4].

신뢰성이란 무엇이며 그것을 보장하기 위해 어떤 전략을 사용할 수 있는가?

What is credibility and what strategies can be used to ensure it?

신뢰성은 양적 연구에서 내부 타당성에 상당하며 진리-가치 측면과 관련이 있다[4]. 장기적 관여, 지속적인 관찰, 삼각 측량 및 구성원 확인(상자 2)을 통한 신뢰성 확보 전략.

Credibility is the equivalent of internal validity in quantitative research and is concerned with the aspect of truth-value [4]. Strategies to ensure credibility are prolonged engagement, persistent observation, triangulation and member check (Box 2).

모든 전략이 적절하지는 않을 것이다. 예를 들어, 읽고 쓸 수 있는 수준이 낮은 연구 참여자에게는 서면 조사 결과의 멤버체킹이 불가능할 수 있다.

not all strategies might be suitable. For example, a member check of written findings might not be possible for study participants with a low level of literacy.

장기 결속.

Prolonged engagement.

숙달과 관련된 주제에 대해 몇 가지 분명한 질문이 있었다. 참가자들에게 예를 들어 그들의 진술을 지지하도록 격려했고, 인터뷰 진행자는 후속 질문들을 했다. 연구자들은 연구중인 현상의 범위를 제공하기 위한 이론이 나올 때까지 그들의 인터뷰 원자료에서 나온 자료를 연구했다. 

Several distinct questions were asked regarding topics related to mastery. Participants were encouraged to support their statements with examples, and the interviewer asked follow-up questions. The researchers studied the data from their raw interview material until a theory emerged to provide them with the scope of the phenomenon under study. 

삼각측량.

Triangulation.

삼각측량법은 복수의 접근법을 이용하여 질적 연구 과정을 향상시키는 것을 목표로 한다[7]. 

• 방법론적 삼각측량은 심층면접, 포커스그룹토론, 현장노트 등 서로 다른 데이터 수집 방법으로 데이터를 수집해 활용했다. 

• 조사자 삼각측량은 연구팀 구성원과 마찬가지로 여러 연구자를 참여시키고, 연구의 조직적인 측면과 분석 과정을 다루는 방식으로 적용되었다.

Triangulation aims to enhance the process of qualitative research by using multiple approaches [7]. Methodological triangulation was used by gathering data by means of different data collection methods such as in-depth interviews, focus group discussions and field notes. Investigator triangulation was applied by involving several researchers as in research team members, and involving them addressing the organizational aspects of the study and the process of analysis.

지속적인 관찰.

Persistent observation.

코드, 개념 및 핵심 범주를 개발하는 것은 데이터의 특성을 조사하는 데 도움이 되었다. 연구자들은 끊임없이 데이터를 읽고 다시 읽고, 분석하고, 그에 대한 이론을 세우고, 그에 따라 개념을 수정했다. 그들은 코드, 개념, 그리고 핵심 범주를 리코딩하고 다시 라벨을 붙였다. 연구원들은 최종 이론이 의도한 통찰력의 깊이를 제공할 때까지 이 자료를 연구했다. 

Developing the codes, the concepts and the core category helped to examine the characteristics of the data. The researchers constantly read and reread the data, analysed them, theorized about them and revised the concepts accordingly. They recoded and relabelled codes, concepts and the core category. The researchers studied the data until the final theory provided the intended depth of insight. 

회원 체크.

Member check.

인터뷰와 포커스 그룹 토론의 모든 녹취록은 참가자들에게 보내져 피드백을 받았다. 또한, 학습 기간 중 중간쯤에는 인터뷰나 포커스 그룹 토론에 참여한 경험이 있는 사람들과의 미팅이 진행되어 해석을 수정하고 '잘못된' 해석에 도전할 수 있었다. 마지막으로, 그 발견은 이론을 확인하기 위해 다른 회의의 참가자들에게 제시되었다. 

All transcripts of the interviews and focus group discussions were sent to the participants for feedback. In addition, halfway through the study period, a meeting was held with those who had participated in either the interviews or the focus group discussions, enabling them to correct the interpretation and challenge what they perceived to be ‘wrong’ interpretations. Finally, the findings were presented to the participants in another meeting to confirm the theory. 

전이가능성은 무엇을 의미하며 누가 '전이가능성 판단'을 하는가? 

What does transferability mean and who makes a ‘transferability judgement’? 

이전가능성은 적용가능성의 측면과 관련이 있다[4].연구자로서 당신의 책임은 참가자와 연구 과정에 대한 '두터운 설명'을 제공하여 독자가 당신의 연구 결과가 자신의 설정으로 이전될 수 있는지 평가할 수 있도록 하는 것이다. 이것이 소위 전이가능성 판단이다. 이것은 (독자의 구체적인 상황을 모르는) 당신이 아닌 독자가 전달가능성을 판단한다는 것을 의미한다.

Transferability concerns the aspect of applicability [4].Your responsibility as a researcher is to provide a ‘thick description’ of the participants and the research process, to enable the reader to assess whether your findings are transferable to their own setting; this is the that so-called transferability judgement. This implies the reader, not you, makes the transferability judgment because you do not know their specific settings.

연구가 수행된 상황, 그 설정, 표본 크기, 표본 전략, 인구통계학적, 사회경제적, 임상적 특성, 포함 및 배제 기준, 인터뷰 절차 및 주제, 반복 연구 과정에 기초한 인터뷰 질문의 변경, 인터뷰 가이드의 발췌 등. 

such as the context in which the research was carried out, its setting, sample, sample size, sample strategy, demographic, socio-economic,and clinical characteristics, inclusion and exclusion criteria, interview procedure and topics, changes in inter-view questions based on the iterative research process, and excerpts from the interview guide. 

신뢰성과 확인성의 차이점과 감사 추적이 필요한 이유는 무엇인가? 

What is the difference between dependability and confirmability and why is an audit trail needed? 

신뢰성에는 일관성의 측면이 포함된다[4].분석 프로세스가 특정 설계에 대해 승인된 표준과 부합in line with되는지 여부를 확인해야 한다.

Dependability includes the aspect of consistency [4].You need to check whether the analysis process is in line with the accepted standards for a particular design.

확인가능성은 중립[4]의 측면과 관련이 있다. 데이터의 상호-주관성을 확보해야 한다. 해석은 당신 자신의 특정한 선호와 관점이 아니라, 데이터에 근거할 필요가 있다. 여기서 초점은 분석 과정에 내재된 해석 과정에 있다.

Confirmability concerns the aspect of neutrality[4]. You need to secure the inter-subjectivity of the data. The interpretation should not be based on your own particular preferences and viewpoints but needs to be grounded in the data. Here, the focus is on the interpretation process embedded in the process of analysis.

신뢰성 및 확인성을 확보하기 위해 필요한 전략은 감사 추적으로 알려져 있다. 귀하는 연구 과정, 연구팀 회의, 성찰적 생각, 샘플링, 채택된 연구 자료, 조사 결과의 출현 및 데이터 관리에 대한 정보에 대한 완전한 일련의 결정을 제공할 책임이 있다. 이를 통해 감사인은 연구경로의 투명성을 연구할 수 있다.

The strategy needed to ensure dependability and confirmability is known as an audit trail. You are responsible for providing a complete set of notes on decisions made during the research process, research team meetings, reflective thoughts, sampling, research materials adopted, emergence of the findings and information about the data management. This enables the auditor to study the transparency of the research path.

앞서 언급한 당뇨병 자기관리 연구에서는 대학 기반의 감사인이 정확성을 위해 분석 과정, 기록, 회의록 등을 조사하여 근거 이론 방법론의 모든 분석 기법이 그에 따라 사용되었는지 여부를 평가하였다. 또한 이 감사자는 분석(즉, 서술적, 축적 및 선택적 코드)을 검토하여 데이터(원시 데이터, 분석 노트, 코딩 노트, 프로세스 노트, 보고서)에서 추적하고 데이터에 근거하는지 여부를 검토하였다. 신뢰성 및 확인성 감사를 수행한 감사관은 연구팀의 일부가 아니라 근거 이론 전문가였다. 감사 보고서는 연구팀의 모든 구성원들과 공유되었다.

In the aforementioned study of diabetes self-management, a university-based auditor examined the analytical process, the records and the minutes of meetings for accuracy, and assessed whether all analytical techniques of the grounded theory methodology had been used accordingly. This auditor also reviewed the analysis, i.e. the descriptive, axial and selective codes, to see whether they followed from the data (raw data, analysis notes, coding notes, process notes, and report) and grounded in the data. The auditor who performed the dependability and confirmability audit was not part of the research team but an expert in grounded theory. The audit report was shared with all members of the research team.

왜 성찰성이 중요한 품질 기준인가?

Why is reflexivity an important quality criterion?

질적 연구자로서, 데이터를 수집, 분석, 해석하는 과정에서, 그리고 (연구에 들어설 때) 이미 가지고 있던 가정assumption에 대한 자신의 역할에 대해 자각적이고 성찰적인 것이 중요하다는 것을 인정해야 한다.[8]. 그러므로, 당신의 인터뷰, 관찰, 집중 그룹 토론과 모든 분석 데이터는 당신의 성찰노트로 보충될 필요가 있다. 

As a qualitative researcher, you have to acknowledge the importance of being self-aware and reflexive about your own role in the process of collecting, analysing and interpreting the data, and in the pre-conceived assumptions, you bring to your research [8]. Therefore, your interviews, observations, focus group discussions and all analytical data need to be supplemented with your reflexive notes. 

앞서 언급한 당뇨병 자가 관리에 대한 연구에서, 인터뷰에 대한 반사적 메모는 인터뷰 자체와 오디오 테이프를 옮겨 적으며 대본을 분석하는 동안 언급된 인터뷰의 설정과 측면을 기술했다. 성찰주석에는 또한 설정과 인터뷰 대상자와의 관계에 대한 연구자의 주관적 반응도 포함되었다.

In the aforementioned study of diabetes self-management, the reflexive notes for an interview described the setting and aspects of the interview that were noted during the interview itself and while transcribing the audio tape and analysing the transcript. Reflexive notes also included the researcher’s subjective responses to the setting and the relationship with the interviewees.

출판

Publishing

질적 연구를 어떻게 보고해야 하는가?

How do I report my qualitative study?

당신의 질적연구 글쓰기를 하는과정은 [질적 연구를 수행하는 반복적인 과정]을 반영한다. 연구를 시작하면서 디자인에 대한 선택을 하게 되고, 연구가 진행되면서 디자인을 더욱 발전시킨다. 원고를 쓸 때도 마찬가지다. 첫째, 당신은 그것의 구조를 결정하고, 글 쓰는 과정에서 특정한 측면들을 적응시킨다. 게다가, 글을 쓰는 동안 여러분은 여전히 여러분의 연구 결과를 분석하고 미세하게 조정하고 있다. 기사의 일반적인 구조는 부제목이 있는 구조화된 추상적이며, 그 뒤에 본문이 있고, 소개-방법-결과-토론이라는 섹션으로 구성된다. 예를 들어 Results를 Findings(소견으로 이름 변경)와 같이 이 구조를 느슨하게 적용할 수 있지만, 때로는 특정 스터디 설계에 다른 구조가 필요한 경우도 있다.

The process of writing up your qualitative study reflects the iterative process of performing qualitative research. As you start your study, you make choices about the design, and as your study proceeds, you develop your design further. The same applies to writing your manuscript. First, you decide its structure, and during the process of writing, you adapt certain aspects. Moreover, while writing you are still analysing and fine-tuning your findings. The usual structure of articles is a structured abstract with subheadings, followed by the main text, structured in sections labelled Introduction-Methods-Results-Discussion. You might apply this structure loosely, for example renaming Results as Findings, but sometimes your specific study design requires a different structure.

질적인 기사는 대개 양적인 기사보다 훨씬 길다(5000~7000단어). 이 기사들은 종종 그 결과를 표로 제시한다. 당신은 테이블이나 실행 중인 텍스트에 참가자의 수량화된 특성을 나타낼 수 있으며, 당신은 당신의 인터뷰 가이드나 질문 경로 또는 카테고리, 테마의 주요 발견에 대한 개요를 제시하기 위해 상자를 사용할 가능성이 있다. (질적연구) 글쓰기는 대부분 running text이고, 균형 잡힌 프레젠테이션을 제공하고 있다. 참가자와 맥락에 대한 두꺼운 설명을 제공하고, 자신의 방법을 투명하게 기술하고 반성하며, 보고, 해석 및 토론에서 질적 발견의 풍부함을 정당화한다. 따라서 방법 및 결과findings 섹션은 정량적 논문에서보다 훨씬 더 길 것이다.

A qualitative article is usually much longer (5000–7000 words) than quantitative articles, which often present their results in tables. You might present quantified characteristics of your participants in tables or running text, and you are likely to use boxes to present your interview guide or questioning route, or an overview of the main findings in categories, subcategories and themes. Most of your article is running text, providing a balanced presentation. You provide a thick description of the participants and the context, transparently describe and reflect on your methods, and do justice to the richness of your qualitative findings in reporting, interpreting and discussing them. Thus, the Methods and Findings sections will be much longer than in a quantitative paper.

보고 양적 연구와 질적 연구 사이의 차이는 결과 섹션에서 가장 잘 나타난다. 정량 기사는 증거를 제시하는 결과 섹션과 토론 섹션 사이에 엄격한 구분이 있다. 이와는 대조적으로, 질적 논문의 소견 섹션은 대부분 종합과 해석으로 구성되며, 종종 경험적 데이터에 대한 링크와 함께 구성된다.

The difference between reporting quantitative and qualitative research becomes most visible in the Results section. Quantitative articles have a strict division between the Results section, which presents the evidence, and the Discussion section. In contrast, the Findings section in qualitative papers consists mostly of synthesis and interpretation, often with links to empirical data.

분석 결과를 입증할 수 있는 증거를 제시하십시오. 당신은 발견의 다양성과 풍부함을 보여주고 시각화하기 위해 텍스트, 필드 노트, 텍스트 발췌 또는 사진들을 상자 안에 있는 인용문이나 인용문을 사용한다.

You present evidence to substantiate your analytic findings. You use quotes or citations in the text, or field notes, text excerpts or photographs in boxes to illustrate and visualize the variety and richness of the findings.

연구 결과를 게시할 잠재적인 저널을 선택하는 방법

How do I select a potential journal for publishing my research?

질적 기사 출판을 위한 잠재적 저널 선정은 양적 기사 출판에 사용되는 절차와 크게 다르지 않다.

Selecting a potential journal for publishing qualitative articles is not much different from the procedure used for quantitative articles.

질적인 원고를 받아들일 때 저널 편집자들이 고려할 사항은 무엇인가? 

What are the journal editors’ considerations in accepting a qualitative manuscript? 

당신의 논문은 수준 높은 연구를 효과적으로 제시해야 하며 저널의 지침을 준수해야 한다. 편집자는 질적 기사에 대해 양적 기사와 동일한 기준을 기본적으로 사용한다. 새로운 것인가, 사실인가, 관련이 있는가? 그러나 편집자들은 (명시적이든 명시적이든) 증거 수준 피라미드를 사용할 수 있으며, 질적 연구는 하위 계층에 위치한다. 게다가, 많은 의학 저널 편집자들은 질적인 일보다 양적인 디자인에 더 익숙할 것이다. 

Your article should effectively present high-quality research and should adhere to the journal’s guidelines.Editors essentially use the same criteria for qualitative articles as for quantitative articles: Is it new, it is true,is it relevant? However, editors may use—implicitly or explicitly—the level-of-evidence pyramid, with qualitative research positioned in the lower ranks. Moreover,many medical journal editors will be more familiar with quantitative designs than with qualitative work. 

그러므로 편집자에게 보내는 커버레터에는 새로운 것, 진실성, 목적적합성, 그리고 당신의 작품의 질에 대한 그들의 신뢰를 높이기 위해 당신은 약간의 추가적인 노력을 기울일 필요가 있다.

Therefore, you need to put some extra effort in your cover letter to the editor, to enhance their confidence in the newness, trueness and relevance, and the quality of your work

작품의 질에 대한 자신감을 높이기 위해서는 품질 기준을 어떻게 적용했는지 설명하거나 사용한 체크리스트(상자 2와 3)를 참고해야 한다.

To enhance confidence in the quality of your work, you should explain how you applied quality criteria or refer to the checklist you used (Boxes 2 and 3). 

[1] Moser A, Korstjens I. Series: practical guidance to qualitative research. Part 1: Introduction. Eur J GenPract. 2017;23:271–273. 

[2] Korstjens I, Moser A. Series: practical guidance to qualitative research. Part 2: Context, research questions and designs. Eur J Gen Pract. 2017;23:274–279. 

[3] Moser A, Korstjens I. Series: practical guidance to qualitative research. Part 3: Sampling, data collection and analysis. Eur J Gen Pract. 2018;24. DOI:10.1080/13814788.2017.1375091 

감독관 경험이 신뢰, 감독, 수련생 학습에 미치는 경향: 질적 연구(Acad Med, 2017)

How Supervisor Experience Influences Trust, Supervision, and Trainee Learning: A Qualitative Study

Leslie Sheu, MD, Jennifer R. Kogan, MD, and Karen E. Hauer, MD, PhD

[적절한 신뢰와 감독]은 훈련생들이 감독받지 않는 practice을 위한 준비로 나아갈 성장을 가능하게 한다.1–5

Appropriate trust and supervision enable trainees’ growth as they progress toward readiness for unsupervised practice.1–5

Goldszmidt 외 연구진17은 [미니멀리스트 철학]에서 직접 환자 치료에 대한 [높은 참여 선호]에 이르는 4가지 감독 스타일을 설명한다. 감독의 변동성은 부분적으로 신뢰에 대한 선천적 성향, 감독자와 임상의사로서의 자신감, 경험 등의 감독자 특성 때문에 발생한다.9,18

Goldszmidt et al17 describe four supervisory styles ranging from a minimalist philosophy to a preference for high involvement in direct patient care. Variability in supervision occurs in part because of supervisor characteristics, such as innate propensity to trust, confidence as a supervisor and clinician, and experience.9,18

"어떤 것이 신뢰할 수 있고, 좋고, 정직하고, 효과적이라는 믿음"으로 정의되는 신뢰는 환자 관리 업무에 대해 훈련생에게 얼마나 많은 자율성을 부여할지를 결정하는 데 있어 중요한 결정 요인이다.9–12 임상 감독에 필요한 능력에는 "환자 안전을 극대화하기 위해 특정 임상 상황에서 의사의 장단점을 예측할 수 있는 능력"이 통합되어 있다.13 

• 필요 이상으로 감독할 경우, 훈련생은 발전하지 못하여, 임상 의사결정에 덜 적극적으로 참여하게 된다.13,14,15 

• 반대로 부적절한 감독은 환자의 안전과 훈련자의 학습 경험을 손상시킬 수 있다.3,16

Trust, defined as the “belief that someone or something is reliable, good, honest, effective,”8 is a key determinant for deciding how much autonomy to grant trainees with patient care tasks.9–12 Clinical supervision incorporates the “ability to anticipate a doctor’s strengths and weaknesses in particular clinical situations in order to maximize patient safety.”13 If supervised more than needed, trainees may not be able to progress toward competence and may participate less actively in clinical decision making.1,3,14,15 Conversely, inadequate supervision can compromise patient safety and trainees’ learning experiences.3,16

Vygotsky의 ZPD를 고려한다면, 이상적인 감독자는 훈련생이 어떤 수준의 감독으로 수행할 수 있는지 파악하고 그에 따라 감독을 조정하여 최적의 학습과 환자 안전을 보장할 것이다. 그러나, 이러한 조정이 항상 일어나는 것은 아니다.22 그리고 감독자의 조정 능력은 그녀나 그의 경험에 따라 달라질 수 있다. 현재의 의학 교육에서는 전공의와 주치의 모두 제한된 공식적인 훈련 과정에서 자연스럽게 개인 경험을 통해 감독을 배우게 된다고 가정한다.23 이러한 "learning on the job" 접근법은 경험학습 도는 구성주의 학습 이론과 일치한다. 관리자들은 경험을 통해 임상 환경에서 자신의 역할에 대한 이해를 심화시키는 것이다.

Considering Vygotsky’s zone of proximal development,21 the ideal supervisor would identify which tasks trainees can perform with what level of supervision and adapt supervision accordingly to ensure optimal learning and patient safety. However, this adaptive style does not always occur,22 and a supervisor’s ability to adapt may vary with her or his experience. Current medical education practice largely assumes that both residents and attendings naturally learn to supervise through personal experience, with limited formal training.20,23 This “learning on the job” approach aligns with experiential and constructivist learning theories, as supervisors deepen their understanding of their roles within the clinical setting through experience.24

Dreyfus의 전문지식 개발을 위한 모델에 따르면, 개개인은 경험을 통해 다음과 같이 발달한다.

• 맥락을 고려하지 않고 규칙과 원칙을 준수하는 것으로 특징지어지는 초보 단계에서부터 

• 상황 인식을 달성하고, 

• 궁극적으로는 상황이나 연습생들을 통해 무엇을 어떻게 해야 하고 어떻게 해야 하는지 직관적으로 볼 수 있게 된다

Dreyfus’s25 model for expertise development suggests that with experience, individuals mature 

• from a novice stage characterized by adherence to rules and principles without considering context, 

• to achieving situational awareness, and 

• ultimately being able to see intuitively what needs to be done and how, across situations and trainees.25

감독자 성숙의 성숙도 비슷한 발달단계를 밟는다: 

• 초보 감독자는 역할 모호성과 불확실성으로 시작하여 

• 점차적으로 환자 치료 제공자로부터 임상의사 훈련의 감독자로 방향을 전환하여 임상 참여에 있어 더 큰 유연성과 함께 학습자의 요구에 더 초점을 맞춘다.26–28

a similar supervisor maturation through developmental stages: 

• Novice supervisors start with role ambiguity and uncertainty, and 

• gradually shift their orientation from patient care provider to supervisor of the clinician-in- training, focusing more on the learners’ needs with greater flexibility in their clinical involvement.26–28

방법

Method

연구 설계

Study design

Sensitizing concept에 의한 유도콘텐츠분석을 이용한 2단계 질적 연구를 설계했다. 

• 첫째, 레지던트들이 인턴에 대한 신뢰를 어떻게 발전시키고 어텐딩이 레지던트에 대한 신뢰를 어떻게 발전시키는지에 대한 이전 두 가지 연구를 위해 수집된 감독관들의 인터뷰를 분석했다. (1년차 인턴을 감독하는 2, 3년차 레지던트, 1~3년차 레지던트) 어느 연구도 신뢰와 감독에 대한 접근방식이 감독자 경험과 어떻게 다른지 탐구하지 않았다. 

• 2단계에서 연습생 포커스 그룹은 초기, 개발 및 숙련된 감독관의 모범 사례가 작업자와 일관성이 있는지 또는 어떻게 다른지에 대한 연습생들의 의견을 탐구했다. 우리는 다른 모범 사례들이 그들의 학습에 미치는 영향에 대한 의견을 초대했다.

We designed a two-phase qualitative study using inductive content analysis guided by sensitizing concepts.32,33 

• First, we analyzed interviews of supervisors (second- and third-year residents who supervise first-year interns, and attendings who supervise first- through third-year residents) collected for two previous studies on how residents develop trust in their interns and how attendings develop trust in their residents.19,20 Neither study explored how approaches to trust and supervision differwith supervisor experience. 

• In phase two, our trainee focus groups explored trainee comments about whether and how supervisor exemplars for early, developing, and experienced supervisors were consistent with or differed from supervisors with whom they worked. We invited comments on the implications of different exemplars on their learning. 

1단계: 감독관 인터뷰 및 사례 개발

Phase one: Supervisor interviews and development of exemplars

참가자 및 설정.

Participants and setting.

데이터 수집 및 계측기

Data collection and instrument.

2년차 및 3년차 거주자와 인터뷰 참석자 모두 신뢰 형성에 관한 질문, 신뢰에 영향을 미치는 요인 및 감독 접근법(Supplemental Digital 부록 1, 2 , http://links.lww.com/ACADMED/ A417)을 포함했다.19,20 신뢰의 5요소 모델에 근거한 질문을 했다.

Both second- and third-year residents as well as attending interviews included questions about trust formation, factors influencing trust, and approaches to supervision (Supplemental Digital Appendix 1 and 2 , http://links.lww.com/ACADMED/ A417).19,20 We based questions on the five-factor model of trust.9

데이터 분석.

Data analysis.

두 가지 감각적인 개념이 우리의 귀납적 내용 분석을 유도했다.32,33 첫째, 신뢰의 5요소 모델(감독자, 감독자, 관계, 컨텍스트 및 과제)을 사용하여 신뢰를 학습자 감독을 위한 지침으로서 이해하였고, 9 주로 감독자 요소에 초점을 두었다. 둘째, 구성주의 학습 이론에서 도출하여, 우리는 Dreyfus의 전문성 개발 모델을 사용하여 감독자 신뢰를 경험과 실습을 통해 습득한 기술로 이해했다.

Two sensitizing concepts guided our inductive content analysis.32,33 First, we used the five-factor model of trust (supervisor, supervisee, relationship, context, and task) to understand trust as a guide for learner supervision,9 primarily focusing on the supervisor factor. Second, drawing from constructivist learning theory, we used Dreyfus’s25 model of expertise development to understand supervisor trust as a skill acquired with experience and practice.

우리는 경험에 따라 변하는 네 가지 신뢰와 감독 영역을 확인했다. 이를 바탕으로 초기, 개발 및 숙련된 감독자의 행동을 설명하는 세 가지 예제를 생성했다(결과 섹션, 1단계 설명). 모든 감독자는 세 가지 예제 중 하나에서 주로 특징을 설명했지만, 일부 감독자는 스펙트럼을 따라 특징을 나타낸다.

We identified four domains of trust and supervision that changed with experience. Based on this, we generated three exemplars describing behaviors of early, developing, and experienced supervisors (described in the Results section, phase one). Some supervisors manifested features along the spectrum, although all supervisors primarily demonstrated features in one of the three exemplars.

2단계: 교육자 포커스 그룹

Phase two: Trainee focus groups

참가자 및 설정.

Participants and setting.

1단계에서 개발된 예시들의 정확성과 대표성을 검증하기 위해, 우리는 연습생들에게 예시들을 검토하고 감독관들과의 경험과 관련하여 토론해 줄 것을 요청했다. 우리는 또한 다양한 감독 접근법이 그들 자신의 학습에 어떻게 영향을 미치는지에 대한 훈련생들의 인상을 요청했다. 우리는 참가자들이 서로의 반응에 상호작용하고, 반응하며, 서로의 반응에 기반을 둘 수 있도록 하기 위해 포커스 그룹 방법을 선택했다.36

To validate the accuracy and representativeness of the exemplars developed in phase one, we asked trainees to review the exemplars and discuss them in relation to their experiences with supervisors. We also solicited trainees’ impressions of how the different approaches to supervision influence their own learning. We chose focus group methodology to allow participants to interact with, react to, and build on one another’s responses.36

데이터 수집 및 계측기

Data collection and instrument.

참가자들은 학습과 환자 관리에 대한 각 감독관의 예시적 의미와 그들이 받은 감독이 그들이 선호하는 것이 아닌 상황을 어떻게 다루는지 설명하도록 요청 받았다(Supplemental Digital 부록 3, http:// links.lww.com/ACADMED/A417)).

Participants were asked to describe implications of each supervisor exemplar for learning and patient care and how they handled situations in which the supervision they received was not what they preferred (Supplemental Digital Appendix 3, http:// links.lww.com/ACADMED/A417).

데이터 분석.

Data analysis.

우리 중 2명(L.S. K.E.H)은 4개의 녹취록을 모두 검토하여, 연습생들이 그 예문에 동의했는지, 잘못 전달된 것이 있는지, 그리고 추가적인 예문이 누락되었는지 여부를 판단했다. 그 후 우리는 다른 감독 접근방식이 훈련생들의 인식 학습과 환자 치료에 미치는 영향을 설명하는 테마의 사본을 검토했다. 귀납적 내용분석을 사용하여 코드북을 개발한 후 이를 더 큰 범주로 구성했다.32,33

Two of us (L.S., K.E.H.) reviewed all four transcripts to determine if trainees agreed with the exemplars, if anything was misrepresented, and whether additional exemplars were missing. We then reviewed transcripts for themes describing the impact of different supervisory approaches on trainees’ perceived learning and patient care. We used inductive content analysis to develop a codebook and then organized these into larger categories.32,33

결과

Results

1단계: 감독자 인터뷰 분석 및 사례 개발

Phase one: Analysis of supervisor interviews and development of exemplars

초기, 개발 및 경험 많은 감독자의 차이는 신뢰 결정에 사용되는 데이터, 감독 접근 방식, 감독 지침의 관점, 임상 경험의 네 가지 영역에서 발생했다(그림 1). ES, DS, XS의 행동은 연속체를 나타냈고, 감독관, 연습생 또는 상황에 따라 연속체를 따라 움직이는 것이 가능할 것 같았다. "경험 있는" 감독관들의 특징을 주로 보여준 감독관들은 모두 어텐딩이었다. 4개 도메인의 주요 차이점은 그림 1에 설명되어 있으며, 표 1에는 대표적인 인용문이 수록되어 있다.

Differences among early, developing, and experienced supervisors occurred in four domains: data used to determine trust, approach to supervision, perspective to guide supervision, and clinical experience (Figure 1). Behaviors of early, developing, and experienced supervisors represented a continuum, and movement along the continuum seemed possible based on the supervisor, trainee, or context. All supervisors who predominantly demonstrated characteristics of “experienced” supervisors were attendings. The key differences in the four domains are described in Figure 1, with representative quotes in Table 1.

• ES 초기 감독관들은 업무 완성에 세밀하게 집중하는 경향이 있었다. 

• DS 중견 감독관들은 것은 훈련생들의 기술과 능력에 초점을 맞추었다. 

• XS 숙련 감독관들은 연습생들의 자질과 행동을 총체적으로 강조했다. 

Early supervisors tended to granularly focus on task completion, and 

developing supervisors focused on trainees’ skills and abilities, whereas 

experienced supervisors holistically emphasized trainees’ qualities and behaviors. 

• ES 초기 감독관들은 더 많은 감독을 하는 실수를 저질렀다.

• DS 중견 감독관들은 연수생들의 기량에 맞춰 감독한다

• XS 숙련 감독관들은 종종 상당한 자율권을 부여했다. 

Early supervisors erred toward more supervision, 

developing supervisors tailored supervision toward trainees’ skills, and 

experienced supervisors often granted significant autonomy. 

• ES 초기 감독관의 관점은 주로 연습생으로서 자신의 역할에 의해 inform 되었다. 

• DS 중견 감독관은 자신의 ES 초기 감독관 시절의 경험을 성찰하였다 

• XS 숙련 감독관들은 제도적인 지식과 전반적 경험을 활용하여 감독하였다. 

Early supervisors’ perspective was informed primarily by their role as trainees. 

Developing supervisors reflected on their early supervisor experience, while 

experienced supervisors drew on institutional knowledge and global experience to inform supervision. 

마지막으로, 감독자 자신의 임상적 확실성이 감독에 대한 접근방식을 조정했다.

Finally, supervisors’ own clinical certainty mediated their approach to supervision.

이러한 발견에 기초하여, 우리는 단계 2 포커스 그룹에 대해 3개의 감독자 예시(초기, 개발 및 경험 있는 감독자)를 생성했다(차트 1)

On the basis of these findings, we generated three supervisor exemplars (early, developing, and experienced supervisors) (Chart 1) for the phase two focus groups.

2단계: 교육자 포커스 그룹

Phase two: Trainee focus groups

우리가 개발한 세 가지 모범 사례는 연습생들의 경험과 부합하였다.

The three exemplars we had developed resonated with trainees’ experiences.

훈련생들은 학습에 도움이 되지 않는 네 번째 희귀한 예시를 발견했다. 이는 신뢰에 관계없이 상당한 자율권을 부여하는 감독관 이다. 훈련생들은 이러한 네 번째 접근법을 교육이나 환자 치료에 대한 감독관의 관심 부족이나 시간 부족 탓으로 돌렸다. 그들은 이것이 감독관의 nonclinical obligation 때문이라고 추측했다. 연습생 학습을 위한 각각의 예시들에 대한 인식된 장단점이 그림 2에 설명되어 있다.

Trainees identified a fourth uncommon exemplar that was unhelpful for their learning: the supervisor who grants significant autonomy irrespective of trust. Trainees attributed this fourth approach to supervisors’ lack of interest in or time for education or patient care. They conjectured that this was due to supervisors’ nonclinical obligations. The perceived pros and cons of each exemplar for trainees’ learning are depicted in Figure 2.

시간이 지남에 따라 연습생 선호도 및 학습 요구도 변화.

Shifting trainee preference and learning needs over time.

훈련생들은 감독에 대한 선호도가 [학습 요구에 기반하여, 시간이 지남에 따라 바뀐다]는 데 동의했다. 

Trainees agreed that their preferences regarding supervision changed over time based on their learning needs. 

훈련 초기에, 많은 이들은 환자 치료의 어떤 측면에 주의를 기울여야 하는지 그리고 다른 시스템을 탐색하는 방법을 그들에게 가르쳐 줄 수 있는 좀 더 세밀한 감독관으로부터 배우기를 선호했다. 연습생들이 자신감을 얻으면서 그들은 더 많은 자율성을 원했다. 1년차 전공의들은 올해 초 약물 복용과 빈도, 어떤 검사를 오더할지 등 세심한 관리를 요구했다고 회상했다. 또한 업무 우선순위화, 메모 작성 시기, 상담 전화 방법, 병원 시스템 내에서 탐색하는 최선의 방법 등 간단한 워크플로우 전략을 익히는 것을 중시했다. 점차 작업에 익숙해지면서, 이러한 과제에 자율성을 원했고, (임상 문제에 접근하고 환자의 치료 계획에 다음 단계를 예상하는 방법 등) 더 많은 임상 의학을 배우는 것을 중요시했다. 

Early in training, many preferred to learn from more detail-oriented supervisors who could teach them what aspects of patient care to pay attention to and how to navigate different systems. As trainees gained confidence, they desired more autonomy. First-year residents recalled desiring close supervision of details of care early in the year, such as medication dosing and frequency or which labs to order. They also valued learning simple workflow strategies, such as task prioritization, when to write notes, how to call a consult, and best ways to navigate within the hospital system. As they gained comfort, they desired autonomy in these tasks and valued learning more clinical medicine, such as how to approach clinical problems and anticipate next steps in patients’ care plans. 

이와 유사하게 2, 3년차 수련생들은 환자관리결정에 대한 면밀한 감독을 바란다는 것을 일찍부터 표명했고, 임상 의사결정 과정과 환자의 입원목표에 있어서 주치의들의 사고과정을 듣는 것에 감사했다. 임상적 의사결정에 대한 편안함이 증가함에 따라, 이 2, 3년차 수련생들은 환자 치료와 자기 주도적 학습을 지도하는 데 있어 더 많은 독립성을 원했다. 그들은 곧 레지던트를 완료하고 감독 없이 연습할 것이라는 점에 주목하면서 supervisor를 컨설턴트로 사용하는 것을 선호했다. 1, 2, 3학년 수련생들은 모두 신뢰에 기초한 자율성을 부여받고 싶다고 강조했다. 그들은 감독관이라는 "안전망" 안에서 독립적으로 문제를 생각할 기회를 갖고, 뒤에서 이중 점검받는 것에 대해 높이 평가하였다.

Similarly, second- and third- year trainees expressed desire for close supervision of management decisions early on and appreciated hearing their attendings’ thought processes in clinical decision making and goals of patients’ hospitalization. With growing comfort in making clinical decisions, these second- and third-year trainees desired more independence in directing patient care and self-directed learning. They preferred to use their supervisors as consultants, noting that soon, they would complete residency and practice without supervision. First-, second-, and third-year trainees all emphasized wanting to be granted autonomy based on trust. They appreciated the opportunity to think through problems independently with the “safety net” of supervisors double-checking things in the background.

감독관의 훈련된 기대.

Trainee expectations of supervisor.

훈련생들은 감독관들이 [자율성과 감독] 사이에서 올바른 균형을 부여할 것으로 기대했다. 그들은 환자 치료에 투자되어 필요할 때 직접 진료를 할 수 있는 지식과 기술을 가진 관리자들을 원했다. 그들은 감독관들이 미리 기대와 목표를 논의할 시간을 정하고, 그들의 능력과 선호도에 대한 정확한 평가에 맞춰 그들이 제공하는 자율성에 대해 신중해지기를 원했다. 그들은 개방적인 의사소통, 유연성, 그리고 환자에 대한 공동의 책임 의식이 적절한 관리 수준을 달성하는 데 중요하다고 표현했다.

Trainees expected supervisors to grant the right balance of autonomy and supervision. They desired supervisors who were invested in their patients’ care and had the knowledge and skills to direct care when needed. They wanted supervisors to set aside time to discuss expectations and goals up-front, and be deliberate about the autonomy they afforded, adjusted to an accurate assessment of their competence and preferences. They expressed that open communication, flexibility, and a sense of shared responsibility for patients were crucial to achieving the right amount of supervision.

연습생 선호와 감독자 접근방식의 불일치 함의.

Implications of mismatch between trainee preference and supervisor approach.

훈련생들은 대부분 감독관들과 긍정적인 업무 관계를 공유했다. 그러나 감독관과 훈련생들의 자율에 대한 인식의 불일치는, [특히 그들이 과도하게 감독받는 것을 인지했을 때], 훈련생들에게 불안감, 원망, 학습 의욕의 결여, 저평가되는 느낌을 야기시켰다. 

Trainees mostly shared positive working relationships with their supervisors. However, discordance between supervision and trainees’ perception of their readiness for autonomy, particularly when they perceived oversupervision, created trainee feelings of insecurity, resentment, lack of motivation for learning, and being undervalued. 

세부사항에 대한 감독자가 지나치게 신경쓸 경우, 흔히 회진과 체크인에서 비효율과 불필요한 중복이 발생하고, 근무시간이 더 길어지며, 환자 케어가 딜레이되는 원인이 된다고 강조했다. 연습생들은 더 많이 일하지만 덜 배운다고 느꼈다. 

A supervisor’s excessive attention to detail was commonly and emphatically cited as causing inefficiencies and redundancies with rounding and checking in, longer workdays, and delays in patient care; trainees felt they worked more but learned less. 

반대로, 감독이 부족하다고 느꼈을 때, 훈련생들은 환자 관리의 모든 측면에 대한 책임감에 압도되었다. 이러한 상황은 졸업 근처의 3년차 레지던트가 감독할 때 인턴십이 시작될 때 발생하는 것으로 여러 명의 1년차 연수생들에 의해 언급되었다.

When they felt undersupervised, trainees became overwhelmed by the responsibility for all aspects of patient care. This situation was mentioned by several first-year trainees as occurring at the start of an internship when supervised by a third-year resident near graduation.

건설적인 피드백을 제공하는 과제

Challenges providing constructive feedback.

감독관이 선호하는 방식과 다르게 감독하는 상황을 어떻게 대처하느냐는 질문에, 훈련생들은 감독을 바꿀 힘이 없다고 느끼는 경우가 많았다. 그들의 상사와 함께 일하는 짧은 시간은 그들의 상사의 스타일에 적응하거나 받아들이기 전에 피드백을 제공할 기회를 찾기가 어렵게 만들었다. 상사를 불쾌하게 하거나 피드백을 너무 개인적인 느낌으로 받을까 두려움이 있는 경우 피드백을 주는 것을 단념하게 되었다. 훈련생들은 감독관의 [변화에 대한 (낮은) 개방성]에 대해서도 우려를 표시했다.

When asked how they dealt with situations where supervisors were supervising differently than how they preferred, trainees often felt powerless to change this supervision. The short amount of time working with their supervisors made it hard to find opportunities to provide feedback before adapting to or accepting their supervisor’s style. Fear of offending their supervisor or having the feedback feel too personal dissuaded them from providing feedback. Trainees also expressed concerns about supervisors’ openness to change.

고찰

Discussion

전공의와 주치의는 신뢰와 감독에 대한 접근방식에서 자연스럽게 진화하는 것 같다. 훈련자는 감독자의 경험과 관련된 감독 접근방식의 차이를 쉽게 인지했다. 감독 접근방식은 역량 자체 평가에 근거한 연습생 자신의 선호도와 항상 일치하지는 않았다. 훈련생들은 [자신의 학습을 촉진하기 위해] Supervision에서의 유연성과 개별화된 접근법을 원했다.

Resident and attending supervisors seem to evolve naturally in their approach to trust and supervision. Trainees readily perceived differences in supervisory approaches related to their supervisors’ experience; supervisory approaches did not always align with trainees’ own preferences based on self-assessment of competence. Trainees desired flexibility and an individualized approach to supervision to promote their learning.

우리의 연구는 다른 사람을 믿을 수 있게 되기 전에, 임상적으로나 감독자로서 경험과 신뢰를 쌓아야 하는 감독관의 중요성을 강조한다. 드레퓌스의 전문성 개발 모델과 다른 분야의 감독자 개발에 관한 문헌에서와 마찬가지로 우리의 

• 초보 임상 감독자들은 신뢰에 대한 체계적이고 규칙적인 접근법에서 출발하는 것 같았다.25–27 초보 감독관은 [연습생의 성향이나 맥락]보다 [자기자신의 편안함과 선향]이 신뢰 결정을 지배했다. 시간이 흐르고 성찰을 해나가면서 감독자들은 엄격한 루틴보다 [패턴 인식과 직관]을 더 따르게 되었고, 그 결과 훈련생 자율성에 더 큰 유연성을 허용했다. 

• 중견 감독관이나 숙련된 감독관은 훈련자 자율성과 환자 안전 사이의 균형을 최적화하기 위해 신뢰에 영향을 미치는 4가지 요인(훈련자, 상황, 관계 및 과제)에 근거하여 신뢰와 감독을 맞춤화하는 것 같았다.9,25

Our study highlights the importance of supervisors needing to gain experience and trust in oneself, both clinically and as supervisors, before being able to trust others. Just as in Dreyfus’s model for expertise development, and in literature on supervisor development in other fields, 

• our novice clinical supervisors seemed to start with a systematic, rule- based approach to trust.25–27 Their own comfort and preferences dominated trust decisions, rather than trainee preference or context. With time and through reflection, supervisors were guided more by pattern recognition and intuition than rigid routines, allowing greater flexibility in trainee autonomy as appropriate. 

• Developing and experienced supervisors seemed to tailor their trust and supervision based on the other four factors influencing trust (trainee, context, relationship, and task) to optimize the balance between trainee autonomy and patient safety.9,25

감독관의 발달 궤적과 연습생 역량 수준에 적응하는 능력은 연습생 학습에 큰 영향을 미친다. trainee에서는 반복적으로 [준비가 되기 전에는 그렇지 않다가, 준비가 되었다고 느끼자마자, 자율성을 희망]하는 양상이 나타나는데, 이는 자기결정 이론으로 설명할 수 있다. 훈련생들은 자율성, 역량, 관련성에 대한 열망에 의해 동기 부여된다. 즉, 자율적으로 적절한 임상적 결정을 함으로써 자신감과 역량을 기르고 의료계에서 의사로서 가치가 있다고 느낀다.

Supervisors’ developmental trajectory and ability to adapt to their trainee’s level of competence have significant implications for trainee learning. The recurrent theme of our trainees desiring autonomy as soon as they felt ready, but not before, can be explained by self-determination theory: Trainees are motivated by a desire for autonomy, competence, and relatedness—by making appropriate clinical decisions autonomously, they develop confidence and competence and feel like they are valued as physicians in the medical community.37,38 

"좋은" 임상 감독자에 대한 최근 문헌 검토에 따르면, 관계(감독관이 연습생과 parter with 할 수 있는 능력)는 적절한 활동을 할 수 있도록 하고 의료계 실무진 진입을 용이하게 하기 위한 중요한 첫걸음이다.23 이러한 관계를 가능하게 하기 위해, (우리가 상사와 연습생 모두에게 들은 일관된 메시지는) 감독관이 훈련생들의 필요에 맞춰 신뢰와 감독을 조정할 수 있는 유연한 목표를 가지고, (trainee의) 기대expectation에 대해 논의하고 감독에 대한 피드백을 받고자 하는 것이다. 

Based on a recent literature review on “good” clinical supervisors, relationship—the ability for the supervisor to partner with their trainee—is a critical first step to allowing trainees opportunities to engage in appropriate activities and facilitating their entry into the medical community of practice.23 To enable this relationship, one consistent message we heard from supervisors and trainees alike is the desire to discuss expectations and receive feedback about supervision, with the goal of supervisor flexibility in tailoring their trust and supervision to trainee needs. 

그러나, 훈련생들은 (그들이 더 많은 자율성을 원할수록), 감독관들에게 [감독에 대한 건설적인 피드백]을 제공할 수 있는 empowerment를 느끼지 못했다. 그 이유는 이전에 설명한 현상인 이 피드백의 위계적 및 개인적 특성에 뿌리를 두고 있다. 참가자들은 또한 짧은 감독자 훈련 시간과의 로테이션식 학습 구조가 요인이라고 말했다. trainee와 supervisor가 피드백을 하게 되는 때는, 그것은 그들이 함께 일하는 시간이 끝나는 때였다.

However, trainees did not feel empowered to provide constructive feedback to their supervisors about their supervision, particularly when they desired more autonomy. Reasons cited were rooted in the hierarchical and personal nature of this feedback, a phenomenon previously described.39 Participants also implicated that the rotational learning structure with short supervisor–trainee contact time was a factor40; by the time trainee and supervisor engaged in feedback, it was the end of their time working together.

이전 작업에서 강조된 두 가지 중요한 요소인 맥락과 직무task의 역할은 감독자와 서로 얽혀 있다.19,20 초기 감독자는 상황에 관계없이 모든 연습생에 대한 높은 수준의 감독을 지향하는 경향이 있는 반면, 경험 있는 감독자는 연습생 자신뿐만 아니라 연습생에 기초한 감독을 조정한다. 맥락과 직무에 관하여 훈련생들은 자율성을 위한 기회를 중시했고, 특히 급성도가 낮은 환자에 대한 과잉감독에 부정적인 반응을 보였으며, 반대로 [환자가 바쁘거나 예민하거나 복잡할 때에는] 환자진료에 대한 감독자의 감독과 지침을 높이 평가하였다. 

The roles of context and task, two significant factors to trust emphasized in previous work, are intertwined with the supervisor factor.19,20 While early supervisors tend to err toward high levels of supervision for all trainees regardless of context, experienced supervisors tailor their oversight based not only on the trainees themselves but also on context and task. Trainees valued opportunities for autonomy and reacted negatively to oversupervision, particularly with lower-acuity patients, and conversely appreciated greater supervisor oversight and guidance in patient care when they were busy or when patients were high in acuity or complexity. 

이러한 발견은 [임상교육현장의 맥락에서, 특정 환자 치료 활동과 해당 활동에서, 훈련자 역량에 기초하여 숙고하여deliberately 의사결정 내려야 하는 교육적 중요성]을 강조함으로써 EPA에 관한 여러 연구들을 보완한다.7 우리의 연구결과는 초기 감독관들이 컨텍스트나 연습생 능력에 근거하여 신뢰와 감독을 적응시킬 준비가 되어 있지 않을 수 있다는 것을 암시한다. 초기 감독자의 감독 적응 능력을 향상시키기 위한 교육을 제공하는 방법에 대한 추가적인 연구가 도움이 될 수 있다.

These findings complement the growing work on EPAs by emphasizing the educational importance for trust decisions to be made deliberately based on specific patient care activities and trainee competency in that activity, all in the context of the clinical workplace.7 Our findings suggest that early supervisors may not be as ready to adapt their trust and supervision based on context or trainee competence. Further exploration of ways to provide training for early supervisors to enhance their ability to adapt their supervision could be helpful.

감독관 체험이 신뢰와 감독뿐 아니라 훈련생들의 학습과 만족도에 어떤 영향을 미치는지에 대한 우리의 연구 결과는 다음의 실용적 함의가 있다. 

Our findings on how supervisor experience influences trust and supervision as well as trainees’ learning and satisfaction yield practical implications. 

첫째로, supervisor training은 감독자들이 팀 지도자의 역할을 더 의식적으로 성찰하고, 연습생들의 필요에 적합한 신중하고 유연한 감독을 제공하는 데 도움이 될 수 있다. 초기 감독관들은 (자신이) 너무 가까이서 감독하는 잠재적인 경향이 있을 수 있다는 것을 예상도록 배우고, 연습생들의 요구에 더 일찍 그들의 감독을 맞춤화하는 것을 배울 수 있을 것이다. 시니어 감독관들은 임상 전문가가 언제나 감독 전문가는 아니며, 자율성은 모든 사람에게 주어지는 것이 아니라, 스스로 얻어내야 하는 것임을 상기시킬 수 있다.

• First, supervisor training could help supervisors engage more consciously in reflecting on their team leadership role and providing deliberate, flexible supervision appropriate for trainees’ needs. Early supervisors could learn to anticipate a potential tendency to supervise too closely and learn to customize their supervision to trainees’ needs earlier. Senior supervisors might benefit from reminders that expert clinicians are not always expert supervisors, and autonomy should be earned, not given to all.27 

둘째, 연습생들은 기술 워크샵, 역할 놀이 또는 시뮬레이션을 통해 "상향식 관리manage up" 방법을 학습함으로써 이익을 얻을 수 있다. 훈련생들은 또한 감독관들이 그들의 요구를 해결하는 것을 돕기 위해 처음 함께 일하기 시작할 때 감독관들과 솔직한 자기 평가를 나누는 것을 배울 필요가 있다. 연습생들이 supervision practice에 대해 [[연습생과 감독자의 관계]를 강조하는 건설적인 피드백을 주는 전략]은 연습생들이 이러한 토론에 참여하기를 주저하는 것을 극복하는 데 도움이 될 수 있다. 

• Second, trainees may benefit from learning how to “manage up,” perhaps through skills workshops, role-playing, or simulation. Trainees also need to learn to share honest self-assessments with their supervisors when they first start working together to help supervisors address their needs. Strategies for trainees to give constructive feedback on supervision practices that emphasize the relationship between trainee and supervisor could help overcome trainees’ hesitance to engage in these discussions. 

마지막으로, 의료 교육자는 [선호도나 요구에 근거한 의도적인 감독자 연습생 짝짓기]가 학습을 강화하는지, 아니면 [종단적 감독자 훈련자 관계]가 연습생 성장을 위한 기회를 개선할 수 있는지를 탐구할 수 있다.

• Lastly, medical educators can explore 

• whether deliberate supervisor– trainee pairings based on preferences or needs enhance learning, or 

• whether more longitudinal supervisor–trainee relationships can improve opportunities for trainee growth.

9 Hauer KE, Ten Cate O, Boscardin C, Irby DM, Iobst W, O’Sullivan PS. Understanding trust as an essential element of trainee supervision and learning in the workplace. Adv Health Sci Educ Theory Pract. 2014;19:435–456.

프로그램적평가의 이론적 고려사항(Med Teach, 2020)

Theoretical considerations on programmatic assessment

Dario M. Torrea, L. W. T. Schuwirthb and C. P. M. Van der Vleutenc,d

도입

Introduction

PA(Programmatic assessment)는 평가를 시스템이나 프로그램 전체로 보는 평가 접근방식이다(Van der Vleuten and Schuwirth 2005). 최적의 건설적 정렬을 달성하기 위해 의도적인 방법 조합을 사용한다(Bigs 1996). PA의 각 개별 평가는 전형적으로 학습에 최적화된 데이터 지점일 뿐이다. 즉, 데이터 포인트당 합격/불합격 결정이 이루어지는 것이 아니라, 데이터 포인트 간에 충분한 정보를 수집한 후에야 통과/실패 결정을 의미한다. PA에서는 주기적으로 성찰과 자기조절학습이 촉진되는데, 이는 데이터 포인트에서 얻은 정보에 대해 정기적으로 진척 상황을 논의하는 코치(실적 데이터를 수집하여 사용하는 교수진)와 논의하기 때문이다. 충분한 데이터가 수집된 후에야, 일반적으로 (독립적) 평가위원회 형태에서 총괄적 결정이 이루어진다(PA의 핵심 측면에 대한 개요는 표 1 참조). 거의 모든 경우에서 PA는 이른바 학습을 위한 평가AfL라는 철학과 연관되어 있다.

Programmatic assessment (PA) is an approach to assessment in which assessment is seen as a system or a program as a whole (Van der Vleuten and Schuwirth 2005). It uses a deliberate mix of methods to achieve optimal constructive alignment (Biggs 1996). Each individual assessment in PA is merely a data point which is typically optimized for learning. This means that pass/fail decisions are not taken per data point, but only after enough information across data points has been collected. In PA, self-regulated learning is promoted by periodic reflection by the learners on the information received from the data points and with coaches (faculty members who gather and use performance data to stimulate and support students in managing their learning) who regularly discuss the learner’s progression. Only when sufficient data are collected, a summative decision is taken, usually in the form of an (independent) committee of assessors (see Table 1 for an overview of the core aspects of PA). In almost all cases, PA is associated with a so-called assessment for learning philosophy (Schuwirth and Van der Vleuten 2011).

그러나 PA의 이론적 기반은 명확하게 설명되지 않았다.

However, the theoretical underpinnings of PA have not been clearly described.

• 첫 번째 그리고 가장 분명한 이유는 다른 과학 영역과 마찬가지로 의학 교육 뒤의 과학은 이론과 그에 뒤따르는 가설에 대한 실험적인 테스트를 통해 발전하기 때문이다. 

• 또 다른 중요한 이유는 이론이 연구 결과를 이해하는데 중요하며, 특정 현상이 발생하는 이유를 이해하면 교육자들이 한 교육적 맥락에서 다른 교육적 맥락으로 연구 결과를 적용adapt할 수 있다는 것이다(Cianciolo et al. 2013).

• The first and most obvious reason is that, like any scientific domain, the science behind medical education progresses through experimental testing of theories and their ensuing hypotheses. 

• Another important reason is that theories are important for making sense of research findings and that understanding why certain phenomena occur allows educators to adapt research findings from one educational context to another (Cianciolo et al. 2013).

우리는 여기서 경고할 것이 있다. 이 글의 목적은 특정 이론이 PA의 교리를 설명하는데 다른 이론보다 낫다고 주장하는 것이 아니다.

We want to express a caveat here. The purpose of this article is not to argue that one particular theory is better than others to explain the tenets of PA.

프로그래밍 방식 평가: 모델

Programmatic assessment: The model

1. 교육활동은 일련의 [학습과제]를 수반하며, 교육설계원칙에 근거한 커리큘럼을 만드는 데 기여하는 방식으로 정비된다.

1. Training activities involve a series of learning tasks and are arranged in such a way that they contribute to create a curriculum based on principles of instructional design

2. [평가 활동]은 학습자에게 의미 있고 지속적인 학습과 성장을 지원하도록 설계된다. 그들은 교사에게 다양한 평가 방법에서 얻은 복수의 평가 데이터 포인트를 제공한다.

2. Assessment activities are designed to be meaningful to the learner and to support ongoing learning and growth. They provide the teacher with multiple assessment data points from a wide array of assessment methods.

a. 평가자의 주요 임무는 각 데이터 지점의 정보를 활용하여 학습자에게 피드백을 제공하고, 또한 이전 평가 정보에 기초하여 학습자의 진행 상황에 대한 결정을 내리는 것이다. 저부담 데이터포인트 정보는 평가자에 의해 나중에 활용될 수 있다.

a. The main task of the assessor is to provide feedback to the learner by utilizing the information from each data point and to make a decision about the progress of the learner also based on previous assessment information. Low-stake data point information can be later utilized by the assessor.

b. 평가와 훈련training 활동은 매우 밀접하게 연관되어 있으며 때로는 같을 수도 있다. 대부분의 평가 과제는 개발적이지만 숙달 지향적인 것도 있다. 숙달 지향적 과제는 보통 고부담이지만, 그것은 여전히 피드백의 기회가 있으며, 저부담 활동과는 완전히 관련이 없거나 영향을 받지 않을 수 있다.

b. Assessment and training activities are very closely interrelated and sometimes, they may be the same. Most assessment tasks are developmental but some are mastery-oriented. A mastery-oriented task is high stakes, but it does still constitute an opportunity for feedback and may not be completely unrelated or unaffected by low-stakes activities.

3. 따라서 평가 활동은 종단적 방식으로 이루어진다. PA에는 지속적으로 정보를 수집하는 과정이 있으며(공식적 평가를 통해 이뤄지거나, 비공식적/공식적 피드백을 통해 이뤄진다), 정기적인 성찰과 교수/코치와의 미팅을 진행한다. 학습자의 피드백 수행enactment은 평가의 필수적인 부분이다.

3. Assessment activities happen therefore in a longitudinal fashion. There is a continuous process of collecting information – either through formal assessments or through informal and formal feedback – in a dossier or portfolio with periodic reflections and meetings with a faculty member/coach. The enactment on feedback by the learner is an integral part of the assessment.

4. 지원활동에는 성찰적 학습과 자기조절학습이 포함된다. 학습자는 학습 및 평가 활동의 정보에 기초하여 성찰적 학습을 수행한다. 자기조절학습은 학생을 지도하고 멘토링하는 교직원의 서포트를 받는다. 사회적 상호작용은 성찰활동과 자기조절 학습을 위한 비계scaffold를 제공한다.

4. Supporting activities include reflective and self-regulated learning. Reflective learning performed by learners is based on information from learning and assessment activities. Self-regulated learning is supported by faculty through students’ coaching and mentoring. Social interaction provides a scaffold for reflective activities and self-regulated learning.

5. 중간 및 최종 평가는 연속체에 걸친 훈련과 평가 활동 전반에 걸쳐 교차하는 의사결정 지점이다. 중간 평가는 교정조치 지향적remediation-oriented이며, 학습을 위한 정보가 풍부한 권장사항을 제공하며, 학습자의 종단적 개발을 목표로 한다.

5. Intermediate and final evaluations are decision points interspersed throughout training and assessment activities across the continuum. Intermediate evaluations are remediation-oriented, provide information-rich recommendations for learning, and are aimed at the longitudinal development of the learner.

6. 최종 평가는 학습자가 프로그램을 진입/진학할progress 수 있는지 또는 종료해야 하는지 여부를 결정한다는 목표를 가진 고부담 결정이다. 복수의 데이터 포인트와 중간 평가의 정보를 활용하여 판단을 내리는 전문가 위원회에 의해 달성된다(Van der Vleuten et al. 2012).

6. The final evaluation is a high-stakes decision with the goal of determining whether the learners can progress in the program or should exit. It is achieved by a committee of experts who make a judgment utilizing information from multiple data points and intermediate evaluations (Van der Vleuten et al. 2012).

이론적 특

Theoretical frameworks

PA 기본원칙: 의미 구축

Fundamental PA principle: Meaning making

PA에서 의미와 의미구축이 중심적인 역할을 한다. PA 의미구축에서, 학습자는 자신이 이용할 수 있는 모든 정보를 분석하고 삼각측량하여 특정한 장점과 약점을 식별하도록 요구되거나, 그렇게 할 동기를 부여 받는다. 그 결과 학습자는 정보의 의미를 적극적으로 구축하고, 자신의 성과를 새롭게 파악하며, 향후 학습을 위한 구체적인 계획을 설계한다. 

Meaning and meaning making play a central role in PA. In PA meaning making, learners are required or incentivized to analyze and triangulate all information available to them, identifying specific strengths and weaknesses. As a result, learners actively construct meaning of the information, develop a new understanding of their performance, and design concrete plans for future learning. 

평가 방법에 걸쳐 정보를 삼각측량할 수 있도록 교사와 학습자는 정보가 결합합으로써 의미를 파악할 수 있어야 한다. 이는 임상의사가 병력청취와 신체검사 결과(Tweed and Wilkinson 2019)를 결합하여 의미를 파악하는 것과 비슷하다. 의미구축은 또한 건설적인 피드백의 제공과 유용하고 실행 가능한 학습 목표의 형성에 중요하다. 몇 가지 이론은 왜 이것이 더 나은 판단과 더 나은 학습으로 이어질 수 있는지를 뒷받침한다.

In order to be able to triangulate information across assessment methods, the teacher and learner must be able to see meaning in the way the information is combined – much like a clinician sees meaning in combining a lab result with a history taking response and a physical examination finding (Tweed and Wilkinson 2019). This meaning making is also important for the provision of constructive feedback and the formulation of useful and actionable learning goals. Several theories underpin why this would lead to better judgments and better learning.

설명 이론: 구성주의자 및 사회적 구성주의자

Explanatory theories: Constructivist and social constructivist

[구성주의적 접근법]에서 학습은 능동적인 의미 생성 과정으로 간주된다. 학습은 미래의 문제 해결을 위해 지식을 보유하고 접근하기 위해 내부적으로 구성되어야 한다. 이 이론은 더 많은 지식과 이해는 '구성construction'이라고 기술하고 있는데, 이것은 학습자가 기존의 지식과 이해에 기반하여 적극적으로 구축되어야 하고 따라서 수동적으로 획득되지 않는다는 것을 의미한다. 학습은 또한 이해관계자(학습자와 교사)와 교사들 사이의 사회적 활동이다(Dewey 1938; Bruner 1960; Vygotsky 1978; Bruner 1986). 따라서 [효과적인 학습이라는 목적을 가진 상호작용]은 이해관계자들 사이의 shared meaning making에 달려 있다.

In a constructivist approach, learning is seen as an active process of meaning making, positing that knowledge has to be constructed internally in order to be retained and accessible for future problem-solving. The theory states that further knowledge and understanding are constructions, which means that they have to be actively built on existing knowledge and understanding and are therefore not acquired passively. Learning is also seen as a social activity between stakeholders (learners and teachers) and teachers facilitate and support students’ active involvement with the material (Dewey 1938; Bruner 1960; Vygotsky 1978; Bruner 1986). Interaction with the purpose of effective learning thus depends on shared meaning making between the stakeholders.

사회적 구성주의는 인지 발달과 깊은 이해에서 [사회적 과정의 가치]를 강조한다. 다른 사람들과의 결정적 상호작용은 기존 지식에 대한 새로운 지식의 구축을 촉진할 뿐만 아니라 학습자들이 그들의 이해를 구성하고 재구성하도록 한다. 따라서 그들은 사회적이고 협력적인 환경을 통해 학습된 지식과 이해에 대한 다양한 의미 있는 관점을 만들어 낸다. 따라서 학습 과정의 협력적 성격과 문화적 사회적 맥락의 중요성을 강조한다. 인지 과정의 강화는 사회적 상호작용에서 비롯되고, 사회적 상호작용의 결과다. 학습은 [학습자에 의한 새로운 지식의 동화]일 뿐만 아니라 학습은 [학습자가 지식 공동체로 통합되는 과정]이기도 하다(Vygotsky 1978; Bruner 1986). 따라서 의미 부여와 의미 있는 상호작용은 이러한 프로세스의 필수불가결요소이다.

Social constructivism stresses the value of the social process in cognitive development and deep understanding. The critical interactions with others not only facilitate the building of new knowledge on existing knowledge but also make the learners construct and reconstruct their understanding. Thus, they create various meaningful perspectives on the learned knowledge and understanding through a social and collaborative setting. It emphasizes, therefore, the collaborative nature of learning and the importance of the cultural and social context in the learning process. This strengthening of cognitive processes originates in and is the result of social interactions. Learning is not only the assimilation of new knowledge by learners, but it is also the process by which learners become integrated into a knowledge community (Vygotsky 1978; Bruner 1986). Meaning making and meaningful interaction are therefore sine qua nons for these processes.

기본 PA 원리: 종단성

Fundamental PA principle: Longitudinality

PA에서도 학습자의 진행 상황에 대한 정보를 종단적으로 수집하는 접근법은 중요하다. 그것은 더 긴 기간 동안의 평가 참여가 가능하게 하며, 스냅숏보다는 더 많은 장면을 제공한다. 또한, 의사결정의 부담이 데이터의 신뢰성, 풍부성 및 견고성에 비례해야 하는 비례성 원칙(Schuwirth et al. 2017)이 있다. 이 원칙에 따르면, 오랜 시간 동안 평가에 참여한다면prolonged engagement, 여러 평가의 데이터 포인트를 수집하고 수집하는 데 더 많은 시간을 사용할 수 있고, 고부담 의사결정에 대한 이해관계자 수가 늘어날 것이다. 그리고 평가 피드백이 이전의 피드백에 기반하여 구축build on될 수 있도록 한다.

The approach to collect information about the learner’s progress longitudinally is important in PA as well. It provides a longer assessment engagement and thus more of a movie rather than a snapshot. Further, in accordance with the principle of proportionality (Schuwirth et al. 2017)in which the stakes of the decisions have to be proportional to the credibility, richness, and robustness of data, prolonged engagement allows for more time to collect and collate multiple assessments’ data points and greater stakeholder numbers in relation to high stakes in decision making and it enables the assessment feedback to better build on previous feedback.

설명 이론: 구성주의자 및 사회 구성가

Explanatory theories: Constructivist and social constructivist

듀이(1938년)는 수십 년 전, 모든 경험은 이전의 경험에 의해 형성되고 '어떤 식으로든 다음에 오는 경험의 질을 변화시킨다는' [경험의 연속성]의 원리를 기술했다(p. 27). 연속성의 원칙에 기초하면, 효과적인 교육은 지속적인 성장의 과정으로 간주되고 경험의 질은 이후의 경험에 영향을 미치는 방법으로 의도된다. 따라서 경험의 연속성의 원칙은 지속적인 학습을 지원하기 위해 평가, 훈련 및 지원 활동을 배치하는 PA의 중요한 측면이다.

Dewey (1938), many decades ago, described the principle of continuity of experience in which every experience is shaped by the previous experience and ‘modifies in some ways the quality of those which come after’ (p. 27). Based on the principle of continuity, effective education is seen as a process of continuous growth and the quality of the experience is intended as a way to influence later experiences. The principle of continuity of experience is therefore an important aspect of PA in which assessment, training, and supporting activities are arranged to support ongoing learning.

이것은 비고츠키(1978년)와 푸에르슈타인 등의 작업에 의해 더욱 지원되며(2002년), 여기서 핵심은 정적 평가와 반대되는 동적 평가 개념이다. 동적 평가는 assisted performance를 통한 학습자의 미래 발전을 목표로 한다. 그것은 단순히 학생이 특정 시점에 무엇을 할 수 있느냐(배움의 관점에 대한 더 많은 평가)가 아니라, 학생이 피드백과 도움(배움에 대한 평가)에 어떻게 대응할 수 있느냐에 대한 것이다. 그러므로 강조되는 것은 과거에 배운 것이 아니라 현재와 미래에서 배울 수 있는 것에 있다. 

This is further supported by the work of Vygotsky (1978) and Feuerstein et al. (2002) in which the concept of dynamic assessment, opposed to static assessment, is central. Dynamic assessment aims at the future development of the learner through a process of assisted performance. It is not merely about what the student can do at a certain point in time (more an assessment of learning perspective) but how the student could respond to feedback and assistance (assessment for learning). The emphasis is therefore not on what has been learned in the past but on what can be learned in the present and the future. 

현대 교육에서, 이것은 불가능한 기대가 아니다; 평생학습에 대한 기대가 증가함에 따라, 우리는 – 행동주의자와 같은 방식의 – 통제는 졸업으로 끝나며, 대학의 사회에 대한 책임은 졸업과 함께 시작된다는 것을 깨닫는다. ...다음의 것들은 [사회적 학습 맥락에서 발생하는, 사회 구성주의 이론적 프레임워크에 기반을 둔] PA의 요소 중 하나이다.

• 학습자에게 피드백을 지속적으로 전달하며, 학습을 지원하고 만들기 위한 평가 활동의 배치

• 학생들을 지도하고 지도하는 교육자  역할

• 고부담 또는 저부담 결정을 내리는 전문가 위원회를 구성하는 평가자 간의 사회적 상호의존성과 상호작용 

In modern education, this is not an implausible expectation; with the increasing expectation of the lifelong learner, we realize that the – behaviorist – span of control ends with graduation and the university’s responsibility to society starts with graduation. 

• The arrangement of assessment activities to support and create learning with constant delivery of feedback to learners, 

• the role of teachers in coaching and mentoring students, and 

• the social interdependence and interactions among assessors in the setting of a committee of experts who make high or low stakes decisions 

...are some of the elements of PA that occur in a social learning context and are grounded in a social constructivist theoretical framework.

앞선 학습이 다음에 뒤따를 학습에 미치는 영향의 중요성을 감안하여, PA는 지식의 재구조화가 일어날 수 있도록 하는 교육적 핵심 요소를 포함한다. PA는 새로운 지식 구조의 개발을 위한 비계를 만들고 학생들에게 새로운 상황에서 개념과 전략을 적용할 수 있는 지속적인 기회를 제공한다. 이러한 맥락에서, 가르침과 평가는 학습의 목표, 특히 [현재의 이해]와 [추구하는 새로운 이해 사이]의 격차를 좁히는 목표를 향해 혼합blend된다. 학습을 위한 평가AfL와 학습의 평가AoL 구성요소의 조합은 (다른 평가 행위와 도구의 여러 데이터 포인트에 의해 지원되는) 교육 연속체 전체에 걸쳐 지속적인 평가를 가능하게 한다.

In view of the importance of prior learning as an influence on new learning, PA includes key elements of pedagogic practice that allow knowledge restructuring to occur. PA creates the scaffold for the development of new knowledge structures and provides students with continuous opportunities to apply concepts and strategies in novel situations. In this context, teaching and assessment are blended toward the goals of learning, particularly the goal of closing gaps between current understanding and the new understandings sought. The combination of components of assessment for and of learning allows creating a continuous assessment across an educational continuum supported by multiple data points from different assessment practices and tools.

기본 PA 원칙: 지속적인 피드백 및 피드백 루프 닫기

Fundamental PA principle: Continuous feedback and closing the feedback loop

PA에서는 피드백의 제공 및 획득과 피드백 루프의 폐쇄를 위한 중심 역할이 존재한다. 이것은 형성적 평가와 혼동되어서는 안 된다. 그보다, 이것은 [피드백 과정을 학습을 유도하는 최적의 접근방식으로 사용하는 것]에 관한 것이다. 이는 학생들이 피드백을 사용해야on board하고, 후속 학습 목표에서 의도한 개선을 이루었음을 증명해야 한다는 것을 의미한다. 

In PA, a central role exists for the provision and uptake of feedback and closing the feedback loop. This is not to be confused with formative assessment; instead, it is about an approach in which the feedback process is used to optimally drive student learning. This means that the student has to take the feedback on board and has to demonstrate that the ensuing learning goals have led to the purported improvement. 

이것은 [PA의 총괄적 측면]이란 일회성으로 특정 합격 점수를 획득하는 것이 아니라, 외부 세계에서도 수용할 수 있는 목표에 상호 합의하는 지속적인 과정이라는 것을 의미한다. 이것은 학습자에게 쉬운 과정이 아니며 종종 학습자들을 그들의 안전 영역 밖으로 밀어낼 것이다. 다양한 이론들이 이것이 효과적인 학습을 용이하게 하는 이유를 설명한다.

This means that the summative aspect in PA is not the attainment of a certain cutoff score in a one-off occasion but a continuous process of reaching mutually agreed upon targets which are also acceptable to the outside world. This is not an easy process for the learner and will often push them outside of their comfort zone. Various theories explain why this facilitates effective learning.

설명 이론: 인지적 및 인지적 발달 방향

Explanatory theories: Cognitivist and cognitive development orientation

동화 이론(Ausubel 2012)과 인지 개발 이론(Vygotsky 1978)은 PA의 중요한 이론적 신조다. 동화 이론은 새로운 사상이 확립된 사상이나 관념에 의해 관련되고 동화되었을 때 효과적으로 학습되어 새로운 인지 구조를 만들 수 있다고 가정한다. PA에서는 새로운 데이터 포인트가 이전의 '기존의established' 데이터 포인트에 지속적으로 동화되며, 평가 데이터는 이전의 확보된 평가 데이터와 동화되어 중간 및 최종 평가로 이어진다.

Assimilation theory (Ausubel 2012) and the theory of cognitive development (Vygotsky 1978) are important theoretical tenets of PA. Assimilation theory posits that new ideas are effectively learned when they are related to and assimilated by established ideas or notions, so that they can create a new cognitive structure. In PA, new data points are continually assimilated to previous ‘established’ data points, and assessment data are assimilated to previous established assessment data, leading to both the intermediate and final evaluation of the model.

Vygotsky의 인지 발달 이론에서, 하나의 중심 목표는 인지 갈등을 만들어 인지 성장을 장려하는 것이다.

In Vygotsky’s theory of cognitive development, one central aim is to encourage cognitive growth by creating cognitive conflict,

Vygotskian 이론의 핵심 개념은 학습자의 실제 개발과 잠재적 개발 사이의 공간 또는 거리로 의도된 근위부 개발 영역(ZPD)이다. ZPD는 학습과 개발이 상호 작용하는 영역을 나타내며 개발 준비의 척도를 제공한다. ZPD에 있는 어려운 과제들은 최대치의 인지적 성장을 촉진한다. 따라서 교육자가 종단적 저부담 평가와 고부담 평가를 통합하므로써, ZPD에서 학습자의 성과를 점진적으로 평가할 수 있는 기회를 만든다면, PA에서 새로운 통찰력을 제공할 수 있을 것이다. ZPD는 [세계에 대한 학습자의 기존 개념]이 [새로운 정보]와 충돌할 때 존재하며, 이는 학습자 자신의 능력에 대한 자기 인식에도 적용된다.

이것은 메지로의 변혁적 학습 이론(Mezirow 2002)에 의해 제시된 혼란스러운 딜레마와 유사하다. 이 딜레마는 여러분 주변의 세계와 학습자로서 여러분 자신을 이해하는 출발점이 된다. PA의 개발 구조와 지원 활동은 ZPD에서 학생과 교사의 상호작용을 허용하며, 따라서 인지 발달과 인지적 변화를 촉진한다.

This is similar to the disorientating dilemma as posited by Mezirow’s transformative learning theory (Mezirow 2002), in which the disorientating dilemmas serve as a starting point for reframing understanding, both of the world around you and of yourself as a learner. The developmental structure and supporting activities of PA allow the interaction of students and teachers in the ZPD, therefore promoting cognitive development and cognitive change.

기본 PA 원칙: 학습에 대한 평가 및 학습에 대한 평가

Fundamental PA principle: Assessment for learning and assessment as learning

학습을 위한 평가AfL로서 PA는 [교육 과정과 평가 과정 사이의 경계가 더 모호]하다는 점에서 더 전통적인 접근 방식과는 다르다. 보다 전통적인 접근법에서 평가는 단지 교육 과정의 결과를 측정하는 것을 목적으로 한 교육 이외의 과정으로 볼 수 있는 반면, PA에서 평가와 교육은 서로 불가분한 영역이다. 이것은 아마도 철학적 입장에서 가장 어려운 변화일 것이다. 그러나 PA가 왜 전통적인 평가보다 더 나은 학습자 역량의 개발을 지원하는지에 대한 타당한 이론적 뒷받침이 있다.

The PA as an assessment for learning approach is different from a more traditional approach in that the lines between educational and assessment processes are fuzzier. In the more traditional approaches, assessment can be seen as a process extrinsic to education, merely aimed at measuring the outcome of the educational process, whereas in PA, the assessment process is an inextricable part of education. This is perhaps the most difficult change in philosophical stance but there is, again, plausible theoretical underpinning of why PA supports the development of learner competence, likely even better than traditional assessment.

설명 이론: 교육적 설계 및 구성주의적 지향 이론

Explanatory theories: Theory of instructional design and constructivist orientation

학습 과제와 평가 활동의 상호 결합을 '학습으로서의 평가'라고 부르기도 한다. 학습 과제에는 TBL 또는 PBL 소그룹 튜토리얼, 자율학습, 강의, 역사 및 신체검사 작성, 문제해결 과제 등 학습으로 이어지는 여러 가지 학습 활동이 포함될 수 있다. 학습 과제 분석에는 목표와 활성화 목표를 달성하는 데 필요한 필수 역량의 식별이 포함된다(Gagne 등 2005).

The interweaving of learning tasks and assessment activities is sometimes called ‘assessment as learning.’ A learning task may involve a number of learning activities leading to learning: a TBL or PBL small group tutorial, a self-study, a lecture, a history and physical exam write up, or a problem-solving assignment. Learning task analysis involves the identification of prerequisite competencies which are needed to achieve target and enabling objectives (Gagne et al. 2005).

그 다음, 프로그램에서 목적적합한 과제 선정이 요구된다. 학습 과제는 학생이 필요한 기본 지식, 기술 또는 이해를 습득하는 데 도움이 되도록 만들어져야 하며, 이는 목표에 도달하거나 더 깊이 있는 학습을 촉진하는 [도약대 역할]을 하게 된다. 이 원칙은 medical competence의 획득뿐만 아니라 learning how to learn에도 해당된다. PA에서는 학습자가 학습 목표를 공식화하고 성공적으로 제정enact하기 위해 이것을 사용할 것이라는 기대와 함께, 학습자가 의미를 부여하기 위한 지속적인 피드백과 요구사항requirement은 '학습'에 관한 학습과제로 간주된다. PA의 학습과제 개념은 학습과제에 대한 Gagne의 분석에 타당하게 근거하고 있다. 즉, 훈련 활동과 평가 활동이 밀접하게 연관되어 있을 뿐만 아니라, medical competence와 learning to learn에 대한 학습도 이루어지고 있다.

A purposeful selection of tasks in the program is then required; learning tasks are set to support the student in acquiring necessary basic knowledge, skills, or understanding to serve as a springboard to reach target objectives or promote further and deeper learning. This principle does not only pertain to the acquisition of medical competence but also to learning how to learn. In PA, the continuous feedback and requirement for the learner to make meaning, in conjunction with the expectation that the learner will use this to formulate and successfully enact learning goals, are to be seen as learning tasks on ‘learning to learn.’ The concept of learning tasks of PA is plausibly grounded in Gagne’s analysis of learning tasks. In other words, not only are training activities and assessment activities closely connected, but also are learning for medical competence and learning to learn.

마찬가지로 Merri€enboer와 Kirschner(2017년)는 10단계 및 4C/ID(4개 구성 요소 지침 설계) 모델을 설명한다. 이 모델의 주요 요소와 첫 번째 요소 중 하나는 학습 과제의 설계를 수반한다. PA 모델과 유사하게, 4C/ID 모델의 구조적 요소는 상호의존적이며, 퍼포먼스 평가의 설계는 특정한 시점에 각 과제에 대한 성과를 측정할 수 있다. 이를 통해 학습과제에 대한 학습자의 종단적 진행을 모니터링할 수 있다.

Similarly, Merri€enboer and Kirschner (2017) describe a ten-step and 4C/ID (4 components instructional design) model. One of the main and first component of this model entails the design of learning tasks. Similar to the PA model, the structural elements of 4C/ID model are interdependent and the design of performance assessments allows to measure performance on each of the tasks, at particular points in time. This allows for monitoring the learners’ longitudinal progression over the leaning tasks.

또한, 4C/ID의 단계 중 하나는 학습 과제의 시퀀스(3단계)를 포함한다. 이 순서는 단순한 것에서 복잡한 것으로 나아가는 것이며, 수행능력 평가(2단계)와 결합되어서 함께 학습을 최적화하고 개별화된 학습 개발 궤적을 만든다. Van Merri€enboer와 Kirschner(2017년)는 4C/ID 모델에서 평가의 총괄적 초점(AoL)은 고부담 결정을 내리는 것에 있지만, 동시에 강력한 형성적 기능 - 의미있는 피드백 - 을 수행해야 한다고 주장했다.

Further, one of the steps involves the sequence of learning tasks (step 3), from simple to more complex, which, coupled with frequent performance assessments (step 2), optimizes learning and creates individualized learning developmental trajectories. In the 4C/ID model, Van Merri€enboer and Kirschner (2017) contend that even though the summative focus of assessment (assessment of learning) is to make high-stakes decisions, it must also perform a strong formative – meaningful feedback – function.

따라서 학습과 평가 과정을 성공적으로 진행하기 위하여 AoL과 AfL은 건설적으로 정렬되고, 교육 이론과 설계와 완벽하게 통합되어야 하지만, 이것이 얼마나 성공할 수 있는가는 [교사나 코치의 질]과 [조직의 학습 문화]에 달려 있다(Harrison 등 20).16, 2017).

Therefore, assessment of and for learning can be constructively aligned, and fully integrated with instructional theory and design, if they are to succeed in driving the learning and assessment process, but how successful this can be done depends on the quality of the teacher or coach and the learning culture in the organization (Harrison et al. 2016, 2017).

PA 기본원칙: 학생 주체성과 책임

Fundamental PA principle: Student agency and accountability

PA의 중요한 측면은 학생들이 자신의 학습과 평가에 대한 주체성과 책임을 맡도록 허용하거나 만드는 것이다. 앞에서 말했듯이, 학습자의 학습과 평가에 대한 행동주의자적 통제 범위는 그들의 졸업으로 끝나지만, 의대의 사회에 대한 책임은 졸업으로 시작된다. 그러므로 PA 프로그램은 점차적으로 그 기관과 책임을 학습자에게 넘기는 것을 추구한다. 이는 행동주의자와 자기조절이론에 정통한 운전자 사이의 의식적이고 의도적인 균형이 구현의 일부임을 암시한다. 

An important aspect of PA is allowing or making the student assume agency and accountability for their own learning and their own assessment. As said before, the span of – behaviorist – control over the learners’ learning and assessment ends with their graduation but the medical school’s responsibility to society starts with graduation. PA programs therefore seek to gradually hand over that agency and accountability to the learner. This implies that a conscious and purposeful balance between behaviorist and self-regulation theory-informed drivers is part of the implementation.

설명 이론: 자기결정론(SDT)과 자기규제학습이론(SRL)

Explanatory theories: Self-determination theory (SDT) and self-regulation learning theory (SRL)

지원 활동, 특히 '자율성 지지 교육'이라는 개념은 PA 모델의 핵심 요소로서 학습자와 교사가 참여한다. 이러한 '자율성 지원 교육'은 무엇보다도 SDT와 SRL의 두 가지 이론적 프레임워크에 근거를 두고 있다.

Supporting activities, in particular the concept of ‘autonomy-supportive teaching,’ are a key component of the PA model and involve learners and teachers. Such ‘autonomy-supportive teaching’ is grounded in, among others, two theoretical frameworks, SDT and SRL.

SDT의 주요 축 중 하나는 자율성의 개념과 필요성이다. SDT에서 자율성은 '[자기 행동]의 인식된 기원이나 근원이 되는 것'(Deci와 Ryan 2004, 페이지 8)으로 의도되므로, 자율적 행동은 자아의 표현이다. SDT에서는 자율성-지지적 교사는 학생에게 독립적인 업무의 기회를 제공하고, 내부 동기를 지원하며, 학생들의 요구에 유연하고 대응한다. 따라서 '자율성 지지적 교육'은 PA의 맥락에서 교사들이 하는 주요한 역할이며, 코칭은 학생들의 자기 결정을 촉진하고, 학생들을 자율성의 연속체에서 움직이도록 돕는다.

One of the main pillars of SDT is the concept of or need for autonomy. In SDT, autonomy is intended as ‘being the perceived origin or source of one’s own behaviour’ (Deci and Ryan 2004, p. 8) and therefore, an autonomous behavior is an expression of the self. In SDT, autonomy-supportive teachers provide opportunities for independent work and support internal motivations, and they are flexible and responsive to the needs of the students. Therefore, ‘autonomy-supportive teaching’ is a major role teachers play in the context of PA, and the coaching fosters students’ self-determination and helps move the students across an autonomy continuum.

성공적인 평생 학습자에게 필요한 원하는 자율성을 달성할 수 있도록 하기 위해, 자기조절학습(SRL)은 통찰력이 있을 수 있다(Pintrich 2004; Schunk 2005). SRL은 학습자가 목표 설정, 학습 전략 선택 및 자체 성과 평가에 관여한다는 것을 전제로 한다. 또한 '자율적 지원 교육'의 개념은 [교사가 학생의 목표 설정, 학습 과제 제안, 학습과정 감시 및 평가 등을 돕는] 사회적조절학습의 원칙에도 근거를 두고 있다(Zimmerman 1998; Bandura 2001).

In order to be able to achieve the desired autonomy needed for successful lifelong learners, self-regulated learning (SRL) can be insightful (Pintrich 2004; Schunk 2005). SRL posits that learners are involved in goal setting, selecting learning strategies and evaluating their own performance. The concept of ‘autonomy-supportive teaching’ is also grounded in the principle of socially regulated learning in which the teacher helps the student in setting goals, suggesting learning tasks, monitoring and assessing the learning process (Zimmerman 1998; Bandura 2001).

설명 이론: 행동주의적 성향과 고의적 실천 원칙

Explanatory theories: Behaviorist orientation and principles of deliberate practice

행동주의적인 접근법의 교리는 우리가 PA에서 숙달학습의 개념을 접할 때 해당되는 것이다(Block 1980; Guskey 1980; Skinner 2011). 숙달학습에서 학생들은 정해진 수준의 숙련도를 보여주지 않으면 다음 수준의 수업으로 나아갈 수 없다. 이러한 숙달력은 의료 역량의 요소와 관련될 수 있지만 학습의 요소에도 해당될 수 있다. 예를 들어, 성찰 또는 자기분석 문서를 작성하는 것은 일련의 프로그램된 연습을 통해 배울 필요가 있을 수 있다. 이러한 모든 측면에 대해, [점진적으로 과제의 난이도를 증가시키면서, 즉각적인 보강과 피드백을 결합]하는 shaping이라는 개념은 행동주의자적 원칙이다.

Tenets of behaviorist approaches are considered when we encounter the concept of mastery learning in PA (Block 1980; Guskey 1980; Skinner 2011). In mastery learning, students cannot progress to the next level of instruction unless they demonstrate a set level of proficiency. This mastery can pertain to elements of medical competence but also to elements of learning to learn. For example, producing reflection or self-analyses documents may need to be learned through a series of programed exercises. For all these aspects, the concept of shaping, where instruction proceeds with tasks of increasing levels of difficulty, coupled with immediate reinforcement and feedback is a principle of the behaviorist orientation.

숙달학습은 어떤 면에서 [의도적인 연습DP]의 핵심 원칙이다. DP는 코치에 의해서 설계되는 활동으로서, 반복과 정교화를 통해 개인의 성과를 향상시키는 것이 목적이다(Anders Ericsson 2008). [학습자 동기 부여]와 [과제 설계]는 DP의 중요한 요소들이다. 교육자는 [학습자의 사전 지식 및 이해를 고려하여, 단시간의 교육 후에 학습자가 과제를 정확하게 이해할 수 있도록] 해야 한다. 학습자는 각 과제와 관련된 활동이 끝난 후 즉시 관련 피드백과 성과에 대한 지식을 얻어야 한다.

Mastery learning is a key principle of deliberate practice for some aspects – typically the more technical aspects – as is meaning making to others – typically the more understanding/insight-related aspects. Deliberate practice is intended as the activity designed by a coach to improve performance of an individual through repetition and refinement (Anders Ericsson 2008). Learners’ motivation and the design of the task are crucial elements of deliberate practice. Educators should take into account ‘the pre-existing knowledge and understanding of the learners, so that the task can be correctly understood after a brief period of instruction.’ Learners should receive immediate relevant feedback and knowledge of results of their performance after each task-related activity.

또한, 비고츠키아의 관점에 따르면, [배우는 과정에서는 교사와 학생이 학습 프로세스의 shaping과 directing 책임을 분담하지만], 점차적으로 책임이 바뀌는 co-regulated learning에 참여해야 할 것이다. 이를 위해 초기 비계는 서서히 제거되고 학생은 점차적으로 자신의 학습에 대한 책임감을 높여 자기 조절 능력을 키울 것으로 예상된다(van Houten-Schat et al. 2018). PA에서 학생과 교사의 관계는 매우 중요하며, PA의 역할은 실제로 그들의 발전의 다른 단계에 있는 학생들의 자기조절을 강화하는 것일 수 있다.

Further, according to the Vygotskian perspective, teacher and student will have to engage in co-regulated learning, in which they share the responsibility of shaping and directing the learning process but with a gradual change of responsibilities. For this, the initial scaffold will be slowly removed and the student is expected to gradually take increasing responsibility of his or her own learning, developing self-regulating skills (van Houten-Schat et al. 2018). In PA, the relationship of student and teacher is crucial, and one role of PA might indeed be that of foster self-regulation of students at different stages of their development.

해설론: 직업수요원론

Explanatory theories: Job demand–resource theory

고용수요원론(JDR-T) (Bakker and Demeruti 2017)에서 직업 특성은 크게 두 가지 범주로 나뉜다. 직무 요구와 직무 자원. 

• 직무 요구는 [높은 업무 부담이나 감정적으로 힘든 상황]과 같은 신체적, 심리적, 조직적 노력이다. 

• 직무 자원은 직무 요구를 줄여주거나, 자율성을 높여주거나, 성과에 대한 피드백을 제공하거나, 개인의 성장을 촉진하거나, 업무 목표를 달성하는 것이 포함된다. 직무 자원은 미래의 업무 참여와 동기를 예측한다.

In the job demand–resource theory (JDR-T) (Bakker and Demerouti 2017), job characteristics fall into two main broad categories: job demands and job resources. 

• Job and demands are physical psychological organizational efforts that may include high work pressure or emotionally demanding situations. 

• Job resources are those aspects of the job that reduce job demands, foster autonomy, provide feedback on performance, promote personal growth, and achieve work goals. Job resources predict future work engagement and motivation.

PA 평가에서 지원 활동에서 교직원의 역할은 바커와 데메루티(2017년)가 정의한 [직무 자원의 창출]과 유사할 수 있다. 코치로 활동할 때 교수들은 학생들의 자기 결정과 자율성을 개발하고, 상호작용적 사회적 학습 환경을 조성하며, 학생들이 직업 수요에 대처할 수 있도록 하고, 발전과 성장의 기회를 창출할 수 있도록 하는 직업 자원을 제공하기 위해 노력한다.

In PA assessment, the role of the faculty within the supporting activities may be similar to that of creating job resources as defined by Bakker and Demerouti (2017). Faculty when acting as coaches contribute to develop students’ self-determination and autonomy, foster an interactive social learning environment, and strive to provide those job resources that allow students to cope with job demands while creating opportunities for development and growth.

고찰

Discussion

의학연구와 달리 의학교육연구는 연구결과의 완벽한 복제를 자동적으로 가정하지는 않는다. 따라서 (RCT처럼) 의료 연구가 문맥적 특징에 관계없이 다른 맥락에서 복제할 수 있는 발견을 목표로 하는 경우가 많다면, 종종 의학교육 연구는 '복잡성' 또는 '시스템'을 가정하고 시작한다(Rosas 2015). 복잡한 상황에서, 발견을 한 맥락에서 다른 맥락으로 직접 복제하는 것은 작동하지 않는다; 대신에, 어떤 것이 작용하여 다른, 약간 다른 문맥에 맞게 수정되거나 전달될 수 있는 이유를 이해할 필요가 있다. 그러한 이해는 문제 해결을 transfer하는데 있어서 깊은 구조deep structure의 역할과 유사하다고 볼 수 있다(Eva et al. (Eva et al. 1998). 따라서 이론은 특정 상황이나 학습 조직에서 발생할 수 있는 구현의 과제를 극복하는 데 도움이 될 수 있다(Torre 등 2006).

Unlike in medical research, medical education research does not automatically assume perfect replication of research findings. So, where medical research is often aimed at producing findings that can be replicated in any other context regardless of contextual features – typically like randomized controlled trials – often (medical) education research starts from the assumption of complexity or systems (Rosas 2015). In complex situations, direct replication of findings from one context to another does not work; instead, there is a need to understand why something works so it can be adapted or transferred to fit another, slightly different context. Such understanding can be seen as analogous to the role of a deep structure in transfer of problem solving (Eva et al. 1998). Theory can therefore help overcome the challenges of implementation that may arise in specific contexts or learning organizations (Torre et al. 2006).

이론이 PA의 실행을 위한 기회를 알려준 한, 우리는 이론이 구현 도전에 직면하는 데 어떻게 도움이 될 수 있는지에 대한 예를 설명하기를 좋아한다. 예를 들어, 학생들은 임상실습에서, 그들은 한 번의 로테이션에서 동안 문제가 있을 수 있다. 그런 다음, 향후 로테이션 감독자/조정자가 이러한 문제에 대해 알아야 후속 로테이션 중에 이러한 문제를 학생에게 구체적으로 지원할 수 있다. 그러나, 감독관에게 앞선 로테이션의 정보를 주는 것을, 다음 감독관에게 편견을 갖게 하며, 학생들은 마치 '범죄 전과criminal case record'를 부당하게 넘기는 것처럼 인식할 수 있다. 그러나 PA 관점에서는, 이것은 '관리의 연속성' 프로세스에 더 가까울 것이다. 이 딜레마는 학습 맥락에 대한 표준 평가에서 주요 문제지만, PA 맥락에서 쉽게 해결할 수 있다.

As far as theory informed opportunities for the implementation of PA, we like to illustrate an example of how theory may help face an implementation challenge. For instance, when students are in their clinical rotations, they might have issues during one rotation. It is then imperative that the supervisor/coordinator of future rotations knows about these issues, so that they can specifically support the student with these during the subsequent rotations. However, notifying that supervisor may be perceived by the students as an unfair transfer of a ‘criminal case record’ and therefore may be seen to be biasing the next supervisor. From a PA view, it would be more like a ‘continuity of care’ process. This dilemma is a major one in a standard assessment of learning context, but it is an easy one to solve in a PA context.

한 로테이션을 도는 동안 문제를 경험한 학생은 학습 코치 –와 함께 –을 분석하고 교정조치 계획을 제시하도록 요청 받는다. 그 후 학생은 미래의 감독자와 이 계획을 소통하고 토론하며 이 계획을 어떻게 실행할지 준비할 것으로 예상된다. 점검 단계에서, 감독관이 계획에 서명하도록 요구될 수 있으며, 그것은 포트폴리오의 일부가 된다. 또한 학생과 그들의 학습 코치는 학생들이 이러한 어려운 대화를 다루는 방법을 배울 수 있도록 하기 위해 미래의 감독자/코디네이터와 그들의 문제를 소통하는 방법을 토론하고 연습할 수 있다. 이와 같이, 정보의 연속성과 종단성이 보호된다면, 학생이 자신의 학습에 주체성을 가지게 되고, 지난 로테이션의 문제는 단순히 나쁜 경험이 아니라 학습의 기회로 여겨지며, 그 문제는 단순히 성적표에 대한 체크박스가 아니라 학습의 의미 형성을 최적화하고, 자기조절학습을 촉진하고, 지속적인 성장과 학습자의 발전을 자극하는 수단으로 사용될 것이다.

The student who experiences issues during one rotation is asked to analyze – together with their learning coach – and provide a plan for remediation. The student is then expected to communicate and discuss this plan with their future supervisor and make arrangements for how to implement this plan. As a check, it can be required that the supervisor signs a plan and it becomes part of the portfolio. The student and their learning coach could also discuss and practice the way the student would communicate their issues with their future supervisor/coordinator, as a way of allowing the student to learn how to deal with these difficult conversations. As such, continuity of care and longitudinality of information is safeguarded, agency lies with the student for their own learning, the issues in the past rotation are not merely bad experiences but opportunities for learning, and the issues are not just a tick box on an academic transcript, but are being used to optimize meaning making of learning, foster self-regulated learning, and promote continuous growth and learner’s development.

우리가 다루지 않은 것과 점점 더 중요한 이슈로 인식되고 있는 것은 [조직문화]와 [소위 순진한 인식론]의 역할이다. 전자는 조직의 변화 의지를 촉진하거나 저해한다는 점에서 중요하다(Harrison et al. 2017). 후자는 더더욱 극복하기 어렵다, 깊은 신념과 관련되기 때문에, 우리는 비체계적이고 유도되지 않은 경험에 의해 우리 주변의 세계에 대해 발전한다(Vosniadou 1994). 이러한 현상은 종종 사람들로 하여금 그들이 교육받고 평가받는 방식이 현대 교육의 틀이 되어야 한다고 믿게 한다. 하지만, 우리가 50년 전처럼 의술을 실천하지 않는 것처럼, 우리도 50년 전처럼 교육을 실천하는 것을 목표로 해서는 안 된다. 왜 의학은 왜 일반적으로 진보하는 방향으로 자연스러운 전문직업적 경향을 갖는데 있고, 의학 교육에 관해서는 보수적이 되는지는 여전히 불분명하다. 우리는 이 분야에서 아직 이 요소를 우리의 서술에 포함시키기에는 충분한 이론적 발전이 없다고 느꼈다.

What we have not addressed and what is increasingly being recognized as a significant issue is the role of organizational culture and of so-called naïve epistemologies. The former is significant in that it facilitates or hampers the willingness in the organization to change (Harrison et al. 2017). The latter is even more difficult to overcome, as it relates to the deep beliefs, we develop about the world around us by unsystematic and unguided experience (Vosniadou 1994). This phenomenon often leads people to believe that the way they were educated and assessed should be the mold for modern education. However, like we do not practice medicine like we did 50 years ago, neither should we aim at practicing education the way we did 50 years ago. Why there is a general natural professional tendency in medicine to progress and when it comes to medical education to be conservative is still unclear. We felt that there is not sufficient theoretical development in this field yet to include this element in our narrative.

van Houten-Schat MA, Berkhout JJ, van Dijk N, Endedijk MD, Jaarsma AD, Diemers AD. 2018. Self-regulated learning in the clinical context: a systematic review. Med Educ. 52(10):1008–1015.

타당도: 한 단어, 여러 의미(Adv in Health Sci Educ, 2016)

Validity: one word with a plurality of meanings

Christina St-Onge1 • Meredith Young2 • Kevin W. Eva3 • Brian Hodges4

도입

Introduction

타당도는 일반적으로 측정할 개념, (개발된) 평가 도구, (사용된) 분석 접근법, 평가 결과의 선택에 필요한 정보를 주는 퀄리티 평가의 표지로 간주된다(AERA 등 1999). 즉, '타당도는 평가의 필수불가결한 것이다. 왜냐하면 타당도가 없다면 의학교육에서 평가는 아무런 의미가 없기 때문이다' (Downing 2003). 이와 같이 타당도는 흔히 도구의 퀄리티를 '증명attest'하고 입학부터 실무에 이르기까지 높은 보건 전문직 교육에서 고부담 평가의 사용을 정당화하기 위해 사용된다. 다른 말로 하자면, [무엇이 타당한가]에 대한 결정이 개인과 사회에 영향을 미치기 때문에, 타당도는 다른 사람들에게 특정한 도구, 분석 절차 또는 시험 점수가 높은 품질 기준을 충족한다는 것을 확신시키기 위해 사용되는 수사학적 '갓-텀'(Lingard 2009)이 되었다.

Validity is generally considered a beacon of quality assessment, informing the choice of concepts measured, assessment tools developed, analytic approaches used, and interpretation of assessment results (AERA et al. 1999). That is, ‘‘Validity is the sine qua non of assessment, as without evidence of validity, assessments in medical education have little or no intrinsic meaning’’ (Downing 2003). As such, validity is often used to ‘attest’ to the quality of tools and to justify the use of assessments in health professions education where stakes are high from admissions to entry into practice. In other words, because decisions about what is considered valid impact upon individuals and society, validity has become a ‘god term’ (Lingard 2009) that is used rhetorically to convince others that particular instruments, analytic procedures, or test scores collected meet high standards of quality.

그러나 최근 몇 가지 리뷰에서 문서화한 바와 같이, HPE(Health Professions Education) 내에서 '타당도'이라는 용어를 사용하는 방식에는 명백한 불일치가 있다(Cook et al. 2013, 2014). 그러한 가변성을 지적하는 작가는 일반적으로 (적어도 암묵적으로) 이러한 불일치의 원인이 현대 이론과 타당도에 대한 접근에 관한 무지에 의한 것이라고 가정한다. 그러나 타당화 관행의 variability는, 부분적으로, 서로 다른 영역의 사람들에게, 서로 다른 방식으로 가치를 제공하는, 서로 다른 타당도의 개념화로부터 발생할 수 있다고 생각할 수 있다.

There is clear inconsistency, however, in the way the term ‘validity’ is used within Health Professions Education (HPE), as documented by several recent reviews (Cook et al. 2013, 2014). Authors who point to such variability commonly assume (at least implicitly) that it is driven by ignorance regarding modern theories and approaches to validity. It is conceivable, however, that the variability in validation practices could arise, in part, from different conceptualizations of validity that provide value to those who work in health professions education in different ways.

HPE은 교육심리학, 측정학, 사회학, 실험심리학 등 여러 분야의 전문가로부터 지속적으로 정보가 유입되는 응용분야로, 이 모두가 분야의 방법론적, 개념적 풍요로움에 기여한다. 그러나 이러한 '풍요로움richness'은 [타당도의 상이한 개념화]를 유발하고, 이는 서로 다른 우선순위로 이어질 수 있으며, 따라서 혼동, 오해, 갈등을 유발할 수 있는 다수의 해석과 이해의 원인이 될 수 있다.

Health professions education is an applied field full of practitioners that is continuously informed by many different disciplines, including educational psychology, measurement, sociology and experimental psychology, all of which contribute to the methodological and conceptual richness of the field. This ‘richness’, however, may lead to different priorities that are supported by differing conceptualizations of validity, thereby generating multiple interpretations and understandings that have the potential to create confusion, miscommunication, and conflict.

타당도에 대한 [묵시적 개념화]와 [상이한 개념화]의 공존은 문제가 있다. 왜냐하면 HPE에서 매일 중대한 결정이 평가 점수의 '퀄리티'에 크게 의존하는 방식으로 이뤄지기 때문이다(예: 개인이 자신이 선택한 직업에 접근할 수 있는 능력, 잘못 인지된 상황에 직면했을 때 법적 상환legal recourse, 그리고 가장 일반적으로 그리고 중요한 것은 환자가 받는 치료의 질이다.) 평가 점수의 '방어가능성'과 그러한 점수의 '정확성'에 대한 개념은 생산된 점수의 타당도에 관한 논쟁에 강하게 놓여 있다.

The co-existence of implicit and different conceptualizations of validity is problematic because important decisions are made every day within the health professions that rely heavily on the ‘quality’ of assessment scores (e.g., individuals’ access to a career of their choice, legal recourse when faced with perceived fault, and most generally and importantly, the quality of care received by patients). Notions of the ‘defensibility’ of assessment scores and the ‘accuracy’ of such scores rest strongly on arguments regarding the validity of the scores produced.

목적

Purpose

이 연구의 주된 목적은 담화 분석을 사용하여 보건 직업 교육에서 '타당도'이라는 용어가 사용되는 다양한 방법을 식별하는 것이었다.

The primary purpose of this study was to use discourse analysis to identify the different ways in which the term ‘validity’ is used within health professions education.

방법

Method

설계

Design

우리의 연구는 담론 이론(Mills 2004)에 기반을 두고 있으며, 따라서 담론 분석의 방법론을 채택하고 있다. 우리의 접근방식은 주로 Hodges 등이 '경험적 담화 분석'라고 명명한 것을 따르고 있으며, 보건 직업 교육 문헌의 텍스트와 언어로 타당도가 구성되는 방법에 일차적으로 초점을 맞추고 있다.

Our research is based on discourse theory (Mills 2004) and thus employs a methodology of Discourse Analysis. Our approach is primarily what Hodges et al. (2008) have labeled ‘empirical discourse analysis’—having a primary focus on ways validity is constructed in text and language in the health professions education literature.

자료(아카이브)

Data (Archive)

토론 분석은 관심의 소지를 식별하기 위해 분석되는 텍스트 및 기타 자료의 식별에서 시작된다(Hodges et al. 2008). 우리는 주로 우리의 연구 기록보관을 보건직 교육원들로 제한했다. 그 목적은 그 분야에서 일하는 사람들에 의해 어떻게 그 건축물이 변형적으로 사용되는지를 탐구하는 것이기 때문이다.

Discourse analysis begins with identification of an archive—the textual and other materials that are analyzed to identify discourses of interest (Hodges et al. 2008). We predominantly restricted our study archive to sources from health professions education because the purpose was to explore how the construct is variably used by people working in that field.

이 연구를 위해 조립된 기록보관소는 4단계 과정으로 구축되었으며, 타당도와 평가를 주제로 한 영어와 프랑스어 출판된 동료 검토 논문과 책으로 구성되어 있다.

The archive assembled for this research was constructed in a four-step process and is comprised of English and French published peer-reviewed articles and books on the topic of validity and assessment.

1단계 본 논문의 모든 저자들은 프레임 평가 관행 측면에서 '매우 중요'하다고 간주한 개인 소장품으로부터 보건 전문직 교육 분야의 타당도와 평가에 관한 5개 내지 6개의 주요 논문을 식별했다. 한 작가(CSO)는 이 텍스트를 비판적으로 검토하여 새로운 언어와 타당도에 대한 개념을 식별하였다.

Step 1 All authors of this paper identified five to six key papers on validity and assessment in the field of health professions education fromtheir personal collection that they considered to be ‘very important’ in terms of framing assessment practices. One author (CSO) reviewed the texts critically to identify emerging language and concepts about validity.

2단계 이 문서 모음에서 인용한 내용은 이차 출처를 포함하도록 아카이브를 확장하기 위해 검토되었다. 한 작가(CSO)는 새롭게 대두되는 담론을 추가로 파악하기 위해 이 텍스트들을 검토했다.

Step 2 The references from this collection of papers were examined to expand the archive to include secondary sources. One author (CSO) reviewed these texts in order to further identify emerging discourses.

3단계 PubMED, ERIC 및 PsycINFO/PsycLit을 사용하여 보건 전문직 교육 문헌에 대한 보다 공식적인 검색을 포함하며, 학술적 사서의 도움을 채용했다. 이 검색의 목표는 1995년에서 2013년 사이에 건강 전문직 교육에서 '평가 타당도'을 주제로 출판된 더 큰 기사의 집합을 확인하는 것이었다. 검토는 전통적인 체계적 검토를 수행하기 보다는 보관소의 폭과 범위를 증가시킬 목적으로 잘린truncated 키워드를 사용하여 실시되었다(valid*, assess*). 즉, 목표는 이 검색으로 포괄적이거나 매우 정밀한 포함/제외 기준을 설정하는 것이 아니라 가능한 한 많은 타당도 개념화를 포함하는 것이었다. 기록보관소에 대해 고려되기 위해서, 기사는 보건 직업 교육 분야에서 평가의 맥락에서 타당도 문제를 다루어야 했다.

Step 3 Involved a more formal search of health professions education literature using PubMED, ERIC, and PsycINFO/PsycLit, employing the assistance of an academic librarian. The goal of this search was to identify a larger set of articles, published between 1995 and 2013, on the topic of ‘validity of assessment’ in health professions education. The review was conducted using the truncated key words valid* and assess* with the intention of increasing the breadth and coverage of the archive rather than with the aim of undertaking a traditional systematic review. In other words, the goal was not to be comprehensive with this search or to set very precise inclusion/exclusion criteria, but was to be as inclusive of as many validity conceptualizations as possible. To be considered for the archive, an article had to address the topic of validity in the context of assessment in the field of health professions education.

4단계 위에서 언급한 검색은 2013년부터 2015년까지 주요 작성자가 설정한 콘텐츠 경고 표에 의해 플래그가 표시된 텍스트로 보완되었다. 한 저자(CSO)는 이러한 목표를 염두에 두고 논문의 포함/제외를 평가하기 위해 문헌검색에서 검색된 모든 제목과 추상화를 검토하였다.

Step 4 The above mentioned search was complemented by texts from 2013 to 2015 flagged by Table of Content alerts set by the principal author. One author (CSO) reviewed all titles and abstracts retrieved from the literature search to assess the inclusion/exclusion of papers with these goals in mind.

절차

Procedure

분석

Analysis

분석은 반복적이었으며, 연속적인 각 단계에서 순차적으로 담론표를 작성했고, 팀의 집단적 및 개별적 전문지식(추후 기술)과 그 결과로 나타나는 내재적 관점을 통해 이를 알게 되었다. 담론의 요소(핵심어, 개념, 주장, 관련 개인과 제도)가 더욱 명확하게 규명됨에 따라 결국 표 1의 구축으로 이어지는 패턴으로 분류되었다.

The analysis was iterative, building the discourse table sequentially at each successive stage and it was informed by the team’s collective and individual expertise (that are subsequently described) and the inherent perspectives that result. As elements of discourse (key words, concepts, arguments, associated individuals and institutions) were more clearly identified, they were sorted into patterns that eventually led to the construction of Table 1.

결과

Results

연구된 기록 자료에서 세 가지 다른 담론이 확인되었다. 

(1) 시험 특성으로서의 타당도, 

(2) 논쟁 기반 증거-체인으로서의 타당도, 

(3) 사회적 의무로서의 타당도.

Three different discourses were identified in the archival materials studied: (1) Validity as a test characteristic, (2) Validity as an argument-based evidentiary-chain and (3) Validity as a social imperative.

• 시험 특성으로서의 타당도는 타당도가 도구의 본질적 속성이며 따라서 내용 및 문맥에 독립적인 것으로 보일 수 있다는 개념에 의해 뒷받침된다.

Validity as a test characteristic is underpinned by the notion that validity is an intrinsic property of a tool and could, therefore, be seen as content and context independent.

• 주장에 기초한 증거-체인으로서의 타당도는 타당도가 도구/장치에 속하지belong 않도록 지속적인 분석을 통해 평가 결과의 해석을 지원하는 것의 중요성을 강조한다. 프로세스 기반 검증(타당도란 목표가 아니라 여정)이 강조된다.

Validity as an argument-based evidentiary-chain emphasizes the importance of supporting the interpretation of assessment results with ongoing analysis such that validity does not belong to the tool/instrument itself. The emphasis is on process-based validation (emphasizing the journey instead of the goal).

• 사회적 의무로서의 타당도는 긍정적이든 부정적이든 개인과 사회 수준에서 평가의 결과를 예견한다.

Validity as a social imperative foregrounds the consequences of assessment at the individual and societal levels, be they positive or negative.

시험의 특성으로서 타당도

Validity as a test characteristic

이 담화에서 타당도는 흔히 "시험이 실제로 측정하고자 하는 것을 측정하는 정도"로 정의된다(Anastasi 1988, 페이지 28). 문자 그대로 액면가로서 그러한 정의는 타당도 주장을 도구 자체의 특성(즉, 본질적으로 도구에 속하는 것)에 대한 진술로 취급한다. 이와 같이 도구에 내재된 속성으로서의 타당도는 내용, 컨텍스트, 시간이 바뀌어도 유지된다. 종종 이 담론과 연관되어 발견되는 개념은 "시험은 상관관계가 있는 모든 것에 대해 타당valid하다"(길포드 1946, 페이지 429)라는 문장에서 예시된 개념이다. 이 담론을 사용하여 도구가 '타당한' 것으로 '낙인 찍히면' 그 도구는 그 품질을 무한정 유지하는 것처럼 취급된다.

In this discourse, validity is often defined as ‘‘the degree to which the test actually measures what it purports to measure’’ (Anastasi 1988, p. 28). Taken literally and at face value, such a definition treats claims of validity as statements about a characteristic of the tool itself (i.e., something that inherently belongs to the tool). As such, validity as a property inherent in a tool spans domains of content, context, and time. Often found associated with this discourse is a concept illustrated by the statement: ‘‘a test is valid for anything with which it correlates’’ (Guilford 1946, p. 429). Once a tool is branded as ‘valid’ using this discourse, the tool is treated as though it retains that quality indefinitely.

따라서 시험 특성으로서의 타당도는 그 도구를 승인해주는 '금도장'으로 생각할 수 있다. 예를 들어, 이 담론을 사용하는 사람들은 MCQ(다중 선택 질문)가 지식의 타당한 척도라고 말할 수 있다. 따라서 그들은 필기 시험을 만들 때 주어진 형식을 따르는 것만으로도 방어될 수 있다. 다음은 타당도의 '골드 씰'을 달성한 것으로 프레임된 도구에 대한 사례 몇 가지이다.

Validity as a test characteristic, therefore, can be thought of as a ‘gold seal of approval’. As an example, those employing this discourse would say that Multiple Choice Questions (MCQs) are a valid measure of knowledge, full stop. Thus they can be defended as the goto format when creating written exams. Here are a few examples of claims about tools that are framed as having achieved a ‘gold seal’ of validity:

증거는 JSE[Jefferson Scale of Empathy]가 의료 분야에서 의대생과 의사에게 타당valid하고 신뢰할 수 있는 공감의 척도가 된다는 것을 보여주었다. (Van Winkle et al. 2013, 페이지 219 - 저자)

Evidence has shown the JSE [Jefferson Scale of Empathy] to be a valid and reliable measure of empathy in medical students and physicians in the context of healthcare. (Van Winkle et al. 2013, p. 219 -emphasis by authors)

타당도를 도구의 품질로 간주하는 경우, 주어진 영역(지식, 기술, 전문성 등)에 대해 [가장 타당한 것으로 보일 수 있는 하나의 우수한 도구가 있을 수 있는 가능성]이 열린다. 따라서 이러한 담론은 측정하려는 내용이나 능력과는 무관한, '최고의' 평가 도구를 식별하기 위한 탐색, '성배'를 찾기 위한 퀘스트를 가능하게 한다.

When one considers validity to be a quality of a tool, the door is opened for the possibility that for any given domain (knowledge, skills, professionalism, etc.) there could be one superior tool that could be shown to be the most valid. Thus, this discourse makes possible the quest for ‘holy grails’ of assessment, a quest to identify the ‘best’ assessment tools, independent of content or ability to-be-measured.

MCQ 테스트는 서면 평가의 가장 효율적인 형태로서, 콘텐츠의 광범위한 적용범위에 의해 신뢰성과 타당도를 갖는다. (McCoubrie 2004, 페이지 711 - 저자 강조)

MCQ testing is the most efficient formof written assessment, being both reliable and valid by broad coverage of content. (McCoubrie 2004, p. 711 -emphasis by authors)

흥미롭게도, 우리는 시험적 특징으로서의 타당도의 담론을 비판적으로 평가하는 일부 사람들은 이를 '구식', '논쟁적', '가치 결여'라고 주장한다.

Interestingly, we found that the discourse of validity as a test characteristic is judged harshly by some who argue that this view is ‘antiquated’, ‘controversial’, or ‘lacking in value’.

우리는 종종 '타당화된 도구'라는 말을 듣는다." 이 개념화는 그 도구가 타당하거나 그렇지 않다는 이분법을 암시한다. 이 견해는 부정확하다. 첫째로, 타당도는 추론의 속성이지, 기구가 아니라는 것을 기억해야 한다. 둘째, 해석의 타당도는 항상 정도의 문제다. 도구에서 얻은 점수는 기초 구조를 더 정확하거나 덜 정확하게 반영하지만 결코 완벽하지 않다. (Cook and Beckman 2006, p. 166e10)

We often read about ‘‘validated instruments.’’ This conceptualization implies a dichotomy—either the instrument is valid or it is not. This view is inaccurate. First, we must remember that validity is a property of the inference, not the instrument. Second, the validity of interpretations is always a matter of degree. An instrument’s scores will reflect the underlying construct more accurately or less accurately but never perfectly. (Cook and Beckman 2006, p. 166e10)

타당도 범주를 고려할 때, 타당도 증거는 다양한 정도까지 존재한다고 이해되지만, 평가가 '타당하다'라고 할 수 있는 threshold는 없다. (벡먼 외) 2004, 973쪽

When considering categories of validity, it is understood that validity evidence exists to various degrees, but there is no threshold at which an assessment is said to be valid. (Beckman et al. 2004, p. 973)

그러나 보건 전문직 교육 문헌에 이러한 타당도 담론이 지속적으로 존재함에 따라 '즉각적 해결책'이 필요한 개인(예: '타당한' 평가 프로그램, 도구, 접근법을 새로 만들려는 열망/지식/자원이 없는 교육자와 관리자)가 필요로하는 실용적 필요성을 충족시킬 수 있음을 시사한다. 타당도의 담론을 시험 특성으로 사용하면, 자원이나 심리학적 전문지식이 부족한 상황에서도, 퀄리티가 높다고 보고된 도구를 사용하여 평가와 관련된 과제를 극복할 수 있기 때문이다. 즉, '이미 발견된found' 해결책의 사용이 가능한 것이다.

However, the continued presence of this discourse of validity in the health professions education literature suggests that it may fill a pragmatic need for individuals who require ‘off-the-shelf solutions’ (e.g., educators and administrators who do not have the desire, knowledge, or resources to create ‘valid’ assessment programs, tools, or approaches de novo). Using the discourse of validity as a test characteristic permits the possibility of ‘found’ solutions to overcome the challenges associated with assessing students and future professionals using tools reported to be of high quality in a context of limited resources or limited psychometric expertise.

...대학 차원의 가용자원으로 타당하고 신뢰할 수 있는 역량 평가를 개발하기는 쉽지 않다.(로버트 외 2006, 저자의 542 강조)

…Developing a valid and reliable assessment of competence is not easy to achieve with the resources available at the university level. (Roberts et al. 2006, p. 542 emphasis by authors)

우리는 타당도를 시험의 내재된 특성으로 강조함으로써 다른 효과에 대해 추측할 수 있다. 시험의 불변성 속성으로서의 타당도는 평가 실무자에게 잘못된 안전의식을 심어줄 우려가 있다. 평가자는 평가도구의 '금도장gold seal'에 대해 의문을 제기하거나 다시 확인해볼 필요성을 전혀 느끼지 못할 수 있다. 예를 들어, MCQ 시험 형식을 사용하는 것은, 할라디나 등 2002년에 제시된 것과 같은 항목 작성 지침이나 MCQ가 사용되는 맥락적 성격을 고려하지 않고 '타당하다valid'(McCoubrie 2004)고 들었기 때문이다. 이런 것이 이 담론에 존재하는 사각지대의 사례이다. 마찬가지로 적절한 청사진이나 문제가 있는 시나리오에 대한 주의vigilance 없이 OSCE나 MMI와 같은 평가 접근방식을 배치하는 것을 선택하는 것은 맥락적으로 의미 있는 평가를 달성하려는 [원래 의도했던 목적]을 어렵게 만들 수 있다(Eva 및 Macala 2014). 더욱이 원래 연구한 용도 이외의 목적으로 또는 원래 맥락을 넘어서는 목적으로 시험을 사용하는 것도 (부정적) 결과를 초래할 수 있다.

We can speculate about some of the effects of emphasizing validity as a test characteristic over other discourses of validity. Validity as an immutable property of a test has the potential to create a false sense of security for assessment practitioners, who may never feel the need to question or re-evaluate an instrument’s ‘gold seal’. Using an MCQ exam format, for example, because it is said to be ‘valid’ (McCoubrie 2004) without consideration for item-writing guidelines such as those put forward in Haladyna et al. 2002), or the nature of the context in which the MCQs are used, is an example of such a blind spot. Similarly, choosing to put in place an assessment approach like OSCEs or MMIs without proper blueprinting strategies or without vigilance for problematic scenarios may defeat the intended purpose of achieving a contextually meaningful assessment (Eva and Macala 2014). Moreover, using tests beyond their original contexts or for purposes other than the originally studied uses can have consequences.

잘못된 인간에 대한 측정:

IQ 테스트가 지능을 하나의 탈맥락화된 점수로 수량화할 수 있다는 전제를 가지고 이뤄진 결과, 어떻게 새로운 맥락(이민 목적 등)에서 사용된 다음, IQ 점수에 근거하여 특정 인종-민족 집단을 '지능이 낮은 사람'으로 표기하는 등의 부적절한 결론을 도출해 왔는가.

The Mismeasure of Man: 

how the IQ test, based on the premise that intelligence can be quantified in a single, decontextualized score, has been used in novel contexts (such as for immigration purposes) to draw inappropriate conclusions such as labelling of entire ethno-cultural groups as ‘less intelligent’ based on test scores.

인수 기반 증거-체인으로서의 타당도

Validity as an argument-based evidentiary-chain

이 담론을 사용할 때, 타당도는 논쟁 기반 증거-체인으로 구체화되며, "평가 결과에 할당된 의미나 해석을 뒷받침하거나 반박하기 위해 제시된 증거"로 정의된다(2003년, 페이지 830). 이 담론에서의 타당도는 때때로 (이전의 담론에서와 같이) 특정 도구에 초점을 맞추지만, 타당도 자체는 매우 맥락의존적으로 본다. 여기서는 타당도 확인 프로세스를 통해 달성할 수 있는 점수의 타당한 해석에 초점을 맞추고 있다. 즉, 시행된 각각의 시험마다 (기초 이론/예측과 관련하여) 평가 결과의 해석을 뒷받침할 수 있는 충분한 증거가 있는지 검증한다. 여기서 명사 'validation'과 동사 'to validated'가 주로 나타나지만, 형용사 'validated'라는 문구는 절대 사용하지 않는다. 이는 평가되는 도구의 품질이 아니라 도구 사용의 적절성이라는 개념과 평가 프로세스를 구현하는 방식에 따라 시험자의 성과나 평가 점수에서 도출된 해석과 결론을 반영한다.

When this discourse is used, validity is framed as an argument-based evidentiary-chain and defined as ‘‘the evidence presented to support or refute the meaning or interpretation assigned to assessment results’’ (Downing 2003, p. 830). Though validity in this discourse does sometimes focus on particular tools (as in the previous discourse), validity itself is seen as highly contextual. The focus is on the valid interpretation of scores that can be achieved via a validation process used to verify that there is sufficient evidence in each administration of a test to support the interpretation of the assessment results in relation to the underlying theory/expectations. Here, the adjective ‘validated’ never appears while the noun ‘validation’ and the verb ‘to validate’ are common. This reflects the notion that it is not the quality of the tool that is judged but rather the appropriateness of the uses of the tool, and the interpretations and conclusions drawn from the examinees’ performance or assessment scores given the way the assessment process was implemented.

예를 들어, certification 시험의 타당화validation 프로세스는 임상 시뮬레이션을 주의 깊게 작성하고, 실제로 구현하며, 표준화했다는 문서화뿐만 아니라, 원하는 역량을 획득한 후보만 합격하고, 역량을 숙달하지 못한 후보만 시험에 불합격하도록 하는 것을 목적으로 할 수 있다. 그러나 중요한 것은 이 근거출처와 그에 기반한 certification 시험의 타당도 판단은 이 한 가지 사례에만 적용될 것이다. 그 다음에 사용할 때, 그리고 그 다음에 생성된 결과는 또 다른 타당도 검사를 필요로 할 것이다.

For example, a validation process for a certification exam might aim to document that clinical simulations were created carefully, implemented authentically, and standardized as well as ensuring that only the candidates who have acquired the sought after competences pass and only the candidates who do not master the competences fail the exam. Importantly, however, these sources of evidence and the determination of validity of the certification examinations would apply only to one instance of its use. Subsequent usages and the results generated would require repeated validation.

논쟁 기반 증거-체인으로 타당도 담론을 채택하는 사람들에게, 데이터/점수의 사용과 해석을 뒷받침하거나 반박하기 위한 증거를 제공하기 위해 '타당도'을 사용한다는 점에서 [과학적 방법]에 비유될 수 있다. 이 담론에서는 증거가 계속 축적되면서 결론이 바뀔 수도 있다고 인식한다. 따라서 타당도 과정을 평가 목적을 정의한 후 구현되는 여정으로 특징짓기도 한다. 타당화 과정의 목표는 검증 프로세스에서 가능한 한 많은 증거를 수집하고, 특정 테스트에서 생성된 데이터의 타당도 정도를 알려주는 변수/요소를 식별하는 것이다. 이 뿐만 아니라, 타당도 주장을 이해하고, 그 한계를 설정하는 것이다.

For those employing the discourse of validity as an argument-based evidentiary-chain, there is an analogy to the scientific method in that ‘validation’ is used to provide evidence to support or refute the use and interpretation of data/scores. There is also recognition that conclusions may change as evidence continues to accumulate. It is thus characterized by some as a journey on which one embarks after having defined the assessment purpose(s). The goal is to collect as much evidence as possible in a validation process and to identify variables/factors that inform the degree to which data produced by a particular test are valid but also to understand and set limits on claims of validity.

이 담론의 사용자들은, 이론에 근거한 평가 전략을 만든 다음, 관찰된 결과가 토대를 이루는underlying 이론의 예상 징후를 보여주는지를 평가하는 것을 목표로 한다.

Users of this discourse aim to create assessment strategies that are based on theories and then evaluate if the observed results show evidence of expected manifestations of the underlying theory.

이 담론은 타당화 접근법과 표준을 전면에 배치하며, 두 저자 메식(1995)과 케인(2006)은 이 담론의 anchor authorities으로 매우 자주 인용된다. 따라서 [논쟁 기반 증거 체인으로서의 타당도]는 [평가에 의해 생성된 점수의 품질에 대해 (권위 있게 말하고자 하는 경우) 적용할 일련의 규칙과 규정]을 만든다.

this discourse places validation approaches and standards at the forefront, and two authors—Messick (1995) and Kane (2006)—are very frequently cited as anchor authorities for this discourse. Validity as an argument-based evidentiary-chain thus creates a set of rules and regulations to be applied if one wants to speak authoritatively about the quality of the scores generated by an assessment.

이러한 담론은 타당도 및 검증 관행을 규제하는 교육 및 심리 테스트 표준 SERT (AERA 등 1999년), 교육 테스트 서비스 ETS 및 기타 기관과 같은 공식화된 평가 기관과 강하게 관련되어 있는 것으로 보인다. 더욱이, 이러한 기관들은 권장되는 관행recommended practice을 적용하고 집행하는 고도로 자격을 갖춘 사람들의 역할을 정당화한다.

This discourse appears to be strongly associated with formalized assessment institutions such as; the Standards for Educational and Psychological Testing (AERA et al. 1999), the Educational Testing Service, and others that regulate validity and validation practices. Moreover, these institutions legitimize the role of highly qualified people who apply and enforce the recommended practices.

이 타당도 담론을 과도하게 강조할 때 발생할 명백한 결과는 [검증 과정이 절대 끝나지 않는 과정이 될 것]이라는 점이다(Bertrand and Blais 2004). "타당도 및 평가 검증 및 개정'은 절대 끝나지 않는 사이클이다(Beckman 등). 2009년, 페이지 188)". 게다가, 점수 해석을 위해 다른 형태의 증거들을 어떻게 따져볼지에 대한 명확한 규칙이 없는 것 같다. 따라서 [수집된 타당도 근거와 새로운 점수 해석]을 해석하고 통합할 필요가 있기 때문에, QA 프로세스에 지속적으로 engage해야만 한다(Cook et al. 2015).

An apparent consequence of an over-emphasis of this discourse of validity is that the validation process would become a never-ending process (Bertrand and Blais 2004): ‘‘validity and assessment validation and revision is a never-ending cycle’’ (Beckman et al. 2009, p. 188). In addition, there appear to be no clear rules about how to weigh the different forms of evidence for different score interpretations. Thus, one can remain engaged in a continuous quality assurance process with the need to interpret and incorporate each new piece of validity evidence collected and each new score interpretation (Cook et al. 2015).

마지막으로, 이러한 담론을 강조함에 따른 또 다른 결과는, '내용 전문가content exprt'들이 실제로 좋은 성과를 정의하는 것이 무엇인지를 '알고' 있지만, (보다 공식화된 검증 프레임워크에 따르려면) 이들의 판단은 증거체인에서 relevant하거나 reliable해보이지 않기 때문에 평가 과정에서 저평가될 수 있다는 것이다. 즉, [타당도의 근거로 간주되는 것을 너무 협소하게 바라볼 경우], 자신의 전문직을 규제할 책임이 있는 전문가에게 상황에 맞춘 적절하고 중요한 평가 전략의 결정능력이 주어지지 않을 수 있다.

Finally, one further consequence of emphasizing this discourse is that little consideration may be given to content experts who feel that they ‘know’ what defines good performance in practice but who may become undervalued in the assessment process because their judgement does not seem relevant or reliable in the evidentiary-chain according to the more formalized validation frameworks. In other words, the professionals who are responsible for regulating their own profession may experience lessened capacity to determine contextually appropriate and important strategies for assessment if too narrow a lens is placed on what counts as evidence of validity.

검증의 증거-체인을 지원하기 위해 데이터를 수집하는 데 시간과 리소스가 필요하다. 이것은 임상 실습과 교육에서 최전선에서 일하는 사람들에게 어려울 수 있다. 그들은 또한 (더 많은 적시point-in-time 시험 전략을 위해 수집할 수 있는 증거의 덩어리를 모으는 것이 더 어려운) '주관적subjective' 또는 '관찰적observational'으로 보이는 평가를 채택할 때 저항에 직면할 수 있다.

Time and resources are required to collect data to support an evidentiary-chain of validation. This may prove difficult for those working at the front lines in clinical practice and education settings. They may also face resistance when employing assessments that are seen as ‘subjective’ or ‘observational’ for which it is more difficult to assemble the mass of evidence that can be gathered for more point-in-time testing strategies.

사회적 의무로서의 타당도

Validity as a social imperative

사회적 의무으로서의 타당도는, 개별적으로 취했을 때, 대부분의 독자들에게 친숙하게 보일 수 있는 몇 가지 요소들로 새롭게 부상하는 담론이다. 이 담론은 처음 두 가지 담론보다 새로이 등장한 것으로, 다양한 종류의 전문성, 관점, 이해관계자(관리자, 연구원, 정책 분석가 등)의 역할을 강조한다. 사회적 의무로서의 타당도는 개인 및 사회 수준에서 평가의 결과에 대한 신중한 고려를 포함하는 평가에 대한 사회 주도적 관점으로 나타났다. 이러한 담론은 보다 광범위한 개인 및 사회 문제를 전망함으로써, 특정 도구에 대해 한 가지만 고려하지 않고sole consideration, 이를 뛰어넘는 '조감도'를 취한다는 것이 특징이다. 

Validity as a social imperative is an emerging discourse with several components that, when taken individually, may seem familiar to most readers. This discourse is newer and informed by different kinds of expertise, perspectives, and stakeholders (administrators, researchers, policy analyst, etc.) than the first two discourses. Validity as a social imperative appeared in our archive as a socially driven perspective on assessment that includes calls for deliberate consideration for the consequences of assessment at both individual and societal levels. This discourse appears to be characterized by taking a ‘bird’s eye view’ of assessment that foregrounds broader individual and societal issues and that goes beyond the sole consideration of specific tools.

시험의 결과에 주의를 기울이는 것은 반드시 이 신흥 담론에만 국한되는 것은 아니며, 위에서 설명한 타당도의 증거적 개념과 더 일반적으로 관련이 있는 저자를 찾을 수 있다. 어느 정도, 사회적 의무로서의 타당도는 증거-체인으로서의 타당도에서 뻗어나온 결과물outgrowth일 수 있다. 우리가 [사회적 의무]를 별개의 담론으로 식별하려는 이유는, '사회적 의무'로 타당도를 사용하는 사람들은 [평가 개발 및 검증 프로세스 전반에 걸쳐 나타나는 평가의 사회적 결과]를 특히 중요시하는 것처럼 보이기 때문이다. 이와는 대조적으로, 증거-체인 담론에 포함되는 경우, 평가의 결과는 많은 변수 중 하나일 뿐이며, 일반적으로 전혀 고려되지 않을 경우 사소한 변수일 뿐이다. 또한 사회적 의무로서의 타당도의 담론은 학습자를 넘어 보다 거시적 사회 수준에서 영향을 포함하도록 평가 결과의 개념을 확장시킨다.

Giving attention to the consequences of a test is not necessarily unique to this emerging discourse and can be found authors who are more commonly associated with the evidentiary-chain notion of validity described above. To some degree, validity as a social imperative may be an outgrowth of validity as an evidentiary-chain. Our argument for identifying it as a discrete discourse arises from the observation that those who employ validity as a social imperative seem to foreground social consequences of assessment throughout assessment development and validation processes. By contrast, when included in the evidentiary-chain discourse, consequences of assessment are just one of many variables, usually a minor one if considered at all. This discourse of validity as a social imperative also expands the idea of consequences of assessment beyond learners to include impacts at a more macro societal level.

...참가할 가치가 있는 10%를 선정하는 과정에서(따라서 사회에서 존경받고 보수가 좋은 자리를 보장한다) 우리는 나머지 90%에게 그들이 가치 없는 사람이고, 그들이 충분히 좋지 않으며, 개인적인 결함을 가지고 있다고 말하고 있다. (노먼 2004)

…in the course of selecting the 10 % who are worthy of admission (and hence guaranteed an esteemed and well-paid place in society), we are telling the other 90 % that they are unworthy; that they are not good enough, that they have personal failings. (Norman 2004)

이러한 타당도 담론을 채택하는 사람들은 평가 목적에 대한 프로그램적 관점에 부합하는 경향이 있기 때문에, 이 담론의 지지자들은 사후 분석에는 주의를 덜 기울이는 것 같다. 오늘날 작가들은 평가를 도입하기 전에 [평가 전략의 개념적 계획 및 평가에 대한 목적적 접근의 우선 순위 지정을] 더욱 강조해 왔다. 또한 평가 후에는 [(평가 수행 후 문제를 식별하고 해결하는 데 초점을 맞춘) 평가의 품질에 대한 분석적 점검]보다 [의도하지 않은 결과의 최소화]를 강조해왔다. 예를 들어, 개별 평가 도구에 의해 생성된 데이터에서 시험 데이터가 결합되는 방식으로 강조점이 이동하기도 한다. 

Because those who adopt this discourse of validity tend to align themselves with a programmatic perspective on the purpose of assessment, proponents of this discourse seem to give less attention to post hoc analyses. Writers today have put greater emphasis on conceptual planning of an assessment strategy and prioritizing a purposeful approach to assessment by using tools and strategies a priori (prior to its administration) and minimizing unintended consequences over analytic checking of the quality of assessment results a posteriori, practices that focus on identifying and addressing issues post administration. For example, there is also a shift in emphasis from data generated by individual assessment tools to the way in which testing data are combined.

[(거의) 완벽한 평가도구의 조합]보다 오히려 [덜 완벽한 평가도구의 세심한 결합]이 결과적으로는 더 나을 것이다. 즉, 중요한 것은 있는 것은 빌딩블록의 퀄리티 뿐만 아니라, 빌딩블록을 결합하는 방식이다. (슈워스와 반 데르 블뤼텐 2012, 페이지 39)

A combination of (near-) perfect instruments may result in a weaker programme than a carefully combined set of perhaps less perfect components. In other words, it is not only the quality of the building blocks that is relevant, but also the ways in which they are combined. (Schuwirth and van der Vleuten 2012, p. 39)

이것은 사후 심리측정학 분석 데이터가 중요하지 않다고 말하는 것은 아니다. 다만, 사후 심리측정적 분석은 평가 전략의 복잡성을 완전히 파악하지 못하는 것 같다.

This is not to say that post hoc psychometric analytic data are not important. However, they seem unable to fully capture the complexity of assessment strategies

따라서, [학습자가 평가에 지불하는 비용]과 [사회와 실무자 모두가 경험할 수 있는 편익] 사이의 균형을 잡으려는 맥락에서 판단해야 한다.

and as such, they must be considered in the context of striving for balance between the costs of having learners submitted to the assessment and the potential for benefits to be experienced by both society and the practitioner.

심리측정적 접근방식은 [의료 전문가에게 점점 더 필수적이라고 여겨지는 상위 수준의 역량을 평가하기에는], 특히 이 역량을 [authentic context에서 분리하여 의미 있게 평가할 수 없다는 점]에서, 너무 환원주의적이다 (Kuper 등 2007). (Beendonk 외 2013, 페이지 560)

[…] the psychometric approach is considered to be too reductionist (Huddle and Heudebert 2007) for the assessment of higher order competencies, which are increasingly deemed to be essential for medical professionals but cannot be meaningfully assessed detached from the authentic context (Kuper et al. 2007). (Berendonk et al. 2013, p. 560)

넓은 사회과학적 관점에서 볼 때, 전통적인 OSCE 타당도 조사는 약간 좁았다. ...OSCE는 맥락의존적이고, 잠재적으로 formative하며, 권력, 경제, 문화의 관계와 같은 사회학적 변수의 영향을 많이 받는 복잡한 사회적 사건이다. (호지 2003, 페이지 253)

From the vantage point of a broad social-science perspective, traditional OSCE validity research has been a bit narrow. …OSCEs are complex social events that are highly contextual, potently formative and heavily influenced by sociological variables such as relations of power, economics and culture. (Hodges 2003, p. 253)

본질적으로, 이 담론은 관심의 초점을 [도구나 검증 과정의 속성]에서 [학습자와 사회를 위하여 평가가 지향해야 하는 목적]으로 이동시킨다.

In essence, this discourse shifts the focus of attention from the properties of the tool or the validation process to the desired purpose of assessment for the learner and for society.

평가의 교육적 가치는 쉽게 과소평가된다. 대부분의 학습자가 평가의 요구 사항을 발견하고 충족하는 데 능숙하기 때문에 평가의 성격과 내용은 학생들이 채택하는 학습 전략에 강한 영향을 미친다. (크로슬리 외 2002, 페이지 800)

The educational value of assessment is easily underestimated. The nature and content of assessment strongly influences the learning strategies that students adopt because most learners are adept at spotting and meeting the requirements of an assessment. (Crossley et al. 2002, p. 800)

이러한 담론을 사용하는 개인들이 종사하는 교육 프로그램 및 조직에서는 [커리큘럼]과 [사회가 졸업생에게 기대하는 미래의 의료행위practice]에 부합하는 완전하고 포괄적인 평가 프로그램을 주장한다. (약점을 식별하는) 후향적인 관점이기보다는, 이는 (assessment practice 개선을 통한) 전향적인 관점이다.

Individuals that employ this discourse often work in training programs and organizations that claim ownership of a complete, comprehensive program of assessment aligned with the curriculum and the expectations of society for future practice (and in some cases certification) of graduates prospectively (through improving assessment practices) rather than retrospectively (through identifying weaknesses).

더욱이, 이러한 담론은 평가의 일치단결된concerted 발전을 중요시하기에, 프로그램적인 평가 개발을 지도guide하는 평가 위원회나 이사들의 필요성을 강조한다. 평가 도구와 접근법의 결정은 개별 코스를 담당하는 자 또는 개별 코스의 특이한 견해/책임을 가진 사람, 생성된 데이터의 타당도를 측정하는 사람에게 맡겨둘 것이 아니다.

Moreover, this discourse promotes concerted developments in assessment, thus creating the need for evaluation committees or directors that guide programmatic assessment development rather than leaving the selection of tools and approaches to the idiosyncratic views/abilities of those responsible for individual courses, or in the hands of those who measure the validity of data generated.

단순히 좋아 보이는 도구를 사용하게 놔둬서, 학생들의 미래를 바꾸는 life-changing decision을 내리는 것은 분명 용납될 수 없다는 것이 내 견해다(6). 그러나 그것은 반대 의견이다.(노먼 2015, 페이지 300, 301)작가에 의한 강조

My own view is that it is surely not acceptable to make life changing decisions about students’ future using instruments that simply look good (6). But that is one opinion against another. (Norman 2015, pp. 300, 301)—emphasis by authors

문헌에 따르면, 사회적 의무로서 타당도를 지나치게 강조하면 "대부분의 교육자들에게 물의를 일으킬 뿐만 아니라, 실제로 시험 사용의 의도된 결과와 의도하지 않은 결과에 대한 주의를 덜 기울일 수 있다"(Shepard 1997, 페이지 13). 일반적으로 이러한 타당도 형태와 관련된 데이터는 다양한 출처에서 얻으며, 양적 정보뿐만 아니라 질적 정보도 포함할 수 있다.

It has been suggested in the literature that an overemphasis on validity as a social imperative may ‘‘not only muddy the waters for most educators, it may actually lead to less attention to the intended and unintended consequences of test use’’ (Shepard 1997, p. 13). Typically, data related to this form of validity come from a variety of sources and may include qualitative as well as quantitative information.

좀 더 전통적인 것을 소홀히 할 가능성이 있지만 그럼에도 불구하고 유용한 정신측정학 모니터링은 특히 개별 도구의 퀄리티 수준에서 이루어진다. '큰 그림'만 보고 평가 도구(예: 항목 분석, 신뢰성, 합격률 등)에 의해 생성된 구체적인 데이터의 품질을 모니터링하는 시력을 상실할 경우, '신뢰할 수 없는' 검사나 불공정한 합격/불합격 점수를 중심으로 사각지대가 발생할 수 있다. 이 담론에서 심리측정적 분석은 타당도 확인의 중심적 접근방식은 아니지만, 적절히 사용할 경우 그 사용은 목적적합한 평가의 목표를 지원할 수 있다. 질적 데이터의 사용에 대한 강력한 접근방식이 이 담화(Kuper et al. 2007; Van Der Vleuten et al. 2010)에서 유용할 수 있다는 주장이 제기되었지만, 그렇게 하는 방법은 초기 단계에 머물러 있다.

there is the potential of neglecting the more traditional, but nevertheless useful psychometric monitoring a posteriori, particularly at the level of the quality of individual tools. If one attends only to the ‘big picture’ and loses sight of monitoring the quality of data generated by specific assessment tools (e.g., item analysis, reliability, pass rates, etc.), blind spots may develop around ‘unreliable’ examinations or unfair pass/fail cut scores. While in this discourse psychometric analysis is not the central approach to ascertain validity, its use may support the goal of purposeful assessment when used appropriately. It has been argued that robust approaches to the use of qualitative data could be useful within this discourse (Kuper et al. 2007; Van Der Vleuten et al. 2010), however methods to do so remain in their infancy.

고찰

Discussion

본 연구는 보건 직업 교육 및 평가의 특정한 맥락 안에서 "타당도"이라는 용어를 사용하는 것에 초점을 맞추었다. 기본적인 개념화와 무관하게, 타당도는 보건 직업 교육에 일반적으로 사용되며 높은 부하를 받는 용어임이 분명하다.

This study has focused on the use of the term ‘‘validity’’ within the specific context of health professions education and assessment. Independent of the underlying conceptualization, it is clear that validity is a commonly used -and highly loaded- term in health professions education.

• 타당도는 어떤 사람들에게는 도구가 특정 금본위제를 충족하였기 때문에 도구가 사용될 수 있거나 심지어 사용되어야 한다는 것을 나타내는 것처럼 보인다.

Validity seems to signify, for some, that a tool can or even should be used since it has met a certain gold standard.

• 다른 사람들에게는 점수 해석의 적절성을 보장하기 위해 진행되는 과정에 대해 말하는 것 같다.

For others, it seems to speak to the process put in place to ensure the appropriateness of the score interpretation.

• 어떤 그룹에게 타당도는 의도하지 않은 결과를 최소화하는 데 초점을 맞춘 학습자와 사회의 평가의 역할과 가치에 대한 고려사항에 관한 것으로 보인다.

For a third group, validity seems to be about the considerations for the role and value of assessment for learners and society with a focus on minimizing unintended consequences.

이러한 각 단점을 채택함으로써 얻을 수 있는 권력관계와 편익은 (부분적으로는) 공개된 타당화 관행에서 채택되는 프로세스와 시험testing 기관이 생성 및 승인한 지침에 의해 권장되는 프로세스 간의 관찰된 불일치를 설명할 수 있다.

The power relations and benefits gained by adopting each of these discourses may explain—in part—the observed discrepancies between the processes that are sometimes adopted in published validation practices and the processes recommended by the guidelines generated and endorsed by testing organizations.

[논쟁 기반 증거-체인의 담론]을 채택하는 사람들에게 신뢰를 받으려면, 특정 용어를 사용해야 하고, 이른바 '현대적' 타당도 이론을 언급해야 할 것으로 예상된다. 따라서 이 담론에 참여하는 한 가지 방법은 [기술 보유자 또는 적절한 언어와 기술을 익힌 사람]이 되어서, 타당도의 규칙과 규정(일반적으로 케인과 메시크에 관한 것)을 주장하는 것이다. 이들은 타당도 접근법을 권장하고 적용할 수 있는 힘을 가지고 있다. 즉, [논쟁 기반 증거-체인 담론]은 특정한 기술과 지식 기반을 가진 사람들이, 특정한 전문화된 직업을 갖는 것을 가능하게 한다. 또한 [선별된 그룹의 사람]만이 타당화 작업을 처리할 수 있는 전문 지식을 가지고 있다는 것을 암시하는 것으로 보인다.

To be credible to those employing the discourse of argument-based evidentiary-chain, one is expected to use a specific set of terminology and refer to what are called ‘modern’ theories of validity, as illustrated by the multiple reviews on the subject (Cizek et al. 2008, 2010; Cook et al. 2014, 2015; Wools and Eggens 2013). Thus, one way of participating in this discourse is as a skill holder or a person who has mastered the appropriate language and skills and, as such, lays claim to the rules and regulations of validation (usually in reference to Kane and Messick). Such individuals have the power to recommend and apply validation approaches. In other words, this discourse makes certain specialized jobs possible for people who have a specific skill set and knowledge base. It also appears to imply that only a select group of people have the expertise to tackle a validation task.

최근의 체계적인 검토를 살펴보면 '근대적 타당성 이론'의 채택이 늦어지고lag 있다는 점을 지적하고 비평한다(Cook et al. 2013, 2014). 이러한 담론이 지배적인 경우, 고도로 훈련된 개인이 평가 도구의 지속적인 타당도를 보장해야 함을 암시하는 경우가 많다. 결과적으로, (—제한적인 공식 훈련만 받은 —)'novices'가 평가 프로그램을 개발하고 모니터링해야 하는 상황에서,

• 그들은 같은 언어를 사용하지 않기 때문에 '외계인' 또는 '임포스터'로 인식될 수 있다. 

• 인가된 타당성 이론을 능숙하게 사용하지 못할 수 있다. 

• '전문가'에게 통상적이지 않거나 설득력이 없는 타당도 프로세스 근거를 제시할 수 있다.

Recent systematic reviews document and critique a ‘lag’ in uptake of ‘modern validity theories’ (Cook et al. 2013, 2014). Where this discourse is dominant, it is often implied that highly trained individuals are required to ensure the ongoing validation of assessment tools. Consequently, when ‘novices’—with limited formal training—are called upon to develop and monitor assessment programs, they 

• may be perceived as ‘outsiders’ or ‘impostors’ because they do not use the same language, 

• may not adeptly use sanctioned theories of validity, and 

• may put forward evidence during a validation process that is not conventional or convincing to a ‘professional’.

[사회적 의무로서의 타당도]와 같은 타당도에 대한 새로운 담론과 개념화가 등장하며, 다른 역할의 가능성이 대두되고 있다. 그리고 다음의 질문이 제기된다.

• 타당성이란 것은 무엇을 의미하는지(또는 어떤 담론이 합법적이라고 여겨지는지)에 대해서 판단할 수 있는(또는 허용되지 않는) 사람은 누구인가?

• 궁극적으로, '적절한' 평가라는 것은 무엇인가?

With new emerging discourses and conceptualizations of validity—such as validity as a social imperative—comes the possibility of different roles and, as such, calls into question 

• who is now allowed (or not allowed) to judge what validity means (or which discourse is considered legitimate) and 

• ultimately what is considered ‘appropriate’ assessment. 

이 세 번째 담론의 사용자는 정책 입안자, 교사 및 커리큘럼 및/또는 평가 프로그램 전문가를 포함한다. 세 번째 담론을 채택하는 사람들은 종종 시험 대상자를 옹호하거나(평가 대상자가 평가로부터 피해를 경험하지 않도록 해야 함), 사회 전반을 옹호함으로써(평가 프로그램이 프로그램의 가치와 사회의 요구에 부합되어야 함) 이러한 담론에 윤리적 요소를 끌어오는confer 경우가 많다.

Users of this third discourse might include policy makers, teachers, and curriculum and/or assessment program specialists. Those who employ this discourse often do so by advocating for those being tested (aiming to make sure that no harm is experienced by the learners from the assessment) or for society in general (by making sure that the programs of assessment are aligned with programs’ values and society’s needs) thus conferring on this discourse an ethical quality.

Validation의 초점을 바꾸려는 생각에 어떤 사람들이 예민하게 반응하는 것은 놀랄 일이 아니다. (본 논문의) 개발 단계에서 이 연구에 대해 다음과 같은 의견을 들었다(즉, 연구비 신청에 대응하여): 

"심리학적 관점에서, 나는 [타당도 개념화 연구]가 우리의 지식에 새로운 어떤 것도 추가할 수 있다고 생각하지 않는다. 타당도는 사회언어적 이슈에 근거하지 않는다. 그것은 경험적 자료와 현대/전통적인 심리학적 방법에 기반을 두고 있다."

it is not surprising that some individuals would react strongly to the thought of shifting the focus of validation, as exemplified by the following review received about this work at the development stage (i.e., in response to a grant application): 

‘‘From a psychometric perspective, I do not believe that [investigating conceptualizations of validity] can add anything new to our knowledge. Validity is not based on sociolinguistic issues; it is based on empirical data and modern/traditional psychometric methods.’’

우리가 '시험기 가진 특성'으로서 타당도(=첫 번째 담론)를 주장하는 사람을 만나지는 않았지만, 문헌에는 이러한 관점을 받아들이고 있음이 문헌상에는 명확히, 그리고 지속적으로 확인되며, 따라서 심리측정적 담론이 충족시켜주는 요구가 분명 존재한다. 우리는 분석에서 타당도의 담론과 관련하여 나타나는 두 가지 주요 역할, 즉 소비자와 생산자를 확인할 수 있었다. 즉, 이 담론은 [생산자(개별이든 조직이든)]가 ['타당화된validated' 도구를 필요로 하는 소비자]에게 [제품(테스트/평가 전략)]을 제공 및 판매하는 소비주의 철학을 선호한다.

While we did not encounter anyone laying claim to validity as a test characteristic, its clear and continued presence in the literature suggests both that many accept this perspective and that it fulfills a need. We could see in our analysis two major roles emerging in association with the discourse of validity as a test characteristic: consumers and producers. In other words, this discourse favours a consumerism philosophy in which producers (whether individuals or organizations) provide (and market) products (tests/ assessment strategies) to consumers who need ‘validated’ tools.

이 경우에 소비자는 개인(예: '쉘프 시험'을 사용하는 교수)이나 집단(예: 어떤 직업의 문지기로 라이선스 시험을 받아들이는 사회)가 될 수 있다. 소비자는 외부 출처에 근거하여 '사전에 이미 검증된' 평가 도구를 제공받고 싶어하며, 자신이 선택한 도구에서 생성된 데이터의 타당도에 대해 독립적으로 의문을 제기할 수 없거나(능력) 의문을 제기할 의사가 없을 수 있다(의지).

Consumers can be individuals (such as professors using a ‘shelf exam’) or collectives (such as a society that accepts a licensure exam as the gatekeeper of a profession). The consumers need to rely on external sources to provide them with ‘pre-validated’ assessment tools and may not be able or willing independently to question the validity of the data generated by those tools that they have taken up.

평가 도구가 '명성name'을 지닌다면 [이러한 형식의 타당도 담론을 채택하는 것은] 생산자(개별 연구자, 개발자 또는 조직)에게 매력적일 수 있으며, 그 후에 상업적 목적을 위해 학술적 영향, 브랜드 또는 저작권을 증명하는 데 사용될 수 있다. 이 기업가적 성격은 시험의 특성으로서 타당도의 담론을 촉진하기 위한 동기를 창출할 수 있다. 또한 기관은 판매 가능한 제품을 생산하기 위한 적절한 요소(즉, '타당화된 평가 도구')를 결합할 수 있을 때 이 담론을 사용함으로써 신뢰도나 힘을 얻을 수 있다.

Adopting this form of validity discourse may also be attractive to producers (individual researchers, developers, or organizations) when an assessment tool carries their name and then can be used to demonstrate scholarly impact, branded, or copyrighted for commercial purposes. This entrepreneurial dimension may create an incentive to promote the discourse of validity as a test characteristic. Institutions may also gain credibility or power from using this discourse when they can put together the appropriate ingredients to yield sellable products (i.e., ‘validated assessment tools’).

이번 연구에서 알 수 있듯이, 개개인이 최고의 품질 기준을 충족시키기 위한 평가를 밑바닥부터de novo 만들 수 있는 모든 자원을 가지고 있지 않을 수 있다는 점을 감안할 때, 타당도를 이러한 방식으로 개념화하는 것이 실용주의적 요구에 부응하는 것처럼 보인다. 

As indicated in our results, this conceptualization of validity does seem to answer a pragmatic need given that individuals might not have all the resources to create assessment de novo to meet the highest standards of quality. 

또 하나 또는 추가적인 설명은 담론이 임상학에서 '수입'되었다는 것이다. Clinical science에서는 고전적인 타당도 모델(또는 내용, 구성 및 준거 타당도)이 문헌에 남아 있으며(Mokkink et al. 2012; Portney 2000), 타당도를 임상에서 사용하는 평가 도구의 속성으로 간주한다.

Another or additional explanation is that the discourse was ‘imported’ from the clinical sciences in which the classical model of validity (or the validity trinity of content, construct, and criterion validity) is still present in the literature (Mokkink et al. 2012; Portney 2000) and in which we see validity as the property of a clinical assessment tool.

이 작업의 한계에는 특정 문맥에 대한 담화 분석을 집중하기로 선택한 것이 포함된다.

Limitations of this work include that we chose to focus our discourse analysis on a specific context—the scientific literature of health professions education.

결론

Conclusion

타당도는 보건 직업 교육에서 몇 가지 다른 의미를 가지고 있다. 이러한 의미들의 공통점은, 아마도 어떤 형태로든 타당도가 평가 개발 및 품질 모니터링에 대한 논의의 핵심이며, 그 중심에 있어야 한다는 암묵적 이해일 것이다. 본 연구에서 관찰된 담론은 보건 직업 교육에 영향을 미치는 다수의 병행적 분야와 분야의 타당도 개념 사용과 관련하여 발생할 가능성이 높다. 어떤 담론이 합법적이거나 지배적인 것으로 보이는 변화가 있었다면, 이는 [보건 직업과 다른 분야 사이의 관계 변화] 때문일 수 있다.

Validity has several different meanings in health professions education. What these meanings have in common, perhaps, is an implicit understanding that validity, in some form, is and should be at the heart of any discussion about assessment development and quality monitoring. It is likely that the discourses observed in this study arise in relation to usages of the concept of validity in a number of parallel disciplines and fields that influence health professions education. It may be that changes in which discourse is seen as legitimate or dominant can be traced to changing relationships between the health professions and other fields.

따라서, 타당도 개념을 채택하는 사람들에 대한 우리의 권고는 평가 도구와 프로그램의 가치 및 적절성에 대한 진술을 하기 전에 자신이 타당도에 대해 갖는 개념을 명시적으로 설명하는 것이다. 그렇게 한다고 해서 한 사람이 사용하는 담론의 한계가 없어지는 것은 아니며, 다른 담론을 채택한 경우에 관련될 타당도에 대한 함축도 피할 수 없다. 그러나 이는 타당도 개념이 비판적 성찰에서 자유롭지 않게 채택되지 않을 가능성을 증가시키고 따라서 현장이 현장에 영향을 미치는 불일치와 긴장을 해소하는 데 도움이 될 수 있다.

As such, our recommendation for those employing concepts of validity is to explicitly describe one’s conceptualizations before making statements of truth about the worth and/or appropriateness of assessment tools and programs. Doing so will not eliminate the limitations of the discourse one uses, nor will it avoid the implications for validity that would be relevant had a different discourse been adopted. It will, however, increase the likelihood that the notion of validity is not adopted free of critical reflection and might, therefore, help the field to bridge discrepancies and tensions that are currently impacting upon the field.

Lingard, L. (2009). What we see and don’t see when we look at ‘‘competence’’: Notes on a god term. Advances in Health Sciences Education, 14, 625–628.

Norman, G. (2015). Identifying the bad apples. Advances in Health Sciences Education, 20(2), 299–303. doi:10.1007/s10459-015-9598-9.

Schuwirth, L. W. T., & van der Vleuten, C. (2012). Programmatic assessment and Kane’s validity perspective. Medical Education, 46(1), 38–48. doi:10.1111/j.1365-2923.2011.04098.x.

Van Der Vleuten, C. P. M., Schuwirth, L. W. T., Scheele, F., Driessen, E. W., & Hodges, B. (2010). The assessment of professional competence: Building blocks for theory development. Best Practice and Research: Clinical Obstetrics and Gynaecology, 24(6), 703–719. doi:10.1016/j.bpobgyn.2010.04.001.

비판적 사고 가르치기: 진단오류를 줄이고 환자안전을 개선하기 위한 인지편향 교육(Acad Med, 2019)

Teaching Critical Thinking: A Case for Instruction in Cognitive Biases to Reduce Diagnostic Errors and Improve Patient Safety

Celeste S. Royce, MD, Margaret M. Hayes, MD, and Richard M. Schwartzstein, MD

환자의 질병과 사망률에서 진단 오류의 역할에 대한 인식이 최근에 증가했다.

Recognition of the role of diagnostic errors in patient morbidity and mortality has recently increased,

의료 오류의 원인으로서 의료 시스템의 기능에 대한 주의에도 불구하고, 진단 오류의 인지적 요소를 다루기 위해 수행된 경우가 상대적으로 거의 없다. 그러나 인지적 요소는 의료 오류 원인의 70%에 이를 수 있다.2–5

Despite the attention given to the function of health care systems as a cause of medical error, relatively little has been done to address the cognitive component of diagnostic error, which may contribute to as many as 70% of medical errors.2–5

진단 오류의 예방은 의료 시스템에 안전 점검을 구축하는 것보다 더 복잡하다. 진단 오류를 예방하려면 진단을 수행하는 임상 추론과 인지 프로세스를 이해해야 한다. 임상 추론(=환자를 진단하고 치료하기 위해 인지적 기술, 지식, 경험을 적용하는 과정)은 본질적으로 평가하기 어렵기 때문에 인지 오류를 발견하기 어렵다. 임상 추론의 단계는 대개 빠르게 발생하며, 거의 문서화되거나 설명되지 않으며, 임상의의 머리 속에서조차 명백하지 않을 수 있다.6,7

Prevention of diagnostic errors is more complex than building safety checks into health care systems; it requires an understanding of the clinical reasoning and cognitive processes through which diagnoses are made. Clinical reasoning— the process of applying cognitive skills, knowledge, and experience to diagnose and treat patients—is inherently difficult to assess, which makes cognitive errors difficult to detect. The steps of clinical reasoning usually occur rapidly, are rarely documented or explained, and may not be apparent even in the mind of the clinician.6,7

진단 오류가 인식되면, 임상적 추론 중 어디에서, 어쩌다 오류가 발생했는지 파악하는 것이 필수적이다. 사전 경험이나 현재 상황의 긴급성에 근거하여 데이터에 대응하려는 인지적 편견이 진단 오류를 야기할 수 있다. 노먼 외8은 최근 지식 부족이 진단 오류의 1차적 원인이라고 주장했지만, 인지적 편견이 진단 오류의 원인이 된다는 것을 시사하는 실질적인 증거가 있다. 진단 오류로 인한 대부분의 실제 의료과실 사례에서 오류는 무지함 때문이 아니라 정확한 진단을 고려하지 않았기 때문이다.3,9 

When a diagnostic error is recognized, it is imperative to identify where and how the mistake in clinical reasoning occurred. Cognitive biases, or predispositions to respond to data on the basis of prior experience or the exigencies of current conditions, can contribute to diagnostic errors. Although Norman et al8 recently argued that knowledge deficits are the primary cause for diagnostic errors, there is substantial evidence to suggest that cognitive biases contribute to diagnostic errors. In the majority of real-world malpractice cases attributed to diagnostic error, the errors are not due to ignorance but, rather, to the failure to consider the correct diagnosis.3,9 

간디 외 연구진 5는 종결된 의료과실 청구 중 64%에가 진단 오류에 의한 것이며, 이 중 79%는 "판단 실패"를 포함함을 밝혔다. 진단 오류에서 인지편향의 역할은 의사들이 충분히 인식하지 못하며, 이러한 가정들이 의사결정에 어떤 영향을 미치는지 잘 모를 수 있다.6 진단 지연 및 오진에 대한 사례 연구는 진단 실패에서 인지편향의 중심적 역할을 설명해준다. 인지 편향에서 발생하는 오류는 외래 클리닉에서 확인된 진단 오류의 50% 이상에 영향을 미친다. 내과의사가 보고한 진단 오류와 관련된 사례에서는 83%까지 증가한다. 인지적 편견으로 인한 오류가 어떻게 발생하는지를 조사함으로써 실수나 환자 위해를 방지하기 위한 전략을 개발할 수 있다.

Gandhi et al5 found 64% of closed malpractice claims to be due solely to diagnostic error, with 79% of those cases including a “failure of judgment.” The role of cognitive bias in diagnostic error is underappreciated by physicians, who may be unfamiliar with how these assumptions influence their decision making.6 Case studies of diagnostic delay and misdiagnosis illustrate the central role of cognitive bias in diagnostic failure, showing that errors arising from cognitive bias play a role in over 50% of identified cases of diagnostic error in ambulatory clinics and in up to 83% of cases involving physician-reported diagnostic errors.9–12 By examining how errors due to cognitive biases occur, strategies may be developed to avoid mistakes and patient harm.

우리는 비판적 사고의 구성요소로 메타인지와 인지적 편견에 대한 명확한 지침이 진단 오류를 줄이고 따라서 환자 안전을 개선할 수 있는 잠재력을 가지고 있다고 주장한다.

We argue that explicit instruction by medical educators about metacognition and cognitive biases as components of critical thinking has the potential to help reduce diagnostic errors and thus improve patient safety.

진단 프로세스

The Diagnostic Process

인지 과정으로 인한 진단 오류를 예방하는 방법을 알기 위해서는, 우선 의사가 임상 결정을 내리는 방법을 이해하는 것이 중요하다. 인지 심리학자들은 문제 해결과 의사결정이 이중 프로세스 모델을 통해 이루어져야 한다고 제안했다. 

• 시스템 1: 직관적이고 신속한 패턴 기반 의사결정, 

• 시스템 2: 보다 분석적이고 논리적인 추론, 

When considering how to prevent diagnostic errors that are due to cognitive processes, it is important to understand how physicians make clinical decisions. Cognitive psychologists have proposed that problem solving and decision making occur through a dual process model: 

• intuitive, rapid, pattern-based decision making, termed System 1; and 

• more analytic, logical reasoning, termed System 2.13,14 

문헌에는 이중 처리에 대한 많은 설명이 존재하지만, 다음과 같은 일반적인 동의가 있다. 

• 시스템 1은 패턴 인식, 엄지손가락 규칙, 또는 휴리스틱스라고 알려진 정신적 쇼트컷을 사용하여 빠르고 거의 즉각적인 결정을 내리는 것이다. 

• 시스템 2는 문제 해결에 대한 보다 분석적인 접근방식이며, 일반적으로 익숙하지 않은 문제, 어려운 결정 또는 모순된 증거에 직면할 때 사용된다. 

Although many descriptions of dual processing exist in the literature,15 there is general agreement that 

• System 1 is the use of pattern recognition, rules of thumb, or mental short cuts, known as heuristics, to make quick, almost instantaneous decisions. 

• System 2 is the more analytic approach to problem solving and is typically employed when confronted with an unfamiliar problem, a difficult decision, or contradictory evidence. 

이중 처리 이론은 두 시스템이 순차적으로 기능한다는 것을 제시한다. 휴리스틱스는 문제를 즉시 해결하기 위해 사용되며, 분석적 추론은 원래의 인상을 바꾸기 위해 사용될 수 있다(물론 사용되지 않을 수도 있다).

The dual process theory suggests that the two systems function in sequence: Heuristics are used to immediately solve the problem, and analytic reasoning may (or may not) be employed to alter the original impression.16

메타인지는 의사결정을 감시하는 과정에서 자기성찰과 자기조절 능력을 말하며, 어떤 목적을 가지고 시스템2를 활용하여 문제를 해결하고자 자신의 추론에 대해 성찰하고 심사숙고하는 것이다. 메타인지 전략은 종종 시스템 2 의사결정의 활성화를 초래한다. 왜냐하면 성찰의 과정이 사용 가능한 데이터에 대한 더 분석적인 점검을 촉진할 수 있기 때문이다.

Metacognition—the capacity for self-reflection on the process of thinking and self-regulation in monitoring decision making—can be described as the purposeful engagement of System 2 problem solving through reflection and deliberative examination of one’s own reasoning. Metacognitive strategies often result in activation of System 2 decision making because the process of reflection may prompt a more analytic examination of available data.

예를 들어, 상어 공격에 관한 다큐멘터리를 본 후 어떤 동물이 인간의 죽음을 가장 많이 유발하느냐는 질문을 받았을 때, 시스템 1 처리를 사용한 당신의 즉각적인 대답은 "상어"일 가능성이 높다. 곰곰이 생각해보면(메타인지적 실천) 시스템 2 처리를 하고 정답인 모기(모기)에 도달할 수 있다.17

For example, when you are asked which animal causes the most human death after you view a documentary on shark attacks, your immediate answer, using System 1 processing, is likely to be “sharks.” On reflection (a metacognitive practice), you might engage System 2 processing and arrive at the correct answer, which is the mosquito.17

분석적 추론은 가설연역적 또는 귀납적 추론 능력이 필요하지만, 무엇보다 노력이 필요하기 때문에, (진단) 오류는 단순히 손쉽게 휴리스틱스에 의존하는 성향 때문에 발생할 수 있다. 트베르스키와 카네만은 "사람들은 제한된 수의 경험적 원칙에 의존하여, 확률 평가의 복잡한 작업을 단순 작업으로 축소시킨다." 그리고 이것이 "심각한 시스템적 오류"로 이어질 수 있다.

Because analytic reasoning requires effort—as well as an understanding of and the ability to engage in hypothetico-deductive and/ or inductive reasoning—errors may arise simply due to the expediency of depending on heuristics. As Tversky and Kahneman18 note, “people rely on a limited number of heuristic principles which reduce … complex tasks of assessing probabilities … to simpler operations” which can “lead to severe and systemic errors.”

적응적 전문성의 이론은 이중처리이론을 보완한다. 즉 임상문제 해결 시에 효율과 혁신의 균형을 맞추는 것이다.

The theory of adaptive expertise complements the dual process theory with the idea of expert practice—that is, of balancing efficiency and innovation in clinical problem solving.20,21

이 모델에서 일상적 전문성은 기존의 지식을 사용하여 일상적이거나 친숙하거나 복잡하지 않은 문제를 신속하게 해결하는 것이다. 

In this model, the routine expert is an individual at any level of training who appropriately uses preexisting knowledge to quickly solve routine, familiar, or uncomplicated problems.

이와는 대조적으로, 적응적 전문성은 깊은 개념적 이해를 습득하고, 성찰에 참여하여, 복잡하거나 생소한 문제에 대한 새로운 해결책을 만들어낼 수 있으므로, 지식 기반, 추론 능력 및 이전에 접하지 못한 사례를 해결하는 능력을 추가해야 한다.22 전문적 실천을 위해서는 성장을 위한 성찰이 필요하다. 이러한 메타인지적 과정이 없이는, 실천은 개선되지 않고, 고정되며, 진단 오류가 발생할 가능성이 증가한다.23 적응적 전문성은 고정된 역량이 아니라 개인의 지식과 문제해결 능력과 함께 발전한다. 이 이론에 따르면, 

• [임상의는 경험 수준과 무관하게 기본지식이 있다면] 논리와 추론을 채택하여 단순한 시나리오뿐만 아니라 보다 복잡하고 불확실하며 생소한 경우에서도 적절한 진단을 내릴 수 있다. 

• 반대로 [경험이 풍부한 임상의]더라도, 복잡한 문제, 새로운 프레젠테이션 또는 모순된 데이터에 직면했을 때 반성과 혁신의 필요성을 인식하지 못하면 잘못된 진단에 도달할 수 있다.

In contrast, the adaptive expert is able to employ a deep conceptual understanding and engage in reflection to create novel solutions for complicated or unfamiliar problems, thus adding to his or her knowledge base, reasoning capacity, and ability to solve cases not previously encountered.22 Expert practice requires reflection for growth; without engagement in this metacognitive process, practice improvement is stalled, and the chance of diagnostic errors occurring increases.23 Adaptive expertise is not a static competency; rather, it develops as the individual’s knowledge and problem-solving skills grow. 

• In this theory, a clinician of any experience level who possesses foundational knowledge may make appropriate diagnoses not only in simple scenarios but also in more complex, uncertain, or unfamiliar cases by employing logic and reasoning. 

• Conversely, an experienced clinician may arrive at an incorrect diagnosis if he or she fails to appreciate the need for reflection or innovation when confronted with a complex problem, a novel presentation, or contradictory data.

이중 프로세스와 적응적 전문성 모델을 함께 사용하면, [일상적 전문가]들이 복잡한 문제 진단에 대한 접근법에 있어 [적응적 전문가]와 어떻게 다른지 설명할 수 있다. 

• 일상적 전문가는 신속하고 정확하게 진단에 도달하여 경험과 지식을 활용하여 경험적 질병 대본을 채택할 수 있다. 그들은 경험하지 않은 문제나 데이터에 직면했을 때 분석적 추론 전략을 사용할 필요성을 인식하지 못하거나, 주로 이전에 접했던 다른 패턴으로 전환하기 위한 목적으로 분석을 사용한다. 진단에 대한 이러한 유형의 이중 프로세스 접근방식은 적절한 임상 지식, 적절한 경험, 인지 과부하가 없는 상태, 필요할 때 성찰 또는 메타인지를 할 수 있는 능력에 근거하고 있으며, 이는 숙련된 임상의사가 임상 의사결정을 내리는 효율을 결정한다.

• 적응적 전문가은 두 가지 유형의 사고에 모두 관여하며, 혁신의 단계를 추가하는 능력에 의존한다. 즉, 이전의 경험과 지식을 창의적으로 활용하여, 이전에 겪지 않았던 새로운 문제나 복잡한 문제에 대한 새로운 해결책을 설계하는 것이다. 따라서 적응형 전문가들은 시스템 1과 시스템 2 접근방식을 모두 사용하여 문제를 해결하고 새로운 해결책을 도출하기 위해 기초 지식과 학습된 경험을 적용함으로써 변화하는 조건에 대응하여 효율과 혁신의 균형을 맞춘다.

The dual process and adaptive expertise models can be used together to explain how routine experts differ from adaptive experts in their approaches to diagnosing a complex problem. 

• Routine experts may rapidly and correctly arrive at a diagnosis, drawing on previous experience and knowledge to employ heuristic illness scripts. They may not recognize the need to use analytic reasoning strategies when faced with an unfamiliar problem or data that do not fit into the solution proposed by the heuristic, or they may use analysis primarily to switch to another previously encountered pattern. This type of dual process approach to diagnosis is predicated on adequate clinical knowledge, experience, the lack of distracting cognitive overload, and the ability to engage in reflection or metacognition when indicated, and it results in the efficiency experienced clinicians bring to clinical decision making.23,24 

• Adaptive expertise relies on the ability to engage in both types of thinking and adds the step of innovation—that is, designing novel solutions to new or complex problems not encountered previously by drawing creatively on prior experience and knowledge. Adaptive experts, therefore, balance efficiency and innovation in response to changing conditions, using both System 1 and System 2 approaches to problem solving and applying their foundational knowledge and learned experience to formulate novel solutions.

학습자가 임상적 의사결정을 효율적으로 하는 경우는 드물다. 학습자는 효율적 임상결정을 위하여 노력으로 휴리스틱스를 써볼 수 있지만, 경험 부족이 부족하기 때문에 휴리스틱스가 실패했을 때 지식의 부족이나 자기조절의 문제를 판단하지 못하고, 경험 있는 임상의보다 실수를 더 많이 한다. 그러나 초보자든 경험이 많은 의사든, 모두 인지편향으로 인한 진단오류를 경험할 수 있다.

Learners are rarely efficient in their clinical decision making. They may try to employ heuristics in an effort to be efficient, but they may be more prone to errors than experienced clinicians, as their lack of experience provides inadequate knowledge or self-regulation to determine when heuristics fail. However, both novices and experienced clinicians can experience diagnostic error due to cognitive bias.

휴리스틱스와 인지 편향 사이의 상호작용이 진단 오류를 초래할 수 있는 임상 상황의 [경고 징후]에 포함되는 것으로는, 하나 이상의 가능한 진단을 생성하지 못하거나 모든 데이터를 설명하지 못하는 것이 있다. 이러한 "적색 깃발"은 임상의사가 사례를 더 분석하게 유도해야 하며, 이는 그 순간에 메타인지를 보여준다고 할 수 있다. 기초과학 연구가 임상지식을 위한 프레임워크의 개발을 통해 의대생들에게 복잡한 과목의 미래 학습을 준비시키듯이, 25 인지적 편견이 휴리스틱과 어떻게 상호작용할 수 있는지에 대한 인식은 메타인지적 성찰 전략을 학습하기 위한 비계를 제공할 수 있다. 또한 학습자가 [휴리스틱스 사용에 내재된 가치와 위험] 두 가지를 모두 이해할 수 있도록 할 수 있다. 

Warning signs of clinical situations in which the interaction between heuristics and cognitive bias may lead to diagnostic error include the failure to generate more than one possible diagnosis or the failure to account for all the data. These “red flags” should prompt the clinician to further analyze the case, a cognitive process that represents metacognition in the moment. Just as the study of basic science prepares medical students for future learning of complex subjects through the development of a framework for clinical knowledge,25 an awareness of how cognitive biases may interact with heuristics can provide a scaffolding for learning metacognitive reflective strategies and may allow learners to understand both the value and risk inherent in the use of heuristics.

마지막으로, 진단에 대한 의사 결정은 [질병의 기본 비율, 우도 비율 및 사전 테스트 확률]에 대한 의사의 이해를 사용하여 임상 맥락에서 이루어진다. 진단 테스트의 민감성과 특수성에 대한 이해 외에도 의사의 개인적인 경험은 테스트 결과의 해석과 진단 결정에 기여한다. 일화적 경험("N=1인 상황")때문에 생길 수 있는 잠재적인 편견에 대한 인식이 없다면 아무리 경험이 많은 의사라도 진단 오류를 범할 수 있다.

Lastly, decisions about diagnoses are made in the clinical context, using the physician’s understanding of base rates of disease, likelihood ratios, and pretest probabilities. The physician’s personal experiences, in addition to his or her understanding of the sensitivity and specificity of a diagnostic test, contribute to the interpretation of test results and determination of a diagnosis. Without an awareness of potential bias based on anecdotal experience (the “N of one”), even the most experienced physician can make a diagnostic error.

궁극적으로 임상 추론은 휴리스틱스, 베이지안 임상 역학 원리, 질병의 메커니즘에 대한 철저한 이해에 기초한 귀납적 이성 부여를 포함한 복수의 접근방식을 통합해야 하며, 아래에서 논할 것처럼 인지적 편견의 효과에 대해 반성하고 수정할 수 있는 능력(그림 1)이 필요하다.

Ultimately, clinical reasoning requires integration of multiple approaches including heuristics, Bayesian principles of clinical epidemiology, inductive reasoning based on thorough understanding of mechanisms of disease, and, as we will discuss below, the ability to reflect on and correct for the effect of cognitive biases (Figure 1).

진단 오류에서 인지적 실수의 역할에 대한 증거

Evidence for the Role of Cognitive Mistakes in Diagnostic Errors

진단 오류에서 인지 처리의 역할을 검사할 때 어려운 점 중 하나는, 대부분의 인지 실수가 사례 중 일부에서만 발생한다는 것이다. 이러한 실수는 진단 과정의 여러 단계에서 발생할 수 있다.

One of the challenges of examining the role of cognitive processing in diagnostic error is that most cognitive mistakes are made in a subset of cases. These mistakes can arise at multiple steps in the diagnostic process.

예를 들어, 일반적인 질병의 비전형적 presentation, 혼수상태의 존재, 또는 인지된 기준률base rate을 변경시키는 환자 특성이 있으면, 다음의 인지적 편견으로 인해 부정확하거나 불완전한 진단으로 이어질 수 있다. 

• 앵커링(환자의 초기 프레젠테이션의 특정 기능에 대한 수정, 새로운 정보로 조정 실패) 

• 프레임 설정(문제가 고려되는 임상적 맥락 또는 이전 제공자가 제공한 분석에 의해 영향을 받는 결정) 

• 확증편향ascertainment(의사가 찾기를 희망하거나 기대하는 것에 의해 형성되는 생각). 

• 인지 과부하는 잘못된 추론 전략의 원인이 될 수 있다.

For example, an unusual presentation of a common illness, the presence of comorbidities, or patient characteristics that change the perceived base rate can lead to incorrect or incomplete diagnoses due to the cognitive biases of 

• anchoring (fixation on specific features of a patient’s initial presentation, failure to adjust with new information), 

• framing (decisions affected by the clinical context in which a problem is considered or by the analysis provided by a prior provider), or 

• ascertainment (thinking shaped by what the physician hopes or expects to find). 

• Cognitive overload may contribute to faulty reasoning strategies. 

일상 생활에서 대부분의 경우는 쉽게 알아볼 수 있는 진단이나 일반적인 문제에 대한 전형적 프레젠테이션이며, 즉, "루틴"이다. 이러한 경우 시스템 1의 의사결정은 신속하고 정확하며 적절하다.

In daily practice, most cases are “routine,” with an easily recognizable diagnosis or a classical presentation of a common problem. For these cases, using System 1 decision making is quick, accurate, and appropriate.

진단 오류의 원인을 분석할 때 의사가 전형적 프레젠테이션에서 진단에 도달하는 방법을 연구하는 것은 유용하지 않다.

In analyzing the causes of diagnostic errors, studying how physicians arrive at the diagnosis in classic presentations (even of unusual conditions) is not useful

오히려 인지적 편견을 감지하기 위해 검사해야 하는 것은 의사들이 어떻게 비전형적 프레젠테이션에서 진단에 도달하는가 하는 것이다. 이 때, 어려운 진단에 직면하게 되면 인지적 편향이 드러난다.

Rather, to detect cognitive bias, what must be examined is how physicians arrive at the diagnosis in atypical presentations, where cognitive biases may be unmasked in confronting a difficult diagnosis.27

예를 들어, 한 연구에서 레지던트들은 컴퓨터 기반의 복잡성 차이를 평가하도록 요청받았다.28 그 사례들 중 하나는 일산화탄소 중독의 전형적 임상표현로 구성되었다. 아무리 분석적 추론을 해도 이 진단에 대한 임상의의 마음은 바뀌지 않을 것이며, 경험이 풍부한 의사가 굳이 더 분석적인 접근법을 채택할 이유가 없다.

For example, in one study residents were asked to evaluate computer-based cases of differing complexity.28 One of the cases consisted of a classic presentation of carbon monoxide poisoning. No amount of analytical reasoning will change a clinician’s mind about this diagnosis, and for experienced clinicians, there is no reason to employ a more analytic approach.

이와는 대조적으로, 비전형적 임상표현이 있는 경우 또는 진단 확신이 덜한 모순되거나 복잡한 데이터를 가지고 있는 경우, 경험이 있는 의사라 할지라도, 의대생이나 레지던트보다 진단 정확도가 더 높지 않을 수 있다. 각 사례의 중간에 모순된 정보가 소개된 네 가지 사례를 이용하여, Krupat 외 연구진들은 진단 정확도가 교직원, 레지던트 , 의대생들 간에 다르지 않다는 것을 발견했다. 경험이 많은 의사들은 추가적인 정보가 불일치했음에도 불구하고 초기 인상을 고집하는 경향이 있었다.

In contrast, when presented with cases with atypical presentations or with conflicting or complex data for which the diagnosis is less certain, experienced physicians may have no better diagnostic accuracy than medical students or residents. Using four cases in which contradictory information was introduced midway through each case, Krupat et al29 found that diagnostic accuracy was not different among faculty physicians, residents, and medical students. The more experienced physicians tended to persist with their initial impressions despite the additional discordant information.

비록 소수의 경우를 대표하지만, 비전형적 임상표현은 상당한 환자에 대한 harm으로 이어질 수 있다. 이러한 경우 의사는 엄격한 분석적 추론의 적용과 인지 처리에 대한 더 나은 인식으로부터 이익을 얻을 수 있다.

Unusual presentations, although representing a minority of cases, are the ones that may lead to substantial patient harm. In these cases, physicians would benefit from better awareness of cognitive processing and application of rigorous analytic reasoning.

환자 치료에서 지식 부족은 오진의 원인 중 흔하지 않다. 매사추세츠 주의 23,000건 이상의 의료과실 사례에서 발생한 비공개 클레임 데이터를 분석한 결과, 전체 사례의 20%가 진단 오류로 인한 것으로 나타났다.9 이러한 진단 오류 사례의 73%에서 임상 추론에서 확인 가능한 오류가 있었다. 이와는 대조적으로, 전체 사례의 3%만이 지식의 결핍에 기인했다; 즉, 오류는 의사가 진단에 익숙하지 않아서가 아니라, 의사가 진단을 고려하지 않았기 때문에 일어났다. 성공적인 청구 중 72.1%가 진단 오류와 관련된 1차 진료 의료 과실 청구 분석에서도 유사한 결과가 발견되었다.3 이러한 오류는 궁극적으로 환자 및 가족력을 얻거나 업데이트하거나, 적절한 신체검사를 수행하거나, 적절한 진단 테스트를 오더하거나, 환자를 적절하게 refer하지 못하였기 때문에 발생하였다.

In patient care, a knowledge deficit is an uncommon cause for misdiagnosis. In an analysis of closed claims data from over 23,000 malpractice cases in Massachusetts, 20% of total cases were attributed to diagnostic errors.9 In 73% of these diagnostic error cases, there was an identifiable lapse in clinical reasoning. In contrast, only 3% of total cases were attributed to a knowledge deficit; in these cases, the error occurred not because the doctor was unfamiliar with the diagnosis but, rather, because the doctor did not consider the diagnosis. Similar results were found in an analysis of primary care malpractice claims where 72.1% of successful claims were related to diagnostic errors.3 The errors ultimately attributed to faulty clinical reasoning occurred in the failure to obtain or update a patient and family history, to perform an adequate physical exam, to order appropriate diagnostic tests, and/or to refer patients appropriately.

차트 검토 및 기타 품질 개선 이니셔티브에서 인지 오류로 인한 진단 오류의 빈도를 보여준 바 있다.

Chart reviews and other quality improvement initiatives have demonstrated the frequency of diagnostic errors due to cognitive mistakes.

복통을 나타내는 환자의 차트에 대한 응급의학 검토 결과 35%가 진단 오류를 가지고 있으며, 불완전한 이력 복용, 부정확하거나 의미 없는 테스트 또는 비정상적인 테스트 결과에 대한 후속 조치 부족으로 인한 오류의 69%가 발견되었으며, 30. 지연되거나 누락된 진단은 결핵, HIV 관련 질병, 암, 심혈관 질환과 같이 비전형적 임상표현이 나타날 수 있는 진단에도 흔하다.31 표준화된 환자를 이용해 외래진료소를 찾는 ‘비밀구매자’ 프로그램은 일반 질병으로 10%~15%의 오류율을 보였다. 입원환자 설정에서 83%의 진단 오류가 예방 가능한 것으로 확인되었으며, 반면 부검 연구는 지속적으로 10%에서 20%의 진단 누락을 보여주었다.

An emergency medicine review of the charts of patients presenting with abdominal pain found that 35% had diagnostic errors, with 69% of those errors due to incomplete history taking, incorrect or unindicated testing, or lack of follow-up on abnormal test results.30 Delayed or missed diagnoses are also common for diagnoses that may have unusual presentations, such as tuberculosis, HIV-associated disease, cancer, and cardiovascular disease.31 “Secret shopper” programs, which use standardized patients to visit outpatient clinics, have demonstrated a 10% to 15% error rate with common diseases.31 In the inpatient setting, 83% of diagnostic errors have been found to be preventable,32 whereas autopsy studies have consistently shown a 10% to 20% rate of missed diagnoses.33,34

인지 편향은 진단 오류의 근본 원인으로 잘 인식되지 않는다. 그보다는 의료시스템의 문제가 더 많이 지적된다. 의사들은 의료 인프라에 대해 공개적으로 인정하고 다루지만, 개개인의 실패라고 인식될 수 있는 인지적 실수를 논하는 것은 불편할 수 있다.35

Cognitive bias is less well recognized as a root cause of diagnostic error than are failures of health care systems. Physicians openly acknowledge and address medical infrastructure factors, but they may not be comfortable discussing cognitive mistakes, which are often perceived as individual failings.35

실제 사례에 대한 연구는 인지적 편견이 의사결정에 미칠 수 있는 영향을 입증하여 잘못된 판단과 환자에게 위험 또는 위해를 초래할 수 있다.

Studies of real-world cases have demonstrated the effect that cognitive bias can have on decision making, leading to faulty judgment and possible risk or harm to patients.

개업 의사들의 인지편향에 관한 문헌의 체계적인 검토39에서는 과신, 고정, 가용성 편향(정신적 회수의 용이성에 근거한 사건 발생 가능성을 판단) 및 위험의 허용이 진단 부정확성 또는 부적절한 관리와 관련이 있다는 것을 발견했다. 네덜란드의 차트 검토 결과 (조기 종결, 확증 편향, 과신 등) 인지적 편견으로 인해 정보 처리에 결함이 있는 경우는 정보 수집이 잘못되거나 불완전한 경우보다 진단 오류와 환자 위해로 이어질 가능성이 더 높았다.40

A systematic review39 of the literature on cognitive bias in practicing physicians found that overconfidence, anchoring, availability bias (judging the likelihood of an event based on the ease of mental retrieval), and tolerance of risk were associated with diagnostic inaccuracies or suboptimal management. Chart reviews from the Netherlands found that cases with faulty information processing due to cognitive biases, such as premature closure, confirmation bias, and overconfidence, were more likely to lead to diagnostic error and patient harm than were cases with faulty or incomplete information gathering.40

메타인지의 한 가지 형태인 성찰 능력을 더 많이 보이는 의사의 환자 결과는 더 뛰어날 수 있다. 예 외 연구진 41은 성찰 능력 테스트에서 더 높은 점수를 받은 산부인과 의사들이 제왕절개 분만 후 질 출산 시도의 성공률이 더 높다는 것을 발견했다.

Physicians who display more reflective capacity, a form of metacognition, may have better patient outcomes. Yee et al41 found that obstetricians who scored higher on reflective capacity tests had higher rates of successful attempts of vaginal birth after cesarean delivery.

의료과실 및 진단 오류 문헌은 개선된 임상 추론의 역할을 분명하게 보여주며, 비판적 사고를 가르치기 위한 교육적 개입이 필요하다는 것을 시사한다. 그러한 개입의 방식으로는 

• 인지 전략을 개선하거나, 

• 인지 편향 완화 전략을 가르치거나, 

• 인지 편향에 대한 인식을 높이려고 시도할 수 있다.

The malpractice and diagnostic error literatures clearly demonstrate a role for improved clinical reasoning and suggest that educational interventions for teaching critical thinking are needed. Such interventions may attempt to 

• improve metacognitive strategies, 

• teach cognitive bias mitigation strategies, or 

• increase awareness of cognitive bias.

Norman 등 8명은 최근 인지적 편견을 인정하고 해결하기 위한 교육 전략이 지금까지 성공하지 못했다고 제안했다. 환자 안전이나 결과 면에서 교육적 개입의 효과를 입증하는 것은 어렵다.

Norman et al8 recently suggested that educational strategies to recognize and address cognitive bias have been unsuccessful so far. Demonstrating efficacy of any educational intervention in terms of patient safety or outcomes is difficult.

블루멘탈-바비와 크리거는 학습자의 인지편향에 대한 연구가 생태학적 타당성을 갖는 경우는 거의 없다고 지적했다. 대부분의 연구는 (실제) 임상적 의사결정이 아닌 실험 상황의 사례 vignete에 기초했으며, 연구된 인지적 편견은 몇 가지로 제한되어 있다.

• 프레이밍

• 누락(부작용의 부작용보다 더 나쁜 것으로 판단하는 경향) 

• 상대위험(절대위험보다 상대위험이 주어졌을 때 개입을 선호하는 경향) 

• 가용성 편견43

Blumenthal-Barby and Krieger,43 pointed out that few studies of cognitive bias in learners had ecological validity. Most studies were based on experimental case vignettes rather than clinical decision making, and the cognitive biases studied were limited to a few — 

• framing, 

• omission (the tendency to judge adverse outcomes of actions as worse than adverse outcomes of inaction), 

• relative risk (the tendency to prefer to choose an intervention when given the relative risk rather than the absolute risk), and 

• availability biases.43

그러한 연구의 많은 부분이 임상적 추론과 의사결정에 적용가능성이 의심스럽다. 예를 들어, 노먼 외 연구진은 2년차 레지던트를 "신속 코호트"와 "성찰 코호트"로 구분했다. 그러나 연구의 실험 조건(연습 기간이 경과한 타이머를 표시하는 컴퓨터 모듈)은 저자들이 복제하려고 했던 바쁜 응급실을 정확한 보여주었다고 볼 수 없다.

The applicability of many of such studies to clinical reasoning and decision making is questionable. For example, Norman et al28 divided second-year residents into a “speed cohort” and “reflect cohort.” However, the experimental conditions used (computer modules with a timer displaying elapsed duration of the exercise) are not an accurate representation of a busy emergency department, which the authors were trying to replicate.

반대로, 다른 연구에서는 성찰연습 훈련이 진단 정확도를 향상시킬 수 있다는 것을 발견했다. 내과 레지던트들을 대상으로 한 연구에서 마메데 외 연구진은 1, 2년차 레지던트들에게 향상된 진단 정확도를 보여주었다. 추론 기술, 확률론적 의사결정 및 베이지안 추론에 대한 지침은 특히 조기 종결, 질병의 기본 비율base rate의 무시, 휴리스틱스에 대한 부적절한 의존의 영향을 감소시킴으로써 진단 정확도를 향상시킬 수 있다.45,46

Conversely, others have found that training in reflective practice may improve diagnostic accuracy: In a study of internal medicine residents, Mamede et al44 demonstrated improved diagnostic accuracy in first-and second-year residents. Instruction in reasoning skills, probabilistic decision making, and Bayesian reasoning may improve diagnostic accuracy by decreasing the effects of cognitive biases—in particular premature closure, neglect of base rates of disease, and inappropriate reliance on heuristics.45,46

인지전략이 진단정확성에 미치는 영향

Effect of Metacognitive Strategies on Diagnostic Accuracy

임상 추론을 개선하고 진단 오류를 피하기 위해 [메타인지 기술 교육의 효과]에 대한 데이터를 평가할 때, 연구 대상자의 전문성 수준을 인식하는 것이 중요하다. 임상적 추론에서 인지적 편견에 대한 인식을 높이기 위한 전략을 가르치려는 시도(때로는 인지적 강제력 전략, 약화 전략 또는 인지적 편향 완화라고 함)는 서로 다른 그룹과 상충되는 결과를 보였다.6,47,48

When evaluating the available data on the efficacy of teaching metacognitive skills to improve clinical reasoning and avoid diagnostic error, it is important to recognize the level of expertise in the study population. Attempts to teach strategies to raise awareness of cognitive bias in clinical reasoning—sometimes referred to as cognitive forcing strategies, debiasing strategies, or cognitive bias mitigation—have shown conflicting results with different groups.6,47,48

의대생을 대상으로 한 연구는 진단 정확도의 향상이 제한적임을 보여주었는데, 이는 초기 단계의 학습자에게 내재된 지식의 결핍 때문일 수 있다: 지식의 결핍이 존재한다면, 단기적으로 진단 정확도나 속도를 향상시키지 못할 가능성이 있다.24,47,48 게다가, 학생들은 애초에 앵커링 또는 가용성 편견의 희생양이 될 정도의 충분한 경험이 없었을 수 있다. 따라서 초보 학생이 특별히 인지편향에 면역력이 있지는 않지만, 메타인지 기법이나 debiasing 전략을 배운다고 해서 즉시 이익을 얻지는 못할 수 있다.

Studies involving medical students have demonstrated limited improvement in diagnostic accuracy, which may be due to knowledge deficits inherent in early-stage learners: Debiasing strategies are unlikely to improve diagnostic accuracy or speed in the short term if knowledge deficits exist.24,47,48 Furthermore, students may not have enough experience to fall victim to anchoring or availability biases. Therefore, although novice students are not immune to cognitive bias, they may not immediately benefit from instruction in metacognitive techniques or debiasing strategies.

수련과 레지던트 전환이 진전되면서 지식과 경험을 쌓게 되고 패턴 인식과 휴리스틱스를 이용해 문제를 해결할 가능성이 높아진다. 그러나 경험을 쌓고 질병 대본illness script가 만들어짐에 따라 가용성 편중과 앵커링으로 인해 진단 오류를 범하기 쉬워진다.44 레지던트들에게 메타인지 기술을 가르치려는 노력의 발견이 흥미롭고 이 발달 단계와 일치한다.28,49–53

As students advance in their training and transition to residency, they acquire knowledge and experience, and they become more likely to problem solve using pattern recognition and heuristics. However, as trainees acquire experience and develop illness scripts, they also become more prone to making diagnostic errors due to availability bias and anchoring.44 Findings from efforts to teach metacognitive skills to residents are interesting and consistent with this developmental stage.28,49–53

일반적인 인지 편견과 debiasing 전략을 인식하기 위한 상세한 지침을 제공하는 교육적 개입은 레지던트의 비판적 사고 능력을 단기 및 장기적으로 개선한다는 것이 입증되었다.49,50 메타인지 기술과 debiasing 전략 기반의 종단적 커리큘럼은 공통적 인지 편향에 대한 인식을 증가시켰다. 그리고 환자, 가족, 그리고 동료들과의 토론이 개선되었다. 무엇보다 중요한 것은 이러한 효과가 1년간의 후속 조치에서도 지속되었다는 점이다.49

Educational interventions providing detailed instruction in recognizing common cognitive biases and debiasing strategies have demonstrated both short-and long-term improvements in residents’ critical thinking skills.49,50 A longitudinal curriculum of metacognitive skills and debiasing strategies resulted in increased awareness of common cognitive biases, as well as improved discussions with patients, families, and colleagues. Importantly, this effect persisted at the one-year follow-up.49

메타인지가 임상추론을 촉진한다

Metacognition Prompts Clinical Reasoning Strategies

시스템 1 의사결정에 의존하는 것이 모든 진단 오류의 원인은 아니다. 실제로, 심사숙고적 사고를 더 많이 했을 때 오류를 야기할 수 있다는 일부 증거가 있다.48 그러나 부적절하거나 검토되지 않은 휴리스틱스를 사용하면 의사결정이 손상될 수 있다.54 그리고 슐츠55가 지적하듯이, "결정을 할 때 잘못된 의사결정을 하는 순간에도 옳은 결정을 하는 것과 같은 느낌을 받는다." 인지적 편견의 영향에 익숙하고 휴리스틱스에 의존하는 함정에 대한 인식을 가지고 있는 의사들 조차도 그들 자신이 그들의 영향에 취약하다고 믿지 않을 수 있으며, 그들은 그들 자신의 의사결정에 있어서 단지 소수의 인지적 편향만을 인정할 수 있다.56

Reliance on System 1 decision making is not the cause for all diagnostic errors; indeed, there is some evidence that more deliberative thinking can also result in errors.48 However, the inappropriate or unexamined use of heuristics can result in impaired decision making,54 and as Schulz55 notes, “when making a decision, making a wrong decision feels the same as making a right decision.” Even physicians who are familiar with the effects of cognitive biases and have an awareness of the pitfalls of dependence on heuristics may not believe themselves to be vulnerable to their influence, and they may only acknowledge a few of many instances of cognitive biases in their own decision making.56

편향적 사고를 피하기 위한 전략 학습 및 실천(즉, debiasing 또는 인지적 강제 전략 필요)을 위해서는 노력과 조심성이 필요하다. 이러한 전략은 [임상 추론의 자동성]을 방해할 때 가장 잘 작용하는 것으로 보인다. 임상의사는 증거의 다시 생각해봄으로써 자신의 초기 사고 과정을 재평가해야 한다.57–59

Learning and practicing strategies to avoid biased thinking—that is, debiasing or cognitive forcing strategies—requires effort and vigilance.6 These strategies seem to work best when they disrupt the automaticity of clinical reasoning, requiring the clinician to reevaluate his or her initial thought processes through reconsideration of the evidence.57–59

자신의 추론에 대한 반성이 가장 중요하다. 의료인은 휴리스틱스(Huristics)를 검사하고, 실수나 편견에 대한 자신의 추론을 모니터링하고, 사고 과정을 스스로 규제하도록 가르칠 수 있고 가르쳐야 한다. 인지적 편견 인식 전략은 다른 비판적 사고 기술과 마찬가지로 환자의 안전과 환자 관리를 향상시키기 위한 잠재적인 도구로서 의학 학습자에게 가르칠 수 있다. 학습자들은 "1분 교수법"으로 알려진 5가지 마이크로스킬 모델, 60과 같은 비판적 사고를 촉진하기 위한 다른 전략과 함께 인지 편향 인식을 배울 수 있다. 환자 인도 시 또는 복잡한 환자를 마주할 때 "diagnostic time-out"(진단을 유도하는 사고 프로세스를 성찰하기 위한 명시적 일시 정지)를 요구하는 것과 같은 간단한 작업만으로도 의사들을 위한 성찰과 메타인지를 촉진할 수 있다.

Reflection on one’s reasoning is of paramount importance. Clinicians can and should be taught to examine heuristics, monitor their own reasoning for mistakes and biases, and self-regulate their thought processes. Cognitive bias awareness strategies, like other critical thinking skills, can be taught to learners in medicine as potential tools to advance patient safety and patient care. Learners can be taught cognitive bias awareness along with other strategies to promote critical thinking, such as the five microskills model known as the “one-minute preceptor,”60 to help them develop habits of mind and healthy skepticism about their own thought processes. Engaging in simple practices such as calling for a “diagnostic time-out” (an explicit pause to reflect on the thinking process leading to the diagnosis) at patient handoff or when confronted with a complex patient promotes reflection and metacognition for physicians at any level.60,61

더 나은 진단 정확성과 환자 결과를 위한 증거

Evidence for Better Diagnostic Accuracy and Patient Outcomes

진단 오류와 환자 위해를 예방하는 인지 바이어스 인식 훈련의 효과를 살펴본 연구는 거의 없었다. 진단 오류를 방지하기 위한 최근 개입 검토 결과 대부분의 개입이 교육적이지 않은 것으로 나타났다. 109개 연구 중 11개 연구만 임상의 교육을 포함했으며, 환자 결과를 보고한 사람은 거의 없었다.62

Few studies have looked at the efficacy of cognitive bias awareness training in preventing diagnostic error and patient harm. A recent review of interventions to prevent diagnostic errors found that the vast majority of interventions were not educational: Only 11 of 109 studies included clinician education, and few reported any patient outcomes.62

종단적 및 통합 커리큘럼은 인지적 편견에 대한 인식 향상과 성찰적 실천의 사용에 효과적이다.49,63 메인 메디컬 센터에서 거주자와 개업 의사를 위한 통합 인지 바이어스 인식 커리큘럼의 도입으로 진단 오류의 보고와 스탠다드에 대한 프로토콜의 증가로 이어졌다.환자를 돌보다64

Longitudinal and integrated curricula are effective at improving awareness of cognitive biases and use of reflective practice.49,63 Introduction of an integrated cognitive bias awareness curriculum for residents and practicing physicians at Maine Medical Center led to an increase in the reporting of diagnostic errors, as well as protocols to standardize patient care.64

이러한 연구는 인지적 편견과 변형에서 지속적인 교육이 환자 결과를 향상시킬 수 있음을 시사한다.

These studies suggest that continuing education in cognitive biases and metacognition may improve patient outcomes.

미래 방향과 결론

Future Directions and Conclusions

의료 교육이 내용 전달에 초점을 맞춘 것에서 비판적 사고와 문제 해결 기술의 발달로 옮겨감에 따라, 교육자들은 학습자가 특정 환자의 이력, 신체 검사 및 실험실 데이터를 설명하기 위해 기초 원리와 개념에서 추론하는 데 필요한 기술을 개발하고 연습하도록 강요해야 한다. 학생이 임상실습을 시작하고, 레지던트 프로그램으로 나아감에 따라 교수진은 이러한 기술을 지속적으로 강화해야 한다. 귀납적 추론과 메타인지 스킬은 규칙적으로 연습하지 않으면 점점 쇠퇴한다.

As medical education shifts from a focus on content transfer to the development of critical thinking and problem-solving skills, educators must push learners to develop and practice the skills needed to reason from foundational principles and concepts to explain the history, physical examination, and laboratory data for a given patient.67,68 As students enter clinical clerkships and progress to residency programs, faculty must continue to reinforce these skills; when not practiced regularly, inductive reasoning and metacognitive skills atrophy.

시간이 지남에 따라, [성찰적 실천]과 [인지적 편향 인식 전략]을 가르치려는 노력은 더 나은 진단 습관을 가져오고 궁극적으로 환자 안전을 향상시킬 수 있다.63

Over time, efforts to teach reflective practice and cognitive bias awareness strategies may lead to better diagnostic habits and ultimately to improved patient safety.63

• 베이시안 추론과 같은 분석적 접근법을 가르치는 것, 

• 확률적 의사결정 및 가능성 비율에 대한 의사의 이해도 향상 

• 진단 테스트의 특수성 및 민감도에 대한 평가 향상 

...등도 인지적 실수로 인해 발생한 진단 오류를 줄이는 데 도움이 될 수 있다.

• Teaching analytic approaches such as Bayesian reasoning, 

• improving physicians’ understanding of probabilistic decision making with likelihood ratios, and 

• increasing appreciation of diagnostic test specificity and sensitivity 

may also help to decrease diagnostic errors made because of cognitive mistakes.

학습자가 적응적 전문지식을 습득할 수 있도록 교육자는 반드시 

• 휴리스틱 추론과 분석적 추론의 적절한 사용과 도전을 인식하도록 도와야 한다.

• 임상 시나리오에 대한 진단 접근 방식을 조정해야 한다. 

• 불확실한 일에 부딪쳐도 마음이 편해야 한다.

To help learners achieve adaptive expertise, educators must 

• help them recognize the appropriate use and challenges of both heuristics and analytic reasoning, 

• adapt their approach to diagnosis to the clinical scenario, and 

• become comfortable with regular encounters with uncertainty.

작업장 개입은 의료진의 진단 오류를 피하기 위한 노력에 도움이 될 수 있다. 전 세계의 medical practice는 진단 정확도에 대한 피드백을 얻기 어려운 임상 환경으로 변화하고 있으며, 의사들이 실수로부터 배우지 못하게 만들고 있다.33,34

Workplace interventions may assist practicing clinicians in their efforts to avoid diagnostic errors. Global changes in medical practice have led to a clinical environment in which feedback on diagnostic accuracy is difficult to obtain, denying physicians the opportunity to learn from mistakes.33,34

또한 진단 오류에 관한 의학 문헌의 변화가 필요하다. 전문직으로서, 의사는 의료 오류를 초래하는 의료 시스템 요인을 식별하고 다루는 것을 편한하게 느낀다. 반면 진단 오류는 해결하고 예방하기가 더 어려운 것으로 인식된다. 의사들은 그들 자신의 진단 오류를 인정하기를 꺼린다. 특히 실수가 종종 개인적인 실패와 전문적인 과실로 보여질 때, 문화와 의사소통의 작은 변화는 진단에서 불확실성을 인정하고 오류를 인정하는데 더 안전한 환경을 구축하는 데 도움이 될 수 있다. Singh가 제안하든, "진단 오류"를 "진단 기회 누락"으로 명칭을 단순하게 변경하면 이러한 오류를 탈-낙인화하고 비-개인화하는데 도움이 될 수 있다.72 어려운 경우나 환자 핸드오프 시 진단 타임아웃을 일상적으로 통합하는 것과 같은 안전하고 개방적인 의사소통의 문화를 촉진하기 위한 기법을 사용해야 한다.60,61,73 도덕률 및 사망률 회의는 책임 배정에 대한 징벌적 또는 판단적 접근보다는, 추론을 탐구하는 데 초점을 맞춰 진단 오류를 식별하고 학습하는 원래의 취지로 돌아가야 한다.

Further, a change in the culture of medicine regarding diagnostic error is needed. As a profession, physicians have become more comfortable with identifying and addressing health care systems factors that lead to medical error.35 Diagnostic error is perceived as more difficult to address and prevent. Physicians are reluctant to acknowledge their own diagnostic errors, especially when mistakes are often seen as personal failings and professional lapses.64 Small changes in both culture and communication may help establish a safer environment for admitting uncertainty in diagnoses and acknowledging errors. A simple change in name, as suggested by Singh, from “diagnostic errors” to “missed opportunities in diagnosis” may help destigmatize and depersonalize these errors.72 Techniques to promote a culture of safe and open communication should be employed, such as routinely incorporating a diagnostic time-out for difficult cases or at patient handoffs.60,61,73 Morbidity and mortality conferences should return to the original intent: identifying and learning from diagnostic errors, focusing on an exploration of reasoning rather than taking a punitive or judgmental approach to assigning blame.

의사는 불확실성의 개념을 [무지와 무능의 인정]이 아니라 [임상 의학에 대한 정교한 접근]의 표현으로 받아들여야 한다.74 진단 프로세스에서 다른 의료 전문가, 환자 및 가족을 의미 있는 파트너로 받아들이는 것도 잠재적으로 진단 오류를 탐지하고 예방하는 데 강력하다.70 마지막으로, 불확실성과 오류성를 표현하는 한 가지 방법은, "감별 진단"을 "진단 가설"로 재명명하는 것이며, 그렇게 한다면 임상 시나리오가 전개됨에 따라 검증testing을 장려하고, 잠재적으로 결론을 변경할 수 있다.

Physicians should embrace the idea of uncertainty as a mark of a sophisticated approach to clinical medicine, rather than as an admission of ignorance or incompetence.74 Enlisting other health care professionals, patients, and families as meaningful partners in the diagnostic process is also potentially powerful for detection and prevention of diagnostic errors.70 Lastly, relabeling “differential diagnosis” as “diagnostic hypotheses,” as an expression of uncertainty and fallibility, would encourage testing and potentially changing one’s conclusions as a clinical scenario unfolds.75

과학에 기초한 학문으로서의 의학 교육의 표준화가 20세기 의학에 지장을 주지 않는 발전을 가져다 주었듯이, 비판적 사고력의 발달에 대한 집중이 증가함에 따라 금세기에도 유사한 이익을 얻을 수 있을 것이다.

Just as standardization of medical education as a science-based discipline helped bring unimagined improvements to medicine in the 20th century, the increased focus on the development of critical thinking skills may reap similar benefits in this century.

8 Norman GR, Monteiro SD, Sherbino J, Ilgen JS, Schmidt HG, Mamede S. The causes of errors in clinical reasoning: Cognitive biases, knowledge deficits, and dual process thinking. Acad Med. 2017;92:23–30.

29 Krupat E, Wormwood J, Schwartzstein RM, Richards JB. Avoiding premature closure and reaching diagnostic accuracy: Some key predictive factors. Med Educ. 2017;51:1127– 1137. XXX

68 Schwartzstein RM, Roberts DH. Saying goodbye to lectures in medical school— Paradigm shift or passing fad? N Engl J Med. 2017;377:605–607.

전문가적 진단에 대한 저명한 의사의 인식(Acad Med, 2012)

Renowned Physicians’ Perceptions of Expert Diagnostic Practice

Maria Mylopoulos, PhD, Lynne Lohfeld, PhD, Geoffrey R. Norman, PhD, Gurpreet Dhaliwal, MD, and Kevin W. Eva, PhD

보건 전문가 커뮤니티의 교육자들은 전문가 퍼포먼스를 이해하고 보다 효과적인 전문가를 개발하는 데 사용할 수 있는 적절한 역량 프레임워크를 만들기 위해 광범위한 노력을 해왔다. 의학 분야에서 이러한 전문지식의 탐구들은 전통적으로 의사의 진단적 통찰력에 초점을 맞추었으며, 효과적이고 효율적인 임상적 추론을 뒷받침하는 지식을 이해하는 데 중점을 두고 있다. 연구자들이 의사의 조직과 지식의 사용에 있어 중요한 전문가의 차이를 확인한 반면에, 연구자들은 모든 의사가 동일한 수준의 전문가 성과를 달성하는 것은 아니며, 일부 의사들은 그냥 '그저그런 정도에 머무는' 것을 점점 더 인식하고 있다.2

Educators in the health professions community have made extensive efforts both to understand expert performance and to create appropriate competency frameworks that can be translated into developing more effective experts. In the field of medicine, these explorations of expertise have traditionally focused on physicians’ diagnostic acumen, with an emphasis on understanding the knowledge that underpins effective and efficient clinical reasoning. Whereas researchers have identified important expert–novice differences in physicians’ organization and use of knowledge,1 researchers also increasingly recognize that not all physicians achieve the same level of expert performance, with some merely “swelling the ranks of the mediocre.”2

의사의 진단적 통찰력을 뛰어넘는 전문가 수행의 측면을 탐구하는 연구는 이러한 현실을 강화시켰다. 본 연구는 "적응적 전문가adaptive expert"는 지식을 효과적으로 사용할 뿐만 아니라, 그 실천과정에서 새로움을 접하면 새로운 지식을 구축할 수 있는 방법을 강조하여, 지속적인 실천 개선 과정에 참여하는 것을 강조한다.3 또한, 걸출한exceptional 의료 실천에 대해 의사가 어떤 개념을 가지고있는지가 더 한 사람이 가지고 있는 지식을 넘어서는 다양한 기술과 전문적인 적합성을 반영하고 있다는 것을 보여주었다.4

Studies exploring facets of expert performance that range beyond physicians’ diagnostic acumen have reinforced this reality. This research has emphasized the ways in which “adaptive experts” not only use knowledge effectively but also are able to construct new knowledge in response to novelty in their practice, thereby engaging in a process of sustained practice improvement.3 Moreover, our own research has shown that physicians’ conceptions of exceptional medical practice increasingly reflect a diverse set of skills and professional aptitudes that extend beyond the knowledge that one possesses.4

방법

Method

2008년부터 2010년까지, 우리는 전문가 진단 실습의 실질적인 이론의 개발에 기여하기 위하여, 구성주의적 근거이론의 인터뷰 기반 연구를 수행했다.

From 2008 to 2010, we conducted a constructivist grounded theory,5 interview-based study, intended to contribute to the development of a substantive theory of expert diagnostic practice.

참가자

Participants

우리의 목표 샘플링 접근방식은 기준과 이론적 샘플링 전략을 결합했다.6

Our purposive sampling approach combined both criterion and theoretical sampling strategies.6

우리의 샘플을 내과 교수진들로 제한하는 것은 그들이 특별한 동료들을 지명하는 이유의 변동성을 단순히 전문분야에 걸친 다양성에 기인할 수 없다는 것을 보장했다.

Restricting our sample to internal medicine faculty ensured that any variability in their reasons for nominating an exceptional colleague could not be attributed simply to the variability across specialties.

우리는 이메일을 통해 모든 내과 교수들에게 그들이 "뛰어난 의사"로 간주하는 동료들을 지명하는 웹 기반의 조사를 완료하도록 요청했다. 응답자들이 특정한 실천적 측면에 편견을 갖지 않도록 하기 위해, 우리는 "뛰어난 실무자"라는 문구를 정의하지는 않았다. 그 후 응답자에게 "걸출한 진단가"와 "걸출한  전문가"를 추천하도록 요청하였다.4 전자에 대해 더 자세히 설명하지는 않았지만 후자를 "윤리적인 의사결정, 의사소통 능력 또는 환자와의 관계에 근거한 것"이라고 정의했다.

We asked all internal medicine faculty via e-mail to complete a Web-based survey nominating peers whom they considered to be “outstanding practitioners.” To avoid biasing respondents to particular aspects of practice, we did not define the phrase “outstanding practitioner” any further. We then asked respondents to nominate “exceptional diagnosticians” and “exceptional professionals.”4 We did not elaborate further on the former term but did define the latter as being “based on ethical decision-making, communication skills, or relationships with patients.”

포화 샘플7에는 34명의 참가자가 포함되었다. 20명은 예외적인 진단 전문가로, 14명은 예외적인 전문가로 지명되었다.

Our saturation sample7 included 34 participants: 20 nominated as exceptional diagnosticians, 14 nominated as exceptional professionals.

자료 수집

Data collection

본 연구의 2단계인 현재 연구를 위해, 우리는 각 참가자들과 1시간 반의 구조적인 인터뷰를 실시했다. 우리는 우리 연구팀의 구성원들과 4명의 연구 과학자 그리고/또는 일반 전문 문헌에 대한 강한 지식을 가진 의료 교육자들이 포함된 하루 동안의 회의 동안에 협의 과정에서 인터뷰 프로토콜을 개발했다. 우리는 먼저 각 참가자의 뛰어난 임상 실습, 진단적 통찰력, 전문가 문제 해결, 개인 생활 및 경력 궤적에 대한 개념화를 탐구했다. 그런 다음 참가자들에게 "쉬운", "힘든" 또는 "스텀퍼"로 판명된 진단 경험(즉, 결코 해결할 수 없는 경우)을 설명해 달라고 요청했다.

For our current study, phase two of the project, we conducted a one-hour, semistructured interview with each participant. We developed the interview protocol in a consultative process during a daylong meeting that included members of our research team and four research scientists and/or medical educators with strong knowledge of the general expertise literature. We first explored each participant’s conceptualizations of outstanding clinical practice, diagnostic acumen, expert problem solving, and personal life and career trajectory. We then asked the participants to describe diagnostic experiences that they found to be “easy,” “hard,” or “stumpers” (i.e., cases they were never able to solve).

자료 분석

Data analysis

우리는 면접 성적표에 대한 구성주의적 근거 이론 분석을 실시했다. 각 연구팀원(연구현장 3명, 연구보조원 1명)은 일정한 비교분석을 용이하게 하기 위해 자료수집 과정에서 나타난 예비코드를 개별적으로 파악했다.7 우리의 구성주의 기반 이론 접근방식과 일관되게, 팀의 각 구성원은 데이터를 탐색하기 위해 자신의 이론 렌즈를 사용했고, 그 결과 데이터에서 나올 때 유도적인 주제와 연역적 연구자들이 그들의 이전 데이터 및 이론적 관점을 의도적으로 개발하기 위해 사용한 분석 프로세스를 만들었다.그는 주제 구조를 드러내고 있다.

We conducted a constructivist grounded theory analysis of the interview transcripts. Each member of the research team (five investigators from three of the research sites and a research assistant) individually identified the preliminary codes as they emerged during data collection to facilitate the constant comparative analysis.7 Consistent with our constructivist grounded theory approach, each member of the team used his or her own theoretical lens to explore the data, resulting in an analytic process that was both inductive—themes developed as they emerged from the data—and deductive—researchers purposefully used their prior data and theoretical perspectives to develop the emerging thematic structure.

결과

Results

의사들이 전문가 진단 관행을 개념화하는 방법에 대한 이해를 나타내는 4개의 상호 연결된 테마가 인터뷰 기록에 대한 분석에서 나타났다. 

(1) 의료 실무에 대한 목적적이고 지속적인 참여를 통해 구축된 광범위한 지식 보유 

(2) 환자 "스토리"를 효과적으로 수집할 수 있는 기술의 보유

(3) 해당 지식과 진단 중 환자 이야기를 반영하여 통합

(4) 임상실습을 통한 지속적인 학습

Four interconnected themes informing our understanding of how physicians conceptualize expert diagnostic practice emerged from our analysis of the interview transcripts: 

• (1) possession of extensive knowledge built through purposeful, continuous engagement in clinical practice, 

• (2) possession of the skills to effectively gather patient “stories,” 

• (3) reflective integration of that knowledge and those patient stories during diagnosis, and 

• (4) continuous learning through clinical practice.

주제 1: 임상 실습에서 목적적이고 지속적인 참여를 통해 구축된 광범위한 지식 보유

Theme 1: Possession of extensive knowledge built through purposeful, continuous engagement in clinical practice

참석자들은 폭넓은 지식 기반을 확보하고 유지하는 것이 중요하다고 강조했다. 특히, 그들은 지식의 개발과 유지보수를 의료실무에 지속적으로 관여하는 적극적인 과정으로 보았다.

Participants emphasized the importance of acquiring and maintaining an extensive knowledge base. Notably, they saw the development and maintenance of knowledge as an active process of continued engagement in clinical practice:

참가자들은 [임상적 실천을 통해 이루어지는 일상적인 학습]이 우수성을 뒷받침하는 광범위한 지식기반의 유지에 필수적이라고 강조한 반면, 그들은 또한 [자신의 전문분야에 대한 깊은 지식]을 유지하고 [여러 의료영역에 걸쳐 광범위하게 넓히는 데] 있어서 독서reading의 중요성에 대해 언급했다.:

Whereas participants emphasized that the daily learning that takes place through clinical practice is integral to the maintenance of the extensive knowledge base underpinning excellence, they also commented on the importance of reading both for maintaining a deep knowledge in their specialty and for gaining breadth across the broader medical domain:

비록 그 점이나 그 논문이 내가 현재 하고 있는 어떤 일에도 사실 전혀 무관한 것처럼 보이지만, 지금부터 6개월 내지 8개월 후에 그것이 관련될지도 모른다. 그리고 사실대로 말하자면 나는 아주 자세하게 기억하지 못할 것이다. 그러나, 그것은 나에게 어떤 임상적인 점에 대한 나의 결정에 영향을 미칠 수 있는 추가적인 약간의 지식을 가질 수 있는 계층화, 배경화 그리고 능력을 주는 것 같다.

Even though that point or that article is seemingly actually quite irrelevant to anything I’m doing currently, six or eight months from now that might become relevant. And to tell you the truth I won’t remember a lot in great detail. But, it seems to give me that layering and background and ability to then have that additional little bit of knowledge that maybe influences my decision about some clinical point.

주제 2: 환자 이야기를 효과적으로 수집하는 기술 보유

Theme 2: Possession of the skills to effectively gather patient stories

참가자들은 진단 과정에서 환자 이야기라고 기술한 지식을 습득하는 것이 중요하다는 점에 주목했다. 그들은 신체 검진와 관련된 효과적인 의사소통 및 기술력을 포함하여 이러한 이야기를 습득할 수 있는 기술을 강조하였다.

Participants noted the importance of acquiring knowledge that they described as patient stories during the diagnostic process. They highlighted the skills that enabled them to acquire these stories, including effective communication and technical skills related to physical examination:

사실, 나는 듣는 것을 배우는 것이 가장 중요하다고 생각해. 이 기술은 [환자가 당신에게 말하고자 하는 것]을 실제로 듣고, [환자가 당신이 듣고자 하는 것만 말하도록 하지 않도록 하는] 기술이다. 그것들은 매우 다른 것이다. 나는 숙련되지 않은 임상의가, 경험이 적은 임상의가 계속 질문을 할수록 환자가 실제로 가만히 앉아서 무슨 말을 해야 하는지를 듣는 것이 아니라 환자에게 지시하는 것이라고 생각한다. 왜냐하면 대부분의 진단은 당신의 눈이 아니라 귀로 발생하기 때문이다.

Actually, I think most important is learning to listen. It’s the skill of actually hearing what the patient wants to tell you and not trying to get the patient to tell you what you want to hear. Those are two very different things. I think the less skilled clinician, less experienced clinician interrupts, keeps asking questions, directs the patient rather than actually sitting back and actually hearing what the patient has to say because the vast majority of diagnosis happens with your ears, not with your eyes.

참가자들은 또한 [사용 가능한 모든 지식을 환자 이야기와 관련지어 관찰 및 분석하는 것]을 통하여, 환자의 상호작용을 이해하는 것의 중요성에 대해 언급했다.

Participants also commented on the importance of understanding patient interactions through observing and collating all available knowledge into a patient story:

엘리트 임상의는 지식과 기술력뿐만 아니라, 듣고 보고 두드리고 나서 모든 것을 종합해 볼 수 있는 능력이 있는데, 이것은 그들이 가지고 있는 또 다른 재능이다.

Elite clinicians not only knowledge and technical skills, but they have the ability to pick up the physical things by hearing, looking at it, percussing it, and then have to put it all together, which is another talent they have.

주제 3: 진단 중 해당 지식과 환자 이야기를 반영하여 통합

Theme 3: Reflective integration of that knowledge and those patient stories during diagnosis

참가자들은 [과거의 지식]과 [경험을 현재]의 [환자 이야기]와 통합하여 발생하는 진단 과정을 이해하였다.

Participants understood the process of diagnosis to occur through the integration of past knowledge and experience with a current patient story:

또한 참가자들은 진단 과정 중에 지식을 효율적으로 통합하고 사용하기 위한 패턴 인식의 우선성을 인식했다.

In addition, participants recognized the primacy of pattern recognition for integrating and using knowledge efficiently during the diagnostic process:

경험적 데이터베이스를 가져가야 할 것 같다. 휴리스틱스나 패턴 인식을 위해 지름길을 만들 수 있도록 말이다. 그것은 오직 경험으로만 올 수 있다. 여러분은 심장마비라는 주제에 대한 20가지의 다른 변형을 봐야만 한다. 심장마비라는 미묘한 비정형적 표현뿐만 아니라 공통점을 인식할 수 있기 때문이다.

So I think you have to take your experiential database … to allow you to kind of make short cuts to have those heuristics, that pattern recognition. That only can come with experience. You have to have seen 20 different variations of the theme of heart attacks to be able to recognize the common as well as the subtle atypical presentations.

그러나 참여자들은 패턴 인식이 오진을 초래할 수 있다는 가능성을 인식하였고, 진화하는evolving 진단을 위해 성찰적 자세가 필요하고, 보완적임을 명시하였다.

However, participants also articulated a necessary and complementary reflective stance toward the evolving diagnosis, thereby recognizing the possibility that pattern recognition can lead to misdiagnosis:

내가 가끔 빠져드는 함정이나 함정 중 하나는 이것이 패턴에 해당한다고 가정하고 어떤 상태에 고정되는 것이다. 그리고 네모난 펙트를 잘못된 구멍에 집어넣으려고 하는 것과는 반대로 "좋아, 또 무슨 일이 일어날 수 있지?" "왜 이게 맞지 않는 거지?"라고 말하는 사고의 융통성을 유지하기는 어렵다.

One of my traps or pitfalls that I fall into sometimes is that you kind of assume this is going to fall into the pattern and you kind of get anchored to a certain condition. And it’s hard to keep the flexibility of thought to say, “Okay, what else could be going on?” and “Why is this not fitting?” as opposed to trying to jam a square peg into the wrong hole.

또한 참가자들은 자신의 경험을 활용하여, 기존 지식이 필요한 진단을 위해 불충분할 때를 인식하는 것과 현재 환자 평가를 자신의 임상 영역에 대한 깊은 이해를 증진시키는 기회로 사용하는 것이 중요하다는 점에 주목하였다.

Moreover, participants noted the importance both of using their experience to recognize when their existing knowledge was insufficient for the necessary diagnosis and of using their current patient assessment as an opportunity to cultivate a deep understanding of their clinical domain:

주제 4: 임상 실습을 통한 지속적인 학습

Theme 4: Continuous learning through clinical practice

진단 활동에 대한 성찰적 접근방식은 medical practice에 대한 광범위한 접근방식을 보여주는 것이었다. 이러한 태도는 그들을 평생학습자로 만들었다. 왜냐하면 [실천에 기초한 학습에 종사하는 임상의사로서 겸손]의 필요성뿐만 아니라 [그들 자신의 지식에 대한 회의적인 입장]을 갖게 했기 때문이다.

For participants, the reflective approach to the activity of diagnosis was mirrored by their broader approach to medical practice that shaped them as lifelong learners through the adoption of a skeptical stance toward their own knowledge as well as the need for humility as clinicians engaged in practice- based learning;

겸손한 것 같아. 겸손은 당신의 실수로부터 배우는 것을 의미한다고 생각한다. 왜냐하면 당신이 근본적인 것을 하지 않았기 때문에 다음 번에는 그것을 하지 않기 때문이다. 그것도 전문가로서의 한 부분이다.

I think being humble. I think humility means learning from your mistakes also because you remember when you didn’t do something fundamental so you don’t do it the next time. That’s part of being an expert too.

고찰

Discussion

우리의 결과는 네 가지의 상호 연결된 진단 관행을 강조하는 탁월함의 모델을 보여준다.

Our results reveal a model of excellence that emphasizes four interconnected dimensions of diagnostic practice.

의학 교육에 있어서의 현재 담론의 맥락 안에서 우리의 결과를 탐구하는 것은 이러한 우수한 진단능력을 구성하는 두 가지 주요 특징을 전면에 내세운다. 

(1) 진단 프로세스를 뒷받침하는 의료 역량의 통합적 특성 

(2) 진단 프로세스의 "최적 적응" 특성.

Exploring our results within the context of current discourses in medical education brings to the forefront two key features of this construct of diagnostic excellence: 

(1) the integrated nature of the medical competencies that underpin the diagnostic process, and 

(2) the “optimally adaptive”3 nature of the diagnostic process.

대학원 의학 교육 위원회(ACGME)의 핵심 역량9 및 CanMEDS 의사 역할10은 강력한 지식 기반을 넘어 광범위한 기술을 유지하는 의사의 중요성을 강조한다. 우리의 연구에서 나온 우수성의 모델은 [진단 전문가로서의 능력을 유지하고 향상시키기 위하여] [진단 프로세스 및 광범위한 접근 방식에서 의사가 다양한 역량을 어떻게 통합하는지]를 강조한다. 

The Accreditation Council for Graduate Medical Education (ACGME) core competencies9 and the CanMEDS physician roles10 emphasize the importance of physicians maintaining a broad skill set beyond a strong knowledge base. The model of excellence that emerged from our study highlights the ways in which physicians integrate different competencies both during the diagnostic process and in their broader approach to maintaining and improving their skills as diagnosticians.

예를 들어, 우리의 연구결과는 뛰어난 의사가 진단적 실천을 생각하는 방식이 다음의 밀접한 관계를 반영한다는 것을 시사한다. 

• CanMEDS 역할에서 의료 전문가, 의사 전달자 및 학자

• ACGME 역량에서 의료 지식, 대인 관계 및 커뮤니케이션 기술, 연습 기반 학습 및 개선 

For example, our findings suggest that the way in which reputed physicians conceive of diagnostic practice reflects a close entwining of 

• the medical expert, communicator, and scholar CanMEDS roles, or 

• the medical knowledge, interpersonal and communication skills, and practice-based learning and improvement ACGME competencies.

우리가 여기서 보고한 결과는 한 가지 능력이나 역할을 훌륭히 해내는 것만으로 뛰어난 의사가 되기에는 부족하다는 것을 시사한다. 게다가, 그들은 의사들이 통합적 구조로서 그들 자신과 다른 사람들의 의료 행위를 이해한다는 것을 증명한다.

the results that we report here suggest that excelling in any one competency or role alone is insufficient to be an exceptional physician. Moreover, they demonstrate that physicians understand their own and others’ medical practice as an integrated construct,

기본적으로, 학생과 전공의가 진단 전문 지식과 뛰어난 의료 지식을 위해 노력하는 것을 돕는데 있어서, 우리는 그들의 실천기반 학습과 의사소통 기술을 동시에 길러야 한다. 이러한 기술들을 그들의 진단적 우수성의 발전을 위한 중요한 수단이며, 단순히 양호한 임상 수행의 독립적인 요소가 아니다. 이와 관련하여, 특정 역량에 의도적으로 초점을 맞추는 평가 관행은 역효과를 낳을 수 있기에, 역량이 독립적으로 평가되어야 한다는 wisdom에 더욱 의문을 제기할 수 있다.

Essentially, in helping students and residents strive for diagnostic expertise and outstanding medical knowledge, we must simultaneously cultivate their practice-based learning and communication skills and treat these skills as a crucial means toward their development of diagnostic excellence, rather than simply as independent components of good clinical performance. In this regard, assessment practices that deliberately focus on a particular competency may be counterproductive, bringing further into question the wisdom of assessing competencies independently.11

참가자들은 진단 정의에서 이러한 기술의 통합은 사전 지식과 환자 이야기를 결합하는 과정으로 설명하면서 환자가 마주치는 동안 진화하는 진단에 대한 성찰적 자세를 채택했다. 예를 들어, 참가자는 지식을 [패턴 인식 과정을 통해 환자를 효율적으로 진단하는 수단]으로서뿐만 아니라 [까다로운 진단 사례에서 새로운 지식을 구성하기 위한 자료]로서 설명하였다. 적응성 전문 이론가들이 말한 바와 같이, 이러한 행위는 의사가 "최적 적응성 경로"을 따르는 것으로 이해해야 한다.

Participants described this integration of skills in their definition of diagnosis as a process of combining prior knowledge with patient stories while adopting a reflective12,13 stance toward a diagnosis as it evolves during a patient encounter. For example, participants described using knowledge not only as a means to efficiently diagnose a patient through a process of pattern recognition but also as a resource to construct new knowledge in challenging diagnostic cases. We understand this process to be at work when a physician is working within the “optimal adaptability corridor,”3 as described by adaptive expertise theorists.

optimal adaptability corridor OAC 란 적응적 전문가가 실천의 효율(과거 지식의 사용)과 혁신(새로운 지식의 구축 및 학습) 치수 사이에서 효과적인 균형을 유지할 수 있는 능력을 말한다. 실제로 이러한 전문가들은 그 한계로 인해 제약이나 misled 없이 과거의 지식을 활용할 수 있는 동시에 필요할 때 효과적인 문제 해결을 위한 새로운 지식을 구축할 수 있다. OAC를 따르게 되면, 본 연구에서 "임상실천을 통한 지속적인 학습"으로 개념화한 프로세스인, 문제 해결과정을 통한 지속적 학습이 가능하다

The optimal adaptability corridor refers to the ability of adaptive experts to maintain an effective balance between complementary efficient (use of past knowledge) and innovative (construction and learning of new knowledge) dimensions of their practice. In effect, these experts are able to use their past knowledge without being constrained or misled by its limitations, while also constructing new knowledge for effective problem solving when necessary. Working within the optimal adaptability corridor allows experts to continuously learn as they problem solve, a process that participants conceptualized as “continuous learning through clinical practice.”

임상추론에서 오류의 원인: 인지적 편향, 지식 부족, 이중처리 사고(Acad Med, 2017)

The Causes of Errors in Clinical Reasoning: Cognitive Biases, Knowledge Deficits, and Dual Process Thinking

Geoffrey R. Norman, PhD, Sandra D. Monteiro, PhD, Jonathan Sherbino, MD, Jonathan S. Ilgen, MD, Henk G. Schmidt, PhD, and Silvia Mamede, MD, PhD

의료오류는 2000년 획기적인 의학연구소(IOM) 보고서인 "The Errr Is Human: Building a Safer Health System"이 발표된 이후 상당한 주목을 받아왔다. 그 보고서는 의료 오류에 대한 사회적 비용이 크다는 점에 대해 구체적인 주의를 환기시켰다. IOM의 2015년 후속 보고서도 다음과 같이 덧붙였다.

Medical errors have received considerable attention since the publication of the landmark Institute of Medicine (IOM) report “To Err Is Human: Building a Safer Health System” in 2000.1 The report called specific attention to the large societal cost of medical errors. A 2015 follow-up report also from the IOM added that

의료전달시스템은 수십 년 동안 사각지대를 가지고 유지되어 왔다. 바로 진단 오류이다. 이는 정확하지 않거나 지연된 진단을 말하며, 모든 진료 환경 전반에 분포하고 있으며, 지속적으로 납을할 수 없을 만큼 많은 수의 환자를 계속 해친다.2

[t]he delivery of health care has proceeded for decades with a blind spot: Diagnostic errors—inaccurate or delayed diagnoses—persist throughout all settings of care and continue to harm an unacceptable number of patients.2

이 후속 보고서에서 IOM은 의사, 가족, 시스템을 포함한 여러 가지 진단 오류의 원인을 강조하였다. 그러나 진단을 목적으로 하는 추론 과정에 대한 설명은 전적으로 임상의의 인지 과정에 국한되었다. 이러한 초점이 맞춰지는 한 가지 이유는 결국 "임상추론은 의사의 마음 속에서 일어난다"는 것일 수 있다.2

In this follow-up report, the IOM highlighted the multiple causes of diagnostic error, including the clinician, the family, and the system. However, the description of the process of reasoning directed at making a diagnosis was entirely restricted to the cognitive processes of the clinician. One reason for this focus may be that, at the end of the day, “clinical reasoning occurs within clinicians’ minds.”2

확실히, 1970년대와 1980년대의 첫 번째 연구로 거슬러 올라가는 초창기 임상추론 연구는 심리학적 관점에 의해 지배되어 왔으며, 개인 임상의사의 사고 과정을 탐구했다.

Certainly, research in clinical reasoning, dating back to the first studies in the 1970s and 1980s,3,4 has been dominated by a psychological perspective, exploring the thinking processes of the individual clinician.

그루펜과 동료5는 1차 진료의사들이 78%의 사례에서 CC만을 근거로 정확한 진단을 내렸다는 것을 발견했다. 보다 최근에 펠라키아와 동료6은 응급의사들운 환자를 만나기 전에 이미 25%의 가설을, 임상적 만남의 첫 5분 동안 75%의 가설을 생성했다는 것을 보여주었다.

Gruppen and colleagues5 found that primary care physicians had the correct diagnosis based on just the chief complaint in 78% of cases. More recently, Pelaccia and colleagues6 showed that emergency physicians generated 25% of hypotheses before meeting the patient and 75% of hypotheses in the first five minutes of the clinical encounter.

이러한 발견은 사고의 "이중 프로세스 모델"을 기술하는 심리학에서 다수의 문헌에서 나온 결과와 일치한다.7–13 특정한 이론은 다를 수 있지만, 일반적인 특징은 사고에는 두 가지 시스템이 관련되어 있다는 것이다. 

• 더 빠른 시스템인 타입 1은 자동적이고, 무의식적이며, 겉보기에는 힘이 없어 보이는 반면, 

• 느린 시스템인 타입 2는 통제되고, 의식적이며, 노력한다. 

에반스와 스타노비치13이 설명했듯이 

• 시스템1은 "직관적이고, 휴리스틱하며, 

• 시스템2는 "반사적이고, 분석적"이다.

These findings are consistent with the findings from a large body of literature in psychology that describes “dual process models” of thinking.7–13 Although particular theories may differ, a common feature is that thinking involves two systems. The faster system, Type 1, is automatic, unconscious, and seemingly effortless, whereas the slower system, Type 2, is controlled, conscious, and effortful. As Evans and Stanovich13 described it, Type 1 is “intuitive, heuristic,” and Type 2 is “reflective, analytic.”

많은 저자들은 제1형 사고와 관련된 휴리스틱스와 그로 인한 인지적 편견이 진단 오류를 초래할 수 있는 가능성에 관심을 가져왔다.18–20 2015년 IOM 보고서는 휴리스틱스와 진단 오류의 관계에 대해 상당히 자세히 설명하였다.

Many authors have drawn attention to the heuristics associated with Type 1 thinking and to the possibility that the resulting cognitive biases may lead to diagnostic errors.18–20 The 2015 IOM report went into considerable detail about the relationship between heuristics and diagnostic errors:

휴리스틱스(Heuristics)는 인식 전략 또는 무의식적으로 채택되는 정신적 지름길로서, 의사결정에 특히 중요하다. 휴리스틱스는 의사결정을 용이하게 할 수 있지만 오류를 일으킬 수도 있다. 휴리스틱이 실패할 때, 그것은 인지적 편견이라고 불린다.2

Heuristics—cognitive strategies or mental shortcuts that are automatically and unconsciously employed—are particularly important for decision making. Heuristics can facilitate decision making but can also lead to errors. When a heuristic fails, it is referred to as a cognitive bias.2

비록 이 진술이 절대적인 것처럼 보이지만, 인간 추론에서 편향의 증거는 상당부분 상식 수준에서, 전문지식이 없이 질문에 대답하는 학부 심리학과 학생들의 연구에서 도출되었다.21 IOM 보고서는 이러한 연구를 광범위하게 인용하였으나 임상 추론에서 편견의 역할에 대한 증거를 검토하지 않았다.2

Although this statement appears definitive, much of the evidence of bias in human reasoning has been derived from studies of undergraduate psychology students answering commonsense and expertise-free questions.21 The IOM report extensively cited these studies but did not examine evidence of the role of biases in clinical reasoning.2

기억과 이중 처리의 구조

The Architecture of Memory and Dual Processing

인간의 추론은 왜 빠른 직관적 처리와 휴리스틱스에 의존하는가? 답은 사고와 기억의 특징 때문이다. 정신은 모든 계산이 발생하는 [제한된 용량의 작업 메모리]와 새로운 정보와의 연관성의 강도에 기초하여 메모리를 검색하는, [본질적으로 용량이 제한되지 않은 장기적 연관 기억]을 모두 포함한다.22

Why does human reasoning rely on rapid intuitive processing and heuristics? The answer lies in the nature of thinking and memory. The mind contains both a working memory of limited capacity in which all computations occur and a long-term, associative memory of essentially limitless capacity, whereby memories are retrieved based on the strength of their association with the new information.22

유형 1 사고는 새로운 정보와 기억 속의 유사한 예제 사이에 직접적인 연관성을 만드는 것으로 볼 수 있다.23 그러한 메모리 검색은 매일 매 시간마다 수천 번 발생한다.

Type 1 processing can be viewed as making a direct association between new information and a similar example in one’s memory.23 Such memory searches occur thousands of times every hour of every day;

이러한 연관성 만드는 작업은 노력없이 이뤄지며, 작업 메모리에 과부하를 주지 않는다.13 유사한 예를 검색할 가능성은 오류를 야기할 수 있는 여러 요인에 의해 영향을 받을 수 있는 연관성의 강도와 관련이 있다.24

These associations are effortless and do not overload our working memory.13 The likelihood of retrieving a similar example is related to the strength of the association, which can be influenced by a number of factors, that may lead to errors.24

• 과거에 연고가 관찰된 횟수, 

• 기억 속에 저장된 예시 횟수 또는 

• 공통적인 특징의 개수, 

• 최근성이나 생동감 같은 외부 특성의 개수,

• the number of times the association has been observed in the past, 

• the number of examples stored in one’s memory, or 

• the number of common features, 

• the number of extraneous characteristics, such as recency or vividness,

반대로, 타입 2 프로세싱은 자신의 작업 메모리에 있는 연산에 기초한다. 예를 들어, 사례에 존재하는 진단 범주에서 피쳐를 식별하고 특정 질병의 가능성을 추정한다.23 타입 2 프로세싱은 그 성격상 추상적이고 규범적이거나 논리적인 규칙과 일치하기 때문에 작업기억에 무거운 부담을 지운다. 따라서 제한된 작업 메모리에 대한 부하가 증가함에 따라 계산 오류가 발생할 가능성이 발생한다.13

Conversely, Type 2 processing is based on computations in one’s working memory—for example, identifying the features from a diagnostic category that are present in a case and estimating the likelihood of a particular disease.23 Type 2 processing is, by its nature, abstract and normative—or consistent with logical rules—so it places a heavy burden on one’s working memory. Thus, the possibility arises that computational errors may occur as a result of the increased load on one’s limited working memory.13

그렇다면 이 두 과정과 추론 오류 사이의 관계는 무엇인가? 한 가지 관점은 [모든 오류는 유형 1 추론에서 발생하며, 유형 2 추론에 의해서는 수정되지 않는다]는 관점이다.

What is the relationship, then, between these two processes and reasoning errors? One view is that all errors originate from the heuristics that are employed in Type 1 reasoning and not corrected by Type 2 reasoning:

직관적 판단의 오류는 두 시스템의 고장을 모두 포함한다. 오류를 발생시킨 시스템 1과 오류를 감지하고 수정하지 못한 시스템 2.25

Errors of intuitive judgment involve failures of both systems: System 1, which generated the error, and System 2, which failed to detect and correct it.25

대안적 관점은 [두 프로세스 모두에서 오류가 발생]한다는 것이다.

An alternative view is that errors arise from both processes:

아마도 이중 과정 이론에 대한 인식에서 가장 끈질긴 오류는 제1종 프로세스(직관적, 휴리스틱)가 모든 나쁜 사고를 책임지고 제2종 프로세스(반사적, 분석적)가 반드시 올바른 반응을 이끌어 낸다는 생각일 것이다.... 그래서 이 좋은 생각의 본질은 나쁜 생각이고 어떤 이중 과정 이론들은 그것을 그들의 핵심 용어로 만들었다.13

Perhaps the most persistent fallacy in the perception of dual-process theories is the idea that Type 1 processes (intuitive, heuristic) are responsible for all bad thinking and that Type 2 processes (reflective, analytic) necessarily lead to correct responses.… So ingrained is this good–bad thinking idea that some dual- process theories have built it into their core terminology.13

그렇다면 어떻게 하면 오류를 줄일 수 있을까? 위의 첫 번째 공식에서 오류는 유형 1 처리에 있어서 유선 연결된 인지적 편견의 결과이기 때문에, 해결책은 편견이 발생할 수 있는 시기를 감지하는 것을 학습한 다음 분석 유형 2 추론을 사용하여 다음과 같이 수정하는 것이다.

How can we reduce errors, then? In the first formulation above, because errors are a consequence of hardwired, cognitive biases in Type 1 processing, the solution is to learn to detect when a bias may arise and then use analytical Type 2 reasoning to correct it:

시스템 1에서 비롯되는 오류를 차단하는 방법은 원칙적으로 간단하다: 인지 지뢰밭에 있다는 징후를 인식하고 속도를 늦추고 시스템 2에 보강을 요청한다.

The way to block errors that originate in System 1 is simple in principle: recognize the signs that you are in a cognitive minefield, slow down, and ask for reinforcement from System 2.26

이 관점은 오류가 지식의 결핍에서 발생할 수 있다는 것을 인정하거나 (분석적이든 경험적이든) 도메인에서 지식을 증가시키는 것이 오류의 감소로 이어질 것임을 시사하지 않는다. 그 대신, 이 관점은 오류로 이어질 수 있는 사고 과정의 결함에 초점을 맞추고 있다.

This view does not acknowledge that errors may arise from knowledge deficits or suggest that increasing knowledge in a domain (either analytical or experiential) will lead to fewer errors. Instead, the focus is on flaws in the thinking processes that may lead to errors.

다른 이론가들은 이 두 과정이 다른 종류의 지식을 반영한다고 본다. 

• 제1종 프로세싱은 무의식적인 연관성의 과정을 통해 개별 경험의 검색을 수반하는 반면, 

• 제2종 프로세싱은 "상징적으로 표현된 ...지식"을 사용한다9 

프로세스에 집중하는 것과는 대조적으로, 이 관점은 각 유형의 생각에서 요구되는 지식의 종류와 그 지식이 어떻게 학습되는지를 명시적으로 검토한다.

Other theorists believe that the two processes reflect different kinds of knowledge. Type 1 processing involves the retrieval of individual experiences through a process of unconscious association, while Type 2 uses “symbolically represented … knowledge.”9 In contrast to a focus on processes, this perspective explicitly examines the kinds of knowledge required by each type of thinking and how that knowledge is learned.

만약 오류가 인지적 편견의 결과라면,

If errors are a consequence of cognitive biases, then:

1. 지식과 경험의 증가와 오류의 관계는 없을 것이다.

1. There will be no relationship between increasing knowledge and experience and errors.

2. (속도감 있는 작업이나 주의 산만과 같은) 제약조건은 제2형식 분석 처리에 영향을 미치고 더 많은 오류를 초래할 것이다.12

2. Constraints such as speeded tasks or distractions will affect Type 2 analytical processing and lead to more errors.12

3. 오류는 인지편향을 명시적으로 인식하고 오차를 시정하기 위한 분석전략을 발동하는 학습을 통해 교정될 것이다.19

3. Errors will be corrected by learning to explicitly recognize a cognitive bias and invoke analytical strategies to correct the error.19

반대로 오류가 지식 결손의 결과라면,

Conversely, if errors are a consequence of knowledge deficits, then:

1. 경험이 많아지면 분석적 지식이나 경험적 지식 모두 커져서 오류가 줄어든다.

1. More experience will lead to greater knowledge, both analytical and experiential, and result in fewer errors.

2. 제1형 처리가 전문지식을 밑거름으로 하는 한, 신속한 작업이나 산만함이 정확도에 미치는 영향은 미미할 것이다.

2. To the extent that Type 1 processing underlies expertise, speeded tasks or distractions will have minimal effect on accuracy.

3.오류는 구체적인 지식을 적용한다면 시정될 것이다.

3. Errors will be corrected by applying specific knowledge.

오류의 원인에 대한 두 가지 넓은 관점을 검토하기 위해, 인지 편향이나 지식 부족을 우리는 문헌에 대한 검토를 either/or 이분법적으로 프레이밍했다. 그러나 실제로는 두 가지 결손 모두 오류의 원인이 될 가능성이 높다.

To examine the two broad perspectives on the causes of errors—cognitive bias or knowledge deficiency—we have framed our review of the literature as an either/or dichotomy. In fact, it is likely that both deficits contribute to errors.

의학 임상 추론 연구의 증거

Evidence From Clinical Reasoning Studies in Medicine

임상적 추론의 오류는 인지적 편견에 의해 야기되는가?

Are errors in clinical reasoning caused by cognitive biases?

Evans12가 지적한 바와 같이, 오류는 유형 1 처리의 휴리스틱에서 발생하여 유형 2 처리의 개입에 의해 수정되는 한 가지 증거는 오류와 진단 속도 사이의 관계다. 진단을 철저히 하기 위해 더 긴 시간을 사용하거나 속도를 늦추라는 지침은 제2형식 처리를 더 많이 사용할 수 있어야 하며 따라서 더 높은 정확도를 산출해야 한다.

As Evans12 indicated, one kind of evidence that errors arise from the heuristics of Type 1 processing and are corrected by the interventions of Type 2 processing is the relationship between errors and the speed of diagnosis. A longer time to a diagnosis, or instructions to slow down, to be thorough, etc., should permit more use of Type 2 processing and hence produce greater accuracy.

이러한 모든 연구는 시간을 증가시키고, 따라서 타입 2 처리에 더 많이 의존하는 것은 오류를 개선시키지 않는다는 것을 시사한다. 그러나, 최근의 한 연구는 시간을 심하게 제약하는 것이 초보자의 오류를 증가시킨다는 것을 보여주었다.32

All of these studies suggest that increasing time, and thus relying more heavily on Type 2 processing, does not ameliorate errors. However, one recent study showed that severely constraining time does increase novices’ errors.32

문헌에서 나온 증거에 따르면, 더 많은 처리 시간은 일반적으로 더 적은 수의 오류가 아니라 더 많은 오류와 연관되어 있다. 만일 오류가 유형 1 처리의 인지적 편견에 의해 야기되고 유형 2 처리에 의해 해결된다면, 그 반대가 사실일 것이다. 이 발견에 대한 한 가지 설명은 두 시스템 모두에서 오류가 발생할 수 있다는 것이다. 예를 들어, 조기 종결(진단 오류의 가장 일반적인 원인으로 확인됨3)와 확증편향 모두 데이터 수집 및 합성 과정에서 발생하는 현상이기 때문에 유형 2 프로세싱과 연관될 가능성이 더 높다.34 더욱이 오류 해결은 단순히 추가적인 분석 노력을 기울이는 경우가 아니며, 충분한 지식이 없으면 추가 처리가 오류를 해결하는 데 도움이 되지 않을 것 같다. 우리는 적절한 시기에 이 과정에서 지식의 역할에 대해 자세히 설명할 것이다.

According to this evidence from the literature, more processing time is generally associated with more, not fewer, errors. If errors are caused by cognitive biases in Type 1 processing and resolved by Type 2 processing, the reverse would be true. One explanation for this finding is that errors can arise in both systems; for example, both premature closure (which has been identified as the most common contributor to diagnostic error33) and confirmation bias are phenomena that arise during the process of data gathering and synthesis, so they are more likely to be associated with Type 2 processing.34 Moreover, the resolution of errors is not simply a case of exerting additional analytical effort; without sufficient knowledge, additional processing is not likely to be helpful in resolving errors. We will elaborate on the role of knowledge in this process in due course.

임상 추론의 오류가 제1형 처리와 관련되어 있는가?

Are errors in clinical reasoning associated with Type 1 processing?

지금까지 일반 문헌에는 100개 이상의 인지편견이, 의학 문헌에는 적어도 38개 이상의 인지편향에 대해 기술되어 있다.19 인지편향과 진단오차를 연관짓는 글의 두드러진 점을 감안할 때, 진단추론에서 인지편향에 대한 경험적 실증적 실증이 비교적 적다는 것은 다소 놀라운 일이다. 최근 체계적인 검토에서 보건의료에서 인지편향에 대한 213개의 연구가 확인되었지만, 많은 사람들이 진단추론이 아닌 치료선택(추론)과의 관련성을 검토했다.39 이 기사를 검토한 후, 우리는 15개의 연구만이 진단오류에서 인지편향의 역할을 검사했고, 7개의 편견만 검사했다고 결론지었다.

To date, over 100 cognitive biases have been described in the general literature and at least 38 in the medical literature.19 Given the prominence of writings associating cognitive bias with diagnostic error,14–20,35–38 it is somewhat surprising that there are relatively few empirical demonstrations of cognitive bias in diagnostic reasoning. A recent systematic review identified 213 studies of cognitive bias in health care; however, many examined the therapeutic choices , not diagnostic reasoning.39 After reviewing this article, we concluded that only 15 of the studies examined the role of cognitive bias in diagnostic error, and only 7 biases were examined.

실제로 존재하는 진단 추론에서 인지편향의 역할에 대한 증거는 다음 두 종류의 연구에서 도출된다. 

• (1) 편견을 설명하기 위해 자극이 특별히 조작되는 실험 연구 (예: 연구 초기에 참가자에게 사례를 보여 준 다음, [가용성 편향] 시퀀스 후반에 유사한 사례를 진단하도록 요청함)

• (2) 오류가 발생한 경우에 대해, 후향적으로 검토하여 가능한 오류의 원인을 판단한다.

The evidence of the role of cognitive bias in diagnostic reasoning that does exist is derived from two kinds of studies: 

• (1) experimental studies in which the stimuli are specifically manipulated to illustrate a bias (e.g., by showing participants a case early in the study, then asking them to diagnose a similar case later in the sequence [availability bias]); and 

• (2) retrospective reviews of cases where an error has occurred, to determine the possible cause of the error.

많은 실험 연구들이 다양한 인지적 편견을 보여주었다.

A number of experimental studies have demonstrated various cognitive biases.

다른 여러 연구에서는 유사한 사례에 대한 참가자의 최근 경험과 다른 진단으로 인해 오류가 발생한 "가용성" 편향을 입증했다.

Several other studies have demonstrated “availability” bias, where participants’ recent experience with a similar case but a different diagnosis led to errors.

그러나 피부과에서의 두 가지 연구에서 동일한 카테고리의 사례를 직전에 본 경우, 정확한 진단을 더 용이하게 할 수 있다는 것이 밝혀졌다.44,4,45

However, availability bias seems to work both ways—two studies in dermatology showed that a prior example from the same category can facilitate accurate diagnosis.44,45

모든 연구가 인지적 편견을 유도할 수 있었던 것은 아니었다. 크리스텐슨과 동료 46명은 연구에 사용된 8가지 사례 중 두 가지 사례에만, 최소한의 편견만이 존재한다는 것을 발견했다.

Not all studies were able to induce a cognitive bias. Christensen and colleagues46 found that minimal bias was present in only two of the eight cases used in the study.

따라서, 편견을 유도하기 위해 특별히 설계된 자료를 사용한 많은 연구가 임상의사가 인지적 편견, 특히 가용성 편견을 보일 수 있다는 것을 보여주었지만, 그들은 이러한 편견이 실제로 발생할 수 있는 정도에 대한 통찰력을 제공하지 못했다. 또한 어떤 연구에서는 가용성 편향이 정확성을 감소시킬수도, 개선할 수 있다는 연구 결과가 나왔다.44,45

Thus, although a number of studies that used materials specifically designed to induce bias showed that clinicians can exhibit cognitive biases, particularly availability bias, they provided no insight into the extent to which these biases may arise in practice. Moreover, some studies showed that availability bias may both reduce and improve accuracy.44,45

진단 추론에서 인지편향의 역할을 조사하는 두 번째 연구 부류는 실제 오류에 대한 후향적 검토다. Graber와 동료들은 응급실에서 발생한 100건의 진단 오류 사례를 연구했다. 그들은 사례의 약 68%가 인지적 편견, 주로 조기 폐쇄(즉, 중요한 정보를 얻지 못한 채 접견을 종료)와 관련이 있다는 것을 발견했다. 그러나 또 다른 연구는 인지적 편견의 인과관계에 대한 증거를 찾지 못했다.48

The second class of studies that examine the role of cognitive bias in diagnostic reasoning are retrospective reviews of actual errors. Graber and colleagues33 studied 100 cases of diagnostic errors committed in the emergency department. They found that about 68% of cases were associated with a cognitive bias, primarily premature closure (i.e., terminating the encounter without getting the critical information). However, another study found no evidence of a causal role of cognitive biases.48

최근 한 연구는 특정 편향을 예시하지는 않았지만 두 가지 동일한 가능성이 있는 진단을 받았기 때문에 선택된 경우, 진단 오류 전문가들에게 인지적 편견을 식별하도록 요청했다..49 전문가들 사이에서 특정 편차의 유무에 대한 동의는 0에 가까웠다. 더욱이, 이 연구는 후향적 검토 자체가 사후 판단 편향에 취약하다는 것을 보여주었는데, 동일한 사례 연구에서도 진단이 잘못되었던 경우 진단이 옳았던 경우보다 두 배나 많은 편견을 식별하게 되었다.

A recent study asked experts in diagnostic errors to identify cognitive biases in case workups that were chosen because they did not exemplify a particular bias but had two equally probable diagnoses.49 Agreement on the presence or absence of specific biases among the experts was close to zero. Furthermore, the study showed that retrospective review is itself vulnerable to hindsight bias, where an incorrect diagnosis resulted in the identification of twice as many biases as a correct diagnosis in an otherwise identical case workup.

이것은 임상의사의 사후판단편성의 분명한 예다. 전문가들이 특정 편견에 동의할 수 없고 사후 판단 편향에 취약하다면, 어떻게 편견의 정의를 가르치는 것이 오류 감소로 이어질 수 있는가?

This is a clear example of hindsight bias in the clinicians. If experts cannot agree on specific biases and are vulnerable to hindsight bias, how can teaching definitions of biases lead to error reduction?

임상적 추론의 오류는 지식의 결핍에 의한 것인가?

Are errors in clinical reasoning caused by knowledge deficits?

놀랄 것도 없이, 추가 교육과 지식이 오류 감소와 관련이 있다는 실질적인 증거가 있다. 이러한 증거의 대부분은 임상의사 시니어 레지던트가 주니어 레지던트보다 오류율이 낮다는 것을 보여주는 연구에서 도출되었다. 비록 이것이 항상 그런 것은 아니지만, 실제 경험이 실천을 향상시킨다는 것은 문헌에서 덜 명확하다; 대부분의 연구는 작은 부정적인 면을 보여준다. 즉, 진단 정확도와 나이 사이의 negative 관계가 있다.

Not surprisingly, there is substantial evidence that additional education and knowledge are associated with reduced error rates. Much of this evidence is derived from studies of postgraduate trainees that show that practicing clinicians and/or senior residents have lower error rates than junior residents,41,50,51 although this is not always the case.52 It is less clear from the literature that experience in practice leads to improved practice; most studies show a small negative relationship between diagnostic accuracy and age.53,54

실제 임상 진단 수행에 대한 한 연구에서 Zwaan과 동료들48은 "최적화되지 못한 임상 행위"의 원인이 불충분한 지식이라는 증거를 발견했다.

In one study of actual clinical diagnostic performance, Zwaan and colleagues48 found evidence of insufficient knowledge as a basis for “suboptimal clinical acts.”

그러나 이러한 연구는 어떤 종류의 전문지식이 오류와 관련되어있는지를 식별하지 못한다. 

• 경험적experiential 지식의 정확성과 측정 사이의 긍정적인 연관성은 전문지식이 제1형 처리와 관련이 있음을 시사할 수 있다. 

• 공식적formal 지식의 측정과의 연관성은 전문지식이 부분적으로 더 광범위한 분석적 지식기반에 존재함을 의미할 수 있으며, 따라서 제2형 처리에 기여할 것이다.

However, these studies do not identify the kind of knowledge that is related to errors and expertise. 

• A positive association between accuracy and measures of experiential knowledge would suggest that expertise is related to Type 1 processing; 

• an association with measures of formal knowledge would imply that expertise resides in part in a more extensive analytical knowledge base, and thus would contribute to Type 2 processing.

우리는 문헌에서 두 가지 관계에 대한 증거를 발견했다.

We found evidence for both relationships in the literature.

임상 추론 오류 감소 전략

Strategies for reducing errors in clinical reasoning

문헌에는 일반 전략, 휴리스틱 기반 전략, 지식 기반 전략 등 최소 세 가지 종류의 개입이 설명되어 있다.55

At least three classes of interventions have been described in the literature: general strategies, heuristic- based strategies, and knowledge-based strategies.55

일반 오류 감소 전략.

General error reduction strategies.

아마도 오류를 줄이기 위한 가장 간단한 전략은 "속도를 줄이고 시스템 2에서 보완을 요청하라"는 Kaneman의 지시에 따라, 임상의사에게 신중하고 체계적으로 그리고 모든 대안을 모색하라고 훈계하는 것일 것이다. 이러한 유형의 개입을 검토하기 위한 전형적인 연구전략은, 타입 2 처리에 이용 가능한 시간을 수정하기 위해, 한 집단은 "조심하고, 체계적이며, 철저하다"라고 하고, 다른 집단은 "가능한 한 빨리 가라"라고 하는 두 집단 설계를 이용하는 것이다. 이 전략을 사용한 세 가지 연구는 진단 정확도에 차이가 없음을 보여주었다.29,30,56 반면에 Mamede와 동료들은 비슷한 전략을 사용하였고 어느 정도 성공하였다.

Perhaps the simplest strategy to reduce errors is to admonish clinicians to be careful and systematic and to explore all alternatives, following Kahneman’s26 directive to “slow down and ask for reinforcement from System 2.” A typical research strategy to examine this type of intervention is to use a two-group design in which one group is told to be “careful, systematic, thorough” and the other group is told to “go as quickly as possible,” with a view to modifying the time available for Type 2 processing. Three studies using this strategy showed no difference in diagnostic accuracy.29,30,56 On the other hand, Mamede and colleagues57 used similar strategies with some success.

경험적 기반 오류 감소 전략.

Heuristic-based error reduction strategies.

인지적 편견의 영향을 줄이기 위한 전략은 이러한 인식이 진단 오류를 감소시킬 것이라는 가정 하에 참가자들에게 발생가능한 편견을 교육하기 위해 고안되었다. 몇몇 연구들은 단순히 편견을 확인하는 데 초점을 맞춰왔다.

Strategies directed at reducing the effect of cognitive biases are designed to educate participants about possible biases, with the assumption that this awareness will reduce diagnostic errors. Several studies have focused on simply identifying biases.

본드와 동료는 응급의학 전공의에게 인지적 편견에 대한 강의를 했다. 전공의들이 편견에 대해 배웠다고 인식했지만, 다시 한번 진단 오류에 대한 개입의 효과는 테스트되지 않았다. Ogdie와 동료들61은 전공의들이 인지편향과 진단오류 경험에 대한 성찰적 글쓰기 및 토론 과제를 완료하는 과정을 구현했다. 비록 전공의들이 인지적 편견을 보인 사건을 상기할 수 있었지만, 그 편향을 독립적으로 확인하지 못했고, 그 편향이 그들의 진단 정확도에 미치는 영향의 측정도 없었다.

Bond and colleagues60 taught a course on cognitive biases to emergency medicine residents. Although residents perceived that they had learned about biases, again, the effect of the intervention on diagnostic errors was not tested. Ogdie and colleagues61 implemented a course where residents completed reflective writing and discussion assignments about their experience with cognitive bias and diagnostic error. Although the residents were able to recall an episode where they exhibited a cognitive bias, there was no independent confirmation of that bias and no measurement of its effect on their diagnostic accuracy.

오직 세 가지 연구만이 참가자들에게 진단 추론에서 특정한 인지적 편견을 인식하도록 가르치기 위해 고안된 교육적 개입의 효과를 조사했다.62–64 이러한 연구들 중 두 가지는 응급의학 교대로 사무직 학생에 대한 교육적 개입을 테스트했고, 이어서 서면 사례 기반 사후 테스트가 있었다.62,63 개입에 따른 오류의 감소는 없었다.

Only three studies examined the effect of an educational intervention designed to teach participants to recognize specific cognitive biases in diagnostic reasoning.62–64 Two of these studies tested an educational intervention on clerkship students in an emergency medicine rotation, followed by a written case-based posttest.62,63 There was no reduction in errors from the intervention.

다른 연구에서는 [debiasing 체크리스트의 효과("내가 경험적 사고의 내재적 결함을 고려했는가?"와 같은 질문 포함)] 대 [25개의 가능한 차등 진단에 대한 사례별 체크리스트의 효과]65를 비교했다. 저자들은 debiasing 체크리스트의 유의한 이점은 찾지 못했다. 그러나 사례별 체크리스트는 진단 정확도를 크게 향상시켰다.

One other study directly compared the effect of a debiasing checklist (with questions like “Did I consider the inherent flaws of heuristic thinking?”) versus the effect of a case-specific checklist of 25 possible differential diagnoses.65 The authors found no significant benefit to the debiasing probe; however, the case- specific checklist resulted in a significant improvement in diagnostic accuracy.

따라서 다수의 연구가 레지던트가 인지적 편견을 정의하는 법을 배울 수 있다는 것을 증명했고, 특정한 편견을 설명하기 위해 설계된 서면 및 비디오 사례 작업에서 편견을 인식할 수 있다는 약한 증거가 있지만, 놀랍게도 [인지적 편견을 식별하는 능력]과 [편견과 진단 오류의 감소] 사이의 연관성을 연구한 연구는 거의 없다. 이 관계를 연구한 사람들은 그러한 개입에 아무런 도움이 되지 않았다.

Thus, although a number of studies have demonstrated that residents can learn to define cognitive biases, and there is weak evidence that they may be able to recognize biases in written and video case workups that are designed to illustrate specific biases, surprisingly few studies have examined the link between their ability to identify cognitive biases and a decrease in diagnostic errors. Those that did study this relationship showed no benefit to such interventions.

지식 기반 오류 감소 전략.

Knowledge-based error reduction strategies.

아마도 가장 광범위하게 연구된 개입은 Mamede, Schmidt 및 동료들이 개발한 기술인 의도적 성찰일 것이다.42,43,666670 그들의 전략은 [작업 진단working diagnosis이 정확하지 않다는 것을 인식하는 열쇠가 그 진단과 모순되는 증거를 식별하는 것]이라는 가정에 기초한다. 이 기법은 사례로 돌아가서 그 특징을 모두 기록한 다음 작업 진단과 일치하지 않는 특징을 식별해야 한다.

Perhaps the most widely studied intervention is deliberate reflection, a technique developed by Mamede, Schmidt, and colleagues.42,43,66–70 Their strategy is based on the assumption that the key to recognizing that a working diagnosis is not correct is identifying evidence that is inconsistent with that diagnosis. This technique requires going back to the case, writing down all of its features, and then identifying any features that are discordant with the working diagnosis.

이 전략은 분석적(타입 2) 사고에 근거한 시정조치를 권장하지만, 그것은 분명히 (잘못에 대한 인지적 휴리스틱을 식별하는 것이 아니라) 적절한 지식을 식별하는 데 초점을 맞추고 있으며, 진단적 관련 정보의 검색 및 재구성에 대한 구조적 접근방식으로 가장 잘 설명될 수 있다.

Although this strategy encourages a corrective action based on analytical (Type 2) thinking, it is clearly focused on identifying the appropriate knowledge, not on identifying the cognitive heuristic at fault, and may best be described as a structured approach to the retrieval and reorganization of diagnostically relevant information.

한 연구는 단순 사례와 복잡한 사례 진단에 대한 성찰 효과와 지시되지 않은 추론의 효과를 대조하였다.69 복잡한 사례 진단에서 성찰의 긍정적인 효과가 주로 주목되었다.

One study contrasted the effects of reflection and those of undirected reasoning on diagnosing simple versus complex cases.69 The positive effect of reflection was primarily noted in diagnosing complex cases.

세 번째 연구 52. 간단한 사례를 해결하는 레지던트의 경우, 저자들은 진단 정확도에 차이가 없음을 발견했고, 복잡한 사례를 해결하는 사람들에게는 '의식적인 사고' 조건에서 결과가 우월했다. 반대로, 이 개입은 의대생들이 간단한 사건을 해결하는 데 도움이 되었지만, 복잡한 사건을 해결하는 데는 도움이 되지 않았다. 이 연구결과는 이 개입이 분석지식을 동원했다는 것을 시사하는데, 초보자들에게는 [단순한 사례의 해결]이 개선되고, 반면 더 advanced 의사에게는 [복잡한 사례의 해결]에 효과적이었다.

A third study 52. For residents solving simple cases, the authors found no difference in their diagnostic accuracy; for those solving complex cases, the results of the conscious thought condition were superior. Conversely, the intervention benefited medical students solving simple cases but not those solving complex cases. This finding suggests that the intervention mobilized analytical knowledge, which for novices resulted in improvement in solving simple cases and for more advanced clinicians was effective for solving complex cases.

salient distracting feature가 있는(즉, 임상의의 정확한 진단을 방해하기 위해 의도적으로 포함된 특징) 연구에서, 성찰적 추론을 사용하도록 권장된 레지던트들은 예시-기반 추론을 사용하라는 말을 들었을 때보다 더 정확했다.68 그러나 저자들은 의대생들에게 아무런 차이를 발견하지 못했다. 다시 말하지만, 이 발견은 레지던트의 보다 광범위한 분석적 지식을 보여주는 것일지도 모른다.

In a study of salient distracting features (i.e., features deliberately included to distract the clinician from the correct diagnosis), residents encouraged to use reflective reasoning were more accurate than when they were told to use exemplar-based reasoning.68 However, the authors found no difference for medical students. Again, this finding may reflect residents’ more extensive analytical knowledge.

두 가지 연구에 따르면, 성찰을 위한 추가 시간이 레지던트와 경험 있는 의사들 사이에서 진단 정확도의 큰 증가를 이루었다.71,72 그러나 반사 단계에는 참여자의 정확도 향상에 큰 기여를 할 수 있는 추가 임상 데이터의 제시도 포함되었다.

Two studies showed that additional time for reflection resulted in a large increase in diagnostic accuracy, among both residents and experienced physicians.71,72 However the reflection phase also involved the presentation of additional clinical data, which may be a major contributor to participants’ increased accuracy.

이러한 연구를 통해 우리는 학습자의 수준과 사례의 난이도가 영향을 미치기는 하지만, 성찰이 상당히 일관되게 유익하다고 결론지을 수 있다. 이러한 차이는 [문제해결에 필요한 적절한 지식의 가용성]의 차이로 인한 결과인 듯 하다. 성찰이 효과적인 경우에는, 참가자들이 자신의 지식을 식별하고 재구성하도록 장려했기 때문에 그러한 결과를 달성한 것이다. 

From these studies, we conclude that reflection is fairly consistently beneficial, although the level of the learners and the difficulty of the cases do affect its impact. This mitigation appears to be a consequence of the availability of appropriate knowledge to resolve the problem; to the extent that reflection is effective, it achieves these results by encouraging participants to identify and reconfigure their knowledge. 

이 전략은 복잡한 사례를 해결하는 주니어 임상의에게는 효과적이지 않다. 왜냐하면 그들은 처음부터 사건을 해결할 충분한 지식을 가지고 있지 않기 때문이다. 반대로, 전문가들은 그러한 문제들을 처음부터 쉽게 해결할 수 있기 때문에 단순한 경우를 해결하는 데 있어서 성찰의 혜택을 받지 못한다.

This strategy is ineffective for junior clinicians solving complex cases because they simply do not have sufficient knowledge to resolve the case from the start. Conversely, experts do not benefit from reflection in solving simple cases, because they can solve such problems easily from the start.

이러한 개입에 대해 한 가지 더 고려할 점이 있다. 일반적으로 모든 경우에 대한 성찰은 두 번째 패스로 요구되며, 원래의 서면 케이스가 이용 가능하다. 실제로 유용하기 위해서는, Kahneman이 말하는 것처럼, 임상의는 "자신이 지뢰밭에서 있다는 것을 인식해야" 하며, 자신이 실수를 저질렀다고 믿고, 더 이상 return할 case description이 없을 때 추가 검토를 시작해야 한다. 그렇다면 문제는 [의사는 과연 주어진 상황이 문제가 있다는 것을 인식하고 스스로 오류를 고칠 수 있는가] 하는 것이다.

There is one further consideration regarding these interventions. the reflection is usually required for all cases as a second pass, with the original written case available. To be useful in practice, the clinician must, as Kahneman26 says, “recognize [she is] in a minefield” and initiate additional review when she believes she has committed an error and does not have a case description to which to return. The question then is: Can clinicians recognize that a situation is problematic and correct the error on their own?

답은 "약간만 그렇다"인 것 같다. 인턴, 레지던트, 의대생들을 대상으로 프리드먼과 동료 73명이 실시한 대규모 연구에서 참가자들의 자기평가 신뢰도가 잘못 진단한 경우보다 올바르게 진단된 경우에 더 높은 것으로 나타났다. 전문지식이 높아짐에 따라 정확성과 신뢰성이 향상되었지만, 저자들은 과신 및 저신뢰의 많은 예를 확인하였다.

The answer appears to be “a bit.” A large study by Friedman and colleagues73 involving practicing internists, residents, and medical students showed that participants’ self-assessed confidence was higher for cases they diagnosed correctly than for those they diagnosed incorrectly. Increasing expertise led to greater accuracy and confidence, although the authors identified many instances of both over- and underconfidence.

결론적으로, 여러 근거에 따르면, 휴리스틱스 및 편견의 식별을 통한 오류 감소에 대한 개입이 진단 오류에 아무런 영향을 미치지 않는다는 것을 암시한다. 이와는 대조적으로, 임상의가 자신의 지식을 동원하고 재구성하거나 사례의 내용을 성찰하도록 장려하는 다양한 전략을 사용하는 여러 연구에서는 어느 정도 이점이 나타났다. 즉, 이는 참가자가 문제와 관련된 추가 지식을 identify해야 한다는 것을 보여주는 결과일 가능성이 높다.

In conclusion, the evidence suggests that interventions directed at error reduction through the identification of heuristics and biases have no effect on diagnostic errors. By contrast, a number of studies using various strategies that encourage clinicians to mobilize and reorganize their knowledge or to reflect on the content of the case showed some benefit, which is presumably a consequence of directing participants to identify additional knowledge that is relevant to the problem.

결론

Conclusions

(1) 임상 추론의 오류가 주로 많은 저자가 제시한 하나의 처리 전략(타입 1)에서 발생하는지 

(2) 이러한 오류가 인지적 편견 또는 지식 결손의 결과인지 여부.

(1) whether errors in clinical reasoning arise primarily from one processing strategy (Type 1) as suggested by many authors, and 

(2) whether these errors are a consequence of cognitive biases or knowledge deficits.

우리가 문헌에서 발견한 증거는 일관성이 있는 것 같다. 임상 추론의 오류가 주로 제1형식 처리에서 발생하며 제2형식 처리에 의해 수정된다는 이론적 입장은 너무 단순하다. 오류는 두 종류의 처리에서 모두 발생할 수 있다. 무엇이 오류를 일으키고 그것들을 줄이기 위해 무엇을 할 수 있는지에 대해, 현재까지 문헌은 Graber와 동료들의 결론에 부합한다. "이러한 개입의 폭과 열의 사이에는 큰 차이가 있지만... 실제 개입의 빈약함[그리고 진단 정확도나 오류를 다루는 매우 제한된 증거]이 있다." 

The evidence we found in the literature appears consistent. The theoretical position that errors in clinical reasoning arise primarily from Type 1 processing and are corrected by Type 2 processing is simplistic. Errors can arise from both kinds of processing. As to what causes errors and what can be done to reduce them, the literature to date aligns with Graber and colleagues’55 conclusion that there is “a major discrepancy between the breadth and enthusiasm for these interventions … but a paucity of actual interventions [and] very limited evidence addressing diagnostic accuracy or errors.” 

그럼에도 불구하고, 우리가 검토한 연구에서 몇 가지 결론은 가능하다. 첫째, 지금까지의 근거는 [대부분의 오류는 인지적 편견의 결과이며, 의사들이 편견을 인식하도록 훈련시킴으로써 감소될 수 있다]는 가정을 지지하지 않는다. 마찬가지로, "속도를 늦추거나, 성찰하거나, 주의하고, 체계적으로 행동하라"는 일반적인 경고는 진단 과정을 늦추는 것 이상의 효과는 그다지 없어 보인다. 이와는 대조적으로, 지식이 부족한 것이 진단 오류의 중요한 원인이 되며, 지식의 일부 재조직화를 유도하는 전략은 작지만 일관된 이점이 있는 것으로 보인다.

Nevertheless, some conclusions are possible from the studies we reviewed. First, the assumption that most errors are a consequence of cognitive biases and could be reduced by training physicians to recognize biases is not borne out by the evidence. Similarly, general admonitions to slow down, reflect, or be careful and systematic likely have minimal effect beyond slowing the diagnostic process. By contrast, knowledge deficits are a significant contributor to diagnostic error, and strategies to induce some reorganization of knowledge appear to have small but consistent benefits.

개별 수준에서 오류 감소를 지향하는 다양한 교육 전략을 검토했지만, 다른 수준의 다른 접근 방식도 제안되었다. 집단 의사결정은 시뮬레이션 트라우마 사례를 사용하여 연구된 그러한 가능성 중 하나이다.74 컴퓨터 의사결정 지원 시스템은 오랜 역사를 가지고 있다. 그러나, 그러한 시스템이 의사에게 주는 이점은 크지 않다.75 그리고 앞에서 논의한 바와 같이, 의사들은 종종 자신의 오류를 인식하지 못하기 때문에 의사결정에서 서포트를 얻고자 하지 않는다.

While we have examined various educational strategies directed at error reduction at an individual level, other approaches at different levels also have been suggested. Group decision making is one such possibility that has been studied using simulated trauma cases.74 Computer decision support systems have a long history; however, the benefit of such systems to physicians is not large,75 and, as we discussed earlier, physicians often are not aware of their errors, so they do not seek out decision support.73

하지만 한 가지는 분명하다. [진단 오류는 인지적 편견에서 비롯되며], [비교적 단순하고 빠른 전략이 편견을 식별하고 제거하는 것이 오류를 줄일 수 있다]는 가정이 얼마나 매력적이든간에, 근거는 이러한 전략이 효과성이 없거나 제한적이라는 것을 일관되게 입증한다. 지식이 중요하다. 인지적 편견에서 오류의 일부 비율이 발생하더라도 오류를 해결하기 위해서는 임상적 지식의 적용이 필요한데, 이러한 지식이 부족한 것이 초반의 실수의 원인이었을 수 있다.77 오류 감소에 관한 과학이 있다면 그것은 유아기에 있으며, 우리는 아직 갈 길이 멀다.

One thing is clear though. However attractive the assumption is that diagnostic errors originate in cognitive biases, and the implication that relatively simple and quick strategies directed at identifying and eliminating biases can reduce errors, the evidence is consistent in demonstrating that such strategies have no or limited effectiveness.76 Knowledge matters. Even if some proportion of errors arise from cognitive biases, the resolution of errors also involves the application of clinical knowledge, which may underlie the initial mistake.77 If there is a science of error reduction, it is in its infancy, and we have far to go.

마지막으로, 진단 오류의 실제 비율에는, 약간의 불확실성이 있지만, 이러한 오류를 방지할 수 있는 범위에는 훨씬 더 큰 불확실성이 존재한다는 점에 주의해야 한다. 임상에서 모호함은 상수다. 절대적 진단을 내릴 정보가 불충분하기 때문에, 어떤 오류는 발생할 수밖에 없다. 모든 오류를 없애기 위해 마법의 총알이 등장할 것이라는 가정은 희망사항에 지나지 않을 것이다.

Finally, we must caution that, while there is some uncertainty in the actual rate of diagnostic errors, there is far greater uncertainty in the extent to which these errors are preventable. Ambiguity is a constant in clinical practice; it is inevitable that some errors will arise simply because there is insufficient information to make a definitive diagnosis. The assumption that a magic bullet will emerge to eliminate all errors is likely nothing more than wishful thinking.

2 Balogh EP, Miller BT, Ball JR, eds. Improving Diagnosis in Health Care. Washington, DC: National Academies Press; 2015.

의료전문직 교육에서 임상추론이라는 용어: 함의와 고려할 점(Med Teach, 2019)

The terminology of clinical reasoning in health professions education: Implications and considerations

Meredith Younga,b , Aliki Thomasa,c,d , David Gordone, Larry Gruppenf , Stuart Lubarskyb,g, Joseph Rencich,i , Tiffany Ballardf, Eric Holmboej,k,l , Ana Da Silvam , Temple Ratcliffen , Lambert Schuwirtho,p,q,r and Steven J. Durningr

임상 추론은 보건 전문가(Higs et al. 2008)의 핵심 요소로 간주되며, 보건 직업 교육(Eva 2005; Young et al. 2018a의 요약)에서 교육 및 평가에 중요한 초점이 되어 왔다.

Clinical reasoning is considered a core component of being a health professional (Higgs et al. 2008) and has been an important focus for teaching and assessment in health professions education (summaries in Eva 2005; Young et al. 2018a).

그러나 임상 추론은 동질적 구인이 아니다. 임상 추론에 관한 문헌은 광범위하고 다양하여 다양한 직업과 이론적 프레임워크를 나타낸다(Eva 2005; Norman 2005; Ilgen et al. 2012; Cutrer et al. 2013; Holmboe & Durning 2014; Norman et al. 2014; Bluumal-Barby and Kriger 2015). 임상추론에 관한 여러 가지 서로 다른 이론적 틀 외에도, 임상 추론을 가리키는 용어도 많다. 보건 전문직 전반에 걸친 임상 추론과 관련하여 100개 이상의 용어가 확인되었다. 

However, clinical reasoning is not a homogeneous construct—the literature on clinical reasoning is broad and diverse, representing many different professions and theoretical frameworks (Eva 2005; Norman 2005; Ilgen et al. 2012; Cutrer et al. 2013; Holmboe & Durning 2014; Norman et al. 2014; Blumenthal-Barby and Krieger 2015). In addition to several different theoretical frameworks within the literature, there are a large number of terms used to refer to clinical reasoning. A recent review identified over one hundred terms used in reference to clinical reasoning across the health professions (Young et al. under review). 

용어의 다양성(예: 진단 추론, 직관적 프로세스, 상황별 추론, 비판적 사고, 공유 의사 결정)은 다음으로 이어진다. 

• 교육적 개입에서 다양한 타겟, 

• 평가에서 다양한 초점 

• 임상적 추론이 무엇인지에 대한 서로 다양한 이해

이러한 용어는 명시적으로 정의되는 경우는 거의 없고, 주로 독자에게 해석이 맡겨져 있다.

The diversity of terms (e.g. diagnostic reasoning, intuitive processes, contextualized reasoning, critical thinking, shared decision making) leads to different targets for specific teaching interventions, different areas of focus for assessment, and likely different understandings of what clinical reasoning is. These terms are seldom explicitly defined (Young et al. under review), leaving interpretation up to the reader.

방법론

Methodology

이 범위 연구는 검토에 포함된 625개 논문에서 임상 추론을 언급하는 데 사용되는 용어를 식별하고 분류하였다.

This scoping study identified and categorized terms used to refer to clinical reasoning across 625 papers included in the review.

데이터 추출

Data extraction

분석

Analysis

용어의 분류가 특정 전문적 배경의 영향을 받을 가능성이 있다는 것을 인지하고, 분석 과정의 엄격성과 신뢰도를 높이기 위해 분류 과정(그림 1에서 요약)에 다양한 전문 분야(연구자 또는 임상 교육자)를 가진 5명의 팀원(MY, AT, SL, DG, LG)이 포함되었다. 

• 연구자 또는 의사교육자

• 의사 또는 직업 치료사 

• 연구 및/또는 교육 책임의 핵심 중점 분야로서의 임상 추론을 다루는 사람

Recognizing that the categorization of terminology is likely influenced by particular professional backgrounds, the categorization process (summarized in Figure 1) involved five team members (MY, AT, SL, DG, LG) with various areas of expertise (researcher or clinical educator; physician or occupational therapist; clinical reasoning as a core focus area of research and/or educational responsibility), in order to increase the rigor and trustworthiness of the analytical process.

1단계: 카테고리 구조 개발

Phase 1: developing category structure

2단계: 테스트 카테고리 구조

Phase 2: testing category structure

3단계: 불일치 조정

Phase 3: reconciling disagreement

결과

Results

13개의 코더들이 임상적 추론을 언급하는 데 사용되는 것으로 625개의 논문에서 110개의 용어를 확인했다(영 외). 검토 중인 110개 항은 625개 논문에서 모두 693차례 확인됐다.

Thirteen coders identified 110 terms, across 625 papers, as being used to refer to clinical reasoning (Young et al. under review). The 110 terms were identified a total of 693 times across the 625 papers.

용어 및 코드 설명 범주

Categories of terms and code descriptions

아래의 6개 범주에 대해 설명하고 각 범주와 관련된 합의 용어를 표 1에 제시한다. 코딩 프로세스를 통해 개발되고 개선된 용어의 범주는 다음과 같았다.

The six categories of terms are described below and consensus terms associated with each category are presented in Table 1. The categories of terms, developed and refined through our coding process, were:

1. 추론의 목적: 임상추론을 하는 목적, 과제 또는 목표(예: 환자 관리)와 관련된 용어

1. Purpose/goal of reasoning terms referred to the purpose, task, or goal for engaging in reasoning (e.g. patient management).

2. 추론의 결과: 용어는 과정이나 추론에 대한 접근(예: 진단)보다는, 임상 추론의 성과나 산출물, 또는 정의된 추론의 종결점end-point에 초점을 맞춘다.

2. Outcome of reasoning: terms reflect a focus on the product or output of clinical reasoning or on a defined end-point of reasoning, with little emphasis on process or approach to reasoning (e.g. diagnosis).

3. 추론 수행능력: 추론의 성과나 과정의 숙달(예: 임상 역량, 전문가적 추론) 또는 추론 결과의 퀄리티(예: 판단 오류)에 관한 용어

3. Reasoning performance: terms reflect the mastery of performance or process(es) of reasoning (e.g. clinical competence, expert reasoning), or the quality of outcome of reasoning (e.g. judgment error).

4. 추론 프로세스: 문제 해결에 사용되는 프로세스, 전략, 구성 요소, 단계 또는 근거를 포함하는 임상 추론의 프로세스 구성요소에 초점을 맞춘 용어. 추론 과정을 반영하는 용어는 다양한 인지적 또는 심리학적 기반 프레임워크(예: 패턴 인식)와 밀접하게 연계되는 경향이 있었다.

4. Reasoning process: terms focus on the process components of clinical reasoning, encompassing processes, strategies, components, steps, or rationale used to solve a problem. Terms reflecting reasoning process tended to be tightly linked to a variety of cognitive or psychology-based frameworks (e.g. pattern recognition).

5. 추론 기술: 이 용어에서 임상추론(또는 구성요소 프로세스)이라는 용어는 안정적이고 일반화 가능하다. 확장extension을 통해서 교육가능, 학습가능, 훈련가능한 작업이나 기술들의 광범위한 집합이다(예: 비판적 사고).

5. Reasoning Skills: terms imply clinical reasoning (or component processes) is stable and generalizable; a set of broad tasks or skills that are teachable, trainable, and/ or by extension learnable (e.g. critical thinking).

6. 추론의 맥락: 이 범주는 환경, 사회, 환자 또는 제공자 특성이 임상 추론에 미치는 영향(예: 상황 인식)을 반영한다.

6. Context of reasoning: This category reflects the influence of environmental, social, patient, or provider characteristics on clinical reasoning (e.g. situational awareness).

임상적 추론을 가리키는 용어의 분류

Categorization of terms used to refer to clinical reasoning

1. 가장 적절한 분류(n1⁄474)에 대해 완전한 합의가 가능했던 용어. 표 1을 참조한다.

1. Terms for which complete consensus was possible regarding the most appropriate categorization (n¼74); see Table 1.

2. 다수결 합의(코더 3개 중 2개로 정의)는 가능했지만 합의가 불가능했던 용어(n1⁄416); 표 2를 참조한다.

2. Terms for which majority agreement (defined as two of three coders) was possible, but no consensus was possible (n¼16); see Table 2.

3. 동의나 합의가 불가능했던 용어(n1⁄420); 표 3을 참조한다.

3. Terminology for which no agreement or consensus was possible (n¼20); see Table 3.

4. 표 4의 임상적 추론을 언급하기 위해 가장 일반적으로 사용되는 5가지 용어와 그 분류(해당되는 경우)에 관한 합의.

4. Agreement regarding the five most commonly used terms to refer to clinical reasoning, and their categorization (where applicable), in Table 4.

고찰

Discussion

심층적이고 반복적이며 다단계 코딩 프로세스를 통해 다음과 같은 6가지 주요 용어 범주를 파악했다. 

• 기술로서의 추론, 

• 하나의 과정으로서 추론, 

• 목표 지향적인 추론, 

• 결과의 수단으로서의 추론, 

• 문맥적으로 자극된 추론, 또는 

• 추리 수행 

Through an in-depth, iterative, and multi-stage coding process, we identified six main categories of terms: 

• reasoning as a skill, 

• reasoning as a process, 

• reasoning as goal-oriented, 

• reasoning as a means to an outcome, 

• reasoning as contextually-influenced, or 

• reasoning performance. 

대다수의 용어(110개 중 74개)에 대해서는 합의가 이루어졌지만 임상 추론을 지칭하는 용어의 거의 3분의 1에 대해서는 분류의 차이를 해소할 수 없었다.

Though consensus was reached for the majority of terms (74 out of 110), we were unable to resolve differences in categorization for nearly one third of terms used to refer to clinical reasoning.

우리는 이 조건들에 대한 협상된 공통의 이해를 통해 합의를 도출하는 것이 우리의 의견 불일치를 문서화하는 것만큼 유익하지 않다고 판단했다. 추측이지만, 이 가장 일반적인 용어들 중 일부는 똑같이 광범위한 임상 추론 구조를 위한 넓은 대체물로 사용될 수 있다. 따라서, [초점, 훈련, 입장, 교육이나 평가 대상, 또는 무엇이 임상추론을 구성하는지에 대한 개념화]에 따라 다르게 해석되는 경향이 있다. 

We decided that creating consensus through a negotiated common understanding of these terms was not as beneficial as documenting our disagreement. While speculative, it may be that some of these most common terms are used as broad substitutes for the equally broad construct of clinical reasoning, and, as such, tend to be interpreted differently depending on the focus, training, stance, teaching or assessment target, or even conceptualization of what constitutes clinical reasoning (Young et al. 2018b). 

"임상추론"이라는 용어가 서로 다르게 사용되며 서로 다르게 이해되는 매우 광범위한 개념일 뿐만 아니라, 이러한 [일반적 대체 용어]는 용어에 대한 로르샤흐 시험의 기능을 할 수 있다. 즉, 사람마다 임상 추론을 이해할 때 자신의 특별한 렌즈를 통해 용어를 해석하는 것이다.

It may be that in addition to the term “clinical reasoning” being a very broad concept that is differentially used (Young 2018) and differentially understood (Young et al. 2018b), these common substitute terms may function as terminological Rorschach test—with individuals interpreting these terms through the lens of their particular understanding of clinical reasoning.

우리 팀 전체의 합의가 부족하다는 것은 중요한 의미를 지닌다. 임상추론을 가리키는 용어의 [유추된 의미]에 모호함이 있음을 시사한다.

The lack of consensus across our team has important implications. It suggests that there is ambiguity in the inferred meaning of terms used to refer to clinical reasoning.

교육 및 평가 실무의 맥락에서, 이것은 임상 추론을 언급하기 위해 사용되는 용어에 대한 일관되지 않은 이해가 있을 수 있다는 것을 의미한다. 사람마다 교육 및 평가의 함의에 대해서 동일한 의미를 서로 다른 의미로 사용할 수 있다. —임상 교육자, 프로그램 감독자 또는 학습자 중 어느 쪽이든 —

In the context of teaching and assessment practices, this could mean that there may be inconsistent understanding of the terms being used to refer to clinical reasoning. Individuals—whether clinical educators, program directors, or learners—may use the same terms with different intended meanings with potentially concerning pedagogical and assessment implications.

예를 들어, 교육 세션의 주제가 "진단 판단"에 있는 경우

—이 개념은 다르게 이해될 수 있다. 

• 추론 목적(임상적 추론 뒤에 있는 "이유")으로, 

• 추리 기술(좋은 임상 추론의 "행복"), 또는 

• 추리 수행(숙달되어야 할 것)으로서. 

For example, if the topic of a teaching session is on “diagnostic judgment”—that concept could be understood differently; 

• either as a reasoning purpose (the “why” behind clinical reasoning), 

• a reasoning skill (the “habits” of good clinical reasoning), or as 

• a reasoning performance (something to be mastered). 

또한 진단 판단에 대한 이러한 상이한 이해는 매우 다른 평가 관행을 초래할 수 있다.

• 어떤 사람은 formal rationale로 의사결정을 정당화할 수 있는 능력에 초점을 맞출 수 있다. 

• 다른 사람은 판단을 위한 정보출처로 복수의 증거 자료를 얼마나 일관되게 사용하는지를 조사할 수 있다. 

• 또 다른 사람은 시간이 지남에 따라 진단의 정확도가 향상되었다는 문서화된 증거가 있는지 검사할 수 있다.

Further, these different understandings of diagnostic judgement would likely result in very different assessment practices—

• one might focus on the ability to justify a decision with a formal rationale (assessing the “why”), 

• the other might examine how consistently one uses multiple sources of evidence to inform judgment (assessing the “habits”), and 

• another might examine whether there is documented evidence of improved accuracy of diagnosis across time (assessing mastery).

용어는 또한 교사와 학습자 사이에서도 서로 다르게 이해될 수 있다. 학습자가 competent reasoner가 되기 위해 어떤 행동을 보여 주어야 하는지에 관한 혼동을 초래할 수 있다(2015년).

Terms may also be differentially understood between teachers and learners— potentially leading to confusion regarding what behaviors learners should be demonstrating to appear as competent reasoners (similar to procedural variation work done by Arpamian et al. (2015)).

용어를 사람마다 서로 다르게 이해하는 문제는 임상추론에 국한되지 않는다. 예를 들어, 어떤 구성의 서로 다른 이해와 관련된 유사한 문제는 전문직업성에서 확인되었다(Wynia et al.2014). 임상 추론의 경우, 우리가 모두가 공통의 이해 또는 의도된 해석을 한다고 가정하지만, 임상추론이라는 용어의 의도된 의미에 대한 혼동이 존재하면 역량 프레임워크 내에서 특히 문제가 될 수 있다.

The potential of multiple different understandings of a key term are not limited to clinical reasoning; for example,similar issues around different understandings of a construct have been identified in professionalism (Wynia et al.2014). In the case of clinical reasoning, confusion regarding the intended meanings of terms could be particularly problematic within competency frameworks if we assume a common understanding, or intended interpretation

우리는 우리가 의도적으로 완전히 합의된 방법에 관여하려고 하지 않았다는 것을 반복하고 싶다. 델파이 방법론을 사용하거나 델파이 방법론을 채택하거나 "주요 규칙" 분류 또는 코드화 규칙을 부과하는 것이 가능했을지라도, 합의를 지지하기 위한 과정에 참여하는 것은 우리의 분석 과정에 의해 밝혀지는 중요한 불일치를 얼버무렸을 것이다. 의견 불일치를 해소하기 위해 노력하기보다는, 임상추론에 대한 여러 용어에 대한 이해의 차이에 관한 논의를 촉진하는 편이 낫다고 판단했다.

We want to reiterate that we intentionally did not seek to fully engage in consensus methods. Though it may have been possible to use a Delphi, or adapted Delphi methodology, or to impose a “majority rules” categorization or coding rule, engaging in a process intended to support consensus would have glossed over important disagreements brought to light by our analysis process. Rather than trying to resolve disagreement, we decided to report it to facilitate a discussion regarding differences in our understandings of the many terms for clinical reasoning.

Conclusion

이 연구는 또한 임상추론은 다양한 용어로 표현되는 다차원적 개념이며, 일반적으로 이해되는 하나의 통일된 구조라기 보다는 암묵적 의미와 유추된 의미 모두를 가진 다차원 개념임을 시사한다.

This work also suggests that clinical reasoning is a multidimensional concept, with a wealth of associated language, and a multiplicity of both implied and inferred meanings, rather than a singular, unified, commonly understood construct. 

Young ME, Dory V, Lubarsky S, Thomas AT. 2018a. How different theories of clinical reasoning influence teaching and assessment. Acad Med. 93:1415. (AM Last Page)

Young ME, Thomas A, Lubarsky S, Ballard T, Gordon D, Gruppen L, Holmboe E, Ratcliffe T, Rencic J, Schuwirth L, Durning S. 2018b. Drawing boundaries: the difficulty of defining clinical reasoning. Acad Med. 93:990–995.

Wynia MK, Papadakis M, Sullivan WM, Hafferty FW. 2014. More than a list of values and desired behaviors: a foundational understanding of medical professionalism. Acad Med. 89:712–714.

핵심 임상실습 성적: 객관성의 환상(Acad Med, 2019)

Core Clerkship Grading: The Illusion of Objectivity

Karen E. Hauer, MD, PhD, and Catherine R. Lucey, MD

성적은 유치원부터 대학까지 보편적으로 받아들여지고 겉으로 보기에 객관적으로 보이는 성취의 척도다. 고학년 평균은 대학, 졸업생 또는 전문학교에 입학할 수 있는 학생의 능력에 종종 도움이 된다. 그러므로 의과 교육적인 측면에서 레지던트 프로그램이 그들이 그들의 프로그램에 들어가고 싶어하는 졸업 의대생을 선발하기 위해 핵심 임상실습 성적에 의존하도록 발달해온 것은 놀랄 일이 아니다.

Grades are a universally accepted and seemingly objective measure of accomplishment from kindergarten through college. High grade point averages are frequently instrumental to a student’s ability to earn entrance into college, graduate, or professional school. It is therefore not surprising that, in the medical education context, residency programs have developed a reliance on core clerkship grades to select the graduating medical students they would most like to enter their programs.

핵심 임상실습 성적을 사용하는 근거는 (미적분학 과정의 시험 점수의 평균과 마찬가지로) 성적이란 [어떤 학생이 과거에 성취한 것은 미래에 유사한 상황에서 유사한 성적을 낼 수 있는 가능성에 대한 척도]라는 것이다. 더욱이 한 학생을 다른 학생과 비교하여 순위를 매기기 위해 성적을 사용하는 것이 공정하고 공평하며 필요한 것이라는 가정이 있다.

The rationale behind the use of core clerkship grades is that they, like the average of test scores in a calculus course, are a measure of a student’s achievement and the likelihood of future similar performance by that student in similar circumstances. Moreover, there is an assumption that it is fair, equitable, and necessary to use grades to rank one student in comparison with another.

의대 2학년 때 핵심 임상실습을 시작하려는 전국적인 경향에도 불구하고, 핵심 임상실습 성적에 대한 이러한 의존은 오늘날에도 여전히 유효하다. 이 말은, 특정 전공분야에서 어떤 학생이 미래 성공할지 여부가 의대 교육이 절반도 지나지 않은 시점에 평가될 수 있다는 것을 의미한다.

This reliance on core clerkship grades remains true today, despite the national trend to begin core clerkships in year two of medical school, meaning that a student’s aptitude for future success in a given specialty may be judged before the halfway point in his or her medical school education.

핵심 임상실습에서 점수의 과녁을 놓치는 이유

How Core Clerkship Grades Miss the Mark

복잡성

Complexity

성적은 많은 교육적 맥락에서 유용하지만, 핵심 임상실습은 미적분학 수업이 아니다. 학생이 숙달할 것으로 예상되는 [역량의 복잡성]과 학생이 귀속되어 학습하게 될 [맥락의 가변성]은 쉽게 성적에 반영되지 않는다. 

Although grades are useful in many educational contexts, core clerkships are not calculus classes. The complexity of competencies a student is expected to master and the variability of contexts in which they are expected to learn do not translate readily to grades. 

그럼에도 불구하고, 학생과 교수들은 모두 성적으로 환산된 정량적 점수가 복잡한 임상 환경에서 학생들의 수행 정도를 정확하게 측정한다는 객관성의 환상에 굴복한다. 전국의 의과대학은 학생들의 웰빙를 장려하고 학습을 강화하기 위해 교육과정 초기에 합격/불합격 등급을 사용하는 경우가 많지만, 같은 학교에서는 학생을 차별화하기 위해 "명예" "고등 합격" "통과" 등과 같이 총괄적 성적을 부여한다.1

And yet, students and faculty alike succumb to the illusion of objectivity—that quantitative ratings converted to grades convey accurate measures of students’ performance in complex clinical environments. Although medical schools across the country commonly use pass/fail grading early in the curriculum to encourage student well-being and enhance learning, the same schools assign summative clerkship grades of “honors,” “high pass,” and “pass” to differentiate students.1

자료의 오류

Flawed data

게다가, 그 성적을 산출하기 위해 수집된 자료들이 자주 결함이 있다는 충분한 증거가 있다. 학생을 감독하는 교직원과 레지던트는 학생들이 환자에게 임상 기술을 수행하는 상황을 거의 관찰하지 않는다고 보고하면서도, 동시에 병력청취, 신체 검사, 환자 의사소통을 포함한 학생들의 능력을 일상적으로 평가한다.4 아마도 감독자들은 회진 중 구두 발표 기술 등 대리 정보로 이러한 기술을 평가하거나, 학생을 관찰한 다른 사람의 의견을 구할 것이다.

In addition , there is ample evidence that the data collected to support that grade are frequently flawed. Supervising faculty and residents routinely rate students’ skills including history taking, physical examination, and patient communication, although students report rarely being observed performing these clinical skills with patients.4 Presumably, supervisors rate these skills by inferring from proxy information, such as oral presentation skills during rounds, or seek input from others who have observed the student.

문제는 의학교육의 로테이션 모델로 인해서 더 심각해진다. 교수들이 자주 교대함에 따라서 이들에게 감독받는 학생들은 관찰 기반 피드백을 받을 기회가 적어지고, 받은 피드백에 응답할respond 수 있는 능력을 보여주기가 점점 더 어려워지기 때문이다.3,6 교수들은 심지어 학생들을 관찰하고 있는 상황에서조차, 교수마다 관찰 결과를 등급으로 변환하는 방법이나, 성과 기대치를 이해하는 방법은 매우 다양하다. 평가자의 인식에 관한 문헌에 따르면, 교수들이 등급을 매기는rating 복잡한 과정을 지나치게 단순화해서는 안 된다. 왜냐하면 평가자들마다 개별적인 관점과 편견에 영향을 받기 때문이고, 학생들에게 주어진 학생-환자 조우의 특정한 측면에 의해서도 영향을 받기 때문이다.

The rotational model of medical training exacerbates the problem of assessment as students supervised by faculty who rotate frequently are increasingly challenged to find opportunities to receive observation-based feedback and to demonstrate their ability to respond to feedback.3,6 Even when faculty do observe students, the ways that they translate those observations to ratings and understand performance expectations are widely variable. Literature on rater cognition urges caution in oversimplifying the complex processes by which faculty make ratings, which are inherently informed by their individual perspectives and biases as well as the specific aspects of particular student–patient encounters.7

학생들의 성적에 대한 서술형 평가도 한계가 있다. 학습과 개선에 있어 성과에 대한 서술적 피드백은 필수적이지만, 학생들은 임상실습 동안 유용한 서술적 피드백을 거의 받지 못한다고 보고한다. 일반적으로 서술적 정보를 포함하고 있는 총괄 평가에서 [개선을 위한 영역]이 언급되어있으면, 마치 performance가 나빴던 것으로 간주된다. 서술형 코멘트는 슈버파이저들이 직무과정에서 학습한, 하지만 학생들은 모호하고 애매하다고 느끼는 "암호화된" 언어로 가득 차 있다.8

Narrative evaluations of student performance suffer shortcomings as well. Although narrative feedback on performance is essential for learning and improvement, students report rarely receiving useful narrative feedback during clerkships. In summative evaluations, which do typically contain narrative information, mention of areas for improvement are considered to signal bad performance. Narratives can be replete with “code” language that supervisors learn on the job but that students find obscure and ambiguous.8

불균등한 기회

Unequal opportunities

모든 학생들이 핵심 임상실습에 대한 중압감은 똑같이 느끼지 않는다. 시간에 쫓기고 상대평가로 등급이 매겨지는 환경에서, 초반부터 빠르게 적응하고 잘 수행하는 학생들은, 비록 모든 학생이 최종적으로 동일한 기대성과를 달성하더라도, 다른 학생들보다 더 좋은 점수를 받을 것이다. 이러한 현실은 본질적으로 의대 이전에 얻은 이점을 가져다 주는 학생들에게 유리하다. 의사 가족을 둔 학생들 또는 의료 또는 다른 전문적 경험을 가진 학생들은 이미 임상 환경의 언어와 규범 중 일부를 이해하고 있다. 현실에서 그들은 "빠른 학습자"가 아니라, 이미 적응할fit in 줄 아는 학습자들이다.

Grading pressures in core clerkships are not felt equally by all students. In a time-challenged, normatively graded environment, students who adapt quickly and perform well from the start may be rated more favorably than other students, even if they all eventually achieve expected competency. This reality inherently favors students who bring advantages acquired before medical school. Students who come from families of physicians or other health providers, and those who have medical or other professional experience, already understand some of the language and norms of the clinical environment. In reality, they are not “quick learners” but, rather, learners who already know how to fit in.

원래 자신이 가지고 있던 경험이나 문화적 배경이 임상 실습의 전문적인 환경과 다른 학생들은 자연스럽게 적응하는 데 더 많은 시간이 필요할 수 있다. 비록 더 많은 것을 배울 수 있는 이러한 학생들은 많은 노력을 기울이고 빠른 속도로 배울 수 있지만, 어떤 평가자들은 이 학생들을 다른 학생들보다 더 낮게 평가한다. 하지만 학생들마다 배우는 속도는 다르더라도, 같은 성과에 도달할 수 있다.

Students whose experience or cultural background differs from the professional environment of clinical practice may naturally need more time to acclimate. Although these students who have more to learn may apply great effort and learn at a rapid rate, their assessors frequently rate them as lower-performing than some of their peers. Students can learn at different rates and get to the same point

외향과 자신감을 더 강한 수행의 지표로 추천할 수 있는 환경에서, 선천적으로 조용하거나 사고 과정에 더 내향적인 학생들은 다른 기술과 상관없이 덜 능력 있는less competent 학생으로 간주될 수 있다.

In an environment where extroversion and confidence may be commended as indicators of a stronger performance, students who are naturally quiet or who are more introverted in their thought processes may be viewed as less competent, regardless of their other skills.

특히, 현재 핵심 임상실습은 평가와 채점 관행은 URM 학생들에게 불리하게 작용할 수 있는 방식이다. 표준화된 시험성적에서 모집단간 차이는 소수민족과 다수민족 사이에 존재하는 것으로 알려져 있으며, 오랜 기간 동안 지속된 구조적 인종차별에 기인한다. 임상 성과보다 표준화된 시험에 상당한 비중을 두는 등급 패러다임은 이러한 구조적 문제의 영향을 증폭시킬 수 있다.

Particularly concerning are the ways that current assessment and grading practices in core clerkships may disadvantage students who are underrepresented in medicine. Population group differences in standardized exam performance are known to exist between minority and majority populations and are attributed to long-standing structural racism. Grading paradigms that give substantial weight to standardized exams over clinical performance may amplify the impact of these structural issues.

초점의 이동

Shifting the Focus

의과대학의 일차적 책임은 학생을 서열화하는 것이 아니라 모든 졸업생이 다음 교육 단계로 이행하는 데 필요한 필수 역량을 갖추도록 하는 것이다.

The primary responsibility of medical school is not to rank students but to ensure that every graduate is prepared with the requisite competencies needed to transition into the next phase of education

학생들이 진로 선택권을 유지하기 위해 honor 등급을 받아야 한다고 느낄 때, 

• 그들은 배움과 향상보다는 보여주기performing에 초점을 맞추고 있다. 

• 그들은 마음을 여는 질문을 환영하기 보다는 두려워한다. 

• 그들은 교정 피드백을 찾기 보다는 두려워한다. 

• 그들은 또래와 협력하기 보다는 경쟁한다. 

• 그들은 환자들로부터 배울 수 있는 기회에 활력을 느끼기보다는 스트레스를 받는다.

When students feel compelled to earn an honors grade to maintain their career options, 

• they focus on performing rather than on learning and improving, 

• they dread rather than welcome questions that stretch their minds, 

• they fear rather than seek out corrective feedback, 

• they compete rather than collaborate with peers, and 

• they feel stressed rather than energized by the opportunity to learn from their patients

• 임상실습이 표준화된(쉘프) 시험에 의존하여 성적 과제의 객관성을 높이려고 할 때, 학생들은 그들의 직접적인 환자 관리와 전문가 간 팀 능력을 최적화하는 것보다 [시험을 위한 공부]를 우선시한다. 

• 시간에 쫓기는 교수들이 자신의 평가 역할을 우등생인지 아닌지를 판단하는 것으로 볼 때, 학생들은 미래의 성공을 위한 코칭보다는 [즉각적인 성과를 판단]하는 데 더 초점을 맞춘다.

• When clerkships attempt to increase the objectivity of grade assignments by relying on standardized (shelf) exams, students prioritize studying for the test over optimizing their direct patient care and interprofessional team skills. 

• When time-challenged faculty view their assessment role as determining whether or not the student is an honors candidate, they focus more on judging immediate performance rather than coaching for future success.

평가에 대한 새로운 접근

A new approach to assessment

의과대학은 측정의 우선순위를 정하고 학생 역량 개발을 지속적으로 진전시키는 평가 프로그램의 설계와 구현에 노력을 다시 집중해야 할 시점이다(표 1).

It is time for medical schools to refocus their efforts on designing and implementing programs of assessment that prioritize measuring and continuously advancing student competency development (Table 1).

학습을 위한 평가AfL는 학생의 발전, 성찰, 평생학습 능력을 촉진하는 관찰과 피드백을 수반한다. 학생들은 누군가가 보고 있을 때 좋은 성적을 내는 것 만이 아니라 [학습과 향상을 보여준 것에 대해 보상]을 받아야 한다.12

Assessment for learning entails frequent observation and feedback that promote students’ development, reflection, and lifelong learning skills. Students should be rewarded for demonstrating learning and improvement, rather than only for performing well when someone is watching.12

교육자는 핵심 임상실습의 시작부터 학생 및 학생의 다른 교육자와 협력하여 각 학생의 출발점에 대한 이해를 학습 및 평가 과정에 포함시켜야 한다. (한 임상실습 학생에 대한 수행 정보가 다음 임상실습으로 제공되는) 학생들이 "Feed Forward"를 교수들을 편향시키는 정보라고 두려워하기 보다는, 종단적 학습의 전략으로 포용하게 되어야 한다.

Educators must work with students and students’ other educators from the beginning of a core clerkship to incorporate understanding of each student’s starting point into the learning and assessment process. “Feed forward,” in which performance information about a student from one clerkship is provided to the next clerkship, should be embraced as a strategy for longitudinal learning rather than feared by students as information that biases their teachers.

학생들이 성장과 발전을 보여줄 수 있는 기회

Opportunities for students to demonstrate growth and development

지속적인 학습을 위한 평가의 마인드 습관 기르기

Fostering the habit of mind of assessment for continuous learning

학생들의 성적평가는 핵심 임상실습 성적 할당에 초점을 맞추기보다는 학습 진척도에 대한 전문가의 판단을 반영해야 한다. 예를 들어, 임상교육위원회는 정량적 점수 및 서술적 코멘트를 포함한 학생들의 평가 데이터를 한 과의 임상실습과 전체 임상슬습에 걸쳐 검토할 수 있다. 학생들은 자신의 performance 데이터를 검토하여 상대적 강도의 영역과 추가적인 성장을 위한 영역을 자체 평가할 수 있다. 이러한 접근방식은 학생들이 핵심 임상실습에서 [보여주기]보다는 [학습]에 집중할 수 있게 할 것이다. 그 결과 서브인턴을 포함한 4학년 임상실습에서 최고의 성과를 보여줄 준비가 될 것이다. 

Rather than focusing on assigning grades in the core clerkships, student performance review should incorporate expert judgment of learning progress. For example, a committee of clerkship educators can review assessment data for students, including both quantitative scores and narrative comments, within and across clerkships. Students could simultaneously review their own performance data to self-assess areas of relative strength and areas for further growth. This approach would enable students to focus on learning rather than performance during the core clerkships, so that they are ready to demonstrate their best performance during final-year clinical rotations, including subinternships. 

최종 학년에서 grading으로 돌아가는 것은 각 학생의 레지던트 수행 능력에 대한 가장 최근의 평가를 반영하기 때문에 논쟁이 있다.

There is an argument to be made for returning to grading during final-year rotations because those rotations reflect the most current assessment of each student’s ability to perform well in residency.

전공의 선발에 미치는 영향

The effect on residency selection

의대와 레지던트 프로그램 이사는 지식과 기술을 향상시키면서 뛰어난 환자 진료를 제공할 레지던트 프로그램에 학생을 매칭하는 것을 같은 목표로 삼고 있다. 전공의 선발을 위한 최선의 정보는 학생들의 가장 최근의 역량 업적을 기술하는 하위 인터네셔널의 성적, 내러티브 및 추천서의 조합에서 찾을 수 있다.

Medical schools and residency program directors share the same goal: to match students to the residency programs in which they will provide outstanding patient care while advancing their knowledge and skills. The best information to achieve this goal is found in the combination of grades, narratives, and letters of recommendation from subinternships that describe students’ most recent competency achievements.

학생들이 어떻게 그들의 학습에 접근하고, 팀원들과 함께 일하며, 그들의 기술을 향상시키기 위해 피드백을 통합하는 정직하고, 솔직한 묘사를 묘사하는 핵심 사무직 내러티브들은 레지던트 이사와 관련된 여러 기술에 대한 귀중한 정보를 제공할 것이다.

Core clerkship narratives that portray honest, forthright descriptions of how students 

• approached their learning, 

• worked with team members, and 

• incorporated feedback to improve their skills would provide valuable information about multiple skills relevant to residency directors,

교육자들은 프로그램이 예비 후보들에 대한 전체적인 검토에 더 많은 시간을 할애할 수 있도록 레지던트 프로그램 자라에 대한 지원자의 수를 제한하는 국가 전략을 옹호해야 한다.

Educators should advocate for national strategies to decrease the high volume of applicants per residency program position so that programs can spend more time on a holistic review of potential candidates.

결론

Conclusion

임상실습 성적 부여는 학습자에게 그들의 궁극적인 독립적 관행에 대한 함축과 함께 의도하지 않은 여러 결과를 초래한다. 점수는 조기 학습자에게 스트레스와 혼란을 야기하며, 이는 학습에 대한 바람직한 접근법을 방해하고 불평등을 심화시키는 방식으로 학생들에게 불리하게 작용할 수 있다. 학습을 위한 평가에 초점을 맞춘 성적을 없애는 것은 필수 환자 관리 및 팀워크 기술을 개발하는 과정에 학습자를 참여시키고 평생 학습 습관의 개발을 촉진할 수 있는 가능성을 가지고 있다.

Clerkship grading causes multiple unintended consequences for learners with implications for their eventual independent practice. Grading generates stress and confusion for early learners, and that can interfere with desired approaches to learning and disadvantage students in ways that exacerbate inequities. Eliminating grades focused on assessment for learning holds promise to engage learners in the process of developing essential patient care and teamwork skills and to foster their development of lifelong learning habits.

10 Krupat E, Borges NJ, Brower RD, et al. The Educational Climate Inventory: Measuring students’ perceptions of the preclerkship and clerkship settings. Acad Med. 2017;92:1757– 1764.

12 Boud D. Feedback: Ensuring that it leads to enhanced learning. Clin Teach. 2015;12:3–7.