맥락적 요인이 전문가의 임상추론에 미치는 영향은? (Adv in Health Sci Educ, 2012)

맥락적 요인이 전문가의 임상추론에 미치는 영향은? (Adv in Health Sci Educ, 2012)

The impact of selected contextual factors on experts’ clinical reasoning performance (does context impact clinical reasoning performance in experts?)

Steven J. Durning • Anthony R. Artino • John R. Boulet • Kevin Dorrance • Cees van der Vleuten • Lambert Schuwirth

도입

Introduction

임상적 추론은 진단을 확립하는 것(진단적 추론)과 환자의 상황과 선호에 특정한 행동 계획을 결정하는 것(치료적 추론) 모두를 포함한다. 임상 환경에서 추론을 평가하는데 많은 어려움이 있다. 예를 들어, 여러 연구에서 상황(사례)에 따라 퍼포먼스가 크게 달라질 수 있다는 것을 발견했다. 이는 흔히 맥락특이성의 문제라고 한다(Norman et al. 1995; Eva et al. 1998). 즉, 맥락특이성은 특정 의사나 의대생이, 서로 다른 임상 문제에 대한 퍼포먼스 사이의 낮은 상관관계를 설명하기 위해 도입된 현상이다.

Clinical reasoning involves both establishing the diagnosis (diagnostic reasoning) and deciding on a plan of action that is specific to the patient’s circumstances and preferences (therapeutic reasoning). There are many challenges to evaluating reasoning in the clinical setting. For example, multiple studies have found that performance across situations (cases) can vary greatly—this is often referred to as the problem of context specificity (Norman et al. 1995; Eva et al. 1998). In other words, context specificity is the phenomenon invoked to explain the low correlations in performance across different clinical problems for a given physician or medical student.

예를 들어, 노먼 외 연구진(1995)은 이전에 레지던트와 의대생에게 일련의 모의 환자 문제를 제시했던 경우, 진단이 동일하고 주소가 다른 경우 문제 전반에 걸쳐 낮은 상관관계가 발견되었음을 입증했다. 실제로, "맥락특이성"이라는 이름은 '내용'만으로는 이 문제를 설명하기에 불충분하다는 것을 상기시키기 위해 부여되었다(Eva 등, 1998; Elstein 등, 1990). 게다가, 일부 연구자들은 맥락특이성이 "의학 교육 연구의 유일한 진실"이라고 말했다.

For example, Norman et al. (1995) previously demonstrated that for residents and medical students presented with a series of simulated patient problems, low correlations were found across problems with the exact same diagnosis and a different chief complaint. Indeed, the name ‘‘context specificity’’ was given to this phenomenon to serve as a reminder that content is an insufficient explanation for this problem (Eva et al. 1998; Elstein et al. 1990). Further, some researchers have remarked that context specificity is the ‘‘one truth in medical education research’’ (Eva 2011).

맥락과 이론 프레임워크

Context defined and theoretic frameworks

컨텍스트는 임상에서 participants와 setting사이에 "짜여진 직물weaving together"로 정의할 수 있다(Durning et al. 2010a). 이 짜임새, 즉 상호 작용으로 인한 의미는 조우encounter하는 동안 계속 진화한다. 따라서 맥락은 임상적 만남의 개별 참가자의 수, 또는 만남이 발생하는 setting의 수보다 늘 더 많을 수 밖에 없다. 즉, 의사, 환자, setting 및 세 가지 모두의 상호작용을 수반한다(Durning et al. 2010a).

Context can be defined as ‘‘the weaving together’’ of the participants and the setting in the clinical encounter (Durning et al. 2010a). This weaving together, or interaction, creates meaning that evolves during the encounter. Thus, context is more than the individual participants in the clinical encounter or the setting where the encounter occurs—it entails the physician, the patient, the setting, and the interactions of all three (Durning et al. 2010a).

상황화된 인지는 현대의 교육 이론이다; 맥락은 참여자와 상황의 상호작용에서 나타난다고 주장한다. 이 이론적 프레임워크(그림 1)에서 맥락은 [상호작용을 통해 진화하는 의미를 만들기 위하여, 주어진 상황 내에서 참가자(환자, 의사 및 훈련생 및/또는 가족)사이의 weaving together]라고 정의된다(Durning et al. 2010a). 더욱이, 이 프레임워크에서, 조우encounter의 결과는 복수의 상호작용 입력(참여자와 설정)에 기초한다. 그러므로, 상황화된 인지는 맥락특이성의 문제를 볼 수 있는 독특한 렌즈를 제공한다.

Situated cognition is a contemporary educational theory; it argues that context emerges fromparticipant and setting interactions. In this theoretical framework (Fig. 1), context can be defined as the weaving together of participants (patient, physician and trainees, and/or family, as applicable), within a setting, to create meaning which evolves through interactions (Durning et al. 2010a). Furthermore, in this framework, the outcome of the encounter is based on multiple interacting inputs (participants and setting). Thus, situated cognition provides a unique lens through which to view the problem of context specificity.

인지 부하 이론(Cognitive Load 이론, CLT)은 작업기억용량의 한계와 교육적 개입과의 관계를 다루는 현대의 정보 처리 이론이다. CLT는 인지 과정에 대한 조사를 위한 선도적인 이론 중 하나이다(van Merrienboer and Sweller 2010; Paas 등, 2003; Plass 등, 2010). CLT의 중요한 원칙은 요소간 상호작용element interactivity이다. 여러 차원에 따라 의사가 처리해야 하는 정보가 다양하지만, [관련된 정보 요소가 서로 상호 작용하는 정도]가 결정적 특징임이 밝혀졌다. 특정 정보는 요소간 상호작용의 연속체에서 낮은 상호작용부터 높은 상호작용까지의 범위를 갖는다. 

• [낮은 요소간 상호작용 정보]는 다른 정보 요소를 고려하지 않고 개별적으로 처리하고 이해할 수 있다. 

• [높은 요소간 상호작용 정보]는 그것을 처리하고 이해할 때 다른 요소들을 고려해야 한다(van Merrienboer and Sweller 2010; Paas et al. 2003; Plass et al. 2010). 따라서 [높은 요소간 상호작용 정보]는 인지 부하를 증가시킨다. 즉, 인지 처리에 대한 수요가 더 크다(Paas et al. 2003).

Cognitive load theory (CLT) is a contemporary information processing theory that addresses the limits of working memory capacity and its relationship to instructional interventions. CLT is one of the leading theories for investigations into cognitive processes (van Merrienboer and Sweller 2010; Paas et al. 2003; Plass et al. 2010). An important tenet of CLT is element interactivity. Although the information that physicians must process varies on many dimensions, the extent to which relevant informational elements interact has been found to be a critical feature. Information varies on a continuum from low to high in element interactivity. 

• Each piece of low-element interactivity information can be processed and understood individually without consideration of any other information elements. 

• Each piece of high-element interactivity information requires consideration of other elements to be processed and understood (van Merrienboer and Sweller 2010; Paas et al. 2003; Plass et al. 2010). As such, high-element interactivity information results in greater cognitive load; that is, it places greater demands on cognitive processing (Paas et al. 2003).

CLT는 상황화된 인지와 관련이 있다. Situated cognition 프레임워크의 관점(그림 1; Durning et al. 2010a, b)에서는 임상적 조우에 내재된 다수의 맥락적 요인이 [높은 요소간 상호작용성]을 가질 것으로 예측되므로 높은 인지 부하로 이어질 것으로 예상된다. 즉, 그림 1의 세 가지 요인(환자, 의사, 설정) 각각에 대해 나열된 요소는 의사에게 추가적인 인지 부하를 일으킬 것으로 예상된다.

CLT relates to situated cognition. From the situated cognition framework’s perspective (Fig. 1; Durning et al. 2010a, b), the multiple contextual factors inherent to a clinical encounter, would be predicted to have high element interactivity and thus would be expected to lead to high cognitive load. In other words, elements listed for each of the three factors (patient, physician, setting) in Fig. 1 would be expected to engender additional cognitive load in the physician.

열거할 수 있는 요인 요소의 수를 고려할 때(예는 그림 1에 표시),

• [높은 요인요소간 상호작용] 또는 [하나 이상의 요소에 의해 유발되는 높은 인지부하]로 인해 의사에게 높은 인지 부하를 일으킬 것으로 예상할 수 있다. 

• 또한 의사-환자-상황 간의 상호작용(그림 1)은 새로운 목표를 이끌어내며, 이렇게 만들어진 새로운 목표는 또다시 인지부하를 증가시킬 것이라고 예측할 수 있다(goal-free to goal-specific principle) (van Merrienboer and Sweller 2010; Paas et al. 2003; Plass et al. 2010). 

따라서 CLT는 situated cognition을 보완해준다. 즉, CLT는 situated cognition의 일반적인 프레임워크(그림 1)가 임상 추론의 특정 과제에 대해 어떻게 나타날 수 있는지를 예측하는 방법을 알려준다.

Given the number of factor elements that could be listed (examples are shown in Fig. 1), high cognitive load for the physician would be expected in many situations due to high factor element interactivity or high load induced by one or more elements. Further, these interactions between participants (Fig. 1) lead to emerging goals, and CLT would predict that emerging goals (goal-free to goal-specific principle) would increase cognitive load for the participants in the encounter (van Merrienboer and Sweller 2010; Paas et al. 2003; Plass et al. 2010). Thus, CLT complements situated cognition by providing a means to predict how the more general framework of situated cognition (Fig. 1) could be manifest for the specific task of clinical reasoning.

의미적 한정자는 추상적이고, 종종 이항적으로서, 환자의 임상표현을 특징짓거나 분류하는 데 사용되는 용어들이다(Bordage and Lemieux 1991). 의미 한정자의 예로는 급성, 양측, 만성 등이 있다. 그러한 한정자들은 의사들이 기억 속에 지식을 연결하거나 구성하는데 도움을 줄 수 있다고 여겨진다. 의미적 한정자는 CLT와 관련되는데, 인지 부하 감소를 위한 잠재적 메커니즘을 보여주기 때문이다. 예를 들어, CLT에 따르면, 의미적 한정자를 사용하게 되면, [정보 요소 상호작용성]을 감소시킬 것으로 예상된다.

Semantic qualifiers are abstract, often binary, terms used to characterize or classify a patient’s presentation (Bordage and Lemieux 1991). Examples of semantic qualifiers include acute, bilateral, and chronic. It is believed that such qualifiers may help physicians associate or organize knowledge in memory. Semantic qualifiers relate to CLT, representing a potential mechanism for decreasing cognitive load. For example, one expected manifestation of the use of semantic qualifiers, according to CLT, would be decreased information element interactivity.

또한 [임상에서 익숙한 문제를 진단하고 치료해야 하는 과제가 주어진] 전문가가 의미적 한정자를 부적절하게(또는 부정확하게) 사용한다는 것은, 높은 인지 부하를 나타내는 것으로 간주될 수 있다. 의미적 한정자의 부정확한 사용에 해당하는 표현 오류, 삭제, 대체와 같은 disfluencies는 높은 인지 부하와 관련이 있다고 보고된 바 있다(Lindstom et al. 2008; Villing 2009).

Also, the improper (or incorrect) use of semantic qualifiers in experts who are given the task to diagnose and treat problems familiar to their practice therefore could be considered as a manifestation of high cognitive load. Disfluencies, such as articulation errors, deletions, and substitutions which are akin to incorrect use of semantic qualifiers, as well as increased pauses, have been associated with high cognitive load in other fields (Lindstom et al. 2008; Villing 2009).

우리는 비디오테이프를 임상 추론에 대한 상황 요인의 잠재적 영향을 조사하기 위한 최적의 방법이라고 생각한다. 비디오테이프는 모든 참가자들에게 연구 중인 상황 요인과 동일한 사례 내용에 대한 동일한 "노출"을 제공할 수 있게 했다. 또한, 이 연구 설계는 조사 중 참가자의 정신적 과정을 측정하는 공식적인 think-aloud 절차의 사용을 용이하게 했다. 좀 더 구체적으로 말하자면, think-aloud 프로토콜은 우리가 선택한 상황적 요인과 인지 부하 표시가 임상적 추론 성과와 관련이 있는지를 탐구할 수 있게 해주었다. 더욱이, 비디오테이프는 종이 케이스보다 더 authentic한 방식으로 사례를 보여줄 수단을 제공했다(La Rockhelle et al. 2011).

We consider videotapes to be an optimal method to investigate the potential influence of contextual factors on clinical reasoning. Videotapes allowed us to provide all participants with the same ‘‘exposure’’ to the contextual factors under study and identical case content. Further, this study design facilitated the use of a formal think-aloud procedure, which provided a measure of participants’ mental processes during the investigation. More specifically, the think-aloud protocol allowed us to explore if the selected contextual factors and our markers of cognitive load were associated clinical reasoning performance. Moreover, the videotapes provided a means to represent cases in a more authentic way than paper cases (La Rochelle et al. 2011).

맥락적 요인의 잠재적 영향을 탐구하기 위해서, 상황화된 인식situated cognition에 따르면 실제 임상 현장에 존재하는 의사-환자-상황의 상호작용성(따라서 정보간 상호작용성)을 제시하기 위해서는 authenticity가 필요하다. 따라서, 참가자들에게 각 비디오 테이프의 authenticity 수준을 평가하도록 하는 한편, 비디오 테이프에 묘사된 상황 요인을 체계적으로 변화시켰다(표 1).

To explore the potential influence of contextual factors, situated cognition (Durning et al. 2010a, b) would support the notion of the need for authenticity to provide a means for participant and setting interactivity (and thus information interactivity) that is present in actual clinical practice. Thus, we also asked participants to rate the authenticity of each videotape, while we systematically varied the contextual factors portrayed in the videotapes (Table 1).

본 연구의 목적을 달성하기 위해, 우리는 우선 PEF(Postcounter Form)로 측정된 임상 추론 성과를 비교함으로써 맥락특이성의 문제를 입증하고자 하였다. 이 PEF는 참가자에게 추가적인 이력 및 신체검사 문제를 나열하고, 문제목록, 차등진단, 선행진단, 지원자료 및 치료계획서를 제공하도록 하는 자유 텍스트 양식이다(Durning et al. 2010b, 2011a).

To achieve the aims of this study, we first sought to demonstrate the problem of context specificity by comparing clinical reasoning performance as measured by our postencounter form (PEF). This PEF is a free-text form that asks participants to 

• list additional history and 

• physical examination questions, 

• provide a problem list, 

• differential diagnosis, 

• leading diagnosis, 

• supporting data, and 

• treatment plan (Durning et al. 2010b, 2011a).

우리는 하나 이상의 요인이 존재하면 인지 부하 증가로 인한 임상 추론 수행을 방해할 것이라는 가설을 세웠다.

we hypothesized that the presence of one or more factors would impede clinical reasoning performance due to increased cognitive load.

방법

Methods

임상 추론 성과를 측정하기 위해, 내과 전문의(보드 인증 내과)가 실제로 보는 세 가지 일반적인 조건에 대한 비디오테이프를 사용했다. 이러한 각각의 묘사 내에서, 우리는 선택된 상황적 요인(표 1)을 수정했다. 그림 2는 우리의 연구 설계에 대한 개요를 보여준다. 임상 추론 성과는 자유 텍스트 PEF를 통해 포착되었으며, 이 연구에서 우리의 종속의존 변수 역할을 했다. 임상 추론 평가에 PEF의 사용을 뒷받침하는 신뢰성 및 유효성 증거는 이미 확립되었다(Durning et al. 2010b, 2011a). 이 PEF는 참가자들에게 진료상황을 보여주는 환자와 의사의 비디오 테이프에서 관찰된 내용을 바탕으로 자신의 생각을 나열할 것을 요구한다. PEF 질문에는 추가적인 이력 및 신체 검사 데이터 제공, 문제 목록 구성, 차등 진단 및 선행 진단 생성, 주요 진단 및 치료 계획에 대한 증거 제공 등이 포함된다.

To measure clinical reasoning performance, we used videotape portrayals of three common conditions that internal medicine experts (board-certified internists) see in practice. Within each of these portrayals, we modified selected contextual factors (Table 1). Figure 2 outlines our study design. Clinical reasoning performance was captured through a free-text PEF, which served as our main dependent variable in this study. Reliability and validity evidence to support the use of the PEF for assessing clinical reasoning has been previously established (Durning et al. 2010b, 2011a). This PEF asks participants to list their thoughts based on what was observed in the videotape encounter of a patient and a physician. The PEF questions entail 

• providing additional history and physical exam data; 

• constructing a problem list, 

• creating a differential diagnosis and leading diagnosis; and 

• providing supporting evidence for their leading diagnosis and treatment plan.

비디오테이프 개발

Videotape development

본 연구에서 조사된 맥락적 요인으로는 다음이 있다.

For the contextual factors investigated in this study, 

• 제2외국어로서의 영어는 환자에게 번역기를 요청하게 하고, 의사에게 질문을 반복하게 하고, 그들의 기본 언어와 일치하는 억양으로 말하게 함으로써 그려졌다. 

• Volatility 상황 요인에 대해 환자는 다음과 같은 문구로 의사의 자격 증명에 도전했다. '의사 생활한 지 얼마나 됐나' '의사 주치의인가, 수련생인가?' 

• 부정확한 진단이나 치료의 제안은 환자 상태의 부적절한 진단이나 그들이 의사였던 가족 구성원으로부터 받은 치료로 묘사되었다. 

• 비전형적인 표현는 고전적인 주요 특징들을 제거하거나 조건에 대해 덜 일반적인 표시 특징들을 삽입함으로써 묘사되었다.

• English as a second language was portrayed by having the patient ask for a translator, asking the physician to repeat questions, and speak with an accent consistent with their primary language. 

• For the volatility contextual factor, the patient challenged the physician’s credentials with phrases such as ‘‘how long have you been a doctor’’ and ‘‘are you an attending physician or a trainee’’. '

• Suggestion of an incorrect diagnosis or therapy was portrayed by having the patient state inappropriate diagnoses or treatments that they received from a source such as a family member who was a physician. 

• Atypical presentation was depicted by either eliminating classic key features or inserting less common presenting features for a condition.

진료후작성서식

Post-encounter form

각 비디오테이프를 본 후(각 참가자는 세션당 3개 또는 6개의 비디오테이프를 보았다; 그림 2), 보드 인증을 받은 내부자(전문가)에게 PEF를 작성하도록 요청하였다(부록 1). 비디오테이프 세션(3개 또는 6개 비디오테이프 보기)을 마치자 참가자들에게 나머지 비디오테이프(9개 비디오테이프 모두 보기 위해 돌아가라는 요청을 받았다. 일부 참가자는 9개 비디오테이프를 모두 완성하지 못했다.

After viewing each videotape (each participant viewed 3 or 6 videotapes per session; Fig. 2), board-certified internists (experts) were asked to complete a free-text Postencounter form (PEF) (appendix 1). Upon completing a videotape session (viewed 3 or 6 videotapes), participants were asked to return to view the remainder of the videotapes (all nine videotapes); some participants did not complete all nine videotapes.

PEF(부록 1)는 참가자들에게 추가 병력 및 신체검사 데이터를 나열하고, 우선순위화된 문제 목록을 작성하고, 차등 진단을 나열하고, 선행 진단을 위한 지원 데이터를 제공하며, 간단한 비디오 테이프에 제공된 정보를 바탕으로 추진할 치료 계획을 나열할 것을 요청하였다.Nario. 

The PEF (appendix 1) asked participants to 

• list additional history and physical examination data, 

• construct a prioritized problem list, 

• list a differential diagnosis, 

• list a leading diagnosis, 

• provide supporting data for the leading diagnosis, and 

• list a treatment plan that they would pursue given the information provided in the brief videotape scenario. 

PEF 섹션 점수는 한 조사자(SJD)에 의해 계산되었다. 각각의 서술형 답변은 별도의 전문가 패널(보드 인증 인턴)에 근거한 정답(1점), 부정확(0점), 부분적으로 정답(0.5점)으로 점수를 매겼다. 이 채점 키에 존재하지 않는 응답을 열거한 참가자들은 두 명의 조사관(SJD, KD)이 조사를 받았다. 참가자는 병력 5개, 신체검사 5개, 차등진단 7개 항목을 나열할 수 있다. 참가자들은 무작위로 PEF를 완료할 수 있는 시간에 제한을 두거나(최대 5분) 또는 제한이 없게 했다(최대 20분). PEF를 완료하는 데 필요한 시간(초)이 기록되었다. 이 PEF는 전문가의 임상 추론 성과에 대한 1차 결과 측정의 역할을 했다.

PEF section scores were calculated by one investigator (SJD). Each free-text answer (each additional history item, each additional physical exam item, problem list, each differential diagnosis item, leading diagnosis, and treatment plan) was scored as correct (1 point), incorrect (0 points), or partially correct (.5 points) response based on a separate panel of experts (board-certified internists) responses. Participants listing responses that were not present on this scoring key were vetted by two investigators (SJD and KD). Participants could list up to 5 history, 5 physical exam, and 7 differential diagnosis items. Participants were also given either limited (up to 5 min) or unlimited (up to 20 min) time to complete the PEF in a random fashion. The time, in seconds, needed to complete the PEF was recorded. This PEF served as a primary outcome measurement of expert’s clinical reasoning performance.

Think-Aloud 프로토콜

Think-aloud protocol

각 PEF를 완료한 후 참가자들은 공식적인 think-aloud 절차를 완료했다. think-aloud 절차는 think-aloud 발언이 상황별 요인과 일치하는지 여부를 판단할 수 있도록 연구 설계에 통합되었으며(즉, 이러한 요인 중 하나 이상의 존재를 말로서 표현하는지), 아래에서 설명한 우리의 인지 부하 측정은 PEF가 측정한 임상 추론 성과와 관련이 있다. 이와 같이, 우리의 think-aloud 척도는 PEF 성과와 상관관계가 있는 독립변수로 작용했다.

After completing each PEF, participants completed a formal think-aloud procedure. The think-aloud procedure was incorporated into our study design so that we could determine if think-aloud utterances consistent with the contextual factors (i.e. verbalizing the presence of one or more of these factors) and our cognitive load measures, described below, were associated with clinical reasoning performance as measured by our PEF. As such, our think-aloud measures served as independent variables that were correlated with PEF performance.

좀 더 구체적으로, 참가자들은 비디오 테이프를 다시 보면서, 묘사된 환자에 대한 진단 및 치료 계획을 수립하는 과제를 수행하면서 "think-aloud"하였다. 우리는 think-aloud 프로토콜에 표준 절차를 사용했다(Ericsson et al. 2006). 참가자들은 프로토콜을 완료하기 전에 이 방법론(Ericsson et al. 2006)에서 초기 교육을 받았다. 모든 사고 방식 프로토콜은 비디오와 오디오 테이프로 녹화되었다. think-aloud 절차에서 참가자는 작업 중 자신이 생각하는 모든 생각을 구두로 표현하고 자신의 사고 과정을 분석하지 않도록 명시적으로 지시 받는다. think-aloud procedure는 여러 연구로부터 과제를 수행하는 동안의 이뤄지는 정신 과정을 신뢰성 있게 보여준다는 점이 밝혀졌다(Ericsson et al. 2006).

More specifically, participants re-watched each videotape while ‘‘thinking aloud’’ with the task of establishing a diagnosis and treatment plan for the patient portrayed in the videotape. We used a standard procedure for the think-aloud protocol (Ericsson et al. 2006). Participants received initial training in this methodology (Ericsson et al. 2006) prior to completing the protocol. All think-aloud protocols were video and audio taped. In the think-aloud procedure, participants verbalize whatever thoughts they have during a task and are explicitly instructed to not analyze their thought processes. Importantly, the thinkaloud procedure has been shown in several studies to reliably reflect concurrent mental processes while performing a task (Ericsson et al. 2006).

PEF와 조사 대책과의 비교를 용이하게 하기 위해 참가자의 인지 부하를 반영하기 위해 3명의 선동자(SJD, CVderV, LS)가 고안한 연역 코딩 시스템에 따라 think-aloud 프로토콜을 분석하였다. 기존의 평가 항목을 활용하여 인지 부하를 측정하려면, 이것을 위해 think-aloud 프로세스를 일시 중단해야 했고, 이는 think-aloud 절차를 훼손할 것으로 예상되었기 때문에, 우리는 작업을 수행하는 동안 실시간으로 인지 부하를 확인하기 위한 코딩 시스템을 만들었다.

To facilitate comparison with PEF and survey measures, think-aloud protocols were analyzed according to a deductive coding system devised by three instigators (SJD, CVderV, LS) to reflect participant’s cognitive load. Because pausing the think-aloud process to measure cognitive load with traditional assessment items (van Merrienboer and Sweller 2010; Paas et al. 2003; Plass et al. 2010) would be expected to compromise the think-aloud procedure (Ericsson et al. 2006), we created a coding system to ascertain realtime cognitive load while performing the task (thinking-aloud).

인지부하 측정

Measuring cognitive load

전문성은 데이터의 chunking 과 관련되어있다. 이 chunking은 작업기억자원을 free-up하는 것, 그리고 장기 메모리에 저장된 정보를 사용하는 것으로 알려져있다(Ericsson et al. 2006). 이 두 가지 전략은 모두 인지 부하를 감소시키는 것으로 생각된다. 우리는 think-aloud 절차에서 적절한 의미론적 한정자, 깊은 문제 표현 및 조기 진단 확립을 사용하는 것이 인지 부하를 낮추는 것과 동일할 것으로 기대했다.

Expertise is believed to be associated with both the ‘‘chunking’’ of data, which is thought to free up working memory resources and by using information stored in long-term memory (Ericsson et al. 2006). Both of these strategies are believed to reduce cognitive load. We expected that 

• use of proper semantic qualifiers, 

• deep problem representation, and 

• early establishment of diagnosis in the think-aloud procedure would equate with lower cognitive load.

반면에, 

• 의미적 한정자의 부정확한 사용, 

• 피상적인 문제 표현, 

• 일시 중지, 

• think-aloud 중 진단 확립을 위한 시간 지연 

...은 더 높은 인지 부하를 으미하는 것으로 보았다. 위와 같은 행동을 보이는 것은 장기 작업기억리소스를 invoke하지 않기 때문에, 작업기억에 더 많은 정보처리를 요구할 것으로 예상된다.(Ericsson 등, 2006년).

On the other hand, incorrect use of semantic qualifiers, superficial problem representation, pauses, and late time to establishing the diagnosis during the think-aloud would be predicted to equate with higher cognitive load; by not invoking long-term working memory resources, these measures would be expected to involve greater information processing demands on working memory (Ericsson et al. 2006).

마찬가지로, think-aloud에서 말로서 맥락적 요인이 존재한다는 것을 인식함을 보여주는 것이 더 높은 인지 부하와 관련이 있을 것이다. 말로 표현했다는 것은 그 맥락적 요인이 작업기억 공간을 차지했다는 것을 보여줄 수 있기 때문이다. 앞선 연구에서는 우리는 [think-aloud 절차 중 상황 요인을 말로 표현했다는 것]이 [핵심적 사항을 발견하지 못하고 누락하는 것]과 관련이 있음을 발견했는데, 이는 높은 인지 부하가 전문가의 임상 추론 성과와 부정적으로 연관될 수 있다는 우리의 입장을 더욱 뒷받침한다(Durning et al. 2011b).

Likewise, verbally recognizing the presence of a contextual factor would be associated with higher cognitive load, as verbalization could be associated with the contextual factor taking up working memory space. In a previous study, we found that verbalizing one or more contextual factors during a think-aloud procedure was associated with missing key findings, which further supports our stance that high cognitive load may be negatively associated with expert’s clinical reasoning performance (Durning et al. 2011b).

따라서 인지 부하를 추론하기 위해 우리의 think-aloud 코딩 체계에 다음과 같은 문구가 포함되었다:

Therefore, the presence of the following utterances were included in our think-aloud coding scheme to infer cognitive load: 

• 의미 한정자(연속 데이터로 처리됨, 양 또는 올바른 사용, 음 또는 잘못된 사용) 

• 심층적 대 피상적 문제 표현(이진 점수) 

• 하나 이상의 상황별 요인의 존재를 구두로 표시 (각 요소에 대해 예 또는 아니오)

• 한 번 이상 think-aloud를 잠시 멈춘다. (그렇든 아니든) 

• 진단을 내리는 데 까지의 시간(think-aloud에서 초기 또는 think-aloud 후기)

semantic qualifiers (treated as continuous data; positive or correct use, negative or incorrect use), 

deep versus superficial problem representation (binary score), 

verbalizing the presence of one or more of the contextual factors (yes or no for each factor), 

the presence of one or more participant pauses during the think aloud (yes or no), and 

time to establishing the diagnosis (coded as early on in the think-aloud or late during the think-aloud). 

우리는 인지부하점수가 높은 것이 낮은 PEF 섹션 점수와 유의하게 연관될 것으로 예상했다.

We anticipated that coding scheme of high cognitive load would be significantly associated with lower PEF section scores and vice versa.

자료분석

Data analysis

결과

Results

PEF의 각 섹션(추가 이력, 추가 신체검사, 문제목록, 차등진단, 선행진단, 선행진단 정당성, 치료계획)에 대한 성과는 0%에서 100%까지 크게 다양했다. 또한 섹션 점수는 각 섹션의 개별 참가자 수준에 따라 달랐다(범위 0~100%) 표 2에 표시된 모든 참가자의 평균 점수

Performance on each section of the PEF (additional history, additional physical exam, problem list, differential diagnosis, leading diagnosis, justification for leading diagnosis, treatment plan) varied widely, ranging from 0% to 100%. Also, section scores varied on the individual participant level for each section (range 0–100%). Mean scores for all participants are shown in Table 2

맥락특이성의 확인

Demonstrating context specificity

각 PEF 섹션의 퍼포먼스를 모든 비디오 테이프(9개 총)에 걸쳐 비교하고, 공변량(Covariate)으로 시간을 사용하여 섹션 점수가 사례마다 다른지 여부를 결정했다.

We compared performance of each PEF section across all videotapes (9 total), using timeas a covariate, to determine if section scores differed across cases.

PEF 양식을 완료하는 시간은 신체검사(.35), 차등진단(.34), 보조증거(.40), 치료계획(.20)과 낮은 상관관계를 가진 대부분의 PEF 섹션 점수와 유의미하게 관련되었다. (오래 걸릴수록 섹션별 점수가 높음)

time to complete the PEF form was significantly related to most PEF section scores with low to moderate correlations (r values): 

• physical exam (.35), 

• differential diagnosis (.34), 

• supporting evidence (.40), 

• treatment plans (.20).

그런 다음 각 케이스를 진단에 따라 묶고, PEF 섹션 점수와 관련성을 보았다.

We then grouped cases by diagnosis (3 videotapes for each diagnosis) and correlated PEF section scores within each diagnosis.

병력과 총점을 제외하면, 모든 PEF 섹션 점수에서 상당한 차이가 관찰되었다 (표 3).

Significant differences across every PEF section score were seen with the exception of history and total score (Table 3).

맥락적 요인과 맥락 특이성

Contextual factors and context specificity

인지 부하에 대한 PEF 섹션 점수와 think-aloud 측정 간의 유의한 상관관계가 관찰되었다. 물론, 이러한 상관들 중 많은 것들이 부정적이었다. 즉, 인지부하(think aloud)가 높으면 PEF점수가 낮았다. 상관관계는 그들의 방향(긍정적이든 부정적이든)에서 우리의 예상과 일치했다.

Significant correlations between PEF section scores and think-aloud measures of cognitive load were seen. Of note, many of these correlations were negative. Correlations were consistent with our theoretic expectations in their direction (positive or negative).

• 제2외국어로 영어의 존재를 인정한 참가자는 PEF 이력(r =-.38)과 신체검사(r =-.28)에서 상당히 낮은 점수를 받았다. 

• 진단 제안을 인정하는 참가자들은 차등 진단(r =-.30)과 선행 진단(r =-.34)에 대한 PEF 점수가 현저히 낮았다. 

• 진단 확립에 시간이 오래 걸리는 것 역시 PEF 차등 진단(r =-.20), 선행 진단(r =-.23) 및 뒷받침 증거(r =-.20)에 대한 점수가 현저히 낮았다. 

• 깊이 있는 문제 표현은 진단 점수를 lead하는 것과 상당히 긍정적 방향으로 관련이 있다(r = .34). 

• 의료 용어의 부정확한 사용(부정 의미 능력)은 낮은 PEF 선행 진단(r =-.50) 및 총 점수(r =-.61)와 유의하게 연관되었다고 생각한다. 

• 특히 인지 부하 think-aloud 점수와 PEF 치료 계획 사이의 유의한 상관관계는 발견되지 않았다.

• participants who acknowledged the presence of English as a second language had significantly lower scores on PEF history (r =-.38) and physical examination (r =-.28). 

• Participants acknowledging diagnostic suggestion had significantly lower PEF scores on differential diagnosis (r =-.30) and leading diagnosis (r =-.34). 

• Late time in establishing the diagnosis during the think-aloud protocol was also associated with significantly lower scores on PEF differential diagnosis (r =-.20), leading diagnosis (r =-.23), and supporting evidence (r =-.20). 

• Think aloud deep problem representation was significantly associated with leading diagnosis score in a positive fashion (r = .34). 

• Finally think aloud incorrect use of medical terminology (negative semantic competence) was significantly associated with lower PEF leading diagnosis (r =-.50) and total score (r =-.61). 

• Notably, no significant correlations between cognitive load think-aloud scores and PEF treatment plan were found.

think-aloud 에 대한 연구된 상황 요인 중 하나와 think-aloud 에 대한 기타 인지 부하 측정 간에 유의한 상관관계가 발견되었다. 즉, 비디오에 포함시킨 상황요인은 인지부하(think aloud)를 높였다. 상관관계는 방향(긍정적이든 부정적이든)에 대한 우리의 예상과 일치했다.

Significant correlations were also found between mentioning one of the studied contextual factors on think-aloud and other cognitive load measures on think-aloud. Again, correlations were consistent with our theoretic expectations in direction (positive or negative).

• 진단 제안은 진단 지연 시간(r = .35) 및 피상적인 문제 표현(r = .26)과 연관되었다. 

• 제2언어로서의 영어는 변동성(r = .38)과 부정적인 의미역량(r = .58)과 연관되어 있었다. 

• Volatility은 또한 부정적인 의미 역량과 연관되었고(r = .43) 전체 의미 역량과 부정적으로 연관되었다(r =-.26). 

• 깊은 문제 표현은 진단 지연 시간(r =-.40) 및 일시 중단 존재(-.35)와 부정적으로 연관되었다. 

• 의사가 스스로 보고한 exposure 추정치(지난 주 및 지난 달에 본 진단과 관련된 사례 수)로 PEF 섹션 또는 사고-알람 인식 부하 측정과 유의미하게 관련되지 않았다.

• Diagnostic suggestion was associated with late time to diagnosis (r = .35) and superficial problem representation (r = .26). 

• English as a second language was associated with volatility (r = .38), and negative semantic competence (r = .58). 

• Volatility was also associated with negative semantic competence (r = .43) and was negatively associated with total semantic competence (r =-.26).

• Finally, deep problem representation was negatively associated with late time to diagnosis (r =-.40) and the presence of pauses (-.35). 

• Physician self-reported estimate of exposure, by number of cases with the diagnosis seen in the last week and last month, did not significantly correlate with any PEF section or any think-aloud cognitive load measure.

고찰

Discussion

우리는 PEF 성능에 대한 맥락특이성을 입증했다. PEF 섹션 점수는 비디오 테이프에서 동일한 진단을 묘사하였는지는 상관관계가 없었다. 우리의 연구결과는 상황별 특이성에 관한 초기 작업에 추가되었다(Norman et al.1995). 특히, 전문가 집단의 경우, 동일한 진단 내에서도 대부분의 PEF 섹션에서 유의미한 차이를 발견하였다.

We demonstrated context specificity on PEF performance. PEF section scores did not highly correlate for videotapes portraying the same diagnosis. Our findings adds to earlier work on context specificity (Norman et al.1995). In particular, for a group of experts, we found significant differences across most sections of the PEF within a given diagnosis.

더욱이, 우리는 맥락특이성의 문제에 부분적으로 책임이 있을 수 있는 특정 상황 요인의 잠재적 영향을 연구했다. 전문가들이 이러한 상황적 요인에 의해 영향을 받는 것처럼 보이는 사실은 주목할 만하며, 이렇기 때문에 중간단계 학습자(레지던트 또는 펠로우)와 초보자(학생) 역시 이러한 상황적 요인의 영향력에 훨씬 더 민감할 것으로 예상한다. 비디오테이프의 일부 측면은 맥락특이성을 유도했다.

Moreover, we studied the potential impact of specific contextual factors that could be partly responsible for the problem of context specificity . The fact that experts appear to be influenced by these contextual factors is noteworthy, and we hypothesize that intermediates (residents or registrars) and novices(students) may be even more susceptible to the influence of these and other contextual factors. Some aspect of the videotapes resulted in the phenomenon of context specificity;

본 연구에서 사용된 상황 요인은 소규모에서 중간 정도의 효과로 전문가 성과에 영향을 미치는 것으로 나타났다. 이것은 위치 인식 및 인지 부하 이론의 원칙에 부합한다. 이러한 영향은 PEF 수행점수가 think-aloud 절차에서 상황 요인이 언급되었을 때 더 낮아진 것에서 명백하게 드러난다.

The contextual factors used in our study did appear to impact expert performance, with small to moderate effects, in accordance with the tenets of situated cognition and cognitive load theories. This impact was evident in the univariate negative correlations when contextual factors were mentioned during the think-aloud procedure with PEF performance.

당연히, 시간제한(의사 요인) 대부분의 섹션에서 PEF 성능에 영향을 미쳤다. 전자 진료 기록을 사용하는 바쁜 의사들이 환자 한 명당 3-5분 안에 노트를 완성할 것으로 예상할 수 있기 때문에, 시간 효과에 대한 우리의 발견은 관련이 있다.

Not surprisingly, the physician factor of limited time impacted PEF performance on most sections. As busy physicians using electronic medical records can be expected to complete their notes in 3–5 min per patient, our finding of the effect of time has relevance.

CLT에서 예상되는 바와 같이, 상황 요인은 PEF는 think-aloud 척도와 상관관계가 있었다. 상황 요인이 PEF에 미치는 영향은 섹션마다 다양했다. 예를 들어, 제2외국어로서의 영어는 다른 맥락적 요인보다 역사와 신체검사 성과에 더 큰 영향을 미쳤다.

The selected contextual factors studied correlated, as predicted by CLT, with our PEF and think-aloud measures. The correlations between selected contextual factors and PEF section performance varied. For example, English as a second language had a greater effect on history and physical exam performance than the other contextual factors.

또한, 영어와 음의 의미론적 한정자 사용의 상관관계는 CLT와 일치할 수 있다. 전문가의 음성 의미 한정자 사용은 높은 인지 부하를 나타내는 것으로 예상되기 때문이다. 제2언어로서의 영어가 [진단 및/또는 치료적 결정]에 영향을 미치지 않았다는 것은 주목할 만하다. 이는 전문가가 이러한 일반적인 조건에 친숙하기 때문이거나, 또는 진단 및 치료결정을 내리는 과제는 작업기억의 다른 영역을 invoke하기 때문일 수 있다. 다른 영역을 invoke하면 추가적 작업기억자원을 확보하여 인지 부하 증가로 인한 영향을 경감시킬 수 있다.

Additionally, the correlation of English as a second language with negative semantic qualifiers use may also be consistent with CLT, as an expert’s use of negative semantic qualifiers is an expected manifestation of high cognitive load. It is notable that the English as a second language factor did not have more of an impact on diagnostic and/or therapeutic decisions. This may be due to the experts’ familiarity with these common conditions in practice and/or that the task of establishing the diagnosis and treatment invoke different areas of working memory, and thus additional working memory resources could be recruited to mitigate increased cognitive load.

[잘못된 진단 또는 치료 제안]은 다른 PEF 섹션보다 [감별진단 및 최우선진단leading diagnosis 점수]에 더 많은 영향을 미쳤다. CLT의 관점에서, 잘못된 진단을 제안하는 것은, 만약 제안된 진단을 고려해야 할 합당한 이유가 있다면, 진단의 확립 과제와 관련된 추가적인 정보처리 부담을 제공할 것으로 예상된다.

Incorrect diagnostic or treatment suggestion impacted differential diagnosis and leading diagnosis scores more than other PEF sections. From a CLT standpoint, suggesting an incorrect diagnosis would be expected to provide additional information processing burden related to the task of establishing the diagnosis if the diagnosis was believed to be reasonable to consider.

우리는 이 발견들이 몇 가지 잠재적인 의미를 가지고 있다고 믿는다. 

• 첫째, 정확한 병력청취와 신체검사를 받는 것은 정확한 진단과 치료에 도달하는 데 필수적이다. 본 연구에서는 제2외국어로서의 영어는 진단과 치료에 영향을 미치지 않았지만, 병력과 신체진찰의 본질적 특성을 감안할 때 실제로는 영향을 줄 수도 있다. 

• 둘째로, 진단 및 치료 제안의 영향은 [환자가 잠재적 진단 및 치료 방법을 검색하여 의사와 논의할 수 있는 인터넷 및 TV 자원이 증가]했기 때문에 중요하다. 

• 셋째, 연구되지 않은 다른 상황 요인(환자, 의사 및 설정)도 마찬가지로 인지 부하 증가 또는 기타 수단을 통해 의사의 추론에 영향을 미칠 수 있다.

We believe these findings have several potential implications. 

• First, obtaining an accurate history and physical examination is essential to arriving at the correct diagnosis and therapy. Though English as a second language did not impact diagnosis and therapy in this study, it could be expected do so in practice given the essential nature of history and physical. 

• Second, the impact of diagnostic and/or treatment suggestion is relevant given the increasing Internet and television resources for patients to search for potential diagnoses and treatments to then discuss with their physician. 

• Third, other contextual factors (patient, physician, and setting) that were not studied (Fig. 1) may likewise have effects on physician reasoning, either through increased cognitive load or other means.

또한 음성 의미 한정자 점수가 PEF 수행의 여러 섹션과 크고 유의한 부정적 연관성을 가지고 있다는 것도 주목할 만하다. 우리의 결과에 따르면, 전문가들에 의한 [부적절한 의미적 한정자 사용]은 [의미적 한정자의 적절한 사용]보다 임상적 추론 성과에 더 큰 영향을 미치는 것으로 나타났다. 의미적 한정자는 참가자가 다른 정보에 주의를 기울일 수 있도록 인지 자원을 free up해주는 방식으로 지식을 조직화하거나 "청킹"하는 방법을 나타내는 듯 하다.

It is also notable that negative semantic qualifier score had large, significant negative associations with several sections of PEF performance. Our results revealed that inappropriate use of semantic qualifiers (negative semantic competence) by experts appears to have a greater impact on clinical reasoning performance than proper use of semantic qualifiers. Semantic qualifiers are believed to represent a way to organize or ‘‘chunk’’ knowledge, enabling the participant to free up cognitive resources to attend to other information.

이 연구에서 탐구된 맥락적 요인들이 [치료적 추론]보다 [진단적 추론]에 더 큰 영향을 미치는 것으로 나타난 것은 흥미롭다. 비록 이것이 본 연구의 초점은 아니었지만, 이 영향은 몇 가지 원인의 결과일 수 있다. 

It is interesting that the contextual factors explored in this study appeared to impact diagnostic more than therapeutic reasoning. Though this was not a focus of the present study, this effect may be the result of several causes. 

• 첫째, 많은 사람들은 [진단추론과 치료추론이] 종종 같은 '기술'의 다른 발현이라고 믿지만, 진단추론과 치료추론은 실제로 다를 수 있다. 예를 들어, 병력청취 및 신체검사에 대한 최근 연구에 따르면, 오랫동안 이 두가지가 하나의 "기술"을 나타내는 것으로 가정되어왔지만, 사실 두 가지 요소가 서로 다르다는 것을 제시한다(Clauser et al.). 2009).

First, though often believed by many to be different manifestations of the same ‘‘skill’’, diagnostic and therapeutic reasoning may actually be different. For example, recent studies of the history and physical exam, two components of the clinical encounter that were long assumed to represent one ‘‘skill’’—history taking and physical examination—suggest that the two are different (Clauser et al. 2009).

진단적 추론과 치료적 추론은 분리되어 있으나 관련되는 실체라는 이 개념은 해석(진단적 추론)을 관리(치료 추론; 판가로 1999)와는 다른 발달 단계로 보는 RIME(Reporter Interpreter Manager Educator) 평가 프레임워크와 일치한다. RIME 프레임워크에서 이력 및 신체 검사는 진단과 치료적 추론 모두에 중요하다. 그러나 우선 리포터(정확히 역사와 신체검사 데이터를 입수하는 것)가 되지 않으면 인터프리터나 매니저가 될 수 없다.

This notion of diagnostic and therapeutic reasoning as being separate but related entities is consistent with the Reporter Interpreter Manager Educator (RIME) evaluation framework, which considers interpreting (diagnostic reasoning) as a different developmental step than managing (treatment reasoning; Pangaro 1999). In the RIME framework, history and physical examination are important to both diagnostic and therapeutic reasoning. Indeed, one cannot be an Interpreter or Manager without first being a Reporter (accurately obtain history and physical examination data).

참가자가 지난 주와 지난달에 진단에 대해 스스로 보고한 경험은 성과와 상관관계가 없었다. 이는 최근 초보자 작업과 대조된다(Durning et al. 2011c). 경험의 영향은 확립된 전문가보다 전문성 획득(의사 학생 초보자) 동안 더 중요할 수 있다. 후자는 연구에서 사용되는 일반적인 진단에 대한 강력한 스크립트를 가지고 있다.

Participant’s self-reported experience with the diagnosis in the last week and last month was not correlated with performance. This contrasts with recent work of novices (Durning et al. 2011c). This effect of experience may be more important during expertise acquisition (medical student novices) than in established experts; the latter having robust scripts for the common diagnoses used in the study.

이론적 함의

Theoretic implications

몇 가지 발견은 인지 부하가 상황 요인이 전문가 성과에 영향을 미치는 이유일 수 있다는 생각을 뒷받침한다. Situated cognition은 encounter에서 발생하는 다른 요소(표 1)들도 인지 부하를 유도할 수 있음을 예측하게 해준다.

• 첫째, 비디오테이프에서 제시된 상황 요인의 부정적인 영향은 참가자가 think-aloud 절차 중에 요소를 구두로 인정했을 때 더 유의적일 수 있었다. 

• 둘째, 인지 부하에 대한 우리의 다른 몇 가지 사고-알람된 척도는 상당히 낮은 PEF 섹션 성능, 특히 부정적인 의미적 한정자의 사용과 관련이 있어 큰 효과를 보였다. 

• 셋째, 인지 부하 측정의 몇 가지는 상황 인자의 구두적 인정verbal acknowledgment과 유의하게 연관되어 있었다. 이러한 연구 결과는 인지 부하를 감소시킬 수 있는 조치(van Merrienboer and Sweller 2010; Paas 등, 2003; Plass 등, 2010)가 진단 및 치료 추론에 대한 상황 요인의 잠재적인 부정적 영향을 감소시킬 수 있음을 시사한다.

Several findings support the idea that cognitive load may be a reason why contextual factors impacted expert performance. Situated cognition would predict that other factors in the encounter (Table 1) could induce cognitive load. 

• First, the negative impact of contextual factors modified in the videotapes was more likely to be significant when the participant verbally acknowledged the factor during think-aloud procedure. 

• Second, several of our other think-aloud measures for cognitive load were associated with significantly lower PEF section performance, most notably the use of negative semantic qualifiers, which showed a large effect. 

• Third, several of our cognitive load measures were significantly associated with the verbal acknowledgment of a contextual factor. These findings would suggest that measures taken that may reduce cognitive load (van Merrienboer and Sweller 2010; Paas et al. 2003; Plass et al. 2010) could dampen the potential negative impact of contextual factors on diagnostic and therapeutic reasoning.

Durning, S. J., Artino, A. R., Pangaro, L. N., van der Vleuten, C., & Schuwirth, L. (2010a). Redefining context in the clinical encounter: Implications for research and training in medical education. Academic Medicine, 85, 894–901.

Durning, S. J., Artino, A. R., van der Vleuten, C. P. M., Pangaro, L., & Schuwirth, L. (2011b). Context and clinical reasoning: understanding the situation from the perspective of the expert’s voice. Medical Education (accepted).

van Merrienboer, J. J. G., & Sweller, J. (2010). Cognitive load theory in health professional education: Design principles and strategies. Medical Education, 44, 85–93.

---

Adv Health Sci Educ Theory Pract. 2012 Mar;17(1):65-79. doi: 10.1007/s10459-011-9294-3. Epub 2011 Apr 20.

The impact of selected contextual factors on experts' clinical reasoning performance (does context impact clinical reasoning performance in experts?).

Durning SJ1, Artino AR, Boulet JR, Dorrance K, van der Vleuten C, Schuwirth L.

Author information

1

Department of Medicine (NEP), Uniformed Services University of the Health Sciences (USU), 4301 Jones Bridge Road, Bethesda, MD 20814, USA. sdurning@usuhs.mil

Abstract

Context specificity, or the variation in a participant's performance from one case, or situation, to the next, is a recognized problem in medical education. However, studies have not explored the potential reasons for context specificity in experts using the lens of situated cognition and cognitive load theories (CLT). Using these theories, we explored the influence of selected contextual factors on clinical reasoningperformance in internal medicine experts. We constructed and validated a series of videotapes portraying different chief complaints for three common diagnoses seen in internal medicine. Using the situated cognition framework, we modified selected contextual factors--patient, encounter, and/or physician--in each videotape. Following each videotape, participants completed a post-encounter form (PEF) and a think-aloud protocol. A survey estimating recent exposure from their practice to the correct videotape diagnoses was also completed. The time given to complete the PEF was randomly varied with each videotape. Qualitative utterances from the think-aloud procedure were converted to numeric measures of cognitive load. Survey and cognitive load measures were correlated with PEF performance. Pearson correlations were used to assess relations between the independent variables (cognitive load, survey of experience, contextual factors modified) and PEF performance. To further explore context specificity, analysis of covariance (ANCOVA) was used to assess differences in PEF scores, by diagnosis, after controlling for time. Low correlations between PEF sections, both across diagnoses and within each diagnosis, were observed (r values ranged from -.63 to .60). Limiting the time to complete the PEF impacted PEF performance (r = .2 to .4). Contextspecificity was further substantiated by demonstrating significant differences on most PEF section scores with a diagnosis (ANCOVA). Cognitive load measures were negatively correlated with PEF scores. The presence of selected contextual factors appeared to influence diagnostic more than therapeutic reasoning (r = -.2 to -.38). Contextual factors appear to impact expert physician performance. The impactobserved is consistent with situated cognition and CLT's predictions. These findings have potential implications for educational theory and clinical practice.

PMID:

 

21505841

 

DOI:

 

10.1007/s10459-011-9294-3