의학교육의 평가 전환: 임상추론 평가에 불확실성 통합하기 (Acad Med, 2017)

의학교육의 평가 전환: 임상추론 평가에 불확실성 통합하기 (Acad Med, 2017)

Transforming Medical Assessment: Integrating Uncertainty Into the Evaluation of Clinical Reasoning in Medical Education

Suzette Cooke, MD, PhD, and Jean-Francois Lemay, MD

임상 추론의 기술이 의사 성과에 그렇게 필수적인 경우, 분명 이 핵심 역량은 의료 교육에서 형성 및 총괄 평가에서 엄청난 관심을 받아야 할 것이다. 하지만 그럴까?

If the skill of clinical reasoning is so essential to physician performance then surely this core competency receives targeted attention in formative and summative evaluations in medical education. But does it?

현재까지, 의료 연수생 평가는 주로 지식과 이해의 기초적 요소에 기초하고 있으며, 특히 자격시험이라는 맥락에서 그러하다. 임상 추론의 기술과 관련된 필수적이고 고차적인 기능의 형태적 또는 종합적 평가에 훨씬 적은 주의를 기울인다. 이와 같이 임상적 성과에 필요한 것과 현재 평가되고 있는 것 사이에는 차이가 존재한다.

To date, evaluation of medical trainees is based primarily on the foundational elements of knowledge and comprehension, especially in the context of certifying examinations. Much less attention is placed on the formative or summative assessment of essential, higher-order functions associated with the skill of clinical reasoning. As such, a gap exists between what we recognize is required for clinical performance and what is currently being assessed.

우리는 의학에서 임상 추론의 향후 평가에 철학적으로 가장 중요한 두 가지 개념을 제안한다: 

• "불확실성"의 맥락에서의 평가(사용 가능한 모든 정보에도 불구하고, 최선의 진단, 조사 또는 치료에 대해 약간의 의심이 있을 때), 

• 하나 이상의 정답이 완전히 가능하다는 것을 인정하고(심지어 합리적이라는) 것

We propose two concepts that are philosophically paramount to the future assessment of clinical reasoning in medicine: 

• assessment in the context of “uncertainty” (when, despite all of the information that is available, there is some doubt as to the best diagnosis, investigation, or treatment), and 

• acknowledging that it is entirely possible (and reasonable) to have more than “one right answer.”

불확실성의 맥락에서 평가

Assessment in the Context of Uncertainty

전통적으로 의학적 평가는 확실성의 맥락에서 이루어졌다. 훈련생들은 주로 상당한 수의 사실, 패턴, 연관성, 알고리즘을 기억할 수 있는 능력을 시험받는다. 예를 들어 

• 다중 선택 질문(MCQ)은 하나의 정답을 가지고 있으며, 

• 단답형 질문(SAQ)은 대개 하나의 의미를 갖는 것으로 해석되는 일련의 수용 가능한 답변을 가지고 있다. 

• 객관적 구조화된 임상시험(OSCE)에서도 채점 마찰은 종종 정보 수집의 초기 단계에 대한 점수를 주고, 짧은 조사 목록을 생성하고, 패턴을 인식하며, 최종(흔히 직접적인 알고리즘 기반) 관리 단계를 생성하는 것과 관련이 있다.

Traditionally, medical assessment has taken place in the context of certainty. Trainees are primarily tested on their ability to remember a significant number of facts, patterns, associations, and algorithms. For example, multiple- choice questions (MCQs) have a single correct answer, and short-answer questions (SAQs) usually have a series of acceptable answers that are interpreted as having a single meaning. Even in objective structured clinical examinations (OSCEs), the scoring rubrics are often associated with either giving points for the initial steps of information gathering, generating a shortlist of investigations, pattern recognition, and the final (and often straightforward algorithm driven) steps of management;

OSCE에서 피평가자는 

• working diagnosis 개발에 어떤 주요 기능을 사용하고 있는지, 

• 검사를 통해 무엇을 배제하려고 하는지, 

• 특정 진단, 조사 또는 치료에 대한 결정을 어떻게 종합했는지 

• 그러한 정보를 어떻게 활용하고 있는지

...에 대해 거의 질문을 받지 않는다. 

Candidates in OSCEs are rarely asked how they are applying that information, including which key features they are using to develop a working diagnosis, what they are attempting to rule in and out from requested investigations, and how they have synthesized their decision about a particular diagnosis, investigation, or treatment. 

또한 지원자들은 질병의 유병률, 확률, 민감성, 특수성을 고려한 베이즈 정리의 원리를 어떻게 통합했는지를 일상적으로 보여줄 것으로 기대되지도 않는다.3 더욱이, 지원자들이 [의사결정에 영향을 미쳤을 수 있는 상황적 특징과 사건의 비정형적인 측면을 다루거나 관리하는] 사고 프로세스에 대해서도 거의 평가되지 않는다.

Similarly, candidates are not routinely expected to show how they have integrated the principles of Bayes’ theorem, which considers disease prevalence, probability, sensitivity, and specificity.3 Furthermore, candidates’ thinking processes are rarely probed with respect to contextual features that may have affected their decision making and how they intend to address or manage atypical aspects of the case.

또한 대부분의 평가 형식에 대한 현재 채점 키(MCQ, SAQ, OSCE, 캐나다 자격 검사 파트 1, 2 미국 의료 면허 시험)는 일반적으로 "골드 표준" 교과서 또는 저널 또는 기타 증거 기반 출처에서 도출된다. 간단히 말하면, 지식기반의 평가를 만드는 것이 훨씬 더 쉽다. 왜냐하면 확실성과 명확한 증거가 있기 때문이다. 그렇다면, 왜 지금 평가가 바뀌어야 하는가?

In addition, current scoring keys for most formats of assessment (MCQ, SAQ, OSCE, Medical Council of Canada Qualifying Examination Part 1 and 2, United States Medical Licensing Examination) are typically derived from “gold standard” textbooks or journals or other evidence- based sources . Put simply—it is much easier to create assessments for knowledge-based tests for which there is certainty and clear evidence. So, why should assessment change now?

현재의 평가 방법은 의학을 적용하기 위해서 요구되는 임상 추론 과정의 현실을 충분히 반영하지 못하기 때문이다. Durning et al4는 "현재 임상 추론을 평가하는 모델은 종종 실제로 이루어져야 하는 임상추론에 한참 미치지 못한다"고 관찰했다.

Current methods of assessment should change now because they do not sufficiently reflect the realities of clinical reasoning processes required in applied medicine. Durning et al4 have observed that “our current models of assessing clinical reasoning often fall short of what is actually occurring.”

일부 실제 임상 사례들은 "명확하게" 기본 지식, 이해력 및 적용만으로도 충분하지만, 여러 가지 변수와 상당한 수준의 불확실성을 포함하는 사례들이 많다. Fargason 등 6명은 "의료는 불확실성으로 가득 차 있다"고 진술했다. "많은 학생들에게 불확실성을 받아들이고 효과적으로 대처하는 능력은 '그들이 직면하는 가장 어려운 적응 과제'이다."7 2012년 헐 외 연구진 8은 "초심자를 일상적인 상황에서의 역량을 갖추기 위한 훈련만 하는 것은 불충분하다. 우리는 그들이 임상 실습에서 직면하게 될 무수하고 예측불가능하며 비루틴적인 상황들과 맞닥뜨릴 준비가 되어 있어야 함을 알아야 한다."

while some real clinical cases are “clear-cut” and that basic knowledge, comprehension, and application will suffice, there are many cases that contain multiple variables and a significant degree of uncertainty. Fargason et al6 have stated that “medicine is full of uncertainty.” “For many students, the development of the ability to accept uncertainty and to deal with it effectively is ‘the most difficult adaptational task confronting them.’”7 In 2012, Hull et al8 suggested, “Training novices for competence in routine situations is insufficient; we also need to know they are equipped to contend with the myriad, unpredictable, non-routine situations they will confront in clinical practice.”

불확실성에 대한 내과의사의 tolerance는 의사의 의료행위에 영향을 미친다. 불확실성에 대한 내성이 낮은 의사는 과도한 진단 테스트와 추가적인 경험적 치료를 지시할 가능성이 더 높다.9 이러한 행동은 의료 비용을 증가시키고 환자를 부작용 발생 위험에 빠뜨린다.10,11

A physician’s tolerance of uncertainty influences her or his clinical practice. Physicians who are less tolerant of uncertainty are more likely to order excessive diagnostic testing and additional empiric treatment.9 This behavior increases health care costs and places patients at risk for experiencing adverse events.10,11

임상 의학에서 많은 일반적인 상황들이 이 불확실성에 기여한다. 여기에는 다음과 같은 것들이 포함된다.

many common situations in clinical medicine, contribute to this uncertainty. These include

• 사례에 대한 "현재 이용 가능한" 정보의 양이 제한될 경우

• 키(중요) 정보가 누락된 경우

• 일부 정보가 기여적이지만 "discriminating"하지 않을 경우

• 일부 정보가 예상치 못한 것이며/또는 모순될 경우

• 이용 가능한 정보의 가중치가 달라질 경우

• 핵심 특징이 진단에 쉽게 "들어맞지" 않을 경우

• 특정 행동 방침에 대한 증거가 없거나 열악할 경우

• The amount of “currently available” information for the case is limited. 

• Key (critical) information is missing. 

• Some information is contributory but not “discriminating.” 

• Some information is unexpected and/ or may be contradictory. 

• The information available may be weighted differentially. 

• Key features available do not readily “fit” a diagnosis. 

• There is either no evidence or poor evidence for a particular path or course of action.

또한 사례의 맥락적 특징과 각 환자에게 고유한 인적 요인을 일상적으로 고려하고 명시할 것을 제안한다.

Furthermore, we propose that contextual features of the case and human factors that are unique to each patient be routinely considered and made explicit.

• 의사 결정과 매우 관련이 있을 수 있는 상황적 요인들도 성공적인 환자 치료를 위해 '방정식'에 포함되어야 한다. 여기에는 연령, 성별, 의료의 중요성 및 복잡성, 의료 팀과 환자의 지리적 위치, 가용 리소스(전문지식, 시간 및 물리적/재정적 자원 포함), 의료 시스템 요소, 시스템 언어 및 통신 문제, 문화적 믿음 및 사회적 환경이 포함된다.

• Contextual factors that may be highly relevant to decision making must enter the equation for successful patient care. These include age, gender, medical acuity and complexity, geographical location of the health care team and of the patient and family, available resources (including expertise, time, and physical and financial resources), health care system factors, system language and communication issues, cultural beliefs, and social circumstances.

• 인간에게는 내재된 가변성이 있다. 동일한 조건을 가진 두 명의 환자조차 정확히 같은 방식으로 나타날 가능성이 없으며, 또한 모든 환자가 동일한 치료에 동일한 방식으로 반응하지 않을 것이다. 의사는 환자 특유의 요인을 인식하는 법을 배워야 하며 이러한 요인의 통합에 기초하여 진단, 조사 또는 치료적 요인을 조정하는 것이 적절할 때 배워야 한다.

• There is inherent variability in human beings. No two patients with the same condition are likely to present in exactly the same way; nor will patients respond to treatment (i.e., albuterol or chemotherapy) in identical fashion. Physicians must learn to recognize patient-specific factors and when it is appropriate to adjust the diagnosis, investigation, or therapeutic regimen based on the integration of these factors.

따라서 임상 의사는 이용 가능한 정보, 가장 목적적합한 정보, 누락된 주요 부분을 식별할 수 있어야 한다. 그들은 상황별 특징뿐만 아니라 의료 데이터도 적용해야 한다. 또한 임상의사는 잠재적인 환자 고유 요인을 이해해야 한다. 주어진 시점에서 임상의사는 사례를 분석하고, (최종 진단이 아니더라도) 작업 진단을 종합하고, 조사와 치료에 관한 적극적인 결정을 내릴 수 있어야 한다.

Therefore, Clinicians must be able to discern what information is available, what is most relevant, and what key pieces are missing. They must apply medical data as well as contextual features. Clinicians must also appreciate potential patient-specific factors. At any given point in time, a clinician must be able to analyze the case, synthesize a working diagnosis (even if it is not the final diagnosis), and make active decisions regarding investigations and treatment.

이러한 불확실성의 상황을 인식하고 받아들이는 것은 의사의 능력에 필수적이다.

Recognizing and accepting these situations of uncertainty (after collecting and analyzing the best available knowledge, evidence, and experience) is essential to a physician’s ability

의학적인 전문지식은 임상적 추론과 진단적 성과에 있어서 개인의 성과와 밀접하게 연관되어 있다.14

medical expertise is closely linked to an individual’s performance in clinical reasoning and diagnostic performance.14

의료 교육자들은 응용, 분석 및 합성의 이러한 상위 임상 추론 기술을 교육과 평가에 모두 포함시키고 이를 현실 세계의 불확실성 맥락 안에서 수행할 도덕적 책임이 있다.

medical educators have a moral responsibility to embed these higher-order clinical reasoning skills of application, analysis, and synthesis into both teaching and assessment and to do this within real-world contexts of uncertainty.

정말로 유일한 정답만이 있는 것이 가능할까?

Can There Really Be More Than One Correct Answer?

임상 의학에서 어떤 상황에서는 환자에 대한 충분한 정보와 문헌(또는 전문가의 합의를 통해)에 진단, 조사 또는 치료의 단일하고 명확한 경로를 고수할 수 있다는 충분한 증거가 있을 때도 있다. 그러나 어떤 상황에서는, 이용 가능한 정보가 별로 없거나, 이용 가능한 정보와 사례의 맥락을 고려할 때, 한 가지 특정 선택을 지시할 증거가 불충분할 수 있다. 사례와 상황에 따라 진단 설정, 조사 계획 작성 또는 치료 처방을 위한 두 가지(또는 그 이상) 접근방식이 안전하고 합리적일 수 있다. 

In some situations in clinical medicine, there is enough information about the patient and sufficient evidence in the literature (or via expert consensus) to adhere to a single, clear path of diagnosis, investigation, or treatment. In other situations, the information available at the time may be weak, or, given the information available and the context of the case, there may be insufficient evidence to dictate one specific choice. Depending on the case and the context, two (or more) approaches to establishing the diagnosis, creating a plan for investigation, or prescribing treatment may be safe and reasonable. 

SCT(스크립트 Concordance Test)15

The Script Concordance Test (SCT)15

임상 예는 부록 1에 설명되어 있다.

A clinical example is illustrated in Appendix 1

Durning et al4는 "여러 개의 올바른 path가 있는 상황이 존재하며, 전문성이라는 것은 [경계 조건의 집합] 내에서의 성과로 정의된다"라고 기술하고 있다.

Durning et al4 state that “there are often multiple correct paths and what defines expertise is performance within a set of boundary conditions.”

요약하자면, "하나 이상의 정답"의 존재 가능성을 존중하는 것은 임상 현실을 반영하며 궁극적으로 임상 추론의 평가를 보다 타당하고 신뢰할 수 있게 할 것을 제안한다.

In summary, we propose that respecting the possibility of the existence of “more than one correct answer” reflects clinical reality and will ultimately make the assessment of clinical reasoning more valid and reliable.

불확실성의 맥락: 극복할 장애물

The Context of Uncertainty: Current Barriers

불확실성의 맥락에서 의사결정을 목표로 하는 평가의 생성에는 네 가지 다른 장벽이 있다.

There are four different barriers to creating assessments that target decision making in the context of uncertainty.

첫 번째 장벽은 평가에 관련된 모든 이해당사자들에 의해 임상 의학의 불확실성의 상황을 인정하는 것이다. 이것은 이러한 상황을 노출하고 강조함으로써, 우리는 회색 영역이 항상 존재할 것이라는 것을 받아들이는데 더 가까워지고, 이러한 상황들을 그것들로부터 벗어나기 보다는 형식적이고 종합적인 평가에서 인정하고, 직면하고, 관여하는 것이 더 낫다.

The first barrier is acknowledging situations of uncertainty in clinical medicine by all stakeholders involved with assessment. This By exposing and highlighting these situations, we come closer to accepting that gray zones will always exist, and it is better to acknowledge, confront, and engage these situations in formative and summative assessments rather than steering away from them.

두 번째 장벽은 임상 의사 결정에서 다양한 수준의 불확실성을 관리하는 데 필요한 임상 추론 기술의 발달progressive 수준을 식별하기 위해 명확한 프레임워크를 개발해야 한다는 것이다. 

The second barrier is that a clear framework must be developed to identify the progressive levels of clinical reasoning skills needed to manage varying degrees of uncertainty in clinical decision making. 

(1) 초기 단계에서 연습생은 사례에 포함된 "핵심 특징"을 식별할 수 있어야 한다. 그런 다음 특정 사례의 맥락 안에서 각 특징에 적절한 "가중치"를 적용해야 한다(일부 특징이 특정 시점의 사례에 더 큰 영향을 미치기 때문이다).

In the early phases, trainees need to be able to identify “key features” embedded within a case. Then they need to apply appropriate “weight” to each of these features within the context of the particular case (as some features will more heavily influence a case at any given point in time).

(2) 다음 단계: 가중치는 의사가 얻는 정보의 품질과 신뢰성에 영향을 받을 수 있다. 이 정보는 또한 베이스의 정리 원리를 적용하여 해석하고 우선 순위를 정할 수도 있다.3 사례 기능의 가중치는 가능한 인지적 편견(예: 고정, 확인 편향, 조기 폐쇄)에 대한 인식에 의해 더욱 강화될 수 있다.17 인지적 편견의 고려는 의사의 사고 과정에 기여할 수 있는 개인, 시스템 및 환경적 요인을 감사하는 데 도움이 되는 개인적 성찰 습관을 만드는 것을 말한다.

That weighting may be influenced by the quality and the reliability of the information being received. This information may also be interpreted and prioritized by applying the principles of Bayes’ theorem.3 Weighting of case features may be further enhanced by an awareness of possible cognitive biases (i.e., anchoring, confirmation bias, premature closure).17 The consideration of cognitive biases refers to creating a habit of personal reflection to help appreciate the personal, system, and environmental factors that may be contributing to a physician’s thought process.

(3) 다음 단계: 이 단계는 종종 부재하거나, 있더라도 과소평가된다. 의사는 환자의 의료 데이터뿐만 아니라 모든 임상 사례에 대해 "그림에 색칠"하는 상황적 요소도 평가해야 한다. 교과서의 사례는 "프로토타입"이지만, 각각의 실제 사례는 전형적이고 비정형적인 특징을 가진 "exemplar"이며, 고착되어 있고 반드시 고려해야 하는 추가적인 상황 변수들이다.18,19 특정 상황 인자의 기간 내에 특정 환자 사례 요소를 제거하려면 분석의 임상적 추론 기술이 필요하다.즉, 사례의 가장 관련성이 높은 의학적 측면과 상황적 측면을 선택할 수 있고, 어떤 측면이 우세할지 결정하고, 임상 의사 결정에 대한 의미를 종합할 수 있다.

The next step is often absent or, when present, underestimated. The trainee must evaluate not only the patient’s medical data but also the contextual factors that “color the picture” of every clinical case. The textbook case is the “prototype” case, but each real case is an “exemplar” with typical and atypical features, as well as additional contextual variables that are entrenched and must be considered.18,19 Teasing out the specific patient case factors within the milieu of specific contextual factors requires the clinical reasoning skill of analysis: being able to select the most relevant medical and contextual aspects of a case, determining which ones will predominate, and synthesizing the implications for clinical decision making.

세 번째 장벽은, 자격부여기관과 매우 관련이 있으며, 평가 방법의 불가능성과 관련이 있다. 구체적말하자면, "점수의 해석은 원하는 해석의 이성을 뒷받침하거나 반박하기 위해 제시된 이론, 가설 및 논리의 네트워크와 연결되어야 한다."21

A third barrier, that is real and extremely relevant to certification bodies, relates to the defensibility of the assessment method. More specifically, “the interpretation of scores must be linked to a network of theory, hypotheses, and logic which are presented to support or refute the reasonableness of the desired interpretations.”21

전통적으로, 하나의 정답의 합의되어 왔다. 더 최근에, SCT는 전문가 패널의 "누적 반응"을 고려할 수 있는 가능성을 보여주었다. Charlin과 Van der Vleuten15는 특히 불확실성의 영역에서 전문가 패널의 누적 응답은 모달 응답과 모달 응답에 가까운 응답을 포함하여 다양한 잠재적으로 허용가능한 응답을 조명하는 데 도움이 된다고 주장한다.15 우리는 이 일반 개념을 지지한다. 그러나 이 채점 방법에 대한 유효한 비판은 전문가가 제공한 응답에 대한 제한된 안전 점검조차 없다는 것이다.22 전문가도 질문을 잘못 해석하거나 오류를 범할 수 있다. 그들의 반응이 궁극적으로 점수 키를 형성하기 때문에, 평가 전에 그 키를 선별하는 것이 중요하다.

Traditionally, a consensus response has been sought, producing a single answer. More recently, SCT has demonstrated the potential to consider the “cumulative response” of a panel of experts. Charlin and van der Vleuten15 contend that, particularly in areas of uncertainty, the cumulative response of the expert panel helps to illuminate a variety of potential acceptable responses including modal responses and responses near to the modal response.15 We support this general concept. However, a valid criticism of this scoring method is the absence of even a limited peer review of the responses provided by the experts.22 Experts can also misinterpret a question  or make an error. Because their responses ultimately form the scoring key, it is vital to screen that key prior to the assessment.

네 번째 장벽은 실현 가능성과 관련이 있다. 불확실성의 맥락에서 임상 추론의 관련 평가와 관련된다.

A fourth barrier, facing relevant assessment of clinical reasoning in contexts of uncertainty, relates to feasibility.

• 평가 형식은? 특정 형식에 필요한 리소스(예: 컴퓨터, 표준화된 환자, 마네킹 등)는 무엇인가? 컴퓨터 기술에 의존하고 있는가? 믿을만해? 안전해?

• What will the format of the assessment be? What resources (i.e., computers, standardized patients, mannequins, etc.) does the specific format require? Is there a reliance on computer technology? Is it reliable? Is it secure?

• 누가 평가를 개발할 것인가? 어떤 전문지식이 필요한가? 어디서 어떻게 이런 일이 일어날까? 비용은 얼마인가?

• Who will develop the assessment? What expertise is required? Where and how will this occur? What is the cost?

• 평가는 어디에서 실시될 것인가? 해당 위치가 이용 가능하고, 접근 용이하며, 안전하며, 평가 방법에 적합한가? 그 장소에 많은 지원자가 들어갈 수 있을까? 시설비는 얼마인가?

• Where will the assessment take place? Is the location available, easily accessible, secure, and appropriate for the assessment method? Can the location accommodate a large number of candidates? What is the cost of the facility?

• 평가는 언제 실시되는가? 얼마나 걸리나요? 이는 후보자, 심사원 및 관리자의 가용성에 적합한가?

• When will the assessment take place? How long does it take? Does this fit reasonably well with the availability of candidates, examiners, and administrators?

• 평가 관리를 위해 응시자나 심사원이 여행 및 숙박과 관련하여 상당한 비용을 부담해야 하는가?

• Does the administration of the assessment require candidates or examiners to incur significant costs related to travel and accommodation?

• 시기, 위치, 응시자 수 및 응시자 수 때문에 두 개 이상의 시험을 생성해야 하는가(즉, 시험 A와 시험 B)? 의도하지 않은 시험 노출/오염에 대한 위험을 야기하는가? 후보자들에 대한 격리 조치가 필요한가?

• Does the timing, location, number of candidates, and number of examiners necessitate the creation of more than one examination (i.e., Exam A and Exam B)? Does this threaten/create risk for unintended test exposure/contamination? Is sequestering of candidates necessary?

• 평가 결과를 개발, 관리, 점수화, 배포하고 안전하게 저장하는 데 소요되는 시간과 재정적 비용은 얼마인가?

• What is the time and financial cost to develop, administer, score, distribute, and securely store results of the assessment?

SCT 방법은 실현가능성의 관점에서 몇 가지 장점을 제공한다. SCT는 안전하고 신뢰할 수 있는 인터넷 접속을 제공할 수 있는 임의의 시간과 장소에서 발생할 수 있다. SCT는 60~90분 안에 투여할 수 있으며 즉각적인 채점을 할 수 있다. SCT 형식은 시각적 영상(즉, X선, 래시, ECG), 비디오(즉, 발작), 오디오(즉, 심장 또는 폐음)의 통합을 지원한다. 이 형식은 임상적 사실성을 만드는 데 도움이 된다.

The SCT method offers several advantages from the perspective of feasibility. The SCT may take place at any time and in any location that can offer secure and reliable Internet access. SCT can be administered in 60 to 90 minutes and produces instantaneous scoring. The SCT format supports the integration of visual images (i.e., x-rays, rashes, an ECG), video (i.e., seizures), and audio (i.e., heart or lung sounds); this format helps to create clinical realism.

강력한 평가를 개발할 때 고려해야 할 또 다른 기준은 미래의 학습과 실습에 미치는 영향이다.4 의학 교육자들은 평가가 학습을 촉진한다는 것을 잘 알고 있다.27

Another criterion to consider, when developing a robust assessment, is the impact on future learning and practice.4 Medical educators are well aware that assessment drives learning.27

우리는 이러한 효과가 임상 추론 기술 개발, 불확실성 관리, 훈련 중 환자에 대한 더 나은 임상 의사 결정, 그리고 경력의 과정에 대한 경험 증대에 있어 연습생들에게 도움이 될 것이다.

We anticipate that these effects will aid trainees in developing clinical reasoning skills, managing uncertainty, making better clinical decisions for their patients during their training, and with increasing experience over the course of their career.

맺음말

Concluding Remarks

세계적으로 건강관리가 발전하면서 유아, 아동, 성인은 병에서 살아남고 점점 더 복잡한 건강관리 조건을 안고 살고 있다. 동시에 의학 연구는 우리의 임상 지식의 경계를 계속 밀어붙이고 있으며, 우리가 "새로운 길"을 불붙이면서 우리는 자연스럽게 미지의 영역과 불확실성에 직면하게 된다. 그러나 이 과정에서 우리는 종종 그 불확실성을 관리하기 위해 둘 이상의 안전하고 허용 가능한 접근법을 발견한다.

With advancements in health care worldwide, infants, children, and adults are surviving illness and living with increasingly complex health care conditions. Concurrently, medical research continues to push the boundaries of our clinical knowledge, and as we blaze “new trails” we naturally encounter uncharted territory and uncertainty. During this process, however, we often discover more than one safe and acceptable approach to managing that uncertainty.

4 Durning SJ, Artino AR Jr, Schuwirth L, van der Vleuten C. Clarifying assumptions to enhance our understanding and assessment of clinical reasoning. Acad Med. 2013;88:442–448.

---

Acad Med. 2017 Jun;92(6):746-751. doi: 10.1097/ACM.0000000000001559.

Transforming Medical Assessment: Integrating Uncertainty Into the Evaluation of ClinicalReasoning in Medical Education.

Cooke S1, Lemay JF.

Author information

1

S. Cooke is clinical associate professor, Department of Paediatrics, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. J.F. Lemay is professor, Department of Paediatrics, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada.

Abstract

In an age where practicing physicians have access to an overwhelming volume of clinical information and are faced with increasingly complex medical decisions, the ability to execute sound clinical reasoning is essential to optimal patient care. The authors propose two concepts that are philosophically paramount to the future assessment of clinical reasoning in medicine: assessment in the context of "uncertainty" (when, despite all of the information that is available, there is still significant doubt as to the best diagnosis, investigation, or treatment), and acknowledging that it is entirely possible (and reasonable) to have more than "one correct answer." The purpose of this article is to highlight key elements related to these two core concepts and discuss genuine barriers that currently exist on the pathway to creating such assessments. These include acknowledging situations of uncertainty, creating clear frameworks that define progressive levels of clinicalreasoning skills, providing validity evidence to increase the defensibility of such assessments, considering the comparative feasibility with other forms of assessment, and developing strategies to evaluate the impact of these assessment methods on future learning and practice. The authors recommend that concerted efforts be directed toward these key areas to help advance the field of clinical reasoning assessment, improve the clinical care decisions made by current and future physicians, and have positive outcomes for patients. It is anticipated that these and subsequent efforts will aid in reaching the goal of making future assessment in medical education more representative of current-day clinical reasoning and decision making.

PMID:

 

28557933

 

DOI:

 

10.1097/ACM.0000000000001559