인간과 기계: 임상추론학습의 공생적 접근을 위하여(Med Teach, 2019)

Humans and machines: Moving towards a more symbiotic approach to learning clinical reasoning
Ralph Pinnocka , Jenny McDonaldb , Darren Ritchiec and Steven J. Durningd,e

도입

Introduction

인공지능(AI)은 헬스케어를 비롯한 많은 직업에서 대규모 변화를 가속화할 것이 확실시되는 성장현상이다. 아마도 AI가 의료에 가져올 가장 중요하고 도전적인 변화는 환자를 어떻게 진단하느냐일 것이다(마스터 2019). 
Artificial Intelligence (AI) is a growing phenomenon that is certain to accelerate wide-scale changes in many professions including healthcare. Perhaps the most significant and challenging change that AI will bring to health care is how we diagnose patients (Masters 2019). 

우리는 지금이 [학부 교과과정의 임상 추론에 대한 우리의 가르침에 AI를 어떻게 통합할 것인지] 고려해야 할 때라고 생각한다.

We believe that now is the time to consider how we will incorporate AI into our teaching of clinical reasoning in the undergraduate curriculum.

임상추론

Clinical reasoning

임상추론이란 [의사가 특정 상황과 선호도에 기초하여 환자를 진단하고 관리하기 위해 정보를 관찰, 수집 및 분석하는 데 사용하는 인지 과정]이다(Eva et al. 2007; Durning and Artino 2011). 임상 추론을 가르치려는 명시적 시도에는 다음을 포함한다.

• 인지 과정(예: 이중 프로세스 이론)과 이 두 프로세스 각각에 관련된 전략(예: 주요 특징 및 패턴 인식)을 가르치고,
• 이러한 전략의 사용의 유연성을 강조하며,
• 의도적(노력적) 실천의 필요성과 지식 획득 및 지식의 조직화(정보가 실제로 효율적이고 효과적으로 회수될 수 있도록 기억 속에서 서로 얽히거나 엮이는 방법을 참조하는 것)의 중요성을 강조하는 것
• 패턴 인식, 가설 추론 및 메타 인지(자신의 생각을 반영하는 것)은 임상 추론을 이해하는 데 있어 종종 기초적인 것으로 강조되는 임상 추론 전략이다(찰린 외 2007; 리 외 2010; 크로커리 외 2013; 게이 외 2013; 렌치 외 2016). 

Clinical reasoning is the cognitive processes physicians use to observe, collect, and analyse information to diagnose and manage a patient based on their specific circumstances and preferences (Eva et al. 2007; Durning and Artino 2011). Explicit attempts to teach clinical reasoning have included

• teaching both cognitive processes (e.g. dual process theory) and strategies pertaining to each of these two processes (e.g. key features and pattern recognition),
• emphasizing flexibility in use of these strategies,
• the need for deliberate (effortful) practice and stressing the importance of knowledge acquisition and its organization (latter referring to how information is believed to be intertwined or weaved in memory so that it can be efficiently and effectively recalled in practice).
• Pattern recognition, hypothetico-deduction and metacognition (reflecting on one’s thinking) are clinical reasoning strategies that are often emphasized as fundamental to understanding clinical reasoning (Charlin et al. 2007; Lee et al. 2010; Croskerry et al. 2013; Gay et al. 2013; Rencic et al. 2016). 
  
  인공지능

Artificial intelligence

AI라는 용어는 1950년대에 인간 지능과 학습의 측면을 정확하게 기술하여 기계로 시뮬레이션할 수 있도록 하기 위해 만들어졌다. 
The term AI was first coined in the 1950s as the precise description of aspects of human intelligence and learning such that it can be simulated by machines (Shannon and McCarthy 1956). 

수년 동안, AI에 대한 많은 정의가 제안되었다(Russell and Norvig 2009). 한 가지 핵심 쟁점은 인공지능이 의미하는 바를 정의하는 어려움과 관련이 있다. 
Over the years, many definitions of AI have been proposed (Russell and Norvig 2009). One key issue relates to the difficulty of defining what we mean by artificial intelligence. 

우리는 진단 의료 환경에서 AI를 [정확한 임상 진단을 지원하거나 만드는 것을 목표로 하는 모든 계산 과정]으로 정의한다. 따라서 AI는 임상 추론을 모방하는 것을 목표로 하는 유방 촬영의 병변 분류와 같은 특정 인식 작업recognition task을 위한 시스템을 포함할 수 있다. 예를 들어, 열이 있는 어린 아이가 더 사소한 바이러스 감염인지 아니면 생명을 위협하는 심각한 박테리아 감염인지를 진단하는 방법(Liang et al. 2019). 
we define AI in the diagnostic health care context as any computational process that has as its goal supporting or making the correct clinical diagnosis. Thus, AI can include systems for specific recognition tasks such as the classification of lesions in mammograms to more complex problems, which aim to emulate clinical reasoning. For example, howto diagnose whether a young child who presents with fever has a more trivial viral infection or a life-threatening serious bacterial infection (Liang et al. 2019). 


전통적으로 환자의 프레젠테이션 진단은 의사의 배타적 영역이었다. 보다 최근에는 진단 정확도를 높이기 위한 방법으로 환자와 다른 전문 의료진의 진단 프로세스에 대한 기여가 제안되었다(Graber et al., 2012). 
Traditionally, the diagnosis of a patient’s presentation has been the exclusive domain of physicians. More recently, contributions to the diagnostic process from the patient and other professional healthcare staff have been proposed as ways to improve diagnostic accuracy (Graber et al. 2012). 

최근 AI의 발전은 지금과같은 [진단에서의 인간의 배타적 역할]에 도전하고 있다. 따라서 임상 실무에서 임상의는 환자의 프레젠테이션과 관련된 특정 정보를 기기에 제시하거나(Zorc et al. 2019) 환자 기록에서 필요한 정보를 얻고 진단하기 위해 교과서, 데이터베이스 및 합의된 의견으로부터 정보를 사용하도록 기기를 훈련시킬 수 있다(Liang et al. 2019). 
Recent developments in AI are now challenging the exclusive role of humans in diagnosis. Thus, in clinical practice clinicians can present specific information relevant to the patient’s presentation to the machine (Zorc et al. 2019) or the machine can be trained to obtain the necessary information from the patients’ records and use information from textbooks, databases and consensus opinions to diagnose (Liang et al. 2019). 

AI가 빠르게 변화하는 기술이고 앞으로도 변화가 일어날 것이라는 점이 AI를 가르치는 과제 중 하나다.

One of the challenges of teaching AI is that it is a rapidly changing technology and changes will continue to occur. 

임상 추론을 지원하기 위한 AI의 최근 발전
Recent developments in AI to support clinical reasoning

임상 추론을 모방하려는 초기 [규칙 기반 시도]는 질병 모델이 없는 상태에서 운영되었기 때문에 대부분 실패했다(Szolovits et al., 1988). 나중에, 전문가 시스템은 이 문제를 해결하려고 시도했지만 복잡했고, 개발하는 데 수 년의 전문가 노동력이 걸렸고, 개발된 특정 영역(Lenat 및 Feigenbaum 1991)을 넘어서서 취약했다. 문제 해결에 대한 통계적 접근법(기계 학습이라고도 함)은 세기가 바뀔 무렵에 인기를 얻기 시작했으며, 지난 10여 년 동안 데이터 처리 능력과 스토리지의 발전은 이전에는 상상할 수 없었던 규모(Marcus 2018)에서 데이터를 다루는 방법을 제공하였다. 
Early rule-based attempts to emulate clinical reasoning largely failed because they operated in the absence of models of disease (Szolovits et al. 1988). Later, expert systems attempted to address this but were complex, took years of expert labour to develop and were fragile beyond the specific domains for which they were developed (Lenat and Feigenbaum 1991). Statistical approaches to problem solving (also called machine learning) began to find favour around the turn of the century and in the last decade or so, advances in data processing power and storage have provided a way of dealing with data (for purposes such as clinical reasoning) on a previously inconceivable scale (Marcus 2018). 

AI의 한 분야일 뿐인 머신러닝은 패턴인식을 활용한 영상 차별화를 컴퓨터에 가르칠 수 있게 해 임상 실무에서 상태 진단에 도움을 주는 데 활용되고 있다. 예를 들어, 기계는 흑색종의 초기 단계(Esteva et al. 2017)와 당뇨망막병증의 초기 망막 변화(De Fauw et al. 2018)를 진단하는 데 사용된다. 
Machine learning, which is just one branch of AI, makes it possible to teach computers to differentiate images using pattern recognition and is now being used to help diagnose conditions in clinical practice. For example, machines are used to diagnose early stages of melanoma (Esteva et al. 2017) and early retinal changes of diabetic retinopathy (De Fauw et al. 2018). 

기계 학습은 이미지뿐만 아니라 모든 소스의 데이터를 사용할 수 있습니다. 최근에는 인공신경망(ANN – 대뇌피질의 신경 연결성에 의해 느슨하게 영감을 받는 기계 학습 접근법)이 전자 환자 건강 기록, 진단 테스트 및 영상(Marcus 2018)을 사용하여 복잡한 환자 표시를 해결하기 위해 적용되고 있다. 이러한 네트워크는 자연어 처리를 사용하여 전자 건강 기록에서 환자 프레젠테이션의 세부 정보와 교과서, 데이터베이스 및 합의된 의견에서 가능한 원인 질환의 특징에 모두 액세스하여 특정 임상 조건을 진단하는 데 사용할 수 있다(Lang 등. 2019).
Machine learning can use data from any source, not just images. Recently, artificial neural networks (ANN – a machine learning approach which is loosely inspired by neuronal connectivity in the cerebral cortex) have been applied to solve complex patient presentations using electronic patient health records, diagnostic tests and imaging (Marcus 2018). Using natural language processing these networks can access both details of patients’ presentations from electronic health records and features of possible causative disorders from textbooks, databases and consensus opinions and use them to diagnose specific clinical conditions (Liang et al. 2019).

AI가 임상 실무에서 사용될 수 있는 방법은 무수히 많다. 우리는 의사들이 AI를 그들 자신의 추론을 대체하는 것이 아니라 진단 정확도를 향상시키기 위해 그들의 practice를 향상시키는 것으로 보아야 한다고 제안한다. AI는 의사들에게 환자의 프레젠테이션에 대해 가능한 광범위한 진단을 알리는 의사 결정 지원 도구로 점점 더 많이 사용되고 있다(Graber et al., 2012).

There are numerous ways that AI can be used in clinical practice. We suggest that doctors should view AI as augmenting their practice to improve diagnostic accuracy rather than as a substitution for their own reasoning. AI is increasingly being used as a decision support tool to alert physicians to a wide range of possible diagnoses for a patient’s presentations (Graber et al. 2012).

치료를 위해 환자를 트리아지하는 것도 AI의 또 다른 가능성 있는 역할이다. 교육 초기(일부 국가에서는 임상 전 기간으로 알려져 있음)의 학생과 지속적인 교육에서 의사가 [자신의 진단]을 [기계의 진단]과 비교할 수 있는 교육 보조 역할을 모색하고 있다. 
Triaging patients for treatment is another possible role for AI. Its role as a teaching aid where students early in their training (known as the preclinical period in some countries) and physicians in their continuing education can compare their own diagnosis with that of a machine is being explored. 

훈련 초기 의사에게 AI는 심각한 상태와 덜 심각한 상태를 구별하는 데 도움을 줌으로써 일반적인 프레젠테이션에서 진단을 지원하는 데도 사용될 수 있다. (Lang et al., 2019) 방사선과 의사가 일상적인 흉부 X선 판독 작업에서 벗어나면 중재적 시술에 더 많은 시간을 할애할 수 있다(Annarumma et al. 2019).

For doctors early in their training AI can also be used to support their diagnosis in common presentations by helping differentiate serious from less serious conditions. (Liang et al. 2019). Relieving radiologists from the task of reading routine chest x-rays will allow them more time to spend on interventional procedures (Annarumma et al. 2019).

임상 추론에 필수적인 AI 개념을 가르치기 위한 프레임워크 개념화
Conceptualising a framework to teach essential AI concepts in clinical reasoning

교사와 학습자는 임상 추론과 AI 간의 유사점과 특히, AI 개념이 임상 추론 지침에 통합될 수 있는 방법을 알아야 한다. 
teachers and learners should be aware of the parallels between clinical reasoning and AI and, in particular, ways that AI concepts can be incorporated into clinical reasoning instruction. 

기초과학
Basic sciences

기초과학 측면에서 의대생들은 일반적으로 이중처리이론에 노출되며 AI는 인간의 이중처리이론과 광범위하게 관련된다. 
In terms of the basic sciences, medical students are typically exposed to dual process theory and AI broadly relates to dual processes theory in humans. 

의대생들은 이미지 인식을 이용하여 제1종 추론과 비교할 수 있다. 예를 들어, X선에 대한 해석을 기계의 해석과 비교할 수 있습니다. 이것은 학생들에게 기계 학습의 함정을 배울 뿐만 아니라 조기 폐쇄의 편견을 인식시킬 수 있는 기회가 될 것이다. 또한 Isabel과 같은 진단 의사결정 지원 시스템은 보다 복잡한 프레젠테이션에 차등 진단을 제공하는 데 도움이 될 수 있습니다. 그런 다음 학생들은 [기계가 제공하는 감별 진단]과 [II형 사고에서 파생된 자신의 감별 진단]을 비교할 수 있습니다. 

Medical students can use image recognition to compare with their Type I reasoning. For example, they can compare their interpretation of x-rays with those of machines. This would be an opportunity for students to be made aware of the bias of premature closure as well as to learn the pitfalls of machine learning. In addition, diagnostic decision support systems such as Isabel can assist in providing differential diagnoses for more complex presentations. Students can then compare the differential diagnosis provided by the machine with their own differential diagnosis derived from Type II thinking. 

정보 수집

Information gathering

의대 학생들이 환자로부터 정보를 수집하고 분석하는 방법은 학부 교육 중에 변화한다고 여겨진다(Pinnock et al., 2019). 임상 추론의 개발 초기 단계에 있는 학생들은 별도의 인지 과정으로서 정보를 수집하고 분석한다. 아마도 그들이 '병증 스크립트'를 다듬었을 때, 그들은 '자발적으로 생각하고' 두 과정을 동시에 수행할 수 있을 것이다(Bowen 2006; Pinnock et al. 2019).).  
How medical students gather and analyse the information from patients is believed to change during their undergraduate training (Pinnock et al. 2019). Students in the early stages of development of clinical reasoning gather and analyse information as separate cognitive processes – it is only towards the end of their training, probably when they have refined their ‘illness scripts’, that they are able ‘think on their feet’ and perform both processes simultaneously (Bowen 2006; Pinnock et al. 2019). 

최근, Maicher 등(Maicher et al., 2017)은 의대생의 정보 수집 능력을 정확하게 평가하기 위해 챗봇을 사용하여 표준화된 환자를 만드는 방법을 기술했다. 이러한 가상 환자는 신중하게 시술할 수 있는 기회를 제공하고 즉각적인 피드백을 제공합니다. 의대생이 수집한 정보의 품질에 대한 평가는 임상 교사의 평가와 유사하지만 저자는 챗봇의 적용이 제한된 영역과 비교적 단순한 맥락으로 제한된다는 것을 인정한다. 마스터스(마스터즈 2019)는 AI가 학생들의 지식 격차를 파악해 대응하고 학생과 교사들에게 피드백을 제공하는 튜터링 시스템을 제공할 것으로 전망하고 있다. 

Recently, Maicher et al. (Maicher et al. 2017) described using a chatbot to create standardised patients in order to accurately assess information-gathering skills of medical students. These virtual patients provide an opportunity for deliberate practice and provide immediate feedback. Their assessments of the quality of information gathered by medical students is comparable to that of their clinical teachers but the authors acknowledge that the application of chatbots are constrained to limited domains and relatively simple contexts. Masters (Masters 2019) predicts that AI will provide tutoring systems that identify and respond to gaps in students’ knowledge and provide feedback to students and teachers. 

의사 결정, 오류 및 편견에 사용되는 데이터
Data used to make decisions, errors and biases

유형 I 및 유형 II 추론을 포함한 [임상 추론의 기초적 과학]을 학습함에 따라, 머신 의사 결정에 기초하는 AI 및 머신 러닝에 대한 광범위한 접근 방식을 소개하고 머신 정확도에 영향을 미치는 요소를 논의할 수 있다. 

• 예를 들어, 특정 컨텍스트에 수집된 데이터를 밀접하게 적합시키는 예측 모델은 해당 컨텍스트에 대해 매우 정확할 수 있지만 새로운 컨텍스트로 전송하지 못할 수 있다(즉, 모델이 특정 상황에 편향되어 있다). 
• 반대로, 특정 컨텍스트에서 합리적인 데이터 근사치를 제공하는 모델은 서로 다른 데이터 세트(즉, 모델의 분산이 더 크다)를 가진 새로운 컨텍스트에서 잘 작동할 수 있다. 

학생들이 임상 실습에서 사용에 대한 모델 적합성을 평가하기 위해 머신 러닝 모델(편향-분산 트레이드오프라고 함)의 편향과 분산을 도입하는 것이 중요할 것이다. 

As students learn the basic science of clinical reasoning, including Type I and Type II reasoning they can be introduced to the broad approaches to AI and machine learning that underlie machine decision-making and discuss factors that affect machine accuracy.

• For example, a predictive model that closely fits data gathered in a specific context may be highly accurate for that context but fail to transfer to new context (i.e. the model is biased towards a specific situation).
• Conversely, a model that provides a reasonable approximation of data in a specific context may work well in new contexts with different data sets (i.e. greater variance in the model).

It will be important that students are introduced to bias and variance in machine learning models (called the bias-variance trade-off) in order to assess model suitability for use in clinical practice. 

감별진단

Differential diagnoses

인간은 고려 중인 잠재적 진단의 수를 제한하는 제한된 인지 능력을 가지고 있지만, 기계는 원칙적으로 무한한 수의 가능한 진단을 관리할 수 있다. 그럼에도 불구하고 기계는 여전히 가장 가능성이 높은 진단을 검색하기 위한 전략이 필요하다. 그것이 패턴 인식을 통해서든, 일종의 프로그래밍된 논리 또는 추론과 진단 모델(예: 임상 가이드라인)을 함께 사용하든, 아니면 둘의 조합을 통해서든. 

While humans have a limited cognitive capacity, which limits the number of potential diagnoses under consideration, a machine can, in principle, manage an infinite number of possible diagnoses. Even so, a machine still needs a strategy to search for the most likely diagnosis, whether that is through pattern recognition, some kind of programmed logic or reasoning together with a diagnostic model (such as a clinical guideline), or a combination of the two. 

환자 중심성 및 커뮤니케이션
Patient centeredness and communication

환자들은 그들의 의사의 진단에 대한 이유를 그들에게 설명받는 것에 익숙하다. 미래 의사의 AI 과제 중 하나는 기계에서 생성된 진단에 어떻게 대처하느냐 하는 것이다. 
Patients are accustomed to having the reasons for their physician’s diagnosis explained to them. One of the challenges with AI for future physicians will be how to address machine generated diagnoses. 

현재로선 의사소통과 공감능력의 발전과 실천이 전적으로 인간의 영역 안에 있다. 그렇긴 하지만, 미래에는 이것이 항상 그런 것은 아닐 수도 있다는 징후가 있다. 인간과 유사한 아바타는 인간과 유사한 감정에 반응하고 표시하도록 훈련될 수 있습니다(예: Soul Machine).TM) 
For now, the development and practice of communicative and empathetic skills is entirely within the domain of humans. Even so, there are signs on the horizon that this may not always be the case. Human-like avatars can be trained to both respond to and display human-like emotions (e.g. Soul MachinesTM) 

학생들이 AI에 의한 진단에 대해 알아야 할 것은 무엇인가?
What will students need to know about diagnoses by AI?

학생들은 그들이 사용하고 있는 기계의 리콜(감성 또는 기계가 모든 진정한 양의 일치를 정확하게 식별하는 확률)과 양의 예측 값(기계에 의해 양의 일치로 분류된 결과가 실제로 양의 일치가 될 확률)과 같은 평가 척도를 이해할 필요가 있을 것이다. 그들은 인간과 기계의 진단에 대한 평가자간 조치와 평가 기법을 적용해야 할 것이다. 
students will need to understand evaluative measures such as the recall (sensitivity or the probability that a machine correctly identifies all true positive matches) and positive predictive value (precision or the probability that an outcome categorised by a machine as a positive match really is a positive match) of the machines they are using. They will need to apply inter-rater measures and evaluation techniques of diagnoses from humans and machines. 

머신 러닝 모델은 일반적으로 컨텍스트와 모집단마다 다르다(Marcus 2018). 이 모델은 널리 사용되기 전에 별도의 모집단의 데이터에 대해 훈련되고 검증되어야 한다. 
Machine learning models are typically context and population specific (Marcus 2018). The models will need to trained and validated on data from separate populations before widespread use. 

AI가 의사를 대체할 가능성은 낮다는 점은 인정되지만, 미래의 유능한 주치의는 AI를 활용해 진단과 치료 옵션을 강화할 가능성이 크다(마스터 2019). AI가 어떻게 자신의 장애를 진단하고 관리하는 데 사용되고 있는지를 설명하면서 환자와 더욱 효과적이고 공감적으로 소통하는 것이 미래의 의사들에게 큰 역할을 할 것이다. 
Though it is acknowledged that AI is unlikely to replace physicians, the competent physician of the future will most likely use AI to enhance diagnosis and treatment options (Masters 2019). A major role for physicians of the future will be to communicate more effectively and empathetically with patients as they explain how AI is being used to diagnose and manage their disorders. 

결론

Conclusion

AI의 윤리적 난제들이 다뤄져야 할 것이다. 여기에는 적절한 근거에 기초하지 않은 진단 또는 치료에 대한 정보를 사용하고 환자의 프라이버시를 보존하기 위해 환자 기록에서 수집된 방대한 양의 데이터를 관리하는 인간의 편견을 반영하는 알고리듬이 포함된다. 또한 학습자와 교수진에게 새로운 기술을 평가하는 방법과 이러한 기술이 임상 추론 및 기타 주제에 미치는 영향을 가르쳐야 합니다. 의학적이든 의학적이든 전문적 관행의 필수적인 요소는 자신의 결정과 행동을 지속적으로 반성하고 평가할 수 있는 능력이다. 우리 모두가 급변하는 세계와 씨름할 때, 임상 추론을 가르치는 데 AI의 요소를 통합하는 것은 우리 학생들에게 이러한 능력을 장려하고 홍보하는 것과 일치한다.
The ethical challenges of AI will need to be addressed. These include algorithms mirroring human biases, using information on diagnosis or treatment that is not based on adequate evidence and managing the extensive amount of data collected from patient records to preserve patient privacy. Learners and faculty will also need to be taught how to evaluate new technologies and their impact on clinical reasoning and other topics. An essential component of any professional practice, medical or otherwise, is the ability to continuously reflect on and evaluate one’s decisions and actions. As we all grapple with a rapidly changing world, incorporating elements of AI into teaching clinical reasoning is consistent with encouraging and promoting this ability in our students. 




Rencic J, Durning SJ, Holmboe E. Gruppen LD. 2016. Understanding the assessment of clinical reasoning. In: Assessing competence in professional performance across disciplines and professions. Cham: Springer International Publishing; p. 209–235. http://link.springer.com/10.1007/978-3-319-30064-1_11.

Med Teach. 2020 Mar;42(3):246-251.

 doi: 10.1080/0142159X.2019.1679361. Epub 2019 Oct 28.

Humans and machines: Moving towards a more symbiotic approach to learning clinical reasoning

Ralph Pinnock 1, Jenny McDonald 2, Darren Ritchie 3, Steven J Durning 4 5

Affiliations collapse

Affiliations

• 1Educational Unit, Dunedin School of Medicine, Otago University, Dunedin, New Zealand.
• 2Centre for Learning & Research in Higher Education (CLeaR), University of Auckland, Auckland, New Zealand.
• 3Dunedin School of Medicine, Otago University, Dunedin, New Zealand.
• 4Professor of Medicine and Pathology and Director Graduate Programs in Health Professions Education, Uniformed Services University of the Health Sciences, Bethesda, MD, USA.
• 5Medicine and Pathology, Uniformed Services University of the Health Sciences, Bethesda, MD, USA.

• PMID: 31658842

• DOI: 10.1080/0142159X.2019.1679361

Abstract

Artificial intelligence is a growing phenomenon that is driving major changes to how we deliver healthcare. One of its most significant and challenging contributions is likely to be in diagnosis. Artificial intelligence is challenging the physician's exclusive role in diagnosis and in some areas, its diagnostic accuracy exceeds that of humans. We argue that we urgently need to consider how we will incorporate AI into our teaching of clinical reasoning in the undergraduate curriculum; students need to successfully navigate the benefits and potential issues of new and developing approaches to AI in clinical diagnosis. We offer a pedagogical framework for this challenging change to our curriculum.

임상 상황에서 일반역량의 발전정도 탐지의 어려움(Med Educ, 2018)

The challenges of detecting progress in generic competencies in the clinical setting
Val
erie Dory,1,2 Carlos Gomez-Garibello,1,2 Richard Cruess,1,3 Sylvia Cruess,1,2 Beth-Ann Cummings1,2,4 & Meredith Young1,2

도입

INTRODUCTION

역량 기반 의료 교육(CBME)에서 평가는 개인의 역량 발달을 추적해야 한다.1 이를 위해서는 성과 기반 평가의 종단적 프로그램이 필요하다. 교육 단계에 관계없이 프로그램의 모든 학습자에게 시행되는 진행 목표 구조 임상 검사(진행 OSCE)는 학부 2 및 대학원 3,4 의료 교육에서 성공적으로 시범 운영되었습니다. 그러나 OSCE는 비용이 많이 들고, 이는 평가의 잠재적 빈도를 제한하며, 작업장 기반 평가(WBA)보다 진위성이 떨어진다.1 
In competency-based medical education (CBME), assessment must track individuals’ development of competencies.1 This requires a longitudinal programme of performance-based assessments. Progress objective structured clinical examinations (progress OSCEs), administered to all learners in a programme, regardless of stage of training, have been successfully piloted in undergraduate2 and postgraduate3,4 medical education. However, OSCEs are costly, which limits the potential frequency of assessments,5 and are less authentic than workplace- based assessments (WBAs).1 

따라서 CBME는 progress OSCE에만 의존할 수 없으며 프로그램의 시간 내에 예상되는 진행 정도에 민감한 종방향 WBA를 사용해야 한다. 이 민감도는 이에 따라 달라진다.

• 올바른 구성(하나 또는 여러 역량)을 목표로 하는 것
  
• 올바른 도구의 사용(타당성 증거 포함)
  
• 올바른 방식으로(평가자 및 의사 결정자가) 평가하는 것
  

Therefore, CBME cannot rely solely on progress OSCEs but requires the use of longitudinal WBAs that are sensitive to the degree of progress expected within the programme’s time frame; this sensitivity hinges on

• the targeting of the right construct (one or several competencies), and
• the use of the right instrument (with supporting validity evidence)
• in the right way (by assessors and decision makers). 

평가자는 불행히도 일관성이 없는 것으로 악명 높다. 6,7

• 다양한 측면의 성능에 초점을 맞춥니다(differential salience), 8-10
  
• 동일한 행동에 대해 다른 이유를 추론하다. 9,10
  
• 다양한 방식으로 역량을 개념화한다(수행 이론), 11
  
• 다양한 수준의 끈적임(매/비둘기 효과),
• 척도를 달리 해석하다10
  

Assessors are unfortunately notoriously inconsistent.6,7 They

• focus on different aspects of performance (differential salience),8–10
• infer different reasons for the same behaviour,9,10
• conceptualise competence in different ways (performance theories),11
• exhibit different levels of stringency (the hawk/dove effect),8 and
• interpret scales in different ways.10 

'기대 충족'과 같은 기존의 scale 앵커는 벤치마크를 명확하게 전달하지 못한다.6,10 이러한 명확성의 결여는 평가를 완료할 때 평가자의 표준 참조(즉, 학습자와 동료를 비교하기 위해)에 의존하는 경향을 복합적으로 만들 수 있다. 6,10,12 표준 참조norm-referencing는 CBME와 양립할 수 없기 때문에 특히 표준 규격이 맞지 않을 수 있다. 때때로 안전 실천safe practice 수준 아래로 떨어집니다.1 
Traditional scale anchors, such as ‘meets expectations’, fail to clearly convey benchmarks.6,10 This lack of clarity may compound assessors’ tendencies to rely on norm-referencing (i.e. to compare learners with their peers) when completing an assessment.6,10,12 Norm-referencing is incompatible with CBME, most notably because normative standards may occasionally fall below levels of safe practice.1 

표준 참조는 또한 기준을 불명확하거나 자꾸 바뀌는 것으로 만들 수 있다. 10 예를 들어, 평가자는 능력 수준보다 훨씬 낮지만 대부분의 다른 초보자와 유사하게 '기대 충족'으로 수행 중인 초보 학습자에게 점수를 부여할 수 있다.

Norm-referencing also leads to unclear and potentially shifting standards.10 For example, an assessor might score a novice learner who is performing far below a competent level but similarly to most other novices as ‘meeting expectations’. 

그럼에도 불구하고, 심사원의 변동성variability은 여러 차례에 걸쳐 여러 명의 심사원으로부터 평가를 수집함으로써 완화될 수 있다(그리고 아마도 심사원 훈련을 통해, 15–17의 영향이 일관되지 않지만).
Assessor variability can nonetheless be mitigated by collecting assessments from multiple assessors on multiple occasions14 (and perhaps through assessor training, although the effects of this are inconsistent15–17).

올바른 도구의 사용과 관련하여, 미니 임상 평가 연습(mini-CEX)과 같은 여러 도구의 사용을 지지하는 증거가 많이 있다.14,18 그러나 그러한 기기의 변화에 대한 대응성에 관한 증거는 드물고 그룹 수준에서 제한된 검출 진행률을 보여준다.20–22
With respect to the use of the right instrument, there is mounting evidence supporting the use of several instruments, such as the mini-clinical evaluation exercise (mini-CEX).14,18 However, the evidence regarding the responsiveness of such instruments to change is scarce19 and limited detecting progress at the group level.20–22

마지막으로, 종단적 WBA는 프로그램 중에 개발될 것으로 예상되는 역량을 목표로 해야 한다. 이는 CBME를 점점 더 채택하고 있는 학부 의학 교육(UGME)에서 특히 문제를 제기한다. CBME에 대한 많은 작업이 수행된 대학원 의학 교육(PGME)보다 UGME는 시간이 더 짧다(일반적으로 PGME의 2~5년과 비교했을 때 UGME의 임상 배치 1~2년). 통상적으로 UGME에서 접하는 전공의 수가 더 많다. 
Finally, longitudinal WBA must target the competencies that are expected to develop during a programme. This raises particular challenges in undergraduate medical education (UGME), which is increasingly adopting CBME. The time frame is shorter than in postgraduate medical education (PGME), in which much of the work on CBME has been conducted (typically 1 or 2 years of clinical placements in UGME compared with 2–5 years in PGME), whereas the scope of disciplines encountered is usually broader. 

다양한 분야(직업)에서 임상 배치 첫 해 동안 일반 역량의 개발을 문서화하기 위해 종적 WBA 프로그램을 구현했다. 이 연구는 검증과 연구 목적을 결합했다.

We implemented a longitudinal WBA programme to document the development of generic competencies during the first year of clinical placements in diverse disciplines (clerkship). This study combined validation and research purposes. 

방법

METHODS

우리는 병렬 데이터베이스와 함께 수렴 혼합 방법 설계를 사용했다.23 정량적 암은 다음과 같은 문제를 해결했다.

• (i) 임상 배치 연도 동안 점수는 어떻게 변화합니까?
  
• (ii) 의과대학의 첫 번째 임상 연도에 종적으로 사용될 때, 전문적인 행동의 WBA의 정신계학적 특성은 무엇인가?
  
• (iii) 점수의 변동 원인은 무엇인가?
  
• (iv) 점수는 얼마나 신뢰할 수 있는가? 정성적 팔은 평가자의 평가 경험 및 구체적으로 다음과 같은 질문을 탐구하였다.
  
• (v) 평가인은 평가 대상을 어떻게 개념화하였는가?
  
• (vi) 평가자는 어떻게 판단에 도달했으며, 어떤 요소가 영향을 미쳤다고 믿는가? 특히 평가 당시 학생이 있는 연도를 고려하였는가?

We used a convergent mixed-methods design with parallel databases.23 The quantitative arm addressed the following questions:

• (i) How do scores change over the year of clinical placements?
• (ii) What are the psychometric properties of a WBA of professional behaviours, when used longitudinally in the first clinical year of medical school?
• (iii) What are the sources of variability in scores?
• (iv) How reliable are the scores? The qualitative arm explored assessors’ experiences of the assessment and specifically the following questions:
• (v) How did assessors conceptualise the target of assessment?
• (vi) How did assessors arrive at their judgements, what factors do they believe influenced them, and, specifically, did they take account of how long into the year students were at the time of the assessment? 

연구 맥락

Study context

우리는 4년제 학부 의학 교육과정의 3학년 때 종적 WBA를 구현했다. 3년은 세 개의 임상 블록으로 구성되며, 각각 두 개의 전공단위 기반 로테이션을 통합한다(그림 1). 
We implemented a longitudinal WBA in Year 3 of a 4-year undergraduate medical curriculum. Year 3 comprises three clinical blocks, each integrating two discipline-based rotations (Fig. 1). 

학생들은 환자와 마주치거나encounter 다학제 토론 중에 이를 관찰한 모든 보건 전문가로부터 로테이션 당 두 가지 평가를 도출하도록 지시 받았다. 회전당 최소 한 개씩을 유도하는 것은 의무적이었다. 모든 중대한 사고는 코스 책임자에게 보고해야 했지만, 그렇지 않은 경우 평가는 형성적이었다.
Students were instructed to elicit two assessments per rotation from any health professional who had observed them during a patient encounter or a multidisciplinary discussion. Eliciting at least one per rotation was mandatory. Any critical incidents were to be reported to the course director, but otherwise the assessment was formative. 


평가 도구는 전문성 미니 평가 연습(P-MEX)의 전자 버전이었다.24 P-MEX는 전문성에 대한 광범위한 개념을 반영하며 임상 분야와는 무관하게 여러 일반 역량을 포괄한다. P-MEX는 4점 척도로 평가되는 글로벌 항목 1개와 21개의 구체적 항목을 가지고 있으며, 각 항목에 대해 간략한 일반적인 설명을 제공한다.24 우리는 의과대학 졸업에 기대되는 성과 수준에 맞춰 기대치를 설정했다고 명시했다. 부록 S1 및 S2는 전체 계측기를 제공합니다. 
The assessment instrument was an electronic version of the professionalism mini-evaluation exercise (P-MEX).24 The P-MEX reflects a broad conception of professionalism and covers multiple generic competencies, independent of clinical discipline. The P-MEX has one global and 21 specific items, which are rated on a 4-point scale (from ‘unacceptable’ to ‘exceeded expectations’), and gives a brief generic explanation for each point.24 We specified that expectations were set in line with the level of performance expected on graduation from medical school. Appendices S1 and S2 provide the full instrument. 


양적 부분

Quantitative arm

참여자 Participants

분석 Analyses

점수의 변동성과 신뢰성의 원인을 조사하기 위해 G String IV(http://fhsperd.mcmaster.ca/g_string)를 사용하여 일반화가능성 분석을 수행했다. 평가는 학생 성취도의 차이를 식별하기 위해 고안되었다. 따라서, 원하는 변동성의 원천(또는 분화의 측면)은 학생이었다. 변동성의 다른 원인, 특히 다음과 관련된 변동성을 조사하였다.

• (i) 학생이 배정되고, 학생들의 회전 순서를 결정한 그룹('그룹': 계층화 면)
  
• (ii) 서로 다른 평가자가 각 학생에 대해 서로 다른 사건을 관찰하여 작성한 양식('형식': '학생'에 내포된 일반화의 무작위 면)
  
• (iii) 평가 양식의 개별 항목('항목': '양식'에 내포된 일반화의 고정 측면)
  

학생들 간의 신뢰성 있는 차별화에 필요한 양식 수를 결정하기 위해, 우리는 의사결정 연구(일반성 계수 0.80으로 설정)를 수행했다.

To examine the sources of variability and reliability of scores, we performed generalisability analyses using G String IV (http://fhsperd.mcmaster.ca/g_string). Assessments are designed to identify differences in student performance. Therefore, the desired source of variability (or facet of differentiation) was students. We examined other sources of variability, specifically the variability associated with:

• (i) the group to which students were assigned and which determined the order of their rotations (‘group’: stratification facet);
• (ii) the forms completed by different assessors observing different events for each student (‘form’: random facet of generalisation nested in ‘student’), and
• (iii) the individual items on the assessment form (‘item’: fixed facet of generalisation nested in ‘form’).

To determine the number of forms required to reliably differentiate among students, we performed a decision study (generalisability coefficient set at 0.80). 

질적 부분

Qualitative arm

참여자와 모집 Participants and recruitment

우리는 분야와 전문 그룹(참석 의사, 거주자, 비의사) 측면에서 최대한의 variation를 추구했다. 우리는 이메일로 대상 평가관에게 연락했습니다. 처음에 우리는 다양한 유형의 전문직(직업 및 분야별)으로부터 충분한 '정보력'을 확보하기 위해 약 6, 7명의 참가자로 구성된 6개의 포커스 그룹이 필요할 것으로 추정했다.27 일정상의 어려움 때문에 일부 포커스 그룹을 인터뷰로 전환했는데, 이들의 심층적인 성격이 더 적은 참여자로 충분한 '정보력'을 얻을 수 있게 해 20명의 참가자를 목표로 했다. 

We sought maximal variation in terms of disciplines and professional groups (attending physicians, residents, non-physicians). We contacted targeted assessors by e-mail. We had initially estimated that we would require six focus groups of approximately six or seven participants to ensure sufficient ‘information power’ from different types of professional (by profession and discipline).27 We converted some focus groups to interviews because of scheduling difficulties and found that their more in-depth nature allowed us to obtain sufficient ‘information power’ with fewer participants and so we aimed for 20 participants. 

인터뷰 가이드 Interview guide

인터뷰 가이드(부록 S3)는 평가자 인식에 관한 문헌의 이전 조사 결과에 의해 형성된 질문과 조사와 함께 인터뷰 대상자가 판단에 영향을 미쳤다고 생각하는 요소에 초점을 맞췄다. 6,7 여기에는 다음이 포함된다. 

• Differential salience (평가자마다 수행의 다른 측면에 초점을 맞춤), 8,9 
  
• 기준 불확실성 (평가자가 임의적으로 준거를 구성함), 8 
  
• 수행능력 이론(평가자가 자신의 임상 역량 모델을 사용함)11 
  

우리는 구체적으로 참가자들이 첫 번째 훈련 기간에 후속 기간보다 더 관대하게 행동함으로써 의식적으로 그들의 기대를 조정했는지에 대해 탐구했다.
The interview guide (Appendix S3) focused on the factors that interviewees believed had influenced their judgements, with questions and probes shaped by previous findings from the literature on assessor cognition.6,7 These included

• differential salience (assessors focus on different aspects of performance),8,9
• criterion uncertainty (assessors tentatively construct criteria),8 and
• performance theories (assessors use their own models of clinical competence).11

We specifically explored whether participants consciously adjusted their expectations by being more lenient in the first training period than in subsequent periods. 


분석 Analysis

데이터는 그대로 옮겨졌다. RA와 제1저자(제1저자)는 P-MEX 양식 작성 과정에 대한 감독자의 경험을 나타내기 위해 다양한 코딩 유형을 사용하여 독립적으로 라인별 코딩을 수행한 다음 코드를 논의하기 위해 만났다.28 분석가는 간혹 눈에 띄는 차이가 있었는데, 이는 반환함으로써 쉽게 해결되었다. 더 넓은 범위의 코드로 이어졌습니다. 그들은 또한 의미를 나타내기 위해 사용되는 언어의 차이를 협상했다. 그런 다음 데이터에 매우 가까운 초기 코드를 더 추상적인 범주로 분류했다.

Data were transcribed verbatim. The RAs and the first author (first-round analysts) independently performed line-by-line coding using an eclectic array of coding types to represent supervisors’ experiences of the process of completing P-MEX forms, and then met to discuss codes.28 The analysts occasionally differed in what they had noticed, which was easily resolved by returning to the data and led to a broader range of codes. They also negotiated differences in the language used to represent meaning. They then grouped initial codes that were very close to the data into more abstract categories. 

비록 그 분석이 귀납적이었지만, 이론상으로는 첫 번째 저자의 배경에 의해 inform되었다. 예를 들어, 1차 분석가는 Gauthier 등의 3단계 평가 프로세스(관찰, 처리, 통합)에 따라 코드를 그룹화하여 '양식 완성 초대'와 '피드백 제공'에 대한 범주를 추가했다. 행동 예측의 통합 모델(계획된 행동 이론에 기초함)에 민감해진 첫 번째 저자는 참가자들이 자신의 행동을 뒷받침하는 믿음을 쉽게 드러냈고, 따라서 이 개념(행동에 대한 믿음)이 하나의 범주가 되었다는 것을 알아차렸다. 이 범주 내에서, 일부 신념은 일반 역량의 고정 대 발전적 특성을 고려하였다. 다른 사람들은 그것들을 '자연' 대 '양육' 또는 '성격' 대 '능력'으로 코딩했을지도 모르지만, 우리는 인간 속성의 암시적 이론의 Dweck 등의 언어를 사용하여 '실체' 대 '증분'으로 코딩했다.31 

Although the analysis was inductive, it was informed by the first author’s background in theory. For example, the first-round analysts grouped codes according to Gauthier et al.’s7 three phases of the rating process (observation, processing, integration), adding categories for ‘invitation to complete a form’ and ‘provision of feedback’. Sensitised to the integrative model of behaviour prediction (based on the theory of planned behaviour),29,30 the first author noticed that participants readily revealed the beliefs that underpinned their behaviours and hence this concept (beliefs about the behaviour) became a category. Within this category, some beliefs concerned the fixed versus developmental nature of generic competencies. Others might have coded them as ‘nature’ versus ‘nurture’, or ‘character’ versus ‘competence’, but we coded them as ‘entity’ versus ‘incremental’, using Dweck et al.’s language of implicit theories of human attributes.31 

두 번째 코딩 라운드에서 믿음과 행동에 대한 28개의 코드는 더 이상 연대순으로 분류되지 않고(Gauthier et al., Gauthier et al.의 7개 평가 단계에 따라), 평가자 목표에 따라(공정하고, 정확하며, 유용하고, 친절하며, 특정 믿음과 보고된 행동 사이의 관계를 조사하였다. 첫 번째 저자는 이러한 논의에서 해석적 가설과 반성을 포착하기 위해 분석 메모를 썼다.28  

In a second round of coding,28 codes about beliefs and behaviours were no longer grouped chronologically (according to our adapted version of Gauthier et al.’s7 phases of assessment), but, rather, according to assessor goals (being fair, being accurate, being useful, being kind), examining relationships between specific beliefs and reported behaviours. The first author wrote analytic memos to capture interpretive hypotheses and reflections from these discussions.28 

세 번째 분석에서는 나머지 팀원들이 서로 다른 샘플 성적표와 코드북을 조사했습니다. 연구팀은 주목할 만한 발견과 해석에 대해 토론했다. 연구팀은 전문성 전문지식을 갖춘 임상-교육자 3명과 인지심리학 전문지식을 갖춘 평가전문가 2명으로 구성됐다. 이 광범위한 전문 지식과 이론적 배경은 이론적인 수준과 실제적인 수준 모두에서 토론으로 이어졌다. 구체적으로, 토론은 평가 시스템의 평가자 기관, 전문성의 본질에 대한 오랜 논쟁, 32 그리고 신념과 행동을 형성하는 데 있어 전문가 그룹의 잠재적인 역할에 초점을 맞췄다. 이로 인해 우리는 모든 대화록에 키 코드가 있는지 또는 일부 대화록에만 있는지, 그리고 그 패턴이 참가자의 전문 그룹(예: 의사, 거주자, 비의사)과 관련이 있는지 여부를 조사하기 위해 차트 28을 생성했다.

In a third round of analysis, the remaining team members examined different sample transcripts and the codebook. The research team discussed salient findings and interpretations. The team comprised three clinician-educators, two of whom have expertise in professionalism, as well as two assessment experts, one of whom has expertise in cognitive psychology. This broad range of expertise and theoretical backgrounds led to discussions at both the theoretical and practical levels. Specifically, discussions focused on the agency of assessors in an assessment system, on the long-standing debate of the nature of professionalism,32 and on the potential role of professional group in shaping beliefs and behaviours. This prompted us to generate charts28 to examine whether key codes were present in all of the transcripts or only in some transcripts, and whether the patterns were related to the participants’ professional groups (i.e. practising physicians, residents, non-physicians). 

결과

RESULTS

자료 출처의 특징

Characteristics of data sources

질적 부분 Qualitative arm

총 1669개의 양식이 186명의 학생을 위해 완성되었다. (표 1)

A total of 1669 forms were completed for 186 students (an average of nine forms per student). (Table 1).

양적 부분 Quantitative arm

(Table 2).

점수의 변동 원인: 학생이 아닌 시간, 주로 평가자
Sources of variability in scores: not student, not time, but mainly assessors

학생 점수의 차이에도 불구하고, 이 분산의 아주 작은 비율만이 학생 역량의 차이로 인한 것이었다(표 3).
Despite some variance in student scores, only a very small proportion of this variance was attributable to differences in student competence (Table 3).

주요 분산 요인은 양식 자체였습니다(표 3).
The main source of variance was the forms themselves (Table 3).

따라서 양식과 관련된 변동은 (환자 사례와 같은) 평가의 맥락뿐만 아니라 평가자와 관련된 변동을 포함합니다. 
Variation associated with the forms would therefore contain variation associated with the assessor, as well as with the context of the assessment, including the patient case. 

그러나 우리의 포커스 그룹과 개별 인터뷰에서 생성된 데이터는 많은 평가자가 다중 관찰에 의존했음을 시사했다. 
However, data generated from our focus groups and individual interviews suggested that many assessors relied on multiple observations, 

정보가 있다면 아마 둘 이상의 encounter 정보를 사용할 겁니다. [...] 다양한 유형의 세팅처럼 유용하기 때문입니다.
I probably use information for more than one encounter, if I have it. [...] Because it is useful in sort of different types of settings.

따라서 각 양식은 여러 환자 사례에서 수행능력을 반영하여, 사례 특이성의 영향을 완화하고, 주로 평가자 변동성이 양식과 관련된 변동성으로 남게 된다.

Each form therefore may have reflected performance across multiple patient cases, mitigating the effects of case-specificity and leaving mainly assessor variability as an explanation of the variability associated with the forms.

전체적으로 높은 점수
High scores throughout

모든 항목의 평균 점수는 매우 높았다(표 4).
Average scores were very high for all items (Table 4).

참가자들은 높은 점수에 대한 두 가지 잠재적인 설명을 제공했습니다. 첫째, 많은 항목들이 임상실습 시작부터 모든 학생들이 보여주어야 할 기본적인 특성으로 보였으며, 그 이후에는 개선의 여지가 거의 없었다. 참가자들은 학생들의 태도에 초점을 맞춘 평가라고 믿었고, 많은 참가자들은 이러한 평가는 개선될 것 같지 않은 고정된 개별 특성으로 보았다. 실제로 대부분의 참가자들은 평가가 연초에 이루어졌는지 또는 연말에 이루어졌는지 여부에 관계없이 학생들을 동일한 벤치마크로 보유하는 것을 정당화하기 위해 이러한 믿음을 사용했지만, 의료 전문지식과 같은 역량에 대해서는 연도별 시기에 따라 기준을 수정할 것을 제안하기도 했다. 
Participants provided two potential explanations for the high scores. Firstly, many items were seen as basic characteristics that all students should demonstrate from the beginning of clerkship, with little room for improvement thereafter. Participants believed that the assessment focused on students’ attitudes and many participants saw these as fixed individual characteristics that were unlikely to progress. In fact, most participants used this belief to justify holding students to the same benchmark, regardless of whether the assessment took place at the beginning or end of the year, whereas some suggested that they would modify their standards according to the time of year for competencies such as medical expertise: 

그래서 P-MEX가 요구하는 것에 대해 말하자면, 저는 본과3학년 학년 초든 학년 말이든 제 기대치에 큰 변화가 없습니다. 이것들은 사실상 '의사됨physicianship'에 관한 설문지이다. 

So, in regards, to what the P-MEX asks, I don’t really have a change in my expectations in someone at the start of med 3 versus the end. These are more of a ‘physicianship’ questionnaire. 

이러한 속성을 고정된 것으로 간주하면 성능 저하에 대한 단일 관측치로부터 일반화하는 평가자의 의지도 감소하며, 평가자들이 여러 관측치에 걸쳐 집계하기를 선호하는 이유를 설명한다. 일부 참가자들에 따르면, 성적이 좋지 않은 것은 맥락적 문제 또는 학생 문제를 시사했다고 한다. 그러나 두 가지를 구별할 수 없어서, 그들은 학생에게 '의심에 대한 베네핏benefit of the doubt'을 주었다. 반대로, 긍정적인 성과는 학생들이 실제로 바람직한 속성을 가지고 있다는 것을 의미했고 따라서 일반화할 수 있었다.
Seeing these attributes as fixed also reduced assessors’ willingness to generalise from single observations of poor performance, and explains why assessors preferred to aggregate across multiple observations. According to some participants, poor performance suggested either contextual issues or student issues. Unable to differentiate between the two, they gave the student the ‘benefit of the doubt’. Conversely, positive performance implied that students did indeed possess the desirable attributes and was therefore generalisable:

만약 여러분이 무언가 약간 부적절한 것을 보거나 목격했다면, 또는 의문이 드는 것을 보았다면: '그 학생이 오늘 피곤해서 그런 건가요? 환자가 어색해서 그런가? 그 이유는... 스트레스 너무 많이 받아요?' 하지만 긍정적인 면을 위해, 저는 '그는 항상 긍정적입니다'와 같이 좀 더 일반화하려고 노력합니다.
If you’ve seen or witnessed something maybe a little inappropriate or something you start to wonder: ‘Is it because the student is tired today? Is it because the patient is awkward? Is it because... you know, it’s too stressful?’ But for positive, I try to generalise more, like ‘He’s always positive.’

고득점에 대한 두 번째 잠재적 설명은 일부 평가자가 학습자의 기분을 상하게 하거나, 학습자의 학업 진척도를 저해하거나, 원하는 전문분야에 맞는 전망을 저해할 수 있기 때문에 부정적인 평가를 서면 작성cosign하는 것을 꺼린다는 것이었다. 이로 인해 평가자는 [실제 성과에 관계없이 '기대 충족' 또는 '적용되지 않음'을 기본 점수로 사용]하고, 서술형 코멘트를 만들어 긍정적인 톤을 유지하거나 부정적인 코멘트를 완전히 생략할 수 있다. 사실, 일부 평가자들은 그들이 poor하다고 판단한 학생이 자신들에게 평가를 요청할 가능성이 없는 경우, 그들은 단순히 거절할 것이라고 추측했다.

The second potential explanation for the high scores was that some assessors were reluctant to consign negative ratings in writing because they wished to avoid doing harm by hurting the learner’s feelings, hindering the learner’s progress in the undergraduate programme, or dampening his or her prospects of matching to a desired specialty. This could lead assessors to use ‘met expectations’ or ‘not applicable’ as a default score regardless of actual performance, and to craft their narrative comments to maintain a positive tone or to omit negative comments altogether. In fact, some assessors conjectured that in the unlikely event that a student they judged as poor would request an assessment from them, they would simply decline.


주행 평가자 행동의 가치
Values driving assessor behaviours

참가자들의 행동을 정당화하면서, 참여자들은 암시적 가치와 윤리적 원칙에 의해 그들의 인지된 행위자성agency을 밝혔다. 위의 발췌문에서 알 수 있듯이, 학생들에게 해를 끼치는 것을 피하는 것은 많은 평가자들에게 중요한 원동력이었다. 몇몇 평가자들에게도 다른 가치들이 작용하고 있었다. 학생들을 돕고자 하는 열망은 평가자들이 학습 지원을 위해 상세한 피드백을 제공하고자 하는 바대로 학생의 요구의 어색함을 없애기 위해 양식을 완성하도록 동기를 부여했습니다. 
In justifying their behaviours, participants revealed their perceived agency, driven by implicit values and ethical principles. As the extract above suggests, avoiding harm to students was an important driver for many assessors. Other values were also at play for several assessors. The desire to help students motivated assessors to offer to complete the form to remove the awkwardness of the student’s asking, as did the wish to provide detailed feedback to support learning: 

전반적으로, 평가자들은 [제도적으로 존재하는 교수 지침]보다 [그들 자신의 가치]에 의해 움직이는 것처럼 보였다.

Overall, assessors appeared to be driven by their own values more than by the institutional norms of faculty instructions. 

고찰

DISCUSSION

의과대학 임상 단계에서 학생들의 일반 역량 개발을 추적하기 위해 종적 WBA를 구현했다. 평가는 실패했다. 연초부터 평가 점수가 매우 높았고 고지plateau에 도달했다. 올바른 도구를 사용하여 올바른 구조를 목표로 하는 성공적인 세로 방향 WBA에 필요한 세 가지 성분 중 몇 가지가 고장일 가능성이 높으며, 국부적으로나 다른 CBME 설정에 중대한 영향을 미칠 수 있습니다. 

• targeting the right construct,
• using the right instrument,
• (using) in the right way 

We implemented a longitudinal WBA to track students’ development of generic competencies during the clinical phase of medical school. The implementation failed: assessment scores were very high from the beginning of the year and reached a plateau. Of the three ingredients required for successful longitudinal WBA – targeting the right construct, using the right instrument, in the right way – several are likely to be at fault, with significant implications locally and for other CBME settings. 

첫 번째 쟁점은 적절한 수준을 목표로 하는 도구를 선택하는 것과 관련이 있다: 일부 평가자들은 양식의 항목이 너무 기본적이어서 모든 학생들이 처음부터 높은 점수를 받을 수밖에 없다고 생각했다. P-MEX에 대한 다른 연구들은 그렇게 높은 점수를 얻지는 못했지만, 24,25는 우리 기관에서 전문성을 가르치려는 지속적이고 실질적인 노력이 결실을 맺었고, 학생 성과 수준과 평가자의 기대치가 모두 높아졌다는 점일 수 있다. 
The first issue relates to selecting an instrument that targets the right level: some assessors felt that the items on the form were simply too basic, such that all students would inevitably score highly from the outset. Although other studies of the P-MEX have not found such high scores,24,25 it may be that sustained and substantial efforts to teach professionalism at our institution26,33 have borne fruit, and that both student performance levels and assessor expectations have increased. 

어떤 기기를 사용하든 평가자는 도구를 적절하게 사용해야 합니다. 우리의 참가자들은 다른 평가관들과 마찬가지로 'failure to fail'했다.30, 34, 35 실제로 그들은 글쓰기에 부정적인 어떤 것도 맡기는 것을 피했다. 몇 가지 신념과 가치관이 이 행동을 주도했다. 

• 첫째, 평가자들은 부정적인 수행능력의 일반성에 대해 불확실했다. 정확한 평가를 제공하는 것에 대한 그들의 우려는 [행동의 실수가 잠재적으로 상황적 요인에 기인하는 것]으로 무시했고, 복수의 관찰로부터 이끌어내도록 이끌었다. 
• 둘째로, 그들은 학생들의 평가 결과로 인한 부정적인 결과들을 경계했다. 해를 끼칠까 봐 두려워하는 것은 새로운 것이 아니다. 그러나, 우리는 이러한 두려움이 일반적인 '역량'의 고정된 성격에 대한 평가자의 믿음에 의해 고조된다고 추측한다. 고정된 속성에 대해 부정적인 피드백을 제공하는 것은 필연적으로 그 사람의 기술보다는 그 사람을 목표로 한다. 
• 게다가, 학습자의 고유한 특성에 대한 부정적인 발견을 보고하는 것은 [더 많은 훈련]을 요구하기 보다는, 평가받은 사람의 [직업에 대한 적합성]에 의문을 제기할 수 있고, 따라서 보고의 부담을 더 증가시킬 수 있다. Burack et al.36은 평가자가 전문성이 고정된 것으로 보는 유사한 경향을 발견하여 부정적인 피드백의 제공을 헛된 것으로 보게 했다. 
  

Regardless of which instrument is used, assessors must use it appropriately. Our participants, like other assessors, ‘failed to fail’.30,34,35 Indeed, they avoided consigning anything negative to writing altogether. Several beliefs and values drove this behaviour.

• Firstly, assessors were uncertain about the generalisability of negative performance. Their concern for providing an accurate assessment led them to draw from multiple observations, disregarding behavioural lapses as potentially attributable to contextual factors.
• Secondly, they were wary of any negative outcomes befalling students as a result of their assessments. This fear of doing harm is not new. However, we speculate that this fear is heightened by assessor beliefs about the fixed (rather than developmental) nature of generic ‘competencies’. Providing negative feedback about a fixed attribute inevitably targets the person rather than his or her skills.
• Furthermore, reporting negative findings about a learner’s inherent traits may cast doubt on that person’s suitability for the profession, rather than calling for more training, thus increasing the stakes of reporting. Burack et al.36 found a similar tendency for assessors to view professionalism as fixed, leading them to viewing the provision of negative feedback as futile. 

평가 설계자만이 목적 달성을 할 수 있는 것은 아니다. 평가자 또한 행위자성agency을 가지고 있으며, 평가자마다 목적의 우선순위가 서로 다를 수 있다. 평가 설계자의 주된 초점은 일반적으로 점수의 유효한 해석에 있으며, 이는 truth telling의 윤리적 원칙과 유사하다. 또한 평가의 잠재적 사용, 특히 공정한 결정(정의 원칙과 일치)과 학습 지원(효익의 원칙과 일치)에 대해서도 우려한다. 
Assessment designers are not alone in being purposeful: assessors also have agency and they may prioritise their purposes differently. Assessment designers’ primary focus is typically on valid interpretation of scores, akin to the ethical principle of truth telling. They are also concerned about the potential uses of assessment, specifically about the making of fair decisions (aligned with the principle of justice), and about supporting learning (aligned with the principle of beneficence). 

진실을 말하는 것, 정의, 이익beneficence보다, 평가자들은 악행금지non-maleficence에 의해 행동했던 것으로 보인다. 다른 연구에서 나온 연구 결과를 반영하는 이 패턴은 그들이 [보살핌을 practice의 핵심으로 하는 건강 전문가]라는 사실로 연결될 수 있습니다. 윤리적 용어로 이러한 연구 결과를 프레임화하는 것은 건강 직업 교육에 널리 퍼져 있는 'failure to fail'에 대한 더 많은 것을 밝히는 데 도움이 될 수 있습니다. 30,34,35 

Non-maleficence – before truth telling, justice and beneficence – appears to have guided their behaviour. This pattern, which echoes findings from other studies,36,42 may be linked to their being health professionals, for whom caring is at the heart of practice.42,43 Framing these findings in ethical terms could be a fruitful way of shedding further light on the pervasive ‘failure to fail’ in health professions education.30,34,35 

[의도를 갖는 행위자]로서 평가자의 개념은 우리가 평가 프로그램을 개념화하고 검증하는 방법에 더 큰 도전을 제기한다. 평가 프로그램은 Dijkstra et al.44(예: 데이터 수집, 기술 지원, 규정, 연구 및 개발)에 의해 기술된 다중 구성 요소에 의해서만 구성되는 것이 아니다. 이러한 여러 구성 요소는 (특히 다양한 프로세스를 담당하는 인적 에이전트는) "상호 작용"한다. 이와 같이, WBA 프로그램은 새롭고 예측할 수 없는 속성을 가진 복잡한 적응 시스템을 나타낸다.1 이러한 시스템 내에서 평가자은 시스템의 어포던스affordances를 탐색하고, 장벽을 우회하여, 윤리적 의제를 enact하기 위해 행위자성을 실천exercise agency한다. 예를 들어, 우리의 평가가 본질적으로 형성적이었지만, 우리의 평가 프로그램 외부에 있는 고도로 경쟁적인 레지던트 매칭 프로세스는 평가자들에게 지시를 무시하고 부정적인 관찰을 전달하는 대체 채널을 찾도록 영향을 주었다. 이는 평가 설계자가 개입을 복잡한 시스템의 작은 부분으로 보고 프로그램에 대한 외부 영향을 고려하며 예기치 않은 영향과 영향을 면밀히 모니터링해야 함을 의미한다. 
The notion of assessors as purposeful agents further challenges how we conceptualise and validate assessment programmes. Assessment programmes are not only constituted by the multiple components described by Dijkstra et al.44 (e.g. data collection, technical support, regulations, research and development). These multiple components, specifically the human agents responsible for the various processes, interact. As such, WBA programmes represent complex adaptive systems that have emergent and unpredictable properties.1 Within these systems, assessors exercise agency to enact their ethical agendas by navigating the affordances of the system and bypassing perceived barriers. For instance, although our assessment was essentially formative, the highly competitive residency matching process, external to our assessment programme, influenced assessors to defy instructions and find alternative channels to communicate negative observations. This implies that assessment designers must see their interventions as small parts of a complex system, consider external influences on their programmes, and monitor closely for unforeseen influences and effects. 

마지막으로, 평가 기관은 평가의 타당성 검사를 위한 흥미로운 과제를 제기한다. 우리의 참가자들은 지침에 저항했습니다. 집행된enacted 평가 시스템과 의도된intended 평가 시스템이 서로 달랐습니다. 그럼에도 불구하고, 그들의 행동은 비록 예상치 못한 경로를 통해 평가의 의도된 목표 중 일부를 충족시킬 수 있게 했다. 학생들은 사실 그들의 일반적인 능력에 대한 피드백을 받았으나 구두로 받았다.

Finally, assessor agency poses an intriguing challenge for assessment validation. Our participants resisted instructions: the enacted and intended assessment systems differed. Nevertheless, their behaviours enabled some of the intended goals of the assessment to be met, albeit through unexpected pathways. Students did in fact receive feedback about their generic competencies, but verbally. 

한계

Limitations


결론 CONCLUSIONS

진행 상황을 감지하지 못한 결과 우리가 선택한 평가 도구와 관련된 문제뿐만 아니라 평가자에게도 문제가 드러났습니다. 실패에 대한 실패는 이전에 문서화되었지만, 우리의 연구 결과는 평가자의 가치, 일반 역량에 대한 그들의 믿음, 평가 행동 사이의 관계를 밝혀냈다. 평가자 값을 이해하고 영향을 미치는 것은 중요하면서도 WBA 구현의 무시된 측면일 수 있다.

Our failure to detect any progress revealed issues linked to the assessment instrument we selected, but also to assessors. Although failure to fail has been documented previously,30,34,35 our findings uncovered relationships between assessors’ values, their beliefs about generic competencies, and their assessment behaviours. Understanding and influencing assessor values may be an important yet hitherto neglected aspect of WBA implementation.

Med Educ. 2018 Dec;52(12):1259-1270.

 doi: 10.1111/medu.13749.

The challenges of detecting progress in generic competencies in the clinical setting

Valérie Dory 1 2, Carlos Gomez-Garibello 1 2, Richard Cruess 1 3, Sylvia Cruess 1 2, Beth-Ann Cummings 1 2 4, Meredith Young 1 2

Affiliations collapse

Affiliations

• 1Centre for Medical Education, Faculty of Medicine, McGill University, Montreal, Quebec, Canada.

• 2Department of Medicine, Faculty of Medicine, McGill University, Montreal, Quebec, Canada.

• 3Department of Surgery, Faculty of Medicine, McGill University, Montreal, Quebec, Canada.

• 4Undergraduate Medical Education, Faculty of Medicine, McGill University, Montreal, Quebec, Canada.

• PMID: 30430619

• DOI: 10.1111/medu.13749

Abstract

Context: Competency-based medical education has spurred the implementation of longitudinal workplace-based assessment (WBA) programmes to track learners' development of competencies. These hinge on the appropriate use of assessment instruments by assessors. This study aimed to validate our assessment programme and specifically to explore whether assessors' beliefs and behaviours rendered the detection of progress possible.

Methods: We implemented a longitudinal WBA programme in the third year of a primarily rotation-based clerkship. The programme used the professionalism mini-evaluation exercise (P-MEX) to detect progress in generic competencies. We used mixed methods: a retrospective psychometric examination of student assessment data in one academic year, and a prospective focus group and interview study of assessors' beliefs and reported behaviours related to the assessment.

Results: We analysed 1662 assessment forms for 186 students. We conducted interviews and focus groups with 21 assessors from different professions and disciplines. Scores were excellent from the outset (3.5-3.7/4), with no meaningful increase across blocks (average overall scores: 3.6 in block 1 versus 3.7 in blocks 2 and 3; F = 8.310, d.f. 2, p < 0.001). The main source of variance was the forms (47%) and only 1% of variance was attributable to students, which led to low generalisability across forms (Eρ2 = 0.18). Assessors reported using multiple observations to produce their assessments and were reluctant to harm students by consigning anything negative to writing. They justified the use of a consistent benchmark across time by citing the basic nature of the form or a belief that the 'competencies' assessed were in fact fixed attributes that were unlikely to change.

Conclusions: Assessors may purposefully deviate from instructions in order to meet their ethical standards of good assessment. Furthermore, generic competencies may be viewed as intrinsic and fixed rather than as learnable. Implementing a longitudinal WBA programme is complex and requires careful consideration of assessors' beliefs and values.

© 2018 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

의학 수련생과 더닝-크루거 효과: 모른다는 것을 모르는 때(J Grad Med Educ. 2020)

Medical Trainees and the Dunning–Kruger Effect: When They Don’t Know What They Don’t Know
Mariam Rahmani, MD

1999년 심리학자인 데이비드 더닝 박사와 저스틴 크루거 박사는 '미숙련과 그것을 알지 못하는 것: 자신의 무능력을 인식하는 것의 어려움이 부풀려진 자기 평가를 초래하는 방법'이라는 제목의 세미나 기사를 썼다. 그들은 대학생들에게 유머, 문법, 논리와 관련된 시험에서 그들의 성과를 추정하도록 요구했던 4가지 실험을 설명했습니다. 그들은 성적이 좋지 않은 학생들이 종종 그들의 성적을 지나치게 과대평가한다는 사실에 놀랐다. 그들은 또한 객관적으로 좋은 성적을 낸 학생들이 종종 주관적으로 그들의 성과를 과소평가한다는 것을 알아챘다. 이 현상은 일반적으로 더닝-크루거 곡선 또는 더닝-크루거 효과로 알려져 있다.

In 1999, psychologists David Dunning, PhD, and Justin Kruger, PhD, wrote a seminal article titled ‘‘Unskilled and Unaware of It: How Difficulties in Recognizing One’s Own Incompetence Lead to Inflated Self-Assessments.’’1 They described 4 experiments in which they asked college students to estimate their performance on tests involving humor, grammar, and logic. They were struck by the finding that students who performed poorly often grossly overestimated their performance. They also noticed that students who objectively performed well often subjectively underestimated their performance. This phenomenon is commonly known as the Dunning– Kruger Curve or the Dunning–Kruger Effect. 

사람들은 많은 사회적 및 지적 영역에서 자신의 능력에 대해 지나치게 호의적인 견해를 가지고 있다. 이러한 과대평가는 부분적으로 이러한 영역에서 미숙련한 사람들이 이중의 부담을 겪기 때문에 발생한다. 이 사람들은 잘못된 결론에 도달하고 불행한 선택을 할 뿐만 아니라, 그들의 무능함은 그것을 실현하는 메타인지 능력을 빼앗는다. 
People hold overly favorable views of their abilities in many social and intellectual domains . . . this overestimation occurs, in part, because people who are unskilled in these domains suffer a dual burden: Not only do these people reach erroneous conclusions and make unfortunate choices, but their incompetence robs them of the metacognitive ability to realize it.1 

그림에는 더닝-크루저 효과의 그래픽 설명이 나와 있습니다. A 지점에서 경험이 부족한 사람들은 종종 자신의 성과에 대해 그릇된 자신감을 갖게 됩니다. 시간과 경험을 통해, 그들은 그들이 그 일의 몇 가지 복잡한 측면을 알지 못했다는 것을 깨닫는다. 이 깨달음은 그들의 신뢰감을 떨어뜨린다. 그들이 그 일에 더 많은 시간을 보낼수록, 그들은 더 많은 경험과 지혜를 얻게 되고, 결국 그들의 얻은 신뢰(점 C)를 얻게 된다. 하지만 처음처럼 자신감이 높지는 않다. 
A graphic depiction of the Dunning–Kruger Effect is shown in the FIGURE. At point A, inexperienced people often have a falsely elevated sense of confidence about their performance. With time and experience, they realize that they had been unaware of some intricate aspects of the job. This realization plunges their confidence (point B). As they continue to spend more time on the job, they acquire more experience and wisdom, ultimately gaining their earned confidence (point C). However, the confidence is never as high as it was at in the beginning. 

역설적으로, 성과가 낮은 개인이 자기 평가에서 정확성을 달성할 때까지, 그들의 성과는 향상되었다. 간단히 말해서, 무능력 영역을 식별하기 위해서는 역량이 필요하다.

Paradoxically, by the time low-performing individuals achieve accuracy in their self-assessments, their performance has improved. In a nutshell, competence is required to identify areas of incompetency.

레지던트 교육 적용 가능성
Applicability to Residency Training

일반외과, 가정의학과, 정신과 등에서 의대생, 인턴, 레지던트 등의 자기평가는 성과에 대한 객관적이고 타당한 척도가 되지 못한다는 연구 결과가 나왔다.5–9 
studies have demonstrated that self-assessments by medical students, interns, and residents in general surgery, family medicine, and psychiatry are invalid measures of their objective performance.5–9 

여러 의학 연구가 더닝-크루저 곡선의 다른 부분을 지원한다. 예를 들어, 1개의 연구에 따르면, 능력이 떨어지는 후대의 의사들은 자신의 효능을 증명된 것보다 더 높게 평가하는 경향이 있었다(점 A).10 
Several medical studies support different portions of the Dunning–Kruger Curve. For example, 1 study found that junior physicians who were less competent tended to self-rate their efficacy higher than it was demonstrated (point A).10 

한 연구에 따르면 성능이 가장 낮은 의사는 성과에 대한 객관적인 피드백을 가장 적게 받아들일 가능성이 있는 것으로 나타났다.12 다른 연구에서 의사는 부정적인 피드백을 정확하거나 유용한 것으로 인식하지 않았으며, 의료 행위를 변경하기 위해 사용할 계획도 없었다.13 
A study showed that the lowest-performing physicians are the least likely to accept objective feedback on their performance.12 In another study, physicians did not perceive negative feedback as accurate or helpful and did not plan to use it to change their practice.13 

연구자들은 또한 더 유능한 주니어 내과의사들이 자신의 효능을 덜 유능한 의사들보다 낮게 평가하는 경향이 있다는 것을 발견했다(점 B). 이것은 특히 여성들에게 해당되었다. 기술을 배우고 연습하는 데 소요되는 시간이 많을수록 객관적인 개선과 관계없이 해당 스킬(점 C)에 대한 자신감도 높아지는 것으로 나타났다.
Researchers have also found that more competent junior physicians tended to self-rate their efficacy lower than less competent ones (point B).10 This was especially true of women.14 It has also been shown that the more the time spent in learning and practicing a skill, the higher one’s self-confidence about those skills (point C), regardless of objective improvement. 

실용적 제안

Practical Suggestions

1. 프로그램 디렉터는 자신의 성과에 대한 훈련생이 예측한 자신감과 인식은 그들의 성과를 과소평가하거나 과대평가하는 훈련생들에게서 모두 실제 성과를 반영하지 못할 수 있다는 것을 알아야 한다.19–21 

1. Program directors should be aware that trainees’ projected self-confidence and perception of their own performance may not reflect their actual performance, both in trainees who underand overvalue their performance.19–21 

2. 프로그램 책임자는, 자기평가보다, 다양한 교수, 동료, 환자 및 직원이 수행한 평가에 더 많은 신뢰를 부여하는 것을 고려해야 한다. 이러한 평가는 자기 평가보다 더 정확할 수 있다. 
2. Rather than self-assessments, program directors should consider giving more credence to assessments completed by a variety of faculty, peers, patients, and staff. These assessments taken together may be more accurate than resident self-assessments alone. 

3. 지나치게 자신만만해 보이는 미숙한 주민을 위한 멘토링 시 여러 출처에서 사실과 피드백을 전달하는 것이 필요하지만, 성과 개선을 이끌어내기에는 미흡한 경우가 많다. 그러한 표준이 충족되지 않을 경우 역량과 잠재적 결과에 대한 명확한 기대치를 설정하는 것이 필요할 수 있다. 
3. When mentoring underperforming residents who appear overconfident, delivering facts and feedback from multiple sources is necessary, but often not sufficient to lead to improvement in performance. Setting clear expectations for measures of competence and potential consequences if those standards are not met may be required. 

4. 자신의 역량에 대해 불안감을 느끼는 전공의를 적절히 멘토링할 때 프로그램 책임자는 자기 의심을 허용하는 것이 성과 향상에 따라 결정되는 단계에서 중요한 단계임을 명심해야 한다. 피상적인 reassurance은 전공의의 개선을 유도하지 않습니다. 전공의는 수행능력을 향상시키고 긍정적인 자아상을 재구축하기 위해 의심과 낮은 자신감을 견뎌야 합니다. 프로그램 디렉터는 레지던트 교육 프로그램의 궁극적인 목표가 되어야 하는 학습 과정을 전공의에게 상기시키고 시간과 끈기로 개선에 대한 희망을 장려할 수 있다.
4. When mentoring adequately performing residents who remain insecure about their competence, program directors should remember that allowing for self-doubt is a critical step in the phase marked by improved performance. Superficial reassurance will not drive a resident to improve—a resident must tolerate periods of doubt and low self-confidence in order to improve performance and rebuild a positive self-image. Program directors can remind residents of the learning process and encourage hope for improvement with time and perseverance, which should be the ultimate goal of any residency training program. 

J Grad Med Educ. 2020 Oct;12(5):532-534.

 doi: 10.4300/JGME-D-20-00134.1.

Medical Trainees and the Dunning-Kruger Effect: When They Don't Know What They Don't Know

Mariam Rahmani

• PMID: 33149817

• PMCID: PMC7594774 (available on 2021-10-01)

• DOI: 10.4300/JGME-D-20-00134.1

No abstract available

임상적 퀄리티의 이해 넓히기: 귀인 오류에서 상황적 인식으로 (Clin Pharmacol Ther, 2012)

Broadening Our Understanding of Clinical Quality: From Attribution Error to Situated Cognition
AR Artino Jr1, SJ Durning2, DM Waechter3, KL Leary2 and WR Gilliland3

[개인적 특성이 결과에 미치는 영향을 과대평가하고 상황적 요인의 영향을 과소평가하는 경향]을 근본적인 귀인 오류라고 한다.
The tendency to overestimate the influence of personal characteristics on outcomes, and to underestimate the influence of situational factors, is known as the fundamental attribution error. 

우리는 임상 품질을 진정으로 이해하기 위해 상황 요인을 조사해야 하며, 이는 종종 임상 조우의 품질에 강한 영향을 미친다.
We suggest that to truly understand clinical quality, they must examine situational factors, which often have a strong influence on the quality of clinical encounters. 

귀인 오류를 넘어
Moving beyond attribution error

어떤 임상적 만남의 성공은 종종 의사의 질적인 면에서만 좌우된다. 즉, 환자와 다른 이해관계자는 [임상적 질clinical quality]이 [의사의 질]과 동의어라고 가정한다.
The success of any clinical encounter is often framed solely in terms of physician quality. That is, patients and other stakeholders assume that clinical quality is synonymous with physician quality.

이러한 경향은 개인 특성의 영향을 과대평가하고 상황적 요인의 영향을 과소평가하는 경향이 널리 퍼져 있다. 사실, 사회심리학자들은 인간이 종종 [근본적인 귀인 오류]라고 불리는 이러한 경향에 굴복한다는 것을 알고 있었고, 1과 교육 연구자들은 최근 교육의 질을 이해하려는 그들의 추구에서 이 광범위한 문제를 확인했다.2
This tendency to overestimate the influence of personal characteristics, and to underestimate the influence of situational factors, is widespread. In fact, social psychologists have known that humans often succumb to this tendency, labeled the fundamental attribution error,1 and education researchers have recently identified this pervasive problem in their quest to understand teaching quality.2

임상 품질에 대해 생각할 때, 자연히 의사의 특성은 좋은 결과와 나쁜 결과 모두에 대해 전적으로 인과관계가 있다고 가정한다.
When thinking about clinical quality, one naturally assumes that the characteristics of the physician are solely causal to both good and bad outcomes.

이러한 근본적인 귀인 오류를 만들면서, 우리는 임상 실습이 바쁜 구급 병원과 응급실에서부터 스트레스가 많은 환자 병동과 수술실에 이르기까지 다양하고 복잡한 환경에서 발생한다는 사실을 잊고 있다. 그렇다고 해서 의사가 좋은 결과와 나쁜 결과에 부분적으로만 책임이 있다고 말하려는 것은 아니지만, 우리는 의사가 그러한 결과를 초래하는 몇 가지 요인 중 하나일 뿐이라고 주장할 수 있다.
In making this fundamental attribution error, we forget that clinical practice occurs in many different and complex environments, ranging from busy ambulatory clinics and emergency rooms to stressful inpatient wards and operating rooms. This is not to say that the physician is not partially responsible for good and bad outcomes; however, we would argue that the physician is only one of several factors leading to such outcomes.

실제로, 30년 이상의 사회심리학 연구는 [인간의 행동이 자신의 지속적인 개인적 자질보다 사람들이 직면하는 상황에 더 많은 영향을 받는 경향이 있다는 것]을 말해준다. 따라서 우리는 임상 품질을

• [의사의 개인적 특성(예: 지식, 기술 및 태도)]과
• [진료 도중에 의사가 경험하는 상황적 요구(예: 진료 기간, 인력 배치 및 질병의 정확성 같은 환자 요인)]

...의 함수로 재인식하는 것이 도움이 된다.
Indeed, more than 30 years of social psychology research tells us that human behavior tends to be more influenced by the situations people face than by their own enduring personal qualities. Therefore, we believe it is helpful to reconceptualize clinical quality as a function of both

• physicians’ personal characteristics (e.g., knowledge, skills, and attitudes) and
• the situational demands physicians experience during practice (e.g., appointment length, staffing, and patient factors, such as acuity of the illness). 

최근, 임상 품질에 대한 우리의 관점을 확장해야 할 필요성이 의학교육의 연구와 훈련을 개선하는 데 있어 매우 중요한 것으로 파악되고 있다. Durning과 동료3는 의료 교육 연구자가 의료 교육 연구 패러다임에서 임상 조우 상황을 명시적으로 고려하도록 장려하는 프레임워크를 제안했다(그림 1).
Recently, the need to expand our view of clinical quality has been identified as critical to improving research and training in medical education. Durning and colleagues3 proposed a framework that encourages medical-education researchers to explicitly consider the context of the clinical encounter in medical-education research paradigms (Figure 1). 

[위치 인식situated cognition]의 교리에 기초한 그들의 모델은, [사고와 학습은 상황의 특성과 불가분의 관계에 있다]고 주장한다.4 이 렌즈를 통해 볼 때,

• 사고와 학습은 내부internal 과정으로 보이지 않고,
• 지식은 대상이 아니며,
• 기억은 위치가 아니다;
• 대신에 생각과 학습은 사람과 환경 사이의 상호 작용으로 일어난다.5 

Their model, based on tenets of situated cognition, argues that thinking and learning are inextricably linked to the characteristics of the situation.4 When viewed through this lens,

• thinking and learning are not seen as internal processes,
• knowledge is not an object, and
• memory is not a location;
• instead, thinking and learning take place as interactions between people and their environment.5

[전통적인 인지심리학자]가 은유적으로 "머리 안의 세계"에 대해 말하는 반면, [situated conition theorist]는 "세계 안의 머리"에 대해 토론하기를 선호한다. 인지 심리학자가 세계의 정신적 표현과 [입력-출력 변환]의 본질에 초점을 맞출 수 있는 경우, 위치 인식 이론가는 상황과 사람들이 하는 부분에 초점을 맞추는 것을 선호할 것이다.4 이러한 관점에서 볼 때, 인간의 지식은 [세상과의 상호 작용]과 [사람과 환경의 상호 수용]으로 생각할 수 있다.

Whereas a traditional cognitive psychologist might talk metaphorically about “the world inside the head,” a situated cognition theorist would prefer to discuss “the head inside the world.” And where a cognitive psychologist might focus on mental representations of the world and the nature of input–output transformations, a situated cognition theorist would prefer to focus on situations and the parts that people play.4 When viewed from this perspective, human knowledge can be thought of as interactions with the world and the mutual accommodation of people and the environment. 

Durning et al.3에 의해 제안된 모델은 세 가지 상황 입력, 즉 의사 요인, 환자 요인 및 실습 요인을 설명함으로써 임상 결과를 고려한다. 이 모델은 의사결정이 참가자가 정보가 풍부한 환경에서 여러 목표의 균형을 맞춘 결과라고 제안한다.
The model proposed by Durning et al.3 considers clinical outcomes by explicating three situational inputs:

• physician factors,
• patient factors, and
• practice factors.

The model proposes that decision making is the result of a participant balancing multiple goals in an information-rich environment.

참가자들(의사 및 환자)은 주어진 약속에서 종종 여러 가지 목표를 가지고 있으며, 그들의 목표는 시간이 지남에 따라 나타나며, 그들의 목표는 약속appointment 시작 시에 정확하게 예측할 수 없다. 또한, 다중 요인은 역동적이고 종종 복잡한 방식으로 상호작용할 수 있다.
Participants (physician and patient) often have multiple goals in any given appointment; their goals emerge over time, and their goals cannot be precisely predicted at the outset of the appointment. Furthermore, multiple factors can interact in dynamic and often complex ways.

임상 품질을 의사, 환자 및 실습 요인의 상호 작용으로 생각하고 각 요인에 기여하는 다양한 요소를 인식하면(그림 1), 임상 품질에 대한 보다 광범위하고 시스템 수준의 관점이 나타난다. 중요한 것은, 이 접근방식은 또한 환자 치료를 개선하기 위해 구현될 수 있는 몇 가지 잠재적 개입을 가리킨다. 마지막으로, 임상 만남에서처럼 목표가 나타날 때, 아마도 비선형성nonlinearity (즉, 결과가 구성 요소 부분의 단순한 합보다 크다는 생각)이 발생할 것이다.

When one thinks of clinical quality as the interaction of physician, patient, and practice factors, and recognizes the various elements that contribute to each factor (Figure 1), a broader, system-level view of clinical quality emerges. Importantly, this approach also points to several potential interventions that can be implemented to improve patient care. Finally, when goals emerge, as they do in a clinical encounter, nonlinearity (i.e., the idea that the outcome is more than the simple sum of the component parts) probably occurs.

귀인 오류의 사례 연구
A case study in attribution error

78세의 한 여성이 왼쪽 다리를 포함한 심혈관 혈전증으로 치료를 받은 후 학원에서 퇴원했다. 와파린 치료는 그녀가 저분자 무게의 헤파린으로 다리 항응고제를 받는 동안 시작되었다. 퇴원 후 5일 후 급성 오른쪽 반두통 진단을 받고, 비대조 컴퓨터 단층촬영 헤드 스캔 결과 왼쪽 피질 출혈성 뇌졸중이 확인된다. 환자의 국제 정상화된 프레젠테이션 비율은 18.5로 퇴원 전 1.4와 비교된다. 환자 차트를 검토한 결과 와파린 치료법(10mg/일)이 시작, 입원 중 유지되고 지난 7일 동안 퇴원한 것으로 나타났으며, 입원환자 주치의가 와파린 복용량을 부적절하게 모니터링하고 너무 많이 투여하여 약물 부작용으로 이어진 것으로 결론났다. 병원 조사팀이 권고하는 시정조치는 6개월 동안 이 제공자를 감독된 임상적 특권에 두는 것이었다.
A 78-year-old woman is discharged from an academic medical center following treatment for a deep-vein thrombosis involving her left leg. Warfarin therapy was initiated while she was receiving bridge anticoagulation with low-molecular-weight heparin. Five days following discharge, she is emergently evaluated for acute right-sided hemiparesis, and a noncontrast computed tomography head scan confirms a left cortical hemorrhagic stroke. The patient’s international normalized ratio on presentation is 18.5, as compared with 1.4 before discharge. A review of the patient’s chart reveals that warfarin therapy (10 mg/day) was started, maintained during hospitalization, and continued on discharge over the previous 7 days, and it is concluded that the inpatient attending physician was at fault for inadequately monitoring and administering too high a dose of warfarin, leading to an adverse drug event. Corrective action recommended by the hospital investigative team was to place this provider on supervised clinical privileges for a period of 6 months. 

이 좁게 초점을 맞춘 귀인 오류의 결과는 [좋지 않은 결과에 기여한 더 큰 시스템 문제]를 식별하지 못한 것이다. 예는 다음과 같습니다.
The consequence of this narrowly focused attribution error is the failure to identify larger systemic problems that contributed to the poor outcome. Examples include the following:

1. 야간 플로트 허용 의사는 처음에 중단 날짜 없이 10mg의 와파린을 매일 투여하기 시작했다(고위험 약물 개시, 의사 계수). 
1. The night-float admitting physician initially started the 10-mg-daily dose of warfarin without a stop date (high-risk medication initiation; physician factor). 

2. 전자진료기록은 와파린을 매일 10mg씩 외래진료제로 포착하고 퇴원요약에 "약물화합"기능(실천인자)의 일부로 동일한 약물과 선량을 기입하였다. 
2. The electronic medical record captured warfarin, 10 mg daily, as an outpatient medication and populated the discharge summary with the same drug and dose as part of a “medication reconciliation” function (practice factor). 

3. 입원 시 와파린 투여량을 매일 10mg에서 5mg으로 감소시키라는 입원 명령에도 불구하고 퇴원 시 환자에게 10mg을 투여하였다(실습계수).  
3. The 10-mg dose was administered to the patient upon discharge despite an inpatient order to decrease warfarin dosing from 10 mg to 5 mg daily during the hospital stay (practice factor).  

4. 환자는 기관지염(환자 및 시술 요인)을 위해 14일 동안 트리메토프림-술파메토호사졸(sulfametoxazole) 과정을 밟고 있었다. 이는 외부 약국(실습인자)에서 종이 처방으로 처방전이 채워져 있기 때문에 무심코 환자(환자 인자)가 보고하지 않고 전자 진료기록(실습인자)에 포착되지 않았다. 이것은 약물 상호작용으로 이어져 와파린 혈중 농도를 더욱 증가시켰다.  
4. The patient was taking a 14-day course of trimethoprim– sulfamethoxazole for “bronchitis” (patient and practice factor). This was inadvertently not reported by the patient (patient factor) and was not captured by the electronic medical record (practice factor), because the prescription was filled by paper prescription at an outside pharmacy (practice factor). This led to a drug–drug interaction, further increasing warfarin blood concentrations.  

5. 이 환자가 입원한 주말(팀 적용범위가 부족한 고위험 기간, 연습 요인) 동안에는 라운딩 병원 약국 서비스를 이용할 수 없었다.
5. A rounding hospital pharmacy service was not available during the weekend of this patient’s admission (a high-risk period with lack of team coverage; practice factor).

6. 환자에게 약물 유전자 검사를 실시했으며, VKORC1A/A 및 CYP2C9*3/*3 변형이 발견되었으며, 이는 주간 와파린 복용량이 약 5~10mg(트리메토프림-술파메토호사졸, 환자 및 내과의사 인자)임을 나타낸다. 그러나 이러한 데이터는 (악성 사건 발생 당시, 실무 인자) 시험 후 1주가 지나서야 해석할 수 있었다.
6. Pharmacogenomic testing was done on the patient, and she was found to have VKORC1 A/A and CYP2C9*3/*3 variants, which indicate that her weekly warfarin dose would be approximately 5–10 mg (notwithstanding the trimethoprim–sulfamethoxazole; patient and physician factor). However, these data were not available for interpretation until 1 week after testing (at the time of the adverse event; practice factor). 

Clin Pharmacol Ther. 2012 Feb;91(2):167-9.

 doi: 10.1038/clpt.2011.229.

Broadening our understanding of clinical quality: from attribution error to situated cognition

A R Artino Jr 1, S J Durning, D M Waechter, K L Leary, W R Gilliland

Affiliations collapse

Affiliation

• 1Department of Preventive Medicine and Biometrics, Uniformed Services University of the Health Sciences, Bethesda, Maryland, USA.

• PMID: 22261684

• DOI: 10.1038/clpt.2011.229

Abstract

The tendency to overestimate the influence of personal characteristics on outcomes, and to underestimate the influence of situational factors, is known as the fundamental attribution error. We argue that medical-education researchers and policy makers may be guilty of this error in their quest to understand clinical quality. We suggest that to truly understand clinical quality, they must examine situational factors, which often have a strong influence on the quality of clinical encounters.

임상술기 교육의 간단한 5단계 모델(Fam Med, 2001)

A Simple Five-step Method for Teaching Clinical Skills
John H. George, PhD; Frank X. Doto, MS

5단계 방식이 어떻게, 왜 작동하는지를 이해하기 위해서는 정신운동 교육원칙에 대한 빠른 검토가 필요하다. 원리는 사이코모터 영역의 분류법에 기초한다.2 기본원칙은
To understand how and why the five-step method works, a quick review of psychomotor teaching principles is necessary. The principles are based on the taxonomy of the psychomotor domain.2 The fundamental principles are


(1) 개념화—학습자는 기술의 인지적 요소, 즉, 왜 그것이 행해지고 언제 행해지고, 행해지지 않으며, 주의사항은 무엇인지를 이해해야 한다. 학습자는 스킬 수행과 관련된 도구 및 도구를 알아야 합니다.
(1) Conceptualization— the learner must understand the cognitive elements of the skill, that is, why it’s done, when it’s done, when it’s not done, and the precautions involved. The learner must know the instruments and tools involved in the skill’s performance.


(2) 시각화—처음부터 끝까지 그 기술을 전체적으로 보여 주어 예상되는 수행능력의 모델을 갖도록 해야 한다. 이것은 학습자 모방을 초래한다. 
(2) Visualization—the learner must see the skill demonstrated in its entirety from beginning to end so as to have a model of the performance expected. This leads to learner imitation. 


(3) 언어화—학습자는 두 번째 시연과 함께 스킬의 단계에 대한 내레이션을 들어야 한다. 학습자가 시연하기 전에 스킬의 단계를 올바르게 설명할 수 있는 경우, 학습자가 스킬을 올바르게 수행할 가능성이 커집니다. 이는 학습자 조작으로 이어집니다. 
(3) Verbalization— the learner must hear a narration of the steps of the skill along with a second demonstration. If the learner is able to narrate correctly the steps of the skill before demonstrating there is a greater likelihood that the learner will correctly perform the skill. This leads to learner manipulation. 


(4) 연습—학습자가 스킬을 보고, 내레이션을 듣고, 내레이션을 반복한 후, 스킬을 수행합니다. 스킬은 연습을 위해 신중한 단위로 세분될 수 있습니다. 

• 서브 컴포넌트 연습(sub component practice) - 스킬의 일부를 연습, 
• 연계 연습(linking practice) - 작은 부분을 서로 연결
• 연속된 연습(continuous practice) - 전체 스킬을 반복적으로 연습.

이것은 학습자의 정밀도 연습과 궁극적인 표현으로 이어진다.
(4) Practice— the learner having seen the skill, heard a narration, and repeated the narration, now performs the skill. The skill may be broken down into discreet units for practice:

• subcomponent practice—practicing a small portion of the skill,
• linkage practice—practicing small portions linked together,
• contiguous practice— practicing the entire skill repetitively.

This leads to learner precision practice and eventual articulation.


(5) 기술 오류의 수정 및 보강—기술 오류의 즉각적인 수정이 필요하다. 정확한 성능을 강화하기 위해 정적강화를 사용해야 합니다. 
(5) Correction and reinforcement— skill errors need immediate correction. Positive reinforcement should be used to cement correct performance. 

(6) 기술 숙달—실천 상황에서 일련의 기술을 오류 없이 일상적으로 수행할 수 있는 능력. 이는 학습자 설명articulation으로 이어집니다. 

(6) Skill mastery— the ability to routinely perform a sequence of skills in a practice situation without error. This leads to learner articulation. 

(7) 기술 자율성—실제 상황에서 오류 없이 일상적으로 기술을 수행할 수 있는 능력. 이는 학습자 자연화naturalization로 이어집니다.

(7) Skill autonomy— the ability to regularly perform the skill as a routine in reallife situations without error. This leads to learner naturalization.

Step 1

개요: 기술을 배우도록 동기를 부여받으려면, 학습자는 왜 기술이 필요한지, 그리고 그것이 어떻게 의료에 사용되는지를 이해해야 합니다.
Overview: To be motivated to learn a skill, the learner must understand why the skill is needed and how it is used in the delivery of care.

Step 2

교사는 말로 설명하지 않고, 정확히 해야 할 기술을 보여줘야 한다. 이 무언의 시연은 학생들이 올바르게 수행되었을 때 그 기술이 어떤 모습인지 마음속에 그려준다. 이 이미지는 학생들이 이 기술을 연습할 때 자신의 수행 능력을 스스로 평가하기 위해 이 그림을 사용하기 때문에 중요합니다.
The preceptor should demonstrate the skill exactly as it should be done without talking through the procedure. This silent demonstration gives students a mental picture of what the skill looks like when it is being done correctly. This image is important since students will use this picture to self-evaluate their own performance when practicing the skill.

Step 3

그런 다음, 프리셉터는 절차를 반복하지만 프로세스의 각 단계를 자세히 설명하는 시간을 갖는다. 이를 통해 학생들은 각 단계가 어떻게 최적의 순서에 맞는지 알 수 있으며, 학생들이 질문을 하거나 단계나 절차에 대한 설명을 찾는 시간을 가질 수 있다.
The preceptor then repeats the procedure but takes time to describe in detail each step in the process. This will help students see how each step fits into the optimal sequence and will allow time for students to ask questions or seek clarification of a step or a procedure. 

Step 4

학생들은 그 기술을 설명한다. 교수님은 학생들에게 기술을 어떻게 하는지 단계별로 설명해 달라고 함으로써 학생들이 기술을 수행하는 순서의 각 단계를 이해하고 기억하도록 할 것이다. 이것은 또한 학생들이 다음 절차로 이동할 때 단계를 기억할 수 있도록 과정을 기억하는데 도움이 될 것이다.
Students talk through the skill. By asking students to describe step by step how to do the skill, the preceptor will ensure that the students understand and remember each step in the sequence of performing the skill. This will also help the students commit the process to memory so they can recall steps as they move to the next procedure. 

Step 5

학생들은 그 기술을 수행한다. 이제 학생들은 교사를 세심하게 관찰하고 필요에 따라 피드백이나 코칭으로 이 기술을 처음 시도할 준비가 되었습니다. 성공적인 시도 후에, 학생들은 원하는 수준의 숙련도에 도달할 때까지 연습을 계속해야 한다.
The students perform the skill. Now students are ready to do their first attempt at the skill with the preceptor carefully observing and providing feedback or coaching as needed. Following a successful attempt, students should continue to practice until they reach the desired level of proficiency. 

학생이 스킬을 배우는 데 문제가 있을 경우, 다음 중 어떤 이유로 인해 수행 부족이 발생하는지 확인해야 합니다. 

If students have a problem learning a skill, the preceptor will need to identify which of the following reasons may be underlying their performance deficit. 

학습자 특성 능력
Learner Trait Ability

학습자 특성(learner property)은 학습자가 작업을 수행하는 데 필요한 강도, 미세한 모터 조정 또는 미세한 모터 기술을 보유하지 못할 수 있기 때문에 학습자가 작업을 수행할 수 없는 고유의 능력입니다.
Learner trait ability is the inherent inability of the learner to perform the task because the learner may not possess the strength, fine motor coordination, or the fine motor skills necessary to do the task.

부적절한/부적절한 작업 설명 및/또는 시연
Inadequate/Inappropriate Task Description and/or Demonstration

학습자는 시연에 주의를 기울이지 않았거나, 데모가 발생한 시점과 과제를 수행하려는 시도 사이에 너무 많은 시간이 있었던 경우 올바른 과제가 어떻게 보이는지 모를 수 있습니다.
Learners may not know what the correct task looks like if they have not paid attention to the demonstration, or there was too much time between when the demonstration took place and his/her attempt to perform the task.

잘못되었거나 오래된 이전 성능 각인
Imprinting of Previous Incorrect or Obsolete Performance

학습자는 이전에 학습한 내용이 잘못되었더라도 자동으로 반복할 수 있습니다. 이는 학생들이 다른 조건에서 절차를 배우려고 시도했지만 적절한 피드백과 수정 조치를 받지 못해 부적절한 기술 적용을 반복하는 사무 기반의 절차에서 종종 발생한다. 
Learners may be automatically repeating what was previously learned even though it was incorrect. This is often the case in officebased procedures where students have attempted to learn a procedure under other conditions and were not given appropriate feedback and corrective action and thus are repeating an inappropriate application of the skill. 

부적절한 보정/보강
Improper Correction/ Reinforcement

학습자는 수행이 정확하지 않을 때 수행이 정확했음을 나타내는 피드백을 받았을 수 있습니다. 
Learners may have received what was believed to be feedback indicating the performance was correct when it was not. 

정서적 요인
Affective Factors

정서적 요인에는 두려움, 위협, 산만, 당혹감, 기술의 가치에 대한 믿음 부족, 기술과 무관한 감각 또는 수행 불안 등이 포함될 수 있으며 기술 학습의 결손을 야기할 수 있다. 
Affective factors can include fear, intimidation, distraction, embarrassment, lack of belief in the value of the skill, sense of skill irrelevancy, or performance anxiety and can cause deficits in skill learning. 

부정확한 학습자 성과 인식
Inaccurate Learner Perception of Performance

학습자는 올바르게 수행된 작업과 올바르게 수행되지 않은 작업을 기억하지 못할 수 있습니다.

The learner may not be able to recall what was done and what was not done correctly.

Fam Med. 2001 Sep;33(8):577-8.

A simple five-step method for teaching clinical skills

J H George 1, F X Doto

Affiliations collapse

Affiliation

• 1Department of Family and Community Medicine, Penn State College of Medicine, Hershey Medical Center, 17033-0850, USA. jgeorge3@psu.edu

• PMID: 11573712

그룹 결정에서의 신뢰: 스코핑 리뷰(BMC Med Educ, 2019)

Trust in Group Decisions: a scoping review
Jason E. Sapp1,3*, Dario M. Torre1, Kelsey L. Larsen1, Eric S. Holmboe2 and Steven J. Durning1

배경 Background

유능한 의사들을 양성하는 것은 여러 가지 면에서 신뢰의 문제이다. 환자들은 제공자들이 그들의 병을 능숙하게 해결하고 그들이 좋은 건강을 이룰 수 있도록 도울 것을 신뢰한다. 인증기관들은 대학원 의료교육(GME) 프로그램이 졸업생이 높은 역량을 갖춘 의료 서비스를 제공할 수 있도록 준비하기 위한 정책과 절차를 이행할 것으로 믿고 있다. GME 프로그램은 역량 위원회를 활용하여 이러한 그룹이 연습생 진행과 관련하여 정확한 결정을 내릴 수 있도록 신뢰하고 있습니다. 핵심 개념으로서의 신뢰는 더 넓은 교육 문헌에서 널리 퍼지고 있고 더 최근에는 건강 직업 교육에서 논의되고 있습니다만, 이러한 맥락에서 신뢰의 본질은 동일한가요? 
Training competent physicians is, in many ways, a matter of trust. Patients trust providers to competently address their ailments and assist in helping them achieve good health. Accreditation organizations trust that graduate medical education (GME) programs implement policies and procedures to prepare graduates to provide highly competent medical care. GME programs that utilize competency committees trust these groups to make accurate decisions regarding trainee progress. Trust as a core concept is growing in prevalence in the broader education literature and more recently has been discussed in health professions education, but is the nature of trust in each of these contexts the same? 

보건 전문가 교육은 다양한 임상적 책임에 대한 적절한 수준의 연습생 감독에 대해 감독자들이 내리는 결정을 포함하는 위탁 가능한 전문 활동(EPA)의 맥락에서 신뢰를 검토했다[1, 2]. 
Health professions education has examined trust in the context of Entrustable Professional Activities (EPAs), which include decisions that supervisors make about the appropriate level of trainee supervision for different clinical responsibilities [1, 2]. 

일부 국가에서는 역량 위원회가 대학원 의학 교육 프로그램의 필수적인 부분이다. 이러한 위원회는 일반적으로 비지도 임상 실습을 향한 [적절한 경로에 있는 교육생과 그렇지 않은 교육생들을 집단적으로 결정]하는 [교육 프로그램 교직원]으로 구성된다. 이들은 각 교육생의 진행 상황을 평가하고, 교육생의 전반적인 진행, 홍보 및 교정 조치에 대해 프로그램 감독에게 권고합니다 [3–5]. 

In some countries, competency committees are an essential part of the postgraduate medical education program. These committees usually consist of training program faculty who collectively determine which trainees are on appropriate paths towards unsupervised clinical practice and which are not. They assess each trainee’s progress, and they make recommendations to program directors regarding trainee overall progress, promotion, and remediation [3–5]. 

의학 이외의 학자들은 개인 수준 및 그룹 수준(예: 작업팀)에서 신뢰를 탐구했다[8–10]. 그룹 내에서도 신뢰는 [개별 수준과 그룹 수준 프로세스를 동시에 포함하는] 여러 수준에서 발생한다는 연구 결과가 제시되었습니다 [8]. 이 검토의 목적을 위해, 우리는 그룹을 "규칙적인 접촉과 빈번한 상호 작용, 상호 영향, 공통의 동지적 느낌, 그리고 공동의 목표를 달성하기 위해 협력하는 개인들의 집합"으로 정의한다[11]. 
Scholars outside of medicine have explored trust at the individual level and also at the group level (e.g. in work teams) [8–10]. Even within a group, research suggests that trust occurs at multiple levels encompassing both individual level and group level processes simultaneously [8]. For purposes of this review, we define a group as “a collection of individuals who have regular contact and frequent interaction, mutual influence, common feeling of camaraderie, and who work together to achieve a common set of goals.” [11] 

[그룹 신뢰]에 대한 연구는 (그룹 내부 또는 외부의 개인의 그룹 결정에 대한 신뢰와는 반대로) [그룹 내의 신뢰(예: 개별 신뢰의 집합 또는 조합)]에 주로 초점을 맞추었다. 그러나 이러한 맥락에서 그룹 신뢰는 명확하게 정의되지 않았다. 

Research on group trust has focused primarily on trust within a group (e.g. as an aggregate or combination of individual trust) as opposed to trust in group decisions from individuals either within or outside of the group. However, “group trust” in any of these contexts has not been clearly defined. 

이론적 프레임워크
Theoretical framework

의사결정 그룹이 합의를 달성하기 위해서는, 사람, 사물(즉, 학습 관리 시스템과 같은 학습 또는 직무 지향적 환경에서 인간 능력을 증강하는 데 도움이 되는 항목)과 환경 사이의 소통과 상호작용이 중요한 것으로 여겨진다. 따라서 우리는 모델 개발과 문헌 해석을 지원하기 위한 이론적 프레임워크로 위치 인식situated cognition을 선택했다. 
In order for decision-making groups to achieve consensus, communication and interactions between people, objects (i.e. items that help augment human capabilities in a learning or task-oriented setting, such as learning management systems), and the environment are believed to be important. We therefore chose situated cognition as our theoretical framework to support the development of a model and interpretation of the literature, 

[위치 인식]은 사고와 학습이 환경의 더 큰 사회적, 물리적 맥락 안에 위치(또는 위치)한다고 제안한다[12] 이 이론은 그룹 설정이 여러 구성 요소(즉, 물리적, 사회적, 문화적)와 이러한 구성 요소 간의 상호 작용 기회를 가진 매우 복잡하다는 것을 시사한다. 그것은 참가자들, 개인의 인지 능력을 증강시키는 데 도움이 되는 물체(예: 인공물) 및 환경 사이의 복잡한 관계를 인식한다. 위치 인식은 이러한 다양한 상호 작용이 어떻게 사고, 학습 및 의사 결정으로 이어지는지를 강조하며, 이 검토에서 우리가 제안하는 모델은 이러한 모든 상호 작용을 기반으로 구축된다.

Situated cognition proposes that thinking and learning are situated (or located) within the larger social and physical context of the environment [12]. This theory suggests that a group setting is highly complex with multiple components (i.e. physical, social, and cultural) and opportunities for interactions between these components. It recognizes the complex relationship between participants, objects (i.e. artifacts) that help to augment individuals’ cognitive capabilities, and the environment. Situated cognition emphasizes how these various interactions lead to thinking, learning, and decisions, and the model we propose in this review is built upon all of these interactions.

방법

Methods

우리는 집단적 결정을 내리는 그룹에서 신뢰가 어떻게 작용하는지를 이해하고 향후 연구에서 경험적으로 테스트할 수 있는 위치 인식을 사용하여 모델의 개발을 지원하기 위해 범위 지정 검토를 선택했다. 이 범위 검토는 원래 Arcsey와 O'Malley가 개괄적으로 설명하고 Levac 등이 확장한 방법론에 기초하여 수행되었다. [13, 14] 우리는 처음에 개인, 그룹 및 조직 차원의 신뢰에 대한 광범위한 문헌을 검토했습니다. 이 초기 검토 동안, 우리는 후속 검색 및 분석을 안내하기 위해 프레임워크로 사용한 보건 직업 교육 외부에서 작업 팀에 대한 신뢰의 다단계 모델을 식별했다[8]. 

We chose a scoping review to understand how trust operates in groups making collective decisions and to support the development of a model using situated cognition that can be tested empirically in future studies. This scoping review was conducted based upon the methodology originally outlined by Arksey and O’Malley and expanded upon by Levac et al. [13, 14] We initially reviewed the broad literature on trust at the individual, group, and organizational levels. During this initial review, we identified a multilevel model of trust in work teams from outside of health professions education that we used as a framework to guide our subsequent search and analysis [8]. 

결과

Results

우리는 406개의 출판물을 확인했고 42개의 기사를 포함했다. 배제된 두 가지 주요 이유는 기사들이 그룹 역학에 대한 명확한 연결을 보여주지 못했으며/또는 신뢰가 너무 초점이 좁았기 때문이다(그림 1). 포함된 42개의 출판물의 전체 목록은 추가 파일 2에서 확인할 수 있습니다. 
We identified 406 publications and included 42 articles. The two main reasons for exclusion were that the articles demonstrated no clear link to group dynamics and/or trust was too narrow of a focus (Fig. 1). A complete list of the 42 included publications is available in Additional file 2. 

출판특성
Publication characteristics

간행물 종류
Publication types

신뢰의 정의
Definitions of trust

이 검토의 기사에 의한 [신뢰]에 대한 가장 자주 인용되는 일반적인 정의는 (n = 28, 66.7%, 거의 항상 개별 수준에서 신뢰를 언급함)"상대방이 상대방을 감시하거나 통제할 수 있는 능력에 관계없이 신탁자에게 중요한 특정 행동을 할 것이라는 [긍정적] 기대에 근거하여 상대방이 다른 당사자의 행동에 취약해질 수 있다는 확신" [15] 본 연구의 기사에서 인용한 기타 일반적인 신뢰 정의는 표 2에 제시되어 있다.
The most often cited general definition of trust by articles in this review (n = 28, 66.7%; almost always referring to trust at the individual level) is the “willingness of a party to be vulnerable to the actions of another party based on the [positive] expectation that the other will perform a particular action important to the trustor, irrespective of the ability to monitor or control that other party.” [15] Other general definitions of trust cited by articles in this study are provided in Table 2.

[긍정적인 기대]는 다른 사람의 행동이 유익하거나, 호의적이거나, 적어도 해롭지 않을 것이라는 믿음이다 [26].

[취약성]은 잃어버려야 할 중요한 무언가가 있다는 것을 의미하며 위험을 감수해야 한다는 것을 의미한다.

실제로 위험 또한 일반적으로 인용되는 신뢰의 구성요소이다 [17, 18, 21, 22, 24, 27–33]. 그러므로 일반적으로 신뢰는 [다른 당사자의 행동에 취약할 수 있는 의지]로 정의될 수 있기 때문에, 어떤 수준(예: 개인 또는 그룹)의 신뢰는 개인이 [관계에서 어느 정도의 위험이 발생시킬 의지가 있는지]를 측정하는 것으로 분명히 특성화될 수 있다.
Positive expectations are beliefs that the actions of another will be beneficial, favorable, or at least not detrimental [26]. Vulnerability implies that there is something of importance to be lost and involves taking a risk; indeed, risk is also a commonly cited component of trust [17, 18, 21, 22, 24, 27–33]. Thus, because trust in general can be defined as a willingness to be vulnerable to the actions of another party, trust at any level (e.g. individual or group) can arguably be characterized as a measure of how much risk an individual is willing to incur in relationships. 

그러나 이 검토에서 "그룹 신뢰"에 대한 명확한 정의를 찾을 수 없었습니다.
However, we were unable to find in this review a clear definition of “group trust.”

그룹 신뢰의 정의

Group trust definition

우리는 [그룹 신뢰]에 대한 다음과 같은 정의를 제안한다: "구성원이 사회적 교류, 집단 인식, 대인관계 신뢰를 아우르는, 그룹에 중요한 특정 행동을 수행할 것이라는 기대를 바탕으로 구성원들의 행동에 대한 취약성을 수용하려는 그룹 지향적 의지". 
We propose the following definition of group trust: “a group-directed willingness to accept vulnerability to actions of the members based on the expectation that members will perform a particular action important to the group, encompassing social exchange, collective perceptions, and interpersonal trust.” 

그림 2는 문헌에 대한 개인 신뢰와 그룹 신뢰의 다양한 특성 간의 관계를 개략적으로 설명하는데, 여기에는 개인(대인 관계라고도 함) 신뢰, 사회적 교류 및 집단 인식이라는 세 가지 광범위한 범주가 포함된다. 
Fig. 2 outlines the relationship between individual trust and various characterizations of group trust in the literature, which include the three broad categories mentioned in our definition:

• individual (sometimes referred to as interpersonal) trust,
• social exchange, and
• collective perceptions. 

개인 수준에서, 대인 신뢰는 그룹 내 구성원들 사이의 양자적dyadic 관계에서 발생하며, 위에서 설명한 신뢰의 일반적인 특징과 함께 신탁자와 수탁자의 특성을 포함한다. 
At the individual level, interpersonal trust occurs in dyadic relationships between members in the group, encompassing general features of trust outlined above along with characteristics of both the trustor and the trustee. 

개인 신뢰와 그룹 신뢰의 한 가지 중요한 차이점은 그룹 신뢰는 기존의 양자적dyadic 관계 대신에 이러한, 신뢰의 요소들이 그룹 구성원들 사이에서 공유된다는 것을 암시한다는 것이다[8]. 학자들은 그룹 신뢰는 [그룹 내의 각 dyadic 관계]에 더하여, 별개의 단위로서 [그룹에 대한 신뢰에 대한 집단적 인식]과 함께 포함한다는 점에 주목한다[34]. 
One important difference between individual and group trust is that instead of existing in dyadic relationships, group trust implies that these components of trust are shared among group members [8]. Scholars note that group trust involves each dyadic relationship within the group along with collective perceptions of trust about the group as a distinct unit [34]. 

개인의 상호 작용과 상호의존적인 그룹 과제를 포괄하는 사회적 교환은 개인이 다른 그룹 구성원들과 공유된 인식, 기대 및 행동 규범을 개발하는 데 도움이 된다고 생각된다[35–37]. 더욱이, 그룹 차원의 신뢰는 또한 개인들이 다른 그룹 구성원들을 신뢰하여 그룹이 자신들에게 중요하며 그들의 정체성의 의미 있는 부분을 보여줄 수 있는 공유 그룹 멤버쉽의 문제로 여겨진다[38]. 

Social exchange, which encompasses individual interactions and interdependent group tasks, is thought to help individuals develop shared perceptions, expectations, and behavioral norms with other group members [35–37]. Moreover, trust at the group level is also felt to be a matter of shared group membership where individuals may be willing to trust other group members to show that the group is important to them and a meaningful part of their identity [38]. 


모델 제안

Proposed model

그룹 결정과 관련된 다양한 신뢰 요소에 대한 예비 모델(그림 3)을 제안한다. 우리의 모델은 

• 개별 수준 요인(신탁자와 수탁자를 모두 포함), 
• 그룹 수준 요인(그룹 구조와 그룹 프로세스 모두를 포함), 
• 환경 요인 
• 대인관계 상호작용

...을 포함하며, 이는 위치 인식의 핵심 요소이며, 역량 위원회에 중요한 요소로 언급되어 왔다[39].

We propose a preliminary model (Fig. 3) for various elements of trust pertaining to group decisions. Our model includes

• individual level factors (encompassing both the trustor and the trustee),
• group level factors (encompassing both group structure and group processes),
• environmental factors, and
• importantly interpersonal interactions,

which are a key element in situated cognition and have been cited as crucial for competency committees [39].

개별 수준 요인

Individual level factors


신뢰자 요인

Individual trustor factors

두 그룹 구성원 간의 신뢰는 한 개인을 '신탁자trustor'로, 다른 한 개인을 '수탁자trustee'로 보아야 하며, 이 관계는 구성원들 간의 역할 이동과 상호적일 수 있다는 점에 주목해야 한다. [신탁자 요인]은 취약성과 개인의 신뢰 성향을 포함하며, 이는 사람들의 다른 경험, 성격 유형 및 문화에 따라 다르다고 여겨진다[15]. 다른 그룹 구성원과 그룹 자체를 신뢰하려는 의지를 보여주기 때문에, [취약성을 보여주는 것]이 신뢰 그룹 관계를 구축하는 데 중요한 것으로 나타났다[23]. 

Trust between two group members requires looking at one individual as the “trustor” and the other as the “trustee,” noting this relationship can be reciprocal with the roles shifting between members. Trustor factors include vulnerability and an individual’s propensity to trust, which is believed to vary with people’s different experiences, personality types, and cultures [15]. Showing vulnerability has been shown to be crucial for building trusting group relationships as this demonstrates a willingness to trust other group members and the group itself [23]. 

피신뢰자 요인

Individual trustee factors

문헌에서 가장 많이 인용되는 세 가지 수탁자 특성은 

• 능력(특정 영역의 기술과 역량의 그룹), 
• 선의(신뢰 관계 속에서, 수탁자가 신탁자에게 선을 행하기를 원한다고 믿어지는 정도), 그리고 
• 진실성(수탁자가 [신탁자가 받아들일 수 있는 원칙들]을 고수할 것이라는 신탁자의 인식)[15].

집단적 환경에서, 그룹에 대한 인식된 헌신은 또한 중요한 개인 특성으로 언급되었다 [41]. 

The three trustee characteristics most often cited in the literature are

• ability (a group of skills and competencies in a specific domain),
• benevolence (the extent to which a trustee is believed to want to do good to a trustor on the giving end of a trusting relationship), and
• integrity (the trustor’s perception that the trustee adheres to a set of principles that the trustor finds acceptable) [15].

In a collective setting, perceived commitment to the group has also been cited as an important individual trait [41]. 

대인관계

Interpersonal interactions

[대인 상호 작용]은 위치 인식의 중요한 요소이며, 효과적인 상호 작용은 사회적 교환과 응집력을 향상시킬 수 있으며, 두 가지 모두 특히 신제품 개발 팀과 기술 지원 의사결정 그룹에서 대인관계 신뢰의 발전을 증진시키는 것으로 나타났다 [21, 42]. 
Interpersonal interactions are an important component of situated cognition, and effective interactions can lead to improved social exchange and cohesion, both of which have been shown to enhance the development of interpersonal trust, especially in new product development teams and technology-supported decision-making groups [21, 42]. 

의사결정 그룹 및 최고 경영진의 경우 [공유정신 모델]이 중요하며, 이는 [그룹이 사용하는 정보와 자원, 그룹이 직면한 과제와 문제, 그리고 개별 그룹 구성원이 가져온 정보 (그룹 구성원의 기억에 저장된 기존의 지식, 고정관념, 선입견 및 경험)에 대한 공유된 지식과 조직화된 이해]로 개념화될 수 있다. 공유된 정신 모델의 개념은 역량 위원회의 중요한 구성요소입니다.

For decision-making groups and top management teams, a shared mental model is important and may be conceptualized as the shared knowledge and organized understanding of the information and resources used by the group, tasks and problems faced by the group, and individual group members’ imported information (the preexisting knowledge, stereotypes, preconceptions, and experiences stored in group members’ memories) [40, 43]. The idea of a shared mental model is a critical component of competency committees. 

그룹 구성원 간의 신뢰는 일반적으로 정보 교환을 강화하고 공유된 이해를 확립하기 위해 느껴지지만, 새로운 구성원이 가져오는 지식은 그룹 집단적 신념과 기억 구조에 악영향을 미칠 수 있으며, 특히 잘 확립된 그룹에서는 더욱 그러하다[42]. 특히, [새롭게 형성된 관계의 당사자들은 상호 이해와 존중을 개발할 기회를 덜 가질 가능성이 높기 때문에] (더 긴 기간보다는) 관계를 가진 기간이 짧은 경우에 신뢰는 더 쉽게 침해될 수 있다[33]. 또한, (개인의 그룹 내 포함 또는 구성원 자격을 나타내는) [그룹 내 개인의 지위]는 더 많은 선배 또는 경험이 있는 구성원이 새로운 구성원들과 상호작용하는 방법에 영향을 미칠 수 있다 [38]. 

While trust between group members is usually felt to enhance information exchange and establish shared understanding, knowledge brought in by new members may adversely affect group collective beliefs and memory structures, especially in well-established groups [42]. Notably, trust can more easily be violated in relationships of shorter rather than longer duration because parties in newly formed relationships are less likely to have had the opportunity to develop mutual understanding and respect [33]. Additionally, a person’s standing in the group, which refers to a person’s inclusion or membership status within a group, may influence how more senior or experienced members interact with newer ones [38]. 


그룹 수준 요인
Group level factors


집단구조
Group structure

그룹의 구성과 관련하여, [구성원 간의 다양성]은 그룹 내 신뢰에 여러 가지 영향을 미칠 수 있습니다. 이러한 맥락에서 다양성은 [문화적 다양성]과 [기술 다양성]을 모두 포함한다. 학부 심리학과 학생에서, 신뢰는 구성원이 서로 다른 그룹보다 유사한 태도, 성격 및 지성을 가지고 있다고 인식할 때 그룹 내에서 더 많이 발전하는 것으로 입증되었다 [22]. 문화적 다양성은 어떤 맥락에서 그룹 성과와 커뮤니케이션 효과에 부정적인 영향을 미칠 수 있다[40]. 그러나, 문화적 다양성과는 대조적으로, 팀 신뢰와 팀 성과에 긍정적인 영향을 주기 위해 적용된 심리학 메타 분석에서 기술 다양성이 나타났다[34]. 
Regarding a group’s composition, diversity amongst members can have multiple influences on trust within the group. Diversity in this context includes both cultural and skill diversity. In undergraduate psychology students, trust was demonstrated to more likely develop in groups when members perceive each other to have similar attitudes, personality, and intellect than in dissimilar groups [22]. Cultural diversity may, in some contexts, negatively impact group performance and communication effectiveness [40]. However, in contrast to cultural diversity, skill diversity has been shown in an applied psychology meta-analysis to positively impact intrateam trust and team performance [34]. 

[그룹 구성원 안정성]과 [그룹 크기] 또한 그룹 구조에 기여한다고 여겨진다. 일반적으로, 그룹 구성원 안정성은 커뮤니케이션 패턴, 팀의 사회적 상호 작용, 대인 신뢰에 긍정적인 영향을 미치는 경향이 있다[42]. 외부적 관점에서, 학부 심리학과 학생들의 큰 그룹(즉, 10명 이상의 개인)보다 작은 그룹(즉, 10명 이하의 개인)이 일반적으로 더 신뢰할 수 있는 것으로 나타났다[25]. 

Group member stability and group size are also believed to contribute to a group’s structure. In general, group member stability tends to positively impact communication patterns, the social interaction of teams, and interpersonal trust [42]. From an external perspective, smaller groups (i.e. less than 10 individuals) have generally been shown to be more trustworthy than larger groups (i.e. 10 or more individuals) in undergraduate psychology students [25]. 

그룹 프로세스

Group processes

그룹 협력 및 모니터링

Group cooperation and monitoring

의학 이외의 연구는 [협력과 감시 행동]이 일반적으로 그룹 내 신뢰 수준에 의해 영향을 받는다는 것을 시사한다.

• 높은 신뢰를 경험하는 그룹 구성원들은 더 협력하고, 정보를 공유하고, 다른 구성원의 영향력을 받아들이고, 개인적으로 그룹과의 관계를 느끼는 경향이 있다.
• [감시 행동]은 일반적으로 구성원 간의 신뢰가 낮을 때 스펙트럼의 반대쪽 끝에서 발생하며 구성원이 다른 사람의 행동과 의도를 경계해야 할 필요성을 느낄 때 나타난다.

구성원들이 동료들을 신뢰할 수 있다고 인식하는 그룹은 대학생, 유럽 사회 의료 기관의 팀 및 병원 직원들에 대한 심리학 연구에 기초하여 더 적은 모니터링 행동과 더 협력적인 행동을 보여줄 가능성이 있다 [17, 28, 46]. 

Work outside of medicine suggests that cooperation and monitoring behaviors are commonly impacted by the level of trust within a group. Group members who experience high trust tend to cooperate more, share information, accept influences from other members, and feel personally involved with the group. Monitoring behaviors usually occurs at the opposite end of the spectrum when trust between members is low and manifest when members feel a need to be vigilant about the actions and intentions of others. Groups in which members perceive colleagues as trustworthy are likely to demonstrate fewer monitoring behaviors and more cooperative behaviors based upon psychology research on undergraduate students, teams from European social care institutions, and hospital employees [17, 28, 46]. 

그룹 갈등

Group conflict

업무(인지적) 갈등은 그룹 구성원이 공유 사업에 참여할 때 관점, 아이디어 또는 의견의 개별 차이에서 발생하는 경향이 있다. 반대로, 관계(정서적) 갈등은 대인관계의 긴장에서 발생하는 경향이 있다. 
Task (cognitive) conflict tends to arise from individual differences in viewpoints, ideas, or opinions when group members participate in a shared undertaking. Conversely, relationship (affective) conflict tends to arise from interpersonal tensions. 

관계 갈등은 일반적으로 전략적 의사 결정 팀, MBA 대학원생 및 고등 교육 교직원의 연구에 기초한 기능 장애인 반면, 업무 갈등은 건설적일 수 있습니다 [26, 31, 32]. 
task conflict can be constructive whereas relationship conflict is usually dysfunctional based upon research from strategic decision-making teams, MBA graduate students, and higher education faculty [26, 31, 32]. 

팀의 갈등 수준(특히 관계 충돌)이 높을수록 일반적으로 신뢰도가 낮아집니다. 반면에, 그룹 내의 지나친 신뢰는 유형에 관계없이 거의 아무런 충돌도 일으키지 않을 수 있다. 따라서, 업무 충돌의 긍정적인 영향[47]을 잃을 수 있습니다. 
Higher levels of conflict (especially relationship conflict) in teams are usually associated with lower trust. On the other hand, too much trust within a group may result in almost no conflict whatsoever regardless of type. Thus, the group may lose out on the positive effects of task conflict[47]. 

경영학 문헌에서는 갈등에 대한 인식마저도 집단 내 갈등으로 이어질 수 있다. [대인관계 불협화음]을 어떻게 인식하고 정의하고 해석하느냐가 갈등의 본질보다 더 중요할 수 있다[33]. 한 사람이 다른 사람을 불신할 때, 그 사람은 모호한 행동을 위협적이라고 해석하고 자신의 행동을 통해 불신을 전달할 수 있다. 행동이 위협적인 것으로 해석되는 사람은 그 불신에 보답할 수도 있다.

In the management literature, even perceptions of conflict may lead to conflict within a group. How one perceives, defines, and interprets interpersonal discord may be more important than the nature of the conflict itself [33]. When one person distrusts another, that person may interpret ambiguous behaviors as threatening and convey distrust through his or her conduct. The person whose behavior is interpreted as threatening may reciprocate that distrust. 

그룹의 절차적 공정성

Group procedural fairness

의사결정 절차의 두 가지 측면이 공정성에 대한 인식을 창출하는 것으로 나타났다. 즉, [구성원 인풋에 대한 고려]와 [결정에 대한 영향력]이다.

• [입력 고려]란 의사결정 과정에서 그룹 리더가 그룹 멤버 입력을 듣고 고려하는 정도를 말한다.
• [영향]이란 그룹 구성원 입력이 최종 결정에 영향을 미치거나 반영되는 정도를 말한다.
• [공정한 절차]는 그룹 및 리더에 대한 긍정적인 태도와 연관되어 있으며, 결과적으로 리더에 대한 그룹 화합과 신뢰가 생겨났다.

그룹 내에서 절차가 공정하다고 인지하는 개인 구성원은 포춘지 500대 경영진과 네덜란드 대학생의 연구에 기반하여 그룹 결정을 내릴 가능성이 더 높은 것으로 판단됩니다 [16, 49].

Two aspects of decision-making procedures have been shown to create perceptions of fairness: consideration of member input and influence over a decision.

• Consideration of input refers to the extent a group leader listens to and considers group member input during a decision-making process.
• Influence refers to the extent group member input affects or is reflected in the final decision.
• Fair procedures have been associated with positive attitudes toward the group and leader, resulting in group harmony and trust in the leader.

Individual members who perceive fair procedures within the group are believed to be more likely to commit to group decisions based upon research from Fortune 500 management teams and Netherlands undergraduate students [16, 49]. 

그룹 과제 상호의존성

Group task interdependence

작업 상호의존성(그룹 구성원들이 상호 작용하고 목표를 달성하기 위해 서로 의존해야 하는 정도)이 높을 때, 팀워크 상호 작용이 그룹 목표 달성에 중요하기 때문에 신뢰는 더 큰 영향력을 발휘한다[8, 34].
When task interdependence (the degree to which group members must interact and rely on one another to accomplish goals) is high, trust plays a more influential role because teamwork interactions become critical to achieving group goals [8, 34].

그룹 분위기

Group climate

[그룹의 기후]는 여러 가지 요소를 가지고 있으며 [그룹 내에서 지지받는supported 행동, 관행 및 절차의 종류에 대한 공통된 인식]으로 정의될 수 있습니다 [56]. 기후는 [집단적 정체성]을 포함하며, 구성원이 그룹을 "우리" 대 "나"로 보는 정도로 정의된다. [공통의 집단적 정체성]은 특히 다양한 작업 그룹에서 신뢰를 발전시키고 부정적인 태도를 감소시키며 다른 그룹 구성원에 대한 긍정적인 반응을 증가시키고 상호 긴장과 불확실성을 감소시키는데 도움을 줄 수 있다[45]. 
A group’s climate has multiple components and can be defined as shared perceptions of the kinds of behaviors, practices, and procedures that are supported within a group [56]. Climate may include a group’s identity, defined as the degree to which members view the group as “we” versus “I.” A common group identity may help develop trust, especially in diverse work groups, decrease negative attitudes and increase more positive affective responses toward other group members, and reduce mutual tensions and uncertainty [45]. 

그룹 정체성과 관련된 것은 [그룹 효능감]이다. 효능감은 개인 또는 그룹 수준에서 캐나다 대학생들에게 정의되었으며 특정 상황에서 성공하거나 과제를 수행하는 능력에 대한 기업의 믿음을 의미한다[44]. 
Related to group identity is group efficacy. Efficacy has been defined in undergraduate Canadian business students at either the individual or group level and refers to an entity’s belief in its ability to succeed in specific situations or accomplish a task [44]. 

심리적 안전, 집단주의, 오너십은 모두 구별되며 집단의 기후에도 기여한다.
Psychological safety, collectivism, and ownership are all distinct and also contribute to a group’s climate.

대학원 수준의 경영학 학생에서 [심리적으로 안전한 그룹 환경]은 다른 사람들의 보복, 처벌, 괴롭힘 또는 조롱에 대한 두려움이 거의 없기 때문에 그룹 구성원들 사이에 진정성과 위험을 감수하도록 장려합니다 [36]. 심리적 안전 수준이 높은 그룹은 신뢰 수준이 더 높은 경향이 있습니다 [41]. 
In graduate-level business students, psychologically safe group environments encourage authenticity and risk-taking among group members because there is minimal fear of reprisal, punishment, harassment, or ridicule from others [36]. Groups with higher levels of psychological safety tend to have higher levels of trust [41]. 


[심리적 집단주의]란 독립적이고 자율적인 노력보다 집단의 집단적 노력을 선호하는 사람의 성향을 말한다. 심리적 집단주의의 수준이 낮은 구성원에 비해, 고도로 집단주의적인 개인은 신뢰도가 낮은 그룹 환경에서 더 큰 만족감을 경험하고, 다른 구성원과 더 기꺼이 협력하며, 그 그룹과 더 쉽게 식별할 수 있을 것이다 [36]. 
Psychological collectivism refers to a person’s propensity to favor group affiliation and the collective effort of the group over independent and autonomous effort. Compared with members who have low levels of psychological collectivism, a highly collectivistic individual will likely experience greater satisfaction working in a low-trust group environment, be more willing to work with other members, and more readily identify with that group [36]. 

마지막으로, [심리적 소유권]은 소유욕과 조직 내의 다양한 사물에 대한 애착을 의미한다. 이러한 소유의 느낌은 사람을 가치로 이끌고 그 물건들에 대한 책임을 지게 한다. 다양한 산업에서 소유권을 느끼는 개인은 특히 신뢰도가 낮은 환경에서 자신의 소유권 주장을 전달하고 방어하기 위해 영토적 행동을 할 수 있습니다 [52]. 

Finally, psychological ownership refers to a feeling of possessiveness and attachment to a variety of objects within one’s organization. These feelings of ownership lead one to value and take responsibility for those objects. In various industries, individuals who feel ownership may engage in territorial behaviors to communicate and defend their ownership claims, especially in lower trust environments [52]. 

그룹 리더십

Group leadership

의료 및 은행 직원들의 경우, [진정한 혁신적 리더십 스타일]이 그룹 구성원 간의 신뢰를 향상하는 것으로 나타났습니다 [37, 53]. 그룹 리더의 정당성(예: 정직, 공정성, 존경심)은 그룹 내 대인관계 신뢰의 환경을 조성할 수도 있습니다 [42]. 또한 그룹의 핵심 특성을 공유하는 리더인 프로토타입 리더는 동료에 대한 직원들의 신뢰를 높일 수 있습니다 [38]. 
In healthcare and bank employees, authentic and transformational leadership styles have been shown to improve trust amongst members of a group [37, 53]. Legitimacy (e.g. honesty, fairness, respectfulness) of a group leader may also promote a climate of interpersonal trust in groups [42]. Additionally, prototypical leaders, which are leaders who share essential characteristics of their group, may foster employee trust in coworkers [38]. 

[리더의 행동]도 신뢰에 영향을 미칠 수 있습니다. 협업과 개방적인 커뮤니케이션을 장려하는 [관계형 행동]들은 최고 경영진에 대한 신뢰를 증대시키는 것으로 나타났습니다 [43]. 신뢰를 조장할 수 있는 다른 리더 행동은 다음과 같습니다. 

• 공정성, 특히 프로토타입 그룹 리더의 경우 [38], 
  
• 안전한 분위기를 조성할 수 있는 능력[23], 
  
• 그룹의 행동 규범과 기후 설정[40], 
  
• 각 그룹 구성원과의 고유한 개인 관계 개발 [45], 
  
• 갈등을 관리하고 그룹에 대한 상위superordinate 임무 생성 [54]

Leader behaviors may also influence trust. Relational behaviors, those that encourage collaboration and open communication, have been shown to augment trust in top management teams [43]. Other leader behaviors that may foster trust include

• fairness, particularly for a prototypical group leader [38],
• the ability to create a safe atmosphere [23],
• establishing behavioral norms and climate of the group [40],
• developing unique personal relationships with each group member [45],
• managing conflict, and creating a superordinate mission for the group [54]. 
  
  
  

환경 요인

Environment factors

[외부 보고 관계]는 공유 작업에 복잡성을 가중시킬 수 있습니다. 외부 기업과의 관계 보고로 인해 많은 양의 압력과 갈등을 겪는 그룹은 역할 충돌, 혼란스러운 기대 또는 역할 모호성, 과도한 요구로 인해 과부하와 경쟁우위를 초래하는 결과를 보고할 수 있다[54]. 
External reporting relationships can add complexity to shared tasks. Groups that experience large amounts of pressure and conflict caused by reporting relationships to outside entities may report role conflict, confusing expectations or role ambiguity, and excessive demands resulting in overload and competing priorities [54]. 


[직무 불확실성]과 신뢰 사이의 연관성은 신속 행동 시작 팀들에서 연구되어 왔는데, 이들은 까다롭고 복잡하고 시간에 쫓기는 프로젝트를 완료하고 종종 빠르게 형성되는 조직의 숙련된 개인들로 이루어진 고도로 상호의존적인 팀이다. 높은 수준의 직무 불확실성은 인지 자원을 고갈시킬 수 있으므로, 이러한 팀의 구성원은 휴리스틱 기반 의사결정에 지나치게 의존하게 되고 덜 불확실한 상황에서 그룹보다 성향predisposition에 더 많이 의존하게 될 수 있다[40]. 또한 그룹 구성원은 그룹 내에서 [예측 가능성]을 중요시할 수 있으며, 특히 그룹 외부에서는 예측 불가능한 이벤트가 점점 더 많아지고 있습니다. 결과적으로, 그룹의 기성 구성원들은 [새로운 구성원]들이 그룹에 가져오는 불확실성을 고려할 때 그들을 신뢰하기를 꺼릴 수 있다 [41]. 
The link between task uncertainty and trust has been studied in swift action starting teams, which are highly interdependent teams of skilled individuals in organizations that complete demanding, complex, time-pressured projects and are often formed quickly. High levels of task uncertainty may deplete cognitive resources, so members in these teams may become overly dependent on heuristic-based decisionmaking and rely more heavily on predispositions than would groups in less uncertain situations [40]. Additionally, group members may value predictability within the group, especially with increasingly unpredictable events outside of the group. As a result, established members of a group might be reluctant to trust new members given the uncertainty that they bring to the group [41]. 

그룹에 영향을 미칠 수 있는 추가 외부 요인은 다음과 같습니다. 

• 다른 그룹 및 사회적 유대 관계, 위협(예: 외부 위험 또는 다른 그룹과의 갈등) 및 
  
• 인력 배치 수준(예: 그룹이 직원이 부족할 경우, 구성원이 더 긴밀하게 협력해야 하기 때문에 그룹이 더 컸을 때보다 신뢰가 더 강하게 발전할 수 있습니다) [41].

Additional external factors that may impact a group include

• individuals’ memberships in other groups and social ties, threats (e.g. external dangers or conflict with another group), and
• staffing levels (e.g. if a group is understaffed, trust may develop more strongly than if the group were larger because members are forced to work more closely together) [41]. 
  
  

고찰

Discussion

우리는 "그룹 신뢰"에 대한 명확한 정의를 찾을 수 없었다. 게다가, 그룹 결정에 대한 신뢰는 건강 직업 교육 내부 또는 외부에서 잘 연구되지 않았다. 
we were unable to find a clear definition of “group trust.” Further, trust in group decisions has not been well studied within or outside of health professions education. 

우리는 [그룹 신뢰]를 [사회 교류, 집단 인식 및 대인 신뢰를 아우르는, 구성원이 그룹에 중요한 특정 행동을 수행할 것이라는 기대를 바탕으로 구성원들의 행동에 대한 취약성을 수용하려는 그룹 지향적 의지]로 정의한다. 
We define group trust as a group-directed willingness to accept vulnerability to actions of the members based on the expectation that members will perform a particular action important to the group, encompassing social exchange, collective perceptions, and interpersonal trust (Fig. 2). 

대인관계 신뢰도가 높아지면 그룹 차원의 신뢰도가 높아지기 쉽다. 두 단계의 높은 신뢰도는 협력과 만족도를 증가시키는 것과 같은 태도적 결과[22, 33, 40]와 정보 공유 및 그룹 의사 결정의 품질과 같은 성과 결과와 관련이 있다[22, 42, 43, 55]. 또한, 역량 위원회의 맥락에서 신뢰에 대한 보다 철저한 이해를 개발하면, 이러한 위원회가 연습생 역량에 관한 집단적 결정을 내릴 수 있는 보다 의미 있고 효과적인 프로세스를 구현하는 데 도움이 될 수 있다. 
Higher levels of interpersonal trust will likely lead to a higher degree of trust at the group level. Higher degrees of trust at both levels have been associated with attitudinal outcomes, such as increased cooperation and satisfaction [22, 33, 40], and performance outcomes, such as information sharing and quality of group decisions [22, 42, 43, 55]. Additionally, developing a more thorough understanding of trust in the context of competency committees may help these committees implement more meaningful and effective processes to make collective decisions regarding trainee competence. 

그룹 수준에서 신뢰와 그룹 결정의 신뢰에 영향을 미칠 수 있는 다양한 요인을 더 잘 이해하기 위한 모델(그림 3)을 제안한다. 
we propose a model (Fig. 3) to better understand trust at the group level and the various factors that may influence the trust of group decisions. 

우리의 연구는 우리의 모든 데이터가 건강직업 교육 이외의 분야에서 나왔다는 사실에 의해 제한되며, 다른 직업 환경에 대한 신뢰는 건강직업 교육 환경에 대한 신뢰와 같지 않을 수 있다. 마찬가지로, 일부 검토된 논문은 학부생과 대학원생에 초점을 맞추고 있으며, 이러한 학습자의 특성은 보건직업교육의 교육생들과 같지 않을 수 있다.

Our research is limited by the fact that all of our data came from fields outside of health professions education, and trust in other occupational settings may not be the same as trust in health professions education settings. Similarly, some of the reviewed papers focused on undergraduate and graduate students, and characteristics of these learners may not be the same as trainees in health professions education.

BMC Med Educ. 2019 Aug 14;19(1):309. doi: 10.1186/s12909-019-1726-4.

Trust in Group Decisions: a scoping review

Jason E Sapp 1 2, Dario M Torre 3, Kelsey L Larsen 3, Eric S Holmboe 4, Steven J Durning 3

Affiliations collapse

Affiliations

• 1Department of Medicine, Division of Health Professions Education, Uniformed Services University of the Health Sciences, 4301 Jones Bridge Rd, Bethesda, MD, 20814, USA. jesapp@gmail.com.

• 2Department of Medicine, Tripler Army Medical Center, 1 Jarrett White Rd, Tripler AMC, HI, 96859, USA. jesapp@gmail.com.

• 3Department of Medicine, Division of Health Professions Education, Uniformed Services University of the Health Sciences, 4301 Jones Bridge Rd, Bethesda, MD, 20814, USA.

• 4Milestones Development and Evaluation, Accreditation Council for Graduate Medical, Education, Suite 2000, 401 North Michigan Avenue, Chicago, IL, 60611, USA.

• PMID: 31412860

• PMCID: PMC6693175

• DOI: 10.1186/s12909-019-1726-4

Free PMC article

Abstract

Background: Trust is a critical component of competency committees given their high-stakes decisions. Research from outside of medicine on group trust has not focused on trust in group decisions, and "group trust" has not been clearly defined. The purpose was twofold: to examine the definition of trust in the context of group decisions and to explore what factors may influence trust from the perspective of those who rely on competency committees through a proposed group trust model.

Methods: The authors conducted a literature search of four online databases, seeking articles published on trust in group settings. Reviewers extracted, coded, and analyzed key data including definitions of trust and factors pertaining to group trust.

Results: The authors selected 42 articles for full text review. Although reviewers found multiple general definitions of trust, they were unable to find a clear definition of group trust and propose the following: a group-directed willingness to accept vulnerability to actions of the members based on the expectation that members will perform a particular action important to the group, encompassing social exchange, collective perceptions, and interpersonal trust. Additionally, the authors propose a model encompassing individual level factors (trustor and trustee), interpersonal interactions, group level factors (structure and processes), and environmental factors.

Conclusions: Higher degrees of trust at the individual and group levels have been associated with attitudinal and performance outcomes, such as quality of group decisions. Developing a deeper understanding of trust in competency committees may help these committees implement more effective and meaningful processes to make collective decisions.

Keywords: Competency committee; Decision; Group; Trust.

경험기반학습: 의과대학생의 근무지 학습의 과정과 성과를 연결하는 모델(Med Educ, 2007)

Experience-based learning: a model linking the processes and outcomes of medical students’ workplace learning

Tim Dornan,1 Henny Boshuizen,2 Nigel King3 & Albert Scherpbier4

도입 INTRODUCTION

방법 METHODS

맥락 Context

연구 설계 Study design

연구자의 역할 Roles of the researchers

분석 방법Analytical methods

결과 RESULTS

1 학습의 핵심조건으로서의 참여

1 Participation as the core condition for learning

2 참여의 성격

2 The nature of participation

2a 관찰하기

2a Observation as participation

2b 행동하기

2b  Acting as participation

3 참여에 영향을 미치는 요인

3 Factors affecting participation

3a 환자와의 상호작용

3a Interaction with patients

3b 의사와의 상호작용

3b Interaction with doctors

3b.1 학생에 대한 의사의 행동

3b.1 Doctors’ behaviour towards students

3b.2 의료진의 분위기

3b.2 The climate of the medical team

3b.3 커리큘럼에 대한 의사의 지식

3b.3 Doctors’ knowledge of the curriculum

3c 간호사와의 상호작용

3c Interaction with nurses

3d 동료와의 상호 작용

3d Interaction with peers

3e 조직적 요인

3e Organisational factors

4 학생의 심리 상태

4 Students’ states of mind

4a 정체성 구축

4a Building a sense of identity

4b 더 자신 있게 되기

4b Becoming more confident

4c 지속적 동기 부여

4c Sustaining motivation

4d 보람 있는 기분

4d Feeling rewarded

5 학생 역량

5 Students’ competences

5a 학습 기술

5a Study skills

5b 지식

5b Knowledge

5c 임상 기술

5c Clinical skills

고찰 DISCUSSION

주요 조사 결과

Principal findings

그림 1은 연구 결과를 경험 기반 학습 모델로 결합한다. 학생들은 의료행위의 지식과 기술 외에도 자신감과 직업적 정체성을 획득하고 동기부여를 지속할 필요가 있다. 이러한 다양한 학습 성과는 복잡한 아말감complex amalgam에서 함께 달성된다. 다양한 학습성과에 도달하는 것은 학습 프로세스가 강화되고, 반대로 습득하지 못하면 학습 프로세스가 약화된다. 개별 의사(간호사 및 간호사)의 교육 분위기와 행동은 학생들이 환자를 돕겠다는 궁극적인 목표에 가까워지게 하는 임상현장에서의 참여를 가능하게 하거나 비활성화할 수 있는 큰 힘을 가지고 있습니다. 이들이 교육과정을 통해 진행되면서 학생들이 성취하는 성과와 이를 통해 성취하는 활동이 실무자의 역할에 관여하는 사람들과 더 가까워졌다. 효과적인 workplace teacher는 학생들을 지원함과 동시에 실질적인 역량과 긍정적인 심리상태를 쌓는 방법으로 도전할 수 있는 사람이다.

Figure 1 assembles the findings into a model of  experience-based learning . In addition to the knowledge and skills of medical practice, students need to acquire confidence and a sense of professional identity and sustain their motivation. Those various learning outcomes are attained together in a complex amalgam. Attaining them reinforces the learning process, and failing to acquire themweakens it. The educational climate and behaviour of individual practitioners – nurses as well as doctors – has great power to enable or disable workplace participation that brings students closer to their ultimate goal of helping patients. As they progress through the curriculum, the outcomes students achieve and the activities through which they achieve them became closer to those involved in the role of a practitioner. An effective workplace teacher is someone who can simultaneously support students and challenge them in a way that builds practical competence and a positive state of mind.

연구의 강점과 약점 

Strengths and weaknesses of the study

우리의 합성은 새로운 것이지만, 임상 교육 및 학습에 대한 기존 연구와 일관되며, 이는 다른 곳에서 검토된 많은 출판물에 퍼져 있다. 학생들이 너무 오랫동안 수동적인 관찰자로 남아 있으면 금방 지루해진다는 것도 이미 설명된 바 있고, 학생들이 더 적극적으로 참여하고 더 가까이에서 환자를 돌볼수록 학생들은 그 활동을 더 가치있게 평가한다. 학생이 교사나 환자에게 피해harm를 줄 수도 있다고 느끼는 불편함은 [공감의 감정]과 [새로운 직업 정체성에 적응해야 하는 필요성] 사이에서 긴장감을 조성한다.

Although our synthesis is novel, it is consistent with previous research into clinical teaching and learning, which is spread across a large number of publications reviewed elsewhere.8 That students quickly become bored if they remain as passive observers for too long has been described,16,17 as has the fact that the more actively they are involved and the closer their involvement comes to caring for patients, the more highly they value it.18–21 Students’ discomfort at the harm they and their teachers can do to patients creates a tension between their feelings of empathy and the need to acculturate to their new professional identity.22,23 

학생들의 직장 경험에서 간호사의 지배적인 위치가 주목을 덜 받았음에도 불구하고, ['교수-학습 연합'에서 의사 및 임상팀과 대학 관계를 형성하는데서 오는 기쁨highs]과 [굴욕에 의해 가르침을 받는 것이 주는 힘듦lows]도 잘 나타난다. '관계형' 교육 모델에 따르면, 교사-학습자 관계는 의사와 환자 간의 관계와 동일한 방식으로 중요하며, 교사는 지지support와 도전challenge을 결합하여 좋은 효과를 위해 이를 사용할 수 있다.25 특히 이행transition의 시점에 임상 학습의 감정적emotionally charged 특성이 잘 보고된다. 긍정적인 감정의 건설적인 역할은 현재 특히 교육 풍토의 영향에 대한 연구에서 더 많은 관심을 받고 있다.

The highs of forming collegial relationships with practitioners and their clinical teams in a  teaching-learning alliance  and the lows of being taught by humiliation are well documented, although the dominant place of nurses in students’ workplace experiences has received less attention.19)21,24 According to a  relational  model of education, the teacher)learner relationship is important in just the same way as the doctor)patient relationship, and teachers can use it to good effect if they couple challenge with support.25 The emotionally charged nature of clinical learning is well reported, particularly in relation to stress at times of transition. The constructive place of positive emotions26 is now receiving more attention, particularly in research into the effect of educational climate.27–29

연구의 의미

Meaning of the study

우리의 발견은, 학습을 [단순히 교사로부터 학습자로 넘어가는 속성]이 아니라 [실천 공동체 내에 상주하는 역동적인 상품commodity]으로 보는 학습의 현대 사회 이론과 잘 들어맞는다. 이론에 따르면 학습은 그러한 공동체의 문화에 흡수되고 흡수되는 과정이다.30-33 전문적 정체성의 개발은 의사가 되는 과정에 매우 근본적인 것이어서, 의사들의 눈에 믿을 수 있어야만 하는 것은 어린 의대생들에게 질병과 죽음을 맞닥뜨리는 것보다 더 많은 스트레스를 유발한다.35 스트레스 수준은 학생들이 직장에서 처음 배우기 시작할 때 절정에 이른다. 왜냐하면 이 시기에 학생들은 그들이 본받으려고 노력하는 의사들의 곁에서 자신의 무능과 무쓸모함을 깨닫기 때문이다.36-39 

Our findings fit well with contemporary social theories of learning, according to which expertise is not simply a property that passes from teacher to learner, but a dynamic commodity that resides within communities of practice; learning, according to the theory, is a process of absorbing and being absorbed into the culture of such a community.30–33 Developing a professional identity is so fundamental to the process of becoming a doctor34 that having to be credible in the eyes of practitioners causes young medical students more stress than encountering illness and death.35 Stress levels peak when students first start learning in workplaces because they become acutely aware of their own incompetence and unimportance beside the practitioners they strive to emulate.36–39 

학생들은 어느 정도 잘 맞는 새로운 전문적 정체성을 입어보면서try on 불편함을 느낀다.36 그들의 개개인성은 롤모델이 되는 의사를 찾고, 그들과 관계를 발전시키고, 그들의 행위pratice에 참여할 권리를 협상함으로써 표현력을 찾게 된다.19,40 그러므로 지도의사와 학습자 사이의 관계는 학습을 촉진함과 동시에 상당한 감정을 유발할 수 있다. 사회적 문화화enculturation 과정으로서의 의학을 배우는 것은 (비록 우리보다 더 전통적인 교육 및 학습 시스템이지만) 싱클레어의 관찰자 연구(41)에서 매우 철저하게 탐구되었다.

They feel discomfort as they  'try on'  new professional identities that fit more or less well.36 Their individuality can find expression through seeking out practitioner role models, developing relationships with them, and negotiating the right to participate in their practice.19,40 Thus, relationships between practitioners and learners can both facilitate learning and generate high emotions. Learning medicine as a process of social enculturation has been very thoroughly explored in the important participant)observer research of Sinclair,41 albeit in a more traditional system of teaching and learning than ours.

Unanswered questions and future research

임상술기 교육의 팁(BMC Med Educ, 2020)

Tips for teaching procedural skills

Annette Burgess1,2*, Christie van Diggele2,3, Chris Roberts1,2 and Craig Mellis4

배경 Background

건강 전문가들은 광범위한 임상 기술을 능숙하게 수행할 수 있는 능력을 가지고 있어야 한다. 여기에는 일반적으로 병력청취, 신체검사, 절차능력 등이 포함된다. 일부 절차적 기술은 특정 분야에 한정되어 있지만, 안전한 환자 진료를 보장하려면 기술 수행의 역량이 필요하다. 올바른 손 씻기 기술, 위관 삽입, 식인, 소생, 목발의 올바른 사용, 병상 난독증 평가, 침대 대 의자 이동, 걸음걸이 분석 등이 그 예다. 

Health professionals must have the ability to perform a wide range of clinical skills competently. These generally include history taking, physical examination, and procedural skills. While some procedural skills are specific to particular disciplines, competency in the performance of skills is required to ensure the delivery of safe patient care. Examples include correct hand washing technique, gastric tube insertion, cannulation, resuscitation, correct use of crutches, bedside dysphagia assessment, bed-to-chair transfer, and gait analysis. 

연습 기간을 넘어 학습되고 유지되는 기술은 다양한 임상 환경에서 회수되고 능숙하게 수행될 수 있다[1]. 보건 전문가들은 정기적으로 이러한 임상 기술을 동료, 주니어 직원 및 학생들에게 가르쳐야 한다. 그러나, 스킬 교육의 효과성은 불확실하며, 주니어 보건 전문가들이 실제 기술을 가르치는 능력에 지나치게 자신하고 있다는 것을 암시하는 증거가 있다[2]. 이 논문은 비복잡한 절차적 스킬에 초점을 맞추어 스킬을 배우는 방법, 스킬 성과 향상 방법, 역량 결정, 효과적인 피드백 제공 등을 탐구하는 것을 목적으로 한다.

A skill that is learned and retained beyond the period of practice, can be recalled and competently performed in a variety of clinical settings [1]. Health professionals are regularly required to teach these clinical skills to their peers, junior staff, and students. However, the effectiveness of skills teaching is uncertain, and there is evidence suggesting junior health professionals are overconfident in their ability to teach practical skills [2]. With a focus on non-complex procedural skills, this paper aims to explore how skills are learned; ways to improve skills performance; determining competency; and the provision of effective feedback.

기술은 어떻게 배우는가?

How are skills learned?

20세기 후반에, 많은 모터 학습 이론가들은 심리학 기술을 가르치는 데 필요한 단계를 상정했다[3,4,5,6]. 이 연구를 바탕으로, 연구자들은 그 이후 교육 및 학습 절차적 기술을 위한 모터 학습 모델을 제안하였다[7, 8]. 문헌을 가르치는 대부분의 기술에 공통적으로, 기술은 간단하든 복잡하든 간에 순서가 정립되고 단계적인 교수 접근법을 따르는 것으로 가장 잘 학습된다는 것이다. 

In the last half of the twentieth century, many motor learning theorists posited the required steps to teach a psychomotor skill [3,4,5,6]. Building on this work, researchers have since proposed motor learning models for teaching and learning procedural skills [7, 8]. Common to most skills teaching literature is that skills are best learned by following a sequenced and stepped approach to teaching – whether a simple or complex task. 

그러나 의료에 필요한 대다수의 기술은 복잡하여 7개 이상의 기술 요소[9]가 필요하며, 가르치고, 배우고, 유지하기 어렵다. 조지 및 도토의 5단계 모델을 사용하여 간단한 치과 기술을 가르칠 때, 초보자는 한 번의 시도 끝에 이 과제를 수행할 수 있었다고 보고되었다[10]. 마찬가지로 페이튼의 [7] 4단계 모델을 사용하여 봉합을 배울 때 의대생들의 간단한 기술 습득이 강화되었다고 보고되었다 [11]. 그러나 복잡한 과제를 가르칠 때 4단계와 5단계 모델은 스킬 획득과 유지를 지원하는 제한된 효용성을 가질 수 있다. 

However, the majority of skills required in healthcare are complex, requiring more than seven skill elements [9], and are difficult to teach, learn and retain. It has been reported that when using George and Doto’s (2001) five-step model to teach a simple dental skill, novices were able to perform the task after one attempt [10]. Similarly it has been reported that use of Peyton's [7] four-step model enhanced medical students' aquisition of simple skills when learning suturing [11]. When teaching complex tasks, however, the four- and five- step models may have limited utility to assist skill acquisition and retention. 

예를 들어, 일부 연구는 시뮬레이션 수동 제세동[12], 후두 마스크 기도 삽입[13], 시뮬레이션 위관 삽입[14]과 같은 복잡한 기술을 가르치는 2단계, 4단계 또는 5단계 접근방식을 사용할 때 학습 성과에 차이가 없다고 보고했다. 니콜스 외 연구진(2016년)은 현대 모터 학습에 대한 리뷰에서 다부분의 사이코모터 기술을 가르치기 위한 통합적 교육 모델을 제안하여 임상 실습에 필요한 복잡한 기술을 가르치기 위한 보다 효과적인 접근법을 제공한다. 저자들은 복잡한 psychomotor 기술을 가르치는 데 필요한 교육 단계를 제공했다[9].

For example, some studies have reported no difference in learning outcomes when using a two step, four step or five step approach to teaching complex skills, such as simulated manual defibrillation [12], laryngeal mask airway insertion [13], and simulated gastric tub insertion [14]. Nicholls et al. (2016), in their review of contemporary motor learning, suggest an integrated instructional model to teach multi-part psychomotor skills provides a more effective approach to teaching complex skills required for clinical practice. The authors have provided the educational steps required to teach complex psychomotor skills [9].

교수 기술에 사용되는 방법은 강의 내용에 사용되는 방법과 다르다. 프레임워크, 관찰 및 피드백을 활용한 절차적 기술 가르침과 반복적인 연습 기회 제공 [7, 8, 15, 16] 환자 이력을 챙기기, 신체검사 수행, 데이터 합성 및 제시와 같은 임상 기술은 다중 인지 및 심리운동 기술이 필요하다. 이와 같이 임상기술은 보여주는 것이 말로 설명하는 것보다 쉽다. 한 번 기술이 정기적으로 수행되면 전문가로서 무의식적으로 수행되는 것이 어려움 중 하나이다. 결과적으로, 다른 사람들에게 그 과정을 명확하게 전달하기 위한 구조적 단계로 분해하기가 쉽지 않다[2]. 

The method used for teaching skills differs from that for teaching content. Teaching of procedural skills utilising frameworks, observation and feedback, with opportunities for repeated practice assists in the learner's acquisition and retention of skills [7, 8, 15, 16]. Clinical skills, such as taking a patient history, performing a physical examination, synthesising and presenting data, require multiple cognitive and psychomotor skills. As such, clinical skills are more readily demonstrated than described. One of the difficulties is that once a skill is performed regularly – as an expert – it is performed subconsciously. As a result, it is not easy to break it down into structural steps to clearly communicate the process to others [2]. 

시뮬레이션 환자, 마네킹, 동영상, 가상 현실, 컴퓨터 사용 등 기술을 가르치는 방법은 다양하다. 강의에서 절차적 기술 실험실을 사용하면 환자에게 이러한 절차를 수행하기 전에 안전한 연습을 할 수 있는 기회를 제공한다. 이를 통해 학습자는 환자에게 시술하기 전에 연습하고, 즉각적인 피드백을 받고, 자신의 역량과 자신감을 더욱 높일 수 있다. 소생술과 같은 일부 기술은 기술 실습실에서 가르칠 수 있지만, 학생들은 일반적으로 임상 환경에서 안전한 절차를 수행하는 연습을 해야 할 것이다. 일반적으로 스킬은:

There are many ways to teach a skill, including the use of simulated patients, manikins, videos, virtual reality and computers. The use of procedural skills labs in teaching provides opportunities for safe practice before performing these procedures on patients. This gives learners the opportunity for practice, to receive immediate feedback, and to further refine their competence and confidence - before undertaking the procedure on a patient. Although some skills, such as resuscitation, can be taught in skills labs, students will generally need to practise carrying out safe procedures in the clinical setting. Generally, a skill:

• 타고나는 것이 아니라 배운 것이다.

• 명확한 단계로 나눌 수 있다.

• 개선을 위해 연습이 필요하다.

• 측정할 수 있는, 특정한 목표나 결과를 가지고 있다.

• is learned, and not innate

• is able to be broken into explicit steps

• requires practice in order to improve

• has a specific goal or outcome, that is measurable

기술을 배우는 것은 단순히 기술을 손으로 수행하는 것 이상의 것을 포함한다. 절차에 대한 지식(예: 왜 그것이 수행되고 있는지, 어떻게 그리고 무엇이 잠재적 위험인지)과 의사소통 기술을 포함한 다른 고려사항들이 있다. 스킬에 competent하다는 것은 세 가지 주요 요소인 지식, 의사소통 및 성능[2, 17]을 포함한다. 그림 1과 같이.

Learning a skill involves more than just performing the skill manually. There are other considerations, including knowledge of the procedure (such as why it is being done, how, and what are potential risks) and communication skills. Becoming competent in a skill involves three main components: knowledge, communication and performance [2, 17], as displayed in Fig. 1.

그림 1. 스킬 역량의 세 가지 주요 구성요소 [2, 17]

Fig. 1 The three main components of skill competency [2, 17]

임상 기술을 가르치기 위한 팁

Tips for teaching clinical skills

기술을 가르칠 때는 손씻기와 같은 가장 기본적인 단계라도 포함시켜야 한다. 어떤 가정도 해서는 안 되며, 모든 세부사항을 보여줄 필요가 있다. 임상 기술을 가르치기 위한 몇 가지 팁은 [7] 아래에 열거되어 있다.

When teaching a skill, even the most basic of steps should be included, such as handwashing. No assumptions should be made, and every detail needs to be demonstrated. Some tips for teaching clinical skills are listed below [7]:

• 기초 사항 포함(예: 손씻기)

• 데모: 학습자가 볼 수 있도록 명확한 데모 제공

• 이론과 실천의 통합: 학습자는 임상적 추론을 촉진하는 행동의 이면에 있는 증거를 볼 수 있다.

• 스킬/프로세스를 단계별로 세분화: 학습자가 이미 알고 있는 내용을 파악하고 그 단계부터 진행

• 협동적 문제 해결 사용: 학습자가 함께 해결 방법을 찾을 수 있도록 허용

• 피드백 제공: 적절한 환경에서 명확하고 건설적인 피드백 제공

• Include the fundamentals: for example, handwashing

• Demonstration: provide clear demonstrations for learners to see

• Integrate theory with practice: learners can see the evidence behind the action, which promotes clinical reasoning

• Break skills/procedures down into steps: find out what the learners already know, and proceed from there

• Use collaborative problem solving: allow learners to work together towards a solution

• Provide feedback: that is clear and constructive, in an appropriate environment

구조 단계로서의 기술

Skills as structural steps

필요한 것을 정확히 보여주고 전달하기 위해 다른 사람들을 가르칠 때 기술은 작고 별개의 단계로 세분되어야 한다. 많은 모델이 있지만 유용하고 잘 연구된 방법은 표 1에 표시된 페이튼의 4단계 접근법[7]으로 임상 환경에서 교육에 성공적으로 적용할 수 있다. Krautter 외 연구진(2011년)의 통제된 실험 결과, 페이튼의 4단계 접근방식을 사용하여 기술 기술을 가르치는 것이 표준 교육보다 우수하며, 전문성, 의사소통 및 기술의 더 빠른 수행이라는 분야에서 혜택을 받는 것으로 나타났다[14].

Skills need to be broken down into small, discrete steps when teaching others in order to demonstrate and communicate exactly what is required. Although there are many models, a useful, well researched method is Peyton’s four step approach [7], displayed in Table 1, which can successfully be applied to teaching in the clinical setting. A controlled trial by Krautter et al. (2011) found that using Peyton’s four step approach to teach a technical skill was superior to standard instruction, with benefits in the areas of professionalism, communication and faster performance of the skill [14].

표 1 스킬 티칭에 대한 페이튼의 4단계 접근법[7]

Table 1 Peyton’s four step approach to skills teaching [7]

즉각적인 피드백 제공

Provision of immediate feedback

절차적 기술의 습득은 작업의 수행과 피드백에 의존한다[2]. 반복은 물론, 페이튼의 4단계 접근법은 학습자가 스스로 스킬 수행을 시도하기 전에 처음부터 끝까지 실시간으로 스킬이 수행되고 강사에 의해 반복되는 모습을 볼 수 있도록 한다. 이를 통해 학습의 강화와 오류를 수정하고 피드백을 제공할 수 있는 기회를 확보할 수 있다. 즉각적인 피드백과 오류 수정은 기술이 잘못 수행되고 연습되고 장기 기억장치에 저장되고 회수되고 잘못 수행되는 위험을 방지한다 [1, 18]. 학습자의 성과에 대한 건설적인 피드백을 제공하는 것은 스킬 획득의 필수적인 부분이다. Salmoni와 동료(1984)는 과도한 구두 정보 없이 학습자가 스킬의 각 요소에 집중하면서 연습할 수 있도록 스킬이 끝날 때까지 피드백을 보류해야 한다고 제안한다[19]. 학습자가 개선이 필요한 영역을 올바르게 연습할 수 있도록 즉시 피드백을 제공해야 한다. 또한 학습자에게는 스킬 세션이 끝날 때 질문을 할 수 있는 기회가 제공되어야 한다. 그림 2에 표시된 펜들턴의 피드백 모델[20]과 같은 참가자 주도 방법은 학습자가 자신의 수행능력을 먼저 반영하도록 하는 데 유용하다.

The acquisition of procedural skills is reliant on task practice and feedback [2]. As well as repetition, Peyton’s four-step approach allows learners to see the skill being performed in real time, from beginning to end, and repeated by the instructor, before attempting performance of the skill themselves. This allows for the reinforcement of learning and opportunities to correct any errors and provide feedback. Immediate feedback and error correction avoids the risk of the skill being performed and practiced incorrectly, stored in long term memory, recalled and performed incorrectly [1, 18]. Provision of constructive feedback on the learners’ performance is an essential part of skills acquisition. Salmoni and colleagues (1984) suggest that feedback should be withheld until the conclusion of the skill to allow the learner to practice while focussing on each element of the skill, without excessive verbal information [19]. Feedback should be given immediately in order for the learner to correctly practice areas requiring improvement. The learner should also be provided with opportunities to ask questions at the end of the skill session. A participant-driven method, such as Pendleton’s feedback model [20], displayed in Fig. 2, is useful to ensure the learner reflects first on their own performance.

그림 2 피드백 모델(펜들턴 외, 1984) [20]

Fig. 2 Feedback Model (adapted from Pendleton et al, 1984) [20]

스킬 티칭에서 학습자를 교육할 때, Peyton의 4단계 접근법[7]에 이어 동료 및 교사 피드백을 모델링할 수 있다. 예를 들어, 3-5명의 학습자로 구성된 소규모 그룹에서 각 학습자는 페이튼의 4단계 접근법을 사용하여 다른 학습자에게 기술을 가르친다. 각 학습자는 또한 펜들턴의 피드백 모델을 사용하여 자신의 교육에 대한 피드백을 동료에게 제공하는 책임을 진다. 동료교육활동(기술 지도 및 피드백 제공)은 채점 가이드를 사용하여 촉진자에 의해 형성적으로 평가될 수 있다. 단, 기술을 가르치는 데 사용될 수 있는 다른 모델이 있을 뿐만 아니라, 기술 교육에 적용할 수 있는 피드백 모델도 많이 있다는 점에 유의해야 한다. 여기에는 침상 교습에 유용하게 적용할 수 있는 실버맨의 SET-GO, ALOBA [21] 방법과 같은 모델이 포함된다. 편안하고 익숙한 사용법을 찾는 것이 중요하다.

When training learners in skills teaching, Peyton’s four-step approach method [7], followed by provision of peer and teacher feedback can be modelled. For example, in small groups of three to five learners, each learner teaches a skill to another learner, using Peyton’s four-step approach. Each learner also takes responsibility for providing feedback to a peer on their teaching, using Pendleton’s feedback model. The activity (teaching a skill and providing feedback) may be formatively assessed by the facilitator using marking guides. However, it should be noted that as well as there being different models that may be used to teach a skill, there are also many models of feedback that can be applied to skills teaching. These include models such as Silverman’s SET-GO and ALOBA [21] methods, which can be usefully applied to bedside teaching. It is important to find suitable methods that you are comfortable and familiar with using.

역량개발

Development of competency

학습자는 기술에서 유능해지기 전에 일련의 단계를 거친다(그림 3) [22]. 기술 습득에는 4단계가 있다: 

1) 무의식적으로 무능하고, 

2) 의식적으로 무능하고, 

3) 의식적으로 유능하고, 

4) 무의식적으로 유능하다. 

Learners move through a series of stages before becoming competent at a skill (see Fig. 3) [22]. There are four levels in skill acquisition: 

1) Unconsciously incompetent, 

2) Consciously incompetent, 

3) Consciously competent, 

4) Unconsciously competent. 

이러한 단계를 감상하려면 일상적인 기술 습득, 예를 들어 자동차 운전을 배운 방법에 대해 성찰하는 것이 유용하다. 초보자들은 처음에는 '의심 없이 무능하다'(충분히 운전을 하는 데 필요한 지식과 기술을 알지 못함)로 시작하여 역량의 단계를 거치게 된다(충분히 자동차를 운전하는 지식과 기술을 가질 때까지). 그러나, 또다시 '의심할 수 없을 정도로 무능력한' 상태가 될 수 있는 장기적 잠재력이 있다(예를 들어, 운전 능력을 과대평가하거나 새로운 권고사항이나 도로규칙에 대해 최신 상태를 유지하지 않는 것).

To appreciate these stages it is useful to reflect on acquisition of an everyday skill, for example, on how you learnt to drive a car. Novices will start initially as being ‘unconsciously incompetent’ (not aware of the knowledge and skills needed to competently drive), moving through the stages of competence (until they have the knowledge and skills to competently drive a car). However, there is the long-term potential of again becoming ‘unconsciously incompetent’ (for example, over-estimating their driving ability, and/or not staying up to date on new recommendations or road rules).

그림 3 역량 개발 (페이튼, 1998년 채택) [22]

Fig. 3 Development of Competency (adapted from Peyton, 1998) [22]

역량 결정

Determining competency

어떤 사람이 역량있는지 아는 것은 평가하기 어려울 수 있다. 일반적으로 학습자는 절차나 기술을 혼자서 수행하거나 감독 없이 수행할 수 있으면 역량이 있다고 간주된다. 역량은 때때로 학습자가 절차를 수행한 횟수(예: 기관지경)를 단순히 기록하거나 공식적인 관찰 평가를 완료한 후에 결정된다. 각 스킬은 역량 결정에 다른 접근방식을 요구할 수 있다[23]. 누군가가 역량을 갖추었는지 확인하는 중요한 측면은...

Knowing when someone is competent can be difficult to assess. Learners are generally deemed competent once they can perform the procedure or skill alone, or without supervision. Competence is sometimes determined simply by noting the number of times the learner has performed the procedure (for example, bronchoscopy), or after completing a formal, observed assessment. Each skill may require a different approach to determining competence [23]. The important aspects of ensuring someone is competent are [23]:

• 결과를 설정하고 알아본다.

• 기대치를 설정하고 알아본다.

• 스킬 수행에 대한 여러 관찰을 한다.

• 일반적인 오류를 찾는다.

• Setting and knowing the outcomes

• Setting and knowing expectations

• Multiple observations of skill performance

• Looking for common errors

밀러의 피라미드 [24]는 기술을 수행하는 학습자의 능력을 결정하는 유용한 계층구조를 제공한다(그림 4 참조). 피라미드의 하단은 지식(실제적으로 그리고 객관식 질문(MCQ)에 의해 평가됨)에 기초하여, '어떻게 하는지 알기'(임상적으로 그리고 객관적인 구조 임상 검사(OSCE) 또는 임상 긴 사례로 평가됨)로 이동하여, "직무에서" 수행함으로써 기술을 수행하는 방법을 입증한다. 임상의가 수행하는 대부분의 평가는 피라미드의 상위 단계에 기초하며 작업장에서 수행된다.

Miller’s pyramid [24] provides a useful hierarchy to determine a learner’s competency in performing a skill (see Fig. 4). The bottom of the pyramid is based on knowledge (taught didactically and assessed by multiple choice questions (MCQs)), moving to ‘knows how’ (taught clinically and assessed with Objective Structured Clinical Examinations (OSCEs) or clinical long cases), to demonstrating how to carry out the skill by “on the job” performance. Most assessments that clinicians undertake are based on the upper levels of the pyramid and are carried out in the workplace.

그림 4 임상 평가를 위한 프레임워크 (Miller, 1990년 채택) [24]

Fig. 4 Framework for clinical assessment (adapted from Miller, 1990) [24]

스킬 유지 및 성능 향상

Maintaining a skill and improving performance

기술은 의도적 연습을 통해 습득된다[15]. Nicholls와 동료 (2016)는 스킬 연습이 여러 가지, 간격, 짧은 기간 및 가변적인 작업에 의존하고 있으며, 학습자가 스킬 습득과 장기 보유를 촉진할 수 있는 연습 기회가 있다고 제안한다[9]. 자연적인 기술 쇠퇴를 피하기 위해서는 일단 습득한 기술을 유지하는 것이 중요하다. 이것은 규칙적인 연습을 통해서만 달성할 수 있다. 에릭슨 & 차르네스(2004)에 따르면, 높은 수준의 기술을 획득한 사람들은 지속적으로 자신의 성과를 성찰하기 때문에 그렇게 한다[15]. 잘하지 못하는 분야에 집중해서 그 역량을 실천하는 경향이 있다. 이것은 의도적 연습으로 알려져 있으며 엘리트 스포츠맨과 음악가뿐만 아니라 임상 기술 훈련에도 큰 관련이 있다. 의도적 연습의 핵심 요소는 다음과 같다.

Skills are acquired through diligent practice [15]. Nicholls and colleagues (2016) suggest skill practice is reliant upon multiple, spaced, short duration, and variable tasks, with practice opportunities to promote skill acquisition and long-term retention by the learner [9]. In order to avoid natural skill decay, it is important for health professionals to maintain their skills once acquired. This can only be achieved through regular practice. According to Ericsson & Charness (2004), those that attain high skill levels do so because they continually reflect on their own performance [15]. They tend to focus on the areas in which they are not doing well and practice that competence. This is what is known as deliberate practice and is highly relevant for clinical skills training, as well as elite sportspersons and musicians. The key elements to deliberate practice are:

• 잘 정의된 태스크

• 연습 및 개선 기회

• 반복하고 반영할 수 있는 기회

• 관찰자의 정기적인 피드백

• Well defined tasks

• Opportunities to practice and improve

• Opportunities to repeat and reflect

• Regular feedback from an observer

절차적 기술을 가르칠 때 시뮬레이션의 사용

The use of simulation in teaching procedural skills

시뮬레이션 기반 의료 교육의 사용은 더 나은 환자 치료 및 향상된 환자 안전과 연관되어 있다는 점에 유의해야 한다[25]. 직무 수행 빈도와 반복은 시뮬레이션된 임상 환경에서 실제 임상 환경으로의 기술 보유, 회수 및 전달성에 영향을 미친다 [1, 18]. 시뮬레이션은 환자 위해의 위험 없이 절차를 연습할 수 있는 기회를 제공하며, 훈련과 평가 도구로서 널리 사용된다. 역량 기반 교육을 이용한 목표 지향적 학습은 성인 학습의 특징이다. 역량 기반 교육은 기술을 전수받은 모든 사람이 그 기술을 수행할 수 있다고 가정하기보다는 훈련의 기준을 강화한다. 

It is important to note that the use of simulation-based healthcare education has been associated with better patient care and improved patient safety [25]. The frequency and repetition with which a task is practiced impacts skill retention, recall, and transferability from the simulated to real clinical environment [1, 18]. Simulation offers the opportunity to practice procedures without any risk of patient harm, and is widely used as both a training and assessment tool. Goal-orientated learning using competency-based instruction, is a characteristic of adult learning. It reinforces a standard of training, rather than assuming that everyone who has been taught the skill can perform the skill. 

최근의 체계적 검토에서는 절차적 능력의 효과적인 가르침에서 시뮬레이션과 역량 기반 교수 패러다임의 사용에 대한 강력한 증거를 보여주었다[26]. 체계적 검토 결과, 절차적 능력 훈련을 성인 학습자의 요구에 맞추어 조정하는 데 가장 효과적인 접근방식은 [[반복적인 연습, 숙달 학습, 의도적 연습, 그리고 영상과 같은 시각적 보조 기구로 보완]하는 고품질 시뮬레이션]이라는 것이 밝혀졌다[26]. 소여 외 연구진(2016)은 준비, 스킬 습득 및 스킬 유지보수를 결합한 스킬을 가르치는 6단계 접근법을 개발했다. "학습, 보기, 연습, 증명, 도, 유지" [25]. 이 6단계 접근법은 성인 학습 이론을 사용하여 절차적 능력의 개발, 평가 및 유지보수의 필요성을 강화한다.

A recent systematic review showed strong evidence for the use of simulation and competency-based teaching paradigms in the effective teaching of procedural skills [26]. The systematic review found that the most effective approach in aligning procedural skills training with the needs of the adult learners is high-quality simulation that includes repetitive practice, mastery of learning, and deliberate practice, supplemented by visual aids, such as videos [26]. Sawyer et al. (2016) developed a six- step approach to teaching a skill that combines preparation, skill acquisition, and maintenance of the skill: “Learn, See, Practice, Prove, Do, Maintain” [25]. This six-step approach uses adult learning theory to reinforce the need for the development, assessment and maintenance of procedural skills:

1. 학습: 지식 습득

2. 보기: 프로시져 관찰

3. 연습: 시뮬레이션을 사용하여 신중한 연습

4. 입증: 역량 평가

5. 하기: 환자에게 시술은 학습자가 독립적으로 시술하도록 위임될 때까지 직접 감독하여 수행한다.

6. 유지: 지속적인 임상 실습, 시뮬레이션 기반 교육으로 보완.

1. Learn: knowledge acquisition

2. See: observation of the procedure

3. Practice: deliberate practice using simulation

4. Prove: competency is assessed

5. Do: the procedure is performed on a patient, with direct supervision until the learner is entrusted to perform the procedure independently

6. Maintain: continued clinical practice, supplemented by simulation-based training.

결론 

Conclusion

임상 및 절차적 기술에서의 역량 획득은 의료 훈련의 기본이다. 임상 환경에서는 다른 사람에게 기술을 가르쳐야 하는 요건이 있기 때문에 이를 가장 효과적으로 하는 방법을 배우는 것이 중요하다. 시뮬레이션은 환자 위해의 위험 없이 절차를 연습할 수 있는 기회를 제공하며, 일반적으로 훈련과 평가 도구로 사용된다. 단계적 구조 접근법을 사용하는 것이 기술 습득과 유지를 가장 잘 안내한다는 것은 오래 전부터 주장되어 왔다. 페이튼의 4단계 접근법[7]과 같은 프레임워크는 기술의 가르침을 별개의 단계로 해체할 수 있는 유용한 모델이다. 피드백의 제공은 현재와 원하는 성능의 차이를 줄이는데 필수적이다. 일단 기술이 습득되면, 기술의 성과를 유지하고 향상시키기 위해서는 신중한 연습이 중요하다.

Acquisition of competency in clinical and procedural skills is fundamental to healthcare training. In the clinical setting, there is a requirement to teach skills to others, so it is important to learn how to do this most effectively. Simulation offers the opportunity to practice procedures without any risk of patient harm, and is commonly used as both a training and assessment tool. It has long been posited that using a stepped structural approach best guides skills acquisition and retention. A framework, such as Peyton’s four-step approach [7], is a useful model to break the teaching of a skill into discrete steps. The provision of feedback is essential in reducing the gap between current and desired performance. Once skills are acquired, deliberate practice is important in maintaining and improving the performance of a skill.

테이크홈 메시지

Take home message

• 기술은 다른 사람을 가르칠 때 더 작은 단계로 세분되어야 하며, 예를 들어, 파이튼의 4단계는 유용한 접근법을 제공한다.

• 예를 들어, 펜들턴의 모델을 사용하는 건설적인 피드백의 제공은 기술 교육 과정의 필수적인 부분이다.

• 일단 스킬을 습득한 후에는 의도적 연습을 통해 스킬을 유지해야 한다.

• Skills need to be broken down into smaller steps when teaching others, and the use of frameworks, for example, Peyton’s four steps provide useful approaches.

• Provision of constructive feedback, for example, using Pendleton’s model is an integral part of the skills teaching process.

• Once skills are acquired, they must be maintained through deliberate practice.

임상 교육의 주요 팁(BMC Med Educ, 2020)

Key tips for teaching in the clinical setting

Annette Burgess1,2*, Christie van Diggele2,3, Chris Roberts1,2 and Craig Mellis4

배경 Background

비록 시뮬레이션이 건강 전문 교육에 점점 더 많이 사용되고 있지만, 오랫동안 유지되어온 실제 환자들의 참여로 가르치는 전통은 여전히 귀중한 것으로 남아 있다. 침상 및 외래 환자와 같은 임상 환경 내의 가르침은 의료 교육의 핵심에 위치하여 임상 교육에 필수적인 요소를 제공한다. 이 튜토리얼은 학생들이 임상 환경의 문화와 사회적 측면에 적응하도록 하고, 연습을 준비하면서 학생들의 직업적 가치를 형성한다[1]. 이들은 학생들에게 임상 활동에 참여할 수 있는 의미 있는 기회, 의사소통 능력, 병력청취, 신체검사 능력 등을 연습하고 개발할 수 있는 기회를 제공한다. 그러나 임상 환경에서 학생들의 학습은 주로 그들에게 제공되는 정서적, 교육적, 조직적 지원에 의존한다 [2,3,4,5,6].

Although simulation is increasingly used in health professional education, the long-held tradition of teaching with the involvement of real patients, remains invaluable. Teaching within the clinical setting, such as bedside and out-patient clinic, lies at the heart of healthcare education, providing a vital component to clinical training. These tutorials orientate students to the culture and social aspects of the clinical environment, and shape students’ professional values as they prepare for practice [1]. They offer students meaningful opportunities to participate in clinical activities, practicing and developing their communication skills, history taking and physical examination competence. However, students’ learning in the clinical environment is largely dependent upon the affective, pedagogic and organisational support afforded to them [2,3,4,5,6].

참여가 사회화 과정을 수반하는 임상 환경에서 의료 커리큘럼 내에서는, 피어 및 니어-피어 튜터링이 특히 서포트의 원천source로서 잘 수용된다[3, 6]. 임상 과외는 자신의 건강 전문직과 조직의 기대되는 문화와 직업적 가치를 증명하는 사회화 요원socializing agents으로 활동한다. 즉, 피어투피어(Peer-to-Peer) 또는 임상의와 학생 사이에 있는 임상 지도교사들이 '숨겨진 커리큘럼'의 주요 구성요소를 보여준다[7]. 본 논문의 목적은 동료 및 근거리 동료 교육에 관련된 보건 전문 학생과 초기 직업 보건 전문가에게 임상 환경에서 가르치기 위한 접근법과 핵심 팁의 개요를 제공하는 것이다. 임상 환경에서는 학생들이 개발한 역량이 많지만, 우리의 가르침은 의학 지식, 대인관계 및 의사소통 능력, 전문성 분야에 초점을 맞추고 있다.

Peer and near peer tutoring are well accepted as sources of support within healthcare curricula, particularly in the clinical setting, where participation involves a process of socialisation [3, 6]. Clinical tutors act as socialising agents, demonstrating the expected culture and professional values of their respective health professions, and their organisation. That is, clinical tutors, whether peer-to-peer, or clinician to student, demonstrate key components of the ‘hidden curriculum’ [7]. The aim of this paper is to provide health professional students and early career health professionals involved in peer and near peer teaching, with an overview of approaches and key tips for teaching in the clinical setting. Although there are many competencies developed by students in the clinical setting, our tips for teaching focus on the domains of medical knowledge, interpersonal and communication skills, and professionalism.

환자와 함께 강의하기 위한 팁

Tips for teaching with patients

입원 및 외래 환자(사무실 기반)의 가르침은 임상 환경에서 기본적인 교육방법으로 남아 있으며, 임상 실습의 많은 측면을 가르치고 모델링할 수 있다[8]. 진단 과정과 환자 치료에서 전체적인 접근방식이 제공되며, 여기에는 이력서, 신체검사 기술 및 직업적 태도가 결합된다[8]. 일반적으로, 환자들은 가르치는 과정에 포함되는 것을 즐긴다. 기본적으로 환자와 함께 가르치는 것은 세 가지 핵심 학습 영역을 가르침과 통합할 수 있게 해준다 [9].

Bedside and out-patient (office-based) teaching remains a primary teaching modality in the clinical setting, where many aspects of clinical practice can be taught and modelled [8]. A holistic approach in the diagnostic process and patient care is provided in bedside teaching, where history taking, physical examination skills and professional attitude are combined [8]. As a general rule, patients enjoy being included in the teaching process. Essentially, teaching with patients permits three key learning domains to be integrated with teaching [9]:

1. 임상(지식과 기술)

2. 전문성(팀워크, 윤리적 고려)

3. 의사 소통(직원 및 환자와의 소통)

1. Clinical (knowledge and skills).

2. Professionalism (teamwork, ethical considerations).

3. Communication (with staff and patients).

의료계열 학생들은 특히 환자가 적대적이거나, 화가 나거나, 비협조적이거나, 무관심하거나, 지나치게 말이 많거나, 만성적인 고통을 경험하는 경우, 일부 환자들과의 상호작용이 어렵다challenging고 생각한다[10]. 환자와 함께 강의할 때 고려해야 할 중요한 사항은 다음과 같다.

Healthcare students find interactions with some patients to be challenging, particularly if the patient is hostile, angry, uncooperative, disinterested, overly talkative, or experiencing chronic pain [10]. When teaching with a patient there a number of important considerations:

• 상호작용이 "핵심적 교육 순간"으로 통합되고, 교사들이 학생들의 의사소통 능력 향상을 도울 수 있는 기회[11]

• 교육에 대한 환자의 참여와 환자 중심성 보장 [12]

• 환자가 있든 없든 환자의 안락과 권리를 존중한다 [13, 14]

• 항상 환자의 동의를 얻으십시오.

• 명확한 커뮤니케이션을 통해 환자가 자신의 역할을 수행할 준비가 되어 있는지 확인하십시오.

• 환자가 질문을 하고 피드백을 할 수 있도록 허용

• 환자가 이해할 수 있는 적절한 언어 사용

• 교육 세션에 대한 구체적 목적/목적을 가지고 있음

• 학생의 과제와 시간을 파악하여 학생이 환자와 함께 보내는 시간 제한

• 환자로부터 멀리 떨어진 학생에게 피드백(특히 부정적인 피드백) 제공

• 그룹 앞에서 일부 환자 상태에 대해 논의하는 것은 적절하지 않을 수 있다는 점을 유념하십시오.

• Incorporate interactions as “key teaching moments”, with opportunities for tutors to help students develop competence in communication skills [11]

• Ensure patient involvement in education, and patient centredness [12]

• Respect the comfort and rights of patients, whether in the presence of the patient, or otherwise [13, 14]

• Always obtain the patient’s consent

• Ensure the patient is prepared for their role through clear communication

• Allow the patient to ask questions and give feedback

• Use appropriate language that the patient can understand

• Have a specific purpose/objective for the teaching session

• Limit the time the student spends with the patient by identifying the tasks and timeframe for the student

• Provide feedback (particularly negative feedback) to the student away from the patient

• Be aware that it may not be appropriate to discuss some patient conditions in front of a group

임상 지도교사의 역할 중 일부는 의료 분야로의 사회화 과정을 촉진하여, 의료 분야에서 학생들의 현재와 미래의 역할과 관련된 정체성을 형성하는 것이다 [15,16,17,18,19,20]. 튜터들은 학생들의 학습을 육성하는 책임을 맡기고 학생들의 태도, 가치관, 전문적 역량 개발을 돕는다. 긍정적 역할 모델의 세 가지 핵심 특성은 다음을 포함한다.

Part of the role of clinical tutors is to facilitate the process of socialisation into the healthcare profession, creating a sense of identity relating to the students’ current and future roles in healthcare [15,16,17,18,19,20]. Tutors are entrusted with responsibilities to foster students’ learning, helping to develop students’ attitudes, values and professional competencies. Three core characteristics of a positive role model include [15,16,17,18,19,20]:

1. 임상 속성

2. 개인적 자질

3. 교수기술

1. Clinical attributes

2. Personal qualities

3. Teaching skills

환자에 대한 공감, 존중 및 연민을 포괄하는 인문학적 행동의 표시는 학생들에게 가장 중요하다. 임상 과외 교사의 바람직하지 않은 행동에는 튜터 중심의 환자 상호작용, 학생의 굴욕, 동료에 대한 부정적 발언이 포함된다[18, 24]. 표 1은 의료 전문 교육에서 확인된 롤모델로서의 임상 교사의 긍정적 및 부정적 속성을 요약한다[18, 27]. 

Displays of humanistic behaviours, encompassing empathy, respect and compassion for patients are of the utmost importance to students [16,17,18, 21,22,23,24,25,26]. Undesirable behaviours by clinical tutors include tutor-centred patient interactions; the humiliation of students; and negative remarks about colleagues [18, 24]. Table 1 summarises positive and negative attributes of clinical teachers as role models, identified within health professional education [18, 27]. 

표 1 역할 모델로서의 임상 교사의 긍정적 및 부정적 속성

Table 1 Positive and negative attributes of clinical teachers as role models

교육 계획을 위한 팁

Tips for planning teaching

교육 세션이 잘 계획되어 있고 모든 평가가 학습 성과 및 내용과 일치하는지 확인하십시오 [28]. 중요한 고려사항은 다음과 같다.

Ensure that your teaching session is well planned and any assessments are aligned with the learning outcomes and content [28]. Important considerations include:

• OAS(Outcomes, Activity, Summary)와 같은 프레임워크의 사용(표 2)

• 당신의 강의 세션은 이전(예: 강의)과 미래의 학습 활동(예: 형태 형성 평가)과 어떻게 연결될 것인가?

• '지식'이 '실력'과 '성격'보다 더 쉽게 전달되고 평가되는 가운데, 어떻게 지식, 기술, 태도의 가르침을 세션에 통합할 것인가[29]

• 교사, 학습자, 환자의 역할은 무엇이며, 각 개인은 세션에 어떻게 기여할 것인가?

• 별도 고려가 필요한 교육환경의 측면이 있는가? 여기에는 학생이 침대 옆이나 외래환자실에 어떻게 배치되는지, 환자 기밀 유지, 브리핑 및 보고가 이루어지는 장소(자습서실 예약이 필요할 수 있음)가 포함될 수 있다.

• Use of a framework, such as ‘Outcomes, Activity, Summary’ (OAS) (Table 2).

• How will your teaching session link to previous (for example, lectures) and future learning activities (for example, formative assessments)?

• How will you incorporate the teaching of knowledge, skills and attitudes (Fig. 1) into your session, with ‘knowledge’ being more easily imparted and assessed than ‘skills’ and ‘attitudes’ [29]

• What will be the role of the teacher, the learner, and the patient, and how will each individual contribute to the session?

• Are there aspects of the teaching environment that require consideration? These might include how the students will be placed around the bedside, or in the outpatient room; patient confidentiality; and where briefing and debriefing will take place (booking of a tutorial room may be required).

표 2 강의 계획 및 강의에 대한 'OAS' 방법

Table 2 The ‘OAS’ method for lesson planning and teaching

그림 1. 쉽고 어려운 교육, 학습 및 지식, 기술 및 태도 평가

교육 전략에 대한 팁

Tips for teaching strategies

외래환자/사무실 환경에서 사례발표를 위해 학습자 중심의 교육모델을 위한 니모닉으로 개발된 SNAPPS(그림 2)와 같은 적절한 교육전략을 적용한다[30]. SNAPPS 형식의 이점은 다음과 같다.

Apply an appropriate teaching strategy, such as SNAPPS (Fig. 2), developed as a mnemonic for a learner-centred teaching model for case presentations in the outpatient/office setting [30]. The benefits of the SNAPPS format include:

• 학생이 체계적이고 간략히 발표하도록 장려하다.

• 학습자가 자신의 지식 격차를 탐색하고 표현하도록 한다(즉, 학생이 자신의 불확실성에 대해 튜터를 "평가"함).

• 전통적인 튜터 상호작용에 비해 학습자들은 더 적극적으로 참여하고 더 많은 질문을 한다.

• 개인 교사들이 각 학습자의 특정한 개별적 니즈를 다룰 수 있도록 한다[30].

• encourages a structured and brief presentation by the student

• engages the learner to explore, and express their own knowledge gaps (that is, the student “probes” the tutor about their uncertainties)

• compared to more traditional tutor interactions, learners are more actively involved, and ask more questions

• enables tutors to address each learners’ specific, individual needs [30].

Fig. 2 The SNAPPS model [30]

임상적 추리

Clinical reasoning

학습자의 임상적 추론[31, 32] - 환자의 제시 문제에 대한 진단과 관리의 기초가 되는 인지 프로세스를 촉진하기 위해 최선을 다하십시오. 이 프로세스에는 다음이 포함된다.

Do your best to promote the learners’ clinical reasoning [31, 32] - the cognitive process underlying diagnosis and management of a patient’s presenting problem. The process involves:

• 데이터 수집

• 진단 추론

• 치료 추론

• 개입 계획 및 권고

• The collection of data

• Diagnostic reasoning

• Therapeutic reasoning

• Planning intervention and recommendations

환자 치료에 지식을 통합하고 적용하는 과정은 학생들이 습득하기 복잡하고 어려운 기술이다 [32,33,34]. 특히 환자 상호작용 중에는 학생들이 환자 정보를 탐색하기 어렵다. 임상추론을 촉진하는 세 가지 주요 방법이 있다[24, 31, 35](그림 3):

The process of integrating and applying knowledge to patient care is a complex, difficult skill for students to acquire [32,33,34]. In particular, it is difficult for students to navigate patient information during patient interactions. There are three main ways to promote clinical reasoning [24, 31, 35] (Fig. 3):

1. 학습자 설명: 학습자는 그들의 사고 과정을 설명하여, 과외자가 학습자의 추리 능력을 관찰할 수 있게 하고, 그들이 결론을 내리기 위해 취하는 과정을 말한다.

2. 역할 모델링: 튜터 역할은 그들의 추리를 설명하면서 그들 자신의 사고 과정을 모델링한다.

3. 학습자에게 질문하기: 튜터교사는 질문을 사용하여 "만약에?"라는 질문을 던진다.

1. Learner explanation: The learner explains their thinking process, allowing the tutor to observe the learner’s reasoning ability, and the process they take to form a conclusion.

2. Role modelling: The tutor role models their own thinking process, explaining their reasoning (‘thinking aloud’).

3. Questioning the learner: The tutor uses questioning to promote reasoning, “what if?” questions are asked.

그림 3 임상적 추론을 촉진하기 위한 세 가지 팁

Fig. 3 Three tips for promoting clinical reasoning

페이튼의 모델 [36]에서 채택된 임상 추론을 가르치는 제안된 프레임워크는 표 3에 나와 있다. 또한 임상 추론을 가르치는 것은 개인교사들이 자신의 임상 추론기술을 되돌아볼 수 있는 좋은 기회를 제공한다. 반성의 이점은 가정 회피, 불필요한 조사의 감소 및 진단 시간 단축을 포함할 수 있다[34].

A suggested framework for teaching clinical reasoning [34], which was adapted from Peyton’s model [36], is shown in Table 3. Teaching clinical reasoning also provides an excellent opportunity for tutors to reflect on their own clinical reasoning skills. The benefits of reflection may include the avoidance of assumptions, reduction of unnecessary investigations, and improvement in time to diagnosis [34].

표 3 임상 추론 프레임워크 (Linn 등, 2012에서 채택) [34]

Table 3 Clinical reasoning framework (adapted from Linn et al., 2012) [34]

평가 전략 팁 Tips for assessment strategies

평가는 배움의 주요 원동력을 제공한다. 학습한 정보와 기술을 보강하고, 학습자에게 강점과 약점 영역에 대한 정보를 제공하며, 교사에게 재교육이 필요할 수 있는 영역에 대한 정보를 제공한다[14, 37]. 평가 활동이 학생에게 가치가 있으려면, 이러한 결과에 대한 성과 지표와 개선 방법에 대한 지침이 필요하다 [37,38,39].

Assessment provides a key driving force for learning. It reinforces the information and skills learned, provides the learner with information on their areas of strength and weakness, and provides the teacher with information on areas that may need to be re-taught [14, 37]. In order for the assessment activity to be worthwhile students need clear outcomes, an indication of their performance against these outcomes and guidelines on how to improve [37,38,39].

평가의 효용성 또는 유용성은 신뢰성, 타당성, 비용 효율성, 수용성, 교육적 영향 및 타당성의 산물로 정의되었다[40,41,42,43]. 학생을 위한 적절한 평가를 선택하고 작성할 때 고려해야 할 요인은 다음과 같다

The utility or usefulness of an assessment has been defined as a product of its reliability, validity, cost-effectiveness, acceptability, educational impact and feasibility [40,41,42,43]. Factors to consider when selecting and creating an appropriate assessment for students include [14]:

1. 신뢰도: 유사한 상황에서 반복될 경우 평가에서 얻은 점수의 재현성을 의미한다[41].

1. Reliability: refers to the reproducibility of the scores obtained from an assessment if repeated under similar circumstances [41].

2. 타당도: 도구가 실제로 의도하는 바를 측정하는지를 의미한다. 타당도 증거는 특정 목적에 대한 평가 결과의 사용을 뒷받침한다[43].

2. Validity: refers to whether an instrument actually does measure what it is purposed to [41]. Evidence of the validity supports the use of the results of an assessment for a particular purpose [43].

3. 실현가능성: 사정 및 맥락으로 볼 때 평가가 실제적이고 현실적이며 합리적인지 여부를 가리킨다[43]. 이상적인 평가에 대한 제약조건은 심사관의 가용성, 자료 개발을 위한 학문의 시간, 평가를 구현하기 위한 행정 자원, 교수진 훈련 요건 및 평가 분석[42]이다.

3. Feasibility: refers to whether the assessment is practical, realistic, and sensible, given the circumstances and context [43]. Constraints on an ideal assessment include availability of examiners, the time of academics to develop the material, administrative resources to implement assessments, faculty training requirements and analysis of assessment [42].

4. 수용성: 평가, 평가 과정 및 결과가 이해관계자에 의해 신뢰할 수 있는 것으로 간주되는 정도를 말한다[43].

4. Acceptability: refers to the extent to which the assessment, the assessment process and results are considered credible by the stakeholders [43].

5. 교육적 영향: 평가가 학습자와 커리큘럼에 미치는 교육적 영향을 의미한다. 예기치 않은 영향을 포함한다[40].

5. Educational impact: refers to the educational effects of assessment on both the learner and the curriculum; including unexpected impacts [40].

6. 평가 비용: 시험 시간뿐만 아니라 시험 생산 비용 측면에서도 중요한 자원 영향을 미치는 장기 시험을 말한다. 이는 지속 가능한 방식으로 자원의 효과적인 사용에 대한 결정에 영향을 미친다 [40].

6. The cost of an assessment: refers to lengthy tests having major resource implications, both in terms of testing time as well as in terms of cost to produce these tests. This impacts decisions on the effective use of resources in a sustainable way [40].

임상 환경에서 형성적 평가 방법

Formative assessment methods in the clinical setting

형성 평가는 학습자에게 특정 시점에서 진행 상황을 알려주는 강력한 도구를 제공한다[14]. 최근 몇 년 동안 형성평가는 임상 환경에 맞게 재구성되고 공식화되었다[44]. 이러한 개선은 기존의 [느슨하게 계획된 임상 실습]에서 [사전 설정된 성과의 달성과 연계된 커리큘럼 기반 경험]으로 진화했다. 임상 환경에서 직접 관찰에 기초한 피드백을 제공하기에 적합한 잘 기술된 많은 형태 형성적 평가 방법(표 4)이 최근 몇 년 동안 개발되었다[45]. 학습자의 성과와 능력을 잘 이해하기 위해, 형성적 평가가 여러 번 이루어진다. 이를 통해 평가자는 의사소통 기술, 절차 기술, 전문성 수준, 임상 기술 및 일반적인 역량을 관찰하고 모니터링할 수 있는 여러 기회를 가질 수 있다.

Formative assessment offers a powerful tool to inform the learner of their progress at a particular point in time [14]. In recent years, formative assessments have been reshaped and formalised to suit the clinical setting [44]. These improvements have evolved from a previously loosely planned clinical immersion, to a curriculum-based experience linked to achievement of pre-determined outcomes. A number of well described formative assessment methods (Table 4), suitable for providing feedback based on direct observation in the clinical setting, have been developed in recent years [45]. In order to gain a well-rounded understanding of a learner’s performance and ability, increasingly, formative assessment takes place over multiple occasions. This allows the assessor to have multiple opportunities to observe and monitor communication skills, procedural skills, levels of professionalism, clinical skills and general competence [38, 39, 46].

표 4 형성 평가 방법의 예

Table 4 Examples of formative assessment methods

효과적인 피드백 제공에 대한 팁

Tips for provision of effective feedback

학생에 대한 피드백은 학습 과정의 중요한 부분을 형성하며, 항상 임상 튜토리얼에 포함되어야 한다. 효과적인 피드백 제공에 대한 팁은 표 5에 요약되어 있다. 피드백이 임상 성과에 미치는 영향을 탐구하는 메타 분석에서는 피드백 제공이 포함된 연구의 75% 이상에 긍정적인 영향을 미친다는 것을 발견했다[47]. 효과적이고 규칙적인 피드백은 자기 성찰을 촉진하고, 좋은 관행을 강화하며, 학습자가 요구되는 결과를 향해 연습하도록 지시할 수 있는 잠재력을 가지고 있다[37]. 

Feedback to students forms a crucial part of the learning process, and should always be included within clinical tutorials. Tips for provision of effective feedback are outlined in Table 5. A meta–analysis exploring the effect of feedback on clinical performance found that the provision of feedback had a positive impact in over 75% of the included studies [47]. Effective and regular feedback has the potential to promote self-reflection, reinforce good practice; and directs the learner to practice towards the required outcome [37]. 

피드백은 즉각적이고, 직접적인 관찰에 기초할 때 학생들의 행동에 가장 큰 영향을 미친다[37, 48]. 펜들턴의 모델[49]과 같은 기존 피드백 프레임워크는 학습자 중심이며, 학습자가 자신의 수행practice을 평가할 수 있는 기회를 제공한다. 먼저, 튜터는 학습자에게 무엇을 잘했다고 생각하는지 물어본 다음, 잘한 부분을 설명하고, 학습자에게 어떻게 개선할 수 있는지 물어본 다음, 학습자에게 어떻게 개선할 수 있는지 제안한다. 어떤 피드백 모델을 선택하든, 가정교사의 피드백은 정직하고, 서술적이고, 구체적이어야 한다.

Feedback has the greatest impact on students’ behaviour when it is based on direct observation, and is immediate [37, 48]. Existing feedback frameworks, such as Pendleton’s model [49] is learner-centred, and offers the learner the opportunity to evaluate their own practice. First, the tutor asks the learner what they think they did well, then describes areas that were done well; then the tutor asks the learner how they could improve, and then suggests to the learner how they can improve. Whatever model of feedback is chosen, feedback from the tutor should be honest, descriptive and specific.

표 5 효과적인 피드백 제공을 위한 팁

Table 5 Tips for provision of effective feedback

결론 Conclusion

임상 환경에서의 가르침, 특히 침상 옆 교육은 환자, 학생, 교사들에 의해 귀중한 가르침 방법으로 간주된다. 학습을 최적화하고 학생의 참여를 극대화하기 위해 임상 환경에서 학습 활동을 계획, 구조화 및 커리큘럼 및 평가와 연계해야 한다[50]. 학생들이 과외 교사를 관찰하고 모방하는 것을 통해 학습하기 때문에, 역할 모델링은 학생들의 학습과 행동에 영향을 미치는 중요한 역할을 한다. 임상의와 상급생에 의한 역할 모델링은 의료 학생의 전문적 역량, 가치관 및 태도 개발에 도움이 된다. 피드백은 학습 과정에서 중요한 역할을 한다. 관찰하고, 학생들에게 정확한 피드백을 제공함으로써, 실제와 원하는 수행 사이의 차이를 좁힌다.

Teaching in the clinical setting, and particularly, bedside teaching is viewed by patients, students and tutors as an invaluable teaching method. To optimise learning and maximise student engagement, learning activities in the clinical environment should be planned, structured, and aligned with the curriculum, and assessment [50]. Since students learn largely through observing and imitating their tutors, role modelling plays a critical role in influencing students’ learning and behaviour. Role modelling by clinicians, and by senior students, assists in the development of healthcare students’ professional competencies, values, and attitudes. Feedback plays a crucial role in the learning process. By observing, and providing students with accurate feedback, the gap between actual and desired performance is narrowed.

테이크홈 메시지

Take-home message

• 교육 및 학습 활동이 임상 환경에서 이루어질 때 환자의 권리가 항상 존중되는지 확인하십시오.

• 체계적인 형식으로 성공적인 교육 활동을 계획한다.

• "SNAPPS"와 같은 구조화된 교육 방법은 세션 형식을 지정하는 데 도움이 된다.

• 직접적인 관찰과 피드백 제공은 학생 학습에 필수적이다.

• Always ensure the rights of patients are respected when teaching and learning activities take place in the clinical setting.

• Successful teaching activities are well planned, with a structured format.

• Structured teaching methods, such as “SNAPPS”, help to format the session.

• Direct observation and provision of feedback is essential to student learning.

임상에서 피드백(BMC Med Educ, 2020)

Feedback in the clinical setting

Annette Burgess1,2*, Christie van Diggele2,3, Chris Roberts1,2 and Craig Mellis4

배경 Background

보건전문교육에서 피드백은 "훈련자의 수행능력을 향상시키려는 의도로 주어진, 훈련생의 관찰된 수행능력과 표준의 비교에 관한 구체적인 정보"로 설명되어 왔다[1]. 피드백은 '선생님'과 '학습자' 사이의 가장 중요한 상호작용 형태 중 하나이다. 그러나 의료 및 기타 보건 전문가 학생은 임상 배치 중에 직접 관찰하고 피드백을 제공하는 경우가 거의 없다는 것이 널리 알려져 있다[2]. 따라서 피드백 촉진에 대한 관심이 증가했다[2]. 

• 피드백 제공은 학습 과정의 필수적인 부분을 형성하며(그림 1) [2] 실제 성과와 원하는 성과 사이의 격차를 줄이는 데 도움이 된다. 

• 피드백 프로세스는 학습자에게 수행 품질에 대한 정보를 제공하고 학습 전략의 개선을 이끈다. 

• 피드백은 학습자의 효과적인 의사결정을 지원하고 학습 성과를 개선하는 데 도움이 된다. 

• 피드백은 학습자에게 자신의 수행에 대한 판단을 제공하여 교육적 진보를 돕는 강력한 도구 역할을 한다. 

그러나 건강 전문 교육자, 학생 및 동료들은 피드백 실천을 통해 하나 또는 다른 하나로부터 배우는 것이 어렵다는 것을 발견할 수 있다[3]. 피드백 연습은 종종 지속 불가능하고 학생들에게 활력을 잃게 한다[3, 4]. 피드백을 평가하고 제공하는 능력은 학습된 기술로서 적절한 수준의 훈련을 필요로 한다.

Within health professional education, feedback has been described as “Specific information about the comparison between a trainee’s observed performance and a standard, given with the intent to improve the trainee’s performance” [1]. Feedback is one of the most important forms of interactions between the ‘teacher’ and the ‘learner’. However, it has been widely reported that medical and other health professional students are rarely directly observed and given feedback during their clinical placements [2]. Accordingly, there has been increased interest in the facilitation of feedback [2]. Provision of feedback forms an integral part of the learning process (Fig. 1) [2], helping to narrow the gap between actual and desired performance. The feedback process engages the learner with information about the quality of their performance, and leads to improvements in learning strategies. Feedback supports learners’ effective decision making, and helps to improve learning outcomes. It serves as a powerful tool to provide the learner with judgements on their performance, assisting in their educational progress. However, health professional educators, students and peers can find it difficult to learn from one and other through feedback practices [3]. Feedback practices are often unsustainable, and de-motivating for students [3, 4]. The ability to assess and provide feedback is a learnt skill, requiring an appropriate level of training.

이 논문은 학습 과정 내에서 피드백의 역할, 피드백 프로세스에 대한 장벽, 피드백을 용이하게 하기 위한 실용적인 가이드라인을 간략히 탐구한다.

This paper briefly explores the role of feedback within the learning process, barriers to the feedback process, and practical guidelines for facilitating feedback.

피드백의 목적 Purpose of feedback

피드백은 학습을 지원하고 강화하는 교육 과정의 지속적인 부분으로 작용한다[5]. 그것은 별도의 교육 유닛이 아니라 지속적인 교육 및 평가 단위의 일부분이다[6]. 형성 평가의 핵심 요소로서[7], 피드백은 세 가지 방법으로 학습을 촉진한다[5].

Feedback acts as a continuing part of the instructional process that supports and enhances learning [5]. It is part of an ongoing unit of instruction and assessment, rather than a separate educational entity [6]. A core component of formative assessment [7], feedback promotes learning in three ways [5]:

• 학생에게 진행 상황을 알린다

• 개선을 위한 관찰된 학습 니즈를 학생에게 통지

• 학생이 적절한 학습 활동에 참여하도록 동기 부여

• Informs the student of their progress

• Informs the student regarding observed learning needs for improvement

• Motivates the student to engage in appropriate learning activities

피드백을 위한 지원 환경 조성

Creating a supportive environment for feedback

지속가능하고 의미 있는 피드백의 필수요건은 [피드백 제공]에서 [피드백의 촉진을 촉진하는 학습 환경의 설계]로 초점을 이동시킨다[3]. 개별적인 정보 제공과 리셉션을 촉진하기보다는 피드백을 적극적 학습의 촉진으로 보아야 한다. 교사는 학생과 동료, 학생과 교직원 간의 상호작용을 촉진할 책임이 있다. 학생들이 스스로 변화의 주체로 보고 자율규제를 강화하고 스스로 학습을 추진하는 학습 환경이 조성돼야 한다. 높은 수준의 학생참여를 육성하면 피드백을 찾고 자신의 성과를 성찰하는 능동적proactive '학습자'로서의 학생의 정체성을 발전시키는 데 도움이 된다.

Requirements for sustainable and meaningful feedback shifts the focus from the provision of feedback to the design of the learning environment that promotes facilitation of feedback [3]. Rather than facilitating individual acts of information provision and reception, feedback should be viewed as the promotion of active learning. Teachers are responsible for fostering interactions between students and their peers, and students and staff. Learning environments should be created where students see themselves as agents of their own change, fostering self-regulation and driving their own learning. Fostering high levels of student engagement helps to develop the identity of students as proactive ‘learners’, who seek feedback and reflect on their own performance.

피드백 프로세스에 대한 장벽

Barriers to the feedback process

피드백의 과정은 상호 작용과 방향을 필요로 하며 임상 교육에 필수적인 것으로 보아야 한다. 피드백이 없을 때, 학습자에게 새로운 임상 환경의 불확실성이 심화된다. 피드백 프로세스에 다음과 같은 여러 가지 장벽이 있을 수 있다.

The process of feedback requires interaction and direction, and should be viewed as essential to clinical education. In the absence of feedback, the uncertainty of a new clinical environment for a learner is intensified. There may be a number of barriers to the feedback process, including:

• 작업에 대한 직접적인 관찰 부족 피드백은 특정 과제의 직접적인 관찰에 기초하여 제공되었을 때 학생들의 행동에 가장 큰 영향을 미친다[2]. 바쁜 임상 환경에서는 직접 관찰이 부족한 경우가 많다.

• Lack of direct observation of tasks. Feedback has the greatest impact on students’ behaviour when it is provided based on direct observation of a specific task [2]. In the busy clinical setting, direct observation is often lacking.

• 정직하고 비판적인 피드백을 통해 학생들의 기분을 상하게 하지 않으려는 욕구[2]. 피드백은 학습자의 성적이 수준 이하일 때 제공하기가 더 어려울 수 있으며, 학습자에게 실망스러울 수 있다. 그러한 피드백을 제공하려면 프로세스와 기술에 대한 이해가 필요하다. 학습자의 기분을 상하게 하지 않으려는 욕구가 있을 수 있지만, 의미 있는 피드백을 피하는 "바니싱 피드백"[8]이 될 수 있다.

• The desire to avoid upsetting students with honest and critical feedback [2]. Feedback can be more difficult to provide when the learner’s performance is below par, and may be disappointing to the learner. The provision of such feedback requires an understanding of the process, and skill. Although there may be a desire to avoid upsetting a learner, this can result in “vanishing feedback” [8], where meaningful feedback is avoided.

• 외부 피드백 부족. 외부 피드백이 없으면 학생들은 그들 자신의 피드백을 생성할 수 있지만, 자기 평가는 종종 틀린다[4]. 높은 수행자는 자신의 수행 능력을 과소평가하는 경향이 있고, 낮은 수행자는 과대평가하는 경향이 있다[9].

• Lack of external feedback. Without external feedback, students may generate their own feedback - but, self-assessment is often wrong [4]. High performers tend to underestimate their own performance, and lower performers tend to overestimate [9].

학습자 피드백 수신

Learner reception of feedback

피드백을 주는 것과 비슷하게, 피드백을 받는 것은 수동적이고 단순한 행동이 아니다. 피드백 수용은 임상기술의 연습과 향상에 대한 솔직한 자기반성과 헌신을 수반한다. 학습자들은 항상 피드백을 받을 준비가 되어 있지 않으며, 더 중요한 것은 피드백을 받아들일 준비가 되어 있지 않다. 또한 피드백에 대한 상황 및 관계적 측면이 있을 수 있다[10]. 분명히, 피드백의 수용과 효과는 제공자의 인식된 신뢰도에 따라 달라질 수 있다[10]. 학습자는 제공자가 커리큘럼과 학습 목표를 잘 이해하고 있다고 인식하면 피드백을 더 잘 수용한다.

Similar to giving feedback, receiving feedback is not a passive, simple act. It entails honest self reflection and commitment to practice and improvement of clinical skills. Learners are not always prepared for receiving, and more importantly, accepting feedback. Additionally, there may be contextual and relational aspects regarding the feedback [10]. Clearly, acceptance and effectiveness of the feedback may be dependent upon the perceived credibility of the provider [10]. The learner is more accepting of the feedback if they perceive the provider to have a good understanding of the curriculum, and the learning objectives.

학생 피어 투 피어 피드백

Student peer-to-peer feedback

[또래 학생들에게 피드백을 제공하는 연습]은 학생들에 의해 지식, 기술 및 전문적 속성의 발전에 이로운 것으로 인식된다[11]. 동료에게 피드백 제공을 연습함으로써 학생들에게 높은 수준의 책임을 강화시킬 수 있으며 [11, 12] 일부 학생들은 인식적 이득을 보고한다[11,12,13]. 그러나, 놀랄 것도 없이, 또래 피드백의 정직성과 정확성에 관한 실질적인 우려가 있다[11,12,13,14,15]. 학생들이 또래 학생들에게 건설적인 피드백을 제공할 수 없는 것은 훈련 부족과 사회적 불편함 둘 다에 기인한다[16]. 분명히, 학생들은 동료들에게 부정적인 피드백을 제공하는 것, 그들의 피드백의 질, 그리고 이러한 부정적인 피드백이 동료들의 질문에 미치는 결과에 대해 매우 우려하고 있다[11, 17]. 다행히도, 학생들은 동료들에게 피드백을 제공하기 위해 구조화된 방법을 사용하는 것이 유용하다는 것을 발견한다 [10, 11].

The practice of providing feedback to peers is perceived by students as beneficial to development of knowledge, skills, and professional attributes [11]. Provision of feedback from peers can foster high levels of responsibility in students [11, 12], and some students report metacognitive gains [11,12,13]. However, unsurprisingly, there are real concerns regarding the honesty and accuracy of peer feedback [11,12,13,14,15]. The inability of students to provide constructive feedback to peers has been attributed to both inadequate training, and social discomfort [16]. Obviously, students are very concerned about providing negative feedback to their peers, the quality of their feedback, and the consequences of this negative feedback on their peers’ progession [11, 17]. Fortunately, students find that using a strucutred method for providing feedback to peers is useful [10, 11].

성과에 대한 자체 평가 및 성찰

Self-assessment and reflection on performance

피드백은 학습자의 수행능력을 향상시키는 목적이 있을 뿐만 아니라, 수행에 대한 자기 평가와 반성을 함양하는 도구로 작용한다. 증거는 자기 평가가 부정확하다는 것을 보여준다; 높은 성과를 거둔 사람들은 자신을 과소평가하는 반면, 가난한 성과자들은 과대평가한다[1, 9]. 그러나 외부 피드백을 받는 것은 학습자에게 적절한 기준에 따라 자신의 자체 평가를 벤치마킹할 수 있는 기회를 준다.

Feedback not only has the purpose of improving a learners’ performance, it also acts as a tool to cultivative self-assessment and reflection on performance. Evidence suggests that self-assessment is inaccurate; high performers underestimate themselves, while poor performers overestimate [1, 9]. Receiving external feedback, however, gives learners the opportunity to benchmark their own self assessment against appropriate criteria.

효과적인 피드백 Effective feedback

효과적인 피드백은 학습 과정의 필수적인 부분이다. 효과적이고 규칙적인 피드백은 좋은 관행을 강화하고, 자기 성찰을 촉진하며, 학습자가 원하는 결과를 위해 노력하도록 동기를 부여한다[2]. 피드백 전달 방식은 학생의 결과에 영향을 미칠 수 있다. 피드백은 학생들이 그들의 성과를 성찰하고 향상시키도록 유도할 수도 있고, 부정적이고 사기를 떨어뜨릴 수도 있다. 우리는 표 1에 설명된 펜들턴의 모델(1984)과 같은 구조화된 방법을 사용하는 것이 피드백을 제공하는 데 유용하다는 것을 발견했다 [11, 18,19,20]. 이 피드백 모델은 학습자에게 자신의 관행을 평가하고 개선 방법을 식별할 수 있는 기회를 제공한다. 또한 관찰자의 즉각적인 피드백을 허용한다.

Effective feedback is an essential part of the learning process. Effective and regular feedback reinforces good practice, promotes self-reflection, and motivates the learner to work towards their desired outcome [2]. The style of feedback delivery can influence the outcome on the student. Feedback can inspire the student to reflect and improve their performance, or it can be negative and demoralising. We have found that using a structured method, such as Pendleton’s model (1984), illustrated in Table 1, is useful for providing feedback [11, 18,19,20]. This model of feedback offers learners the opportunity to evaluate their own practice, and identify ways of improving. It also allows for immediate feedback from the observer.

표 1 피드백 모델(펜들턴 외, 1984년 데이터) [18]

Table 1 Feedback model (data from Pendleton et al., 1984) [18]

표 2는 펜들턴의 피드백 모델 사용에 대한 연습과 반성을 가능하게 하는 활동을 제공한다.

Table 2 provides an activity that allows practice and reflection on the use of Pendleton’s model of feedback.

표 2 활동: 피드백 제공 및 수신

Table 2 An activity: giving and receiving feedback

효과적인 피드백 제공 

Giving effective feedback

효과적인 피드백을 제공할 때 직접적인 관찰과 명확한 목표가 필요하며, 좋은 성과가 재초점되고, 나쁜 성과가 시정된다[21]. 비록 학습자 수행의 긍정적인 측면과 부정적인 측면을 모두 상세히 기술하는 건설적인 피드백을 제공하는 것은 시간이 많이 걸리고 어려울 수 있지만, 피드백을 제공하지 않는 것은 상당한 부정적인 영향을 미칠 수 있다. 신중하게 전달되지 않으면 피드백은 성능 저하를 초래할 수 있다[4, 21]. 만약 제대로 다루지 않으면, 피드백은 또한 학습자에게 방어력과 당혹감을 줄 수 있다. 피드백은 본질적으로 비판단적이고 서술적이어야 한다 [22]. 효과적인 피드백을 수행할 때 고려해야 할 몇 가지 핵심 원칙이 있다[2]. 즉, 피드백은 다음과 같아야 한다.

Direct observation, and clear goals are needed in the provision of effective feedback, with good performance being reinfoced, and poor performance being corrected [21]. Although provision of constructive feedback detailing both positive and negative aspects of the learner’s performance can be time consuming and difficult, not giving feedback can have a substantial negative effect. If not relayed carefully, feedback can result in a deterioration in performance [4, 21]. If handled poorly, feedback can also cause defensiveness and embarrassment to the learner. Feedback must be non-judgemental and descriptive in nature [22]. There are a number of key principles to consider when conducting effective feedback [2]. Namely, feedback should be:

1. 장소, 시기, 환경 등을 고려하여 계획됨

2. 명시적

3. 서술적

4. 성격이 아닌 행동에 초점을 맞춘다.

5. 구체적

6. 간결

7. 피드백 받는 사람에 의해 확인됨

8. 정직한

1. Planned, considering the place, timing and environment

2. Explicit

3. Descriptive

4. Focused on behaviour, not personality

5. Specific

6. Concise

7. Verified by the recipient

8. Honest

피드백 세션의 성공은 아래에 요약되고 표 3에 요약된 구조, 형식 및 내용이라는 세 가지 광범위한 영역에 따라 좌우된다[2, 23].

The success of a feedback session is dependent on three broad areas: structure, format, and content, as outlined below and summarised in Table 3 [2, 23].

표 3 성공적인 피드백 세션의 세 가지 주요 영역 [2]

Table 3 Three key areas of a successful feedback session [2]

구조 Structure

피드백의 타이밍은 적절한 준비 시간을 허용하면서 쌍방에 대해 고려할 필요가 있다. 회의의 목적이 모두에게 명백하게 밝혀지는 등, 피드백이 비밀이 보장되는 장소에서 이루어지도록 하는 것이 필요할 수 있다. 학생을 위협하지 않도록 방 환경도 고려해야 한다. 피드백의 이해를 돕기 위해 서술어를 사용하는 것과 함께, 피드백이 관찰된 태도, 행동 및 지식에 집중되는 것이 중요하다. 상호 신뢰와 존중이 확립되어야 하며, 공동의 목표는 학습자의 성과 향상을 위해 노력하는 것이다[9].

The timing of feedback needs to be considered for both parties, allowing adequate time for preparation. It may be necessary to ensure the feedback is given in a confidential location, with the purpose of the meeting being made clear to all. The room setting should also be considered, so to not intimidate the student. It is important that feedback is focused on the attitudes, behaviour and knowledge observed, with the use of descriptive words to assist in the understanding of the feedback. Mutual trust and respect should be established, with the shared goal being working towards improving the learner’s performance [9].

포맷 Format

제공된 피드백이 정확하고 가치 있으며, 부정적인 점과 긍정적인 점 둘 다 만들어져야 한다[9]. 이 세션의 목적은 학습자의 성과를 향상시키는 것이다. 회의의 단계에는 학습자의 자기평가, 교사의 평가뿐 아니라 향후 성과 개선을 위한 실천계획이 제시된다. 펜들턴의 피드백 모델의 핵심은 자기 성찰을 장려하고 학생이 피드백에 대한 접근법을 선도하도록 하는 것이다(표 1 참조). [18].

It is essential the feedback provided is accurate and valuable, with both negative and positive points being made [9]. The aim of the session is to improve the performance of the learner. The steps in the meeting include the learner’s self-assessment, the teacher’s assessment, as well as providing an action plan for future improvement of performance. The key to Pendleton’s model of feedback is to encourage self-reflection and have the student lead the approach to feedback (see Table 1) [18].

내용 Content

교사와 학습자가 회의를 준비하기 위해서는 적절한 시간이 제공되어야 한다[9]. 공식적인 학습 목표와 개인적 목표는 학습이 이루어진 것을 평가할 때 고려할 필요가 있다. 교사가 학생의 성적을 직접 관찰하게 하는 것은 좋은 성적의 구체적인 예와 개선 영역을 제공할 것이다. 개선을 위한 특정 영역(가장 중요한 영역 중 두 개 또는 세 개만 해당)만 단일 피드백 세션에서 다루어야 한다.

Adequate time needs to be provided in order for the teacher and learner to prepare for the meeting [9]. Formal learning objectives and personal objectives need to be considered when assessing what learning has taken place. Having the teacher directly observe the student’s performance will provide specific examples of good performance, and areas for improvement. Only a limited number of specific areas for improvement (say two or three of the most crucial only) should be addressed in a single feedback session.

피드백을 촉진하기 위한 커리큘럼 설계의 역할

The role of curriculum design in promoting feedback

커리큘럼은 학생들이 피드백에 참여하도록 의도적으로 설계되어야 한다[3]. 피드백은 모든 커리큘럼의 필수 요소로 간주되어야 하며, 학생 학습의 중심이 되어야 한다. 피드백을 촉진하기 위한 개입은 학습자가 자신의 작업에 적용할 수 있는 적절한 표준을 식별할 수 있도록 조직의 커리큘럼과 문화에 '스며들' 필요가 있다[3]. 학생들이 자신의 일에 대해 판단을 내릴 수 있는 능력을 연습하고 적극적으로 구축하기 위해 알찬 학습 환경을 구축해야 한다. 교과과정의 초기에 성과 비교를 장려해야 한다. 이것은 학생들이 현재의 능력에 대한 인식을 발전시키고, 그들 자신의 학습 욕구에 대한 계획을 세우는 것을 돕는다.

The curriculum should be deliberately designed to inspire students to engage in feedback [3]. Feedback should be viewed as a required element of any curriculum, and central to student learning. Interventions to promote feedback need to ‘permeate’ the curriculum and the culture of organisations, to ensure learners are able to identify appropriate standards to apply to their work [3]. Fruitful learning environments should be constructed by students to practice and actively build on their ability to make judgements about their own work. Comparisons of performance should be encouraged early in the curriculum. This helps students to develop an awareness of their current capabilities, and plan for their own learning needs.

자기조절학습(SRL)은 학생들이 자신의 학습에 적극적으로 참여하고 지도할 수 있는 과정을 제공한다[24]. 학생들에게 SRL 사용에 대한 피드백을 제공하여 명확하고 구체적이며 스스로 모니터링하고 반성하는 학습 전략을 장려할 수 있다. 교육자들의 과제는 교육과정 내에서 자기분석을 하나의 기대치로 체계적으로 구축하는 것이다. 정기적인 자기 분석은 자기 분석과 외부 분석의 비교를 촉진하는 습관을 형성하는 데 도움이 된다[3]. 피드백을 핵심 속성으로 포지셔닝하는 커리큘럼 설계 팁:

Self regulated learning (SRL) offers a process that empowers students to actively engage in and direct their own learning [24]. The use of SRL helps students to set goals, actively engage in learning activities, and monitor their own progress and actions in achievement of their goals [24, 25]. Feedback can be given to students on their use of SRL to encourage strategies in learning that are clear and specific, self-monitored, and reflected upon [25]. The challenge for educators is to systematically build self-analysis as an expectation within the curriculum. Regular self-analysis helps to build habits that promote comparison between self-analysis and external analysis [3]. Tips for designing a curriculum that positions feedback as a key attribute include:

• 학생에게 피드백의 목적을 설명

• 학생에게 피드백 방법을 안내

• 형성적 평가 및 피드백을 통해 여러 과제에 대한 기회 촉진

• 점진적으로 도전적인 과제 개발

• 학생이 피드백을 받을 수 있는 기회 제공1

• Orientate the students to the purpose of feedback

• Orientate students to methods of feedback

• Promote opportunities for multiple tasks with formative assessment and feedback

• Develop incremental challenges for tasks

• Provide opportunities for students to not only receive, but practice giving feedback1

결론 Conclusion

피드백은 학습 과정의 필수적인 요소로서, 커리큘럼의 필수적인 부분으로 간주된다. 피드백을 둘러싼 문학의 몸집이 커지고 있음에도 불구하고, 최선의 접근법에 대한 합의는 거의 없다. 모든 임상 상황에서 단일 피드백 모델은 작동하지 않을 것이다. 각 임상 교육자는 피드백 과정에 참여해야 하며, 자신의 모범 사례를 개발하는 기회를 가질 수 있다. 규칙적이고 효과적인 피드백은 좋은 연습을 강화하고 학습자가 원하는 결과를 얻도록 동기를 부여하는 데 도움이 된다. 건강 전문가 학생들에게 피드백을 주고 받는 기술은 좀처럼 가르쳐지지 않기 때문에 임상의가 부족한 경우가 많다. 직접 관찰과 피드백은 학습자에게 특정 시점에서 진행 상황을 알려주는 강력한 도구를 제공한다 [24, 26]. 교육 과정의 실효성을 높이기 위해서는 학습자와 교사 모두 피드백의 목적과 구조를 이해하는 것이 중요하다.

Feedback is an essential component of the learning process, and is considered an integral part of the curriculum. Despite the growing body of literature surrounding feedback, there is little agreement on the best approach. No single feedback model will work across all clinical contexts. Each clinical educator needs to engage in the process of feedback, and can take the opportunity to develop their own best practice. Regular and effective feedback helps to reinforce good practice and motivate the learner towards the desired outcome. Because skills in giving and receiving feedback are rarely taught to health professional students, they are often lacking in clinicians. Direct observation and feedback offers a powerful tool to inform the learner of their progress at a specific point in time [24, 26]. In order to increase the efficacy of the educational process, it is important for both learners and teachers to understand the purpose and structure of feedback.

테이크홈 메시지

Take-home message

• 학습 환경은 피드백을 강화해야 한다.

• 효과적인 피드백은 스킬을 향상시키고 학습자의 행동을 변화시킬 수 있는 잠재력을 가진다.

• 피드백을 제공하기 위해 구조화된 형식을 사용(예: 펜들턴의 모델)하면 자기 성찰과 명확하고 건설적인 조언 제공에 도움이 된다.

• 커리큘럼은 학생들이 피드백에 참여하도록 의도적으로 설계되어야 한다.

• The learning environment should foster feedback.

• Effective feedback has the potential to improve skills and change the learner’s behaviour.

• Using a structured format to provide feedback (such as Pendleton’s model), assists in self-reflection and the provision of clear, constructive advice.

• The curriculum should be deliberately designed to inspire students to engage in feedback.

임상추론 교육을 어떻게 개선할 것인가: 내러티브 리뷰와 제안(Med Educ, 2015)

How to improve the teaching of clinical reasoning: a narrative review and a proposal

Henk G Schmidt1 & Sılvia Mamede2

도입 INTRODUCTION

의대생들이 진단학자가 될 수 있도록 돕는 것은 아마도 의학 교육의 가장 중요한 목표일 것이다. 그러나 진단 문제 해결은 어려운 과제다.

Helping medical students to become able diagnosticians is perhaps the most important objective of medical education. However, the solving of diagnostic problems is a challenging task.

임상적 만남의 결과에 영향을 미치는 맥락적 상황은 진단 과제를 더욱 복잡하게 만든다. 예를 들어, 가용성 편향에 대한 연구는 의사가 피상적으로 유사한 증상을 가진 환자를 이전에 본 적이 있다면, 의사의 진단이 덜 정확해질 가능성이 있다는 것을 시사한다.1 또한, 진단과 직접 관련이 없는 환자의 특징은 의사를 잘못된 길로 이끌 수 있다.2,3 마지막으로, 의사들도 다른 인간과 마찬가지로 환자를 다룰 때 어떤 관점으로 출발할 필요가 있다. 조우 초기에 나타나는 가설들이 그 역할을 한다. 그러나, 이러한 (초기) 가설들은 의사에게 환자의 증상에 대한 대안적, 그리고 아마도 더 적절한 설명에 눈을 멀게 할 수 있다.4

Contextual circumstances influencing the outcome of a clinical encounter make the diagnostic task even more complicated. For example, research on availability bias suggests that a doctor’s diagnoses are likely to become less accurate if the doctor has previously seen a patient with superficially similar symptoms.1 In addition, features of patients not directly relevant to the diagnosis may lead physicians astray.2,3 Finally, doctors, like other human beings, need a point of view from which to depart when dealing with a patient. Hypotheses appearing early in the encounter play that role. However, these hypotheses may blind the doctor to alternative, and perhaps more appropriate, explanations for the patient’s symptoms.4

임상추론에 대한 적성의 획득은 전통적으로 임상로테이션에 맡겨진다. 병동에서 학생들은 첫 번째 실제 환자를 보고, 이러한 환자에게 처음으로 질병에 대한 지식을 적용해야 한다. 그러나 

• 로테이션을 하는 동안 배우는 것은 주로 행함으로써 배우는 과정이며, 자신의 성과를 비판적으로 검토할 수 있는 기회는 제한되어 있다. 

• 관리감독의 퀄리티는 가변적이며 피드백은 불규칙하며 항상 일관되지는 않는다. 

• 또한 실습이 가능한 환자의 수와 다양성이 제한되는 경우가 많다는 것은 도움이 되지 않는다.5 

• 임상실습이 이루어지는 임상 환경에 대한 대규모 연구에서는 유병률이 가장 높은 의료 문제를 가진 환자를 본 학생이 절반 이하인 것으로 나타났다. 예를 들어, 단지 6%의 학생들만이 내과 사무원 근무 중에 소화성 궤양에 걸린 환자를 만났다.6

The acquisition of the aptitude to reason clinically is traditionally left to clinical rotations. On the ward, students see their first real patients and are required to apply their knowledge of disease to these patients for the first time. Learning during rotations is, however, largely a process of learning by doing, and opportunities to critically review one’s own performance are limited. Supervision is of variable quality and feedback is irregular and not always consistent. Further, it is not helpful that the number and variety of patients available for practice are often limited.5 A large study of clinical settings in which clerkships take place showed that fewer than half of students saw any patients with the medical problems that have the highest prevalence rates. Only 6% of students encountered, for example, a patient with a peptic ulcer during internal medicine clerkships.6

따라서 의과대학들이 학생들에게 충분한 연습 기회를 제공하고 그들의 감독 및 피드백 요구를 처리할 수 있는 임상 추론(CR) 과정을 개발하기 시작하면서 이러한 불만족스러운 상황에 대응했다는 것은 놀랄 일이 아닐 것이다. 전형적으로, 이 과정들은 [전임상 커리큘럼]의 일부분이다.

It will therefore come as no surprise that medical schools have responded to this unsatisfactory state of affairs by beginning to develop clinical reasoning (CR) courses that provide students with ample opportunities to practise and take care of their supervision and feedback needs. Typically, these courses are part of the pre-clinical curriculum.

경험적 발견에 대한 검토를 기대하는 독자들은 실망할 것이다; 아직 우리가 접근법 사이에서 결정을 내리는 데 도움이 될 충분한 연구가 없다. 그러므로 우리의 검토는 본질적으로 대체로 서술적임에 틀림없다.

Readers who expect a review of empirical findings will be disappointed; there is not yet sufficient research available to help us decide between approaches. Our review, therefore, must be largely narrative in nature.

CR을 가르칠 때 사용되는 전술 유형

Types of tactics employed when teaching CR

다음 섹션에서는 CR의 교육에 채택된 다양한 전술에 대한 결과를 요약한다.

In the following section, we will summarise our findings on the various tactics employed in the teaching of CR

방법 METHODS

우리는 이 기사들을 두 가지 이론적 고려를 바탕으로 분류하기로 결정했다.

We decided to categorise these articles based on two theoretical considerations.

첫 번째는 인지 부하 이론에 기초한 고려였다.7 이 이론은 모든 관련 정보가 완전히 제시될 때 자신의 영역에서 문제를 푸는 학생들이 더 잘 지원되어 작업 기억력에 대한 부하를 줄인다고 주장한다. 이러한 생각을 바탕으로, 사례 정보가 학생들에게 순차적으로 제시되는 방식('시리얼큐' 접근법)과 환자에 대한 모든 정보가 한 번에 제시되고 진단 과정 전반에 걸쳐 이용 가능한 상태로 유지되는 방식('whole-case' 접근법)을 구분하는 것이 의미 있다고 가정했다..

The first was a consideration based on cognitive load theory.7 This theory claims that students solving problems in their domain are better supported when all relevant information is presented to them in full, decreasing load on working memory. Based on this idea, we assumed that it would be meaningful to distinguish between approaches in which case information is presented to students in a sequential fashion (the ‘serial-cue’ approach) and those in which all information about a patient is presented at once and remains available throughout the diagnostic process (the ‘whole-case’ approach).

두 번째 고려사항은 CR 문헌의 근본적인 구분에 기초하였다. 어떤 사람들은 임상적으로 이성에 대한 학습의 특징들이 예를 들어 가설연역적 추론과 같이, 전문 진단학자들이 진단 문제를 해결하는 [사고 과정을 학습]하거나 경험적 접근법이나 [분석적 접근법]을 따르는 것으로 표현된다고 제안한다.9 다른 이들은 CR이 대체로 [지식 기반 활동]이라고 주장한다. 10,11 추론 과정은 후자의 관점에서 본 결과, 성공적인 진단에 수반되는 지식과 경험의 양과 본질에 대한 덧없는 것이다.

The second consideration was based on a fundamental divide in the CR literature. Some suggest that the hallmark of learning to reason clinically is represented by learning of the thinking processes by which expert diagnosticians solve diagnostic problems, for instance hypothetico-deduction,8 or by following a heuristic or analytical approach.9 Others claim that CR is a largely knowledge-based activity.10,11 Processes of reasoning are in the latter perspective ephemeral to the nature and the amount of knowledge and experience involved in successful diagnosis.

이러한 구별은 표 1에 나타난 것과 같은 가능성 행렬로 이어졌다.

These distinctions led to a matrix of possibilities as displayed in Table 1.

결과 RESULTS

검토된 48개의 논문 중 24개는 특정 접근법을 검토한 경험적 연구에 대해 보고했다.21–44

Of the 48 papers reviewed, 24 reported on empirical studies in which a particular approach was examined.21–44

대부분의 경험적 논문(n = 19)은 연장된 커리큘럼 시간에 걸쳐 또는 1회 세션 학습 단계에서 제공되는 교육적 개입과 관련된 연구에 대해 보고했으며, 임상 사례 진단에서 학생의 수행에 대한 즉각적인 및/또는 지연 평가가 뒤따랐다. 이러한 교육 개입에서 주요한 학습 자원은 임상 사례였다. 이러한 임상 사례의 제공 방식은 상당히 다양했다. 어떤 조사관은 사례를 서면 형태로 제시했고, 다른 조사관은 모의 환자나 실제 환자를 통해 사례들을 제시하기도 했다. 학생들은 교실 활동이나 임상 환경으로 이 사례들을 개별적으로 또는 소규모 그룹으로 연구했다.

The majority (n = 19) of the empirical papers reported on studies that involved an educational intervention delivered across extended curriculum time or during a one-session learning phase, followed by an immediate and/or delayed assessment of students’ performance in diagnosing clinical cases. The primary learning resources in these educational interventions were clinical cases. The ways in which these clinical cases were offered varied considerably. Some investigators presented cases in written form, others through simulated or real patients. Students studied these cases individually or in small groups, as classroom activities or in clinical settings.

순차적 힌트 접근법

Serial-cue approach

임상 문제가 제시되는 방식 측면에서 문헌에서 접하는 CR의 가르침에 대한 가장 보편적인 접근방식은 시리얼큐 방법이다. 이 접근법에서는 사례를 진단하는 데 필요한 정보를 연속적으로 학생들에게 제시한다. 그것은 보통 CC의 제공으로부터 시작된다. 이러한 주요 불만 사항과 그로 인해 발생하는 가설을 고려하여, 학생들은 진단을 내리는 데 필요한 정보를 수집한다. 직렬-큐 방법은 검토된 48개 논문 중 21개 논문에서 설명되었다.21–25,35,40,42–52,55,57,58 기본적으로 직렬-큐 방법은 학생들이 '의사역할놀이'를 하는 실제 임상적 만남을 시뮬레이션하고 진단에 필요한 정보를 적극적으로 수집하도록 요청 받는다.

In terms of the way in which clinical problems are presented, the most prevalent approach to the teaching of CR encountered in the literature is the serial-cue method. In this approach, the information necessary to diagnose the case is presented to students in a serial fashion. It usually starts with the provision of a chief complaint. Given this chief complaint and the hypotheses that arise fromit, students gather the information required to make a diagnosis. The serial-cue method was described in 21 of the 48 papers reviewed.21–25,35,40,42–52,55,57,58 Basically, the serial-cue method simulates a real clinical encounter, in which students ‘play the doctor’ and are requested to actively gather the information necessary to arrive at a diagnosis.

학생들은 병력청취부터 진단검사 의뢰까지 차근차근 진척되며, 정보요청에 대한 응답으로 소견이 펼쳐진다. 그렇게 함으로써, 학생들은 왜 그러한 임상 정보를 요청했는지, 그리고 그것이 어떻게 차등 진단 범위를 좁히는 데 도움이 되는지에 대해 설명하도록 요구 받을 수 있다. 교사는 임상 정보를 수집하는 동안 또는 후속 피드백 세션에서 학생과 상호 작용하여 학생들의 질문과 반응에 대한 의견을 제시할 수 있다.

Students progress step by step, from history taking to requesting diagnostic tests, and findings are unfolded in response to their information requests. As they do so, students may be asked to explain why they have requested that clinical information, and how it would help narrow the differential diagnosis.21,47,49 A teacher may interact with the students, either while they are gathering clinical information,23,48,49 or in subsequent feedback sessions,47 to comment on the students’ questions and responses.

시리얼큐 방법을 설명하는 21개 논문 중 10개 논문만이 경험적 발견을 보고했다.21–25,35,40,42–44 이 논문들 중 3개는 주로 학생들의 추론 과정 24,25,40을 개발한다는 목표를 가지고 직렬-큐 방법을 사용했으며, 프로세스 지향적 교수 접근법에 대한 섹션에서 논의될 것이다. 세 가지 경험적 연구는 학생의 진단 성과 육성에 있어 접근방법의 효과를 탐구했지만, 그 중 단 두 가지 연구에서는 CR의 가르침에 대한 접근방식이 학생들의 학습에 미치는 영향을 새로운 사례에 대한 평가로 평가한 무작위 실험에서 도출한 결과가 나왔다.22,23

Only 10 of the 21 papers describing the serial-cue method reported empirical findings.21–25,35,40,42–44 Three of these papers used the serial-cue method primarily with the goal of developing students’ reasoning processes24,25,40 and will be discussed in the section on process-oriented teaching approaches. Three empirical studies explored the effectiveness of the approach in fostering students’ diagnostic performance, but in only two of them were the findings derived from a randomised experiment in which the impact of the approach to the teaching of CR on students’ learning was evaluated by assessing their diagnostic performance on new cases.22,23

마지막으로, 시리얼큐 방법을 포함하는 한 실험에서는 임상 문제가 전체 케이스 형식과 반대로 시리얼큐 형식으로 제시되었을 때 의사, 레지던트 및 학생의 진단 정확도를 비교했다.35

Finally, one experiment involving the serial-cue method compared the diagnostic accuracy of physicians, residents and students when the clinical problem was presented in a serial-cue format as opposed to a whole-case format.35

이용 가능한 연구 숫자가 적어서 시리얼큐 접근법의 효과에 대한 결론을 도출하기에 확실히 불충분하다. 현재 경험적 뒷받침이 부족한 그러한 접근법이 왜 임상 교사들 사이에서 만연할 것인가? 시리얼큐 접근법은 실제 임상적 만남을 시뮬레이션하기 때문에 안면타당성이 높을 수 있다. 실제 진단 프로세스는 의사가 CC에 추가하여 차등 진단에 필요한 정보를 결정해야 한다. 교사들은 직렬 큐 접근법이 그러므로 학생들이 실제 연습에서 해야 할 일에 더 잘 대비할 것이라고 믿는 경향이 있을 것이다. 그러나 이러한 명백한 이점은 단점을 숨길 수 있다. 접근방식은 개별화된 정보와 피드백을 제공해야 하기 때문에 상당히 교사집약적이다.

The little research available is certainly insufficient to derive conclusions on the effectiveness of the serial-cue approach. Why might such an approach, which presently lacks empirical support, prevail among clinical teachers? The serial-cue approach may have high face validity because it simulates a real clinical encounter. The actual diagnostic process requires the physician to determine which information additional to the chief complaint is needed for the differential diagnosis. Teachers may tend to believe that the serial-cue approach would therefore better prepare students for what they will have to do in real practice. However, this apparent advantage may hide drawbacks. The approach is quite teacher-intensive because it requires the provision of individualised information and feedback.

더 중요한 것은 학습을 촉진하기보다는 그것이 방해할 가능성을 고려해야 한다. 실제 임상적 만남에서 의사는 환자의 문제에 대한 초기 가설을 하나 또는 몇 개 확인(또는 반박)하는 데 도움이 되는 추가 정보를 검색한다. 의사에게 있어 이러한 가설은 환자의 이력에서 단서가 의사의 기억에서 'illness script'을 활성화시키거나 특정 질병에 걸린 전형적인 환자의 정신적 표상을 활성화시키기 때문에 떠오른다. 

More important, the possibility that it hinders rather than fosters learning should be considered. In real clinical encounters, physicians search for additional information that helps them confirm (or refute) one or a few initial hypotheses on the patient’s problem. For the physician, these hypotheses come to mind because cues in the patient’s history activate ‘illness scripts’ from the physician’s memory, or mental representations of a typical patient with a particular disease.59 

이 스크립트에는 해당 질환 환자에게서 발견될 것으로 예상되는 결과가 수록되어 있으며, 내과의사가 기록 복용, 신체 검사 또는 진단 테스트를 통해 수집해야 할 정보를 결정할 수 있도록 안내한다. 학생들은 특히 훈련 1년차인 경우, 아직 잘 발달된 질병 대본을 가지고 있지 않으며, 환자로부터 무엇을 물어봐야 하는지를 결정하는 과정이 크게는 작업 기억력에 높은 요구를 하는 시행착오의 과정이 되어 학습에 지장을 줄 수 있다.7

These scripts contain findings that are expected to be present in patients with that disease and guide physicians in determining which information needs to be gathered through history taking, physical examination or diagnostic tests. Students do not yet have well-developed illness scripts, especially if they are in the first years of training, and their process of deciding what must be asked from the patient may become, to a large extent, a process of trial and error that places high demands on working memory and may turn out to be overwhelming, possibly hindering learning.7

전체 사례 접근법

Whole-case approach

검토된 48개 논문 중 12개 논문에서 CR의 교육에 대한 접근방식은 학생들로 하여금 임상 사례를 진단하게 하는 것을 포함했으며, 이에 대한 설명은 이미 환자의 필수적인 특징을 모두 포함하고 있다.30–39,53,54

In 12 of the 48 papers reviewed, the approach taken to the teaching of CR involved having students diagnose clinical cases, the descriptions of which already contained all the patient’s essential features.30–39,53,54

Sacher와 Detsky54의 서술적 논문은 전체 사례 접근방식을 예시하는 CR 강의의 모델을 제안한다. 학생들은 우선 임상 사례(즉, 진단 가능성을 확장하거나 좁히는 결과)에서 '초점 소견'을 식별한 후, 다양한 병인과 신체 시스템을 고려하여 그래픽 주최자의 지원, 차등 진단으로 체계적인 탐색을 진행해야 한다. 모든 관련 정보가 제공되기 때문에 학생들은 다양한 가능성을 추구하면서 왔다 갔다 할 수 있다. 그러나 새허와 데츠키54는 접근법의 효과를 시험하지 않았다.

The descriptive paper by Sacher and Detsky54 proposes a model for CR teaching sessions that exemplifies the whole-case approach. Students are first required to identify ‘focal findings’ in a clinical case (i.e. findings that expand or narrow diagnostic possibilities) and then to proceed to systematically explore, with the support of a graphic organiser, the differential diagnosis, taking into account the various aetiologies and body systems. Because all the relevant information is available, students are able to go to and fro, pursuing the various possibilities. However, Sacher and Detzky54 did not test the effects of their approach.

질병의 병태생리학적 메커니즘의 이해를 지원하는 것을 목적으로 하는 지식 지향적 접근법

Knowledge-oriented approach aimed at supporting understanding of pathophysiological mechanisms of disease

검토된 논문 중 세 가지는 [질병의 근본적인 메커니즘에 대한 지식 개발]을 지향하는 CR의 교육에 대한 접근방식을 기술했다. 이 중 두 논문은 CR의 가르침에 대한 지침적 전략으로서 자기 설명의 사용을 탐구한 경험적 연구에 대해 보고했다. 자기 설명은 다른 영역에서 채용된 기법으로서, 학생들이 자신에게 제시된 학습 자료를 스스로 설명(큰 소리로)하도록 하는 것으로 구성된다. 

Three of the reviewed papers described approaches to the teaching of CR that are oriented towards developing knowledge of the underlying mechanisms of diseases.30,31,54 Two of these papers reported on empirical studies that explored the use of self-explanation as an instructional strategy for the teaching of CR.30,31 Self-explanation, a technique that has been employed in other domains, consists of having students explain to themselves (out loud) to-be learned materials presented to them.60

임상 사례를 진단하는 동안 학생들은 이 자기 설명 과정에 의해 사례를 읽고 스스로 설명해야 한다. 

• 사례에 존재하는 발견이 기초적인 병리학 메커니즘에 의해 어떻게 생성되었는지, 

• 이러한 징후와 증상들이 서로 어떻게 연관되어 있는지, 그리고 

• 어떻게 그들이 그 경우에 고려된 가능한 진단과 관련이 있는지.

 While diagnosing clinical cases, students are required by this process of self-explanation to read the case and to explain to themselves 

• how the findings present in the case may have been produced by underlying pathophysiological mechanisms, 

• how these signs and symptoms relate to one another, and 

• how they relate to the possible diagnoses considered for the case.

환자의 증상의 기초가 되는 메커니즘을 스스로 설명하면서, 학생들은 이러한 증상들이 어떻게 서로 연결되어 있는지 더 잘 이해할 수 있을 것이다. 이것은 질병의 정신적 표현에 일관성을 더하고 미래에 그것을 더 쉽게 인식할 수 있게 하는 것으로 보인다.

While self-explaining the mechanisms underlying a patient’s symptoms, students may better understand how these symptoms are linked together, which appears to add coherence to a mental representation of the disease and make it easier to recognise in the future.

외관상 질병의 구별에 대한 학습을 지원하는 것을 목적으로 하는 지식 지향적 접근법

Knowledge-oriented approach aimed at supporting learning of the distinctions between lookalike diseases

9개의 논문, 29,36–39,41–43,53 8개가 경험적 발견을 제시했으며, [유사한 임상 표현을 공유하는 질병을 구별하는 학생들의 능력]을 높이는 데 초점을 맞춘 CR의 가르침에 대한 접근법을 설명했다. 간단히 말해서, 이러한 접근방식은 학생들로 하여금 각 사례에 대한 대안적 진단의 임상 결과를 비교하고 대조함으로써, 임상양상이 닮은 환자를 묘사하는 임상 사례를 연습하도록 하는 것으로 구성된다. 두 가지를 제외한 모든 경험적 연구는 학생들의 임상 진단 학습을 촉진하는 효과 면에서 이 접근방식을 더 전통적인 교수법으로 CR의 가르침에 비교했다.

Nine papers,29,36–39,41–43,53 eight of which presented empirical findings, described approaches to the teaching of CR that focus on increasing students’ ability to distinguish between diseases that share similar clinical presentations. Briefly, these approaches consist of having students practise with clinical cases that portray patients whose presentations look alike by comparing and contrasting the clinical findings of the alternative diagnoses for each case. All but two42,43 empirical studies compared this approach to the teaching of CR with more conventional teaching methods in terms of their effectiveness to foster students’ learning of clinical diagnosis.

이러한 연구 결과를 종합하면, 학생들의 진단 성과를 육성하는 데 있어 CR의 교육에 대한 이 접근방식의 가치에 대한 몇 가지 증거를 제공한다. [Case을 성찰하면서 대체진단을 비교 대조하는 과정]은 검사된 질병의 정신적 표현을 풍부하게 하고, 관련은 있지만 서로 다른 질병의 표상에도 영향을 미쳐 향후 유사한 사례에서 구별하기 쉬워지는 것으로 보인다.37 일부 연구에서는 심지어 피드백이 없는 경우에도 접근방식의 긍정적인 효과가 나타나면서, 학생들이 특정 사례에 대한 성찰의 궁극적인 오류와 무관하게 지식 재구조화knowledge restructuring가 발생함이 명백해졌다.

Taken together, the findings of these studies provide some evidence for the value of this approach to the teaching of CR in fostering students’ diagnostic performance. The process of comparing and contrasting alternative diagnoses while reflecting upon a case seems to enrich mental representations of the diseases examined and possibly also to influence the representations of related but different diseases, making it easier to distinguish them in similar cases in the future.37 As the positive effects of the approach emerged, in some studies36,37 even in the absence of any feedback, it became clear that knowledge restructuring apparently takes place regardless of eventual errors in students’ reflection upon the cases.

프로세스 지향 접근법: 학생들에게 추론하는 방법을 가르침

Process-oriented approach: teaching students how to reason

이 중 10편의 경험적 연구를 보고한 18편의 논문은 CR의 가르침에서 [학생들의 추론 과정]에 초점을 맞췄다. 이 논문들은 임상 사례를 진단하면서 학생들에게 추론하는 방법을 가르치거나 학생들의 추론 방식이 진단 성과에 미치는 영향을 평가하는 것과 관련이 있다.27,28

Eighteen papers, 10 of which reported empirical research, focused on students’ reasoning processes in the teaching of CR.21,24–28,33,40,44–49,51,52,56,57 These papers were concerned either with teaching students how to reason while diagnosing clinical cases,21,24–26,33,40,44–49,51,52,56,57 or with evaluating the influences of students’ modes of reasoning on their diagnostic performance.27,28

임상 사례를 진단하면서 학생들에게 추론하는 방법을 가르치는 두 가지 다른 유형의 시도가 설명되었다. 

• 첫 번째는 임상적 의사결정에 관한 짧은 과정이나 세미나를 말하며, 대개 문제 해결 과정의 단계(정보 획득에서 가설 평가에 이르기까지), 베이지스의 정리, 의사결정 분석 및 임상 알고리즘과 같은 주제를 다룬다. 

• 두 번째 시도는 (의사결정 이론에 초점을 맞추지 않고) 학생들에게 진단에 도달하기 위한 체계적인 추론 접근법을 가르치는 것을 목표로 한다. 

Two different types of attempt to teach students how to reason while diagnosing clinical cases were described. 

• The first refers to short courses or seminars on clinical decision making,26,40 usually addressing topics such as the steps of the problemsolving process (from acquiring information to evaluating hypotheses), Bayes’ theorem, decision analysis and clinical algorithms. 

• The second attempt does not focus on decision theories, but aims to teach students a systematic reasoning approach to reaching a diagnosis.24,25,44–47,51,52,57

간단히 말해서, 가르침은 임상 사례를 중심으로 이루어지는데, 실제 환자나 교사가 교육 목적으로 준비하고 학생들에게 문서 형태로 또는 비디오를 통해 제공할 수 있다.51 보통 가르침은 개인 또는 소그룹 업무를 쌍방향 세션과 결합한다. 학생들은 병력청취부터 진단확인을 위한 기획조사까지 사건을 순차적으로 처리하며, 교사의 역할은 가설연역적 추론 과정을 중심으로 학생들의 반응 이면에 있는 rationale에 의문을 제기하는 것이다.

 Briefly, teaching takes place around clinical cases, which may be either real patients48,52,56 or cases prepared by teachers for educational purposes and presented to students in written form,24,25,48 or through video.51 Usually teaching combines individual or small-group work with interactive sessions. Students work through cases sequentially, from history taking to planning investigations to confirm the diagnosis, and the role of the teacher is to question the rationales behind students’ responses, focusing on the hypothetico-deductive reasoning process.

요약하자면, 학생들에게 더 나은 진단학자가 될 수 있는 특정한 추론 과정을 가르치려는 접근방식에 대한 드문 경험적 연구는 그 효과에 대한 근거는 제한적이다. [일반적인 추론 기술]은 [특정 질병을 이해하고 진단하는 데 필요한 전문 지식]과 별도로 존재하지 않는다고 주장하는 문헌을 고려한다면 이는 놀랄 일이 아니다.65,66 의학에서 전문지식이 어떻게 발달하는지에 대한 일부 설명에서 [일반적인 추론 전략]은 전혀 역할을 하지 못한다.10,67

To sum up, the scarce empirical studies on approaches that attempt to teach students a specific reasoning process through which they may become better diagnosticians provide only limited evidence of their effectiveness. This should come as no surprise if we consider literature arguing that general reasoning skills do not exist separately from the specialised knowledge necessary to understand and diagnose particular diseases.65,66 In some accounts of how expertise develops in medicine, general reasoning strategies play no role at all.10,67

임상 추론 교육의 효과성에 대한 일반적 논의 및 개선 제안

GENERAL DISCUSSION AND A PROPOSAL TO IMPROVE ON THE EFFECTIVENESS OF THE TEACHING OF CLINICAL REASONING

CR의 가르침에 관한 문헌에 대한 이러한 검토는 많은 결론을 가능하게 한다. 

This review of the literature on the teaching of CR allows for a number of conclusions. 

첫 번째 그리고 아마도 가장 중요한 것은 의대생들에게 임상적으로 이성을 가르치도록 하는 것과 관련된 중요성을 고려할 때, 연구가 크게 부족하다는 것이다. 우리가 이 분야에서 진보하는데 도움을 줄 수 있는 연구가 정말로 필요하다. 이것은 특히 중요한데, 왜냐하면 그 분야의 향상을 임상실습이나 로테이션에만 의존할 수 없기 때문이다. 학생들에게 제공되는 다양한 사례들은 단순히 너무 제한적이다,6 그리고 전문적인 환경을 신뢰하기에는 피드백과 코칭의 제공이 너무 무모하다,5는 이러한 적성의 발전을 위한 견고한 기반을 제공한다. 의학 교육자들은 더 많은 것을 더 체계적으로 할 필요가 있다. 학부 연수의 일환으로 CR 교육과정을 개설하는 것은 이미 오래 전에 끝난 일이다. PBL과 같은 교육 혁신은 이러한 커리큘럼에서 제시된 사례의 수가 (일반적으로) 너무 제한적이기 때문에 그 공백을 완전히 메울 수 없다.

The first and perhaps most important is that, given the significance attached to teaching medical students to reason clinically, research is largely lacking. There is a real need for studies that may help us progress in this domain. This is particularly important because the field cannot rely on clerkships or rotations as the breeding ground for this skill. The variety of cases offered to students is simply too limited,6 and the provision of feedback and coaching too haphazard,5 to trust the professional environment to provide a solid base for the development of this aptitude. Medical educators need to do more and in a more systematic fashion. The establishment of a CR curriculum as part of undergraduate training is in our view long overdue. Educational innovations such as problem-based learning cannot fill the gap entirely because the numbers of cases presented in such curricula are usually too limited.

두 번째 결론은 임상적 의사결정에 관련된 [추론의 일반적인 과정]을 학생들에게 가르치기 위한 과정들이 실패하는 것처럼 보인다는 것이다. 이는 그러한 과정의 효과를 뒷받침하는 증거가 부족할 뿐만 아니라 이론적인 이유 때문이기도 하다: 일반적인 추론 전략은 특정 질병에 대한 지식과 별도로 존재하지 않는다. 그러므로 그들을 고립된 상태에서 가르치는 것은 무의미하다.65,66

A second conclusion is that courses aimed at teaching students the general process of reasoning involved in clinical decision making seem to fail. This is not only because evidence supporting the effectiveness of such courses is lacking, but for theoretical reasons as well: general reasoning strategies do not exist separately from knowledge about a particular disease. It is therefore pointless to teach them in isolation.65,66

세 번째 결론은 문헌에서 흘러나오는 인상이 정확하다면 전문적 실무의 직접 시뮬레이션, 즉 시리얼-큐 접근법이 CR의 가르침에 있어 임상교사가 선호하는 전술이라는 것이다. 우리는 이 저혈압 접근법을 선택의 방법으로 설명하는 많은 논문들을 발견했는데, 반면에 다른 접근법들은 문헌과 아마도 의학 교육의 일상적인 관행에서 훨씬 적은 관심을 받는다. 이는 직렬 큐 접근방식이 여기에서 논의된 접근방식의 가장 높은 안면 타당성을 분명히 가지고 있기 때문에 이해할 수 있다. 즉, 만약 우리가 학생들이 CR 기술을 습득하도록 돕고 싶다면, 왜 그들을 실물에 노출시키지 않는가? 

The third conclusion is that, if the impression flowing from the literature is correct, the direct simulation of professional practice – or the serial-cue approach – is the clinical teacher’s favourite tactic for the teaching of CR. We found many papers describing this hypothetico-deductive approach as the method of choice, whereas other approaches receive far less attention in the literature and probably in the everyday practice of medical education. This is understandable because the serial-cue approach clearly has the highest face validity of the approaches discussed here: if we wish to help students acquire CR skills, why not expose them to the real thing? 

그러나 시리얼 큐 접근방식의 직관적인 매력에 대해 다소 회의적일 이유가 두 가지 이상 있다. 첫 번째는 의학이 아닌 다른 영역에서는 교육 도구로서 전체 사례 접근법이 작동 기억력에 대한 인지 부하를 감소시키기 때문에 더 효과적이라는 것을 입증하는 연구에 기초하고 있다.7 이러한 관점은 이전에 논의한 Nendaz 외, 35의 연구에서 일부 초기 지지를 발견하며, 이는 시리얼 큐 접근법이 전체 사례 접근법보다 덜 효과적이라는 것을 입증했다. 따라서, 학생들을 실물에 노출시키는 것이 항상 가장 좋은 가르침은 아닐 수도 있다.

However, there are at least two reasons to be somewhat sceptical about the intuitive appeal of the serial-cue approach. The first is based on research which demonstrates that – in domains other than medicine – whole-case approaches as tools for education are more effective because they decrease cognitive load on working memory.7 This point of view finds some initial support in the previously discussed study by Nendaz et al.,35 which demonstrated the serial-cue approach to be less effective than the whole-case approach. Thus, exposing students to the real thing may not always be the best way to teach.

회의적인 두 번째 이유는 훈련의 각기 다른 단계에 있는 학생들이 전문성 습득의 길을 따라가기 위해서는 서로 다른 종류의 지원이 필요할 수 있기 때문이다. 이 후자의 생각은 더 정교하게 설명할 가치가 있다.

A second reason to be sceptical is that students in different phases of their training may need different kinds of support to follow the path to expertise. This latter idea deserves further elaboration.

1단계 : 병태생리학적 원리의 관점에서 질병을 설명하는 상세한 인과지식을 기억하여 개발

First stage: development in memory of detailed causal knowledge explaining disease in terms of pathophysiological principles

초기 의학적 훈련 과정에서 학생들은 질병의 원인과 결과를 일반적인 생물학적 또는 병태생리학적 과정으로 설명할 수 있는 풍부하고 정교한 인과 네트워크 개념으로 설명할 수 있는 정신 지식 구조를 빠르게 개발한다. 이 발달 단계에서 임상 사례에 직면했을 때, 학생들은 오직 고립된 징후와 증상에만 집중할 수 있고, 이러한 증상들을 그들이 배운 병리학 개념과 연관시키려고 시도할 수 있다. 이것은 힘든 과정이다. 또한 서로 맞는fit together 증상의 패턴을 아직 인식하지 못하기 때문에, 프로세싱은 상세하다.68

In the course of their early medical training, students rapidly develop mental knowledge structures that can be described as rich, elaborated causal networks of concepts and ideas explaining the causes and consequences of disease in terms of general underlying biological or pathophysiological processes. When confronted with a clinical case in this stage of development, students can focus only on isolated signs and symptoms and attempt to relate each of these to the pathophysiological concepts they have learned. This is an effortful process. In addition, as they do not yet recognise patterns of symptoms that fit together, processing is detailed.68

예를 들어, 오염된 주사기를 사용할 가능성이 있고 고열, 탈진, 높은 맥박수와 혈압 강하를 보이는 약물 사용자와 마주쳤을 때, 중급 학생은 이러한 증상을 다음과 같이 설명할 수 있다: 

'주사기를 통해 혈류로 들어가 면역 반응을 유도한다. 이런 면역반응이 고열의 원인이다. 이 박테리아는 혈관확장을 유발하여 혈압 저하와 아마도 독성 쇼크를 유발하는 엔도톡신을 생산한다.'

For instance, when confronted with a drug user who possibly uses contaminated syringes and who shows high fever, exhaustion, high pulse rate and a drop in blood pressure, an intermediate-level student might explain these symptoms in terms of: 

‘Staphylococci entering the bloodstream via the syringe leading to an immune response. This immune response is responsible for the high fever. The bacteria produce endotoxins causing vasodilatation, causing a drop in blood pressure and perhaps toxic shock.’

두 번째 단계: 병리학 지식의 캡슐화

Second stage: encapsulation of pathophysiological knowledge

그러나 그러한 지식을 광범위하고 반복적으로 적용하고 특히 환자 문제에 노출함으로써 이러한 학생들의 지식 구조에 변화가 발생한다. 질병에 대한 상세한 인과적 병리학적 지식의 그들의 네트워크는 진단 라벨이나 징후와 증상을 설명하는 [높은 수준의 단순화된 인과 모델로 캡슐화]된다. 

따라서 상급 학생은 패혈증의 임상적 개념을 호출하여 약물 사용자의 증상을 설명할 수 있다. 패혈증은 학생들이 질병을 이해하려고 애쓰면서 먼저 배우는 보다 상세한 인과적 설명을 캡슐화한다.

However, through extensive and repeated application of such knowledge and particularly through exposure to patient problems, changes in the knowledge structures of these students occur. Their networks of detailed, causal, pathophysiological knowledge of a disease become encapsulated into diagnostic labels or high-level, simplified causal models explaining signs and symptoms. 

An advanced student might therefore explain the symptoms of the drug user by invoking the clinical concept of sepsis. Sepsis encapsulates the more detailed causal explanation that students learn first while trying to understand disease.

이 캡슐화 과정을 가속화하기 위해서, 학생들은 그들의 병태생리학적 근원에 관하여 징후와 증상을 설명하는 것을 명시적으로 연습할 수 있어야 한다. 앞 단락에서 서술한 [자기 설명 방법]은 단지 이것을 성취하는 데 적합한 것 같다.31,31 그것은 학생들이 [인간의 생물학이 어떻게 질병을 발생시키는가에 대한 세부사항]에 주의를 기울이도록 장려하기 때문에, 그것은 겉으로 보기에 이질적인 징후와 증상들 사이에 일관성을 만들어낸다. 개념과 현상을 한데 묶고 시간의 질에서 살아남아 니즈가 발생했을 때 쉽게 활성화되는 강한 인지구조를 만들어내는 '접착제' 중 [인과성]이 가장 중요하다는 것은 잘 알려져 있다. 예를 들어, 우즈17은 일련의 증상들을 연관시키기 위해 인과적 설명을 배워야 했던 학생들이 1주일 후 이러한 증상들과 관련된 진단을 방금 배운 그룹들과 유사하지만 다른 사례들을 제시 받았을 때 그들의 진단에서 더 정확하다는 것을 발견했다.

To speed up this process of encapsulation, students must be enabled to explicitly practise in explaining signs and symptoms in terms of their pathophysiological sources. The self-explanation method, delineated in the previous paragraphs, seems suited to accomplish just this.30,31 Because it encourages students to pay attention to the details of how human biology produces disease, it creates coherence among seemingly disparate signs and symptoms. It is well known that causality is the most important of the glues that bind concepts and phenomena together and create strong cognitive structures that survive the vagaries of time and are easily activated when the need arises. For instance, Woods17 found that those students who had to learn a causal explanation to relate a set of symptoms were more accurate in their diagnosis 1 week later when they were presented with similar but different cases than groups who just learned a diagnosis associated with these symptoms.

세 번째 단계: 질병 스크립트 개발

Third stage: development of illness scripts

학생들이 실제 환자와 함께 광범위하게 연습하기 시작하면서 두 번째 시프트가 일어난다. 그들은 질병이 나타나는 조건, 이른바 '활성화 조건'에 대한 더 많은 지식을 습득하고, 일상 생활에서 질병이 나타나는 증상의 가변성을 인식하기 시작한다. 그들의 캡슐화된 지식은 우리가 [illness script]이라고 부르는 서술 구조로 재편성된다. 

As students begin to practise extensively with actual patients, a second shift occurs. They acquire more knowledge of the conditions under which disease manifests, the so-called ‘enabling conditions’, and begin to appreciate the variability of the symptoms with which disease presents itself in everyday life. Their encapsulated knowledge is reorganised into narrative structures we refer to as illness scripts.59,69 

이러한 [질병 스크립트]는 활성화되었을 때 증상 및 불만사항의 병태생리학적 원인에 대한 비교적 적은 지식을 포함하고 있는 인지 시나리오다. 그러나 질병의 가능enabling 조건과 질병이 스스로 나타나는 징후와 증상의 변동성에 대해 [임상적으로 관련되는 정보가 풍부]하다.

These illness scripts are cognitive scenarios containing, when activated, relatively little knowledge about the pathophysiological causes of symptoms and complaints (because of encapsulation), but an abundance of clinically relevant information about the enabling conditions of disease, and the variability in the signs and symptoms with which disease presents itself.

물론 (illness script는) 경험에 의해서만 풍부해질 수 있기 때문에, 초창기 학생들의 질병 대본은 반드시 초보적인 것이다.

Of course, initially students’ illness scripts are necessarily rudimentary because they can only be enriched by experience.

특정 질병에 대한 적절한 대본을 개발하기 위해 학생들은 인접한 질병을 비교하고 대조할 수 있는 연습이 필요하다. 인접한 질병은 급성 바이러스성 간염이나 콜레도콜리토콜리아스와 같이 [증상의 측면에서 상당한 중첩을 보이는 다른 질병]이거나, 노인 환자의 '침묵한' 심근경색처럼 [상당히 다른 방식으로 나타나는 단일 질환]의 표현이다. 이러한 증상들을 구분하는 방법을 배우려면 특정 진단과 관련된 일련의 증상들을 비교하고 대조하는 데 초점을 맞춘 분석적 접근법이 필요하다. 의도적인 성찰 전략이 이러한 노력에 적합하다는 것이 여기에서 제안된다.29,36–38,41,53 이 전략 하에서 학생들은 환자의 이력에서 나타나는 징후와 증상이 어떤 점에서 또는 제안된 진단과 맞지 않는 면에서 다른 질병을 비교하도록 명시적으로 권장된다.

To develop adequate scripts for particular diseases, students need practice that enables themto compare and contrast adjacent diseases. Adjacent diseases are either different diseases that show considerable overlap in terms of symptoms, such as acute viral hepatitis and choledocolithiasis, or representations of a single disease that manifests in quite different ways, such as the ‘silent’ myocardial infarction in elderly patients. Learning how to keep them apart calls for an analytical approach that focuses on comparing and contrasting sets of symptoms related to particular diagnoses. It is proposed here that the deliberate reflection strategy is suited for this endeavour.29,36–38,41,53 Under this strategy, students are explicitly encouraged to compare different diseases in terms of which signs and symptoms in a patient’s history fit or do not fit with the proposed diagnosis.

마지막으로, illness script은 위에서 설명한 연습에 의해 충분히 성숙되고 '날카로워진' 만큼, 예비 의사의 [독립적인 정보 수집의 가이드]로 채용되어야 한다. 환자들에 대한 제한된 정보만 이용할 수 있을 때 적절한 질병 스크립트가 이미 활성화되고 진단과 관련된 환자로부터 추가 정보를 검색하도록 안내하기 때문에 직렬 큐 접근법이 우리의 관점에서 가장 유용하게 쓰이게 된다. 학생이 기억 속에 충분히 완전한 질병 대본을 가지고 있을 때, 검색은 무모한 것이 아니라 합리적일 것이며, 만남의 시작에 활성화되거나 새로운 증거에 의해 촉발되는 다양한 질병 대본에 비추어 증거를 저울질하는 것에 기초하게 될 것이다.

Finally, as illness scripts are sufficiently matured and ‘sharpened’ by the exercises described above, they should be employed as guides in the independent information gathering of the doctor-to-be. It is here that the serial-cue approach becomes most useful in our view because appropriate illness scripts will already be activated when only limited information about a patient is available and will guide the search for further information from the patient relevant for a diagnosis. When a student has sufficiently complete illness scripts in memory, the search will not be haphazard but rational and will be based on weighing of the evidence in the light of the various illness scripts that are either activated at the beginning of the encounter or triggered by new evidence.

결론 CONCLUSIONS

우리는 의학교육의 초기에는 학생들이 반드시 [인간의 생물학을 구성하는 인과적 메커니즘]에 의해 [질병과 그와 연관된 징후와 증상들이 어떻게 생성되는가]에 몰두하고 있다고 주장해왔다. 이 연구 단계에서 학생들은 [자기 설명 연습]이나 이와 유사한 접근법을 통해 가장 잘 지원되며, 이러한 접근방식은 어떤 사례의 징후와 증상을 기초적인 병리학 관점에서 자세히 설명함으로써 진단을 찾도록 장려된다.

We have argued that, at the beginnings of their medical studies, students are necessarily preoccupied with how disease and its associated signs and symptoms are produced by the causal mechanisms that make up human biology. In this phase of their studies, students are best supported by self-explanation exercises or similar approaches in which they are encouraged to search for a diagnosis by explaining in detail the signs and symptoms of a case in terms of the underlying pathophysiology.

반복적인 적용을 통해 병태생리학적 지식이 캡슐화되어 [초보적인 질병 대본]이 기억 속에 나타난다면, CR교육의 초점은 [다양한 질병들 간의 차별화 방법]을 배우는 도구로서 그리고 종종 질병이 나타나는expresses itself 방법의 미묘한 차이 사이에서 [의도적인 성찰]로 바뀔 수 있다. 그러한 [비교-대비 접근법]은 일련의 실험에서 [단순 감별 진단]보다 우수하다는 것이 입증되었다.

If pathophysiological knowledge – through repeated application – has become encapsulated and rudimentary illness scripts emerge in memory, the focus in the teaching of CR could shift to deliberate reflection as a tool for learning how to differentiate among various diseases and between the often subtle variations in how disease expresses itself. Such a compare-and-contrast approach has been demonstrated to be superior to simple differential diagnosis in a series of experiments.

의학 교육에서 보편적으로 사용되는 직렬 큐 접근법은 학생들이 올바른 질문을 하고, 적절한 신체 검사를 수행하고, 환자의 요구와 정말로 관련된 추가 조사를 지시하는 데 도움을 주는 질병 대본을 개발할 때 유용하다고 우리는 본다.

The serial-cue approach, ubiquitously used in medical education, is in our view useful when students have developed illness scripts that really help them to ask the right questions, to undertake appropriate physical examination, and to order further investigations that are really relevant to the needs of the patient.

여기에 요약된 가정을 바탕으로, 우리는 

• 초보자들 사이에서 [자기 설명 절차]가 더 나은 진단 성과로 이어질 것이라고 예측하고, 

• 중간자 사이에서는 [의도적 성찰] 전략이 나머지 두 가지를 능가할 것이며, 

• 상급생들 사이에서는 [시리얼 큐] 절차가 가장 유용할 것이라고 예측한다.

Based on the assumptions outlined herein, we predict that among novices, the self-explanation procedure will lead to better diagnostic performance; among intermediates, the deliberate reflection strategy will outshine the other two, and in advanced students, the serial cue procedure will be most useful.

의학교육에서 적응적 전문성: 자기조절학습을 촉진하여 학습궤적 촉진하기(Med Teach, 2018)

Adaptive expertise in medical education: Accelerating learning trajectories by fostering self-regulated learning

Susanne P. Lajoie and Maren Gube

도입 

Introduction

교육자들은 관련된 모든 사람들에게 최상의 학습 결과를 가져다 주는 학습 환경을 조성하는 일을 맡는다. 그러나 학습자들은 능력, 맥락, 동기 부여, 이전 영역 지식에 따라 달라지는 개별 프로파일을 가지고 있기 때문에 모든 사람의 요구에 맞는 하나의 모든 형태의 강의는 없다. 대부분의 교육자들은 학생들이 학습 궤도를 따라 성장할 수 있도록 돕는 임무를 맡고 있으며, 주로 학생들이 전문가가 될 수 있도록 돕는 일은 아니다.

Educators are tasked with creating learning environments that result in the best learning outcomes for all involved. However, there is no one-size-fits-all form of instruction that matches everyone’s needs since learners have individual profiles that vary according to ability, context, motivation, and prior domain knowledge. Most educators are tasked with helping their students grow along a learning trajectory, and not principally with helping their students become experts.

전문성의 정의

Defining expertise

최근의 위키백과 https://en.wikipedia.org/wiki/Expert 검색은 전문가를 '특정 분야의 실습과 교육을 통해 장기적이거나 강렬한 경험을 가진 사람… [특정한 잘 알려진 영역에서 동료 또는 대중에 의하여] 올바르고, 정의롭고, 현명하게 판단하거나 결정하는 능력에 대한 권위와 지위를 부여받아, 신뢰할 수 있는 기술 또는 기술의 원천으로 널리 인정됨…연구, 경험 또는 직업과 특정 연구 분야에 기초하여 광범위한 지식 또는 능력을 갖춘 사람'이라고 말했다.

A recent wikipedia https://en.wikipedia.org/wiki/Expert search defined an expert as ‘someone who has a prolonged or intense experience through practice and education in a particular field… widely recognized as a reliable source of technique or skill whose faculty for judging or deciding rightly, justly, or wisely is accorded authority and status by peers or the public in a specific well-distinguished domain…a person with extensive knowledge or ability based on research, experience, or occupation and in a particular area of study.’

K. 에릭슨은 

• 전문지식을 '전문가와 초보자를 구별하는 특성, 기술, 지식'으로 정의하고, 

• 전문가는 '도메인의 대표 업무에서 지속적으로 우수한 성과를 발휘할 수 있는 개인'으로 정의한다(에릭슨 2006).

K. Ericsson defines 

• expertise as ‘the characteristics, skills, and knowledge that differentiate experts from novices’ and 

• experts as individuals ‘who are consistently able to exhibit superior performance on representative tasks in a domain’ (Ericsson 2006).

전문 지식의 차원

Dimensions of expertise

전문가들은 어떤 것에 전문가지만 모든 것은 아니다; 전문성은 영역별로 다르다. 그러나 연구 결과, 모든 전문가들이 공통적인 속성을 공유하고 있는 것으로 나타났다. 그들은 

• 더 빠르다; 

• 보다 정확한 솔루션 제공 및 우수한 성능의 일관성 제공 

• 해당 분야의 정보에 대한 기억력이 우수함 

• 깊이 있고 고도로 상호연결된 지식과 더 나은 패턴 인식을 가지고 있다. 

• 자신의 성과를 관찰하고 평가하는 더 나은 자기 평가 기술을 입증한다.(Chi et al. 1988; La).Joie 2003; Ericsson et al. 2006).

Experts are expert at something but not all things; expertise is domain-specific. However, research has shown that all experts share common attributes. They 

• are faster; 

• provide more accurate solutions and consistency in their superior performance; 

• have superior memories for information in their field; 

• have deeper and more highly interconnected knowledge and better pattern recognition; and 

• demonstrate better self-regulatory skills observing and evaluating their own performance (Chi et al. 1988; Lajoie 2003; Ericsson et al. 2006).

일상적 전문성 대 적응적 전문성

Routine versus Adaptive expertise

전문성expertise은 지능이나 능력을 뛰어넘는 특성으로 규정한다. 최근, 일상적 전문지식과 적응적 전문지식을 구별하는 구별이 문헌에 나타나고 있다. 비록 모든 전문가들이 그들의 지식을 접근하는 여러 가지 방법을 가지고 있지만(브랜스포드 외) 2000년) 일부 전문가는 자신의 지식을 적응적이고 창의적으로 적용할 수 있는 능력을 가지고 있는 반면, 다른 전문가들은 일상적인 수행 능력을 가지고 있다. 적응형 전문가들은 새로운 상황에 더 효과적이고 혁신적으로 반응하는 반면, 일상적 전문가들은 작업 효율을 계속 향상시킨다(Schwartz et al. 2005).

Expertise has defining characteristics that go beyond intelligence or ability. Recently, a distinction has appeared in the literature that differentiates between routine and adaptive expertise. Although all experts have multiple ways of accessing their knowledge (Bransford et al. 2000), some experts have the ability to apply their knowledge adaptively and creatively, while others stay with routine performances. Adaptive experts respond to novel situations more effectively and innovatively, while routine experts continue improving task efficiency (Schwartz et al. 2005).

일상적이고 적응력 있는 전문가들이 가장 높은 수준의 기술 개발 수준에 있다. 그러나 브랜스포드 외 (2000)는 일상적 전문가를 '장인artisans'이라고 하고, 적응적 전문가를 '거장virtuosos'이라고 한다. 거장이 지식의 경계를 넓힐 수 있는 기회를 찾는 반면, 장인들은 그들의 경계 안에서 계속 일한다. 적응적 전문가는 개인이 영역별 기술을 계속 개발함에 따라 일상적인 전문가(Carbonell et al. 2014)로부터 발전한다. 일반적으로 전문지식은 자동화되거나 일상화되어 학습된 이후 인지자원이 덜 필요하게 된다. 그러나, 이 거장은 지식의 지속적인 사용과 확장을 통해 이러한 자동화를 피하기 위해 의식적인 노력을 기울일 수 있다(Ericsson 2006).

Routine and adaptive experts are at the highest level of skill development. However, Bransford et al. (2000) refer to routine experts as ‘artisans’ and adaptive experts as ‘virtuosos’. Artisans continue to work within their boundaries while virtuosos seek opportunities to broaden their knowledge. Adaptive experts develop from routine experts (Carbonell et al. 2014), as individuals continue to develop domain-specific skills. Generally, expertise becomes automated or routine, requiring less cognitive resources since it is learned. However, its possible that the virtuso makes a conscious effort to avoid such automation by continual use and extension of their knowledge (Ericsson 2006).

적응형 전문가들은 독특한 기여를 하기 위해 더 혁신적이고 즉흥적일 수 있다. 즉흥연주자들은 기억에서 상황에 맞는 청크와 패턴을 자유롭게 회수하는 동시에 뇌의 통제와 검열 기능을 동시에 억제한다. 신경과학 연구에서는 습득한 전문지식이 유동적이고 놀이적으로 현재의 환경과 연계될 때 아이디어의 창조적 생산에 필요한 특정 뇌 패턴이 활성화된다는 것을 밝혀냈다(소이어 2006).

Adaptive experts may be more innovative and improvise to make unique contributions. Improvisers freely retrieve context-appropriate chunks and patterns from memory, while simultaneously curbing the controlling and censoring functions of the brain. Neuroscience research has revealed that certain brain patterns necessary for the creative production of ideas are activated when acquired expert knowledge is flexibly and playfully linked with the current environment (Sawyer 2006).

전문 지식 습득: 역량으로 가는 길

Acquiring expertise: Road to competence revisited

전문지식의 습득은 (꾸준히 잘못 해석되고 있는) 경험의 법칙인 1만 시간의 실천에 의존하고 있는 것으로 인용되어 왔다. 1만 시간 동안 피아노를 연습한다고 해서 피아니스트가 되는 것은 아니다. 모든 연습이 완벽을 만들어주는 것은 아니다. 에릭슨은 특히 무분별한 연습보다는 성과에 대한 피드백을 통해 정확한 스킬에 대한 1만 시간의 의도적 연습에 기반한 전문지식의 개발을 언급했다(Ericsson et al. 1993).

The acquisition of expertise has been quoted as being dependent upon 10,000hours of practice, a rule of thumb that is consistently misrepresented. Practicing the piano for 10,000hours does not make one a concert pianist. All practice does not make perfect. Ericsson specifically referred to the development of expertise based on 10,000hours of deliberate practice on the correct skills with feedback regarding performance, rather than practice indiscriminately (Ericsson et al. 1993).

학습은 점진적인 전환이지, all-or-none 현상이 아니다. 초보자를 보조하기 위해서는, 전문지식으로 가는 길을 보다 가시적으로 만들기 위해, [역량으로 가는 길]을 설계해야 한다. 학습 전환을 식별하고 학습자가 과제에 적응할 수 있도록 돕는 것은 역량을 더 효율적으로 달성하는 데 도움이 될 수 있다(Lajoie 2003).

Learning is a gradual transition, not an all-or-none phenomenon. To assist novices, the road to competence1 should be mapped out to make the path to expertise more visible. Identifying learning transitions and helping learners adapt to challenges can assist them achieve competence more efficiently (Lajoie 2003).

인지 견습 프레임워크(아래 간략하게 설명)는 특정 분야의 전문지식을 위한 학습 환경을 설계하기 위한 지침을 제공한다(전체 설명은 콜린스 외 1987, 브라운 외 1989 참조).

The cognitive apprenticeship framework (described briefly below) provides guidelines for designing learning environments for expertise in particular areas (see Collins et al. 1987; Brown et al. 1989 for full description).

인지적 도제

Cognitive apprenticeship

[전통적인 견습]에서, 학습자들은 다른 사람들이 과제를 하는 것을 관찰하고, 그들의 멘토나 그룹 멤버들이 지도를 하는 동안 그러한 기술을 연습한다. 의대생들은 의사 결정을 안내하는 의사들로부터 그러한 환경에서 배운다(Lajoie 2009, 2017). 다만 [의대생을 가르치는 것]보다, [환자안전을 보장하는 것]이 핵심 우선순위인 만큼 의대 견습은 성과 중심으로 추진된다. 인지 견습은 전통적인 견습을 모방하지만, [학생들이 전문가의 피드백을 받아 자신의 기술을 의도적으로 연습할 수 있는 안전한 학습 환경을 조성한다]는 부가적 가치added value를 가지고 있다(Ericsson et al. 1993). 인지 견습은 초보 학습자의 모델 역할을 하는 인지 영역 지식과 전략의 외부화가 필요하다. 이러한 [전문가 모델을 추출하는 것]은 교육 과정에 필수적이다.

In traditional apprenticeships, learners observe others doing a task and then practice those skills while their mentor or group members provide guidance. Medical students learn in such settings from physicians who guide them in their decision-making (Lajoie 2009, 2017). However, medical apprenticeships are outcome driven as the key priority is to ensure patient safety rather than to instruct the medical student. Cognitive apprenticeships mimic traditional apprenticeships but have the added value of creating a safe learning environment where students can practice their skills deliberately with feedback from experts (Ericsson et al. 1993). Cognitive apprenticeships require the externalization of cognitive domain knowledge and strategies that serve as models for the novice learners. Extracting these expert models is essential to the teaching process.

인지 도제 프레임워크는 [학습자가 특정 영역 내용, 교수법, 교육 순서, 학습의 사회학을 설명함으로써] 전문성을 습득하는 데 도움이 되는 학습 환경을 설계하기 위한 고려사항을 개략적으로 설명한다. 교육 내용은 [특정 영역에서 문제를 해결하고 새로운 사실을 습득하는 데 유용한 전문가 학습 전략]과 함께 명시한다. 교수법에는 모델링, 비계 및 페이딩이 포함된다. 

• 모델링(Modeling)은 학습자가 자신의 성과를 관찰하고 반영할 수 있도록 전문가 프로세스와 전략을 외부화하는 것을 말한다. 

• 비계란 학습자의 잠재력에 도달하는 데 도움이 되는 피드백과 지도를 말한다(Vygotsky 1978). 

• 이런 지원은 학습자가 스스로 학습을 통제하면서 점차 희미해진다. 

The cognitive apprenticeship framework outlines considerations for designing learning environments that assist learners in acquiring expertise by describing specific domain content, teaching methods, instructional sequencing, and the sociology of learning. The instructional content is specified along with expert learning strategies that are useful for solving problems and acquiring new facts in a specific domain. Teaching methods include modeling, scaffolding and fading. 

• Modelling refers to externalizing the expert processes and strategies for learners to observe and incorporate into their own performances. 

• Scaffolding refers to feedback and guidance helping learners’ reach their potential (Vygotsky 1978). 

• Such assistance is gradually faded as learners take control of their own learning. 

에릭슨(2015년)은 의대생들이 [전문가 수행능력의 양상representation을 검사하고, 이를 자신의 수행으로 환산한 후, 그 수행에 대한 평가와 반성을 통해 배우는 방식]을 기술하고 있다. 그는 학습자가 올바른 기술을 습득하고 반복적인 실수를 피하기 위해 필요한 비교와 조정을 할 수 있도록 돕는 의료 교사/교사의 역할에 대해 논한다.

Ericsson (2015) describes how medical students learn from examining representations of expert performance, translating them into their own performance, and subsequently evaluating and reflecting on their performance. He discusses medical tutors/teachers’ roles as helping learners make the necessary comparisons and adjustments to acquire the correct skills and avoid repeating mistakes.

학습과 동기부여를 강화하기 위해서는 [적절한 수준의 도전을 순차적으로 교육하는 것]이 필요하다. [여러 맥락에서 배우는 것]은 지식 전이를 촉진할 수 있다. 가장 중요한 것은 인지적 견습에서는 ['큰 그림'에 대한 더 고차원적 추론]을 지지한다. 이는 한 번에 하나씩 배우는 것이 아니라 역량을 연속적in tandem으로 제시하는 통합적 접근법과 유사하다(Mylopoulos et al. 2017). 

Sequencing instruction with appropriate levels of challenge is necessary to enhance learning and motivation. Learning in multiple contexts can foster knowledge transfer. Most importantly, cognitive apprenticeships support higher order reasoning about the ‘big picture’. This parallels an integrative approach to learning competencies in tandem, rather than one at a time (Mylopoulos et al. 2017). 

학습 과제는 또한 학습자가 [다양한 관점을 공유하고, 논쟁 기술을 쌓고, 자신의 성과를 타인과 비교하며, 해결책과 자신의 이해를 비판적으로 평가]하는 [학습의 사회적 측면]을 육성할 수 있다. 

• 다원적 관점을 취하도록 권장하는 문제 기반 학습 접근법(Hmelo-Silver 및 Barrows 2008) 및 

• 성찰, 토론 및 결과 보고를 위한 피드백 기회와 함께 안전한 실험을 제공하는 시뮬레이션 (Kawamura et al. 2016) 

...등은 [집단의 사회학]이 학습과 환자의 결과를 향상시킬 수 있는 맥락의 예들이다. 

Learning tasks can also foster the social aspect of learning where learners share multiple perspectives, build argumentation skills, compare their performance with others, and critically evaluate solutions and their own understanding. 

• Problem based learning approaches that encourage multiple perspective taking (Hmelo-Silver and Barrows 2008) and 

• simulations that provide safe experimentation with feedback opportunities for reflection, discussion and debriefs (Kawamura et al. 2016) 

...are examples of contexts where the sociology of the group can improve learning and patient outcomes. 

우리는 그들이 적응적 전문지식을 어떻게 지원하는지에 대한 통찰력을 제공하기 위한 시도로 아래에서 반성과 자율규제에 대해 논의한다.

We discuss reflection and self-regulation below in an attempt to provide insight into how they support adaptive expertise.

자체 규제 학습 활성화

Enabling self-regulated learning

연구에 따르면, 전문가들은 많은 분야에서 초보자들보다 자기 규제 학습(SRL)이 더 높다. 학습자는 학습 에피소드 전후에 자신의 노력을 평가하고 통제함으로써 자신의 학습을 적극적으로 관리할 수 있을 정도로 자율적으로 조절된다. SRL 이론은 정교한 정신 모델을 구축하려는 학습자의 노력을 특징짓는 인지적, 감정적, 전이적, 동기적 과정을 설명한다(Pintrich 2000; Zimmerman 2000; Winne 2001).

Research suggests that experts have higher self-regulated learning (SRL) than novices in many domains. Learners are self-regulated to the extent that they are actively managing their own learning by evaluating and controlling their efforts before, during, and after a learning episode. SRL theories account for the cognitive, affective, metacognitive, and motivational processes that characterize learners’ efforts to build sophisticated mental models (Pintrich 2000; Zimmerman 2000; Winne 2001).

SRL 이론은 몇 가지 일반적인 가정을 공유하지만(Pintrich 2000; Zimmerman 2000), 특정 영역에서 자율 규제 구조들이 어떻게 운영되는지에는 차이가 있다(Alexander et al. 2011). 예를 들어 의료영역의 문제해결 규제는 특정업무에 내재된 선언적·절차적 지식(Lajoie and Poitras 2014; Lajoie 2017)에 의해 안내된다. 일단 우리가 전문가 SRL 프로세스의 특성을 파악하면, 우리는 그것들을 초보자를 위한 기초가 될 수 있다.

Although SRL theories share some common assumptions (Pintrich 2000; Zimmerman 2000), there are differences in how self-regulatory constructs are operationalized in specific domains (Alexander et al. 2011). For example, regulation of problem-solving in the medical domain is guided by the declarative and procedural knowledge that is inherent to the specific tasks (Lajoie and Poitras 2014; Lajoie 2017). Once we identify the nature of expert SRL processes, we can scaffold them for novices.

자기조절적 문제 해결자는 사전 사고, 성과, 성찰의 반복적 사이클을 실천한다. 

• 사전 사고는 문제해결에 영향을 줄 수 있는 선행신념을 말한다. 

• 수행단계는 문제 해결을 위해 모니터링되고 통제된 조치를 취하는 것을 포함하며, 

• 자기 성찰은 성과에 대한 판단과 반응으로 이루어진다. 

Self-regulated problem solvers engage in a recursive cycle of forethought, performance, and reflection (Zimmerman 2000). 

• Forethought refers to prior beliefs that can affect problem-solving. 

• The performance phase involves taking monitored and controlled steps to solve the problem, and 

• self-reflection consists of judgement and reaction to performance. 

의학에서 적응형 SRL 기술은 의료 상황의 역동적 특성을 인식하고 상황 인식 목표를 설정하는 것에 기초한다.

In medicine, adaptive SRL skills are based on recognizing the dynamic nature of the medical situation and establishing context-aware goals.

• Lajoie 및 Poitras(2014년)는 다음과 같은 예를 제공한다. 빈맥 환자를 진단할 때 

• 사전 생각 단계에서 문제를 파악하고 필요한 단계를 계획해야 한다. 예를 들어 혈청 수준을 확인하기 위한 실험실 테스트 주문. 

• 수행에는 진단 타당성을 평가하기 위한 단계 실행(시험 실시)과 결과 모니터링(세럼 레벨)이 포함된다. 

• 성찰을 통해 의사는 문제의 상태를 재평가하거나 최종 해결책을 상세히 설명한다. 그 후 반성은 후속 단계에 대해 미리 생각한 것에 영향을 미친다.

• Lajoie and Poitras (2014) provide examples: 

• Forethought in diagnosing a tachycardia patient requires orienting to the problem and planning the necessary steps; e.g. ordering lab tests to verify serum levels. 

• Performance involves executing steps (conducting tests) and monitoring outcomes (serum levels) to evaluate the plausibility of the diagnosis. 

• In reflection, physicians reevaluate the state of the problem or elaborate their final solution. Reflection then influences forethought in relation to subsequent steps.

SRL 프로세스의 적합성은 문제 공간의 요구에 의해 결정된다. 

• 즉, 안정적인 환자를 진단할 때, 사용 가능한 모든 정보를 고려하여 방향성이 광범위할 수 있지만, 

• 악화되는 환자를 안정화할 때는 시간이 짧고 의료 비상사태에 대처하기 위해 경험적 접근법이 필요할 수 있다.

The appropriateness of SRL processes is determined by the demands of the problem space: 

• when diagnosing a stable patient, orientation can be extensive considering all available information; however, 

• when stabilizing a deteriorating patient, less time is available and a heuristic approach may be necessary to address medical emergencies.

그림과 같이, 자기조절의 단계는 방향 설정, 계획, 실행, 모니터링, 평가 및 상세화 같은 메타 수준 프로세스를 포함한다. 이러한 프로세스는 적응적 전문지식을 개발하기 위한 Cutrer 외(2017년)의 전제 조건과 일치한다.

• 실천에 대한 성찰을 위한 개방성, 

• 단점을 인식하기 위한 메타추론, 

• 기존 가정에 도전하기 위한 비판적 사고, 

• 문제를 재구성하는 능력

As illustrated, the phases of self-regulation involve meta-level processes like orienting, planning, executing, monitoring, evaluating, and elaborating. These processes are congruent with Cutrer et al.'s (2017) prerequisites to developing adaptive expertise: 

• openness to reflect on practice, 

• metareasoning to recognize shortcomings, 

• critical thinking to challenge existing assumptions, and 

• ability to reconstruct the problem. 

SRL은 학습자가 지식을 자동화하기 보다는, [능동적이고 유연하게 유지]하도록 도울 수 있으며, 적응형 전문가는 일상 전문가보다 더 높은 수준의 메타인지를 가지고 있다(Makary 및 Daniel 2016). 

SRL may help learners keep knowledge active and flexible rather than automated, and adaptive experts have more advanced levels of metacognition than routine experts (Makary and Daniel 2016). 

앞에서 논의한 자동성은 앤더슨(1993)의 기술 습득 모델에서도 설명할 수 있는 전문지식의 특성으로, 다음의 3단계를 가리킨다. 

• 선언적 단계(사실적 지식을 습득하는 것), 

• 절차적 단계(그런 지식을 적용하는 방법을 아는 것), 

• 자율적 단계(지식 보다 자동화되고 신속해지는 것

Automaticity, discussed earlier, is a characteristic of expertise that can also be explained by Anderson's (1993) model of skill acquisition that refers to three stages of skill development: 

• the declarative stage (acquiring factual knowledge); 

• the procedural stage (knowing how to apply such knowledge); and 

• the autonomous stage (where knowledge is more automated and rapid).