임상적 TRIAD교육의 위험성(Med Educ, 2019)

The perils of teaching medical triads

Fizza Manzoor1 & Donald A Redelmeier1,2,3

과포화된 커리큘럼과 증거 기반 교육의 환경에서, Medical Triad(MT)는 비록 전통적인 가르침의 한 특징임에도 불구하고 최근의 변화에서도 살아남았다. MT는 특정한 constellation에서 동시에 함께 발생하는 세 가지 임상적 특징의 그룹으로 정의되며, 진단 정확도가 triangular geometry의 법칙에 따를 수 있다고 가정한다.

In a setting of overhauled curricula and evidence-based education, however, one aspect of traditional teaching has survived recent transformations: namely, the medical triad. A medical triad is defined as a group of three clinical features that occur together in a specific constellation, and presumes that diagnostic accuracy might obey the laws of triangular geometry.

MT는 여전히 의과대학에서 가르치고 있는 영원한 전통을 나타낸다. 쿠싱의 Triad같은 것이다.

The triad represents a lasting tradition that is still taught in medical schools. Consider Cushing’s triad,

3종류의 변화는 CREST 증후군과 같은 테트라드와 5종류까지도 확장될 수 있다.

Variations of triads may extend to tetrads and pentads such as the CREST syndrome

특정 질병에 대한 특징을 함께 묶으면 그 상태에 대한 원형이 생성되기 때문에 의료 3종류는 단순한 소형 교습 보조기구가 아니다. 그러나 모든 환자가 전형적인 세 가지가 모두 확인되는 것은 아니다. 실제로, 어떤 환자들은 3가지 징후를 전혀 보이지 않는다. 그 결과, triad는 혼란을 야기하고, 학생들의 common presentation에 대한 이해를 왜곡시킬 수 있다.

Medical triads are not merely compact teaching aids because grouping features together for a specific disease creates an archetype for the condition. However, not every patient will have the classic findings. Indeed, some patients exhibit none of the signs in a triad. The net result creates confusion and can skew students’ understanding of common presentations.

또한 Triad는 진단에 대한 과도한 자신감을 유발할 수 있다. 이러한 오류를 피하기 위해, 교육자들은 종종 학생들에게 감별진단을 광범위하게 실시하도록 권장한다. 그러나, 한 연구에 따르면 의대생들은 1/4의 사례에서는 상충하는 추가 정보를 제공하였음에도 초기 진단을 재고하지 않았다는 것을 보여주었다.3 따라서 3종류는 지나친 자신감과 진단의 조기 종결premature closure를 초래하는 피상적인 패턴인식을 장려할 수 있다. 

Triads may also lead to overconfident diagnostic reasoning. To avoid this error, educators often encourage students to brainstorm a broad differential diagnosis; however, one study showed that in almost one in fourcases, medical students did not reconsider their initial diagnosis even when provided with conflicting additional information.3 Therefore, triads may encourage superficial patternrecognition that results in overconfidence and premature closure. 

MT는 다른 인지적 편견을 조장할 수도 있다.4 Triad는 발병 가능성을 판단할 때 질병의 전반적인 유병률을 무시함으로써 base rate를 생각하지 않는 결과로 이어질 수 있다. 예를 들어 [환자가 두통, 두근거림, 땀]이 날 때, 의대생들은 Triad가 더 흔하게 나올 수 있는 것(예: 공황발작)은 생각하지 않고 pheochromocytoma를 고려할 수 있다. 또한, Triad는 가장 덜 흔한 한 가지 feature보다도 세가지가 조합으로 나타날 가능성을 과대평가하게 하여 conjunction fallacy에 빠지게 한다. 따라서 의료 3종류는 잘못된 확률 판단과 잠재적 오진으로 이어질 수 있다.

Medical triads may also foster other cognitive biases.4 Triads can lead to base rate neglect by ignoring the overall prevalence of a disease when judging its likelihood. When a patient presents with headaches, palpitations and sweating, a medical student might instantly consider pheochromocytoma instead of a common condition that lacks a popular triad (e.g. panic attacks). Additionally, triads may lead to the conjunction fallacy by implying that a joint combination (triad) is more likely than the least common individual feature. Thus, medical triads may lead to faulty probability judgements and potential misdiagnoses.

MT의 사용에 찬성하는 한 가지 논쟁은 그것들이 앞으로 궁극적으로 임상 노출을 통해 더 발전할 학습자들에게 단지 일시적인 보조 도구 역할만을 한다는 것이다. 그러나 수많은 연구들은 unlearning이란 대단히 어려운 것이어서, 경험의 양이 엄청나게 늘더라도, 원래 하던 불완전한 추리에 대한 면역이 생기지 않는다는 것을 입증했다.6 Traid를 지지하는 또 다른 진술은 MT가 진단의 유일한 기준을 형성하는 경우가 거의 없으며, 그저 대부분 confirmatory testing을  안내하는 역할을 한다는 것이다. 그렇다고 하더라도 불행하게도 specificity가 결여된 triad는 불필요한 시험과 급격한 비용상승을 촉진할 수 있다.

One argument in favour of the use of medical triads is that they serve as temporary aids for learners who will ultimately progress further by clinical exposure. However, numerous studies have demonstrated that extensive experience does not immunise clinicians against faulty reasoning because unlearning is so difficult.6 Another statement cited in defence of triads is that medical triads rarely form the sole basis of a diagnosis and mostly serve to guide confirmatory testing. Unfortunately, triads that lack specificity may promote unnecessary testing and steep financial costs.

비록 일부 교육자들이 학생들에게 triad의 한계에 대해 주의를 주지만, 종종 시험에 있어서, 그리고 교수들에게 triad는 종종 그 가치가 과대평가된다. 의사라는 휴머니티를 깊이 중시하는 전문직에 있어, 학습자들이 분별없는 triad를 설파하게 가르치기보다는, 신중한 성찰적 사고를 할 수 있또록 돕는 데 더 신경을 써야 할 것이다.

Although some educators caution students about the limitations of triads, their value is often overstated in examinations and teaching rounds. A profession that values humanity so deeply might do more to help learners become cautious reflective thinkers rather than mindless triad preachers.

Med Educ. 2019 Feb;53(2):110-112. doi: 10.1111/medu.13637. Epub 2018 Nov 26.

The perils of teaching medical triads.

신뢰할 시간: LIC와 EPA(Acad Med, 2014)

Time to Trust: Longitudinal Integrated Clerkships and Entrustable Professional Activities

David A. Hirsh, MD, Eric S. Holmboe, MD, and Olle ten Cate, PhD

환자는 유능하고 숙련된 임상의가 치료하기를 기대하며, 이 표준을 충족하지 않는 의사는 최소한 자격을 갖춘 동료의 감독을 받아야 한다. 학생과 레지던트들은 '훈련자'라는 딱지가 붙어 있는 한 적절한 감독을 받아야 한다.

Patients expect to be treated by competent, experienced clinicians, and any physician not meeting these standards should, in the very least, be supervised by qualified colleagues. Students and residents must receive appropriate supervision as long as they are labeled as “trainees.”

대부분의 젊은 의사들은 아직 감독되지 않은 의료행위에 대하여 [완전한 책임에 가까운 그 어떤 것]도 경험하지 못했다. 레지던트 훈련 중에도 일부 영역에서는 완전히 독립적으로 의료행위를 할 수 있도록 완전히 신뢰받지는 않는다.

most young physicians have not yet experienced anything close to full responsibility for unsupervised practice. Even during residency training, in some domains, trainees are not completely trusted to practice fully independently.

그러나 [훈련 중 환자에 대한 돌봄 책임을 온전히 부담할 수 있는 기회]를 제한한다면, registration이후에 안전한, 고품잊릐 의료행위에 대한 어려움을 겪을 수 있다.

Limiting opportunities for trainees to experience full responsibility for care during their training could lead to difficulties after registration in their provision of safe and high quality care.

방어적 의료의 구조

Structures of Defensiveness

"방어적 의료행위"라는 것이 의사가 [환자가 의료과오 소송을 거는 것을 막기 위해서] 과연 가치있는지 [의심스러운 검사, 프로시져, 상담을 수행하는 것]이라고 한다면, 같은 맥락에서 "방어적 수련"도 존재할 수 있고, 이것은 교육 설계에도 영향을 미칠 수 있다고 생각한다. 방어적 수련은 품질과 안전의 실수lapse를 피하기 위한 시도로서, 과도한 슈퍼비전을 초래할 수 있다. 이러한 상황에서 "과도한-감독"을 받는 것은 수련을 더 길게, 고비용으로, 비효율적으로 만들고, 연습생의 완전한 책무성 개발을 저해한다.

If “defensive medicine” is the practice of ordering medical tests, procedures, or consultations of doubtful clinical value to protect the prescribing physician from malpractice suits, we suggest that, in the same spirit, “defensive training” may also exist and may affect educational design. Defensive training may lead to the practice of abundant supervision in an attempt to avoid lapses in quality and safety. In this circumstance, the “over-oversight” makes training lengthy, costly, and inefficient and undermines the trainees’ development of full responsibility.

방어적 수련은 교육에 불필요한 중복성을 유발한다. 연습생의 결정적 약점을 놓치지 않기 위해 과잉된 불필요한 구조가 발생한다.

Defensive training also drives unnecessary redundancy in education because close oversight may be lacking. Redundant structures arise to ensure that a trainee’s critical weaknesses are not missed.

필요한 Redundancy는 그렇다고 치더라도, 과도한 redundancy는 그것이 효율성이 부족하고 비용이 증가로 이어진다면 문제가 된다.

If competence is viewed as a developmental progression under decreasing levels of supervision, then it is hard to envision how the current short-rotation structure of clinical training can effectively align with the goals of competency- based educational models that focus on outcomes.9 The institutional environment and program curriculum have to provide for the trainees some level of meaningful patient, teacher, interpersonal, and interprofessional team continuity to facilitate assessment and the accurate determination of the appropriate level of entrustment. in doing so we must ensure that patients receive safe and high-quality care.

EPA

Entrustable Professional Activities

EPA는 교육자가 적절한 능력을 획득한 후, 교직원이 훈련생에게 감독 받지 않고 실행하도록 위임하는 전문 관행의 단위다.

EPAs are units of professional practice that faculty entrust to a trainee to execute unsupervised, once he or she has obtained adequate competence to do so.

감독자가 타당한 위임 결정을 내리기 위해서 중요한 요소는 preceptor와 trainee가 충분히 서로를 아는 것이다. 교육자가 수련자를 잘 알지 못하는 경우, 수련자가 능력이 있다고 한다 하더라도 환자에게 감독받지 않고 일하는 것을 쉽게 신뢰하지 않을 수 있다.18 짧은 로테이션에 기초한 임상실습은 감독의사가 학생 사이에서 [위임 결정에 필요한 장점과 한계를 인식할 만큼의 충분한 관계]를 구축하지 못하게 할 수 있다.

For supervisors to make valid entrustment decisions, a critical factor is sufficient acquaintance of preceptors with their trainees. If preceptors do not know their trainees well, they may not readily trust them to work unsupervised with patients, even if the trainees are reportedly competent.18 It follows that short rotation-based clerkships may not allow clinicians to build sufficient relationships with students to acknowledge their strengths and limitations, which is essential for entrustment decisions.11

임상 훈련에서 효율적인 역량 기반 진행을 가능하게 하기 위한 책임의 점진적 증가는 연습생과 그 감독관 사이의 상호 지지가 필요하다. 교육적으로 제한적이고 단편적인 감시는 임상 훈련의 전통적인 순환형식의 구조에 내재된 약점이다.8 종방향 참여는 EFA와의 역량 기반 교육에 더 도움이 된다.

 The gradual increase of responsibility to enable efficient competency-based progression in clinical training requires mutual acquaintance between trainees and their supervisors. Educationally, limited and fragmented oversight is an inherent weakness of the structure of the traditional rotation format of clinical training.8 Longitudinal engagement is more conducive to competency-based education with EPAs.

이제는 신뢰할 시간

Time to Trust

훈련의 어느 시점에서는 훈련생에 대한 자신감과 신뢰를 쌓기 위해 감독을 점차 줄여야 한다. 짧은 로테이션은 가장 진지한 위탁 결정을 내릴 수 있는 감독자의 능력을 약화시킨다. 감독관은 연습생을 신뢰하는 시간이 필요하고, 연습생은 신뢰받을 수 있는 시간이 필요하다.

At some point in training, supervision must gradually decrease to build self-confidence and trustworthiness in trainees. Short rotations undermine supervisors’ capacity to make serious entrustment decisions. Supervisors need time to trust trainees, and trainees need time to be trusted.

지금의 시간은 보다 효과적인 전문 개발에 필수적인 결정적 연속적 관계 개선을 위하여, 더 효과적으로 배분되고, 더 나아가 근본적으로 재설계되어야 한다.6, 8,10 의사-환자 연속성이 품질을 향상시킨다는 점을 고려할 때, 그리고 코칭과 피드백이 전문적 발전에 필수적이라는 것을 고려한다면, 교직원-훈련자의 연속성이 매우 중요하다는 것은 지극히 논리적이다.

The current time available needs to be better distributed and radically redesigned to enhance the critical continuity relationships essential to more effective professional development.6,8,10 Given that physician– patient continuity enhances quality,19 and that coaching and feedback are essential to professional development, it is logical that faculty–trainee continuity is critically important.6,10

종단적 관계는, 시간을 보다 효과적으로 활용하게 만든다. 짧은 로테이션이 겉으로는 시간을 절약하는 것처럼 보이지만, 종단적 관계가 초기의 신뢰 개발을 가능하게 할 수 있다.

Longitudinal relationships, by design, proportion time more effectively and thus may enable the earlier development of trust, compared with short rotations that superficially appear to save time.

Acad Med. 2014 Feb;89(2):201-4. doi: 10.1097/ACM.0000000000000111.

Time to trust: longitudinal integrated clerkships and entrustable professional activities.

졸업생을 전공의로 신뢰하려면: 무엇이 필요한가? (J Grad Med Educ. 2014)

Trusting Graduates to Enter Residency: What Does It Take? 

Olle ten Cate, PhD

이 논문의 제목에 있는 간단한 질문은 학부 의학교육(UME)의 기본적 기능을 반영한다. 지난 세기 동안, 의료 훈련의 목적은 독립적인 의료행위에 대한 준비에서 전공의 수련에 대한 준비로 옮겨갔다. 이를 위해서는 UME에서의 전환을 위한 새로운 벤치마크가 필요하다.

The simple question in the title of this piece reflects the fundamental function of undergraduate medical education (UME). In the past century, the purpose of medical training has moved from readiness for independent medical practice to readiness for postgraduate training. This requires a new benchmark for the transition from UME.

여러 전공의 프로그램이 역량을 소위 위임 가능한 전문 활동(EPA)과 관련시키고 있다.

An increasing number of postgraduate programs have now started to link competencies to so-called entrustable professional activities (EPAs),1–4

전공의 교육이 훈련 후 첫날부터 감독되지 않은 연습을 준비하는 경우, 학부 훈련에서는 무엇을 준비해야 하는가? 대부분의 학부 훈련은 일터에 기반을 두고 있으며 다음과 같은 추론을 사용하는 것은 논리적인 생각이다. 레지던트 첫날부터 직장에서 의사가 어떤 책임을 져야 하는가? 그것은 '의과대학 학생들이 이론 및 실기 시험에서 반드시 어떤 성적을 얻었어야 하는가?'와 같은 질문이 아니다. 레지던트가 슈퍼비전이 제한적인 상황(즉, 시행되고 있는 모든 것을 검사하지 않음)에서 하는 의료행위를 신뢰하는 것은 환자 안전에 영향을 미치는 숙고적deliberate 결정이다.

If postgraduate training prepares for unsupervised practice from the first day after training, for what does undergraduate training prepare? Much of undergraduate training is workplace-based and it is a logical thought to use the same reasoning: What responsibilities are expected of the physician in the workplace from the first day of residency? That is not the same question as ‘‘What grades must medical students have attained in their theoretical and practical exams?’’ Trusting residents to work with limited supervision (ie, not checking everything that is being done) is a deliberate decision that affects patient safety.

지난 수십 년 동안 많은 문서들은 의사가 학부 의료훈련이 끝날 때 어떤 자질과 역량을 보유해야 하는지를 설명하려고 시도했다.7–9 하지만, 훈련 첫날부터 정확히 레지던트가 안전하게 무엇을 해야 하는지를 살펴보는 것은 일반적인 방법이 아니었다.

Many documents during the past decades have attempted to describe what qualities or competencies physicians should possess at the end of undergraduate medical training.7–9 However, looking at what exactly residents are expected to do safely from the first day of training has not been the general method,

"전공의 진입을 위한 핵심 전문 활동" (CEPAER)

‘‘Core Entrustable Professional Activities for Entering Residency’’ (CEPAER),

저자들은 여러 가지 이유로 이 시책에 대해 칭찬을 받아야 한다.

The authors are to be commended on this initiative for several reasons.

첫째는 그것의 일반적 특성 때문이다. 전공의 교육을 위해 정의된 EPA 개념이 UME에서 대두되고 있기 때문에 각 의과대학들은 이것들을 스스로 정의하기 시작할 수 있다. 그러나 훨씬 더 좋은 전략은 모든 학부 및 대학원 프로그램의 국가 및 국제 표준으로 학교 전체에 걸쳐 일반화가 가능한 EPA를 정의하기 위한 공동의 노력이다.

The first is its generalized nature. As the EPA concept, defined for postgraduate education, is now emerging in UME, schools may start defining these by themselves. However, a much better strategy is a concerted effort to define generalizable EPAs across schools, as a clear benchmark for any undergraduate and postgraduate program nationally and internationally.

둘째, EPA의 수가 제한적이다. 상세 활동의 긴 목록은 체크리스트로 변환되어 그 위력을 상실하는 경향이 있다. 의대생들에게 훈련을 마칠 때까지 제한된 감독으로 할 수 있는 가장 중요하고 포괄적인 행동에 초점을 맞추는 것은 현명한 결정이다.

Second, the number of EPAs is limited. Long lists of detailed activities tend to transform to checklists and lose power. It is a wise decision to focus on the most important and comprehensive acts medical students should be entitled to do with limited supervision by the end of training.

셋째, 핵심 EPA를 정의하는 것은 선택적 EPA를 위한 여지가 있음을 암시한다. 커리큘럼의 국지적 차이를 위한 공간을 제공하는 것 외에도, 그것은 [고정된 시간과 유연한 표준]에서 [고정된 표준과 유연한 시간]으로 이동하고 있는 현재의 교육 이니셔티브의 유연한 역량 기반 특성을 매우 많이 반영한다.12

Third, defining core EPAs implies there is room for elective EPAs. Next to providing space for local differences in curricula, it also very much reflects the flexible competency-based nature of current training initiatives, which are moving from fixed time and flexible standards to fixed standards and flexible time.12

a. 모든 EPA가 그 자체로 EPA가 되는가?

a. Are All EPAs Really Stand-Alone EPAs?

EPA는 trainee에게 (UME EPA라고 본다면) 간접적인 감독만 받고도 수행할 수 있는 업무를 명확히 하도록 설계되어야 한다. EPA는 시작과 끝을 가진 전문적인 행위로서, 구체적인 지식과 기술을 요구한다. 감독 수준을 낮추기 위한 위임결정은 훈련을 위해 EPA를 사용하는 데 있어 핵심이다. 또한 EPA는 독립적으로 실행 가능해야 한다(예: 더 큰 EPA의 필수 부분이 아님). 이러한 개념은 제안된 EPA가 그러한 역할을 할 수 있는지 여부를 결정하는 데 유용해야 한다. 

EPAs should be designed to make clear what trainees are entitled to do with—for UME EPAs—indirect supervision only. EPAs are professional acts with a beginning and an end, and require specific knowledge and skills. Entrustment decisions to decrease the level of supervision are key in using EPAs for training. In addition, an EPA should be independently executable (eg, not be a necessary part of a bigger EPA). These notions should be helpful to determine whether the suggested EPAs can serve as such. 

예를 들어, 검사를 오더하는 것과 처방전을 쓰는 것(EPA 4)은 두 개의 EPA를 정당화할 수 있을 정도로 다른 것일 수 있다. 반대로, 검사를 권고하는 것(EPA 3)은 검사를 오더하는 것(EPA 4)과 쉽게 분리하지 못할 수 있다. 또한 검사를 권고하는 것은 진정한 EPA가 아닐 수 있는데, 왜냐하면 이러한 '권고하는 행위'는 "환자 치료에 대한 책임"을 포함하지 않을 수 있기 때문이다. 일반인이나 심지어 환자조차 검사를 "권고"할 수는 있지만, 간접적인 슈퍼비전 상태에서도 이를 책임지고 수행할 수 있는 것이어야 EPA라 할 수 있다.

Ordering diagnostic tests and writing prescriptions (EPA 4), for instance, may be such different things that they may justify 2 EPAs. Conversely, recommending diagnostic tests (EPA 3) may not be easily separable from ordering tests (EPA 4). Further, recommending tests (EPA 3) may not be a true EPA if it does not include a responsibility for patient care with only indirect supervision. A layperson or patient could also recommend a test, but only the responsibility to do this with only indirect supervision makes it an EPA.

EPA 10은 "긴급하거나 긴급한 치료가 필요한 환자의 평가 및 치료"로 수정한다면 그 자체로 훌륭한 EPA가 될 것이다." 물론 현재 기술된 EPA에서 recognition을 하는 부분은 매우 중요하며, 도움을 언제 구해야 하는지를 인정하는 것고 마찬가지이다. 그러나 이러한 세부 사항은 EPA가 아니라 EPA의 설명에 속한다.

EPA 10 would be an excellent stand-alone EPA if formulated as ‘‘initiating evaluation and treatment in patients requiring urgent or emergent care.’’ Of course the recognition part of this EPA is crucial, as well as acknowledging the need to seek help in most cases. This level of detail belongs to the description of the EPA rather than to its title.

b. 모든 EPA에 대해서 간접적 감독만으로 충분한가?

b. Is Acting With Indirect Supervision Adequate for All of the EPAs?

"간접적 감독indirect supervision"은 13개 모든 EPA의 초점이다. '간접적 감독'이란 것은 [감독관이 patient encounter의 장소와 물리적으로는 떨어져있지만, 즉시 병원에서나 전화나 다른 매체를 통해 물리적으로 available한 감독]으로 정의된다. 다만 불확실 한 것은, 이 때 [간접적 감독]이란 것이 의료행위 후에 그 일을 모두 점검해야 한다는 것을 의미하는지, 아니면 일부sample만을 점검해도 되는지 여부이다. 일부 EPA의 경우, 특히 시험(EPA 3 및 EPA 4), 의약품 처방(EPA 4) 및 수행 절차(EPA 12)에 대해서는, 이것이 명확히 기술되길 권한다.

‘‘Indirect supervision’’ is the focus of all 13 EPAs. This is defined as supervision that is away from the site of the patient encounter, but immediately available physically in the hospital or by telephone or other media. Not stated is whether indirect supervision means that a supervisor should check the work afterward, or a sample of it. For some EPAs, notably recommending and ordering tests (EPA 3 and EPA 4), prescribing medication (EPA 4), and performing procedures (EPA 12), I suggest that this must be specifically addressed.

c. 이 EPA의 한계는 무엇인가?

c. What Are the Limitations of These EPAs?

대부분의 EPA에 대한 설명은 그들의 범위를 정확히 밝히지 않는다. 예를 들어 EPA 3에서 언급된 "공통 테스트"와 EPA 12의 "일반 절차"는 어느 것인가? EPA 4도 마찬가지다. 전공의는 어떤 시험, 처방 및 치료법을 오더할 수 있어야 하며 그렇지 못하는 것은 무엇인가? 투명성을 위해서라면, 모든 관련 검사와 프로시져의 목록을 이 EPA의 설명에 포함시키는 것이 중요하다.

The descriptions of most EPAs do not exactly reveal their scope. For instance, which are the ‘‘common tests’’ mentioned in EPA 3 or the ‘‘general procedures’’ in EPA 12? The same holds for EPA 4: Which tests, prescriptions, and therapies may the graduate order and which not? It is important for the sake of transparency to include listings of all relevant tests and procedures in the description of these EPAs.

현재 EPA 설명은 장황하다.

The EPA descriptions are lengthy.

나의 권고는 EPA를 짧게 유지하고, 무엇이 포함되고 무엇이 포함되지 않은지 명확히 설명하고, 대부분의 텍스트는 지식/술기/태도의 rubric을 가지고 "활동에 대한 설명description of the activity"아래로 옮기는 것이다.

My recommendations are to keep the EPAs short, clearly state what is included and what is not, and move most of the text under ‘‘description of the activity’’ to a rubric of Knowledge Skills and Attitude (or ‘‘curriculum’’).6

마지막으로, 언어에 대해서 한 마디만 하겠다. 이 문서의 저자들은 'entrustable'이라는 단어의 의미를 확장했다. EPA 문헌에서 entrustable이라는 단어는 연습생이나 전문가에게 위임되는 속성을 가지는 [업무나 책임]을 묘사하는 형용사로 사용되어 왔다. 사람에 대해서 trustworthy할 수 있지만, 사람을 entrustable하거나 pre-entrustable할 수는 없다. 나는 trustworthy를 entrustable로 대체하려는 강한 경향을 이해한다. trustworthy하지 않다는 것은 dishonesty를 함축하기 때문이다. Pre-entrustable은 not yet trustworthy보다 더 친근하게 들린다.

Finally, a word about language. The authors of this document have extended the meaning of the word entrustable. In the EPA literature, the term has been used as an adjective that pertains to tasks or responsibilities that have the property of being entrusted to trainees or professionals. People themselves may be trustworthy, but not entrustable or pre-entrustable. I understand the strong tendency to replace trustworthy with entrustable, as being not trustworthy connotes dishonesty. Pre-entrustable may sound friendlier than not yet trustworthy.

그러나 trustworthiness는 단순히 정직함honesty그 이상이다. 캠브리지의 철학자 오노라 오닐15는 최근 [신뢰성trustworthiness은 역량, 정직, 신뢰성의 세 가지 특징을 필요로 한다]고 설명했다. 케네디와 동료16은 기본적으로 의학 연수생들에게 동일한 특징, 즉 지식/기술, 진실성, 양심성, 그리고 한계를 분별하는 것을 발견했다. 따라서, honest하고 reliable한 사람조차도 EPA에 대해서는 아직 trustworthy하지 않을 수 있다.

Trustworthiness, however, is more that honesty. Cambridge philosopher Onora O’Neill15 recently explained that trustworthiness requires 3 features: competence, honesty, and reliability. Kennedy and colleagues16 found basically the same features for medical trainees: knowledge/skills, truthfulness, conscientiousness, and also discernment of limitations. Thus, even honest and reliable persons may not yet be trustworthy for an EPA.

당연히, 이러한 각 EPA에 대해 무엇이 포함되고 무엇이 제한되는지 명시해야 한다. 임상 질문을 작성하고, 전문가 간 작업을 하며, 환자 안전에 기여하는 것은 그 자체로 EPA가 아니라 중요한 EPA의 일부일 수 있다.

Naturally, for each of these EPAs it must be specified what is included and what are its limitations. Forming clinical questions, working interprofessionally, and contributing to patient safety may be part of important EPAs rather than EPAs in their own right.

Trusting graduates to enter residency: what does it take?

모든 EPA가 정말 EPA인가? (Med Teach, 2016)

Are all EPAs really EPAs?

Ara Tekian

Department of Medical Education, College of Medicine, University of Illinois at Chicago, Chicago, IL, USA

EPA는 "필요한 역량을 입증하는 즉시 이 활동을 감독하지 않고 수행할 수 있는 전문적 실무의 단위"로 정의된다(10 Cate et al. 2015). EPA는 (정의된 시작과 끝을 가진) 프로세스 및 결과라는 측면에서 독립적이고, 관찰 가능하며, 측정 가능한 단위다. "역량"은 총체적으로 훌륭한 의사를 정의하는 개인의 능력이지만, "EPA"는 전문가의 일상 업무를 나타내는 단위로서, 그 업무의 성과를 인식recognize할 수 있다.

An EPA is defined as “a unit of professional practice that can be fully entrusted to a trainee, as soon as he or she has demonstrated the to necessary competence execute this activity unsupervised” (ten Cate et al. 2015). EPAs are independent, observable, and measurable units of work in both process (with a defined beginning and end) and outcome. While “competencies” are abilities of individuals that in the aggregate define a good physician, “EPAs” are units of work that represent the day-to-day work of the professional, which can lead to a recognized outcome.

EPA는 다양한 훈련 단계에서 정의될 수 있으며 의료 교육과 작업장의 기대치 사이의 차이를 메울 수 있다. 이러한 역량을 정의하고 적용하려는 움직임과 함께, EFA를 학부 의료 교육(UME)으로 확대하기 위한 논의가 있었다(Chen et al. 2015).

EPAs can be defined at different stages of training and can bridge the gap between medical education and the expectations of the workplace. With the movement to define and apply these competencies, there has been discussion to expand EPAs into undergraduate medical education (UME) (Chen et al. 2015).

첸 외 에 따르면, AAMC가 발행한 13개 핵심 EPA는 모든 전공에 대해 대학원 수준에서 EPA를 지원할 수 있는 "기준 활동"을 개략적으로 기술하고 있다.

According to Chen et al., the 13 Core EPAs published by AAMC outlines “baseline activities” that can support EPAs at the postgraduate level for all specialties.

핵심 EPA가 미국의 UME 커리큘럼에 공식적으로 도입될 것으로 예상되기 때문에 이러한 교육 요구사항은 정책, 자원 및 프로그램적 함의를 포함하여 큰 이해관계가 있다.

As Core EPAs are expected to be formally introduced to the UME curricula in the United States, these educational requirements have heavy stakes, including policy, resource, and programmatic implications.

구체적으로는 다음과 같은 여섯 가지 문제와 관련된다. 

(1) 개별적인 작업이 아니므로 포커스된 위탁 의사결정에 적합하지 않은 EPA 

(2) 다른 EPA와 분리할 수 없는 EPA 

(3) 실제로는 교육 목표에 가까운 EPA

(4) 숙련도 수준을 나타내는 형용사를 포함하는 EPA 

(5) 너무 넓은 EPA 

(6) 개별적인 업무이지만, 위탁 결정에 적합하지 않은 EPA (10 Cate 등, 2015)

Specifically, they relate to six problems: 

(1) EPAs that are not discrete tasks and so are unsuitable for focused entrustment decisions; 

(2) EPAs that are inseparable from other EPAs; 

(3) EPAs that are really educational objectives; 

(4) EPAs that include adjectives that refer to proficiency level; 

(5) EPAs that are too broad; and 

(6) EPAs that are discrete tasks, but are not suitable for entrustment decisions (ten Cate et al. 2015).

EPA 6: 임상적 만남의 구두 제시

EPA 6: provide an oral presentation of a clinical encounter

이 EPA는 복수의 해석이 가능하며, 따라서 임상적 만남에서 예상되는 내용에 대한 추가적인 설명이 있어야 한다. 또한 이 EPA에서 구두 프레젠테이션을 위해서는 의료진 중 적어도 한 명이 참석해야 한다. 그러나 임상 환경에서 의료팀은 그때그때 달라질 수 있고 구성원이 다양하며 있으며, 이는 EPA 6이 책임질 수 있는 결정을 촉진할 수 없음을 의미한다. 즉, 학생은 일부에 대해서는 entrustable하지만 다른 사람에게는 그렇지 않다.

It is open to multiple interpretations and thus warrants additional clarification on what is expected in the clinical encounter. In addition, the EPA requires at least one member of the health care team to be present for the oral presentation. However, clinical settings have different health care team members that can vary, and this implies that EPA 6 cannot stimulate an entrustable decision; a student may be entrustable for some, but not for others.

EPA 7: 임상 질문을 작성하고 증거를 검색하여 환자 치료 진행

EPA 7: form clinical questions and retrieve evidence to advance patient care

이 EPA의 초점은 1차 문헌과 2차 문헌에서 증거를 retrieve하는 능력에 있다. 따라서 이 EPA가 필연적으로 지식을 환자집단에 적용하여 임상적으로 관련된 결정을 내릴 수 있는 학생의 능력을 평가하는 것은 아니다. 이는 현장 학습의 일환으로 EPA를 평가하는 데 어려움이 있다는 것을 의미한다.

the focus of the EPA is on the ability to retrieve evidence from primary and secondary literature. It does not necessarily assess the ability of the student to apply that knowledge to his or her patient population to make clinically relevant decisions. This means that there would be difficulty in assessing this EPA as part of on-the-spot learning

EPA 9: 전문가 간 팀의 일원으로 협업

EPA 9: collaborate as a member of an interprofessional team

이 EPA는 별도의 작업 단위를 구성하는 것이 아니라 역량을 구성한다. EPA 7과 유사하게, 특히 학부 수준에서 직접 또는 현장 학습을 통해 이를 평가하기는 어려울 수 있다. 학생들은 어떤 시점에서든 건강 전문가와 함께 환자 치료를 진전시킬 수 있는 능력을 갖춰야 한다. 또한, 학생은 자신이 상호작용하는 건강 전문가의 설정, 상황 및 유형에 따라 다르게 상호작용할 수 있다. 협력의 수준, 양, 빈도 및 효과에 대해 감독자가 어떻게 설명할 것인가?

This EPA does not constitute a discrete unit of work, but rather a competency. Similar to EPA 7, it may be difficult to assess this through direct or on-the-spot learning, particularly at the undergraduate level. Students should have this ability with health professionals at any point of their training to advance patient care. Furthermore, the student may interact differently depending on the setting, context, and the type of health professional he or she is interacting with. How would the supervisor account for the level, amount, frequency, and effectiveness of the collaboration?

EPA 13: 시스템 고장을 식별하고 안전 및 개선 문화에 기여

EPA 13: identify systems failures and contribute to a culture of safety and improvement

이는 환자 안전과 이를 지원하는 시스템에 대한 지식을 강조한다(Core Entrustable Professional Activities 2016). 이 능력은 대학원 과정에 들어갈 때 모든 의사에게 내재되어야 하므로 위임될 수 있는 업무 단위보다는 교육 목적이나 역량이라고 볼 수 있다.

This emphasizes patient safety and knowledge of the systems supporting it (Core Entrustable Professional Activities 2016). This ability should be embedded in all physicians at the time of entering a postgraduate program, so it can be considered more of an educational objective or a competency, rather than a unit of work that can be entrusted.

Med Teach. 2017 Mar;39(3):232-233. doi: 10.1080/0142159X.2016.1230665. Epub 2016 Sep 15.

Are all EPAs really EPAs?

만약 위임에서의 '신뢰'가 사회적 판단이라면? (Med Educ, 2015)

What if the ‘trust’ in entrustable were a social judgement?

Andrea Gingerich

Hauer 등 1명은 다음과 같이 결론짓는다: '우리의 발견은 신뢰를 발전시키는 경험이 아마도 이정표로 세분화될 수 없는 합성적이고 전체적인 판단을 수반할 수 있음을 시사한다.' 그러나 신뢰는 효과적인 평가 시스템의 핵심 부분으로 점점 공식화되고 있다.2 우리가 우리의 가장 영향력 있는 사회적 판단인 신뢰와 그것을 의학 교육에서 공식적인 평가 시스템의 기초로 사용한다면 어떤 결과가 나타날까? 확실히 신뢰성은 사회적 추론이며 역량처럼 '객관적'은 아니다. 그러나 무엇보다도 신뢰는 우리가 다른 사람들에게서 가장 중요하게 여기는 특성이다.3 실제로, 사회 심리학의 근거에 따르면, [다른 사람의 도덕적 특성인 정직, 성실, 신뢰성에 관한 정보를 찾는 것]이 우리의 가장 흔한 사회적 판단을 반영한다고 말한다.

Hauer et al.1 conclude: ‘...our findings suggest that the experience of developing trust can involve a synthetic, holistic judgement that perhaps cannot be fragmented into milestones.’ Yet, trust is increasingly formalised as a key part of an effective assessment system.2 What might be the outcome if we were to take our most influential social judgement – trust – and use it as the foundation of a formal assessment system in medical education?Certainly, trustworthiness is a social inference and not as ‘objective’ as things like competencies. However, it is, above all, the trait we value most in others.3 In fact, there is evidence from social psychology to suggest that the search for information regarding others’ moral characteristics – honesty, sincerity, trustworthiness – reflects  the social judgements we most commonly make.4

'면밀한 감독관들은 

• 언제 훈련생들이 중요한 결정을 내리도록 신뢰할 수 있을지, 

• 언제 훈련생들이 독립적으로 중요한 의료 절차를 수행할 수 있을지, 

• 언제 훈련생들에게 가까운 감독이나 관찰이 필요한지

...를 감지하는 경우가 많다고 한다. 따라서 이러한 자연적 경향을 억제하고 우리의 공식적인 평가 시스템에서 '객관적'적 조치들로 대체하려고 하기보다는, 감독관의 신뢰 판단을 이용하고 '평가 목적으로 신뢰성에 대한 이러한 직감들을 완전히 이용하는 것이 더 낫지 않을까? 이는 케이트가 위임 가능한 전문 활동(EPA) 개념을 처음 도입했을 때의 제안을 반영한 것이다.2

It has been said that ‘...conscientious supervisors often sense when they can either trust trainees to make critical decisions or perform critical medical procedures independently, or when close supervision or observation will be necessary’2 [my emphasis]. So, rather than trying to suppress these natural tendencies and to supplant them with ‘objective’ measures in our formal assessment systems, might it not be more prudent to take advantage of supervisors’ trust judgements and ‘fully exploit these gut feelings about trustworthiness for assessment purposes’?7 This reflects ten Cate’s proposal when he first introduced the concept of entrustable professional activities (EPAs).2

인상 형성의 "모든" 단계에서 타인의 신뢰성에 대한 우리의 결정이 그들의 사교성이나 능력에 관한 정보보다 타인에 대한 우리의 판단에 더 큰 영향을 미친다는 것이 밝혀졌다.5 또한 신뢰성 판단의 이러한 만능성은 단순히 사회적 현상일 뿐만 아니라 이러한 것들이 우리의 의료 훈련 모델에 깊이 자리 잡고 있다는 주장도 제기될 수 있다. 지금도 모든 곳의 수련자들이 직접적인 관찰 없이 임상 활동을 수행할 수 있도록 신뢰받고 있으며, (특별히 우려할만한 이유를 정당화할 구체적인 징후가 없는 상황에서조차) 경험 많은 감독자들은  임상 진단과 관리에 대한 경계심을 높이기 위해 직감, 직감, 불안감 등을 이용하고 있다.n.6

It has been shown that, in ALL stages of impression formation, our determination of another’s trustworthiness is more influential in our judgements of other people than information pertaining to their sociability or their competence.5 Further, it could be argued that the omnipresence of judgements of trustworthiness is not merely a social phenomenon, but that these are also deeply entrenched in our medical training model. Right now, trainees everywhere are being trusted to perform clinical activities without direct observation and experienced supervisors are using their gut feelings, intuitions and senses of uneasiness to increase their vigilance in clinical diagnosis and management even in situations in which there are no specific indications to justify such concern.6

그렇다면, 우리는 평가 시스템의 기초로서 '전문직 활동'보다는 EPA의 '신뢰가능성' 측면에 더 초점을 맞춘다면 어떨까? 이러한 초점의 변화는 평가 설계에 어떤 영향을 미칠 수 있는가?

What, then, if for argument’s sake, we were to focus more on the ‘entrustable’ aspect of EPAs than on the ‘professional activities’ as the basis for an assessment system? How might that shift in focus affect the assessment design?

만일 '신뢰라는 개념은 [관찰된 능력]을 훨씬 넘어서는 '역량'까지도 반영한다'라고 본다면, 우리가 이것(EPA의 위임가능/신뢰가능)을 잘 할 수 있으려면, [신뢰의 사회적 판단]을 더 잘 활용하고, 신뢰를 다른 역량처럼 취급하려는 유혹에 어떻게 저항할 것인가에 대해 매우 다르게 생각할 필요가 있을 것이다.7

To be able to do this well, we may need to think very differently about how to best utilise the social judgement of trust and resist the temptation to treat it in the same way we treat other competencies, especially if ‘the idea of trust reflects a dimension of competence that reaches further than observed ability’.7

우선, 우리는 신뢰 판단이 인지적 요소뿐만 아니라 정서적 요소를 가지고 있다는 생각을 설명할 필요가 있을 것이다. 좀 더 구체적으로, 신뢰는 [희망과 자신감과 같은 감정, 기꺼이 취약해지려는 의지, 바람직한 결과에 대한 기대]와 관련이 있다. 이와는 대조적으로 불신은 공포, 회의, 냉소, 망설임, 신중함, 조심성 그리고 경계와 관련이 있다.8 이러한 감정(및 인식)을 고려해본다면, 신뢰는 위험을 감수하는 활동이다. 즉, trainee를 감독함에 있어서 그들의 임상역량의 한계까지 밀고 나가는 것은 관리자가 위험을 감수하는 것이다.

For a start, we would need to account for the idea that trust judgements have an affective as well as a cognitive component. More specifically, trust is associated with the emotions of hope and confidence, with a willingness to be vulnerable and with expectations of favourable outcomes. By contrast, distrust is associated with fear, scepticism, cynicism, hesitance and increased wariness, watchfulness and vigilance.8 These emotions (and cognitions) fit with the idea that trusting is a risk-taking activity, and certainly overseeing trainees as they push towards the limits of their clinical competency is a risktaking activity for supervisors,9

또한 타인에 대한 신뢰도 감시와 함께 경계심을 유지하고 가능한 위협을 탐지하는 것은 우리가 의식적인 생각 없이도 빠르고 심지어는 신속하게 할 수 있는 일임을 고려해야 한다.10 위임결정에 대해 anchor되어있는 평가 시스템은 신뢰라는 것이 의식적이면서도deliberate 동시에 자동적인automatic 사회적 인지 과정임을 모두 고려할 필요가 있다. 더 중요한 것은, 이 시스템은 의사의 임시적인 주관적 신뢰와 신뢰성에 대한 판단을 존중하고 지원할 필요가 있을 것이다12,13 왜냐하면 신뢰라는 것은 [추정될 수 있고, 암시될 수 있고, 느껴질 수 있고, 창조될 수 있고, 발견될 수 있고, 얻어질 수 있거나 잃을 수 있지만] 관찰되지는 않기 때문이다.

We should also consider that maintaining vigilance and detecting possible threats along with monitoring trustworthiness in others is something we can do rapidly and even without conscious thought.10 An assessment system anchored in entrustment decisions would need to grapple with the fact that trust judgements incorporate both deliberate and automatic social cognition processes.11 More importantly, this system would need to respect and support physicians’ ad hoc subjective judgements of trust and trustworthiness12,13 because trust can be assumed, inferred, felt, created, discovered, earned and lost, but not observed.

신뢰도 평가에서 이러한 요소들을 고려할 때, 문서화해야 할 것은 행동이 아닐 수 있다.

Given these factors in the assessment of trustworthiness, behaviours may not be the most appropriate performance feature to document.

이 시스템에서는 trainee가 수행한 퍼포먼스의 품질을 설명하기보다는, 임상적 관리감독 및 감독자 개입에 대한 유동성과 맥락 특이적의 설명이 더 중요할 수 있다. 예를 들면 '내가 단계 X부터는 procedure를 인계받아야 했다' 또는 '나는 이중 점검해야 한다고 느꼈다'와 같은 기술이 그것이다. 이와 같은 평가시스템은 우리가 감독관들에게 '알고 있다' 또는 '인식한다'와 같은 순수한 인지 활동에 초점을 맞추도록 지시하는 것에서 '보면서 불안했다' 또는 '안정적이었고, 확신을 주었다'와 같은 신뢰와 더 일치된 감정을 보고하도록 격려하는 것으로 전환하도록 요구한다.

Rather than describing the quality of their clinical performance, this system might value descriptions of the fluidity and context-specificity of clinical oversight and supervisor intervention,12–14 which might be evidenced in comments like, ‘I needed to take over the procedure at step X’ or ‘I felt compelled to double-check...’9,15,16 Such an assessment system would require us to shift from directing supervisors to focus on purely cognitive activities such as ‘knowing’ or ‘recognising’ to encouraging them to report feelings more congruent with trust such as ‘being on edge while observing’ or ‘feeling calm and reassured during the procedure’.

이러한 노력은 우리로 하여금 [관측 가능하고 행동적이며(객관적인) 수행 결정을 기반으로 수행할 수 있는 '전문적 활동']에 더 많은 초점을 맞추도록 했다. 그러한 노력을 통해, EPA의 구성은 기능적으로 역량 평가로 축소된다. 그러나, trainee의 학습과 환자 안전의 균형을 맞추기 위해 우리의 임상 감독자들에게 매 순간마다 기대하는 '신뢰'는 이것보다 훨씬 더 역동적이고, 문맥적이며, 덧없고, 주관적이다. 그렇긴 하지만, 주관성에도 불구하고 이것은 '진짜'이다.

This effort has led us to place greater focus on the ‘professional activities’ a learner is able to perform based on observable, behavioural (objective) determinations of performance. Through such an effort, the construct of EPAs is functionally reduced to assessments of competence. However, the ‘trust’ we expect our clinical supervisors to wield with such skill from moment to moment in order to balance trainee learning and patient safety is substantially more dynamic, more contextual, more ephemeral, and more subjective than this. That said, it is no less ‘real’ for its subjectivity.

EFA를 미니-역량으로 줄이기 보다는, 이러한 신뢰 판단을 최대한 활용하는 보완적 평가 시스템을 설계하는 것이 더 유용하지 않을까?

rather than reducing EPAs to mini-competencies , might it not be more useful to design a complementary assessment system that takes full advantage of these trust judge-ments? 

13 Hauer KE, ten Cate O, Boscardin C, Irby DM, Iobst W, O’Sullivan PS. Understanding trust as an essential element of trainee supervision and learning in the workplace. Adv Health Sci Educ Theory Pract 2014;19 (3):435–56.

Med Educ. 2015 Aug;49(8):750-2. doi: 10.1111/medu.12772.

What if the 'trust' in entrustable were a social judgement?

임상학습환경(Med Teach, 2019)

The clinical learning environment

Jonas Nordquista,b, Jena Hallc, Kelly Caverzagied, Linda Snelle,f, Ming-Ka Chang, Brent Thomah , Saleem Razacke , and Ingrid Philiberti

재정적 제약과 임상 생산성에 대한 기대는 교육 활동의 가용 시간에 부정적인 영향을 미쳤다(Norman and Dogra 2014; Kilty et al. 2017; Weiss et al. 2018) 연습생과 교사의 스트레스, 번아웃, 비인간화, 의료에서 정서적 고갈에 대해 악영향을 주었다 (Gruppen et al. 201).8; 메이시 재단 2018).

Financial constraints and clinical productivity expectations have negatively affected available time for educational pursuits (Norman and Dogra 2014; Kilty et al. 2017; Weiss et al. 2018) and have contributed to higher levels of stress, burnout, depersonalization, and medical emotional exhaustion in trainees and in their teachers (Gruppen et al. 2018; Macy Foundation 2018).

임상적 맥락에서 배우는 것은 건강 전문가 훈련의 토대이다. 여기에는 대안이 없다. 또한 많은 의료 시스템은 학습자가 환자에게 제공하는 서비스에 의존하며, 이를 교육 기관에서 제거하는 것은 환자 치료에 부정적인 영향을 미칠 수 있다.

Learning in a clinical context is foundational in the training of health professionals; there is simply no alternative. In addition, many healthcare systems rely on the service that learners provide to patients, and to remove them from teaching institutions may have a negative impact on patient care.

북미 지역의 연구들은 훈련의 맥락이 된 학습 환경의 질이 졸업 후 수년간 졸업생들이 제공하는 치료의 질을 예측하는 변수였다는 것을 보여주었다(Tamblyn et al. 2005; Asch et al. 2009). 또한 이는 해당 의사의 처방 패턴이나(Cadieux et al. 2007) , 환자 관리, 보건의료 자원의 활용에도 영향을 주었다 (Chen et al. 2014; Sirovich et al. 2014; Dine et al. 2015). 마찬가지로, 일반 외과의사의 합병증 비율은 그들이 훈련했던 레지던트 프로그램의 순위와 관련이 있었다. 더 높은 순위의 레지던트 프로그램은 낮은 합병증 비율과 관련이 있다(Bansal et al. 2016).

Studies from North America have shown that the quality of the learning environment that provided the context for training was a predictor of the quality of care provided by graduates for years after graduation (Tamblyn et al. 2005; Asch et al. 2009) and influenced prescribing patterns (Cadieux et al. 2007) and patient management and use of health care resources (Chen et al. 2014; Sirovich et al. 2014; Dine et al. 2015). Similarly, complication rates for practicing general surgeons were associated with the ranking of the residency program in which they had trained—with higher ranked residency programs correlated with lower complication rates (Bansal et al. 2016). 

따라서, CLE를 개선하기 위한 노력은 연습생이 환자 치료에 배우고 참여하는 환경에서 긍정적인 영향을 미칠 뿐만 아니라, 잠재적으로 향후 수십 년 동안 미래의 졸업생들의 의료행위에도 영향을 미친다. 이는 훈련 의사가 현재 의료 제공의 최전선과 의료 관행의 미래를 대표하기 때문에 미국의 임상 학습 환경 검토(CLER) 프로그램에 대한 근거를 제공한다(Weiss et al. 2013, 2018).

Therefore, efforts to improve the CLE not only have a positive impact in the settings where trainees learn and participate in patient care but also affect the practice of future graduates, potentially for decades to come. This provides the rationale for Clinical Learning Environment Review (CLER) program in the United States, as physicians in training represent both frontline of health care delivery today and the future of the practice of medicine (Weiss et al. 2013, 2018).

임상학습환경 - 개념의 모호성

The clinical learning environment–An elusive concept

임상 학습 환경은 임상/학습/환경의 세 가지 핵심 요소를 포함한다. 임상학습환경에 대한 초기 정의는 의료 교육 환경의 기후와 전반적인 분위기에 초점을 맞추었으며(Genn and Harden 1986) 학습이 발생하는 기후climate의 중요성을 강조했다(Roff and McAleer 2001). 메이시 재단(2018년)은 학습 환경을 다음과 같이 정의했다.

Clinical learning environments involve three key elements: clinical work; learning; and environment. Early definition focused on the climate and overall ambiance of the medical education environment (Genn and Harden 1986) and highlighted the importance of the climate in which learning occurs (Roff and McAleer 2001). The Macy Foundation (2018) defined the learning environment as: 

사회적 상호 작용, 조직 문화와 구조, 그리고 참가자의 경험, 인식, 학습을 둘러싸서 형성하는 물리적이고 가상적인 공간." 이러한 다양한 기존 정의들이 CLE 개념의 복잡성을 보여준다.

“…social interactions, organizational cultures and stru-tures, and physical and virtual spaces that surround and shape participants’ experiences, perceptions, and learning.”These differences in existing definitions highlight the complexity of the CLE concept

여기서 우리는 CLE를 그림에서 표시한 "작업 환경"(trainee가 환자 진료를 배우고 참여하는 임상적 상황)과 "교육적 맥락"(기대 학습 성과 및 평가 방식을 정의하는 실라버스, 교육과정, 목표) 사이의 중복된 공간으로 정의한다.1번.

In this thematic examination, we the define the CLE as overlapping space between the “work environment” (the clinical context in which trainees learn and participate in patient care), and the “educational context” (the syllabi, curricula, and goals that define methods for learning, expected learning outcomes, and assessment practices), shown in Figure 1.

학습환경 평가의 역사적 맥락

A historical perspective on assessment of the learning environment

커트 르윈의 1930년대와 1940년대 사회심리학 연구(Lewin 1947)는 교육적 기후를 측정하는 기구 개발의 토대를 마련하였다(Genn and Harden 1986, Palmgren 2016). 초기 연구들은 학습자들의 환경에 대한 인식이 "학생들의 인격적 욕구personality needs와 본질적으로 무관하거나 독립적"이라는 것을 보여주었다(Genn and Harden 1986).

Kurt Lewin’s research in social psychology in the 1930s and 1940s (Lewin 1947) laid the foundation for the development of instruments to measure educational climates (Genn and Harden 1986 and Palmgren 2016). Early studies showed that learners’ perceptions of their environment “were essentially unrelated to, or were independent of the students’ personality needs” (Genn and Harden 1986).

the Dundee Ready Educational Environment Measure or DREEM (Roff et al.1997)—

영국의 일반의학위원회가 발간한 첫 번째 TD 보고서는 의대생들이 이상적이지 못한 조건에서 train된다는 사실에 대한 결정적 담론을 열었다(GMC 1993). 이 보고서는 집단 괴롭힘, 성차별, 괴롭힘, 감독 품질 및 임상 교수진들 간의 부정적 롤모델과 같은 문제를 강조하여 임상 학습 환경의 기업이 교육자와 규제자의 주의를 끌게 했다(Roff et al. 2005 및 Palmgren 2016) 궁극적으로 이것은 환자 안전 문제였으며, 이는 의사라는 전문직에 대한 대중의 신뢰에 잠재적으로 파괴적인 영향을 미치는 것이었다.

The first Tomorrow’s Doctor report published by the General Medical Council in the UK opened a critical dialog on the suboptimal conditions under which medical students were trained (GMC 1993). The report highlighted problems such as bullying, gender discrimination, harassment, quality of supervision and the presence of poor role models among clinical teaching faculty, bringing the enterprise of clinical learning environments to the attention of educators and regulators (Roff et al. 2005 and Palmgren 2016) Ultimately, this was a patient safety issue with a potentially devastating impact on the public’s trust in the profession.

• the Postgraduate Hospital Educational Environment Measure (PHEEM)

• a result of the 1984 death of Libby Zion in a New York teaching hospital,

• The ground-breaking report To Err is Human by the Institute of Medicine

• the ACGME instituted a national limit on work hours for physicians in training (Philibert et al. 2002).

유럽에서는 1998년 유럽 근로시간지침을 이행함으로써 훈련의 내과의사의 근무시간이 크게 단축되었다(다타와 데이비스 2014). 여기에 대해서 의료계는 엇갈린 반응을 보였다(Maisonneuve et al. 2014). 특히 외과 전문의의 훈련에 부정적인 영향을 미칠 것이라고 보았으며 (Hopmans et al. 2015), 연습생 근무 조건 및 웰빙 개선의 증거는 거의 없었다(Rodriguez-Jare~no et al. 2014).

In Europe, implementation of the European Working Time Directive in 1998 severely reduced the working hours of physicians in training (Datta and Davies 2014), with mixed reactions from the medical community (Maisonneuve et al. 2014), indications of a negative impact on training, particularly in surgical specialties (Hopmans et al. 2015), and little evidence of improvement in trainee working conditions and well-being (Rodriguez-Jare~no et al. 2014).

현재 [학습 환경 평가]는 (미국 뿐만 아니라 국제적으로도) accreditor들은 학습자와 교수자의 학습환경에 대한 인식을 수집하는 중요하고, 민감하며, 타당한 도구로 사용중이다. 

• 학부 의료 교육(LCME 2018; Mavis et al. 2014; Lockwood et al. 2004)에서도, 

• 미국 대학원 의료 교육을 위한 인증 기관(ACGME)에서도(Holt et al. 2018; Ibrahim et al. 2014). 

Assessments of the learning environment currently are used by accreditors 

• in undergraduate medical education in the United States and Canada (LCME 2018; Mavis et al. 2014; Lockwood et al. 2004) and 

• by the US accreditation body for postgraduate medical education (the Accreditation Council for Graduate Medical Education)

 as an important, sensitive and valid tool to collect learners’ and teachers’ perception of the learning environment in the US and internationally (Holt et al. 2018; Ibrahim et al. 2014). 

학습환경에 대한 평가 결과는 인증과 프로그램 개선을 위해 내부적으로 사용된다. 2013년 미국 PGME에서 새로운 인증 시스템을 시작했을 때, 여기에는 프로그램 연수생을 위한 연간 데이터 검사에 CLE의 학습자 및 교수진 평가와 CLER 프로그램을 통한 CLE의 전용 검토가 포함되었다(Wagner et al. 2016; Co et al. 2018; Weiss et al. 2018).

The results are used in accreditation and internally for program improvement. When the US accreditation postgraduate body for medical education launched a new accreditation system in 2013, this included both learner and teaching faculty assessments of the CLE in annual data screening for programs trainees, and a dedicated review of the CLE through the Clinical Learning Environment Review (CLER) program (Wagner et al. 2016; Co et al. 2018; Weiss et al. 2018).

학습환경에 관해 남은 문제들

Current challenges in the learning environment

국가 이해관계자 합의 문서는 과밀 임상 환경, 인력 부족 및 서비스 압력, 임상 작업 부하를 CLE의 학습 장벽으로 식별했다(Kilty et al. 2017). 다른 연구와 일관되게, 개선의 관점에서 가장 어려운 영역으로 확인된 영역은 "조직과 업무 조건"과 "환자 치료 중 상급 의사와 함께 배우는 시간"이었다(Kilty et al. 2017). 영국의 바와-가르바 사건은 이것의 뼈아픈 예다. 이 사례와 이와 유사한 일반적인 관찰은 "서비스 압력이 학습 기회에 영향을 미쳐서, 인지 과부하를 일으키고, 그 결과 물리적 공간에 대한 제약을 통해 성찰과 토론 시간을 제한한다"라는 가설을 추가로 뒷받침한다(Kilty et al., 2017, 페이지 8).

A national stakeholder consensus document identified overcrowded clinical environments, understaffing and service pressures and clinical workload as barriers to learning in the CLE (Kilty et al. 2017). Consistent with other studies, the domains identified as most challenging from an improvement perspective were the “organization and conditions of work” and “time to learn with senior doctors during patient care” (Kilty et al. 2017). The Bawa-Garba case in the United Kingdom is a poignant example of this (Vaughan 2018). This case and similar general observations further support the hypothesis that “service pressures impact opportunities to learn, resulting in cognitive overload, limiting time to reflect and discuss and through constraints on physical space” (Kilty et al. 2017, p. 8).

Macy Foundation은 범위 지정 검토를 의뢰하여 CLE를 네 가지 핵심 요소(개인, 사회, 물리 및 가상, 조직)로 디구성하는 개념 모델을 도입했다. 또한 상당한 학문적 노력에도 불구하고 임상학습 환경을 탐구한 연구에는 개념적 명확성이 결여되어 있음을 강조하였다(Gruppen et al. 2018).

The Macy Foundation commissioned a scoping review introduced a conceptual model that deconstructed the CLE into four central components (personal, social, physical and virtual, and organizational). It also highlighted that, despite considerable academic efforts, there is a lack of conceptual clarity in studies that have explored the clinical learning environment (Gruppen et al. 2018).

에비뉴 프레임워크 소개

Introducing the avenues framework

. The model approaches the CLE through six different lenses, which we have termed “avenues”  for this exploration (Figure 2)

To examine how different academic fields and foci haveinformed the study of the CLE, in Table 

Conclusions

Gruppen L, Irby D, Durning, Maggio L. 2018. Interventions designed to improve the learning environment in the health professions: a scoping review. AMEE MedEd Pub. 7:73.

Weiss KB, Co JPT, Bagian JP. 2018. Challenges and opportunities in the 6 focus areas: CLER national report of findings 2018. J Grad Med Educ. 10:25–48.

Med Teach. 2019 Mar 17:1-7. doi: 10.1080/0142159X.2019.1566601. [Epub ahead of print]

The clinical learning environment.

의학교육의 가치 얹기: 미래 의사들을 보건의료 전달체게 변혁에 참여시키기(J Gen Intern Med, 2015)

Value-Added Medical Education: Engaging Future Doctors to Transform Health Care Delivery Today

Steven Y. Lin, MD1, Erika Schillinger, MD2, and David M. Irby, PhD3

의대생 교육은 일반적으로 미래의 의사 공급을 증가시키는 것을 목표로 하고 있으며, 현재의 의료 제공 문제를 무시한다. 미래에 대한 이 초점은 오늘날의 긴급한 과제를 해결하는데 실패한다.

Medical student education typically aims to increase the supply of future physicians while ignoring current problems in health care delivery. This focus on the future fails to address the pressing challenges of today.

이러한 변화를 달성하기 위해서는 실무practice 재설계나 의료교육 모두에서 중요한 개혁이 필요하다. 일차 진료에서 카파시티capacity 문제에 대해 제안된 해결책 중 하나는 비임상 의료팀 구성원 및 학습자와 "share the care"하는 것이다.1

To achieve this change, significant reforms are needed in both practice redesign and medical education. One proposed solution to the capacity issue in primary care is to “share the care” with non-clinician health care team members and learners.1

우리는 sharing the care가 capacity부족 문제를 해결하는 데 그치지 않고 의료 교육의 미래를 위한 새로운 비전을 수립하는 데 이상적인 출발점이 될 수 있다고 믿는다. 1학년 때부터 모든 의대생이 1차 건강관리 팀에 소속되어 훈련 단계에 적합한 진료를 제공하는 의미 있는 역할에 종사한다면 어떻게 될까? 아직 공식적인 환자 진료를 제공할 진단이나 치료 기술을 갖추지 못했더라도 초기 의대생들은 인구 건강 관리를 할 수 있도록 훈련을 받고 일상적인 예방(pap smears, 대장경, 유방조영술)이나 만성 치료 서비스(당뇨병 환자에 대한 발과 눈 검사)가 늦어진 환자를 찾아나갈 수 있다면 어떨까?

We believe that sharing the care goes beyond addressing the capacity-demand problem and may serve as an ideal starting point for building a new vision for the future of medical education. What if every medical student starting in year one is embedded in a primary health care team and engaged in meaningful roles of providing care appropriate to their stage of training? What if, even if they do not have the diagnostic or treatment skills to provide formal patient care yet, early medical students are trained to do population health management and can reach out to patients overdue for routine preventive (pap smears, colonoscopies, mammograms) and chronic care services (foot and eye exams for diabetics)?

이 의료 훈련 모델은 현재 AHC의 인프라를 바꾸지 않고도 우리의 의료 제공 시스템에 귀중한 capacity을 추가할 수 있다.

This model of medical training can add valuable capacity to our health care delivery system without changing the current infrastructure of academic health centers.

우리는 이것을 "부가가치 의료 교육"이라고 부르는데, 여기서 강력한 경험적 학습 경험은 우리의 의료 전달 시스템에 가치와 능력을 더해줄 수 있다. 이는 환자 치료 작업에 의대생을 교육하고 참여시킴으로써 달성할 수 있다. 학생들은 중복 작업을 발생시키거나 임상 교수진의 추가 에너지를 소비하지 않는 방법으로 의료 팀의 일원으로서 관리에 참여하고 책임을 지기를 열망한다.

We call this “value-added medical education,” where powerful experiential learning experiences can also add value and capacity to our health care delivery system. This can be achieved by training and involving medical students in targeted patient care tasks. Students are eager to engage in care and take on responsibilities as part of the health care team in ways that do not generate duplicative work or consume additional energy from the clinical faculty.

부가가치 의료 교육에 대한 선구적인 연구가 상당 부분 이루어진 샌프란시스코 캘리포니아 대학교에서, 학생들과 교수진들은 모든 학생들의 재능과 헌신을 활용하여 오늘날의 환자 치료에 가치를 더하는 진정한 직장 학습 경험을 창조함으로써 그들의 커리큘럼을 재부팅하기 위해 협력하고 있다.

At the University of California, San Francisco, where much of the pioneering work on value-added medical education has been done, students and faculty members are working together to reboot their curriculum by creating authentic workplace learning experiences that leverage the talents and commitments of every student to add value to the care of patients today.

스탠포드 의과대학은 또한 종단적 1차 진료 커뮤니티 파트너십을 운영함으로써, [보건 지도, 동기부여 면접, 환자 교육을 통해 치료를 제공하는 지역사회 보건소]에 일부 1학년 의대생을 배치하고 있다.

Stanford University School of Medicine is also embedding some first year medical students in community health centers where they provide care through health coaching, motivational interviewing, and patient education delivered via longitudinal primary care community partnerships.

초기 수련자들을 임상 기록 전문가로 변화시키기 위해 고안된 녹취scribe 프로그램은 우리의 1차 진료 클리닉을 high-performing 진료로 변화시키는 한편, 전자 진료 기록 시대에 의학을 실습하는 데 필요한 기술력을 학생들에게 제공할 수 있는 잠재력을 가지고 있다. 이 프로그램들은 [교육]과 [진료]라는 종종 상충하는 두 가지 목표를 하나의 통합하여 추구함으로써 이 둘 사이의 균형을 맞춘다는 점에서 유사하다.

A scribe program designed to turn early trainees into clinical documentation experts has the potential to change our primary care clinics into high-performing practices, while equipping students with the technological skills needed to practice medicine in the electronic medical record era. All these programs are similar in that they balance the often conflicting missions of education and patient care by merging these two objectives into a single pursuit.

이 꿈을 현실로 바꾸려면 리더십, 자원 재배치, 커리큘럼 재설계가 필요하다. 비전을 명확히 하고, 변화에 대한 긴급성을 창출하며, 자원을 이동시키고, 교직원 개발을 제공하며, 새로운 임상 훈련 사이트와의 파트너십을 구축하기 위한 리더십이 필요하다. 이를 위해서는 현재 초기 임상 훈련에 전념하고 있는 기존 자원의 리디렉션이 필요할 것이다.

Transforming this dream into reality will take leadership, redeployment of resources, and curricular redesign. Leadership is needed to 

• articulate the vision, 

• generate urgency for change, 

• shift resources, 

• provide faculty development, and 

• build partnerships with new clinical training sites. 

• This will require some redirection of existing resources currently devoted to early clinical training,

학생들의 임상 경험을 다시 상상해보고, 임상 스탭들에게 학생들이 일상 업무에 적극적으로 참여할 수 있는 기술을 제공하기 위해 직원개발과 교수개발이 필요할 것이다. 커리큘럼 혁신과 재설계는 이러한 새로운 경험과 기술을 위한 기회 공간을 제공하기 위해 필수적일 것이다.

Faculty and staff development will be needed in order to reimagine the clinical experience for students and provide the clinic staff with skills to actively involve students in their daily work. Curricular innovation and redesign will be essential to offer opportunity space for these new experiences and skills.

우리는 부가가치 의료 교육의 원칙이 이 혁명에서 중요한 역할을 해야 하고 또 할 것이라고 믿는다. 이러한 원칙에는 다음이 포함된다. 

• (1) 모든 의대생을 위한 조기의 통합적 근무지 학습, 

• (2) 비임상 보건의료 제공자의 이해와 존중을 촉진하기 위한 전문직간 팀 기반 QI 문화, 

• (3) 협업 및 데이터 중심 인구 건강 관리, 

• (4) 학습자 중심적이고 지속적으로 변화하는 개발 단계에 맞춰 조정되는 전문적 역할의 최적화 

• (5) 고성능의 환자 중심 1차 진료의 제공과 함께 강력한 경험적 학습 경험의 융합.

We believe that the principles of value-added medical education should and will play an important role in this revolution. These principles include: 

• (1) early integrated workplace learning for all medical students, 

• (2) an interprofessional team-based quality improvement culture to promote understanding and respect of non-clinician providers, 

• (3) collaborative and data driven population health management, 

• (4) optimization of professional roles that are learner-centered and continuously adjusted to changing stages of development, and 

• (5) the fusion of robust experiential learning experiences with the delivery of high-performing, patient-centered primary care.

Value-added medical education: engaging future doctors to transform health care delivery today.

현장에서 배우기: 시간-가변적 의학 훈련에서 맥락의 가치(Acad Med, 2018)

Learning in Practice: A Valuation of Context in Time-Variable Medical Training

Pim W. Teunissen, MD, PhD, Jennifer R. Kogan, MD, Olle ten Cate, PhD,

Larry D. Gruppen, PhD, and Lorelei A. Lingard, PhD

역량 기반 모델이 등장하기 전까지는 훈련 시간이 고정되었다.

Before the advent of the competency-based model, time-in-training was fixed; after completing the required training time

시간 변동성이 있는 훈련은 역량 기반 교육의 논리적 결과라고 주장할 수도 있다.1

One might even argue that time-variable training is the logical consequence of competency- based education.1

역량 기반, 시간 변동성 교육(CBTVT)에 대한 논의를 진전시키기 위해 교육자와 학습자는 학습자의 발달에서 맥락과 맥락-내-시간의 역할을 높이 평가하게 된다.

To move the debate on competency-based, time-variable training (CBTVT) forward, educators and learners must come to appreciate the role of context and time-in-context in the development of learners.

임상 학습 경험은 교실 교육보다 훨씬 더 다양하며, 그러한 경험의 맥락은 모든 학습자에게 크게 다르기 때문이다.3

Clinical learning experiences vary much more than classroom education, as the context of those experiences is to a large extent different for every learner.3

이러한 맥락변동성은 직장 학습의 본질적인 부분이다. 그 학습의 목표는 전문직에게 필요한 임상적 내용을 숙달할 뿐만 아니라 가변적이고 변화하는 맥락에서 근무하는 방법을 배우는 것이다. 

This variability in context is an inherent part of workplace learning. The goal of that learning is not only mastering the clinical content of a profession but also learning how to work in variable and changing contexts. 

최적의 학습 편익을 얻기 위해 역량 기반 교육은 명시적 학습 성과의 형태로 구조를 제공하려고 노력해왔다.4 보건의료에서 직장 학습의 구조화 및 공식화 증가는 [훈련 비용, 환자 안전 및 학습 결과의 투명성에 대한 관심]과 함께 진행되었다.5

To yield the optimal learning benefit, competency-based education has sought to provide structure in the form of explicit learning outcomes.4 The increased structuring and formalization of workplace learning in health care, has gone hand in hand with an increased focus on the costs of training, patient safety, and transparency of learning outcomes.5

맥락-내-학습은 임상 전문지식을 습득하는 것 이상을 수반하며 공식화된 역량 기반 커리큘럼에서 지금껏 포착되지 않았거나 앞으로도 결코 포착되지 않을 수도 있는 특징을 포함하고 있다고 주장한다.

We argue that learning-in-context entails more than the acquisition of clinical expertise and includes features that have not been, and may never be, captured in formalized, competency-based curricula.

학습목적을 위한 컨텍스트 활용방안에 관한 연구

The Deliberate Use of Context for the Purpose of Learning

숨겨진 커리큘럼은 공식적, 비공식적 교육을 통해서 전달은 되고 있지만, 공개적으로 인정되지는 않는 문화적 풍습을 가리킨다.6 효과적인 CBTVT는 [명시적인 커리큘럼 목표]와 이제는 잠재 커리큘럼의 일부가 된 [기회와 기대]를 보다 목적을 가지고 정렬할 것을 요구한다. 잠재 커리큘럼은 종종 맥락 특이적이며, 예컨대 각각의 맥락이 학습자의 발달에 긍정적이고 독특한 기여를 갖는 가치가 있다고 보는 것이다.

The hidden curriculum refers to the cultural mores that are transmitted, but not openly acknowledged, through formal and informal educational practices.6 Effective CBTVT requires more purposeful alignment between explicit curricular goals and the opportunities and expectations that are now part of the hidden curriculum. The hidden curriculum is often context specific and may have constructive components, such as when contexts are valued for their positive and unique contributions to learners’ development.7

현재 컨텍스트와 이들이 잠재적으로 제공하는 경험은 종종 로테이션 일정에 속하여 고정되어 있으며, 학습자의 요구에 따라 조정되지 않는다. 이론적으로, 커리큘럼 유연성을 증가시키기 위해, 훈련생들은 전략적으로 특정 역량을 support하면서 동시에 challenge하는 상황에 놓일 수 있다. 예를 들어, 맥락은 임상적 초점을 가지면서 동시에 리더십이나 의사소통 역량 개발에 도움이 되는 것일 수 있다.

Currently, contexts and the experiences they potentially offer are often part of fixed rotation schedules and are not adjusted according to learners’ needs. In theory, to increase curricular flexibility, trainees could strategically be put in contexts that both support and challenge particular competencies. For instance, contexts could be conceptualized not only as having a clinical focus but also as being conducive to the development of leadership or communication competencies, for instance.

교육 과정에 서로 다른 직장의 역학을 포함시키는 것을 신중하게 선택하는 것은 이 목표를 달성할 수 있다.9 훈련생은 고정된 로테이션 스케줄보다는 의도적으로 전략에 따라 가변적 맥락을 경험함으로써 더 많은 이득을 얻을 수 있다.

Deliberately choosing to include different workplace dynamics in a curriculum could achieve this goal . Trainees could arguably benefit from experiencing variable contexts according to a conscious educational strategy rather than a fixed rotation schedule.9

모든 경험이 이상적이지는 않다. 실제로, 특히 3차 병원에서 임상 교육은 점점 더 학업의 단편화, 짧은 환자 체재, 빈번한 핸드오프, 짧은 회전, 부적절한 감독, 관찰, 가르침 등, 이 모든 것이 학습에 부정적인 영향을 미칠 수 있다.10.11 단편화된 학습 경험의 이러한 부정적인 측면에 대처하기 위해 Hirsh et al12는 임상 교육의 조직적 원칙으로서 연속성을 권고했다. 짧은 로테이션에서 종단적 경험으로 바꾼다면, 피훈련자와 훈련자 사이의 지도guidance, 평가, 교육신뢰도가 향상되고, 이는 학습자의 진행progression의 가능성을 촉진한다.13-15 그러나 앞으로 졸업생들이 다양한 맥락과 친숙하지 않은 상황에 대처해야 하는 현재의 의과대학생들에게 적응적 전문성adaptive expertise은 중요한 21세기 기술로서 강조되어 왔다. 이 기술을 개발하기 위해서는 훈련이 다양한 임상 환경에서 경험을 필요로 할 것이다.

Experiences can be far from optimal. Indeed, clinical education, particularly in tertiary hospitals, suffers increasingly from the fragmentation of disciplines; short patient stays; frequent handoffs; short rotations; and inadequate supervision, observation, and teaching—all of which can negatively impact learning.10,11 To counteract these negative aspects of a fragmented learning experience, Hirsh et al12 recommended continuity as an organizing principle of clinical education. Moving from short rotations to longitudinal experiences enables better guidance, assessment, and trust between preceptors and trainees, which in turn fosters better possibilities for the progression of learners.13–15 However, adaptive expertise has been stressed as an important 21st-century skill for graduates to enable them to cope with a variety of contexts and unfamiliar situations.16–18 Training to develop this skill would require experience in a variety of clinical settings.

맥락-속-시간 의 가치

The Value of Time-in-Context

학습 목적을 위한 컨텍스트의 의도적 사용과 관계없이, CBTVT의 논의에서 특정 맥락 내에서 보내는 시간의 가치를 인식하는 것은 중요하다. 학습 목표를 달성하는 데 필요한 시간이 학습자마다 다르므로, 비교적 빠른 학습자가 임상 환경에서 잔여 시간을 사용하여 보다 정교하고 nuanced한 능력을 기를 수 있도록 해야 한다. 그러한 추가 개발 방향은 다른 학습자-컨텍스트 조합에 따라 다를 것이다.

Regardless of the deliberate use of context for the purpose of learning, recognizing the value of time-in-context is important in discussions of CBTVT. Variation in the time needed to attain learning objectives may permit those learners who are relatively fast to use their remaining time in a clinical environment for the refinement and maturation of more sophisticated and nuanced capabilities. The direction of such further development will vary between different learner–context combinations.

예를 들어, 외과 연습생이 일반 수술과 관련된 기술적 역량을 습득한 경우, 그들은 수술 후 관리를 다른 전문 분야와 협상하거나 어려운 임상 상황에서 가족 회의를 주도하는 등, 그들의 위치적인 전문 지식의 관계적 측면과 사회적 측면에 더 초점을 맞출 수 있다. 역량 기반 교육 모델의 많은 노력에도 불구하고, 여전히 학생들은 생물의학 및 기술적 차원을 숙달하기 전까지 이러한 의료행의위 관계적 차원에 집중하지 못한다.19,20

For instance, if surgical trainees have acquired the technical competencies associated with general surgery, they could focus more on the relational and social aspects of their situated expertise, such as negotiating postoperative management with other specialties or leading family meetings in challenging clinical situations. Despite the efforts of competency-based educational models, learners struggle to attend to such relational dimensions of clinical practice until they have mastered the biomedical and technical dimensions.19,20

특정 역량을 개발할 필요가 없는 연습생이라도, 이미 [상대적으로 독립적인 의료행위를 실천하는 것]에 필요한 요구되는 역량과 성숙도에 도달했더라도, 해당 맥락에서 추가적인 시간을 할애하는 것은 가치가 있다. 이 시간은 "dwell time"14,21,22 또는 "tea steeping"이라고 불렸는데, 이러한 명칭은 이 기간이 학습자의 발달에 도움이 되지 않는다거나 아무런 guide없이 지낸다는 식으로 잘못된 암시를 준다. 그러나 이와 달리, 이 기간은 잘 준비된 전문직으로 발전해나가는 데 크게 기여할 수 있는 supported transition 기간이 될 수 있다. 즉, 이 시기에는 비판적 성찰과 지식, 기술 및 이들의 경험적 학습 적용의 통합을 촉진하기 위해 전략적으로 커리큘럼에 삽입된 성찰 기간으로 의도적으로 구성될 수 있다.

Even for trainees who do not need to develop specific competencies, there is value in spending additional time practicing in the context in which they have reached the required level of competence and maturity necessary for relatively independent practice. This time has been called “dwell time”14,21,22 or “tea steeping,”23 which erroneously suggests that a learner’s development is idle during this period or that it happens unguided. In contrast, we characterize this phase as a supported transition to independence, which can add significantly to the development of well-prepared professionals. It may be deliberately organized as reflective periods strategically inserted into a curriculum to foster critical reflection and the integration of knowledge, techniques, and their application to experiential learning.

이렇게 본다면 새로운 학습 기회가 생겨난다.  첫 번째 기회는 자기 효능감과 관련이 있다. 기준을 맞췄다는 것이 항상 학습자에 대한 신뢰로 이어지는 것은 아니다. 그러나 만약 신뢰 관계가 발전된다면, 감독자들은 학습자가 독자적으로 의료행위를 할 수 있도록 지원할 수 있으며, 이는 학습자들이 자기 효능감을 기를 기회를 제공한다.14

new learning opportunities emerge.24 The first opportunity relates to self-efficacy. Meeting standards may not always translate into learner confidence. But if a trusting relationship has developed, supervisors may support their learners in practicing independently, which presents the opportunity for learners to develop a sense of self-efficacy.14

두 번째 학습 기회는 실패의 경험과 관련이 있다. 독립적 의료행위의 양이 증가함에 따라, young professional로서 의도한 대로 되지 않은 일에 대해 책임을 져야 하는 경우도 생길 수밖에 없다.

The second learning opportunity has to do with the experience of failure. With an increase in the volume of independent practice, it is inevitable that there will be times when a young professional has to take responsibility for something that did not go as intended.

이것은 겉보기에 사소한 것일 수도 있고, 아니면 큰 재앙일 수도 있다. 연습생에게는 이렇게 guided independence와 mentored reflection을 위한 관계가 확립되어 있는 상태에서 초반의 고난struggle 시기를 경험하는 것이 중요하다.25 이러한 맥락에서 연습생들은 [자신이 알고 있는 동료들의 사회적 지원], [멘토나 코치 역할을 할 수 있는 감독관의 조언]을 얻게 될 것이며, 자기가 그 환자에 대한 care를 맡을 수 있도록 [신뢰받았다entrusted라는 확신]을 얻을 것이다.

This may be something seemingly minor, Or it may be a major calamity . For trainees, it is important to experience some of these initial moments of struggle in a context where they have the established relationships in place for both guided independence and mentored reflection.25 In such a context, trainees would have the social support of colleagues they know, the advice of a supervisor who can act as a mentor or coach, and the certainty that they had been entrusted with caregiving for that patient. 

우리가 젊은 의사들에게 잘 풀리지 않은 상황에 대해서 감정적, 조직적, 그리고 잠재적인 법적 영향을 어떻게 대처하도록 가르칠 것인가가 뒤따라는 그들의 커리어에 영향을 미칠 것이다. 이러한 학습 기회를 위한 시간과 신뢰가 있을 때에만, 의사들이 도전을 성숙하고 건설적으로 다루고, 회복탄력성을 기르기 위한 전략을 개발할 수 있도록 돕는 것이 가능하다. 이러한 예기치 못한 사건들은 중요하고, 경험하는 데까지 시간이 걸리고, 예측할 수 없다. 따라서, 특정 맥락 내에서 보내는 시간은 곧 그러한 사건이 나타나기 위해 필요한 조건이다.

How we teach young doctors to cope with the emotional, organizational, and potential legal ramifications of situations that go awry will impact the rest of their careers. Helping physicians deal with challenges maturely and constructively and develop strategies for resiliency is possible only when there is the time and trust in place for such learning opportunities. These more or less unexpected events are important, take time, and are unpredictable. Time- in-context, therefore, is a necessary condition for such events to emerge.

역량의 개념

Exploring Conceptions of Competence

Sfard의 습득과 참여 은유 사이의 26 구분이 workplace learning에 대한 서로 다른 관점의 결과를 강조한다.

Sfard’s26 distinction between an acquisition and a participation metaphor highlights the consequences of different perspectives on workplace learning.

Sfard는 생각과 의사소통의 관계에 초점을 맞춘다. 1998년 신학 논문에서 그녀는 두 가지 배움의 은유를 묘사했다. 

Sfard’s work focuses on the relationship between thinking and communicating. In a seminal 1998 paper, she described two metaphors of learning. 

첫째, 습득 은유는 학습의 개별적, 인지적, 기술적 합리적 측면에 초점을 맞춘다. 이 비유에 따르면 CBTVT에서 교육 시스템은 학습자가 각자 서로 다른 속도로 성취를 이뤄나가는 동안 조정되어야 하는 것이며, 학습자가 요구되는 목표를 달성해나가는 것은 개인의 문제이다. 따라서 이 은유에서 조직 시스템, 임상 장치 및 의료 팀의 맥락 역할은 시간적 공간적 배경backdrop으로 취급된다. 이와 같은 '습득' 은유는 의학교육의 많은 면에서 확인된다. 예를 들어, 특정 근무지 공간세팅이 어떻든 관계없이 프로그램의 모든 연습생을 위한 고정된 학습 목표 세트가 그 사례이다. 모든 학습자가 역량 기반 의료 교육 모델에서 고정된 표준 목표의 달성을 보장하고자 추구pursuit할 경우에, 특히 CBTVT모델에서의 progress의 개념을 이러한 '표준 목표' 달성에만 의존하는 경우, 학습 맥락을 더 균일하게 만들어야 한다는 압력이 증가된다. 다양한 임상 작업장이 있는 세계에서 맥락의 균일성을 증가시킨다는 것은 단순히 인위적일 뿐만 아니라, 이는 학습자의 능력을 향상시키기 위한 강력한 도구인 "근무지 맥락의 가변성"을 빼앗길 위험이 있다.3

First, an acquisition metaphor focuses on individual, cognitive, and technical- rational aspects of learning. This metaphor positions us to frame the discussion on CBTVT as a matter of individuals attaining required objectives while the educational system adjusts to their differing paces of attainment. Consequently, the role of context—the organizational system, the clinical unit, and the health care team—is treated as a temporal and spatial backdrop. The acquisition metaphor of learning is recognizable in many aspects of medical education. It is exemplified, for instance, by a fixed set of learning objectives for all trainees in a program regardless of their specific workplace setting. The pursuit to ensure that all learners attain fixed, standard objectives in a competency- based medical education model may increase pressure on learning contexts to become more uniform, especially if we move toward a CBTVT model where progress solely depends on attaining these standard objectives. Not only is increasing uniformity of context artificial in a world of richly diverse clinical workplaces but it also risks robbing clinical training of a powerful tool for advancing learner competence—the variability of workplace contexts.3

이와는 대조적으로, Sfard의 참여 은유는 학습의 필수적인 구성요소로서 학습에 위치, 관계, 참여 및 컨텍스트를 접근한다. "참여적 학습" 이론도 의료 훈련과 관련된다.27,28 각각의 근무지 맥락은 독특한 학습 기회를 제공하며, 연구 결과 연습자들은 공식적인 written 커리큘럼에 포함된 내용과 무관하게, 환자 치료에 참여하는 경험을 통해 작업장이 제공해야 할 것을 배운다.3,29 이러한 관점에서 드러나는 것은, 역량이란 것은 학습자와 근무work의 situated exigencies 사이의 관계에 놓여 있으며, 여기에는 환자 프레젠테이션, 협업적 상호작용 및 조직 구조와 정책이 포함된다. 일반적으로 직장 학습을 이렇게 개념화할 때, 이는 [개인의 인식]을 넘어선다.30 그들은 의미가 형성되는 과정에서 사회적 특성의 중요성, 학습자의 발달 궤도에 대한 맥락적 영향, 그리고 학습자가 embed되어있는 문화적 경험의 다양성을 인식한다.3,24 이러한 참여적 성향을 CBTVT에 고려함으로써, 맥락적 변동성을 강조하고, 학습자가 실제 상황에서 요구하는 컨텍스트에 따른 역량을 인식하고 개발할 것을 기대하고 지원한다. 

In contrast, Sfard’s26 participation metaphor approaches learning as situated, relational, and participatory and context as an integral component of learning. Theories of participatory learning have also informed medical training.27,28 Each workplace context offers unique learning opportunities, and research shows that trainees learn what a workplace has to offer through the experience of participating in patient care, regardless of what is included in the formal, written curriculum.3,29 From this perspective emerges the notion that competence lies in the relationship between the learner and the situated exigencies of the work, including patient presentations, collaborative interactions, and organizational structures and policies. Generally, these conceptualizations of workplace learning go beyond the boundaries of an individual’s cognition.30 They recognize the importance of the social nature of meaning making, the contextual influences on learners’ developmental trajectories, and the plethora of cultural experiences in which learners are embedded.3,24 Adding this participatory orientation to discussions of CBTVT sets up the potential for programs to capitalize on contextual variation and to expect and support learners in recognizing and developing the context-bound competence that their practice context requires of them. 

이 두 가지 은유는 CBTVT의 토론을 통해 흐르는 근본적인 긴장감을 이해하는 데 도움을 준다. 역량은 개인의 특징인가, 아니면 개인과 그들의 맥락 사이의 의도적인purposeful 사회적 상호 작용에서 비롯되는 퀄리티인가? 합리적인 방법은 두 가지 옵션을 모두 수용하거나 적어도 어느 한 가지 옵션을 거부하지 않는 것이다.

These two metaphors help us to understand an underlying tension that runs through the debate on CBTVT—is competence an individual characteristic, or is it a quality that emerges from a purposeful social interaction between individuals and their context? A reasonable way forward would be to accept both options or at least not to reject either option.

실용적으로는, CBTVT의 관점에서 보자면, 이는 [학습자의 practice 환경에서 제공되는 상황별 기회]에 따라 [확장하고 세분화할 수 있는 최소 성과의 표준화된 집합]을 만드는 것을 의미할 수 있다.

Practically, in light of CBTVT, it could mean creating a standardized set of minimum outcomes which learners can expand on and refine according to the context-specific opportunities afforded in their practice settings.

맥락-기반 학습과 CBTVT

Context-Driven Learning and CBTVT

마지막으로, 우리는 역량이 개인의 속성일 뿐만 아니라 개인과 맥락의 목적적 사회적 상호작용에서 비롯되는 퀄리티라고 받아들일 때의 함의를 강조하고자 한다. 이러한 관점에서, 교육이란 [개인의 역량을 확보하는 것]일 뿐만 아니라, [학습자에게 의미 있는 경험을 형성하는 것]이다.31

Finally, we highlight the implications for learning and CBTVT when we accept that competence is not only an individual attribute but also a quality that emerges from a purposeful social interaction between individuals and their context. It requires us to adopt the perspective that education is as much about generating meaningful experiences as it is about attaining individual competence.31

학습자를 지원하고 도전하기 위한 맥락을 전략적으로 선택함으로써, "집단적 역량"이라 불리는 것에 접근해나갈 수 있으며, 또는 학습자가 더 큰 시스템에서 자신의 위치를 인식하도록 할 수 있다.

Strategically selecting contexts to create experiences that support and challenge learners could begin to approach what has been called “collective competence” or the degree to which learners can recognize their place in the larger system

다양한 종류의 의료진이라는 맥락에 참여하는 경험도 고려해볼 수 있으며, 이러한 경험을 전략적으로 구성하여 학습을 진전시킬 수 있다. 팀은 부문별(예: 의학)에서 부문간(예: 가족 보건 팀)에 이르기까지, 그리고 공동 배치(예: 수술실)에서 분산(예: 완화의료)에 이르기까지 다양하다.

The experience of participating in different kinds of team contexts could also be considered and strategically organized to advance learning; teams range 

• 과별 from discipline specific (e.g., medicine) 

• 과간 to interdisciplinary (e.g., family health team), and 

• 같은 장소 from colocated (e.g., operating room) 

• 다른 장소 to distributed (e.g., palliative care).

이론적으로 보자면, 의미 있는 경험을 할 가능성이 높은 환경에서 머물르는 것을 지향하는 교육모델에서는 시간에 제한을 두지 않는다. 새롭고 의미 있는 경험을 접할 확률이 점차 감소했을 때, 이것이 다음 학습 환경으로 나아가야 할 때라는 지표가 될 수 있다. 이러한 통찰력은 그러한 placement에 대한 최소한의 표준 학습 목표를 달성하는 것과 결합될 수 있으며, 이는 학습의 획득과 참여 은유 모두를 포함하는 CBTVT 모델로 이어질 수 있다.

In theory, an educational model aimed at placing learners in environments with a high probability of meaningful experiences has no clear time limit. The gradual decline of the probability of encountering new and meaningful experiences could be an indicator that it is time to move on to a new learning environment. This insight could be combined with having attained a minimum set of standard learning objectives for that placement, leading to a model of CBTVT that encompasses both an acquisition and a participation metaphor of learning.

마지막으로, 우리는 이 모델에서는 학습자가 로테이션을 통해 잠재적으로 더 빠르게 또는 더 느리게 움직일 수 있음을 인식해야 한다.

Finally, we must be aware of the possible impact of a model where learners potentially move faster or slower through rotations,

고도로 개별화된 시간 변동성은 경험이 많은 학습자가 다른 컨텍스트로 빠르게 이동할 경우, 피어티칭에 이용할 수 있는 유능한 학습자의 수를 계속 줄여나가게 된다. 게다가, 각 의료팀은 늘상 일반적으로 초심자 멤버를 더 많이 갖게 될 것이다. 따라서 시간 변동성, 특히 훈련의 조기 완료는 더 많은 초보 팀 구성원을 가르치는 데 기여할 수 있었던 유능한 학습자를 제거함으로써 개별 학습자에게 영향을 미칠 뿐만 아니라 학습 환경에도 영향을 미친다.

Highly individualized time variability could reduce the number of competent learners available for (near-) peer teaching if more experienced learners quickly move on to other contexts. In addition, teams would then generally have more novice members. Therefore, time variability, particularly early completion of training, not only influences an individual learner but also influences the learning environment by removing competent learners who could have contributed to teaching more novice team members.

만약 우리가 맥락을 배움의 배경backdrop으로만 다룬다면, 우리는 잠재적으로 우리의 학습자들에게 중요한 맥락 관련 학습 기회를 빼앗을 것이다. 여기에 의료 교육자와 학습자의 난관이 있다. CBTVT 모델에서 교육과정이란 [일단 학습자가 습득하기만 하면 다음 맥락으로 이동하는 set of learning targets]가 되어서는 안 된다.

If we treat context only as a backdrop for learning, then we potentially rob our learners of valuable context-related learning opportunities. Herein lies a challenge for medical educators and learners. CBTVT models should not treat the curriculum as a set of learning targets that, once obtained, allow learners to move on to new contexts.

우리는 모든 학습자가 직장에서 많은 표준적이고 사전 설정된 학습 목표를 충족해야 하지만 전략적으로 조직된 학습 환경 내에서 추가적인 맥락별 역량 개발과 개인적 성장을 위한 여지를 남기는 대안을 제안한다.

We propose an alternative that recognizes that all learners will have to meet a number of standard, preset learning targets in their workplace but that leaves room for further context-specific competence development and personal growth within learning environments that have been strategically organized.

우리는 공간적 배경보다는 교육 전략으로 맥락을 활용하는 것이 CBTVT를 강화시킬 것이라고 주장한다.

We contend that using context as an educational strategy rather than a spatial backdrop promises to strengthen CBTVT.

Acad Med. 2018 Mar;93(3S Competency-Based, Time-Variable Education in the Health Professions):S22-S26. doi: 10.1097/ACM.0000000000002070.

Learning in Practice: A Valuation of Context in Time-Variable Medical Training.

본과3학년에 대한 학대가 문제가 아닐지도 모른다(Med Teach, 2017)

Mistreatment of medical students in the third year may not be the problem

Stuart J. Slavina and John T. Chibnallb

aDepartment of Pediatrics, Office of Curricular Affairs, Saint Louis University School of Medicine, St. Louis, MO, USA; bDepartment of Neurology and Psychiatry, Saint Louis University School of Medicine, St. Louis, MO, USA

의대 학생들의 학대와 학대는 미국 전역의 의대에서 상당한 문제로 인식되어 왔다(Fnais et al. 2014). 전국의 모든 졸업 의대생들에게 배포되는 의대 졸업 설문지(AAMC 2016)는 학생들에게 

• 공개적인 모욕, 

• 신체적 피해, 

• 원치 않는 성적 접촉, 

• 인종, 성별, 성적 성향을 이유로 낮은 평가나 성적

...을 포함한 17가지 특정 유형의 학대에 대한 일련의 질문을 하는 전체 섹션을 가지고 있다.

Mistreatment and abuse of medical students has been recognized for some time as a significant problem in medical schools across the US (Fnais et al. 2014). The Association of Medical Colleges Graduation Questionnaire distributed to every graduating medical student in the country (AAMC 2016) has an entire section in which it asks students a series of questions about 17 specific forms of mistreatment including 

• public humiliation, 

• physical harm, 

• unwanted sexual advances, and 

• lower evaluations or grades because of race, gender, or sexual orientation.

"대부분의 학생들은 3년 동안 적어도 한 번은 어떤 형태의 학대를 보고하였다." (Fried et al. 2012년)

“the majority of our students continued to report some form of mistreatment at least once during their third-year clerkships” (Fried et al. 2012).

LCME는 의과대학에 다음과 같은 기준을 요구하고 있다. 

"의학 교육 프로그램에서 교수-학생 관계에 대한 전문적 행동강령을 정의 및 공표하고, 코드 위반을 다루는 효과적인 서면 정책을 개발하고, 불만사항에 대한 신속한 대응을 위한 효과적인 메커니즘을 갖추고, 부적절한 행동을 방지하기 위한 교육 활동을 지원한다.(LCME 2015).

The Licensing Commission on Medical Education has a standard that requires that a medical school 

“defines and publicizes its code of professional conduct for faculty–student relationships in its medical education program, develops effective written policies that address violations of the code, has effective mechanisms in place for a prompt response to any complaints, and supports educational activities aimed at preventing inappropriate behavior” (LCME 2015).

이러한 학대에 대한 오해는 두 가지 주요한 방법으로 존재한다. 첫째, 학대가 사실 다양한 근본적 원인이 있을 수 있는 증상으로 볼 수 있음에도, 학대는 가해자의 비전문적태도unprofessionalism에 대한 "진단"으로 간주되는 경향이 있다.

This misperception of mistreatment exists in two primary ways. First, mistreatment has tended to be viewed as a “diagnosis” of unprofessionalism of the perpetrator when it may be more appropriately viewed as a symptom with a range of possible underlying causes.

널리 퍼져있는 것으로 보이는 두 번째 오해는 학대와 학생들의 행복, 고통, 그리고 공감을 떨어뜨리는 것 사이의 관계가 분명하다는 믿음이다. 그렇지 않다.

The second misconception that appears to be prevalent is the belief that the link between mistreatment and student well-being, distress, and falling empathy is clear. It’s not.

Table 1. Rating of impact of sources of demoralization.

고찰

Discussion

만일 우리가 3학년 의대생들의 정신건강을 향상시키려면, 학대를 줄이거나 없애는 것이 가장 효과적인 전략이 아닐 것이다. 만약 우리가 불행한 교수와 레지던트에게, 그들이 학생들을 학대하는 것을 중단하게 하더라도, 그들은 여전히 불행하게 남는다면, 그들이 학생들을 위한 교육 환경에 기여하고 있는 독성은 남아있을 것이다. 안타깝게도, 많은 기관에서 사용되는 의대 학생들의 학대를 방지하기 위한 일차적인 접근법은 교직원(및 레지던트)에게 그런 행동을 하지 말라고 말해주는 것이다.

If we are going to improve the mental health of third-year medical students, making reduction or elimination of mistreatment a primary focus may not be the most effective strategy. If we take a resident or faculty member who is unhappy and get them to stop mistreating students but they remain unhappy, then the toxicity that they are contributing to the educational environment for students may remain. Unfortunately, the primary approach to prevent mistreatment of medical students used at many institutions appears to be to tell faculty (and residents) not do it

주민과 교직원의 과로와 우울증이 만연하고 있다는 점을 감안할 때, 불행한 주민들과 교직원들과 함께 일하는 것이 SLU 3학년 학생들에게 가장 높은 사기를 떨어뜨리는 요소라는 것은 놀랄 일이 아니다.

Given the high prevalence of burnout and depression in residents and faculty, it should be no surprise that working with unhappy residents and faculty were the highest rated demoralizing factors for SLU third-year students.

근본적인 원인에 대한 평가와 관리를 하는 동안, 교수진은 계속해서 전문가답지 않은 행동을 하는 것은 용납될 수 없다는 분명한 메시지를 여전히 받을 필요가 있다. 원인은 그 행동에 대한 핑계excuse가 아니라 그 행동에 대한 설명explanation으로 보아야 한다.

While assessment and management of underlying causes moves forward, the faculty member needs to still receive the clear message that continuing unprofessional behavior is not acceptable. Causes should be seen as an explanation of, not an excuse for, the behavior.

Mistreatment를 '진단'으로 보든 것이 아니라 '증상'으로 볼 때 이런 노력이 더 효과가 있을 것이다.

Seeing mistreatment for what it is, a symptom rather than a diagnosis may make those efforts more impactful.

Med Teach. 2017 Aug;39(8):891-893. doi: 10.1080/0142159X.2016.1270438. Epub 2017 Jan 18.

Mistreatment of medical students in the third year may not be the problem.

루머와 가십에 효과적으로 대응하기(J Grad Med Educ, 2018)

Helping Program Directors Effectively Manage Rumors and Gossip

Mariam Rahmani, MD

진화적인 관점에서, 가십은 자기 잇속만 증진하고 외부인을 멀어지게 하는 데 사용될 수 있다.2 직장에서, 가십은 꽤 흔하며, 1 온라인 여론조사는 미국 근로자들의 90%가 그 행동에 참여한다는 것을 보여준다.3 비슷한 숫자는 다른 나라에서 추정되고, 감소될 수 있다.4생산성을 높이고 사기를 떨어뜨리다 한 연구에 따르면, 직원들이 자신들을 사실이라고 믿는지 여부와 상관없이, 그들이 불리한 대우를 받기 위해 조직에 복수를 하려는 의도에 따라, 소문을 퍼뜨릴 가능성이 더 높은 것으로 나타났다. 5 또 다른 조사는 미국 사무실의 96%가 가십에 참여했다고 시인했지만, 심지어 여러 가지 긍정적인 측면도 있다는 것을 보여주었다.대화 중 72%에서 사적이고 부정적인 가십, 주로 21%에서 긍정적인 가십, 그리고 7%에서만 부정적인 가십을 주로 한다.6

From an evolutionary perspective, gossip can be used to advance self-serving interests and develop closeness at the expense of alienating outsiders.2 In a workplace setting, gossip is quite common, with 1 online poll showing 90% of US workers participate in the behavior.3 Similar numbers are estimated in other countries.4 Rumors can waste time, reduce productivity, and lower morale. One study has shown that employees are more likely to transmit rumors, regardless of whether they believe them as true, when the motivation is to seek revenge on the organization for unfavorable treatment.5 Another survey showed that although 96% of employees at a US office setting admitted to participating in gossip, there was an even mix of positive and negative gossip in 72% of the conversations, predominantly positive gossip in 21%, and predominantly negative gossip in only 7%.6

프로그램 이사(PD)

program directors (PDs)

레지던트 훈련 동안 오랜 시간 함께 일하는 것은 동지애를 형성하지만, 또한 소문을 퍼뜨리는 장소가 될 수도 있다.7

Working together for long hours during residency training builds camaraderie, but may also serve as a breeding ground for gossip.7

PD가 훈련 프로그램에 영향을 미치는 루머에 노출되었을 때, PD는 그것을 관리할 준비가 되어 있지 않을 수 있다.

when a PD is exposed to a rumor that affects the training program, he or she may not be equipped to manage it.

이 프레임워크는 니모닉 'RUMR' (FIGURE)을 구성하는 4가지 단계를 포함한다.

This framework includes 4 steps that comprise the mnemonic ‘‘RUMR’’ (FIGURE).

• 1. 관심 보이지 않기. 루머에 대해 깊은 관심을 보이는 것은 피해야 하며, 이것은 루머가 퍼지는 것을 막는데 도움이 될 수 있다.

• 2. 다양한 이해관계자에게 미치는 소문의 영향을 파악한다(주민, 교직 학생, 교수진, 행정직, 환자 등).

• 3. 소문을 다루거나 무시하는 것에 대한 찬반 양론을 측정하라.

• 4. 적절한 경로를 통해 교정 및 교정.  소문에 대한 언급이 필요한 경우, PD가 감독자와 함께 또는 없이 주도할 수 있는지 여부를 고려하고, 필요에 따라 기관의 GME 리소스 또는 인사부 회의를 소집하고, 사용할 통신 채널을 결정하십시오.

• 1. Remain indifferent. Avoid showing keen interest in the rumor, which can help discourage the rumor from spreading.

• 2. Understand the impact of the rumor on various stakeholders, including but not limited to the residents, rotating students, faculty, administration, leadership, and patients.

• 3. Measure the pros and cons of addressing or ignoring the rumor.

• 4. Remedy and redress through appropriate route. If the rumor needs to be addressed, consider whether it is appropriate for the PD to take the lead with or without a supervisor, seek the council of the institution’s GME resources or HR department as needed, and determine which communication channels to use.

근무지에서 사적 관계

Personal Relationships at Work

직장 내 낭만적인 관계는 일반적이며, 일부 설문조사는 약 40%에서 50% 정도의 널리 퍼져있는 것으로 나타나며, PD는 이를 무시해서는 안 되며, 제3자의 소문에 대한 세부정보를 구하지 말고(제1단계는 무관심한 상태) 레지던트의 업무에 집중해야 한다. 만약 이 로맨틱한 관계가 그들의 업무 수행에 영향을 미치지 않는다면, 그것은 다루어질 만큼 충분히 중요하지 않을 것이다.

Workplace romantic relationships are common, with some surveys showing a prevalence of roughly 40% to 50%.9,10 When faced with the rumor of a romantic relationship involving 2 single residents, the PD should not ignore it, but avoid soliciting details about the rumor from third parties (step 1, remain indifferent) and focus on the residents’ work performance. If the romantic relationship does not affect their work performance, it is likely not significant enough to be addressed.

불륜을 저지르는 1명의 레지던트나 2명의 레지던트가 모두 연루돼 있다면 상황은 불투명해진다. 이 경우, 소문의 영향은 업무 수행 또는 레지던트의 정서적, 사회적 복지에 미칠 수 있는 영향에 의해 측정될 수 있다(2단계는 영향을 이해한다).

The situation becomes murky if the rumor involves 1 or both residents who are in committed relationships with other people having an affair. In this case, the impact of the rumor may be gauged by work performance or by the potential impact on the residents’ emotional and social well-being (step 2, understand the impact).

다음 단계는 루머를 다루는 비용이 이를 무시하는 비용보다 큰지 평가하는 것이다(3단계). 이 경우 이 소문을 계속 방치하면 레지던트들의 명성에 해가 될 수 있으며, 결국 그들이 알게 되면 동료들이 사전에 그들에게 말하지 않은 배신감을 심어줄 수 있다. 반면에, 그 소문을 인정하거나 다루는 것은 그 소문을 믿을 수 있는 기회를 가지고 있어서, 그 소문을 퍼뜨릴 위험을 가지고 있다. 하지만, 이 소문을 피해자들에게 알림으로써 그들이 상황이 어떻게 관리되고 있는지에 대한 발언권을 갖도록 하는 데 힘을 실어줄 수 있다.

The next step is to assess whether the cost of addressing the rumor outweighs the cost of ignoring it (step 3, measure the pros and cons of taking action). In this case, letting the rumor continue could possibly result in harm to the residents’ reputations, and, when they eventually find out, instill in them a sense of betrayal that their colleagues did not tell them earlier. On the other hand, acknowledging or addressing the rumor has the chance of giving it credence, thereby risking its spread. However, informing the victims of the rumors also empowers them to have a say in how the situation is managed.

레지던트와 대화하는 방법을 고려한 4단계(적절한 경로를 통해 루머를 바로잡고 바로잡기) 이 경우 PD가 주민과 직원과 대화해 소문이 프로그램 문화에서 사라지는 것을 기대해 보는 것이 적절할 것이다. 이 소문에 연루된 주민에 대해서는 인사부나 GME 대표 등 제3자를 포함하면 레지던트들이 자신의 업무 성과를 평가하지 않는 사람과 더 편하게 지낼 수 있다는 이점이 있다.

The fourth step (remedy and redress the rumor through appropriate route) considering how to talk to the residents. In this case, it would be appropriate for the PD to talk to the residents and staff as a group to set expectations that rumors are discouraged in the program’s culture. Regarding the residents involved in the rumor, a potential benefit of including a third party such as an HR representative or a GME representative is that the residents may feel more comfortable with someone who does not evaluate their job performance.

PD가 레지던트와 담당 교수와의 로맨틱한 관계에 대한 소문을 듣게 되면 (소문의 영향을 이해하고) 2단계의 관련성이 명확해진다. 교직원과 교직원의 힘의 차이가 학습자의 학대와 성희롱으로 이어질 수 있기 때문이다. 이는 성희롱을 유발할 수 있기 때문이며, 이는 프로그램과 기관에 대한 법적 책임이 될 수 있다.

If the PD hears a rumor about a resident being involved in a romantic relationship with a supervising faculty member, the relevance of the second step (understanding the impact of the rumor) is clear, as the power differential between the resident and the faculty member can lead to learner mistreatment and sexual harassment, which can create liability for the program and institution.

이것의 결과는 중요하고 복잡하다; 부서장, 기관의 인사부, GME 사무실을 포함한 여러 당사자가 참여해야 할 수도 있다. PD는 낭만적인 관계에 있는 사람들이 서로를 감독하거나 평가하지 않도록 해야 하며, 이것은 순환 일정과 통화 일정을 변경해야 할 수도 있다. PD는 또한 관련 당사자들에게 다른 당사자의 임무, 성적, 급여 또는 승진을 결정하지 않도록 족벌주의 협정을 체결할 것을 요청할 수도 있다. 이는 편애를 피하고 개인의 평가가 개인적인 감정보다는 업무 성과에 기초하도록 하는 데 도움이 된다.11,12

The ramifications of this are significant and complicated; multiple parties, including the department’s chair, the institution’s HR department, and the GME office, may have to be involved. The PD must ensure that those in a romantic relationship do not supervise or evaluate each other, which may require changing the rotation schedule and the call schedule. The PD may also ask the involved parties to enter into a nepotism agreement, so that one does not determine the other’s assignment, grade, salary, or promotion. This helps to avoid favoritism and ensure that an individual’s evaluation is based on work performance rather than personal feelings.11,12

인력 턴오버 

Personnel Turnover

직원 이직은 레지던트 프로그램을 포함한 모든 직장의 불가피한 부분이다. 여기서 우리는 4단계 프레임워크 (RUMR)를 교직원이 자신의 부서를 떠날까봐 걱정하는 소문을 듣는 PD에게 적용한다. 

• PD는 1단계(관심 없이)로 소문교환을 하지 않는다. 

• 두 번째 단계(충돌을 알아본 뒤)에 따라 PD는 이 소문이 레지던트들을 걱정하게 만들 정도로 중대하다는 것을 깨닫는다. 

• 세 번째 단계(소문에 대처하거나 무시하는 측정 장단점)로서 PD는 주민들이 겪는 예상 스트레스와 프로그램 지도부의 신뢰성과 신뢰를 고려한다. 

• 네 번째 단계(적절한 경로를 통해 치료하고 바로잡기)인 만큼 훈련 프로그램을 포함하기 때문에 제3자를 포함하기보다는 PD가 이 소문을 다루는 것이 더 적절하다.

Personnel turnover is an unavoidable part of any workplace, including residency programs. Here we apply the 4-step framework (RUMR) to a PD who hears a rumor that residents are worried a faculty member may leave their department. 

• As the first step (remain indifferent), the PD does not engage in the rumor exchange. 

• As the second step (understand impact), the PD realizes that the rumor is significant enough to cause the residents to worry. 

• As the third step (measure pros and cons of addressing or ignoring the rumor), the PD takes into account the anticipatory stress experienced by the residents and the credibility and trust of the program leadership. 

• As the fourth step (remedy and redress through appropriate route), it is more appropriate for the PD to handle this rumor rather than including a third party because it involves the training program.

차별적 대우

Preferential Treatment

레지던트들 사이에 강한 감정을 불러일으킬 수 있는 세 번째 유형의 소문은 일부 주민들에 대한 불공정하거나 특혜적인 대우로, 나머지를 (실제 또는 인식된) 불이익에 놓이게 하는 것이다.

A third type of rumor that can evoke strong feelings among residents is unfair or preferential treatment of certain residents, placing the rest at a (real or perceived) disadvantage.

• 첫 번째 단계로, PD는 소문을 알아채고 관여하지 않는다. 

• 두 번째 단계로, PD는 이 소문의 중요성을 평가한다. 직원들의 업무 만족도와 동기 부여는 한 집단의 차별에 대한 평등의식과 감정적 반응에 대한 개인의 믿음에 달려 있는 것으로 밝혀졌기 때문에, PD는 이 소문이 다뤄질 필요가 있다고 판단한다. 

• 이 소문은 레지던트와 PD의 레지던트 관련 결정과 관련이 있기 때문에 PD는 레지던트를 직접 만나 협의나 휴가(적절한 경로를 통해 치료 및 재정비)를 결정할 때 사용하는 정책과 기준을 설명한다. 

• 만약 이 문제를 해결해야 한다면, PD는 특혜를 바로잡기 위해 모든 노력을 기울인다. PD는 또한 모든 레지던트들이 볼 수 있는 공유 포털에서 휴가 일지나 회의 일지를 이용할 수 있게 함으로써 투명성을 높일 수 있다. PD가 더 정확한 정보를 제공할수록 레지던트들이 자신의 설명으로 공백을 메울 수 있는 공간이 줄어들게 된다.1

As the first step, the PD notices the rumor and does not engage in it (remain indifferent). As the second step, the PD evaluates the significance of this rumor (understand the impact). Because employees’ work satisfaction and motivation have been shown to be contingent on one’s beliefs about parity and emotional reactions to discrimination against one’s group,13 the PD decides that this rumor needs to be addressed (measure pros and cons of addressing). Because this rumor involves residents and the PD’s decisions about residents, the PD meets with the residents in person to explain the policies and criteria used to decide which residents get to attend conferences or take leave (remedy and redress through appropriate route). If the concern has merit, the PD makes every effort to correct the preferential treatment. The PD can also increase transparency by making a leave log or conference log available in a shared portal that all residents can view. The more accurate information the PD can provide, the less room for residents to fill in the gaps with their own explanations.14

J Grad Med Educ. 2018 Dec;10(6):616-619. doi: 10.4300/JGME-D-18-00380.1.

Helping Program Directors Effectively Manage Rumors and Gossip.

수용과 분투: 정체성, 암묵적 편향 인식, 관리(Acad Med, 2018)

Striving While Accepting: Exploring the Relationship Between Identity and Implicit Bias Recognition and Management

Javeed Sukhera, MD, DABPN, FRCPC, Michael Wodzinski, Pim W. Teunissen, MD, PhD,

Lorelei Lingard, PhD, and Chris Watling, MD, FRCPC, PhD

편견은 어디에나 있다. 

• 명시적 편견은 의식적인 태도나 특정 그룹에 대한 의도적인 차별을 포함한다.1 

• 대조적으로, 암묵적 편견은 그들의 인식 밖의 개인들에게 강력한 영향력을 행사하는 태도나 행동을 포함한다.2–4 이러한 암묵적인 편견은 불평등을 확대하고 환자와 보건 전문가 간의 신뢰를 감소시킴으로써 건강 불균형을 영속화할 수 있다.

Bias is everywhere. 

• Explicit biases include conscious attitudes or intentional discrimination toward certain groups.1 

• In contrast, implicit biases include attitudes or behaviors that exert a powerful influence over individuals outside their awareness.2–4 These implicit biases can perpetuate health disparities by widening inequities and decreasing trust between patients and health professionals.

이에 대응하여, 교육자들은 의료 서비스에 대한 암묵적 편견의 부작용을 완화하기 위해 잠재적인 개입을 연구하고 있다.9~16 이전의 연구는 편견이 어떻게 인식되는지, 그에 따른 긴장감이 발생한다는 것, 그리고 이것이 반성과 화해를 필요로 하는 과정을 촉발시킨다는 것을 밝혔다.

In response, educators are identifying potential interventions to mitigate the adverse impact of implicit bias on health care.9–16 Previous research describes how once biases are brought into awareness, there is an ensuing tension,14 which triggers a process that requires reflection and reconciliation.15–20

IAT(Implicated connection test)는 참가자들에게 단어를 연결하고 특정 개념 사이의 자동 연관성을 평가하도록 요청하는 온라인 응답 시간의 메트릭이다.18

implicit association test (IAT), is an online metric of response time that asks participants to associate words and assess automatic associations between certain concepts.18 

IAT는 응답 대기 시간을 측정하며, 암묵적 편견의 메트릭스로서 사용을 서포트하는 몇 가지 심리학적 특성을 보여주었다.18,21–27 IAT로부터 받은 피드백 정보는 수치나 죄책감과 같은 오래 지속되고 강력한 감정을 촉발할 수 있으며, 이런 감정을 마주칠 때마다 재협상renegotiation을 필요로 한다.

The IAT measures response latency and has demonstrated several psychometric properties that support its use as a metric of implicit bias.18,21–27 Feedback information from the IAT may trigger long-lasting and powerful emotions such as shame or guilt,28,29 which require renegotiation each time they are encountered.30–33

참여자들은 자신의 편견에 대한 피드백 정보를 조정reconcile하는데 애를 썼는데, 사실상 비현실적인 스스로의 열망적과 모순된다는 것을 발견했기 때문이다.19 우리의 초기 발견의 함축적 의미는 anti-bias 교육은 [의료 전문가들이 비현실적이고 완벽주의적인 기준을 고수하는] 문화 내에서 일어난다는 것이며, 이러한 기준은 정신적 고통과 자기 의심을 불러일으킨다.

Participants struggled to reconcile feedback information about their biases, as they found it inconsistent with an aspirational version of themselves that seemed unrealistic to achieve.19 The implications of our initial findings suggest that antibias education takes place within a culture where health professionals hold themselves to unrealistic and perfectionistic standards,34,35 which contributes to psychological distress and self-doubt.36

어떤 건강 전문가에게 있어서, 자신이 암묵적 편견을 가지고 있다는 것을 안다는 것은 자신의 이상적인 자기 표현과 일치하지 않을 것이다.

For any health professional, learning that they hold implicit biases is unlikely to align with their ideal self-representation.

정체성과 암묵적 편견 관리 사이의 관계를 탐구하기 위해, 우리는 정신 의학 레지던트와 교수진 사이의 신체적 또는 정신질환을 가진 개인들에 대한 암묵적 위험 편견을 탐구하기로 결정했다. 많은 정신 건강 전문가들은 destigmatization을 그들 역할의 일부로 보고 있기 때문에, 환자들에 대해 분명히 긍정적인 편견을 가지고 있는데, 이것은 그들의 암묵적인 편견과 항상 일치하지는 않는다.37–39 위험에 대한 명백한 태도와 암묵적인 편견 사이의 불일치는 발생할 때마다 처리되고 협상되어야 하는 개인 내에서 긴장을 야기할 수 있다.

To explore the relationship between identity and implicit bias management, we chose to explore implicit dangerousness biases toward individuals with physical or mental illness among psychiatry residents and faculty. Many mental health professionals view destigmatization as part of their role and therefore hold explicitly positive biases toward their patients, which do not always align with their implicit biases.37–39 This discrepancy between explicit attitudes and implicit biases about dangerousness may create tensions within an individual that must be processed and negotiated whenever they arise. 

방법

Method

In this study, we defined implicit bias as associations, attitudes, or beliefs that exist and enact their influence outside of an individual’s conscious awareness.

풍부한 그림은 복잡하거나 도전적인 상황의 개념화를 더 잘 이해하기 위해 건강 전문가 연구에 이전에 사용되어 왔다. 우리는 감정적으로 도전적인 상황이라고 생각되는 상황에 대한 더 깊은 탐사를 촉진하기 위해 시각적인 방법을 선택했다. 특히, 우리는 풍부한 그림이 암묵적 가정을 명시하는 것과 관련된 질적 인터뷰를 통해 어려움과 한계를 해결할 수 있기를 바랐다. 참가자들 중 한 명이 찍은 풍부한 그림의 예는 그림 1과 같다.

Rich pictures have been used previously in health professional research to better understand conceptualizations of complex or challenging situations.49,50 We chose a visual method to foster deeper exploration of what we believed was an emotionally challenging situation. In particular, we hoped that a rich picture might address difficulties and limitations with a qualitative interview related to making implicit assumptions explicit.49 An example of a rich picture by one of our participants is provided as Figure 1.

We used constructivist grounded theory to conduct our study as we worked on existing research to build theory toward a social process that is not well explained by an established theoretical construct.51–53 

• Constructivism assumes that individuals construct their understanding and knowledge of the world through a cycle of experience, reflection, and action.54 

• Once interviews were recorded and transcribed, coding and inductive analysis were conducted by a team consisting of J.S. and M.W. J.S. and M.W. met regularly, revising the discussion guide and ensuring that analysis was consistent with an effort to theoretically sample resident learners and faculty. 

• Partway through the analysis, we found that several participants struggled with visual representations, so we chose to add visual prompts (Figure 2) to encourage reflection. Because of the limited number within our recruitment pool, we included full-time and part-time faculty and junior and senior resident learners. 

• The first seven transcripts were transcribed and coded line-by-line by J.S. and M.W. Subsequent transcripts were coded line-by-line by J.S., who used constant comparative analysis and shifted toward focused consolidation of codes and analysis of relationship among themes. 

• At regular intervals, analysis was shared and discussed with the team who worked toward the development of an explanatory theory and synthesized overall findings.

결과

Results

정체성 긴장을 인정하기

Acknowledging identity tensions

일단 그들이 그들의 암묵적인 편견에 대한 피드백을 제공받자, 대부분의 참여자들은 (그들의 경험을 통해) 자신의 정체성을 구획화하고 분류한다는 것을 인정했다. 정신병을 앓고 있는 환자들과 함께 일하는 것의 요구는 그들이 달성하기 불가능한 이상을 추구하기 위해 그들 자신에게 가하는 압력에 영향을 미치는 것처럼 보였다. 편견이 어떻게 조화를 이루느냐는 질문에 한 레지던트는 편견(R04)을 인식하고 관리하기 위해 개인적 정체성과 전문직업적 정체성을 (지속적으로 재보정해야 하는) "필터"를 가지고 어떻게 구분해 왔는지를 설명했다. 

Once they were provided feedback about their implicit biases, most of our participants acknowledged categorizing and compartmentalizing their identities as part of their experiences. The demands of working with patients with mental illness appeared to influence the pressure they place on themselves to strive for an ideal that was impossible to achieve. When asked how they reconcile bias, one resident described how they have compartmentalized personal and professional identities separated by a “filter” that they must constantly recalibrate to recognize and manage biases (R04). 

또 다른 레지던트는 자신의 개인적 정체성과 직업적 정체성의 차이를 묘사하기 위해 "산"을 그렸다. 또한 여러 참가자는 자신의 실제 모습을 묘사하기 위해 "클라우드"를 사용하거나 이상적 자아와 관련된 "햇볕"을 사용하는 날씨 은유를 설명했다(F02, R05, F06). 전반적으로, [참가자들은 차분하고, 자신감 있고, 편견이 없는 이상적인 직업 정체성]과 [자신의 개인적인 경험의 산물인 실제 정체성]을 대조했다.

Another resident drew a “mountain” to depict the divide between their personal and professional identities (R07). Several participants also described weather metaphors using “clouds” to describe their actual self or with “sunshine” related to their ideal self (F02, R05, F06). Overall, participants contrasted an idealized professional identity that was calm, confident, and unbiased with an actual identity that was vulnerable and a product of their personal experiences.

열망하는 전문직업적 자아는 노력할 가치가 있는 이상적인 존재로 여겨졌다. 일부 교수진은 편향되지 않도록 "압력"을 일으키는 전문적 정체성을 개발했다고 설명했다(F03; F10). 교수진의 한 참석자는 "판단적이지 않는 태도를 취하는 것이 내 임무의 일부라고 생각하며, 이것은 내가 직장에서 원하는 것이다. 그러나 이러한 태도를 집이나 회사 밖에서도 취하는 것은 이상적이다.(F07)"

The aspirational professional self was viewed as an ideal worth striving for. Some faculty described that they have developed a professional identity which contributes to “pressure” to not be biased (F03; F10). A faculty participant shared, “I feel like it’s part of my job to not be judgmental and that’s something I want at work … it’s an ideal, you know, at home or outside of work too” (F07),

한 레지던트는 레지던트 훈련(R01)에서 [직업적 정체성은 자신의 진정한 자아 발달발을 대체supercede하는 일종의 과장된 정체성]이라고 설명했다. 그 주민은 이렇게 말했다. "우리 모두는 편견을 가지고 있지만 전문직 종사자들은 편견을 가지고 있지 않은 것 같다. 내가 가진 편견이 무엇이든 간에, 나는 다소 줄이고 싶거나 적어도 그 편견을 인지하고자 한다 " (R01). 레지던트와 교수진 모두 이상화된 자아를 향한 노력과 관련된 과정이나 노력이 있었다는 것을 인정했다.

A resident described the professional identity as being a sort of superordinate identity that “supersedes” the development of their authentic self during residency training (R01). The resident went on to say: “I guess we all have bias but professionals do not have bias. Whatever biases I do have, I either want to kind of reduce or at the very least, be aware of ” (R01). Both resident and faculty participants acknowledged that there was a process or struggle associated with striving toward their idealized self.

There was variation in participants’ description of how they balanced striving with accepting. Some emphasized the need to self-improve, some emphasized acceptance, and one suggested that they had already reached what others strive for. One participant described that they had close to “full insight” and stated, “I pretty much know who I am, and with all the biases and everything, I am aware of this” (F10). Although this individual felt they had come close to reaching what others strive for, they continued to emphasize the need to keep striving. Another faculty participant offered an alternative perspective, stating that they reconcile tensions by

관계의 역할

The role of relationships

대부분의 참여자들은 관계를 통해 정체성의 긴장을 조정했다. - 암묵적 편견은 혼자서는 관리할 수 없음을 강조했다. 몇몇 교수진들은 긴장을 조정하기 위해 다른 사람들과의 공유를 어떻게 중시하는지 설명했다.

Most participants reconciled identity tensions through relationships— emphasizing that implicit bias cannot be managed alone. Several faculty described how they valued sharing with others to reconcile their tensions.

교직원과 레지던트들은 교사와 학습자 사이의 관계를 통해 어떻게 reconcilation를 이룰 수 있는지에 대한 설명에서 차이를 보였다. 

• 대부분의 교수진 참가자들은 자신들을 "롤모델"이라고 표현했고, 

• 대부분의 레지던트들은 교수 멘토의 지침의 필요성을 강조했다. 예를 들어, 그들이 어떻게 편견을 조화시키는지를 설명할 때, "지속적으로 내성적이고 명상".

Faculty and residents differed in their description of how reconciliation is achieved through the relationships between teachers and learners. Most faculty participants described themselves as “role models” (F02, F03, F05, F06, F08, F10, F11), while most residents emphasized the need for guidance from faculty mentors. For example, when describing how they reconcile biases by “constantly introspecting and meditating,”

대부분의 레지던트들이 암묵적 편견을 인식하고 관리하는 데 있어 교수진의 potential을 언급했지만, 교수진이 이러한 노력을 지원할 수 있는지에 대해서는 의견이 엇갈렸다.

While most residents mentioned the potential of faculty mentors in helping them to recognize and manage implicit biases, there were variable responses on whether faculty could support these efforts.

레지던트들은 또한 멘토들이 안전의 맥락에서 명확성과 확신을 가져올 수 있을 뿐이라고 언급했다. 한 레지던트는 교수 멘토마다 variation이 커서 예측 불가능하다(R01)라는 인식이 지속됐고, 또 다른 레지던트는 편견에 대한 성찰을 장려한 교직원의 수가 "소수"에 불과했으며, 레지던트들이 "외부적 조언을 구하도록" 권장된 편견에 대해 교수들이 "공식화된 교육"을 충분히 받았는지 의문을 제기했다. 이 프로세스"(R04) 이용 가능한 지침의 부재는 거주자 참여자에 의해 암묵적 편견을 해결하기 위한 장벽으로 명확히 식별되었다.

Residents also noted that mentors could only bring clarity and reassurance within the context of safety. One resident stated that variation in faculty mentors led to a constant sense of “unpredictability” (R01), while another mentioned that there were only “few” faculty preceptors that encouraged reflecting on biases and questioned whether faculty received enough “formalized training” on biases which motivated the resident to “seek external advice on this process” (R04). The lack of available guidance was clearly identified by resident participants as a barrier to addressing implicit biases

교직원들이 스스로를 역할 모델로 보았지만, 레지던트들은 또한 일부 교직원의 availability 문제를 제기했고, 암묵적인 편견을 어떻게 다뤄야 하는지를 롤모델하는 일부 교수의 성찰적 능력에도 문제가 있다고 제안했다. 또 다른 레지던트는 교사의 인성(인간성)을 받아들여 서로 sympathize하는 것이 중요하다는 점을 강조했다.

Although faculty viewed themselves as role models, residents also suggested that there were issues limiting the availability and reflective capacity of some faculty to effectively role model how to address implicit biases. Another resident accepted the “humanity” of their teachers, emphasizing the importance of “sympathizing” with each other (R02).

고찰

Discussion

어떻게 정신과의사가 이상을위하 분투하는가

How psychiatrists describe striving for the ideal

수용과 분투는 어려운 일이다.

Striving while accepting is challenging within health professions education

보건 전문가 학습자는 롤모델의 영향력과 커리큘럼의 공식 및 비공식 요소를 통한 경험으로부터 점차 사회화된다.62 의료전문가가 기대에 부응하지 못하는 경험을 하게 될 경우, 불충분함inadequacy과 충동증후군imposter syndrome 36,66에 직면할 수 있다.

The health professional learner is gradually socialized through their experiences,24,25,59 the influence of role models,60,61 and the formal and informal elements of their curriculum.62 When health professionals face experiences that suggest they are not living up to expectations, they may face feelings of inadequacy63–65 and imposter syndrome.36,66

[높은 성취와 완벽주의를 보상하고 장려하는 문화]에서 학습자가 [자신의 암묵적인 편견을 관리하려고 끊임없이 노력하다보면] 심리적 고통을 받을 가능성을 가지고 있다. 노력하더라도 부정적인 결과를 가져올 수 있기 때문이다. 우리가 accepting에 대해 아는 것은 무엇인가?

Constantly striving to manage one’s implicit biases within a culture that rewards and incentivizes high achievement and perfectionism66,67 has the potential to produce psychological distress for learners. Since striving on its own may have negative consequences, what do we know about accepting?

Acceptance를 촉진하는 것은 현재 "struggling고투" 학습자의 맥락 또는 피드백 문서에 설명되어 있다.68-70 Teal과 동료 14는 [암묵적 편견의 거부]에서 [점진적 수용]에 이르는 발달 궤적을 촉진하기 위해 인지 전략이 필요하다고 제안한다. 우리의 연구는 앞선 연구를 확장하여, 보건 직업 교육의 연속체에서 acceptance를 촉진하는 것의 중요함을 강조한다.

Facilitated acceptance is currently described either in the context of the “struggling” learner or in the feedback literature.68–70 Teal and colleagues14 suggest that cognitive strategies are required to facilitate a developmental trajectory from denial of implicit bias to gradual acceptance. Our study extends previous research to emphasize the importance of fostering acceptance throughout the continuum of health professions education.

우리의 이전 연구는 [암묵적 편견에 대한 피드백이 어떻게 건강 전문가 정체성과 관련된 긴장을 유발하는지]를 강조했지만, 이번 결과는 [겉으로 보기에 서로 반대되는 과정들 사이의 균형을 용이하게 하는 인지 전략이 암묵적 편견을 인식하고 관리하는데 필수적이라는 것을 암시]한다. 우리는 또한 이 과정이 관계를 통해 촉진될 수 있다는 것을 배웠다.

While our previous research highlighted how feedback about implicit bias triggers tensions related to health professional identity, our findings build on previous theory to suggest that cognitive strategies that facilitate balance between seemingly opposite processes are integral to recognizing and managing implicit biases. We also learned that this process can be facilitated through relationships.

함의

Implications

자신의 단점 수용에 대한 촉진된 성찰을 통해 균형을 이룬다면, [이상적인 전문적 자아를 위해 노력하는 개인의 욕망]을 이용함으로써 암묵적 편견 인식과 관련된 실천적 변화를 촉진할 수 있다.

Leveraging an individual’s desire to strive for an idealized professional self may facilitate practice changes related to implicit bias recognition if balanced through facilitated reflection on accepting one’s shortcomings.

Limitations

결론

Conclusions

보건 전문가 교육 내에서 암묵적 편견에 대한 논의는 정체성의 긴장을 유발한다. [개별적 단점을 수용]하는 동시에 [자기 개선을 위해 노력하는 것]은 그러한 긴장을 성공적으로 조정하고 암묵적 편견을 관리하기 위한 모델을 제공할 수 있다. [수용과 동시에 개선을 위해 노력]하는 개념을 만드는 것은 교사와 학습자 사이의 정직하고 진정한 관계를 필요로 할 수 있다.

Discussions about implicit bias within health professional education trigger identity tensions, and striving for self- improvement while accepting individual shortcomings may provide a model for successfully reconciling such tensions and managing implicit biases. Enacting the concept of striving while accepting may require honest and authentic relationships between teachers and learners.

29 Bynum WE 4th, Artino AR Jr. Who am I, and who do I strive to be? Applying a theory of self-conscious emotions to medical education. Acad Med. 2018;93:874–880.

13 Sukhera J, Watling C. A framework for integrating implicit bias recognition into health professions education. Acad Med. 2018;93:35–40.

32 Cruess RL, Cruess SR, Boudreau JD, Snell L, Steinert Y. A schematic representation of the professional identity formation and socialization of medical students and residents: A guide for medical educators. Acad Med. 2015;90:718–725.

68 Bynum WE 4th. Filling the feedback gap: The unrecognised roles of shame and guilt in the feedback cycle. Med Educ. 2015;49:644–647.

55 Hennink MM, Kaiser BN, Marconi VC. Code saturation versus meaning saturation: How many interviews are enough? Qual Health Res. 2017;27:591–608.

57 O’Reilly M, Parker N. “Unsatisfactory saturation”: A critical exploration of the notion of saturated sample sizes in qualitative research. Qual Res. 2013;13(2):190–197.

Acad Med. 2018 Nov;93(11S Association of American Medical Colleges Learn Serve Lead: Proceedings of the 57th Annual Research in Medical Education Sessions):S82-S88. doi: 10.1097/ACM.0000000000002382.

Striving While Accepting: Exploring the Relationship Between Identity and Implicit BiasRecognition and Management.

가장 위대한 세대(JAMA, 2015)

The Greatest Generation

Gurpreet Dhaliwal, MD

Department of Medicine, University of California, San Francisco; and Medical Service, San Francisco Veterans Affairs Medical Center, San Francisco, California.

"요즘 의대생들은 비장을 촉진하는 법을 모른다." 또는 "요즘 전공의들은 환자가 아니라 시계를 보고 있다." 의학 교육 컨퍼런스에서 장기간에 걸친 독백을 예고하는 이러한 발언은 두 가지 유형의 반응을 보인다. 고개를 끄덕이거나 화난 눈알을 굴린다.

“Medical students these days don’t know how to palpate a spleen” or “The modern resident is watching the clock, not his patients.” Such statements, which often herald protracted monologues at medical education conferences, are met with two types of responses: affirming head nods or exasperated eye rolling.

당신은 그렇게 대단하지 않았다.

You Weren’t That Great

현대 연수생들의 비판은 "요즘 아이들"로 시작되지만 불가피하게 "거인의 시대"라는 향수로 끝나게 된다. 내가 그랬을 때... 이것들은 모두 고무적인 이야기들이다. 하지만 그들은 아마 사실이 아닐 것이다.

Critiques of the modern trainee start with “kids these days” laments but inevitably end with “days of giants” nostalgia. When I was … These are all inspiring stories. But they probably aren’t true.

우리가 기억을 재생산할 때마다, 우리는 기억을 재생하지 않는다; 우리는 그것을 재구성하고 있다. 우리의 뇌는 사건의 핵심을 기억하는 데는 뛰어나지만 그 세부 사항을 기억하기에는 부족하다. 그래서 우리는 공백을 채운다. 그렇게 함으로써, 우리는 쉽게 세부사항을 윤색하고, 배경을 바꾸거나, 등장인물을 생략한다. 의식적으로 속이려고 하는 것은 아니다. 그건 기억력이 작용하는 방식일 뿐이다

Each time we recount a memory, we aren’t replaying it; we are reconstructing it. Our brains are superb at remembering the gist of an event but inadequate at remembering its details—so we fill in the blanks. In doing so, we effortlessly embellish a detail, shift the setting, or omit a character. We are not consciously trying to deceive. It’s just the way memory works.

주의하라, 우리가 훈련에 대한 자서전적 기억을 재생할 때마다, 우리는 그 상황을 마지막 반복보다 더 harrowing하게 만들거나, 우리 자신을 더 헌신적으로 혹은 능숙하게 만드는 경향이 있다. 이러한 전쟁 이야기들은 종종 자신감과 세세한 부분, 그리고 감정을 가지고 들려주는데, 이것은 그들을 훨씬 더 믿을 수 있게 한다. 하지만 그것이 훨씬 더 정확한 것은 아니다.1

Beware, that each time we replay those autobiographical memories about our training, we are prone to make the situation more harrowing or ourselves more dedicated or skillful than the last iteration. These war stories are frequently told with confidence, detail, and emotion, which makes them far more believable—but that doesn’t make the many more accurate.1

2013년 타임지는 커버스토리인 "The Me Me Me Me Generation"을 출간했다. 그것은 어른들이 오늘날의 젊은이들에 대해 이미 알고 있는 것, 즉 그들이 자격이 있고 자기 중심적이라는 것을 입증했다. 그러나 어떤 노인들은 프리퀄이 있다는 것을 알고는 번쩍 정신을 차렸다. 이미 1976년에 뉴욕 매거지는 커버스토리로 1970년대를 "Me decade"라고 선언하며 당시 젊은 세대였던 베이비 부머 세대들의 나르시시즘을 조롱하였던 것이다.

In 2013 Time published a cover story, “The Me Me Me Generation.” It validated what the elders already knew about today’s young adults: that they are entitled and self-centered. Some elders were sobered though when they learned there was a prequel: a 1976 New York Magazine cover story that declared the 1970s as “The MeD ecade” and ridiculed the narcissism of the then-young baby boomer generation.

이러한 엄청난 언론 보도에도 불구하고, 세대간의 차이 증거는 희미하다.

Despite the immense press coverage, evidence of differences among generations is flimsy.

펜실베이니아 대학의 피터 카펠리 교수는 세대별 성향을 분석하고 1960년대 이후로 청년층의 일에 대한 태도가 크게 바뀌지 않았다고 주장한다. "수천년 마다 다른 증거는 없다."라고 그는 결론짓는다. "그들은 단지 더 젊을 뿐이다."2 자기 중심적이 되는 것은, 영구적인 세대적 특성이 아닌, 이른 성년의 일시적이고 적응적인 조건이다.

University of Pennsylvania professor Peter Cappelli has analyzed the surfeit of generational proclamations and maintains that young adults’ attitudes toward work have not changed significantly since the 1960s. “There’s no evidence millennials are different,” he concludes. “They’re just younger.”2 Being self-focused is a temporary and adaptive condition of early adulthood, not a permanent generational characteristic.

그럼에도 불구하고 매번 윗세대는 젊은이들을 바라보며 그들이 근본적인 변화가 있다고 믿는다. 

• 중세시대에 길드 주인은 그들의 견습생들에 대해 불평했다. 

• 고대 그리스에서 아이들은 "유대하고, 버릇없고, 권위에 대한 경멸이며, 연장자들에 대한 무례"로 비난을 받았다. 

• 바퀴나 화재와 같은 당시의 신기술에 아이들이 매료된 것을 한탄한 동굴사람도 틀림없이 있었을 것이다. 

And yet each aging cohort looks upon the youth and believes they have identified a fundamental change in the species. In the Middle Ages, guild masters grumbled about their apprentices. In ancient Greece, the children were accused of “luxury, bad manners, contempt for authority, and disrespect to elders.” No doubt there was a caveman who bemoaned his children’s fascination with the new technology of the day, such as the wheel or fire. 

나이 든 의사들이 젊은 의사들에 대해 불평하는 것도 마찬가지다. 신체검진의 쇠퇴는 그들이 가장 좋아하는 한탄이었다. 레지던트들의 신체검진능력 부족에 대한 JAMA 연구에 대해, 편집자 조지 엥겔은 "최근 의학 졸업생들 사이에서 용납할 수 없는 수준의 임상적 무능"을 언급했다. 3 그것은1976년이었다.

And so it is with older doctors complaining about younger doctors. The decline of the physical examination has been their favorite lament. In response to a JAMA study of physical examination shortcomings of medical residents, editorialist George Engel cited “the unacceptable degree of clinical incompetency among recent medical graduates.”3 Thatwasin1976.

우리는 적군을 만났고, 그 적군은 우리 자신이다.

We Have Met the Enemy and He Is Us

주치의들은 레지던트들이 practice of medicine을 탈피하고 있다고 걱정한다. 우리는 왜 젊은 의사들이 이 모든 검사를 지시하는지 궁금해 한다. 왜 그들은 우리처럼 위대한 역사와 의사 전문가가 될 수 없을까? 답은 간단하다. 그들은 우리를 지켜보고 있기 때문이다. 사회과학은 행동이 개인의 특성보다는 환경에 의해 훨씬 더 영향을 받는다고 거듭해서 확인한다.

Attending physicians worry that residents are devolving the practice of medicine. We wonder: why do young physicians order all these tests? Why can’t they be great history-and-physical practitioners like us? The answer is simple: they are watching us. The social sciences repeatedly affirm that behavior is influenced far more by the environment than by individual traits.

사람들은 그들의 인구 통계학에 따라서가 아니라, 그들이 살고 있는 문화에 따라서 행동한다. 그것이 오늘날의 학생들이 그들의 주치의와 똑같이 행동하는 이유고, 그 반대도 그렇다. 최근에 병원 직원 회의에 참석하셨습니까? 모두가 스마트폰을 보고 있다.

People act the way they do because of the culture they live in, not their demographic. That is why students today behave exactly like their attendings—and vice versa. Been to a medical staff meeting lately? Everyone is looking at their smartphone.

재밌는 강의를 듣고 싶은가? 우리 모두 그렇다. TED 강연을 본 후에, 젊은 사람이든 나이든 사람이든 awful grand rounds를 견디고 앉아 있을 수 있을까?

Want to be entertained in lectures? We all do. After seeing TED talks, can anyone young or old bear to sit through an awful grand rounds?

의료계라는 위계의 세계에서, 선배 의사가 창조하는 것은 다음 세대가 아니라 문화이다. House staff 파업이라는 자연실험의 결과, 그 당시 최전방을 지킨 주치의의 검사 오더에는 아무런 변화가 없었음이 드러났다. 항생제의 부적절한 처방과 불필요한 영상화에 대한 수많은 연구는 레지던트가 아니라 이미 수련을 마친 의사에 관한 것이다. 의학 교육에서 지리(geography)는 운명이다. 고효용(higher utilization) 환경에서 수련을 받은 레지던트는 더 많은 비용이 드는 의료행위를 하기 마련이다. 지금 목격하는 현상에 불만을 갖는 교수라면, 미국 소설가 제임스 볼드윈의 말에 귀를 기울여야 한다. "어린이들은 어른의 말을 잘 들었던 적은 한 번도 없지만, 어른의 행동을 따라하는 데 실패했던 경우 역시 한 번도 없다."

In the hierarchical world of medicine, the established practitioners create the culture, not the next generation. The natural experiment of a house staff strike revealed no change in laboratory testing with attendings on the front lines.4 The countless studies about inappropriate prescribing of antibiotics and unnecessary imaging are about practicing physicians, not residents. In medical education, geography is destiny: residents who train in higher-utilization environments go on to practice more costly medicine.5 Faculty who don’t like what they see should heed the words of the American novelist James Baldwin, who said, “Children have never been very good at listening to their elders, but they have never failed to imitate them.”

결론

Conclusions

우리는 망가진 건강 관리 시스템을 가지고 있고, 그것을 고치는 데 앞장서는 것은 젊은 의사들이다. 그들은 건강 관리를 더 낫고, 더 싸고, 더 안전하게 만드는 방법을 찾고 있다. 그러나 루시안 레이프가 지적한 바와 같이, 이러한 목표를 달성하기 위한 주요 장벽은 "광범위하게 퍼진 무례에 뿌리를 둔 문화적 장애"이다. 6 세대적 고정관념과 훈련생에 대한 근거 없는 비판을 재활용하는 교직원들은 의사들 사이에서 무례의 문화를 조성하는 데 그치지 않는다. 그들의 겸손함은 사기, 학습, 팀워크를 손상시킨다.

We have a broken health care system, and it is the younger physicians who are leading efforts to fix it. They are searching for ways to make health care better, cheaper, and safer. But as Lucian Leape notes, the major barrier to achieving these goals is “a dysfunctional culture rooted in widespread disrespect.”6 Faculty members who voice generational stereotypes and recycle unfounded criticisms about trainees do nothing but foster a culture of disrespect among physicians. Their condescension undermines morale, learning, and teamwork.

진정으로 훌륭한 교수라면 견습생들을 비판하기를 주저하지 말아야 한다. 그러나 그 평가는 구체적이고 교정적이어야 한다. 그것의 목적은 폄하가 아니라 동기부여여야 한다. 또한 내가 너보다 더 고결하다고 말하지 말고 너의 동료라고 말할 수 있어야 한다.

The great faculty members do not shy away from critiquing their apprentices. But those appraisals are specific and corrective. They are meant to motivate, not disparage. They say I’m your colleague, not a loftier version of you.

오늘날의 훈련생들은 어느 모로 보나 전문적이고, 배우려는 의욕을 가지고 있으며, 이전 세대처럼 환자들에게 헌신하고 있다. 학생들과 레지던트는 근무 시간에 따르면서도 집에서 로그온하여 환자를 모니터링하고, 오더를 작성하고, 통화 중인 동료와 연락을 취한다.7 그들은 가족 모임을 위한 오프 날에도 병원에 온다. 그들은 전례 없는 서류 작업, 컴퓨터 작업, 처리량에도 불구하고 환자와 접촉한다. 그리고 그렇다, 그들은 끊임없이 스마트폰을 한다. 스마트폰으로 의사에 대해 읽고, 동료들에게 진료를 받으라고 문자를 보내고, 환자 가족들과 대화를 한다.

Today’s trainees are every bit as professional, motivated to learn, and devoted to their patients as previous generations. Students and residents follow duty hours but then log on from home to monitor their patients, write orders, and stay in touch with their on-call colleagues.7 They come to the hospital on their mandated days off for family meetings. They connect with their patients despite unprecedented paperwork, computer work, and throughput. And yes, they are on their smartphones constantly— reading about medicine, texting colleagues to coordinate care, and talking with patients’ families.

톰 브로코우는 거의 1세기 전에 태어난 사람들을 가장 위대한 세대로 분류한 것으로 유명하다. 동의하지 않는다. 현세대는 가장 위대한 세대다. 그리고 좋은 소식은 다음 것이 훨씬 더 나아질 것이라는 것이다.

Tom Brokaw famously labeled individuals born nearly a century ago as the greatest generation. I disagree. The current generation is the greatest generation. And the good news is that the next one will be even better.

JAMA. 2015 Dec 8;314(22):2353-4. doi: 10.1001/jama.2015.10622.

A PIECE OF MY MIND. The Greatest Generation.

네 가지 근본적 교육원칙(J Grad Med Educ, 2017)

Four Fundamental Educational Principles

Kenneth M. Ludmerer, MD, MACP

레지던트 경험은 직업훈련이 아닌 전문교육으로 행해져야 한다. 이것은 레지던트들이 미래에 적응할 수 있도록 준비하는 것을 의미하며, 단지 현재를 위해 배우기만 하는 것이 아니다.

At its best, the residency experience must be conducted as professional education, not as vocational training. This means preparing residents to adapt to the future, not merely learn for the here and now,

전문직 교육은 무엇을 해야 하는지 뿐만 아니라 왜 어떤 일을 해야하는지에 대한 이해를 교육해야한다. 그것은 전문직의 가치, 지역사회에서 의사의 역할, 그리고 더 나은 건강관리 시스템과 더 건강한 사회를 만들기 위한 전문직의 책임에 대한 성찰을 포함해야 한다. 그것은 단지 일을 위한 실용적 훈련이 아니라 지적 탐구를 포함한다.1

Professional education instills an understanding of why something should be done, not just what to do. It must involve reflection on the values of the profession, the role of the doctor in the community, and the responsibilities of the profession to create a better health care system and a healthier society. It involves intellectual inquiry, not merely practical training for the job.1

네 가지 핵심 교육적 원리

4 cardinal educational principles

(1) the assumption of responsibility for patient management; 

(2) the opportunity to engage in reflective learning; 

(3) ensuring that residents are not burdened with non-medical tasks; and 

(4) continuity of care.

책무성에 기반한 교육

The Assumption of Responsibility

개인이 환자 관리에 대한 모든 책임을 지는 것을 배우기 전까지는 성숙한 의사가 아니라는 것은 자명하다. 안전과 학습을 위해 레지던트는 attending에게 supervise를 받으며 설명할 수 있어야 한다. 실제로는 더 경험이 많은 동료 레지던트가 순간순간 감독을 제공할 수 있다.

It is axiomatic that an individual is not a mature physician until he or she has learned to assume full responsibility for patient management. For safety and learning, residents are supervised by, and accountable to, attending physicians. In practice moment-by-moment supervision may be provided by more experienced resident colleagues.

[독립성을 높여야 하는 레지던트의 교육적 필요성]과 [사용 가능한 가장 숙련된 의사의 보살핌으로 혜택을 받을 수 있는 환자의 안전 사이]의 균형을 맞추는 것은 문제를 제기한다.

Balancing the educational needs of residents, who require increasing independence, with the safety of patients, who may benefit from being cared for by the most experienced physician available, presents challenges.

Medical error는 훈련생들에 대한 부적절한 감독과 연관되어있따는 강력한 데이터가 있으며, 더 면밀한 감독이 치료의 질을 향상시킨다는 것을 보여주는 연구 결과도 있다.7-10 

• 레지던트에 대한 supervision은 "의사가 환자를 관리하는 맥락에서 개인적, 전문적 및 교육적 발달 문제에 대한 모니터링, 지침 및 피드백을 제공하는 것."이다11(p828) 

• 여기에는 "환자의 안전을 최대화하기 위해 특정 임상 상황에서 의사의 강점과 약점을 예측할 수 있는 능력"을 포함한다.11(p828) 

• 좋은 감독은 환자 안전을 촉진하는 것 이상의 이점을 제공한다. 즉, 레지던트들은 경험 많고 배려 깊은 의사를 관찰함으로써 모범적인 전문적 행동을 모델링하는 기회를 제공한다.

There is robust data linking medical errors to inadequate supervision of trainees, with research showing that closer supervision leads to improved quality of care.7–10 Supervision in residency is ‘‘the provision of monitoring, guidance and feedback on matters of personal, professional and educational development in the context of the doctor’s care of patients.’’11(p828) This includes the ability ‘‘to anticipate a doctor’s strengths and weaknesses in particular clinical situations, in order to maximize patient safety.’’11(p828) Good supervision provides benefits beyond promoting patient safety: the opportunity for residents to observe experienced, caring physicians modeling exemplary professional behavior.

현재의 증거는 감독자와 피감독자의 관계가 supervision의 효율성에 있어 가장 중요한 단일 요소로서, 어떤 특정 감독 방법을 사용하느냐보다 훨씬 더 중요하다는 것을 암시한다.11

Current evidence suggests that the supervisory relationship is the single most important factor for the effectiveness of supervision, far more important than the particular supervision methods used.11

좋은 supervision의 특징

qualities of effective supervisors are listed in the BOX.

좋은 감독관은 타고나는 것이 아니라 만들어지는 것이다. 따라서 교직원들이 더 나은 교사 및 감독자가 되도록 교육할 수 있다. 그러나 좋은 임상 감독에는 시간이 많이 소요된다.

Good supervisors are made, not born, with evidence that faculty can be taught to be better teachers and supervisors.11,13–15 However, good clinical supervision is time consuming.

감독 개선에도 불구하고, 프로그램은 레지던트들이 독립적 의료행위에 대한 준비가 제대로 되어 있지 않은 상태로 수련을 마치지 않고, 환자 관리에 대한 책임을 지도록 장려해야 한다. 이를 위해서는 필요할 때 도움을 요청해야 할 trainee의 책임이 더 크게 요구된다. 레지던트 교육 문화는 도움을 청하는 것을 discourage할지도 모른다. 레지던트들은 자유롭게 도움을 요청해야 한다. 그들은 비난을 두려워해서는 안 된다.17–19

Even with improved supervision, programs must encourage residents to assume responsibility for patient care, lest they emerge from training ill-prepared for independent practice. This places great responsibility on trainees to call for help when they need it. The culture of residency may discourage asking for help. Residents must feel free to call for help; they must not fear recriminations.17–19

성찰적 학습

Reflective Learning

레지던트의 지적 성장을 위해서는 더 많은 환자를 대충 보는 것보다, 더 적은 수의 환자를 깊이 보는 것이 더 낫다. 20(p270)

It is better for residents’ intellectual growth to study fewer patients in depth than more patients superficially. 20(p270)

레지던트 근무 시간은 일주일에 80시간으로 제한되지만, 그들의 업무량은 줄어들지 않았다.23 이미 바쁜 작업 속도는 훨씬 더 빨라져서 "압축적 작업"으로 불리곤 한다.

Residents are limited to 80 hours per week in the hospital, but their workload has not decreased.23 The already hectic pace at which they worked became even faster, a phenomenon that became known as ‘‘work compression.’’23

지난 30년 동안 레지던트는 환자를 입원하고 퇴원시키는 데 현저하게 능숙해졌다. 그러나 종종 배움이 소외되는 경우가 있다."24(p83)

During the past 3 decades residents have become remarkably adept at admitting and discharging patients. Yet, frequently, learning is marginalized.’’24(p83)

이것의 결과는 질문을 하지 않는 태도, 권위에 도전하지 않는 경향, 사실적 지식의 학습만 지나치게 강조, 기본적인 원칙과 문제 해결 기술에 대한 집중력 감소, 그리고 의학의 더 큰 목적이나 의사가 되는 도덕적인 의미에 대한 고려의 결여 등이다.

The result is a less questioning attitude, a tendency not to challenge authority, overemphasis on learning facts, diminished focus on fundamental principles and problem-solving skills, and little contemplation of the larger purposes of medicine, or the moral meaning of being a doctor.25

교육에 우선순위 두기

Primacy of Education

원칙적으로 GME는 교육에 관한 것이므로 교육 가치는 레지던트들이 제공하는 서비스의 주요 결정요인이 되어야 한다. 레지던트 시스템의 핵심 단층선fault line은 "교육"과 "서비스" 사이의 긴장이다.

In principle, GME is about education, thus educational value should be the primary determinant of any services residents provide. A central fault line in the residency system is tension between ‘‘education’’ and ‘‘service.’’

돌봄의 연속성

Continuity of Care

연속성있는 치료는 더 나은 예방 서비스, 임상 결과, 환자 만족도와 신뢰도, 경제적 효율성을 포함한 많은 이점을 가지고 있다. 연속성은 또한 현대 학습 이론에서 정당성을 가진 핵심 교육 원칙이다. 연속성은 레지던트가 문제 해결 시도가 성공하는 것을 목격할 수 있게 해주고, 진단 및 치료 절차의 결과를 관찰하며 질병과 치료의 전 과정을 감상할 수 있도록 한다.

Continuity of care has many benefits, including better preventive services, clinical outcomes, patient satisfaction and trust, and economic efficiencies.27,28 Continuity also is a core educational principle, with justification in modern learning theory.29–31 Continuity allows residents to witness the success of their attempts at problem-solving, observe the results of diagnostic and therapeutic procedures, and appreciate the full course of disease and treatments.

현행 규정은 1년차 레지던트를 16시간으로 제한하고, 24시간 교대 근무를 마친 후 4시간 이내에 시니어 거주자를 퇴원시킬 것을 요구하고 있다. 이러한 강제 교대는 자연적 환자 관리와 교육 흐름을 방해할 수 있으며, 따라서 교육 연속성에 위협이 될 수 있다.

The current rules limit first-year residents to 16 hours and require upper-level residents to be out of the hospital within 4 hours of completing a 24-hour shift. Such forced departures may interrupt the natural patient care and educational flow of the workday, and thus challenge educational continuity.

많은 레지던트들이 근무시간 보고서를 위조하는 것과 환자 진료 제공 중 하나를 선택하도록 강요하는 관료적이고 융통성 없는 시스템에 좌절감을 표명한다.33

Many residents voice frustration with a bureaucratic, inflexible system that forces them to choose between falsifying duty hour reports and providing patient care.33

J Grad Med Educ. 2017 Feb; 9(1): 14–17.

Four Fundamental Educational Principles

임상환경에서 자기조절학습: 체계적 문헌고찰(Med Educ, 2018)

Self-regulated learning in the clinical context: a systematic review

Maaike A van Houten-Schat,1,2 Joris J Berkhout,3 Nynke van Dijk,4 Maaike D Endedijk,5 A Debbie C Jaarsma2 & Agnes D Diemers1

도입

INTRODUCTION

의학의 빠른 발전 속도 때문에, 의대생들과 레지던트들이 의사로서 평생 학습을 수행하는 방법을 배우는 것이 중요하다. 의대생과 레지던트의 평생 직업적 발전을 위한 한 가지 중요한 전략은 자기조절학습SRL이다.

Because of the rapid pace of developments in medical science, it is important for medical students and residents to learn how to practise lifelong learning as doctors. One important strategy for the lifelong professional development of medical students and residents is self-regulated learning (SRL).1–3

전반적으로, SRL은 [원하는 수준의 성취도에 도달하기 위한 목적으로 학습 경험 전체에서 정서적, 인지적, 행동적 과정을 modulation하는 것]을 의미한다. Sitzmann과 Ely의 메타 분석은 다양한 SRL 이론에 의해 설명된 다양한 과정을 다음과 같은 세 가지 유형으로 분류할 수 있다는 것을 보여주었다. 

• 조절 주체(골 설정) 

• 조절 메커니즘(예: 계획, 모니터링, 학습 전략, 동기 및 감정 제어) 

• 조절 평가(자체 평가, 귀인, 자기 효과).

여러 연구들이 학생들의 자기조절전략 사용이 학업결과에 긍정적인 영향을 미친다는 것을 보여주었다.

Overall, SRL refers to the modulation of affective, cognitive and behavioural processes throughout a learning experience in order to reach a desired level of achievement.5,8 A meta-analysis by Sitzmann and Ely showed that the various processes described by different theories of SRL can be categorised into the following three types: 

• regulatory agent (goal setting); 

• regulatory mechanism (e.g. planning, monitoring, learning strategies, motivation and emotion control), and 

• regulatory appraisal (self-evaluation, attributions and self-efficacy).9 

Multiple studies have shown the positive effects of students’ use of self-regulation strategies in academic outcomes.10,11

하지만, 의학 교육의 많은 부분이 교실이 아닌 근무지에서 일어난다. 근무지에 기반을 둔 학습에서 의대생들과 레지던트들은 임상 실습에서의 경험으로부터 배운다. 임상 환경에서 자기조절학습은 교실academic 환경에서의 SRL과는 다른데, 이는 임상 맥락에서 학생은 환자에게 의료 서비스를 제공하는 것에 종속되어 있기 때문에, 자신의 학습 목표에만 집중할 수 없기 때문이다. 따라서, 교실 환경에서 학습을 적절하게 스스로 조절하는 학생들도 더 복잡한 임상 환경에서는 학습을 스스로 조절하는 데 어려움을 겪을 수 있다.

However, a large part of medical education occurs in the workplace instead of in classrooms.3,12–15 In workplace-based learning, medical students and residents learn from their experiences in clinical practice.12 Self-regulated learning in a clinical context is different from SRL in an academic setting because in a clinical context the student cannot solely focus on his or her own learning goals as these are subsidiary to the provision of health care to patients.16 It may therefore be that students who adequately self-regulate their learning in an academic setting may have difficulties in self- regulating their learning in the more complex clinical setting.

우리의 연구 질문은 다음과 같다. 

(i) 임상 환경에서 의대생 및 거주자의 SRL을 연구하기 위해 어떤 이론 모델을 사용하였는가? 

(ii) 의대생과 거주자가 임상 환경에서 사용하는 SRL 전략은? 

(iii) SRL의 어떤 요소가 의대생과 거주자에게 영향을 미치는 것으로 보고되었는가? 

(iv) 의대생 및 거주자의 SRL을 지원하기 위해 어떤 개입이 사용되었으며, 개입에 어떤 영향이 있었는가?

our research questions were: 

(i) What theoretical models have been used to study medical students’ and residents’ SRL in the clinical environment? 

(ii) What SRL strategies do medical students and residents use in the clinical environment? 

(iii) Which factors of SRL have been reported to influence medical students and residents? 

(iv) What interventions have been used to support SRL in medical students and residents and what effects did the interventions have?

방법

METHODS

Selection process

Review procedure

결과

RESULTS

프로세스는 그림 1에

The study selection process for this review is depicted in Fig. 1.

학생과 전공의의 SRL을 연구하기 위해서 어떤 이론적 모델이 사용되었나?

What theoretical models have been used to study medical students’ and residents’ SRL in the clinical environment?

우리가 포함시킨 18개의 연구 중, 7개의 연구 2,3,23–27은 Zimmerman의 순환 3상 모델을 보고했고, 8개의 두 개의 연구28,29는 Knowles의 이론적 모델을 보고했고, 30의 연구31은 Pintrich.32의 원칙에 기초한 이론적 프레임워크를 사용했다고 보고했다. 비록 이 세 가지 이론은 그들의 관점이 다르지만, 능동적 참여, 목표 설정, 계획 구현, 프로세스의 자체 평가가 공통적이다.

Of the 18 studies we included, 

• seven studies2,3,23–27 reported the cyclical three-phase model of Zimmerman,8 

• two studies28,29 reported the theoretical model of Knowles,30 and 

• one study31 used a theoretical framework based on the principles of Pintrich.32 

Although they differ in their perspectives, these three theories agree upon 

• active engagement, 

• goal setting, 

• implementation of a plan and 

• self-evaluation of the process.20,33

이 검토에서 나머지 8개 연구는 특정 이론적 모델을 설명하지 않았지만, SRL을 정의할 때 동일한 프로세스(목표 설정, 계획 구현 및 자가 평가)를 언급했다.

Although the remaining eight studies34–41 in this review did not describe a specific theoretical model, they did mention the same processes (goal setting, implementation of a plan and self-evaluation) when defining SRL.

임상환경에서 학생과 전공의는 어떤 SRL전략을 사용하는가?

What SRL strategies do medical students and residents use in the clinical environment?

세 가지 연구가 각각 다른 접근 방식을 가진 이 문제를 다루었다.

Three studies addressed this question, each with a different approach.

첫째, Berkhout et al.23은 임상의 학생들의 자기 평가 SRL 행동의 5가지 다른 패턴을 기술했다: 

• 참여적 (실수하는 것을 두려워하지 않고 열심히 일하고 동기를 부여하며) 

• 지극히 기회주의적 (학습 환경에 비판적인 비정형 학습 행동은 쉽게 동기를 상실함) 

• 불확실한 (수동적, 감독자에 의존적, 배울 수 있는 안전한 환경이 필요하다.) 

• 자제하는 (높은 동기 부여와 자기 비판적, 질문하기 두려워)

• 힘이 드는 (열심히 일하고, 무엇을 해야 하는지 알려주어야 하며, 어려움에 처하는 것을 두려워해야 한다.)

Firstly, Berkhout et al.23 described five different patterns of clinical students’ self-assessed SRL behaviour: 

• engaged (hardworking, motivated and not afraid to make mistakes); 

• critically opportunistic (unstructured learning behaviour, critical of the learning environment, loses motivation easily); 

• uncertain (passive behaviour, dependent on supervisor, requires a safe environment in which to learn); 

• restrained (highly motivated and self-critical and afraid to ask questions), and 

• effortful (hard working, needs to be told what to do, and afraid to admit being in difficulty).

둘째로, 우즈 외 연구진.24는 임상 환경에서 SRL에 대한 세 가지 접근방식을 식별했다. 

• 첫 번째 접근방식인 '학습 기회가 부족하다는 인식에 묵종하는 것'은 의대 학생들이 인지하는 체계적이고 환경적인 장벽을 강조했다. 

• 두 번째 접근 방식인 '이용 가능한 기회에서 선택'에서 학생들은 서로 다른 학습 요구의 균형에 초점을 맞추었고, 어느 정도 시간이 학습보다는 서비스에 사용되어야 한다는 것을 깨달았다. 

• 마지막 접근법은 '새로운 학습 기회 창출'이었는데, 이 과정에서 학생들은 자신의 학습량을 최적화하려고 노력했다.

Secondly, Woods et al.24 identified three distinct approaches to SRL in the clinical environment. 

• The first approach, ‘acquiescing to a perceived lack of learning opportunities’, emphasised the systemic and environmental barriers that medical students perceived. 

• In the second approach, ‘choosing from available opportunities’, students focused on the balance of different learning needs and realised that some time must be spent on service rather than learning. 

• The last approach was ‘creating new learning opportunities’, in which students tried to optimise their amount of learning.

마지막으로, 사가세르 외 연구진.3은 가정의학과 레지던트의 SRL 활동에 대한 연구를 실시했다. 저자들은 SRL이 short loop and long loop으로 발생한다는 것을 확인했다.

Finally, Sagasser et al.3 conducted research on the self-regulatory activities of family practice residents. The authors identified that self-regulation of learning occurred in a short and a long loop.

어떤 요인이 영향을 미친는가?

Which factors of SRL have been reported to influence medical students and residents?

표1

Seven of the included studies addressed the factors influencing SRL. The results are summarised in Table 1.

어떤 개입이 사용된 바 있는가?

What interventions have been used to support SRL in of medical students and residents? What effects did the interventions have?

three types of intervention: 

• (i) guiding of SRL via mentoring or coaching; 

• (ii) support of SRL via learning plans and goal setting, and 

• (iii) supportive tools, such as an online environment and clinical encounter cards.

고찰

DISCUSSION

SRL의 이론적 프레임워크는 종종 결여되어 있고, 이론적 프레임워크가 사용될 때(예: Zimmerman, 8 Pintrich32 및 Knowles30) 이 프레임워크는 교실 환경에서의 연구로부터 비롯되었다. 맥락이 SRL에 미치는 알려진 영향을 고려하면, 이러한 모델은 복잡한 임상 상황에 쉽게 적용될 수 없다.

We found that a theoretical framework of SRL is often lacking, and when a theoretical framework was used (e.g. Zimmerman,8 Pintrich32 and Knowles30), this framework stemmed from research in a classroom setting. Considering the known influence of context on SRL, these models cannot be applied easily to the complex clinical context.

Berkhout et al.,23 Woods et al.24 및 Sagasser et al.3의 연구는 개인이 임상 환경에서 SRL하기 위해 사용하는 다양한 패턴, 접근 방식 또는 활동을 설명했다. 이러한 다양한 전략들은 학생들과 레지던트들의 SRL 전략 사이에 개별적인 차이가 있을 뿐만 아니라, 그 전략들도 맥락마다 다르다는 것을 암시한다.

The studies of Berkhout et al.,23 Woods et al.24 and Sagasser et al.3 described various patterns, approaches or activities that individuals use to self-regulate their learning in the clinical environment. These different strategies suggest that there are not only individual differences between students’ and residents’ SRL strategies, but that the strategies they use also differ in different contexts.

상황에 따라 SRL에 긍정적인 또는 부정적인 영향을 미칠 수 있는 많은 요인들이 있다. 이것은 [임상적 맥락에서의 학습은 SRL 프로세스에 영향을 미치는 요인들 간 상호작용이 있는 복잡한 과정]이라는 이전의 발견 2,9,42를 지원한다. 이러한 요인 중 일부는 임상 환경(시간 압력 및 환자 관련 요인)에 고유한 것이다.2

There are many factors that, depending on the circumstances, may have either positive or negative influences on SRL. This supports earlier findings2,9,42 that learning in the clinical context is a complex process, in which there is an interplay of factors affecting the SRL process. Some of these factors are unique to the clinical environment (time pressure and patient-related factors).2

SRL은 개인과 맥락 사이의 상호작용에 의해 형성된다. 이 리뷰는 학생들의 SRL 전략 사이의 개별적인 차이점을 보여주었고, 이는 임상 환경에서 학생들을 서포트하는 개인화된 접근법이 필요함을 암시한다. 멘토나 코치의 지원과 학습 계획 및 목표 설정의 사용은 의대생과 레지던트의 SRL 과정에 긍정적인 결과를 가져오는 중재인 것으로 밝혀졌다. 이것은 이러한 개입이 사람과 상황에 적응할 수 있게 한다는 사실에 의해 야기될 수 있다. 또한, 코치나 멘토의 지원은 SRL 프로세스가 잠재력을 최대한 발휘하기 위한 전제조건으로 보인다.23,26,29

Self-regulated learning is shaped by the interaction between the individual and the context. This review revealed individual differences between students’ SRL strategies, implying that an individualised approach to supporting students in the clinical environment is required. The support of a mentor or coach and the use of learning plans and goal setting were found to be interventions that have a positive outcome on medical students’ and residents’ SRL processes. This might be caused by the fact that these interventions allow for adaptation to person and context. Moreover, the support of a coach or mentor seems to be a prerequisite for the SRL process to develop to its full potential.2,3,26,29

모든 개입은 SRL의 첫 두 단계, 즉 목표 설정과 조절 메커니즘에서 긍정적인 결과를 보여주었다. 그 연구들 중 어느 것도 조절 평가에 초점을 맞추지 못했다. 학습자가 목표를 향한 진행 상황을 평가하는 SRL 프로세스의 마지막 단계 입니다. 조절 평가는 학습 경험을 완성하는 데 매우 중요하며 새로운 학습 노력의 출발점이 된다.

All of the interventions revealed a positive outcome on the first two phases of SRL, namely goal setting and regulatory mechanisms. None of the studies focused on regulatory appraisals. This is the last phase of the SRL process, in which learners assess their progress towards goals. Regulatory appraisal is crucial to completing the learning experience and serves as a starting point for new learning endeavours.

함의

Implications for practice

우리의 연구에서, 우리는 임상적 맥락에서 SRL이 아직 그것의 잠재력을 충분히 발휘하지 못하고 있다고 결론짓는다. 특히, progress를 평가하는 것은 더 많은 관심을 받을 만하다. 따라서, 우리는 두 가지 병행적 접근법을 권고한다. 

• (i), 개인의 목표 설정과 성찰 기술을 향상시키고 SRL 자신감을 향상시키기 위한 인터벤션 도입

• (ii) 학생들에게 그들의 기술을 실제로 사용할 기회를 주는 학습 환경을 조성. 

From our research, we conclude that SRL in the clinical context is not used to its full potential yet. In particular, assessing progress deserves more attention. Therefore, we recommend two parallel approaches: 

• (i), introduce interventions to improve individuals’ goal setting and reflection skills and improve their SRL confidence, and 

• (ii), create a learning environment that gives students the opportunity to actually use their skills. 

이것은 학생들이, 예를 들어, 각 환자에 대해 더 많은 시간, 더 많은 환자 접촉, 그들의 감독자로부터의 지원과 멘토의 안내를 받아야 한다는 것을 의미한다.

This means that students should get, for example, more time for each patient, more patient encounters, support from their supervisor and guidance by a mentor.

Strengths and limitations

Implications for future research

CONCLUSIONS

본 연구는 임상 환경의 SRL이 복잡한 과정이며 학생들의 SRL에 개별적 차이가 있다는 것을 보여주었다. 이것들은 개인, 사회 및 상황별 수준에서 여러 요소에 의해 영향을 받는다.

This study revealed that SRL in the clinical environment is a complex process and that there are individual differences in students’ SRL. These are influenced by multiple factors at the individual, social and contextual levels.

우리는 학습자가 목표를 향한 진행상황을 평가하는 방법에 대한 지식 격차를 확인할 수 있었다. 이러한 연구 결과는 교육자들이 임상 환경에서 SRL을 구현할 때 이중 접근법을 채택해야 하며, 

• SRL을 위해 학생의 개인 능력을 향상시키는 것과 

• 직장에서 멘토나 코치의 지원을 받을 수 있는 좋은 SRL 환경을 만드는 것에 초점을 맞춰야 한다는 것

...을 암시한다.

We were able to identify a knowledge gap in how learners assess their progress towards goals. These findings suggest that educators should adopt a dual approach when implementing SRL in the clinical context and should focus on both improving students’ individual capacities to regulate their learning and creating a good SRL climate in the workplace, possibly supported by a mentor or coach.

Self-regulated learning in the clinical context: a systematic review.

정신질환자에 대한 낙인에 대한 임상실습의 영향: 메타분석(Med Educ, 2018)

The influence of clerkship on students’ stigma towards mental illness: a meta-analysis

Eleni Petkari,1,2 Ana I Masedo Gutierrez,2,3 Miguel Xavier2,4 & Berta Moreno K€ustner2,3,5

도입

INTRODUCTION

정신 질환(MI)으로 고통 받는 사람들은 두 가지 도전에 직면해야 한다: 

• 첫째, 그 질병이 그들의 삶에 미치는 영향

• 둘째, stigma때문에 사회로부터의 혹은 스스로의 rejection과 non-acceptance로 인한 스트레스.

• first, the impact that the illness has on their lives in all its facets,1 and 

• second the stress created by rejection and non-acceptance by both themselves and society because of stigma.2,3 

사회적 인식 이론에 따르면, 낙인은 인지, 감정, 행동적 요소를 포함하는 다차원적 개념이다. 

• 인지요소는 나쁜 예후에 대한 위험성이나 믿음과 같은 고정관념을 포함하는 태도를 말하는 반면, 

• 정서요소들은 MI를 가진 사람들과의 상호작용에 대한 두려움이나 분노와 같은 편견의 표현을 포함한다. 

• 행동요소는 보통 MI를 가진 사람들과의 상호작용을 위한 의도를 나타낸다. 차별에 대해, 회피, 평가 절하 또는 사회적 거리를 통해 표현된다.

According to social cognition theory,4 stigma is a multidimensional concept that encompasses cognitive, emotional and behavioural elements. 

• Specifically, the cognitive elements refer to attitudes that include stereotypes, such as dangerousness or beliefs for a poor prognosis, 

• whereas emotional elements include the expression of prejudice, such as fear of or anger towards people with MI. 

• Finally, behavioural elements refer to intentions for interaction with people with MI, usually based on discrimination, expressed through avoidance, devaluation or social distance.3,5

증가하는 증거는, 일반 인구와 마찬가지로, 정신 건강 전문가들이 그들의 환자들에게 낙인을 표현할 가능성이 있으며, 장래의 건강 관리 전문가들은 그러한 환자들과 함께 일할 가능성을 적어도 매력적이지 않은 것으로 생각할 수도 있음을 보여준다. 낙인 문제를 해결하기 위한 지속적인 시도에서, 낙인 해소를 위한 교육적 개입은 대중들에게, 그리고 중요한 것은 장래의 보건 전문가들에게 널리 전달되어 왔다. 그러나 실제 환자와의 접촉을 포함하지 않는 안티-낙인 교육 개입은 단지 단기적인 효과만을 가지고 있는데, 아마도 MI라는 이름 뒤에 있는 인간을 평가할 기회가 부족하기 때문일 것이다. 환자와의 접촉이 긍정적인 태도를 확립하기 위한 핵심 요소인 것 같으므로, 정신 건강 관련 연구 커리큘럼이 포함된 임상실습이 포함되어야 한다.

Increasing evidence shows that, like the general population, mental health professionals are likely to express stigma towards their patients,6 and prospective health care professionals consider the possibility of working with such patients as unattractive at least.7,8 In a continuous attempt to tackle stigma, educational interventions aimed at its reduction have been widely delivered to the public9 and importantly to prospective health care professionals.10 However, anti-stigma educational interventions that do not include contact with real patients have only short-term effects,11 perhaps due to the dearth of opportunities for appreciating the human being behind the label of MI.12 As contact with patients seems to be a key element for establishing positive attitudes,13 the inclusion of a clerkship in the curriculum of mental health-related studies

임상실습은 보통 마지막 학년 또는 끝에서 두 번째 학년에 제공되고, 실제 환자와 함께 실시간 상황에서 직접 접근하여 젋은 전문직세대에게 MI를 가진 환자에 대한 긍정적이고 효율적인 접근을 교육하기 위한 이상적인 환경을 조성한다.

결과는 또한 각 개입에 대한 목표 결과에 따라 달라질 수 있으며, 초점이 개별적 낙인의 구성 요소(태도, 영향 또는 행동 의도) 중 하나 또는 단일 결과로서의 조합이냐에 따라 달라질 수 있다. 사실, 별도로 또는 조합하여 낙인의 구성요소를 선택하는 것은 실제로 개입의 효율성에 관한 상충되는 결과를 초래할 수 있다.

results may also vary depending on the targeted outcome for each intervention, and depending on whether the focus is on one of the components of stigma (attitudes, affect or behavioural intentions) separately or on their combination as one sole outcome. In fact, the selection of the stigma components either separately or in combination might actually lead to conflicting outcomes regarding the intervention’s effectiveness.

본 연구

The present study

따라서, 현재 연구는 장래의 의료 전문가들이 사무직 완료 후 결과로 표현한 오명(전반적으로 태도 [AT], [AF] 및 행동적 의도[BI])의 변화를 탐구한다. 목적은 

• (i) 임상실습이 학생의 낙인에 미치는 영향을 조사하는 모든 가용 연구에 대한 체계적인 메타 분석을 수행한다. 

• (ii) 낙인 전반과 각 구성 요소(AT, AF 및 BI)에 대한 효과 추정치를 제공한다. 

• (iii) 각 결과의 잠재적 조정 요인(즉, 대학 프로그램, 임상실습 기간, 임상실습 설정, 이론 교육, 실험 설계, 출판 연도, 연령 및 성별)을 식별해야 한다.

Thus, the current study explores changes in stigma (overall, attitudes [AT], affect [AF] and behavioural intention [BI]), expressed by prospective health care professionals as the outcome after completion of a clerkship. The aims are to 

• (i) carry out a systematic meta-analysis of all available studies that examine the effects of clerkship on health care students’ stigma, 

• (ii) provide an effect estimate for overall stigma and for each of its components (AT, AF and BI) and 

• (iii) identify potential moderating factors of each outcome (i.e. university programme, clerkship duration, clerkship setting, inclusion of theoretical training, experimental design, year of publication, age and sex).

METHODS

Literature search

Inclusion criteria

Coding procedure

stigma component (overall, attitude [AT], affect [AF] and behavioural intention [BI]),

도구들

Instruments measuring stigma

The included studies assessed stigma using 12 different instruments, with some of them measuring stigma as a whole, providing a total score. Examples of such instruments are: 

• the Mental Illness Clinician Attitudes Scale (MICA),18 examining beliefs, emotions and behaviours related to the patient’s treatment, perceived dangerousness or social interaction; 

• the Mental Health Attitudes Scale (MHAS),15 focusing on knowledge, negative stereotypes or anxiety; 

• and the Attitudes Towards Mental Illness Scale (AMI),14 examining fear or worry, as well as the willingness to have a friend or neighbour with MI. 

Other scales measured stigma components through distinct subscales that corresponded to AT, AF and BI. Examples are: 

• the Opinions towards Mental Illness Scale (OMI),19 encompassing the subscales of Authoritarianism, Benevolence, Mental Hygiene Ideology, Social Restrictiveness or Interpersonal Aetiology; 

• the Community Attitudes Towards Mental Illness Scale (CAMI),6 which is similar to the OMI with the exception of Interpersonal Aetiology; 

• and the Attributions Questionnaire (AQ-27),20 measuring the expression of Pity, Anger, Fear, Responsibility, Willingness to Help and Segregation. 

Lastly, some studies focused only on the BIs, measuring them through 

• the Social Distance Scale (SDS)21 or 

• the Devaluation Discrimination Scale (DDS),22 

both of which explore the willingness to have social interactions with people with MI (see Table S1 online for details). 

In order to proceed with the distribution of instruments and their subscales into the stigma components (overall, AT, AF and BI), we were guided by the distribution carried out in a previous meta-analysis on stigma outcomes,4 based on the social cognitive theory of stigma.

Data analyses

결과

RESULTS

최종 샘플

Final sample

22개 연구

Twenty-two studies fulfilled the inclusion criteria and were included in the meta-analysis, providing data from 22 independent samples.

낙인의 변화

Stigma changes after clerkship

크게 감소

Our analysis yielded a highly significant medium effect size for overall stigma reduction (k = 22, Hedge’s g = 0.354; p < 0.001; 95% CI, 0.26, 0.45) and improvement of AT (k = 9) (Hedge’s g = 0.308; p = 0.003; 95% CI, 0.10, 0.51) and BI (k = 10) (Hedge’s g = 0.247; p < 0.001; 95% CI, 0.17, 0.33).

Subgroup analyses

메타-회귀

Meta-regression analyses

가중된 혼합 효과 메타-규제 분석은 여성들이 전반적인 낙인 변화 수준을 더 높게 보인 반면에 출판 연도나 참여자의 연령에는 유의미한 영향이 없음을 보여주었다. 마지막으로, 전체적인 변화에 긍정적인 영향을 미치는 임상실습 시간의 경향이 있었다. 

The weighted mixed-effects meta-regression analyses revealed that women displayed higher levels of overall stigma change (k = 22, B = 0.007, standard error [SE] = 0.002, z = 3.23; p = 0.001), whereas there was no significant effect for publication year or participants’ age. Finally, there was a trend of clerkship duration influencing overall change positively (k = 22, B = 0.028, SE = 0.016, z = 1.78; p = 0.007). 

AT와 BI와 관련하여, 분석은 출판 연도와 임상실습 길이에 유의하지 않은 영향을 보여주었다. 하지만, 여성들은 AT에서 더 큰 변화를 보였고, 어린 학생들은 AT와 BI를 더 잘 보여주었다.

Regarding AT and BI, the analyses showed a non- significant effect for publication year and clerkship length. However, women showed greater change in AT (k = 6, B = 0.001, SE = 0.006, z = 1.95; p = 0.05)and BI (k = 6, B = 0.009, SE = 0.002, z = 2.76; p = 0.005) and younger students showed better AT and improved BI (k = 6, B =  0.057, SE=0.02, z =  3.02; p = 0.002). 

출판 편향

Publication bias

고찰

DISCUSSION

우리의 메타 분석의 결과는 임상실습이 학생들의 낙인에 대한 인식수준에 유익한 영향을 미친다는 것을 확인시켜준다. 좀 더 구체적으로 말하면, 그 결과는 행동적 의도를 바꾸는 것보다 [전반적인 낙인인식]과 [태도]를 바꾸는 힘이 더 크다는 것을 드러내는 반면, MI를 가진 환자에 대한 학생들에 대한 정서적 상태에 영향을 미치지 않았다. 그러한 차이는 놀랍지 않은데, 행동의 변화가 가장 어려운 것이며, 행동의 변화란 환자와의 상호작용을 증가시키고 능동적인 방식으로 도움을 제공려는 의도를 가정한다.26

The findings of our meta-analysis confirm that there is a beneficial influence of clerkship on students’ stigma levels. More specifically, the findings reveal a greater power of clerkship for changing overall stigma and attitudes than for changing behavioural intentions, whereas clerkship does not influence the student’s affective state towards patients with MI. Such differences are not surprising, given that behaviour is the most difficult component to change, as it assumes an intention to increase interaction with patients and help provision in an active way.26

현재의 연구 결과는 임상실습이 모든 대학 프로그램에 걸쳐 전반적인 낙인과 학생들의 차별적인 행동 의도를 줄이는데 도움이 된다는 것을 보여주었다. 이는 낙인을 해결하고자 할 때, 임상실습생이 환자 관리에 참여할 기회를 주는 것이 이론적 배경, 방법론 또는 학습 목표와 같은 대학 커리큘럼의 특정 구성요소보다 더 중요하다는 것을 나타낸다.

The results of the current study showed that clerkship was beneficial for reducing overall stigma and the students’ discriminatory behavioural intentions across all university programmes. This indicates that when targeting stigma the opportunity for involvement in patients’ care offered by a clerkship is more important than the specific components of university curricula, such as the theoretical background, methodology or learning targets.

특히, 입원 및 외래환자의 환경 조합에서 이뤄지는 임상실습은 (순수하게 기관화된 환경에 정착한 사무직과는 달리) 학생들의 태도를 변화시키는데 더 강력하다. 실제로 후자는 [행동적 의도]와 [전체적인 오명]에 미치는 영향은 전혀 없고 단지 작은 영향만 가지고 있다. 이러한 유의하지 않은 변화는 [학생들이 입원환자를 위험으로 간주될 수 있는 행동을 보이는 사람으로 인식하고 미래가 demoralisation된 사람들로 인식한다는 사실]로 설명할 수 있다.

Specifically, clerkships that take place in a combination of inpatient and outpatient settings are more powerful in altering students’ attitudes, as opposed to those settled in purely institutionalised conditions, in line with Sher & New.31 Indeed, the latter have no effect on attitudes at all and only a small influence on behavioural intentions and overall stigma. Such an insignificant change can be explained by the fact that students perceive the inpatients as people who display behaviours that may be considered dangerous32 and who immerse themselves in a state of demoralisation33 regarding their future.

영향력 있는 것으로 입증된 또 다른 요소는 임상실습의 한 부분으로 이론 교육을 실시하는 것이다. 특히, 이론적 훈련을 포함하지 않은 연구의 경우, [전체적인 낙인]과 [태도(=인지요소)]에 변화가 없었는데, 이는 대면 상호작용과 함께 이론적 요소를 포함시키는 것의 중요성을 보여주는 것이다.

Another element that was proven to be influential is the implementation of theoretical training as part of the clerkship. Specifically, overall stigma and attitudes remained the same for studies that did not include a theoretical training, pointing out the importance of accompanying the face-to-face interaction with such a component, in line with Economou et al.34

그러나 환자를 보다 긍정적인 방식으로 치료하려는 [의도]는 임상실습에 그러한 요소가 포함되어 있는지 여부와 무관하게 달라지는 듯 하며, 이는 결국 사회적 상호 작용에 관한 한 환자와 접촉하는 것이 가장 중요하다는 것을 암시한다.

However, the intention to treat patients in a more positive manner seems to alter independently of whether the clerkship includes such a component or not, implying eventually that when it comes to social interactions, contact with patients is all that matters.

마지막으로, 여성들은 전반적으로 낙인을 덜 보이고, 더 나은 [태도]와 [행동 의도]를 보여주었고, 비록 남성과 여성은 MI를 가진 사람들에게 다른 방식으로 행동하는 경향이 있지만, 여성이 더 우호적인 태도를 보인다고 말한 기존 리뷰를 부분적으로 입증했다. 임상실습의 영향은 [행동 의도]에 대해서는 동일한 패턴을 따르는 것처럼 보이지만, [태도]에는 영향을 미치지 않는다. 또한, 이전의 조사결과에 따라, 젊은 세대는 태도와 행동 의도에 긍정적인 영향을 미치는 것으로 보였다. 20,36

Finally, women showed less overall stigma, and better attitudes and behavioural intentions, partially corroborating an earlier review suggesting that although men and women tend to have similar attitudes they behave in a different way towards people with MI, with women being more friendly.35 The influence of clerkship seems to follow the same pattern for behaviour intentions but not for attitudes. Additionally, younger age seemed to influence positively both attitudes and behavioural intentions, in line with previous findings.20,36

Limitations

Implications for practice and research

사실, 그 낙인 구성요소들은 임상실습 후에 각자의 변화 패턴을 따르고 있으며, [행동]에는 영향이 적은 반면, [감정]에는 영향력이 없는 것으로 보인다. 그럼에도 불구하고, [감정]에 대한 연구는 다른 것에 비해서 매우 적은 편이므로 변화는 무시할 수 없다. 감정이 행동의 동기부여 메커니즘을 구성하기 때문에, 이 요소는 추가적인 탐사를 요구한다. 아마도 공감을 표적으로 삼음으로써 학생들은 두려움과 거절의 감정을 바꿀 수 있고 이런 식으로 MI를 가진 사람들을 더 호의적으로 대우하려는 그들의 의도를 높일 수 있다.

Indeed, the stigma components seem to follow their own pattern of change after clerkship, with behaviour being the less affected whilst there is a lack of change in affect. Nevertheless, changes cannot be discarded as affect has been significantly understudied compared with other stigma outcomes. As emotions constitute the motivating mechanism of actions, this component demands further exploration. Perhaps by targeting empathy, students can alter their feelings of fear and rejection and this way boost their intentions for more favourable treatment of people with MI.

학생은 사회의 구성원이기에, [MI를 가진 환자에 대해 무례하거나 부정적 꼬리표를 통해 특성을 부여하는] 사회적 맥락에서 기인하는 집단적 영향으로부터 영향을 받지 않을 수 없다. 따라서, 비록 학생들은 그들 자신이 갖고 있던 미신은 임상실습을 통해 사라지더라도, 전반적인 부정적 태도, 행동, 그리고 특히 감정은 그대로일 수 있다.

As members of a society, students cannot remain immune to group influences originating in a societal context that is characterised by disrespect towards patients with MI and attributes to them negative characteristics through labelling.38,39 Hence, although students may have their myths dispelled through their clerkship, they may largely retain their negative attitudes, behaviours and, importantly, emotions.

결과적으로, 우리의 연구결과는 더 넓은 사회적 문제에 대한 관심을 끌게 되는데, 이는 현재의 사회 구조에 도전해야 하며, stigma-free한 사고방식을 가진 시민을 양성하기 위해 더 큰 규모의 개입이 필요하다는 것을 시사한다.41

Consequently, our findings draw attention towards a wider societal issue, suggesting that there is a need for interventions on a larger scale in order to challenge the current societal structure and produce citizens with a stigma-free mindset.41

Med Educ. 2018 Jul;52(7):694-704. doi: 10.1111/medu.13548. Epub 2018 Mar 2.

The influence of clerkship on students' stigma towards mental illness: a meta-analysis.

보건전문직교육에서 기초의학지식의 전이에 대한 비판적 네러티브 리뷰(Med Educ, 2018)

A critical narrative review of transfer of basic science knowledge in health professions education

Jean-Marie Castillo,1,2,3,4 Yoon Soo Park,3 Ilene Harris,3 Jeffrey J H Cheung,1,5 Lonika Sood,3,6,7 Maureen

D Clark,3,8 Kulamakan Kulasegaram,1,9 Ryan Brydges,1,10 Geoffrey Norman11 & Nicole Woods1,2

도입

INTRODUCTION

1910년 Flexner 보고서 이후, 기초의학이 미래 의료에서 임상 추론에 역할을 한다는 가정 하에 기초 과학 교육을 HPE에 포함시켰다. 최근의 연구는 기초 과학 지식이 임상 지식과 임상 추론의 습득에 있어 학습자와 practitioner에게 실제로 유익하다는 것을 보여주었다. 그러나, 학생들이 실제로 기본적인 과학 지식을 임상추론에 transfer할 것을 보장하는 기초 과학 교육의 특정 교수법과 평가 접근법에 대한 문헌에서 제한적인 논의가 있었다.

Since the Flexner report of 1910,1 education in the basic sciences has been included in HPE on the assumption that it plays a role in clinical reasoning during future practice.2–4 Recent investigations have shown that basic science knowledge does indeed have benefit for learners and practitioners in their acquisition of clinical knowledge and clinical reasoning.5,6 However, there has been limited discussion in the literature about the specific instructional and assessment approaches in basic science education that ensure that students will, in fact, transfer their basic science knowledge to their clinical reasoning.7

기초 과학 지식의 전이는 하나의 학습 환경에서 습득한 기초 과학 지식을 다른 맥락에서의 임상 문제 해결에 적용하는 것으로 정의할 수 있다.8 임상 추론에 대한 기초 과학 지식의 전달을 최적화하는 목표는 HPE와 문제 해결에 관한 광범위한 문헌에서 복잡한 교육과정 문제를 제시한다.8

The transfer of basic science knowledge can be defined as the application of basic science knowledge acquired in one learning context to the solving of a clinical problemin another context.8 The goal of optimising the transfer of basic science knowledge to clinical reasoning presents a complex curricular challenge in HPE and in the broader literature on problemsolving.8

임상추론에서 기초 과학의 가치는 정적static 지식 구조의 개발을 넘어선다. 오히려, 기초과학 지식은 의학적인 문제 해결을 지원하기 위한 역동적인dynamic 정신 구조의 발전의 토대가 되어야 한다.

the value of the basic sciences in clinical reasoning goes beyond the development of static knowledge structures. Rather, basic science knowledge should also serve as the foundation for the development of dynamic mental structures to support medical problemsolving.

수십 년의 연구가 학습자들에 의한 임상적 추론에 대한 기초 과학 지식의 spontaneous transfer가 특히 어렵다는 것을 보여주었다.13~15 해부학, 생화학, 유전학 등의 기초과학 각각에 대한 지식만으로는 임상 실습의 충분한 토대를 제공하지 못한다. 그러므로, 기초 과학 교육에 대한 연구는 기초 과학 훈련이 어떻게 학생들이 그들의 기본 과학 지식을 현실 세계의 문제에 적용할 수 있도록 하는지 탐구해야 한다. 그러나, HPE의 문헌은 기본적인 과학 교육 방법의 효과와 학생들이 기본적인 과학 지식을 전수하는 것을 성공적으로 도왔는지에 관한 제한된 증거를 제공한다.16

Decades of research have demonstrated that the spontaneous transfer of basic science knowledge to clinical reasoning by learners is exceptionally difficult.13–15 Taken in isolation, knowledge of the basic sciences, such as anatomy, biochemistry and genetics, does not provide a sufficient basis for clinical practice. Therefore, research in basic science education must explore how basic science training enables students to apply their basic science knowledge to real-world problems. However, the literature in HPE provides limited evidence regarding the effectiveness of basic science teaching methods and whether they have been successful in helping students transfer their basic science knowledge.16

기존 연구를 철저히 검토하지 않으면, 학생들이 기본적인 과학 지식을 임상추론으로 transfer하는 것을 지원할 수 있는 이론, 모델 또는 모범 사례를 식별하기 어렵다. 따라서, 우리는 이용 가능한 증거를 포착하기 위해 기본적인 과학적 지식을 임상 추론에 전달하는 것에 관한 문헌의 검토와 통합을 수행하였다.

Without a thorough examination of the existing work, it is difficult to identify theories, models or best practices that might support students in the transferring of basic science knowledge to clinical reasoning. Thus, we undertook to conduct a review and synthesis of the literature on the transfer of basic science knowledge to clinical reasoning to capture the available evidence.

방법

METHODS

본 연구는 문헌에서 증거를 수집하기 위해 체계적인 탐색 전략을 기반으로 한 비판적 서술적 검토다. 단일의 경험적 질문에 관련된 대답을 제공하도록 설계된 체계적인 검토 결과와 대조적으로, 우리는 기초 과학 교육 맥락에서 지식 전이의 개념을 더 잘 이해하고자 했다. 따라서, 'transfer out'/'transfer in' 개념적 프레임워크를 사용하여, 기존 문헌에서 전이가 개념화 및 평가되는지, 평가된다면 어떻게 평가되는지를 이해하기 위해 체계적으로 문헌을 검색한 결과를 분석하였다.

The present study is a critical narrative review, based on a systematic search strategy, to gather evidence from the literature. By contrast with the results of a systematic review, which is designed to provide an answer relevant to a single, empirical question, we aimed to gain a richer understanding of the concept of knowledge transfer in the context of basic science education. Therefore, we analysed the results of our systematic literature search using a ‘transfer out’/’transfer in’ conceptual framework in order to understand if and how transfer is conceptualised and evaluated in the existing literature.

외전이/내전이

Conceptual framework: ‘transfer out’/’transfer in’

분석18을 안내하는 데 사용된 'transfer out'/'transfer in' 개념체계는 교육 문헌 내에서 잘 정립되어 있으며, 의료 교육 문헌에서도 성공적으로 사용되고 있다. 이 프레임워크는 지식의 전이에서 두 가지 주요 특징을 식별한다. 즉, transfer out과 transfer in 이다

The ‘transfer out’/’transfer in’ conceptual framework used to guide the analysis18 is well established within the education literature and has also been used successfully in the medical education literature.19–21 The framework identifies two major dimensions in the transfer of knowledge: transfer out and transfer in.18

'트랜스퍼 아웃'은 학습 상황에서 개발된 지식을 새로운 문제 해결에 적용하는 것을 말한다. '트랜스퍼 아웃'은 수십 년 동안 연구의 초점이 되어왔던 전형적인 전이 개념화의 예를 보여준다. 예를 들어, 학생에게 환자가 피로, 체중 증가, 피부색 수정, 변비를 보이는 임상적 문제가 제시될 수 있다. 이 학생은 이전에 유사한 사례를 통해 갑상선 기능저하증과 관련된 증상을 배웠으며, 현재 자신의 지식을 갑상선 기능저하증 진단을 하고 새로운 임상 문제를 해결하기 위해 적용하고 있다.

‘Transfer out’ refers to the application of knowledge developed in a learning situation to the solving of a new problem. ‘Transfer out’ exemplifies the typical conceptualisation of transfer that has been a focus of research for decades.13 For example, a student may be presented with a clinical problemin which a patient presents with fatigue, weight gain, modification of skin colour and constipation. The student previously learned the symptoms associated with hypothyroidism through a similar case; he now applies his knowledge to diagnose hypothyroidism and solve the new clinical problem.

그러나 'transfer out'만으로는 새로운 문제를 해결하는 데 필요한 모든 것을 파악할 수 없다. 학습자에게 평생 동안 보건 전문가가 겪을 수 있는 무한한 문제를 모두 제공하도록 HPE 프로그램을 설계하는 것은 불가능할 것이다. 이론적으로, 전문가는 [높은 수준의 효율성을 보장고자] 또는 [제한된 활동 또는 상황을 위한 매우 구체적인 일상적 전문지식의 개발하고자] 지식의 학습과 적용에 있어 그 또는 그녀의 실행 범위를 엄격하게 제한할 수 있다.

Yet, ‘transfer out’ alone cannot capture the entirety of what is needed to solve new problems. It would be impossible to design an HPE programme that would provide learners with the infinite array of the problems a health professional might encounter during a lifelong practice. In theory, a professional could tightly limit his or her scope of practice to ensure a high level of efficiency in the learning and application of knowledge, and the development of highly specific routine expertise for a limited set of activities or situations.18,22,23

그러나, 이러한 극단적인 수준의 전문화는 대부분의 건강 직업에서는 불가능하다. 더욱 중요한 것은, 그것은 UME에서의 철학에 반하는 것이다. 결국, 효율적인 문제 해결은 지식의 직접적인 적용(transfer out)보다 더 많은 것을 요구한다. 효율성의 개발이 보건 전문가들에게 중요한 기술이지만, practitioner는 새로운 학습이 필요한 특이한 상황에 직면할 수밖에 없다.

However, this extreme level of specialisation is simply not possible in most health professions. More significantly, it runs counter to the generalist philosophy of undergraduate medical training. Ultimately, efficient problem solving requires more than the direct application of knowledge (i.e. more than ‘transfer out’). Although the development of efficiency is an important skill for any health professional, practitioners will inevitably encounter unusual situations that require new learning.18,22,23

'transfer in'은 새로운 학습을 용이하게 하기 위해 선행지식을 사용하는 것을 의미한다.18,24 기초과학교육의 맥락에서 'transfer in'은 사전 기초과학지식이 새로운 임상적 내용으로부터 학습을 용이하게 할 때 발생한다.

‘Transfer in’ refers to the use of prior knowledge to facilitate new learning.18,24 In the context of basic science education, ‘transfer in’ occurs when prior basic science knowledge facilitates learning from new clinical content.

예를 들어, 학생들은 우선 갑상선 호르몬이 혈액에 의해 몸 안에 퍼지고, 다수의 장기와 상호작용하며, 갑상선 호르몬의 부족은 다수의 장기에 영향을 미치는 여러 신진대사 경로를 느려지게 한다는 것을 배울 수 있다. 이러한 기본적인 과학 개념에 대한 지식은 학생들이 첫 번째 임상 문제나 주제에 대한 새로운 강의를 들을 때 아디슨 병(Adrenal hormone의 부족)에 대해 더 쉽게 배울 수 있게 한다.

For example, a student might first learn that thyroid hormones are spread in the body by the blood and interact with a multitude of organs, and that a lack of thyroid hormones results in a slowing down of several metabolic pathways affecting a multitude of organs. Knowledge of these basic science concepts might subsequently enable the student to more readily learn about Addison’s disease – a lack of adrenal hormones – when he is presented with his first clinical problem or a new lecture on the topic.

이 사례에서, 기본적인 과학 지식은 새로운 콘텐츠의 학습을 촉진하도록 transfer in할 수 있다. 이 렌즈를 이용하면, 미래 학습을 가장 잘 지원할 조기 학습 경험에 초점을 맞추는 것이 고품질 교육을 만드는데 결정적인 것이다. 실제로 'transfer in'에서 학습자의 성공은 궁극적으로 'transfer out'에 긍정적인 영향을 미치므로 임상 성과에 긍정적인 영향을 미칠 것이다.18,25

In this instance, the basic science knowledge could ‘transfer in’ and facilitate the learning of new content. Using this lens, a focus on early learning experiences that will best support future learning becomes critical in creating high-quality education. Indeed, a learner’s success at ‘transfer in’ will ultimately positively impact ‘transfer out’ and therefore clinical performance.18,25

비록 이것이 의학 교육 연구의 전이를 이해하는 비교적 새로운 방식이지만, '전입'은 종종 간과되는 기초 과학 교육의 잠재적인 가치를 탐구하는 유용한 방법을 제공한다.

Although it is a relatively new way of understanding transfer in medical education research, ‘transfer in’ provides a useful way of exploring the potential value of basic science education that is often overlooked.18,24

Search strategy

Data collection, data extraction and analysis

Ethics

결과

RESULTS

HPE 기본 과학 및 임상 추론 성과에 RCT 사용을 보고한 연구는 거의 없었다.

Few studies reported the use of randomised controlled trials of instruction in basic sciences in HPE and clinical reasoning outcomes

총 9803건의 연구가 확인되었고(복제 논문은 제외), 627건의 연구가 전체 텍스트 평가를 위해 검색되었으며 15건의 연구가 검토에 포함되었다(그림 1).

A total of 9803 studies were identified (after the exclusion of duplicate articles); 627 studies were retrieved for full-text evaluation and 15 were included in the review (Fig. 1).

임상 추론에 대한 기초과학 지식의 전이를 탐구한 검토에 포함된 15개 연구 중 93%가 'Transfer out'를, 7%(하나의 연구)는 'Transfer in'를 조사했다(표 1). 이러한 개입은 주로 의과대학(53%)과 특히 커리큘럼의 초기(1:40%, 2: 33%)와 생리학 과정(53%)에서 이루어졌다.

Of the 15 studies included in the review that explored the transfer of basic science knowledge to clinical reasoning, 93% explored ‘transfer out’ and 7% (one study) explored ‘transfer in’ (Table 1). The interventions took place predominantly in medical schools (53%), especially during the early years of the curriculum (Year 1: 40%; Year 2: 33%), and in physiology courses (53%) (Table 2).

기초과학의 교육은 'TO와 TI'에 대한 임상추론에 긍정적인 영향을 끼쳤다.

Instruction in the basic sciences positively impacted clinical reasoning for ‘transfer out’ and ‘transfer in’

검토한 논문에서, 기초과학 지식은 'transfer out'을 위한 임상 추론에 긍정적인 영향을 미쳤다. 이러한 연구는 기초과학 지식이 몇 가지 임상추론 과제에서 성과를 향상시켰다고 제안했다. 이러한 과제에는 

• 임상 기능에 잠재적으로 책임이 있는 메커니즘에 대한 설명;26 

• 환자 정보 및 후속 조치를 포함한 치료 계획의 결정, 27 

• 보다 광범위한 임상 문제 해결이 포함되었다.28–31 

In the reviewed papers, basic science knowledge positively impacted clinical reasoning for ‘transfer out’. These studies suggested that basic science knowledge enhanced performance in several clinical reasoning tasks. These tasks included: 

• the explanation of the mechanisms potentially responsible for clinical features;26 

• the determination of a therapeutic plan including patient information and follow-up,27 

• and, more broadly, clinical problem solving.28–31 

효과적인 교육 전략에는 

• 기초 및 임상 과학의 커리큘럼 통합, 

• 개념 지도의 사용, 

• 임상 사례의 분석, 

• 3차원 가상 현실의 사용이 포함되었다.

특정 매체 대 다른 매체의 사용은 'transfer out'을 강화하지 않았다(예: 현미경 vs 이미지, CD vs 강의33).

Effective teaching strategies included 

• the curricular integration of basic and clinical sciences,28 use of concept maps,26,31 

• analysis of clinical cases,27,29 and 

• use of three-dimensional virtual reality.30 

The use of a specific medium versus another did not enhance ‘transfer out’ (e.g. light microscopy versus projected images,32 or CD versus lecture33).

세심한 통제가 이루어진 소수의 연구는 기본적인 과학 지식에 의해 뒷받침되는 임상 추리 과제를 확인하고 어떻게 'transfer out'를 조성할 것인가에 대한 추론을 이끌어냈다. 첫째, 임상 기능의 기본적인 설명 메커니즘(즉, 기초 과학 지침)을 가르치는 것은 초보 진단 전문가에서 시간의 경과에 따른 진단 정확성의 유지를 지원했다.

A small number of carefully controlled studies identified clinical reasoning tasks supported by basic science knowledge and drew inferences about how to foster ‘transfer out’. First, teaching the underlying explanatory mechanisms (i.e. basic science instruction) of clinical features supported the maintenance of diagnostic accuracy over time in novice diagnosticians.

이러한 긍정적인 결과는 conceptual coherence theory에 비추어 이러한 연구의 저자들에 의해 설명되었다.38 개념적 일관성 이론CCT은 근본적인 인과 메커니즘에 대해 학습하는 것이 문제의 임상적 특성에 대한 일관성 있는 정신적 표현을 제공하고, 따라서 각 진단 범주의 특성을 이해함으로써 장기 기억력과 전달을 향상시킨다고 주장한다.38

These positive results were explained by the authors of these studies in the light of conceptual coherence theory.38 Conceptual coherence theory posits that learning about the underlying causal mechanisms provides students with a coherent mental representation of the clinical features of problems, and thus enhances long-term memory and transfer by making sense of the features of each diagnostic category.38

기초과학 지식을 analogies와 함께 가르치는 것은 임상 추론에 긍정적인 영향을 주었다. 특히, 기본적인 과학 지식의 예를 가르치는 상식적인 analogies가 'transfer out'을 뒷받침했다.39 임상 문제에 대한 설명을 필요로 하는 즉각적인 시험에서, analogy를 활용하여 가르친 경우에 그렇지 않은 경우보다 더 좋은 성과를 보였다.

Teaching basic science knowledge with analogies demonstrated a positive effect on clinical reasoning. Particularly, commonsense analogies as teaching examples of basic science knowledge supported ‘transfer out’.39 Students taught basic science knowledge with an analogy outperformed students taught basic science knowledge alone without analogies on immediate tests that required explanations of clinical problems.

여러 가지 관련 임상 문제를 연습하면서 기초 과학 지식을 가르치는 것도 이후에 'transfer out'를 촉진하였다.40 다양한 임상적 또는 전공별 맥락을 포함하여, 학생들이 기초 과학을 배우고 문제해결을 연습했을 때 임상 추론이 개선되었다. 임상추론 개선은 유사한 사례와 새로운 사례 모두에서 관찰되었다.

Teaching basic science knowledge with the practice of multiple related clinical problems promoted subsequent ‘transfer out’.40 The explanation of clinical reasoning was improved when students learned basic science and practised solving problems, including in varied clinical or disciplinary contexts. This improvement in clinical reasoning was observed for both similar and new cases.

단일한 생의학 개념을 설명하는 문제와 다수의 생의학 개념을 언급한 문제 모두에서 효과가 관찰되었기 때문에, 문제 맥락에서의 variability은 임상 추론을 강화하는 가장 중요한 요소로 식별되었다.40

The variability in the contexts of problems was identified as the most important element to enhance clinical reasoning as its effect was observed in both problems that illustrated a single biomedical concept and those that referred to multiple biomedical concepts.40

다양한 맥락에서 복수의 문제를 연습하는 가치는 문제의 심층적인 개념적 생의학적 구조를 식별하고 후속 transfer를 지원하는 데 도움이 될 수 있다.

The value of practice with multiple problems in a multitude of contexts may have helped in the identifying of the deep conceptual biomedical structure of the problems, and subsequently supported transfer.

한 연구에서는 'transfer in'에 대한 기초 과학 지식의 가치를 탐구하는 것으로 확인되었다. 이 연구는 새로운 관련 콘텐츠(미래 학습을 위한 준비)의 후속 학습을 촉진하는지 여부를 탐구함으로써 임상 기능의 기본 과학 인과 메커니즘 학습의 가치를 입증했다.20

A single study was identified as exploring the value of basic science knowledge for ‘transfer in’. This study demonstrated the value of learning basic science causal mechanisms of clinical features by exploring whether they facilitate the subsequent learning of new related content (preparation for future learning).20

기존 평가는 임상적 추론에 대한 기초과학 지식의 가치를 파악하기에는 민감성이 부족할 수 있다.

Traditional assessments may lack the sensitivity to capture the value of basic science knowledge in transfer to clinical reasoning

비록 특별히 평가 전략을 비교한 연구는 없지만, 우리의 분석은 또한 전통적인 평가가 임상 추론에 대한 기본적인 과학 지식의 가치를 획득하기에 충분한 민감성이 부족할 수 있다는 것을 암시한다. 단순 암기 시험의 성능에서 어떤 편익도 관찰되지 않았지만, 임상 추론의 평가에서는 차이가 입증되었다.34–37,40 저자들이 단지 사실적 리콜에만 집중했다면, 기초 과학 훈련의 어떠한 장점도 포착되지 않았을 것이다.

Although no study specifically compared assessment strategies, our analysis also suggests that traditional assessments may lack sufficient sensitivity to capture the value of basic science knowledge in transfer to clinical reasoning. No benefit was observed in performance on rote memory tests, whereas differences were demonstrated in assessments of clinical reasoning.34–37,40 If the study authors had focused solely on factual recall, no advantages of basic science training would have been captured.

고찰

DISCUSSION

우리의 결과는 기초과학지식의 임상적 추론에 대한 transfer을 평가하기 위한 연구가 거의 없다는 것을 보여준다. 이것에 대한 몇 가지 가능한 이유가 있다. 

• 첫째, 심리학적 개념으로서 transfer는 교육자와 연구자가 일반적으로 고려하는 lens가 아닐 수 있다. 연구자들은 기초과학 지식이 미래의 임상 실습에 중요하다는 것에 동의할 수 있지만, transfer에 초점을 맞추는 것이 바람직한지에 대해서는 덜 명백할 수 있다. 

• 둘째로, 기초 과학 교육(예: 과학적 추리, 연구 능력, 전문적 정체성 개발)과 관련된 목표의 다양성으로 인해 궁극적으로 교수진과 학생 모두에게 임상 추론과 실천에 대한 준비로부터 멀어지게 할 수 있다. 

• 셋째, 기초과학지식의 임상적 추론에 대한 전이를 가르치고 평가하기 위해서는, 교육자들은 실천과 관련된 것이 무엇인지 알아야 한다. 그러나 모든 기초과학 교육자가 임상적 관련성을 이해하는 것은 아니다. 

• 마지막으로, 기본 및 임상 과학의 통합에 대한 강조는 [전이]보다 [임상추론]으로 우리의 관심을 이동시켰을 수 있다.16 기본 및 임상 과학의 통합은 학습 목표일 뿐만 아니라 커리큘럼 전략이다.41 교육전략과 교육성과 간의 차이가 명확하지 않을 경우, transfer와 관련한 초점이 저하될 수 있다. 

Our results indicate that there are few studies designed to evaluate the transfer of basic science knowledge to clinical reasoning. There are several possible reasons for this. 

• Firstly, transfer – as a psychological concept – may not be a lens through which education is typically considered by educators and researchers. Although investigators may agree that basic science knowledge is important for future clinical practice, they may be less explicit on whether a focus on transfer is desirable. 

• Secondly, the multiplicity of objectives associated with basic science education (e.g. the development of scientific reasoning, research abilities, professional identity) might ultimately distract both faculty staff and students from preparation for clinical reasoning and practice. 

• Thirdly, in order to teach and assess the transfer of basic science knowledge to clinical reasoning, educators must know what is relevant for practice. However, not every basic science educator will understand clinical relevance. 

• Lastly, the emphasis on the integration of the basic and clinical sciences may have shifted our attention away from the critical dimension of transfer to clinical reasoning.16 Integration of the basic and clinical sciences is a curricular strategy, as well as a learning goal.41 If the difference between the instructional strategy and the educational outcome is not made clear, the focus on transfer may suffer. 

사례로서 기초과학 지식을 흔한 analogy와 함께 가르치거나, 다수의 임상 문제를 연습해보는 것이 'transfer out'을 지원하였다. 이것은 중요한데, 임상추론에 기초과학적 개념을 사용하기 위해서는, 학생들은 먼저 문제를 그 문제와 관련있는 개념으로 정확하게 분류할 수 있어야 하기 때문이다. [문제]와 [학습한 기초과학 개념] 사이의 유사성은 '깊은(개념적) 구조적 수준'에서 식별되어야 한다'8 (예를 들어, 유체 역학의 층류 흐름은 심혈관과 호흡 시스템 모두에서 식별될 수 있다39).

Teaching basic science knowledge with commonsense analogies as teaching examples,39 or with the practice of multiple related clinical problems supported ‘transfer out’.40 These studies shared a common characteristic: they emphasised the deep conceptual structure of basic science knowledge to support transfer. This is critical because, to use a basic science concept in clinical reasoning, the trainee must first accurately categorise the problem as one that is appropriate to this concept. The similarity between the problem and the known basic science concept ‘must be identified at the level of the deep (conceptual) structure’8 (e.g. laminar–turbulent flow in fluid dynamics can be identified in both the cardiovascular and the respiratory systems39).

교육적인 도전은 일반적으로 초보자들이 문제를 표면적 구조를 기반으로 식별하기 때문에 발생한다. 반면에 전문가들은 문제를 underlying principle로 본다. 8,42 새로운 문제에 직면했을 때, 초심자는 맥락과 표면 수준에서 주어진 단서들을 바탕으로 그것을 자신의 mental representation과 비교할 가능성이 더 높다. 문제의 표면적 representation은 misleading할 수 있고, 올바른 기본 과학 개념의 식별을 방해할 수 있다.39 예를 들어, 물리학 문제에 직면했을 때 전문가들은 모멘텀의 보존을 확인했지만, 초심자는 경사진 평면과 같은 맥락적 세부 사항에 집중했다.43

The educational challenge arises because novices typically identify problems based on surface structures, whereas experts ‘see the problem as an underlying principle’.8,42 When encountering a new problem, a novice is more likely to compare it with his or her mental representation based on contextual and surface-level cues. The surface representation of the problem can be misleading and can hamper the identification of the correct basic science concept.39 For example, faced with physics problems, experts identified conservation of the momentum, whereas novices focused on contextual details, such as an inclined plane.43

실천을 위한 함의

Implications for practice

기초과학에서 교육 관행을 개선하려면 다면적인 접근이 필요하다. 교수개발은 이전 개념에 대한 이해를 높이고 우리가 확인한 교육 전략을 보급하는 데 필수적이다. 실제로, 기본 과학 지식을 임상 실습으로 전이하는 것을 강화하는 것을 목표로 한다면 개인 교사의 역할이 성공에 필수적이다.5,6,44,45

Improving educational practice in the basic sciences requires a multifaceted approach. Faculty development is essential to improve understanding of the concept of transfer and to disseminate the instructional strategies we have identified. Indeed, the role of individual teachers is critical to the success of interventions aimed at enhancing the transfer of basic science knowledge to clinical practice.5,6,44,45

기초 및 임상 과학 교사 간의 긴밀한 협력은 

• 기초 과학 교육의 목적을 명확히 결정하고(예: 임상 추리 또는 과학적 추론의 개발로 전이), 

• 의미 있는 기초과학 지식이 무엇인지 식별하며,

• 영향impact을 포착할 수 있는 평가를 deliberate하게 생성하여, 전이를 평가하기 위한 임상 추론의 관련 dimension을 선택하게 해준다

Close collaboration between basic and clinical science teachers is foundational 

• to the clear determination of the objectives of basic science education (e.g. transfer to clinical reasoning or development of scientific reasoning), 

• to the identifying of meaningful practical basic science knowledge, and 

• to the selection of relevant dimensions of clinical reasoning to assess transfer through the deliberate creation of assessments that can capture impact.

또한 커리큘럼 리더는 이러한 관행을 육성하는 데 필요한 커리큘럼 구조를 만들고 이러한 협업을 육성하고 보상하는 데 필요한 기관 지원과 자원을 확보하는 것이 필수적이다.45

Further, it is essential that curriculum leaders create the curricular structures needed to nurture these practices and ensure the institutional support and resources required to foster and reward this collaboration.45

연구를 위한 함의

Implications for research

이를 위해, 'transfer out'/'transfer in' 개념적 프레임워크18은 향후 연구를 위한 중요한 지침을 제공할 수 있다. 이 프레임워크는 우리가 현재 조사하지 않는 문제를 조사하기 위해, 전통적인 transfer out의 차원을 넘어 확장된다: , 즉, 기초과학 지식이 미래의 임상 콘텐츠의 학습과 임상 추론의 개발에 어떻게 영향을 미칠 수 있는지

To this end, the ‘transfer out’/’transfer in’ conceptual framework18 may present an important guide for future research. This framework extends beyond the traditional dimension of ‘transfer out’ to examine the issues we currently do not investigate, namely: how basic science knowledge may impact the future learning of clinical content and the development of clinical reasoning.

Med Educ. 2018 Jun;52(6):592-604. doi: 10.1111/medu.13519. Epub 2018 Feb 8.

A critical narrative review of transfer of basic science knowledge in health professions education.

의료전문성 습득과 유지: Deliberate practice를 통한 전문가-수행능력 접근(Acad Med, 2015)

Acquisition and Maintenance of Medical Expertise: A Perspective From the Expert-Performance Approach With Deliberate Practice

K. Anders Ericsson, PhD

전문가-퍼포먼스(EP) 접근 방식

The Expert-Performance Approach

전문가-퍼포먼스 접근법은 

1. 실제 세계에서 재현할 수 있을 정도로 우수한 성과를 확인한 다음, 

2. 이상적으로 실험실 검사를 위한 표준화된 작업을 통해 

3. 이 퍼포먼스를 포착하고 재현할 필요가 있다고 제안한다. 

음악, 발레, 스포츠, 체스와 같은 경쟁이 있는 영역에서, 재현할 수 있을 정도로 뛰어난 성과를 내는 개인을 식별하는 것은 비교적 간단하다.4 대조적으로, K–12 교육, 심리 치료, 수술과 같은 인간의 훈련 및/또는 치료와 관련된 전문지식을 측정하는 것은 훨씬 더 어렵다. 이러한 영역에서 개인에게 재현할 수 있는 우수한 성능의 객관적 척도를 파악하는 것은 어렵다.

The expert-performance approach proposes that it is necessary to identify reproducibly superior performance in the real world, and then to capture and reproduce this performance, ideally with standardized tasks for examination, in the laboratory.2,3 In domains with competitions—such as music, ballet, sports, and chess—identifying individuals whose performances are reproducibly superior is relatively simple.4 In contrast, it is much more difficult to measure expertise when it involves the training and/or treatment of humans—such as in K–12 education, psychotherapy, and surgery. Identifying objective measures of reproducibly superior performance for individuals in these domains is challenging. 

이러한 영역의 객관적 성과는 일상 생활의 치료 결과에 의해 측정될 수 있지만, 필요한 만큼의 충분한 결과 데이터를 수집하고 분석하는 것이 어렵다.

Objective performance in these domains can be measured by the outcomes of treatments in everyday life, but collecting and analyzing the necessary amount of outcome data is difficult.

치료받은 환자에 의한 사전 및 사후 평가의 차이에 기초한 심리치료사의 성과를 측정하는 것이 가능하다. 66.7 유방 재구성 및 수술과 같은 일부 의료 영역에서, 일부 치료의 경우, 가장 중요한 척도는 성공의 환자 만족도를 평가하는 것이다.

measuring the performance of psychotherapists based on the difference of pre- and post- rating by treated patients is possible.6,7 In some domains of medicine, such as breast reconstructions8 and hand surgery,9 patient satisfaction ratings of outcomes serve as the most important measures to assess the success of medical treatments.

전문가-퍼포먼스 접근법은 신뢰성 있고 객관적이며 장기적인 결과를 요구한다. 수술에서 그러한 결과는 암의 재발률감소가 될 수 있다. 전문가 개개인 사이의 차이점을 이해하려면 수백 시간의 교육, 심리 치료, 수술에 대한 평균 결과 계산이 필요하다. 이와 관련한 엄청난 양의 행동 간 상호작용은 평균적 퍼포먼스에서 관찰된 개별 차이를 설명할 수 있는 특정 행동이나 행동에서의 차이를 식별하는 것을 매우 어렵게 한다.

The expert-performance approach requires reliable, objective, long-term outcomes. In surgery, such outcomes may be reduced reoccurrence of cancers.13,14 Understanding the individual differences among professionals’ performance requires the calculation of average outcomes for many hundreds of hours of teaching, psychotherapy, and surgery. The associated massive amounts of behavioral interactions make it very difficult to identify differences in specific behaviors or actions that might account for the observed individual differences in average performance.

앞서 언급했듯이, 일부 영역(체스, 음악, 스포츠)에서는 지속적으로 우수한 성과를 내는 전문가를 확인하는 것이 간단하다. 가장 광범위하게 연구된 전문 분야 중 하나는 체스이다. 체스 선수의 기술 수준은 체스 토너먼트에서의 승리와 패배에 의해 결정된다. 체스 등급이 다른 상대와의 약 20-40경기의 결과는 한 개인에 대한 정확한 체스 등급을 계산하는 데 필요하다.15 체스 경기를 완료하는 데는 100시간 이상의 체스 경기 또는 1,000회 이상의 체스 이동이 필요합니다. 체스 게임의 결과에 있어서 모든 체스 움직임이 똑같이 중요한 것은 아니므로, 어떤 움직임은 체스 선수 사이의 기술 수준에 따라 차이가 나지 않을 것이다. 사실, 경기당 소수의 결정적 움직임만이 체스 등급이 낮은 선수들과 우수 선수들을 명확하게 구별하여 전문지식 개발을 위한 훌륭한 기회를 제공한다는 것을 보여준다.

As mentioned, identifying experts with consistently superior outcomes is simpler in some domains (chess, music, sports). One of the most extensively researched domains of expertise is chess. A chess player’s skill level is determined by his or her wins and losses at chess tournaments; outcomes from some 20 to 40 matches against opponents with different chess ratings are necessary to compute an accurate chess rating for a single individual.15 To complete that number of chess matches takes over 100 hours of chess playing or over 1,000 chess moves. All chess moves are not equally important for outcomes of chess games; thus, some moves will not differentiate chess players with different skill levels. In fact, evidence shows that only a small number of critical moves per game will clearly distinguish superior players from those with lower chess ratings, offering a great opportunity for the study of the development of expertise.

세계 정상급 선수들은 체스 포지션을 광범위하게 탐구한 후 가장 좋은 움직임을 선택했다. 반면, 클럽 선수들은 더 많은 시간동안 생각하더라도 최고의 움직임을 고려조차 하지 않았다.

The world-class players picked the best move after exploring the chess position extensively—from half a minute to around 20 minutes, whereas the club players did not even consider the best move during their extended deliberation.

얼핏 보면 이런 유형의 테스트는 개방형 응답을 허용하는 의학의 환자 관리 시나리오와 유사하지만, 체스 연습게임은 실제 체스 게임과 정확히 동일한 반면, 환자 관리에 대한 key-feature problem은 의사들의 경험에 의해서 구성된다. 주요 특징 문제에 대한 정답은 합의를 통해 숙련된 의사들에 의해 검증되는 반면, 올바른 체스 움직임은 세계 정상급의 체스 선수들에 의해 결정되며, 더 최근에는 그들이 선택한 움직임에서 인간 선수들보다 훨씬 뛰어난 컴퓨터 프로그램에 의해 결정된다. 마지막으로 가장 중요한 것은 의학에서 사례 관리 시나리오는 의대생과 직원의 최소 역량을 시험하도록 설계된 반면, 체스의 이동-선택 테스트는 regional에서 international 수준까지 체스 기술의 전체 스펙트럼에 걸친 실제 성과를 예측한다. 의학은 실제 환자의 실제 결과와 높은 상관관계를 가지는 성과를 측정하려면 시험이 필요하다.

At a glance, this type of test might seem similar to patient management scenarios in medicine that allow open-ended answers,18 but the chess positions are exact duplicates from actual chess games, whereas the key-features problems for managing patients are constructed by experienced medical doctors. The correct answers for the key-features problems are validated by experienced medical doctors through consensus, whereas the correct chess moves are determined by world-class chess players and more recently by computer programs, which are vastly superior to human players in their move selection.19 Finally and most important, the case-management scenarios in medicine are designed to test medical students’ and personnel’s minimal competencies,18 whereas the move- selection tests are predictive of real-world performance across the whole spectrum of chess skill from regional to international level.17 Medicine requires tests, to measure performance that are highly correlated with the real-world outcomes of actual patients.

체스 선수들이 완성된 체스 경기를 분석하고 그들이 열등한 움직임을 선택했다는 것을 깨달을 때, 그들은 미래의 경기력을 향상시킬 기회를 갖게 된다. 체스 선수들은 많은 체스 포지션들의 움직임을 가장 잘 알려진 동작으로 선택함으로써, 처음 선택했을 때 낮은 동작으로 이어지는 경우를 확인할 수 있다.

When chess players analyze a completed chess match and realize that they have selected an inferior move, they have the opportunity to improve their future performance. By attempting to select moves for a large number of chess positions with known best moves, chess players can identify occasions when their initial selections led to inferior moves.

체스에서 할 수 있는 이러한 유형의 독학은 최상의 움직임을 가진 체스 포지션의 라이브러리를 사용하면, 체스 성능의 효과적인 학습과 향상을 위한 환경을 제공할 수 있다.

this type of solitary study, using a library of chess positions with best moves, can provide an environment for effective learning and improvement of chess performance.

이러한 종류의 훈련이 선생님에 의해 감독되고 guide될 때, 그것은 "Deliberate practice (DP)"이라고 불립니다. 이것은 저와 제 동료들이 1993년에 소개한 개념입니다. 우리는 DP신중한 연습을 "반복과 연속적인 개선을 통해 개인의 수행의 특정 측면을 개선하기 위해 특별히 설계된 개인화된 훈련 활동"으로 정의했고, "피드백을 통해 최대한의 이익을 얻기 위해서, 개인들은 그들의 training을 최대한의 집중하여 모니터링하는데, 이는 많은 노력이 들기에 하루에 가능한 훈련 시간을 제한시키게 된다."

When this type of training is supervised and guided by a teacher, it is called “deliberate practice”—a concept my colleagues and I introduced in 1993.20 We defined deliberate practice as “the individualized training activities specially designed by a coach or teacher to improve specific aspects of an individual’s performance through repetition and successive refinement,”21(pp278–279) and we clarified that, “To receive maximal benefit from feedback, individuals have to monitor their training with full concentration, which is effortful and limits the duration of daily training.”21(p279)

DP신중한 연습의 효과를 시험하기 위해, 우리는 모두 같은 명문 국제 음악 학원에 다니는 바이올린 학생들의 발달에 대한 데이터를 수집했다.20

To test for the effects of deliberate practice, we collected data on the development of violin students all attending the same prestigious international music academy.20

이 연구는 이 정도의 엘리트 수준의 수행능력을 보여주는 연주자들 사이에서조차, 혼자 하는 연습의 양이 중요한 차이를 만든다는 것을 보여준다: 더 뛰어난 바이올린 연주자들이 다른 두 그룹보다 더 많은 연습을 축적했습니다.20

This research showed that even at this elite level of performance, the amount of solitary practice accounted for significant differences among the groups: The more highly accomplished violinists had accumulated more practice than the other two groups.20

이 결과는 적어도 연구 당시 가장 높은 수준의 연기자들 중에서 타고난 재능이 유일한 결정적인 요소라는 견해와 모순된다.

This finding contradicted the view, common, at least at the time of the study, that among the highest levels of performers, innate talent was the only determining factor.

3가지 유형의 표상representations을 이용한 일련의 전문가 성과 개발

Development of Expert Performance as a Sequence of States With Three Types of Representations

제 동료들과 저는 음악분야에서 전문적인 연주가 발전하는 것을 설명하거나 묘사하기 위한 체계를 제안했습니다. Bloom의 발견과 일관되게, 우리의 프레임워크는 악기 연주의 시작을 포함한다. 우리는 악기 연주가 적어도 처음에 부모나 전문 선생님에 의한 가르침과 거의 항상 연관되어 있기 때문에 악기의 초기 연주를 명확하게 확인한다. 어떤 사전 훈련 없이 즐거운 음악을 만들어 내는 것은 어려운 반면, 어린이조차도 아무런 지시 없이 시행착오를 통해 공을 차는 법을 배울 수 있습니다. 악기를 배우는 아이들의 집중적인 연습 시간은 하루에 10분에서 20분 정도로 비교적 짧을 것을 권장하며, 따라서 어린이가 연습 바깥에서 engage in play할 수 있다.

My colleagues and I proposed a framework for explaining or illustrating the development of expert performance in music.20 Consistent with the findings of Bloom,22 our framework includes the start of playing an instrument. We explicitly identify the initial playing of an instrument because playing an instrument is nearly always linked to, at least in the beginning, instruction by a parent or professional teacher.20 Producing enjoyable music without any prior training is difficult, whereas even a child can learn to kick a ball by trial and error without any instruction. The duration of focused practice for children learning an instrument is recommended to be relatively short, around 10 to 20 minutes per day, allowing the child to engage in play outside of practice.

정기적인 연습의 시작 단계 동안, 부모들은 아이들이 오류를 발견하고 수정하여 그들의 성과를 향상시키도록 돕는다. 결국 이 야심찬 음악가들은 그들 자신의 연주 소리를 듣고 스스로 어떤 문제를 발견할 수 있게 해주는 그들 자신의 정신적 표현을 얻게 될 것이다. 하지만, 처음에는 대부분의 젊은 음악가들이 그들 자신의 음악의 소리를 듣는 능력이 부족하다. 문제를 식별하고 해결하는 데 도움이 되는 강사가 없다면, 비디오 연습 세션을 분석하는 연구에서 보여지듯이, 초심자들은 같은 실수를 반복해서 하게 된다.

During the beginning phases of regular practice, parents help the children to detect errors and make corrections and, thus, improve their performance. Eventually the aspiring musicians will acquire their own mental representations that permit them to hear the sounds of their own playing and detect any problems by themselves.2 Initially, however, the majority of young musicians lack the ability to hear the sounds of their own music. Without an instructor to help them identify and correct problems, beginners end up just playing the same mistakes over and over, as shown by studies analyzing videotaped practice sessions.23

게다가, 사람이 만들어내는 음악을 들을 수 있는 능력은 계속해서 노력하고 발전하려는 동기부여에 중요하다. 

Additionally, the ability to listen to the music that one produces is critical for the motivation to keep striving to improve. 

요약하자면, DP신중한 연습(그림 1의 중간 부분 참조)은 advanced 학생(국제적으로 인정받는 음악 학교의 학생 등)이 연습 활동에 대한 교사 권고 사항(훈련 과제)을 따를 때 발생한다. 즉, 다음을 가정해야 한다.

• 학생들이 현재의 연습 목표(훈련 목표)를 달성하기 위해서 최대한의 집중력을 발휘하며, 

• 학생들이 즉각적인 피드백을 받거나 스스로 생성하며, 

• 훈련 과제가 반복할 기회를 통해 점진적으로 개선하도록 제공되어야 한다.

To summarize, deliberate practice20 (see middle part of Figure 1) occurs when advanced students (such as those at an internationally acclaimed music school) follow their teachers’ recommendations for practice activities (training tasks)— assuming, that is, that the students practice with full concentration toward the current practice objectives (training goals); that the students receive or self- generate immediate feedback; and that the training tasks offer opportunities to make repetitions with gradual improvements (structure of practice).

중요한 것은, 어떤 영역에서든 훌륭한 교사는 학생들이 다음과 같은 정신적 표현을 개발하도록 돕는다. 

• 학생들은 결국 대부분의 스스로 자신의 선생 역할을 할 수 있게 하고, 

• 자신의 성과를 평가할 수 있고,

• 그리고 결국에는 자신의 연습 목표를 설계하고, 

• 점점 더 자신의 퍼포먼스를 이미지화, 모니터링, 정교화할 수 있게 되어야 한다.

Importantly, an excellent teacher in any domain helps his or her students develop their own mental representations such that the students can eventually take on most of the teacher roles, evaluating their own performance and even, eventually, designing their own practice goals and being able to increasingly image, monitor, and refine their own performance.

저와 제 동료가 50~70세의 전문 피아니스트들을 20대의 젊은 피아니스트와 비교했을 때, 두 가지 흥미로운 결과를 발견했습니다. 

• 노화를 연구하기 위해 고안된 실험실 업무(예: 빠른 선택, 문자의 빠른 치환)에 대해서는, 나이든 전문가들은 젊은 전문가들보다 훨씬 더 나쁜 성과를 거두었고, 연령에 맞는 아마추어 피아니스트 그룹의 성과와 일치시켰다. 

• 가장 흥미로운 것은, 우리가 모든 젊은 피아니스트와 나이든 피아니스트들을 음악적으로 관련된 작업에 대해 실험했을 때, 우리는 다시 한 번 나이든 피아니스트들 사이에서 퍼포먼스 저하를 관찰했습니다. 우리는 이 감소가, 어떤 나이든 피아니스트에 대해서는, 저하가 멈추거나, 주간 연습을 통해서 저하 정도가 줄어든다는 것을 발견했습니다. (통계적으로) 유지 연습의 양(주간 연습시간)을 통제했을 때, 더 이상 나이 차이는 중요하지 않았다.29

When my colleague and I29 compared expert pianists ranging in age from 50 to 70 years old with young expert pianists in their 20s, we found two interesting results. Using laboratory tasks designed for research on aging (e.g., speeded choices, speeded substitution of digits for letters), the older experts performed much worse than the young experts and matched the performance of a group of amateur pianists matched for age.29 Most interestingly, when we tested all young and old pianists on musically relevant tasks, we again observed a reduction in performance among the older expert pianists; we found that, for some older pianists, this decrement was associated with stopped or at least reduced engagement in weekly practice. The age differences were no longer significant when we controlled (statistically) for the amount of maintained practice (weekly hours of practice alone).29

보다 일반적으로, 퍼포먼스 리뷰에 따르면 타이핑이나 파일럿과 같은 활동에서, 스킬은 연습을 중단한 이후 시간의 함수에 따라 소멸해간다는 것을 보여준다. 최근의 한 연구에서 나온 증거는 1년 혹은 그 이상 동안 크로스워드들을 푸는 것을 멈출 경우 크로스워드 대회에서의 성과를 감소시킨다는 것을 보여준다. 또한, 스포츠에서 나온 많은 증거들은 훈련의 완전한 중단뿐만 아니라 연습의 강도의 감소도 스포츠 수행의 생리적인 적응과 감소로 이어진다는 것을 보여준다. 매주 높은 수준의 연습을 하는 60세에서 70세 이상의 마스터 선수들이 달성한 높은 수준의 성과는 주목할 만하다. 종합적으로, 이러한 연구 결과는 높은 수준의 성과를 유지하는 데 있어 평생 동안 계속되는 연습이 매우 중요하다는 것을 의미하며, 전문가 성과에서 나이와 관련된 저하는 연습량의 감소에 의해 매개된다.

More generally, a review of performance shows that skill in activities, such as typing and flying airplanes, decays as a function of the length of time since the cessation of practice.30 Evidence from one recent study shows that taking a break from solving crosswords for a year or more reduces a puzzler’s performance in crossword competitions.31 Also, a large body of evidence from sports shows that reductions in the intensity of practice, as well as complete cessation of training, lead to decreased physiological adaptations and decrements in sports performance.32 The high level of performance attained by master athletes over the age of 60 and even 70 who, importantly, engage in high levels of practice weekly is remarkable.33 Collectively, these findings imply that continued practice during one’s life is very important for maintaining a high level of performance, and that the age-related declines in expert performance are mediated by reduced engagement in practice.34

의료분야에 전문가 성과 접근방법 및 DP의 적용

Applying the Expert-Performance Approach and Deliberate Practice to Medicine

어떻게 하면 DP을 통해 전문적인 수행의 이론적 틀을 음악에서 의학으로 성공적으로 transfer할 수 있을지는 분명하지 않다. 아이들은 종종 전문적인 음악가가 될 수 있다는 생각으로 음악계에 들어온다. 학생들의 능력을 점차적으로 향상시키기 위해 고안된 각 악기의 커리큘럼은 첫 10년에서 15년의 수업을 지배한다. 처음부터 음악 학생들은 가족과 친구들 앞에서 공연하도록 격려 받는다. 더 높은 수준의 기술에서는 관객 앞에서 더 복잡한 음악을 연주한다. 선생님들뿐만 아니라 대중 공연을 듣는 다른 음악가들로부터도 피드백을 받을 수 있는 기회들이 많다.

How to successfully transfer the theoretical framework of expert performance with deliberate practice from music to medicine is not obvious. Children are often introduced to the domain of music with the idea that they might become expert musicians. A curriculum for each instrument, designed to gradually improve students’ skills, governs the first 10 to 15 years of instruction. From the beginning, music students are encouraged to perform in front of family and friends; at higher levels of skill, they perform more complex pieces in front of audiences. Opportunities for feedback from not only teachers, but also other musicians who listen to public performances, abound.

대조적으로, 미국과 캐나다에서 미래의 의사들은 일반적으로 K-12 교육에 첫 13년을 소비한다. 그리고 4년을 더 보내면서 학사 학위를 따고 자연 과학을 공부하기도 한다. 전통적으로, 완전한 임상 훈련은 임상실습이 있는 의과대학 3학년 때까지 시작되지 않는다. 그리고 이 시점이 되어서야 학생들은 전공에 대한 결정을 내리기 시작한다(예: 수술, 정신과, 영상의학과, 소아과). 이 임상 훈련과 전문화는 진단에 관한 전문적 기술을 습득하고 특정 의료 절차의 실행을 시작하는 것에 해당한다.

In stark contrast, in the United States and Canada, future medical doctors typically spend the first 13 years of learning in general K–12 education, and then they spend another 4 years acquiring a bachelor’s degree, often studying natural science. Traditionally, full clinical training does not begin until the third year of medical school with clerkship, and only at this point do students begin to make decisions about specializing (e.g., in surgery, psychiatry, radiology, or pediatrics). This clinical training and specialization corresponds to the beginning of acquiring specialized skills in diagnosis and the execution of specific medical procedures.

의학 훈련은 전통적으로 먼저 이론적인 지식을 습득하고, 그 다음에는 퍼포먼스가 환자에게 영향을 미치는 실제 상황에서의 실제 경험에 초점을 맞춘다. 의학 분야에서는 지식에 대한 전통적인 초점과 신중한 연습을 통한 점진적인 기술 습득에 대한 무시neglect는 "한번 보고, 한번 해보고, 가르친다"는 잘 알려진 속담이 대표적으로 잘 보여준다. 이 격언은 의료 훈련생이 새로운 절차를 사실상 즉각적으로 숙지한다는 것을 의미하지만, 고전적인 수술에 대한 광범위한 훈련에도 불구하고, 경험이 많은 외과의들의 학습 곡선은 typical했다. 즉, 복강경 수술에서 중요한 오차의 감소는 얼마나 많은 수술 경험이 있느냐의 함수였다.36

Training in medicine has traditionally focused on acquiring, first, theoretical knowledge and, then, actual experience in real-world situations, where performance has consequences for patients. In the domain of medicine, the traditional focus on knowledge and neglect of gradual skill acquisition through deliberate practice is exemplified by the well-known saying about learning and performing medical procedures, “See one, do one, teach one.” This adage implies virtually instantaneous mastery of new procedures among medically trained individuals; however, In spite of extensive training in classical surgery, the learning curves of the experienced surgeons were typical: the reduction of significant errors in laparoscopic surgery was a function of the number of completed procedures.36

단순히 절차를 보기만 하는 것이 비효율적인 것처럼, CME 강의와 전문적 경험의 축적도 마찬가지입니다. CME 강의에 참석하는 것은 참여 의사들의 실제 진료에 있어 의미 있는 변화에는 영향을 미치지 않는다는 것이 한 리뷰의 결과였다.37 이와 유사하게, 다른 연구 38,39에서는 supervised training 이후의 경험 축적은 지속적인 편익을 보여주지 않았다. 독립적인 의료행위를 시작한 첫 해 동안의 초기 경험에서 얻는 일부 이익 외에, 추가적인 전문 경험에서 얻은 임상적 판단력 향상은 매우 제한적이었다.40

Just as simply watching a procedure is ineffective, so too are continuing medical education (CME) lectures and accumulated hours of professional experience. A review showed that attending CME lectures did not effect any meaningful changes in participating doctors’ actual practice.37 Similarly, other research38,39 has not shown sustained benefits of longer professional experience by health care professionals after completing supervised training. Beyond some gains from the initial experience during the first years of independent practice, benefits for improved judgment from additional professional experience are very limited.40

추가적 임상 경험이 성능을 향상시키지 못하는 몇 가지 이유가 있습니다. 실제 환경에서 특정 유형의 경험이 얼마나 available한가는 일반적으로 학습자의 통제 밖에 있다.

There are several reasons that additional professional experience does not seem to improve performance. Availability of particular types of experience in real-world settings is typically not under the control of the learner;

레지던트에게는 상사의 조언과 피드백을 받을 수 있는 기회가 있지만, 독립적한 임상의는 그러한 기회를 가질 가능성이 낮다. 보다 잘 설계된 학습 환경41(연수생과 실무자 모두)에서 적극적인 피드백을 구하는 것이 뒷받침되어야 합니다. Supervisor는 레지던트가 designed practice를 통해 자신의 성과를 적절히 바꿔나갈 수 있도록 개인화된 특정 피드백을 제공하도록 권장하고 훈련해야 한다.

Medical residents enjoy the possibility of seeking advice and feedback from their supervisors, but clinicians in independent practice are less likely to have the same opportunity. Actively seeking feedback needs to be supported by better-designed learning environments41—for trainees and those in practice alike. Supervisors should be encouraged and trained to give specific individualized feedback that allows the resident to make appropriate changes to his or her performance through designed practice42;

그러나 상급자가 겪는 한 가지 어려움은 환자가 최종 진단을 받고, 치료가 완료되기 전까지는, trainee에게 완전히 정확한 피드백을 제공할 수 없다는 것이다. 유감스럽게도 이 기간은 며칠, 몇 주, 몇 개월 또는 심지어 몇 년이 걸릴 수 있다.

however, one challenge for supervisors is that they cannot give trainees completely accurate feedback until patients have been assigned a final diagnosis and treatments have been completed, which could, regrettably, take days, weeks, months, or even years.

전문가들이 훈련생들에게 피드백을 줄 수 있는 한 가지 혁신은 시뮬레이션이다.

One innovation through which experts can give feedback to trainees is simulation.

20세기 기술 발전은 비행기 조종사와 중요한 직업을 가진 사람들을 훈련시키는 시뮬레이터를 설계할 가능성을 제공했다(예: 원자로 운전사, 열차 운전사).

Developments in technology during the 20th century afforded the possibility of designing simulators for training airplane pilots and others with critical jobs (e.g., operators of nuclear reactors, drivers of trains).

결과는 시뮬레이터가 실제 상황의 중요한 지각 및 제어 특성을 기능적으로 대표하기represent 위해서는 목표 기술을 신중하게 분석해야 한다는 것을 나타낸다.

findings indicate that the target skill must be analyzed carefully to ensure that the simulator functionally represents the critical perceptual and control characteristics of real-world situations.

지난 수십 년 동안 의학에서 시뮬레이터의 사용이 현저하게 진보했다.

The last several decades have witnessed remarkable advances in the use of simulators in medicine.

혁신적인 리뷰에서 Issenberg와 동료 48은 어떤 특정 교육 조건이 이전 가능한지 평가하기 위해 시뮬레이션 기반 교육의 학습 결과를 분석하였다. (즉, 시뮬레이터 외부에서 절차의 성능 향상과 관련됨). 

• 효과적이고 전이가능한transferable 학습을 위한 가장 중요한 요소는 명확한 성과 목표를 갖는 것과 관련이 있었다. 

• 즉각적이고 정확한 피드백을 받고 할당된 작업을 반복적으로 수행하는 것도 중요한 요소였다. 

후속 검토에서 저자들은 효과적인 학습을 위해 필수적인 것으로 보이는 이러한 요소들이 DP의 요소들과 일치한다고 주장했다. 그들은 또한 각 훈련자가 숙달된 성과와 관련하여 사전에 정의된 수준에 도달할 때까지 시뮬레이터에서의 훈련이 확장되어야 한다고 주장했다.49

In a groundbreaking review, Issenberg and colleagues48 analyzed learning outcomes of simulation-based training in an effort to assess which particular training conditions were transferable (i.e., associated with improved performance of the procedures outside the simulator). The most important element for effective, transferable learning was linked to having explicit performance goals. Receiving immediate, accurate feedback and repeatedly performing the assigned task were also vital elements. In a subsequent review,49 these authors argued that these elements, shown to be essential for effective learning, corresponded to the elements of deliberate practice. They also argued that training in the simulator must be extended until each trainee reaches a predefined level of performance associated with mastery.49

또 다른 포괄적 검토의 저자들은 시뮬레이터를 이용한 최선의 교육의 특징은 다음과 같다고 말했다.

• "분산 연습, 구조화 연습, DP", 

• "피드백을 위한 적절한 메커니즘" 

• 객관적 훈련 목표. 

매우 최근의 리뷰 작성자들은 이러한 유형의 시뮬레이션 기반 전문 학습이 전통적인 의학 교육에 비해 향상된 학습과 관련이 있다는 것과 (예: 진료소에서의 강의실 교육 및 감독 성과) 환자 치료 및 건강 개선과 같은 임상 결과로의 중요한 transfer를 가져온다고 확인했다..

Authors of another, comprehensive review determined that medical education using simulators embraces best teaching practices: “distributed, structured, and deliberate practice,”51(p336) “appropriate mechanisms for feedback,”51(p336) and objective training goals. Authors of a very recent review52 found that this type of simulation- based mastery learning is associated with increased learning compared with traditional medical education (i.e., classroom instruction and supervised performance in clinics) and results in significant transfer to clinical outcomes, such as improved patient care and health.

Mastery learning과 차별화되는 DP를 활용한 전문가-퍼포먼스 접근법

The Expert-Performance Approach With Deliberate Practice as Distinct From Mastery Learning

DP은 mastery learning과는 다르다. mastery learning의 개념과 실천은 1920년대와 1930년대에 시작하는 긴 역사를 가지고 있다. 핵심 아이디어는 K–12 학생들이 같은 학습 목표를 달성할 수 있지만, 그렇게 하기 위해 정해진 시간을 충분히 주어야 한다는 것이다. 모든 학생에게 어떤 주제를 숙달하기에 충분한 시간을 줌으로써, 다음 교육 주제로 이동할 때 모든 학생은 필수 조건을 동일하거나 유사한 수준으로 숙지하고 있어야 합니다.

deliberate practice, is distinct from mastery learning. The concept and practice of mastery learning has a long history, beginning in the 1920s and 1930s.53 The central idea is that K–12 students are able to attain the same learning goals, but require different amounts of time to do so.54 Giving all students enough time to master a topic or skill (as determined by meeting some predefined test score) ensures that all students have the same or similar mastery of the prerequisites when they move on to the next educational topic.

이 mastery learning 개념은 일반 K–12 교육처럼, 학생이 advanced 과정을 위한 사전 요건으로 특정 지식과 기술 필수 조건을 숙달해야 하는 경우와 같이 학습 기술이 점진적으로 복잡해지는 순차적 커리큘럼 내에서 의미가 있다.

The mastery concept makes sense within a sequential curriculum for learning skills of increasing complexity, such as in general K–12 education, which requires students to master specified knowledge and skill prerequisites to be prepared for more advanced courses

의학의 경우 의과대학에서의 훈련은 이후에 어떤 전공을 선택하든지와 무관하게 미래의 training을 위한 것이다. CME가 의료실무에 아주 작은 영향을 미칠 뿐이라는 점을 고려할 때, 그리고 첫 해 이후의 임상경험 축적은 퍼포먼스 향상에 미미한 영향이 있음을 고려한다면, 현재 의학교육의 효과가 의료 전문가의 능력을 개발하는 데 적합한지 의문을 품을 수 있다.

In the case of medicine, the training in medical school prepares students for further training in any medical specialty. Given that continued professional education has only a very modest impact on clinical practice37 and the accumulation of professional experience beyond the first years has only a small effect of performance,38–40 one might question whether the effectiveness of current medical education is optimal for developing performance of medical professionals.

DP를 통한 전문가-퍼포먼스 접근방식은 많은 점에서 일반 교육의 반대이다. 왜냐하면 이러한 교육은 훈련과 경험을 통해서 기대하는 특정 최종 제품에 집중함으로써 시작되기 때문이다. 즉, 외과의사 또는 영상의학 전문의와 같은 의료 전문가의 대표적인 목표 성과는 동료보다 우수한 환자 성과를 내는 것이다.

The expert-performance approach with deliberate practice is in many respects the opposite of general education because it starts by focusing specifically on the particular desired end product of training and experience—namely, the representative target performance of medical specialists, such as surgeons or radiologists who have patient outcomes that are superior to their peers.

mastery learning에 대한 몇 가지 기준은 deliberate practice을 위한 몇 가지 선행 조건들과 일치한다. 여기에는 

• 훈련에 대한 명확한 목표의 중요성, 

• 즉각적이고 정확하며 상세한 피드백에 대한 접근, 그리고 

• 사전 지정된 성과를 달성할 때까지 반복과 연습의 기회가 포함된다. 

Several of the criteria for mastery learning55 are consistent with some of the prerequisites for deliberate practice; these include 

• the importance of an explicit goal for training; 

• access to immediate, accurate, and detailed feedback; and 

• opportunities for repetition and practice until a prespecified level of performance has been attained. 

mastery learning에서 학습은 거의 전적으로 학습자가 특정 기준 시험에서 획득한 성과에 의해 평가된다.

In mastery learning, learning is evaluated almost entirely by the learner’s attained performance on the specified criterion test.

마스터 학습은 행동주의의 이론적 프레임워크 내에서 개발되었으며, 따라서 습득한 성과를 중재하는 인지적 프로세스를 평가하지 않는다. 이와 직접적인 대조를 이루는 전문가-퍼포먼스 접근법은 사고 과정을 평가하기 위한 작업이 포함되며, [개선된 성과를 최종 전문가 성과와 관련된 다른 기술 및 지식과 조정 및 통합하는 방법]을 평가하는 것이 포함된다. 전문가-퍼포먼스 접근법에서, [다양한 기술의 성공적인 통합과 지속적인 정교화]는 높은(전문가) 수준의 복잡한 성능 개발을 위한 핵심이다.

Mastery learning was developed within the theoretical framework of behaviorism and thus does not entail assessing the cognitive processes mediating the acquired performance. In direct contrast, the expert-performance approach includes an attempt to assess participants’ thought processes and involves evaluating how the improved performance is mediated through and integrated with other skills and knowledge related to the final or target superior professional performance. For the expert-performance approach, the successful integration and continued refinement of different skills provide the keys to the development of high (expert) levels of complex performance.

인지적 표현을 획득하여 치료한 전문가 성과 예제로서의 수술

Surgery as an Example of Expert Performance Mediated by Acquired Cognitive Representations

전문가-퍼포먼스 접근법에 따르면, 특정 영역의 전문가 성과에 대한 과학적 연구에서 

• 첫 번째 목표는 실제 맥락에서 재현할 수 있는 뛰어난 성과를 식별하는 것이다. 

• 다음 단계는 그러한 맥락에서 이 성과를 연구하거나, 실험실에서의 대표적 작업을 통해 성능을 포착하여, 우수한 성과를 반복적으로 재현하여, 매개 특성과 정신 표현 특성을 확인할 수 있도록 하는 것이다. 

• 마지막 단계에는 잠재적인 전문가에 대한 관련 인지 표현을 효과적으로 개발할 수 있는 교육 방법을 만드는 것이 포함된다.

According to the expert-performance approach, 

• the first goal in the scientific study of expert performance in a particular domain is to identify reproducibly superior performance in authentic contexts. 

• The next step is either to study this performance in that context or, ideally, to capture the performance through representative tasks in the laboratory so that the superior performance can be repeatedly reproduced so as to identify its mediating characteristics and, in particular, its acquired mental representations. 

• The final step involves creating training methods that can develop the associated cognitive representations in potential experts effectively.

수술 전문가의 퍼포먼스 파악

Identifying expert performance in surgery

특정 의학 전문 분야에 대한 활동을 찾는 것은 쉽지 않으나, 한 가지 좋은 예시는 암 수술 성과에 대한 가능한 관심사항을 살펴보는 것이다 

It is not easy to find activities for specific medical specialties, One of the best examples, however, where this link is possible concerns outcomes of cancer surgery.

특히 두 가지 관련 연구에서 비커스와 동료13,14는 환자 성과가 특정 절차에 대한 외과의사 경험의 함수로 점차 개선된다는 것을 보여준다.

In two particularly relevant studies, Vickers and colleagues13,14 show that patient outcomes gradually improve as a function of the surgeons’ experience with a particular procedure.

더 많은 경험의 함수로써 수술 결과의 이러한 개선은 수술의 독특한 특징과 관련이 있을 가능성이 있다. 다른 여러 의료행위와 달리, 외과의사들은 수술 중 실수나 예상치 못한 다른 문제들로부터 즉각적인 피드백을 받는다. 또한 수술 후 몇 시간 또는 며칠 동안 환자가 수술 후 치료를 받는 동안 외과의사는 문제를 진단할 기회를 자주 갖게 되며, 이로 인해 관련 문제의 원인에 대한 즉각적인 수정 수술과 피드백이 필요할 수도 있다.

These improvements in surgical outcomes as a function of more experience are likely related to unique characteristics of surgery. Unlike many other medical activities, the surgeons receive immediate feedback from mistakes and other unexpected problems during surgery. Further, during the subsequent hours or days the patient is in postoperative care, the surgeon often has the opportunity to diagnose problems, which might even lead to the need for immediate corrective surgery and feedback about the cause of the associated problems.

외과의사의 성과를 중재하는 인지 과정

Cognitive processes that mediate surgeons’ superior performance

기존의 기술 습득 이론과 마찬가지로, 전문가의 성과에 대한 일반적인 견해는 전문가는 퍼포먼스를 자동화한다는 것이다. 따라서, 일부 전통적인 이론에 따르면, 전문가의 성과는 주로 직관에 의해 이끌어진다. 이 아이디어는 테스트할 수 있습니다. 최근의 한 연구에서, 조사관들은 8명의 외과의사에게 복강경 수술 전, 중, 그리고 복강경 수술 후에 의사 결정을 내리는 것에 대해 일반적인 질문을 했다. 아마도 가장 흥미로운 결론은 외과의사들이 간단한 규칙을 가지고는 가장 간단한 사례만을 수술할 수 있다고 보고했다는 것이다. 다시 말해서, 직관은 외과의사들의 성과를 이끌어내지 못했다.

A common view of experts’ performance, in line with traditional theories of skill acquisition, is that the experts have automated their performance56,57; thus, experts’ performance, according to some traditional theories, is guided primarily by intuition.58,59 This idea is testable: In one recent study,60 investigators asked eight surgeons general questions about their decision making before, during, and after laparoscopic surgeries. Probably the most interesting conclusion was that surgeons reported that they could execute only the most straightforward cases according to simple rules. In other words, intuition did not drive the surgeons’ performance.

다른 연구에서, (수술 완료 후 즉시 수집된 사고 프로세스에 대한 정보를 기반으로 했다) 경험이 많은 외과의사들은 그들이 불일치를 발견할 수 있도록 수술 기획, 계획 실행, 수술 감시를 위한 정교한 표현refined representation을 획득했다는 가설을 명백하게 뒷받침한다.

In another study, The findings—based on information about thought processes collected immediately after a completed surgery62—clearly support the hypothesis that experienced surgeons have acquired refined representations for planning surgery, implementing the plan, and monitoring the surgery so they can detect mismatches.

이러한 발견과 일관되게, 과거 수술에서 몇 달 또는 몇 년이 지연된 후 리콜된 사고에 대한 보고는 신뢰할 수 없다.—중간기간에 잊어버릴 가능성이 높기 때문이다.

Consistent with these findings, reports of recalled thinking during past surgeries after a delay of months or years are unreliable—most likely because of forgetting in the interim period.

전문가들은 사고하기 보다는engage in thinking, 패턴을 즉각적으로 인지한다는 전제를 뒷받침하는 관련 근거는 일부 전문가들로부터 나온 것이며, 이 전문가들은 performing하는 동안 thinking은 하지 않았다고 말했다.56–59 이러한 보고서는 특히 경기 후 인터뷰를 한 운동선수들이 단순히 (직관적으로) 옳다고 느끼는 대로 했다고 보고하는 스포츠에서 자주 나타난다.63

A related body of evidence supporting the premise that experts immediately recognize patterns, rather than engage in thinking, comes from some experts themselves, who report that they were not thinking while performing.56–59 These reports are particularly frequent in sports, where athletes, who are interviewed after a competition, often report simply doing what felt right.63

또 다른 연구에서, 연구자들은 축구선수들에게 비디오를 보여주다가 예기치 않게 테이프를 멈춘 뒤 스크린을 가렸다. 그리고서는 선수들이 다른 축구 선수들이 경기장에 정확히 어디에 있는지, 그리고 어느 방향을 향하고 있는지 기억하는 능력을 연구했다. 결과는 덜 숙련된 축구 선수들보다 더 숙련된 축구 선수들에게 훨씬 뛰어났다. 이 두 연구의 결과는 더 많은 숙련되고 전문적인 수행자들이 주어진 상황에 대해 더 유용하고 보고 가능한 정보를 더 많이 추출한다는 것을 보여주었다.

In another study, investigators “occluded” soccer players’ vision while the players were watching a video of a soccer game by unexpectedly stopping the tape and blanking the screen.65 They found that the players’ ability to accurately recall where the other relevant soccer players were on the field and where they were heading was significantly superior for more-skilled soccer players than less skilled.65 Investigators in both of these studies showed that more-skilled and expert performers had extracted more useful and reportable information about the given situation.

연구자들은 유사한 방법론을 사용하여 역동적으로 변화하는 환경의 중요한 세부사항(상황 인식)을 상기하거나 스포츠 이외의 영역에서 핵심 데이터가 제거된 후, 그 상황에 대한 전문가의 정신적 표현mental representation을 평가하였다.66

Investigators have used this methodology to assess experts’ ability to recall salient details of a dynamically changing environment (situation awareness) or to assess their mental representations of a situation after key data have been removed in domains other than sports.66

수술에서의 상황 인식situation awareness에 대한 연구는 숙련된 외과의사들이 수술의 현재 상태와 관련된 정보의 이상적인 표현(2번 프리젠테이션)에 더 잘 접근할 수 있다는 것을 보여준다. 상황 인식situation awareness은 전화 통화와 같은 외부 간섭이 수술을 방해할 때 감소해야 한다.

Studies of situation awareness in surgery show that more-skilled surgeons are better able to access the ideal representation of information (Representation 2) relevant to the current state of the surgery. Situation awareness should decrease when external interference, such as a telephone call, interrupts a surgery.

복강경 시술 중 수술 오류를 분석한 결과, injury가 발생하는 경우는 기술적 오류보다는 해부학적 구조를 잘못 인지했기 때문이었으며, 이는 외과의사들이 부적절한 정신 표현을 발달시켰음을 지칭한다. 또 다른 연구에 따르면, 다른 전문분야의 외과의사들은 그들이 그들의 관심을 증가시켰을 때 수술 중 중요한 부분에서 행동이 둔화되거나 심지어 중지되었다고 보고했다. 이 연구는 또한 외과의사들이 소위 "간편한" 수술 동안 그들의 주의와 상황 인식을 감소시켰으며, 이러한 수술들이 near miss 또는 error와 관련이 있다는 증거를 보고했다. 마찬가지로, 반과 동료들은 "시니어 외과의사들은 실수를 범하기 더 쉽다"고 주장했다. 요컨대, 이러한 연구의 결과는 숙련된 외과의사의 일부 표준 수술에서 자동적인 습관적 프로세싱(낮은 상황 인식)을 하고 있음을 뒷받침한다.

An analysis of surgical errors during a particular laparoscopic procedure showed that the injuries were due to misperception of the anatomical structures rather than technical errors, indicating that surgeons had developed an inadequate mental representation.70 According to another study,71 surgeons of different specialties reported slowing or even halting action at critical points during the surgery when they increased their attention. This study also reported evidence that surgeons decreased their attention and situation awareness during so-called “easy” operations and that these surgeries were associated with near misses or errors.71 Similarly, Bann and colleagues72(p414) have argued that “senior surgeons are more prone to slips and lapses.” In sum, findings from these studies70,72 support the idea of automatic habitual processing (low situation awareness) in some standard surgeries by experienced surgeons;

그러나, 나는 이러한 종류의 처리processing는 전문지식의 표시가 아니라 오류의 위험 증가로 이어질 수 있는 주의 감소reduced attention의 표시라고 생각한다. 다른 전문적 퍼포먼스 연구들과 마찬가지로, 경험 있는 외과의사가 우수한 퍼포먼스를 보이는 것은 그들이 예상치 못한 결과에 대비하고 문제에 대한 최선의 해결책을 신중하게 고려할 수 있도록 수술 상태를 계획, 실행 및 모니터링하는 정교한 표현refined representation을 가지고 있다는 것과 관련이 있다.

however, I argue that this type of processing is not a sign of expertise but, rather, a sign of reduced attention that may be leading to an increased risk of error. Consistent with research on expert performance, the superior performance of experienced surgeons is associated with refined representations to plan, to execute, and to monitor surgical states, which allows these surgeons to be prepared for unexpected outcomes and carefully consider the best solutions to problem situations.2,24

정신 표현 개발 및 정제: 교육에 대한 시사점

Developing and refining mental representations: Implications for training

수술 계획, 실행 및 모니터링에서 언급할 수 있는 정신 표현 발달의 증거는 학습자가 이러한 표현을 보다 효과적으로 개발하는 데 어떻게 교육이 설계될 수 있는지에 대한 의문을 제기한다. 여러 연구 결과는 수술실 외부에서 진행되는 훈련이 가질 수 있는 잠재적 편익을 뒷받침한다.

The evidence for developing mental representations to refer to in planning for, executing, and monitoring surgeries raises questions about how training might be designed to help learners develop these representations more effectively. Several findings support the potential benefits of training outside the operating room.

요컨대, 이러한 연구결과는 정신표현의 존재와 수술실 밖에서 이들을 접근할 수 있는 능력을 지원하는데, 이것은 그들의 발전을 뒷받침하는 의료 교육을 설계하는 데 영향을 미친다.

In sum, these findings support the existence of mental representations and the ability to access them outside the operating room, which has implications for designing medical education to support their development.

임상 강사들이 이전 수술의 비디오를 검토하고, 특별히 관련된 상황의 기록을 추출하여, 이러한 기록을 라이브러리에 저장할 수 있다면, 훈련생들에게 해부학적 구조를 식별하는 능력을 개발할 수 있을 것이다.

If clinical instructors were able to review videos of prior surgeries, extract recordings of particularly relevant situations, and store these recordings in a library, they would be able to develop in trainees the ability to identify anatomical structures.

현재 수술 성과를 개선할 수 있는 피드백 루프 생성

Creating feedback loops that allow for improvements of current surgery performance

의학에서 가장 흥미로운 발전 중 하나는 수술 중 훈련생들의 행동을 주의 깊게 기록하여 near miss와 mistakes를 식별하려는 현재의 노력이다.

One of the most interesting developments in medicine is the current effort to carefully document a trainee’s behavior during surgery to identify near misses and mistakes.

한 사례 연구에서 마크 번스타인이라는 캐나다 신경외과의사는 그가 2000년부터 2006년 5월까지 수행한 모든 선택적인 수술 후 컴퓨터에 모든 오류를 기록하고 입력하기 위해 그의 팀과 함께 일했고 (n = 1,000 이상) 그의 이후까지 계속했다.전기의 2차 기간 동안 오류와 관련된 합병증의 평균 수는 50% 이상 감소했다. 이러한 오류 감소(특히 기록(2001-2002)의 첫 해)는 오류를 기록하는 데 주의를 기울이는 단순한 행동이 이후의 오류 발생에 영향을 미칠 수 있음을 시사한다. 

In one case study, a Canadian neurosurgeon named Mark Bernstein worked with his team to record and enter all errors into a computer after every elective surgery he performed (n = over 1,000) from 2000 to 2006.75 Bernstein continued to record his errors from August 2006 to May 2013,76 and the error rates associated with this latter period were compared with the earlier period. The average number of errors and error-related complications fell by over 50% during the second period. This reduction in errors, especially during the first years of recording (2001–2002), suggests that the mere act of attending to errors to record them may have an effect on their subsequent occurrence. 

아마도 수술 중 행동 측정에서 가장 흥미로운 발전 중 하나는 수술의 체계적인 비디오 기록과 비디오테이프의 상세한 분석이다.77

Perhaps one of the most exciting developments in the measurement of behavior during surgery is the systematic video recording of surgeries followed by detailed analyses of the videotapes.77

개선을 위한 교육 목표를 식별하는 수단으로서 이러한 유형의 비디오 녹화 방식은, 경험이 적은 외과의사들에게만 국한되지 않습니다. 이 연구의 결과는 외과의사들이 그들의 수술 수행 능력을 향상시키도록 훈련시킴으로써 환자들의 합병증 비율을 줄이는 것이 가능할 수도 있다는 것을 보여준다.

This type of video recording, as a means to identify training goals for improvement, is not limited to less experienced surgeons. The findings of this study indicate that it may be possible to reduce complication rates for patients by training the surgeons to increase their skill in performing their surgeries.

비디오 녹화 및 그 독립적인 평가를 사용하는 방법론은 약점과 잠재적 문제를 식별할 수 있는 잠재적인 피드백 루프를 제공하는 것처럼 보인다.

The methodology of using video recordings and their independent assessment seems to offer a potential feedback loop through which weaknesses and potential problems can be identified.

수술 절차 학습을 어떻게 도입할 것인가

How to introduce learning of surgical procedures

외과 수련생들은 mastery learning 접근법을 통해 교육을 받을 때, 특정 절차에 대한 일반적인 지시를 받고 시뮬레이터를 사용하여 절차를 수행할 수 있다. 시뮬레이터는 훈련생들의 행동의 정확성에 대한 피드백과 절차를 완료하는 데 걸리는 시간을 제공합니다. 그런 다음 훈련생은 미리 정해진 숙련도에 도달할 때까지 절차를 반복합니다. 최근의 검토 결과에 따르면 시뮬레이터 훈련 참가자는 시뮬레이터, 동물 모델, 복잡한 요인이 없는 인간 환자에게도 더 나은 성능을 발휘한다. 이러한 연구결과는 모의실험 훈련이 훈련이나 간단한 임상 사례와 유사한 조건으로 시험했을 때 우수한 수행으로 이어진다는 것을 보여주지만, 지금까지 이러한 유형의 훈련은 independent surgeon의 우수한 수술 성과를 구축하고 형성하도록 설계되지 않았다.

When surgical trainees are trained through the mastery learning approach, they receive general instruction about a particular procedure and then are allowed to perform the procedure with a simulator. The simulator provides feedback about the accuracy of trainees’ actions and, often, the amount of time they took to complete the procedure. The trainees then repeat the procedure until they have reached a predetermined proficiency level. A recent review shows that simulator-trained participants perform better than the control participants when tested on the simulator, on animal models, and even on human patients who lack complicating factors.81 These findings show that simulator training leads to superior performance when tested with conditions similar to training or simple clinical cases, but so far this type of training has not been designed to build and shape the superior surgical performance of independent surgeons.

DP를 중심으로 하는 전문가-퍼포먼스 접근방식은 [시뮬레이터에 요구되는 성능]이 [실제 환자에 대한 절차]와 비교했을 때 주요 측면에서 매우 유사해야 한다고 요구한다.

The expert-performance approach with deliberate practice demands that the required performance on the simulator be an extremely close approximation of the relevant aspects of the procedure on an actual patient.2

예를 들어, 아이들은 피아노를 연주할 때 최고의 자세와 기술을 자발적으로 채택하지 않기 때문에, 교사들은 아이들이 올바른 기본적인 행동과 자세를 얻을 때까지 그들의 연주를 지도하고 면밀히 관찰한다. 올바른 기본 자세를 취하지 않으면 기술적으로 어려운 음악을 연주할 수 있는 능력이 제한될 것이다. 마찬가지로, 시뮬레이터를 사용하는 외과 수련생은 자신의 미래 기술을 극대화하기 위해 올바른 기초 기술을 습득하는 것에 대한 감독된 지침supervised instruction을 받아야 한다. 현재, 훈련생들은 시뮬레이터로 procedure를 할 때 방식에 무관하게 자신에게 자연스러운 방식으로 수행한다. 그러나 그들은 일반적으로 미래에 더 어려운 수술을 성공적으로 완수하는데 유용할 수 있는 더 발전된 기술에 대한 정보를 받지 못한다.

To illustrate, children do not spontaneously adopt the best postures and techniques when playing the piano, so their teachers instruct them and closely monitor their playing until the children acquire the correct fundamental actions and postures. Failure to adopt the correct fundamental actions will limit the individual’s ability to perform technically difficult music pieces (also, incorrect fundamental technique often leads to overuse injuries among adult professional musicians). Similarly, surgical trainees using simulators should receive supervised instruction about acquiring the correct fundamental technique to maximize their future skill. Currently, trainees are allowed to execute the procedure on the simulator in whatever manner feels most natural to them; they typically receive no information about more advanced techniques that might be useful in successfully completing more challenging future surgeries.

수술 환경의 전문가 성과에는 광범위한 응급 절차를 실행할 수 있는 능력이 필요하다. 이 경우, 가장 중요한 것은 행동이 순서에 따라 빠르게 실행되는 것이다. 이러한 절차에서는 확립된 행동 순서가 바람직하다. 엘리자베스 헌트와 동료들은 소생술을 위한 "급속 사이클 계획적 관행"이라고 이름 붙인 훈련 절차를 개발했다.

Expert performance in the surgical environment requires the ability to execute a wide range of emergency procedures. For some of these procedures, the primary emphasis is on the speed in which simple sequences of actions are executed; in such procedures, entrenched action sequences are desirable. Elizabeth Hunt and colleagues83 developed a training procedure that they named “rapid cycle deliberate practice” for resuscitation.

전문가-퍼포먼스 관점에서 중요한 질문은 시뮬레이터에서 수술 절차를 수행하는 데 사용되는 인지 표현이 수술실의 실제 환자에 대해 작업할 때 정신적 표현과 일치하는지 여부입니다. 지금까지의 연구는 결론에 이르지 못했다.

An important question to ask when considering the expert-performance perspective is whether the cognitive representations used to perform surgical procedures in the simulator match mental representations when working on actual patients in the operating room. Research so far is inconclusive.

최소한 하나의 일반 훈련 접근방식은 시뮬레이터 훈련 중 수술실에서 사용하는 것과는 다른 표현의 획득과 관련된 문제를 최소화한다. Palter와 Grantcharov는 그들의 훈련을 실제 환자들에 대한 개인의 수술 수행의 비디오테이프의 분석에 집중했다. 각각의 수술이 끝난 후, 강사는 비디오테이프를 검토하여 약점을 확인한 다음 이러한 약점을 교정하기 위한 대상 훈련을 시뮬레이터에 할당했다.

At least one general training approach minimizes the problems associated with acquiring representations during simulator training that differ from those used in the operating room. Palter and Grantcharov88 centered their training on an analysis of videotapes of individual’s surgical performance on actual patients. After each completed surgery, an instructor reviewed the videotape to identify weaknesses and then assigned targeted training in the simulator for remediating these weaknesses.

비디오테이프 성능에 대한 블라인드 분석은 DP그룹이 대조군보다 우월하다는 것을 보여주었다.

Blind analysis of the videotaped performance showed that the deliberate practice group was now superior to the control group;

수술실적 유지

Maintaining surgical performance

수술 결과의 가장 일관된 예측 변수 중 하나는 특정 외과의사가 완료한 수술의 양이다. 수술 결과에 대한 최근 연구는 특정 유형의 연속 수술 사이의 시간이 환자의 결과와 상당히 관련이 있다는 것을 보여주었다. 간격이 길수록 환자의 결과가 나빠진다. 이 패턴은 이전에 검토한 다른 유형의 기술에 대한 연구와 일치한다.

One of the most consistent predictors of surgical outcomes is the volume of surgeries completed by a given surgeon. Recent studies of surgical outcomes have shown that the length of time between consecutive surgeries of a given type is significantly related to patient outcomes—the longer the gap, the worse the patient outcomes.89–91 This pattern is consistent with the earlier reviewed studies29–34 on other types of skills.

다른 의료 행위에서 퍼포먼스 향상을 매개하는 인지적 프로세스들

Cognitive Processes That Mediate Improvements in Performance in Other Medical Activities

X-ray 판독 퍼포먼스

Performance of X-ray interpretation

Measuring the performance of interpreting X-rays is relatively easy for mammograms.

환자와의 임상적 상호작용

Clinical interactions with patients

대부분의 전문 의사들의 일상 활동의 중요한 측면은 환자와의 의사소통을 포함한다. 환자와의 이러한 상호작용은 다음을 포함한다. 

• 환자의 의학적 문제에 대한 정보를 얻기 위한 인터뷰 

• 치료에 의해 환자의 문제가 어떻게 개선될 수 있는지에 대한 교육을 위한 논의 

• 특히 중요한 것은 관리 계획을 공동으로 개발하기 위한 대화이다. 

An important aspect of most professional medical doctors’ everyday activity involves communication with patients. These interactions with patients103 include interviews to elicit information about patients’ medical problems, discussions to educate patients about how their problems might be improved by treatment, and of particular importance, conversations to jointly develop a plan for care. 

권장 치료 계획을 준수하는 것(처방된 약을 복용하는 것을 포함해서)이 만성 질환에 대한 환자 결과에 영향을 준다는 근거는 명확하다. 따라서 의사 소통 능력을 향상시키면 환자의 치료 계획에 대한 순응이 증가하고 치료 결과도 개선될 수 있다. 마찬가지로, 연구에 따르면 암 환자들이 자신의 질병과 그 예후에 대한 이해가(이것은 의사의 의사 소통 능력과 관련이 있다) 말기 치료에 대한 더 나은 결정과 관련이 있다고 한다.

Clear evidence shows that adherence to the recommended treatment plan, including taking prescribed medications, influences patient outcomes for chronic diseases.104,105 Improving a doctor’s communication skills, therefore, likely increases his or her patients’ adherence to treatment plans and, in turn, improves outcomes. Similarly, research has shown that cancer patients’ understanding of their disease and its prognosis, which is tied to doctors’ communication skills, is related to better decisions about end-of- life treatments.106

동시에, 다른 최근의 연구들은 의사들이 [심각한 질병을 가진 환자와의 의사소통에 관한] 단기간의 훈련 또는 병원 의사 소통 기술에서 일반적인 훈련을 받은 후에는 환자 만족의 증가나 환자 결과 개선을 보여주지 못했다.

At the same time, other recent studies have failed to demonstrate increased patient satisfaction or improved patient outcomes after physicians experienced either short-term training in communicating with patients with serious illness108 or general training in hospitalist communication skills.109

특히, 더 장시간 진행된 훈련을 받은 경우에는 [훈련 중 행동]에 상당한 영향을 미쳤지만, 이러한 영향이 임상 환경으로까지 이전되지 않았다.

Notably, only with the more extended training did the investigators observe significant effects on behavior during the training,108 but these effects did not transfer to the clinical environment.

환자와의 효과적인 의사소통은 (교육 가능한 기술의 집합이며) 성인 훈련(즉, 기존의 성인 행동을 변화시키는 것)을 의미한다. 따라서 워크숍이나 심지어 4일간의 훈련조차 일상적인 활동의 실질적인 개선을 달성하기에 불충분할 것으로 보인다. 이러한 연구 결과는 CME 활동이 임상행동에 영향을 미치지 않는다는 이전의 관찰과 일치한다. 그리고 처음 몇년간의 독립적인 의료행위가 지나면 단지 경험의 축적만으로는 객관적인 성과를 거의 향상시키지 않는다.

The idea of effective communication with patients as a set of teachable skills implies training adults (i.e., making changes to preexisting adult behaviors); therefore, it seems plausible that workshops or even a four-day training will be insufficient for attaining substantial improvement in everyday performance.2 These findings are consistent with the earlier observations that continued professional medical education courses did not influence behavior in the clinic,37 and that mere professional experience after the first couple of years of independent practice or deliberate practice rarely improves objective performance.38–40,111,112

우다와 반 드 위엘은 의대생들이 이미 이전에 습득한 많은 습관과 의사 소통 기술을 가지고 의대에 입학했다는 중요한 점을 지적합니다; 이러한 습관들은 단순한 경험은 물론 교육이나 모델링을 통해서도 바뀔 가능성이 낮다. 이 저자들은 의사소통 기술을 변화시키는 가장 효과적인 방법은 의사나 훈련생과 동료, 친척, 실제 환자와의 상호작용을 녹화하는 것이라고 주장한다. 그런 다음 강사는 비디오를 보고 의사나 수습생에게 직접 다룰 수 있는 주요 약점과 문제를 식별할 수 있습니다. 이런 식으로, 선생님의 일대일 지도는 피아노 교사들과 테니스 코치의 개인들과의 직접적인 업무와 크게 다르지 않을 것이다.

Wouda and van de Wiel103 make the important point that medical students already enter medical school with a number of previously acquired habits and skills for communicating with other people; these habits are unlikely to change with mere experience, and they are difficult to modify even through instruction or modeling. These authors103 argue that the most effective methods of influencing communication skills involve video recording a physician’s or trainee’s interactions with peers, relatives, and real patients. Instructors can then view the videotapes and identify key weaknesses and problems that they can then address directly with the physician or trainee. In this way, the teacher’s one-on-one guidance may not differ much from piano teachers’ and tennis coaches’ directed work with individuals.

처음에 임상 강사는 간단한 상황을 제공할 수 있으므로, 수습 평가관은 어떤 일이 일어날지 예측할 수 있습니다. 예를 들어, 백핸드볼리를 훈련하는 동안 훈련생은 코치가 일관된 방식으로 전달하는 쉬운 타구를 위해 네트에 서 있을 수 있다. 승승장구하면서 코치는 더 많은 도전을 하게 되고, 결국 선수와 코치는 훈련생들이 정식 경기 중에 백핸드 발리를 준비하는 단계까지 나아가게 된다.

학생들이 자신의 주요 약점을 이해하고 제거하기 위해 연습한 후, 정보를 얻거나 환자를 치료 계획에 준비시키는 것을 목표로 더 많은 (테이프 기록) 환자 인터뷰에 참여하게 됩니다. 중요한 것은 향상된 의사소통 기술이 환자의 정보를 암호화하고 결합하는 것뿐만 아니라 환자의 반응과 기대에 대한 지각과 반응을 위해 훈련자의 점점 더 세련된 정신 표현에 통합되어야 한다는 점이다. 결과적으로, 뛰어난 의사소통 기술의 개발은 지속적인extended 과정이며, 의사들에게 의사 소통 기술의 효율성을 향상시키기 위해 그들의 경력 내내 지속적인 교육과 훈련을 위한 계획을 설계할 것을 권한다.

After understanding and practicing to eliminate their key weaknesses, students would engage in more (tape-recorded) patient interviews with the goal of gaining information or preparing the patient for the plan of care. Importantly, the improved communication skills must be integrated into the trainee’s increasingly refined mental representations not only for encoding and combining patient information but also for perceiving and responding to patients’ reactions and expectations. Consequently, the development of superb communication skills is an extended process, and the recommendation is that doctors design a plan for continued education and training throughout their careers to improve the effectiveness of their communication skills.

총괄

In Sum

전문성 이론들에 따르면, [패턴 매칭]과 [이전에 실행된 행동에 대한 기억의 손쉬운 retrieval]은, 자연스럽게 지식과 규칙의 고려를 대신하게 된다. 이러한 이론과 일치하지 않는 연구 결과는 CME 세미나 및 컨퍼런스에서 접한 새로운 지식이 병원의 습관적인 행동 변화로 쉽게 전환되지 않는다는 것을 나타냅니다. 또한, 연구에 따르면 익숙한 작업에 대한 추가적인 경험은 성능 정확도를 계속 향상시키지는 않는다. 대신, 관련 작업 시퀀스를 일관성 있고 효율적이며 거의 쉽게 만들 수 있습니다.

According to expertise theories, pattern matching and effortlessly retrieved memories of previously executed actions eventually, naturally replace knowledge and consideration of rules. A finding that is inconsistent with these theories indicates that new knowledge encountered at CME seminars and conferences is not effortlessly converted into changes in habitual behavior in the clinic.37 Furthermore, research shows that additional professional experience with familiar tasks does not consistently improve accuracy of performance38–40 but, rather, primarily makes the associated action sequences consistent, efficient, and nearly effortless.

그 대신에, 퍼포먼스의 개선은 (DP를 동반하는 전문가-퍼포먼스 접근방식에 의해 제안되는) 즉각적인 피드백을 포함한 목표 지향 훈련과 관련이 있다. 효과적인 연습은 훈련 활동 중에 사람들이 더 높은 성과 목표를 달성하려고 노력함으로써, 현재의 습관적인 수행방식를 넘어서려고 노력하는 정신 표현의 정교화를 포함한다. 이러한 점진적인 성과 개선을 위해서는, 실제 임상 환경에서 [교정 트레이닝 및 피드백을 통해 습득한 기술과 지식을 통합하고 전이하는지]를 모니터하기 위한 장기적인 약속이 필요합니다. 이 훈련 과정은 지도 교사들의 도움을 받을 때 더 효과적이고 신뢰할 수 있을 것이다.

Instead, improved performance is related to goal-directed training with immediate feedback, as suggested by the expert-performance approach with deliberate practice. Effective practice involves the refinement of mental representations during training activities through which individuals attempt to go beyond their current habitual performance by trying to attain higher performance goals. To facilitate these gradual improvements in performance, a long-term commitment to monitor performance in the clinic is necessary for integrating and transferring the skills and knowledge gained through corrective training and feedback. This training process will be more effective and reliable with the help of a supervising teacher.

의료 퍼포먼스를 개선하는 방법에 대한 이러한 이해는 의료 학생과 레지던트 선발에도 영향을 미칠 수 있다.

This understanding of how to improve medical performance could have implications for the selection of medical students and resident applicants;

시뮬레이터에서의 수행능력과 공간지각 능력 사이의 관계를 증명한 첫 번째 연구 중 하나의 결과는 둘 사이의 관계에 의문을 제기한다. 공간 능력 시험에서 낮은 점수를 받은 외과 레지던트도, 결국에는 공간 능력 시험이 높았던 레지던트와 유사한 수준의 시뮬레이션 성과를 달성할 수 있었다. 치과 학생들을 대상으로 한 동일한 연구팀의 후속 연구는 "10분간의 감독관습과 피드백을 거친 후", 공간 점수가 높은 학생 뿐만 아니라 낮은 학생도 시험 점수가 높았음을 보여준다.

The results of one of the first studies115 to demonstrate this relationship between simulator performance and spatial ability cast doubt on this assumption. The surgical residents with lower scores on the spatial ability test were able to eventually achieve a simulated performance comparable to that of the high-ability residents. A subsequent study by the same research group examining dental students showed that “after 10 minutes of supervised practice and feedback,”116(p756) students with the lower visual–spatial scores performed as well as those with higher test scores.

비록 비디오 게임 경험뿐만, 아니라 공간 능력을 측정하는 기본 테스트 점수가 초기에는 시뮬레이터 기반 수행능력을 상당히 예측한 것으로 밝혀졌지만, 훈련이 진행됨에 따라 개인간 차이는 점차 감소하였고, 마찬가지로, 초심자의 경우, 기본적 능력과 시뮬레이터 퍼포먼스 사이의 상관관계는 습득된 기술acquired skill의 수준에 따르는 함수로 변화하였다. 더욱 중요한 것은, 시뮬레이터로 확인한 수행능력의 개인 차이가 수술실에까지 transfer되지는 않았다는 점이다. 연구자들은 경험이 많은 외과의들의 공간능력을 테스트했고, 그 점수가 수술 수행의 개별적 차이를 유의하게 연관시키거나 설명하지 않았다는 것을 알아냈으며, 그 결론으로 "연습과 수술 경험이 선천적인 능력의 영향을 사라지게 하는 것으로 보인다"고 결론지었다.

Although performance on basic tests measuring spatial ability,117 as well as video game experience,118 has been found to significantly predict initial simulator performance, individual differences in performance on simulators decrease with extended training, and, likewise, the correlations between basic abilities and simulator performance for novices change as a function of level of acquired skills.119 Even more importantly, individual differences in simulator performance do not seem to transfer significantly to the operating room.120,121 Investigators tested the spatial abilities of experienced surgeons and found that their scores did not significantly correlate or account for individual differences in surgical performance,116 which led the investigators to conclude that “practice and surgical experience appear to obviate the impact of innate abilities.”116(p757)

초보자들이 새로운 영역에서 새로운 활동을 시작할 때, 그들은 그들의 기존 기술과 능력에 의존해야 하지만, 초보자들의 기술이 교사 주도 연습을 통해 향상되고, 적절한 representation을 습득하여 superior performance를 서포트할 수 있게 되면, '실제 수행능력'과 '기본 능력' 사이의 상관관계는 통계적 유의성이 사라진다.

When novices begin a new activity in any new domain, they must rely on their existing skills and abilities, but as their skills are constructed during teacher-led practice and as they acquire appropriate representations to support their superior performance, the correlations between actual performance and basic ability fall to insignificance.

전통적인 직업 교육은 이런 유형의 느린 기술 습득과 정교함을 위한 충분한 기회를 설계하지 못했다. 예를 들어, 클리닉에서 처음 수술을 경험할 때까지, 훈련자들은 지식과 일반적인 규칙을 얻는 데 수천 시간을 보냈을 수 있지만, 실제 수술 수행에는 불과 몇 시간밖에 쏟지 않았다. 음악, 발레, 체스, 스포츠와 같은 전문 분야에서는 실용적 또는 기술적 훈련과 이론적 훈련 사이의 비율이 반대로 나타난다.

Traditional professional education has not designed sufficient opportunities for this type of slow acquisition and refinement of skills. For example, in preparing for their first surgical procedure in the clinic, trainees may have spent thousands of hours acquiring knowledge and general rules, but only a handful of hours performing the actual procedure. In other domains of expertise, such as music, ballet, chess, and sports, the ratio between practical or technical training and theoretical training is reversed.

의료 훈련을 다음과 같이 개선할 수 있을 것이다. 예를 들어, 기본적인 기술에서의 초기 교육(예: 수술 절차 실행, 환자 인터뷰 및 인식 기반 진단 수행)을 훨씬 더 빨리 시작할지도 모른다. 또한 비디오와 시뮬레이터를 이용할 수 있게 되면, 어떤 procedure에 대한 훈련을 조기에 시작해야 하는지를 알 수 있을 것이다. 환자들에 대한 위험이 없다면, 의대생과 레지던트들은 시뮬레이터의 기본적인 기술을 사용하여 수백 시간을 연습하고, 이로부터 이익을 얻을 수 있다. 그들은 도서관에서 수집된 절차의 비디오를 이용하여 신중한 연습을 통해 훈련을 통해 지각과 공간적 기술을 개발할 수 있었다.

reform medical training. For example, initial training in fundamental skills (e.g., in the execution of surgical procedures, in interviewing patients, and in making perception-based diagnoses) may begin much sooner. The availability of videos and simulators should enable the identification of procedures for which training could begin early. Without risks to patients, medical students and residents could benefit from hundreds of hours of practice with fundamental techniques in simulators. They could develop perceptual and spatial skills from training with deliberate practice using videos of procedures collected in a library.

전문가-퍼포먼스 프레임워크는 [정신 표현과 습득된 기술]의 개발을 모니터링하고 촉진하는 일반적인 접근방식을 제공하며, [정신 표현과 습득한 기술]은 훈련생이 우수한 개인 성과를 매개하는 데 사용할 수 있다. 재현 가능한 우수한 임상 성과를 식별하고 분석함으로써 의료 교육자가 퍼포먼스와 관련 표현을 효과적으로 개발해줄 수 있는 훈련을 설계하거나 "reverse engineer"해야 한다. 의대생, 인턴, 레지던트가 필요한 정신적 표현들을 획득했을 때, 그들은 자기조절을 하는 학습자가 될 것이고, 즉, 의료계의 구성원들이 전문직 경력 전반에 걸쳐 자신과 팀 구성원의 성과를 향상시킬 수 있는 도구를 가지고 있다.

The expert- performance framework offers a general approach for monitoring and facilitating the development of mental representations and acquired skills which trainees can use to mediate superior individual performance. Identifying and analyzing reproducibly superior clinical performance should enable medical educators to design or “reverse engineer” training that will effectively develop this performance and the associated representations. When medical students, interns, and residents have acquired the necessary set of mental representations, they will have become self-regulated learners—that is, members of the medical community who have the tools to improve their and their team members’ performances over their entire professional careers.

Acad Med. 2015 Nov;90(11):1471-86. doi: 10.1097/ACM.0000000000000939.

Acquisition and maintenance of medical expertise: a perspective from the expert-performance approach with deliberate practice.

임상실습에서 학생의 피드백탐색 행동 명확화(Med Educ, 2013)

Clarifying students’ feedback-seeking behaviour in clinical clerkships

Harold G J Bok,1 Pim W Teunissen,2,3 Annemarie Spruijt,1 Joanne P I Fokkema,4 Peter van Beukelen,1

Debbie A D C Jaarsma5 & Cees P M van der Vleuten2

도입

INTRODUCTION

Archer에 따르면 피드백은 인지, 기술 및 전문적 개발을 지원하는 데 핵심적인 역할을 합니다.10 그러나 임상 상황은 예측할 수 없고, 그때마다 다른 교수 방법이 사용되기 때문에 임상 작업장의 피드백은 감독자와 FR 모두에게 어려운 경우가 많다. 이러한 어려움에도 불구하고 임상 성과에 대한 피드백은 '효과적인 임상 훈련의 핵심'으로 설명되어 있다.9 직장 학습에 대한 연구는 피드백 제공에 대한 귀중한 통찰력을 제공하지만, 피드백을 받거나 적극적으로 추구하는 사람들의 역할은 여전히 설명되지 않았다.

According to Archer, feedback plays a central role in supporting cognitive, technical and professional development.10 However, feedback in the clinical workplace is often difficult for both supervisors and recipients because the clinical setting is unpredictable and different teaching methods are used within it.11 Despite these challenges, feedback on clinical performance is described as the ‘cornerstone of effective clinical training’.9 Research into workplace learning has yielded valuable insights into the provision of feedback, but the role of those receiving or actively seeking feedback has remained under-explored.12,13

조직 심리학에서, '피드백 탐색 행동'이라는 용어는 Ashford와 Cummings에 의해 만들어진 것으로 피드백을 유치하는 과정에 관련된 과정을 지칭하는 것이다.14,15 이러한 저자들에 의해 구성된 이론적 모델은 피드백을 추구하는 세 가지 주요 동기를 제안한다.

• 유용한 정보에 대한 욕구(도구적 동기) 

• 자존심을 옹호하거나 강화하려는 욕구(에고-기반 동기)

• 나에 대한 다른 사람의 인상을 보호하거나 강화하려는 욕구(이미지-기반 동기)14

In organisational psychology, the term ‘feedback-seeking behaviour’ was coined by Ashford and Cummings to refer to processes involved in inviting feedback.14,15 The theoretical model constructed by these authors proposes three primary motivators of feedback-seeking behaviour: 

• the desire for useful information (instrumental motive), 

• the desire to defend or enhance one’s ego (ego-based motive), and 

• the desire to protect or enhance the impressions that others hold of one (image-based motive).14

이 모델에서 중요한 개념은 피드백을 구하는 사람들의 목표가 그들의 성과에 대한 정보를 얻는 방법을 결정한다는 것이다.19–23 개인적 특성에 대한 자기 이론에 기초하여 학습 목표 지향은 성과 목표 지향과 구분할 수 있다,20 

Dweck에 의해 각각, 

• 학습지향: '새로운 기술을 배우고, 새로운 일을 마스터하고, 새로운 것을 이해하고 싶은 욕구' 

• 성과지향: '자신의 역량에 대한 긍정적인 판단을 획득하고 부정적인 판단을 피하려는 욕구 24

An important notion in this model is that the goals of those seeking feedback determine how they obtain information about their performance.19–23 Based on self-theories about personal attributes, a learning goal orientation can be distinguished from a performance goal orientation,20 described by Dweck as, respectively, ‘a desire to learn new skills, master new tasks, or understand new things’ and ‘winning positive judgements of your competence and avoiding negative ones’.24

목표 지향과 피드백 추구 행동 사이의 관계는 동기 부여에 의해 조정된다. 다른 말로 하면, 지배적인 동기를 바탕으로, 특정한 목표가 형성되고, 이것은 피드백을 찾는 행동을 인도한다.21 또한 어떤 목표를 지향하느냐에 따라 피드백 추구에 따르는 비용 및 편익에 대한 인식이 달라진다.17,25

The relationship between goal orientation and feedback-seeking behaviour is mediated by motivation; in other words, based on a predominant motive, a specific goal is formulated, which then guides the feedback-seeking behaviour.21 Goal orientation also determines how the perceived costs and benefits of feedback are weighed in decisions about feedback seeking.17,25

사회 및 조직 심리학 문헌에서 설명한 바와 같이, 피드백 추구는 복잡한 현상이다. Teunissen et al.는 레지던트들의 목표 지향성이 예상되는 부정적인 효과와 피드백을 요청하는 잠재적 이익에 대한 그들의 인식에 영향을 미친다는 것을 보여주었다. 더욱이, 주치의의 감독 방식은 레지던트의 피드백 탐색 행동에 부분적으로 영향을 미치는 것 같았다.

일반적으로 임상 사무직은 다소 비정형적인 학습 환경으로 구성되는 것으로 간주되며, 그 환경 내에서 학생들의 학습에 영향을 미치는 다양한 요소들이 제시되어 왔다.27–29

Clinical clerkships are generally considered to comprise a rather unstructured learning environment and different factors have been shown to influence students’ learning within that environment.27–29

METHODS

Setting

The study was conducted among students in the clinical phase (Years 5 and 6) of the 6-year undergraduate curriculum of the Faculty of Veterinary Medicine, Utrecht University (FVMU), Utrecht, the Netherlands.

Study design

As relatively little is known about students’ feedback seeking behaviour in the veterinary medicine clinical setting, we designed an explorative qualitative study using an interpretive approach.30,31 Our aim was to contribute to understanding of the feedback-seeking behaviour of students in a clinical learning environment by describing our perceptions of that behaviour as they resulted from the analysis of interviews with students. 

The interviews were structured based on theoretical concepts of feedback-seeking behaviour.19–23 We combined inductive and deductive approaches to gain insight into feedback-seeking behaviour. This topic has received rather limited attention in medical education research and therefore we also considered previous work in fields outside medical education.32 We used semi-structured, face-to-face interviews to gain in-depth information and encourage students to openly share their views.33

Between April and June 2011, the principal researcher (GJB) interviewed students who had been sampled by maximum variation sampling to ensure that the sample included students following a variety of animal species tracks and in various phases of training. The logic and power of maximum variation sampling lie in selecting information-rich cases for in-depth study.33

Within 1 week of the interview, each participant was asked to comment on a one-page summary of his or her interview in order to support a member-checking protocol.34 The summary was written by the principal researcher and reflected participants’ answers to the main questions in the interview. Eight participants responded to this request, but made no suggestions for change. To facilitate the identification of new issues in subsequent interviews, data collection and analysis were performed iteratively. Interviewing continued until theoretical saturation was reached.

Interview development

• The interviews were structured using questions about students’ goals and motives in seeking feedback, characteristics of their feedback-seeking behaviour and factors influencing this behaviour. 

• The questions were based on the research questions and a theoretical framework derived from social and organisational psychology (Fig. 1).19–23 

• Two pilot interviews resulted in minor changes to the wording but not the content of the questions. The main questions were:

1 Why do you seek information about your performance of a clinical task?

2 Which factors influence the way you seek feedback?

3 How do you obtain information about your performance?

Analysis

• We used a template analysis method35 involving an iterative process of reducing and displaying the data, culminating in a template consisting of codes representing categories and factors, and the relationships among them. 

• Based on the theoretical framework, we designed an initial template, which was modified in the subsequent iterative process of data collection and analysis. 

• We used the theoretical framework and the conceptual model only in designing the interview structure; we used an inductive approach to analyse the interviews. 

• The analysis resulted in an extensive list of codes, which were categorised. 

• The principal researcher (GJB) coded all transcripts and constructed themes. 

• Using the list of codes, another researcher (PWT) re-coded the eighth interview. 

• The two researchers reached agreement on the discrepancies between their analyses through discussion. 

• After 12 transcripts had been coded, theoretical saturation was reached and the final template was constructed. 

• GJB, two medical education experts (PWT, CPMvdV) and two experts in veterinary medical education (ADCJ, PvB) agreed on the final template after discussion. 

• The coding of the two remaining interviews confirmed the final template.

결과

RESULTS