미래 의사 교육훈련: 왜 코치는 심판이 될 수 없는가? (JAMA, 2011)

미래 의사 교육훈련: 왜 코치는 심판이 될 수 없는가? (JAMA, 2011)

The Education and Training of Future Physicians: Why Coaches Can’t Be Judges

Rodrigo B. Cavalcanti, MD, MSc

Allan S. Detsky, MD, PhD

의사는 환자를 진단하고 치료할 수 있어야합니다. 필요한 임상 기술에는 데이터 수집, 중요하지 않은 사실과 중요한 차이점 조사, 추가 조사 및 치료에 대한 결정, 치료법 구현, 후속 조치, 교육 및 상담 제공이 포함됩니다. 임상기술들은 독서 또는 교실에서만 배울 수 없습니다. 실무적인 경험이 필요합니다. 현재 의사가 실무 경험에 노출되는 방법은 위계에 따른 책임 수준을 팀의 최하위 구성원으로 참여하여, 자신의 의사 결정을 더 경험이 많은 의사에게 검토받는 것입니다.

A PHYSICIAN MUST BE ABLE TO DIAGNOSE AND TREAT patients. The clinical skills required to be successful include gathering data, differentiat- ing important from unimportant facts, making de- cisions about further investigations and treatments, imple- menting therapy, and providing follow-up, education, and counseling. These skills cannot be learned through read- ing or in classrooms alone; practical experience is re- quired. The present method of exposing physicians-in- training to practical experience involves a hierarchical team approach with graded levels of responsibility whereby the decisions of the most junior members of the team are re- viewed by physicians with more experience and seniority.

견습 경험에서는 상급 계층의 구성원이 하위 계층의 구성원을 평가하게 된다. 따라서, Supervisor는 코치 (임상 기술 향상에있어서 연수생을 지시하고 보조하는)이면서 동시에 심사위원 (동일한 연수생의 성과 평가 책임자)이다 .1

Part of the apprenticeship experience also includes hav- ing members at higher levels of the hierarchy evaluate those at lower levels. As such, the supervising individuals are both coaches (instructing and assisting trainees in improving their clinical skills) and judges (responsible for performance as- sessment of the same trainees).1

연수생을 평가하는 목적은 경쟁에 대한 평가뿐만 아니라 학습에 동기를 부여하고 직접 지시하는 것입니다. 대부분의 설정에서 훈련 중 평가보고 (ITER)가 표준적 평가 방법이다 .2-4

The purpose of assessing trainees is to motivate and direct learning, as well as to provide an evaluation of compe- tence. Inmost settings, in-training evaluation reports (ITERs) form the standard method of evaluation.2-4

수련중평가(ITE)의 과제

Challenges of In-Training Evaluations

기존 연구에서 ITER은 다른 평가 척도의 상관관계가 낮다는 것을 보여 주었다 .5) 재생산성이 낮은 것은 평가자의 관대함, 점수의 범위 제한 ), 후광 효과 (1 가지 특성에 기반하여 성과의 모든 측면을 평가하는 경향), 평가받지 못한 평가자 교육, 임상 기술을 수행하는 동안 연수생의 직접적인 관찰의 부족 등이 포함됩니다 .3,4 또한 감독자는 연수생을 유급시키기를 꺼려한다 .7

Studies of the validity of ITERs have shown that they cor- relate poorly with other assessment measures.5,6 Poor re- producibility has been widely documented and explained by many factors including leniency of raters, restriction of range of scores (toward the top end), the halo effect (the tendency to rate all aspects of performance based on 1 trait), inadequate rater training, and lack of direct observation of trainees while performing clinical skills.1,3,4 In addition, su- pervisors are reluctant to fail trainees.7

피교육자는 교육자에게 압박을 느끼지만, 반대로 교육자는 건설적인 피드백조차 그것이 부정적인 내용일 경우 피드백 주기를 꺼려한다.4 주어진 이유는 연수생의 수용력이 부족하고, 추가적인 일이나 스트레스와 같은 부정적 결과, 그리고 피훈련자도 교육자을 평가한다는 사실 등이 포함됩니다. 특히 피훈련자에게 불합격 점수를주는 것은 피훈련자(교대 재 소집)와 교육자 모두에게 심각한 결과를 초래합니다 (교육자에 대한 항소가 있을 수 있고, 많은 서류작업을 해야 할 수 있음).

Despite the perception that trainees are intimidated by their medical supervisors, these same supervisors find it es- pecially difficult to provide negative feedback, even if that feedback may be presented constructively.4 The reasons given include a lack of receptivity by trainees, adverse conse- quences to the faculty such as extra work and stress, and the knowledge that trainees in turn evaluate faculty mem- bers. In particular, giving a trainee a failing grade has im- portant consequences for both the trainee (having to re- peat the rotation) and supervisor (there may be appeals and need for extensive documentation).

또한, 몇 가지 인지적 편향이 ITER의 측정 오류에 영향을 줄 수있다 .1 

• 확증 편향은 모순 된 관찰을 할인하고 확인적인 평가를 과대 평가하는 등의 초기 노출을 확인하기 위해 평가자가 정보를 찾고 해석하는 현상을 말한다. 

• 앵커링 편향는 단일 주제에 대한 탁월한 프리젠 테이션이나 훌륭한 진단과 같은 전반적인 인상을 유도하기 위해 하나의 사례에 대한 과도 의존성으로 인해 발생합니다.

In addition, several cognitive biases may contribute to measurement error in ITERs.1 

• Confirmation bias refers to the phenomenon by which evaluators seek and interpret information to con- firm initial impressions, both discounting contradictory observations and overvaluing confirmatory ones. 

• Anchoring bias results from overreliance on 1 piece of informa- tion to guide overall impression, for example, relying solely on an excellent presentation on a single topic or a brilliant diagnosis in 1 case.

연수생은 자신의 환자에 대한 토론에서, 다소 모호한 주제로 돌리는 기술을 써서 평가에 영향을 미칠 수 있습니다. 특히 감독자가 해당 분야의 전문 지식이 부족하다는 것을 알고있는 경우에는 더욱 그렇습니다.

Trainees are able to affect their evaluations by techniques such as turning a discussion about their patients toward a moderately obscure topic of which they have de- tailed knowledge, especially if they know their supervisor lacks expertise in that area.9

코치 겸 재판관 역할은 무엇이 문제인가

Why the Coach/Judge Role Is Problematic

코치와 재판관의 이중 역할에는 크게 두 가지 문제가 있습니다. 

• 첫째, 이중 역할은 연수생이 결핍을 인지하는 분야의 기술 습득에 이상적인 세팅이 아니다. 어떤 연수생도 ​​평가자에게 자신의 약점을 보여주고 싶지 않아 한다. 그러므로 교사는 이전 연수생과의 경험을 통해 연수생이 배우고 추측해야 할 것을 폭로해야합니다. 

• 두 번째로, supervisor는 코치로서 연수생의 성공에 관심을 가지게 되므로, 평가자로서 이해관계 상충이 생긴다.

There are 2 main problems with the dual role of coach and judge. 

• First, the dual role provides a suboptimal setting for trainees to seek help in gaining skills in areas in which they perceive deficiency. No trainee would want to show an evalu- ator his or her weaknesses. Therefore, the teacher has to try to expose what the trainee needs to learn or guess from ex- perience with previous trainees. 

• Second, the dual role creates a conflict of interest for the evaluator because, as coach, he or she will also have a vested interest in the trainee’s success.

이 문제에 대한 간단한 해결책은 연수생의 지식과 수행에 대한 모든 평가가 후보자의 성공에 기득권이없는 개인에 의해 수행되도록 보장하는 것입니다. 그러나 이 방법은 비현실적입니다. 

The simple solution to this problem would be to ensure that all assessments of trainees’ knowledge and performance are conducted by individuals who have no vested interest in the success of the candidate. However, this approach is unrealistic. 

• 첫째, 코치는 연수생이 기술을 얼마나 잘 배웠는지에 대한 직접적인 직접적인 정보를 얻을 것입니다. 사실, 현재의 의학교육은 평생 학습자를 육성하기위한 것이므로 특정 시점의 특정 영역에서의 역량 수준은, 미래에 다른 영역에 대한 학습능력보다 덜 중요 할 수 있습니다. 코치는 시간이 지남에 따라 성과를 평가할 수있게되어 연수생이 새로운 지식을 습득하고 기술을 개발할 수있는 능력을 평가할 수 있게 됩니다. 고정 된 시점의 외부 평가자는 역량을 한 번만 평가할 수 있습니다.

First, the coach will have firsthand direct information about how well the trainee learns skills. In fact, since the current approach to medi- cal education is to develop lifelong learners, the level of competency in any specific area at one point in time may be less important than a physician’s ability to acquire competence in other areas in the future. The coach will be able to evaluate performance over time and thereby assess a trainee’s ability to acquire new knowledge and develop skills. An external evaluator at a fixed point in time can only assess competency once.

• 둘째, 교육 위계에서 상위에 있는 의사가 전문성이 더 많기 때문에 하위 계층의 구성원은 항상 자신의 지위에 따라 어떤 식 으로든 위협을 받게됩니다. 예를 들어, 임상 감독관은 단순히 공식 ITER에 대한 평가를 제공하는 것이 아니라 공식 서한이나 비공식적 인 추천서를 참고 서적으로 작성하거나 레지던트 선발위원회 위원으로 참여한다. 그럼에도 불구하고, 높은 이해 관계에 초점을 맞추고, 임상 기술을 가르치는 동일한 개인의 합격 실패 유형 평가, 의료 훈련의 현재 구조

Second, because members at the top of an educational hi- erarchy have more seniority and expertise, members at the lower levels will always be threatened in some way by their position. For example, clinical supervisors do not simply provide assessments on formal ITERs but also make both formal and informal recommendations in reference letters or by serving as members of residency selection commit- tees. This phenomenon cannot be counteracted. Neverthe- less, by focusing on high stakes, pass-fail type assessment from the same individuals who teach clinical skills, the cur- rent structure of medical training

결론

Conclusion

임상 강습의 초점을 피드백 및 코칭 (전문 지식 습득을 위해)으로 이동시킴으로써, 교사는 연수생이 가장 도움이 필요한 분야를 개선하도록 도울 것입니다. 현재 임상 감독자의 이중 역할은 의사가 최대한의 잠재력을 발휘할 수 있도록 지원하지 못하므로, 수련중인 의사의 요구를 충족시켜주지 못한다.

By shifting the focus of clinical train- ing to feedback and coaching (for the acquisition of expertise10), tutors will help trainees improve the areas in which they need the most help. Until this change occurs, the current dual role of clinical supervisors will continue to fail the needs of physicians-in-training by not helping them to reach their full potential.

현재의 프로그램은 자신의 약점은 숨기고 강점을 드러내는 피훈련자에게 보상을 주고 있다.

programs rewards trainees for showcasing their strengths without properly addressing their weaknesses.

---

JAMA. 2011 Sep 7;306(9):993-4. doi: 10.1001/jama.2011.1232.

The education and training of future physicians: why coaches can't be judges.

Cavalcanti RB1, Detsky AS.

Author information

1

Department of Medicine, University of Toronto, Toronto, Ontario, Canada.

Comment in

• Changing the evaluation of future physicians. [JAMA. 2011]

PMID:

 

21900141

 

DOI:

 

10.1001/jama.2011.1232