수행능력저하를 믿지 않는 것에서 실패를 인식하기까지: 티핑 포인트 모델(Med Educ, 2021)

수행능력저하를 믿지 않는 것에서 실패를 인식하기까지: 티핑 포인트 모델(Med Educ, 2021)
The shift from disbelieving underperformance to recognising failure: A tipping point model
Andrea Gingerich1 | Stefanie S. Sebok-Syer2 | Lorelei Lingard3 | Christopher J. Watling3

 

1 도입
1 INTRODUCTION

[Fail해야하는 수련생을 만나는 것]은 많은 감독관들에게 엄중한 시험이다. 슈퍼바이저가 테스트에 어떻게 반응하는지는 훈련생에게 매우 중요하며 치명적일 수 있습니다. 또, 업무량이나 감정에 미치는 영향을 생각하면, Fail을 보고하는 감독관에게도 영향이 크다. 부정적인 후폭풍을 먼저 고려한다면, 수습생의 실적 실패를 보고하지 않는 것은 평가 프로세스에 참여하는 것을 꺼리는(또는 원치 않는) 것으로 간주됩니다. 이에 대응하기 위한 방법으로 양식을 수정하는 것부터, 시스템을 재구성하는 것에 이르기까지 다양한 변화들이 평가 디자인에 통합되었다.

• [평가 양식 수준의 대응책]으로는 부정적인 평가 판단을 기록하는 더 힘든 작업을 피하기 위해 [감독관이 실습생에게 제공한 면밀한 감독을 기록하도록 하는 것]이 포함된다. 예를 들어, 감독자는 O-SCORE(Ottawa 수술 능력 수술실 평가) 척도의 '설득' 등급을 선택하는 것을 Mini-CEX(Mini Clinical Evaluation eXercise) 척도의 '불만족' 등급을 지정하는 것보다 덜 꺼릴 수 있습니다.
• [평가 시스템 수준의 대응책]은 평가 데이터 제공자 및 진행 의사결정자로서 동시에 기능해야 하는 압박을 완화하기 위해 [평가 순간을 의사결정 순간과 분리하는 프로그램적 평가 접근법]을 포함한다. 예를 들어, 감독자는 다른 많은 평가와 결합되어 진행 결정을 내리기 위해 다른 이해관계자가 사용하는 저부담 평가에 대해 추가적인 개선이 필요한 영역을 덜 꺼릴 수 있으며, 훈련 중인 평가 보고서 하나를 제출하여 수습자의 진행을 중단시키는 것보다 덜 꺼릴 수 있다.

Coming face to face with a trainee who needs to be failed is a stern test for many supervisors. How supervisors respond to the test is highly consequential, and potentially catastrophic, for the trainee. It can also be consequential for the supervisor, many of whom report workload and emotional repercussions that interfere with assessment demands.1-6 When negative repercussions are prioritised, not reporting a trainee's failing performance becomes framed as reluctance1, 6-19 (or even unwillingness)20, 21 to engage in the assessment process. In response, countermeasures to reluctance have been incorporated into assessment designs with changes that range from revised forms through to reconfigured systems.

• Countermeasures on assessment forms include having supervisors record the close supervision they provided for a trainee during a task to avoid the more daunting task of recording negative evaluative judgements.22 For example, supervisors may be less reluctant to select the ‘talk them through’ rating on an O-SCORE (Ottawa Surgical Competency Operating Room Evaluation) scale23 than to assign an ‘unsatisfactory’ rating on a Mini-CEX (Mini Clinical Evaluation eXercise) scale.24 
• Countermeasures in assessment systems include the programmatic assessment approach of separating assessment moments from decision moments to relieve the pressure of simultaneously functioning as the assessment data provider and the progression decision maker.25 For example, supervisors may be less reluctant to note domains requiring further improvement on a low stakes assessment that is combined with many other assessments and used by other stakeholders to make progress decisions,26 than to stop a trainee's progression by submitting a single ‘unsatisfactory’ in-training evaluation report.27 

그러나 이러한 대응책은 여전히 개별 감독관이 평가 데이터와 유사한 개인으로 구성된 위원회가 교정조치 의무화, 진행 변경 또는 프로그램 연습생 퇴출에 큰 위험을 수반하는 결정을 내릴 때 중요한 의견을 제공한다. 다양한 대책을 시도한 것의 증거는 긍정적이지만, 여전히 [관습적 tick-boxing]이나 [토큰 코멘트]가 확인되고, 이는 중요한 평가 정보가 항상 제공되지는 않을 수 있음을 시사한다. 

However, these countermeasures still rely on individual supervisors to provide critical comments as assessment data and committees composed of similar individuals to make high stakes decisions to mandate remediation, alter progression, or remove a trainee from a programme. Although early evidence from the implementation of various countermeasures is promising,28-30 findings of bureaucratic tick-boxing and token comments suggest that important assessment information may not always be provided.28, 30-32

[수련생을 fail시키는 것에 대한 감독관의 거부감]을 탐색하는 이전 작업은 감독관에 의해 보류된 평가 정보를 수집하기 위한 해결책을 찾는 데 도움이 됩니다.

• [프로세스의 초기 단계]는 실패가 감지되고, 특징지어지고, 확인되는 중요한 순간이지만, 여기에 대한 관심은 적습니다.
• 최근의 작업에서는, 상사가 어떻게 실적이 저조한 연수생을 인식하는지를 보다 잘 이해하려고 노력했습니다.또, 상사가 예기치 않은 실적 저하의 징후에 직면했을 때에, 불신하는 시기phase of disbelief을 특정했습니다.
  • 이러한 불신disbelief은 수행능력이 저조한 훈련생을 만났을 때의 놀라움이나 당혹감과 관련이 있다.
  • 수행능력이 저조한 간호대생에 대해 간호교사가 경험하는 불안하고 불편한 직감과 현저하게 유사했다.
  • 감독관은 수련생을 의심하기도 하지만, 흔히 그렇듯이, 그들은 또한 그들이 목격한 것을 이해하기 위해 추가적인 관찰을 수집하는 경향도 있었다.
• [불신하는 것]에서 [수행능력 저하를 인정하는 것]으로의 이행은 수련생(또는 수련생의 부족한 영역)이 교육에 얼마나 반응하는지에 따라 결정되며, 동시에 계속적이고 강화된 감독 노력이 무의미할 것이라는 깨달음과 일치한다.
• 그러나, [수행능력 저하의 불신]에서 [실패의 인정]으로의 전환은 충분히 탐색되지 않았다.

Previous work exploring supervisors' reluctance to fail trainees helpfully invites solutions for gleaning assessment information withheld by supervisors.1, 2, 16, 19, 20, 33, 34 Less attention has been directed to earlier phases of process—those critical moments where failure is noticed, characterised and confirmed. In recent work, we sought to better understand how supervisors recognise trainees who are underperforming and we identified a phase of disbelief as supervisors encountered unexpected signs of underperformance.35 This disbelief was related to surprise or bewilderment at encountering an underperforming trainee and was strikingly similar to the unsettling and uncomfortable gut feelings experienced by nursing instructors while interacting with underperforming nursing students.36 Although supervisors tended to give the trainee the benefit of the doubt, as is common,6, 8, 12, 16, 37, 38 they were also inclined to gather additional observations to make sense of what they were seeing.35, 36 The shift from disbelieving to recognising underperformance hinged on perceiving how responsive the trainees (and the deficits) were to teaching and coincided with a realisation that continued, intensified supervisory efforts would likely be futile.35 However, the shift from disbelieving underperformance to recognising failure has been underexplored.

이러한 변화는 결국 [실패의 증거를 보고할 것인지에 대한 의사결정]을 초래하는 더 큰 과정 내에 존재하는 특정한 측면이지만, 평가 프로세스에 대한 참여를 개선하기 위해서는 이해하는 것이 매우 중요합니다. 실패는 드문 일이기는 하지만 실제로 일어났을 때는 매우 중요하며, 발생했어야 했지만 발생하지 않았을 때는 더욱 중요하기 때문에 신중한 연구가 필요합니다. 따라서 본 연구에서는 다음과 같은 질문을 합니다. 슈퍼바이저는 Failure를 어떻게 인정하게 되는가? 특히, [수행능력 저하의 초기 징후를 믿지 않는 것]으로부터 [수련생의 실패를 인정하는 것]으로의 이행에 대해 검토하기 위해서, 가장 역량이 저조한 수련생과 협업한 경험을 설명하도록 감독자를 초대했다.
Although this shift is a specific aspect within the larger process that eventually results in decisions about reporting evidence of failure, it is a critical aspect to understand in order to improve engagement in assessment processes. While failure is admittedly rare, it is so consequential when it does occur—and perhaps even more so when it should have occurred but does not—that it demands careful study. Therefore, in this study we ask the question: How do supervisors recognise failure? In particular, we invited supervisors to describe their experiences working with the least competent trainees to examine the shift from disbelieving early signs of underperformance to recognising failure.

2 방법
2 METHODS

2.1 개요
2.1 Overview

이 연구는 감독관들이 [무역량incompetence을 보여주는 훈련생들을 어떻게 평가하는지]를 조사하는 연구 프로그램 내에 위치하고 있다. 우리의 초기 연구는 특별히 실패를 인식하는 데 초점을 맞추지 않았다. 그러나 우리는 장기간의 교정조치 및 프로그램에서 해고되는 동안 심각한 underperformance을 인식하는 것과 관련된 몇 가지 주제를 식별했다. 그 후 목적적이고 이론적인 표본 추출을 사용하여 의사 상사의 추가 모집과 함께 이러한 연구되지 않은 주제를 조사했다. 이와 같이, 이 연구는 감독관이 저조한 성과를 인식하는 방법을 탐색하기 위해 이전에 수집된 데이터와 새로운 데이터를 결합하여, underperforming 훈련생이 진급하도록 둬서는 안 되며, 유급시킬 필요가 있다는 것을 어떻게 인식하는지 더 잘 탐색한다. 실적 저하의 불신의 징후에서 실패를 인식하는 것으로의 이행에 초점을 맞추고 있는 것은, 상사가 다른 사람과 교류하면서 어떻게 생각하는지를 연구하는 것입니다. 우리는 구성주의 기반 이론 방법론(CGT)을 사용하여 개별 감독자가 사회적 맥락의 규칙과 기대에 따라 다른 감독자와 상호작용할 때의 경험에 초점을 맞추도록 데이터 수집과 분석을 안내했다. 이 프로젝트는 Northern British Columbia 대학의 연구 윤리 심사 위원회로부터 승인을 받았습니다.

This study is situated within a programme of research investigating how supervisors assess trainees who demonstrate incompetence. Our earlier study was not focused specifically on recognising failure; however, we identified some themes related to recognising profound underperformance during prolonged remediation and dismissals from programmes. We subsequently investigated these underexplored themes with additional recruitment of physician supervisors using purposive and theoretical sampling. As such, this study combines data collected previously to explore how supervisors recognised underperformance with new data collected to better explore how they recognised that an underperforming trainee should not be allowed to progress and needed to be failed. Our focus on the shift from disbelieving signs of underperformance to recognising failure involves studying how supervisors think while interacting with others. We used constructivist grounded theory39 methodology (CGT) to guide data collection and analysis to focus on the experiences of individual supervisors as they interact with others according to the rules and expectations of social contexts. This project received approval (E2018.0613.065) through the University of Northern British Columbia's research ethics review board.

2.2 참가자 및 모집
2.2 Participants and recruitment

2018-2019년에 캐나다 브리티시 컬럼비아의 비수술 전문 분야 의사 22명을 인터뷰한 결과, 학습에 관여할 수 없거나 학습에 관여하지 않아 불안정한 진행이 정체된 것으로 나타났다. 앞에서 기술한 바와 같이, 우리는 추가적인 데이터 수집에 관여함으로써, 감독관이 현저하게 실적이 저조한 훈련생과 어떻게 작업하고 있는지, 그리고 훈련생의 성과가 실패했을 때 어떻게 그들이 인지하게 되는지에 대한 이해를 깊게 하기로 결정했다. 원참가자 대부분이 여성이고 모두 비외과 전문직이었기 때문에, 우리는 남성참가자와 외과 및 시술 우위의 전문직 종사자를 대상으로 신규 모집 노력을 집중했다. 우리는 주요 정보 제공자와 눈덩이 표본을 사용하여 4년제 의과대학 프로그램 또는 대학원 레지던트 프로그램 중 하나에서 임상 환경에서 훈련생에게 실패하거나 교정한 경험이 있는 의사를 식별하고 초대했다. 우리는 다양한 전문성, 임상 환경 및 관점의 변화를 극대화하기 위해 주 전역에 분산된 수많은 브리티시컬럼비아 대학(UBC) 의학부 사이트에서 감독에 대한 다양한 수준의 경험을 가진 참가자를 찾았다. 

In 2018–2019, we interviewed 22 physicians from non-surgical specialties in British Columbia, Canada, and characterised underperformance as stalled progression due to the inability to engage in learning or precarious progression due to unwillingness to engage in learning.35 As noted previously, we decided to deepen our understanding of how supervisors experience working with markedly underperforming trainees and how they come to recognise when a trainee's performance merits failure, by engaging in additional data collection. Since the majority of the original participants were female and all were from non-surgical specialties, we concentrated new recruitment efforts on male participants and those from surgical and procedurally dominant specialties. We used key informants and snowball sampling to identify and invite physicians with experience failing or remediating trainees in the clinical setting, in either the 4-year medical school programme or in one of the postgraduate residency programmes. We sought participants with varying levels of experience with supervision from diverse specialties, clinical settings and numerous University of British Columbia (UBC) Faculty of Medicine sites distributed across the province to maximise variation in perspectives.

2019년 5월부터 2020년 1월 사이에 20명의 의사(남성 7명)를 추가로 모집하고 면접했으며, 이 중 13명이 외과 또는 프로시져 중심의 전공 출신이었다. 따라서 최종 참가자 샘플은 17개 전문분야를 대표하는 42명(남성 11명)의 참가자로 구성되었다. 총 28명의 참가자는 의료 전문 분야(예: 가정의학, 내과, 정신의학, 종양학)였고, 14명의 참가자는 외과 또는 시술 지배적 전문 분야(예: 정형외과, 산부인과 및 산부인과 및 응급의학)였다. 농촌, 북부, 원격 지역사회에서 실습한 참가자(20명)  또는 캐나다 브리티시컬럼비아주의 대도시(22명)에서. 임상 감독관 역할의 모든 경험을 공유했습니다.또한 17명의 참가자가 리더 역할의 경험을 공유했습니다. 리더십 역할의 경험에는, 큰 리스크의 진행에 관한 의사결정에 공헌했습니다. 대다수의 사람들은 그들의 리더 역할을 'programme director'라고 명명했고, 우리는 그들의 정체성을 보호하기 위해 이 용어를 모든 리더 역할을 지칭하는 데 사용합니다.

Between May 2019 and January 2020, we recruited and interviewed an additional 20 physicians (7 male) of whom 13 were from surgical or procedure-dominant specialties. The final participant sample thus consisted of 42 participants (11 male) representing 17 specialities/subspecialties. A total of 28 participants were from medical specialities (e.g. family medicine, internal medicine, psychiatry, medical oncology), and 14 participants were from surgical or procedure-dominant specialties (e.g. orthopaedics, obstetrics and gynaecology and emergency medicine). Participants practised in rural, northern and/or remote communities (20); or in large metropolitan cities (22) in the province of British Columbia, Canada. All shared experiences from a clinical supervisor role; 17 participants also shared experiences from a leadership role that involved contributing to high stakes progression decisions. The majority named their leadership role ‘programme director’, and to protect their identity, we use this term to refer to all of the leadership roles.

2.3 데이터 수집
2.3 Data collection

CGT 방법론에 따라 인터뷰 프로세스에 대해 반복적인 접근법을 취했습니다. 처음 22번의 인터뷰에서는 임상 작업장에서 실적이 부진한 연수생을 감독한 경험을 모집하는 것으로 시작했습니다. 'incompetent'과 'incompetence'라는 용어의 사용에 대한 부정적인 반응으로 인해, 우리는 다양한 용어를 시도하고, 성과가 낮은 훈련생에 대한 대화를 이끌어내기 위해 촉구했습니다. 고군분투하는 훈련생과 저조한 훈련생에 대한 충분한 데이터가 있었기 때문에, 후자의 20개의 인터뷰는 실패를 고려해야 할 상황을 가장 많이 나타낼 가능성이 있는 극단적인 성과 저하의 사례에 초점을 맞췄습니다. 인터뷰 질문은 참가자들을 초청하여 의대생과 레지던트들을 감독한 경험을 공유하도록 했다. 이들은 상당히 성과가 저조하고 광범위한 교정조치가 필요했으며 징계조치를 발동했거나 프로그램 탈퇴를 요구받았어야 했다.

Following CGT methodology, we took an iterative approach to the interview process. We began by inviting experiences with supervising underperforming trainees in the clinical workplace in the first 22 interviews. Due to negative reactions to our use of the terms ‘incompetent’ and ‘incompetence’,35 we tried various terms and prompts to elicit conversation on underperforming trainees. As we had sufficient data describing struggling and underperforming trainees, the latter 20 interviews focused on the more extreme cases of underperformance that had the most potential to be indicative of situations where failure should be considered. Interview questions invited participants to share their experiences supervising medical students and residents who profoundly underperformed, required extensive remediation, invoked disciplinary actions or were asked (or should have been asked) to leave the programme.

분석은 반복적 사이클을 통해 데이터 수집에 정보를 제공하였다. 부록 1에서 설명한 바와 같이, 반구조적인 인터뷰 가이드의 4회 반복은 매우 성과가 없는 훈련생에 대한 풍부한 설명을 도출하는 데 초점을 맞추고 있습니다. 

• 슈퍼바이저에게 미치는 실질적인 영향에 대한 대화를 강조하기 위해 
  
• 불합격 훈련생에 대한 경험을 말로 표현하도록 감독관에게 장려하고 
  
• 불합격 또는 불합격하지 않은 훈련생에 대한 설명을 초대합니다. 

인터뷰는 평균 51분(37~68분 범위)을 전화 또는 직접 실시했으며, 음성녹음, 전문 전사자에 의해 기록되고 분석 전에 비식별되었다. 

Analysis informed data collection through iterative cycles. As depicted in Appendix 1, the four iterations of the semi-structured interview guide evolved from a focus on eliciting rich descriptions of profoundly underperforming trainees,

• to emphasising conversation about the substantial impacts on the supervisor,
• to encouraging supervisors to put their experiences with failing trainees into words and
• through to inviting descriptions of failing, or not failing, underperforming trainees.

Interviews averaged 51 min in duration (ranging from 37–68 min) were conducted by telephone or in-person, audio-recorded, transcribed by a professional transcriptionist and de-identified prior to analysis.

2.4 데이터 분석
2.4 Data analysis

• 불합격 훈련생과 관련된 최초 22개 면접에서 식별된 예비 코드는 후속 면접을 위한 데이터 수집에 사용되었습니다.
  
• 주요 주제와 개념에 라벨을 붙인 초점focused 코드를 식별하기 위해 분석된 3~6개의 인터뷰 사이클마다 후속 20개의 인터뷰 분석이 반복되었다.
  
• 전체 연구팀은 매 주기 후에 만나 인터뷰 데이터에 대해 논의하고, 테마를 식별하며, 감독관의 Failure 인식과 인식된 failure에 대한 대응에 라벨을 붙인 진화하는 코드를 수정했다.
  
• CGT에 따르면, 우리는 참가자가 공유한 콘텐츠, 사용하는 언어, 그리고 그 정보를 공유하는 방법에 주의를 기울임으로써 발전된 참가자의 관점에 대한 우리의 이해에 라벨을 붙임으로써 데이터에서 무슨 일이 일어나고 있는지를 정의하기 위해 코드를 사용했다.40 
  
• 상세한 언어 분석을 완료하지는 않았지만, 우리는 문자록의 두드러진 언어적 특징을 코드화하고, 음성으로 볼륨, 망설임, 감정을 코드화하기 위해 녹음을 들었다.
  
• 42개의 스크립트 세트 전체에 걸쳐 지속적인 비교를 사용하여 코드를 재방문, 확장 및 개선했습니다.
  
• 코딩 프레임워크는 인터뷰 38회 이후 데이터를 충분히 요약하였고, 마지막 4개의 인터뷰는 식별된 개념을 보강, 상세화, 명확화하는 데 사용하였다. 
  
• 그런 다음 이론 코드를 식별하기 위해 집중된 코드로 나타나는 링크와 패턴을 논의했다. 이론 코드는 데이터를 넘어서도 여전히 기초가 되는 해석을 나타냅니다.40
• The preliminary codes identified in the first 22 interviews that pertained to failing trainees were used to inform data collection for the subsequent interviews.
• Analysis of the subsequent 20 interviews continued iteratively with each cycle of 3–6 interviews analysed to identify focused codes that labelled the major themes and concepts.
• The full research team met after each cycle to discuss the interview data, identify themes and modify the evolving codes that labelled supervisors' recognition of failure and responses to recognised failure.
• As per CGT, we used the codes to define what was happening in the data by labelling our understanding of the participants' perspectives that was developed by attending to the content that they shared, the language they used and how they shared that information.40 
• Although we did not complete a detailed linguistic analysis, we did code for salient linguistic features41 in the transcripts and listened to the recordings to code for volume, hesitation and emotion in the spoken words.
• We used constant comparison across the entire set of 42 transcripts to revisit, expand and refine the codes.
• The coding framework sufficiently summarised the data after 38 interviews with the last 4 interviews reinforcing, elaborating and clarifying the identified concepts.
• We then discussed the links and patterns represented by the focused codes to identify theoretical codes. The theoretical codes represent an interpretation that extends beyond, and yet is still grounded in, the data.40

CGT에서, 의미는 연구자들의 다양한 관점과 참여자 및 데이터와의 상호작용을 통해 구성된다. 따라서, 우리 팀은, 지도·임상 학습 상황(AG, CW, LL), 평가·평가자(AG, SS-S), 사회인지(AG), 언어학(LL), 대학원장(CW)으로서 연수생을 감독하고, 감독자를 감독하는 생활 경험(생계)에 의한 전문지식 분석을 실시했습니다.

In CGT, meaning is constructed through the differing perspectives of the researchers and through their interaction with the participants and the data.40 As such, our team engaged with analysis drawing on their expertise with studying supervision and clinical learning contexts (AG, CW, LL), assessment and raters (AG, SS-S), social cognition (AG), linguistics (LL) and lived experience supervising trainees and overseeing supervisors as postgraduate dean (CW).

토론에서는 각 연구자의 관점이 데이터 해석에 어떻게 기여했는지에 대한 성찰성reflexivity이 포함되었다. 예를 들어, 팀의 한 구성원은 처음에 학습자로서, 그 다음에는 감독자로서, 그 다음에는 리더로서 의학 교육을 경험했습니다. 그는 학습자로서는 실패나 교정을 경험하지 않았지만, 감독자로서, 그리고 교육 프로그램의 감독 책임을 지는 리더로서도 경험했습니다. 그는 자신의 경험을 연구팀과 공유했고, 우리는 학습자를 지원하는 교육 책임과 안전한 경우에만 학습자가 진보할 수 있도록 하는 사회적 책임 사이의 긴장에 대해 정기적으로 성찰했다. 팀의 비임상사들은 이러한 긴장감을 더욱 맥락화하기 위해 환자와 환자의 가족으로서의 기대와 교육자로서의 경험을 성찰했다.

Discussions included reflexivity on how each researcher's perspective contributed to interpretation of the data. For example, one member of team has experienced medical training first as a learner, then as a supervisor and then as a leader. While he did not experience failure or remediation as a learner, he did as a supervisor and even more so as a leader with responsibility for oversight of training programmes. He shared his experiences with the research team, and we reflected regularly on the tension between the educational responsibility to support learners and the social responsibility to ensure that learners only progress if it is safe for them to do so. The non-clinicians on the team reflected on their expectations as patients and as family members of patients, as well as on their experiences as educators, to further contextualise this tension.

성찰성 토론은 집행된 연구 방법에 대해서도 정밀히 조사했다. 예를 들어, 우리는 음성 인터뷰 질문이 참가자들이 특정 언어를 사용하거나 특정 반응을 이끌어내지 않았는지 확인하기 위해 녹취록을 검토했다. 메모는 데이터 수집에 관한 결정을 기록하고 감사 추적 역할을 하기 위해 사용되었습니다. 분석 과정 동안 데이터에 대한 우리의 진화된 이해를 기록하기 위해 메모를 사용했습니다. 데이터 관리 및 코딩에는 NVivo 소프트웨어 버전 11(QSR International Pty Ltd, Chadstone, Victoria, Australia)을 사용했습니다.

Reflexivity also included scrutiny of the enacted research methods. For example, we reviewed transcripts to verify that the spoken interview questions did not lead participants to use particular language or elicit specific reactions. We used notes to record decisions regarding data collection and to serve as an audit trail. We used memos to record our evolving understanding of the data during the analytic process. We used NVivo software version 11 (QSR International Pty Ltd, Chadstone, Victoria, Australia) for data management and coding.

참가자는 전문을 내과계열의 경우 'M' 또는 외과계열 또는 시술중심 계열의 경우 'S'로 표기하고, 그 뒤에 면담 순서를 나타내는 번호를 붙인다.

Participants are referred to by a letter to indicate their specialty as ‘M’ for medical or ‘S’ for surgical or procedure-dominant followed by a number to indicate their interview sequence.

3 결과
3 RESULTS

상사의 경험에 따르면, 실패를 인식하는 것은 실패를 나타내는 '의심할 수 없는' 직장에서의 성과 실패 패턴을 감지함으로써 '의심의 이점'을 극복하는 것이다. 우리는 우리의 조사와 관련된 세 가지 측면에 대한 조사 결과를 제시한다.

• 먼저, 실패를 나타내는 연습생의 performance 패턴patterns 을 기술함으로써 실패로 인식되는 것을 제시한다.
  
• 그런 다음, 성적 부진한 훈련생과 함께 작업한 경험과 실패를 인식하면서 감독관들이 어떻게 감정을 표현하는지express emotion  제시한다.
• 마지막으로, 실패에 대한 인식이 슈퍼바이저와 슈퍼바이저-트레이닝의 관계를 넘어 동료와의 검증 및 합의 구축building consensus 에 어떻게 영향을 미치는지 제시합니다.

According to supervisors' experiences, recognising failure involves overcoming the ‘benefit of the doubt’ by detecting patterns of failing performance in the workplace that are ‘beyond a doubt’ indicative of failure. We present the findings for three interrelated aspects of our inquiry:

First, we present what is recognised as failure by describing the patterns of trainee performance indicative of failure.

Then, we present how supervisors express emotion while recounting their experiences of working with underperforming trainees and recognising failure.

Finally, we present how recognition of failure extends beyond the supervisor and supervisor-trainee relationship to involve verifying and building consensus with colleagues.

3.1 패턴 식별
3.1 Identifying patterns

의료 및 외과 전문 분야의 감독자들은 성적이 저조한 훈련생들을 처음 접했을 때, "기본적인" 기술인 "최소한의 일"을 할 수 없는 고년자 레지던트들을 "이해할 수 없었다"고 불신하는 단계를 묘사했다(S35). 프로그램 디렉터는 감독관이 "교대 2일째"에, 예를 들어 레지던트 프로그램에 전념하고 있는 지적으로 여겨지는 훈련생이 실적이 저조하다는 것을 알게 되었을 때 "믿을 수 없다"고 말할 것이라고 말했습니다(M26). 
나는 앉아서 환자들에게 그녀의 설명을 들었다. 나는 부정확한 정보에 놀랐다. 정보의 전달 방법에 놀랐다(S30). 그들은 이 단계에서 훈련생에게 의심을 품게 되었지만, 그들이 보고 있는 것을 이해하려고 노력했기 때문에 관찰 내용을 문서화하는 것을 거부했습니다.

Supervisors across medical and surgical specialties described a phase of disbelief when first encountering underperforming trainees: ‘it's just baffling to me’ when upper year residents cannot do ‘some bare minimum things’ that are ‘basic’ skills (S35). Programme directors shared that supervisors called them “on day two of the rotation and they will say ‘I just can't believe this’” (M26) when they discovered, for example, that a trainee who was considered to be intelligent and dedicated to the residency programme was underperforming: ‘I sat down and listened to her explanation to the patients. I was surprised with the inaccuracy of information. I was surprised with the way the information was delivered’ (S30). They gave the trainee the benefit of doubt during this phase and resisted documenting observations as they were trying to make sense of what they were seeing:

'제가 말씀드렸듯이, 그가 과도기를 거치고 적응하는 것을 제가 좀 더 일찍 제안했던 적이 있습니다. 왜냐하면 저는 그것이 제가 공식적인 평가를 해야 할 기준을 충족시키지 못한다고 느꼈기 때문입니다. 우리는 항상 그 후에 이야기했지만, 그 상호작용을 꼭 문서화하지는 않았다.' (S42)
‘There were some times early on where I kind of put it up to, as I say, him going through that transition phase and kind of settling in, if you will, because I just felt like it didn't quite meet the bar that I needed to trigger a formal assessment. We always talked about things afterwards but not to necessarily write it down on paper with those interactions.’ (S42).

[underperformance를 불신하게 하는 징후]에서 [실패를 인식하는 것]으로의 전환하는 과정에는 반드시 [실패를 보여주는 underperformance의 식별]을 감독관이 수행해야 하는 필요성이 포함된다. 이들은 사고 발생 빈도, 일관성 및 규모를 수치화하여 고장을 특징지었다. 
「내가 몇번이나 보여주려고 했던 방식대로 하지 않는 것을 반복한다」(S35). 프로그램 디렉터는 피드백을 받았음에도 불구하고 여러 감독관의 보고서를 통해 실패를 수량화함으로써, 종종 서로 다른 맥락으로 다른 사건을 기술함으로써 유사한 특징을 보였다. 즉, '반복적인 순환이 그와 함께 어려움을 겪고 있다'(S28), '나는 사람들이 [프로그램으로 보고한 모든 구두 불만을 정리했다.이 10쪽짜리 편지를 썼어' (M29) 그 때문에, 「패턴을 찾을 수 없었다」(S25)는 「실패는 한 번만 일어난 것이 아니다」(S25)와 함께, 「어떤 이유에서는 말할 수 없다」(S30), 「감독이 불가능하다」(M36), 「완전히 이해할 수 없다」(M6), 「배우는 능력이 없다」(S34), 「절대로 배우지 못할 것이다」(10)라고 판단한다.

The shift from disbelieving signs of underperformance to recognising failure necessarily includes the need for supervisors to identify underperformance that is representative of failure. They characterised failure by quantifying its frequency, consistency and magnitude across incidents: ‘repeatedly not doing something the way that I tried to show them numerous times how to do it’ (S35). Programme directors similarly characterised failure by quantifying it through reports from multiple supervisors, often in different contexts, describing different incidents, over time, despite receiving feedback: ‘repeated rotations having difficulty with him’ (S28) and ‘I compiled all the verbal complaints that people had [reported to me as program director] and wrote him this 10 page letter’ (M29). Therefore, recognising failure hinged on finding ‘a pattern, it didn't just happen once’ (S25) along with a determination that the trainee is ‘for some reason unteachable’ (S30), ‘unsupervisable’ (M36) and ‘completely unfixable’ (M6) because ‘they just couldn't do it’ (S34) and ‘just couldn't learn’ (M10) ‘so they're not going to learn it’ (M13).

실패가 어떻게 인식되는지에 대한 설명에서 압도적인 증거, 엄청난 오류 및 외부인으로부터 얻은 통찰이라는 세 가지 패턴을 식별했다. 

We identified three patterns within the descriptions of how failure was recognised: overwhelming evidence, egregious error and outsider's insight.

[압도적인 증거 패턴]은, 「지속적인 곤란」과 「부적절한」기술의 반복 시연(S24)을 특징으로 하고, 「그때까지 빵과 버터의 아이템으로서 익혔어야 했다」(M10). 패턴은 특정 도메인으로 제한되거나 글로벌할 수 있습니다. 
「전면, 준비중도 아니고, 관여중도 아니고, 기술력도 없다」(S35). 이것은 감독관과 프로그램의 압도적인 증거의 패턴이었다: '나와 모든 사람들이 그와 그의 능력에 대해 매우 우려할 정도로 그의 일을 정말로 하기에는 다면적인 실패가 있었다.' (S34).

The overwhelming evidence pattern features ‘persistent difficulty’ and ‘repeated demonstration of inadequate’ skills (S24) that the trainee ‘should've learned by then as a bread and butter item’ (M10). The pattern could be restricted to particular domains or be global: ‘it's the whole picture, it's not being prepared, it's not being engaged, it's not having any technical skills’ (S35). This was a pattern of overwhelming evidence compelling action from the supervisor and the programme: ‘there was a multifaceted failure on his part to really do the job to the point where I and everyone was very concerned about him and his abilities [… he was] the one we failed.’ (S34).

[심각한 오류 패턴]에서는 failure 인식은 당황스러운 오류 또는 누락의 발견으로 촉발되었습니다. 핵심 기술을 수반하는 대규모 사고 하나만으로도 이전에 성적이 저조하다고 분류되지 않은 훈련생에게도 실패를 나타내는 데 충분할 수 있습니다. 
「긴급하게도, 실제로는 나쁜 오퍼레이터는 아니고, 매우 좋은 사람이었습니다만, 나에게 있어서 너무나 명백하고 괴상한 것을 빠뜨린 것은, 큰 레드 플래그가 되어 난데없이 나타난 것입니다」(S37). 마찬가지로, 몇 가지 작고 용서할 수 있는 실수 뒤에 일어난 한 번의 터무니 없는 실수는 실패를 의미했다. 왜냐하면 그것은 환자의 안전을 위태롭게 하는 그들의 지식, 기술 또는 이해의 상당한 차이를 드러냈기 때문이다. '커리어-데미징' 세부사항(S37)이 훈련생들을 식별할 수 있기 때문에 여기에 구체적인 예를 포함할 수는 없지만, 이 감독관은 당신의 전문이 비행기 재건에 관한 것일 때 날개가 없다는 것을 깨닫지 못한 채 '본질적으로 날개 없는 비행기를 만드는 것과 같다'고 계속해서 설명했다. 훈련생이 자신의 행동의 중요성을 인식하지 못하는 것 같았을 때 실패를 문서화할 필요성이 증가하였다. 
"당신이 수술을 하려고 할 때 출혈을 일으켰을 때, 그는 '오야, 하지만 그건 정상이야'라고 말할 것입니다."(S39). 마찬가지로, 감독관들은 실수에 대해 적절한 후회나 후회를 보이지 않을 때 훈련생을 낙제시키는 과정에 더 관여하는 경향이 있다고 설명했습니다.
"[절대 이벤트에 대한] 피드백을 받는 것은 경솔한 성격이었기 때문에 "오 마이 갓, 내가 그렇게 했다는 것을 믿을 수 없어, 정말 미안해" (S25)가 아니었다." 하지만, 인식 부족과 반성의 부족은 드물고 예상치 못한 것으로 묘사되었다.

In the egregious error pattern, recognising failure was triggered by the discovery of a disconcerting error or omission. A lone incident of great magnitude that involved a core skill could be sufficient in indicating failure, even for a trainee who had not been previously classified as underperforming: ‘surgically, they were actually not a bad operator, and they were actually a very nice person, but missing something so obvious and egregious to me was a huge red flag and came out of nowhere’ (S37). Similarly, a single egregious blunder that followed several smaller and excusable mistakes signalled a failure, because it too revealed a substantial gap in their knowledge, skills or understanding that risked patient safety. Specific examples cannot be included here because the ‘career damaging’ details (S37) could identify the trainees, but this supervisor went on to explain that ‘essentially it's the same as building an airplane without wings’ without realising that it does not have wings when your speciality is all about rebuilding airplanes. The necessity to document failure was increased when the trainee seemed not to recognise the significance of their actions: “‘remember when you got into [iatrogenic] bleeding when you were trying to do the operations' and he would be like ‘oh ya, but that's normal’” (S39). Similarly, supervisors described being more inclined to engage in the process of failing a trainee when they did not show appropriate regret or remorse for the mistake: “it was this flippant nature to getting the feedback [on a never-event] so it wasn't like ‘oh my goodness I can't believe I did that, I'm so sorry’” (S25). However, lack of recognition and lack of remorse were both described as rare and unexpected.

세 번째 패턴은 다른 부서의 동료나 연수생 등 [외부인이 상사에게 귀찮은 경험을 털어놓음으로써 생겨난 인식]이며, 상사는 자신이 '미처 몰라보았던' 결손에 불을 붙였다(S42). 외부인의 통찰력은 레지던트가 겪고 있는 특별한 어려움에 관심을 끌었다. '[누락]은 주치의들에게 매우 걱정거리였다. 특히 내가 참석한 것은 아니었다.- '그거 알아, 이 남자는 그의 행동 때문에 안전하지 않다'고 말한 것은 가정의사였다(S38). 직접 경험해 본 사람이 즉흥적으로 한 말은 이전에 간과되었던 패턴을 제자리걸음을 하게 하고 조치가 필요하다는 것을 확인하는 듯했다. 
"이것은 우리에게 약간의 스펙트럼을 보여주는데 큰 도움이 되었고, 그가 더 많은 피드백과 지원을 필요로 하는 영역을 실제로 가지고 있다는 것을 인식시켰다."(S42)
The third pattern involved recognition sparked by having an outsider, like a colleague from another department or a trainee, divulge a troublesome experience to the supervisor that illuminated a deficit that they had been ‘a little bit blind to’ (S42). The outsider's insight drew attention to a particular difficulty the resident was grappling with: ‘[the omission] was so concerning to the attendings—it wasn't me [an obstetrics attending] specifically—it was a family doctor that said ‘you know what—this guy is unsafe’ because of his behaviour’ (S38). The off-the-cuff comment from someone with first-hand experience seemed to cause the previously overlooked pattern to click into place and to confirm that action needed to be taken: ‘it really helped show us a little bit of the spectrum and recognise that we really did have an area that he needed increased feedback and support’ (S42).

 

3.2 감정의 표현
3.2 Expressing emotion

우리가 감독관에게 그들이 처음 깨달은 것이 실패라는 것을 깨달았을 때, 그들은 그것을 정확히 지적할 수 없었고 말로 표현할 수 없었다: '완전히 기억할 수 없다. 잠깐... 하지만, 한 순간은 완전히 기억나지 않아요, 음... 그리고, 제 말은..." (M36) 예를 들어, 고객이 현재 인식하고 있는 것이 문제가 되어, 향후의 대처가 필요하게 될 가능성이 있다고 생각하는 방향으로의 전환의 힌트가 포함되어 있습니다.
When we pressed supervisors to go back to the moment when they first realised that what they were noticing was failure, they could not pinpoint it and could not put it into words: ‘I can't totally remember. One moment … but, you know, I can't totally remember one moment, ummm … and, you know, I mean …’ (M36). There were examples that contained hints of a shift towards thinking that something that they were noticing now may become problematic and need to be dealt with in the future:

'… 휴무일이나 산발적인 일회성 문제라기보다는, 개인적인 문제점에 가까웠기 때문에 계속 진행 중인 일이 아닐까 걱정했어요. 그래서 모르겠어요. 그녀는 이런 종류의 것들이 그녀의 길을 따라 올라오고 적응하면서 보상하고 배울 수 있을지도 모른다. 아니면, 더 좋은 용어가 없기 때문에, 기본적으로 사람들을 화나게 하고, 결국엔 부정적인 피드백과 프로그램에 의해 뭔가 더 큰 조치가 취해진다는 의견을 충분히 얻을 수도 있습니다.' (M13)
‘… with her I would worry that it's going to be something ongoing because it seemed more of a personality source of the problem than just an off-day or a sporadic one-time kind of thing. So, I don't know. She might be able to compensate and learn from these type of things as they come up and adjust in her way through. Or she might, you know, for lack of a better term basically piss people off all the way through and eventually gets enough negative feedback and comments that something—some bigger measure—is taken by the program.’(M13)

위의 인용문에 포함된 문구는 유일한 용도가 아닙니다. 「이 때문에 일을 망친 사람의 예」(M15)는, 「정말 좌우를 망쳤다」(S30)와 같이, 지극히 성적이 나쁜 훈련생의 묘사를 부드럽게 강조했다. 또, 「내가 왜 더 이상 이 일을 하고 있는지」(M27) 등, 「그것이 얼마나 화가 났는지」(M41) 등, 낙제하는 연습생을 감독하는 것에 대한 반응을 나타내는 데도 사용되었습니다. 일부는 갑자기 말을 끊고 어조와 단어 선택에 대해 사과했다. 
'… 그는 정말 심한 설사를 하고 있었습니다. 미안합니다만, 너무 심한 것 같습니다만, 그는 단지 입을 다물고 싶지 않을 뿐입니다」(M29) 또, 참가자는, 불합격의 연수생에 대한 경험을 이야기하면서, 목소리를 높였다. 예를 들어, 어떻게 연습생이 부정직하다고 판단했는지에 대해 이야기하면서, 「대부분의 경우는 거짓말을 계속하고 있을 뿐이고, 이것은 어려운 일입니다.」라고 하는 것은, 내가 바로 여기 있는 것 같기 때문에, 내가 모른다고 생각하는 것입니까(S39). 그들은 기만과 조작을 묘사할 때 목소리를 높였다. "저는 그들이 어디에 있는지, 글쎄요, 그들은 그저 독약처럼 병적인 존재라고 생각할 수 있습니다." 성격은 "오 마이 갓, 어떻게 당신은 의학에 들어갔나요?"와 똑같습니다." (M14) 또, 「감시」(M41)을 포함한 생생한 이미지를 사용해, 실적이 현저하게 저하하는 연수생이 자신에게 미칠 수 있는 영향을 전달했습니다.

The expletive in the above quote was not an isolated usage. Mild swearing accentuated the descriptions of profoundly underperforming trainees: ‘an example of somebody who has screwed up because of this’ (M15) as in ‘really screwing up left and right’ (S30). It was also used in expressing their reaction to supervising a failing trainee including: ‘wondering why the hell am I doing this anymore’ (M27) because of ‘how much that pissed me off’ (M41). Some abruptly stopped midsentence to apologise for their tone and choice of words: ‘… he had this very loquacious diarrhoea that would just—sorry, I'm sounding really awful, aren't I—but, he would just like not shut up …’ (M29). In addition, participants raised their voices while describing their experiences with failing trainees. For example, while sharing how they determined that a trainee was being dishonest: ‘most of the time they just keep lying—and this is the hard thing—and I find this so hard myself because I'm like I'M RIGHT HERE, DO YOU THINK I DON'T KNOW?’ (S39). They raised their voices when describing deception and manipulation: ‘I can think of 2, maybe 3 trainees, where they're—I don't know, pathological, like they're just poison—the personality is just like ‘OH MY GOD, HOW DID YOU GET INTO MEDICINE’ kind of thing’ (M14). They also used vivid imagery including allusions of being ‘persecuted’ (M41) to convey the impact that profoundly underperforming trainees could have on them:

'제가 선고받은 형량을 말씀드리죠. 직장에서 누군가를 지켜보고, 내내 움츠리고, 누군가 제 환자를 괴롭히는 것처럼 느껴지고, 말을 걸면 화가 나죠.' 이것이 제가 가장 두려워하는 것입니다. 그에게 6개월 동안 가르쳤다면 아마 정맥을 열었을 것입니다.'(36).
‘I'll tell you what I'm sentenced to—a six month period of time where in my workplace I'm watching someone, cringing the whole time, feeling as though someone is bullying my patients and if I talk to them they get angry with me—this is my worst fear […] and I would've probably opened a vein if I had to teach him for six months.’ (M36)

실패를 인식하는 구체적인 경험을 공유하면서, 가장 흔히 언급되는 감정은 좌절감이었다. 
'잘못된 결정을 내린 연습생에게 미안하지 않다'임상적 판단은 시간이 따라오는 것 같아요자신의 잘못을 깨닫고 아픈 환자에게 도움을 청할 수 있는 능력이 없는 것에 실망했다고 생각합니다.(M7) 실패하는 훈련생을 감독하는 것이 어떤 것인지 직접 물었더니 좌절감이 다시 일반적인 대답으로 나타났습니다. 
'답답하다, 좀 뜬다' (M18). 가벼운 욕설과 그 경험을 떠올릴 때 사용하는 언성이 합쳐진 것은 분노를 나타낸다는 것이 우리의 해석이었다.
The emotion that was most commonly named while sharing specific experiences of recognising failure was frustration: ‘I don't begrudge the trainee for making the wrong decision—I think clinical judgement, that comes with time—I think I was frustrated that they didn't have the ability to see the error in their ways and to call for help for a sick patient’ (M7). When we asked directly what it was like to supervise trainees who were failing, frustration again appeared as a common response: ‘it's frustrating, it's kind of eye-opening’ (M18). Our interpretation was that the combination of mild swearing and raised voices used while recalling those experiences was indicative of anger.

참가자들이 그들의 경험을 공유하는 또 다른 측면은 그들이 사용하는 언어의 뚜렷한 변화였다. 감독관은 현재의 확실한 상태에서 불합격하는 훈련생을 거칠고 분명한 말로 묘사하는 경향이 있었습니다. 
「재해였다」(M2) 「재해다」(M26) 「위험했다」(S28), 「전혀 부적절했다」(S30). 우리의 분석 결과, 그들이 자주 선택한 표현에는 부스터를 사용하는 것이 포함되어 있는 것으로 확인되었습니다. Hyland에 따르면, 부스터는 발언에 대한 확신, 자신감 및 헌신을 표현하기 위해 사용되는 커뮤니케이션 전략이며, 특정 가정이나 결론에 대한 지지를 설득력 있게 요청하기 위해 사용될 수 있다. 우리는 이 단락에서 제시된 인용문에 사용된 부스터의 예에 밑줄을 그었다. 감독관들은 '이 때문에 내가 소송을 당할까 봐' 고심했습니다. (M20) 정말 큰 실수였고 저는 정말 화가 났습니다.

Another aspect of how participants shared their experiences was a distinct change in the language that they used. Supervisors tended to describe failing trainees from a current state of certainty using harsh, unequivocal language: ‘It was a disaster’ (M2) ‘he's a disaster’ (M26) ‘he was dangerous’ (S28) and ‘entirely inappropriate’ (S30). Our analysis identified that their choice of phrasing frequently included the use of boosters. According to Hyland, boosters are a communicative strategy used to express conviction, confidence and commitment to a statement and may be used to persuasively solicit support for particular assumptions or conclusions.41 We have underlined examples of the boosters used within the quotes presented in this paragraph. Supervisors grappled with ‘fearing that I'm going to get sued because of this [omission by the resident …] was a really big miss and I was really upset by it’ (M20).

드물게 수습생의 행동이 감독자를 법적 절차에 참여시키는 '대형 소송'(M29)을 초래하기도 했다. 그러나, 그들은 수습생을 결정하는 것이 '환자 안전의 표준을 충족하지 못하고, 실제로 해를 끼치고 있다'고 강조하였다(S25). 실패에 대한 문서화가 필요했다. 
'환자에게 완전히 위험한 사람은 지나칠 수 없다'(M14). 그리고 환자와 직업에 해를 끼치지 않기 위해 실패를 보고하는 것이 그들의 의무가 되었다: '그것은 나의 의무이다. 즉, 해야 합니다. 그렇지 않으면 저는 학생을 실망시키고 public을 실망시키는 것입니다.(M16) 왜냐하면 '환자의 안전에 관한 우리의 책임은 명백하기 때문입니다'(M41) 변경 후, 유일하게 적절한 옵션은 드물고 어려운 옵션임에도 불구하고 '이 옵션에는 플래그를 붙여야 한다'(M31)였다. 
'내 커리어에서 나는 한 사람을 유급시켰으며, 그들은 정말 유급해야 한다고 생각한다.' (M36)

In rare cases, the actions of a trainee ‘prompted a huge lawsuit’ (M29) that involved the supervisor in legal proceedings. However, they emphasised that determining a trainee was ‘not meeting a standard of patient safety—it's actually causing harm’ (S25) necessitated documentation of failure: ‘I can't pass someone if they're downright dangerous to the patient’ (M14). It then became their obligation to report failure to prevent harm to patients and the profession: ‘that is my duty. That is, I have to. That's—otherwise I am letting down the student and I am letting down the public’ (M16) because ‘it's obviously our responsibility in terms of the safety of our patients’ (M41). After making the shift, the only appropriate option was ‘this one had to be flagged’ (M31), even though it was a rare and difficult option: ‘in my career I think I've failed one person and they really needed to be failed’ (M36). Such conviction may have been needed because reporting failure, and even underperformance, could come at a cost, such as having the trainee file ‘a complaint’ (M17) against them.

이러한 확신은 보고의 실패나 실적 저하는 수습생에게 '고발'(M17)을 하게 하는 등의 대가를 치르게 될 수 있기 때문에 필요했을 수 있다. 훈련생이 수행능력이 저조할 수 있다는 것을 처음 발견한 것에 대한 의구심을 채운 것과 대조적으로, 훈련생이 프로그램을 진행해서는 안 된다는 것을 인식한 것에 대한 설명은 확실성, 확고한 언어, 강렬한 감정, 그리고 잠재적인 피해를 방지해야 한다는 의무감으로 가득 차 있었다. 예측 가능한 비용에도 불구하고 조치를 취해야 합니다.
In contrast to the benefit of the doubt that filled their descriptions of first discovering that a trainee might be underperforming, the descriptions of having recognised that a trainee should not progress in the programme were filled with certainty, firm language, intense emotion and a sense of duty to prevent harm that held the potential to mobilise action despite foreseeable costs.

4 컨센서스 구축
4 BUILDING CONSENSUS

지금까지 우리는 상사에게 초점을 맞추어 실패에 대한 인식을 개인의 마음에서 주로 일어나는 것으로 제시해 왔지만 실패에 대한 인식에는 동료와의 사회적 상호작용도 포함되어 있었다. 특히 실패를 인식하기 위해서는 슈퍼바이저가 본 내용을 다른 사람과 논의하여 그 해석을 이해하고 검증해야 합니다. 그 후 실패가 인정되어 연수생의 다음 단계로 넘어가는 과정이 변경되었기 때문에 감독관, 부서 또는 위원회의 그룹 내에서 여러 사람의 합의가 필요했다. 이제 실패를 인식하는 [집합적 경험]에 초점을 맞춥니다. 프로그램 디렉터는, 「우리는 그것을 용인하지 않는다」(기간, 완전 정지)라고 하는 결정을 내린 시점(S34)에 이르렀다고 설명했습니다.왜냐하면, 「충분한 병리학적 문제가 될 것 같다」라고 하는 경우에는, 통상, 연수생을 포함한 모든 사람이 졸업하는 것보다, 그것들을 삭제하는 것이, 실제로 도움이 되기 때문입니다(S37).. 다만, 복수의 슈퍼 바이저로부터의 합의와 문서화가 필요했습니다.
Up until this point we have focused on the supervisor and presented recognition of failure as something that occurs mostly in the minds of individuals but recognising failure also included social interactions with colleagues. In particular, recognising failure involved supervisors discussing what they were seeing with others to make sense of it and to verify their interpretations. After that, having failure become recognised, so that a trainee's progression to the next phase was altered, required consensus across multiple people within a group of supervisors, department or committee. We now turn our focus to the collective experience of recognising failure. Programme directors described departments and committees reaching a point where they had decided ‘we're not going to tolerate it—period—full stop’ (S34) because when it is ‘pathological enough it's going to be a serious issue then it usually is actually better served for everybody, including the trainee, to remove them than to graduate them’ (S37). However, it required agreement and documentation from multiple supervisors:

'위험한 환자 치료를 제공할 수 있을 것 같은 정말 배신적인 훈련생에게 우리 모두는 책임감을 가지고 있고 종종 단결해서 그렇게 한다.' 즉, 우리는 의사 그룹 사이의 합의를 구한다는 것입니다. 그래서 '이 사람이 이 일을 했다'고 말하는 것은 단지 하나의 스승이 아닙니다. '너도 일주일 동안 그런 일이 있었니?' '응, 나도 그랬고 다른 동료도 그랬다.' 그래서 우리 셋이서 다 같이 하면 숫자에 있어서 강점이니까, 사실 의문을 가질 수가 없어. 만약 그것이 단지 어떤 것의 일회성이라면, 그것은 확실히 밝히기 어려울 것입니다.(S40)

‘For the truly treacherous trainee that I think would provide dangerous patient care, we all have that responsibility to stand forward and we often do that united. Meaning we look for consensus among our physician group so it's not just one preceptor saying ‘this one did this.’ It's a ‘did you have something like that in your week?’ ‘Yes, I had something too and so did one of my other colleagues', okay, so the three of us if we put it all down together, it's a strength in numbers, we can't really be questioned. If it's just a one-off of something, then it could be really hard to pin down.’ (S40)

이러한 실패에 대한 집단적 인식은 보다 면밀한 관찰이 필요한 훈련생에게 주의를 환기시키는 데 도움이 되었다. 그러나 '모두가 눈치채고 있었다'(M41)는 연수생의 평판이 감독 및 평가 방식에 영향을 미칠 수 있음을 인정하였다. 성적 부진한 연수생들은 감독 강화를 위해 감독자들 사이에서 논의되었다. 이것은 동료가 '교사와 토론하고 다른 교사들에게 이것이 일회성이 아니며 이 사람이 잠재적으로 위험하다는 것을 확실히 하기 위해'를 시작했을 때 비공식적으로 행해졌다(M12). 또한 심각한 사건에 대한 대응으로 프로그램 내에서 공식적으로 발생하였습니다. 
'누군가가 그 오류를 발견해 저지하지 않았다면 환자에게 나쁜 일이 일어날 수 있었기 때문에 훈련위원회와 어텐딩과의 큰 논의가 될 수 있었다.'(M5) 

This collective recognition of failure was helpful in bringing attention to a trainee who needed closer observation. However, when it was the case that ‘everybody was noticing’ (M41), it was acknowledged that the trainee's reputation could affect how they were supervised and assessed. Underperforming trainees were discussed among supervisors in order to provide increased supervision. This was done informally when a colleague initiated ‘discussing with the preceptors and making sure the other preceptors know this isn't just a one-off or that this person is potentially dangerous’ (M12). It also happened formally within the programme in response to a serious incident: ‘had someone not picked up that error and stopped it, something bad could've happened to the patient and so it became a big discussion within our training committee and with the attendings’ (M5).

감독관들은 특별한 주의가 필요한 시기를 논의했다. '현미경을 가지고 있으면 흔들기가 매우 어렵다'가끔은 정당하다고 생각한다.(M14). 연습생이 각별한 주의를 '부당한 대우'로 인식하는 것이 명확해진 사례도 있었지만(S22), 감독자와 프로그램은 이를 필요한 감독 및 적절한 피드백으로 해석하였다. 이러한 의견 차이는 일반적으로 훈련생이 피드백에 저항하고 있다는 인식과 관련이 있었습니다. 예를 들어, 프로그램 책임자와 토론할 때, 의대생은 '왜 실제로 그가 한 일이 옳은 일이었는지, [선입자들이] 잘못 해석했거나 이해하지 못했는지, 또는 그들이 틀렸고 그가 옳았다'고 설명할 것이다(S22). 이러한 행동은 '모든 사람이 실제로 능력 문제를 인식하지 않고 […] 나를 이해하려고 하는[…] 통찰력 부족에 기인하는 경향이 있습니다(S25).

Supervisors discussed times when the extra attention was deserved: ‘once you have a microscope on you it's very hard to shake the microscope—I think sometimes it's justified’ (M14). There were examples where it had become clear that the trainee perceived the extra attention as ‘being mistreated’ (S22), but the supervisors and programme interpreted it as necessary supervision and appropriate feedback. This difference of opinion commonly involved the perception that the trainee was being resistant to feedback. For example, when in a discussion with the programme director, a medical student would ‘explain why actually what he had done was the right thing to do and that [preceptors] had misinterpreted or they didn't understand or that they were wrong and he was right’ (S22). This behaviour tended to be attributed to ‘lack of insight [… with thinking] everybody is out to get me […] instead of actually recognising, no, there are some actual competency issues’ (S25).

또한 이러한 집단적인 관심으로 인해 훈련생이 개선을 쉽게 입증할 수 없는 상황이 발생할 수 있다. 감독관들은 '한번 실수하면 현미경 아래 있다가 갑자기 모든 것을 훨씬 더 가까이서 검사한다'(M19)고 인정했고, 이 특별한 주의는 훈련생들에게 스트레스를 주고 학습에 지장을 주었다. 이들은 '프리셉터와 레지던트 사이에 인격적 충돌이 있고 poor한 레지던트가 제대로 된 일을 할 수 없으며 모든 것이 문서화되어 있다'와 같이 특별한 관심이 정당화되지 않았다고 느끼는 사례를 공유했다(M2). 레지던트 프로그램 책임자는 자신이 처한 싱크홀로부터 벗어날 수 없다.소규모 학습 커뮤니티 내에서 '매우 무서운 사건'(S39)에 관여한다는 평판을 가진 전공의를 관리하는 것이 얼마나 어려웠는지 언급했다. 그것은 '이력을 모르는 사람들로부터 그들의 수술 능력에 대한 공정한 평가를 받기 위해 지방 밖으로 그들을 보내는' 등의 전략을 요구할 수 있다(S39)
The collective attention could also create situations where the trainee could not readily demonstrate improvement. Supervisors acknowledged that ‘once you've made a mistake, you're under a microscope and suddenly everything you do is examined that much closer’ (M19), and this extra attention caused stress for the trainee and interfered with their learning. They shared examples where they felt the extra attention was not justified, such as when there was a ‘personality conflict between the preceptor and the resident and that poor resident can't do anything right—and everything's documented—but this person can't emerge from the sinkhole that they've gotten into’ (M2). Residency programme directors discussed how difficult it was to manage residents with reputations for being involved with ‘very scary events’ (S39) within their small learning communities. It could require strategies like sending them ‘out of province to get a fair assessment of their operative skills from people that didn't know their history’ (S39).

심각한 성과 저하의 보증 실패에 대한 광범위한 인식에도 불구하고, 일부 훈련생은 로테이션에 실패하지 않았거나 프로그램에서 해고되지 않은 것으로 보고되었다. 불충분한 서류나 무력한 평가 과정이 그러한 교육생들을 졸업하게 하는 경우, 프로그램 디렉터는 "[… 이 전공의]가 합격하여 대중에게 공개되는 것에 대한 도덕적 고통"을 겪게 될 것이다(M29) 그러나 이는 '전공의가 심각한 문제라는 반박할 수 없는 증거가 있더라도 이들을 프로그램에서 완전히 빼내는 것은 매우 어려운 일이다(S37). 실패한 훈련생에 대한 경험은 정책, 커리큘럼 또는 평가에 대한 목표적이고 실질적인 변경을 통해 프로그램에 큰 영향을 미쳤다.
Despite widespread recognition of profound underperformance warranting failure, it was reported that some of the trainees did not fail the rotation or were not dismissed from the programme. When insufficient documentation or impotent assessment processes allowed such trainees to graduate, programme directors would experience ‘moral distress over [… this resident] passing and being released to the public’ (M29). But it happened because ‘even when there's irrefutable evidence that a resident is a serious, serious problem, getting them out of the program entirely is very, very difficult to do’ (S37). Experiences with failing trainees profoundly impacted programmes through targeted and substantial changes to policies, curricula or assessment.

5 토론
5 DISCUSSION

수련생을 낙제시키는 것은 쉽지 않다. '실패실패failure to fail' 현상에 대한 문헌은 감독관이 역할의 기대를 충족시키는 것을 꺼리는 것을 강조하는 경향이 있지만, 우리의 작업은 복잡하고 종종 힘든 집합적 프로세스에 상당한 깊이의 이해를 더합니다. 신뢰할 수 없는 저성능에서 실패를 인식하는 것으로의 전환에는 지속적이거나 교정되지 않는 수행능력 저하non-rectifiable underperformance의 패턴을 통해 그 규모 또는 확산성을 수량화함으로써 실패를 검증하는 프로세스가 수반된다는 것을 발견했다. 식별된 패턴에는 훈련생이 상당한 학습 격차를 드러내는 '터무니없는' 실수를 저질렀다는 것을 발견하고, 훈련생의 행동이 부적절하고 더 이상 무시할 수 없다는 것을 증명하는 공정한 동료로부터 보고서를 받고, 훈련생이 기대대로 행동할 수 없다는 것을 반복적으로 확인하는 것, 하면 안 될 것을 계속 하는 것이 포함된다. 모든 패턴은 훈련생이 감독이 있음에도 위험한 환자 치료를 제공할 위험이 있음을 나타냅니다. 그 시점에서, 감독자와 프로그램 디렉터는 환자와 직업에 대한 피해를 방지하기 위한 자신들의 의무를 견지하기 위해 훈련생이 실패하는 과정에 관여해야 한다고 느꼈다. 성과가 저조하다는 초기 징후를 믿지 않는 것에서 훈련생은 실패해야 한다는 인식으로 전환하는 과정을 더 자세히 설명하면 추가적인 통찰력을 얻을 수 있습니다.
Failing a trainee is not easy. While the literature on the ‘failure to fail’ phenomenon tends to emphasise supervisors' reluctance to fulfil the expectations of their roles, our work adds considerable depth of understanding to a collective process that is complex and often arduous. We found that the shift from disbelieving underperformance to recognising failure involves a process of verifying failure by quantifying its magnitude or pervasiveness through patterns of persistent or notorious and non-rectifiable underperformance. The identified patterns include discovering that a trainee had committed an ‘egregious’ blunder that reveals a substantial learning gap, receiving a report from an impartial colleague that verifies a trainee's behaviour is inappropriate and can no longer be ignored and repeatedly seeing that a trainee cannot do what was expected of them and/or continues to do what was not expected of them. All patterns signalled that the trainee was at risk of providing dangerous patient care, even with supervision. At that point, supervisors and programme directors felt compelled to engage in the process to fail a trainee to uphold their duty to prevent harm to patients and the profession.5, 6, 9, 10, 12, 16, 33 Additional insights can be gained by further elaborating the shift from not believing early signs of underperformance to recognising that the trainee should be failed.

5.1 고장 인식의 티핑 포인트 모델
5.1 A tipping point model of recognising failure

본 연구의 주요 기여는 patterns of failure이 비정상적인 소음이 아닌, 신뢰할 수 있는 신호credible signal로 어떻게 인식되는지를 조사하는 것이다. [믿을 수 없는 저성능]에서 [실패를 인식하는 것]으로의 전환은 [임계치를 넘은 것]과 비슷하며 티핑 포인트의 심리적 과정을 연상시킨다. [티핑 포인트]에 대한 연구는 [사회적 정보의 작은 변화도 어떤 사람을 한 범주에서 다른 범주로 전환하는 인상 업데이트에 혼합compound될 수 있다는 것]에 초점을 둔다. 티핑 포인트는 누군가의 행동을 상황적 요인으로 돌리는 것에서 그 사람의 선호도, 성격, 도덕성, 그리고 그 사람의 다른 특징에 기인하는 것으로의 변화를 나타낼 수 있다. 단순히 변화가 일어났다는 것을 진단하는diagnose 것이 아니라, 언제 변화가 일어났는지를 진단하는 능동적인 과정이다. 실패한 연수생을 티핑 포인트로 인식하는 과정을 개념화함으로써, 우리는 그 문헌을 참고하여 그 과정을 더 탐구할 수 있다.
A key contribution of our work is examining how patterns of failure are recognised as credible signal rather than anomalous noise. The shift from disbelieving underperformance to recognising failure seems akin to a threshold being crossed and is reminiscent of the psychological process of a tipping point.42, 43 Research on tipping points focuses on how small changes from new social information compound into impression updating that shifts the corresponding person from one category into another.43 Tipping points can mark the shift from attributing someone's behaviour to situational factors to attributing it to their preferences, personality, morality and other characteristics of the person.44 It is an active process where people diagnose when a change has been made rather than just note that a change has occurred.43 By conceptualising the process of recognising a failing trainee as a tipping point, we can draw on that literature to further explore the process.

[티핑 포인트]는 [식별된 변화에 대응하여 행동할 가능성이 높아지는 방향으로의 전환]을 의미합니다. 티핑 포인트의 행동을 유도하는 측면은 [실패를 인식하는 것]이 프로그램을 동원하여 수행능력이 [저조한 훈련생을 반드시 현미경 아래 둘 필요가 있다]는 참가자들의 기억과 공감을 불러일으킨다. 그러나 참가자들은 또한 현미경의 초점을 훈련생에게 맞추면 더 이상 그럴 자격이 없을 때에도 현미경을 흔드는 데 어려움을 겪을 수 있다고 우려했다. 티핑 포인트의 비대칭성이 이를 설명하는 데 도움이 됩니다. 티핑 포인트 연구는 사람들이 [개선과 같은 변화]의 속도보다 [감소하는 속도]를 더 빨리 진단하고, [개선의 징후를 행운의 징조로 무시하는 경향]이 있음을 보여준다. 또한, [티핑 포인트]는 [사람들이 예상하는 것보다 더 빨리 발생]하고, [증거는 적기 때문]에, 훈련생 평가와 관련된 사람들은 실패가 정당하다고 판단하는 데 얼마나 부지런한지 과대평가할 수 있습니다. 도덕적 티핑 포인트에서도 유사한 비대칭성이 있어서, 도덕적 쇠퇴(즉, 나쁜 행동을 저지르는 것)에 따른 처벌이 동일한 도덕적 개선(즉, 좋은 행동을 저지르는 것)에 대한 보상보다 더 기꺼이 발생함을 보여준다. [실패 실패 현상]에 대처하기 위한 노력은 수행능력 저하의 문서화를 꺼리는 것을 완화하는 데 초점이 맞춰져 있지만, 티핑 포인트 연구는 수행능력 저하를 확인한 후에도 프로세스가 어떻게 잘못될 수 있는지를 보여 줍니다. 우리는 훈련생에게 [유급이라는 섣부른 라벨]을 붙이는 것을 막아내는데 도움이 되는 행동 패턴을 찾기 위해 상관의 초기 불신과 시간을 재구성하고 싶을지도 모른다. 우리의 연구결과는 슈퍼바이저가 성적이 낮은 훈련생들을 적절히 낙제시키는 데 도움이 되는 새로운 대화를 시작합니다.

Tipping points imply a shift towards becoming more likely to act in response to identifying change.42, 43 The action inducing aspects of a tipping point resonate with our participants' recollections that recognising failure can mobilise the programme to put an underperforming trainee under a much needed microscope. However, participants were also concerned, once the microscope was focused on a trainee, that they could have difficulty shaking it, even when it was no longer deserved. The asymmetry of tipping points helps to explain this. Tipping point research shows that people more quickly diagnose a trend as declining than the same rate of change as improving and have a tendency to dismiss possible signs of improvement as lucky flukes.42, 43 Furthermore, tipping points happen faster and with less evidence than people estimate,45 which implies that those involved with assessing trainees may overestimate how diligent they are in determining that failure is warranted. A similar asymmetry in moral tipping points shows that moral decline (i.e. committing bad behaviours) is more willingly punished than identical moral improvement is rewarded (i.e. committing good behaviours).44 Although efforts to address the failure to fail phenomenon have focused on alleviating reluctance to document underperformance, tipping point research highlights how the process can go awry with a disinclination to see improvement after underperformance has been verified. We may want to reframe supervisors' initial disbelief and time spent searching for patterns of behaviour as helpful in fending off premature labelling of a trainee as failing. Our findings open a new conversation on helping supervisors to appropriately fail underperforming trainees.

티핑 포인트에 대한 연구는 감정의 영향에 많은 관심을 기울이지 않고 인지적인 측면에 집중하는 경향이 있다. 우리의 연구는 실패를 인식하는 방향으로의 전환이 있을 때 [분노]가 함께 발생하는 것으로 파악한다. 상급자에 대한 감정과 감정적 영향은 [훈련생들에게 유급을 주는 것에 대한 거부감]을 부추기는 것으로 확인되었습니다. 우리는 그것이 다른 역할을 할 수도 있다고 제안합니다. 분노는 실패를 인식하는 촉매 역할을 할 수도 있고, 어쩌면 그 부산물일 수도 있다. 우리의 방법론은 정확한 역할을 결정하는 것을 허락하지 않지만, 인터뷰를 통해 분노를 표출하고 묘사할 수 있게 했다. (불경스러운 말을 포함한) 분노의 반응이 실패-실패 연구에 보고된 경우는 거의 없기 때문에, 주목할 만하다고 생각되었다. 
Research into tipping points has tended to focus on its cognitive aspects, without much attention given to the influence of emotions. Our work identifies anger as co-occurring with the shift towards recognising failure. Emotions and emotional repercussions for supervisors have been identified as fuelling reluctance to fail trainees.3, 7, 8, 11, 13, 16, 46 We suggest that it may also play another role. Anger may be functioning as a catalyst in, or perhaps is a by-product of, recognising failure. Our methodology does not allow its precise role to be determined, but it did allow anger to be expressed and described in interviews. It struck us as remarkable, since angry reactions (including profanity) have rarely been reported in failure to fail research.4 

그러나 그것은 [무능하다는 증거]가 [경멸]을 불러일으키는 심리학 연구와 일치한다. 사람들이 화가 났을 때, 그들은 부정적인 평가가 수반될 것으로 예상되는 평가 작업을 수행할 가능성이 더 높은 것으로 밝혀졌다.48 [분노]는 잘못 인식된 결과를 바로잡기 위한 목표로 잘못에 대한 다른 사람의 책임을 평가하는 것을 수반하는 도덕적 감정이다. 가치관과 도덕적 신념이 위협받았을 때 사람들이 경험하는 감정이다. 그것은 호혜성, 정직성, 공정성, 타인에 대한 관심과 같은 상호작용을 이끄는 사회적 규칙을 위반함으로써 위계적이고 공동체의 의무에 관한 사회적 규범이 위반되었을 때 경험된다. 분노는 통제되어야 하는 부정적인 감정으로 보여지는 경향이 있지만, '정당한 분노는 사람들을 이익과 가치를 지키도록 동원하는 데 도움을 줄 수 있다.' 분노의 행동 경향은 상사가 학습자의 실패를 인정하고, 불신을 극복하도록 유도하는 데 도움이 될 수 있습니다.

But it is consistent with psychology research where demonstrations of incompetence have elicited contempt.47 When people are angry, they have been found to be more likely to perform an evaluative task that is expected to involve a negative evaluation.48 Anger is a moral emotion49 that involves appraising another person's responsibility for wrongdoing with the goal to correct the resulting perceived wrong.50 It is an emotion that people experience when their values and moral convictions have been threatened.50, 51 It is experienced when social norms regarding hierarchical and communal obligations have been violated52 through the breaking of social rules that guide interactions like reciprocity, honesty, fairness and concern for others.50, 53 Although anger tends to be seen as a negative emotion that needs to be controlled, ‘justifiable anger can help mobilise people to defend their interests and values’.54 It may be that the action tendencies of anger help to prompt supervisors to overcome disbelief in order to recognise failure.

그러나 분노는 때때로 행동에 위험한 촉매가 될 수 있다. 분노는 차이를 인식하고 다른 사람의 관점에 대해 추론하는 것과 같은 관점을 감소시킬 수 있습니다. 현재의 견해를 재검토해봐야 하는 새로운 정보에 대한 검토를 방해할 수 있다. 분노는 [반대되는 증거와 주장]을 경시하고, 자신의 견해만을 뒷받침할 증거를 확인해서, 상대를 공격할 정보를 찾게 만드는 [편향된 검색]을 자극할 수 있다. 분노는 적대적이고 징벌적인 감정과 연관된 타인에 대한 비난other condemning  감정이다. 화해의 기회를 줄인다. 중요한 것은, 그것은 임상 직장에서 괴롭힘 또는 따돌림에 선행할 수 있다는 것이다. 분노의 동원적인 측면은 훈련생 실패에 대한 거부감을 극복하는 데 도움이 될 수 있지만, 그러한 측면은 이후의 정보 탐색과 의사결정을 왜곡시킬 수 있다. 평가 시스템은 수행능력 저하에 대한 슈퍼바이저의 감정적인 반응을 전략적으로 이용하는 것으로부터 이익을 얻을 수 있을지는 모르지만, 관련된 왜곡을 상쇄하기 위한 대응책을 도입할 필요가 있습니다.

Anger, however, may sometimes be a dangerous catalyst for action. Anger can reduce perspective-taking, such as recognising differences and making inferences about someone else's point of view.55 It can impede consideration of new information that might prompt a reconsideration of currently held views.54 It can fuel a biassed search for information to attack the violator56 along with confirming evidence to bolsters one's views while downplaying opposing evidence and arguments.54 Anger is an other condemning emotion49 associated with feelings of being antagonistic and punitive.57, 58 It lessens chances for reconciliation.47 Importantly, it can be antecedent to harassment, bullying or mobbing in the clinical workplace.59, 60 The mobilising aspects of anger may help supervisors to overcome reluctance in failing a trainee, but there is the possibility for those aspects to distort subsequent information seeking and decision making. Our assessment systems may be able to benefit from strategically capitalising on supervisors' emotional responses to underperformance, but they must ensure that countermeasures are incorporated to offset any associated distortions.

[요약하면, 실패를 인식하기 위한 티핑 포인트 모델의 개요를 설명했다].

• 성과가 저조하다는 징후에 직면했을 때, 상사는 우선은 불신감을 느끼고, 자신이 관찰하는 수련생을 이해하기 위해 감독을 강화하여 추가 증거를 찾으면서, ['의심으로부터의 이득']을 얻을 수 있다.
• 수련생의 진행이 정체되고, 강화된 감독에도 반응이 없을 경우, [수행능력이 저조하다고 식별]된다.
• 엄청난 오류가 발견되거나, 외부인의 통찰력이 간과했던 징후를 입증하거나, 수행능력 저하가 지속되고 있다는 압도적인 증거가 뒤따른다면 [실패를 인정]하게 될 수 있다.
• 분노, 그리고 연습생에게 해를 끼치지 않도록 해야 한다는 의무감과 함께, 유급시킬지 말지에 대한 '의심을 넘어', 실패를 인정하면, 티핑포인트의 문턱을 넘는다.
• 인정의 확실성에 대한 힌트를 얻은 후, 평가 프로세스 참여를 통한 불합격 보고가 이뤄질 수 있지만, progression의 복원 및 개선의 징후를 제대로 보지 못하고 놓칠 수도 있다.

In summary, we outline a tipping point model for recognising failure.

• Upon being confronted by signs of underperformance, supervisors may experience disbelief and give the trainee the ‘benefit of the doubt’ as they seek additional evidence through increased supervision to make sense of what they are observing.
• When the trainee's progression remains stalled and unresponsive to intensified supervision, underperformance is identified.
• If an egregious error is discovered, or an outsider's insight substantiates overlooked signs, or a pattern of overwhelming evidence of continued underperformance follows, failure becomes recognisable.
• Together with anger and a sense of duty to prevent the trainee from causing harm, the threshold of the tipping point is crossed with recognition ‘beyond a doubt’ that the trainee should fail.
• Having tipped into the certainty of recognition, reporting of failure through engagement in assessment processes may be mobilised but discerning signs of restored progression and improvement may be obscured.

5.2 평가에 미치는 영향
5.2 Implications for assessment

우리의 연구는 평가 설계에 대한 잠재적 영향을 조사하지는 않았지만, 우리는 티핑 포인트 모델과 감독관이 추가적인 반성을 위해 질문을 제기하지 않는 실패를 인식하는 방법에 대한 개선된 이해를 사용할 것이다. 티핑 포인트 모델은 티핑 포인트 전 및 후 단계를 제공합니다.

Although our study did not investigate potential impacts on assessment designs, we will use the tipping point model and our improved understanding of how supervisors recognise failure to pose questions for further reflection. A tipping point model offers a pre- and post-tipping point phase.

[티핑 시점 전 단계]에서는 관찰된 내용에 대한 불신과 불확실성이 있을 수 있으며, 따라서 이러한 불완전한 이해를 문서화하는 것을 꺼릴 수 있습니다.

• 우리의 WBA는 트레이너와 충분한 시간 동안 협력하여 슈퍼바이저가 불신을 극복하고 검증된 정보를 보고할 수 있도록 하고 있는가?
• 이것이 불가능할 경우, 우리의 평가는 시스템이 평가 정보로 효과적으로 활용할 수 있도록 불완전하게 이해된 관찰과 경험을 감독자가 문서화하는 것을 지원하고 있는가?

평가 프로세스는 프로그램 디렉터와 역량 위원회가 접근할 수 있지만, 슈퍼바이저는 접근할 수 없는 여러 측면의 평가 데이터 내에 평가를 적절히 배치할 수 있는 경우, 감독관이 관찰 및 피드백과 함께 의문을 기록하도록 장려할 수 있다. 그 후 [역량 위원회]는 [상호 작용 시간이 제한된 개별 슈퍼바이저]가 수행할 수 없는 [수행능력 저하의 패턴]을 조기에 식별하는 데 초점을 맞출 수 있습니다.

In the pre-tipping point phase, there may be disbelief and uncertainty in what is being observed and therefore reluctance to document those incomplete understandings.

• Are our workplace-based assessments based on a sufficient period of time working with trainees to allow supervisors to move through any disbelief and report substantiated information?
• If this is not possible, do our assessments support supervisors in documenting incompletely understood observations and experiences in ways that the system can effectively use as assessment information?

Assessment processes could encourage supervisors to record their doubts along with their observations and feedback if programme directors and competence committees could appropriately situate the assessments within the longitudinal and multifaceted array of assessment data that they have access to but the supervisor does not. Competency committees could then focus on the early identification of patterns of underperformance that individual supervisors with limited interaction time cannot.

[티핑 포인트 후 단계]에서는 실패에 대한 인식을 동원하는 분노, 확실성 및 의무감이 있을 수 있습니다.

• 교육생 성과에 대한 낮은 위험 평가를 기록하기 위한 신호로서 감독관이 좌절감을 사용하도록 장려한 경우, 건설적인 평가 코멘트의 문서화가 증가할 수 있는가?
• 한편, 고장 후에 제공된 정보가 지나치게 감소에 집중되어 있을 가능성에 대처하고, 의사결정자가 개선의 증거를 이용할 수 있도록 하기 위한 대응책을 마련하고 있는가.

상급자가 일단 훈련생이 실패했다는 것을 인식하면, [개선의 징후를 발견하는 것]이 더 어렵다는 것을 알 수 있으며, 훈련생이 지속적으로 어려움을 겪고 있는 측면과 함께 [훈련생이 잘하고 있는(또는 더 나은) 측면]을 주목하도록 장려할 수 있습니다. 이와 유사하게, 프로그램 디렉터와 역량위원회는 사전에 예상되는 개선 패턴을 명시하는 것을 우선시할 수 있다.

In the post-tipping point phase, there may be anger, certainty and a sense of duty that mobilises recognition of failure.

• If supervisors were encouraged to use feelings of frustration as a signal to document low stakes assessments of trainee performance, could documentation of constructive assessment comments be increased?
• On the other hand, do our systems have countermeasures in place to combat the possibility that information provided after failure has been recognised may be overly focussed on decline and to ensure that evidence of improvement is accessible to decision-makers?

Supervisors could be informed that it is more difficult to see signs of improvement once they have recognised a trainee is failing and be encouraged to note aspects that the trainee is doing well (or better) along with the aspects that they continue to struggle with. Similarly, programme directors and competency committees could prioritise specifying expected patterns of improvement in advance61 with their noted absence indicative of failure.

 

5.3 제한사항 및 향후 연구
5.3 Limitations and future research

우리의 방법론은 참가자가 과거의 감독 경험을 상기시키는 것에 의존했기 때문에, 우리는 그들이 설명한 훈련생의 성과가 저조했다는 것을 검증할 수도 없고, 유급시키고자 판단했던 것의 적절성을 판단할 수도 없다. 우리의 방법에는 언어 요소 코딩, 언어 표현 및 음성 음량의 변화가 포함되었지만, 우리의 감정 해석은 여전히 주관적이다. 우리는 또한 인터뷰 중 경험을 떠올리며 표출되고 보고된 분노는 실패를 인식하면서 경험했던 분노를 나타내는 것이라고 추론한다. 
Since our methodology relied on participants recalling past supervisory experiences, we cannot verify that the trainees they described were underperforming nor determine the appropriateness of wanting to stop their progression in the programme. Although our methods included coding linguistic elements, expressions of speech and changes in spoken volume along with discussing our interpretations within the research team, our interpretation of emotions remains subjective. We also infer that the anger expressed and reported while recalling experiences during interviews is indicative of anger experienced while recognising failure.

이 민감한 주제에 대한 논의를 장려하기 위해 인터뷰 중에 다양한 질문 기법을 사용해야 했습니다. '능력 없는 훈련생'이나 '가장 걱정을 많이 일으킨 훈련생'과 같은 질문을 사용한 [리드인 질문]은 실패 사례가 적은 극단적인 사례에 대한 논의를 불러일으켰을 수 있습니다. 우리는 대조적인 사례를 공유하도록 요청했고, 참가자들이 이 제한을 해결하기 위한 방법으로서 추가 사례를 논의할 시간을 허용했다. 

We needed to use various questioning techniques during interviews to encourage discussion on this sensitive topic. Our lead-in questions using prompts like ‘least competent trainees' or ‘trainees who caused the most worry’ may have generated discussion on extreme cases at the expense of less obvious cases of failure. We did invite contrasting examples to be shared and allowed time for participants to discuss additional examples as ways to address this limitation.

우리의 분석은 [성과가 저조하다고 믿지 않는 초기 징후]에서 [훈련생은 실패해야 한다는 인식으로의 전환]에 초점을 맞췄다. 이 과정을 면밀히 검토함으로써 티핑포인트 조사와의 연계를 도출하고 이를 활용해 공정을 이해할 수 있었다. 그러나 [티핑 포인트] 개념은 데이터 수집 완료 후 분석 중에 도입되었기 때문에 분석을 지시하는 sensitising concept은 아니었다. 향후 연구에서 민감한 개념으로 사용하면 인터뷰의 내용과 형식을 형성하여 티핑 포인트의 개념의 중심을 잡을 수 있다. 

Our analysis focused on the shift from disbelieving early signs of underperformance to recognising that a trainee should be failed. By closely examining this link in the process, we were able to draw connections to tipping point research and use it to gain understanding of the process. However, the tipping point concept was not a sensitising concept that directed our analysis, as it was introduced during analysis that followed the completion of data collection. Its use as a sensitising concept in future studies could shape the content and format of interviews to centre the concept of the tipping point.

또, 수행능력 저하 인식 후의 순서에 대해서는 분석을 실시하지 않았습니다. 실패 기록, 프로그램 수강생 퇴출, 역량 기반 교육 및 프로그램 평가 시스템 내 호소에 대한 대응 등 감독관이 프로세스의 후속 단계에 어떻게 관여하는지를 계속 검토하기 위해서는 추가 연구가 필요하다. 우리는, 개선의 인식의 저하나 그 외의 불완전한 평가 증거의 수정과 함께, 저실적의 조기 특정과 실패의 보고의 증대를 서포트하기 위해서, 평가 시스템을 어떻게 개선할 수 있는지에 대한 조사를 장려한다.

In addition, we did not focus our analysis on the steps following recognition of failure. Further research is needed to continue examining how supervisors engage with subsequent steps in the process such as documenting failure, removing a trainee from a programme and responding to appeals within competency-based education and programmatic assessment systems. We encourage investigation into how our assessment systems can be refined to support earlier identification of underperformance and increased reporting of failure while also correcting for decreased recognition of improvement and other imperfect assessment evidence.

6 결론
6 CONCLUSION

[실패를 인정하는 것]은 쉬운 일이 아니며, [실패 패턴에 대응하는 방법을 결정하는 것] 역시도 복잡하다는 것을 증명했습니다. 실패가 티핑포인트로 인식되고, 분노가 티핑포인트와 공존한다는 것은, 감정이라는 것이 실패를 인정하는 장벽뿐만 아니라 실패를 인정하는 원동력이 될 가능성을 높인다. 티핑 포인트 모델은 티핑 포인트에 도달하기 전에 실적 저하의 우려가 있는 것을 슈퍼바이저가 보고할 수 있도록 지원하기 위한 재구성을 제공합니다.이를 통해 훈련생과 슈퍼바이저를 조기에 지원할 수 있습니다. 하지만, [분노]와 [피해를 방지해야 한다는 의무감]이 동반된 상태로 [티핑 포인트의 문턱]을 넘으면 [훈련생을 유급시켜야 한다는 확신감을 경직시킬 위험]이 있다고 경고한다. 따라서, 일단 Failure가 확인되면 평가 시스템 내에서 [개선을 감지]하는 데 어려움을 겪을 수 있기에, 여기에 대한 대응책을 확실하게 보완해야 함을 의미한다. [실패는 드문 사건]이며, 많은 관련자들에게는 고통으로 남을 가능성이 높지만, 실패가 어떻게 인식, 문서화 및 감시되는지에 대한 이해는 평가 시스템의 지속적인 개선을 알려줄 수 있다.

We have shown that recognising failure is no easy feat, and deciding how to respond to patterns of failure is equally complex. Our model of the shift from disbelieved to recognised failure as a tipping point and our identification that anger co-occurs with the tipping point raises the possibility for emotions to be a driver of, and not only a barrier to, recognising failure. The tipping point model offers a reframing to support supervisors in reporting suspected underperformance before the tipping point has been reached so that early support for the trainee, and the supervisor, can be initiated by decision-makers. But it also warns that crossing the threshold of the tipping point, with accompanied anger and a sense of duty to prevent harm, risks ossifying the sense of certainty that a trainee needs to fail. Thus, it offers the impetus to ensure countermeasures within our assessment systems compensate for difficulties in detecting improvement once failure has been verified. Failure is a rare event and likely to remain distressing for many involved but enhanced understanding of how it is recognised, documented and monitored can inform continued improvements to assessment systems.

 

---

Med Educ. 2022 Apr;56(4):395-406. doi: 10.1111/medu.14681. Epub 2021 Nov 4.

The shift from disbelieving underperformance to recognising failure: A tipping point model

Andrea Gingerich 1, Stefanie S Sebok-Syer 2, Lorelei Lingard 3, Christopher J Watling 3

Affiliations collapse

Affiliations

1Division of Medical Sciences, University of Northern British Columbia, Prince George, British Columbia, Canada.

2Department of Emergency Medicine, Stanford University, Stanford, California, USA.

3Schulich School of Medicine & Dentistry, Centre for Education Research & Innovation, Western University, London, Ontario, Canada.

PMID: 34668213

DOI: 10.1111/medu.14681

Abstract

Context: Coming face to face with a trainee who needs to be failed is a stern test for many supervisors. In response, supervisors have been encouraged to report evidence of failure through numerous assessment redesigns. And yet, there are lingering signs that some remain reluctant to engage in assessment processes that could alter a trainee's progression in the programme. Failure is highly consequential for all involved and, although rare, requires explicit study. Recent work identified a phase of disbelief that preceded identification of underperformance. What remains unknown is how supervisors come to recognise that a trainee needs to be failed.

Methods: Following constructivist grounded theory methodology, 42 physicians and surgeons in British Columbia, Canada shared their experiences supervising trainees who profoundly underperformed, required extensive remediation or were dismissed from the programme. We identified recurring themes using an iterative, constant comparative process.

Results: The shift from disbelieving underperformance to recognising failure involves three patterns: accumulation of significant incidents, discovery of an egregious error after negligible deficits or illumination of an overlooked deficit when pointed out by someone else. Recognising failure was accompanied by anger, certainty and a sense of duty to prevent harm.

Conclusion: Coming to the point of recognising that a trainee needs to fail is akin to the psychological process of a tipping point where people first realise that noise is signal and cross a threshold where the pattern is no longer an anomaly. The co-occurrence of anger raises the possibility for emotions to be a driver of, and not only a barrier to, recognising failure. This warrants caution because tipping points, and anger, can impede detection of improvement. Our findings point towards possibilities for supporting earlier identification of underperformance and overcoming reluctance to report failure along with countermeasures to compensate for difficulties in detecting improvement once failure has been verified.

© 2021 Association for the Study of Medical Education and John Wiley & Sons Ltd.