보건의료전문직 교육에서 수행능력이 낮은 수련생의 실패-실패 BEME Guide No. 42 (Med Teach, 2016)
The failure to fail underperforming trainees in health professions education: A BEME systematic review: BEME Guide No. 42
Monica Yepes-Riosa , Nancy Dudekb, Rita Duboycea , Jerri Curtisa, Rhonda J. Allarda and Lara Varpioa
배경
Background
성공적인 의료교육의 초석은 교육생 성과에 대한 정직하고 정확한 평가가 있다. 의학 교육자 및 연구자는 오랫동안 평가 전략(예: 객관적인 구조화된 임상 검사, 객관식 질문 시험 등)을 개발하고 개선해 왔다. 또한 졸업생이 고도로 숙련된 의료인이 되도록 하기 위해 성과 기대치에 대한 개념적 프레임워크(예: 역량 기반 의학 교육, 위임가능한 전문 활동 등)를 구축해왔다. 이러한 노력에도 불구하고, 훈련생들의 평가는 여전히 도전으로 가득 차 있다. 한 가지 주목할 만한 과제는 탈락하는 교육생들에 대한 평가와 보고이다. 훈련생(이하 평가인)을 평가하거나 평가하는 임상 교사가 훈련생의 낙제 성과를 보고할 준비가 되지 않았거나 보고하고 싶어하지 않는다는 증거가 증가하고 있다.
A cornerstone of successful medical education is the honest and accurate assessment of trainee performances. Medical educators and researchers have long been developing and improving their assessment strategies (e.g. objective structured clinical examinations, multiple choice question exams, etc.) and conceptual frameworks for performance expectations (e.g. competency based medical education, entrustable professional activities, etc.) to ensure that graduates are highly skilled medical professionals. Despite these efforts, the assessment of trainees remains fraught with challenges. One notable challenge is the assessment and reporting of trainees who are failing. A growing body of evidence indicates that clinical teachers who evaluate or assess trainees (hereby referred to as assessors) feel unprepared and/or unwilling to report a trainee’s failing performance (Tonesk & Buchanan 1987; Cohen et al. 1990, 1993; Speer et al. 1996; Hatala & Norman 1999; Fitzgerald et al. 2010; Guerrasio et al. 2014; Luhanga et al. 2010; Brown et al. 2012; Cleland et al. 2013; Guerrasio et al. 2014).
두데크 외 연구진. (2005)는 성과가 저조한 교육생들을 낙제시키지 못하는 것에 대한 교수진의 관점을 설명하고, 다음과 같은 성과를 보고하는 데 있어 4가지 주요 장애물을 식별했다.
- (1) 문서화 부족,
- (2) 문서화할 내용에 대한 지식 부족,
- (3) 항소appeal 절차에 대한 걱정
- (4) 재교육 옵션 부족(Dudek et al. 2005).
Dudek et al. (2005) described faculty members’ perspectives on failing to fail underperforming trainees and identified four major barriers to reporting poor performance to include:
- (1) lack of documentation,
- (2) lack of knowledge of what to document,
- (3) anticipation of an appeal process, and
- (4) lack of remediation options (Dudek et al. 2005).
지난 10년 동안 의학(Hovath 2010), 간호(Larocque & Luhanga 2013) 및 치과(Bush et al. 2013) 문헌에서 산재한 보고서들은 [성과가 저조한 교육생들을 낙제시키지 못하는 것]에 대한 유사한 우려를 제기했다. 일부 연구자들은 이 복잡한 문제의 측면에 대한 해결책을 제안했지만, 입증된 개선사항은 종종 규모가 작다[상자 1 참조].
Over the past decade scattered reports from the medical (Horvath 2010), nursing (Larocque & Luhanga 2013) and dental (Bush et al. 2013) literature have raised similar concerns about failing to fail underperforming trainees. Some researchers have proposed solutions to aspects of this complex issue (Duffy 2006; Carr et al. 2010; Luhanga et al. 2010; Jervis & Tilki 2011; Earle-Foley et al. 2012; Bush et al. 2013; Fazio et al. 2013; Larocque & Luhanga 2013; Pratt et al. 2013), but the improvements demonstrated are often small in scale [see Box 1].
현재까지, 어떤 종합적인 문헌 검토도 [실패-실패 현상]에 대한 평가자의 경험과 인식을 통합하지 못했다. 본 검토는 평가자의 저조한 임상 학업 및 전문 성과 보고 능력과 의지에 관한 의료, 치과 및 간호 문헌의 10년 지식을 체계적으로 통합하고 분석하여 효과적인 개입을 발전시키는 것을 목표로 한다. 우리는 이것이 보건 전문 교육자들이 이 다면적이고 중요한 문제에 대한 효과적인 해결책을 개발하는 데 도움이 되기를 바란다.
To date, no comprehensive literature review has consolidated the knowledge on assessor experiences and perceptions of the failure to fail phenomenon. This review aims to systematically consolidate and analyze a decade of knowledge from medical, dental and nursing literature relating to assessor’s ability and willingness to report poor clinical academic and professional performance, and thereby help advance effective interventions. We hope it assists health professions educators to develop effective solutions to this multifaceted and important issue.
방법들
Methods
본 연구의 방법론은 BEME(Best Infidence in Medical Education) 협업에 의해 검토 및 승인되었으며 선도 기관 윤리 위원회의 승인을 받았습니다. 우리는 PRISMA 지침에 따라 방법론과 결과를 보고한다(Moher 등 2009).
This study’s methodology was reviewed and approved by the Best Evidence in Medical Education (BEME) Collaboration, (http://www.bemecollaboration.org), and approved by the lead institution’s ethics board. We report the methodology and results in accordance with PRISMA guidelines (Moher et al. 2009).
세 가지 의료 분야(즉, 의학, 간호, 치과)에 걸친 실패-실패 현상과 관련된 문헌의 체계적인 검토가 수행되었으며, 이는 보건 직업 교육 연속체의 모든 수준에서 성과가 낮거나 실패한 교육생과 함께 제시되었을 때 평가자의 경험과 인식을 포착하기 위한 것이다. 의대생 및 레지던트). 부록 1(Journal 웹 사이트에서 보충 자료로 온라인 이용 가능)과 BEME Reviews에서 온라인으로 나열된 검색 전략과 용어는 Ovid(In-Process & Other Non-Indexed Institations 및 MEDLINE 2005년 1월부터 현재까지)를 통해 CINAHL, EMASE, MEDLINE의 영문 문헌에 적용되었다.
A systematic review of the literature was conducted, relating to the failure to fail phenomenon across three healthcare disciplines (i.e. medicine, nursing, and dentistry), to capture the experiences and perceptions of assessors when presented with underperforming or failing trainees at any level of the health professions education continuum (e.g. medical students and residents). Search strategies and terms, listed in Appendix 1 (available online on the Journal website as Supplemental Material) and online at BEME Reviews (http://www.bemecollaboration.org), were applied to the English language literature in CINAHL, EMBASE, and MEDLINE via Ovid (In-Process & Other Non-Indexed Citations and MEDLINE 1946 to Present) from January 2005 to January 2015.
2014년 5월, 검색 전략을 실행하면 4625개의 출판물 라이브러리가 생성되었다. 2015년 1월, 업데이트로 총 5330개의 출판물이 발행되었다. 팀은 일련의 포함 및 제외 기준을 개발하였다(부록 1에 기술되어 있으며 저널 웹 사이트에서 보충 자료로 이용할 수 있다). 광범위한 포함 범위를 보장하기 위해, 임상 환경에서 수습 교육생 교육과 관련하여 실패-실패 현상에 대한 평가자의 경험 및/또는 인식과 관련된 모든 기사를 포함했다. 평가 도구의 개발 또는 검토, 커리큘럼 콘텐츠 개발 또는 평가, 교육 개입, 동료 멘토링 및 특정 훈련생 기술, 역량 및/또는 지식을 평가하기 위한 도구와 관련된 연구는 제외했다.
In May 2014, running the search strategies generated a library of 4625 publications. In January 2015, an update brought the total to 5330 publications. The team developed a set of inclusion and exclusion criteria (described in Appendix 1, available online on the Journal website as Supplemental Material). To ensure a broad scope of inclusion, we included all articles related to evaluator experiences of and/or perceptions of the failure to fail phenomenon in relation to trainee education in a clinical setting. We excluded studies related to the development or vetting of assessment tools, and to the development or assessment of curriculum content, of educational interventions, of peer mentoring, and of tools for assessing specific trainee skills, competencies, and/or knowledge.
연구팀은 150개 인용문의 무작위 표본의 제목을 조사하여 포함 및 제외 기준을 테스트했습니다. 이러한 기준이 실패 현상과 관련된 문헌을 포착한 것에 만족하여 도서관을 두 개 또는 세 명의 검토자가 도서관의 각 절반에 배정되었다(검토자 1팀 = ND, JC; 검토자 2팀 = LV, RD, MY). 각 팀은 포함 및 제외 기준을 절반의 library에 적용하면서 논문의 제목을 검토했다(2665개 타이틀). 한 팀이 합의에 이르지 못할 경우, 다른 검토팀은 인용문을 검토하고 합의된 결정을 내렸다. 이 과정을 통해 도서관은 266개의 제목으로 축소되었다. 각 팀은 133개의 초록을 검토하여 포함 및 제외 기준이 적용되었는지 판단했습니다. 한 검토자가 타당하다고 판단한 모든 초록은 전체 논문 검토로 넘어갔고 전체 검토를 위한 134개의 논문 라이브러리가 생성되었다. 마지막으로, 각 기사는 포함 및 제외 기준(각 검토 팀 절반)에 대해 분석되었고 24개 논문 라이브러리가 생성되었다. 누락된 기사가 있는지 확인하기 위해 24개 기사의 참조 목록을 손으로 검색했습니다. 이 검색에는 28개 논문의 최종 라이브러리에 대한 4개의 인용이 추가되었습니다. (그림 1은 선정 과정을 요약하고 표 1은 선택된 논문을 제시합니다. 이는 저널 웹 사이트에서 보충 자료로 온라인으로 제공됩니다.) 디스틸러SR® 체계적 검토 소프트웨어는 문헌 검토 프로세스의 모든 단계에 걸친 분석을 지원하는 데 사용되었습니다.
The research team examined the titles of a random sample of 150 citations to test the inclusion and exclusion criteria. Satisfied that these criteria captured the literature related to the failure to fail phenomenon, the library was divided in two, with two or three reviewers assigned to each half of the library (reviewer team 1 = ND, JC; reviewer team 2 = LV, RD, MY). Each team reviewed the titles of the articles, applying the inclusion and exclusion criteria to half the library (2665 titles). If one team could not reach consensus, the other team of reviewers examined the citation and came to a consensus decision. Through this process, the library was reduced to 266 titles. Each team reviewed 133 abstracts to determine if inclusion and exclusion criteria applied. Any abstract deemed relevant by one reviewer moved on to full article review, yielding a library of 134 articles for full review. Finally, each article was analyzed against the inclusion and exclusion criteria (half by each reviewer team) yielding a library of 24 articles. We hand-searched the reference lists of the 24 articles to identify any omitted articles. This search added 4 citations for a final library of 28 articles. (Figure 1 outlines the selection process and Table 1 presents the selected articles – these are available online on the Journal website as Supplemental Material). DistillerSR® Systematic Review Software was used to support analysis across all steps of the literature review process.
인구통계학(즉, 출판연도, 국가, 연수생 그룹(의료, 치과, 간호), 평가자 인구통계학, 설정(학술기관 또는 기타 임상 사이트), 연구 방법론의 유형(즉, 정성적, 정량적, 혼합, 검토), 데이터 분석법의 유형(기술적, 지속적 비교), 연구 결과에 inform하기 위해 사용된 이론에 대해 데이터를 추출하고 합성했다. 연구 품질은 Critical Evaluation Skills Program – UK 도구 점검표(CASP UK 2013)로 평가되었다. 이 검토의 초점은 불합격에 대한 평가자의 개인적 통찰력과 인식을 포착하는 것이므로, 검토 결과 대부분 포커스 그룹 또는 개별 인터뷰(N = 15)와 검토 논문(N = 7)에 대한 정성적 연구가 산출된 것은 놀라운 일이 아니다. 세 가지 정량적 연구는 실패에 대한 특정 설문 질문에 대한 응답 빈도를 보고했다. 질적논문과 종설논문은 주제분석을 실시하고 연구팀 전체가 여러 차례 분석, 토론, 성찰 과정을 거쳐 서술형 주제별 분류체계를 개발했다. 정량적 연구의 설문 문항은 주제별 분류와 일치하여 주제별 분석에 통합되었다.
Data were abstracted and synthesized for demographics (i.e. publication year, country, trainee group (i.e. medical, dental, or nursing)), evaluator demographics, setting (i.e. academic institution or other clinical site), type of study methodology (i.e. qualitative, quantitative, mixed, review), type of data analysis method (descriptive, constant comparison) and theory used to inform the research. Study quality was assessed with the Critical Appraisal Skills Program – UK tool checklist (CASP UK 2013). Since the focus of this review is to capture the assessors’ personal insights and perceptions of failure to fail, it is not surprising that the review yielded mostly qualitative studies of focus groups or individual interviews (N = 15) and review papers (N = 7). The three quantitative studies reported frequencies of responses to specific survey questions on failure to fail. For the qualitative and review papers, the authors’ engaged in a thematic analysis and developed a descriptive, theme-based classification system through several cycles of analysis, discussion and reflection by the whole research team. The survey questions in the quantitative studies were aligned with the theme-based classifications and therefore, their results were incorporated into the thematic analysis.
결과.
Results
인구통계학
Demographic
검색된 논문의 인구 통계, 설정 및 연구 방법론의 유형에 대한 설명 요약은 표 1에 제시되어 있다(Journal 웹 사이트에서 보충 자료로 온라인으로 이용 가능). 실패-실패 문헌의 대부분은 간호학과 의학에서 온다. 평가자를 설명하는 인구통계학적 정보는 거의 없다. 모든 정성적 연구는 CASP-UK 체크리스트의 10가지 품질 기준 중 8가지 또는 9가지를 충족했기 때문에 매우 우수한 품질로 평가되었다.
A descriptive summary of the demographics, setting, and type of study methodology of the searched papers is presented in Table 1 (available online on the Journal website as Supplemental Material). The majority of the failure to fail literature comes from Nursing (19/28) and Medicine (6/28). Very little demographic information describing the assessors is included in the publications. All qualitative studies were rated of very good quality since they met 8 or 9 of the 10 quality criteria of the CASP-UK checklist.
주제어
Thematic
우리는 평가자가 [수행능력이 저조한 훈련생을 낙제시킬 때 직면하는 장벽]과 관련된 여섯 가지 주제를 구성했다. 다음은 다음과 같습니다.
We constructed six themes relating to the barriers assessors face when failing a poorly performing trainee. These were:
- (1) 심사원의 전문적인 고려사항,
- (2) 심사원의 개인적 고려사항,
- (3) 연습생 관련 고려사항,
- (4) 불만족스러운 심사원 개발 및 평가 도구
- (5) 제도적 문화와
- (6) 교육생이 이용할 수 있는 교정조치 고려사항.
- (1) assessor’s professional considerations,
- (2) assessor’s personal considerations,
- (3) trainee related considerations,
- (4) unsatisfactory assessor development and assessment tools,
- (5) institutional culture and
- (6) consideration of available remediation for the trainee.
우리는 평가자가 학생에 대한 fail을 가능하게 해주는 것과 관련된 세 가지 주제를 구성했다. 촉진자는 다음과 같다.
- (1) 환자, 사회, 직업에 대한 의무
- (2) 불합격 평가 지원, 동료의 지원, 평가자 개발 및 강력한 평가 시스템과 같은 제도적 지원
- (3) 낙제 후 학생들을 위한 기회들
We constructed three themes relating to the factors enabling assessors to take on the challenge of failing underperforming students. These facilitators were:
- (1) duty to patients, to society, and to the profession,
- (2) institutional support such as backing a failing evaluation, support from colleagues, assessor development, and strong assessment systems, and
- (3) opportunities for students after failing.
우리는 의학, 간호학, 치과 문헌에 걸쳐 보고된 주제에서 차이가 없다는 것을 발견했습니다.
We found that there were no differences in the themes reported across the medical, nursing, and dentistry literatures.
장벽 1: 심사원의 전문적인 고려 사항
Barrier 1: assessor’s professional considerations
검토된 논문에 걸쳐 일반적으로 기술되는 한 장벽은, 평가자가 [학생에게 F를 주는 것이 전문적으로 자신에게 미치는 영향]을 염두에 두는 것과 관련이 있었다. 이러한 전문적인 고려사항은 평가자들에게 매우 중요했기 때문에 성적이 낮은 교육생들을 불합격시키는 것보다 합격시키는 것이 더 쉬웠다. 한 학생을 낙제시키는 것은 [엄청난 양의 추가 공부와 시간을 수반]하는데, 이는 성적이 떨어지는 훈련생들을 낙제시키는 중요한 억지력이다. 문서화, 토론 및 계획된 개입 등과 같이 시간 소모적인 프로세스로 인해 평가자는 다른 중요한 일을 하기 어려워졌다.
One barrier commonly described across the reviewed papers involved assessors being mindful of the impact that failing a student had on them professionally. These professional considerations were so significant for the assessors that it was simply easier to pass underperforming trainees than to fail them. Failing a student involved extraordinary amounts of extra work and time, amounting to a significant deterrent to failing underperforming trainees (Dudek et al. 2005; Rutkowski 2007; Cleland et al. 2008; Luhanga et al. 2008; Carr et al. 2010; Luhanga et al. 2010; Watling et al. 2010; Earle-Foley et al. 2012; Fazio et al. 2013; Larocque & Luhanga 2013; Guerrasio et al. 2014). The time-consuming processes of documentation, discussion, and planned intervention moved assessors away from other important responsibilities:
등록된 간호사들은 치료를 전달하고 친척들을 위로하며 다른 전문가들에게 정보를 제공하기 위해 임상 업무의 우선순위를 정해야 한다. 결과적으로, 학생의 평가의 우선순위는 아주 낮아지게 된다. (Rutkowski 2007)
Registered nurses are required to prioritize clinical tasks to deliver care, comfort relatives and provide information for other professionals. As a consequence, a student’s assessment may be deemed low priority. (Rutkowski 2007)
평가자들은 [개별 학생에 대한 제한된 노출]이 [평가 작업에 주어진 낮은 우선순위]와 결합되어 훈련생의 역량을 적절히 평가하기에 불충분한 정보를 가지고 있다는 것을 반영했다(Rutkowski 2007; Cleland et al. 2008; Gopee 2008; Luhanga et al. 2008, 2010; Degan et al. 2012).
Assessors reflected that limited exposure to individual students combined with the low priority given to assessment work, translated into having insufficient information to properly assess the trainee’s competence (Rutkowski 2007; Cleland et al. 2008; Gopee 2008; Luhanga et al. 2008, 2010; Deegan et al. 2012):
연속성의 부족으로 인해 성적이 좋지 않은 학생은 프로시져 첫 시도에 대해 "만족함" 등급을 받게 되었고, 그녀는 다른 직원들에 의해 평가되었기 때문에 계속 그렇게 평가되었다. 그래서 그녀의 무능함은 잡히지 않았다. (부시 외 2013)
The lack of (staff) continuity …resulted in a poorly performing student being graded as “satisfactory” for her first attempt at a procedure, and because she was evaluated by different members of staff, she continued to be graded as such. Thus her inability was not picked up. (Bush et al. 2013)
이러한 전문적인 고려를 더욱 복잡하게 만든 것은 소송에 대한 두려움과 항소 절차에 대한 불안감이었다. 한 논문은 소송에 대한 두려움이 너무 커서 심사원들이 결과에 대한 두려움 때문에 의도적으로 낙제점을 연기하기로 선택했다고 제안했다(Duffy 2006). 실제로, 법적 결과에 대한 두려움은 다음과 같은 실패-실패 현상에 유의적인 기여를 하였다.
Further compounding this professional consideration was a fear of litigation (Williams et al. 2005; Cleland et al. 2008; Watling et al. 2010; Earle-Foley et al. 2012; Guerrasio et al. 2012; Bush et al. 2013) and unease with the appeal process (Dudek et al. 2005; Williams et al. 2005; Cleland et al. 2008; Jervis & Tilki 2011; Earle-Foley et al. 2012; Guerrasio et al. 2014; Larocque & Luhanga 2013). One paper suggested that fear of litigation was so great that assessors intentionally opted to delay assigning a failing grade for fear of repercussions (Duffy 2006). Indeed, the fear of legal consequences was a significant contributor to the failure to fail phenomenon:
우리는 "증명의 부담"이 이 프로그램에 있다고 생각합니다.법정에 끌려갈까 봐 F를 주는 것을 고려하는 것이 매우 망설여진다.
We feel that the “burden of proof” rests squarely with the program… .[We] are very hesitant to consider dismissal for fear that we will be dragged into court. (Guerrasio et al. 2014)
평가자들은 또한 학생을 낙제시키면 그들의 [전문직업적 지위에 해를 끼칠 수 있다는 우려]를 보고했다. 평가자들은 그들이 [불편한 학습 환경을 조성했다]고 비난받거나, [능력 없는 교사라는 꼬리표가 붙을 것]을 우려했다(Rutkowski 2007). 또한 평가자들은 불합격 교육생이 자신의 성과에 대한 평가를 낮추어 재임용 또는 재임용 포부에 부정적인 영향을 미칠 수 있다는 점을 염두에 두었다(Pratt 등 2013).
Assessors also reported concerns that failing a student would harm their professional standing. Assessors worried that they would be blamed for creating an uncomfortable learning environment, or would be labeled as a poor teacher (Rutkowski 2007). Furthermore, assessors were mindful that failing trainees could result in lower evaluations of their own performance (Rutkowski 2007; Jervis & Tilki 2011; Larocque & Luhanga 2013; Pratt et al. 2013), which could negatively impact their reappointment or tenure aspirations (Pratt et al. 2013):
전공의가 판단을 받는 것이 아니라, 교육자가 심판을 받는 것이다. (Watling et al. 2010)
Before you know it, instead of the resident being judged, you are being judged. (Watling et al. 2010)
마지막으로, 평가자들의 전문적인 고려는 자기중심적일 뿐만 아니라, 그들은 학생을 낙제시키는 것이 전반적인 작업 환경에 부정적인 영향을 미친다는 우려를 공유했다.
Lastly, assessors’ professional considerations were not only self-oriented; they shared concerns that failing a student negatively affected the overall work environment (Duffy & Hardicre 2007; Rutkowski 2007).
장벽 2: 평가자의 개인적 고려 사항
Barrier 2: assessor’s personal considerations
검토된 기사들은 평가관들이 수습생을 낙제시켰을 때 [개인적인 실패감과 죄책감]을 느꼈다고 보도했다. 이러한 자기 비난은 경험이 적은 평가자에게서 가장 분명하게 드러나는 장벽이었다(클랜드 외 2008).
The reviewed articles reported that assessors felt a sense of personal failure and guilt when failing a trainee (Duffy 2006; Rutkowski 2007; Cleland et al. 2008; Luhanga et al. 2008; Earle-Foley et al. 2012; Larocque & Luhanga 2013; Pratt et al. 2013; Black et al. 2014). This self-blame was a barrier that was most apparent in less experienced assessors (Cleland et al. 2008):
내 생각엔 이 젊은 간호사를 직업 세계로 나갈 준비를 시키는 것에 실패한다면, 그건 네가 잘못한 것일 수도 있어.
I think part of it is looking at yourself too because you are supposed to be getting this young nurse ready to step out into the professional world, and if she fails, maybe it's something you didn't do right. (Luhanga et al. 2008)
평가자들은 또한 [상반되는 책임], 즉 교육생들을 지원하는 책임뿐만 아니라 교육생들을 정확하게 평가하는 책임과도 씨름했다(Cleland et al. 2008; Vezeau & McAlister 2009). 다른 사람을 돌보는 일에 전념하는 직업의 구성원으로서, 평가자들은 그러한 행위가 [배려하지 않는uncaring 행동]으로 보일 수 있기 때문에 낙제점을 부여하는 것을 꺼렸다. (Earle-Foley 등 2012; Pratt 등 2013):
Assessors also struggled with the personal strain of conflicting responsibilities—that is, the responsibilities of supporting trainees, but also accurately assessing them (Cleland et al. 2008; Vezeau & McAllister 2009). As members of a profession dedicated to caring for others, assessors were reluctant to assign failing grades because that act could be viewed as uncaring behavior. (Earle-Foley et al. 2012; Pratt et al. 2013):
저성과 보고는 임상 지도교수가 "돌보고" 비임상 지도교수가 "교육"하는 광범위한 지원 문화의 일부로 간주되지 않았다. (Carr et al.
Reporting underperformance was not seen as part of the broad, supportive culture, referred to as being “caring” by clinical tutors and “educating” by non-clinical tutors. (Carr et al. 2010)
심사원의 개인적 고려의 또 다른 측면은 훈련생과 평가자 사이에 종종 [발전하는 밀접한 관계]를 포함한다. 평가자들은 성적이 저조한 훈련생을 진심으로 좋아했고(Guerrasio 등 2014), 훈련생과 동료들의 호감을 받기를 원했거나, 향후 상황에서 실패한 훈련생들과 교제해야 하는 것을 두려워했다(New South Wales 간호사 협회 2010). 평가자들은 성적이 낮은 훈련생을 싫어할 경우 그들의 평가가 불공평해질 것을 우려했다(Cland et et al. 2008).
Another aspect of assessors’ personal considerations involved the close relationship that often develops between the trainee and the assessor (Cleland et al. 2008; Luhanga et al. 2008, 2010; Jervis & Tilki 2011; Bush et al. 2013; Guerrasio et al. 2014). Assessors genuinely liked the underperforming trainee (Guerrasio et al. 2014), wanted to be liked by trainees and colleagues (Cleland et al. 2008; Luhanga et al. 2008; Bush et al. 2013), or feared having to socialize with failed trainees in future situations (New South Wales Nurses Association 2010). Assessors also worried about being unfair in their assessments if they disliked an underperforming trainee (Cleland et al. 2008).
또 다른 장벽은 연습생이 F를 받는 것으로 인한 감정적 피해였다. 수련생에게 F를 주는 것은 불쾌하고 감정적으로 괴로운 경험으로 묘사되었다.
An additional barrier was the emotional toll involved in failing a trainee. Failing a trainee was described as an unpleasant, emotionally fraught experience (Duffy 2006; Duffy & Hardicre 2007; Gopee 2008; Cleland et al. 2008; Carr et al. 2010; Watling et al. 2010; Jervis & Tilki 2011; Bush et al. 2013; Larocque & Luhanga 2013; DeBrew & Lewallen 2014):
집에 가서 몇 번이고 다시 살펴봐요 이게 옳은 결정인가요? 내가 뭐 놓친 거 있어? 성격 충돌인가요? 잠 못 이루는 밤을 보내죠! 과장하는 거 아니야!(Jervis & Tilki 2011)
You go home and go over it time and time again. Is this the right decision? Have I missed something? Is it a personality clash? It gives you sleepless nights! I’m not exaggerating! (Jervis & Tilki 2011)
평가자들은 불합격 훈련생과 충돌하거나(클랜드 외 2008; 루항가 외 2008; 브라운 외 2012; 라로크 및 루항가 2013) 훈련생으로부터 도전을 받기를 꺼렸다. 평가자는 [실패하게 될 불행하고 화난 연습생들을 상대하는 것]을 피하고 싶어했다(Fazio et al. 2013).
Assessors were reluctant to engage in a conflict with the failing trainee (Cleland et al. 2008; Luhanga et al. 2008; Brown et al. 2012; Larocque & Luhanga 2013), or be challenged by the trainee (Cleland et al. 2008). They preferred to avoid dealing with the unhappy, angry trainees they would be failing (Fazio et al. 2013):
학생들은 울고, 화가 나서 당신에게 X, Y, Z라고 말합니다. 그것은 감정적인 협박과 같다. 그들은 멘토들에게 언급은커녕 굽히라고 압력을 가한다.
The students cry, are upset and telling you X, Y, Z. It is like emotional blackmail. They put pressure on mentors to bend, not to refer, turn a blind eye and stuff like that. (Luhanga et al. 2008)
장벽 3: 교육생 관련 고려 사항
Barrier 3: trainee related considerations
검토된 기사들은 또한 저조한 교육생들과 관련된 심사원의 고려 사항을 보고했다. 평가자들은 실패가 연습생에게 미칠 영향에 대해 불합격 결정을 저울질하였다. 예를 들어, 그들은 낙제점수가 훈련생의 커리어 목표에 미치는 영향(Earle-Foley 등 2012)과 재무보장을 고려하였다.
The articles reviewed also reported assessor considerations related to the underperforming trainees themselves. Assessors weighed the decision to fail the trainee against the effect the failure would have on the trainee (Luhanga et al. 2008; Carr et al. 2010; Earle-Foley et al. 2012; Larocque & Luhanga 2013; Pratt et al. 2013; Black et al. 2014; Guerrasio et al. 2014). For example, they considered the impact of a failing grade on the trainee’s career goals (Earle-Foley et al. 2012), and financial security (Cleland et al. 2008; Luhanga et al. 2008; Carr et al. 2010; Larocque & Luhanga 2013; Pratt et al. 2013; Guerrasio et al. 2014):
학생에게 있어, 배치에 실패하는 것은 중요한 상실 경험이 될 수 있다: 자존감, 시간, 교육비, 자격증, 그리고 경력. "저는 우리 중 누구도 누군가가 4년간의 삶을 창밖으로 내던지는 것을 보고 싶어하지 않는다고 생각합니다."(Larocque & Luhanga 2013)
For a student, failing a placement can be a significant loss experience: loss of self-esteem, time, education money, certification, and career. “I don’t think any of us want to see somebody throw four years of their life out the window.”(Larocque & Luhanga 2013)
연습생의 진로진출과 관련한 [실패 시기]도 고려사항이었다. 한 논문은 훈련생이 "존엄하게 의학교육을 떠날" 수 있도록 허용하기를 원하는 평가자들을 기술했다(Carr 등 2010). 평가자들은 훈련생이 향상될 시간이 있다고 생각하여 훈련생들을 조기에 낙제시키는 것을 꺼렸다.
The timing of the failure in relation to the trainee’s career progression was another consideration. One paper described assessors wanting to allow the trainee to “exit medicine with dignity” (Carr et al. 2010). Assessors were reluctant to fail trainees early in their training believing that the trainee had time to improve; but they were equally reluctant to fail those whose training was advanced:
3년차인데 거기까지 왔으니 꺼림칙함이 있다. (Jervis & Tilki 2011)
There is reluctance because it is a third year and they have come that far. (Jervis & Tilki 2011)
다른 훈련생 관련 고려사항으로는 훈련생들의 정서적 반응과 고통, 개인적 안녕과 자신감, 자존감에 대한 우려가 포함되었다. 평가자들은 F는 "매우 파괴적"(Watling et al. 2010)과 "낙인적stigmatizing"(Carr et al. 2010)이라고 느끼며 교육생을 보호하고자 하는 열망에 주목했다.
Other trainee related considerations included concerns about trainees’ emotional reaction and distress, (Gopee 2008; Brown et al. 2012; Bush et al. 2013; Larocque & Luhanga 2013; Pratt et al. 2013; Black et al. 2014; Guerrasio et al. 2014; Larocque & Luhanga 2013; Pratt et al. 2013), personal well-being and confidence (Bush et al. 2013), and self-esteem (Fazio et al. 2013; Larocque & Luhanga 2013). Assessors noted a desire to protect trainees (Bush et al. 2013), feeling that failure could be “very destructive” (Watling et al. 2010) and “stigmatizing” (Carr et al. 2010):
그녀는 분명히 그것을 너무나 간절히 원했다… 그녀의 목숨은 이 자리를 통과하는 것에 달려 있었고, 그것을 통과하기 위해 그녀가 할 수 있는 모든 것을 할 것이다… 당신은 그러한 문제들에 영향을 받지 않을 수 없다! (Black et al. 2014)
She clearly so desperately wanted it … her life depended on her passing this placement and she would do anything she could to pass it … you can’t help but be affected by those issues! (Black et al. 2014)
평가자는 [훈련생이 자신의 어려움을 인식하고, 보건 분야에 전념하고, 적극적으로 개선하려고 노력하는 것]으로 인식될 때 저성과를 보고할 가능성이 낮았다(Carr et al. 2010; Larocque & Luhanga 2013).
Assessors were less likely to report underperformance when the trainee was perceived as being aware of their difficulties, committed to the health profession, and/or actively trying to improve (Carr et al. 2010; Larocque & Luhanga 2013).
장벽 4: – 불만족스러운 평가자 개발 및/또는 평가 도구
Barrier 4: – unsatisfactory assessor development and/or evaluation tools
평가자들은 스스로 F를 줄 만큼 준비되지 않았고, 경험이 부족했으며, 자신의 평가 역할에 대한 자신감이 부족했다고 보고했다. 이것은 "실력이 떨어지는 학생들에게 (의구심으로 인한) 혜택을 주는 것"이라는 결과를 낳았다(Luhanga et al. 평가자들은 자신의 판단이나 능력을 의심했고, 적절하게 평가할 능력이나 화가 난 교육생들을 관리할 수 있는 능력이 있는지에 대해 자문했다.
Assessors reported feeling unprepared, lacking experience and lacking confidence in their evaluation role (Cleland et al. 2008; Luhanga et al. 2008; Carr et al. 2010; Luhanga et al. 2010; Brown et al. 2012; Deegan et al. 2012; Heaslip & Scammell 2012; Earle-Foley et al. 2012; Bush et al. 2013; Fazio et al. 2013; Pratt et al. 2013). This resulted in giving “the benefit of the doubt to students who were less than competent” (Luhanga et al. 2010). Assessors doubted their own judgment or ability, often questioning if they had the skills to evaluate appropriately (Cleland et al. 2008), or to manage angry or upset trainees (Dudek et al. 2005; Earle-Foley et al. 2012; Bush et al. 2013):
학생이 자신의 평가에 화가 나거나, 화를 내거나, 동의하지 않는 상황을 관리하기에는 나의 실력이 충분하지 않을 것이라는 두려움이 분명했다. 이러한 상황에서 실패하지 않으려는 유혹은 인정된다. (Carr 등 2010)
The dread that skills would not be good enough to manage a situation where a student was angry, upset or disagreed with their assessment were evident. The temptation not to fail under these circumstances is acknowledged. (Carr et al. 2010)
평가관들은 교육생들을 [평가하는 데 있어서 공식적인 교육]을 거의 받지 않았다고 보고했다. 적절한 교육을 받지 못한 교직원들은 "교정이나 실패에 의해 도움을 받을 수 있는 성적이 낮은 학생들을 합격시키는 결과를 인정하지 않을 수 있다." (부시 외 2013) 하슬립의 연구에 참여한 평가자 중 절반 이상이 F학생 관리에 대한 더 많은 교육을 받기를 희망했다(Heaslip & Scammell 2012). 평가자들은 주관적 임상 평가에서 내재된 불일치와 비인지적 기술, 태도 또는 전문직업성 등과 같이 [F등급을 주어야 하는 구체적 행동을 식별하는 기술]에 불편함을 나타냈다.
Assessors reported having little formal training in evaluating trainees (Rutkowski 2007; Bush et al. 2013; Fazio et al. 2013). Staff who had not received adequate training “might not appreciate the consequences of passing underperforming students who could be helped by remediation or by being failed” (Bush et al. 2013). Over half the assessor participants in Heaslip’s study wished for more education on managing failing students (Heaslip & Scammell 2012). Assessors expressed difficulty with the inherent inconsistencies in subjective clinical evaluations, (Vezeau & McAllister 2009; Jervis & Tilki 2011; Brown et al. 2012; Deegan et al. 2012; Earle-Foley et al. 2012; Bush et al. 2013; Guerrasio et al. 2014;) and discomfort with the skill of identifying the specific behaviors that warranted a failing grade, such as non-cognitive skills, attitudes, (Luhanga et al. 2008; Jervis & Tilki 2011) or professionalism (Bush et al. 2013; Guerrasio et al. 2014):
전문직업적 행동은 스펙트럼을 따라 발생하기에, 학생이 역량이 부족하다고 결정할 지점은 명확하게 정의되지 않는다. (Guerrasio 등 2014)
Professional behavior occurs along a spectrum and the point at which a student is no longer competent is not clearly defined. (Guerrasio et al. 2014)
평가자들은 교육 연속체의 다양한 수준에서 [교육생에게 기대되는 표준에 대한 불확실성]과 씨름했으며, 적절하고 객관적이거나 명시적인 평가 도구의 부족에 대해 우려를 표명했다. 등급Grading 제도가 불공정할 수 있다는 인식이 있었고, 평가자들은 어려움을 겪고 있는 교육생들에게 지나치게 부정적인 관심을 끌고 싶어하지 않았다(Bush et al. 2013; Fazio et al. 2013; Larocque & Luhanga 2013). 더욱이 수련생의 보고와 F부여의 프로세스를 알지 못하는 것도 실패-실패에 기여하였다.
Assessors struggled with uncertainty about the expected standards for trainees at different levels of the educational continuum (Bush et al. 2013), and expressed concern over the lack of appropriate, objective or explicit evaluation tools (Williams et al. 2005; Duffy 2006; Rutkowski 2007; Luhanga et al. 2008; Luhanga et al. 2010; Jervis & Tilki 2011; Brown et al. 2012; Bush et al. 2013). There was a sense that the grading system could be unfair, and assessors did not want to draw undeserved negative attention to struggling trainees (Bush et al. 2013; Fazio et al. 2013; Larocque & Luhanga 2013). Furthermore, being unaware of the processes for reporting and failing a trainee played a role in failing to fail:
우리는 그 절차를 알지 못했다… 만약 우리가 대학에 연락을 해야 할 정도로 약한 학생이 있다면… 그들에게 연락을 했을 때, 그 학생을 낙제시키기에는 너무 늦었다. (듀피 & 하디크레 2007)
We weren't aware of the procedures… that if we had a weak student that we had to contact the university early enough… when we did contact them it was too late to fail the student. (Duffy & Hardicre 2007)
또한 실패가 [뒷받침하는 문서의 부족]에서 비롯될 수 있다는 인식도 있었다.
There was also a recognition that failure to fail could stem from a lack of supporting documentation (Dudek et al. 2005; Williams et al. 2005; Cleland et al. 2008; Bush et al. 2013; Guerrasio et al. 2014):
종종 우리는 녹음하는 것을 충분히 잘 하지 못합니다. 그렇다면 그 학생이 당신에게 도전한다면, 당신은 특정한 사건을 떠올릴 수 없기 때문에 당당히 설 수 없다. (Dudek et al.
Often we don’t do a good enough job of recording performance. Then if the student challenges you, you do not have a leg to stand on because you cannot recall specific incidents. (Dudek et al. 2005)
장벽 5: 제도적 문화
Barrier 5: institutional culture
개인 차원의 고려사항 외에도, 평가자들은 제도적 문화 수준에서 장벽을 기술했다. 평가관은 성과가 저조한 교육생 보고에 대한 결정을 내리면서 현재 보건 전문가의 부족과 교육기관의 [재정적 지원] 손실 가능성을 고려했다. [명성]과 관련된 기관의 압력도 언급되었다(Cleland et al. 2008; Fazio et al. 2013).
In addition to considerations at the individual level, assessors described barriers at the institutional culture level. In making decisions about reporting underperforming trainees, assessors considered the current shortages of health professionals (Rutkowski 2007; Luhanga et al. 2008; Earle-Foley et al. 2012), and the institution’s potential loss of financial support (Cleland et al. 2008; Larocque & Luhanga 2013). Pressure from the institution concerned with its reputation was also mentioned (Cleland et al. 2008; Fazio et al. 2013):
또한 대학으로부터 학생들을 통과시키라는 압력이 감지되었다. 이는 높은 실패율을 가진 교수진이 잠재 학생들을 저지할 것이라는 믿음과 함께 재정과 평판 문제와 관련이 있었다. (클랜드 외 2008)
There was also perceived pressure from the university to pass students at one of the schools; this was associated with issues of finance and reputation, accompanied by the belief that faculty with high failure rates would deter potential students. (Cleland et al. 2008)
교육기관의 지원 부족은 [교육생들이 패스를 받을 수 있도록 하는 것을 (암묵적이든 명시적이든 간에) 승인]하는 데 반영되었다.(Larocque & Luhanga 2013)
Lack of support from the institution was reflected in its endorsement, be it implicit or explicit, of allowing failing trainees to progress or of grade inflation (Gopee 2008; Brown et al. 2012; Earle-Foley et al. 2012; Bush et al. 2013; Guerrasio et al. 2014):
한 고위 학자에 따르면, 그들은 특히 일부 낙제할 학생들이 계속 진급을 하는데, 이것이 F에 대한 일관성 있는 접근법이 없음에도 현재의 토론이 부족하다고 우려했다. (더피 2006; 부시 외 2013)
They [participants] were particularly concerned about the current lack of discussion that, according to one senior academic, meant there was no coherent approach so that some failing students continued to progress. (Duffy 2006; Bush et al. 2013)
평가자들은 [이전의 멘토들]이 연습생에게 F를 주지 않았거나 우려에 따라 행동하지 않았던 것에 대해 분노와 실망감을 표현했다.
Assessors commonly expressed feelings of anger and disappointment directed towards previous mentors for not failing the trainee or for failing to act upon concerns:
모든 게 나한테 떠넘겨진 것 같아. 그리고 난 이제 산산조각이 났어!…이전 멘토들이 그렇게(교육생에게 F를 부여) 하지 못했기 때문입니다. (검은색 등 2014)
I feel that it’s kind of all been dumped on me and I’m picking up the pieces!…because previous mentors had failed to do so [to fail the trainee]. (Black et al. 2014)
이러한 행동 실패는 평가자가 실패에 대한 책임이 어디에 있는지 알지 못하거나, 실패에 대한 결정이 자신의 것이 아니라고 느끼는 경우에 존재할 수 있다.
This failure to act may be present if assessors are not aware of where the responsibility for failure lies (Vezeau & McAllister 2009), or if they feel the decision to fail is not theirs to make (Rutkowski 2007; Gopee 2008; Vezeau & McAllister 2009; Fazio et al. 2013)
평가위원들은 실력이 떨어지는 연수생 합격의 명분 중 일부는 학교에서 패스 압박을 주거나, 불합격 판정을 뒤집은 이력이 있다고 제시했다. 후자는 대학에 대한 배신감과 신뢰의 상실을 야기했다.
Assessors suggested that part of the justification for passing a less-than-competent trainee was pressure from the academic institution to pass or the institution’s history of overturning decisions to fail (Duffy 2006; Rutkowski 2007; Brown et al. 2012; Jervis & Tilki 2011; Larocque & Luhanga 2013; Pratt et al. 2013; Black et al. 2014; DeBrew & Lewallen 2014; Guerrasio et al. 2014). The latter generated a sense of betrayal and loss of trust in the university:
좌절스러워요. 당신은 "다른 학생을 데려가지 않을 거야…"라고 생각하겠죠. 내 의견이 가치 없이 여겨지는 거 알잖아요. 내가 말하는데, 이 사람은 밖에 나가기에 안전하지 않다." 그리고 그것은 그냥 받아들여지지 않는다.
It’s frustrating. You think “I’m not taking another student… You know my opinion is not valued. I’m telling you this person is unsafe to be out there.” And it’s just not listened to. (Larocque & Luhanga 2013)
장벽 6: 교육생이 이용할 수 있는 교정 조치 고려
Barrier 6: consideration of available remediation for the trainee
평가관이 수습사원의 불합격에 대해 주저한 것은 수련생이 이용할 수 있는 [재교육 옵션의 가용성에 대한 우려]를 반영했습니다.
Assessors’ reluctance to fail a trainee reflected concern about the availability of remediation options available to the trainee (Dudek et al. 2005; Duffy & Hardicre 2007; Bush et al. 2013; Fazio et al. 2013; Guerrasio et al. 2014):
많은 참가자들이 재교육 조치를 받을 수 없다면 교육생을 낙제시킬 수 없다고 느꼈다. 그들은 교정조치를 제공하는 것이 자신들의 책임이며 그렇게 할 수 없다면 그 사람을 실패시키지 않을 수 있다고 느꼈다. (Dudek et al. 2005)
Many participants felt that they could not fail a trainee if remediation was not available to them. They felt it was their responsibility to provide remediation and, if unable to do so, they might not fail that person. (Dudek et al. 2005)
평가자는 사용 가능한 교정조치 옵션에 대한 불만을 보고하며, "선임 교수와의 재교육 면담이나 "마음을 다잡아봐"라는 정도의 말은 충분한 대응이 아니"며, 평가자가 재교육 조치를 위한 충분한 시간을 보장하기를 원했기 때문에 교정조치 타이밍이 중요하다고 말했다. 또는 그래야 "학생이 존엄성을 가지고 의학을 중단할 수 있다" (Cleland et al. 2008)
Assessors reported dissatisfaction with the available remediation options, lamenting that “the remedial interview with a senior academic and being told to “pull their socks up” is not a sufficient response” (Bush et al. 2013), and that timing of remediation was important since assessors wanted to ensure that there would be sufficient time for remediation or that “a student could exit medicine with dignity” (Cleland et al. 2008).
Enabler 1: 환자, 사회 및 직업에 대한 의무
Enabler 1: duty to patients, to society, and to the profession
환자 안전에 대한 책임감, 공공에 대한 의무, 도덕적 청렴성이 평가관이 저조한 훈련생을 낙제시키는 데 있어 주요 주제였다.
Responsibility towards patient safety, duty to the public, and moral integrity were leading themes in supporting assessors in failing an underperforming trainee (Dudek et al. 2005; Scholes & Albarran 2005; Cleland et al. 2008; Bush et al. 2013; Carr et al. 2010; Luhanga et al. 2010; Watling et al. 2010; Jervis & Tilki 2011; Earle-Foley et al. 2012; Pratt et al. 2013; Black et al. 2014).
참가자들은 훈련생을 실패하게 된 주요 동기로 책임감을 언급하였다. 그것은 대중에게 안전 보장할 책임, 전문직에게 평판을 보호할 책임, 훈련생에게 교정 조치의 기회를 제공할 책임이다. (Dudek et al. 2005)
Participants identified a sense of responsibility as the main motive to fail a trainee: to the public to ensure safety, to the profession to protect its reputation, and to the trainee to allow them the opportunity for remediation. (Dudek et al. 2005)
교육생들의 성적이 저조한 평가관들은 [기준을 지켜야 할 의무]가 있다고 느꼈다. 심사원은 [전문직의 문지기]이므로 전문적인 책임감을 입증해야 한다(Rutkowski 2007). 따라서, 성취도가 낮은 학생들을 만나거나 발견하는 것에 윤리적으로 행동하지 않는 것은 용납될 수 없다.
Assessors who failed underperforming trainees felt duty bound to the profession to uphold standards (Rutkowski 2007; Luhanga et al. 2008; Carr et al. 2010; Fitzgerald et al. 2010; Pratt et al. 2013). Assessors are gatekeepers to the profession (Fitzgerald et al. 2010; Black et al. 2014), and so must demonstrate professional accountability (Rutkowski 2007). As such, not acting ethically on encountering or detecting underachieving students is not condonable (Duffy & Hardicre 2007):
학생과 환자 보호와는 별개로, 무능하고 안전하지 못한 의료인으로부터 간호사를 보호해야 한다는 과도한 의무감이 있었다. 무능한 학생이 낙제하지 못하는 것은 그 직업을 평판이 나빠지게 하는 것으로 보였고, 그 믿음은 그 경험을 하나로 만들었다: 당신은 그 직업profession을 지켜야 한다… 나는 내가 매우 자랑스러워하는 registered nurse인 것이 자랑스럽고, 나는 그 직업이 기준을 갖기를 원한다. (Black 등 2014)
Apart from protecting the student and patients, there was an overpowering sense of obligation to protect the nursing profession from incompetent and unsafe practitioners. Failing to fail an incompetent student was seen as putting the profession into disrepute, a belief that united the experience: You’ve got to uphold the profession … I’m proud to be a registered nurse … to belong to a profession that I’m very proud of, and I want that profession to have standards. (Black et al. 2014)
[도덕적 청렴]은 평가관들이 실패한 교육생을 낙제시키는 강력한 원동력으로 떠올랐다.
Moral integrity emerged as a powerful force driving assessors to fail a failing trainee (Scholes & Albarran 2005; Gopee 2008; Pratt et al. 2013; Black et al. 2014):
실패하는 힘은 그들의 도덕적 스트레스를 관리하고 도덕적인 무결성을 보여주는 감정적, 심리적 무결성을 갖는 것으로 특징지어진다.
The strength to fail was characterized by having the emotional and psychological integrity to manage their moral stress and demonstrate moral integrity: “I think sometimes it takes somebody quite tough to actually fail somebody and I appreciate that. (Black et al. 2014)
Enabler 2: 기관, 동료 및 평가자 개발의 지원
Enabler 2: support from the institution, from colleagues, and assessor development
교육생을 낙제시킨 것에 대한 [제도적 지지]는 평가자들이 실력이 떨어지는 교육생을 낙제시킬 수 있게 하는 데 중요한 기여를 했다. 평가자들은 비슷한 판단을 했을 수 있는 다른 동료들과 상의하고 그들의 관찰을 확인하거나 뒷받침할 수 있다면, 특히 훈련생이 일회성 사건이 아닌, 행동 패턴을 보인다면 지지를 받았다.
Institutional endorsement for failing a trainee was an important contributor for enabling assessors to fail an underperforming trainee (Scholes & Albarran 2005; Brown et al. 2012; DeBrew & Lewallen 2014). Assessors felt supported if they could consult with other colleagues who may have made similar judgments and could confirm or support their observations, particularly if the trainee exhibited a pattern of behavior, rather than an isolated incident (Carr et al. 2010; Luhanga et al. 2010):
파괴적 행동의 흔적을 보게 되면 다른 사람에게 문제가 생겼기 때문에 자신감이 생기는 것이다. 나뿐만이 아니다. 난 이걸 감당할 수 있다. (Jervis & Tilki 2011)
If you see a trail of destruction, you have confidence because someone else had a problem. It is not just me. I can handle this. (Jervis & Tilki 2011)
기관에서 저조한 수행능력을 인식하고 관찰된 내용을 설명할 수 있는 [평가자 개발을 제공]할 경우, 평가자를 위한 귀중한 지원 원천으로 설명되었다(Scholes & Albarran 2005).
The institution was described as a valuable source of support for assessors when the institution provided assessor development to recognize poor performance and to be able to describe what was observed (Scholes & Albarran 2005):
멘토들은 Fail 가능성이 있는 학생들을 다루기 위한 멘토링 훈련 동안 적절한 준비가 필요하다… 우리는 우리의 책임을 인정해야 한다. 우리는 그들의 [평가자] 역할, 관련된 과정, 기본적으로 문제가 있는 학생이 있다면 무엇을 해야 하는지, 어떻게 대처해야 하는지, 우리의 멘토링 프로그램에서 다룰 필요가 있다고 생각한다. (Duffy 2006)
Mentors need adequate preparation during mentorship training for dealing with the potentially failing student… we need to acknowledge our responsibility. We are not clear enough about their [evaluator] role, the processes involved, basically what to do if you have a problem student, how to deal with it… I think we need to address it in our mentorship programmes. (Duffy 2006)
[확립된 기준을 가진 강력한 평가 시스템]은 평가자의 불합격 결정을 더욱 명확히 하고 지지했으며, 판단 결정에 대한 신뢰를 쌓는 데 도움이 되었다. [명확한 기관 정책과 절차, 행정적 지원 및 불합격 관리 방법에 대한 권고사항]은 평가자에게 지지가 되었으며, F부여으로 인한 잠재적 고통을 더욱 최소화할 수 있다(Pratt 등 2013).
A strong assessment system with established criteria further clarified and supported assessors’ decision to fail, and helped to build confidence in judgment decisions (Duffy 2006; Carr et al. 2010; Brown et al. 2012; Bush et al. 2013). Clear institutional policies and procedures, administrative support and recommendations on how to manage a failure (Carr et al. 2010) supported assessors and may further minimize the potential distress from failing a trainee (Pratt et al. 2013):
학생은 법적 위협을 가했습니다… 이 강사는 멘토에게 가해지는 엄청난 압박을 알고 있었고, 지원이 없었더라면 이 멘토가 "압박에 굴복"하고 만족스러운 평가를 내렸을 것이라고 주장했습니다. (Duffy 2006)
The student made legal threats…this lecturer was aware of the tremendous pressure placed on the mentor and asserted that if it had not been for the support… this mentor may well have “buckled under the pressure” and given a satisfactory assessment. (Duffy 2006)
Enabler 3: 실패한 교육생을 위한 기회
Enabler 3: opportunities for trainees after failing
평가관들은 [F를 받은 교육생에게 지원과 지도가 제공되고, 그들의 성과를 성찰하고 실패 경험을 통해 성장할 수 있는 시간이 제공되었을 때], 평가관들이 F부여라는 어려운 과제를 받아들일 수 있게 되었다고 지적했습니다.
Assessors indicated that offering support and guidance to the failing trainee, offering them time to reflect on their performance and to grow from the failure experience, enabled the assessors to come to terms with the difficult task of failing a student (Dudek et al. 2005; Gopee 2008; Carr et al. 2010; Larocque & Luhanga 2013; Pratt et al. 2013):
실패와 부정적인 연관성에도 불구하고, 미래에 성공하는 학생을 촉진하는 긍정적인 요소를 극대화하는 것이 필수적이라는 데 동의했다. (Carr 등 2010)
Despite the negative association with failing it was agreed that maximizing the positive elements that facilitated the student succeeding in future is essential. (Carr et al. 2010)
논의
Discussion
이 체계적인 검토는 실패 현상의 원인이 되는 장벽에 대한 이해와 이 과제를 극복하는 데 도움이 되는 요소를 통합한다. 그것은 성적이 낮은 교육생을 낙제시킬 때 교수진이 직면하는 개인적, 직업적 혼란과 교육생이 낙제할 경우, 또는 그 여파로 예상되는 교수진을 지원하는 환경을 조성하는 데 있어 교육기관이 수행하는 중요한 역할을 강조한다. 평가자는 무엇을 문서화해야 하는지, 어떻게 문서화해야 하는지, 실패한 성과에 대한 주관적인 인상을 어떻게 표현해야 하는지에 대해 준비가 되지 않았거나 확신이 없다고 느낀다. 평가자는 또한 자신의 평가가 탈락한 교육생 문제를 해결하기 위한 기관의 프로세스에 어떻게 적합한지 확신하지 못합니다. 문헌은 평가자의 사명감과 도덕적 청렴성, 제도적 지원과 수습 기회 등이 보고된 장벽을 극복하는 데 도움이 될 수 있음을 분명히 시사한다. 우리의 관찰은 상대적으로 적은 보고서에 기초하지만, 환자와 직업에 대한 결정적 의무 요인은 추가 탐구를 할 가치가 있다. 우리는 이러한 장벽과 가능 요소가 보건 전문가와 훈련생 수준에 걸쳐 보편적으로 보고되고 있으며 지난 10년 동안 지속적으로 보고되어 왔다는 것을 발견했다.
This systematic review consolidates our understanding of the barriers that contribute to the failure to fail phenomenon, and the enablers that support overcoming this challenge. It highlights the personal and professional turmoil faculty members face when failing an underperforming trainee, and the important role the institution plays in setting a climate that supports faculty members who anticipate, are in the process of, or in the aftermath of failing a trainee. Assessors feel unprepared or unsure of what to document, how to document it, how to articulate subjective impressions of a failing performance. Assessors are also unsure of how their assessment fits into their institution’s process for addressing a failing trainee. The literature clearly suggests that an assessor’s sense of duty and moral integrity along with institutional support and opportunities for trainee remediation can help overcome the barriers reported. Though our observations are based on relatively few reports, the decisive factor of duty to patients and the profession merits further exploration. We found that these barriers and enablers are universally reported across health professions and trainee levels, and have been consistently reported over the past decade.
"실패-실패" 현상에 대한 이해를 바탕으로, 우리는 이제 이러한 장벽에 대한 개입과 해결책을 찾기 위해 앞으로 나아갈 수 있다. 이 일의 일부는 이미 시작되었다. 예를 들어, Dudek 등은 평가자에게 로테이션 종료 평가 양식에 대한 자신의 우려를 표현하는 방법을 가르치는 교수개발 개입을 설계했다. 다른 연구자들은 [성적이 낮은 훈련생들에게 어려운 메시지를 전달하는 것]에 대한 명시적인 평가자 훈련을 요구하고, 훈련생에게 낙제했을 때 경험하는 정신적 피로를 해결하기 위해 지원 시스템을 투자해야 한다고 주장했다. 다른 연구자들은 [전문직의 기준과 윤리를 유지하기 위해 교육자의 윤리적 능력]에 대한 보다 명시적인 훈련을 요구하고 있는데, 이는 교육생을 낙제시키는 중요한 원동력은 깊이 뿌리박힌 의무감이기 때문이다. 영국에서 간호직은 멘토들의 공식적인 훈련과 교육을 시행하고 있다. (Duffy 2006; 간호 및 조산사 협의회 (영국) 2008)
With this understanding of the “failure to fail” phenomena, we can now move forward to find interventions and solutions to these barriers. Some of this work has begun. For example, Dudek et al. designed faculty development interventions to teach assessors how to articulate their concerns on end of rotation assessment forms (Dudek et al. 2013; Dudek & Dojeiji 2014;). Others have called for more explicit assessor training in delivering difficult messages to underperforming trainees, (Jervis & Tilki 2011) and for investing support systems to address the mental fatigue experienced when failing a trainee (Carr et al. 2010; Pratt et al. 2013). Others have called for more explicit training of educators in ethical competence to uphold the standards and ethics of their profession, as a significant enabler of failing a trainee is a deeply rooted sense of duty (Earle-Foley et al. 2012; Gopee 2008; Luhanga et al. 2010; Black et al. 2014). In the UK, the nursing profession has implemented formalized training and education of mentors (Duffy 2006; Nursing and Midwifery Council (UK) 2008)
모든 학생들이 보건의료전문직 교육을 졸업해야 하는 것은 아니라는 것을 기관들이 인정하는 것이 도움이 될 수 있다. 어떤 입시제도도 완벽하지 않기 때문에 기대치나 역량의 기준을 충족시키지 못하는 교육생들이 있을 수밖에 없다. 기관은 [학생에게 F를 주는 것이 불가피하다는 것]에 대해 평가자를 준비시키는 것을 목표로 하는 교수개발을 제공함으로써 심사원을 지원할 수 있습니다.
It may be beneficial for institutions to acknowledge that not all students will or should graduate from their health professions training. Since no admissions system is perfect, it stands to reason that there will be trainees who will fail to meet expectations or standards of competency. Institutions can support assessors by offering faculty development aimed at preparing assessors for the inevitability of failing a student.
더 큰 규모에서, 학부 및 대학원 의료 교육의 운영 기구는 마일스톤과 위탁 가능한 전문 활동과 같은 [교육생의 기대에 대한 보다 명확한 진술을 만드는 프로그램]을 수용했다(Association of American Medical Colleges 2014). 이와 같은 이니셔티브는 훈련생이 무엇을 할 수 있어야 하는지에 대한 평가자 간의 공유된 정신 모델을 만들 수 있는 잠재력을 가지고 있다. 성과에 대한 기대치가 더 명확해지면 감독자가 기준을 충족하지 못하는 임상 성과를 보고하는 것이 더 쉬워질 수 있다.
On a larger scale, governing bodies in both undergraduate and graduate medical education have embraced programs that create more explicit statements of trainee expectations such as the milestones (Swing et al. 2013) and entrustable professional activities (Association of American Medical Colleges 2014). Initiatives such as these have the potential to create a shared mental model across assessors of what a trainee should be able to do. With clearer expectations of performance, it may be easier for supervisors to report clinical performance that is not meeting standards.
결론
Conclusion
우리가 아는 한, 실패 현상에 대한 이용 가능한 지식을 통합한 의학, 간호, 치과 교육 문헌의 체계적인 검토는 이번이 처음이다. 현재 커뮤니티가 직면한 과제는 식별된 장벽을 가장 잘 해결하고 실패 문제를 해결하기 위해 활성화 장치의 힘을 활용하는 방법을 결정하는 것이다.
To our knowledge, this is the first systematic review of the medical, nursing, and dentistry education literature that consolidates the available knowledge on the failure to fail phenomenon. The challenge our community now faces is determining how to best tackle the identified barriers and to harness the power of enablers to resolve the failure to fail problem.
The failure to fail underperforming trainees in health professions education: A BEME systematic review: BEME Guide No. 42
PMID: 27602533
Abstract
Background: Many clinical educators feel unprepared and/or unwilling to report unsatisfactory trainee performance. This systematic review consolidates knowledge from medical, nursing, and dental literature on the experiences and perceptions of evaluators or assessors with this failure to fail phenomenon.
Methods: We searched the English language literature in CINAHL, EMBASE, and MEDLINE from January 2005 to January 2015. Qualitative and quantitative studies were included. Following our review protocol, registered with BEME, reviewers worked in pairs to identify relevant articles. The investigators participated in thematic analysis of the qualitative data reported in these studies. Through several cycles of analysis, discussion and reflection, the team identified the barriers and enablers to failing a trainee.
Results: From 5330 articles, we included 28 publications in the review. The barriers identified were (1) assessor's professional considerations, (2) assessor's personal considerations, (3) trainee related considerations, (4) unsatisfactory evaluator development and evaluation tools, (5) institutional culture and (6) consideration of available remediation for the trainee. The enablers identified were: (1) duty to patients, to society, and to the profession, (2) institutional support such as backing a failing evaluation, support from colleagues, evaluator development, and strong assessment systems, and (3) opportunities for students after failing.
Discussion/conclusions: The inhibiting and enabling factors to failing an underperforming trainee were common across the professions included in this study, across the 10 years of data, and across the educational continuum. We suggest that these results can inform efforts aimed at addressing the failure to fail problem.