WBA: 사용자인식과 단점 극복을 위한 전략(Adv in Health Sci Educ, 2015)

WBA: 사용자인식과 단점 극복을 위한 전략(Adv in Health Sci Educ, 2015)

Workplace-based assessment: a review of user perceptions and strategies to address the identified shortcomings

Jonathan Massie1 • Jason M. Ali2

도입

Introduction

WBA(작업장 기반 평가) 도구는 근무지 내에서 객관적으로 임상 기술을 평가하여 밀러 피라미드(Miller 1990)의 상위 계층을 평가할 수 있는 수단을 제공하도록 설계되었습니다. '작업장 기반 평가'라는 용어는 많은 도구를 포함한다(표 1).

workplace-based assessments (WBAs). These tools were designed to provide a means of assessing clinical skills objectively, within the workplace, permitting assessment of the top tiers of Millers Pyramid (Miller 1990). The term ‘workplace-based assessment’ describes a number of tools (Table 1),

최근 몇 년 동안 의료 분야의 WBA 활용이 상당히 다양하다는 사실이 밝혀졌습니다. 그러나 또한 WBA 도구는 의도한 대로 사용되지 않았다. 특히, 그들은 형성평가보다는 총괄평가 목적으로 사용되었고, 훈련생들은 WBA를 단순한 장애물로 보았다(Bindal et al. 2011).

Over recent years there has been a realisation that engagement with WBAs in the medical workplace varies significantly, and that WBA tools are not being used as intended—in particular that they have been adopted as summative rather than formative assessments and trainees see them as simply hurdles (Bindal et al. 2011).

한 WBA에 대한 교육자 및 trainer 인식 조사(Fokema et al. 2014)에서는 

examining trainee and trainer perceptions towards WBAs (Fokkema et al. 2014).

'WBA는 교육이 어떠해야 하는지에 대한 나의 생각과 일치하다'는 것에 동의한 viewpoint가 하나도 없었음은 흥미롭다.

It was interesting to note that none of the viewpoints agreed that ‘WBAs tally with my own ideas about what education should be like’.

방법론

Methodology

문헌 고찰

The literature relating to WBAs was reviewed to identify studies examining trainee and trainer perceptions towards WBA tools.

결과

Results

WBA가 PGME에서 더 중요한 기능을 제공하므로, 사용자 수용성이 중요하다는 것을 인식하는 것이 중요하다. 학습 및 평가 도구는 모든 당사자가 완전히 engage해야만 성공할 수 있습니다. 따라서 이러한 평가를 평가할 때 사용자 인식을 이해하는 것이 중요하다.

With WBAs featuring more prominently in postgraduate medical training, it is important to recognise that acceptability to users is essential. Learning and assessment tools will only be successful when all parties fully engage. Therefore, understanding user perceptions is critical when evaluating these assessments.

Trainee의 관점

The trainee’s perspective

교육 및 전문성 개발에 대한 가치

Value to training and professional development

WBA 도구는 학습을 용이하게 하고 임상 성능을 향상시키는 것을 목표로 한다. 연수생들이 WBA 도구가 이러한 목표를 얼마나 달성했다고 느끼는지를 조사한 몇 가지 연구가 있었다. 2010년 Miller와 Archer의 포괄적인 리뷰에서 MSF만이 연수생 성과 개선에 있어 효과적이라는 설득력 있는 증거를 가지고 있다는 것이 밝혀졌습니다(Miller and Archer 2010). 그러나 이 논문은 WBA가 의도한 영향을 미치지 않았다는 우려를 강조했다.

WBA tools aim to facilitate learning and improve clinical performance. There have been several studies examining the extent to which trainees feel WBA tools achieve these goals. A comprehensive review of this literature by Miller and Archer in 2010 revealed that only multi-source feedback had convincing evidence of effectiveness in improving trainee performance (Miller and Archer 2010). This paper though, highlighted concerns that WBAs were not having their intended impact.

WBAs as ‘assessments’

WBA를 둘러싼 중요한 논쟁이 생기는 분야는 '평가'라는 단어에 초점을 맞추고 있다. WBA 도구는 주로 총괄평가보다는 형성평가를 목적으로 만들어졌다. (2011년 이전, 일반 의료 위원회 2010년) 그러나 훈련생들은 그들의 발달과정과 잠재적 약점보다는 성공적인 업적만을 기록하기를 바란다. (Jenkins et al. 2013) 이는 WBA의 주된 목적이 연습생에게 성찰과 지속적인 학습을 유도하기 위해 구조화된 피드백을 제공하는 것임을 고려할 때 문제를 야기한다. 안타깝게도, 훈련생들 사이에는 [여전히 자신들에게는 등급과 순위가 매겨지고 있다]는 인식이 있고, 이것은 engagement에 부정적인 영향을 주었다. (Nesbitt et al. 2013)

A significant area of contention surrounding WBAs has centred on the word ‘assessment’. WBA tools have predominantly been intended as formative, rather than summative, assessments (Beard 2011; General Medical Council 2010). Trainees though, desire only their successful achievements to be documented rather than their progression and potential weaknesses (Jenkins et al. 2013). This creates a challenge when the primary purpose is to provide the trainee with structured feedback to drive reflection and continued learning. Unfortunately, there is still a feeling amongst trainees that they are being graded and ranked and this has negatively impacted on their engagement (Nesbitt et al. 2013).

WBA가 성능에 대한 총괄평가라는 우려로 인해 다음과 같은 결과가 초래되었다고 합니다.

The concern that WBAs are summative assessments of their performance, has reportedly resulted in:

• CBD를 할 때, 성과가 좋지 않거나 복잡도가 높은 사례에 대한 논의를 회피(Mehta et al. 2013; Sabey and Harris 2011)

• signed off에 필요한 최소 요건만을 채움(Powell et al. 2014)

• 평가에 대한 스트레스가 퍼포먼스에 영향을 미치고, staged environment를 생성(Cohen et al. 2009; Tsagkataki 및 Choudhary 2013)

• Trainer는 더 유용한 구두 및 서면 피드백을 사용하는 대신 체크박스만 사용 (Sabey 및 Harris 2011).

• 더 좋은 '점수'를 기대하며 '친절한' 평가자만을 찾는 훈련생(McKavanagh et al. 2012; Rees et al. 2014; Simmons 2013)

• Trainees avoiding discussion of cases with poor outcomes or a high degree of complexity as part of case-based discussion (Mehta et al. 2013; Sabey and Harris 2011)

• Trainees undertaking the minimum required to be signed off (Powell et al. 2014)

• Stress surrounding the assessments, impacting on performance and generating a staged environment (Cohen et al. 2009; Tsagkataki and Choudhary 2013)

• Trainers focussing on the tick-box ratings, at the expense of the more useful verbal and written feedback (Sabey and Harris 2011)

• Trainees seeking ‘friendly’ assessors, hoping for a more positive ‘mark’ (McKavanagh et al. 2012; Rees et al. 2014; Simmons 2013)

WBA engagement에 영향을 미친다고 trainee가 지적한 요인들

Factors trainees report to impact on their engagement with WBAs

WBA에 대한 부정적 감정이 의료계에 만연해 있는 것은 분명하다. 이러한 측면에서, 몇몇 연구는 그런 문제를 해결하고자 훈련생들이 어떤 것이 주요 문제라고 생각하는지 알아내는 것을 목표로 삼았다. 이러한 연구에서 시간 제약이 지배적인 문제임이 반복적으로 드러난다.

It is clear that negative feelings towards WBAs are prevalent in the medical workplace. To extend this observation, several studies have aimed to identify what trainees view as being the major problems, in order that they can be addressed. These studies repeatedly identify time constraints as being a dominant concern.

시간이 부족한 결과 WBA의 우선순위가 떨어지는 간주되는 경우가 많으며, 그 결과 보고된 도구의 misuse가 일어난다(Ali 2013; Bindal et al. 2011). 이는 매년 WBA의 수를 늘려야 하는 교육 기관(Pentlow 2013)에 의해 더욱 문제가 가중된다.

As a result, WBAs are often seen as a low priority and this contributes to the misuse of the tools that has been widely reported (Ali 2013; Bindal et al. 2011). This is only further confounded by training bodies requiring increasing numbers of WBAs to be completed each year (Pentlow 2013).

또 다른 자주 제기되는 우려사항은 일반적으로 훈련생들이 평가자을 스스로 선택해야 함에도 불구하고, 평가자가 WBA에 대해 참여 및 이해가 부족한 것이다. Trainee가 평가자를 선택하는 것은 훈련생에게 자신의 학습에 대한 책임을 지도록 하는 동시에, trainer에게는 상당한 관리 부담을 덜어준다. 그럼에도 불구하고 평가자는 일반적으로 현재 속해있는 임상 팀의 시니어 의사 및 컨설턴트로 구성되며, 임상 성과에 대한 피드백을 제공하는 데 적합한 직속 임상 감독자는 배제되곤 한다.

Another frequently reported concern is poor assessor engagement and understanding of WBAs, despite the fact that trainees are usually required to self-select their assessors. Trainee selection of assessors serves both to empower trainees to take responsibility for their own learning, but also removes a significant administrative burden from the trainers. Nevertheless, assessors would typically comprise the senior doctors and consultants on their current clinical team—their direct clinical supervisors who should be in a good position to offer feedback on clinical performance.

물론 컨설턴트 시간은 소중하다는 인식이 있고, 바쁜 임상 환경 훈련에서는 (WBA는) 불행하게도 부차적인 것이 되는데, 이는 열의 부족으로 오해될 수 있습니다. 그러나, 이러한 보고서는 상당수의 훈련생들이 느끼기에 평가자가 WBA에 대해 지식과 이해가 불완전한 것으로 느낀다는 것을 암시한다.

Of course, there is recognition that consultant time is valuable, and that in the busy clinical environment training, unfortunately, takes second priority at times—which may be misconceived as a lack of enthusiasm. However, these reports go further to suggest that a significant number of trainees feel their assessors have an incomplete knowledge and understanding of WBAs, which underlies this lack of engagement.

이는 WBA가 도입된 지 몇 년이 지났음에도, 훈련생들이 보기에는 WBA에 대해 충분히 이해하지 못한다고 느끼는 트레이너가 여전히 상당히 많다는 것을 강조한다. 훈련생들이 전반적으로 그들의 평가자를 선택할 책임이 있기 때문에 이것은 매우 중요한 문제가 된다.

This highlights that even several years following the introduction of WBAs, despite becoming commonplace, there are still a significant number of trainers who trainees feel lack sufficient understanding of WBAs. This is of importance since trainees, on the whole, have the responsibility of selecting their assessors.

이미 오래 전부터 훈련생과 심사원 사이의 관계가 평가의 타당성에 상당한 영향을 미칠 수 있다는 것이 인식되었다(Holmboe 2004; Norcini 2003). 또한 이러한 WBA도구가 도입될 경우, 'leniency bias'로 인해 어려움을 겪고 있는 교육자를 식별하는 데 영향을 미칠 수 있습니다(Mitchell et al. 2011).

it has long been recognised that the relationship between trainee and assessor can have a significant impact on the validity of the assessment, (Holmboe 2004; Norcini 2003) and potentially impact on the ability of these tools to identify struggling trainees, due to the leniency bias introduced (Mitchell et al. 2011).

훈련생들이 갖는 또 다른 우려는, 수련 과정에서 WBA와 어떻게 그것들을 최대한 활용할 수 있는지에 대한 공식적인 훈련이 부족한 것에 있다. 간단히 말해서, 연수생들은 전반적으로 WBA를 완전히 이해하지 못한다. 논의된 바와 같이, 많은 이들은 예를 들어 WBA가 형성적 의도를 갖는다고 인식하지 않는다. WBA가 성공적인 구현되려면 'WBA에 대한 공식적인 교육' 핵심임이 강조된 바 있고(Saedon et al. 2010), 이는 사용자에 의해 입증되었다(Rauf et al. 2011). 그럼에도 불구하고, 의사들에 대한 최근의 연구는 10%만이 WBA 도구 사용에 대한 공식적인 교육을 받았다고 밝혔다. (Weston과 Smith 2014)

A further concern of trainees, likely to impact upon their engagement with WBAs, is a lack of formal training in the educational basis of WBAs, and how to get the most out of them. In simple terms trainees on the whole do not fully understand WBAs. As discussed, many do not recognise their formative intent for example. It has previously been highlighted that formal training in the use of WBAs is key to their successful implementation (Saedon et al. 2010), and this has been corroborated by users (Rauf et al. 2011). Despite this, a recent study of Foundation doctors revealed that just 10 % had received any formal training in the use of WBA tools (Weston and Smith 2014).

이러한 우려로 인해 많은 훈련생들은 WBA가 단순히 훈련 진행에 필요한 '허들' 또는 '체크박스'으로 간주되고 있으며, 이는 WBA 도구가 잘못 사용되는 결과를 초래한다. 예를 들어, 훈련생들은 어떤 것에 대해 평가를 받을 때, 그 전 과정에 대해 observed 되지 않았다거나, 심지어는 전혀 observed받지 않았음을 인정한다(McKavanagh et al. 2014; Nesbitt et al. 2012; Nesbitt et al). 분명히 이러한 상황에서는 WBA가 제공하는 학습 기회는 상실된다.

Together, these concerns result in many trainees seeing WBAs as simply ‘hurdles’ or ‘tick-box exercises’ required to progress in their training, and results in WBA tools being misused. For example, trainees frequently admit to not being observed for the whole duration or, in some cases, any of the clinical activity they are being assessed on (McKavanagh et al. 2012; Nesbitt et al. 2013; Rees et al. 2014; Sabey and Harris 2011; Tailor et al. 2014). Clearly, the learning opportunity afforded by WBAs is lost in these circumstances.

트레이너의 관점

The trainer’s perspective

평가자들이 WBA를 수행하는 방식은 학습, 그리고 잠재적으로 연수생들의 지속적인 참여에 중대한 영향을 미칠 것이다(Sabey and Harris 2011).

The manner in which assessors conduct WBAs will have a critical impact on the learning that occurs and potentially the on-going engagement of trainees (Sabey and Harris 2011).

WBA에 대한 지식 및 이해 

Trainer knowledge and understanding of WBAs

WBA의 목적을 이해하는 것이 성공의 핵심이다. 훈련생들이 WBA에 대한 이해가 부족한 것은 분명하며, trainee는 또한 그들의 평가자들도 마찬가지라고 인식한다.

Understanding the purpose of WBAs is central to their success. It is clear that trainee understanding of WBAs is lacking, and their perception is that this is also the case for their assessors.

따라서 현재 영국에서 GME 과정에 WBA가 설립되고 있지만, 컨설턴트 트레이너 중 상당수가 관련 교육을 받지 않았다고 계속 보고하고 있으며 이는 WBA 수행 방식에 분명한 영향을 미칠 것이다.

Thus it is apparent that despite WBAs now being established in postgraduate training in the UK, a sizeable proportion of consultant trainers continue to report not having received relevant training which clearly will have an impact on how they conduct WBAs.

교육에 대한 WBA의 가치에 대한 이해

Trainer perceptions of WBA value to training

영국의 국가 단위 조사는 훈련생과 평가관의 참여에 관한 문제에 대한 강사들의 생각을 조사하기 위해 더 나아가고 있다.

The UK national trainer survey went further to examine trainer thoughts on the problems with trainee and assessor engagement.

(Bodle et al. 2008). 특히, 이 연구에서는 훈련생 중 90%가 WBA를 시행한 결과 수술 능력이 향상되었다고 믿었고, 이는 훈련생과 트레이너 사이의 WBA 가치에 대한 인식의 차이를 부각시켰다.

(Bodle et al. 2008). Notably, in this study, 90 % of trainees believed that their surgical skills had improved as a consequence of undertaking WBAs, highlighting a potential disparity between trainee and trainer perceptions towards WBA value.

WBA 과정에 대한 잠재적인 회의론에도 불구하고, trainer들은 WBA를 타당한 평가 툴로 인식하는 것으로 보인다.

Despite potential scepticism towards the process of WBAs, trainers do appear to perceive WBAs as being valid assessment tools.

실제로 트레이니와 트레이너의 인식을 동시에 검토하는 몇 가지 연구에서 증명되었듯이, 트레이너는 훈련생보다 이 점에 있어서 더 긍정적인 시각을 가지고 있는 것처럼 보인다.

Indeed, trainers do appear to hold more positive views in this regard than trainees, as evidenced in the few studies examining trainee and trainer perceptions simultaneously.

비록 트레이너들이 WBA의 타당성에 대해 확신을 갖고 있지만, 흥미로운 점은 일부 컨설턴트들이 훈련생들의 progression에 미칠 영향을 우려하여 훈련생들의 점수를 낮게 주는 것을 꺼리고 있는 것처럼 보인다 것이다.

Although trainers feel confident in the validity of WBAs it is interesting to note studies highlighting that some consultants appear unwilling to score trainees poorly for fear of the impact this will have on the trainees progression (Royal College of Physicians 2014).

고찰

Discussion

이 리뷰에서 보고된 문헌은 WBA에 대한 사용자의 현재 인식에 대해 비관적인 견해를 제시하며, 많은 사람들이 WBA의 타당성과 가치에 대해 의문을 제기한다. 훈련자는 

• 시간 부족, 

• 평가자 참여 불량, 

• WBA 목표에 대한 평가자의 불충분한 이해, 

• 품질 불량 피드백 

• WBA 방법론의 교육 부족

...을 부정적인 기본 요소로 식별한다. 

The literature reported in this review presents a bleak view of current user perceptions towards WBAs, with many questioning their validity and worth. 

Trainees identify 

• a lack of time, 

• poor assessor engagement, 

• poor understanding of assessors towards the aims of WBAs, 

• poor quality feedback and 

• their own lack of training in WBA methodology as principal factors underlying their negativity. 

비록 트레이너들이 WBA에 대해 긍정적인 경향이 있지만, 이는 보편적이지 않으며, 마찬가지로 가용 시간의 중요성을 강조하면서도, WBA의 성공을 가로막는 중요한 요소로 훈련생들의 disengagement을 강조한다. 어떤 면에서 이러한 결과는 MSF와는 달리, WBA 도구는 임상 성과에 의도한 영향을 미치지 않았다고 결론 내렸던 Miller와 Archers의 체계적인 검토 결과를 보완한다(Miller and Archer 2010).

Although trainers tend to be more positive towards WBAs, this is not universal and they similarly highlight available time, but also trainee disengagement as important factors hindering the success of WBAs. In some ways, these results complement the findings of Miller and Archers systematic review which concluded that apart from multi-source feedback, WBA tools were not having their intended impact on clinical performance (Miller and Archer 2010).

지금까지 논의한 바로는 의료계에는 복잡한 전문적 행동의 평가하고자 환원적 '체크리스트'식 접근법을 사용하는 것에 대해 '매우 의심스럽다'고 한다. 또한 WBA에 대한 '널리 퍼진 냉소'가 있다. 이로 인해 WBA가 많은 곳에서 오용되고, 많은 이들이 WBA를 그저 훈련 진행에 있어 불편한 '체크박스'로 간주하게 되었다. 또한 WBA 도구는 의도했던 대로 작동하지 않습니다. 이런 이유로, 영국의 GME 프로그램에 대한 공식적인 검토 보고서는, 특히 WBA가 긴급히 해결해야 할 문제임을 강조한다(Collins 2010; Hiorut 2005).

from the discussion thus far it is clear that the medical profession remains ‘rightly suspicious of the use of reductive ‘tick-box’ approaches to assess the complexities of professional behaviour’ and that there is ‘widespread cynicism’ towards WBAs (Academy of Medical Royal Colleges 2009). This has resulted in WBAs being widely misused and regarded by many as merely an inconvenient ‘tick-box’ to progress in their training. In the workplace these tools are not performing as was intended. In agreement, reports following formal review of postgraduate training programmes in the UK specifically highlight WBAs to be a problem that needs to be urgently addressed (Collins 2010; Eraut 2005).

WBA에 대한 trainee 경험 개선하기

Improving trainee experience of WBAs

(Table 3).

Table 3 A list of strategies to improve trainee engagement

Trainee Engagement 향상 전략

Strategies to improve trainee engagement with WBAs

• '감독하의 학습 이벤트'로 이름을 변경하여 WBA의 목적 명확화

• WBA에 대한 노출을 의과대학 커리큘럼의 필수 구성요소로 함

• WBA에 대한 지속적인 이해를 보장하기 위한 교육자 대상 반복 훈련

• 평가자를 위한 필수 교육, 아마도 인증 필요할지도.

• 컨설턴트 계약에 교육 시간 포함

• 태블릿/스마트폰 애플리케이션을 통해 WBA 양식에 대한 접근성 향상

• 평가자가 피드백을 제공하는 기술에 익숙해지도록 보장

• Clarifying the purpose of WBA by renaming as ‘Supervised Learning Events’

• Exposure to WBAs a mandatory component of medical school curricula

• Repeated training of trainees to ensure ongoing understanding of WBA

• Mandatory training for assessors, perhaps requiring certification

• Building training time into consultant contracts

• Improving accessibility to WBA forms with tablet/smartphone applications

• Ensuring assessors are versed in the art of giving feedback

WBA의 목적 명확화

Clarifying the purpose of WBAs

첫째, WBA 방법론의 중요성이 강조되었다. (Academy Royal Colleges 2009; General Medical Council 2010) 이는 심사원들에게도 적용된다. 그러나 그러한 훈련에 임상의사를 참여시키는 것은 어려운 일일 수 있다.

Firstly, the importance of training in WBA methodology has been highlighted (Academy of Medical Royal Colleges 2009; General Medical Council 2010). This also applies to assessors. However, engaging clinicians in such training can prove to be a challenge.

이와 관련하여, 의과대학에서 특히 형성적 도구로서 의대생들의 WBA 도구에 대한 노출을 증가시킬 수 있다. 이것은 학생들이 직장-기반 학습에 참여하도록 촉진할 뿐만 아니라, 교실에서 학습된 임상 지식의 재-맥락화를 촉진할 것이다(Van Oers 1998). 이러한 조기 참여는 그들의 훈련에 계속될 WBA에 대한 긍정적인 인식을 확립하게 유도할 있다.

A related suggestion is to increase exposure of medical students to WBA tools during medical school, particularly as formative tools. Not only will this promote engagement of students with workplace-based learning, it will facilitate the re-contextualisation of clinical knowledge learnt in the classroom (Van Oers 1998). This early engagement, may permit establishment of positive perceptions towards WBAs that will continue into their training.

두 번째 접근 방식은 WBA 도구의 용도를 강조하기 위해 이름을 바꾸는 것을 고려하는 것이다. GMC는 형성적 피드백을 제공하도록 설계된 도구에 대해 감독적 학습 이벤트(SLE)라는 이름을, 총괄적 도구에게는 AoL이라는 이름을 제안했다(General Medical Council 2010). '평가'라는 단어를 삭제하고 '학습'을 도입하는 것은 도구의 형태적 의도를 명확하게 해줄 것으로 생각된다.

The second approach is to consider re-branding WBA tools to emphasise their purpose. The GMC have proposed adoption of new nomenclature: supervised learning events (SLEs) for tools designed to provide formative feedback, and assessments of learning (AoL) for summative tools (General Medical Council 2010; Kessel et al. 2012). It is felt that removing the word ‘assessment’ and introducing ‘learning’ will explicitly clarify the formative intent of the tools.

SLE에는 학습적 기능에 대한 강조가 이미 주입되어 있으므로, '이제 갓 면허를 취득한' 의사들에게 SLE를 도입한다면, 그들이 나중에 WBA를 만나더라도 좀더 긍정적인 태도를 가질 수 있다. 고무적인 초기 징후는 SLE가 사용자로부터 더 높은 수준의 지원을 받는다는 것이다(Ree et al. 2014; Cho et al. 2014). 그러나 변화의 속도가 빨라지자 사용자, 특히 트레이너들이 혼란스러워하기 시작한다는 증거도 있으며, 이로 인해 선의가 위험에 빠질 수도 있다(최종 외 2014).

Introducing SLEs to ‘just-qualified’ doctors may also engender a more positive attitude when encountering WBAs later in their training, since emphasis on their learning functions have already been instilled. Encouragingly, early signs are that SLEs have a higher level of support from users (Rees et al. 2014; Cho et al. 2014). However there is also evidence that the fast pace of change is beginning to confuse users, particularly trainers, which may place this goodwill in jeopardy (Cho et al. 2014).

시간 문제 관리

Managing the problem of time

여전히 연습생과 트레이너 모두에게 WBA와의 완전한 참여를 위해 가장 자주 언급되는 문제는 가용 시간 부족입니다. 이와 관련하여 WBA가 전체적으로 치과 교육생에 의해 긍정적으로 받아들여졌다는 점이 주목할 만하다(Griveson et al. 2011; Kirton et al. 2013).

Lack of available time remains the most frequently quoted challenge to full engagement with WBAs, by both trainees and trainers. In this regard it is notable that WBAs have been, on the whole, positively received by dental trainees (Grieveson et al. 2011; Kirton et al. 2013).

시간 부족의 결과로 나타나는 흔한 시나리오는, 평가자가 임상 작업을 관찰하지만 (서면 피드백이 있는) 양식이 종종, 몇 달 후에 작성되고, 이 때는 사건에 대해 충분히 기억을 기대하기 어렵게 되므로, 그것의 타당도에 의심을 갖게 된다. 또한, 이러한 상황에서 trainee는 평가자에게 문서화를 독촉해야 하게 되므로, 훈련자와 trainer 사이의 관계에도 부담이 될 수 있다(Rees et al. 2014).

A scenario commonly reported to be a consequence of the lack of time, is that a clinical task is observed by an assessor but forms (with written feedback) are completed, sometimes, months later, when it is difficult to expect reliable recollection of the event sufficient to provide feedback, questioning its validity (Basu et al. 2013; Bindal et al. 2013; Tailor et al. 2014). This may also strain the relationship between trainee and trainer as the trainee is made to pursue the trainer for documentation (Rees et al. 2014).

Addressing the quality of feedback provided

WBA에 따라오는 피드백의 품질은 일부 세부적으로 검토되었으며, 많은 저자들의 결론은 제공된 피드백이 목적에 맞지 않으며 심지어 동기 감소와 같은 훈련생들에게 해로운 결과를 초래할 수 있다는 것이다.

The quality of feedback provided as part of WBAs has been examined in some detail and the conclusion of many authors is that the feedback provided is not fit for purpose, and may even have detrimental consequences on trainees such as decreasing their motivation (Hattie and Timperley 2007; Saedon et al. 2012).

평가관이 WBA를 이수하는 과정에서, 그리고 특히 효과적인 피드백을 제공하는 방법에 대한 공식 교육이 크게 부족한 것이 훈련생에게 제공되는 피드백의 퀄리티가 낮은 근본적인 요소일 가능성이 높다. 이와 관련하여, 피드백의 품질을 개선하기 위해 평가자 훈련의 제공을 증가시키는 것이 제안되었다(Babu et al. 2009; Basu et al. 2013; Norcini and Burch 2007; Pelgim et al., 2012). 

It is likely that the widespread lack of formal training for assessors in completing WBAs, and perhaps specifically on how to provide effective feedback, is the major factor underlying the poor quality feedback being provided to trainees (Norcini and Burch 2007). In this regard, increasing the provision of assessor training has been suggested to improve the quality of feedback (Babu et al. 2009; Basu et al. 2013; Norcini and Burch 2007; Pelgrim et al. 2012). 

그럼에도 불구하고, 의료 근무환경 전반의 피드백 품질을 다루는 것은, 특히 그러한 교육 프로그램에 평가자를 참여시키기가 어렵다고 보고되온 것을 고려하면, 간단하지 않다(Canavan et al. 2010). 그러나, 아마도 미래에는 trainer에게 피드백 제공에 대한 필수 교육을 받도록 요구하고, 이것을 certification의 조건으로 만드는 것이 필요할 수도 있다. 특히 이 문제를 진지하게 해결하려면 더욱 그러할 것이며, 왜냐하면 특히 트레이너들의 전문성 개발이 교육 도구로서 WBA의 성공에 중요한 것이기 때문이다(Norcini and Burch 2007).

Despite this, addressing the quality of feedback throughout the medical workplace is not straightforward, particularly considering the challenges reported in engaging assessors in training (Canavan et al. 2010). However, requiring trainers to undertake mandatory training in providing feedback and perhaps going so far as to require certification, should perhaps be a considered a requirement in the future, if a serious attempt at addressing this concern is to be made; especially since professional development of trainers is considered critical to the success of WBAs as an educational tool (Norcini and Burch 2007).

한계

Limitations

주로 영국 중심 연구

The major limitation of this review is its UK centric nature.

미래 방향

Future directions

결론

Conclusion

WBA는 GME에서 '일반적인 것'이 되었다. 그러나 훈련생과 평가자는 자신이 정기적으로 사용하는 도구의 교육적 토대를 불완전하게 이해하고 있는 것으로 보인다. 이것은 WBA 가치에 대한 인식과 학습 보조 도구로서 WBA에 engage하는 것에 부정적인 영향을 끼쳤고, 결과적으로 그들의 오용을 초래했다.

Workplace based assessments have become the ‘norm’ in postgraduate medical training. However, trainees and their assessors appear to have incomplete understanding of the educational basis of the tools they are regularly using. This has had a negative impact on both their perceptions of WBA value and their engagement with the tools as learning aids, resulting in their widespread misuse.

사용자 이해 부족, 가용 시간 부족, 피드백 제공 트레이너 불충분한 훈련 등 세 가지 주요 기본 문제

the three dominant underlying problems: lack of user understanding, lack of available time and insufficient training of trainers in feedback provision.

---

Adv Health Sci Educ Theory Pract. 2016 May;21(2):455-73. doi: 10.1007/s10459-015-9614-0. Epub 2015 May 24.

Workplace-based assessment: a review of user perceptions and strategies to address the identified shortcomings.

Massie J1, Ali JM2.

Author information

1

School of Clinical Medicine, University of Cambridge, Cambridge, UK.

2

Department of Surgery, University of Cambridge, BOX 202, Addenbrookes Hospital, Cambridge, CB2 0QQ, UK. ja297@cam.ac.uk.

Abstract

Workplace based assessments (WBAs) are now commonplace in postgraduate medical training. User acceptability and engagement is essential to the success of any medical education innovation. To this end, possessing an insight into trainee and trainer perceptions towards WBAs will help identify the major problems, permitting strategies to be introduced to improve WBA implementation. A review of literature was performed to identify studies examining trainee and trainer perceptions towards WBAs. Studies were excluded if non-English or sampling a non-medical/dental population. The identified literature was synthesised for the purpose of this critical narrative review. It is clear that there is widespread negativity towards WBAs in the workplace. This has negatively impacted on the effectiveness of WBA tools as learning aids. This negativity exists in trainees but also to an extent in their trainers. Insight gained from the literature reveals three dominant problems with WBA implementation: poor understanding as to the purpose of WBAs; insufficient time available for undertaking these assessments; and inadequate training of trainers. Approaches to addressing these three problems with WBA implementation are discussed. It is likely that a variety of solutions will be required. The prevalence of negativity towards WBAs is substantial in both trainees and trainers, eroding the effectiveness of learning that is consequent upon them. The educational community must now listen to the concerns being raised by the users and consider the range of strategies being proposed to improve the experiences of trainees, and their trainers.

KEYWORDS:

Engagement; Implementation; Perceptions; SLEs; Supervised learning events; Trainees; Trainers; WBAs; Workplace based assessment

PMID:

 

26003590

 

DOI:

 

10.1007/s10459-015-9614-0