임상실습의 수행능력 평가에서 피드백-제공 행동(Med Teach, 2015)

임상실습의 수행능력 평가에서 피드백-제공 행동(Med Teach, 2015)

Feedback-giving behaviour in performance evaluations during clinical clerkships

HAROLD G. J. BOK1, DEBBIE A. D. C. JAARSMA2, ANNEMARIE SPRUIJT3, PETER VAN BEUKELEN1, CEES P. M. VAN DER VLEUTEN3 & PIM W. TEUNISSEN3,4

1Utrecht University, The Netherlands, 2University of Groningen, The Netherlands, 3Maastricht University, The Netherlands, 4VU University Medical Centre, The Netherlands

도입

Introduction

임상 훈련 프로그램에서 미니 임상 평가 연습(mini-CEX)과 같은 작업장 기반 평가를 통한 성과 평가는 학생들의 임상 성과 개선을 돕는 것을 목표로 한다(Norcini & Burch 2007). 그것은 교사, 즉 임상 감독자가 성과에 대한 관찰 후에 곧바로 의미 있는 피드백을 제공할 수 있도록 한다.

In clinical training programmes, performance evaluations through workplace-based assessments like the mini-clinical evaluation exercise (mini-CEX) are aimed at helping students improve their clinical performance (Norcini & Burch 2007). It allows the teacher, i.e. the clinical supervisor, to provide meaningful feedback directly following observation of performance.

성과 평가의 피드백이 효과적일 수 있도록, 교사들은 종합적 목적을 위한 평가와 형성적 평가(즉, 의미 있는 피드백 제공) 간에 전환해야 하는 어려운 과제를 안고 있다(Govaerts et al. 2013). 교사들은 성과에 대한 판단을 내리기 위해 관련 성과 정보를 지속적으로 획득, 조직 및 해석해야 한다(McGill et al. 2011). 

For feedback in performance evaluations to be effective, teachers have the demanding task of shifting between assessment for summative purposes and formative assessment (i.e. providing meaningful feedback) (Govaerts et al. 2013). Teachers are supposed to continuously acquire, organise and interpret relevant performance information to arrive at judgements about performance (McGill et al. 2011). 

교사마다 관찰하는 행동, 이러한 관찰 결과를 평가 및 평가에 통합하는 방법, 그리고 어떻게 피드백을 학생들에게 제공하는지가 다르기 때문에 피드백-제공 행동의 큰 편차가 생기는 것이 일반적이다(Van der Vleuten et al. 2000; Mazor et al. 2007). 이것이 문제가 되는 또 다른 이유는 형성적 WBA에서 서술적 피드백의 질적 변화와 관련되기 때문이다(Pelgrim et al. 2011; Driessen & Scheele 2013; Bok et al. 2013a).

Since teachers vary in the behaviour they observe, how they assess and integrate these observations into a judgement and how they provide feedback to the student, large variations in feedback-giving behaviour is common (Van der Vleuten et al. 2000; Mazor et al. 2007). This is problematic because research has also shown that this is related to significant variations in the quality of narrative feedback in formative workplace-based assessments (Pelgrim et al. 2011; Driessen & Scheele 2013; Bok et al. 2013a).

의료 교육뿐만 아니라 인적 자원 관리에서 얻은 놀라운 증거는 성과 개발에 있어 고품질 서면 서면 피드백의 중요성을 인정하고 있다(Govaerts et al. 2005; Brutus 2010). 그러나, Govaerts 외 연구진(2013)은 특히 서면 피드백이 학생들이 임상 성과를 개선하는 데 도움이 될 수 있는 정보가 부족하다는 증거를 발견했다. 가능한 설명으로, 저자들은 의미 있고 효과적인 서면 서술 코멘트를 제공하는 것은 교사의 피드백 능력에 대한 높은 요구(즉, 더 많은 시간과 더 많은 인지 노력이 필요하다)를 한다고 말했다(Govaerts et al. 2013).

Scholarly evidence from human resource management as well as medical education has acknowledged the importance of high-quality written narrative feedback in performance development (Govaerts et al. 2005; Brutus 2010). However, Govaerts et al. (2013) found evidence that especially written feedback lacked information that could help students to improve their clinical performance. As a possible explanation, the authors stated that giving meaningful and effective written narrative comments places high demands (i.e. this takes more time and requires more cognitive effort) on teachers’ feedback skills (Govaerts et al. 2013).

성과 평가는 종종 복잡한 임상 작업 공간에서 수행되기 때문에 교사, 학생 및 그 관계와 더불어 상황 및 조직적 요소도 교사의 피드백을 주는 행동에 영향을 미치는 것으로 입증되었다(Kogan et al. 2009; Watling & Lingard 2012; Fokkema et al. 2013; Pel).암울 외 2013).

Because performance evaluations are often performed within a complex clinical workplace, in addition to personal characteristics of teacher, student, and their relationship, contextual and organisational factors have also been proved to influence teachers’ feedback-giving behaviour (Kogan et al. 2009; Watling & Lingard 2012; Fokkema et al. 2013; Pelgrim et al. 2013).

방법

Method

Study design

Setting

Participants and procedure

Participants were sampled by maximum variation sampling to ensure variety in the teachers’ levels of expertise, animal species track and specialty. This sampling procedure provided us with information-rich cases for in-depth study (Patton 2002). The principal researcher conducted interviews between February and June 2013. In total, 14 supervisors were invited and all agreed to participate. Each interview was conducted by the principal researcher at FVMU, lasted between 30 and 45 minutes and was audio taped and transcribed verbatim. Data collection and analysis were performed iteratively for emerging issues that would be identified in subsequent interviews.

Interview development

Data analysis

The transcriptions were analysed using template analysis (King 2004). This technique involved an iterative process of qualitative data reduction and display. We created a template that consists of coded themes representing the most important issues in the data and the relationships between them. Based on existing theory (Kogan et al. 2009, 2011; Pelgrimet al. 2013; Watling et al. 2013; Bok et al. 2013b) and initial coding of parts of the dataset, the principal researcher created an ‘‘initial template’’. Subsequent iterative collection and analysis of the data modified this template.

• The principal researcher (H. G. J. B.) was responsible for coding the data and constructing themes, resulting in further development of the template. 

• After interviews 4, 10 and 12, the template’s evolution, including the identified themes, was discussed research with the group in order to prevent narrowing of ideas. 

• Using open coding, two researchers (P. W. T. and D. A. D. C. J.) analysed the sixth transcript, which was compared with the template generated by H. G. J. B. 

• Discrepancies between analyses were discussed, which resulted in minor template adjustments. 

• After 12 transcripts were coded, theoretical saturation was reached, i.e. no new themes emerged. 

• The principal researcher, D. A. D. C. J., P. v. B., C. P. M. v. d. V. and P. W. T. discussed and agreed on the final analysis of the data. 

• Two additional interviews were conducted; their transcripts were analysed and confirmed the final template.

결과

Results

교수 관련 요인

Teacher-related factors

(개인적 또는 업무 관련 사유로 인해)신체적 또는 정신적으로 지칠 때, 교육보다 환자 치료나 연구 활동과 같은 다른 전문적 업무에 상대적으로 높은 우선순위가 주어졌다.

When they were physically or mentally exhausted (due to personal or work-related reasons), other professional tasks, like patient care or research activities, were given a relatively higher priority than education.

교수-학생 상호작용 관련 요인

Teacher–student interaction-related factors

교사들은 철저하게 준비되고, 경험이 많고, 적극적인 학습 행동을 보이는 학생들에게 더 많은 임상적 책임을 부여하는 경향이 있다. 

Teachers tend to give more clinical responsibilities to thoroughly prepared, more experienced, and highly motivated students who displayed active learning behaviour. 

교사와 학생 사이에 신뢰할 수 있는 관계를 구축하려고 하는 것은 일반적으로 형성적 피드백을 제공할 기회를 창출하는 데 중요한 영향을 미치는 요소로 합의되었다. 학생들이 팀 구성원으로 참여하는데 편안함을 느끼고, 환자 관리에 대한 책임감을 느끼고, 그들의 행동에 대한 피드백을 구하고 요청할 만큼 충분히 확신하는 전문적 관계를 구축하는 것은 의도된 방식으로 mini-CEX가 사용되게 할 것이다. 

Trying to create a trustworthy relationship between teacher and student was generally agreed to be an important influencing factor in creating opportunities to provide formative feedback. Building professional relationships in which students felt comfortable participating as team members, felt a sense of responsibility for patient care and were confident enough to seek and ask for feedback on their behaviour, would enhance the use of mini-CEX instruments in the intended way. 

교수-맥락 상호작용 관련 요인

Teacher–context interaction-related factors

미니-CEX는 형성적 목적을 갖기 때문에, 초점은 의미 있는 서면 서술 피드백을 수집하는 것이었다. 그러나, 미니-CEX는 평가 프로그램의 일부가 되었고, 수행해야 할 미니-CEX의 최소 숫자가 있었기 때문에, 학생들은 필요한 미니-CEX 수를 채우는 쪽으로 피드백 탐색 행동을 바꾸었다. 결과적으로, 교사는 질적 정보를 더 적게 제공했다. 

As mini-CEXs were intended to be formative, the focus was on collecting meaningful written narrative feedback. However, because mini-CEX instruments had become part of the assessment programme and minimum numbers of completed mini-CEXs were required, students changed their feedback-seeking behaviour towards completing the required number of mini-CEXs. As a consequence, the teacher provided less qualitative information (i.e. narrative feedback). 

다른 교수들이 WBA의 가치를 인정한다고 느끼는 교수들은 미니-CEX 도입에 대해 부정적인 감정을 거의 드러내지 않았다. 

Teachers who felt that their peers recognised the value of workplace-based assessments voiced few negative feelings about the implementation of mini-CEX instruments. 

양질의 피드백은 시간과 인지적 노력을 요구하기 때문에, (구조화되지 않은) 임상 환경의 높은 업무량은 미니-CEX 사용의 장벽으로 간주되었다. 평가를 위한 시간이 주어지는 임상 환경에서 일하는 교사들은 미니-CEX를 수행하는 것이 더 쉽다고 생각했다. 또한, 조직이 점차 재정적 손실을 방지하는 것에 초점을 둠에 따라 모든 고객(환자 소유자)이 교육 목적에 적합하다고 여겨지지는 않았다. 

As good quality feedback requires (some) time and cognitive effort, the high workload of the unstructured clinical environment was seen as a barrier to using the mini-CEX instrument. Teachers working in a clinical environment that included time for assessment considered the mini-CEX easier to perform. Furthermore, the increasingly important organisational focus on preventing financial losses meant that not every client (patient owner) was perceived to be suitable for educational purposes. 

교수의 mini-CEX 적용

Teachers’ application of mini-CEX instruments in the clinical workplace

(1) 수행능력 평가를 위한 직접 관찰

(1) Direct observation in performance evaluations.

직접관찰은 성적 평가에 있어 효과적인 피드백을 제공하는데 중요하다. 왜냐하면 그것은 교수가 학생에 관련된 정보를 얻도록 지원해주기 때문이다. 게다가, 학생을 관찰하는 것은 교수에게 교과과정에 대한 정보를 준다.

Direct observation is crucial in providing effective feedback in performance evaluations because it supports the teacher in acquiring relevant information about the student. Furthermore,student observations also give the teacher information about the curriculum.

임상 업무는 업무량이 많기 때문에, 종종 교수들은 관찰 직후 학생들과 피드백을 토론하는 시간을 제한했다. 따라서 일부 교수들은 관찰 중에 학생의 수행에 대해 메모하고 나중에 피드백 토론과 후속 미니-CEX 완료 과정에서 그 메모를 기억 보조 자료로 사용했다.

due to the highly demanding tasks of clinical practice, the teacher often had limited time immediately after the observation to discuss the feedback with the student. Therefore, some teachers made notes about a student’s performance during the observation and later used them as a memory aid during the feedback discussion and the subsequent completion of the mini-CEX.

Mini-CEX를 사용하여 의견을 나누고 토론할 시간이 거의 없을 뿐 아니라, 교수들은 학생들을 관찰하기 위한 공간과 시간을 찾기 위해 애썼다.

Besides having little time to discuss and deliver the feedback using a mini-CEX, teachers also struggled to find space and time for observing students.

성과 평가를 통해 학생들이 달성하고자 하는 것에 대한 명확한 합의를 갖는 것도 중요했다(예: 특정 주제에 대한 피드백을 받고 피드백을 몇 번 받는지) "우리 학생들은 내가 항상 성과 평가에 그날의 첫 번째 환자를 사용한다는 것을 안다" (P3)

making clear agreements on what students themselves would like to accomplish through performance evaluations (e.g. receiving feedback on a specific topic and how many times feedback should be given) ‘‘My students know that I always use the first patient of the day for performance evaluations.’’ (P3)

관찰의 단점은 환자와 학생 모두 보통 그들의 행동을 바꾸고 교수에게 집중한다는 것이었다. 이것은 학생의 직무 수행능력에 영향을 미쳤으며 이후 제공된 피드백에도 영향을 미쳤다.

a disadvantage of observation was that both the client and the student usually alter their behaviour and focus on the teacher. This influenced the student’s task performance and subsequently affected the provided feedback.

(2) 수행능력 관찰 기간과 교수-학생 관계

(2) Duration of performance observations and the relationship between teacher and student.

Mini-CEX를 의도한 방식(즉, 특정 직무와 명시적으로 관련되고 짧은 시간 동안)대로 사용하는 교사는 환자가 마주치는 것을 짧은 관찰하면 교사가 특정 작업에 집중하고 특정한 서면 서술 피드백을 제공할 수 있다고 언급했다. 이와는 대조적으로, 학생들을 장시간(하루 또는 심지어 일주일) 관찰하는 교사들은 그들이 미니-CEX 도구를 다르게 사용했다고 보고했다. 

Teachers using the mini-CEX instrument as intended (i.e. explicitly related to a specific task and over a short period of time) mentioned that the short observation of a patient encounter allowed the teacher to focus on a specific task and provide specific written narrative feedback. In contrast, teachers observing students over a prolonged period of time (a day or even a week) reported that they used the mini-CEX instrument differently. 

더 오랜 시간 동안 피드백을 제공했을 때, 교사들은 더 일반적인 능력(예: 협업 기술, 개인 개발)을 포함한 다양한 관련 역량에 대해 더 많은 피드백을 제공할 수 있었다. 그들이 어떤 임상 task를 관찰하는 것에만 국한되었을 때, 교사들은 그들의 피드백이 대부분 기술적 능력에만 한정되어 있다고 느꼈다.

When feedback was given over a longer period of time, teachers were able to provide more feedback on a variety of relevant competencies, including the more generic ones (e.g. collaboration skills, personal development). When they restrained their observation to a certain clinical task, teachers felt that their feedback was mostly limited to the technical competencies.

임상 작업장에서 교사들은 학생들의 독립성을 높이고 점차 더 많은 책임을 줌으로써 학생들의 학습을 지원하고 유도하기를 원했다. 그들은 학생들에게 도전과 동기를 부여하고, 학생들에게 자기성찰을 가르치도록 피드백을 제공했다. 이것은 안전한 학습 환경에서 더 오랜 시간 동안 함께 작업해야 했다. 

Within the clinical workplace, teachers wanted to support and guide students’ learning by increasing their independence and gradually giving them more responsibilities. They provided feedback to challenge and motivate their students and to teach them to be self-reflective. This required working together over a longer period of time in a safe learning environment. 

게다가, 교사들은 학생들의 수행 능력이 향상되는 것을 보고 앞서 제공한 피드백을 추적하기 위해 학생들과의 보다 종단적 관계를 구축하는 것이 긴박하다고 느꼈다. 이것은 교사들이 학생들의 후속 조치를 취할 수 있게 했고, 그들이 제공된 피드백으로부터 발전하고, 반영되고, 반응하는지 확인할 수 있게 했다. 그 결과, 그것은 학생들이 일정 기간 동안 학생들의 학업 진척도를 더 잘 판단할 수 있게 했다.

Furthermore, teachers felt a sense of urgency in building more longitudinal relationships with students in order to see improvements in their performance and to follow-up on the previously provided feedback. This allowed teachers to follow-up with the students and to see whether they developed from, reflected on and reacted to the provided feedback. As a consequence, it allowed them to better judge students’ progress over a certain period of time.

(3) 수행능력 평가를 위한 구두 또는 서면 서술형 피드백

(3) Verbal and written narrative feedback in performance evaluations.

그 설계상, 교수는 미니-CEX에서 서술적 피드백을 기록한 사람이 되어야 한다. 그러나, 피드백에 대해 논의하고, 그것을 적고, 학생들과 함께 검증하는 것은 시간과 노력을 필요로 한다. 과중한 업무량 때문에 일부 교사들은 학생들에게 구두로 논의된 피드백을 받아 적으라고 요청했다. "나는 학생들에게 내가 구두로 제공한 피드백을 작성해 달라고 요청한다. 해당 미니-CEX 양식이 내 디지털 포트폴리오에 업로드되기 때문에 보통 저녁에 적절한 시간에 조정 및 승인할 수 있다.(P1)

By design, the teacher should be the person who documented the narrative feedback in the mini-CEX. However, discussing the feedback, writing it down and validating it together with the student required time and effort. Due to their high workloads, some teachers asked the students to write down the verbally discussed feedback themselves. ‘‘I ask my students to fill in the feedback I verbally provided. Because the corresponding mini-CEX form is uploaded in my digital portfolio, at an appropriate time, usually in the evening, I can adjust and approve it.’’ (P1)

하지만 참가자들은 또한 학생들이 자신에 대한 피드백을 받아쓰게 함으로써 생기는 부정적인 결과도 언급했다. 때때로 미니-CEX는 개선을 위한 단서들을 포함하는 의미 있는 피드백을 포함하기보다는, 자기평가보고서가 되고는 했다. 게다가, 교수가 직접 피드백을 기록하는 것은 교수로 하여금 어떻게 그들의 의견을 의미 있게 표현해야 하는지에 대해 더 많이 생각하게끔 자극하게 만들었다. "특히 개선을 위해 코멘트를 공식화하고 작성해야 할 경우, 여기에는 시간과 노력이 필요하다."

However, participants also mentioned some negative results from letting students write down feedback about themselves. Sometimes the mini-CEX became more of a self-evaluation report instead of containing meaningful feedback that included clues for improvement. Furthermore, documentation of feedback by the teacher was acknowledged to stimulate teachers to really think more about how to formulate their comments in a meaningful way. ‘‘Especially when I need to formulate and write down comments for improvement, this requires time and effort.’’ (P7)

교사들의 피드백 제공 행동은 또한 부정적인 피드백에 대한 학생들의 실제적 또는 인식된 반응에 의해 영향을 받았다. 대부분의 경우 부정적인 피드백이 구두로 제공되었고 미니-CEX에 문서화되지 않았다. 교사들은 부정적인 피드백을 기록하는 것을 꺼렸다. 왜냐하면 그들은 학생들에게 동기를 부여하는 것에 초점을 맞추기를 원했기 때문이다. 그들은 부정적인 피드백이 학생의 ego를 해치는 것을 두려워했다. 또한, 교수들은 학생들에게 perceived ego 또는 image에 damage를 입을 위험이 있기 때문에 부정적인 피드백은 개인적으로 제공하는 것을 선호했다.

Teachers’ feedback-giving behaviour was also influenced by the student’s actual or perceived reaction towards negative feedback. In most cases, negative feedback was provided verbally and not documented in the mini-CEX. Teachers were reluctant to document negative feedback because they wanted to focus on motivating students, they were afraid of damaging the student or experienced ego damaging themselves when providing negative feedback. Also, they preferred to provide negative feedback privately due to the risk of perceived ego or image damage to the student.

(4) 형성적 목적과 총괄적 목적이 모두 있는 수행능력 평가

(4) Performance evaluations for both formative and summative purposes.

Mini-CEX의 목적이 의미 있는 서술적 피드백을 수집하는 것이라는 사실에도 불구하고, 교사와 학생 모두요구되는 수의 평가를 완료하는 쪽으로 초점이 이동했다. 이러한 총괄평가적 측면 때문에 학생들은 그들의 피드백 탐색전략을 바꾸었다. "많은 경우에, 나는 개선을 위한 문제에 대한 의미 있는 피드백 대신에 긍정적인 피드백만을 제공한다. 그리고 학생들은 자신의 수행에 대해 자신 있을 때만 미니-CEX를 요청한다.(P8)"

Notwithstanding the fact that the purpose of the mini-CEX was to collect meaningful narrative written feedback, the focus of both teachers and students shifted towards completing the required number of performance evaluations. Due to this summative aspect, students changed their feedback-seeking strategies. ‘‘A lot of times, I only provide positive feedback instead of meaningful feedback on issues for improvement. Students only ask for a mini-CEX when they are confident about their task performance.’’ (P8)

포트폴리오 검토 과정 때문에 교사들은 종종 부정적인 서술적 피드백을 미니-CEX에 포함하기를 꺼렸다. 그들은 자신들의 의견이 고부담 평가 절차에 포함될 만큼 충분히 중요하지 않다고 느꼈다.

Because of the portfolio review process, teachers were sometimes reluctant to include negative narrative feedback in the mini-CEX. They felt that their comments were not important enough to be included into a high-stakes assessment procedure.

형성적 목적으로 고안된 미니-CEX가 [장기적으로 종단적 고부담 평가 프로토콜의 일부라는 사실]이 원래 의도를 왜곡되게 만든 것으로 보인다.

The fact that the mini-CEX instrument that was intended to be formative was, in the long run, part of a longitudinal high-stakes assessment protocol, apparently corrupted its original intentions.

고찰

Discussion

교사의 개인 교육 목표와 신념이 형성적 WBA라는 당초의 의도와 일치할 때, 의도한 방식으로 더 자주 사용되었다. 이는 평가자의 수행평가에 대한 self-theory(평가자의 신념이 학생들의 미래 행동에 대한 판단과 기대에 영향을 미친다는 것)에서의 기존 문헌과 일치한다(Hong et al. 1997; Teunissen & Bok 2013).

When teachers’ personal educational goals and beliefs. align with the intended ideas underpinning formative workplace-based assessment, they were more frequently used in the intended way. This is in line with literature on the influence of assessors’ self-theories on performance evaluations, which assessors’ state that beliefs affect their judgements and expectations of students’ future behaviour (Hong et al. 1997; Teunissen & Bok 2013).

교사들의 경험 수준은 특히 그들이 성과 평가를 어떻게 사용했는지와 관련이 있는 것으로 보였다. Govaerts 등은 의미 있는 피드백을 제공하고 학생의 성과를 평가하려면 성과 평가에 대한 특정 수준의 전문지식이 필요하며 과제 관련 경험이 필요하다고 설명했다(Govaerts et al. 2011). 경험이 부족한 교사는 장기 지원, 성과 평가를 위한 추가 할당 시간, 현장 훈련 및 감독을 받아야 한다(Govaerts et al. 2013).

Teachers’ levels of experience appeared particularly relevant to how they used performance evaluations. Govaerts et al. discussed that providing meaningful feedback and assessing a student’s performance required a certain level of expertise in performance assessment and demanded task-related experience (Govaerts et al. 2011, 2012). inexperienced teachers should receive long-term support, additional allocated time for performance evaluations, and on-the-job training and supervision (Govaerts et al. 2013).

안전한 학습 환경에서 교사-학생 간의 종단적 관계를 조성하는 것은 피드백을 주는 행동을 용이하게 했다. 이러한 신뢰할 수 있는 관계는 교사가 학생을 관찰하는 데 더 많은 가능성을 만들어 냈으며, 교사가 학생의 임상적 수행 능력이 향상되는 것을 볼 수 있게 하고 이전에 제공된 피드백에 대한 후속 조치를 취할 수 있게 했다.

Creating longitudinal teacher–student relationships in a safe learning environment facilitated feedback-giving behaviour. Such trustworthy relationships created more possibilities for the teacher to observe the student, and allow the teacher to see improvements in the student’s clinical performance and to follow-up on the previously provided feedback.

보다 능동적인 피드백을 추구하는 행동은 학생들이 편하게 참여할 수 있는 전문 학습 문화에서 발생한다. 학생들의 이러한 활동적인 행동은 교사들의 피드백-제공 행동에 자극적인 효과를 가지며, 그 결과 미니-CEX 도구를 더 자주 사용하게 만든다.

More active feedback-seeking behaviour occurs in a professional learning culture where students feel comfortable participating. This active behaviour by students has a stimulating effect on teachers’ feedback-giving behaviour, resulting in a more frequent use of mini-CEX instruments.

WBA 도구는 일반적으로 의미 있는 서술적 피드백을 수집하는데 초점을 맞춘 형성적 목적을 가져야 한다. 명백히, 미니-CEX를 종단적 고부담 평가 프로토콜에 포함시키는 것은 이러한 원래의 의도를 방해한다.

Workplace-based assessment instruments are usually intended to be formative with the focus on collecting meaningful written narrative feedback. Incorporating mini-CEXs in a longitudinal high-stakes assessment protocol apparently hinders these original intentions.

문헌은 피드백을 제공하도록 설계된 WBA가 총괄평가로서 것으로 인식되었을 때, 학생들의 피드백 탐색을 감소시켰다는 증거를 제공한다(Driessen et al. 2010;Govaerts et al. 2013; Bok et 2013a,b). 

Literature provides evidence that when workplace-based assessment methods, designed to provide feedback, were perceived to be summative, students’feedback-seeking behaviour decreased (Driessen et al. 2010;Govaerts et al. 2013; Bok et al. 2013a,b). 

그러나, 모든 개별 평가가 궁극적으로 최종적 총괄평가 결정에 기여했다는 사실은 학생들이 모든 개별 평가를 형성평가라기보다는 총괄평가로 인식하게 했다.

However, the fact that all individual assessments ultimately contributed to the final summative decisions caused students to perceive all individual assessments as summative rather than formative. 

강점과 한계

Strengths and limitations

미래 연구

Future research

실천에 대한 함의

Implications for practice

일부 부서는 일일 임상 프로그램의 성과 관찰에 대한 시간을 할당하여 관찰과 피드백에 대한 시간을 일정에 포함시키는 데 성공한다. 임상 실습에 관찰을 포함시키면 교사가 성과 관찰에 따라 직접 의미 있는 업무 관련 피드백을 제공할 수 있는 기회가 생긴다. 

Some departments succeed to incorporate time for observations and feedback in their schedules by allocating time for performance observations in the daily clinical programme. Embedding observations in clinical practice creates opportunities for teachers to provide narrative meaningful and task-related feedback directly following performance observations. 

이와 동시에, 이것은 학생들이 선생님들에게 성과평가를 요구하는 것을 더 쉽게 만든다. 그러나, 조직의 중요한 초점이 점점 더 재정적 손실을 막는데 집중됨으로 인해서, 보다 효율적인 워크플로우 및 프로토콜에 집중하게 되므로 평가 프로세스를 방해한다. 왜냐하면 성능 평가와 관련된 관찰 및 피드백을 위한 시간이 더 짧아지기 때문이다.

Simultaneously, this makes it easier for students to ask their teachers for a performance evaluation. However, the increasingly important organisational focus on preventing financial losses interferes with the evaluation process due to a focus on more efficient workflows and protocols that leaves less time for observations and feedback related to performance evaluations.

효과적인 피드백 제공을 강화하기 위해, 교사와 학생 모두 전문적인 관계를 정립하는 데 투자해야 하고 피드백 교환을 지원하고 촉진하는 안전한 학습 환경을 만들기 위해 노력해야 한다. 좀 더 종단적으로 구성된 임상실습에 투자하면 신뢰할 수 있는 교사-학생 관계를 개발할 수 있으며, 이는 역량 개발을 문서화하는데 중요하다. 이것은 또한 임상의가 [스스로를 학생들을 지도하고 지원할 임무가 있는 교사]라고 자신을 식별하는 데 도움이 될 수 있다. 

To enhance the provision of effective feedback, both teachers and students should invest in establishing a professional relationship and strive to create a safe learning environment that supports and facilitates the feedback exchange. Investing in more longitudinal clinical clerkships allows trusting teacher–student relationships to develop, which is important for documenting competency development. This could also have potential positive effects on helping clinicians identify themselves as teachers with tasks in guiding and supporting students. 

학생들을 책임을 지는 임상팀의 일원으로 편입시킴으로써, 학생들은 보다 적극적인 피드백을 추구하는 행동을 보여줄 것이고, 교사들의 피드백을 주는 행동은 긍정적인 영향을 받을 것이다(Bok & Teunissen 2013). 더욱이, 임상 환경 내에서 교사의 피드백-기부 행동은 상호 관련 요소(교사, 교사-학생 상호작용 및 교사-텍스트 상호 작용)에 의해 영향을 받기 때문에, 우리는 교수개발 프로그램에 교사의 피드백 제공 행동을 강화하는 요인들을 통합할 것을 제안한다.

By incorporating students as members of the clinical team with subsequent responsibilities, students will demonstrate more active feedback-seeking behaviour and teachers’ feedback-giving behaviour will be influenced positively (Bok & Teunissen 2013). Furthermore, as teachers’ feedback-giving behaviour within the clinical setting is influenced by interrelated factors (teacher, teacher–student interaction, and teacher–context interaction), we propose incorporating those factors that enhance teachers’ feedback giving behaviour into faculty development programmes.

형성적 미니-CEX의 사용을 촉진하기 위해, 우리는 WBA 프로토콜을 조정하고 총괄적 판단에 통합되지 않게 하여 진정으로 저부담 평가가 되게 할 것을 제안한다. 이것은 교사와 학생 모두가 제공되거나 요청되는 피드백의 결과적 부정적 영향이나 비용을 인식하지 않고 안전한 학습 환경에서 피드백을 주고 구할 수 있도록 한다. 

To stimulate the usage of formative mini-CEX instruments, we propose to adjust workplace-based assessment protocols and include instruments that are truly low-stakes and not integrated into a final summative judgement. This allows both teachers and students to give and seek feedback in a safe learning climate without perceiving costs or consequential negative effects from provided or sought feedback. 

예를 들어, 미니-CEX는 엄격하게 patient encounter를 관찰하고 형성적 평가에만 활용하여 교사가 task에만 집중하고 의미 있고 건설적인 피드백을 제공할 수 있도록 한다. 이것은 장기간의 성과를 평가하는 WBA 에 의해 보완된다. 이것은 더 고부담 평가에서 교수들이 학생 역량의 모든 측면에 대한 학생들의 임상 개발, 반사, 피드백 후속 조치를 신중하게 고려할 수 있도록 한다. 학부 및 대학원 의료 훈련에서 이 중요한 문제에 대한 더 많은 통찰을 얻기 위해서는 더 많은 경험과 연구가 필요하다.

For example, mini-CEX instruments can be used for strictly formatively assessments of short observations of patient encounters allowing the teacher to focus on the task and provide meaningful and constructive feedback, supplemented by workplace-based assessments evaluating performance over a prolonged period of time. This allows the teacher to carefully consider the student’s clinical development, reflections and feedback follow-up on all aspects of clinical competence in a more high-stakes evaluation. More experience and research are needed to create more insight into this important issue in undergraduate and postgraduate medical training.

---

Med Teach. 2016;38(1):88-95. doi: 10.3109/0142159X.2015.1017448. Epub 2015 Mar 17.

Feedback-giving behaviour in performance evaluations during clinical clerkships.

Bok HG1, Jaarsma DA2, Spruijt A3, Van Beukelen P1, Van Der Vleuten CP3, Teunissen PW3,4.

Author information

1

a Utrecht University , The Netherlands .

2

b University of Groningen , The Netherlands .

3

c Maastricht University , The Netherlands .

4

d VU University Medical Centre , The Netherlands.

Abstract

CONTEXT:

Narrative feedback documented in performance evaluations by the teacher, i.e. the clinical supervisor, is generally accepted to be essential for workplace learning. Many studies have examined factors of influence on the usage of mini-clinical evaluation exercise (mini-CEX) instruments and provision of feedback, but little is known about how these factors influence teachers' feedback-giving behaviour. In this study, we investigated teachers' use of mini-CEX in performance evaluations to provide narrative feedback in undergraduate clinical training.

METHODS:

We designed an exploratory qualitative study using an interpretive approach. Focusing on the usage of mini-CEX instruments in clinical training, we conducted semi-structured interviews to explore teachers' perceptions. Between February and June 2013, we conducted interviews with 14 clinicians participated as teachers during undergraduate clinical clerkships. Informed by concepts from the literature, we coded interview transcripts and iteratively reduced and displayed data using template analysis.

RESULTS:

We identified three main themes of interrelated factors that influenced teachers' practice with regard to mini-CEX instruments: teacher-related factors; teacher-student interaction-related factors, and teacher-context interaction-related factors. Four issues (direct observation, relationship between teacher and student, verbal versus written feedback, formative versus summative purposes) that are pertinent to workplace-based performance evaluations were presented to clarify how different factors interact with each other and influence teachers' feedback-giving behaviour. Embedding performance observation in clinical practice and establishing trustworthy teacher-student relationships in more longitudinal clinical clerkships were considered important in creating a learning environment that supports and facilitates the feedback exchange.

CONCLUSION:

Teachers' feedback-giving behaviour within the clinical context results from the interaction between personal, interpersonal and contextual factors. Increasing insight into how teachers use mini-CEX instruments in daily practice may offer strategies for creating a professional learning culture in which feedback giving and seeking would be enhanced.

PMID:

 

25776225

 

DOI:

 

10.3109/0142159X.2015.1017448

[Indexed for MEDLINE]