교수들은 어떻게 WBA훈련 프로그램을 경험하는가? (Med Educ, 2015)

교수들은 어떻게 WBA훈련 프로그램을 경험하는가? (Med Educ, 2015)

How faculty members experience workplace-based assessment rater training: a qualitative study

Jennifer R Kogan,1 Lisa N Conforti,2,† Elizabeth Bernabeo,3 William Iobst4,† & Eric Holmboe2,†

도입

INTRODUCTION

피드백 및 평가를 위해 임상술기 (환자 치료 현장의 레지던트를 관찰)을 직접 관찰하는 것은 레지던트 교육 1-3에서 일반적인 WBA 접근 방식이며, CBME의 맥락에서 점차 중요 해지고 있습니다 그러나 평가 오류, 감정, 업무 또는 상황 특이적 단서, 인지 편견, 기관 문화, 다양한 성과 이론 및 추론, 교수진 자신의 임상 기술, 평가되는 기술에 대한 내용 전문성과 평가자 전문 지식은 평가의 품질에 모두 영향을 미칠 수 있습니다 .6-14 서로 다른 평가자는 종종 성과의 서로 다른 측면에 attend to 하거나 가치를 부여하며, 성과를 판단하기위한 명확한 기준이 없거나 다양한 표준을 사용합니다. 교수는 레지던트의 실적을 자주 '어떻게 할 것인가'(자신을 표준으로 삼는 것) 또는 유사한 수련 수준의 레지던트 (규범적 표준)을 가지고 레지던트에게 기대하는 것과 비교합니다. 일부 교수자는 gut 또는 gestalt 느낌에 의존한다. 교수진은 모범 사례에 반대하여 거주자를 벤치마킹하는 기준 기반 표준을 거의 사용하지 않으며, 심지어 준거 기반 역량 판단도 연수생의 상대적 비교에 의해 영향을 받을 수 있다.

Direct observation of clinical skills (observing resi- dents in the actual delivery of patient care) for the purpose of feedback and evaluation is a common workplace-based assessment (WBA) approach in residency training1–3 and is increasingly important in the context of competency-based medical educa- tion.4,5 However, rating errors, emotions, task- or situation-specific cues, cognitive bias, institutional culture, different performance theories and infer- ence, and faculty members’ own clinical skills, con- tent expertise in the skills being assessed and rater expertise can all impact on the quality of assess- ment.6–14 Assessors often attend to or value different aspects of performance, lack a clear standard for judging performance or use variable standards (sometimes called frames of reference) against which to judge residents.9,11,13 Faculty staff fre- quently compare resident performance with what they would do (self as standard) or with what they expect of residents at a similar level of training (normative standard); some rely on a gut or gestalt feeling.9 Faculty members rarely use a criterion- based standard to benchmark residents against best practices, and even criterion-based competence judgements may be influenced by relative compari- sons of trainees.9,15

역량 중심의 교육을 성공적으로 수행하려면 WBA의 질을 높이고 궁극적으로 환자 간호를 향상시키기 위해 교수진 개발이 필요합니다 .19

The successful implementation of compe- tency-based education requires faculty development to improve the quality of WBA and ultimately patient care.19

Mini-CEX 평가 운동 (mini-CEX)은 임상 기술의 직접 관찰을 위해 광범위하게 사용되며, 평가 품질을 향상시키기 위해서는 일반적으로 교수진 개발 노력이 필요합니다. 그러나 가장 효과적인 훈련 방법에 관해서는 거의 합의가 이루어지지 않았다. Rater 훈련 기술은 성과 차원performance dimension 훈련 (PDT)과 Frame of Reference 훈련 (FoRT)을 포함한다 .22,23)

• PDT는 평가자의 평가를 평가자에게 익숙하게함으로써 평가의 효과가 향상 될 수 있다는 전제에 기반을두고있다. 24 특정 기술을 수행하는데 필요한 능력의 주요 구성 요소(지식, 행동 및 태도)를 정의하여 shared mental model을 창출한다 (예 : 이력 수집을 구성하는 지식, 행동 및 태도를 식별함으로써). 24 

• FoRT는 평가자에게 평가할 각 차원에 적합한 기준을 제공함으로써 PDT를 확장합니다. 평가자에게는 각 차원을 나타내는 행동 인시던트 샘플 (각 인시던트별로 표시되는 성능 수준과 함께), 비디오 기반 예제를 사용하여 이러한 표준에 따라 실천 평가를받으며 성과를 평가하기위한 피드백을받을 수 있습니다 .22,24,25

The mini-clinical evaluation exercise (mini-CEX) is widely used for direct observation of clinical skills20,21 and faculty development efforts are typically required to improve assessment quality. However, little consensus exists regarding the most effective training methods. Rater training tech- niques have included performance dimension train- ing (PDT) and frame of reference training (FoRT).22,23 

• The former is based on the premise that the effectiveness of ratings can be improved by familiarising raters with the dimensions on which performance is rated prior to their observing performance.24 Key components of competence (knowledge, behaviours and attitudes) for specific skills are defined to create a shared mental model (e.g. by identifying the knowledge, behaviours and attitudes that comprise history taking).24 

• Frame of reference training extends PDT by providing raters with the appropriate standards for each dimension to be rated. Raters are provided with a sample of behavioural incidents representing each dimension (along with the performance level represented by each incident), practise rating according to these standards using video-based examples, and receive feedback to evaluate performance.22,24,25

PDT와 FoRT의 이점이 직업 심리학에서 입증되었지만 24), 의학 교육의 효과는 더 modest했다 .22,23) PDT와 FoRT의 결과를 기술 한 연구는 독점적으로 평가 행동의 정량적 변화(신뢰도와 정확성)에 중점을 두었고 효과는 미미한 것으로 나타났습니다 .22,23 왜 이런 일이 일어날 지에 대한 이해가 부족합니다.

Although the benefits of PDT and FoRT have been demonstrated in occupational psychology,24 their effectiveness in medical education has been more modest.22,23 Research describing the outcomes of PDT and FoRT has exclusively focused on quantita- tive changes in rating behaviour (i.e. inter-rater reliability and accuracy), and the effects have been small.22,23 We lack understanding as to why this might be.

METHODS

Sample

Figure 1 summarises participant recruitment and participation. There were six study sessions; we clustered randomised participants into groups of six to eight based on faculty availability to participate in the rater training on a given date and the number of research personnel available for interviews.

Faculty development programme

평가자 판단의 variability의 근원과 해결책에 대한 다양한 관점이 있다.

There are multiple, although not mutually exclusive, perspectives on the origins of and possible solutions to the variability in assessment judgements.31 

• 사회적 구성주의자 이론
  Social constructivist theory postulates that score variation arises from multiple ‘true scores’ rather than a sin- gle ‘true score’ distorted by error and that consider- ation of multiple perspectives adds value to assessment.2,31 

• 행동주의 이론: 이번 교수개발 인터벤션의 관점 
  Another perspective, grounded in behaviourism, postulates that score variation arises because assessors do not apply assessment criteria correctly and that faculty development in which competencies and criterion are articulated is one potential solution to improve assessment.31 

It is this latter perspective that informed the majority of the content of our faculty development intervention.

As part of a larger faculty development programme about assessing residents via direct observation with patients (Fig. 2), participants engaged in 3 hours of rater training exercises focused on assessing history taking, physical examination and counselling.

Data collection and analysis

Figure 2 provides an overview of data collection (dashed lines). Participants completed an online demographic questionnaire. 

• After each rater train- ing exercise, participants individually watched addi- tional trigger videos, completed a rater assessment form, and were individually interviewed for 10 min- utes to elicit how the workshop had influenced their approach to assessment (Time 1). 

• At the end of the in-person training, a focus group was used to fur- ther elicit participants’ experiences (Time 2). 

• When they had finished the three spaced learning ses- sions, participants were given a 30-minute individual telephone interview to elicit final thoughts about the training (Time 3). 

Interviews were conducted by study investigators who were not workshop facilita- tors. Interview questions can be found in Appendix S2 (online).

We used a constructivist grounded theory approach to analyse our data.54,55 In this perspective, meaning is created as both participants and researchers inter- act with and interpret their ‘realities’, challenging the belief that there is one ‘objective truth’ that can be measured or captured through research.54 This conceptualisation of grounded theory thus allows us to ‘find what research participants define as real, and where their definitions of reality take them’.54 

Transcripts were sampled for coding across participants and interviewers, and coding was performed concurrently with data collection. Two researchers (JRK and LNC) independently used open coding and constant comparative techniques to develop a preliminary coding structure.54–57 A portion of the transcripts were coded by additional study team members (EH, KR, SR, EB) to review, further define and refine the coding structure.

Codes were established in an iterative process; coding informed subsequent discussions with the research team and the discussions informed coding. Connections between codes were explored and cate- gories were determined (axial coding). The purpose of axial coding is to sort, synthesise and organise large amounts of data and reassemble them in new ways after open coding.56 Axial coding answers ques- tions of ‘when, where, why, who, how, and with what consequences’.57 Refinement of the coding struc- ture continued as analysis progressed. Through constant comparison of codes and categories, the data were organised into aggregate themes. Coding was terminated when theoretical saturation was achieved and when all team members agreed upon the final interpretation of the data. NVivo Version 8.0 (QSR International Pty Ltd, Melbourne, Vic, Australia) was used to organise and analyse the coding structure.

RESULTS

Forty-five of 49 participants completed the study (Fig. 1) Table 1 describes participant characteristics.

관측에 대한 평가자 교육의 이점

Benefits of rater training on observation

많은 참가자들은 PDT가 어떻게 직접 관찰에 대한 표준화되고 체계적인 접근법을 가질 수 있었는지 설명했습니다. '정신 체크리스트'를 가짐으로써 참가자들은 important skills에 관심을 가지게되었고, '보다 포괄적인', '보다 구체적이고 덜 우연한'것으로 묘사 된 관찰 결과가 생성되었습니다. 많은 참가자들은 직접 관측에 대한 체계적인 접근 방식이 이전의 접근법과 현저히 다르다는 점을 분명히 밝혔는데, 이전 접근법에서는 글로벌, 비특이적 '자유형freeform'평가 또는 red flag 식별을 목표로 한 평가에 우선적으로 초점을 맞추었다. 이 참여자들 중 일부는 프레임 워크가 관찰을 guide해주었기 때문에, 관찰이 정신적으로 부담스럽지 않았다고 설명했다.

Many participants described how PDT enabled them to have a more standardised, systematic approach to direct observation. Having a ‘mental checklist’ helped these participants attend to important skills, generating observations that were described as ‘more comprehensive’, ‘more specific’ and less haphazard. Many participants articulated that such a systematic approach to direct observa-tion was markedly different from prior approaches, which preferentially focused on glo- bal, non-specific ‘freeform’ assessments, or assess- ments aimed at identifying red flags. Some of these participants described how observation felt less mentally taxing because the frameworks guided observation.

직접 관찰에 대한 체계적인 접근 방식을 통해 많은 참가자가 사전 정의 된 기술을 적극적으로 찾고 레지던트의 강점과 개선이 필요한 영역을 식별하고 누락omission 오류를 발견하는 데 도움을주었습니다. 많은 사람들은 PDT가 (단순히 '올바른'질문을 하는 능력이 아니라) 레지던트들의 대인 관계, 의사소통 기술, 환자 중심주의에 관심을 갖게 만들어 주었다고 대답했다. 예를 들어, 한 참석자는 대안 제공 여부, 환자의 참여 여부, 상담 시간에 환자의 이해가 도출되었는지 여부 (5H, 시간 1)에주의를 기울였습니다. 많은 참가자들은 이전에 이러한 환자 중심 기술을 찾지 못했던 방법을 설명했습니다.

This more organised approach to direct observa- tion helped many participants actively look for predefined skills, helped to identify resident strengths and areas needing improvement, and included noticing errors of omission. Many mentioned how PDT increased their attentiveness to residents’ interpersonal and communication skills and patient-centredness, not just their ability to ask the ‘right’ questions. For example, one par- ticipant described paying attention to whether alternatives were offered, whether the patient was engaged, and whether patient understanding was elicited during a counselling session (5H, Time 1). Many participants described how they had not been looking for these patient-centred skills previ- ously:

참가자들은 훈련이 관찰에 대한 접근 방식에 영향을 미치는 몇 가지 추가적 방법을 설명했다. 일부 참가자들은 환자를보다 비판적으로 관찰하고 환자의 관점에서 상호 작용을 평가하며 의식적으로 환자가 가진 경험을 분별하려고 노력한다고 설명했습니다 (6D, 시간 1). 다른 사람들은 PDT가 자신과 자신의 학습자가 직접 관찰을 준비하는 방법을 어떻게 변화시켰는지 설명했습니다. 프레임워크 스킬에 익숙한 경우에도 프레임워크를 직접 관찰하기 전에 사용할 수 있도록 하는 것이 유용했습니다. 직접 관찰을 하기 전에 프레임워크를 검토하는 것이 평가자로서의 역할을 prime해주었다.

Participants described several additional ways in which training affected their approach to observa- tion. Some participants described observing the patient more critically, assessing the interaction from the patient’s perspective, and consciously trying to ‘discern the experience the patient was having’ (6D, Time 1). Others described how PDT changed how they prepared themselves and their learners for direct observation. For them, it was helpful to have the frameworks available for use prior to direct observation, even when they were familiar with the framework skills. Reviewing frame- works before direct observation primed participants for their assessment role:

일부 참가자들은 직접 관찰 전에 프레임워크를 레지던트들과 공유하여 prime하고자 노력했습니다. 예를 들어, 참가자들은 중요한 기술을 강조하기 위해 레지던트와의 상담 및 동기 부여 인터뷰 프레임워크를 검토하는 것에 대해 설명했습니다. 어떤 사람들은 학습자에게 성과를 향상을 위한 동기를 부여하는 데에 학습자와 프레임워크를 공유하는 것이 '엄청난 힘'이 있다고 말했다.

Some participants shared the frameworks with their residents to prime them before observation. For example, participants described reviewing the coun- selling and motivational interviewing frameworks with their residents to highlight important skills. Some described the ‘tremendous power’ of sharing the framework with learners to motivate them to improve their performance:

피드백에 대한 평가자 교육의 이점

Benefits of rater training on feedback

많은 참가자에게 직접 관찰 동안 참석한 스킬의 폭의 증가는 피드백 중에 해결 될 수있는 다양한 기술 영역을 증가시키는 것으로 인식되었습니다. 많은 참석자들이 PDT가 풍부하고enriched 보다 세분화된granular 평가 어휘를 제공하였음을 설명했습니다. 관측이 바뀌지 않았을지라도 많은 사람들이 특정 임상 기술에 라벨을 붙이는 것에 자신감을 느꼈다고 설명했다. 기술을 평가할 수있는이 능력은 평가와 피드백이 '더 쉽다'는 느낌을 주었습니다. 

많은 사람들은 구체적이고 구체적이고 긍정적이고 건설적인 피드백을 제공 할 때 향상된 자기 효능감을 묘사했습니다. 부분적으로, 프레임 워크는 참가자가 임상 스킬의 구체적인 행동 사례를 제공 할 수 있도록 가이드라인 역할을하는 것처럼 보였다. 참가자들은 자신의 강화된 자기 효능감이 더 큰 목적의 감각을 갖게하여 직접적인 관찰을 하고자하는 욕구를 조성했다고 설명했다. 많은 사람들은 PDT가 어떻게 수치 평가와 비교하여 질적, 서술적 피드백의 중요성과 가치를 강조하였는지를 표명했습니다.

For many participants, the increase in the breadth of skills attended to during direct observation was perceived to increase the variety of skill domains that could be addressed during feedback. Many par- ticipants described how PDT provided them with an enriched, more granular assessment vocabulary. Even when observations had not changed, many described feeling more confident in their ability to label particular clinical skills. This ability to label skills made assessment and feedback feel ‘easier’. Many described enhanced self-efficacy in giving spe- cific, concrete, positive and constructive feedback. In part, the frameworks seemed to act as guidelines that enabled participants to provide specific behavioural examples of clinical skills. Participants described how their enhanced self-efficacy fostered a desire to undertake more direct observation as they had a sense of greater purpose. Many expressed how PDT emphasised the importance and value of qualitative, narrative feedback com- pared with numerical ratings.

PDT가 피드백을 개선하는 메커니즘 중 하나는 참여자가 전문가로서 자신의 게슈탈트 또는 holistic 평가를 해체하고, overall 평가를 이끌어내는 specific, concrete 행동을 식별하는 것입니다. 일부 참가자들은 자신의 holistic 평가를 해체하는 것이 연수생이 자신의 판단을 더 잘 이해하는 데 어떻게 도움이되는지 설명했습니다. 그들은 존재하는 것의 차이점을 다음과 같이 설명했습니다.

One of the mechanisms by which PDT improved feedback was through helping participants, as experts, deconstruct their gestalt or holistic assess- ments and identify the specific, concrete behav- iours driving their overall assessment. Some participants described how deconstructing their holistic assessments could help trainees better understand their judgements. They described the difference between being:

Entrustment을 표준으로 사용하는 평가 교육에 대한 혜택

Benefit on rater training of using entrustment as the standard

교육을 받기 전에 많은 참가자들은 rating scale 사용에 대한 표준을 명시적으로 생각하지 않았다고 보고했습니다. 많은 사람들이 사용하는 표준에 대해 불확실하고 전반적인 판단에 어떻게 도달했는지에 대한 명확성이 부족했습니다.

Prior to training, many participants reported they had not explicitly thought about the standard they used to inform their use of rating scales. Many were uncertain about what standard to use and lacked clarity about how they were arriving at their overall judgement:

대부분의 참가자들은 평가의 기준으로 위임entrustment으로 전환하고 규범적, 자기 참조 및 게슈탈트 기반 방법에서 벗어나려고 했습니다. 일부 사람들은 "entrustment"가 평가의 목적과 더 인지적으로 일치하기 때문에, 평가할 때 '명확한 확신을 주었습니다'

Most participants were willing to shift to entrust- ment as the standard for assessment and to move away from normative, self-referenced and gestalt- based methods. Some believed entrustment was an easier assessment anchor or construct that ‘pro- vided a certain clarity’ when assessing as it was more cognitively aligned with the purpose of assessment:

참가자들이 위임entrustment을 평가 기준으로 채택 할 수 있도록하는 여러 가지 측면의 교육이 있었습니다. 

There were several aspects of training that seemed to enable participants to adopt entrustment as the assessment standard. 

첫째, 많은 참가자들은 훈련이 역량기반평가를 정의해주고, 역량이 시간에 기반한 것이 아니라 맥락적이라는 것을 강조했던 것이 도움이 된다고 생각했습니다. 일부 참가자는 기준 참조 평가에 대해 처음으로 학습하는 것에 대해 설명했습니다.

Firstly, many participants felt that it was helpful that training defined compe- tency-based assessment and highlighted that com- petence is contextual, and not necessarily time- based. Some participants described learning, for the first time, about criterion-referenced assess- ment:

둘째, 참여자는 역량을 정의 할 수 있어야했습니다. 교육을 받기 전에는 많은 사람들이 자신이 역량을 어떻게 정의했는지에 대해 명확하게 고려하지 않았습니다. 평가자 교육을받는 동안 '안전하고 효과적이며 환자 중심적인 관리'로 정의하는 능력은 평가에 대한 명확한 참조 표준을 제공했습니다.

Secondly, participants needed to be able to define competence. Prior to training, many had not explic- itly considered how they defined competence. For some, defining competence as ‘safe, effective, patient-centred care’ during rater training provided a clear reference standard for assessment:

셋째, 안전하고 효과적이며 환자 중심의 치료 (능력)를 뒷받침하는 세밀한 기준을 마련하는 것이 참여자가 위탁entrustment 척도를 scale anchor로 사용하는 능력에 중요했습니다. 성과 차원 교육은 표준을 수립하고 참가자가 최종 평가 결정을 내릴 수있게하는 중요한 단계 인 '비 편향적', '합의 된'기준 및 '필수 항목'(3B, 시간 1)을 제공하는 데 도움이되었습니다. 참가자들은 명확한 기준, 벤치 마크 및 표준이 평가 결정을 내릴 수있는 용이성을 용이하게한다고 믿었습니다. 참가자들이 모든 점에 동의하지 않거나 레지던트를 채점하는 방법이 다른 경우에도 프레임워크와 앵커는 '프로세스를 덜 주관적으로 만들고' '직감'에 덜 의존하는데 도움이 되었다. 이것은 주민들에게 당신이 평가하는 방식을 정확하게 보여줄 수있는 방법을 제공했고, '당신이 좋아하거나 좋아하지 않아서 당신이하지 못했다'(3H, 시간 3). 따라서 참가자들은 레지던트들이 평가가 덜 자의적이라고 생각할 것이라고 믿었습니다.

Thirdly, having granular criteria that underpinned safe, effective, patient-centred care (competence) was critical to participants’ ability to use entrust- ment as the scale anchor. Performance dimension training helped to provide the ‘non-biased’, ‘agreed upon’ criterion and the ‘must haves’ (3B, Time 1), which represented an important step in establishing the standard and enabling participants to make final assessment decisions. Participants believed clear criteria, benchmarks and a standard facilitated the ease with which they could make assessment decisions. Even when participants did not agree on all points, or had different ways of grading resi- dents, they described how the frameworks and anchors helped ‘make the process less subjective’ and less reliant on a ‘gut feeling’. This provided a way to show residents ‘exactly how you are rating them’ and that ‘you are not doing it because you like, or didn’t like, them’ (3H, Time 3). Accord- ingly, they believed the residents would also feel assessments were less arbitrary:

넷째, 참가자들은 역량 평가의 기반이 되는 기준에 대한 그룹의 공감대가 empowering했으며, 레지던트와 평가 결정을 공유하는 것에 대해 '안심하고' '기분 전환'하도록 도왔습니다.  많은 사람들에게 표준에 대한 편안함은 피드백에 대한 자신감을 높여주었고, 특히 특히 낮은 등급에 대해 토론 할 때 그러했다.

Fourthly, participants described how group consen- sus on the criteria that underpin competence was ‘empowering’ and helped them feel ‘relieved’ and ‘calmer’ about sharing their assessment decisions with residents. For many, comfort with the standard increased their confidence in giving feedback, par- ticularly when discussing lower ratings:

참가자 자신의 임상 기술에 대한 평가자 교육의 이점

Benefit of rater training on participants’ own clinical skills

PDT는 참가자의 평가 능력을 향상 시키도록 설계되었지만 PDT가 임상 기술에 대한 새로운 지식을 습득하는 데 많은 도움을 주었다. 프레임 워크를 개발하고 검토함으로써 참가자는 이전에 습득 한 기술 (즉, 동기 부여 인터뷰, 나쁜 소식 누락, 노인성 평가)을 검토하고 새로 고침하고 자신감을 얻고 강화함으로써 참가자 자신의 임상 스크립트를 향상시키고 업데이트 할 수있었습니다.

Although PDT was designed to improve partici- pants’ ability to assess residents, many participants felt that PDT helped them to acquire new knowl- edge about clinical skills. Developing and reviewing frameworks enabled these participants to review, refresh, gain confidence in and reinforce previously learned skills (i.e. motivational interviewing, break- ing bad news, geriatric assessment), thereby improv- ing and updating participants’ own clinical scripts:

성과 측정 차원의 훈련은 본인의 임상 스킬에 대한 reflection과 introspection을 촉진 시켰으며, 사고력의 향상을 이끌어 냈습니다. 참가자들은 PDT가 '느려짐slow down'(6E, 시간 3) 및 '의사로서의 기술 재검사 및 재검색'(4F, 시간 3)에 어떻게 도움이 되었는지 설명했습니다. 이러한 방식으로 PDT와 성찰은 지식과 실천의 격차를 identify하여 동기부여를 해주었습니다. 특히,이 참가자들은 기술 검토와 지식 격차 해소를 통해 환자가 더 나은 임상의가되어 환자 진료 방법을 어떻게 바꿀 수 있었는지 설명했습니다.

Performance dimension training also facilitated reflection and introspection about one’s clinical skills, leading to increased mindfulness. Participants described how PDT helped them to ‘slow down’ (6E, Time 3) and ‘recheck-in and re-look at their techniques as a physician’ (4F, Time 3). In this way, PDT and reflection enabled some participants to identify knowledge and practice gaps that motivated them to improve. Notably, these participants described how reviewing skills and filling in knowl- edge gaps helped them to become better clinicians and to change how they delivered patient care:

그룹 토의의 이점

Benefits of group discussions

참가자들은 여러 가지 이유로 교육에서의 그룹 상호 작용을 압도적으로 선호했습니다. 

• 첫째, 그룹 토의를 통해 얼마나 다양한 모습으로 프레임워크를 사용하여 관찰하고 평가해 왔는지를 드러내주었으며, 평가의 표준화를 위해 무엇을 해야하는지가 밝혀졌습니다. 

• 둘째, PDT에서의 토론은 관찰하고 피드백을 제공하는 것이 중요한 임상기술에 관한 일반적인 합의를 도출하는 데 도움이되었습니다. 그룹 토론을 통해 참가자는 역량을 확립하는 데 필수적인 기술을 명확하게 나타낼 수있었습니다. 

• 셋째, 집단 토의는 평가에 대한 참가자의 접근 방식을 검증하는 데 중요한 역할을했다. 참가자들은 다른 사람들이 평가에 접근하는 방법을 듣고 비슷한 기술을 소중히 여기는 다른 사람을 알기 위해 특히 유익하고 눈을 뜨게되었습니다. '같은 생각을 가진' 개인을 대상으로 한 평가에 관해 토론하는 것은 관찰기술과 평가결정에서 편안하고 자신감을 갖게했습니다. 

• 넷째, 유사한 역할을하는 개인의 공동체에 속하는 것이 매우 중요했습니다. 

• 마지막으로, 그룹 토의를 통해 참가자들은 이전에 받은 적이 없었던 평가에 대한 개별적인 접근 방식에 대한 피드백을 얻을 수있었습니다.

Participants overwhelmingly favoured and valued the group interaction of training for several rea- sons. 

• Firstly, the group discussions revealed the variability in what is observed and assessed, even with frameworks, and the challenge of standardis- ing assessment. 

• Secondly, discussions during PDT helped to foster general agreement about the clin- ical skills that are important to observe and pro- vide feedback about. Group discussions helped participants articulate skills that are mandatory to establish competency. 

• Thirdly, group discussion played an important role in validating partici- pants’ own approaches to assessment. Participants found it particularly beneficial and eye-opening to hear how others approached assessment and to know others valued similar skills. Discussing assess- ment with ‘like-minded’ individuals made partici- pants more comfortable and confident in the skills they were observing and in their assessment decisions. 

• Fourthly, being part of a community of individuals with similar roles was highly valued. 

• Finally, group discussion enabled participants to obtain feedback about their individual approaches to assessment, which many had never previously received.

교육 방법의 차이점

Differences between training methods

우리는 완료된 PDT 참가자의 유형에 따라 인식의 차이점을 설명합니다.

We describe differences in perceptions based on the type of PDT participants completed.

전반적으로, 평가자 교육은 미리 정의된 프레임 워크를 검토한 그룹보다 유도적inductive으로 생성된 프레임 워크가 더 적극적으로 받아들여졌습니다. 

• 사전 개발 된 프레임 워크를받은 참가자의 대다수는 프로세스를 '의심 스럽거나 가치없는, 소화하기에 너무 많이, 신뢰할 수없는 것으로'묘사하는 경향이있었습니다 (3C, 시간 2). 
• 대조적으로, 집단으로 프레임 워크를 개발 한 참가자는 프로세스의 고유한 교육적 가치와 능동적 학습의 이점을 설명했다. 한 참여자는 프레임 워크에 대한 동의를 극대화하고 직원들에게 '같은 언어로 이야기하기'(2B, Time 2)를 구현해주었다는 점에서, 이 프로세스를 교수 과정 개발의 '성배'를 표현하였다. 

Overall, rater training was more positively received by the groups that inductively generated frameworks than by groups that reviewed pre-defined frame- works. The majority of participants who had been given pre-developed frameworks tended to describe the process as ‘forced, of questionable value, too much to digest, and not trustworthy’ (3C, Time 2). By contrast, participants who developed their frame- works in groups described the inherent educational value of the process and the benefits of active learn- ing; one participant referred to the process as repre- senting the ‘Holy Grail’ of faculty development by maximising buy-in to the framework and getting fac- ulty staff to ‘talk the same language’ (2B, Time 2). Another commented:

많은 사람들은 그룹이 개발 한 프레임 워크와 미리 개발 된 프레임 워크를 비교하여 (또한 합동을 찾을 수도 있음) 추가 가치를 추가했다고 느꼈습니다. 

• 첫째, 프레임 워크가 증거 기반이라는 사실을 학습하면 '체크리스트 항목의 중요성이 두 배로 강화'되고, buy-in (2E, Time 2)을 촉진함으로써 그룹이 창안 한 프레임 워크에 얼굴 정당성을 추가했습니다. 
• 두 번째로, inductively 생성된 체크리스트를 프레임워크와 비교하여 고려하지 못했던 기술이나 동작을 식별 할 수 있다고 생각하였다. 자체 체크리스트를 개발하는 것은 처음에는 확인하지 못한 행동이나 기술에 대한 receptivity를 증가시키는 것처럼 보였습니다.

Many felt that comparing their group-developed framework with the pre-developed frameworks (and potentially finding congruence) added additional value. Firstly, learning that the frameworks were evi- dence-based added face validity to the group-gener- ated framework by ‘double-reinforcing the importance of checklist items’ and further promot- ing buy-in (2E, Time 2). Secondly, some thought that comparing their inductively generated checklist with the frameworks enabled them to identify skills or behaviours they had not considered. Developing their own checklist first seemed to increase their receptivity to including behaviours or skills they had not initially identified.

일부는 PDT를 킥 스타트하기위한 효과적이고 효율적인 방법으로 사전에 개발된 프레임워크를 받아보는 것을 제안했습니다. 이 개인들은 밑바닥부터 기준을 만들어내는 것이 '거의 불가능한 것'(1B, Time 3)으로 인식 되었기 때문에 이러한 효율성이 그들의 기관에서 교수진 개발의 실행 가능성을 증가시킬 수 있다고 생각했다 :

A small minority described the receipt of the pre- developed frameworks as an effective and efficient way to kickstart PDT. These individuals felt that this efficiency could increase the feasibility of imple- menting faculty development at their institution because starting from scratch was perceived as ‘almost undoable’ (1B, Time 3) and:

평가자 훈련 및 구현과 관련된 문제점

Challenges with rater training and implementation

우리는 관찰 기준, 피드백 및 위임을 평가 기준으로 개선하기 위해 평가자 교육의 사용을 방해하거나 배제한 네 가지 요인을 확인했습니다.

We identified four factors that hindered or pre- cluded the use of rater training to improve observa- tion, feedback and entrustment as the standard for assessment.

프레임워크 vs Holistic 평가 선호도

Preference for holistic assessment versus frameworks

일부 참가자는 긴 체크리스트는 관찰 중에 정신적 노력mental effort을 늘리는 것이라 언급하며, '사용하기 쉽지않거나', '덜 사용자 친화적 인'것으로 평가하면서, 프레임워크 사용에 대한 holistic 평가를 선호했습니다. 이 견해에서, 프레임워크는 참가자들로 하여금 동시에 여러 가지 기술을 관찰해야하므로 직접 관측의 어려움이 커지기 때문에 사용하기 까다로운 것으로 인식되었습니다. 그들은 긴 체크리스트가 어떻게 게슈탈트 또는 holistic 평가로 돌아갈reverting 기회를 증가시키는 지 설명했습니다. 체크리스트를 작성하면 '의사가되는 것이 무엇을 의미하는지에 대한 엄격한 견해가 만들어진다'(6F, 시간 2)라는 우려가있었습니다. 일부는 이것은 struggle to take a person이며, 자신의 성격과 능력을 qualitative gestalt에서 checklist으로 무너 뜨리는 것이라고 느꼈습니다 (6A, Time 2).

Some participants preferred holistic assessments over using frameworks, referring to long checklists as increasing mental effort during observation and as seemingly less ‘usable’ or ‘user-friendly’. In this view, frameworks were perceived as cumbersome to use because they forced participants to look for multiple skills simultaneously, thereby increasing the difficulty of direct observation. They explained how a long checklist increases the chance of revert- ing to gestalt or holistic assessments. There was con- cern that creating a checklist ‘produces a constricted view of what it means to be a doctor’ (6F, Time 2). Some felt it was a struggle to take a person and ‘break down their personality and their abilities from that qualitative gestalt into a checklist’ (6A, Time 2).

역량 정의의 과제

Challenges of defining competence

훈련에도 불구하고 일부 참가자들은 여전히 ​​능력을 정의하는 방법에 대한 합의에 이르지 못한다고 생각했습니다. 참여자들은 능력의 우수성 또는 숙련도에서 무능력과 능력을 구분하는 방법이 다양했습니다. 일차적인 의견 차이는 환자 중심성이 역량에 필요한 것인지 아닌지에 관한 것이었다. 일부 사람들은 안전하고 효과적인 치료 (환자 중심 없이)의 제공이 역량을 정의하며, patient-centeredness는 퍼포먼스가 우수하게 향상 될 것이라고 믿었습니다. 다른 참가자들은 역량을 '환자에게 해를 끼치지 않는 것'으로 정의했습니다.

Despite training, some participants still felt they were unable to reach consensus on how to define competence. Participants varied in how they differ- entiated competence from incompetence, and competence from excellence or mastery. The pri- mary disagreement concerned whether or not patient-centredness was necessary for competence. Some believed that the delivery of safe, effective care (without patient-centredness) defined compe- tence and that patient-centredness would elevate performance to superior. Others defined compe- tence as indicated by the subject’s not harming a patient:

'감독자가 없는 상태에서 안전하고 효과적이고 환자 중심적인 진료'를 satisfactory로 정의하려는 참가자의 의도는 IOM에서 제시한 역량의 정의가 자신의 기관의 value와 systems of care와 일치하는지 여부에 따라 영향을 받았다. 일부 참가자들은 현재의 의료 서비스 제공 시스템이 제도적으로나 전국적으로 환자 중심의 진료보다 수익 창출을 우선적으로 가치있게 평가하고 보상하므로, 환자 중심성을 요구하는 것이 부당하다고 생각했습니다. 20 분간의 진료시간office visit의 제약으로 PDT 프레임 워크의 요소는 중요하지만 실현하기가 현실적이지 않거나 실현 가능성이 낮아 진정성이 약화되었다는 우려가 제기되었습니다.

Participants’ willingness to define satisfactory as ‘safe, effective, patient-centred care unsupervised’ was influenced by whether they believed the Insti- tute of Medicine’s definition of competence was aligned with their institution’s values and systems of care. Some participants felt that it was unreasonable to require patient-centredness when current health care delivery systems, institutionally and nationally, preferentially value and reward revenue generation over patient-centred care. The constraints of the 20- minute office visit raised concern that elements of the PDT frameworks, although important, were not realistic or feasible to achieve, which diminished their authenticity:

평가 방식 변경의 어려움

Difficulty in changing the approach to assessment

대부분의 참가자가 평가 표준을 사용한다는 아이디어를 받아 들였지만 일부는 이러한 전환이 어렵다고 했다. 이 참가자들은 스스로 이전에 사용 된 표준 (즉, 규범 적, 자기 적)에 머물거나resorting 자꾸 그쪽으로 이동하는shifting 것으로 인식했습니다.

Although most participants embraced the idea of using entrustment as the assessment standard, some described how it was difficult to make this transi- tion. These participants noticed themselves resort- ing to or shifting between previously used standards (i.e. normative, self):

많은 사람들은 위임entrustment과 규범적normative 평가 사이에서 긴장감을 느꼈다. 일부 normative 평가는 예상되는 궤적에서 벗어난 레지던트을 파악하는 것에 우수했으며 개선 기간의 aggressiveness에 대해 알려주었다. 일부 참가자의 경우 규범 대 위탁에 대한 대화는 레지던트가 학습자인지 의료제공자provider인지에 대한 개념을 조정하려는 intellectual struggle에 의해 촉발되었습니다. 이 사람들은, 평가자 훈련 중 entrustment에 대해 논의하는 것은 레지던트가 아직 독립적인 제공자가 아니라는 사실을 강조하는 것과 같았다. 또한 참가자 중 일부는 의료전달시스템 내의 레지던트-학습자의 역할에 대한 의미에 관심이 있습니다. 일부는 레지던트 교육이 역량을 갖출 때까지 효과적으로 supervision을 할 수 있는 구조가 되어 있지 않다는 것을 지적하며 갈등을 느꼈다.

Many felt a tension in the reconciling of entrust- ment and normative assessment. Some felt norma- tive assessment was superior for identifying residents who diverged from the expected trajectory and for informing the aggressiveness of remediation time- lines. For some participants, conversations about using normative versus entrustment standards triggered an intellectual struggle to reconcile notions of whether residents were learners or pro- viders. For these individuals, discussing entrustment during rater training underscored the fact that resi- dents are not yet independent providers. Conse- quently, some participants appreciated the implications of this on the role of resident learners in the health care delivery system. Some felt con- flicted as they described how resident training is often not structured to permit appropriate supervi- sion until competence is assured:

기관 문화와 바이 인

Institutional culture and buy-in

참여자들의 'satisfactory'한 퍼포먼스을 위한 척도에 대한 위임entrustment을 사용하려는 의지와 능력은, 레지던트가 어떻게 반응할 것인가 또는 다른 교수들이 균등하게 그것을 받아들일 것인가 등에 대한 신념에 의해 영향을 받았다. 

Participants’ willingness and ability to use entrust- ment as the scale anchor for ‘satisfactory’ perfor- mance was further influenced by their beliefs about how residents may respond to, accept or buy into the assessment construct and whether other faculty staff in their home institutions would uniformly adopt it. 

참가자의 우려는 normative 기준보다는 위임entrustment이 'satisfactory'을 정의하는 데 사용되었을 때 연수생이 더 불만족스러워 할 것이라는 우려에 의해 좌우 된 것으로 보였다. 일부 참가자들은 위임entrustment을 사용하면 평가가 더 엄격해질 것으로 걱정하면서, 그 결과 레지던트들에게 피드백을 제공하는 것이 더 어려워 질 것이라 우려했다. 이 견해를 지닌 사람들, 평생동안 overachievers로 지내온 레지던트들이 low rating에 고정되어서 새로운 평가 rubric을 이해하는데 실패할 것이며 narrative feedback의 퀄리티를 받아들이지 못할 것이라고 걱정했다.

Participants’ apprehension seemed driven by concerns that trainees would receive more unsat- isfactory evaluations when entrustment, rather than a normative standard, was used to define ‘satisfac- tory’. Some participants were worried that using entrustment would increase rater stringency and therefore make it more difficult to give residents feedback. Individuals who held this view described how residents, whom they perceive to be lifelong overachievers, would become fixated on a low rat- ing, fail to understand the new assessment rubric and fail to appreciate the quality of narrative feedback:

마지막 인터뷰에서 참가자 중 일부는 높은 점수를 줌으로써 레지던트들이 긍정적 자세를 유지하게 만들 수 있다는 신념에서 normative 접근법을 계속 사용하는 방법을 설명했다. 대조적으로, 다른 사람들은 entrustment을 앵커로 사용하는 것이 실제적으로 레지던트들의 피드백에 대한 receptivity를 증가 시켰다고 믿었습니다.

In final interviews, some participants described how they continued to use a normative approach in the belief that the provision of higher ratings helped residents to maintain a positive attitude. By contrast, others believed that using entrustment as the scale anchor actually increased their residents’ receptivity to feedback.

참석자들은 레지던트들의 반응에 대한 우려에 비추어, 위임entrustment에 기반한 평가가 제도적 문화 변화를 필요로하는지 설명했다. 많은 사람들은 이렇게 평가하는 교수가 전체 교수 중 소수에 속하면 과도하게 가혹한 평가자로 인식 될 위험에 처할 것이라고 우려했다. 엄격한 평가로 인기가없는 교사 (5H, 시간 2)가 될 수도 있고, 그로 인해 교수 평가에 부정적인 영향을 미칠 것을 걱정했다. 기관의 buy-in과 문화적 변화가 필요하다고 느끼고, 그것이 가능하다고 생각했던 사람들도차 얼리아답터가 되기를 걱정했다.

In light of their concerns about residents’ reactions, participants described how basing ratings on entrustment would require institutional culture change. Many expressed concern that if they were in the minority of faculty staff within their institu- tion to adopt this assessment standard, they would be at risk of being perceived as an overly harsh eval- uator. There was fear that stringency would make them an ‘unpopular teacher’ (5H, Time 2), which would negatively impact their teaching evaluations. Even participants who knew institutional buy-in and cultural change were needed, and who felt that these were possible, were concerned about being early adopters:

많은 사람들이 각각의 기관에서 레지던트를 평가할 책임이 있는 교수를 대상으로 한 FD가 얼마나 중요 할 것인지 설명했습니다. 평가의 shared mental model 의 부족을 감안할 때, 그들은 이 문제를 놓고 대화에 참여할 필요성을 인식합니다. 대다수는 교수진이 위임entrustment의 개념을 쉽게 이해하고 받아 들일 것이라고 믿었지만 기관 문화와 평가 행동이 어떻게 바뀔지 고민하는 사람들도있었습니다. 일부 참가자들은 레지던트 평가의 변화가 의대생에게도 영향을 미친다는 사실을 인정했다. 그들은 의대 및 레지던트 기간 동안에 비슷한 평가 구조의 도입을 촉진하기 위해 학생들에게 위임entrustment의 개념을 설명할 필요가 있다고 말했다. 대부분의 교수가 레지던트와 학생 모두를 평가하기 때문에, 레지던트와 학생 모두를 에 대해서 유사한 평가구조를 사용하는 것이 중요하게 여겨졌다. 따라서 참여자들은 이것이 교수 개발 노력의 범위를 반드시 (의과 대학 및 레지던트까지로) 확장시 교수 개발 이니셔티브의 실현 가능성과 feasibility를 undermine하는 방법을 설명했습니다.

Many described how faculty development for staff who are responsible for evaluating residents within their respective institutions would be necessary and important. Given the lack of a shared mental model of assessment, they recognised the need to engage in dialogue about the matter. Although the majority believed that faculty members would easily under- stand and accept the concept of entrustment, some struggled with how institutional culture and assess- ment behaviours might be changed. Some partici-pants appreciated that a cultural shift in resident assessment would be likely to also impact medical students. They described the need to introduce the concept of entrustment to students to promote simi- lar assessment constructs during medical school and residency. Using similar assessment constructs in undergraduate and graduate medical education was also deemed important because many faculty mem- bers evaluate both residents and students. Conse- quently, participants described how this would necessarily expand the scope of faculty development efforts (medical school and residency), in turn undermining the feasibility and success of faculty development initiatives.

고찰

DISCUSSION

참여자들은 PDT가 

• 관찰의 폭을 넓히고 

• 구체적이고 긍정적이며 건설적인 피드백을 제공하기 위해 어휘를 향상 시켰으며, 

• 훈련 전에 관심을 갖지 못했던 고품질의 환자 치료를 지원하는 기술 평가를 시작할 수 있다고 믿었습니다. 

프레임 워크는 많은 참여자가 전체론적 holistic 및 게슈탈트 평가를 '해체'할 수있게 해주었습니다. 참가자들은 이것이보다 구체적인 피드백을 촉진함으로써 학습자에게 도움이 될 수 있다고 생각했습니다. 많은 참가자들에게 평가 기준에 대한 합의를 만들어가는 그룹 프로세스는 교수들이 중요하다고 여기는 스킬을 validation하는데 중요했고, 생각이 달랐던 교수들의 buy-in을 만들어주었다고 했다. 참가자들이 PDT에서 중요하게 본 것은 환원주의 도구로 mindless하게 사용될 수 있는 최종 결과물(=체크리스트)이 아니었습니다. 오히려 환자 중심의 위임 결과에 대해 holistic shared mental model 을 개발하기 위해 기술의 구성 요소 부분을 이해하기위한 프레임 워크를 만드는 과정에 가치가 있었습니다. 체크리스트를 만들어서 프레임 또는 가이드 라인으로 사용하여 전체적인 판단을 내리고, 피드백을위한 프레임을 제공하는 것이 대부분의 참가자들에게 공감을 일으켰으며resonate, 참가자들은 단순히 사전 개발 된 프레임 워크를받는 것보다 더 잘 받아들였다. 이것은 사전 개발된 프레임워크의 배포가 시간 효율적 일지 모르지만 shared mental model 을 개발하는 과정이 학습 ​​및 buy in 에 중요하다는 것을 시사한다. 우리 연구 결과는 평가자가 가지고 있던 경험논리를 무시한 채 사전에 정의된 평가 도구를 사용하는 것이 문제가된다는 연구 결과를 뒷받침합니다 .14 특히 PDT의 전반적인 이점은 프레임워크의 유용성에 따라 달라진다. 즉, 프레임워크는 '적절한 수준'의 granularity를 가질 필요가 있다.

Participants believed that PDT broadened their observations, enhanced their vocabulary to provide specific, positive and constructive feedback, and enabled themto start assessing skills underpinning high-quality patient care that they had not been atten- tive to before training. Frameworks allowed many par- ticipants to ‘deconstruct’ their holistic and gestalt assessments; participants believed this could benefit learners by facilitating more specific feedback. For many participants, the group process of agreeing on assessment criteria was valuable in the validation of skills faculty staff believed were important and in cre- ating buy-in for skills they may not have considered. What participants reported as valuable about PDT was not the end product of a checklist that could be used mindlessly as a reductionist tool. Rather, the value was in the process of creating the framework to understand the component parts of a skill in order to develop a holistic shared mental model around a patient-focused entrustment outcome. Creating and using the checklist as a frame, or guideline, to inform their holistic judgement and to provide a frame for feedback resonated well with most participants, and by and large was better received by participants than simply receiving a pre-developed framework. This suggests that although the distribution of pre-devel- oped frameworks may be time-efficient, the process of developing the shared mental model is important for learning and buy-in. Our findings support research suggesting that it is problematic to use pre- defined assessment instruments when they ignore rat- ers’ a priori performance theories.14 Notably, the over- all benefit of PDT was influenced by the usability of the framework: frameworks needed to have the ‘right amount’ of granularity.

많은 참가자들이 PDT가 자신의 임상 기술에 어떻게 영향을 주 었는지 설명했는데, 이것은 새로운 기술을 배우거나, 이전에 습득한 기술을 새로 고치거나, 단순히 자신의 임상 진료에있어 보다 성찰적이고 주의 깊은 것으로 만들었기 때문이다. 또한 교수들 간 임상기술의 variability을 보여준 이전 연구와 마찬가지로, 참가자들은 교수진 자신의 기술에서 부족한 부분을 찾아내는 데 도움을 주었습니다 .61-64 이러한 발견은 교수들은 core 임상 기술을 조차도 성찰하고 refreshing해나가야 한다는 중요성을 강조합니다 . 우리의 연구 결과는 PDT가 교수진에게 평가하라고 요구한 것 오에도, 명시적으로 가르쳐주지 않은 기술을 습득 할 수있는 기회를 제공 할 수 있음을 시사합니다 .65 Faculty를 위한 이러한 유형의 전문성 개발이 크게 부족합니다. 이는 평가자 훈련에 더하여 교수진의 임상술기 개발을 위한 교수개발의 도입에 있어서, 잠재적으로 규모의 경제가 가능함을 암시합니다. 이것은 의학 교육의 비용을 정당화하는 압력이 커지면서 매력적이다.

Many participants described how PDT influenced their own clinical skills, either by enabling them to learn new skills or to refresh previously learned skills, or by simply making them more reflective and mindful in their own clinical care. It also helped participants identify gaps in their own skills, sup- porting prior work that has demonstrated variability in faculty staff’s own clinical skills.61–64 These find- ings highlight the importance of faculty staff reflect- ing on and refreshing even core clinical skills. Our findings also suggest that PDT can provide an opportunity for faculty members to learn skills they are being asked to assess, but which they may not have been explicitly taught.65 There is a profound lack of this type of professional development for fac- ulty staff. It suggests potential economies of scale in the implementing of faculty development that devel- ops faculty members’ own skills as clinicians in addi- tion to assessors. This is attractive, given the increasing pressure to justify the cost of medical education.66–68

CBME에서의 발전이 반드시 쉽지는 않다는 것을 보여주는 주제를 확인했습니다. 

• 첫째, 많은 참가자가 경험이 풍부한 의학 교육자 였지만, 기준에 근거한 평가와 위임과 같은, CBME의 핵심 원칙을 모두 이해하지 못했습니다. 많은 사람들이 규범 참조 평가만을 사용했습니다. 이러한 개념은 대다수의 사람들이 평가했지만 몇 달 간의 훈련을 통해서도 어려웠습니다. 이는 역량 기반 교육으로의 전환이 어려울 수 있으며 새로운 평가 언어, Rubric 및 철학을 가르치기위한 지속적인 실습 및 강화와 함께 명시적인 FD가 필요할 것임을 암시합니다. 요구되는 시간은 우리가 의미있는 평가를 원할 경우 실현가능하면서도 강력한 교수 개발에 투자 할 필요가 있음을 의미합니다. 이것은 (현재의 접근법에서) 직접 관찰자 훈련에 이르는 변화이다 .20 어떤 기술이든간에, 경험적으로 개발하기 위해서는 종단적 인 연습이 필요하다 .69 

• 둘째, 많은 참가자들이 '능력'을 정의하기 위해 애를 먹었다. 이것은 우리가 교수진에게 감독이나 위임의 강도에 대해 정보에 입각 한 결정을 내리게 될지 여부를 명확하게 암시합니다. 

• 셋째, 구조적 피드백이나 엄격한 평가를 제공하는 것에 관한 토론이 많이 이루어졌다. 교수들이 (학습자에 대한) 낮은 평가를 내리는 것에 대한 두려움과 불만이 새로운 것은 아니지만70,71 역량 기반 평가 실현에 대한 중요한 장벽을 상기시켜줍니다. 교직원이 이러한 장벽을 극복하고 환자의 외상에 기반한 위탁이 도움이되는지 여부를 판단하는 데 가장 도움이되는 방법을 파악하기위한 연구가 필요합니다.

We have identified themes which suggest that mov- ing forward in competency-based medical educa- tion will not necessarily be easy. 

• Firstly, although many participants were experienced medical educa- tors, not all understood key principles of compe- tency-based education, such as criterion-referenced (versus norm-referenced) assessment and entrust- ment. Many had used only norm-referenced assess- ment. These concepts, although valued by the majority, were challenging, even with several months of training. This suggests that the shift to competency-based education may be challenging and will require explicit faculty development with ongoing practice and reinforcement to teach a new assessment language, rubrics and philosophies. The time required implies that if we want mean- ingful assessment, we will need to invest in feasible yet robust faculty development. This is a change from current approaches to direct observation rater training.20 As with any skill, longitudinal deliberate practice is needed to develop exper- tise.69 

• Secondly, many participants struggled to define ‘competence’. This has clear implications if we are going to ask faculty staff to make informed decisions about intensity of supervision or entrust- ment. 

• Thirdly, discussions about providing con- structive feedback or stringent assessments were pervasive. Faculty members’ fear and discomfort in providing low ratings is not new,70,71 but serves to remind us of the significant barrier to the realising of competency-based assessment. Research is needed to identify how best to assist faculty staff to overcome these barriers and to determine whether entrustments grounded in patient out- comes can help.

우리의 연구 결과는 기관 및 문화적 맥락의 중요성과, 그것이 참여자의 의지와 변화 능력에 미치는 영향을 강조한다. 평가에 대한 접근 방식을 변경하는 것은 교수진의 의지와 능력을 요구할뿐만 아니라, 변화를 지원하는 문화나 환경이 필요합니다. 우리는 교직원들이 새로운 평가 rubric에 동의하더라도 혼자서 새로운 방법을 채택 할 것이라고 생각하기는 어렵다. 참여자들의 평가 행동을 바꾸려는 의지는 학습자가 어떻게 받아들일지에 대한 생각에 영향을 받았다. 우리의 데이터는 평가에 대한 접근법을 바꾸려면 평가자와 대화하는 것뿐만 아니라, 학습자도 포함시켜야한다는 것을 의미합니다. 예를 들어 평가의 기준으로 위임으로 전환하는 것은 평가자와 학습자가 평가 척도와 등급을 어떻게 이해하는지에 대한 제도적 문화 변화를 필요로합니다. 아마도 많은 사람들이 그들의 기관이나 더 큰 의료 시스템이 clinical care quality의 핵심 원칙을 서포트 하지 않는다고 믿는 냉정한 현실이 더 중요 할 것입니다. 

Our findings highlight the importance of institu- tional and cultural context and its influence on participants’ willingness and ability to change.26,72 Changing approaches to assessment not only requires faculty willingness and ability; it requires a culture or environment that supports change. We learned that faculty staff will be unlikely to adopt new assessment rubrics, even if they support them, if they feel they will be doing so alone. Participants’ willingness to change their assessment behaviours was influenced by their perceptions of how this would be received by their learners. Our data sug- gest that approaching assessment differently is not just about having a conversation with assessors, con- versations must include learners. For example, shift- ing to entrustment as a standard for assessment necessitates an institutional culture shift in how assessors and learners understand rating scales and ratings. Perhaps more concerning is the sobering reality that many participants believed that neither their institution nor the larger health care system supported key principles of clinical care quality. 

집단 토론에서 환자 중심성이 역량에 필요한 것인지 논란이되었습니다. 연수생을 평가하는 교수진이 evidence-based 되어 있어도, care quality의 marker를 받아들일 것이라고 당연하게 여길 수는 없다. quality care 원칙에 입각하여 연수생을 평가할 경우, 우리는 보건 의료 전달 시스템이 그러한 행동을지지하고 조정하도록 보장 할 수있는 방법을 찾아야합니다. 변화가 일어나려면 개인은 

• 변화하려는 욕구,

• 해야 할 일과 수행 방법에 대한 지식, 

• 환경적인 제약이없는 지원적인 작업 환경, 

• 변화에 대한 보상이 있어야합니다 .73 

교수진 개발은 처음 두 요소를 다룰 수 있습니다. 후자의 두 연구는 우리 조직의 특성을 검토 할 것을 요구한다 .27 

It was controversial, in group discussions, whether patient-centredness was necessary for competence. We cannot take for granted that faculty staff who assess trainees embrace, or know, markers of care quality, even if they are evidence-based. If we are to assess trainees based on principles of high-quality care, we need to find ways to ensure that our health care delivery system supports and is aligned to pro- mote those behaviours. For change to occur, indi- viduals must have 

• the desire to change, 

• the knowledge of what to do and how to do it, 

• a supportive work environment in which there are no environmental constraints, and 

• there must be rewards for changing.73 

Faculty development can address the first two elements; the latter two require us to examine the characteristics of our organisa- tions.27 Additional research is warranted to identify ways to better enable trained faculty staff to dissemi- nate their new knowledge to gain buy-in from their colleagues and effect change within their institu- tions.

우리가 훈련을 개발하고 데이터를 코드화했다는 것을 감안할 때, 가설 중심의 해석에 대한 과다에 의한 편견의 가능성이있다. 그러나 constructivist grounded theory 에서 연구자들은 과거 경험과 신념을 참가자들과 공동으로 생산하는 process로 가져온다 .55 우리는 경험이 무엇이고 언제 배워야 하는가를 미리 정해두지 않았으며, 그 경험은 무엇이며 어떻게 더 나은 평가의 결과와 관련이있을 수 있는지에 대해 개방적인 자세를 가졌다. 마지막으로, 교수 개발 개입은 행동 학습 이론 behavioural learning theory 의 관점에서 우세하게 근거를 두 었으며 사회적 구성주의 이론 social constructivist theory에 근거한 교수 개발 솔루션을 구체적으로 다루지 않았다.

Given that we developed the training and coded the data, there is the potential for bias by an overem- phasis on hypothesis-driven interpretation. How- ever, in constructivist grounded theory, researchers bring their past experiences and beliefs into the process to co-produce the findings with the partic- ipants.55 We did not predetermine what the expe- rience would or should be and remained open to learn what that experience was and how it might relate to the outcome of better assessments. Finally, the faculty development intervention was predominantly grounded in a behavioural learning theory perspective and does not specifically address faculty development solutions more grounded in social constructivist theory.

결론

CONCLUSIONS

평가자가 평가 결정을 내리는 방법, 평가에 대한인지 적 편견, 평가자 간 변동성이 실제로 WBA를 향상시킬 수있는 정도에 대한 관심이 대두되고있다 .31 우리는 평가자 훈련이 인지적 편견을 제거하지 않을 것이라는 것과 평가에서 평가자 간 variability도 언제나 있을 것이라는 것을 인정하지만, 이번 연구는 임상가 - 교육자의 기술자를 평가자로서 향상시킬 실질적인 기회가 있음을 시사한다. PDT와 FoRT의 요소는 교수진이 평가 및 피드백을위한 어휘를 습득하고 자신의 임상 기술의 성장을 지원하는 데 도움이 될 수 있는 기법인 것으로 보인다. 아마도 가장 중요한 것은 평가를 환자 결과에 기반을 둘 때 더 나은 교육 결과로 이어질 수 있다는 것입니다. 평가에 관한 그룹 토론은 보편적 인 문제와 과제, 경험 공유 및 공유 솔루션에 대한 토론을위한 포럼을 제공 할 수 있습니다. 과거에 많은 사람들이 그러한 대화를하지 못했다는 점을 감안할 때 우리는 이러한 대화가 더 널리 퍼지지 않는 이유, 특히 우리의 의학 교육 시스템의 기반 시설에서 코칭, 피드백 및 평가의 기본 역할을 고려할 때 왜 그런지에 대해 의문을 제기합니다. 우리의 연구 결과는 교수진 개발에 중요한 접근 방식 인 학습 공동체의 가치를 강조합니다 .74,75 연수생 평가를 책임지고 있는 임상-교육자 교수진에게 강력한 전문성을 개발하는 데 필요한 경험을 제공하여, 자신감과 기술을 가지고 교육하고 평가할 수 있도록 해주어야 한다는 요구가 있습니다. 교수진 개발 관련 문헌은 WBA에 특히 초점을 맞추고 있으며, 임상 시험자 인 교수진 직원을 평가할 수있는 방법을 명확하게 설명하기 위해서는 추가 연구가 필요합니다.

There is emerging interest in how assessors make their assessment decisions, the cognitive biases they bring to assessment,15 and the extent to which inter-assessor variability may actually enhance WBAs.31 Although we acknowledge that rater training is unlikely to eliminate cognitive biases and that there will always be variability in assessment (some of which can provide useful information), our find- ings suggest that there are substantial opportunities to improve clinician-educators’ skills as assessors. Elements of PDT and FoRT seem to represent tech- niques that can help faculty staff acquire a vocabu- lary for assessment and feedback, while additionally supporting the growth of their own clinical skills. Perhaps most importantly, grounding assessment in patient outcomes may also lead to better educa- tional outcomes. Group discussions about assess- ment can provide a forum for the discussion of universal problems and challenges, shared experi- ences and shared solutions. Given that many partici- pants had not had such conversations in the past, we question why these conversations are not more prevalent, particularly given the foundational role of coaching, feedback and assessment in the infrastruc- ture of our medical education system. Our findings highlight the value of communities of learning, an important approach to faculty development.74,75 There is a clear need to provide clinician-educator faculty staff who are responsible for the assessment of trainees with the experiences they need to develop the strong professional identity that will enable them to teach and assess with confidence and skill. The faculty development literature specifi- cally focused on WBA is sparse20,22,23 and additional research is needed to better elucidate how to train and support clinician-educator faculty staff in their assessment roles

5 Carraccio CL, Englander R. From Flexner to competencies: reflections on a decade and the journey ahead. Acad Med 2013;88 (8):1067–73.

8 Yeates P, O’Neill P, Mann K, Eva KW. Effect of exposure to good vs. poor medical trainee performances on attending physician ratings of subsequent performances. JAMA2012;308 (21):2226–32.

28 Fokkema JPI, Teunissen PW, Westerman M, van der Lee N, van der Vleuten CPM, Scherpbier AJJA, D€orr PJ, Scheele F. Exploration of perceived effects of innovations in postgraduate medical education. Med Educ 2013;47 :271–81.

29 Fokkema JPI, Scheele F, Westerman M, van Exel J, Scherpbier AJ, van der Vleuten CPM, D€orr PJ, Teunissen PW. Perceived effects of innovations in postgraduate medical education. A Q study focusing on workplace-based assessment. Acad Med 2014;89 (9):1259–66.

15 Yeates P, O’Neill P, Mann K, Eva KW. ‘You’re certainly relatively competent’: assessor bias due to recent experiences. Med Educ 2013;47 :910–22.

---

Med Educ. 2015 Jul;49(7):692-708. doi: 10.1111/medu.12733.

How faculty members experience workplace-based assessment rater training: a qualitative study.

Kogan JR1, Conforti LN2, Bernabeo E3, Iobst W4, Holmboe E2.

Author information

• 1Department of Medicine, Perelman School of Medicine, University of Pennsylvania, Philadelphia, Pennsylvania, USA.
• 2Milestones Development and Evaluation, Accreditation Council of Graduate Medical Education, Chicago, Illinois, USA.
• 3Evaluation Research and Development, American Board of Internal Medicine, Philadelphia, Pennsylvania, USA.
• 4Academic and Clinical Affairs, Commonwealth Medical College, Scranton, Pennsylvania, USA.

Abstract

CONTEXT:

Direct observation of clinical skills is a common approach in workplace-based assessment (WBA). Despite widespread use of the mini-clinical evaluation exercise (mini-CEX), faculty development efforts are typically required to improve assessment quality. Little consensus exists regarding the most effective training methods, and few studies explore faculty members' reactions to rater training.

OBJECTIVES:

This study was conducted to qualitatively explore the experiences of faculty staff with two rater training approaches - performance dimension training (PDT) and a modified approach to frame of reference training (FoRT) - to elucidate how such faculty development can be optimally designed.

METHODS:

In a qualitative study of a multifaceted intervention using complex intervention principles, 45 out-patient resident faculty preceptors from 26 US internal medicine residency programmes participated in a rater training faculty development programme. All participants were interviewed individually and in focus groups during and after the programme to elicit how the training influenced their approach to assessment. A constructivist grounded theory approach was used to analyse the data.

RESULTS:

Many participants perceived that rater training positively influenced their approach to direct observation and feedback, their ability to use entrustment as the standard for assessment, and their own clinical skills. However, barriers to implementation and change included: (i) a preference for holistic assessment over frameworks; (ii) challenges in defining competence; (iii) difficulty in changing one's approach to assessment, and (iv) concerns about institutional culture and buy-in.

CONCLUSIONS:

Rater training using PDT and a modified approach to FoRT can provide faculty staff with assessment skills that are congruent with principles of criterion-referenced assessment and entrustment, and foundational principles of competency-based education, while providing them with opportunities to reflect on their own clinical skills. However, multiple challenges to incorporating new forms of training exist. Ongoing efforts to improve WBA are needed to address institutional and cultural contexts, and systems of care delivery.

© 2015 John Wiley & Sons Ltd.

Comment in

• Value in workplace-based assessment rater training: psychometrics or edumetrics? [Med Educ. 2015]

PMID:

 

26077217

 

DOI:

 

10.1111/medu.12733

[PubMed - indexed for MEDLINE]