유의미한 수련생 평가를 위하여: 프로세스에 대한 참가자 인식의 영향(Adv in Health Sci Educ, 2012)

유의미한 수련생 평가를 위하여: 프로세스에 대한 참가자 인식의 영향(Adv in Health Sci Educ, 2012)

Toward meaningful evaluation of medical trainees: the influence of participants’ perceptions of the process

Christopher J. Watling • Lorelei Lingard

도입

Introduction

학습자의 임상 수행능력을 평가하기위한 시스템은 UME든 GME 환경에서든 의학 분야의 모든 교육 프로그램의 필수 요소입니다. 연수생 평가는 여러 가지 중요한 목적을 제공합니다.

Systems for evaluating the clinical performance of learners are essential elements of all training programs in medicine, whether in undergraduate or postgraduate settings. Evaluation of trainees serves a number of important purposes.

• 학생이나 레지던트에 대한 진급 결정, 자격 시험을 볼 준비가 되었는지에 대한 허용, 상급 연수를 위한 후보자 선정 등(Gray 1996, Epstein 2007).

determine annual promotion for students or residents, permit decision-making about trainee readiness to undertake certifying examinations, and facilitate the choice of candidates for advanced training (Gray 1996; Epstein 2007).

• 무능한 연수생을 찾아 내고 제거함으로써 사회적 의무를 이행하고 환자 안전에 기여한다 (Short 1993; Epstein 2007; Krupat and Dienstag 2009).

serve a societal obligation and contribute to patient safety by facilitating the identification and removal of trainees who are incompetent (Short 1993; Epstein 2007; Krupat and Dienstag 2009).

• 학습의 방향과 동기 부여를 제공함으로써 연수생의 전문성 개발을 촉진한다. (Epstein 2007, Krupat 및 Dienstag 2009).

foster the professional development of trainees by providing direction and motivation for learning. (Epstein 2007; Krupat and Dienstag 2009).

의학은 관찰기반 평가를 중시한다.

Medicine values observation-based evaluation

연수생 평가를위한 도구로서의 직접 관찰은 의학 분야에서 오랜 역사를 지니고 있습니다. 사실, 직접 관찰은 "의학 교육 및 견습 과정에 포함되어 있다"고 정확하게 지적한다.

Direct observation as a tool for trainee assessment has a long history in medicine. Indeed, as Fromme et al. (2009) accurately points out, direct observation is ‘‘embedded in the medical education and apprenticeship process’’,

수련중평가(in-training evaluation)(turnbull 등, 1998)이라고 불리는 평가는 특히 레지던트 수준에서 널리 활용중이며, 이것은 실제 임상 환경에서 진행중인 성과 학습자를 관찰하고 체계적으로 문서화하는 프로세스이다.

This process of observing and systematically documenting the ongoing performance learners in real clinical settings, termed in-training evaluation (Turnbull et al. 1998), is particularly prevalent at the residency level.

2008 년 캐나다 레지던트 교육 프로그램에 대한 조사에서 

• 프로그램의 92 % 이상이 ITER (In-training evaluation report)를 사용하여 모든 CanMEDS 역할을 평가 한 것으로 나타났습니다. 

• 이에 비해 두 번째로 많이 사용되는 도구 인 구술 시험은 평가 대상 CanMEDS 역할에 따라 프로그램의 28.2-80.5 %가 사용되었으며, 

• OSCE는 프로그램의 16.1-45.6 %에서 사용되었습니다. (Chou 외. 2008).

A 2008 survey of Canadian residency training programs found that over 92% of programs used in-training evaluation reports (ITERs) to evaluate all the CanMEDS roles. In comparison, oral examinations, the second most popular tool, were used by 28.2–80.5% of programs, depending on the CanMEDS role being evaluated, and OSCEs were used by 16.1–45.6%of programs. (Chou et al. 2008).

ITER는 문제가 많다.

In-training evaluation is problematic

ITER에 대한 오랜 전통과 폭 넓은 의존에도 불구하고, 특히 정확성과 신뢰성의 영역에서, 수행능력 평가 방법의 여러 단점이 확인되었습니다. Barrows (1986)는 학부 환경에서 이러한 한계에 대해 논평했다.

Despite the long-established and widespread reliance on in-training evaluation, numerous shortcomings of this method of performance assessment have been identified, particularly in the realm of accuracy and reliability. Barrows (1986), commented on these limitations in the undergraduate setting.

Awad 등은 외과적 지식의 주관적 측정과 객관적 측정 간의 매우 열악한 상관 관계를 발견했다. 또한 학생들의 평가의 한 부분으로서 지식의 주관적인 평가를 포함하는 것의 가치에 대해서도 의문을 제기했다.

Finding a very poor correlation between subjective and objective measures of surgical knowledge, Awad et al. (2002) questioned the value of even including subjective assessments of knowledge as part of the students’ evaluations.

임상 기술 평가의 정확성에 관한 유사한 우려가 레지던트 수련단계에서도 확인되었습니다. Kolars et al. (2003)

Similar concerns regarding the accuracy of assessment of clinical skill have been identified at the residency level. Kolars et al. (2003)

전반적으로 교수진이 레지던트의 의학지식을 평가하는 능력은 매우 부족하며, 교수 평가와 훈련 중 시험 점수의 평균 상관 관계는 0.30에 불과합니다. 또한 레지던트의 의학 지식에 대한 교수들의 평가는 레지던트의 다른 역량 분야에 대한 평가와 높은 상관 관계를 보이며, 이는 지식이 다른 역량과 확실하게 구분될 수 없음을 시사합니다. 이처럼, 여러 근거에 따르면 교수 평가의 정확성에 상당한 의심이 있음에도 불구하고, 교수와 레지던트 모두는 교수가 레지던트의 지식을 정확히 평가할 수 있다고 믿고 있으며, 전통적인 ITER에 대한 강한 믿음을 드러낸다.

Overall, the ability of faculty to evaluate the medical knowledge of their residents was found to be quite limited, with a mean correlation between faculty evaluations and in-training examination scores of only 0.30. Furthermore, faculty ratings of residents’ medical knowledge were highly correlated with their ratings of residents in the other competency areas they were asked to evaluate, suggesting an inability to distinguish reliably among the different competencies. Of interest, both faculty and residents expressed a high degree of confidence in the ability of faculty to make accurate assessments of residents’ medical knowledge, suggesting a strong faith in the tradition of in-training evaluation, despite evidence that sheds considerable doubt on its accuracy.

분명히, 일부 연구는 레지던트의 임상 능력을 평가하는 방법으로서 ITER의 타당성에 대해 보다 긍정적 결론에 이르기도 한다.

Admittedly, some studies have reached more favourable conclusions about the validity of the ITER as a method of assessing the clinical competence of residents.

그러나 이러한 연구에서조차 ITER의 한계를 지적했다. 임상 진료의 아홉 개 영역에 걸친 레지던트의 평가는 영역 간 높은 상관 관계를 가지고 있었고, 즉 평가자는 다양한 역량을 구별하지 못했으며, 평가자는 각 역량을 개별적으로 평가하기보다는 레지던트에 대한 전반적 인상을 형성하고, 이에 따라 모든 역량을 평가했음을 제안한다. 저자들은 ITER이 전반적인 임상 수행을 평가하는 데 유효하지만, 개별 레지던트가 가진 특정 영역에서의 임상 역량에 대한 피드백을 제공하는 것으로는 제한적일 수 있다고 결론 지었다.

However, even this reasonably positive study sounded a note of caution about the limitations of the ITER. The ratings of residents across nine dimensions of clinical care were highly correlated, and the instrument did not distinguish among these various competencies, again suggesting that evaluators formed a global impression of a resident and rated them accordingly across all competencies, rather than evaluating each competency individually. The authors concluded that the ITER, although valid for assessing overall clinical performance, may be of limited value in providing feedback in specific areas of clinical competence to individual residents.

역량 기반 평가에 대한 국제적인 경향 (Davis and Harden 2003)과 함께 ITER에 크게 의존하는 평가 시스템에는 문제가 있습니다.

With an international trend toward competency-based evaluation (Davis and Harden 2003), a system of evaluation that relies heavily on ITERs is problematic.

문제는 인식이다.

Perceptions matter

그러나 평가가 건전한sound 관찰 및 평가 방법을 기반으로 하는 경우에 조차, 피평가자의 인식은 해당 피드백의 유용성에 큰 영향을 미칠 수 있습니다.

Even when evaluation is based upon sound observation and assessment methods, however, the perceptions of those being evaluated can profoundly affect the usefulness of that feedback.

피드백에 대한 수령자 인식의 중요성은 고등 교육 문헌에서 인정되었습니다. Higgins et al. (2001)은 감정, 정체성, 권위, 주관 및 담론의 중요한 영향이 평가 피드백 과정에 미치는 영향에 주목했다. 요크 (Yorke, 2003)는 "학생들의 피드백 수용이 중요하다는 것은 아무리 강조해도 부족함이 없다"면서 학생들의 평가에 대한 해석이 학습에 중요한 영향을 미친다고 지적했다.

The importance of recipient perceptions of feedback has been recognized in the higher education literature. Higgins et al. (2001) noted the important influences of ‘‘emotion, identity, power, authority, subjectivity, and discourse’’ on the process of assessment feedback. Yorke (2003), commented that ‘‘the importance of the student’s reception of feedback cannot be overstated,’’ and noted that student interpretation of assessment was a key influence on learning.

산업 심리학 영역에서는 성과 평가에 대한 직원의 태도와 인식이 오랫동안 연구 관심에 부합하는 것으로 인식되어 왔습니다.

In the industrial psychology realm, employees’ attitudes towards and perceptions of performance appraisal have long been recognized as deserving of research attention.

Lawler (1967). Lawler는 "평가는 진공상태에서 작동하는 것이 아니다"라면서, 성과 평가 시스템에 대한 태도를 형성할 뿐만 아니라, 그러한 시스템의 타당성에 영향을 미치는 조직 및 개인 요인에 주의를 기울일 것을 주장했다. (Lawler 1967).

Lawler (1967). Commenting that ‘‘a rating system doesnot exist in a vacuum’’, Lawler recognized the importance of attending to organizational and individual factors shaping attitudes toward systems of performance evaluation and influencing the validity of such systems. (Lawler 1967).

메이어 (Meyer, 1975)는 대부분의 직원들이 스스로는 평균보다 뛰어나다고 생각하기 때문에 "괜찮음"이라고 표현되는 피드백은 일반적으로 부정적인 것으로 여겨졌다. Mowday (1983)는, "부정적인 피드백은 종종 정확하게 인식되지 않는다"는 Ilgen (1979)의 견해를 지지하며, 자기방어 메커니즘으로 인해 부정적인 피드백을 받으면 자신보다 외부 요인을 탓할 것이라고 제안했다.

Meyer (1975) found that most employees considered themselves to be above-average performers, and so feedback that one is ‘‘satisfactory’’ was commonly experienced as negative. Mowday (1983), echoing Ilgen’s (1979) notion that negative feedback was often not perceived accurately, suggested that ego-defense mechanisms would lead individuals to blame external factors rather than themselves for negative feedback.

Dipboye와 de Pontbriand (1981)는 근로자employee가 불리하다고 인식한 성과에 대한 피드백은 근로자로 하여금 그러한 평가 과정에 대한 부정적인 견해를 형성하게하고, 피드백에 대해 수용 할 가능성이 낮출 수 있다고 지적했다. 또 다른 연구에서 MBA 학생들은 negative한 360도 피드백은 부정확하고 유용하지 않은 것으로 인식하고, 개선과 인정awareness보다는 분노와 낙담으로 반응했습니다. (Brett and Atwater 2001). 퍼포먼스에 문제가 있어서 피드백을 가장 많이 필요로하는 사람들이 오히려 가장 수용성이 낮으며, 피드백의 유용성을 가장 알아채지 못한다.

Dipboye and de Pontbriand (1981) indicated that feedback on performance perceived by an employee as unfavourable could lead the employee to form a negative opinion of the appraisal process, rendering them less likely to be receptive to such feedback. In another study, MBA students perceived negative 360  feedback as neither accurate nor useful, and reacted to it with anger and discouragement rather than enlightenment and awareness. (Brett and Atwater 2001). People who need the feedback most because of performance problems may be least receptive to it and may find it least useful.

과제 특이적이지 못하고 개인 일반에 대한 비판으로 인식되는 피드백은 분노, 좌절감 또는 기타 부정적인 감정을 유발하여 피드백의 유용성을 감소시킬 수 있습니다. 요컨대, 자존감을 위협하는 피드백은 덜 효과적입니다. (Kluger and DeNisi 1996).

Feedback that is perceived not as task-specific but rather as a generalized criticism of the individual may lead to anger, frustration, or other negative emotions, reducing the usefulness of the feedback. In short, feedback that threatens self-esteem is less effective. (Kluger and DeNisi 1996).

학습자의 인식이 결정적 요인이다.

Medical learners’ perceptions are critical

내과 의사 레지던트에 대한 한 가지 설문 조사에 따르면, 레지던트 중 단지 8 %만이 평가 과정에 "매우 만족"했다 (Isaacson et al., 1998). 그러나 평가 프로세스가 대체로 불만족스러울 때, 평가가 레지던트의 학습을 촉진 할 수 있는 능력이 있는지에 대한 의문이 제기되는 것은 당연하다. 360도 피드백 장치의 사용을 설명하는 연구에서 Higgins et al. (2004)는 평가 과정과 관련하여 레지던트들 사이에서 고도의 방어적 태도가 있으며, 의사가 아닌 사람이 주는 피드백을 기각하는 강한 경향이 있음을 확인했다.

One questionnaire study of internal medicine residents found that only 8% of residents were ‘‘very satisfied’’ with the evaluation process (Isaacson et al. 1998). When an evaluation process is widely perceived to be unsatisfactory, however, its capacity to foster resident learning might legitimately be questioned. In a study describing the use of a 360  feedback instrument , Higgins et al. (2004) identified a high degree of defensiveness among residents in relation to the evaluation process, as well as a strong tendency among residents to dismiss feedback from non-physician sources.

그러나 전달받은 피드백에 대한 만족도만 가지고는 주어진 피드백의 품질 또는 효율성을 반영하지 못할 수 있어서 문제가됩니다. Boehler et al. (2006)은 외과 매듭 작업의 수행에서 칭찬만 하였을 때와 비교하여 건설적인 피드백의 효과를 결정하기위한 2, 3 학년 의과 대학생에 관한 연구를보고했다.

Satisfaction reports regarding received feedback are problematic, however, as they may not reflect the quality or effectiveness of the feedback given. Boehler et al. (2006) reported a study of secondand third-year medical students aimed at determining the effect of constructive feedback compared with praise alone in the performance of a surgical knottying task.

분명히, [연수생들이 들어서 기분이 좋은 것]과 [기술을 향상시키기 위해 그들이 들을 필요가 있는 것]은 분명 다를 수 있습니다. 그러므로 우리는 연수생에게 평가 과정의 높은 만족도만을 목표로 삼을 수는 없습니다. 기준을 더 높게 설정해야합니다.

Clearly, what trainees like to hear and what they need to hear in order to advance their skills may be quite different. We cannot therefore aim just for an evaluation process that is satisfactory to trainees: the bar must be set higher.

피드백과 평가 프로세스를 개발할 때 신중하게 고려해야 할 또 다른 쟁점은 이러한 프로세스의 공평성fairness입니다. 한 연구에서 영국 의학계 학생의 38 %만이 임상 로테이션 평가를 공정하다고 평가했으며, 평가자와의 접촉이 부족하다는 점이 이렇게 생각하는 가장 일반인 이유입니다. (Duffield and Spencer 2002)

Another issue that merits careful consideration when feedback and evaluation processes are developed is the perceived fairness of these processes. In one study, only 38% of UK medical students rated their clinical rotation assessment as being fair, with lack of contact with the evaluator the most commonly identified reason for this perception. (Duffield and Spencer 2002)

'절차적 정의'는 평가 도구의 전반적인 수용 가능성 측면에서 결과outcome보다 더 중요했습니다. 즉, 평가 결정에 도달하는 프로세스가 본질적으로 공정하다는 것이 안면타당도의 필수 요소이며, 평가 프로세스의 공정성에 대해 의심을 갖게 되면 프로세스의 효율성을 저해하는 부정적인 인식을 생성할 수 있다..

‘‘procedural justice’’ was more important than outcome in terms of overall acceptability of an assessment tool. That is, the intrinsic fairness of the process for arriving at evaluative decisions is an essential element of face validity, and doubts about the fairness of an appraisal process may create negative perceptions that compromise the effectiveness of that process.

시스템의 공정성에 대한 학습자의 태도뿐만 아니라, 평가자로부터 피드백을받을 때 존재하는 대인 관계에 대한 인식을 조사 할 필요가있다.

it is necessary to examine not only learners’ attitudes toward the fairness of the system , but also their perceptions of the interpersonal dynamic that exists when they receive feedback from an evaluator. 

레지던트는 [product의 가치를 극대화하기위한 노력]과 더불어, [ITE 프로세스에 대한 평가자와 레지던트의 헌신]을 모두 포함하는 것으로 engagement을 생각했습니다. Engagement에 대한 영향은 

• 외부적 (적시, 신뢰할 수있는, 개인화 된 및 건설적인 프로세스의 인식)이면서

• 내부적 (건설적인 피드백에 대한 수용성, 자체 평가에 대한 의존 정도)이었다. 

ITE에서 참여Engagement가 없었던 경우, 그에 따르는 피드백은 의미가 없는 것으로 인식되어 행동 변화를 유도하지 않을 수있었습니다 (Watling 외. 2008).

Residents conceived of engagement as encompassing both evaluator and resident commitment to the in-training evaluation process, with both making efforts to maximize the value of the product. Influences on engagement were both 

• external (perceptions of the process as timely, credible, personalized, and constructive) and 

• internal (receptivity to constructive feedback, extent of reliance on self-assessment). 

When engagement was absent from the in-training evaluation process, the resulting feedback was perceived as meaningless, and unlikely to motivate behaviour change (Watling et al. 2008).

Sargeant et al. (2008)은 피드백에 대한 감정적 반응은 피드백이 성과에 대한 자기지각self-perception에 동의하는지 여부와 관련이 있음을 발견했다. 피드백이 부정적이었다 하더라도, 그것이 self-perception에 부합하면, 피드백에 건설적으로 반응하여, 이를 수락하고 이에 따라 변화했다. 반대로 self-perception과 상충되는 부정적인 피드백을받는 사람들은 피드백의 수용과 사용을 어렵게 만드는 강렬하고 고통스럽고 오래가는 감정을 경험했습니다.

Sargeant et al. (2008) found that emotional reactions to feedback were related to whether or not feedback agreed with self-perception of performance. Those physicians whose feedback agreed with their self-perception, even when feedback was negative, responded constructively to feedback, accepting it and making changes accordingly. Those receiving negative feedback that was in conflict with their self-perception, in contrast, experienced strong, distressing, and longlasting emotions that made acceptance and use of feedback difficult.

그들의 피드백을 받아들이지 않은 사람들에게 있어서, 관심사항은 개별적인 수행능력보다는 평가 프로세스 자체의 공정성에 대한 우려였다. 피드백에 대한 성찰을 촉진함으로써, 수신자가 self 수준이 아닌 task 수준에서 이를 해석하도록 도와줄 수 있으며, 부정적인 피드백에 의해 유발되는 강렬한 감정을 처리하게 도와줄 수 있어서, 궁극적으로 피드백이 성과 향상을 도모하는 의도된 목표를 달성하는 데 중요하게 기여할 수 있다고 결론을 내렸다 (Sargeant 외. 2008).

Among those who did not accept their feedback, reflection often focused on concerns about the fairness of the assessment process itself rather than on their individual performance. The authors concluded that facilitated reflection on feedback to help recipients to interpret it at the task level rather than the self level and to process the often intense emotions triggered by negative feedback may be important in ensuring that feedback achieves its intended goal of fostering performance improvement (Sargeant et al. 2008).

따라서, 이상적으로 평가자는 연수생의 프로세스 인식에 대한 피드백을 전달해야 한다.

Ideally, then, evaluators would therefore deliver feedback with an awareness of trainees’ perceptions of the process

그러나 레지던트에게 평가를 제공하는 교수 중 38 %만이 해당 레지던트들에게 주어진 피드백 (Hasley and Arnold 2009)에 대해 응답하도록 요청했으며, 이는 평가가 개발되고 전달될 때 FR의 인식이 고려되지 않는 경우가 많음을 시사합니다.

however, that only 38% of faculty providing evaluations to residents asked those residents to respond to the feedback given (Hasley and Arnold 2009), suggesting that recipients’ perceptions are often not taken into account when evaluations are developed and delivered.

피드백은 일방향 도로가 아니다.

Feedback is not a one-way street

피드백은 학습자와 평가자 간의 상호 작용이다. 실제로 평가자의 인식은 연수생의 인식과 상당히 다를 수 있습니다. 임상 실적에 대한 피드백과 관련된 설문 조사에서 현저한 차이가있었습니다. 

• 외과의의 90 %가 효과적인 피드백을 제공하는 데 종종 또는 항상 성공적이라고 느낀 반면, 같은 문항에 대해 레지던트의 16.7 %만이 동의했습니다. (Sender Liberman et al.2005). 

• 피드백의 특성에 관해서는 86.2 %의 응답자가 사실fact 또는 활동 직후 피드백이 자주 또는 항상 주어졌지만 레지던트의 12.5 % 만 동의했으며 

• 교수의 96.4 %는 개선을위한 제안을 자주 또는 항상 준다고 응답했지만, 레지던트의 13%만이 동의했다.

Feedback involves the interaction between a learner and an evaluator. Indeed, perceptions of evaluators may differ considerably from those of trainees.In a survey related to feedback on clinical performance, there was a marked difference ; while 90% of surgeons felt they were often or always successful in providing effective feedback, only 16.7% of residents agreed. (Sender Liberman et al.2005). Regarding specific characteristics of feedback, 86.2% of surgeons felt that feedback was often or always given immediately after the fact or activity while only 12.5% of residents agreed, and 96.4% of faculty felt they often or always gave concrete suggestions for improvement while only 13% of residents agreed. S

또 다른 연구에서, 외과 교수의 교수 능력에 대한 레지던트의 인식이 외과 교육자 자신의 자기 인식과 비교되었으며, 교수의 61 %가 레지던트가 매긴 점수와 스스로 매긴 점수가 크게 다름을 발견했다 ( Claridge et al., 2003).

In another study, residents’ perceptions of the teaching ability of their surgical faculty were compared with the self-perceptions of the surgical educators themselves, and a significant disconnect was found, with 61% of faculty scoring themselves significantly differently than residents had scored them (Claridge et al. 2003).

부정적 피드백을받는 것이 학습자에게 문제가 될 수있는 것처럼, 부정적인 피드백을주는 것은 교수에게도 쉽지 않은 것처럼 보입니다. 교사는 학생들이 부정적인 의견으로 인해 상처를 입을 수 있다거나, 그러한 피드백이 교사와 학생의 관계를 손상시킬 것이라거나, 낮은 성적이 학생들에게 악영향을 줄 것이라거나, 학생에 대한 remediation이 불가능할 것이라는 우려 때문에 학생들에게 피드백을 피할 수 있습니다.

Just as the receipt of negative feedback can be problematic for learners, the giving of negative feedback seems particularly troublesome for faculty. Teachers may avoid giving feedback to students due to concerns that students may be hurt by negative feedback, that such feedback might damage the teacher-student relationship, that low ratings would be demotivating to students, or that remediation would not be available.

Dudek et al. (2005)는 교수가 학생에게 F를 주는 것을 가로막는 여러 가지 장벽을 발견했습니다. 

• 문서화 부족

• 무엇을 문서화할지 지식 부족

• 공식적인 어필을 받을 것을 우려

• 알고있는 재교육 옵션의 부족

Dudek et al. (2005) found a number of barriers to faculty failing trainees, including 

lack of documentation, 

lack of knowledge of what to document, 

anticipation of a formal appeals process, and 

lack of perceived remediation options. 

그녀는 교수진이 ITE 프로세스를 효과적으로 사용할 수있는 능력이 부족한 것이 아니라, 오히려 그렇게 할 의지가 있다고 결론지었습니다

She concluded that faculty lack not the ability to use the ITE process effectively but rather the willingness to do

이러한 인식 된 장애물 중 상당수는 시간 제약, 연수생 직접 관찰 기회 부족, 연수 평가 접근법 불일치 및 교육 과제 간 교육 연속성 부족과 같은 외적 요인으로 나타났습니다. 

Many of these perceived barriers were  external, system factors: 

• time constraints, 

• limited opportunities for direct observation of trainees, 

• inconsistency in approach to in-training evaluation, and 

• lack of educational continuity between training assignments. 

그러나 교수진은 레지던트에게 부정적인 피드백을 주는 것이 대인 관계 측면에서 상당한 도전으로 인식했으며, 학습자에게 해harm를 끼치 지 않으면서 효과적으로 그렇게하기 위해 애썼다 (Watling 외. 2010).

Additionally, however, faculty identified the delivery of negative feedback to residents as a daunting interpersonal challenge, and struggled to do so effectively while avoiding harm to learners (Watling et al. 2010).

나아갈 길

The road ahead

학습자들은 건설적인 비판에 대한 그들의 욕망에도 불구하고, 비판, 수정, 부정적 피드백을 받는 것을 어렵게 생각합니다. 마찬가지로 교수진은 연수생이 자신의 약점을 정확하게 식별 할 수있는 평가가 필요하다는 생각을 받아들이고 있음에도 불구하고 부정적인 피드백을 주는 것을 어려워한다. 양측은 모두가 평가가 정직하고 정확해야한다는 신념을 갖고 있지만, 실제로 정직하고 정확한 평가는 연수생이 잘 할 때에나 쉽게 주어지고 받아 들여지는 것이 현실입니다.

Learners, despite their expressed desire for constructive criticism, identify as difficult receiving criticism, correction, or feedback perceived as negative. Similarly, faculty, despite seeming to accept the notion that trainees require evaluations that accurately identify their weaknesses, identify giving negative feedback as difficult. Both sides of the evaluation dyad express the belief that evaluations should be honest and accurate, but the reality is that honest, accurate evaluation is most readily given and received when the trainee is performing well.

Ende (1983)는 레지던트 훈련 중 부적절한 피드백을 주게 되는 것에 따르는 결과 중 하나는, 결국 외부 소스로부터의 평가를 배제하는 자기확인 시스템을 발달시키게 된다는 것이다.

Ende (1983), warned that one of the consequences of inadequate feedback during residency training is that residents develop a system of selfvalidation that eventually excludes evaluation from external sources.

자기 개선에는 타당하고 신뢰할 수있는 외부 출처로부터의 피드백이 필요할 뿐만 아니라, 그 피드백에 대해 고심하는 노력이 필요하다.

They contend that self-improvement demands not only feedback from valid and reliable external sources but also deliberate efforts to reflect on that feedback

학습자들에게 피드백을 받는 기술을 육성하는 것은 효과적이고 의미있는 평가 과정을 개발하는 데 필수 불가결 한 요소입니다 (Bing-You 외. 1998).

Nurturing in our learners the skill of receiving feedback is an indispensable element of developing effective and meaningful evaluation processes (Bing-You et al. 1998).

피드백은 필수 메시지의 이해를 촉진하는 방식으로 전달되고 수신되는 경우에만 건설적 일 수 있습니다.

Feedback can only be constructive if it is both delivered and received in a fashion that promotes the understanding of its essential message.

---

Adv Health Sci Educ Theory Pract. 2012 May;17(2):183-94. doi: 10.1007/s10459-010-9223-x. Epub 2010 Feb 9.

Toward meaningful evaluation of medical trainees: the influence of participants' perceptions of the process.

Watling CJ1, Lingard L.

Author information

1

Department of Clinical Neurological Sciences, Schulich School of Medicine and Dentistry, University of Western Ontario, London, ON, Canada. chris.watling@lhsc.on.ca

Abstract

An essential goal of evaluation is to foster learning. Across the medical education spectrum, evaluation of clinical performance is dominated by subjective feedback to learners based on observation by expert supervisors. Research in non-medical settings has suggested that participants' perceptions of evaluation processes exert considerable influence over whether the feedback they receive actually facilitates learning, but similar research on perceptions of feedback in the medical setting has been limited. In this review, we examine the literature on recipient perceptions of feedback and how those perceptions influence the contribution that feedback makes to their learning. A focused exploration of relevant work on this subject in higher education and industrial psychology settings is followed by a detailed examination of available research on perceptions of evaluation processes in medical settings, encompassing both trainee and evaluator perspectives. We conclude that recipients' and evaluators' perceptions of an evaluation process profoundly affect the usefulness of the evaluation and the extent to which it achieves its goals. Attempts to improve evaluation processes cannot, therefore, be limited to assessment tool modification driven by reliability and validity concerns, but must also take account of the critical issue of feedback reception and the factors that influenceit. Given the unique context of clinical performance evaluation in medicine, a research agenda is required that seeks to more fully understand the complexity of the processes of giving, receiving, interpreting, and using feedback as a basis for real progress toward meaningfulevaluation.

PMID:

 

20143260

 

DOI:

 

10.1007/s10459-010-9223-x