의대생을 위한 교육스킬 개발 프로그램(Med Educ, 2015)

A review of teaching skills development programmes for medical students

Gregory E Marton, Brendan McCullough & Christopher J Ramnanan

도입

INTRODUCTION

모든 의사들은 자신의 커리어 과정을 거쳐 다양한 상황에서 교육을 하도록 요구받습니다. 

• General Medical Council (GMC)은 의료 졸업생이 '멘토와 교사로서 효과적으로 기능해야'한다고 말합니다 .1 

• 또한 대학원 의학 교육 (ACGME) 및 의학 교육 연락위원회 (LCME)는 교사로서 레지던트의 역할을 강력하게 요구하고 있다.

All physicians are called upon to teach over the course of their careers, to varying degrees. The General Medical Council (GMC) states that medical graduates should ‘function effectively as a mentor and a teacher’.1 Moreover, the Accreditation Council for Graduate Medical Education (ACGME) and the Liaison Committee on Medical Education (LCME) strongly advocate for a resident role in teaching.2,3

의대생 지식의 약 1/3은 전공의에게 배운 것입니다. 이와 함께, 많은 PGME은 현재 교육 기술에 있어 다양한 수준의 교육을 제공합니다. 그러나 레지던트는 1년차부터 교육적 책임을 완수 할 것으로 기대되기 때문에, 교육 기술 개발은 의대에서부터 시작되어야한다 .6 Dandavino et al. 의대생에게 가르치는 방법을 가르치는 3 가지 이유를 제시합니다.

Approximately one-third of medical student knowledge is attributed to resident teaching. In conjunction, many postgraduate medical programmes now offer varying degrees of training in teaching skills. However, because residents are expected to fulfil teaching responsibilities as early as in their first year of residency, teaching skills development should begin in medical school.6 Dandavino et al. suggest three reasons for teaching medical students how to teach, including: 

(i) 의대생은 레지던트 및 교원으로서 미래에 교수자 역할을 수행한다.

(ii) 효과적인 의사 소통 기술을 개발한 의대생이 환자와의 상호 작용을 개선할 수 있으며,

(iii) 교수 전략을 더 잘 이해하는 의대생이 더 나은 학습자가 될 수 있습니다.

(i) medical students have future teaching roles as residents and faculty members; 

(ii) medical students who develop effective communication skills may have improved interaction with patients, and 

(iii) medical students with a better understanding of teaching strategies may become better learners themselves.

최근의 미국 의과 대학에 대한 설문 조사에 따르면 응답한 의과대학의 44 %만이 공식적인 student-as-teacher (SaT)프로그램을 가지고있었습니다 .7 또한 2013 년에는 영국 의과 대학의 40 %만이 커리큘럼 내에서 의무적 인 교수법 개발 과정을 가지고 있었다.

A recent survey of US medical schools showed that only 44% of respondents had formal student-as-teacher (SaT) programmes.7 Additionally, in 2013, only 40% of UK medical schools had compulsory teaching skills development courses within the curricula.8

METHODS

The inclusion criteria demanded that: 

(i) all study participants were medical students; 

(ii) participants acquired teaching experience or teaching skills, and 

(iii) the primary goals of the study included an investigation of the impacts of the study intervention(s) on participants’ teaching skills or abilities.

The exclusion criteria prevented the review of: 

(i) any study not published in English; 

(ii) any study published before the year 1990, and 

(iii) any study with results that were superseded by those of a more recent publication.

RESULTS

결과: 세 가지 흔한 방법들 

Analysis of the reviewed literature revealed three common modalities of teaching skills programmes available to undergraduate medical students: (i) peer teaching; (ii) teaching workshops, and (iii) outreach programmes.

피어티칭

Peer teaching

또래 가르침은 20 개 중 11 개를 대상으로했습니다. 그들의 특성은 표 1에 요약되어있다. 현재, 피어 학습 프로그램의 명칭은 일관성이 없으며 문학에서 자주 사용되는 용어가 12 개 이상있다.

Peer teaching was the subject of 11 of the 20 selected articles. Their characteristics are summarised in Table 1. Currently, the nomenclature for peer teaching programmes is not consistent and more than a dozen different terms are frequently used in the literature.29

• Near-Peer Teaching (NPT)은 학생 교사와 학생 학습자가 동일한 교육 수준이지만, 1년 이상 차이가나는 경우(즉, 저학년 의대생을 가르치는 고학년 학생)으로 정의됩니다 .30 

• 상호 피어 학습 (RPT)는 학생 교사와 학생 학습자가 같은 학년에 있고 피험자와 학습자의 역할이 참가자들 사이에서 규칙적으로 순환하는 동료 교육으로 정의됩니다 .11,30,31

Near-peer teaching (NPT) is defined as teaching in which student teachers and student learners are at the same educational level but are separated by one or more years of training (i.e. senior medical students teaching junior medical students).30 Reciprocal peer teaching (RPT) is defined as peer teaching in which student teachers and student learners are in the same year of training and the roles of teacher and learner are regularly rotated among participants.11,30,31

고등 교육에서 또래 교육을 특징 짓는 10 가지 Cate and Durning으로 세 가지 차원을 식별했다. 

• 교사와 학습자 간의 학업 수준 거리; 

• 학습자 집단의 크기, 

• 교습 상호 작용의 형식 

• 추가: 피어 교수와의 상호 작용의 빈도와 기간.

Three dimensions were identified by ten Cate and Durning with which to characterise peer teaching in higher education: 

• the distance in academic level between teacher and learner; 

• the learner group size, and 

• the formality of the teaching interaction.29 

• Additionally, Yu et al. discussed a fourth dimension: the frequency and duration of peer teaching interactions.30

학생 교사가 가장 일반적으로 가르치는 주제는 해부학이었다. 10,11,14,15,19,27

The topic most commonly taught by student teachers was anatomy.10,11,14,15,19,27

11 개 연구 중 7 개에서 학생 교사를 위한 교육자 훈련가 있었습니다. 10,14,17-19,21,27 

• 많은 연구에서 동료 교사 훈련은 교수진 교육자에 의한 미래 교재에 대한 철저한 검토가 포함되었습니다 .11,15 , 18-20,22 

• 일부 연구에서의 훈련에는 교수 전략이나 소그룹 촉진 기술에 대한 검토도 포함되었다. 10,17,19,21,27 

• 모든 동료 교수 학습은 교사 개입의 결과를 평가하기 위해 교사 설문 조사를 사용했다.

There was some form of teacher training for student teachers in seven of 11 studies.10,14,17–19,21,27 The peer teacher training in many studies included a thorough review of the future teaching material by faculty educators.11,15,18–20,22 The training in some studies also included a review of teaching strategies or smallgroup facilitation skills.10,17,19,21,27 All peer teaching studies used teacher surveys to evaluate the outcomes of their interventions.

• 연구 중 9 개에서 참가자의 교수 또는 발표 기술을 향상 시켰음을 지적했다 .10,11,14,15,17-19,26,27 

• 두 연구의 참가자는 레지던트 때 교육 역할 수행에 그들이 준비가되었다고 느꼈다. 

• 많은 연구에서 학생들은 자신이 학습자료에 대한 자신의 이해를 향상 시켰다고 느꼈다고 지적했다 .11,17,19,26 

• 두 연구에 따르면 참가자들은 피드백에 자신감을 느꼈다. 

• 참여자들은 또한 의사 소통 기술, 11,18,19,26 조직 기술, 18,26 그룹에서의 신뢰 18, 미래에 가르 칠 확률 증가, 15,17,18 등의 향상을 언급한다.

The results of these surveys noted that peer teaching improved the teaching or presentation skills of participants in nine of the reviewed studies.10,11,14,15,17–19,26,27 The participants in two studies felt that they were now prepared to teach in residency.13,27 Many studies noted that students felt they had improved their own understanding of the material.11,17,19,26 Two studies noted that participants felt more confident in giving feedback.10,27 Participants also noted improvements in many other categories, including communication skills,11,18,19,26 organisational skills,18,26 confidence speaking in groups18 and increased likelihood they would teach in the future,15,17,18 among others.

질문을 받았을 때, 학생 학습자들은 동료 교사가 충분히 지식이 있다고 느꼈다 .19,26,27 또한, 동료 주도 그룹의 학생들의 시험 결과에는 교수 주도 그룹과 비교하여 통계적으로 유의 한 차이가 없었다 .

When asked, student learners felt that their peer teachers were sufficiently knowledgeable.19,26,27 Additionally, when addressed, there was no noted statistical difference in the examination results of students in peer-led groups in comparison with those in faculty-led groups.

교육 워크숍

Teaching workshops

20 개의 검토 된 기사 중 7 개는 의대 학생 교육 워크샵을 설명했습니다. 그 특성은 표 2에 요약되어 있습니다.

Seven of 20 reviewed articles described medical student teaching workshops. Their characteristics are summarised in Table 2.

이런 연구에서 피드백은 일반적으로 긍정적이었습니다. 

• 4 개의 연구 참여자는 워크샵이 그들의 교수 또는 촉진 기술을 향상 시켰다고 언급했다 .16,20,22,25 

• 3 개의 연구에서 의과 대학생들은 레지던트에서 가르 칠 준비가 잘되어 있다고 느꼈다. 9,12,16 

• 두 연구는 feedback을 주는 것에 대한 자신감 향상을 언급했으며 

• 한 연구에 참여한 사람들은 또한이 프로그램이 미래에 임상 교육 표준을 향상시키도록 동기를 부여했다고 언급했다.

The feedback fromthese surveys was generally positive. The participants in four studies noted that the workshops improved their teaching or facilitation skills.16,20,22,25 The medical students in three studies felt better prepared to teach in residency.9,12,16 Two studies noted increased confidence in giving feedback20,25 and the participants in one of those studies also noted that the programme motivated themto improve clinical teaching standards in the future.25

봉사활동 프로그램

Outreach programmes

20 개 논문 중 2 개는 의대생을 대상으로 한 의료 봉사 프로그램을 검토했다. 그 특성은 표 3에 요약되어 있습니다.

Two of the 20 articles reviewed concerned medical student outreach programmes. Their characteristics are summarised in Table 3. 

피드백과 평가

Feedback and evaluation

대부분의 검토 된 연구에서 참여한 의대생은 교육 성과에 대한 피드백을받지 못했습니다.

Participating medical students did not receive feedback on their teaching performance in most reviewed studies.

프로그램 평가의 가장 일반적인 수단은 Likert scale의 참여 학생 설문 조사였습니다. 참가자의 주관적인 자기 평가는 대부분의 검토 된 연구에서 유일한 측정 결과였다. 사실, 객관적이고 양적인 교육 관련 결과는 단지 두 가지 연구에서만 측정되었습니다.

The most common means of programme evaluation was, by far, Likert scale-based surveys of participating medical students. Subjective self-evaluation by participants was the only measured outcome in most of the reviewed studies. In fact, objective and quantitative teaching-related outcomes were measured in only two studies.

DISCUSSION

교육 기술은 의사에게 소중한 자산이라는 전 세계 의사 협회 및 행정당국 간의 보편적 인 인정이 있습니다. 

• 영국의 GMC에서는 의료 졸업생이 멘토와 교사로서 효과적으로 수행 할 수 있어야한다고 규정하고 있습니다 .1 

• 또한 캐나다에서 CanMEDS의 역할은 의료 연수생이 의학 교육자로서의 기술을 발전시켜야한다고 규정합니다.

There is universal acknowledgement among medical associations and governing bodies across the world that teaching skills are a valuable asset to physicians. In the UK, the GMC states that medical graduates should be able to perform effectively as mentors and teachers.1 Additionally, in Canada, the CanMEDS roles dictate that medical trainees should develop their skills as medical educators.32

문헌 조사를 통해 의대생의 교수법 개발을위한 세 가지 유형의 주도권이 밝혀졌다. 모든 이니셔티브는 참가자의 자기 인식 된 교수법 기술을 향상 시켰으며 다른 장점들도 개선했습니다. 그러나 많은 연구에서 참가자들에게 교수 성과 피드백은 대체로 부족하였다. 또한, 단지 두 연구에서만 측정 가능한 객관적 결과가보고되었습니다.

A review of the literature revealed three types of initiative for developing the teaching skills of medical students: peer teaching programmes; teaching workshops, and outreach programmes. All initiatives improved the self-perceived teaching skills of participants, among other benefits. There was, however, a notable lack of teaching performance feedback for participants in many studies. Additionally, only two studies reported measurable objective outcomes.

피어티칭

Peer teaching

피어티칭은 의학 교육에서 매우 일반적입니다. 2008 년 미국 의과 대학을 대상으로 한 설문 조사에 따르면, 응답하는 모든 학교는 어떤 방식으로든 학생을 교사 또는 튜터로 활용하는 것으로 나타났습니다 .7 또한 응답 한 의과 대학의 87.9 %는 특별히 학업적 도움이 필요한 학생들을 대상으로 피어튜터를 사용했습니다 .7 그러나 응답한 학교 중 44.0 %만이 학생들에게 공식 SaT 프로그램을 제안했습니다 .7

Peer teaching is extremely common in medical education. A 2008 survey of US medical schools found that all responding schools utilised their students as teachers or tutors in some fashion.7 Moreover, 87.9% of responding medical schools used medical students as peer tutors specifically for students requiring extra academic help.7 Only 44.0% of respondents, however, offered their students formal SaT programmes.7

보건 교육에서 피어티칭에 대한 많은 양의 정보가 출판되었지만, 소수의 연구 만이 피어티칭의 효과 또는 교사 자체에 대한 이점을 조사했습니다.

Although a large amount of information on peer teaching in health care education has been published, only a few studies have examined the effects or benefits of peer teaching on the teachers themselves.

대부분의 문헌은 동료 교사가 가르치는 학생들의 학습 결과를 구체적으로 다루고 있습니다. 이 간행물 중 상당수는 동료 교사가 가르치는 의대생이 

• 여러 가지 다른 과목에서 교수 직원이 가르치는 교사와 비슷한 성적을 유지하고 있음을 나타냅니다 .17,26,34-45 

• 일부는 또한 학생 학습자가 동료 교사 더 강한 그룹 학습 분위기를 조성하고, 

• 보다 효과적으로 피드백을 제공하며, 

• 교수보다 더 accessible하다고 언급한다.44

The majority of publications specifically address the learning outcomes of students taught by peer teachers; Many of these publications appear to indicate that medical students taught by peer teachers maintain similar grades to those taught by faculty staff in a number of different subjects.17,26,34–45 Some of these reports also indicate that student learners perceive that peer teachers create a stronger group learning atmosphere,31 deliver more effective feedback,31 and are more accessible than their faculty counterparts.44

교수진 교사에 대한 동료 교사의 이점은 학생들과 공유하는 인지적 및 사회적 합치인 것으로 보인다.

• 인지적 합치: 동료 교사는 자신의 지식에 대한 이해 수준이 더 비슷하거나 일치하기 때문에 학생들의 지식 격차와 인지적 어려움을 더 잘 이해하고 해결할 수 있습니다.

• 사회적 합치: 학생들이 그들보다 권위있는 지위를 가지고 있지 않은 동료에 대한 질문을하는 것이 더 편할 수 있음을 지적한다 .29 이것은 '무지와 인지 오류의 공개를 도울 수있다.'

The advantage of peer teachers over faculty educators appears to refer to the cognitive and social congruence they share with their students.29 

• Peer teachers are better able to understand and address the knowledge gaps and cognitive struggles of their students because their own level of understanding of the material is more comparable – or congruent.29 

• The idea of social congruence indicates that students may be more comfortable asking a question of a peer, who holds no inherent position of authority over them.29 This might help ‘facilitate disclosure of ignorance and cognitive errors’ that can then be addressed.29

그러나 의학 교육에서 동료 교육의 학생 학습 결과를 다루는 보고서가 모두 완전히 긍정적 인 것은 아닙니다. 어떤 연구들은 동료 교사의 지식의 적절성에 대한 우려와 그들의 가르침의 신뢰성을보고했다 .34) 또한, 일부 학생들은 교수진이 가르치는 것을 선호하는 것으로 나타났다.

However, reports addressing the student learning outcomes of peer teaching in medical education have not all been completely positive. Some studies have reported concerns over the adequacy of the knowledge of peer tutors44 and the reliability of their teaching.34 Additionally, one report noted that some students preferred being taught by faculty teachers.46

이 리뷰에서 다루어 진 연구는 동료 교사가 그들의 교수 경험으로부터 이익을 얻는다는 것을 나타냅니다. 또래 교육은 학생 교사의 자기 인식 교습 기술을 향상시키고, 10,11,14,15,17-19,26,27 지식, 11,17,19,26 통신 11,18,19,26과 자신감, 18을 향상시킵니다. .

The studies addressed in this review indicate that peer tutors benefit from their teaching experience. Peer teaching improves student teachers’ self-perceived teaching skills,10,11,14,15,17–19,26,27 knowledge,11,17,19,26 communication11,18,19,26 and confidence,18 among other aspects.

따라서 의료 학교는 피어튜터를 실행 가능한 교육 자원으로 간주해야합니다. 학생 학습자와 학생 교사 모두 피어 학습의 이점을 누립니다. 의대생의 교수 기술 향상과 관련하여 피어 교수 프로그램이 실행 가능함이 입증되었습니다.

Medical schools should therefore consider peer tutors as a viable educational resource: both student learners and student teachers benefit from peer teaching. With respect to improving the teaching skills of medical students, peer teaching programmes have been shown to be viable.

교육 워크숍

Teaching workshops

의대생에 대한 1992 년 조사에 따르면 90 %의 응답자가 레지던트 이전에 교수법 워크샵에 참여할 의사가 있다고 응답했다 .4 같은 설문 조사에 따르면 응답자의 14 %만이 공식 교육지도를 받았다고 지적했다 .4) 이 리뷰에서 의학적 학생 교육 워크샵은 참가자의 자기 인식 교육 기술, 17,21,23,26 피드백 기술 21,26 및 레지던트 준비 10,13,17을 향상시킵니다.

A 1992 survey of medical students indicated that 90% of respondents would partake in a teaching skills workshop prior to residency, if one was available.4 This same survey also noted that only 14% of respondents had any formal teaching instruction.4 The studies addressed in this review indicate that medical student teaching workshops improve the self-perceived teaching skills,17,21,23,26 feedback skills21,26 and readiness for residency10,13,17 of participants.

교육 워크샵이 의대생의 교수 기술 향상에 효과적이라고 보일지라도 이러한 유형의 이니셔티브에는 이차적 이득은 없다는 점은 주목할 가치가 있습니다. 피터 개인 교습이나 봉사 활동 프로그램에서 학생들은 동료 또는 지역 사회 구성원을 교육하는 동시에 교습 기술을 향상시킵니다. 이런 이차적 이득이 교육 워크숍에서는 발생하지 않습니다.

It is worth noting that although teaching workshops appear to be effective in improving the teaching skills of medical students, there are no secondary gains to this type of initiative. In peer tutoring or outreach programmes, students improve their teaching skills while also educating peers or community members. This does not occur with teaching workshops.

봉사활동

Outreach programmes

의대생은 지역 사회 보건 교육 프로그램 개발을위한 훌륭한 자원입니다. 그들은 경제적이며, 기꺼이 하고자 하고, 의학적으로 지식이 풍부합니다. 의대생은 초등학생과 고등학생에게 자연 과학, 24,47 건강 과학 24 및 정신 건강 교육 23)을 효과적으로 가르치는 데 효과적이었습니다.

Medical students represent an excellent resource for the development of community health education programmes. They are economical, willing, available and medically knowledgeable. Medical students have been shown to be effective in teaching elementary and high school students natural science,24,47 health science24 and mental health,23 among other subjects.

Feedback and evaluation

검토 된 대부분의 연구는 교수 성과에 대한 피드백을 제공하지 않았습니다. 학생 또는 관찰자의 피드백은 교사로서 향상시키기위한 핵심 구성 요소입니다. 의대생의 교수 기술 향상을 위해 고안된 프로그램에는 피드백 요소가 포함되어야합니다.

Most of the reviewed studies did not offer feedback on teaching performance. Student or observer feedback is a key component to improving as a teacher. Any programme designed to improve the teaching skills of medical students should include a feedback component.

지금까지 검토 된 연구에서 프로그램을 평가하고 학생의 교수법 기술을 평가하는 가장 일반적인 방법은 참여하는 의대생을 대상으로 리커트 척도 기반 설문 조사를 적용하는 것이 었습니다. 사실, 주관적인 자기 평가 조사는 대부분의 검토 된 연구에서 유일한 결과인 경우가 많다. 불행하게도 이러한 주관적인 결과가 객관적인 변화와 반드시 관련이있는 것은 아닙니다.

By far the most common means of evaluating a programme and of assessing student teaching skills in the studies reviewed was the application of a Likert scale-based survey of participating medical students. In fact, subjective self-assessment surveys represented the only outcome measurements in the majority of reviewed studies. Unfortunately, these subjective outcomes do not necessarily correlate with objective changes.

교수법 기술의 객관적인 변화를 평가할 수있는 한 가지 방법은 객관적 구조화 교습 (OSTE)을 사용하는 것입니다.

One way in which objective changes in teaching skills might be assessed is through the use of an objective structured teaching encounter (OSTE).

교습 기술의 변화를 객관적으로 평가하는 또 다른 방법은 학습자 설문 조사입니다.

Another method of objectively assessing changes in teaching skill is through learner surveys.

교수 성과 및 기술에 대한 객관적인 평가를위한 세 번째 방법은 숙련 된 교수진에 의한 평가입니다.

A third method available for the objective assessment of teaching performance and skill is evaluation by experienced faculty staff.

한계

Limitations

이번 연구는 교수 기술 개발 이니셔티브를 제공하는 많은 의대가 그들의 프로그램을 설명하는 출판 된 논문이 없다는 사실로 인해 제한적이었다.

The study was also limited by the fact that many of the medical schools that offer some form of teaching skills development initiative have no published articles describing their programmes.

검토 된 문헌의 연구는 참가자의 교수 활동 및 교수 능력의 종단적 특성자료가 없기 때문에 제한적이었다.

the studies in the reviewed literature were limited by the absence of the longitudinal characterisation of teaching activity and teaching ability in participants.

CONCLUSIONS

그럼에도 불구하고 프로그램 참가자들 (학생들과 교수진의 의미있는 피드백을 통합하기 위해)과 프로그램 평가 메커니즘 (객관적 측정 포함)에 대한 교수 기술 평가를 최적화 할 여지가있는 것처럼 보입니다.

Nonetheless, there appears to be room to optimise both the assessment of teaching skills in programme participants (to incorporate meaningful feedback from students and faculty members) and programme evaluation mechanisms (to include objective measures).

Med Educ. 2015 Feb;49(2):149-60. doi: 10.1111/medu.12571.

A review of teaching skills development programmes for medical students.

"단지 문화때문만은 아니에요": 피드백에 조직문화가 미치는 영향에 대한 레지던트의 인식(Teach Learn Med, 2017)

“It’s Just Not the Culture”: A Qualitative Study Exploring Residents’ Perceptions of the Impact of Institutional Culture on Feedback

Subha Ramania, Sarah E. Posta, Karen K€oningsb, Karen Mannc, Joel T. Katza, and Cees van der Vleutenb

aDepartment of Medicine, Brigham and Women’s Hospital and Harvard Medical School, Boston, Massachusetts, USA; bEducation Development and Research, Maastricht University, Maastricht, The Netherlands; cDepartment of Medical Education, Dalhousie University, Halifax, Nova Scotia,

Canada

도입

Introduction

피드백 탐색 행동은 또한 피드백, 목표 설정 및 성과 향상의 수용을 촉진시키는 것으로 생각됩니다 .16-18이 행동은 

• 자기 동기 (자기 평가, 자기 개선, 자기 향상, 자기 검증)

• 개인 및 대인 관계 요소 (피드백 제공자의 의도 및 특성, 피드백 탐색자와 제공자 간의 관계), 

• 자존감에 대한 긍정적 또는 부정적 영향에 대한 인식

...에 의해 유도 될 수 있습니다.13,16-24

Feedback-seeking behavior is also thought to promote acceptance of feedback provided, goal setting, and performance improvement.16–18 This behavior can be driven by self-motives (self-assessment, self-improvement, self-enhancement, or self-verification), personal and interpersonal factors (intentions and the characteristics of the feedback provider, relationship between the feedback seeker and provider), and perceived positive or negative effect on self-esteem.13,16–24

진 스 버그 (Ginsburg)와 동료들에 의해 예절(공손) 이론의 개념이 강조되어왔다. 서면 평가에 대한 교수의 서술 의견은 종종 모호하고 일반적generic이었다. 교수진은 연수생의 성과에 대한 심층적인 지식이 부족했거나, 그들은 그들의 조직 문화가 훈련생의 자아상을 잠재적으로 위협하는 언어를 사용하지 못하게 한다고 생각하고 있었으며, 이 둘은 모두 비특이적이고 도움이되지 않는 의견을 주게 만들었다.

Concepts from the politeness theory have been emphasized in studies by Ginsburg and colleagues, who found that faculty narrative comments on written evaluations were frequently vague and generic.28,29 It is possible that faculty lack in-depth knowledge about their trainees’ performance, or they perceive that their institutional culture discourages language potentially threatening to trainees’ self-image, both of which could result in nonspecific and unhelpful comments.28,29

저자들은 또한 예절(공손) 개념에서 "전통적인 간접성"을 언급했는데, 이는 [전문직 문화에서는 한 가지 의미만을 암시]하지만 [문자 그대로의 의미와는 매우 다르기] 때문에, 그 결과 교사와 학습자가 행간을 읽게 만든다는 것이다. 예를 들어, "좋음", "괜찮음", "기대 충족"과 같은 묘사은 표면적으로 정중하지만 실제로는 borderline 정도의 실력이거나 평균 이하임을 나타내는 말일 수 있습니다. 그러나 학습자는이 용어를 정확하게 해석하지 못하기도 하고, 실제로 자신의 퍼포먼스가 향상될 필요가 있음을 모르기도 한다. 예절(공손)이 의학 교육에서 교사와 훈련생 간의 직접적인 의견 교환에 어떻게 영향을 미칠지 탐구하는 것이 중요합니다.

The authors also described a politeness concept, “conventional indirectness,” referring to the use of phrases that imply one meaning in a professional culture but are very different from their literal meanings, thus leading to teachers and learners reading between the lines. For example, descriptions such as “good,”“solid,” and “meets expectations” are polite on the surface but may actually indicate that the performance is borderline or below average. However, learners may not interpret these terms accurately or appreciate that their performance indeed requires improvement. How politeness affects in-person feedback conversations between teachers and trainees in medical education would be important to explore.

Methods

Using qualitative methodology and study design,30 we conducted focus group ‘discussions’ of residents to examine their opinions on 

• the value and purpose of feedback in general, 

• institutional messages about the value of and expectations for feedback conversations, 

• facilitators and barriers to honest feedback conversations, and 

• suggestions to enhance actionable feedback.

Setting

The Internal Medicine Residency Program at Brigham and Women’s Hospital, a teaching affiliate of Harvard Medical School, is a large, urban training program with approximately 160 residents.

Framework and sampling

We used a constructivist grounded theory approach to explore opinions of participants.31–33 

• In this approach, narratives of participants allow researchers to reconstruct experiences and their meaning using an interactive process.34 

A purposive sampling strategy was used to recruit residents for the focus groups. 

• Purposive sampling strategies target representative groups or groups with specific characteristics.32 

• In this study, we sampled groups of categorical residents (on a 3- or 4year residency track and not in the 1-year preliminary track) in our program seeking to obtain a range of opinions regarding the value, quality of feedback provided by faculty, impact on performance, and their perceptions of the departmental feedback culture. 

• This sample was selected from a possible pool of 140 residents, the number enrolled in a 3- to 4-year Internal Medicine track. 

• We intentionally used heterogenous groups of PGY1, 2, and 3 residents to obtain opinions from different levels of trainees, aiming to facilitate rich interactions among the different levels of residents, given that they work closely together and learn from each other.

Data collection

The principal data collection was through focus group discussions,33,35 supplemented by investigator observations and field notes during the discussions. 

Focus groups were selected 

• to enhance the richness of data through group interactions, 

• for feasibility reasons given residents’ busy clinical schedules, and 

• to maximize the number of participants in a shorter time frame.

Focus group discussions lasted approximately 60 minutes. 

• Two investigators, a faculty member, and a resident were present at each discussion. 

• To minimize any power differences, discussions were led by the resident while the faculty member observed the interactions and made field notes. 

• The faculty investigator (SR) was neither a program director nor responsible for promotion or graduation decisions. 

To maximize reflexivity, 

• focus group facilitators were trained in using prompts and probes, 

• facilitating participant interactions and avoiding injecting their own biases into the discussions.36 

Post discussion debriefing of the research team reemphasized these principles.

The interviewer used open-ended questions as initial prompts (listed next), followed up on responses, and sought clarification or elaboration as required. 

• Trigger questions, discussed in advance by the research team, were used to initiate conversations, responses were further probed, and further open-ended questions were posed to ensure that the content of the discussions covered the study questions. 

• Whenever conversations spontaneously covered topics relating to the study questions, the interviewer did not interrupt. 

• Sample triggers included the following:  

•  Does feedback provided by faculty facilitate performance improvement?

•  What are the strengths and weaknesses of the current feedback system in our residency program?

•  Can you describe challenges encountered when you give or receive feedback?

•  Can you suggest strategies to improve the feedback culture in our department?

Data analysis

• We audiotaped all discussions and used a transcription service to transcribe them; no identifying information was retained in the transcripts. 

• We used the principles of grounded theory to identify themes through analysis of participants’ conversations (rather than through a priori hypotheses) and generate a theory or concept about the process of feedback.31 

• Analysis, performed manually, occurred concurrently with and informed ongoing data collection. 

• Trigger questions and probes were modified as appropriate for future discussions. 

• Data collection was stopped when it appeared that no additional themes related to our study questions emerged and there was adequate information to construct a theoretical understanding of the problem being studied. 

• Participants in our fourth focus group did not raise any new concepts about the feedback culture, and we considered data gathered as sufficient to answer our study questions. 

• Two investigators independently reviewed and coded transcripts and established coding categories. 

• We analyzed the data and interpreted their significance concurrently, a strategy known as “immersion and crystallization.”30,37 

• During open coding, each data unit referring to a specific issue was assigned a code consistent with participants’ terminology to minimize subjective bias. 

• We then performed thematic analysis to identify major themes reflecting words and phrases used by participants. 

• Ambiguities or disagreements in coding and generation of themes were resolved by consensus at research team meetings, which involved two additional investigators reviewing the analysis. 

• Our interpretation of data was further validated by informal checking-in discussions with some of the participating residents a few weeks later.

Results

주제는 다음과 같습니다.

(a) 문화적 규범은 피드백에 대한 명확한 기대와 메시지가 부족하며,

(b) '친절함niceness'의 문화가 팽배하여 정직한 피드백을 용이하게하지 못한다.

(c) 양방향 피드백은 문화의 일부가 아니며,

(d) 교수 - 레지던트 관계는 신뢰성에 대한 영향과 피드백에 대한 수용성에 영향을 미친다.

(e) 종단적 전문적 성장의 문화를 수립 할 필요가있다.

The themes were as follows: 

(a) The cultural norm lacks clear expectations and messages around feedback, 

(b) the prevailing culture of niceness does not facilitate honest feedback, 

(c) bidirectional feedback is not part of the culture, 

(d) faculty–resident relationships affect credibility and receptivity to feedback, and 

(e) there is a need to establish a culture of longitudinal professional growth.

문화적 규범은 피드백에 대한 명확한 기대와 메시지가 부족합니다.

The cultural norm lacks clear expectations and messages around feedback

참가자들은 각 과의 피드백 문화가 [명시된 기대와 실제 사건 사이의 단절]을 보여 주었다고 지적했습니다. 그들에 따르면 월별 미리 알림 전자 우편의 결과로 효과적인 피드백이 발생할 것이라는 가정이 있었지만, 내용, 전달 전략 및 후속 조치를위한 명확한 기대가 부족합니다.

Participants indicated that the departmental feedback culture demonstrated a disconnect between stated expectations and actual events. According to them, there was an assumption that effective feedback would occur as a result of monthly reminder e-mails, but clear expectations about the content, strategies for delivery, and action items for follow-up are deficient. 

또한 정식 피드백 대화에 시간을 할당하지 않으며, 피드백 전달자와 수신자 모두 이러한 대화를 위한 suggested structure에 따라 수행하지도 않는다. 경영대학에 다닌 바 있는 레지던트는, 경영대학에서는 피드백에 대한 기대가 교사 훨씬 더 명확하였으며, 제공하고, 권유하며, 수용하는 것에 대해서 교수자와 학습자 모두에게 강력한 교육을 통해 제공해주었다고 언급했다.

In addition, time is not set aside for formal feedback conversations, nor are feedback givers and receivers guided by a suggested structure for these conversations. Those residents who had attended courses at the business school reported that expectations of feedback were much more clearly communicated, backed up by robust training for teachers and learners on providing, soliciting, and receiving feedback respectively.

나는 그것이 이곳의 문화적 규범이라고 생각하지 않습니다. 제가 비즈니스 스쿨에있을 때 피드백이 너무 많았고 피드백을 제공하는 방법에 대한 많은 세션과 피드백에 대한 피드백을 제공하는 방법이 농담처럼되었습니다. 그러나 특정 방식으로 피드백을 전달하는 방법이 학습의 문화에 ingrain되어있었고, 피드백 제공과 어떻게 피드백을 수용하는지 알 것이라는 기대가 있었다. 그러나 여기는, 어쩌면 잘 받아 들여지 겠지만, 어쩌면 어떤 사람은 위험을 감수하고있을 수도 있습니다. (PGY 거주자 3 [R3])

I just don’t think that that’s the cultural norm here. When I was in business school, there was so much feedback, and so many sessions on how to give feedback, and how to give feedback on the feedback, it became like a joke. But, it did ingrain a culture of learning to deliver feedback in specific ways, and there was an expectation that you would give it and know how to receive it. Whereas I think here, maybe that would be wellreceived, but maybe a person would be taking a risk. (PGY Resident 3 [R3])

레지던트들은 매년 2 ~ 4 주간만 교육에 참여하는 교수진에 대해 의견을 나눴습니다. 제한된 감독과 가르치는 시간으로 인해, 그들은 학습자 중심의 교수법에 참여하거나, 시기 적절하고 구체적인 피드백을 제공하거나, 자신의 가르침을 성찰할 준비가 덜 되어 있는 것으로 인식되었습니다. 참가자들은 학과가 [교육 로테이션의 핵심 목적이 학습자 성장]이라고 명시적으로 전달했는를 궁금해하였으며, 여기에는 [의미있는 성과 기반의 피드백]이 필요하다고 말하였다. 

Residents commented on faculty who rotate on the teaching service only for 2 to 4 weeks each year. With limited time dedicated to supervising and teaching, they were perceived as less prepared to engage in learner-centered teaching, provide timely and specific feedback or reflect on their own teaching. Participants queried whether the department explicitly communicated to faculty that the key purpose of such teaching rotations is learner growth, which requires meaningful performance based feedback.

친절niceness의 문화가 팽배하여 정직한 피드백을 촉진하지 않습니다.

The prevailing culture of niceness does not facilitate honest feedback

레지던트들은 정직한 피드백에 대한 장벽으로 인식되는 프로그램 내에서 "niceness의 문화"가 있다고 말했다. 그들은 교수진, 동료 및 프로그램 리더십들은 "좋으며", 그들은 레지던트가 열심히 일하는 것에 감사해하지만, 건설적인 피드백을 피하는 경향이 있음을 강조했습니다. 참가자들은 이것에 대해 위계적 또는 권력 관계를 명시적으로 비난하기보다는, [열심히 일하는 레지던트들의 능력에 대한 공감, 자신의 감정에 상처를주지 않으려는 의도, nurturing한 작업 환경을 유지하려는 욕구]와 관련시켰다. 그러나 건설적인 피드백은 구체적인 다음 단계뿐만 아니라 개선이 필요한 특정 분야를 인식하게 하는 데 필수적이라고 명시했습니다.

Residents stated that there was a “culture of niceness” within the program that they perceived as a barrier to honest feedback. They emphasized that faculty, peers, and the program leadership are “nice” and appreciative of hard work but tend to avoid constructive feedback altogether. Participants did not explicitly blame hierarchy or power relationships for this lack but related this to faculty empathy for hardworking residents, unwillingness to hurt their feelings, and a desire to maintain a nurturing work environment. However, they stated that constructive feedback is essential to enable awareness of specific areas requiring improvement, as well as concrete next steps.

이 "niceness"의 영향은 동료 피드백으로 확장되었습니다. 시니어들은 주니어들에게 피드백을 제공 할 때 부정적인 것으로 해석 될 수있는 의견을 생략하는 경향이있었습니다.

This “niceness” extended to peer feedback as well. Senior residents tended to omit any comments that could be construed as negative when they provided feedback to their junior peers.

우리의 피드백 문화는 나쁜 피드백을 제공하지 않는 것이라기보다는, 다른 사람의 감정을 상하게하고 싶지 않기 때문에 피드백을 보내지 않는 것이다. 문화를 바꾸는 것이 앞으로 중요해질 것입니다. (R3)

The culture of feedback from us is not to give bad feedback, we don’t want to give feedback because we don’t want to hurt anyone’s feelings. Changing the culture will be really important moving forward. (R3)

[전문직의 성공에 피드백이 필수적이며 교사와 연수생이 서로를 도울 수 있도록 노력해야한다]는 것을 명백하게 강조함으로써 niceness의 문화를 진솔한 피드백을 장려하도록 활용 될 수 있다고 제안되었습니다.

It was suggested that the departmental culture of niceness could potentially be harnessed to encourage honest feedback conversations by overt emphasis that feedback is integral for professional success and teachers and trainees should help each other grow.

양방향 피드백은 문화의 일부가 아닙니다.

Bidirectional feedback is not part of the culture

참가자들은 부서 문화가 양방향 피드백을 권장하지 않는다고 인식했습니다. 레지던트가 주치의에게 피드백을 제공하는 경우는 드뭅니다. 똑같이, 주니어 R들은 선배들에게 구두로 피드백하는 것을 주저하거나 피합니다. 주니어 R의 피드백을 경험 한 시니어 레지던트는 이러한 경험을 소중한 것으로 여기며, 이러한 피드백은 수퍼바이저가 주는 피드백과는 서로 다른 부분을 강조하고 있다고 느꼈습니다.

Participants perceived that the departmental culture did not encourage bidirectional feedback. Residents rarely provide feedback to attending physicians; similarly, junior residents hesitate to or avoid verbal feedback to their senior peers. Senior residents who had experienced feedback from their junior trainees identified these experiences as valuable and felt that such feedback often focused on different skills than the feedback from their supervisors.

저는 실제로 인턴에서 구두로 의견을 듣지는 않았지만 프로그램 디렉터와 함께 작성한 서면 의견을 일부 받았습니다. 받고 나니 이것이 도움이 된다는 것을 알았습니다. 인턴에게 더 많은 피드백을 받으면 좋겠어요. 제 강의가 어땠는지와 같은 것들이요. 그리고 그것은 내가 주치의에게 얻는 것과는 다른 종류의 피드백입니다. (R3)

I haven’t actually gotten verbal feedback from any of my interns, but some of the written ones I’ve gone over with our program director. And I found it helpful, I wish they had done more, like how my teaching went off, stuff like that. And it’s different feedback than I would get from an attending. (R3)

전반적으로, 교수진은 건설적인 피드백을 환영하지 않을 것이라는 인식이 있었으며, 그러한 요청은 단순한 립서비스 일 수 있습니다. 또한 그 "위험"이 무엇인지는 분명하지 않았지만, 주치의에게 "부정적인" 피드백을 주는 것은 위험을 안고 있다는 불안감이 레지던트들 사이에 있었습니다. 이러한 인식의 결과 양방향 피드백이 거의 없게 되었다.

Overall, there was a perception that faculty would not welcome constructive feedback and such requests may be just lip service. There was also some anxiety among residents whether offering “negative” feedback to attending physicians would carry some risk, though it was unclear what this risk entailed. Such perceptions resulted in near absence of bidirectional feedback.

주치의에게 피드백을주는 것은 꽤 어색합니다. 나는 건설적인 말을하지 않는 경향이 있습니다. 나는 그들이 거의 묻지 않는다고 생각한다. (R2)

It’s pretty awkward to give feedback to attendings. I tend to just not say anything constructive. I think they rarely ask. (R2)

지나치게 긴 라운드 처럼 직무 루틴을 방해하는 극단적으로 부정적인 상황만이 주치의에게 피드백을 유발하는 것처럼 보였으며, 이러한 대화는 confrontational한 경향이 있었습니다. 한 시니어 레지던트는 자신의 주치의와 함께 동료적이고 정직하며 지지적인 대화를 한 적이 있다고 보고했는데, 시니어 레지던트는 그것이 상호 전문적인 성장을 목표로한다고 생각했습니다.

Only extremely negative circumstances such as overly long rounds causing disruption of the work routine seemed to trigger residents’ feedback to attending physicians, and such conversations tended to be confrontational. One senior resident reported engaging in a in a collegial, honest, yet supportive dialogue with her attending, which she perceived was intended for mutual professional growth.

교수 - 레지던트 관계는 피드백에 대한 신뢰성과 수용성에 영향을 미친다.

Faculty–resident relationships affect credibility and receptivity to feedback

참가자들에 따르면, 현재의 피드백 대화는 "참 잘했어요"와 같은 코멘트가 대부분이다. 그들은 필요한 성과에 대한 기대치가 명확하지 않거나, FP가 학습자의 목표를 논의 할 수 있도록 stage를 설정하지 않은 경우, 피드백의 신뢰도가 낮아질 수 있다고 말했다.

According to participants, current feedback conversations are dominated by “good job” comments. They stated that feedback is less credible when expectations of required performance are not clear and the feedback giver has not set the stage by allowing learners to discuss their goals.

당신에게 기대되는 것들을 아는 것이 정말 도움이 될 것입니다. "연말까지해야 할 10 가지 기술"과 같은 것 말이다. 당신이 약한 곳을 파악하고 다른 사람들이 성장이 필요한 부분을 파악하는 데 도움이됩니다. (R1)

It would be really helpful to know the things expected of you …“the ten skills you should have by the end of the year.” It helps you identify where you are weak and helps others identify where you need growth. (R1)

직접적인 관찰에 근거하지 않은 피드백은 신뢰성이 부족한 것처럼 보였습니다. 피드백 대화의 기초로 사용될 때 의견은 성과에 대한 구체적인 정보를 제공하지도 않았으며, 레지던트들에게 수용가능하지 않았다.

Feedback not based on firsthand observation appeared to lack credibility. When used as the basis of a feedback conversation, the comments neither provided specific information on performance nor were likely to be acceptable to residents.

로테이션이 끝날 때 제공되는 총괄적 피드백은 레지던트들의 [행동 변화를위한 기회가 제공되지 않으며] [후속 조치가 없기 때문에] receptivity가 낮아지는 것으로 보였다. 참가자들에 따르면 이러한 상황으로 인해서 FP와 FR사이의 인식차이가 발생할 수 있는데, 전자는 피드백 체크리스트 박스만 체크하고, 후자는 결코 피드백이 발생하지 않는다고 인식하기 때문이다.

Summative feedback provided solely at the end of a rotation appeared to be less well received, as opportunities are not provided for residents to change their behavior and there is no follow-up. According to participants, this could lead to a mismatch of perceptions between feedback givers and receivers, with the former ticking a box that feedback occurred and the latter perceiving that feedback never occurred.

마지막으로, 피드백 코멘트는 actionable해야 하며, 이를 위해서는 구체적인 성과 개선 계획을 결정하는 대화가 있어야 한다.

Finally, feedback comments need to be actionable with conversations concluding with concrete performance improvement plans.

종단적 직업적 성장의 문화를 수립 할 필요성이 있음

There is a need to establish a culture of longitudinal professional growth

참여자들은 기관문화를 바꾸려는 노력으로, 의미있는 피드백을 위한 토대로서 [모든 로테이션 시작시 목표 설정을 위한 대화를 명확하게 장려]하고 [교사와 학습자의 직업적 성장을 더욱 강조하는 것]이 포함될 수 있다고 제안했습니다.

Participants suggested that efforts at changing the institutional culture might include explicit encouragement of a goal-setting conversation at the start of any rotation and further emphasis on professional growth of teachers and learners alike as a foundation for meaningful feedback.

피드백을 주라고 매일 매일 말하는 대신, 인턴이나 레지던트를 첫날 초대해서, 우리가 이 로테이션에서 원하는 것은 이것입니다라고 말해주세요. 그렇게하면 피드백을 시작gear할 수 있습니다. (R2)

instead of saying, give feedback everyday, Invite a meeting that first day, one on one with the interns or residents or among everybody, saying, this is what we want out of this rotation. That way, you can gear the feedback to that. (R2)

교수진이 [기관의 교육적 사명]과 [지속적인 개선 문화]에 대한 오리엔테이션을 받아야한다고 제안되었습니다. 이 오리엔테이션은 교수진이 누구건간에(핵심 교육자, 빈번한 교사 또는 산발적 인 교사) 필수적입니다.

It was suggested that faculty should have an orientation on the educational mission of the institution and the culture of ongoing improvement. This orientation is essential whether the faculty are core educators, frequent, or sporadic teachers.

주치의들은 교육자가 되도록 훈련 받고 있습니다. 그들은 좋은 피드백을주는 방법에 관한 세션을 가질 자격이 있습니다.

Attendings are being trained to be educators. They do deserve a session on how to give good feedback.

또 다른 제안은 해당 기관이 교수와 레지던트 간의 장기적인 관계를 적극적으로 촉진해야 한다는 것입니다. continuity 클리닉은 각 레지던트가 훈련을 통해 종단 프리셉터에 배정 된 구조로되어 있지만, 2 주간의 입원 환자 로테이션은 관계를 촉진하거나, 적절한 성과 관찰, 정확한 성과 평가, 피드백에 영향을주는 행동 교환 및 양방향 피드백을 촉진하지 않는다고 믿었습니다.

Another suggestion was that the institution actively facilitate longitudinal relationships between faculty and residents. Although continuity clinics are structured with each resident assigned to a longitudinal preceptor throughout their training, they believed that 2-week inpatient rotations do not foster relationships or facilitate 

• adequate performance observation, 

• accurate performance assessment, 

• exchange of behavior influencing feedback, and 

• bidirectional feedback.

Discussion

우리의 연구는 하나의 대규모 레지던트 프로그램에서 피드백 교환에 영향을 미치는 핵심 요소에 대한 레지던트 관점에 대한 몇 가지 통찰력을 제공합니다. 이러한 결과는 그림 1에 나와 있습니다.

Our study provides several insights into residents’ perspectives on key factors that influence the exchange of feedback at one large residency program. These findings are depicted in Figure 1.

문화는 polite 또는 nice로 묘사되었습니다. 아이러니하게도 politeness의 태도가 [긍정적인 학습 환경을 조성하였으며, 대부분의 레지던트는 이것을 감사히 여겼지만], 정직한 피드백 대화의 장벽으로 작용했습니다. 참가자들은 교수진이 [비판으로 인식될 수 있는 건설적인 피드백을 생략하는 경향]이 있어서 레지던트의 감정을 과도하게 보호한다고 생각했습니다. 이 문화는 양방향 피드백에 도움이 되지 못했습니다(레지던트에서 교수에게, 주니어에서 시니어에게). 레지던트들은 우호적인 학습 환경을 훼손하기를 원하지는 않았지만, 행동을 변화시키는 피드백 문화로 변화하는 동시에 기존 문화를 보존하기 위한 전략을 제시했다

The culture was described as polite or nice; ironically the politeness served as a barrier to honest feedback conversations even though it was seen to promote a positive learning environment and appreciated by most residents. Participants believed that faculty may be overprotective of residents’ feelings with a tendency to omit any constructive feedback that might be perceived as criticism. The culture was also not conducive to bidirectional feedback, either from residents to faculty or from junior to senior residents. Although residents did not wish to detract from the friendly learning environment, they suggested strategies to preserve it while moving to a behavior-changing feedback culture

진솔한 피드백 대화에 대한 장벽인 공손politeness에 대한 우리 레지던트의 진술은 politeness theory의 측면과 잘 어울립니다. Politeness는 사회적 상호 작용에 종사하는 사람들에 대한 자기 확신을 보장하는 사회적 기술을 의미합니다 .38 Brown과 Levinson이 기술한 이 이론은, 사회적 상호 작용을 통해 학습이 이루어지고 팀 구성원이 (교육, 학습 또는 환자 치료 목표를 달성하기 위하여) 서로에게 의존하는 임상 교육 환경과 관련이 있습니다. 레지던트는 최일선의 전문가일 뿐만 아니라 연수생이기도하며, 교수와 레지던트가 서로 "친절"하게 행동하고자 하며, 무례한 것으로 여겨 질 수있는 교류를 피하고자하는 것은 놀라운 일이 아닙니다 .

Our residents’ statements about politeness being a barrier to honest feedback conversations resonate well with facets of the politeness theory. Politeness refers to a battery of social skills that ensures self-affirmation for those engaged in social interactions.38 This theory, described by Brown and Levinson, is relevant to the clinical training environment where learning occurs through social interactions and team members are dependent on one another to achieve their teaching, learning, or patient care goals.39 Residents are trainees as well as frontline professionals, and it is not surprising that faculty and residents wish to be “nice” to each other and avoid exchanges that could be perceived as impolite.

건설적인 피드백은 문화적으로 기대되는 "예의바름"의 규범을 위반 한 것으로 여겨질 수있다 .40,41이 점은 Ginsburg와 동료들이 평가 양식에 대한 교수의 서면 의견의 질에 대한 연구에서 제기되었다 .28,29 "예의바름"의 개념은 특히 직접 피드백 대화에 큰 영향을 미치며, advanced trainee에게 특히 영향을 준다. 이러한 현상은 서면 피드백 또는 우리 기관에서만 그런 것은 아니다. 기관 내에서 그리고 그 시스템에서 일하고 학습하는 개인들 간의 "예의바름" 문화는 피드백 교육 이니셔티브에서 공개적으로 다루어 져야합니다. 특히 많은 연구 참여자가 장벽으로 지적했기 때문입니다.

Constructive feedback may well be viewed as a breach of the norms of expected politeness.40,41 This point was raised by Ginsburg and colleagues in their research into the quality of written comments by faculty on evaluation forms.28,29 It is very likely that politeness concepts impact in-person feedback conversations even more, especially with advanced professional trainees, and is not unique to written feedback or to our institution. This culture of politeness within an institution and between individuals working and learning in that system needs to be addressed openly in feedback training initiatives, especially because it was flagged as a barrier by many study participants.

Schein은 조직 문화를 "외부 적응과 내부 통합의 문제에 대처하는 방법을 배울 때 주어진 그룹에 의해 발명, 발견 또는 개발 된 공유 된 기본 가정의 패턴"으로 정의했다 .42 (6 ~ 7 쪽) 이러한 가정은 당연한 것으로 여겨지며, 신입 회원들에게 가르쳐져서 그들이 인식하고 생각하고 느끼는 방법을 정정하게 만든다. Competing value framework는 어떻게 조직 문화가 조직의 효율성에 영향을 주는지를 두 가지 핵심 요소의 균형으로 표현한다.

• 조직의 초점 (내부 또는 외부)

• 구조에 대한 조직의 선호도 (안정성, 통제, 유연성 및 변화 사이의 균형)

Schein defined organizational culture as “a pattern of shared basic assumptions invented, discovered, or developed by a given group as it learns to cope with its problems of external adaptation and internal integration.”42 (pp.6–7) Such assumptions are taken for granted and taught to new members as the correct way to perceive, think, and feel. The competing values framework refers to how an organizational culture balances two key dimensions that influence its effectiveness: 

• organizational focus (internal or external) and 

• organizational preference for structure (the balance between stability, control, flexibility and change).43

일부 조직에서는 회원들이 서로 공개적으로 challenge하는 경향이있는 반면, 다른 조직에서는 구성원들이 polite하며, 공개적으로 반대하거나 비판하지 않습니다. 적어도 피드백 대화에 대해서만 보자면, 우리의 기관적 문화는 후자에 속한다.

In some organizations, members tend to challenge one another openly, whereas in others, members are polite and avoid disagreeing or criticizing openly. It appears that our institutional culture falls under the latter category, at least where feedback conversations are concerned. T

피드백의 과정과 영향은 [대인 관계 상호 작용]과 [조직문화 내에 위치하는 FP와 FR간의 관계]에 의존한다. Sargeant et al.은 피드백 수용성을 향상시키고 성능 향상으로 이끄는 사회 문화적 렌즈를 사용하여 facilitated feedback model을 설명했다. 모델의 4 가지 단계, 즉 

• 관계 구축, 

• 반응 탐구, 

• 내용 탐색 

• 성과 변화를 위한 코칭

The process and impact of feedback relies on interpersonal interactions and relationships between feedback givers and recipients, situated within an institutional culture.45 Sargeant et al. described a facilitated feedback model using the sociocultural lens that could enhance its acceptance and lead to performance improvement. They described four phases in this model: 

• build relationships, 

• explore reactions, 

• explore content, and 

• coach for performance change.46 

따라서 (현재 교수개발의 대부분을 차지하는) 피드백 제공 기술에 대한 교육만으로는 피드백이 행동에 미치는 영향 또는 진실한 양방향 대화로서의 피드백 촉진에 영향을 미칠 가능성이 낮습니다. 

Thus, training on techniques for delivering feedback alone, which dominates much of faculty development on this topic, is unlikely to enhance its impact on behaviors or performance or promote honest conversations and bidirectional feedback.

Implications for practice and future research

기관 지도자, 교수 및 연수생 모두 피드백을 유도하고 양방향 성과 향상 대화를 촉진하기 위해 피드백 이니셔티브를 설계하는 데 참여해야합니다 .48 교수와 레지던트 간의 장기적인 관계를 촉진하면 의견 수렴 및 신뢰도가 높아질 수 있습니다 .11, 교수와 훈련생 간의 직접적인 상호 작용이 제한된 짧은 로테이션 직접적인 관찰과 피드백에 해로운 영향을 미칠 수있다 .51,51 교수진은 임상 및 교수 성과에 대한 피드백을 청취하도록 적극적으로 장려되어야하고, 레지던트는 [피드백이 양방향이라고하는 제도적 기대가 있다는] 훈련을 받아야하고 설득되어야 한다. 

Institutional leaders, faculty, and trainees will all need to be involved in designing feedback initiatives to encourage feedback seeking and promote bidirectional performance-improving conversations.48 Facilitating longitudinal relationships between faculty and residents would also likely increase the credibility and acceptance of feedback.11,49 Short rotations with limited direct interactions between faculty and trainees may have a deleterious effect on direct observation and feedback.50,51 Faculty need to be actively encouraged to solicit feedback on their clinical and teaching performance, and residents need to be trained and persuaded that there is an institutional expectation that feedback would be bidirectional.

44. Jippes M, Driessen EW, Broers NJ, Majoor GD, Gijselaers WH, van der Vleuten CP. Culture matters in successful curriculum change: An international study of the influence of national and organizational culture tested with multilevel structural equation modeling. Academic Medicine 2015;90:921–9.

Teach Learn Med. 2017 Apr-Jun;29(2):153-161. doi: 10.1080/10401334.2016.1244014. Epub 2016 Dec 21.

"It's Just Not the Culture": A Qualitative Study Exploring Residents' Perceptions of the Impact of Institutional Culture on Feedback.

근거기반피드백 프로그램에서 의미있는 피드백을 위한 조건(Med Educ, 2016)

Investigating conditions for meaningful feedback in the context of an evidence-based feedback programme

Stephane Voyer,1 Cary Cuncic,1 Deborah L Butler,2 Kimberley MacNeil,2 Christopher Watling3 &

Rose Hatala1

도입

INTRODUCTION

피드백은 '미래의 성과를 이끌어 내기 위해 주어진 활동에서 [연수생]의 수행을 기술하는 정보'로 정의되었다 .2 이것은 다음과 같은 모델로 번역 될 수있다 :

(i) 성능이 관찰된다.

(ii) 관찰 결과가 학습자에게 전달되고,

(iii) 학습자 (관찰자가 있거나 없음)는 성과를 향상시키기위한 계획을 수립합니다.

Feedback has been defined as ‘information describing [trainees’] performance in a given activity that is intended to guide their future performance’.2 This can be translated into a model wherein: 

(i) performance is observed; 

(ii) the observation is communicated to the learner, and 

(iii) the learner (with or without the observer) creates a plan to improve performance.

그러나 의학 교육 문헌을 살펴보면이 단순화 된 모델의 각 단계에서 장벽이 드러납니다. 첫째, 연수생들이 임상 의무를 수행하는 과정에서 거의 관찰되지 않는다는 증거가있다.

However, examination of the medical education literature reveals barriers at each step in this simplified model. Firstly, there is evidence that trainees are rarely observed in the course of carrying out their clinical duties.6

둘째, 임상 교사가 정직하고 비판적 피드백을 생성하고 전달할 수있는 능력을 제한하는 장벽이있을 수 있습니다. 예를 들어, 강사는 학습자의 감정을 상하게하고 부정적인 피드백을 제공하는 것에 따르는 개인적인 영향을 우려 할 수 있습니다.

Secondly, there may be barriers that limit the ability of clinical teachers to generate and communicate honest, critical feedback.4,5 For example, instructors may be reluctant to hurt learners’ feelings, concerned about personal repercussions following the provision of negative feedback.

동시에 수퍼바이저는 형성 피드백을 제공하고 총괄 평가를 수행하는 이중 역할을 수행하기 때문에 trainee는 자신의 임상적 신뢰성을 감소시키고 평가에 영향을 줄 것이라고 생각하면 약점을 드러내지 않을 수 있습니다.

Simultaneously, because supervisors frequently carry the dual roles of providing formative feedback and undertaking the summative evaluation, trainees may not expose weaknesses if they feel it will reduce their clinical credibility and affect their assessments.9

피드백 생성 및 전달에 대한 이러한 장벽은 학습자와 감독자 사이의 일시적인 관계 만 허용하는 로테이션 모델 때문에 더 어려워진다.

these barriers to generating and communicating feedback are compounded by a rotational model that allows only transient relationships between learners and supervisors.10

개선 계획을 세우기 위해 학습자를 지원하는 장애요인들은 다음과 같다. 한 가지 문제는 임상 강사들이 성과가 실제로 어떻게 개선 될 수 있는지에 대한 유용한 지침을 제공하지 못하는 경우가 종종 있다는 것입니다 .11,12 또한, 연수생은 자신이받은 피드백을 해석하고 이로부터 이익을 얻거나 자신의 의견을 분석 할 수있는 충분한 기술이 없을 수 있습니다 학습 계획을 세웁니다.

Barriers to supporting learners to create plans for improvement . One problem is that clinical teachers often fail to offer any useful guidance as to how performance might actually be improved.11,12 Moreover, trainees may not have sufficient skills either to interpret and benefit from the feedback they do receive, or to analyse their own performance and generate a learning plan.

우리는 다음 세 가지 핵심 원칙을 바탕으로 프로그램을 구성했습니다.

(i) 피드백은 임상 수행의 직접적인 관찰에 기초한다;

(ii) 레지던트와 교직원이 종단적 교육 관계에 있고,

(iii) 피드백의 유일한 목적은 성과 개선이며 총괄적 요소를 포함하지 않습니다.

we structured our programme around three key principles: 

(i) feedback is based on direct observation of clinical performance; 

(ii) the resident and faculty member are in a longitudinal educational relationship, and 

(iii) feedback is offered for the sole purpose of improving performance and does not have a summative component.

우리의 개념적 틀은 피드백 제공에 영향을 미치는 많은 한계들이 학습에 대한 사회 문화적 관점에 대한 관심이 부족하기 때문에 가능하다는 견해에 근거했다. 즉, 학습자는 그들이 legitimate participant로 속하게 되는 문화의 가치에 따라 배우고 형성됩니다 .13

Our conceptual framework was grounded in the perspective that many of the limitations affecting the provision of feedback are attributable to insufficient attention to the socio-cultural perspective on learning. That is to say, learners learn and are shaped by the values of the culture in which they wish to be legitimate participants.13

우리는 특히 SRL모델에 영향을 받았는데, 여기서 피드백은 [교사 교직원과 레지던트 간의 '대화']로 구성 될 때 더 큰 잠재력을 갖게 되며, 이를 통해 레지던트는 학습 목표에 대한 더 많은 통제권을 행사하게 되며, 진도를 모니터링하고 그에 맞춰서 목표와 practice를 정비할 수 있는 갖게 된다.

We were further influenced by a model of self-regulated learning which identifies the potential of feedback, particularly when structured as a ‘dialogue’ between faculty staff and residents, to create opportunities for residents to take more control over learning goals, and to monitor progress and refine goals and practice as needed.15

METHODS

Research methodology

We used a qualitative case study design to address these research questions. The case study design facilitates examination of ‘how’ and ‘why’ a programme is working, and is particularly well suited to the investigating of complex, multidimensional phenomena in a natural environment.16

Setting

The internal medicine residency programme at the University of British Columbia (UBC) is a large, mostly urban training programme.

Participants

In September 2012, we recruited residents in postgraduate year 1 (PGY-1) of the UBC internal medicine residency programme; all PGY-1 residents were eligible for participation. We chose PGY-1 participants as they are at the start of their residency training and are thus perhaps less entrenched in the learning culture and more open to other influences on learning. As novices in internal medicine, they are also poised on a steep part of the learning curve at which educational interventions may have the greatest influence on learning. For this small pilot, nine volunteers were purposefully selected to represent a range of ages, genders and prior educational experiences. Resident and faculty member demographics are presented in Table 1.

Faculty participating in the programme consisted of three clinical educator faculty members (CC, RH, SV), who also designed the feedback programme and were members of our research team. Their participation as researcher-participants allowed us to gather evidence about how the programme was working from the ‘inside’ and then to maintain a consistent and coherent vision of the faculty role in this programme. Prior to the start of the study, these three faculty members participated in a 2-hourfaculty training session that reviewed current approaches to effective feedback in conjunction with the UBC Faculty Development Office. As the programme unfolded, they also engaged in frequent discussions about their own behaviours as faculty members during the study, which served as an informal method of faculty development, as well as a way of addressing reflexivity. The Department of Medicine paid for their participation in the programme at a stipend equivalent to that of attending physicians on clinical wards. 

Feedback programme

Each faculty member was responsible for three of the PGY-1s from September 2012 to July 2013. Residents initially met with their assigned faculty members to develop a shared understanding of the goals of the programme, and to develop their initial learning objectives. Subsequently, the faculty member observed each resident’s clinical performance every 2–3 months in the setting of the resident’s current clinical rotation. Prior to each observation, the faculty member and resident reviewed the previous learning objectives and discussed any new developments since the last observation. Faculty–resident pairs and frequencies of observations are presented in Table 1.

Each faculty member observed the resident for up to half a day as the resident performed his or her usual clinical duties on typical internal medicine inpatient rotations, which included those in critical care, internal medicine teaching units, and subspecialty rotations (Table 1). Observations occurred during daytime working hours and in the evening on-call period. At each patient encounter, the resident obtained the patient’s consent for the observation. The faculty member had no supervisory or patient care responsibilities.

Feedback was shared between patient consultations and summarised during a post-observation debriefing. The feedback was typically co-constructed as the faculty member and resident considered what had and had not gone well, how the resident was thinking through the situation, and what might have been done differently. Together, the resident and faculty member refined the resident’s plan of action and updated learning objectives. The resident was free to contact the faculty member at any time between observations to discuss issues or request an observation.

Research team

The research team initially included the three internal medicine clinical educators (CC, RH, SV), who designed and implemented the feedback programme and who brought perspectives from cognitive psychology and socio-cultural theory. 

• They developed the initial project concept and then approached DLB, a PhD education researcher with expertise in case study methodology, feedback and self-regulated learning, who joined the team to offer an ‘outsider’ perspective on the programme design, study methodology and data interpretation. 

• Once a first round of data collection by that four-member project team was complete, a doctoral student from the Faculty of Education (KM) was brought in for professional data analysis expertise. 

• Her distance from the project allowed her to take a fresh look at the full set of data, test the initial ‘categories’ developed by the project team against the original evidence, and bring confirming and disconfirming evidence to the team for discussion. 

• Neither DLB nor KM were clinicians and neither were directly involved in the feedback programme. 

• As a final addition, the team expanded to include a clinical educator with expertise in feedback and credibility judgements (CW), who was able to provide another ‘lens’ through which to examine our interpretation of findings.

Data collection

Multiple forms of data were collected. 

• Each introductory meeting and each debriefing between a faculty member and resident was audiotaped, transcribed and anonymised. 

• During each observation, faculty members consistently recorded structured written field notes, which captured basic descriptions of the context (e.g. setting, patients) linked with observations for potential discussion with the resident. 

• These data provided evidence of the logistics of the programme, the context of the observations and the nature of the feedback discussed. 

• Emails and text messages between residents and faculty staff were collected as they could potentially provide evidence of the influence of the programme upon the resident (such as when a resident reached out to a faculty member for emotional support).

At the end of the study period, semi-structured interviews were conducted individually with each resident by his or her faculty member. The interviews included questions on: 

• (i) the programme and how it had worked for the resident (Had the programme fulfilled his or her goals? What helped? What benefits were obtained? What were the challenges?); 

• (ii) participants’ understanding of feedback (How had it affected learning and decision making? How did it compare with feedback in other educational settings?), and 

• (iii) the impact of having a continuous connection with a faculty member. 

Because we recognised that residents might hesitate to be critical of the programme with their faculty members, they were also asked to participate in a focus group interview led by one of the non-clinician co-investigators (DLB). The focus group questions covered the same domains as the individual interviews.

Data analysis

Throughout our process of analysis, we moved cyclically through inductive (emerging from data) and deductive (theory-informed) analysis. 

• We involved researchers from multiple perspectives and levels of involvement in the project so that we were well positioned to identify converging themes. 

• The individual interviews and focus group served as the foundation for the analyses and were cross-referenced with the observation debriefing audiotapes, field notes, and communications between residents and faculty staff. 

• We considered all of our data sources as one dataset and did not separately analyse by data source.

At the outset of analysis, four researchers (CC, RH, SV, DLB) individually engaged in the act of memoing in order to capture insights and meaning patterns related to the dataset.17 

• They then met to identify key themes related to the research questions overall. 

• They did so by discussing the similarities and differences among perspectives and through visual representation (e.g. clustering ideas into overarching conceptual categories). 

• Discrepancies were resolved through discussion and by re-reading the original transcripts.

Next, KM was brought in to analyse data from her outsider perspective. 

• She engaged in the same process (i.e. memoing, determining key themes) as had the first four researchers and then brought her thinking to the group. 

• With her added input, the same process of testing and refining categories played out across several team meetings. 

• Over time, KM created a coding manual, refined it by bringing ‘test’ samples to group members for discussion, andcoded the data using a constant comparative method.18 

• CW participated in team meetings to discuss data analysis. 

• Across numerous meetings, the team worked from their multiple positions and perspectives to test and refine emerging codes in order to ensure that findings were linked to evidence from the dataset. 

결과

RESULTS

참가자가 언급한 이점들

Benefits described by participants

We found that residents reported benefiting not only 

• in ways of working, but also 

• in how they viewed and understood their learning in residency (ways of learning), as well as 

• in their confidence and emotional well-being (ways of feeling).

일 하는 법

Ways of working

레지던트의 관점에서 볼 때, 임상 기술에 대한 피드백은 즉각적인 우려사항을 말해주거나, 특히 구체적이고 다르게해야 할 일을 이해하는 데 도움이되었을 때 특히 의미있었습니다. 몇몇 레지던트는 교수진 관찰자로부터 후속 수행능력에 지속적인 영향을 미치게 된 매우 구체적인 조언을 받았다.

From residents’ perspectives, feedback on clinical skills was particularly meaningful when it addressed their immediate concerns, was specific and helped them understand what to do differently. Several residents received very specific tips from their faculty observer that they described as having an enduring impact on further performance.

레지던트들은 또한 고등 기술이라고 할 수있는 것에 대한 이득을 설명했습니다. 관찰 기간 동안, 레지던트들은 종종 자발적으로 소리내어 생각하여 임상 추론에 대한 토론을 촉발 시켰습니다. 레지던트들은 이런 종류의 고등 기술에 대한 피드백을 특별히 높이 평가했습니다. 왜냐하면 그것이 기존 교육에서 누락 된 것으로 느껴졌 기 때문입니다.

Residents also described gains in what might be referred to as higher-order skills. During the observations, residents often spontaneously thought aloud, sparking discussion about clinical reasoning. Residents specifically appreciated feedback on this kind of higher-order skill because it was felt to be otherwise missing from their training.

생각하고 배우는 법

Ways of thinking and learning

참가자들은 학습에 대해 새로운 방식으로 생각할 기회를 얻었습니다. 예를 들어, 참가자들은 자신의 학습 방향을 결정하는 능력과 책임에 대한 인식이 커지고 있다고보고했습니다.

participants benefited from having opportunities to think about their learning in new ways. For example, participants reported a growing awareness of their ability and responsibility to direct their own learning:

구체적이고 개인화 된 목표를 확인하고 일하도록work 요청 받으면 자신의 학습에 대한 책임감이 커지게 된 것 같습니다.

It seemed that being asked to identify and work towards specific, personalised goals fostered an increased sense of accountability towards their own learning.

그녀는 내가 구체적으로 어떤 조언을 받기를 원하는지, 어떤 것을 관찰하기를 원하는지 물어봤다.그래서 저는 이런 종류의 일들을 미리 생각해야했습니다.

몇몇 참가자들은 교수들과의 성찰을 통해 자신의 학습 목표를 성과지향 목표에서 (의미있는 목표라고 생각하는) 학습지향 목표로 향하는 방향으로 극적으로 reorient하고 있다고보고했습니다.

Several participants reported having dramatically reoriented their learning goals through reflection with their faculty members, either towards what they felt were more meaningful goals, or away from performance goals towards learning goals:

참가자들은 학습 목표에 대한 지속적인 토론을 통해 연중 진행 상황을 파악할 수있었습니다. 이러한 논의 과정에서 그들은 종종 특정한 목표가 달성되었다는 것을 알게되었습니다.

participants were able to reflect on their progress throughout the year through ongoing discussion of their learning goals. In the course of these discussions, they would often appreciate that a specific goal had been achieved.

참가자들은 종종이 프로그램의 경험을 임상 로테이션에서 받은 피드백과 비교했습니다.

Participants often compared their experiences in this programme with the feedback they usually received on clinical rotations.

교수진은 형성적 목적으로만 존재했으며 레지던트 평가에서 아무런 역할을하지 않았기 때문에 피드백은 평가와 얽매이지 않고 발전을 위한 지도로 보다 쉽게 ​​받아 들여지는 것처럼 보였습니다. 일부 레지던트 들은 임상 로테이션 중에 의도적으로 피드백을 찾기 시작했습니다.

느끼는 법, 존재하는 법

Ways of feeling, ways of being

참가자들은 또한 여러 측면에서 정서적 웰빙의 중요한 이점을 설명했습니다. 몇몇 주민들은 교수 관찰자로부터 지지받는다는 느낌을 보였습니다.

Participants also described important benefits to many aspects of their emotional well-being. Several residents reported feeling supported by the faculty observer:

몇몇 참가자들은 교수진과의 연계가 중요한 이점이라고 보고했다. 일부 참가자의 경우, 이 프로그램 이외의 다른 참석 교직원과의 관계에 대해서도 새로운 관점을 갖게 되었습니다.

Several participants reported that establishing a connection with a faculty member is a significant benefit. For some participants, this translated into a new perspective on relationships with other attending faculty staff outside this programme.

교수진과의 상호 작용은 레지던트로 하여금 자신의 전반적인 수행능력에 대한 reassurance에 도움이되었습니다. 참여자들은 자신의 경험을 공유하고자하는 교수진과의 개방적이고 정직한 상호 작용이 자신의 업무 관련 불안정을 정상화시키는normalise 방법이라고 설명했습니다.

The interactions with faculty members helped to reassure participants about their overall performance as residents. Participants described how the open and honest interactions with faculty members who were willing to share their own experiences served to normalise their own work-related insecurities.

프로그램의 어떤 요소가 그러한 이점을 촉진했는가?

Which elements of the programme facilitated the benefits?

프로그램의 구조적 요소

Structured elements of the programme

직접 관찰은 이 프로그램의 중요한 요소 인 것으로 보였다. 대부분의 참가자들은 직접적인 관찰이 없었다면 발생하지 않았을 학습 기회를 제공하는 상황을 설명했습니다.

Direct observation appeared to be a critical element of this programme. Most participants described situations in which direct observation afforded a learning opportunity that would not otherwise have occurred.

참가자들은 일상의 work를 관찰받으며 얻은 가치에 대해 설명했습니다.

참가자들은 또한 구체적인 학습 목표에 맞게 피드백을 받는 것이 프로그램의 유용한 요소라고보고했습니다. 참가자들은 교직원에게 관심을 준 것에 감사해했다.

Participants also reported that receiving feedback personalised to their specific learning goals was a helpful element of the programme. Participants appreciated having the faculty member focus attention on them: 

레지던트들은 또한 피드백이 어떻게 [교수진과 자신 사이의 대화]로서 발전하게 된 것을 감사해했다.

Residents also appreciated how feedback developed as a conversation between the faculty member and themselves:

피드백 프로그램 내에서, 각 레지던트 - 교수진 쌍은 1 년 내내 일정하게 유지되었습니다. 참가자들은 이 종단적 관계를 두 가지 측면에서 유익하다고 설명했습니다. 

• (i) 동일한 교수진과의 만남은 개인화되고 구체적인 피드백을 촉진했으며, 

• (ii)이 피드백은 일반적인 임상 로테이션에서 제공되는 피드백보다 더 많은 가치와 신뢰성을 갖는 것처럼 보였습니다.

Within the feedback programme, each resident–faculty pair remained constant for the entire year. Participants described this longitudinal relationship as beneficial on two fronts: 

• (i) meeting with the same faculty member fostered feedback that was personalised and specific, and 

• (ii) this feedback seemed to have more value and credibility than the feedback delivered on usual clinical rotations.

주치의 한 명에게 종단적으로 노출되었기 때문에, 참가자들도 피드백에 반응하여 개선되었음을 보여줄 시간을 가질 수있었습니다.

The longitudinal exposure to one attending physician also afforded participants the time to respond to feedback and to demonstrate improvement.

많은 레지던트들은 또한 피드백이 형성적 목표만을 갖는다는 것을 알게 되었고, 이것이 프로그램의 유용한 요소임을 확인했습니다. 어떤 사람들은 총괄평가가 없었다고 평하면서, 그랬기 때문에 평상시처럼 편안하게 일할 수 있다고 설명했다.

Many residents also identified that feedback which occurred solely for formative purposes, in the absence of any assessment that could be forwarded to the postgraduate training programme, was a helpful element of the programme. Some described the lack of summative assessment as helping them to feel comfortable in doing what they would normally do:

대인관계적 요소

Interpersonal elements

의미있는 피드백 제공을 지원하는 것으로 보이는 다른 요소로는 피드백의 대인 관계 측면과 관련된 것들이 있었다. 몇몇 참가자는 교수 관찰자의 퀄리티 덕분에 경험으로부터 더 많은 것을 얻을 수 있었다고 느꼈다. 관찰자의 두 가지 특성, 즉 'relaxed'또는 'easygoing'의 특성이 특히 중요한 것으로 보였다.

Other elements that appeared to support the provision of meaningful feedback related to interpersonal aspects of feedback. Several participants felt that qualities in the faculty observers helped them get more out of the experience. Two such characteristics in observers, namely, those of being ‘relaxed’ or ‘easygoing’, seemed to be critical.

교수진의 자질에 덧붙여, 레지던트들은 의미있는 피드백을 만들어낸 관계의 특성을 설명했습니다. 대부분의 경우, 레지던트들은 다른 감독자와 경험하지 못한 방식으로 '보살핌을받는'느낌을 묘사했습니다. 레지던트들은 또한 이러한 관계가 다른 주치의들과 일반적으로 경험했던 것보다 더 평등 한 토대footing로 발전하여보다 정직한 대화를 할 수 있다고 생각했습니다.

In addition to qualities in the faculty member, residents described qualities of the relationship that promoted meaningful feedback. For the most part, residents described feeling ‘cared for’ in ways they did not experience with other supervisors. Residents also felt that these relationships developed on a more equal footing than those they typically experienced with attending physicians and hence allowed for more honest conversation.

많은 피드백 대화가 레지던트가 어떻게 개선 될 수 있는지에 초점을 맞추었지만 참여자들은 긍정적인 격려를 받는 것도 매우 도움이된다고 설명했습니다. 참가자들은 교수진 관찰자로부터 긍정적 강화를 받으며 더 많은 피드백을 얻기 위해 자신의 업무와 자신감에 자신감을 가질 수 있다고보고했습니다.

Although many of the feedback conversations focused on how the resident could improve, participants also described the provision of positive encouragement as very helpful. Participants reported receiving positive reinforcement from their faculty observers, allowing them to feel more confident in their work and in their drive to seek out more feedback.

Logistical considerations

특정 시기에 관측이 특히 의미있는 피드백을 내는 듯 했다. 예를 들어, 한 레지던트는 시니어가 되기 시작한 학년 말에 관찰을 설명했습니다.

There were also specific times in the year during which observations seemed to yield particularly meaningful feedback. For example, one resident described an observation that took place towards the end of the academic year as she was beginning to make the transition to becoming a senior resident:

이 프로그램의 시간-집약적 성격을 감안할 때, 우리는 레지던트 참여자들과의 관찰 빈도를 조사하는 것이 중요하다고 생각했습니다. 의견은 다양했지만 일반적으로는 연간 3 ~ 6 건의 관찰이 최적 일 것이라는 것이었다.

Given the time-intensive nature of this programme, we thought it important to explore the frequency of observations with resident participants. Although opinions varied, the general sense was that somewhere between three and six observations per year would be optimal.

프로그램의 한계와 개선점은?

What were the limitations and challenges of the programme?

로지스틱 문제. 예를 들어 참가자들은 바쁜 일정과 시간 부족으로 인해 교수진과 임상 관찰 시간을 정하기가 어렵다는 것을 발견했습니다.

logistical issues. For example, participants sometimes found it difficult to set up clinical observations with their faculty member as a result of busy schedules and lack of time.

다른 중요한 한계는 직접적인 관찰이 임상 맥락에서 생소하다고 여겨졌다는 것이다. 이 프로그램에 등록하기 전에 대부분의 참가자는 일상적인 임상 연구에서 정기적으로 observed 받지 않았습니다.

The other significant limitation was that direct observation was seen as unfamiliar in the clinical context. Prior to enrolment within this programme, most participants had not been observed on a regular basis in their day-to-day clinical work.

고찰

DISCUSSION

기존 연구에서는 

• 직접적인 관찰의 부족, 

• 의미있는 피드백을 유발할 수있는 교직원과 레지던트 간의 종단적 관계의 결핍 

• 교수-레지던트 관계에서 느껴지는 총괄평가적인 느낌

...등이 임상 학습 환경의 문화적 제한요소가 되어 레지던트들이 피드백이 덜 의미있게 느끼게 되었다고 제안했다.

prior research suggested that feedback was made less meaningful to residents by limitations in the culture of the clinical learning environment, including 

• a lack of direct observation, 

• a lack of longitudinal relationships between faculty members and residents that could foster meaningful feedback,

• and the sense of summative assessment that loomed over faculty–resident interactions.

• 레지던트들은 임상 기술, 의사 소통, 임상 적 추론, 조직화 기술과 같은 고등 기술에서 이점을 설명했습니다. 

• 레지던트는 학습자로서의 자기 인식의 변화를보고했다. 

• 그들은 학습 목표의 생성과 피드백 추구 행동에 대한 명백한 증거로서 자신의 학습에 대해 더 많은 책임을 져야한다는 증거를 보여주었습니다. 

• 레지던트들은 또한 정서적 웰빙과 보살핌과 연결성에 대한 경험을 보고했으며 

• 일부는 일반적으로 주치의 교수를 바라보는 방법을 바꾸었습니다.

residents described benefits in their clinical skills, and in higher-order skills such as communication, clinical reasoning and organisation skills. Residents reported changes in their self-perceptions as learners. They demonstrated evidence of becoming more accountable for their own learning as manifest in their generation of learning goals and their feedback-seeking behaviours . Residents also reported benefits to their emotional well-being and the experiencing of a sense of caring and connectedness that, for some, shifted the way in which they viewed attending faculty members in general.

우리의 분석은 [의미있는 피드백 생성에 중요하다고 잘 묘사 된] 간단한 직접 관찰보다 더 큰 범위에서, 실제의 일일 관찰은 연수생에게 특히 중요하며 의미있는 피드백 대화를 용이하게한다는 것을 보여줍니다.

Our analysis demonstrates that to a greater extent than simple direct observation, which is well described as important to the generation of meaningful feedback,6,19 the observation of authentic day-to-day work is especially valuable to trainees and facilitates meaningful feedback conversations.

우리의 분석은 프로세스의 총괄적 평가를 제거하는 것이 직접적인 관측과 그에 따른 피드백의 진정성에 기여했다는 것을 암시합니다. 레지던트의 일상 업무는 로테이션이 끝날 때 자신을 평가할 사람의 감독하에 수행됩니다 .24 이러한 환경에서 레지던트들은 자신에게 권력power를 갖는 사람들을 감동시키고자하는 경향이 있고, 이 때문에 학습에 '성과performance 지향'을 갖게 된다. 이것은 대개 학습 목표를 우선시하는 사고 방식 인 '학습 지향(learning orientation)'과는 확연한 차이가 있습니다 .25)

Our analysis suggests that removing summative assessment from the process contributed to the authenticity of the direct observations and the resulting feedback. A resident’s daily work is carried out under the supervision of the person who will be assessing him or her at the end of the rotation.24 In this environment, there is a tendency for residents to want to impress those who have power over them, creating a ‘performance orientation’ to learning. This is usually at odds with a ‘learning orientation’, a mindset in which learners prioritise learning goals, even at the cost of revealing performance deficits to a teacher.25

이 프로그램에서 교수진과 정기적 인 면담을 통해 목표를 검토하고 진행 상황을 지적하고 새로운 목표를 수립 할 수있는 공간을 마련했습니다. 피드백 대화는 레지던트의 

• 구체적인 학습 목표에 일상적으로 영향을 미쳤으며, 

• 자신의 구체적인 요구를 고려하게 해주었고

• 피드백에 대해 논의 할 수있는 기회를 만들었습니다. 

이러한 과정에 참여함으로써 많은 참가자들은 임상 실습을 통해 새로운 작업 방식과 학습 방식을 개발하는 것처럼 보였습니다.

In this programme, regular meetings with faculty staff created a space for reviewing goals, noting progress and creating new goals. The feedback conversations 

• routinely touched on the resident’s specific learning objectives, 

• took his or her specific needs into consideration, and 

• created an opportunity for the feedback to be discussed. 

By engaging in these processes, many participants seemed to develop new ways of working and learning through their clinical practice

우리 프로그램의 또 다른 주요 구성 요소는 그 해 동안 길러진 종단적 교수-레지던트 관계였습니다. 연구에서 확인할 수 있었던 이익은 관찰의 상대적 빈도가 높지 않다는 점(1 년에 2 ~ 5 회)를 감안할 때 특히 두드러졌습니다. 의견의 효과성에 대한 관계의 핵심은 LIC에서 확인된 많은 문헌과 일치합니다.

Another major structural component of our programme was the longitudinal faculty–resident relationship, nurtured over the course of an academic year. The reported benefits were particularly striking given the relative infrequency of observations (two to five over the course of the year). The centrality of the relationship to the effectiveness of the feedback is consistent with much of the literature emerging from longitudinal integrated clerkships.7,22,23

Limitations

감독하는 교수진이 연구 조사원 중 3 명을 대표한다는 점에 유의하는 것이 중요합니다. 이 교수진이 현장 노트를 기록하고 감독 한 거주자들과 개인 인터뷰를 실시하여 잠재적으로 우리의 관찰과 분석에 편향을 도입했습니다. 이러한 한계점을 극복하기 위해 우리는 분석 단계에서 지속적인 반사성을 발휘하여 각자의 관점과 편견을 드러내고 해결할 수있었습니다 .31 팀에 '내부자'와 '외부인'을 포함시키는 것이 더 큰 시각과 균형을 제공했습니다.

It is important to note that the supervising faculty members represented three of the study researchers. That these faculty members recorded field notes and conducted individual interviews with residents they supervised potentially introduces bias into our observations and analyses. To counter this limitation, we engaged in constant reflexivity during the analysis phase so that our respective perspectives and biases could be surfaced and addressed.31 Including ‘insiders’ and ‘outsiders’ on the team offered greater perspective and balance.

Implications for research

의미있는 피드백을 유발하는 데 필요한 최소한의 관찰 및 기간은 얼마입니까? 

짧은 기간 내에 교육 동맹을 창출 할 수있는 방법을 개발할 수 있습니까?

what are the minimum number and duration of observations required to foster meaningful feedback? 

Can methods be developed that create an educational alliance in a shorter timeframe?

Implications for educational practice

교직원이 학습자에 관심을 갖고, 그들의 학습목표에 초점을 둠으로써 감독자와 학습자 간의 교육 동맹을 창출할 수만 있다면, 최소한의 접촉 (즉, 여기서는 2 ~ 5 회의 관찰)로도 돌봄과 지지적 관계가 만들어질 수 있는 것으로 보인다.

Caring and supportive relationships can be established with what might be perceived as a minimal amount of contact (i.e. herein, just two to five observations per year) if the faculty member is able to take an interest in the learner and to focus on his or her learning goals, thus creating an educational alliance between supervisor and learner.

이 피드백 프로그램을 이상적인 조건의 파일럿 연구에서 대규모 구현에 이르기까지 해결해야하는 로지스틱 문제를 제시합니다. 관찰이 이루어질 수 있도록 로지스틱 장벽을 극복하고자하는 교수집단을 만들기 위해서는 교수개발이 필요합니다. 교직원과 레지던트 간의 일정 계획을 돕기 위해 행정적administrative 지원이 필요할 수 있습니다. 분산 된 훈련 프로그램은 몇 가지 훈련 사이트를 중심으로하는 것보다 더 많은 논리적 문제가있을 것이다. 교수진은 시간과 노력에 대한 보상을 요구합니다.

Scaling this feedback programme from a pilot study, with ideal conditions, to large-scale implementation presents logistical issues that require resolution. Faculty development will be necessary to develop a cadre of engaged faculty members willing to overcome logistical barriers to ensure observation occurs. Administrative support may be required to assist with scheduling between faculty members and residents; distributed training programmes will have more logistical issues than those centred in a few training sites. Faculty members will require remuneration for their time and effort.

15 Brydges R, Butler D. A reflective analysis of medical education research on self-regulation in learning and practice. Med Educ 2012;46 (1):71–9.

Med Educ. 2016 Sep;50(9):943-54. doi: 10.1111/medu.13067.

Investigating conditions for meaningful feedback in the context of an evidence-based feedbackprogramme.

피드백에 대한 반응 이해: 조절초점이론의 잠재력과 한계(Med Educ, 2012)

Understanding responses to feedback: the potential and limitations of regulatory focus theory

Christopher Watling,1 Erik Driessen,2 Cees P M van der Vleuten,2 Meredith Vanstone3 & Lorelei Lingard4

도입

INTRODUCTION

그러나 점점 더 피드백에 대한 학습자 수용의 문제에 대한 관심이 점차 커지고있다.

Increasingly, however, attention has also been paid to the critical issue of learner receptivity to feedback.4,5

임상 훈련 중받은 피드백이 학습자에게 영향을 미치지 못하는 결과를 초래할 수 있다는 사실은 놀랍지 않다.

That feedback received during clinical training may fail to impact learners should not come as a surprise.

그러나 메타 분석에 의하면 피드백 개입의 효과가 긍정적 피드백과 부정적 피드백 사이에 차이가 있다는 어떠한 증거도 발견되지 않았다. 즉, [성공에 대한 정보를 제공하는 긍정적 인 피드백]과 [실패에 대한 정보를 제공하는 부정적인 피드백]은 수행능력에 미치는 영향에 차이가 없었다. 부정적 피드백은 표면적으로 긍정적 인 피드백보다 자존감을 위협 할 가능성이 더 커 보이기 때문에, 피드백의 sign이 효과에 미치는 영향이 없다는 것은 역설적인 것처럼 보인다.

meta-analysis found no evidence, however, that the effects of feedback interventions were moderated by feedback sign: that is, positive feedback, which provides information about success, and negative feedback, which provides information about failure, did not differ in their effects on performance.8 As negative feedback would seem, on the surface, to have greater potential to threaten self-esteem than positive feedback, this lack of influence of the sign of the feedback on its effectiveness seems paradoxical.

• 성취초점은 포부와 성취에 중점을 둡니다. 개인은 희망이나 희망으로 목표를 경험하고 보상의 성취에 동기 부여됩니다. 

• 예방초점은 책임과 안전에 관한 것이다. 개인은 의무 또는 필수품으로 목표를 경험하고 고통 또는 처벌을 피함으로써 동기 부여를 얻습니다. 

• 성취 초점은 우리가 하고 싶은 것들에 관한 것이지만, 

• 예방 초점은 우리가 해야 하는 것에 관한 것입니다.

Promotion focus is concerned with aspirations and accomplishments; individuals experience goals as wishes or desires and are motivated by the achievement of rewards. Prevention focus is concerned with responsibilities and safety; individuals experience goals as obligations or necessities, and are motivated by the avoidance of pain or punishment. Essentially, promotion focus concerns those things we want to do, whereas prevention focus concerns those things we have to do.10

조절 초점은 chronic하게 유지되는 개인의 특성 일 수 있으며, 업무에 대한 일반적인 접근 방식에 영향을 미칠 수 있지만, 업무의 성격과 그것이 발생하는 시나리오 또는 맥락과 같은 상황적 요인에 의해서도 유발 될 수도 있습니다 .11

Although regulatory focus may be a chronic trait of individuals and may influence their general approach to tasks, it may also be induced situationally by factors including the nature of the task and the scenario or context in which it occurs.11

그러므로 조절초점 이론은 피드백에 대한 반응의 다양성에 대한 통찰력을 제공 할 수 있지만, 이러한 실험 결과가 피드백에 대한 반응의 현실이 좌절감을 주는 복잡한 실제 상황에서는 얼마나 잘 적용될 수 있을까?

Regulatory focus theory may therefore offer insight into the variability in responses to feedback, but how well do these experimental findings translate to real clinical situations in which the reality of responsiveness to feedback seems frustratingly complex?

방법

METHODS

This study involved a focused analysis of data collected as part of a larger study in which we examined the experiences that doctors considered to have been influential in their learning.13 In this section, we will briefly describe our approach to data collection and analysis in that original study (Phase 1), and then detail our approach to the additional data analysis that constituted the present study (Phase 2). 

We approached both the present study and the original study using constructivist grounded theory, which attempts to provide a plausible interpretation of a studied phenomenon, while explicitly acknowledging that this interpretation is a construction influenced by the vantage points of researchers and participants alike.14

Phase 1

A purposive sample of early-career academic faculty staff was recruited from a single large Canadian medical school. All faculty members within the first 5 years of their initial academic appointment received an e-mail introducing the study and inviting their participation. We targeted this group because we sought individuals who were able to reflect meaningfully on their training with the benefit of time and distance from it, but who remained close enough to their training to recall important details.

Data collection and analysis proceeded in an iterative fashion. 

• Twenty-two (10 male, 12 female) faculty members representing a range of medical and surgical specialties (internal medicine [n = 3], psychiatry [n = 4], oncology [n = 3], surgery [n = 4], neurology [n = 4], paediatrics [n = 3], medical genetics [n = 1]) participated in individual, semistructured interviews lasting up to 1 hour. 

• The interview approach to data collection was chosen because we were interested in uncovering the internal, psychological dimensions of drawing meaning from learning experiences. 

• Within these interviews, which centred on exploring experiences recalled as meaningful or influential, participants were specifically asked to describe experiences of receiving feedback during their clinical training and to comment on the impact of that feedback. 

• Consistent with a constructivist grounded theory approach, our data collection was not guided by any particular theoretical orientation (including regulatory focus theory); rather, we simply asked participants to describe significant instances of receiving feedback without employing interview questions that explicitly probed existing theoretical concepts. Interviews were recorded and transcribed verbatim without identifying data. 

• Interview data were analysed using the constant comparative approach customary in grounded theory.15 

• Analysis occurred alongside and informed data collection, and the interview strategy evolved during the study to facilitate the exploration of emerging themes. 

• The examination and re-examination of the transcripts facilitated the development of a robust coding scheme for organising and classifying data thematically. Consistent with a theoretical sampling approach, data collection continued until saturation of themes was achieved.14

Phase 2

From the first analytic phase there emerged a grounded theory in which clinical learning was conceptualised as a process by which learners, as they participate in clinical work, encounter a variety of learning cues, including feedback, that compete for their attention. 

• In this grounded theory, which we have described in detail elsewhere,13 the ultimate influence of these learning cues relates largely to learners’ judgements of their credibility. 

• The highly variable descriptions of responses to feedback contained within our data suggested that the process by which feedback becomes influential was deserving of greater scrutiny. 

• We thus undertook a second analytic phase, drawing on the constructivist grounded theory tenet that after a grounded theory emerges, it is appropriate to consider how existing theoretical frameworks might complement or extend the data interpretation or offer alternative explanations for challenging data. 

• This process of weaving existing sensitising concepts into a second level of analysis has the capacity to enhance the explanatory power of the emerging theory, as well as to allow the examination of how the emergent grounded theory ‘extends, transcends, or challenges’ significant ideas in the field.14 

• With these principles in mind, we recognised that regulatory focus theory and, in particular, Kluger and van Dijk’s9 recent descriptions of its usefulness in explaining responses to feedback in experimental situations might illuminate our understanding of the challenging issues associated with response to feedback that emerged prominently from our data.

We thus re-examined all data relating to feedback through the theoretical lens of regulatory focus. 

• Because our study was concerned with individual perspectives on learning experiences, we wanted to ensure that we analysed all instances that participants perceived as feedback. 

• We therefore defined feedback simply and broadly as any information about performance that participants recalled receiving during their clinical training; if a participant perceived an experience as ‘feedback’, it was considered in our analysis.

These data were not restricted to a single coding category, but, rather, were contained within a number of categories and thus the full original dataset was carefully mined for relevant examples. 

• The dataset was then re-coded using the theoretical framework of regulatory focus: two investigators independently analysed each example to determine, when possible, the dominant regulatory focus based on the task described and on the individual’s apparent approach to the task. 

• They then met to compare their interpretations, resolving disagreements through discussion. 

• Particular attention was paid to examples that were discordant or disconfirming to ensure that the analysis could account for their occurrence. 

• To further enhance the rigour of the analysis, selected examples were reviewed by a third investigator and discussions among investigators were used to achieve interpretive consensus. 

• Although all examples from the original dataset that involved feedback were examined for this study, some examples lacked sufficient information on either the task itself or the participant’s mindset as he or she approached the task for an opinion to be formed regarding the likely regulatory focus that was active. 

• Care was taken to avoid forcing such examples; we simply classed these instances as providing insufficient information to allow a meaningful interpretation of regulatory focus.

Reflexivity is an important consideration in the process of data collection and analysis in this type of research. 

• The first author, who conducted the majority of the interviews, is a specialist doctor and thus has shared with the study participants the experience of receiving feedback during clinical training. 

• Reflecting on these personal feedback experiences was a useful and, indeed, necessary element of the analytic process. 

• The other authors are education researchers who are not doctors, and their perspectives were important in facilitating a balanced rendering of the data.

결과

RESULTS

성취초점

Promotion focus

성취초점은, 특히 전환transition 과정이 학습자에게 새로운 목표와 열망을 불러 일으킬 수 있기 때문에, 교육의 전환transition시기에 특히 두드러졌습니다. 조절초점 이론은 이러한 중요한 시기에 긍정적인 피드백을 받으면 학습자가 스스로 설정 한 목표에 계속 접근하도록 동기를 부여한다고 말한다. 실제로, 우리는 이러한 상황에서 성취초점과 영향력있는 긍정적인 피드백 사이의 연결을 뒷받침하는 많은 사례를 발견했습니다.

Promotion focus seemed particularly prominent at times of transition in training, perhaps because transitions inspire new goals and aspirations in learners. Regulatory focus theory would suggest that well-timed positive feedback received at these critical junctures would motivate learners to continue to approach the goals they set for themselves and, indeed, we found a number of instances supporting the link between promotion focus and influential positive feedback in this context.

다른 참가자는 독립 진료independent practice으로의 전환이 다가옴에 따라, 레지던트 수련 종료에 대한 긍정적 인 피드백을 받았다고 회상했다.

another participant recalled being given valuable positive feedback toward the end of residency training as the transition to independent practice approached:

학습자의 접근 방식이 조정이나 수정을 요구하지 않는다는 감독자의 긍정적 피드백은 동기 부여와 자신감 향상을 떠올리게 했다. 이러한 경우에, 그러한 성과를 통해 의사로서의 정체성을 구축하고, 목표에 도달하거나 보상에 초점을 맞추면서 성취promotion에 중점을 둡니다.

the positive feedback from a supervisor that the learner’s approach required neither adjustment nor correction is recalled as motivating and confidence-enhancing. Educational experiences like these examples, in which the outcome involves building an identity as a doctor, speak to promotion focus, with its emphasis on approaching goals or rewards.

예방초점

Prevention focus

아마도 예방에 초점을 맞춘 작업 중 가장 분명한 예는 실수 방지가 중요한 중대한 시험을 준비하는 것입니다. 조절초점 이론에 의해 예측 된 바와 같이, 참가자들은 이 상황에서 긍정적 피드백의 부정적인 측면을 기술하는 경향이있었습니다.

Perhaps the clearest example of a prevention-focused task is the preparation for high-stakes examinations, in which error avoidance is critical. As would be predicted by regulatory focus theory, participants tended to describe valuing negative over positive feedback in this situation.

실수 방지가 중요한 상황에서 부정적 피드백은 수용가능할 뿐만 아니라 바람직한 것이었으며, 이것이 긍정적 피드백보다 더 가치가 있다는 명백한 합의가있는 것으로 보인다.

there seems to have been an explicit agreement among the players that negative feedback was not only acceptable but desirable, and more highly valued than positive feedback.

부정적 피드백은 기술 훈련 영역에도 영향을 미쳤으며,

Negative feedback was also influential in the realm of skills training,

부정적인 피드백에 대한 긍정적 반응은 이 과제가 예방 중심적 성격을 가진다는 점에 의해 설명 될 수 있습니다. 이것은 "하고 싶은" 과제가 아니라 "해야 하는" 과제입니다.

The responsiveness to negative feedback may be explained by the primarily prevention-focused nature of this particular task: it is a task one must do rather than a task one aspires to do.

비슷한 예가 정확성, 안전성 및 오류 예방에 주로 중점을 두는 외과 기술 교육 분야에서 나타났습니다. 한 참가자는 일상적으로 무뚝뚝한 비판을하는 외과 의사와 함께 일하는 도전적인 경험을 상기하면서 다음과 같이 인정했다. '때로는 그들의 의견이 진정 가혹하고 잔인함에도 불구하고 나의 기술 능력을 향상 시켰습니다.'(P19).

Similar examples appeared in the realm of surgical skills training, with its prevention focus-activating emphasis on accuracy, safety and error prevention. One participant, recalling the challenging experience of working with a surgeon who routinely offered blunt criticism, admitted: ‘Sometimes their feedback, even though it was really harsh and cruel, did improve my technical skills’ (P19).

예방 중심에서 긍정적 인 피드백을 받으면 노력이 줄어들 것입니다.

positive feedback received in prevention focus would result in diminished effort.

상급 연수생에게는 절개를 닫는 것이 일상적이므로, 예방초점이 되기 쉽고, 긍정적인 피드백은 무의미해진다. 그러나 의대생이나 주니어 레지던트는 동일한 과제를 수행하더라도 외과적 경력의 첫 번째 중요한 단계를 나타내기 때문에 성취에 초점을 둘 수 있으며, 따라서 긍정적인 피드백이 매우 중요시될 수도 있습니다. 개별 및 상황 요인과 관련된 잠재적 인 가변성은 피드백에 대한 개별 반응의 예측에 규제 초점 이론을 쉽게 적용하는 데있어 핵심 과제이며 다음 절에서보다 자세히 논의 될 것입니다.

The act of closing skin is routine for a senior trainee and is likely to inspire a prevention focus, which may explain the meaninglessness of positive feedback. One might speculate that the same task, performed by a medical student or junior resident, might involve a promotion focus as it might represent the first important step in a surgical career, in which case positive feedback might have been highly valued. The potential variability in focus related to individual and situational factors is a key challenge in readily applying regulatory focus theory to the prediction of individual responses to feedback and will be discussed in more detail in the following section.

조절초점이론 적용의 어려움

Challenges in applying regulatory focus theory

혼재된 조절초점

Mixed regulatory focus

커리어 결정이나 고부담 시험 준비와 같이 특정 조절초점을 활성화시키는 상황과는 달리, 임상 학습 환경의 많은 작업은 촉진과 예방 모두에 중점을 두어 본질적으로 분류하기가 쉽지 않습니다.

Unlike contexts such as career decision making or preparation for high-stakes examinations, which preferentially activate a particular regulatory focus, many tasks in the clinical learning environment are difficult to readily classify as intrinsically inspiring either a promotion or a prevention focus.

예를 들면, 정맥 주사를 놓는 것은 예방에 중점을 두는 과제의 특성 인 안전성이 중요하고 오류를 피하는 일상적인 기술입니다. 그러나 의대생에게 있어서, 정맥 주사를 놓는 행위는 의사의 전문적 정체성을 갖게 되는 중요한 단계를 상징 할 수 있으며, 이러한 관점에서 성취초점을 활성화합니다. 감독 레지던트의 의견은 그저 교육적으로 보일지 모르지만, 학생에게서 다시 그 과제를 넘겨받아서 자신이 하기보다는, 학생이 할 수 있도록 격려하는 방식으로 학습자의 과제 수행 능력에 대해 자신감을 보여주는 것은 긍정적 인 피드백의 강력한 형태로 인식되었습니다.

많은 사례에서, 시나리오를 성취 또는 예방 중심으로 해석하려는 우리의 노력은 효과가 없었습니다. 그것보다 더 적합한 것은 성취와 예방 초점이 하나의 경험 안에서 공존한다는 것이었다.

In many instances, our efforts to interpret scenarios as either promotion or prevention-focused proved fruitless; a more satisfactory interpretation was that promotion and prevention foci coexisted within the same experience.

"나쁜 소식 전하기"는 직업과 관련된 책임이라는 의미에서 예방에 초점을 맞추고 있습니다. 그것은 의사가해야하는 일입니다. 그러나 소아과 의사가 되고자 하는 학생이 있다면, 이 어려운 과제는 사실 스스로 잘 해내고 싶어하는 일이기 때문에 본질적으로 성취 초점을 갖는다. 두 초점의 균형은 개인과 상황 내에서 변화할 수도 있지만 두 초점의 요소가 동시에 존재하는 경우도 있는 것처럼 보입니다.

The task is prevention-focused in the sense that breaking such dreadful news is a responsibility associated with the job; it is something the doctor must do. For an aspiring paediatrician, however, this most difficult of tasks is something one wants to be able to do well and thus it also carries an intrinsic promotion focus. The balance of the two foci may shift within individuals and contexts, but elements of both foci often appear to exist simultaneously.

조절초점이 언제나 업무나 개인의 안정된 특성인 것은 아니었습니다. 예를 들어, 한 참가자는 프레젠테이션 중 실수로 인해 가혹하게 비판을 받았으며, 이 부정적인 피드백의 경험으로 인해 가능한 한 빨리 다시 발표 할 동기가 생겼습니다.

regulatory focus was not always a stable trait of tasks or individuals. One participant, for example, he was harshly criticised for an error he made during his presentation and the experience of this negative feedback strongly motivated him to present again as soon as possible:

동일한 개인 내에서도, 또는 동일한 업무 내에서도 지배적인 조절 초점은 하나의 경우에는 예방이 되고 다른 경우에는 성취가 된다. 컨텍스트와 환경은 항상 예측할 수없는 방식으로 포커스에 영향을 미친다

Both the individual and the task were the same in these two examples, but it is likely that the dominant regulatory focus was prevention in the first instance and promotion in the second. Context and circumstances may conspire to influence focus in ways that are not always predictable.

시간에 따른 초점의 변화

Changes in focus over time

한 명의 개인이 성취초점과 예방초점을 모두 가질 수 있고, 하나의 과제에도 작업에 두 가지 요소가 포함될 수 있다면, 조절초점이 시간 경과에 따라 변할 수도 있습니다. 시간이 지남에 따라 규제 초점을 재구성 한 결과 초기에는 의심스러운 것으로 보이는 의견이 영향력을 발휘했습니다.

If individuals can operate in both promotion and prevention foci, and if tasks can contain elements of both, it seems likely that regulatory focus could also change over time. As a result of this reframing of regulatory focus over time, feedback that had been initially viewed with suspicion became influential.

시간이 흐름에 따라 초반에는 상처가 되고 동기를 저해하는 피드백도 받아들일 수 있게 되었다. 그렇다면 피드백이 재검토되고 유용하다고 판명 된 이유는 무엇입니까? 아마도 이 참여자는 부정적인 피드백의 감정적 인 측면을 처리 할 시간이 필요했을 것이며, 시간이 지남에 따라 성취중심에서 예방중심 활동으로 학업 (프로젝트 완료)을 재구성 할 수 있었을 가능성이 있습니다 .

The passage of time allowed feedback that was initially hurtful and discouraging to become motivating. What changed to allow the feedback to be reconsidered and found to be useful? Perhaps this participant had simply needed time to process the emotional aspect of the negative feedback, but it is also possible that, with time, she was able to reframe her academic work (completing projects) from a promotion-focused to a prevention-focused activity.

피드백 반응에 대한 다른 영향들

Other influences on responsiveness to feedback

우리의 데이터는 규제 초점 이외의 추가 요소가 학습자가 피드백을 해석하는 방법에 영향을 미친다는 사실을 알았습니다. 가장 주목할만한 것은 피드백의 신뢰성입니다.

Our data suggest that additional factors other than regulatory focus influence how learners interpret feedback, the most notable of which is the credibility of the feedback received.

이전 연구에서 지적했듯이 환자의 피드백은 특별한 신뢰성을 갖는 것으로 보인다.

Feedback from patients seems to have particular credibility, as we noted in a previous study.13

고찰

DISCUSSION

우리의 결과는 피드백에 대한 학습자 반응의 복잡성을 보여줍니다.

Our results illustrate the complexity of learner responses to feedback.

히긴스 (Higgins)가 창안 한 이래, 조절초점 이론이 기업가 정신에서부터 스포츠 성과에 대한 설득력있는 논증에 이르기까지 다양한 환경에서 인간의 동기와 행동을 더 잘 이해하기 위해 사용되어왔다 .16-18 그러나 조절초점 이론의 적용 가능성을 조사한 연구는 심리학 연구소의 신중하게 통제 된 세계에서 주로 발생했습니다. '현장 연구'를 넘어 현실적인 직장 환경에서의 태도와 행동에 규제가 미치는 영향을 연구해야 할 필요성이이 분야의 주요 연구자들에 의해 인식되었습니다.

Since its conception by Higgins,10 regulatory focus theory has been used to better understand human motivation and behaviour in a variety of settings, ranging from entrepreneurship to persuasive argument to sporting performance.16–18 However, research examining the applicability of regulatory focus theory has occurred primarily in the carefully controlled world of the psychology laboratory. The need to move beyond ‘scenario studies’ and explore the effect of regulatory focus on attitudes and behaviours in real workplace settings has been recognised by key researchers in this field.19

조절 초점과 피드백에 대한 많은 실험 작업의 문제점은 작업 유형task type이 조절초점의 중재자이자 피드백 효과의 주요 조정자라는 개념에 기반한다는 것입니다. 특정 작업은 성취초점을 활성화하는 반면, 다른 작업은 예방초점을 활성화합니다 . 이 가정은 특정 초점은 특정 작업과 안정되게 연결되어 있음을 함의하는데, 실제 세계에서는 사실 그렇지 않을 가능성도 있다.

A problem with much of the experimental work on regulatory focus and feedback is that it is based on the notion that task type is a key moderator of regulatory focus and thus of feedback effect; certain tasks activate a promotion focus, whereas others activate a prevention focus.12 This assumption implies a certain stability of focus linked to particular tasks which may not be present in real circumstances.

실제로 우리의 핵심 challange는 임상 학습자가 직면하는 많은 과제가 성취 또는 예방 초점 과제 중 하나로만 분류되지 못하는 것이 었습니다. Kluger와 van Dijk9는 '의료진은 예방과 진료의 병목이 혼합되어있다'고 인정하면서도, 의료계는 성취(창의력, 혁신) 대신 예방(오류 회피, 안전)을 강조하는 것처럼 보인다고 추정했다. 그러나 우리의 데이터는 medical learner가 한 가지 초점만 강조하는 경향이 있다고 제안하지 않습니다. 실제로, 종종 동일한 작업 내에 두 가지 초점이 모두 포함되었습니다.

Our key challenge, in fact, was that many of the tasks that face clinical learners defy tidy classification as either promotion or prevention-focused tasks. Although Kluger and van Dijk9 acknowledged that ‘medical staff are faced with a mix of prevention and promotion foci’, they went on to speculate that the medical community seemed to emphasise prevention (error avoidance, safety) over promotion (creativity, innovation). Our data do not suggest, however, that medical learners are inclined to emphasise one focus over the other. Indeed, both foci were often embedded within the same task

우리의 데이터에 따르면 medical learner는 여러가지 서로 다른 과제에 의해 활성화 된 여러 가지 초점에 동시에 대응해야 할뿐만 아니라, 동일한 과제에 의해서도 여러 가지 초점이 활성화될 수 있어서 온갖 종류의 피드백을 주고받게 된다. 이 섬세한 균형은 임상 과제의 독특한 특징 일 수 있습니다. 왜냐하면 임상에서는 종종 이타적인 목표(성취 초점)을 실천하는 동시에 규칙과 절차를 따르는 것(예방 초점)을 추구하기 때문이다. 보다 광범위하게 보자면, 동일한 과제 내에서 초점이 혼합된 것은 교육 환경의 일반적인 특징 일 수 있으며, 이 상황에서 학생들에게 과제의 성공적인 성취는 큰 커리어 목표를 성취하기위한 수단이 된다. 그리고 이것은 학생들이 과제를 안전하고 책임있게 수행하기 위해 노력하는 경우에도 마찬가지입니다.

Our data suggest not only that medical learners must cope simultaneously with different foci activated by different tasks, but also with different foci activated by the same task, which makes the giving and receiving of feedback especially fraught. This delicate balance may be a particular feature of clinical tasks, which often involve following rules and procedures (prevention focus) in the service of altruistic goals (promotion focus). More broadly, this blending of foci around the same task may be a feature of educational settings in general, in which students may view the successful accomplishment of tasks as a means of accomplishing larger career goals, even as they strive to achieve the safe and responsible performance of these tasks.

그러나 우리의 사례 중 일부는 교정 또는 비판적 피드백이 수혜자에 의해 긍정적 인 것으로 여길 수 있음을 보여 주며, 특히 시간이 흐르면서 학습자가 비판적 피드백의 유익한 효과를 인정하게 되는 경우에 그러하다.

Some of our examples, however, demonstrate that feedback that is corrective or critical may be viewed by the recipient as positive, particularly with the passage of time, if he or she is able to appreciate its beneficial effect.

학습자는 관리자로부터받는 피드백에 대한 신뢰도를 매우 비판적으로 평가하며,이 신뢰도 판단에서 생존하는 피드백 만 학습을 형성하는 데 유용 할 수 있습니다 .13 피드백의 신뢰성이 부족하다면, 피드백을 조절초점과 맞추는 것 만으로 그 효과를 보장하기에 충분하지 않습니다. 마찬가지로, 신뢰할만한 피드백은 규제 초점과 피드백 sign 사이의 명백한 불일치가 존재하더라도, 그것을 넘어서서 학습자와 공감할 수 있습니다.

Learners assess the credibility of the feedback they receive from their supervisors very critically, and only feedback that survives this credibility judgement is likely to be useful in shaping learning.13 Matching feedback to regulatory focus is unlikely to be sufficient to guarantee its effectiveness if credibility is lacking. Similarly, highly credible feedback might trump an apparent mismatch between regulatory focus and feedback sign and still resonate with a learner.

우리의 연구는 실제 임상 학습 환경에 존재하지만 Brockner와 Higgins가 '시간 역학 (temporal dynamics)'이라고 부르는 실험실 실험에서 빠져있는 또 다른 중요한 특징을 강조합니다. 우리는 많은 사람들에게 피드백에 대한 반응이 시간의 흐름에 따라 변함을 확인했고, 이는 아마도 조절초점의 변화를 암시한다.

Our work highlights another important feature present in real clinical learning environments but absent from laboratory experiments, which Brockner and Higgins19 have termed ‘temporal dynamics’. We found that, for many individuals, responses to feedback changed with the passage of time, possibly suggesting shifts in regulatory focus.

Eva 등은 예를 들어, 시간이 지남에 따라 개발되는 자신감과 경험이 피드백 인식에 영향을 미쳐보다 위협적인 피드백을 받아들이도록 촉진 할 수 있다고 강조했다. Kluger와 van Dijk9는 사실 그들의 연구 결과가 피드백에 대한 초기 반응에 국한 될 수 있음을 인정했다. 이러한 즉각적인 반응은 학습과 행동에 장기적인 측면에서 항상 가장 큰 영향을 미치는 반응이 아닐 수도 있습니다.

Eva et al.5 have highlighted, for example, that the confidence and experience which develop over time may influence perceptions of feedback, possibly facilitating the acceptance of more threatening feedback. Kluger and van Dijk9 acknowledged, in fact, that their findings might be limited to initial reactions to feedback; these immediate responses may not always be the most salient reactions in terms of long-term influences on learning and behaviour.

교육자가 학습자의 조절초점을 제대로 인식하고 있어야, 그 초점에 맞춰 피드백을 제공 할 수 있으며, 그래야 피드백의 영향력이 더 커질 수 있습니다. 이러한 방식으로 피드백의 효과를 높이기 위해 조절초점을 인식하기 위해서는 피드백이 학습자와의 대화가 되어야 하며, 이 때 감독자는 학습자 자신의 수행 능력에 대한 인식뿐만 아니라, 학습자에게 주어진 과제의 의미와 학습자가 그 과제에 접근 한 동기에 대해서도 이야기를 나누어야 한다.

Armed with an awareness of the learner’s regulatory focus, an educator may be more likely to provide feedback that aligns with that focus and is thus more likely to be influential. Using an awareness of regulatory focus to enhance the effectiveness of feedback in this way will require that feedback be treated as a conversation with the learner, in which the supervisor seeks to understand not only the learner’s perception of his or her own performance, but also the meaning of the task to the learner and the motivation with which he or she has approached it.

교육자는 실제 상황에서 조절초점의 역동적 특성을 활용할 수도 있습니다. Cesario 등은 설득의 과학에 조절초점을 적용하며, 누구나 예방과 성취 초점이 모두 prime될 수 있다는 점에 주목하여, 먼저 한 가지 초점에 priming함으로써 설득력있는 논증에 먼저 접근한 뒤, 그에 맞춰서 메시지를 전달하는 법을 언급했다. 이와 동일한 논리를 피드백 전달에 적용한다면, 필요한 피드백을 수용하는데 도움이되는 방식으로 작업이나 경험을 프레임화할 수 있습니다.

Educators might also use the dynamic nature of regulatory focus in real settings to advantage. Applying regulatory focus to the science of persuasion, Cesario et al.17 noted that both prevention and promotion foci can be primed in all people, making it possible to approach a persuasive argument by first priming one or other focus and then framing a message in a way that fits. Applying this same logic to feedback delivery, educators may frame tasks or experiences in ways that help necessary feedback to be received.

예를 들어, 교육자는 환자의 합병증을 최소화할 의사의 책임을 강조함으로써, 예방 포커스를 활성화하고, 학습자가 비판을 보다 원활하게 수용하도록 가능성을 높일 수 있습니다. 마지막으로, 학습자가 임상 실적에 대한 피드백을받을 때, 스스로의 조절초점을 성찰해보도록 장려하는 것은 학습자의 피드백 수용력을 키울 수 있는 중요하면서도 도전적인 목표를 달성하기위한 생산적인 단계 일 수 있습니다.

An educator might, for example, highlight a surgeon’s responsibility to minimise patient complications as a prelude to providing feedback on a surgical learner’s technique, activating a prevention focus and increasing the likelihood that the learner will be receptive to criticism. Finally, encouraging learners to reflect on their regulatory focus as they receive feedback on clinical performance may be a productive step toward achieving the important but challenging goal of nurturing learners’ receptivity to feedback.

CONCLUSIONS

조절초점 이론은 학습자가 실제 임상 환경에서 피드백에 어떻게 반응 할 것인지를 예측하는 간단한 루브릭을 제공하지 않는다. 이렇게 복잡한 이유는 신뢰도, 피드백에 대한 수용성, 임상 학습 환경을 구성하는 과제의 성격 등과 같은 다양한 요인 때문이며, 여기에는 성취 초점과 예방 초점이 얽혀 있고, 학습자의 관심을 두고 서로 경쟁하기 때문이다.

What regulatory focus theory does not offer is a simple rubric for predicting how learners will react to feedback in real clinical settings. The reasons for this complexity include both the important influences of other factors, such as credibility, on receptivity to feedback, and the nature of the tasks that comprise the clinical learning environment, in which promotion and prevention foci are often inextricably intertwined and may compete for learner attention.

Med Educ. 2012 Jun;46(6):593-603. doi: 10.1111/j.1365-2923.2012.04209.x.

Understanding responses to feedback: the potential and limitations of regulatory focus theory.

“student-as-teacher” 프로그램 도입을 위한 열두가지 팁(Med Teach, 2017)

Twelve tips for implementation of “student-as-teacher” programs

Taylor Frereta
, Jasmine Ranaa
, Richard M. Schwartzsteina,b and Holly C. Goodinga,c

aHarvard Medical School, Boston, MA, USA; bCenter for Education, Carl J. Shapiro Institute for Education and Research at Beth Israel Deaconess Medical Center, Boston, MA, USA; cDivision of Adolescent and Young Adult Medicine, Boston Children’s Hospital, Boston, MA, USA

도입

Introduction

레지던트 의사, 미국, 영국 및 캐나다를 비롯한 전 세계의 의료 교육 인증 기관에서는 역량 프레임 워크에서 의사의 핵심 기술로서의 교육의 중요성을 강조했습니다 (ACGME 2013, GMC 2015, RCPSC 2015).

Resident physicians, Medical education accreditation bodies worldwide, including in the United States (US), United Kingdom and Canada have stated the importance of teaching as a core physician skill in their competency frameworks (ACGME 2013; GMC 2015; RCPSC 2015).

Resident-as-Teacher (RaT) 프로그램은 지난 수십 년 동안 빠르게 성장해 왔습니다 (Soriano 외. 2010).

Resident-as-Teacher (RaT) programs has grown rapidly in the past few decades (Soriano et al. 2010).

RaT 프로그램은 레지던트의 교육 기술을 향상시키는 것으로 나타 났지만 (Post et al. 2009, Hill et al. 2009), 임상 업무로 인하여 레지던트는 전공의 수련 기간만으로는 이러한 기술을 습득하기 어려울 수있다 (Dandavino 외. 2007) ).

Although RaT programs have been shown to improve residents’ teaching skills (Post et al. 2009; Hill et al. 2009), competing clinical demands in residency may make it difficult for residents to master these skills during residency alone (Dandavino et al. 2007).

이러한 이유로, 의과대학 기간 동안 가르치는 방법을 가르치기 위해 전세계 의과 대학에서 "학생교사"(SaT) 이니셔티브가 병행하여 나타납니다 (BingYou & Sproul 1992; Marton 외 2015).

this has led to the parallel emergence of “Student-as-Teacher” (SaT) initiatives at medical schools worldwide to teach medical students how to teach (BingYou & Sproul 1992; Marton et al. 2015).

SaT 프로그램에 대한 체계적인 여러 검토에서 나온 한 가지 결론이 있다 : 프로그램들은 매우 이질적이다 (Pasquinelli & Greenberg 2008, Yuetal.2011, Burgess 외 2014, Marton 외 2015). SaT 커리큘럼은 형식 (예 : 1 회 워크샵, 1 주일 선택 과목, 세로 세션), 교수 기회 (예 : 기초 과학 과정, 신체 검사 및 인터뷰, 절차 기술) 및 교사 기술 연수 주제 (예 : 소규모 그룹 강의, 피드백 제공, 머리맡 가르침, 성인 학습 이론) 등에서 매우 다양한다

In multiple systematic reviews of SaT programs, one conclusion is resounding: they are heterogenous (Pasquinelli & Greenberg 2008;Yuetal.2011; Burgess et al. 2014; Marton et al. 2015). SaT curricula vary in 

• format (e.g. one time workshops, weeklong electives, longitudinal sessions), 

• teaching opportunities (e.g. basic science courses, physical examination and interviewing, procedural skills), and 

• teacher-skills training topics (e.g. small-group teaching, lectures, giving feedback, bedside teaching, adult learning theory).

3 개의 도메인 (즉, 사전 구현, 구현 및 사후 구현)

도입전

Preimplementation

팁 1 모든 이해 관계자와 함께 SaT 프로그램의 범위를 정의하십시오.

Tip 1 Define the scope of the SaT program with all stakeholders

모든 이해 관계자는 앞서 언급 한 SaT 프로그램의 혜택에 동의해야 하며, 이니셔티브에 대한 기관 별 목표를 열거해야한다 (Mann et al., 2007). 일반적으로 SaT 프로그램의 경우 주요 이해 관계자는 학생 교사, 학생 학습자, 교수진 및 직원 및 상급 기관 리더 등이다 ​​(Ross & Cameron 2007).

All stakeholders should agree on the aforementioned benefits of SaT program and enumerate institution-specific goals for the initiative (Mann et al. 2007). Typically, for SaT programs, main stakeholders are student teachers, student learners, faculty and staff and senior institutional leadership (Ross & Cameron 2007).

여기에서 우리는 시니어 의과대학생을 "가까운 동료 교사"(NPTs)라고 부르는데, 이는 같은 수준의 교육을받는 동료교사와는 달리 시니어 동료교사가 주니어 동료교사와의 근접성을 나타내는 일반적인 용어입니다 ( Ten Cate & Durning 2007).

Herein, we refer to senior medical students as “near-peer teachers” (NPTs), which is a common term that describes the proximity of senior peer teachers to junior peer learners in contrast to peer teachers who are at the same level of training (Ten Cate & Durning 2007).

현재 SaT 프로그램 (Rana 외 2017)에 대해 합의 된 학습 목표 또는 역량이 없기 때문에 이해 관계자 간의 초기 대화를 통해 (모든 그룹을 위한) 목표를 수립해야한다.

Because there are no agreed upon learning objectives or competencies for SaT programs (Rana et al. 2017), an initial conversation among stakeholders should seek to establish goals for all groups.

표 1에서 우리 기관의 이해 관계자 목표를 설명합니다

팁 2 SaT 이니셔티브를 학생과 교수진이 공동으로 이끌어나가는지coled 확인하십시오.

Tip 2 Ensure SaT initiatives are coled by students and faculty

우리의 경험과 다른 사람들의 경험에 비추어 볼 때, 학생 주도의 SaT 프로그램은 추진력을 얻고 학생 만족도가 높을 가능성이 더 큽니다 (Wadoodi & Crosby 2002; Ross & Cameron 2007; Furmedge 외 2014). 따라서 우리의 경험에 따르면 SaT 교육 과정의 장기적 지속가능성과 퀄리티를 위해서는 학생과 교수진 간에 팀 접근 방식을 필요로합니다. 이 점에서 SaT 이니셔티브에 대한 대부분의 발표 된 보고서는 공동 학생 및 교직원 리더십을보고합니다 (Ross & Cameron 2007).

In our experience and that of others, student-led SaT programs are more likely to gain momentum and be associated with high student satisfaction (Wadoodi & Crosby 2002; Ross & Cameron 2007; Furmedge et al. 2014). With that said, in our experience, long-term sustainability and quality of SaT curricula require a team approach between students and faculty. To this point, most published accounts of SaT initiatives report joint student and faculty leadership (Ross & Cameron 2007).

팁 3 SaT 경험을 자발적으로 만드는 것을 고려하십시오.

Tip 3 Consider making SaT experiences voluntary

중요한 고려 사항은 NPT에게 비용을 지불할지 여부입니다. 이것은 논란의 여지가 있으며, 많은 경우에 이 판단은 각 기관의 자원과 가치에 달려 있습니다. 그러나 의대 학생들은 금전적 보상과는 별도로 SaT 이니셔티브의 일부인 교육 세션 및 교수 - 기술 코스에 참여하는 상당한 본질적인 동기 부여가 있습니다 (Ross & Cameron 2007). 특히, 학생들이 프로그램 참여에 대한 학점을받을 경우 (프로그램이 더욱 엄격해질 수 있음), 대개 비용을 지불하지 않는다.

An important consideration is whether to pay NPTs. This is controversial and, in many cases, may depend on the resources and values of each institution. However, medical students often have substantial intrinsic motivation to participate in didactic sessions and teaching-skills courses that are part of SaT initiatives independent of monetary compensation (Ross & Cameron 2007). In particular, if students are to receive academic credit for participating in the program (which may enable the program to be more rigorous), payment is usually precluded.

기관이 모든 학생들에게 SaT 경험을 필수로 두는 경우(선택 과목과 반대), SaT 프로그램에 대한 동기를 높이기 위해 가장 중요한overarching 학습 목표에 부합하는 교육 경험 및 강의 세션을 선택하는 것이 좋습니다 (Ross & Cameron 2007; Blanco 외 2014).

If an institution opts to make SaT experiences mandatory for all students (as opposed to an elective course), consider having NPTs choose from a selection of teaching experiences and didactic sessions that align with overarching learning goals to enhance their motivation toward the SaT program (Ross & Cameron 2007; Blanco et al. 2014).

팁 4 공식적 teacher-training 커리큘럼을 개발하라

Tip 4 Develop a formal teacher-training curriculum

피어티칭 연구들은 SaT 프로그램의 일환으로 실제 교육 경험을 보완하기 위해 교수-스킬 didactic 경험을 갖는 것을지지한다 (Ross & Cameron 2007).

consensus in peer-teaching literature supports having teaching-skills didactic experiences to supplement practical teaching experiences as part of SaT programs (Ross & Cameron 2007).

20 개 기관의 25 개 기관에서 미국 아카데미 디렉터와 의학 교육자를 대상으로 실시한 2016 년 합의 연구에서 5 개 콘텐츠 분야는 참가자가 SaT 교육 과정에 포함시키는 데있어 필수적이라는 의견에 합의했습니다. 

(1) 피드백, 

(2) 침대 옆 교육 및 임상 컨텍스트, 

(3) 소그룹 교육, 

(4) 사례 기반 교육 및 

(5) 의학 교육자로서의 전문직업성 (Rana et al., 2017).

In a 2016 consensus study of a cohort of US Academy directors and medical educators at 25 institutions, five content areas reached consensus as among participants being “essential” for inclusion in SaT curricula: (1) feedback, (2) bedside teaching and precepting in clinical contexts, (3) small-group teaching, (4) case-based teaching and (5) professionalism as a medical educator (Rana et al. 2017).

궁극적으로 코스 구조, 학생 관심사 및 기관 리소스는 모두 SaT 교육-스킬 didactic 교육 세션의 디자인에서 고려해야 할 요소입니다. 우리는 또한 성인 학습 이론 및 인지 과학 원리 (예 : 사전 지식 활성화, 인식 부하 이론, 감정 자극 및 학습 동기 부여 등)에 대한 핵심 기본 개념에 주의를 기울이는 것이 중요하다고 보는데, 왜냐하면 이를 배움으로써 NPT들은 자신들이 배우는 기술을 이해하는 framework를 갖게 되기 때문이다

Ultimately, course structure, student interests, and institutional resources are all factors to consider in the design of SaT teaching-skills didactic sessions. We also believe that attention to core foundational concepts about adult learning theory and cognitive science principles (e.g. activating prior knowledge, cognitive load theory, impact of emotion and motivation on learning, etc.) is important to give NPTs a framework for skills they are learning

여러 번의 워크샵이 교육경험 이전에 또는 동시에 완료 될 수 있지만, 우리는 종단적으로 스케줄을 잡을 때 가장 유익하다는 것을 알았고, NPT는 자신의 관심 분야와 일치하는 세션에 최소한의 일정 횟수 이상 참여하도록 옵션을 제공받습니다

multiple workshops completed prior to or in parallel with the teaching experience), but we have found them most beneficial when they are scheduled longitudinally and NPTs are given options to attend a minimum number of sessions that align with their interests

스케줄링 관점에서, 우리는 또한 NPT를 위한 didactic 세션을 주니어 교수(종종 고위급 교수보다 더 많은 시간을 가짐)이끌어가도록 하는 것이 도움이 된다는 것을 발견했다. 이것은 또한 주니어 교수와 및 시니어 의대생 간의 또 다른 "가까운 동료neer-peer"교육 경험을 용이하게합니다.

From a scheduling perspective, we have also found it helpful to identify junior faculty (who often have more time than senior faculty) to lead didactic sessions for NPTs. This also facilitates another “near-peer” teaching experience between the junior faculty and senior medical students.

팁 7 동료 교사의 인지적 합치 활용

Tip 7 Capitalize on cognitive congruence of peer teachers

사회적 합치뿐만 아니라, 비슷한 지식 기반으로 인해 NPTs는 주니어 학습자들과 인지적 합치를 보인다 (Lockspeiser et al., 2008). 우리 경험에서, 이것은 종종 NPT를 사용하는 것을 우려하게 만드는 이유가 된다: 그러나 내용 전문가의 사고 방식은 내용에 대한 낮은 수준의 이해를 가진 학습자를 가르치는 것을 더 어렵게 만들 수도 있다(Gehlbach & Brinkworth 2008).

In addition to social congruence, NPTs also have cognitive congruence with junior learners due to their similar knowledge base (Lockspeiser et al. 2008). In our experience, this is often voiced as a concern with utilizing NPTs: However, content experts may have ways of thinking that make it difficult for them to teach learners with a more basic understanding of the content (Gehlbach & Brinkworth 2008).

NPT의 인지적 합치는, 단점으로 작용하기보다, 주니어 학생들의 학습을 향상시킨다. 반면 초음파 검사를 수행하는 것과 같은 절차적 또는 고도의 기술적 기술은 전문가이 더 잘 가르칠 수 있습니다 (Knobe 외. 2010).

Rather than being a disadvantage, cognitive congruence of NPTs enhances junior student learning, with the caveat that procedural or highly technical skills, such as performing ultrasound examinations, may be better taught by experts (Knobe et al. 2010).

NPT는 종종 초보 학습자의 일반적인 오해 또는 어려움을 확인하고 해결할 수 있다는 장점이 있다.

NPTs are often better poised to identify and address common misconceptions or difficulties of novice learners.

NPT는 내용 전문 지식이 부족하므로 학습자의 질문에 대한 답을 항상 알 수는 없습니다. NPT가 내용 지식 격차를 줄이기 위해 코스 내용을 적절하게 리뷰할 수 있도록 하는 것 외에도, 자신이 정답을 모르는 학습자 질문에 대해 틀린 답을 주기보다는, "잘 모른다"라고 대답하도록 권장하는 것이 필수적입니다 ( Ross & Cameron2007). 우리의 SaT 선택 과목에 대한 설문 피드백에서 몇몇 주니어 학습자는 자신의 지식의 한계를 겸허하게 인정하는 NPT가 가치있음을 명시적으로 언급했습니다.

Importantly, given their lack of content expertise, NPTs will not always know the answer to learner questions. In addition to ensuring that NPTs adequately review course content to limit their content knowledge gaps, it is essential to encourage them to answer “I don’t know” instead of giving an incorrect response to learner questions that they do not know the answers to (Ross & Cameron2007). In survey feedback about our SaT elective, several junior learners explicitly commented on the value of NPTs humbly acknowledging the limitations of their knowledge.

팁 8 teaching deliverable을 정의하십시오.

Tip 8 Define a teaching deliverable

불행히도, 동료 교수 경험에 참여한 의대생은 그들의 가르침에 대한 피드백을 거의받지 못한다 (Marton 외 2015). teaching deliverable은 교수진이 의견을 제시 할 수있는 명확한 기회를 제공하며, 이 때 피드백을 제공하기 위해 체크리스트를 함께 사용할 수도 있습니다 (Rees 외 2015).

Unfortunately, medical students who participate in peer-teaching experiences rarely receive feedback on their teaching (Marton et al. 2015). Teaching deliverables provide an explicit opportunity for faculty to give feedback, and can be used in conjunction with peer observation checklists to provide feedback (Rees et al. 2015).

많은 SaT 프로그램은 NPT가 자신의 교수 경험에 대해 자기 반성을 시작하도록 요구합니다 (Ross & Cameron 2007).

Of note, many SaT programs require NPTs to turn in a self-reflection on their teaching experiences (Ross & Cameron 2007).

도입 후

Postimplementation

팁 9 모든 이해 관계자로부터 피드백 수집

Tip 9 Collect feedback from all stakeholders

평가는 모든 커리큘럼 이니셔티브 (Mann 외, 2007)의 중요한 구성 요소이며 특히 여러 이해 관계자가있는 SaT 프로그램의 경우 중요합니다.

Evaluation is an important component of any curricular initiative (Mann et al. 2007), particularly for SaT programs that have multiple stakeholders.

팁 10 SaT 프로그램의 종단적 영향 조사

Tip 10 Investigate the longitudinal impact of SaT programs

의대 학생들이 수십 년 동안 빈번하게 NPT로 활동 해 왔지만 그들의 유용성에 대한 많은 증거는 동료 교사가 아닌 학생 학습자의 이론 및 실제 이익에 초점을 맞추고있다 (Yu 외. 2011).

Although medical students have been acting as NPTs for decades and with increasing frequency, much of the evidence for their usefulness focuses on the theoretical and practical gains for student learners instead of for peer teachers (Yu et al. 2011).

SaT 프로그램의 장기적인 영향에 대한 자료는 [SaT 프로그램이 미래의 교수 역할을 위해 의대생을 어떻게, 혹은 적절하게 준비하고 있는지]를 이해하는 데 중요합니다 (Ross & Cameron 2007).

Data on the longitudinal impact of SaT programs are crucial to understanding if and how SaT programs are adequately preparing medical students for their future teaching roles (Ross & Cameron 2007).

팁 11 지역 RaT, SaT 및 교수 개발 프로그램을 통합하는 방법 고려

Tip 11 Consider ways to integrate local RaT, SaT and faculty development programs

SaT 커리큘럼은 SaT, Rat, FDP에 이르는 다양한 "교수법"프로그램의 한 부분으로 간주 될 수 있습니다. SaT와 RaT 커리큘럼을 검토한 결과, didactic and practical teaching experience 모두에서 중첩되는 영역이 확인되었다 (Rana 등, 2017; Soriano 외. 2010). 따라서 프로그램의 중복성을 줄이고 교육의 각 단계에서 학습자의 발달 단계를 정의하려면 피드백을 통합하고, SaT를 개선할 때 RaT 및 FD 개발 코디네이터와 상담하는 것이 도움이 될 수 있습니다.

SaT curricula can be viewed as being a part of a spectrum of “how to teach” programs that span from SaT to RaT to faculty development programs. In a review of SaT and RaT curricula, areas of overlap in both didactic and practical teaching experiences were identified (Rana et al. 2017; Soriano et al. 2010). Therefore, in order to reduce redundancy across local programs and define developmental milestones for learners at each stage of training, it can be helpful to consult with RaT and faculty development program coordinators when considering how to incorporate feedback and enhance SaT offerings.

팁 12 SaT 프로그램의 지속 가능성 보장

Tip 12 Ensure sustainability of SaT programs

Rana J, Sullivan A, Brett M, Weinstein AR, Atkins KM. Forthcoming 2017. Defining curricular priorities for student-as-teacher programs: a national Delphi study. Med Teach.

Blanco MA, Maderer A, Oriel A, Epstein SK. 2014. How we launched a developmental student-as-teacher (SAT) program for all medical students. Med Teach. 36:385–389. XXX

Burgess A, McGregor D, Mellis C. 2014. Medical students as peer tutors: a systematic review. BMC Med Educ. 14:115.

Crommelinck M, Anseel F. 2013. Understanding and encouraging feedback-seeking behaviour: a literature review. Med Educ. 47:232–241.

Gooding HC, Mann K, Armstrong E. 2017. Twelve tips for applying the science of learning to health professions education. Med Teach. 39:26–31.

Med Teach. 2017 Dec;39(12):1221-1226. doi: 10.1080/0142159X.2017.1333591. Epub 2017 Jun 9.

Twelve tips for implementation of "student-as-teacher" programs.

피드백: 학습 증진을 위하여(Clin Teach, 2015)

Feedback: ensuring that it leads to enhanced learning

David Boud

School of Education , University of Technology , Sydney , New South Wales , Australia

피드백 정의하기

DEFINING FEEDBACK

Box 1의 피드백 정의는 이러한 사고 방식의 변화를 강조합니다. 1 교사가 되었든 누구든 피드백을 준 사람이 [학생이 피드백에 기반하여 행동함으로써 피드백 루프를 완성하여야만] 학습이 이루어 졌음을 확인할 수 있습니다. 2

The definition of feedback in Box 1 highlights this change in thinking. 1 Teachers, or others offering feedback information, can therefore only confirm that learning has resulted from information provided if the students act on it to complete a feedback loop. 2

피드백의 어려움은 어떻게 인식 할 수있는 결과를 낳을 수 있도록 학습자와 engage할 것인가이다.

The challenge [of feedback] is about how to engage with learners in ways that are likely to result in discernable

change

피드백에 관한 생각의 변화

CHANGING IDEAS OF FEEDBACK

일반적으로 피드백 개념이 교육적 맥락으로 옮겨오면서 옮겨지면 시스템(이 경우에는 학습자)를 변화시키기 위한 정보의 제공이라는 개념은 유지되었지만, 그러나 실제로 결과가 변화하였는가를 관찰하는 개념은 종종 누락되었다.

Commonly, when the idea of feedback is transferred to the educational context, the notion of providing information with the intention of changing the system (in this case, the learner) is retained, but the notion of seeking to observe a change in output is often missing.

교사는 효과에 대한 지식이 없이 피드백 루프가 완료되었는지 여부를 확인할 수 없다. 즉, 엔지니어가 이해하는 의미에서의 피드백은 발생하지 않을 수 있습니다.

Without knowledge of the effects, teachers cannot be sure if the feedback loop is completed, and thus feedback – in the sense understood by engineers, for example – may not have occurred. 

피드백의 기본 아이디어: 피드백 마크1

The basic idea of feedback: Feedback Mark 1

피드백이 학습을 위해 작동하기 위해서는 피드백 루프가 완료되었다는 증거가 있는지 확인해야합니다. 즉, 학생들에게 제공되는 정보가 채택되어 실제로 바람직한 변화를 이끌어 냈습는지를 확인해야 한다. 피드백에 대한 이 아이디어가 피드백 마크1이다. 이렇게 적용하는 피드백의 의미는 상당합니다. 특정 활동을 피드백이라고 정의내리기 위해서는 교사는 자신이 학습자에게 제공한 정보가 학습자에 의해서 파악된 후 어떤 종류의 변화를 가져왔는지를 확인해야 한다. 즉, 그것이 학습에 영향을 미쳤는지를 확인해야 한다.

To ensure that feedback works for learning, we can start by making sure that there is evidence that the feedback loop has been completed. That is, information provided to students has been taken up and has led to some desirable change in practice. This idea of feedback has been termed Feedback Mark 1. 1 The implications of this simple application of what feedback means are substantial. In order to identify an activity as feedback teachers need to detect that information provided to learners was first apprehended and subsequently that it resulted in some kind of change: that is, it has had an impact on their learning. 

이를 식별하기 위해서는 교사가 학생의 다음 성과에 대한 지식을 가지고 있어야 변화를 감지할 수 있을 것이다. 따라서 피드백은 교사로부터 학생에게 정보가 전달되는 단일 시점에 발생하는 행위가 아니며, 시간이 흐르며 후속 작업에 대한 지식이 학생으로부터 교사에게 전달되거나, 또는 교사가 학생을 나중에 다시 한번 관찰함으로써 완료됩니다.

For this to be identifiable, teachers must have knowledge of the subsequent performance of the student so that a change can be noticed. Feedback is therefore not an act that occurs at a single point in time, at the point of transmission of information from teacher to student, but is completed over time, when knowledge of subsequent work is communicated from student to teacher, or when the teacher observes the student again later.

피드백을 어떤 식으로든 reframing한다면, 학습자의 주체성을 고려하고, 그들이 다른 사람들의 의견에 어떻게 반응하는지도 고려해야합니다. 이러한 학습자의 능동적 역할을 고려했을 때, 다른 사람들의 의견에 효과적으로 대처하기 위해서는 특정 조건이 충족되어야합니다 (박스 2).

Any reframing of feedback must also take into account the agency of learners and how they respond to the input of others.  Recognising this active role of learners implies that for them to act effectively on the input of others, certain conditions must be met (Box 2 ).

피드백의 반응적 관점: 피드백 마크2

A responsive view of feedback: Feedback Mark 2

피드백에 대한보다 지속 가능한 견해는 학습자의 더 중추적 역할을 강조한다. 학습자는 단순히 정보를받는 사람이 아니라 다양한 출처의 정보를 찾고 이용하는 능동적 주체이다. 이것을 피드백 마크2라고 한다.

A more sustainable view of  feedback involves a more central role for learners: learners are no longer merely recipients of information, but are active agents seeking and using information from a variety of sources. This has been termed Feedback Mark 2.  

FP와 FR간의 양방향 상호 작용, 동료, 비 인적 자원, 실무자, 교사의 참여 등이 필요합니다. 다양한 사람들이 단순히 정보 출처로 사용되는 것이 아니라 학습자가 자신의 판단을 조정하고 향후 연구 및 수행에 필요한 전문성을 스스로 창출 할 수있는 수단으로 사용됩니다.

Two- way interactions between the giver and the receiver and the involvement of peers, non- human sources and practitioners, as well as teachers, are required. Other parties are used not simply as information sources, but as a means whereby learners can calibrate their own judgements and create for themselves the expertise needed for further study and performance. 3

이 견해에서 피드백은 커리큘럼의 핵심 특징이며, 학습에 반응하고 학습을 유도하는 것이다. 피드백은 분리된 것이 아니며, 모든 학습 과정에서 없어서는 안될 부분입니다.

This view sees feedback as a key feature of the curriculum that responds to and drives learning. It is not separate, but is an integral part of all learning processes.

대부분의 상황에서 의사는 경험 수준에 관계없이 반드시 초기에 판단을 내려야 한다. 따라서 학습자는 자신이 알고있는 것과 이해하지 못하는 것, 할 수있는 것과 할 수없는 것을 빨리 잡아내야합니다. 교사는 학생들에게 직접적인 평가 경험을 제공함으로써 자기 평가 기술을 개발하는 데 도움을줍니다. 2 학생들은 그들이 수행 한 특정 일에 대해 구체적인 판단을 할 기회가 필요합니다. (예를 들어, 의사 소통 기술 훈련에서 학생들은 자신의 성과에 대한 자신의 견해와 개선을 위해 무엇을 바꿀 수 있는지 질문합니다.)

In most situations the clinician at hand necessarily makes the initial judgement call, no matter what their level of experience. Learners therefore need to quickly develop an understanding of what they know and what they don ’ t know, and what they can and cannot do. They are helped to develop these skills of self-assessment (or self- evaluation) by teachers ‘providing direct authentic evaluative experience for students’. 2 Students require opportunities to make specific judgements about particular work that they have undertaken (for example, in communication skills training, students are asked for their opinion of their own performance and what they could change to improve). 

어떤 전문 기술 개발과 마찬가지로 이러한 기술은 오랜 시간에 걸쳐 개발되어야합니다. 가끔식만 수행하는 자기평가 활동은 상대적으로 거의 영향을 미치지 않을 수 있습니다. 학생들은 새로운 행동을 필요로하는 새로운 임상 진료 영역을 접하게 되며, 그들에게 이러한 변화는 파괴적입니다. 적절한 지원을 받지 못한 상태에서는, 새로운 상황을 경험하는 것 만으로 판단력이 지속적으로 향상되지 않는다.

As in the development of any form of expertise, such skills have to be developed over time. Even multiple examples of self-assessment activity deployed from time to time may have relatively little influence. Students encounter new domains of clinical practice that require new behaviours, and these changes are disruptive. It is unlikely that without support their judgement will improve continuously as novel situations are encountered.

따라서 판단능력을 키우는데 피드백의 역할은 특히 중요합니다. 4,5 학생들은 자신의 판단이 현실적인지를 알 수 있는 방법이 필요하며, 증거에 기반하여 이를 판단 할 수 있어야합니다. 다른 사람들(예 : 교사, 동료, 실무자, 심지어 환자)의 판단과 비교해봄으로써 학습자는 자신의 판단을 교정하고, 개선 영역을 확인할 수 있으며, 시간이 지남에 따라 자신의 능력이 향상됨을 확인할 수 있게 된다. 또한 학습자는 그들이 도달해야 하는 성과와 평가의 준거(또는 표준)을 알고 있어야 한다(상자 3).

The role of feedback in the development of judgement is therefore particularly important. 4,5 Students need to have ways of knowing whether their judgements are realistic and to be able to assess these in the light of evidence. Through such calibration against the judgements of others (i.e. tutors, peers, practitioners and even patients), learners can identify the areas in which they need to improve and see shifts in their ability over time. In addition, learners need to be aware of the outcomes they are aiming at and the criteria (or standards) against which they are being assessed, leading to three requirements for feedback that influences learning (Box 3 ).

표준은 명시적이어야 하며, 커리큘럼 및 규제요건에 포함 된 역량에서 만들어져야 한다. 그리고 무엇보다 학생들은 이러한 표준이 자신들이 engage되는 작업환경에서 어떻게 발현되는가를 인식해야합니다. 이러한 기준을 자신의 업무와 관련 시키려면 자신의 업무에서 성취의 징후를 볼 수있는 능력이 필요합니다. 마지막으로, gap을 좁히기 위해서는이 지식을 행동으로 옮기는 것을 보여줄 수 있는 연습기회가 필요합니다.

Standards not only need to be explicit, and derived from statements of competencies included in curriculum and regulatory requirements, but students also need to appreciate how these standards are manifest in work of the kind in which they are engaged. Relating these standards to one ’ s own work needs an ability to see behavioural indications of achievement in one ’ s own work. Finally, closing the gap requires opportunities for subsequent practice to show this knowledge translated into action.

좋은 피드백 정보의 특징

CHARACTERISTICS OF GOOD FEEDBACK INFORMATION

피드백 정보가 현재 및 원하는 성능 사이의 갭을 감소시키는 역할은 부분적으로 피드백이 작동하는 레벨에 달려 있습니다. 6 학생마다 다양한 유형의 정보에 서로 다른 방식으로 응답하므로 학생들이 학생과 관련된 정보에 맞게 정보를 조정해야합니다. 정보에 따라서 또는 그 정보가 frame되는 방식에 따라서 피드백은 동기나 학습을 억제한다. 강력한 증거 자료에서 파생 된 Hattie의 모델은 피드백이 학생의 네 가지 작동 수준에서 이루어질 수 있으며, 피드백이 부적절한 수준 (Box 4)으로 지시 될 경우 비효율적 일 수 있다고 제안합니다. 6

The extent to which feedback information serves to reduce the gap between current and desired performance is partly dependent on the level at which the feedback operates. 6 Students respond in different ways to different types of information, so the information needs to be tailored to what students need to do with it. Some information and some ways in which it is framed are demotivating, and act to inhibit learning. 7 Hattie ’ s model, derived from a strong evidence base, proposes that feedback can be directed at four different levels of operation of the student, and that feedback may well be ineffective if directed at an inappropriate level (Box 4 ). 6

요약

SUMMARY

In summary, the following points emerge from recent research and scholarship on feedback.

• 학습은 원하는 성과와 실제 성과 사이의 격차를 줄이는 것이다.

• 피드백 의견은 학습 및 성과에 대한 영향으로 판단해야합니다.

• 즉각적인 임무 이상을 추구해야 한다: 평가 행위는 학습자를 더 많이 배울 수 있는 준비상태가 되도록 설계되어야합니다

• 학습자가 스스로 무언가를 보여주기 위해서는, 높은 작업 퀄리티를 구성하는 것이 무엇인지에 대한 관점을 개발해야 한다.

• 피드백은 교사 또는 강사에 의한 일방적 인 행위가 아니라 상호 연결된 활동의 집합입니다.

• 교사와 직원들은 학생을 피드백-탐색 행동을 시작할 수 있는 능동적 학습자로 position하여야 한다.

• 학습자의 욕구와 기대에 대한 지식이 있어야 효과적인 input을 줄 수 있다.

• 효과적인 학습에는 대화가 필요합니다.

• 피드백의 가장 중요한 목적은 학습자가 비슷한 상황이 되었을 때 정보에 기반하여 판단내릴 수 있는 역량을 키워주는 것이다.

• 튜터의 입력은 학습 가능성을 열 수도, 닫을 수도 있기 때문에 중요합니다.

• Learning involves bridging the gap between desired and actual performance.

• Feedback comments must primarily be judged on their effects on learning and performance.

• It is necessary to look beyond the immediate task: acts of assessment must be designed to leave learners better equipped to learn further. 

• Learners need to develop a view about what constitutes quality work if they are to demonstrate it for themselves.

• Feedback is not a unilateral act by tutors or trainers, but is a set of interlinked activities.

• Students need always to be positioned by tutors and other staff as pro-active learners who can initiate feedback-seeking behaviour.

• Knowledge of the desires and expectations of the learner is needed for effective input.

• Effective learning requires dialogue.

• The overriding purpose of feedback is the refinement of the learner’s capacity to use information to judge themselves in similar situations.

• Inputs from tutors are important as they can open up or close down learning possibilities.

Feedback: ensuring that it leads to enhanced learning.

의학교육에서 피드백의 프로세스와 성과에 영향을 미치는 변인: 메타리뷰(Med Educ, 2015)

Variables that affect the process and outcome of feedback, relevant for medical training: a meta-review

J M Monica van de Ridder,1 William C McGaghie,2 Karel M Stokking3 & Olle T J ten Cate4

도입

INTRODUCTION

임상 교육에서의 피드백은 '연수생의 성과를 향상시키기위한 목적으로 주어진 연수생의 관찰 된 성과와 표준 간의 비교에 관한 구체적인 정보'라고 정의 할 수 있습니다 .1

Feedback in clinical education may be defined as: ‘Specific information about the comparison between a trainee’s observed performance and a standard, given with the intent to improve the trainee’s performance.’1

일반적으로 피드백은 피드백 제공 훈련을 받지 않은 다른 임상의에 의해 제공되며, 피드백 제공에 시간을 할당하는 것은 일반적이지 않다.

피드백은 동기 부여와 성과를 증가시키고 감소시킬 수 있기 때문에, 피드백의 효과는 모호하고 혼란 스럽습니다.

The effects of feedback are equivocal and confusing4 because feedback can both increase and decrease motivation and performance.8

피드백 프로세스는 그림 1에 묘사 된 5 개의 위상 6,18-22로 구성된 루프 된 특성의 통신 프로세스로 간주 될 수 있습니다.

The feedback process can be considered a communication process of a looped nature, consisting of five phases6,18–22 as depicted in Fig. 1.

• 단계 A1에서 피드백 수신자 (FR)는 지침을 받고 특정 표준에 따라 작업을 수행합니다.

• 단계 B는 FP가 명시 적 또는 묵시적 표준과 비교하는 FR의 업무 성과에 대한 피드백 제공 업체 (FP) 관찰 및 해석과 관련됩니다.

• 단계 C 동안, 피드백은 FR쪽으로 전달된다.

• 단계 D에서, FR은 피드백을 수신하고 그것을 해석한다.

• 동일한 작업이 다시 수행되면 사이클이 닫힙니다 (A2 단계). 피드백 효과 (DA2-A1)는 성능 A1과 A2를 비교할 때 확인할 수 있습니다.

• In phase A1, the feedback recipient (FR) receives instructions and performs a task according to certain standards. 

• Phase B relates to the feedback provider’s (FP) observation and interpretation of the FR’s task performance, which the FP compares with an explicit or implicit standard. 

• During phase C, feedback is communicated towards the FR. 

• In phase D, the FR receives the feedback and interprets it.

• When the same task is performed again, the cycle is closed (phase A2). The feedback effect (DA2–A1) can be found when performances A1 and A2 are compared.

사실상 시기 A와 B는 시기 C와 D와 같이 일반적으로 동시에 발생합니다.

In reality, phases A and B will generally take place simultaneously, as will phases C and D.

작업을 관찰하는 두 FP 사이의 평가자 간 신뢰도가 낮고 이러한 관측이 피드백에 사용되면 FR은 두 가지 다른 메시지를 수신하여 수정 작업을 어렵게 만듭니다. (더 자세한 설명은 온라인으로 부록 S1, 섹션 I 참조).

When inter-rater reliability between two FPs observing a task appears low, and these observations are used for feedback, the FR will receive two different messages, which makes corrective action difficult. (For a more elaborate explanation, refer to Appendix S1, section I, online).

METHODS

This article was prepared using most of the reporting conventions described in the PRISMA (preferred reporting items for systematic reviews and meta-analyses) Statement for meta-analyses and systematic reviews.32

연구 검색

Study eligibility and identification

We conducted searches of the ERIC (Educational Resources Information Center), PsycINFO and MEDLINE databases for meta-analyses and literature reviews published in English in peer-reviewed journals during the period from January 1986 to February 2012 (Fig. 2).

포함 및 배제 기준

Exclusion and inclusion criteria

We used six criteria to exclude articles based on their titles and abstracts. These were: 

• (i) a non-relevant population (applied to studies based on animal data or on children, disabled persons or patients); 

• (ii) non-behavioural topics (applied to studies focusing on descriptions, reviews, comparisons and evaluations of ‘non-behavioural’ topics, such as [student] feedback on teaching/learning programmes, materials, guidelines, curricula, etc.); 

• (iii) methodological focus (applied to studies that focused on the methodology of meta-analyses and reviews in particular or on methodology problems in general); 

• (iv) educational procedures focus (applied to studies focusing on differences in methods [e.g. traditional–authentic], models, measurement, tools and approaches of assessments and evaluation of performances and competencies); 

• (v) non-relevant miscellaneous topics (applied to studies focused on topics other than feedback, such as job commitment and turnover, personnel selection, grading and scoring, self-assessment, influences or predictions on job or study performance, physical processes such as biofeedback, video feedback and rewards), and 

• (vi) a non-review nature (applied to studies that provided comments or critique on reviews, or studies in which reviewing the literature was not the main purpose of the study).

Subsequently, from among all articles retained after the exclusion process, we included all studies that met all of the following criteria: 

• (i) the use of metaanalysis or a systematic literature review of empirical research as the methodology, and the demonstration of good quality research by the reporting of search terms, time span and sources (the use of predetermined inclusion criteria and especially exclusion criteria was also considered a criterion for quality35); 

• (ii) the use of a population of healthy adults, and 

• (iii) a focus on the feedback process in general, or the process of providing information, or the process of receiving information, or the effect of the information on outcomes.

변인 선택 및 결과 종합 과정 

Process of selection of variables and synthesis of results

We used an eight-step protocol to select variables and synthesise findings. We applied the descriptive model (Fig. 1)

(Appendix S1, Section II provides more details).

• In step 1, we categorised each study as referring to one or more phases of the feedback process or the feedback effect. We first determined the dependent variables or the outcome variables of the included studies (Table S1, column H, online).

• In step 2, we determined dependent, independent, moderator, mediator and confounding variables (Table S1, column I). Moderator, mediator and confounding variables elucidate the causal process by which the independent variable influences the dependent variable.

• In step 3, we assessed the unit of measurement for each study. In meta-analyses, effect sizes are the usual units of measurement. Effect size d (ESd) indicates the extent to which means differ. Effect size r (ESr) indicates the size of correlation effects between variables. In literature reviews, units of measurement may be the number of studies that report a change, or the percentage of studies in which effects were found. Narrative reviews just describe differences. We reported only variables that were clearly indicated as effective.

• In step 4, we identified and selected those variables which have a reported impact on the feedback process and feedback effect. In meta-analyses, we considered only variables with a significant effect. In quantitative and narrative reviews, we included only those variables that were clearly reported as influencing the direction of the effect.

• In step 5, we established variables that did not influence the feedback process or the feedback effect or both (Table S1, column J).

• In step 6, to detect which phases of the feedback process and feedback effect were influenced, we considered (i) which dependent variable was influenced, and (ii) in which phase of the feedback process or the feedback effect this variable could be classified.

• In step 7, to create a comprehensive overview, we clustered variables with similar meanings or similar content (Table 1).

• In step 8, from the variables that reportedly influenced the phases of the feedback process or the feedback effect or both, we determined the direction of the effect. Table S1 describes the characteristics of the included studies.

RESULTS

Studies identified

Variables identified

A description of each variable can be found in Table 1.

• Phase A: general context, task, standard and first task performance by the FR

• Phase B: observation, interpretation and rating by the FP

• Phase C: communication of the feedback message by the FP to the FR

• Phase D: reception, perception and interpretation of the feedback message by the FR

변인들의 작용방향

Direction of variables

influences of these variables (Table 2).

피드백 제공의 주 효과는 피드백이 효과적이며, 안전 관련 성과, 작업 생산성, 판단 능력, 학습자의 목표 설정 능력, 임상의 및 의사의 성과와 같은 성과를 향상시키는 것입니다. 피드백의 영향은 보통 작거나 보통입니다.

The main effect of the provision of feedback is that feedback is effective and improves performance,8,16,36,40,70,76,77 such as in safety-related performance,76 work productivity,49 judgement abilities,70 learner’s goal-setting abilities,4 and clinicians’ and physicians’ performance.16,40 The impact of feedback is often small to moderate.8,36,43,47,52

Table 3 summarises our main findings.

시기 B에 영향을 미치는 변인들

Variables influencing the outcome of phase B: observation, interpretation and rating

복잡성이 높은 평가 과제는 평가자 간 일치도를 낮춘다.

Rating tasks of high complexity results in low inter-rater agreement

작업 복잡성은 관찰자가 작업장에서 관찰 된 성과를 평가하는 방법에 영향을 미친다. 피드백 제공자는 복잡성이 낮은 작업의 평가와 비교하여 매우 복잡한 작업의 평가에 대해 일치가 적다. 이에 대한 가능한 설명은 

• 복잡한 작업에 포함 된 하위 작업의 수, 

• 명확한 표준의 부족 (각 하위 작업), 

• FP가 스스로 수행 할만큼 숙련되지 않은 작업, 

• 복잡한 작업을 관찰하는 어려움 등이다.

Task complexity influences how observers rate observed performances in the workplace.46,50 Feedback providers show less agreement on ratings of highly complex tasks compared with those of tasks of low complexity. Possible explanations for this refer to the number of subtasks included in complex tasks, a lack of clear standards (for each subtask), that an FP is not skilled enough to perform the task him or herself, and the difficulty of observing complex task behaviour.

FP의 높은 과제 친숙도는 평가자 일치도를 더 높인다.

관찰 된 업무에 익숙한 피드백 제공자들은 높은 평가자 간 일치도를 보여줍니다. 

• 관리 업무, 진단, 직무 지식 및 판단 능력에 대한 평가자 간 일치도는 동료 또는 부하 직원보다 감독자 사이에 더 높습니다. 감독자는 자신의 역량 또는 유사한 업무를 수행 한 경험으로 전체 업무의 개요를 가지고 있습니다. 

• 그러나 동료들은 관찰 된 대인 행동의 평가에서 더 높은 평가자 간 일치를 보인다. 동료가 동료들과 더 자주 일한다는 사실은 부하들 또는 감독자들보다 이러한 특정한 측면에 대한 더 나은 통찰력을 제공합니다. 50,51,65

Feedback providers who are familiar with the observed task show high inter-rater agreement. 

• Inter-rater agreement in ratings of management tasks, diagnosis, job knowledge and judgement ability is higher among supervisors than among peers or subordinates. Supervisors have an overview of the entire task as a result of their competence or their experience in performing similar tasks themselves. 

• However, peers show higher inter-rater agreement in ratings of observed interpersonal behaviour. The fact that peers work more often with their colleagues gives them better insight than subordinates or supervisors into these particular aspects.50,51,65

관측 도구를 사용하여 FP를 훈련하면 평가 오류가 줄어 듭니다.

Training FPs in using observation instruments reduces rating errors

평가 오류는 관찰의 품질 뿐만 아니라 이후 단계에서 피드백 메시지의 내용에 영향을 미칩니다. 이러한 오류의 예로는 후광 효과, 관대 효과, 평가 정확도 및 관찰 정확도가 포함됩니다 .58-60 관측 도구로 작업하는 방법에 대한 교육은 평가 오류를 줄이고 정확도를 높입니다 .60 행동 관찰 방식에 대한 훈련은 과제 관찰의 퀄리티에 긍정적 인 영향을줍니다 (d = 0.59) .58 이러한 평가자 훈련시에 등급 카테고리의 의미를 토론하고, 실습, 피드백을 핵심 요소로 구성하면 더욱 매우 효과적이고, 평가 오류를 50-85 % 줄입니다 .59

Rating errors influence the quality of the observation and, in a later phase, the content of the feedback message. Examples of such errors include the halo effect, the leniency effect, rating accuracy and observational accuracy.58–60 Training in how to work with observation instruments reduces rating errors and increases accuracy.60 Training in behaviour observation had a high positive impact on the quality of the task observation (d = 0.59).58 Training in which discussion about the meanings of rating categories, practice and feedback are central components is very effective: it reduces rating errors by 50–85%.59

루브릭을 사용하면 채점의 신뢰도가 높아지고 피드백 의사소통을 용이하게 한다.

Use of rubrics increases the reliability of scoring and facilitates feedback communication

루브릭이란 다음과 같습니다.

'... Authentic하고 Complex한 학생 활동의 질적 평가 점수 도구. 여기에는 퍼포먼스의 중요한 차원들과 준거를 달성했는지에 대해 평가하는 기준이 포함됩니다. '

A rubric is: ‘...a scoring tool for qualitative ratings of authentic or complex student work. It includes criteria for rating important dimensions of performance as well as standards of attainment for those criteria.’66 

루브릭에서는 준거 및 기준이 명확하게 제시되므로 task dimension의 초점이 명확해져서 채점의 신뢰도가 높아집니다.

In rubrics, criteria and standards are made explicit so that the meaning and focus of dimensions of the task are clear, which results in high reliability of scoring.

루브릭은 구체적이기 때문에 FP는 루브릭이 피드백 커뮤니케이션을 촉진하는 것으로 인식합니다.

Because of their concrete nature, FPs perceive rubrics as also facilitating feedback communication.

FR과 FP의 문화적 배경이 비슷하면 평가 등급이 높아집니다.

Similarities in the cultural backgrounds of the FR and FP result in higher performance ratings

전문가로서의 행동에 대한 학습자 및 감독자의 인식은 (국가의) 문화적 배경과 조직 문화에 의해 결정됩니다. 자신의 나라에서 일하고 동일한 문화적 배경의 FP가 감독하는 FR은 더 높은 업무 성과 등급을 얻는다. 문화적 배경이 유사하기 때문에이 사람들은 전문성에 대한 유사한 인식을 가지며 특정 직무 차원에 대한 가치를 유사하게 평가한다.

FP와 FR 간의 관계를 구축하는 데 더 많은 시간을 할애한다면 평가와 객관적인 성과 지표 간의 상관 관계가 높아진다

Making more time available for the FP to build a relationship with the FR leads to higher correlations between ratings and objective performance measures

[업무에 소비 된 시간] 또는 [생산 속도]와 같은 객관적인 척도는 사람이 제공하는 피드백 평가보다 관찰에 따른 편향이 적다. Norton은 동료 피드백 상황에서 FP와 FP와의 관계에 대한 시간 투자가 FP의 성과 등급과 객관적인 성과 측정 (r = 0.69) 사이의 상관 관계에 영향을 미친다는 사실을 발견했습니다 .61 FP가 관계에 대해 투자한 시간이 많았을 때, FP의 등급과 성과의 객관적인 등급 사이의 상관 관계가 높았다. 이러한 결과는 FP가 FR을 더 잘 알게되면 FP로부터의 편향에 따르는 오류를 감소 시킨다는 것을 암시한다. 특히 자존감이 낮거나 시험 불안감이 높은 학생의 경우 감독자를 아는 것은 신뢰의 요인이 된다.68

Objective outcome measures, such as time spent on a task and a person’s production pace, are less prone to observation bias than ratings of human feedback providers. Norton found that in a peer feedback situation, the FP’s time investment in the relationship with the FR influenced the correlation between the FP’s performance rating and objective measures of performance (r = 0.69).61 When the FP’s time investment in the relationship was high, the correlations between the FP’s ratings and objective ratings of performance were high.61 The results suggest that getting to know the FR reduces rating errors of bias from the FP. Especially for students with lower self-esteem or high levels of test anxiety, knowing the supervisor represents a factor of trust.68

피드백 효과에 영향을 미치는 변인들

Variables influencing the feedback effect

FR의 초기 스킬이 낮을 경우 피드백 효과가 높습니다.

Low initial skill in the FR results in high feedback effects

임상 상황에 대한 연구 결과에 따르면, 임상 실습에 대한 피드백은 요구 사항을 충족시킨 FR보다, 권장 관행의 요구 기준을 충족시키지 못한 FR에게 더 효과적 이었음을 보여줍니다 .36 낮은 기술을 가진 FR은 개선의 기회가 많아지고 효과가 더 빨리 볼 수 있습니다.

Research in the clinical setting shows that feedback on clinical practice was more effective with FRs who did not meet the required baseline of recommended practice than with FRs who did meet this requirement.36 An FR with low skills has more opportunities for improvement and effects may become visible more quickly.

FR의 자존감은 피드백 효과에 영향을 미칩니다.

The FR’s self-esteem influences the feedback effect

자존감은 리뷰 및 메타 분석에서 자주 언급되지 않았습니다. 이것은 연구 된 변수의 대부분이 개인적 측면보다는 비 개인적인 측면과 관련되기 때문일 수 있습니다. 피드백이 사람의 자존감을 위협하는 것으로 인식되면 피드백의 효과는 더 낮습니다 .8

Self-esteem was not mentioned often in the reviews and meta-analyses. This may be because most of the variables studied relate to impersonal rather than personal aspects. When feedback is perceived as threatening a person’s self-esteem, the effect of the feedback is lower.8

FR이 목표 설정 행동을 보이면 피드백 효과가 증가합니다.

Having FRs show goal-setting behaviour increases the feedback effect

FR이 목표를 염두에두고 자신이 달성하고자하는 것을 알고있을 때 수신 된 피드백을 사용하여 목표를 달성 할 수 있습니다. 피드백은 FR이 목표를 설정했을 때, 그렇지 않을 때보다 더 효과적입니다 .8

When an FR has a goal in mind and knows what he or she wants to accomplish, the received feedback might be used to reach that goal. Feedback is more effective when an FR sets a goal than when he or she does not.8

다각적 인 개입의 일환 인 피드백은 피드백 효과를 증가시킵니다.

Feedback as part of a multifaceted intervention increases the feedback effect

특히 시험 상황에서 피드백이 삽입 된 학습 내용은 피드백 효과를 증가시킨다. (표 1 피드백 유형) 피드백 개입과 다른 교육 개입 (소위 다면적 중재)의 결합은 다음과 같다. 감사, 감독, 교육 구제 방문 또는 교육은 피드백 효과를 증가시킨다 .16,36,40,41,52

The instructional content in which feedback is embedded, especially in a test situation, increases the feedback effect (Table 1 [form of feedback]).52 The combination of a feedback intervention with other educational interventions (so-called multifaceted interventions), such as audits, supervision, educational outreach visits or education, increases the feedback effect.16,36,40,41,52

독창적이고 구체적이고 정교한 피드백 콘텐츠는 피드백 효과를 높입니다.

Encouraging, specific, elaborate feedback content increases the feedback effect

피드백 메시지의 내용을 원하는 피드백 효과에 맞게 조정하면 효율성을 높일 수 있다.49 

Tailoring the content of the feedback message to the desired feedback effect increases its effectiveness.49 

구체적이고, 관련성이 있고, 격려성 정보가 있는 피드백(예: 정답 (표준) 제공, 작업 정보 제공, 이전 trial과 관련된 성과에 대한 추가 설명 및 정보 제공)의 경우 더 효과가 높다.

Feedback consisting of specific, relevant and encouraging information, such 

• as correct answers (the standard), 

• task information, 

• additional explanation and information about performance in relation to previous trials, 

일반적 정보, 옳음/그름의 정보, 칭찬만 있는 얕은 피드백은 덜 효과적이다.

is more effective than shallow feedback, such as 

• general information, 

• ‘right’/ ’wrong’ information, or 

• compliments.4,8,52,70,72,73

빈번한 피드백은 피드백 효과를 증가시킵니다.

Frequent feedback increases the feedback effect

단순하게 훈련이 가능하고, 짧고, 시각적이며 정신 운동적인 일을하는 경우, 흔히 제공되는 피드백은 드문 피드백보다 피드백 효과를 더 많이 증가시킵니다 .8 Soumerai et al. 의사의 약물 처방 행동에 대한 지속적인 피드백 보고서가 제공되었을 때 약물 처방 연습에 긍정적 인 변화가 있음을 발견했습니다 .43 피드백을 자주받는 데 익숙해지더라도 피드백 효과를 감소시키지는 않는 것처럼 보입니다 .49

With simply trainable, short, visual and psychomotor tasks, frequently provided feedback increases the feedback effect more than infrequent feedback.8 Soumerai et al. found a positive change in drug-prescribing practice when ongoing feedback reports about medical doctor’s drug-prescribing behaviour were provided.42 Being used to receiving frequent feedback does not appear to decrease the feedback effect.49

33개의 변인 중 21개는 연구마다 결과가 달랐다.

Twenty-one of the 33 variables show equivocal results:

몇몇 연구들은 피드백의 길이 (피드백의 강도)가 피드백 효과에 영향을 미친다는 것을 보여 주었다. 길이가 다른 메시지는 다른 효과를 가진다. 그러나 결과는 길거나 짧은 메시지가 더 좋은지 분명하지 않다. 최적의 피드백 길이에 대한 지침은 이로부터 파생 될 수 없으며 작업에 따라 다를 수 있습니다.

Several studies show that the length of the feedback (Table 1 [intensity of feedback]) influences the feedback effect: messages of different lengths have different effects.16,47 However, the results do not make clear whether long or short messages are better. Guidelines for the optimum length of feedback cannot be derived from this and are probably task dependent.

고찰

DISCUSSION

프레임 워크를 참조하여, 우리의 연구는 다음을 보여줍니다 :

• (i) 피드백 프로세스의 각 단계에서 오는 변수는 피드백 프로세스의 다음 단계에 영향을 미치며,

• (ii) 피드백 과정의 모든 4 단계가 피드백 효과에 영향을 미친다.

With reference to the framework, our study shows that: 

• (i) variables from each phase of the feedback process influence the next phase in the feedback process, and 

• (ii) all four phases in the feedback process influence the feedback effect. 

임상 실습의 결과는 FP가 피드백 (단계 C)을 얼마나 잘 전달하는지뿐만 아니라 수행 된 과제 (단계 A), 관찰 및 평가 (단계 B) 및 FR의 수신에 초점을 맞추어야한다는 것입니다. 피드백의인지 (단계 D).

The consequence for clinical practice is that we should not only focus 

• on how well the FP communicates the feedback (phase C), but also 

• on the performed task (phase A), 

• the observation and rating (phase B), and 

• the FR’s reception and perception of the feedback (phase D).

이것을 예를 들어 설명 할 수 있습니다. 시니어 임상실습학생이 피드백을 받을 경우, 다음과 같은 이유로 효과가 낮을 수 있다.

학생이 동의하지 않는 노인 부부의 병력을 취하는 데 어려움을 겪었다면 (높은 업무 복잡성).

점원을 감독하는 레지던트는 방금 훈련을 시작했습니다 (전문 지식이 부족함) (A? B).

따라서 레지던트는 관찰 된 행동을 기술 할 수 없다 (비 특이적인 메시지) (B? C),

학생은 자신이 잘 수행하지 못했다고 결론을 내리게됩니다 (자기 존중에 영향을 미침) (C? D).

We can illustrate this with an example. When a senior clerk receives feedback, its effect may be low 

if the clerk has had difficulty in taking a history from an elderly couple who disagree (high task complexity). 

The resident supervising the clerk has only just started training (lacks expertise) (A?B). 

Consequently, the resident is not able to describe the observed behaviour (unspecific message) (B?C), 

which leads the clerk to conclude he or she performed poorly (influencing self-esteem) (C?D).

그러나 이것만으로는 효과를 예측할 수 없습니다. 

• (A) 병력청취를 향상시키기 위해 특정 정보가 필요하다는 것을 학생이 알고 있기 때문에 피드백 효과가 증대될 수 있다.

• 감독 레지던트의 집중력과 전문성 부족(B)으로 인해 비 특정 메시지 (C)가 발생하기 때문에 피드백 효과가 낮아질 수 있다

• 또는 메시지가 점원의 자부심 (D)에 대한 위협으로 해석되기 때문입니다.

The influences of these processes on the effect cannot be predicted. 

• They may increase the effect because the clerk understands that specific information is needed to improve the history taking (A). 

• They may decrease the feedback because the lack of concentration and expertise in the supervising resident (B) results in a non-specific message (C), 

• or because the message is interpreted as a threat to the clerk’s self-esteem (D).

우리는 피드백 과정이 피드백 효과에 결정적이라는 것을 알 수 있습니다. 한 단계에만 집중하면 피드백 연구의 생태 학적 타당성에 큰 영향을 미친다.

We learn from this that the feedback process is crucial to the feedback effect. Focusing on only one phase has large consequences for the ecological validity of feedback studies.

한계

Limitations

이 메타 리뷰는 피드백에 대한 모든 문헌을 철저히 개관 한 것처럼 보이지 않습니다. 다양한 연구와 변수가 여러 가지 이유로 빠져 있습니다. 예를 들어, 피드백 성향, 피드백 프레임 워크 79 및 FPs80의 특성과 같은 '새롭거나'드문 주제가 정 성적 리뷰 또는 메타 분석에 포함되기 위해서는 더 많은 출판물이 필요합니다. Sadler81과 Black and Wiliam, 82 같은 연구 방법이나 특정 방법론 기준으로 인해 우리가 사용한 특정 검색 기준에 의해 일부 리뷰 나 메타 분석이 확인되지 않았다. Barnum 효과, 83 피드백 추구, 84 그리고 Hattie와 Timperley의 검토, 5는 검색 기준을 언급하지 않았다. 1984 년에 출판 된 FP에 대한 피드백 제공에 대한 검토와 같이 일부 연구는 우리가 선택한 시간 (1986 년 1 월부터 2012 년 2 월까지)으로 출판되었으며, 마지막으로 일부 변수는 단일 질적 연구에서 연구되었을 수 있습니다 또는 실험이나 메타 분석이나 리뷰의 대상이 아닐 수도 있습니다.

This meta-review does not pretend to give an exhaustive overview of all the literature about feedback. Several studies and variables are missing for a variety of reasons. For example, ‘new’ or ‘rare’ topics, like feedback propensities,78 feedback framing79 and the characteristics of FPs80 require more publications in order to be included in a qualitative review or meta-analysis. Sometimes these topics will turn up in narrative reviews.60 Some reviews or meta-analyses were not identified by the particular search criteria we used, such as those by Sadler81 and Black and Wiliam,82 or because of particular methodological criteria, such as studies on the Barnum effect,83 feedback seeking,84 and the review by Hattie and Timperley,5 which did not mention search criteria. Some studies were published outwith the time span we selected (January 1986 to February 2012), such as a review on the effect of providing feedback on the FP published in 1984,85 and, finally, some variables may have been researched in single qualitative studies or experiments, but may not have been the subject of meta-analyses or reviews.

메타 분석 및 문헌 검토에 중점을 두는 결과는보고 된 변수가 새로운 것이 아니라는 것입니다. 그들은 기초 연구에서 연구되었습니다. 메타 분석과 검토는 서로 다른 연구의 혼합, 출판 편견 및 저질의 연구의 포함으로 인해 타당성에 대한 위협으로 고통을받는 경우가 종종있다 .86-88 이는 결과의 허위 진술로 이어진다. 이것이이 메타 검토에 적용될 가능성을 배제 할 수는 없습니다.

A consequence of focusing on meta-analyses and literature reviews is that the reported variables are not new; they have been researched in primary studies. Meta-analyses and reviews often suffer from threats to validity caused by the mixing of dissimilar studies, publication bias and the inclusion of poor quality studies.86–88 This leads to misrepresentations of outcomes; we cannot exclude the possibility that this may apply to this meta-review.

교차 학문 연구를 함께 가져 오는 단점은 다양한 연구 상황, 과제 및 참가자가 관련된다는 것입니다. 하나의 맥락에서 발견 된 결과는 단순히 다른 맥락으로 일반화 될 수 없다 : 작업 양상 및 맥락 모두 결과에 영향을 미친다 .8,47,52,54

The downside of bringing cross-disciplinary research together is that it involves a variety of study contexts, tasks and participants. Results found in one context cannot simply be generalised to other contexts: both task aspects and context influence findings.8,47,52,54

연구 주제

Research agenda

대부분의 변수는 A 상, B 상 또는 피드백 효과에 영향을줍니다. 단계 C와 D의 변수에 대한 추가 연구를 위해 세 가지 권장 사항이 있습니다. 

• 첫째, 연구 결과에 따라 표 2에 열거 된 변수가이 단계에 영향을 미치는지 여부와 방향 및 방향이 결정될 수 있습니다. 

• 둘째, 조사자는 피드백 메시지의 프레임, 설명의 '품질'과 피드백의 예, 피드백 메시지의 긍정적 측면과 부정 측면의 순서와 같은 언어 적 행동의 추가 측면을 연구 할 수 있습니다. 

• 마지막으로, 연구는 음성 및 표정의 색조와 같은 비언어적 행동의 측면을 탐구하고 의견의 원활한 의사 소통 및 수신에 기여할 수있는 FP 및 FR의 비언어적 행동의 특징을 검색 할 수 있습니다.

Most variables influence phase A, phase B or the feedback effect. For further research into the variables of phases C and D, we have three recommendations. 

• Firstly, research might determine whether the variables listed in Table 2 influence these phases, in which direction and how much. 

• Secondly, investigators might study further aspects of verbal behaviour, such as the framing of feedback messages, the ‘quality’ of explanations and examples in the feedback, and the order of the positive and negative aspects of the feedback message. 

• Lastly, research might explore aspects of nonverbal behaviour, such as tone of voice and facial expression, and search for features in the FP’s and FR’s non-verbal behaviour that might contribute to the better communication and reception of the feedback.

Practical implications

Med Educ. 2015 Jul;49(7):658-73. doi: 10.1111/medu.12744.

Variables that affect the process and outcome of feedback, relevant for medical training: a meta-review.

평가, 피드백, 학습의 연금술(Med Educ, 2018)

Assessment, feedback and the alchemy of learning (Med Educ, 2018)

Christopher J Watling1 & Shiphra Ginsburg2

도입

INTRODUCTION

Assessment of learning(총괄 평가)는 여전히 중요하지만 Assessment for learning(형성 평가)가 더 강조되고 있다. 이러한 평가의 dual purpose는 평가 정보가 [학습 결과를 판결]하고 [학습자가 미래의 성과를 만들어가는 데 사용할 수 있는 의미있는 피드백을 생성]하기 위해 사용해야한다는 것을 의미합니다. 이 방정식에서 피드백은 평가를 학습으로 전환시키는 촉매제입니다.

Although assessment of learning (summative assessment) remains critical, assessment for learning (formative assessment) has assumed greater prominence. This dual purpose means that assessment information should be used both to adjudicate learning outcomes and to generate meaningful feedback to learners that they can use to shape their future performance. Feedback, in this equation, is the catalyst that transforms assessment into learning.1–3

그러나 평가와 피드백이란 가마솥에서 배움이 만들어지는 것은 마치 연금술처럼 보일 수 있습니다. 평가와 피드백 사이의 충돌은 문제가 될 수 있습니다. 근본적으로 그들의 목적은 서로 상반되게 보일 수 있습니다. 

• 피드백은 개발과 학습을 강조하지만, 

• 평가는 판단과 의사 결정을 강조합니다. 

이러한 명백한 차이를 혼합하면 위험한 학습법이 만들어집니다. 위험을 관리하려면 평가 및 피드백과 관련된 경쟁 우선 순위와 긴장의 균형을 유지해야합니다.

However, the emergence of learning from a cauldron of assessment and feedback can seem like alchemy. Conflating assessment and feedback can be problematic. Fundamentally, their purposes may seem at odds. Whereas feedback stresses development and learning, assessment stresses judgement and decision making. Mixing these distinct ingredients creates a risky recipe for learning. Managing that risk requires balancing the competing priorities and tensions related to assessment and feedback.

평가담론 변화의 역사

THE SHIFTING ASSESSMENT CONVERSATION

'평가는 학습을 촉진한다'라는 격언은 보건 전문가 교육 분야에서 새로운 것도 특수한 것도 아니다. 1950 년대 이래로 교육 연구원들은 교사가 고안한 시험이 학생 학습에 영향을 미칠 것이라고 경고했습니다.

The ‘assessment drives learning’ maxim is neither new nor specific to health professions education. Since the 1950s, education researchers have cautioned teachers that the examinations they devise will influence the student learning that occurs.4

1960 년대 후반, 총괄 평가와 형성 평가가 구분되었고, 이로서 "학습을 위한" 목적으로 이뤄지는 평가에 드디어 이름이 붙게 되었다.5 형성 평가의 개념을 구체화 한 Sadler는 학습자가 형성 평가에 참여하는 데 필요한 세 가지 조건을 설명했습니다.

• (i) 학습자는 자신이 원하는 성과 기준을 이해해야하며,

• (ii) 학습자는 자신의 수행과 그 표준 간의 차이에 대한 정보가 필요하며

• (iii) 학습자는 그 격차를 해결할 수 있는 다양한 전략이 필요합니다 .1

In the late 1960s, a distinction was made between summative and formative assessment, giving specific language to the ‘for learning’ purpose of assessment.5 Refining the notion of formative assessment, Sadler outlined three necessary conditions for a learner to engage with formative assessment: 

• (i) the learner needs an understanding of the standard of performance to which he or she aspires, 

• (ii) the learner needs information about the gap between his or her performance and that standard, and 

• (iii) the learner needs a range of strategies to remedy that gap.1 

Sadler는 형성 평가에서 피드백의 중심적 역할을 강조했지만, 이와 함께 학습자의 교사에 대한 의존도를 서서히 낮추는 것에 대해서도 이야기했는데, 그 방법은 

• 학습자가 표준을 알도록 하고, 

• 자신의 수행능력과 비교하여 성과를 성찰하고, 

• 이를 기반으로 행동을 취할 수 있도록 하는 것이었다.

Sadler stressed the central role of feedback in formative assessment, but also spoke of gradually freeing learners from dependence on the teacher by empowering them to grasp standards, make reflective comparisons with their own performance and take action.1

의료 교육에서 형성 평가를 수용한 것은 보다 최근의 현상입니다. 1990 년대 중반 이전의 의학교육연구는 학습에 대한 평가의 가치보다는 평가의 심리측정적 속성에 더 초점을 두었다.6 이 당시에는 미래의 전문 성과를 예측하는 평가의 역할이 무엇보다 중요했습니다. 학습자 선발, 승진 및 독립 연습에 대한 졸업 결정에 대한 지원을 목표로 한 평가;

Medical education’s embrace of formative assessment is a more recent phenomenon. Prior to the mid-1990s, medical education research was focused less on the potential learning value of assessments and more on their psychometric properties.6 Assessment’s role in predicting future professional performance was paramount. Assessment aimed to support decision making about learner selection, promotion and graduation to independent practice;

1996 년 Van der Vleuten은 영향력있는 모델 인 평가를위한 혁신적인 유틸리티 모델을 발표했습니다 .8이 모델의 핵심은 타협과 트레이드 오프라는 개념이었습니다. 신뢰성, 타당성, 교육 영향, 수용 가능성 및 비용은 역동적 인 요소로 보였습니다. 한 영역에서의 개선은 다른 영역을 희생하여 이루어질 수 있습니다.

In 1996, van der Vleuten published a groundbreaking utility model for assessment, a model that remains influential.8 At the heart of this model were notions of compromise and trade-off. 

• Reliability, 

• validity, 

• educational impact, 

• acceptability and 

• cost 

...were seen as dynamic elements of utility; improvements in one sphere might come at the expense of another.

그의 모델은 평가의 목적에 대해 변화하는 관점을 반영했다. 상황에 따라 평가가 [학습의 촉진제] 또는 [판단]의 수단이 될 수 있으며, 평가의 의도된 목적에 따라 방정식의 여러 요소들에 얼마나 주의를 기울여야 하는가가 달라짐을 의미했다. 그러나 그는 교육적 영향에 대한 타협이 최소화되어야한다고 권고했다.

His model reflected a shifting view of assessment’s purpose; it acknowledged that assessment might be meant as either a judgement or a facilitator of learning, depending on the circumstances, and that different elements of the equation might deserve more or less attention based on an assessment’s intended purpose. He cautioned, however, that compromise on educational impact should be minimised.8

Norcini et al.의 좋은 평가를위한 기준으로는 다음이 있고

• 교육 효과 (교육적으로 유익한 방식으로 준비하는 데 평가가 영향을 미치는 정도)와 

• 촉매 효과 (어떤 평가가 학습을 향상시키기 위해 피드백을 제공하는지), 

...평가는 타당한 의사 결정을 지원하고 학습자 진행을 촉진해야한다는 기대를 더 굳건히 만들었다..9

Norcini et al.’s 2011 criteria for good assessment, for example, included the related elements of 

• educational effect (the extent to which an assessment motivates those who take it to prepare in a way that is educationally beneficial) and 

• catalytic effect (the extent to which assessment offers feedback to enhance learning), 

...solidifying expectations that assessment should both support sound decision making and facilitate learner progress.9

학습 촉매제로서 평가가 얼마나 유용한가? 시험-강화 학습(test-enhanced learning)에 대한 상당한 연구는 테스트 기반 평가를 커리큘럼에 정기적으로 주입하면 학습과 유지를 모두 향상시킬 수 있다는 개념을 뒷받침합니다 .11,12 시험에 따르는 피드백이없는 경우에도 학습을 향상시키는 것처럼 보이지만, 시험에 피드백을 추가하면 오류를 수정하고 올바른 응답을 확인함으로써 장점을 더욱 향상시킵니다.

how useful is assessment as a catalyst for learning? Considerable research on test-enhanced learning supports the notion that regular injections of test-based assessment into a curriculum can enhance both learning and retention.11,12 Whereas testing appears to enhance learning even in the absence of feedback, the addition of feedback to testing enhances its benefits by correcting errors and confirming correct responses. 

이런 이유로 의학교육에서 단순히 시험 횟수 증가보다, 일반적으로 그 장점을 최적화하기 위해 시험과 피드백을 연결할 필요성을 강조한다.16 그러나 작업장 기반 평가의 형태로 정기적 인 테스트가 교육에 미치는 영향은 분명하지 않습니다.

For this reason, calls for more frequent testing in medical education typically warn of the need to link tests with feedback to optimise their benefit.16 however, the educational impact of regular testing in the form of workplace-based assessment is less clearly established.

CBME은 프로세스가 아닌 결과를 지향하기 때문에 엄격하고 강력한 평가가 요구됩니다 .18,19 그러나 역량 평가는 복잡한 비즈니스입니다.

Competency-based medical education orients itself toward outcomes rather than processes, and thus demands rigorous and robust assessment.18,19 However, competency assessment is a complex business:

이 요구 사항에 대한 응답으로 평가 담론은 개별 평가도구 또는 심리측정속성에서 벗어나서, 여러 평가 전략을 연결하여 학습자 성과의 완벽한 초상화를 생성하는 "평가 프로그램"으로 이동하기 시작했습니다.

In response to this requirement, the assessment conversation has begun to shift further, away from individual assessment tools and their psychometric properties and toward assessment programmes that link multiple strategies to produce fulsome portraits of learner performance.20,21

평가 프로그램과 같은 접근 방식은 빈번히 발생하는 저부담의 형성 평가를 선호하며, 가끔만 이뤄지는 고부담의 총괄평가를 강조하지 않습니다 .20,22 개별적으로 살펴보면, 이러한 형성 평가 이벤트는 학습자를 위해 발달적 목적을 제공하기위한 것이며, 형성평가가 합해지면 총괄평가가 된다.

Approaches to programmatic assessment deemphasise infrequent high-stakes summative assessments in favour of very frequent low-stakes formative assessments.20,22 Taken individually, these formative assessment events are intended to serve a developmental purpose for the learner: Taken together, however, the formative becomes summative. 

모자이크 조각처럼 각 개별적인 형성 평가는 더 큰 그림에 기여합니다. 조각 모음은 능력에 대한 판단의 기초 역할을합니다. Schuwirth et al.에 따르면 저부담 의사 결정은 단일 데이터 포인트를 기반으로 하는 반면, 고부담 의사 결정은 여러 데이터 포인트를 요구합니다 .23

Like pieces of a mosaic, each individual formative assessment contributes to a bigger picture; the collection of pieces serves as the basis for judgements about competence. Schuwirth et al. highlight the principle of proportionality in programmatic assessment: whereas low-stakes decisions might be based on single data points, high-stakes decisions demand multiple data points.23

변화하는 피드백 담론

THE SHIFTING FEEDBACK CONVERSATION

비록 피드백이 오랫동안 학습의 기초로서 옹호되어 왔지만, 연구원은 실제로 이러한 분석에 포함 된 상당수의 연구에서 그 효과를 당연히 여기는 것을 경고했다. 일부 연구에서 실제로 피드백은 성과에 해 롭습니다. 30

Although feedback has long been championed as foundational to learning,24,25 researchers have cautioned against taking its value for granted.26–28 in fact, in a substantial minority of studies included in these analyses, feedback was actually detrimental to performance.29,30

• 효과적이기 위해서 피드백은 개인 지향적인 것이라기보다는 적시에, 구체적으로, 실행 가능하고 작업 지향적이어야한다. 

• 학습자는 신뢰성 있고 건설적인 것으로 인식하는 피드백을 사용할 확률이 더 높으며, 이러한 특성에서 부족한 것으로 보이는 피드백을 무시할 수있다. 26 

• 신뢰할 수있는 피드백은 일반적으로 학습자의 성과를 직접 관찰하여 정보를 얻은, 신뢰할 수있는 출처에서 나옵니다. 

• 건설적인 피드백에는 개선 방법에 대한 학습자를위한 지침과 지침을 제공하는 실천 계획이 포함되어 있습니다. 

• 학습자의 자긍심이나 자아상을 위협하거나 강한 부정적인 감정을 유발하는 경우 피드백의 사용과 피드백 사용은 어렵습니다.

• To be effective, feedback should be timely, specific, actionable and task-oriented rather than person-oriented.32 

• Learners are more likely to use feedback they perceive to be credible and constructive, and may discard feedback they see as lacking in these qualities.26 

• Credible feedback is typically informed by direct observation of learner performance and originates from a trusted source; 

• constructive feedback contains an action plan that offers direction and guidance for the learner on how to improve. 

• Uptake and use of feedback are challenging if it threatens learner self- esteem or self-image,29 or if it triggers strong, negative emotions.33,34

사회적, 문화적, 조직적 영향은 학습 프로그램에 의미있는 피드백을 포함시키기위한 노력을 지지하거나 방해할 수있다.

Social, cultural and organisational influences can support or derail efforts to embed meaningful feedback in programmes of learning.35

교사 - 학습자 관계를 육성하는 교육 프로그램도 양질의 피드백을 지원합니다. 신뢰를 기반으로하는 교사 - 학습자 관계는 학습자가 피드백에 참여할 수 있도록 안전한 환경을 만듭니다. 이는 피드백이 중요하거나 피드백에 따라 교정이 필요할 때 특히 중요합니다 .37-39 신뢰와 안전은 단순히 실현되지 않습니다. 교육과정에서 교사와 학습자 모두에게 상호 작용의 의도와 목표가 명확할 때 개발됩니다. 피드백 문헌에 따르면 학습자 개발에 중점을 두는 코칭 접근 방식을 제안합니다 .2 코칭 모델은 교사와 학습자 간의 장기적이고 신뢰 관계에서 번성thrive합니다. 둘 다 상호 작용의 발달 적 의도에 대해 명확합니다.

Education programmes that foster teacher–learner relationships also support quality feedback. Teacher–learner relationships based on trust create safety for learners to engage with feedback, which isespecially important when that feedback is critical or corrective.37–39 Trust and safety do not simply materialise; they develop when there is clarity in the curriculum, for both the teacher and the learner, about the intent and goals of their interactions. Increasingly, the feedback literature advocates a coaching approach, which places the emphasis firmly on learner development.2 Coaching models thrive on longitudinal, trusting relationships between teachers and learners, where both are clear about the developmental intent of the interaction.40,41 

그러나 의학교육에서 교사 - 학습자 상호 작용의 의도는 종종 불명확하다. 피드백과 평가의 경계는 불분명하다: 

• 교사는 종종 같은 시간에 자기의 일을 하면서, 동시에 학습자를 평가하고 지도하도록 요청받습니다. 이러한 역할의 결합은 부분적으로 문화적 요구에 대한 대응입니다. 

• 의학에서 교사는 학습자뿐만 아니라 전문직과 대중에게도 책임이 있습니다. 이러한 이중 책임은 언제나 바람직한 것은 아니지만 적어도 우리가 이해할 수있는 역할을 연계시킵니다. 

• 그러나 교사들에게 이 어려운 이중 역할을 부과하는 것은 학습자와 교사 모두에게 불편함을 불러 일으킨다. 42,43 일부 사람들은 평가자와 코치의 역할을 분리 할 기회를 찾아야한다고 제안했다.

However, clarity about the intent of teacher–learner interactions is often lacking in medical education. The lines between feedback and assessment blur: teachers are often asked to both assess and coach a learner at the same time and around the same task. The combining of these roles is, in part, a response to a cultural imperative: in medicine, teachers are accountable not only to learners, but also to the profession and to the public. This dual accountability makes our linking of the roles at least understandable, even if it may not always be desirable. Yet, investing teachers with this difficult dual role evokes discomfort in both learners and the teachers themselves.42,43 Some have suggested that we should look for opportunities to divorce the roles of assessor and coach,36,44

그러나 평가 프로그램의 모델이 주의 깊게 구현되지 않으면 평가자와 코치 사이의 경계가 흐려질 수 있습니다.

However, models of programmatic assessment, if not implemented with care, risk blurring the lines between assessor and coach further,

학습자 인식

LEARNER PERCEPTIONS

또 다른 중요한 변화는 학습자가 평가 및 피드백을 [경험하고, 통합하고 사용하는] 방법에 대한 연구 초점이 점차 확대되고 있다는 것입니다. 학습자는 평가의 목적에 대한 이해를 바탕으로 평가와 상호 작용합니다. 교육자가 명확한 개념을 가지고있을지라도, 학습자의 인식은 항상 교육자의 의도와 일치하는 것은 아닙니다. 의학적 학습자는 종종 형성적 의도를 가진 평가를 총괄평가summative로 인식한다 .42,47,48

Another key shift has been the increasing research focus on how learners experience, integrate and use both assessment and feedback. Learners interact with assessment based on their understanding of its purpose. Although educators may have a clear notion , learners’ perceptions do not always match educators’ intentions. Medical learners often perceive assessment with formative intent as summative.42,47,48 

그 인식은 의도 된 교육적 효과를 방해 할 수 있습니다. Bok et al.은 다수의 데이터 포인트를 모아서 최종 결정에 활용할 때, 학습자는 그 모든 데이터 포인트를 총괄평가라고 인식하는 경향이 있다고 경고했다. 42) 그 인식은 문제가 될 수있다. 로버츠 (Lawrence)는 "학습자는 형성평가의 순간이 총괄평가 판단에 기여한다는 것을 알게 되면, 이에 대한 응답으로 더 관대한 평가자 또는 더 간단한 사례를 찾아서 움직인다"고 경고했다.

That perception may then interfere with the intended educational effect; Bok et al. cautioned that when all data points contribute to a final summative decision, learners tend to perceive all data points as primarily summative.42 That perception can be problematic; as Roberts warned, learners might seek out more lenient assessors or more straightforward cases in response to the knowledge that formative moments contribute to summative judgements.50

비슷한 결과 : 형성평가는 총괄평가로 인식되었고, 합격 / 불합격 결정과 같은 총괄평가에 사용되는 프로그램의 요소는 학생들에게 평가가 형성평가로 받아 들여지는 것을 방해했다.

similar findings: formative assessment was perceived as summative, and elements of the programme that signalled summative assessment, such as pass/fail decisions, hindered students’ acceptance of assessment as truly formative.51

Harrison et al에 따르면 학생들에게 OSCE 후 피드백은 [미래의 실제 진료]와 관련이 있기보다는 [미래의 총괄 평가]와 관련이 있는 것으로 간주되었다. Harrison et al. 평가 사건으로 인해 야기 된 발달적 피드백에 관여하는 학습자의 전반적인 저항에 대한 지배적인 총괄평가 패러다임을 비난했다 .48

Harrison et al. noted post-OSCE feedback was viewed primarily as relevant to future summative assessments, rather than as relevant to future practice. Harrison et al. blamed a dominant summative assessment paradigm for learners’ general reluctance to engage with developmental feedback that arose from assessment events.48

직접 관찰에 대한 최근의 연구는 학습자 인식에 따르는 문제를 더욱 강조합니다. 직접 관찰은 신뢰할 수있는 평가와 신뢰할 수있는 피드백의 기본입니다. 그러나 학습자들은 임상 교육 중에 직접적인 관찰에 대해 약간의 양면성을 유지한다 : 그들은 직접관찰의 가치를 인식하지만, 동시에 관찰되는 것에 대해 불편함을 느낀다.52-54 학습자들에게 관찰은 전형적으로 평가되는 것처럼 느껴진다. 평가받는다고 느끼기에, 그들은 루틴을 바꿀 수 있습니다. 루틴에 대한 이러한 변경은 학습자가 inauthentic하다고 느끼는 퍼포먼스를 생성 할 수 있습니다. 피드백 또는 코칭의 토대로 서기보다는 평가를 잘 수행 할 수있는 성능입니다.

Recent research on direct observation further highlights the challenge of learner perceptions. Direct observation is fundamental to both trustworthy assessment and credible feedback. Learners, however, maintain some ambivalence about direct observation during their clinical education: they recognise that it has value, but also identify a certain discomfort with being observed .52–54 For learners, being observed typically feels like being assessed.55 Because they feel as if they are being assessed, they may alter their routines . These alterations to the routine may create a performance that feels inauthentic to the learner: a performance geared toward doing well on an assessment rather than serving as the basis for feedback or coaching. 

학습자에게 의미있는 코칭을 실시하는 것은 취약성과 위험 요소를 포함합니다 .56 학생이 과제를 해결하며, 스킬을 다듬기 위한 피드백을 얻으려면 자신의 취약성, 약점 및 투쟁을 드러내기 위해 기꺼이 자신을 취약하게 만들어야합니다. 그들은 새로운 방식을 시도해봐야 하며, 더 타당한 방식으로 작업을 하려면 습관의 일부를 해체하는 것을 기꺼이 감내해야합니다. 즉, 그들은 실패하는 것이 안전하다고 느껴야합니다. 그러나 평가 환경에서의 실패란 비참하고 위험한 것이다.

For learners, engaging meaningfully with coaching involves elements of vulnerability and risk.56 They must be willing to make themselves vulnerable, putting their fallibility, their weaknesses and their struggles on display in order to gain feedback that will enable them to tackle these challenges and refine their skills. They must be willing to risk trying new ways of doing things, even dismantling some of their habits in order to reconstitute sounder ways of working. They must feel safe to fail. Yet failing in an assessment setting feels distressing and dangerous.

평가 시스템이 무능한 개인을 탐지하고 처벌하는 방향으로 인식된다면, 이것은 학습자가 지식의 경계를 탐험하는 데 도움이되지 않을 것입니다. 22 이러한 탐험은 우리가 격려하고자하는 바른 학습의 종류입니다.

When an assessment system seems oriented toward detecting and punishing incompetent individuals, learners will not feel supported to explore the boundaries of their knowledge,22 although this exploration is exactly the kind of learning we hope to encourage.

프로그램 적 평가는 이러한 개별적인 평가 순간에 대한 부담을 극도로 낮춤으로써 이러한 불편 함을 극복 할 수 있다고 주장합니다. '부담'은 이들 순간이 합쳐질 때에 만 일어납니다 .20 그러나 여전히 우리는 주의해야합니다, 왜냐하면 부담이란 그것을 보는 자의 눈에 달려있기 때문이며, 그 낮은 부담조차 학습자에게는 작아보이지 않을 수 있다. 왜냐하면 그들은 일정 수의 '성공적인' 저부담 평가를 축적해야 진급한다는 것을 알고 있기 때문이다.

Programmatic assessment holds that this discomfort might be overcome by ensuring that the stakes for each individual assessment moment are extremely low. The stakes are raised only when these moments are summed together.20 We caution, however, that stakes are in the eye of the beholder, and that low stakes may not feel so insignificant for learners, particularly if they know they need to accumulate a certain number of ‘successful’ low-stakes assessments in order to progress.

문화적 관점

CULTURAL PERSPECTIVES

평가와 피드백에 관한 연구는 관점을 교사에서 학습자에게로 옮길뿐만 아니라, 개별 학습자에서 학습 문화로 이동했습니다. 학습자의 개인적인 경험과 인식은 배우는 문화에서 쉽게 벗어나지 않습니다. 학습자가 평가의 부담에 대한 개념은 [평가 경험에 대한 개별적인 인식] 만큼이나 [그들이 배우는 문화]에 따라 결정됩니다. 사회 문화적 학습 이론에 따르면 적어도 모든 학습이 individual pursuit은 아니라고 가정합니다. 학습은 개인의 마음의 산물 일뿐만 아니라, 학습자가 전문 공동체의 일원이되어 점차 그 공동체의 관행, 신념 및 가치를 채택하는 과정에서 발생하는 것이다.57

Research around assessment and feedback has not only shifted its perspective from teacher to learner, but also from individual learner to learning culture. Learners’ individual experiences and perceptions are not readily untangled from the culture in which they learn; learners’ notions of the stakes of an assessment, are shaped as much by the culture in which they are learning as by their individual perceptions of the assessment experience. Sociocultural learning theories posit that learning is not an individual pursuit, at least not entirely. Learning is not solely the product of an individual’s mind, but, rather, occurs as learners become part of a professional community, gradually adopting the practices, beliefs and values of that community.57

전문직은 자신의 교육에 대해 뚜렷한, 그리고 때로는 유일한 접근법을 유지합니다. Shulman은 이러한 접근 방식을 시그니쳐 교수법이라고 부릅니다. 그들이 유지하는 루틴은 전문직의 문화에 뿌리 깊게 뿌리 내리기 때문에, 오래도록 유지되는 경향이있다. 시그니쳐 교수법을 구성하는 교육 설계 결정은 그 전문직이 중시하는 가치를 반영한다. Shulman은 전문직 내에서 중요한 변화가 일어나는 순간, 시그니쳐 교수법에도 정기적인 수리가 필요하다고 지적했다.

Professions maintain distinct and sometimes singular approaches to educating their own. Shulman calls these approaches signature pedagogies; the routines that they embed tend to endure because they are deeply rooted in professional culture.58 The education design decisions that comprise a signature pedagogy reflect the values of the profession. Shulman noted that signature pedagogies require periodic repair, particularly at moments of major change within professions.59

의학 내에서 오류를 줄이기위한 환자 안전 운동의 등장은 CBME 및 프로그램 평가와 같은 새로운 접근법의 문호를 열어 우리의 교육 과정을 재검토하기위한 강력한 자극제가되었습니다 .60,61

Within medicine, the rise of the patient safety movement, with its imperative to reduce errors, has provided a strong impetus to revisit our pedagogical routines, opening the door for new approaches such as CBME and programmatic assessment.60,61

역량 기반의 의학 교육 및 프로그램 평가는 문화 변화, 그리고 그 변화를 촉진 할 시스템 및 조직의 결정에 대한 관심을 요구합니다. Eva et al. 다음과 같은 평가시스템을 제안했다.

• 성능을 지속적이고 동적으로 인식하는

• 자기 개념에 대한 위협을 최소화하면서 학습자를 안내합니다.

• 학습자가 들어오는 실습 영역을 반영하는 실제 작업에 평가를 삽입합니다 .3

Competency-based medical education and programmatic assessment demand attention to culture change, and to the system and organisational decisions that will catalyse that change. Eva et al. have called for an assessment system 

• that recognises performance as continuous and dynamic, 

• that guides learners while minimising threats to their self- concepts, and 

• that embeds assessment in authentic work that reflects the practice domains into which learners are entering.3

시험 강화 학습 혜택의 이 가치를 임상 환경에 맞게 변환하는 것은 쉽지 않을 수 있습니다. 효과적인 테스트 강화 학습은 대부분 시험 결과를 사용하여 학습자가 자신의 퍼포먼스를 표준에 맞게 조정할 수 있습니다. 그러나 직장 기반 평가WBA는 다르다: 성과는 공개적이며, 정체성과 전문성에 대한 성과가 저조하다. 직장에서 평가는 단순한 데이터가 될 수 없으며, 직장 기반 평가는 복잡한 사회적 상호 작용입니다.

the translation of this value of test-enhanced learning benefit to the clinical setting may not be straightforward. In most examples of effective test-enhanced learning, test performance data allow a learner to calibrate his or her performance against a standard. Workplace- based assessments are different: performance is public and the stakes of underperformance for identity and professional confidence are higher. In the workplace, assessment can never be simply data;rather, workplace-based assessment is a complex social interaction.62

이 사회적 상호 작용의 핵심 요소 중 하나는 '체면'의 개념으로, 체면이란 개인이 투영하고자하는 자아상 (긍정적 체면)과 자율적이고 방해받지 않고자 함 (부정적인 체면) 에 관한 욕망 둘 다를 포함한다 .63 

One key element of this social interaction is the concept of face, which encompasses both 

• the self- image an individual wishes to project (positive face) and 

• his or her desire to be autonomous and unimpeded (negative face).63 

사회적 상호 작용에서 사람들은 일반적으로 자신과 다른 사람들을 위해 자신의 체면을 향상 시키거나 적어도 유지하기를 원합니다. 우리는 다음과 같은 공손 전략을 사용하여 언어적으로 체면을 유지한다.

• 누군가를 칭찬 해 긍정적 체면을 높이는 방법으로

• 부탁을 하기 전에 사과를 함으로써 부정적 체면을 유지

In social interactions people generally have a desire to enhance, or at least maintain, their face for themselves and others. We do this linguistically by using politeness strategies, such as by complimenting someone as a way to enhance their positive face, or apologising before asking a favour, to attend to their negative face.63

의학 교육에서 학습자에 대한 우리의 서면 평가에는 "공손함" 전략, 특히 '헤징'이 많으며, 이는 평가가 체면을 위협하는 행위로 인식됨을 의미한다.

 In medical education, our written assessments of learners abound with politeness strategies, especially ‘hedging’, suggesting that we view assessment as a face-threatening act.64

'상냥함'의 문화는 많은 수준에서 인정되었지만, 정직한 피드백에 대한 장애물로 인식되기도 한다.65 '체면 유지'를 강하게 원하는 것은 조화를 유지하고 자부심을 보호하는 데 유용한 사회적 목적을 제공합니다. 따라서 [공손함을 갖추는 것]과 [피드백을 주고 받는 것] 사이에 긴장이 조성됩니다. 이러한 환경에서, 우리는 우리의 전문직 문화는 피드백을 저부담 활동이 아니라 고부담 활동으로 인식되도록 강화하고 있으며, 관찰과 코칭은 사실은 위장한 평가이자 판단이 된다. 어떤 수준의 부담을 의도했는지와 상관없이 모든 관찰은 체면을 잃는 기회가 될 수 있습니다.

a culture of ‘niceness’, although appreciated on many levels, was also perceived as an impediment to honest feedback.65 The strong desire to ‘save face’ serves a useful social purpose: to maintain harmony and to protect self-esteem. Thus, a tension is created between the necessity for politeness and the mandate to give and receive feedback. In this charged environment, we must ask whether our professional cultural practices are reinforcing the perception that feedback is high stakes, not low stakes, and that observation and coaching are actually assessment and judgement in disguise. Every observation, regardless of its intended stakes, may be an opportunity to lose face.

Entrustment의 개념이 의학의 전문 문화 안에서 큰 공감을 얻으며 위임 척도가 광범위하게 채택되었습니다 .66 감독자는 학습자의 퍼포먼스를 완벽하게 해부해내지 못할 수도 있지만, 누구를 신뢰할 수 있는지는 알고 있거나 추론할 수 있다. 그러나 신뢰는 '가장 영향력있는 사회적 판단'일 수 있습니다 .67 신뢰는 직업에서 가장 큰 책임(즉 환자에게 해를 입히지 않고 안전한 치료를 제공 할 책임)을 공유하고자하는 의지와 관련되어 있기 때문이다.

The widespread adoption of entrustment scales has been driven partially by the way the notion of trust resonates within medicine’s professional culture.66 Supervisors may not always know exactly how to dissect a learner’s performance , but they know whom they trust, or so goes the reasoning. Trust, however, may be ‘our most influential social judgement’.67 Trust is meaningfulin medicine because it relates to a willingness to share the heaviest responsibility in the profession: the responsibility to provide safe care that does no harm. 

위임 척도를 피드백을 위한 수단으로 사용하면, 해당 피드백에 포함 된 메시지가 실수로 자존감과 정체성에 위협을 줌으로써, 피드백의 효율성을 떨어뜨릴 수 있습니다. 사실, 학습자가 자신의 정체성에 대한 중요성이 부각 된 작업을 수행 할 때마다 그 작업을 기반으로 한 평가는, 그 의도가 형성평가였더라도 총괄평가로 느껴질 수 있습니다 .3

When we use entrustment scales as vehicles for feedback, the messages contained within that feedback may inadvertently threaten self-esteem and identity, threats that are well known to diminish feedback’s effectiveness. In fact, whenever learners perform tasks infused with significance for their identity, assessment based on those tasks may feel summative, even if the intent is formative.3

긴장을 조화시키기

RECONCILING TENSIONS

도전은 서로 반대 방향으로 당기는 것이 아니라 서로 보완하도록 전략을 정렬하는 방법입니다.

The challenge is how to align these strategies so that they complement one another, rather than pulling in opposite directions.

한 의과 대학에서 시험과 성적이 없는 접근은 4 개의 기본적인 빌딩 블록에 기반하였다.

(i) 잘 표현 된 역량 표준의 형태로 기대를 명확히 함

(ii) 빈번한 형성 평가;

(iii) 각 학생을 위한 교수 고문의 형태로 강력한 학습자 지원, 

(iv) 학습자가 유지하는 학습 포트폴리오의 형태로 학습자 책임.

one medical school’s examination- and grades- free approach was founded on four fundamental building blocks: 

(i) clear expectations in the form of well-articulated competency standards; 

(ii) frequent formative assessment; 

(iii) strong learner support in the form of a faculty advisor for each student, and 

(iv) learner responsibility, in the form of a learning portfolio that the learner maintains.56

문화의 변화는 새로운 평가 양식을 채택하거나 프로그램 평가를위한 지침을 제정하는 것보다 훨씬 더 많은 것을 요구합니다. 변화를 주도하고 유지하는 데 필요한 조직적 지원을 신중하게 고려해야합니다.

culture change requires much more than adopting new assessment forms or enacting guidelines for programmatic assessment; it requires thoughtful consideration of the organisational supports necessary to drive and sustain change.

우리가 성공하려면 학습자 지원은 빼놓을 수 없는 것이다. 그러나 어떤 종류의 지원 투자가 가장 높은 수익을 낼 것입니까? 많은 저자들이 평가의 교육적 영향력을 강화하기 위해 코칭, 학업 상담 또는 멘토링의 가치를 옹호했습니다. 2,3,19,70

Learner support appears to be non-negotiable if we are to succeed . However, what kind of supportinvestments will yield the highest returns? Many authors have championed the value of coaching, academic advising or mentoring in bolstering the educational impact of assessment.2,3,19,70 

교수진도 지원이 필요합니다. 우리는 선의만 가지고 주요 역할을 수행 할 수 있다고 가정하기보다는, 코치와 멘토를 교육해야합니다. 교육은 결과에 중요합니다.

Faculty members require support as well: we must train coaches and mentors, rather than assuming that any well-intentioned teacher will suffice in these key roles. Training matters to outcomes.

신뢰 관계, 종단 적 관계 내에서,보다 일관되게 유용한 피드백이 교환되고, 이를 통해 학습자는 피드백을 총괄적 위협이 있는 형성적 의도로 제공된다고 생각하지 않게 된다. 관계를 신뢰함으로써 지원되는 학습자는 더 자유롭게 실패 할 수 있습니다.

Within trusting, longitudinal relationships , more consistently useful feedback is exchanged,38,72 and learners may be less inclined to view feedback offered with formative intent as a summative threat. Supported by trusting relationships, learners may feel freer to fail.

평가 순간이 무-부담이 아니라는 개념을 바탕으로 한 평가프로그램은 명확하고 명료하게 표현되어야하지만, 그렇다고 해도 의도치않게 "향상의 문화"가 아니라 "성과의 문화"에 기여할 수도 있다.

Programmatic assessment built on the notion that no assessment moments are zero stakes should be applauded for its explicitness and clarity but may inadvertently contribute to a culture of performance over a culture of improvement.

교수진이 학습자와 일하면서 관찰하는 코칭 프로그램은 (그들이 본 것을 성찰하고 미래의 발전을위한 권고를하기 위해,) 학습자가 방어적인 자세를 취하지 않고 지속적 개선 프로세스에 참여할 수 있도록 성공적으로 구현 될 수 있습니다 

Coaching programmes in which faculty members pair with learners to observe them work, in order to offer reflections on what they have seen and to make recommendations for future development, can be successfully implemented in ways that allow learners to let their guard down and engage with the process of continuous improvement.40

아마도 '형성 평가'라는 용어 자체가 문제일 수 있습니다. 51 학습자에게 '평가'는 판단과 결과를 의미합니다. 단어가 중요하며 '평가'라는 단어의 영향은 '형성'이라는 수식어의 의미를 상쇄 할 수 있습니다. 아마도 우리는 판단과 의사 결정과 관련된 활동에 대해 '평가'를하고, 학습자 개발을 촉진하기위한 활동을 언급하기 위해 다른 덜 위협적인 용어를 사용하는 것이 가장 좋습니다. 예를 들어, 코칭은 형성평가의 수집 및 성과에 관한 데이터 사용을 통해 교수 및 학습을 유도하고 성공을 위해 수행해야 할 학습자의 인식을 제한 할 수 있습니다. 코칭이라는 용어를 채택하는 것의 가치는 사실 수사학적일 뿐만 아니라 실제로도 개념적인 것일 수 있습니다. '코칭'이라는 단어는 [발달 목표에 의해 유도되는 활동]이라는 이미지를 불러 일으키기 때문이다.

Perhaps the very term ‘formative assessment’ is problematic.51 For learners, assessment implies judgement and consequences. Words matter, and the impact of the word ‘assessment’ may offset the meaning of the ‘formative’ qualifier. Perhaps we are best to reserve ‘assessment’ for activities associated with judgement and decision making, and to use different and less threatening terminology to refer to activities intended to promote learner development. Coaching, for example, may capture formative assessment’s collection and use of data about performance to drive teaching and learning while limiting learners’ perceptions that they need to perform to succeed. The value of adopting coaching terminology may, in fact, be as much rhetorical as conceptual: the very word ‘coaching’ conjures images of activities that are driven by developmental goals.

CONCLUSIONS

평가는 실제로 학습을 유도 할 수 있지만 그것이 유일한 운전자 여야합니까? 우리는 그렇게 생각하지 않습니다.

Assessment may indeed drive learning, but must it be the only driver? We think not.

평가에만 초점을 두고 foreground 학습 및 개발 코칭 전략에 대한 동등하게 비판적인 필요성을 무시합니다.

a focus on assessment alone ignores the equally critical need for coaching strategies that foreground learning and development.

van der Vleuten 등의 말 여기에서 도움이된다. '... 프로그램 평가의 모든 배우는 그들이하는 일, 왜 그 일을하는 이유, 왜이 일을하는지를 알아야한다.'20

The words of van der Vleuten et al. are helpful here: ‘... all actors in programmatic assessment must know what they are doing, why they are doing it, and why they are doing it this way.’20

2 Konopasek L, Norcini J, Krupat E. Focusing on the formative: building an assessment system aimed on student growth and development. Acad Med 2016;91 (11):1492–7.

18 Lockyer J, Carraccio C, Chan M-K, Hart D, Smee S, Touchie C, Holmboe ES, Frank JR; ICBME Collaborators. Core principles of assessment in competency-based medical education. Med Teach 2017;39 (6):609–16.

3 Eva KW, Bordage G, Campbell C, Galbraith R, Ginsburg S, Holmboe E, Regehr G. Towards a program of assessment for health professionals: from training into practice. Adv Health Sci Educ Theory Pract 2016;21 (4):897–913.

39 Watling C, Driessen E, van der Vleuten C, Vanstone M, Lingard L. Beyond individualism: professional culture and its influence on feedback. Med Educ 2013;47 (6):585–94.

40 Voyer S, Cuncic C, Butler DL, MacNeil K, Watling C, Hatala R. Investigating conditions for meaningful feedback in the context of an evidence-based feedback programme. Med Educ 2016;50 (9):943–54.

46 Watling CJ, Driessen E, van der Vleuten C, Vanstone M, Lingard L. Understanding feedback responses: the potential and limitations of regulatory focus theory. Med Educ 2012;46 (6):593–602.

47 Harrison C, Wass V. The challenge of changing to an assessment for learning culture. Med Educ 2016;50 (7):704–6.

33 Eva KW, Armson H, Holmboe E, Lockyer J, Loney E, Mann K, Sargeant J. Factors influencing responsiveness to feedback: on the interplay between fear, confidence, and reasoning processes. Adv Health Sci Educ Theory Pract 2012;17 (1):15–26.

Harrison CJ, K€onings KD, Schuwirth LWT, Wass V, 48 van der Vleuten CPM. Changing the culture of assessment: the dominance of the summative assessment paradigm. BMC Med Educ 2017;17:73.

35 Bowen L, Marshall M, Murdoch-Eaton D. Medical student perceptions of feedback and feedback behaviors within the context of the ‘educational alliance’. Acad Med 2017;92 (9):1303–12.

51 Heeneman S, Oudkerk Pool A, Schuwirth LWT, van der Vleuten CPM, Driessen EW. The impact of programmatic assessment on student learning: theory versus practice. Med Educ 2015;49 (5):487–98.

Ramani S, Post S, K€onings K, Mann K, Katz JT, van 65 der Vleuten C. ‘It’s just not the culture’: a qualitative study exploring residents’ perceptions of the impact of institutional culture on feedback. Teach Learn Med 2017;29 (2):153–61.

67 Gingerich A. What if the ‘trust’ in entrustable were a social judgement? Med Educ 2015;49 (8):750–2.

56 Dannefer EF. Beyond assessment of learning toward assessment for learning: educating tomorrow’s physicians. Med Teach 2013;35 (7):560–3.

Med Educ. 2018 Aug 2. doi: 10.1111/medu.13645. [Epub ahead of print]

Assessment, feedback and the alchemy of learning.

이루지 못한 약속, 닿지 않은 잠재력: 갈림길의 피드백(Med Teach, 2014)

Unfulfilled promise, untapped potential: Feedback at the crossroads

CHRISTOPHER J. WATLING

The University of Western Ontario, Canada

도입

Introduction

그렇다면 왜 유용하고 효과적인 것으로 일관되게 인식되지 않는 피드백이 있습니까? 진실은 피드백이 학습에 영향을 미치는 복잡한 도구라는 것입니다.

Why, then, is feedback not consistently perceived as useful and effective? The reality is that feedback is a complex tool for influencing learning.

기대했던 것

Promises made

피드백은 단순한 정보 그 이상입니다. 오히려 그것은 학습자의 성과 향상을 촉진시키는 명백한 목적을 가진 정보입니다 (Sadler 1989, Archer 2010).

Feedback is more than just information; rather, it is information whose explicit purpose is to promote improvement in learner performance (Sadler 1989; Archer 2010).

Ende (1983)는 피드백이 없다면, "실수는 교정되지 않고, 좋은 성과는 강화되지 않고, 임상 역량은 경험적으로만 달성되거나 전혀 달성되지 못할 것이다"(778)라고 경고했습니다. 의학적 학습자에게 효과적 피드백 제공을 만성적으로 실패하게 되면, 학습자는 자신의 임상기술의 적절성과 퀄리티를 판단할 때 (외부 출처에서 받아야 할 정보를 배제하고) 자기 평가에만 의존하게 될 것이다.

Without feedback, Ende (1983) warned, ‘‘mistakes go uncorrected,good performance is not reinforced, and clinical competenceis achieved empirically, or not at all’’ (p. 778). A chronic failure to provide medical learners with effective feedback may lead them to rely on self-assessment when judging the adequacy and quality of their developing clinical skills, excluding necessary information from external sources (Ende 1983).

이뤄진 것?

Promises kept?

피드백에게 기대하는 것은 매우 간단해보인다. 학습자에게 퍼포먼스에 대한 정보를 제공하고, 강점과 단점을 강조하며, 그렇게 되면 학습자는 자신의 개발을 위한 깨달음을 얻고 명확한 경로로 나아갈 것이다"

The feedback promise sounds so simple: provide learners with information about their performance, highlighting both its strengths and its shortcomings and they will move forward with enlightenment and a clear path for their development.

피드백 개입에 대한 대규모 메타 분석에서 Kluger와 DeNisi (1996)는 피드백이 전반적인 성과에 유익한 영향을 미쳤지 만 효과 크기는 적음을 보여주었습니다. 게다가, 그들이 고려한 연구의 3 분의 1에서 피드백은 실제로 성과를 감소시켰다 (Kluger & DeNisi 1996).

In a large meta-analysis of feedback interventions Kluger and DeNisi (1996) demonstrated that although feedback had a beneficial impact on performance overall, its effect size was modest. Furthermore,in a sobering one-third of studies they considered, feedback actually diminished performance (Kluger & DeNisi 1996).

하티 (Hattie, 1999) : 피드백은 학생의 성취에 가장 큰 영향을 미치는 것으로 나타났으며, 학습을 형성하는shaping 힘을 입증했다. 그러나 이 연구에서도 수백 가지 연구에서보고 된 효과 크기에는 상당한 변동성이있었습니다

Hattie’s (1999) : feedback emerged as one of the strongest influences on student achievement, seemingly affirming its power to shape learning. Even in this study, however, there was considerable variability in the reported effect sizes across the hundreds of studies 

각기 다른 맥락에도 불구하고, 이러한 연구는 교육 환경을 무시하고 모든 경우에 피드백이 학습 및 성과 향상을 촉진하는 데 효과적 일 것이라고 가정할 수는 없다는 충분한 경고를 제공합니다. 그러나 이러한 연구는 피드백이 때로는 학습에 효과적이라고 제안합니다.

Despite their different contexts, these studies provide ample warning that we cannot approach the use of feedback in any educational setting with the presumption that it will be effective in promoting learning and performance improvement. These studies do, however, suggest that feedback is sometimes effective for learning.

사각지대 밝히기

Revealing the blind spots

현실을 돌아보기: 학습자는 선택권이 있다.

Reality check: Learners have choices

학습자 개개인은 피드백이 관심을 가질만한 가치가 있는지, 피드백 메시지를 성찰하고, 통합하고, 그에 따라 행동하는 도전적인 프로세스에 참여할 것인지 여부를 선택합니다 (Watling 외. 2012).

Individual learners make choices about whether feedback merits their attention and whether to engage in the challenging process of reflecting on, integrating and acting on feedback’s messages (Watling et al. 2012).

임상 학습에서 피드백은 (학습자의 성과에 관한 다양한 정보의 일부로서) 학습자에게 영향을 미칠 수 있는 수많은 학습 단서 중 하나일 뿐이다 (Watling 외. 2012). 학습자는 학습 단서를 정리하고, 그들은 그 중에서 믿을만한 것으로 간주하고 신뢰하는 사람에게 주의를 기울이고 그에 따라 행동하며, 반대로 신뢰가 떨어지는 것들은 버릴 수 있습니다. 따라서 교사의 피드백은 다른 학습 단서와 경쟁하게 되며, 피드백이 영향력을 가지기 위해서는 학습자의 신뢰성 판단에서 살아남아야합니다 (Watling 외. 2012).

In clinical learning, feedback appears to be but one of a range of learning cues—pieces of information about learner performance—that might influence learners (Watling et al. 2012). As learners sort through learning cues, they attend to and act upon those that they deem credible and may discard those that lack credibility. Feedback from teachers must therefore compete with other learning cues and must survive a learner’s credibility judgment in order to become influential (Watling et al. 2012).

현실을 돌아보기: 문화가 문제다

Reality check: Culture matters

피드백에 대한 학습자의 선택이 신뢰성에 대한 인식과 판단에 의해 유도되는 것처럼 보이더라도, 이러한 신뢰성 판단은 발생하는 상황과 무관한 진공 상태에서 이루어지지 않습니다. Swanwick (2005)이 주장했듯이, [마음을 사회적 맥락과 독립적으로 기능하는 것으로 취급하는] purely 인지주의적 접근은 학습에 대한 완전한 이해에는 부적절하다.

Although learners’ choices about feedback appear to be its guided by their perceptions of and judgments about credibility, these credibility judgments are not made in a vacuum, independent of the context in which they occur. As Swanwick (2005) has argued, a purely cognitivist approach that treats the mind as functioning independently of its social context is inadequate for a full understanding of learning. 

학습에서 피드백의 위치를 ​​더 잘 이해하기 위해서는 사회 문화적 렌즈를 통한 피드백 문제를 고려하는 것이 도움이 될 수 있습니다. 

• 개인으로서의 학습자에 초점을 둔 학습에 대한 인지주의적 접근과는 달리, 

• 학습의 사회문화적 이론은 학습이 (이해가 필요한) 특정 맥락과 문화 내에 위치한다는 견해를 공유한다 (Brown et al., 1989; Durning & Artino 2011; Mann 2011 ).

To better appreciate the place of feedback in learning, it may be instructive to consider the problem of feedback through a sociocultural lens. In contrast to cognitivist approaches to learning that focus on the learner as an individual, sociocultural theories of learning share the view that learning must be situated within specific contexts and cultures to be understood (Brown et al. 1989; Durning & Artino 2011; Mann 2011).

사회문화적 관점에서 피드백을 탐색한다는 것은 특정 전문직의 가치와 교육적 관행, 즉 학습 문화가 피드백을주고받는 경험을 어떻게 형성하는지를 고려함을 의미합니다. 우리는 두 가지 중요한 영향을 확인했습니다. 

• 첫째, 학습 문화는 학습자에게 신뢰의 개념이 어떻게 정의는지 알려줍니다. 신뢰성은 학습 문화마다 서로 다른 형태를 취한다 (Watling et al. 2013c). 예를 들어, 의학의 학습 문화에서, 피드백의 원천이 되는 교사의 신뢰는 주로 [교사의 업무 성과]에 근거를 두는 경향이 있다. 학습자는 가장 훌륭한 임상의를 가장 믿을만한 피드백 원천으로 생각한다(Watling 외, 2013b).

Exploring feedback from a sociocultural perspective means considering how the values and pedagogical practices of a profession—its learning culture—shape the experiences of giving and receiving feedback. we have identified two key points of impact. First, learning cultures direct how the very notion of credibility is defined for learners. Credibility, takes different forms in different learning cultures (Watling et al. 2013c). In medicine’s learning culture, for example, a teacher’s credibility as a source of feedback appears to be grounded primarily in their work performance; learners look to the strongest clinicians as the most credible sources of feedback (Watling et al. 2013b). 

이것은 마치 직관적으로 보일 수 있지만, 예를 들어 음악 및 스포츠의 학습 문화를 생각해보면, 교사와 코치의 신뢰성은 개인의 수행 능력보다는 교사와 코치의 교육 능력에 확고하게 근간하고 있습니다. 이 분야의 학습자는 학생으로부터 최대한을 이끌어내는 교사에게 끌리기 쉽습니다 (Watling 외, 2013a, b).

Although this finding may seem intuitive In the learning cultures of music and sports, for example, the credibility of teachers and coaches is firmly rooted in their instructional abilities, rather than in their personal performance abilities; learners in these fields gravitate to those teachers whose capacity to coax ever-better performance from their students is greatest (Watling et al. 2013a,b).

• 둘째, 학습 문화는 학습자의 가치체계에 영향을 주는 피드백의 근본적인 특징이 발생 또는 억제되는 조건을 형성한다. 여기에는 특이성, 적시성, 실행 가능성, 심지어 신뢰성 자체 등이 포함된다. 의학 학습 문화에서는 전형적으로 수퍼바이저와 학습자가 동시에 일하는 상황이 발생하기 때문에 학습자의 성과를 직접적으로 관찰하는 경우가 발생하기 어렵다 (반대로 이러한 직접관찰의 문화는 음악 학습 문화에 널리 퍼져 있음) 결과적으로, 의학의 학습 문화는 교사들의 직접적인 관찰에 의한 피드백을 제공하려는 노력을 가로막는 경향이있다. 따라서 피드백의 신뢰성은 "문화적으로" 훼손된다 (Watling et al. 2013b, c).

Second, learning cultures create conditions that may facilitate, or inhibit, the occurrence of feedback possessing the fundamental features that give it value for learners: specificity, timeliness, actionability and even credibility itself. Direct observation of learner performance, for example, while ubiquitous in the learning culture of music, is often conspicuously absent in the learning culture of medicine, where supervisors and learners typically work in parallel. As a result, medicine’s learning culture tends to compromise the efforts of its teachers to provide feedback informed by direct observation; the credibility of feedback is thus culturally undermined (Watling et al. 2013b,c). 

의학의 학습 문화는 또한 음악과 스포츠에서의 "코칭 (coaching)"문화와는 대조적으로, 종종 감독의 연속성이 거의 존재하지 않는다. 학습자가 한 임상 환경에서 다음 환경으로 이동하기 때문에 교사 - 학습자 관계가 종단적으로 발전할 수 있는 가능성을 억제하는 경향이 있다. 반대로 음악이나 스포츠는 교사 - 학습자 관계가 수년간 지속될 수 있습니다.

Medicine’s learning culture also tends to inhibit the development of longitudinal teacher–learner relationships through its tendency to move learners from one clinical setting to the next, often with little supervisory continuity, in contrast to ‘‘coaching’’ cultures such as music and sports, where teacher–learner relationships may span years.

통합적 관점

An integrated view

따라서 피드백은 특정 상황 또는 학습 문화 내에서 상호 작용하는 개인을 포함합니다.

• 개인과 사회 문화적 영향을 학습에 통합한다는 개념은 workplace learning에 대한 이론을 세우는 데 두드러지게 나타났다 (Billett 2002; Sheehan et al., 2005; Dornan et al., 2007).

• Eraut은 학습의 개인 및 사회 문화적 이론을 '경쟁보다는 보완적인 것'으로 취급합니다 (405 페이지).

• 유사하게 빌레트 (Billett, 2008)는 개인의 기여와 사회의 기여 사이의 관계가 학습 이론의 중심이되어야한다고 주장한다. 학습은 [직장에서 참여 기회를 부여하는 방법]과 [개별 학습자가 참여하기를 선택하는 방법] 사이의 상호 작용을 반영합니다.

Feedback thus involves individuals interacting within a specific context or learning culture. 

• This notion of integrating the individual and the sociocultural influences on learning has figured prominently in theorizing around workplace learning (Billett 2002; Sheehan et al. 2005; Dornan et al. 2007). 

• Eraut treats individual and sociocultural theories of learning as ‘‘complementary rather than competing’’ (p. 405) . 

• Similarly, Billett (2008)argues that the relationship between the individual and the social contributions must be central to theories of learning; learning reflects an interaction between how the workplace affords opportunities for participation and how the individual learner chooses to participate.

직장에서 학습자가 진정한 활동에 참여할 수있는 기회를 부여하는 것처럼, 학습 문화도 의미있는 피드백을 교환 할 수있는 기회를 제공합니다.

Just as the workplace affords opportunities for learners to participate in authentic activities, so too does a learning culture afford opportunities for meaningful feedback to be exchanged.

그러나 문화의 영향력은 더욱 커지고 있습니다. 피드백이 존재하고, 학습자가 피드백에 따를지 여부를 결정할 수 있는 경우에조차, 학습자의 선택은 개개인의 가치뿐만 아니라 학습하는 문화가 무엇에 가치를 두느냐에 따라 결정됩니다.

But the influence of culture extends further. Even when feedback is available and learners can exercise the choice to engage or not, that choice is shaped not only by the learner’s individual values but also by the values of the culture in which he or she is learning. 

따라서 교사의 신뢰도와 피드백의 가치에 대한 학습자의 판단은 (문화와 무관하게) 순전히 개인에 의해 발생하지는 않습니다. 오히려, 그러한 판단은 그것들이 속해있는 학습 문화에 뿌리를 두고 있으며, 그 문화가 어떤 가치와 이데올로기를 갖는지에 따라 형성된다. 피드백이 학습 문화의 산물임은 불가피한 사실이며, 피드백이 가능하게 만들 뿐만 아니라, 개별 학습자가 피드백을 어떻게 해석하고 사용 하는지를 결정합니다.

Learners’ judgments about the credibility of their teachers and the value of their feedback are therefore not as individually generated as they might appear. Rather, such judgments are rooted in the learning culture that contains them and shaped by its values and ideology. Feedback is a product, inescapably, of learning culture, which not only makes it possible but also shapes how individual learners interpret and use it.

기상음악

A wake-up call

• 무수한 정책에서 피드백은 정기적인 제공 (GMC 2009, ACME 2013, LCME 2013, RCPSC 2013)을 요구하는 인증 표준의 형태로 제정되었습니다. 

• 콘텐츠 및 전달 스타일과 같은 피드백의 구조적 측면에 많은 관심이 기울여 왔습니다. 

• 피드백에 대한 학습자의 인식과 반응, 또는 피드백을 지원하는 공식 및 비공식 프로세스에는 관심이 덜 집중되었습니다. 

• 그리고 의학의 학습 문화에 대한 비판적 검토와 그것이 의미있는 피드백 교환을 가능하게하거나 제약 할 수있는 방법에 대해서는 거의 관심을 기울이지 않았다.

Policies have been enacted in the form of accreditation standards that require the regular provision of feedback(GMC 2009; ACGME 2013; LCME 2013; RCPSC 2013).Considerable attention has been paid to the structural aspects of feedback such as content and style of delivery . Less attention has been devoted to learners’ perceptions of and responses to feedback or the formal and informal processes that support it . And very little attention has been devoted to a critical examination of medicine’s learning culture and how it might enable or constrain the exchange of meaningful feedback. 

의학의 on-the-job 학습 문화는 의미있는 피드백을 제공하고 싶어하는 가장 선의를 갖추고 정통한 사람조차 그 노력을 포기하게 장벽을 만듭니다. 교사에게 평가 양식을 작성할 때마다 모든 역량에 대한 피드백을 제공해야한다고 요구한다면, 교사는 정보에 입각한 정보 또는 신뢰할 수 있는 의견을 만들 수 없다.

Medicine’s on-the-job learning culture creates barriers that may foil the efforts of even the most well-intentioned and well-informed of educators to provide meaningful feedback. When we insist that teachers provide feedback on a full range of competencies every time they fill out an evaluation form, we force our teachers to create feedback that is neither well-informed nor credible. 

부정확한 피드백을 일상적으로 제공하는 위험을 과소 평가해서는 안 된다. 그러한 방식은 평가자와 프로세스 모두에 대한 학습자의 신뢰를 떨어뜨리고, 학습자는 중요한 피드백조차 의미없는 것으로 간과하고 버릴 수 있습니다.

We should not underestimate the danger of the routine provision of poorly informed feedback;the practice diminishes learner trust in both the assessor and the process,  and important feedback may go unnoticed by learners, discarded with a mountain of meaningless platitudes.

의미있는 피드백을 주도록 교사들에게 권고해야하지만, 그들이 충분한 정보를 제공받은 분야에 대해서만 피드백을 주도록 제한 할 수 있어야합니다 (Crossley & Jolly 2012).

We should to necessary encourage teachers do what is to construct meaningful feedback, but should allow them to limit their feedback to the areas on which they are well informed (Crossley & Jolly 2012).

물론, 수술실에서의 수술 훈련과 같이 관찰이 표준적 상태인 의료 훈련의 영역도 있다.

Admittedly, there are pockets of medical training where observation is the norm, such as surgical training in the operating room

[(타이트한) 임상 일정, 환자의 치료 기대, 임상 교사에 대한 제한된 보상]은 모두 교사가 일상적으로 직접 관찰하기 위해 필요한 시간 약속을 할 수 없게 한다.

Clinical scheduling, patient care expectations and limited compensation for clinical teachers may all conspire against teachers being able to make the time commitment that would be required for direct observation to be routinely employed.

의학의 학습 문화는 두 가지 방식으로 피드백의 중요한 측면을 타협합니다. 

• 첫째, 의학 학습은 대개 분절화된다. 학습자는 한 학습 세팅에서 다른 학습 세팅으로 자주 이동합니다. 심지어 한 로테이션(학습 경험이나 과제) 내에서도 교사 또는 감독자는 일반적으로 정기적으로 바뀝니다. 이러한 모습은 음악가 나 운동 선수, 교사 또는 코치와 같이 수년간 혹은 수십 년 간의 관계가 지속되는 분야에서 보면 정말 놀라운 것이다(Watling 외, 2013a, b).

Medicine’s learning culture also compromises the all-important relational aspect of feedback in two ways. 

First, medical learning is typically fragmented. Learners move from one learning setting to another, as often as every few weeks Even within each learning experience or assignment, the teachers or supervisors typically change regularly; This arrangement is particularly striking when held up against the years or sometimes decades-long relationships that develop between musicians or athletes and their teachers or coaches (Watling et al. 2013a,b). 

결과적으로 의학적 학습자는 암묵적으로 신뢰하는 교사가 누구인지 식별하기 위해 애를 써야 하며, 교사는 피상적인 것 이상의 피드백을 제공할 만큼 학습자를 충분히 알 수있는 기회가 없다.

The consequence is that medical learners struggle to identify teachers whom they trust implicitly, and teachers, in turn, cannot fulfill their potential, since they are not afforded opportunities to know learners well enough to be able to offer feedback that goes beyond the superficial.

LIC과 같이 교사 - 학습자 관계의 확대를 촉진하기 위해 의료 훈련을 재구성 할 때 피드백의 품질과 영향력이 강화된다 (Bates et al., 2013).

when medical training is reorganized to foster the development of extended teacher–learner relationships, such as in the setting of longitudinal integrated clerkships, the quality and impact of feedback is strengthened (Bates et al. 2013).

• 둘째로, 의학은 일상적으로 교사들을 피드백 제공자이면서 동시에 평가자로 역할을 해야 하는 갈등의 위치에 배치합니다. 심각한 퍼포먼스 문제가 확인되었다면, 그 어느 때보다 의미있는 형성 피드백이 필요해진다. 그러나 그러한 피드백이 고부담 평가의 합격-탈락을 결정하는 개인이 그러한 피드백을 주어야 하는 상황에서, 교사 - 학습자 관계는 대단히 불안정해진다(Kogan et al., 2012). 스포츠 및 음악과 같은 분야는 주로 평가와 코칭을 별개로 한다. 의학도 그렇게 변할 것을 진지하게 고려해야 한다. 물론 상당한 비용이 들 것이다.

변화의 방향

Changing course

분명히 문화 변화가 필요하다.

Clearly, culture change is necessary

문화 변화에 대한 이러한 요구는 중요한 질문을 제기한다. 이처럼 피드백에 투자할 가치가 있다면, 피드백이 강화되어서 잠재적인 이익을 얻을 수 있습니까? 연구 결과가 피드백의 유익한 효과가 극적이지 않고, 그저 약간의 효과만 있다고 한다면 문제는 해결할 수 없습니다.  (Bangert-Drowns et al., 1991; Kluger & DeNisi 1996).

this call for culture change raises an important question. Is the potential benefit to be gained from an enhanced role for feedback worth the investment that would be required? With available studies suggesting that the are beneficial effects of feedback on performance moot modest rather than dramatic, the question is not (Bangert-Drowns et al. 1991; Kluger & DeNisi 1996).

사실, 피드백을 개선하기 위한 추가 노력에 대한 투자를 반대하는 강력한 주장이 있습니다. 의료 비용 상승과 세계 경제 문제로 인해 우리는 의학 교육을위한 새로운 기금을 마련하기가 어려워졌습니다. 우리는 학습자가 피드백 개선에 투자함으로써 이익을 얻는 지 여부뿐만 아니라 사회가 이익을 얻는 지 여부에 대해서도 질문해야합니다. 이득이 잘 되어봐야 incremental하고, 최악의 경우에는 존재하지 않는다면, 투자를 정당화하기가 어렵습니다.

There are, in fact, strong arguments investing against substantially in further efforts to improve feedback. Rising healthcare costs and global economic challenges make our times difficult ones in which to find new funds for medical education. we must ask not only whether learners would benefit from investments in improving feedback but also whether society would benefit. If the gain is incremental at best and nonexistent at worst, the investment is difficult to justify.

그러나 필자는 투자할 가치가 있다고 생각합니다. 전 세계적으로의 의학 교육은 역량 기반 모델을 수용하고 있으며, 이는 프로세스에 대한 결과를 강조합니다 (Frank et al. 2010; Iobst et al. 2010). CBME 모델에서 학습자의 성과에 대한 의미있는 평가는 형성적이든 총괄적이든, 학습자뿐만 아니라 일반대중에게도 엄청난 중요성을 전제로합니다 (Holmboe 외. 2010).

It is my view, however, that the investment is worthwhile. Medical education around the globe is embracing competency-based models, which emphasize outcomes over process (Frank et al. 2010; Iobst et al. 2010). In such models, meaningful assessment of learner performance, both formative and summative, assumes paramount importance, not only for learners but also for the public they will serve (Holmboe et al. 2010). 

근무 시간 제한은 학습자가 필요한 기술을 습득 할 수있는 시간을 제한하고 있지만, 의학교육 자금을 제공하는 사람은 이미 값 비싼 교육 기간을 연장하는 전략에는 관심을 기울이지 않을 것입니다. 따라서 

• 학습은 보다 효율적으로 이루어져야하며, 

• 교육자는 training이란 [새로운 기술의 학습 및 습득]이 아니라 [실천으로 수월하게 확장되는 지속적인 프로세스]로 개념을 전환해야합니다. 

두 방법 모두 학습자를 목표로 유도하는 시스템을 필요로하며 피드백이 잘 이루어지면이 시스템을 이끌 수있는 잠재력을 제공합니다.

Duty hours restrictions threaten to limit the amount of time learners have available to acquire the skills that they need, while at the same time, funders of medical education are unlikely to be interested in strategies that lengthen already costly periods of training. Learning must either become more efficient or educators must shift the conceptualization of training to firmly embed the learning and acquisition of new skills as an ongoing process that extends well into practice. Either approach will require a system of guiding learners toward their goals, and feedback done well offers the potential to drive this system.

그러나 피드백 개선에 대한 투자는 전략적이어야 합니다. [효과적으로 피드백을 전달하는 기술을 실천에 옮기는 능력]을 손상시키는 시스템 및 문화적 과제를 해결하지 않고 피드백 전달에 대한 훈련 강도만을 높이는 것은 비용 낭비일 뿐이다. 학습 문화를 바꿈으로써, 좋은 피드백을 일상적으로 가능한 학습문화로의 전환을 이루기 위한 노력을 동시에 하지 않는다면, 학습자가 아무리 피드백을 기대하고, 찾으며, 공개적으로 그리고 성찰적으로 반응하더라도 피드백의 효과를 향상시킬 수 없습니다.

The investment in improving feedback must be strategic, however. Increasing the intensity of training of faculty members in feedback delivery without addressing the system and cultural challenges that compromise their ability to put these skills into action will be money wasted. Training learners to expect feedback, to seek it out, and to respond more openly and reflectively cannot improve feedback’s impact unless there is a simultaneous and concerted effort to modify the learning culture so that good feedback is routinely available.

결론: 갈림길에 놓인 피드백

Conclusion: Feedback at the crossroads

학습자는 모두 서로 다른 개인이며, 각 학습자는 자신의 시간과 방식대로 피드백을 듣고, 처리하고, 통합합니다. 그러나 학습자는 환경의 창조물입니다. 피드백에 대한 그들의 반응은 전적으로 개개인이 형성하는 것이 아니라 언제나 학습이 이루어지는 상황과 문화에 의해 형성된다.

Learners are individuals, and each learner will hear,process and integrate feedback in their own time and in their own way . Learners are creatures of their environment, however. Their responses to feedback are not entirely of their own making but are indelibly shaped by the context and culture in which their learning takes place. 

피드백이 미치는 영향을 개선하기 위해서는, 단순히 학습자 개개인에게 영향을 미치는 것으로는 충분하지 않습니다. 의학은 피드백 문화로 자리 매김해야 하며, 이것은 중대한 문화적 변화에 대한 헌신을 요구할 것이다. 우리는 실패 할 여유가 없습니다.

For medicine to improve feedback’s impact, it will not be sufficient to try to influence its learners as individuals.Medicine must position itself as a feedback culture, which will require a commitment to significant cultural change. We cannot afford to fail. 

Med Teach. 2014 Aug;36(8):692-7. doi: 10.3109/0142159X.2014.889812. Epub 2014 Mar 5.

Unfulfilled promise, untapped potential: feedback at the crossroads.

임상교육에서의 피드백: 고르디우스의 매듭 풀기(Acad Med, 2015)

Feedback in Clinical Education: Untying the Gordian Knot

Debra F. Weinstein, MD

특정 역량 달성과 관련된 커리큘럼-기반 경험에서 성과 평가 및 피드백은 필수적입니다.

In a curriculum-based experience linked to achievement of specific competencies , performance evaluation and feedback are essential.

평가는 다양한 목적이 있습니다

• 적절한 퍼포먼스와 진행을 문서화하고, 

• 적절한 임상 감독 수준에 대한 결정을 통보하고 

• 의대 졸업을 위해 필요한 역량 달성을 확인하는 등 

Evaluation has multiple purposes, including documenting adequate performance and progression, informing decisions about the appropriate degree of clinical supervision, and affirming the achievement of competencies required for medical school graduation

피드백은 종종받는 사람의 성과를 향상시키는 단 하나의 목표만 있는 것처럼 간주되나 그렇지 않다.

• 그러나, 피드백은 학습자가 자신의 능력을 스스로 평가하고, 나중에 자기-조절 할 수있는 능력을 키우는 데 중요한 도구입니다. 

• 피드백은 학습자가 외부 평가와 비교하여 자기 평가(의 정확성)을 확인할 수 있는 순차적 인 기회를 제공합니다 .2 

• 또한 긍정적 인 피드백을 통해 얻은 기술 및 역량의 확신은 임상 의사가 독립적 의료행위를 위한 필수적인 자신감을 갖출 수 있도록 도와줍니다.

Feedback is often viewed as having the singular goal of improving the recipient’s performance. However, it is also an important tool for cultivating the learner’s ability to self-evaluate and later self-regulate in clinical practice. Feedback provides sequential opportunities for learners to check self-assessment against external assessment .2 Further, the affirmation of skills and competence obtained through positive feedback helps clinicians-in-training build the level of confidence essential for independent practice.

즉각적이고 비공식적인 피드백과, 보다 공식적이고 주제별 피드백의 가치가 인정되었습니다.

• 즉각적, 비공식적 피드백: 모든 전문 분야 및 모든 환경의 임상 교사는 학습자를 직접 관찰하고, 개별 학습자의 성과에 대한 즉각적인 형성적 피드백을 제공 할 것으로 기대됩니다. 즉각적인 피드백은 (임상 교육의 중요한 도구가되고있는) 의료 시뮬레이션의 초석이기도합니다. 

• 공식적, 주제별 피드백: 임상실습이나 로테이션 종료시에 주는 공식적인 피드백은 여러 관찰결과를 통합적으로 반영하고, 석차를 매기는 데있어서 중요합니다. 마지막으로 학생이나 GME 프로그램 책임자가 제공하는 공식적, 주제별 피드백은 여러 감독자로부터 접수한 종단적 정보를 통합하고 있으며, 특히 큰 영향력을 갖는다.

• Clinical teachers in all specialties and all settings are expected to provide in-the-moment formative comments on individual learners’ performance, informed by direct observation. Immediate feedback is also a cornerstone of medical simulation, which is becoming an important tool in clinical education. 

• More formal feedback—such as that occurring at the end of a clerkship or rotation—is also critical in that it reflects and prioritizes multiple observations. Finally, the formal, thematic feedback that a dean of students or a GME program director provides, synthesizing longitudinal information received from multiple supervisors can be particularly influential.

피드백의 결과를 측정하기는 어렵지만, 피드백에 대한 만족은 상대적으로 측정이 쉽다. 유감스럽게도 2012 년 미국 의과 대학 의과 대학 졸업식 설문 조사 협회 (American Medical Colleges Medical School Graduation Questionnaire)에 따르면 일부 핵심과 임상실습에서 학생 중 3 분의 1이 "교수진이 자신의 수행 능력에 대한 충분한 피드백을 제공했다"는 것에 동의하지 않았습니다.

Although outcomes of feedback are difficult to measure, satisfaction with feedback is not. Unfortunately, the 2012 Association of American Medical Colleges Medical School Graduation Questionnaire reveals that for some core clerkships, as many as one-third of responding students did not agree that “faculty provided sufficient feedback on [their] performance.”5

피드백 실패에 대한 몇 가지 잠재적인 해석은 고려할만한 가치가 있습니다. 

• 교수진은 피드백을 주는데 필요한 기술이 부족합니다. 

• 피드백을 줄 시간은 할당되지 않는다. 

• 감독관은 학습자와의 충분한 접촉이 없거나 직접 관찰 할 기회가 없다. 

• 학습자는 피드백을 받거나 수용할 수 있게 "prime"되어있지 않다.

Several potential explanations for feedback failure deserve consideration: Faculty lack the necessary skills; time is not allocated for the activity; supervisors do not have sufficient contact with learners or opportunities to directly observe them; and learners are not well “primed” to receive or accept feedback.

피드백을 개선하려는 노력은 일반적으로 내용과 전달(무엇을 말하고 어떻게 말 할지)을 목표로 삼았습니다.

관계-기반 피드백은 새로운 개념이 아닙니다. 다만, 교육적 피드백을 경험적으로 입증 된 "치료 동맹"에 비유함으로써 피드백을 개선하기 위한 중요한 공간을 만들어주며, 이는 임상의이 공감할 가능성이 있는 요소를 강조합니다. 이 개념의 핵심적 측면은 "무슨 의견을 어떻게 전달하느냐"만큼이나 "누가 전달하느냐"에 주목해야 한다는 것이다.

The general concept of relationship-based feedback is not new. However, the analogy these authors build between educational feedback and the empirically validated “therapeutic alliance” highlights a potentially important avenue for enhancing feedback, and one that is likely to resonate among  clinicians. A key aspect of this formulation is that who gives the feedback may deserve as least as much attention as the what or the how of its delivery.

Telio와 동료 1은 피드백의 맥락과 관계 측면의 중요성을 주장합니다. 그들은 "출처 신뢰도"즉 피드백을 제공하는 사람에 대한 신뢰가 피드백 수용과 효과에 영향을 미친다는 것에 주목합니다. 이 신뢰성은 다음에 달려있다.

• 교사 - 학습자 관계의 본질과, 가치관의 일치;

• 학습자의 역할과 목표에 대한 교사의 이해;

• 교사의 학습자에 대한 직접적인 관찰; 

• 교사의 선의에 대한 학습자의 인식 ( "선행").

Telio and colleagues1 assert the importance of the contextual and relational aspects of feedback. They note that “source credibility”—that is, the credibility of the person providing feedback—influences feedback acceptance and effectiveness. This credibility depends on 

• the nature and quality of the teacher–learner relationship and alignment of values; 

• the teacher’s understanding of the learner’s role and goals; 

• the teacher’s direct observation of the learner; and 

• the learner’s perception of the teacher’s good intentions (termed “beneficence”).

대부분의 의학 교육 프로그램은 교육 동맹 모델을 지원하는 방식으로 고안되지 않았습니다. 

• 환자와 치료자의 조화와 달리, 학생과 레지던트는 일반적으로 그들이 일하는 감독자를 선택할 여지가 없습니다. 

• 또한 감독자 역할을 할 의사는 그 의사가 교육에 대한 관심이 있는지, 학습자 성과를 평가하고 피드백을 제공 할 수 있는 능력이 있는지와 무관하게 어떤 환자를 보는지 혹은 어떤 임상 전문 지식을 가지고 있는지에 따라 선택됩니다. 

• 일정상의 제약 조건은 종종 학습자와 수퍼바이저 간의 연속성을 제한하여 관계를 구축하기가 더 어렵습니다. 

• 일부 전문 분야에서의 시간 압박과 치료 전달 과정은 임상 교사가 학습자를 직접 관찰 할 기회를 주지 않고, 이는 출처 신뢰도에 중요한 부정적 영향을 미친다 . 

이처럼 다양한 원인으로 바쁜 임상 환경은 자연적으로 교육 동맹을 수립하는 데 도움이되지 않습니다 .

Most medical education programs are not designed in a way that supports the educational alliance model, though. Unlike pairings of patients and therapists, students and residents usually have little or no choice in the supervisors with whom they work. Also, the physicians who serve as faculty supervisors are often selected for that role on the basis of their patient mix and clinical expertise, regardless of their interest in education or their ability to assess learner performance and provide feedback. scheduling constraints often limit continuity between learners and supervisors, making it harder to build relationships. Time pressures and the care delivery process in some specialties interfere with clinical teachers’ ability to directly observe learners, denying them an important ingredient for “source credibility.” In these and other ways, the busy clinical setting is not naturally conducive to establishing educational alliances. 

• 임상 감독자 선정은 교수진의 대인 관계 기술 및 교수의 (교육) 관심도를 반영해야하며, 특히 이전 연수생이 그 감독자를 어떻게 인식하였는지를 고려해야 한다. 효과적인 교육자가 될 임상의가 스스로 교육에 참여하기를 원하게 하도록 의미있는 인센티브와 보상을 마련해야합니다.

• The selection of clinical supervisors should reflect the faculty members’ interpersonal skills and interest in teaching, especially as perceived by prior trainees. Ideally, meaningful incentives and rewards should be put into place so that clinicians who would be effective educators will want to teach.

• 각 연수생은 강하게 긍정적인 관계가 나타날 기회를 높이기 위해 여러 명의 교수진 감독자에게 노출되어야합니다. (아주 작은 프로그램의 경우, 제휴 기관으로의 전환을 통해이 작업을 수행 할 수 있습니다.) 동시에 학습자는 기존 관계를 구축하기 위해 교수 수퍼바이저와 순차적 또는 장기적으로 경험할 수있는 혜택을 누릴 수 있습니다.

• Each trainee should be exposed to multiple faculty supervisors to increase the chance that a strongly positive relationship will emerge. (In very small programs, this could be accomplished through rotations to affiliate institutions.) At the same time, learners may benefit from having some sequential or longitudinal experiences with faculty supervisors in order to build on existing relationships.

• 교사와 학습자는 각 활동이나 경험에 대한 학습자의 교육 필요와 목표를 명시 적으로 논의하도록 권장되어야합니다.

• Teachers and learners should be encouraged to explicitly discuss learners’ educational needs and goals for each activity or experience.

• 평가 및 피드백의 정확성과 신뢰성을 높이기 위해 직접 관찰 기회를 극대화해야합니다. 이것은 수술 환경에서는 자연적으로 발생하지만 병원이나 병원 환경에서 성취하기가 어려울 수 있습니다.

• Opportunities for direct observation should be maximized to enhance the accuracy and credibility of assessments and feedback. This occurs naturally in operative settings, but can be difficult to accomplish in a clinic or hospital floor environment.

• 각 학생, 레지던트, 동료는 교수 나 멘토 또는 코치와 짝을 이룰 수 있습니다. 이를 통해서 평가를 번역하고, 피드백을 강화하고, 이해를 평가하고, 행동 계획에 대한 조언을 제공받을 수 있다.

• Each student, resident, or fellow might be paired with a faculty mentor or coach—ideally of his or her own choosing—to translate evaluations, reinforce feedback, assess understanding, and provide advice about action plans.

Acad Med. 2015 May;90(5):559-61. doi: 10.1097/ACM.0000000000000559.

Feedback in clinical education: untying the Gordian knot.

의학교육에서 피드백의 재개념화를 위한 "교육 동맹" 프레임워크(Acad Med, 2015)

The “Educational Alliance” as a Framework for Reconceptualizing Feedback in Medical Education

Summer Telio, MD, Rola Ajjawi, PhD, and Glenn Regehr, PhD

불행하게도,이 인정에도 불구하고,주의와 노력, 의학 교육에서의 현재 피드백 관행은 대체로 suboptimal하다.

Unfortunately, despite this acknowledgment, attention, and effort, current feedback practices in medical education are broadly understood to be suboptimal.

현재의 피드백

The Current State of Feedback

피드백은 항상 의료 훈련의 필수 요소로 인식되었습니다. 훨씬 전에 Plato와 다른 고대 그리스 학자들은 감독과 피드백의 중요성을 기술하여 주목을 받았다.

Feedback has always been recognized as an essential component of medical training. Well before modern times, Plato and other ancient Greek scholars were noted to describe the importance of supervision and feedback.1

오늘날 미국의 대학원 의학 교육 인증위원회는 미국 레지던트 프로그램은 [일상적인 업무에 피드백을 통합하고 각 연수생에게 피드백을 통해 반기 실적 평가를 제공 할 것]을 명시적으로 요구합니다 .2

Today, the Accreditation Council for Graduate Medical Education in the United States explicitly requires that U.S. residency programs incorporate feedback into routine practice and provide each trainee with semiannual performance evaluation through feedback.2

모든 캐나다 대학원 교육 프로그램의 인정 기준을 규정 한 Royal College of Physicians and Surgeons of Canada는 피드백 요구 사항을 다음과 같이 설정합니다.

The Royal College of Physicians and Surgeons of Canada, which defines the accreditation standards for all Canadian postgraduate training programs, sets similar requirements for feedback:

피드백은 각 레지던트에게 정직해야 하며, 도움이 되어야 하고, 적시에 피드백을 제공해야합니다. 문서화 된 피드백 세션은 최소한 매 로테이션이 끝날 때마다 정기적으로 수행되어야합니다 ... 또한 비공식적인 피드백도 레지던트들에게 정기적으로 제공되어야 합니다 .3

There must be honest, helpful and timely feedback provided to each resident. Documented feedback sessions must occur regularly, at least at the end of every rotation.… There should also be regular feedback to residents on an informal basis.3

의학 교육의 저자들은 피드백과 관련된 몇 가지 불일치와 긴장을 인식했습니다. 예를 들어, 무수히 많은 연구가 피드백의 성격에 대한 감독자와 학습자의 인식 간의 불일치를 강조했습니다. 일부 설문 조사에 기반한 연구에 따르면 교수진은 정기적으로 피드백을 주고 있다고 생각했고, 학습자가 이를 수용하기를 거부한다고 말했다.7-9 반대로 Irby10에 따르면 학생들은 자신이 피드백을 받았는지를 알아채지 못했습니다. 이는 학생들이 받는 피드백의 양을 과소 평가할 수 있음을 암시합니다.

Authors in medical education have recognized several discrepancies and tensions related to feedback. For example, a myriad of studies have highlighted discrepancies between supervisors’ and learners’ perceptions regarding the nature of feedback. Some survey-based studies have suggested that faculty report regular provision of feedback, yet learners deny its receipt.7–9 Irby10 noted that students did not identify receipt of feedback that he had observed being provided, which suggests that students may underestimate the amount of feedback they receive.

반면에 프리셉터에 대한 연구는 많은 요인과 서로 상충하는 목표들이 특정 상황에서 피드백을 제공하는 결정에 영향을 미친다는 것을 암시하며, 여기에는 학생과의 우호적 관계 유지, 학생 동기 부여와 등이 있다.

On the other hand, studies of preceptors suggest that many factors and competing goals influence the decision to offer feedback in any given situation, such as preserving collegiality within the teaching relationship and encouraging student motivation.11

더욱이, 학습자는 더 정교하고 빈번한 피드백에 대한 강한 욕구를 나타내지만, 실제로는 피드백을 받게 되면, 욕구와 만족 사이에 긴장이 발생한다. 예를 들어, Mann et al은 피드백에 대한 욕구가 비판적 또는 부정적인 성과 평가에 대한 두려움과 함께 긴장 상태에 있음을 설명했다. 더욱이 피드백에 대한 만족도는 얼마나 양이 많은가 또는 얼마나 타당한가가 수신자에 대해 피드백이 미치는 감정적 영향과 관련이 있다는 증거가 나타납니다.

Further, although learners voice a strong desire for more elaborate and more frequent feedback,14 research has highlighted tensions between this desire and satisfaction when actually receiving feedback. Mann et al,15 for example, described how the desire for feedback is in tension with the fear of critical or negative performance appraisal. Moreover, there is mounting evidence that satisfaction with feedback is linked to the feedback’s emotional impact on the recipient rather than solely its quantity or validity.

아마도 더 심각한 것은 피드백의 실제 영향에 대한 것이다. 피드백은 항상 FR(Feedback recipient)에게 수용되는 것은 아니며, 지속적으로 행동이나 자기 개념의 변화로 이어지지 않으며, 오히려 퍼포먼스에 악영향을 미칠 수 있습니다.

Perhaps more alarming is the range of concerns regarding the actual impact of feedback: Feedback is not always accepted by the recipient, it does not consistently lead to changes in behavior or self-concept, and it can actually have a detrimental impact on later performance.

전반적으로 피드백은 평균적으로 0.4의 효과 크기가 있습니다. 그러나 피드백 개입에 대한 연구 중 38 %에서는 퍼포먼스 저하가 확인되었다. 피드백 효과의 높은 가변성은 다른 메타 분석에서도 확인되었다 .18,19

Overall, feedback was associated with a mean effect size of 0.4; however, 38% of feedback interventions resulted in performance deterioration not attributable to sampling or other errors. High variability in the effectiveness of feedback has been identified in other meta-analyses as well.18,19

어떤 피드백이 효과적이거나 비효과적인지에 대한 공통적인 특징을 파악하면, 종종 맥락과 동떨어진 "모범 사례"를 권장하게 된다. 즉 피드백 영향을 극대화하도록 규정된 규범 적 가이드 라인을 구축하게 되는 것이다.

The identification of the common features of effective and ineffective feedback has often resulted in the construction of context-free “best practice” recommendations—that is, prescriptive guidelines geared to maximize the impact of feedback. 

• 예를 들어 Pendleton et al은 효과를 최대화하기 위해 피드백을 제공해야하는 일련의 규정 된 단계 (일반적으로 "Pendleton 's rules"라고도 함)를 설명했습니다. 

• 현재 알려진 "피드백 샌드위치"는 효과적인 전달을위한 절차로서 명시 적으로 기술되어 있습니다 .25 의학 교육 문헌은 이러한 유형의 모범 사례 권장을 일반적으로지지하고 있습니다.

For example, Pendleton et al24 described a set of prescribed steps (commonly known as “Pendleton’s rules”) by which feedback should be given in order to maximize its effectiveness. The now-proverbial “feedback sandwich” has also been explicitly described as a procedure for effective delivery.25 The medical education literature has generally endorsed these types of best practice recommendations.

피드백에 대한 생각 확장

Expanding Our Thinking About Feedback

노력에도 불구하고 피드백은 계속해서 많은 문제를 안고 있습니다. 이 영역에서 발전이 없다는 것은 피드백이 발생하는 맥락에 대한 강조가 부족한 것과 관련 될 수 있습니다. 즉, 의학 교육에서 피드백은 전통적으로 단방향 전달 프로세스로 개념화 되어왔다. 피드백은 감독자가 제공하고 연수생에게 전달되는 것이었다. 따라서 모범적 권장 사항은 피드백 내용과 전달에 중점을 두었으나, FR 또는 피드백이 경험되고 있는 FR-FP(Feedback Provider) 사이의 관계적 맥락에는 거의 주의를 기울이지 않습니다.

Despite efforts , feedback continues to be a suboptimal and fraught phenomenon.31 The lack of progress in this area may, be related to a lack of emphasis on the context in which feedback occurs. That is, in medical education, feedback is traditionally conceptualized as a unidirectional delivery process: Feedback is provided by the supervisor and directed toward the trainee. Thus, the best practice recommendations focus on feedback content and delivery and give little attention to the recipient or to the context of the supervisory relationship in which the feedback is being experienced. 

최근 저자들은 피드백을 "교사에서 학습자로의 일방적인 흐름"으로 개념화하는 것에 의문을 제기하며, 일종의 공식과 같은 피드백 practice에 대한 비판하기 시작했습니다. Bing-You와 Trowbridge는 제안했습니다.

Recently, authors have begun to explicitly question the conceptualization of feedback as “a one-way stream—from teacher to learner”32 and to voice criticisms of the resulting formulaic feedback practices.32–37 As Bing-You and Trowbridge suggest,

의학 교육자들은 피드백의 초점을 너무 좁게 맞춰 왔을 수도 있습니다. 교사의 구체적인 행동 원리 (예 :시기 적절하고 구체적)에 대한 접근법만으로는 적절하지 않습니다. 피드백을 향상시키는 접근법은 교사의 행동, 학습자의 인지적 원리, 교사-학습자 관계에 모두 초점을 맞춰야 한다.

Medical educators may have been too focused on a narrow view of feedback. Building an approach or system around a few teacher-specific behavioral principles of feedback (eg, timely, specific) is inadequate. An approach to improving feedback incorporates teacher-based behaviors, learner-based cognitive principles, and a focus on the teacher-learner relationship.34

연구원들은 학습자의 관점에서 수용성과 피드백의 결합incorporation에 영향을 미치는 요인들을 탐구하기 시작했다.

researchers have begun exploring factors that influence receptivity and incorporation of feedback from the learner’s perspective.

예를 들어 Bing-You 등은 출처 신뢰도를 조사했다. 레지던트들은 임상 지식이나 경험이 부족하다고 생각한 감독자,  또는 대인 관계 능력이 떨어진다고 생각되는 감독자가 준 피드백을 평가절하했다.

Bing-You et al,38 for example, examined perceived source credibility. residents discounted feedback from supervisors whom they felt lacked clinical knowledge or experience or from supervisors whom they judged as demonstrating poor interpersonal skills toward

Sargeant와 동료들은 [피드백 출처와의 관계의 질]이 FR의 외부 정보 사용 및 해석에있어서 중요하다는 것을 발견했다.

Sargeant and colleagues39,40 found that the quality of the relationship with the feedback source was also critical in recipients’ interpretation and use of external information.40

이러한 결과와 일치하는 Eva 등은 [FR의 내적 인지 및 정서적 과정] 외에도 [FR의 출처 신뢰성에 대한 인식]이 피드백 수용에 중요한 요소임을 발견했다.

Consistent with these findings, Eva and colleagues41 found that, in addition to the internal cognitive and emotional processes of the recipient, the feedback recipient’s perception of source credibility was an important factor in feedback acceptance.

마지막으로, Watling 등은 또한 피드백 신뢰성의 결정에 있어 출처source의 중심성을 강조했다. 교사의 피드백이 완전히 무비판적으로 수용(통합)되는 경우는 거의 없었다. 교사와 학습자가 개인적 및 전문적 가치관에 대해 얼마나 일치align되어있는지는 인식은 피드백의 신뢰도를 결정하는 데 영향을 미쳤습니다.

Finally, Watling et al42 also emphasized the centrality of source in the determination of feedback credibility. Feedback from teachers was rarely integrated without scrutiny. Perceived alignment of the teacher with a learner’s personal and professional values was influential in determining the credibility of feedback.

그러나 의학 교육 분야에는 이러한 요소들이 상호 작용하고 협력하여 행동 변화로 이어지는 방식으로 의견을 반영 할 수있는 결정을 내리는 방법을 이해하기위한 일관된 개념 체계가 여전히 부족합니다.

Yet the field of medical education still lacks a coherent conceptual framework for understanding how these factors might interact and work together to bring about decisions to incorporate feedback in a way that leads to behavior change.

결론

In Sum

전통적인 이론은이 과정에서 학습자와 감독관 관계의 역할을 거의 탐구하지 않고 일방적이고 교육자 중심의 피드백을 만드는 경향이있다 .18 최근에는 피드백을 양자 사이의 상황 기반 대화로 재 개념화하려는 노력이 이루어지고있다. 37

Traditional theories tend to construct feedback as unilateral and educator driven, with little exploration of the role of the learner or of the supervisory relationship in this process.18 Recently, efforts have been made to reconceptualize feedback as a bilateral, context-based dialogue.34,37

심리 치료 문헌은 관계에 기반한 여러 요인이 지식, 정체성, 행동의 변화에 ​​유의미하게 기여함을 시사한다 .44 의학 교육에서 감독 관계의 속성은 피드백 통합과 관련하여 마찬가질일 수 있다.

The psychotherapy literature suggests that relationship-based factors contribute significantly to changes in knowledge, identity, and behavior.44 Attributes of the supervisory relationship in medical education may be of parallel significance with respect to feedback incorporation.