의학교육에서 학습자를 위한 피드백: 알려진 것은? (Acad Med, 2017)

의학교육에서 학습자를 위한 피드백: 알려진 것은? (Acad Med, 2017)

Feedback for Learners in Medical Education: What Is Known? A Scoping Review

Robert Bing-You, MD, MEd, MBA, Victoria Hayes, MD, Kalli Varaklis, MD, MSEd,

Robert Trowbridge, MD, Heather Kemp, MLIS, and Dina McKelvy, MA, MLS

학습자들을 위한 피드백은 의학교육자들에게 여전히 중요한 연구 분야로 남아 있다. 

• 학습자에 대한 효과적인 피드백은 특히 역량 기반 교육에서 학생이 새로운 지식과 기술을 습득할 수 있도록 하는 데 중요하다.

• 피드백은 또한 교수 개발 프로그램과 레지던트-교사 및 학생-교사 프로그램의 일반적인 구성요소다. 

• 교수진의 평가에는 일반적으로 피드백 전달 능력에 대한 평가가 포함된다. 

그럼에도 불구하고, 이런 피드백에 대한 주의에도 불구하고, 의대 학생들과 레지던트는 오랫동안 그들이 충분한 피드백을 받지 못한다는 것을 보여주었다.

Feedback for learners continues to be an important area of study for medical educators.1,2 Effective feedback to learners is important for them to be able to acquire new knowledge and skills, especially in light of the shift toward competency-based education.3 Feedback is also a common component of faculty development programs4 and residents- and students-as-teachers5 programs. Evaluations of faculty typically include assessments of their feedback delivery skills.6 Nonetheless, despite this attention to feedback, medical students and residents have long indicated that they receive insufficient feedback.7,8

의학 교육의 피드백에 대해 가장 자주 인용되는 논문 중 하나에서, 엔데9는 임상 교사들이 학습자와 함께 사용해야 하는 피드백 행동을 규정했다. 그러나 이러한 권고안은 경영 및 조직 심리학 같은 다른 분야로부터 도출되었으며, 반드시 의학 교육의 증거에 기초하지는 않았다.

In one of the most frequently cited articles on feedback in medical education, Ende9 prescribed feedback behaviors that clinical teachers should employ with learners. However, these recommendations were drawn from other fields, such as business administration and organizational psychology, and were not necessarily based on evidence in medical education.

우리는 학습자의 피드백에 관한 의학 교육 문헌이 광범위하고, 광범위하게 평가되지 않았으며, 다양한 접근법을 포함하고 있으며, 체계적인 연구에 명백히 적합하지 않다고 본다.

In our view, the medical education literature regarding feedback for learners is far-ranging, has not been broadly assessed, contains varied approaches, and is not obviously suitable for systematic study.

방법

Method

이 범위 검토의 방법론은 Arcsey와 O'Malley20이 제안한 프레임워크와 Levac와 동료21이 제안한 후속 권고에 기초했다.22,23 이 범위 검토는 5단계를 따랐다. 

(1) 연구 질문의 식별 

(2) 잠재적으로 관련 있는 문서를 확인한다. 

(3) 물품 선정 

(4) 차트 작성 데이터 

(5) 결과의 취합, 요약, 보고

The methodology for this scoping review was based on the framework suggested by Arksey and O’Malley20 and the subsequent recommendations proposed by Levac and colleagues21 and others.22,23 This scoping review followed five phases: 

(1) identifying the research question; 

(2) identifying potentially relevant articles; 

(3) selecting articles; 

(4) charting data; and 

(5) collating, summarizing, and reporting the results.

연구 질문

Research question

이 범위 검토는 "의학 교육에서 학습자를 돕기 위해 피드백에 관한 문헌에 광범위하게 발표된 것은 무엇인가?"라는 연구 질문에 집중되었다.

This scoping review was focused on the following research question: “What has been broadly published in the literature about feedback to help learners in medical education?”

우리의 목표는 의료 교육에 대한 실천과 추가 연구를 알리기 위한 핵심 개념, 문헌의 gap 및 근거의 출처를 식별하는 것이었다. 문헌의 질을 결정하는 것도 아니고, 이용할 수 있는 증거에 대한 해석에 기초하여 학습자에게 피드백을 전달하기 위한 권고안을 개발하는 것이 아니었다. 범위 검토는 문헌에 대한 광범위한 관점을 제공하며, 후속 체계적인 검토의 형태로 "더 깊은 탐구deeper dive"으로 이어질 수 있다.

Our goal was to identify key concepts, gaps in the literature, and sources of evidence to inform practice and additional research in medical education24; it was not to determine the quality of the literature or develop recommendations for delivering feedback to learners based on interpretations of the available evidence. Scoping reviews offer a wide perspective of the literature,22 which may lead to a “deeper dive” in the form of subsequent systematic reviews.

Data sources and search strategy

Citation management

Screening, selection, and data extraction

결과

Results

We included 650 articles in this scoping review, after excluding 186 articles that were irrelevant, duplicates, or unobtainable (see Figure 1 for a flow diagram of the process and Table 2 for characteristics of the included articles). The complete list of included articles is available in Supplemental Digital Appendix 1 at http://links.lww.com/ACADMED/A426.

Characteristics of included articles

국가별

The majority of the 650 included articles originated from 

• the United States (n = 306; 47.1%) and 

• the United Kingdom (n = 104; 16.0%). The remaining articles came from 

• Canada (n = 66; 10.2%), 

• the Netherlands (n = 49; 7.5%), 

• Australia (n = 38; 5.8%), and 

• other countries (n = 87; 13.4%). 

기간별

• There were few articles on feedback for medical education learners from the years 1980 through 1989 (n = 29; 4.5%). 

• Even from 1990 through 1999, the decade after the publication of the seminal 1983 article by Ende,9 there were few articles found (n = 67; 10.3%). 

• There was a large increase in articles from the years 2000 through 2009 (n = 213; 32.8%), and 

• there were even more from the most recent years of the search, 2010 through 2015 (n = 341; 52.4%).

학습자 유형

Types of learners and disciplines involved

단계

Of the 543 articles (83.5%) in which a type of learner was specified, the majority focused on 

• medical students (n = 274; 50.5%) or 

• medical residents (n = 192; 35.3%). 

전공: 학생

Among the 79 articles focused on medical students that specified a discipline, the disciplines included 

• internal medicine (n = 27; 34.2%), 

• surgery (n = 17; 21.5%), 

• pediatrics (n = 12; 15.2%), 

• OB/GYN (n = 6; 7.6%), 

• psychiatry (n = 6; 7.6%), 

• family medicine (n = 5; 6.3%), 

• emergency medicine (n = 4; 5.1%), and 

• anesthesiology (n = 2; 2.5%).

전공: 전공의

For the 159 articles focused on medical residents and fellows and specifying disciplines, the disciplines included 

• internal medicine (n = 56; 35.2%), 

• surgery (n = 31; 19.5%), 

• pediatrics (n = 22; 13.8%), 

• emergency medicine (n = 14; 8.8%), 

• anesthesiology (n = 9; 5.7%), 

• radiology (n = 8; 5.0%), 

• family medicine (n = 8; 5.0%), 

• OB/GYN (n = 7; 4.4%), and 

• psychiatry (n = 4; 2.5%).

유형

Types of articles

97%는 한 가지 유형으로 분류가능

Ninety-seven percent of the 650 articles in this scoping review (n = 630) could be categorized into a single type of article (Table 3), with the remaining articles (n = 20) including multiple types (e.g., a survey of learners plus a literature review).

The majority of the 630 articles (n = 327; 52.0%) described a new or altered curricular approach

피드백 방법과 포커스

Feedback method and focus

피드백 평가

Evaluation of feedback impact

An evaluation of a feedback intervention was described in 300 articles (46.2%). 

• The majority of these 300 articles (n = 173; 57.7%) used the lowest of Kirkpatrick’s levels of evaluation,38 assessing learners’ reaction to feedback (i.e., level one). 

• This was obtained mainly through surveys of learners. Assessing differences in learning after feedback (i.e., level two) primarily involved changes in examination or case study scores (n = 12; 4.0%). 

• Assessing changes in behavior after feedback (i.e., level three) included describing the use of simulation as an evaluation method (n = 25; 8.3%), using standardized patients and OSCEs (n = 17; 5.7%), and using observation of learners (n = 7; 2.3%). 

• Level four outcomes could reflect the impact on patients from feedback to learners. Nineteen articles (6.3%) elaborated on the use of clinical patient data, and an additional 9 articles (3.0%) described chart reviews, to assess the clinical impact of the feedback intervention (e.g., interviews with or examination of actual patients, test ordering, adherence to practice guidelines).

고찰

Discussion

이 scoping review의 결과는 의학 교육에서 학습자들을 위한 피드백에 대해 알려진 것을 매핑하였다. 피드백 접근에 대한 권고사항을 설명하는 수많은 논문에서 입증되었듯이, 피드백은 학습자 개선의 중요한 동인으로 간주된다. 대부분의 논문들은 2000년 이후로 출판되었다. 의대생과 레지던트을 포함한 기사들이 많이 있다. 치과, 간호, 약학과 같은 다른 분야의 학습자들을 포함한 논문의 비율은 훨씬 더 적다. 소수의 논문은 피드백 후 학습자 행동의 변화를 설명하고 있으며, 심지어 소수의 기사는 환자 결과에 대한 피드백의 영향을 평가한다.

The findings from this scoping review add to the literature by mapping what is known about feedback for learners in medical education. As evidenced by the large number of articles outlining recommendations for feedback approaches, feedback is considered to be an important driver of learner improvement. Most of the articles have been published since the year 2000. There is an abundance of articles that include medical students and residents; much smaller proportions of articles include learners from other disciplines such as dentistry, nursing, and pharmacy. A small number of articles describe changes in learner behavior after feedback, and even fewer articles assess the impact of feedback on patient outcomes.

의학 교육에서 학습자들을 위한 피드백에 대해 알려진 것들의 대부분은 의학 교육 분야에서 강한 증거에 기초하지 않는다.39 우리의 범위 검토는 [성인 학습자를 위한 권고사항의 기반이 된 이론적 구성을 제공한] K–12 및 중등과정 학생들에 대한 광범위한 피드백 문헌을 무시하기 위한 것이 아니다. 비록 논문에서 그들의 피드백 요구나 피드백의 인식에 관해 성인 학습자에 대한 조사를 계속 기술하고 있지만, 무작위 교육 시험을 통해 피드백에 대한 다양한 접근법을 평가하는 의학 교육에는 엄격한 연구가 거의 없는 것으로 보인다. 이 범위 검토에 포함된 많은 논문은 신규 또는 변경된 커리큘럼 접근방식을 기술하였으며, 낮은 수준의 근거만을 보고했다. (예: 적은 수의 학습자에게 단일 관찰 피드백 조정)

Much of what is known about feedback for learners in medical education is not based on strong evidence in the medical education field.39 Our scoping review is not intended to dismiss the large body of feedback literature with K–12 and postsecondary students, from which theoretical constructs have informed recommendations for adult learners. Although articles continue to describe surveys of adult learners in medicine as to their feedback needs or their perceptions of feedback,40,41 there appear to be few rigorous studies in medical education assessing various approaches to feedback through randomized educational trials.42–44 Many articles included in this scoping review described new or altered curricular approaches that fall into lower-quality levels of evidence (e.g., single, observational feedback interventions with small numbers of learners).

즉, 소수의 논문만이 1983년부터 자주 인용되는 엔데의 논문인 피드백에 대한 행동주의 접근방식을 support하고 있다. 예를 들어, Saraf et al44는 비판보다는 칭찬의 형태로 피드백이 산부인과적 시뮬레이션에서 학생들의 지식과 기술을 향상시켰다는 것을 보여주었다. 그러나, 대조적으로, Boehler 등은 수술 매듭묶기에서 학생들의 성적은 단지 칭찬만 했을 때보다, 결점에 대한 피드백과 함께 제공되었을 때 향상되었음을 발견했다. LIC 모델과 같이 반복적으로 발생하는 피드백은 유익해 보인다.

That said, a small number of articles do support behaviorist approaches to feedback, the basis for Ende’s9 often-cited article from 1983. For example, Saraf et al44 demonstrated that feedback in the form of praise rather than criticism improved students’ knowledge and skills in obstetrical simulations. In contrast, however, Boehler et al43 found that students’ performance in surgical knot tying only improved with feedback about their deficiencies rather than just compliments. Feedback that occurs repeatedly, such as in the model of longitudinal integrated clerkships, appears to be beneficial.45,46 

즉각적인 피드백은 학습 이득에 도움이 되는 것으로 보인다. 47 반면에 최종적 피드백(예: 연습 후)은 동시적 피드백(예: 연습 중) 보다 테크니컬 스킬 능력에서 더 나은 학습을 유도하는 것으로 나타났다.48 

Immediate feedback appears to be helpful for learning gains,47 whereas terminal feedback (i.e., after practice) has been shown to result in better learning in technical skills than does concurrent (i.e., during practice) feedback.48 

피드백 "샌드위치" (즉, 양성-음성-양성 피드백)는 실제 성능을 변화시키지 않는 것으로 보인다. 그러나 학생들은 그렇게 인식하고 있다.49 프로페셔널리즘과 관련 있는 태도와 행동을 개선하는데 있어서, 개별기준에서 발생하는 피드백은 집단환경에서 주어진 피드백보다 더 효과적이다.50

The feedback “sandwich” (i.e., positive–negative–positive feedback) does not appear to change actual performance, although students perceive that it does.49 In improving professionalism attitudes and behaviors, feedback occurring on an individual basis appears to be more effective than feedback given in a group setting.50

위에 열거된 행동주의 접근방식을 완전히 인정하기 전에, 우리는 이들 연구의 방법론과 품질에 대한 평가를 권고한다.

Before endorsing the behaviorist approaches listed above, we recommend assessment of the methodology and quality of these articles.

피드백의 전달 측면에서 피드백 대화와 교사와 학습자 사이의 상호작용으로 문헌의 변화를 반영하듯, 우리가 도입부에서 강조했듯이, 보다 최근에 발표된 논문은 주로 피드백의 비행동적인 측면에 초점을 맞추고 있다. 피드백의 효과는 학습자의 정서적 상태 또는 피드백에 대한 학습자의 정서적 반응에 의해 영향을 받을 수 있다.

Reflecting the shift in the literature from the delivery aspects of feedback to the feedback conversation and interactions between the teacher and learner,14–19 as we highlighted in our introduction, more recently published articles have primarily focused on the non-behavioral aspects of feedback. The effectiveness of feedback may be impacted by the affective state of the learner or the learner’s emotional reaction to the feedback.15,51–54 

학습자가 피드백을 전달하는 사람의 신뢰성을 어떻게 인식하는지가 중요한 것으로 보인다. 학습자는 환자의 피드백의 이점에 대해 다양한 의견을 가지고 있으며, 환자는 학습자를 비판하기를 꺼릴 수 있다. 다른 연구는 피드백과 잠재적인 성별, 문화적 차이점에 초점을 맞추었다. 조사관들은 또한 피드백 상호작용의 내용 분석을 통해 학습자와 교사 사이의 복잡한 상호교류를 탐구했다.66

How the learner perceives the credibility of the individual delivering the feedback appears to be important.14,55–57 Learners have varying opinions on the benefits of feedback from patients,58,59 and patients may be reluctant to be critical of learners.60 Other research has focused on feedback and potential gender61–63 and cultural differences.64,65 Investigators have also explored the complex interchange between a learner and teacher through the content analysis of feedback interactions.66

피드백을 위한 다양한 루브릭이 있다.

Several rubrics, with various acronyms, have been suggested for use in feedback with learners: 

• BEGAN (The Brown Educational Guide to the Analysis of Narrative),67,68 

• REFLECT (Reflection Evaluation for Learners’ Enhanced Competencies Tool),69,70 

• FAIRness (feedback, activity, relevance, and individualisation),71,72 

• ECO (emotion, content, outcomes),73 

• RIME (reporter– interpreter–manager–educator),74 and 

• PEARLS (partnership, empathy, apology, respect, legitimation, support).75 

그러나, 이러한 루브릭은 최근의 저자들이 피드백의 모델을 재개념화하라는 요구가 증가하는 것을 고려하지 않는다.17~19,51 새롭게 제안된 피드백 모델은 순수한 행동 기반 접근법에 대한 비판을 반영한다.9

However, these rubrics do not consider the increasing calls by recent authors to reconceptualize models of feedback.17–19,51 The proposed newer models for feedback reflect the criticism of a purely behavioral-based approach.9

이 범위 검토에서는 의학교육에서 학습자의 피드백에 관한 고품질 증거가 부족한 가능한 이유가 연구 방법론 및/또는 사용된 접근법에 대한 challenge와 관련이 있음을 시사한다. 학습자와 교사를 교육적 개입에 맹목적으로 보는 것은 종종 가능하지 않지만, 피드백 개입에 대한 연구는 결과의 품질을 향상시키거나, 최소한 잠재적 교란 요인을 통제하기 위해 무작위화를 수반할 수 있다고 생각한다. 학습자는 이미 피드백을 받지 못하고 있다고 생각하므로, 통제군에 배정된 학습자는 피드백의 차이를 인식하지 못할 수 있다. 또한 데이터를 평가하는 사람은 blind되어야 한다. 의학교육자는 더 나은 피드백 활동과 정량적 연구 방법을 알리기 위해 더 많은 질적 연구 방법 또는 피드백 상호작용의 내용 분석을 사용할 수 있다. 피드백 개입에 관한 다기관 연구는 실현가능하며 촉진되어야 한다.

This scoping review suggests that a possible reason for the lack of high-quality evidence regarding feedback for learners in medical education relates to challenges in study methodology and/or the approaches used. Although blinding learners and teachers to educational interventions is often not feasible, we believe studies of feedback interventions could involve randomization to improve the quality of the results, or at least control for potential confounding factors. Learners already perceive that they do not receive feedback,7,8 and therefore learners randomized to a control arm may not recognize any differences in feedback. Consideration should also be given to blinding the evaluators of the data. Medical educators could use more qualitative research methods or content analysis of feedback interactions66 to inform better feedback activities and quantitative research methods. Multisite trials involving feedback interventions are feasible42 and should be promoted.

이 범위 검토는 또한 추가적인 학문적 노력을 위한 잠재적인 분야를 식별하는 데 도움이 된다. 

• 학생들이 피드백을 요청하고 수용하는데 도움이 되는 방법, 학생과 레지던트가 피드백을 제공하도록 교육하는 방법에 대해 자세히 알아볼 수 있다. 

• 피드백이 어떻게 인식되는지는 전공마다 다르다.81 

• 첨단 기술은 학습자들에게 더 많은 기회와 피드백을 줄 수 있는 새로운 수단을 제공하고 있다.82 

• 피드백의 장기 영향력은 알 수 없다: 피드백의 장기적 효과(즉, 5년)를 평가한 한 개 연구가 있을 뿐이며, 나머지 연구들은 단기적으로는 피드백이 거의 기억되지 않는다고 제안했다.84 

• 능력이 떨어지는 학습자는 피드백을 다르게 받거나 사용할 수 있다.85 

• 학습자에 대한 피드백은 영향을 거의 주지 않을 수 있으며, 이러한 문제의 원인을 발견하는 것은 새로운 피드백 방법을 개발하고 평가하는 데 필수적일 수 있다. 

• 조직의 피드백 문화를 어떻게 평가하고 개선할 수 있는지에 대한 추가 조사가 있을 수 있다.89 다양한 직업에서 피드백이 어떻게 발생하는지 탐구함으로써 배울 수 있는 귀중한 교훈이 있을 수 있다.65

This scoping review also helps identify potential areas for additional scholarly efforts. 

• Methods to help students ask for and receive feedback76–78 and to train students and residents in giving feedback could be further explored.79,80 

• How feedback is perceived appears to differ by specialty.81 

• Advancing technology is providing more opportunities and novel means for capturing and providing feedback to learners.82 

• The long-term efficacy of feedback is unknown: Only one study assessed the long-term (i.e., 5-year) effect of feedback,83 and other studies suggested that little feedback is remembered short-term.84 

• Less competent learners may receive and/or use feedback differently.85 

• Feedback to learners may have minimal to no impact,86–88 and discovering the reasons behind this lack of improvement could be essential for the development and evaluation of new feedback methods. 

• There can be further investigation into how the culture of feedback in an organization can be assessed and improved.89 There may be valuable lessons to learn from exploring how feedback occurs in different professions.65

Limitations

Conclusions

피드백에 대한 높은 수준의, 근거 기반의 교육적 권고가 부족하다

High-level, evidence-based educational recommendations for feedback are lacking.

16 Bok HG, Jaarsma DA, Spruijt A, Van Beukelen P, Van Der Vleuten CP, Teunissen PW. Feedback-giving behaviour in performance evaluations during clinical clerkships. Med Teach. 2016;38:88–95.

17 ten Cate OT. Why receiving feedback collides with self determination. Adv Health Sci Educ Theory Pract. 2013;18:845–849.

13 van de Ridder JM, Peters CM, Stokking KM, de Ru JA, ten Cate OT. Framing of feedback impacts student’s satisfaction, self-efficacy and performance. Adv Health Sci Educ Theory Pract. 2015;20:803–816.

---

Acad Med. 2017 Sep;92(9):1346-1354. doi: 10.1097/ACM.0000000000001578.

Feedback for Learners in Medical Education: What Is Known? A Scoping Review.

Bing-You R1, Hayes V, Varaklis K, Trowbridge R, Kemp H, McKelvy D.

Author information

1

R. Bing-You is professor, Tufts University School of Medicine, and vice president for medical education, Maine Medical Center, Portland, Maine. V. Hayes is clinical assistant professor, Tufts University School of Medicine, and faculty member, Department of Family Medicine, Maine Medical Center, Portland, Maine. K. Varaklis is clinical associate professor, Tufts University School of Medicine, and residency program director in obstetrics and gynecology, Maine Medical Center, Portland, Maine. R. Trowbridge is associate professor, Tufts University School of Medicine, and director of undergraduate medical education, Department of Medicine, Maine Medical Center, Portland, Maine. H. Kemp is medical librarian, Maine Medical Center, Portland, Maine. D. McKelvy is manager of library and knowledge services, Maine Medical Center, Portland, Maine.

Abstract

PURPOSE:

To conduct a scoping review of the literature on feedback for learners in medical education.

METHOD:

In 2015-2016, the authors searched the Ovid MEDLINE, ERIC, CINAHL, ProQuest Dissertations and Theses Global, Web of Science, and Scopus databases and seven medical education journals (via OvidSP) for articles published January 1980-December 2015. Two reviewers screened articles for eligibility with inclusion criteria. All authors extracted key data and analyzed data descriptively.

RESULTS:

The authors included 650 articles in the review. More than half (n = 341) were published during 2010-2015. Many centered on medical students (n = 274) or residents (n = 192); some included learners from other disciplines (n = 57). Most (n = 633) described methods used for giving feedback; some (n = 95) described opinions and recommendations regarding feedback. Few studies assessed approaches to feedback with randomized, educational trials (n = 49) or described changes in learner behavior after feedback (n = 49). Even fewer assessed the impact of feedback on patient outcomes (n = 28).

CONCLUSIONS:

Feedback is considered an important means of improving learner performance, as evidenced by the number of articles outlining recommendations for feedback approaches. The literature on feedback for learners in medical education is broad, fairly recent, and generally describes new or altered curricular approaches that involve feedback for learners. High-quality, evidence-based recommendations for feedback are lacking. In addition to highlighting calls to reassess the concepts and complex nature of feedback interactions, the authors identify several areas that require further investigation.

PMID:

 

28177958

 

DOI:

 

10.1097/ACM.0000000000001578

[Indexed for MEDLINE]