피드백 탱고: 교수-학습자 피드백 교환의 내용 분석(Acad Med, 2018)

피드백 탱고: 교수-학습자 피드백 교환의 내용 분석(Acad Med, 2018)

The Feedback Tango: An Integrative Review and Analysis of the Content of the Teacher–Learner Feedback Exchange

Robert Bing-You, MD, MEd, MBA, Kalli Varaklis, MD, MSEd, Victoria Hayes, MD,

Robert Trowbridge, MD, Heather Kemp, MLIS, and Dina McKelvy, MA, MLS, AHIP

의학 교육에서 학습자를 위한 피드백은 오랫동안 의학교육자들에게 중요한 주제였다.12 어떻게 피드백을 주는가에 대한 지침의 출판에도 불구하고 의대 학생들과 레지던트들은 그들이 적절한 피드백을 받지 못한다고 계속해서 주장해왔다.5–7 피드백은 의학교육에서 "아주 다루기 힘든 문제"로 기술되어 왔다.8 부정확한 자기 평가, 피드백의 평가절하 할인 또는 거부, 피드백의 정의 등이 그 이유였다.

Feedback for learners in medical education has long been a topic of importance for medical educators.1,2 Despite the publication of guidelines on how to give feedback,3,4 medical students and residents have continued to claim they do not receive adequate feedback.5–7 Feedback has been described as an “intractable problem” in medical education.8 Reasons have been given for the challenges with feedback, including inaccurate self-assessment and discounted or rejected feedback,9 and definitions of feedback have been explored.10

이 통합 검토의 근거 합성은 우리의 scoping review 작업의 연장이다.11 우리는 다음의 연구 질문을 탐구하기 위해 특정 일부 기사를 선택했다. 

학습자에게 제공되는 피드백의 내용은 교사와 학습자 사이의 피드백 통신에 대해 무엇을 알려주는가? 

우리는 피드백 내용에 대한 심층 분석이 왜 여전히 피드백이 의학교육에서 난제로 남아 있는지 결정하는 데 도움이 될 수 있다고 믿는다.

The evidence synthesis of this integrative review is an extension of our scoping review work.11 We selected a specific subset of articles to explore the following research question: 

What does the content of the feedback to learners tell us about feedback communication between teachers and learners? 

We believe that an in-depth analysis of feedback content may help determine why feedback remains a challenge in medical education.

우리는 피드백 교환의 적절한 은유로서 탱고를 선택했다. 탱고는 "중남미 출신의 복잡한 사교춤"과 "직설성의 결여로 특징지어지는 상호 작용"으로 정의된다. 평범한 관찰자에게 탱고는 예측 가능하고 예상 밖의 춤 스텝에 적극적으로 관여하는 두 개인으로 나타난다. Tango Linguinga는 "탱고의 중심에는 당신이 춤추고 있는 사람과 듣고, 이해하고, 대화하고 싶은 욕망이 있다." 피드백을 개념적으로 비추기 위해, 우리는 이 댄스 양식을 사용하여 두 개인 간의 역동적인 협력 관계를 제안한다. (단방향 정보 전송 프레임워크와는 대조적으로)

We have chosen the tango as an apt metaphor of the feedback exchange. The tango is defined as a complex “ballroom dance of Latin American origin,” as well as an “interaction marked by lack of straightforwardness.”15 To the casual observer, the tango appears as two individuals actively engaged with dance steps that are both predictable and unexpected. Tango Lingua16 notes that “at the heart of [Argentine] tango is the desire to listen to, understand and converse with the person you’re dancing with.” As a way to illuminate feedback conceptually, we use this dance form to suggest a dynamic partnership between two individuals (in contrast to a framework of unidirectional transmission of information).

방법

Method

Scoping review의 연구 질문은 "의학 교육에서 학습자를 돕기 위한 피드백에 관한 문헌에 광범위하게 발표된 것은 무엇인가?"11이었다.

The research question of the scoping review was, “What has been broadly published in the literature about feedback to help learners in medical education?”11

Goug et al.,17에 의해 요약된 문헌 검토와 관련하여 제안된 전략에 따라, 우리는 특정 연구 질문이 있는 논문의 하위집합으로서 더 좁은 검토를 결정했다. 2016년 9월, integrative review 접근법은 다양한 방법론을 사용하여 기사를 포함할 수 있기 때문에 통합 검토 접근방식을 선택했다.18,19 지식을 통합하는 구체적인 방법으로서, 통합 검토는 연구자들로하여금 정량적 및 정성적 자료 모두 포함할 수 있는 다양한 근거 출처에서 패턴이나 주제를 식별할 수 있도록 한다.

Following the suggested strategies regarding literature reviews as outlined by Gough et al,17 we subsequently determined a narrower review as a subset of articles with a specific research question. 

In September 2016, we selected an integrative review approach because it allows for the inclusion of articles using various methodologies.18,19 As a specific method to synthesize knowledge, the integrative review permits investigators to identify patterns or themes from a set of diverse evidence sources that may include both quantitative and qualitative data.18 

우리의 범위 검토11에서 피드백과 관련하여 높은 수준의 증거(예: 무작위 시험)를 가진 기사가 거의 없다는 것을 발견했기 때문에, 우리는 근거의 계층 구조를 정량화하기 위한 체계적 검토는 실현가능하지도 적절하지도 않을 것이라고 결론지었다.20 

We discovered in our scoping review11 that there were few articles with higher-quality levels of evidence (e.g., randomized trials) regarding feedback, so we concluded that a systematic review to quantify hierarchies of evidence would be neither feasible nor appropriate.20 

이 통합 검토는 의료 교육 증거 통합에 대한 권장 간행물 표준(즉, STORIES 기준20)을 따른다.

This integrative review follows the recommended publication standards for health care education evidence synthesis (i.e., STORIES criteria20).

Data sources and search strategy

Data extraction and analysis

결과

Results

포함된 논문의 특성

Characteristics of included articles

공통 주제

Common themes

몇 가지 공통적 주제 발견

We identified several common themes during our review of the 51 articles: 

• 관용성 편형 leniency bias, 

• 저품질 피드백 low-quality feedback, 

• 교수의 피드백 역량 부족 faculty deficient in feedback competencies, 

• 피드백 도구의 문제 challenges with multiple feedback tools, and 

• 성별 영향 gender impacts (Table 1).

관용성 편향

Leniency bias.

Fifteen articles (29%) described issues with low-quality feedback. 

A leniency bias was noted in many articles (n = 19; 37%). In other words, feedback providers were often reluctant to give any, or even minimally, constructive (i.e., negative) feedback to the learners. 

This occurred across multiple contexts: 

• audiotapes (n = 3; 6%),21,22,24 

• CEX (n = 1; 2%),29 

• feedback cards (n = 2; 4%),33,38 

• MSF (n = 5; 10%),39,40,45–47 

• videotapes (n = 2; 4%),48,53 and 

• written feedback (n = 6; 11.8%).56,57,64,66,69,70 

The tendency to provide predominantly positive feedback occurred even when feedback was given using a structured feedback tool22 or in a group discussion.24 Both faculty29,38 and student peers53,56 were found to be lenient.

저품질 피드백 

Low-quality feedback.

너무 일반적, 가이드라인 따르지 않음

Twelve articles (24%)22,23,26,27,31,33,40,48,51,61,64,67 indicated that the feedback given to learners was limited in amount or too general and did not conform to published guidelines for feedback.2–4 

피드백에 이후 계획이 없음. Previous action plans도 없음

Six articles (12%)22,34,36,38,40,61 revealed that action plans for learners were either not included in the feedback or were limited in scope; previous action plans, from which to judge progress, were not included.

교수의 피드백 역량 부족

Faculty deficient in feedback competencies.

경험이 있어도 포맷을 잘 따르지 않음. 훈련을 해도 적절한 피드백을 주지 않음

Eight articles (16%) indicated challenges with the faculty as they provided feedback. They did not use the feedback forms appropriately,31,46,62 even if they were experienced teachers,26 or they did not provide adequate feedback after training.28,29 

상호작용하지 않고 교수가 대화를 주도함.

Two articles (4%), which analyzed audiotapes, noted that the feedback sessions were not interactive and the faculty dominated the conversations.21,22

피드백 도구의 문제

Challenges with multiple feedback tools.

다양한 방식 사용

Various types of feedback tools were used (see Supplemental Digital Appendix 1 at http://links.lww.com/ ACADMED/A484). 

그냥 도구가 사용되지 않거나, 사용시 피드백 정보 누락

Seven articles (14%) described challenges related to these feedback tools. The authors reported that the tool simply was not used26,36,46 or that information on the completed feedback tool was missing.33,35,41 

손으로 쓰는 경우에 읽을 수가 없는 경우가 많음

When a handwritten method was the means for communicating feedback, authors noted the frequent illegibility of such information.35,55

성별 영향

Gender impacts.

학습자나 피드백 제공자의 성별은 피드백 교환에 영향을 미치는 것으로 7개 연구(14%)에 기록되었다. 

The gender of the learner or the feedback provider was noted in 7 articles (14%) as having an impact on the feedback exchange. 

언어병리학 학생들과 관련된 기사에서, 여성들은 다른 여성들에게 부정적인 판단을 줄 때 우회적implicit으로 했다(즉, 긍정적인 피드백은 명시적이었다).21 내과 임상실습생에게 피드백 카드를 사용하여 실시한 연구에서 동일한 성별의 학생이 pair일 경우 개선을 위한 권고사항은 거의 없었다.36 

In the article involving speech pathology students, women gave negative judgments to other women in an implicit manner (i.e., positive feedback was more explicit).21 In a study with internal medicine clerkship students using feedback cards, fewer recommendations for improvement were noted with gender-concordant pairs.36 

• 대조적으로, 1학년 의대생들을 대상으로 한 연구에서 주어진 서면 피드백의 일부로서 동일한 성별일 경우(특히 여성 쌍)이 더 상세한 목표를 설명하였다.62 

• 전문직 종사자들의 행동에 관한 MSF 기사에서, 여성 평가자는 남성 평가자보다 여러 전공과에서 거주자들을 더 낮게 평가했다.41 

• 또 다른 MSF 기사에서, 남성 OB/GYN 전공의는 여성 OB/GYN 전공의들보다 간호사들로부터 더 많은 부정적인 피드백을 받았다.43 

• 사례 발표에 관한 기사에서, 의대 1학년 남학생들은 여학생들보다 또래들에게 비판적인 피드백을 제공할 가능성이 더 높았다.66 

• 서면 총괄 피드백을 평가하는 기사에서, 3학년 여학생들은 남학생들보다 이 정보를 seek할 가능성이 더 높았다.71

• In contrast, in a study with first-year medical students, gender-concordant pairs—specifically female pairs—resulted in more detailed goals as part of the written feedback given.62 

• In an MSF article on interprofessional behaviors, the female raters scored residents in multiple specialties lower than the male raters.41 

• In another MSF article, male OB/GYN residents received more negative feedback from nurses (who were more likely female) than did the female OB/GYN residents.43 

• In an article on case presentations, male first-year medical students were more likely than female students to provide critical feedback to peers.66 

• In an article assessing written summative feedback, third-year female medical students were more likely than male students to seek out this information.71

고찰

Discussion

여기 포함된 논문들을 단독으로 읽을 경우 피드백에 대한 개별 질문을 제기할 수 있다. 그러나 이 검토에서와 같이, 여러 논문을 함께 분석할 때, 공통된 주제들이 나타난다. 적절한 피드백을 받지 못했다는 학습자의 수년간 불만은 사실인 것 같다5-7! 우리의 조사 결과, 피드백은 종종 구체적이지 못하고, 양이 부족하고, 실행 계획이 부족하며, 주로 긍정적인 측면에 초점을 맞춘다는 학습자의 주장을 뒷받침한다. 이러한 관용적 편견은 부정적인 반응을 두려워하거나, 건설적인 피드백을 주는 능력이 부족한 것 등을 포함하여 여러 가지 이유로 발생할 수 있다. 종합적으로 보면, 이러한 발견들은 실망스러운 것처럼 보일 수 있다. 즉, 어비가 말한 "피드백이 다루기 어려운 문제"라는 주장을 뒷받침한다. 하지만, 보다 긍정적인 관점에서, 우리는 학습자에 대한 피드백이 환자 성과와 어떻게 관련되어 있는지 다른 곳에서 설명했다.

When these articles are read in isolation, they may raise individual questions about feedback. But when they are analyzed together, as in this review, common themes emerge. Learners’ complaints over the years that they do not receive adequate feedback5–7 appear to be true! Our findings support their claims that often feedback is nonspecific, limited in amount, lacking in action plans, and focused predominantly on the positive aspects of their performance. This leniency bias could occur for many reasons, including faculty fearing negative reactions or lacking skills in giving constructive feedback. Collectively, these findings may seem discouraging—supporting Irby’s8 claim that feedback is an intractable problem—but, from a more positive perspective, we have described elsewhere how feedback to learners is related to patient outcomes:

교훈

Lessons learned

탱고와 마찬가지로, 73 피드백 상호작용은 복잡한 일련의 움직임으로 구성될 수 있다. 

• 다양한 상황(예: CEX, MSF, 서면 피드백), 도구 및 포맷, 퍼포먼스에서 피드백의 관심이 되는 영역 등이 모여서 매우 복잡한 상호작용을 이룬다.74,75 

• 탱고의 다방향 움직임에 비교할 수 있듯, 피드백 교환은 선형적이지 않으며 직설적이지 않고 교사 특성과 맥락과 같은 요소의 상호 작용에 의해 영향을 받을 수 있다.25 

• 댄스 파트너의 감정적 상태가 탱고에 영향을 미치듯이, 피드백 제공자와 수신자의 정서적 반응은 피드백 상호작용에 영향을 미칠 수 있다.76 

• 댄스 파트너가 서로 신뢰해야 하듯, 피드백을 주고받는 사람도 마찬가지이다.77,78 

• 그리고 복잡성과 도전에 더하여, 탱고 파트너는 각 파트너의 상태, 환경, 잠재적 장애물(예: 다른 댄스 커플)을 예리하게 의식하고 상황적으로 인식할 필요가 있는데, 피드백을 주는 사람도 마찬가지어서 예를 들면 학습자의 반응과 환경적 방해 요인을 고려해야 한다.

Like the tango,73 the feedback interaction can appear to be composed of a complex set of movements. 

• The various contexts (e.g., CEX, MSF, written feedback), tools and forms used, and focus areas of performance make for a very complex interaction.74,75 

• Comparable to the multidirectional movements in the tango, feedback exchanges are not linear and straightforward and can be affected by the interplay of factors such as teacher characteristics and context.25 

• Just as the emotional state of the dance partners may affect the tango, the affective reactions of the feedback provider and receiver may impact the feedback interaction.76 

• Dance partners must trust one another and believe their partner is credible, as must individuals in a feedback exchange.77,78 

• Adding to the complexity and challenge, tango pairs need to be keenly mindful and situationally aware of each partner’s state, their surroundings, and any potential obstacles (e.g., other dance couples), as do feedback providers, who need to account for, as examples, environmental distractions and the reactions of the learner.

피드백 교환은 독백도 아니고 일방적인 것도 아니다. 오히려 양방향 대화여야 한다. 49,74 단순한 정보(예: 수치 데이터)를 피드백으로 제공하는 일방적 정보는 유용하지 않을 것이다. 속담에도 있듯이, "탱고를 추기 위해서는 두 사람이 필요하다." 탱고는 즉흥적이고 자발적인 춤일 수 있다. 두 파트너는 서로에게 빠르게 적응하고 "흐름에 맞춰" 갈 필요가 있다. 탱고를 한 사람이 출 수 없는 것처럼, 피드백도 개인이 단독으로 행동하는 방식으로 발생하지 않아야 한다(즉, 도움이 되는 파트너가 없음). 피드백을 주고받는 양측 모두 뒤이어 무엇이 따라올지에 대한 고정된 생각을 가지고 있지 않아야 하며, 상대방에게 적절하게 반응할 용의가 있어야 한다.

The feedback exchange should neither be a monologue nor unidirectional; rather, it should be an interactive, two-way dialogue.49,74 The one-way provision of simple information as feedback (e.g., numerical data)55,58,68 is not likely to be helpful. As the saying goes, “it takes two to tango.” The tango can be an improvisational, spontaneous dance, with both partners needing to adapt quickly to one another and “go with the flow.” Just as the tango cannot be performed by a single individual,79 feedback should not happen with an individual acting in isolation (i.e., without a helpful partner). Neither partner in the feedback exchange should have a fixed idea of what is to ensue, but each should be willing to respond appropriately to the other.

적절한 교육과 연습 없이 복잡한 춤을 배우는 것은 꽤 어려울 것이다. 마찬가지로 피드백과 같은 복잡한 과정에는 충분하고 정기적인 교수 훈련이 필요하다. 이 검토에 포함된 여러 논문과 다른 저자에 따르면, 피드백과 관련한 교수개발이 불충분하거나 효과적이지 않을 수 있다고 제안한다.80,81 피드백에 대한 최소한의 지침(예: 양식의 지침에 대한 간단한 설명 읽기)만 주고 deliberate practice가 없다면 잘 풀리지 않을 것이다.

Learning a complex dance without proper instruction and practice would be quite challenging. Similarly, sufficient and periodic faculty training is necessary for such a complex process as feedback. Several of the articles included this review and by other authors suggest that faculty development in feedback is insufficient26,28,29,31,46,62 or may not be effective.80,81 Minimal instruction in feedback (e.g., reading a short description of instructions on a form) without deliberate practice is not likely to work out well.

오랜 기간 동안 댄스 파트너와 함께 일하는 것은 두 사람의 성과를 향상시킨다. 교사와 학생 간의 장기적 관계를 확립하는 것은 피드백의 내용과 과정에 도움이 되는 것으로 보인다.25,32,50,58,82,83 오랜 시간에 걸쳐, 같은 파트너와 춤을 연습하게 되면, 어떻게 하면 적은 저항으로 서로에게 동작이 점진적으로 제공되는지를 향상시킬 수 있다. 이와 마찬가지로 피드백 교환 중에 학습자와 교사가 정보를 상호 수용하는 것이 중요하다.85

Working with a dance partner over longer periods improves the performance of the pair. Establishing longer-term relationships between teachers and students appears to help the content and process of feedback.25,32,50,58,82,83 Over time, practicing with the same dance partner may improve how movements are progressively offered to one another with less resistance,84 similar to how during the feedback exchange it is important for learners and teachers to mutually accept information.85

통합 검토에서 배운 다른 두 가지 교훈은 탱고의 은유에 딱 들어맞지 않는다. 

• 첫째, 성별은 제공자와 수신자 간에 교환되는 피드백 정보에 영향을 미친다. 피드백 제공자와 수신자는 또한 가능한 성별과 무의식적인 편향 효과를 염두에 두어야 한다. 

• 둘째, 손으로 쓴 피드백은 많은 경우에 정보를 판독할 수 없기 때문에 문제가 된다. 의료 교육자들은 이제 정보 기술을 이용할 수 있게 됨에 따라 손으로 쓰는 방식의 피드백의 제공을 제거하는 것을 고려해야 한다.

Two other lessons learned from our integrative review do not fit neatly into the tango metaphor. 

• First, gender has an impact on the feedback information exchanged between the provider and receiver. Feedback providers and receivers should also be mindful of possible gender and unconscious bias effects. 

• Second, handwritten feedback is problematic because of the frequency of illegible information. With the information technology now available, medical educators should consider eliminating the provision of feedback through handwritten means.

권고

Recommendations

이 통합적 검토와 학습자에 대한 피드백 내용의 분석에서 얻은 교훈을 바탕으로 피드백을 개선하기 위한 몇 가지 향후 방법 및 추가 연구를 위한 영역을 제안한다. 우리의 권고사항 중 일부는 일반적인 관행에서 상당한 이탈일 수 있고 다른 자원을 필요로 할 수 있지만, 우리의 증거 통합은 낮은 품질의 피드백, 관대함 편견, 피드백 도구의 부적절한 사용, 피드백 제공자의 피드백 능력의 결여, 성별에 따른 영향 등을 포함하는 현재의 상황들을 보여준다.

Based on the lessons learned from this integrative review and analysis of the content of feedback to learners, we propose several future methods for improving feedback as well as areas for additional research. Some of our recommendations may be significant departures from normal practices and require different resources,86 but our evidence synthesis shows that the current state of affairs with feedback includes low-quality feedback, leniency biases, inadequate use of feedback tools, deficiencies in the feedback competency of feedback providers, and gender impacts.

잘 훈련된 교수진 공급자의 수를 제한한다.

Limit the number of well-trained faculty providers.

모든 사람이 춤을 잘 출 수 있는 것은 아니다. 우리는 훈련된 피드백 제공자의 수를 상당히 줄일 것을 권고한다. 우리는 모든 교수진의 피드백 능력 수준을 균일하고 지속적으로 올리는 것을 기대하는 것은 비현실적이라고 생각한다. 피드백이 성공하려면 학습자와 긴밀하게 협력하는 unique한 의학교육자 그룹이 요구될 수 있다.37 오늘날, 임상 학습 환경은 선생님과 학습자 사이의 매우 간소화된 서비스 요건 및 상호작용으로 가득 차 있으며, 이는 피드백 교환을 더욱 어렵게 한다. 비록 단기 교수진의 존재와 학습자와의 상호작용을 무시할 수는 없지만, 교사와 학습자 모두 이러한 상황에서 의미 있는 또는 품질 피드백을 제공하는 것의 한계를 인식하고, 왜 피드백이 무시되거나 거부되는지 이해해야 한다. 제안된 전담 교수 피드백 제공자 그룹은 대학원 의학 교육 이정표 또는 CanMEDS와 같은 프레임워크를 사용하여 원하는 역량의 학습자 성취도를 평가하는 그들의 노력을 지시할 수 있다.

Not everyone can dance well. We recommend that the number of trained feedback providers be narrowed down significantly. We believe it is unrealistic to expect to uniformly and consistently raise the level of feedback competency for all faculty. A unique group of medical educators working closely with learners may be required for feedback to be successful.37 Today, the clinical learning environment is fraught with briefer teacher and learner service requirements and interactions, which makes feedback exchanges challenging. Although we cannot ignore the presence of short-term faculty and their interactions with learners,87 both teachers and learners should recognize the limitations for providing any meaningful or quality feedback in these situations and understand why feedback may then be ignored or rejected. The proposed dedicated group of faculty feedback providers could also direct their efforts toward assessing learner achievement of desired competencies using frameworks, such as the Accreditation Council for Graduate Medicine Education Milestones or CanMEDS.

피드백은 주로 교수진과의 종단적 관계 내에서 발생해야 한다.

Feedback should predominantly occur within longitudinal relationships with faculty.

이 훈련된 피드백 제공자의 소규모 그룹은 학습자와의 종단적 관계뿐만 아니라 그들의 피드백 기술에 대한 장기적인 deliberate practice을 약속할 필요가 있을 것이다. 좀 더 멘토링이나 도제식 방식의 접근이 필요할지도 모른다. 물론, 종단적 관계가 기능적이지 않다면 양날의 칼이 될 수 있는데, 이것은 올바른 춤(즉, 교육) 파트너를 찾아야 한다는 것을 강조한다. 따라서, 장기적인 관계에서 중요한 것은 교육 동맹을 만드는 것이어야 한다. 뛰어난 탱고의 한 쌍과 유사하게, 강력한 교육 연합을 이룬 선생님들과 학습자들은 서로를 존중하고, 함께 일하는 것의 성공을 돌보고, 그들 각자의 역할의 결점을 논의할 만큼 충분히 심리적으로 안전하다고 느낀다.

This smaller group of trained feedback providers will need to commit to long-term, deliberate practice of their feedback skills, as well as to longitudinal relationships with learners.88 More of a mentoring or apprenticeship-like approach may be needed.50 A longitudinal relationship can, of course, be a double- edged sword if it is not functional, which emphasizes the need to find the right dance (i.e., educational) partners. Consequently, the emphasis of the long- term relationship should be to create an educational alliance.86,89 Similar to a high- performing tango pair, the teacher and learner in a strong educational alliance have mutual respect for one another, care for the success of their work together, and feel psychologically safe enough to discuss shortcomings in their respective roles.86

기존 피드백 도구 수정.

Modify existing feedback tools.

이 검토에 포함된 기사에 설명된 피드백 도구 중 일부는 성공적으로 사용된 것으로 보였다.23,43, 피드백 도구의 사용을 개선하고, 피드백 제공자의 관대함 편향을 다루며, 교수 평가 노력의 품질을 극대화하기 위해, 우리는 긍정적인 피드백에 대한 기존의 서술적 공간을 제거하는 식으로 피드백 도구를 변경할 것을 권고한다. 그러나 건설적인 피드백을 위한 서술적 공간을 남긴다. 피드백 제공자는 여전히 구두로 긍정적인 피드백을 제공할 가능성이 높지만, 개선 분야와 실행 계획에 도구를 명시적으로 집중하면 결국 보강과 건설적 피드백의 균형을 더 잘 유지할 수 있다. 

Some of the feedback tools described in articles included in this review seemed to be used with success.23,43,63 To improve the use of feedback tools, address the leniency bias of feedback providers, and maximize the quality of the faculty evaluative effort, we recommend changing feedback tools by eliminating existing narrative spaces for positive feedback but leaving narrative spaces for constructive feedback. Providers will likely still provide positive feedback, maybe verbally, but explicitly focusing the tools on areas of improvement and action plans may lead to a better balance of reinforcing and constructive feedback in the end. 

일반적으로 피드백 도구는 

• 명시적(즉, 일반적인 질문은 작동하지 않는다), 

• 단순(예: 평가되는 역량 또는 행동 수 제한), 

• 장기간에 걸쳐 반복적으로 사용

• 상황 특이적으로 설계(더 효과적일 수 있음)

...되어야 한다.69 

그러나, "완벽한" 피드백 도구를 만들기 위한 고립된 노력은 헛수고일 수 있으며, 너무 환원주의적 접근이 될 수 있다.74

In general, feedback tools need to be made 

• explicit (i.e., general questions do not work), 

• simplified (i.e., limit the number of competencies or behaviors being assessed), 

• used frequently over time,62 and 

• designed to be situation-specific (which may make them more effective).69 

However, an isolated effort to create the “perfect” feedback tool may be a futile exercise and too reductionistic an approach.74

피드백 교환을 위한 적절한 단계 결정

Determine the right steps of the feedback exchange.

탱고는 일련의 구조화된 단계를 포함하며, 이러한 단계를 효과적으로 실행하면 성능이 향상된다.90 

적절한 시간에 적절한 기술을 사용하여 피드백 교환의 연속체에 대해 효과적인 일련의 단계를 결정하는 것은 여전히 중요한 연구 영역이다.91,92

The tango includes a series of structured steps, and the effective execution of these steps results in an enhanced performance.90 

Determining an effective series of steps over the continuum of the feedback exchange, completed at the appropriate times and with the proper technique (e.g., two-way dialogue), continues to be an important area of study.91,92

지속적, 외부 피드백 제공

Deliver ongoing, external feedback.

Archer74는 피드백 문화를 개선하기 위한 방법으로 외부 피드백(무용수나 운동선수에 대한 코칭 및 빈번한 피드백과 유사함)을 통해 학습자 성찰을 높일 것을 지지한다.

Archer74 advocates increasing learner reflection-in-action informed by external feedback (similar to the coaching and frequent feedback professional dancers and athletes receive) as a way to improve the feedback culture.

우리는 보다 지속적이고, 예측가능하며, 반복적인 외부 피드백의 시스템을 만들고, 형성적 피드백과 총괄적 피드백이라는 잘못된 이분법을 제거할 것을 권고한다.74 총괄평가(예: 성적)에 너무 많이 집중하면 피드백에 대한 학생 수용률이 낮아질 수 있다.96 학생들은 또한 형성피드백을 총괄적 목적을 가졌다고 혼동하고 피드백을 무시할 수 있다. 총괄평가 자체는 불가피할지라도, 평가와 관련한 빈번하고 신뢰할 수 있는 피드백을 포함하는 지속적인 평가 프로그램이 형성피드백 및 총괄피드백의 목표를 달성하고 잠재적으로 피드백 문화를 개선하는 데 도움이 될 수 있다.98 

We recommend creating a system of more continuous, expected, ongoing, external feedback95 and eliminating the false dichotomy between formative and summative feedback.74 Too much focus in a learning environment on summative assessment (e.g., grading) may lead to less student receptivity to feedback.96 Students may also confuse formative feedback as serving summative purposes and ignore the feedback.97 Although summative assessment is unavoidable, an ongoing program of assessment with associated frequent, credible feedback could help achieve the goals of both formative and summative feedback and potentially improve the feedback culture.98 

피드백 시스템의 구성 요소에 대해여 자주 그리고 여러 가지 수단을 통해 학습자와 의사소통할 필요가 있을 것이다. 최적의 문화는 동료피드백을 유용하게 만들어줄 수 있다.58 또한 우리는 피드백을 받고 배우는 학습자의 능력을 향상시키는 데 보다 concerted하게 초점을 맞출 것을 권고한다. 이 능력은 교사와 학습자가 원하는 이상적인 피드백 문화와 학습 환경을 개발하는 또 다른 수단이다.

The components of this improved feedback system would need to be communicated often and through multiple means with learners. The optimal culture may allow for peer feedback to be useful.58 We also recommend a more concerted focus on improving learners’ abilities to receive and learn from feedback,99 as another means of developing the ideal feedback culture and learning environment that teachers and learners likely desire.

전반적 피드백 문화 개선

Improve the overall feedback culture.

조직의 전반적인 피드백 문화는 교육 리더들이 [구체적이고 공식적이며 지속적인 교수개발을 포함하는] 강력한 구조를 설계함으로써 강화될 것이다. 교수진이 이 평가 노력에 투자하는 시간의 가치를 극대화하기 위해, 시스템을 지속적으로 평가하고 개선하면서 전체 평가 시스템에 대해 사전 예방적이고 사려 깊은 접근법이 있어야 한다(피드백만을 고립하여 생각하지 말아야 한다). 

The overall feedback culture of an organization would be enhanced by its educational leaders designing a robust structure that includes specific, formal, ongoing faculty development. To maximize the value of the time that faculty invest in this evaluative effort, there should be a proactive and thoughtful approach to the entire evaluation system (i.e., not just thinking about feedback in isolation), with the system being internally assessed and improved upon continuously. 

탱고 은유로 돌아가면서, 우리는 댄스 스튜디오의 소유자 또는 수석 안무가가 최적의 환경 (예: 댄스 스튜디오의 신체적 조건, 좋은 음악, 숙련된 트레이너, 무용수들의 적절한 짝짓기, 안무), 긍정적인 문화 장려, 그리고 지속적인 향상을 강조할 책임이 있다고 제안한다. 댄스 쌍과 스튜디오 전체의 피드백 문화에 대한 향후 연구는 전체 피드백 및 평가 시스템과 피드백을 통해 현재의 문제로부터 필요한 변화를 달성하기 위한 모범 사례를 확립하는 책임을 지는 의료 교육 지도자 또는 팀에 초점을 맞출 수 있다.

Returning to our tango metaphor, we put forward that the dance studio owner or senior choreographer is responsible for creating the optimal environment (e.g., the physical conditions of the dance studio, good music, skilled trainers, appropriate pairing of dancers, choreography), encouraging a positive culture, and emphasizing the continuous enhancement both of dance pairs and of the entire studio. Future research on feedback culture could focus on the medical education leaders or team responsible for establishing the entire feedback and evaluation system and the best practices to achieve the needed shift from our current state of affairs with feedback.

Limitations

Conclusions

---

Acad Med. 2018 Apr;93(4):657-663. doi: 10.1097/ACM.0000000000001927.

The Feedback Tango: An Integrative Review and Analysis of the Content of the Teacher-LearnerFeedback Exchange.

Bing-You R1, Varaklis K, Hayes V, Trowbridge R, Kemp H, McKelvy D.

Author information

1

R. Bing-You is professor, Tufts University School of Medicine, Boston, Massachusetts, and vice president for medical education, Maine Medical Center, Portland, Maine. K. Varaklis is clinical associate professor, Tufts University School of Medicine, Boston, Massachusetts, and designated institutional official, Maine Medical Center, Portland, Maine. V. Hayes is clinical assistant professor, Tufts University School of Medicine, Boston, Massachusetts, and faculty member, Department of Family Medicine, Maine Medical Center, Portland, Maine. R. Trowbridge is associate professor, Tufts University School of Medicine, Boston, Massachusetts, and director of undergraduate medical education, Department of Medicine, Maine Medical Center, Portland, Maine. H. Kemp is medical librarian, Maine Medical Center, Portland, Maine. D. McKelvy is manager of library and knowledge services, Maine Medical Center, Portland, Maine.

Abstract

PURPOSE:

To conduct an integrative review and analysis of the literature on the content of feedback to learners in medical education.

METHOD:

Following completion of a scoping review in 2016, the authors analyzed a subset of articles published through 2015 describing the analysis of feedback exchange content in various contexts: audiotapes, clinical examination, feedback cards, multisource feedback, videotapes, and written feedback. Two reviewers extracted data from these articles and identified common themes.

RESULTS:

Of the 51 included articles, about half (49%) were published since 2011. Most involved medical students (43%) or residents (43%). A leniency bias was noted in many (37%), as there was frequently reluctance to provide constructive feedback. More than one-quarter (29%) indicated the feedback was low in quality (e.g., too general, limited amount, no action plans). Some (16%) indicated faculty dominated conversations, did not use feedback forms appropriately, or provided inadequate feedback, even after training. Multiple feedback tools were used, with some articles (14%) describing varying degrees of use, completion, or legibility. Some articles (14%) noted the impact of the gender of the feedback provider or learner.

CONCLUSIONS:

The findings reveal that the exchange of feedback is troubled by low-quality feedback, leniency bias, faculty deficient in feedback competencies, challenges with multiple feedback tools, and gender impacts. Using the tango dance form as a metaphor for this dynamic partnership, the authors recommend ways to improve feedback for teachers and learners willing to partner with each other and engage in the complexities of the feedback exchange.

PMID:

 

28991848

 

DOI:

 

10.1097/ACM.0000000000001927