CBME에서 양적 피드백과 질적 피드백(Med Teach, 2017)

CBME에서 양적 피드백과 질적 피드백(Med Teach, 2017)

Qualitative and quantitative feedback in the context of competency-based education

Ara Tekiana , Christopher J. Watlingb, Trudie E. Robertsc, Yvonne Steinertd and John Norcinie 

aDepartment of Medical Education, College of Medicine, University of Illinois, Chicago, IL, USA; bSchulich School of Medicine and Dentistry, Western University, London, ON, Canada; cMedical Education Unit, Leeds Institute of Medical Education, Leeds, UK; dCenter for Medical Education, McGill University, Montreal, QC, Canada; eFoundation for Advancement of International Medical Education and Research, Philadelphia, PA, US

도입

Introduction

CBME 는

(1) 성과에 초점을 맞춘다. 

(2) 능력을 강조한다. 

(3) 시간 기반 학습을 강조하지 않는다. 

(4) 학습자 중심성을 유도한다

CBME 

(1) focuses on outcomes, 

(2) emphasizes abilities, 

(3) deemphasizes time-based learning and 

(4) promotes greater learner-centeredness.

피드백의 맥락에서 평가

Assessment in the context of feedback

놀랍게도, 피드백에 대한 연구는 그것이 가변적인 효과를 가지고 있다는 것을 나타낸다. (van de Ridder et al. 2015)

Surprisingly, the research on feedback indicates that it has a variable effect (van de Ridder et al. 2015).

이러한 가변적 효과에 대한 설명은 피드백 자체, 즉 질적인지 양적인지, 누가 그것을 전달하는지, 그것이 어떻게 전달되는지, 언제 전달되는지, 그리고 강사 및 학습자의 상황 및 개인적 특징은 무엇인지 등에 초점을 맞추는 경우가 많습니다. 그러나 좋지 않은 평가도 한몫을 할 수 있다. 피드백은 항상 평가에 따라 예측되며, 평가가 부정확할 경우 피드백은 기껏해야 비효과적이며, 최악의 경우는 해롭기 때문이다.

Explanations of these variable effects often focus on the feedback itself: whether it is qualitative or quantitative; who delivers it; how it is delivered; when it is delivered; and the situational and individual characteristics of the instructor and learner (Shute 2008). However, poor assessment may also play a role. Feedback is always predicated on assessment and if that assessment is inaccurate, feedback will be at best ineffective and at worst harmful.

이러한 어려움을 피하려면 측정 오차의 가장 큰 근원인 "수신자와 관찰자의 맥락특이성 효과"를 관리하는 것이 중요하다.

To avoid these difficulties, it will be important to manage the largest sources of measurement error, which are context specificity effects for recipients and observers.

피드백의 맥락에서 평가는 강점과 약점에 대한 추론을 서포트하고 교육적 인터벤션의 선택을 촉진해야 한다(Bennett 2009).

Assessment in the context of feedback should support inferences about strengths and weaknesses and facilitate the selection of educational interventions (Bennett 2009).

따라서, 피드백은 실행 계획과 분명한 연관성을 가져야 한다. 그러나 현실에서, 우리는 종종 피드백의 토대로 총괄평가를 사용한다. 그러나 총괄평가라는 책임감있는 측정은 전반적인 학습 추정치를 제공하기 위해 고안되었으므로, 종종 강점과 약점에 대한 구체적인 정보가 부족하고, 특정한 교육적 개입과 관련이 없으며, 학생들의 태도에 부정적인 영향을 미친다.

Thus, it should have an obvious link to an action plan. In practice, we often use summative assessment as the basis for feedback. These accountability measures are designed to provide an overall estimate of learning, so they often lack specific information about strengths and weaknesses, they are not associated with specific educational interventions, and they negatively impact students’ attitudes.

예를 들어, 졸업시험은 다음 단계의 교육에 대한 준비 상태에 대한 전반적인 판단을 제공하도록 설계되었지만, 이것으로는 장점과 약점을 추정할 수도 없고, 이것이 교정 또는 개선을 위한 구체적인 계획과 연관되지도 않습니다. 따라서 평가의 내용과 형식은 피드백의 목적으로 특별히 선정되어야 하며 실행 계획에 직접 연결되어야 한다. 이를 위해서는 추가 자원이 필요할 수 있는데, 전체 퍼포먼스 추정치를 생성하는 것보다 측정 관점에서 장점과 단점을 식별하는 것이 더 어렵기 때문이다.

For example, exit examinations are designed to provide an overall judgment about readiness for the next stage of training, but they are not capable of estimating strengths and weaknesses nor are they associated with specific plans for remediation or improvement. Therefore, the content and format of assessments need to be chosen specifically for the purpose of feedback and have a direct connection to action plans. This may require additional resources since the identification of strengths and weaknesses is more challenging, from a measurement perspective, than generating an overall estimate of performance.

수신인과 관찰자의 맥락특이성 효과는 관찰 기반 평가에서 측정 오류의 가장 큰 원천일 수 있다. 케이스별로 퍼포먼스가 다르다는 것이 반복적으로 입증되었습니다. 구체적인 맥락에 따라, 강점과 약점에 대한 자신감 있는 판단을 내리기 위해서는 더 폭넓은 표본 추출이 필요하다. 제한된 샘플에 기초한 피드백은 덜 정확하고 유용할 가능성이 적다. 따라서 교육 프로그램은 여러 가지 맥락에 걸쳐 다양한 피드백 상호작용을 보장해야 한다.

Context specificity effects for recipients and observers are probably the largest sources of measurement error in any observation-based assessment. It has been repeatedly demonstrated that performance is case specific. Depending on the specific context, wider sampling is required to generate confident judgments about strengths and weaknesses. Feedback based on a limited sample is less accurate and less likely to be useful. Educational programs should thus ensure multiple feedback interactions across multiple contexts.

이는 추가 평가 정보를 얻을 기회를 제공한다는 점에서 '대화를 중심으로 한 접근법'이 더 효과적일 수 있음을 의미한다(Brehaut et al. 2016). 마찬가지로, 자기 평가에 기초한 피드백은 정확하지 않을 가능성이 낮으므로 다른 사람의 관찰결과를 바탕으로 자기 평가를 보완하는 것이 중요하다(Davis et al. 2006).

This implies that an approach built around dialog may be more effective because it provides an opportunity to acquire additional assessment information (Brehaut et al. 2016). Similarly, it means that feedback based on self-assessment is unlikely to be accurate so it is critical to supplement self-assessment with the observations of others (Davis et al. 2006).

관찰자 훈련은 중요하다. 이러한 훈련의 목적은 의견 불일치에 대한 부적절한 원인(예: 평가 양식의 오해에 기초한 관찰자 간의 차이)을 제거하고, 일관되게 표준의 적용할 수 있도록 유도하는 것이다.

observer training is important. The aim of such training is to eliminate inappropriate reasons for disagreement (e.g. differences between observers based on misunderstandings of the rating form) and encourage the application of consistent standards.

한편, 관찰자 변동성은 또한 훈련생들이 여러 번의 만남 과정에 걸쳐 여러가지 건설적인 관점에 노출될 수 있는 기회를 제공하기 때문에 ongoing 또는 periodic 평가 프로그램이 더 효과적일 수 있다는 것을 의미한다.

Observer variability also implies that a program of ongoing or periodic assessment is likely to be more effective, since it offers the opportunity for trainees to be exposed to multiple constructive perspectives over the course of several encounters.

글로 주어지는 피드백

Feedback as words

피드백은 발신자에서 수신자로의 단순한 정보 전달이 아니라, 복잡하고 난해한 의사소통 형태이다(Higgines et al. 2001).

feedback is not a simple information transfer from sender to recipient; rather, it is a complex and challenging form of communication (Higgins et al. 2001).

대화는 세 가지 핵심 요소인 콘텐츠, 플레이어, 컨텍스트로 구성됩니다. 

A conversation comprises three key elements: content, players and context. 

대부분의 피드백 교육은 콘텐츠에 초점을 맞추고 있으며, 콘텐츠에 대한 조언은 실제로 타당하다. 피드백이 의미를 가지려면, 시기적절하고, 정보에 입각하고, 구체적이며, 실행 가능하고, (사람 지향적이 아니라) 직무 지향적인 것이어야 한다(Lefroy et al. 2015).

Most feedback training focuses on content, and the familiar advice about content is indeed sound. For feedback to be meaningful, it should be timely, well-informed, specific, actionable and task-directed rather than person-directed (Lefroy et al. 2015).

하지만 말은 대화의 한 부분에 불과하다. player들, 대화가 왜 일어나고 있는지에 대한 그들의 이해, 그리고 그들의 관계 또한 중요하다. 교사는 신뢰할 수 있는 피드백 출처여야 한다. 

But words are merely one part of a conversation. The players, their understanding of why the conversation is occurring, and their relationship are also critical. The teacher must be a credible source of feedback ( a broad spectrum of individuals might serve this purpose). 

교사는 일반적으로 임상적 전문지식을 보여줌으로써 신뢰를 얻을 뿐만 아니라, 관찰을 통해 학습자의 강점과 약점을 이해하고 정보에 입각한 피드백을 만들어냄으로써 신뢰성을 얻는다.

Teachers earn credibility not only by demonstrating clinical expertise, but also by engaging in the creation of well-informed feedback, typically by observing the learner to understand their strengths and weaknesses.

감정은 참가자들이 피드백과 상호작용하는 방법에 영향을 미친다. 교사는 학습자에게 해를 끼칠까 두렵거나, 어려운 대화에 대한 불편한 느낌 때문에 부정적인 피드백을 주는 것을 꺼리며, 학습자는 강한 부정적 감정적 반응을 일으키는 피드백으로 인해 어려움을 겪을 수 있다(Eva et al. 2012). 목적의 명확성은 피드백이 교환되는 방식을 바꾼다. 참가자들이 대화의 의도에 동의하였고, 그들의 목표가 일치합니까? 또한 교사-학습자 관계는 피드백 대화에서 크게 드러난다(Telio et al. 2015). 관계에 대한 신뢰는 피드백을 촉진하는데, 특히 진행이 어려워지고 피드백이 중요하거나 수정되어야 할 때 그렇다.

Emotions affect how the players interact with feedback. Teachers may temper negative feedback for fear of harming learners, or due to discomfort with challenging conversations, and learners may struggle with feedback that engenders a strong negative emotional response (Eva et al. 2012). Clarity of purpose further modifies the feedback exchange. Do the players agree on the intent of the conversation, and are their goals aligned? In addition, teacher-learner relationships loom large in feedback conversations (Telio et al. 2015). Trusting relationships facilitate feedback, particularly when the going gets tough and the feedback must be critical or corrective.

컨텍스트는 피드백 대화의 세 번째 핵심 요소로 구성됩니다. 피드백 대화는 피드백이 이뤄지는 학습문화와 분리될 수 없다. 서로 다른 학습 문화는 피드백에 대한 각자의 방식을 전수하며, 동일한 개인이라도 상황이 달라지면 피드백에 다르게 반응할 수 있다. 음악, 스포츠, 춤의 세계에서 일상적으로 이뤄지는 비판적이거나 부정적인 피드백은 대부분의 의학 교육 분야에서 흔한 것이 아니며, 따라서 학습자에게 분명하게 불편함을 느낄 수 있다(Watling et al. 2014).

Context comprises the third key element of the feedback conversation. Feedback conversations are inseparable from the learning cultures in which they occur. Different learning cultures routinize distinct approaches to feedback, and the same individuals may respond differently to feedback when the setting changes. Critical or negative feedback, while routine in the worlds of music, sports, and dance, is not normalized in most areas of medical education and can thus feel distinctly uncomfortable to learners (Watling et al. 2014).

문화가 좋은 피드백 컨텐츠를 정의하지 않는다. 구체적이고 시기적절하며 신뢰할 수 있고 건설적인 피드백이 대부분의 환경에서 평가되는 것처럼 보이는 반면, 개선의 분명한 경로가 없는 모호한 피드백은 어떤 상황에서도 좋게 평가되지 않습니다. 

Culture does not define good content; specific, timely, credible and constructive feedback appears to be valued in most settings, while vague feedback lacking a clear path to improvement is unlikely to be valued in any setting. 

문화는 또한 동기부여가 되는 플레이어를 만들지 않는다. 그들은 학습과 피드백에 대한 그들 자신의 방향을 가지고 테이블에 올 것이다. 하지만 문화는 좋은 피드백을 만들며, 학습자들이 반응할 수 있는 기회를 만든다.

Culture also does not create motivated players – they likely come to the table with their own orientation to learning and feedback. Culture does, however, create the opportunities for good feedback to occur and for learners to respond.

음악, 스포츠 및 교사 훈련과 같은 일부 학습 문화는 교사들이 오랜 시간 동안 학습자를 관찰할 기회를 정기적으로 만듦으로써, 정보에 입각한 피드백 대화의 토대를 마련한다(Watling et al. 2013). 의학은 늘 학습자에 대한 관찰이 부족해왔다. (Day et al. 1990; Illson et al. 1995; Howley & Wilson 2004) 그 결과 피드백에 사용되는 단어들이 신중하게 선택되고, 참가자들이 동기부여를 받았더라도, 종종 피드백 대화는 피상적이고 정보가 부족하다는 느낌을 주게 되는 것이다.

Some learning cultures – for example, music, sports, and teacher training – routinely create opportunities for teachers to observe learners over extended periods of time, thus producing the foundation for well-informed feedback conversations (Watling et al. 2013). Medicine continues to under-observe its learners (Day et al. 1990; Isaacson et al. 1995; Howley & Wilson 2004). the impact on feedback is that its conversations often feel superficial and poorly informed, even if the words are carefully chosen and the players are motivated.

문제점과 기회

Challenges and opportunities

의학 훈련에서, "단어로서의 피드백"은 종종 대화처럼 느껴지지 않는 서면 형태로 제공된다. 서면 코멘트는 [피상성]과 [지나친 정치성]이라는 쌍둥이 병폐를 겪는다. 따라서 학습자는 서술적 코멘트의 의미를 판독하기 위해 "행간읽기"를 해야 하며, 종종 유용한 지침이나 지시를 주지 못하는 경우가 많습니다(Lye et al. 2001; Ginsburg et al. 2015). 촉진은 앞으로 나아갈 길을 제공할 수 있다. 예를 들어 Sarnard 등(2015년)은 학습자가 서면 코멘트에 대해 진정한 대화를 나누고, 피드백 다이내믹에서 대화가 적절한 위치를 갖도록 할 것을 옹호합니다.

In medical training, “feedback as words” is often provided in written form, which does not feel very much like a conversation. Written comments suffer the twin maladies of superficiality and over-politeness. As a result, learners must “read between the lines” to decipher the meaning of narrative comments and are often left without useful guidance or direction (Lye et al. 2001; Ginsburg et al. 2015). Facilitation may offer a way forward. Sargeant et al. (2015), for example, advocates engaging learners in an authentic conversation about written comments, returning conversation to its rightful place in the feedback dynamic.

게다가, 의학은 상습적으로 코치와 평가자의 역할 경계를 모호하게 한다. 일반적으로 학생들에게만 책임이 있는 스포츠 코치나 음악 교사들과는 달리, 의료 교사들은 기관, 지역사회, 그리고 대중에게도 책임이 있다.

Complicating matters further, medicine habitually blurs the lines between the roles of coach and assessor. Unlike sports coaches or music teachers, whose accountability is generally to their students alone, medical teachers are also accountable to institutions, communities and the public.

교사들이 한 학습자에게 코치와 평가자의 역할을 동시에 수행할 때, 피드백 대화는 흐려지고, 그것의 이해관계와 의도가 불분명해진다. 결과적으로, 자신의 약점을 다루고 해부하려는 학습자의 의지가 손상될 수 있다. 잠재적인 해결책은 코칭에 대해 보다 명확하게 설명하는 대화를 만드는 것입니다. 그러한 대화에서 교수자와 학습자는 모두 개발적이고 개선적인 의도를 잘 이해할 수 있다.

when teachers act as coaches and assessors at the same time for the same learner, the feedback conversation becomes fraught, its stakes and intent unclear. As a result, a learner’s willingness to table and dissect their weaknesses may be compromised. A potential solution is to create conversations that are more clearly about coaching – where the developmental, improvement-oriented intent is well understood by both players.

대화는 단어만으로 이뤄지는 것이 아니다. 피드백이 진정한 반향을 불러일으키기 위해서, 우리는 우리가 대화하는 것, 즉 단어, 사람, 관계, 그리고 맥락을 만드는 모든 것에 주의를 기울이는 진정한 대화에 우리의 말을 포함시켜야 합니다.

Words alone do not a conversation make. For feedback to resonate, we need to ensure that we embed our words in authentic conversations where we attend to all the things that make conversations tick – words, people, relationships and context.

숫자로서 피드백

Feedback as numbers

학생들은 항상 더 많은 피드백을 원하지만, 교수진들은 (그들의 역할에 대한 다른 모든 기대를 감안할 때) 피드백을 줄 시간이 점점 더 적어진다. 숫자 또는 데이터는 이 수요를 충족시키는 방법이 될 수 있다.

Students always want more feedback and faculty members have less and less time given all the other expectations of their roles. Numbers, or data, can provide a way to satisfy this demand.

피드백이 평가자 또는 지도자와 서면 또는 구두 상호작용의 형태를 취할 필요가 있다고 일반적으로 생각되지만, 인간의 감정과 편견이 의미하는 것은 [피드백을 제공하는 사람이 내린 해석에 학습자가 이의를 제기한다]는 것이다. 최악의 경우, 그러한 피드백은 의도했던 것과는 정반대의 결과를 초래하여 학습자에게 부정적인 정서적 영향을 미칠 수 있다.

Although it is commonly thought that feedback needs to take the form of written or verbal interactions with an assessor or tutor, emotion and inherent bias can mean that the learner disputes the interpretation of performance by the individual providing the feedback. In the severest cases, such feedback can have a negative emotional impact on the learner which produces the very opposite of what was intended.

예를 들어 개별화된 프로파일은 학습자가 다른 학습자와 비교했을 때, 또는 이미 설정된 기준과 비교했을 때 어느 위치에 있는지를 표시해준다. 따라서 개별화된 프로파일은 자기-평가와 성찰을 지원하며, 변화를 장려하고 촉진하다.

For example,individualized profiles can show where a learner may stand,relative to other learners or in comparison to an established criterion. As such, individualized profiles can support self-assessment, reflection. encourage and nudge change and facilitate

강점

Strengths

어떤 상황에서, 숫자는 천 장의 사진보다 더 의미 있을 수 있다. 숫자는 종합적인 개요 또는 추세를 효율적으로 전달할 수 있다. 또한 평가를 통해 획득한 누적 데이터는 학습진행률의 "개별화된" 지표로서 기능할 수 있기 때문에, 이를 기반으로 학습자의 프로필을 개발할 수 있습니다.

Under appropriate circumstances, numbers can be more meaningful than a thousand pictures. Numbers can efficiently convey aggregate overviews or trends. Moreover, they can be used to develop profiles of learners based on cumulative data acquired through assessments that can function as “individualized” indicators of learner progress

예를 들어, 야구에서 데이터 분석은 선수의 팀 기여도를 결정하기 위해 과거의 성과를 평가하고 미래의 성과를 예측하는 데 사용된다. 이것은 세이버메트리스라고 불린다.

For example, in baseball, data analytics are used in evaluating past performance and predicting future performance to determine a player’s contributions to his team. This is called sabermetrics.

약점

Weaknesses

숫자들은 유용한 정보를 제공하지만 숫자만으로는 감정적으로 도움이 되지 않을 수 있다. 숫자는 학습자의 교육 프로세스를 translating 것과 관련된 다른 여러 교육적 요소를 비인간화하거나 누락시킬 수 있다. 숫자에만 기반하여 수립한 학습 계획은 실제로 학습자의 요구를 충족하지 못할 수 있으며, 이러한 방식으로 계획을 개발하면 그 결과를 검토하는 것도 어려울 것이다.

While numbers may provide useful information, numbers alone can be emotionally unhelpful. They can depersonalize and miss other educational factors involved in translating the educational processes of the learner. Learning plans based on numbers alone may not actually fulfill the learner’s needs and reviewing the results of plans developed in this way will be difficult.

그렇다면 그 결론을 입증하기 위해 교수진의 피드백이 조합되어야 한다.

It is likely then that a combination of feedback from Faculty but based on numerical evidence to substantiate the conclusions will be the way forward.

교수개발과 피드백

Faculty development and feedback

피드백이 효과적이려면(Holmboe et al. 2011), 교수개발이 필수적이다. 보다 구체적으로 말하면, 교사들이 직면하는 공통된 과제를 해결하기 위해서 모든 교수개발 프로그램은 피드백이 발생하는 상황을 고려해야 한다.

faculty development is essential for feedback to be effective (Holmboe et al. 2011), be it in words or numbers. More specifically, any faculty development program must consider the context in which it occurs, address common challenges that teachers encounter

피드백은 여러 가지 맥락에서 발생하며 학습자와 교수진의 관점에서 모두 틀을 잡을 수 있다. 예를 들어, 학습자들은 종종 그들이 "측정"될 수 있는지 궁금해하면서, 동시에 감독관에게 "들키지 않을 수" 있기를 바란다. 그들은 또한 그 시험의 'stakes'가 무엇인지 걱정한다. 그것이 감독자의 신뢰인지, "좋은" 학생이라는 평판인지 등이 될 수 있다.

Feedback occurs in multiple contexts and can be framed from both a learner’s and a faculty member’s perspective. For example, learners often hope that they may “go unnoticed” by their supervisor while at the same time wondering if they will “measure up”. They also worry about what is at stake for them, be it the trust of the supervisor, the reputation of being a “good” student

그러나 대부분의 경우에 있어서 정말 중요한 것은 [학습자의 학습]과 [학습자가 가능한 최고의 의료 전문가로 발전하도록 하는 능력]이다. 이상적으로, 피드백은 장점을 토대로 약점을 해결하는 기회로 여겨져야 한다. 

In most cases,however, what is really at stake is their learning and their ability to develop into the best possible health care professional that they can be, and ideally, feedback should be seen as an opportunity to build on strengths and address personal weaknesses. 

교직원의 관점에서 교사들은 종종 

-어떻게 하면 환자와 학습자의 요구를 가장 잘 조화시킬 수 있는지, 

-학습자가 자신의 잠재력에 어떻게 도달할 수 있는지, 그리고 

-피드백을 제공하는 데 있어 공통적인 문제를 어떻게 해결할 수 있는지 궁금해 한다.

From a faculty perspective, teachers often wonder 

-how they can best balance the needs of their patients and learners, 

-how they can help learners reach their potential, and 

-how they can address common challenges in giving feedback

학습자와 교사 모두에게 피드백은 [인식된 stakes]과 [실제 stakes] 사이, 그리고 [새롭게 부상하는 필요]와 [기존의 우선 순위] 사이에서 균형을 잡는 행동이 될 수 있습니다.

For both learners and teachers, feedback can be a balancing act, between perceived and actual stakes and between emerging needs and priorities.

지금까지 학생과 레지던트에 대한 피드백을 높이기 위해 고안된 다양한 교수진 개발 프로그램들이 있지만, 이러한 폭넓은 내용과 접근방식에도 불구하고, 피드백 프로세스를 개선하려는 대부분의 교수개발 프로그램들이 직면한 주요 과제는 시스템 변화를 유발하는 것이다.

To date, diverse faculty development programs designed to enhance feedback to students and residents . Despite this breadth of content and approaches, however, bringing about systems changes remains a major challenge facing most faculty development programs trying to improve the feedback process.

앞으로, 지금까지 다루어졌던 핵심 콘텐츠에 초점을 맞추는 것이 좋습니다(위에서 설명). 여기에는 다음의 것들이 포함될 수 있다.

• 담론을 바꾸다 ("행동"에서 "피드백의 관계적 측면"으로) 

• 피드백을 주는 범위를 넓히다 ("행하는 것"에서 "되는 것"으로) 

• 피드백을 더 심각하게 받아들이다 ("잘 했어요"에서 "변화를 위한 계획"으로).

Moving forward, we would suggest an additional focus to the core content that has been addressed to date (and described above). This would include the need 

• to change the discourse (from behaviors to the relational aspects of giving feedback), 

• to expand the scope of giving feedback (from “doing” to becoming) and 

• to take feedback more seriously (from saying “good job” to planning for change).

피드백의 담론을 바꿀 때, 교수진들은 종종 "tick-box"로 인식해온 것에서 벗어날 수 있고, 교사들과 학습자들 사이의 의미 있는 대화로 피드백을 바라볼 수 있으며, 교수자-학습자 사이의 관계에 신경쓸 수 있고, 학습자는 "Fail의 공포"를 극복하고, 교수자는 "Fail시키지 못한 실패"를 극복할 수 있으며, 신뢰감과 유대감을 쌓기 위해 노력하게 될 것이다.

In changing the discourse of feedback, faculty members should be encouraged to move away from what is often perceived as a “tick-box” exercise to a meaningful conversation between teachers and learners, look at the teacher-learner relationship and what learners and teachers perceive, overcome a “fear of failure” among learners and a “failure to fail” among teachers and work on building a sense of trust and collegiality.

피드백의 범위를 확대하는 것은 다음을 포함한다.

• 피드백과 관찰을 연결하고, 

• 판단보다 학습에 초점을 두고,

• 구체적인 행동 뿐만 아니라 관찰한 것의 "게스탈트"를 고려하고, 

• 학습자 및 환자 요구에 집중 하고,

• 평가 과정에서 피드백의 역할을 강화한다. 

Expanding the scope of feedback includes 

• linking feedback to observation, 

• moving away from judgment to learning, 

• considering the “gestalt” of what is observed as well as specific behaviors, 

• focusing on learner and patient needs and 

• reinforcing the role of feedback in the assessment process. 

피드백을 심각하게 받아들이는 것은 다음을 포함한다.

• 피드백을 "일상화된 실천"으로 만들고

• 학생과 레지던트를 정기적으로 관찰하는 것 

• 교수자가 보는 것이 무엇인지 identify하고, 

• 관찰된 행동을 토대로 구체적이고 측정 가능한 피드백을 제공하고, 

• 학습자가 피드백을 요청할 수 있도록 empower하고,

• 피드백과 관련한 stakes를 인지하는 것

Taking feedback seriously refers to the need for 

• making feedback a “routine practice”, 

• observing students and residents on a regular basis, 

• identifying what teachers see and 

• giving feedback that is specific and measurable, based on observed behaviors, 

• empowering learners to solicit feedback and 

• recognizing the stakes involved.

대안적 접근법은 (특히 교수개발이 개인 수준과 시스템 수준 모두에서 변화를 촉진하는 것을 목표로 하는 경우) 이러한 목표를 달성하는 데 도움이 될 수 있다. 

Alternate approaches may also help to achieve this objective, especially if faculty development aims to promote change at both individual and systems levels. 

workshop에서 workplace로 이동하는 것이 개인 수준에서 갖는 장점은...실제로 교사가 어떻게 행동하는지 관찰할 수있고, 피어코칭을 총진하며, 다양한 교수개발전략을 활용할 수 있다.

At the individual level, there is merit in moving from the workshop to the workplace so that we 

-can observe teachers in action (Steinert 2014), 

-promoting peer coaching (Regan-Smith et al. 2007) and 

-taking advantage of a broad range of faculty development strategies

시스템 수준에서는 피드백 프로세스의 가치를 평가하고, 학습자에 대한 직접관찰을 장려하며, 종단적 교사-학습자 관계를 위한 기회를 창출하고, "크리티컬" 피드백을 일상화하며, 학습자가 피드백을 요청할 수 있도록 empower하고, 교수가 자신을 코치로서 인식하도록 해야 합니다.

At the systems level, we need to find ways to value the feedback process, encourage direct observation of learners, create opportunities for longitudinal teacher–learner relationships, normalize “critical” feedback, empower learners to solicit feedback and help faculty members view themselves as coaches.

우리는 또한 현재의 강점을 바탕으로 여러 이해당사자를 참여시켜야 할 것이다.

We will also need to build on current strengths, engage multiple stakeholders (including students, residents and patients),

Conclusions

결론은 다음과 같다.

we concluded that 

(1) 피드백에 선행하는 평가는 피드백의 교육적 효과를 최적화하도록 설계되어야 한다. 

(1) the assessment that necessarily precedes feedback should be designed to optimize its educational effect; 

(2) 대화나 논의의 형태로 제공되는 질적 피드백은 신뢰성에 도움이 되고, 정서적 장애물에 대처하며, 편안한 환경을 조성할 수 있다. 

(2) qualitative feedback in the form of a conversation or discussion would lend to its credibility, address emotional obstacles and create a context in which it is comfortable; 

(3) 비록 한계가 있지만, 개별화된 데이터의 형태를 갖는 양적 피드백은 그 '수치'를 증가시키기 위한 요구를 충족시키고, 학생들이 어떻게 개선할 것인가에 대한 전략을 고안하도록 도울 수 있으며, 학생들이 자신의 동료와 자신을 비교할 수 있도록 한다. 

(3) even though it has limitations, quantitative feedback in the form of individualized data could fulfill the demand to increase it, help students devise strategies on how to improve, allow students to compare themselves to their peers; and 

(4) 교수개발은 문화 및 시스템 변화를 통합하고 촉진할 필요가 있다. 피드백에 대한 더 나은 이해가 더 효율적이고 효과적인 학습을 가져올 것이다.

(4) Faculty development needs to incorporate and promote cultural and systems changes. We believe, that a better understanding of feedback will result in more efficient and effective learning.

---

Med Teach. 2017 Dec;39(12):1245-1249. doi: 10.1080/0142159X.2017.1372564. Epub 2017 Sep 19.

Qualitative and quantitative feedback in the context of competency-based education.

Tekian A1, Watling CJ2, Roberts TE3, Steinert Y4, Norcini J5.

Author information

1

a Department of Medical Education , College of Medicine, University of Illinois , Chicago , IL , USA.

2

b Schulich School of Medicine and Dentistry , Western University , London , ON , Canada.

3

c Medical Education Unit , Leeds Institute of Medical Education , Leeds , UK.

4

d Center for Medical Education , McGill University , Montreal , QC , Canada.

5

e Foundation for Advancement of International Medical Education and Research , Philadelphia , PA , USA.

Abstract

Research indicates the importance and usefulness of feedback, yet with the shift of medical curricula toward competencies, feedback is not well understood in this context. This paper attempts to identify how feedback fits within a competency-based curriculum. After careful consideration of the literature, the following conclusions are drawn: (1) Because feedback is predicated on assessment, the assessment should be designed to optimize and prevent inaccuracies in feedback; (2) Giving qualitative feedback in the form of a conversation would lend credibility to the feedback, address emotional obstacles and create a context in which feedback is comfortable; (3) Quantitative feedback in the form of individualized data could fulfill the demand for more feedback, help students devise strategies on how to improve, allow students to compare themselves to their peers, recognizing that big data have limitations; and (4) Faculty development needs to incorporate and promote cultural and systems changes with regard to feedback. A better understanding of the role of feedback in competency-based education could result in more efficient learning for students.

PMID:

 

28927332

 

DOI:

 

10.1080/0142159X.2017.1372564