의학교육에서 피드백의 프로세스와 성과에 영향을 미치는 변인: 메타리뷰(Med Educ, 2015)

의학교육에서 피드백의 프로세스와 성과에 영향을 미치는 변인: 메타리뷰(Med Educ, 2015)

Variables that affect the process and outcome of feedback, relevant for medical training: a meta-review

J M Monica van de Ridder,1 William C McGaghie,2 Karel M Stokking3 & Olle T J ten Cate4

도입

INTRODUCTION

임상 교육에서의 피드백은 '연수생의 성과를 향상시키기위한 목적으로 주어진 연수생의 관찰 된 성과와 표준 간의 비교에 관한 구체적인 정보'라고 정의 할 수 있습니다 .1

Feedback in clinical education may be defined as: ‘Specific information about the comparison between a trainee’s observed performance and a standard, given with the intent to improve the trainee’s performance.’1

일반적으로 피드백은 피드백 제공 훈련을 받지 않은 다른 임상의에 의해 제공되며, 피드백 제공에 시간을 할당하는 것은 일반적이지 않다.

Feedback is often provided by different clinicians who are usually not trained to do this, and allocating time to the provision of feedback is not common practice.10,11

피드백은 동기 부여와 성과를 증가시키고 감소시킬 수 있기 때문에, 피드백의 효과는 모호하고 혼란 스럽습니다.

The effects of feedback are equivocal and confusing4 because feedback can both increase and decrease motivation and performance.8

피드백 프로세스는 그림 1에 묘사 된 5 개의 위상 6,18-22로 구성된 루프 된 특성의 통신 프로세스로 간주 될 수 있습니다.

The feedback process can be considered a communication process of a looped nature, consisting of five phases6,18–22 as depicted in Fig. 1.

• 단계 A1에서 피드백 수신자 (FR)는 지침을 받고 특정 표준에 따라 작업을 수행합니다.

• 단계 B는 FP가 명시 적 또는 묵시적 표준과 비교하는 FR의 업무 성과에 대한 피드백 제공 업체 (FP) 관찰 및 해석과 관련됩니다.

• 단계 C 동안, 피드백은 FR쪽으로 전달된다.

• 단계 D에서, FR은 피드백을 수신하고 그것을 해석한다.

• 동일한 작업이 다시 수행되면 사이클이 닫힙니다 (A2 단계). 피드백 효과 (DA2-A1)는 성능 A1과 A2를 비교할 때 확인할 수 있습니다.

• In phase A1, the feedback recipient (FR) receives instructions and performs a task according to certain standards. 

• Phase B relates to the feedback provider’s (FP) observation and interpretation of the FR’s task performance, which the FP compares with an explicit or implicit standard. 

• During phase C, feedback is communicated towards the FR. 

• In phase D, the FR receives the feedback and interprets it.

• When the same task is performed again, the cycle is closed (phase A2). The feedback effect (DA2–A1) can be found when performances A1 and A2 are compared.

사실상 시기 A와 B는 시기 C와 D와 같이 일반적으로 동시에 발생합니다.

In reality, phases A and B will generally take place simultaneously, as will phases C and D.

작업을 관찰하는 두 FP 사이의 평가자 간 신뢰도가 낮고 이러한 관측이 피드백에 사용되면 FR은 두 가지 다른 메시지를 수신하여 수정 작업을 어렵게 만듭니다. (더 자세한 설명은 온라인으로 부록 S1, 섹션 I 참조).

When inter-rater reliability between two FPs observing a task appears low, and these observations are used for feedback, the FR will receive two different messages, which makes corrective action difficult. (For a more elaborate explanation, refer to Appendix S1, section I, online).

METHODS

This article was prepared using most of the reporting conventions described in the PRISMA (preferred reporting items for systematic reviews and meta-analyses) Statement for meta-analyses and systematic reviews.32

연구 검색

Study eligibility and identification

We conducted searches of the ERIC (Educational Resources Information Center), PsycINFO and MEDLINE databases for meta-analyses and literature reviews published in English in peer-reviewed journals during the period from January 1986 to February 2012 (Fig. 2).

포함 및 배제 기준

Exclusion and inclusion criteria

We used six criteria to exclude articles based on their titles and abstracts. These were: 

• (i) a non-relevant population (applied to studies based on animal data or on children, disabled persons or patients); 

• (ii) non-behavioural topics (applied to studies focusing on descriptions, reviews, comparisons and evaluations of ‘non-behavioural’ topics, such as [student] feedback on teaching/learning programmes, materials, guidelines, curricula, etc.); 

• (iii) methodological focus (applied to studies that focused on the methodology of meta-analyses and reviews in particular or on methodology problems in general); 

• (iv) educational procedures focus (applied to studies focusing on differences in methods [e.g. traditional–authentic], models, measurement, tools and approaches of assessments and evaluation of performances and competencies); 

• (v) non-relevant miscellaneous topics (applied to studies focused on topics other than feedback, such as job commitment and turnover, personnel selection, grading and scoring, self-assessment, influences or predictions on job or study performance, physical processes such as biofeedback, video feedback and rewards), and 

• (vi) a non-review nature (applied to studies that provided comments or critique on reviews, or studies in which reviewing the literature was not the main purpose of the study).

Subsequently, from among all articles retained after the exclusion process, we included all studies that met all of the following criteria: 

• (i) the use of metaanalysis or a systematic literature review of empirical research as the methodology, and the demonstration of good quality research by the reporting of search terms, time span and sources (the use of predetermined inclusion criteria and especially exclusion criteria was also considered a criterion for quality35); 

• (ii) the use of a population of healthy adults, and 

• (iii) a focus on the feedback process in general, or the process of providing information, or the process of receiving information, or the effect of the information on outcomes.

변인 선택 및 결과 종합 과정 

Process of selection of variables and synthesis of results

We used an eight-step protocol to select variables and synthesise findings. We applied the descriptive model (Fig. 1)

(Appendix S1, Section II provides more details).

• In step 1, we categorised each study as referring to one or more phases of the feedback process or the feedback effect. We first determined the dependent variables or the outcome variables of the included studies (Table S1, column H, online).

• In step 2, we determined dependent, independent, moderator, mediator and confounding variables (Table S1, column I). Moderator, mediator and confounding variables elucidate the causal process by which the independent variable influences the dependent variable.

• In step 3, we assessed the unit of measurement for each study. In meta-analyses, effect sizes are the usual units of measurement. Effect size d (ESd) indicates the extent to which means differ. Effect size r (ESr) indicates the size of correlation effects between variables. In literature reviews, units of measurement may be the number of studies that report a change, or the percentage of studies in which effects were found. Narrative reviews just describe differences. We reported only variables that were clearly indicated as effective.

• In step 4, we identified and selected those variables which have a reported impact on the feedback process and feedback effect. In meta-analyses, we considered only variables with a significant effect. In quantitative and narrative reviews, we included only those variables that were clearly reported as influencing the direction of the effect.

• In step 5, we established variables that did not influence the feedback process or the feedback effect or both (Table S1, column J).

• In step 6, to detect which phases of the feedback process and feedback effect were influenced, we considered (i) which dependent variable was influenced, and (ii) in which phase of the feedback process or the feedback effect this variable could be classified.

• In step 7, to create a comprehensive overview, we clustered variables with similar meanings or similar content (Table 1).

• In step 8, from the variables that reportedly influenced the phases of the feedback process or the feedback effect or both, we determined the direction of the effect. Table S1 describes the characteristics of the included studies.

RESULTS

Studies identified

Variables identified

A description of each variable can be found in Table 1.

• Phase A: general context, task, standard and first task performance by the FR

• Phase B: observation, interpretation and rating by the FP

• Phase C: communication of the feedback message by the FP to the FR

• Phase D: reception, perception and interpretation of the feedback message by the FR

변인들의 작용방향

Direction of variables

influences of these variables (Table 2).

피드백 제공의 주 효과는 피드백이 효과적이며, 안전 관련 성과, 작업 생산성, 판단 능력, 학습자의 목표 설정 능력, 임상의 및 의사의 성과와 같은 성과를 향상시키는 것입니다. 피드백의 영향은 보통 작거나 보통입니다.

The main effect of the provision of feedback is that feedback is effective and improves performance,8,16,36,40,70,76,77 such as in safety-related performance,76 work productivity,49 judgement abilities,70 learner’s goal-setting abilities,4 and clinicians’ and physicians’ performance.16,40 The impact of feedback is often small to moderate.8,36,43,47,52

Table 3 summarises our main findings.

시기 B에 영향을 미치는 변인들

Variables influencing the outcome of phase B: observation, interpretation and rating

복잡성이 높은 평가 과제는 평가자 간 일치도를 낮춘다.

Rating tasks of high complexity results in low inter-rater agreement

작업 복잡성은 관찰자가 작업장에서 관찰 된 성과를 평가하는 방법에 영향을 미친다. 피드백 제공자는 복잡성이 낮은 작업의 평가와 비교하여 매우 복잡한 작업의 평가에 대해 일치가 적다. 이에 대한 가능한 설명은 

• 복잡한 작업에 포함 된 하위 작업의 수, 

• 명확한 표준의 부족 (각 하위 작업), 

• FP가 스스로 수행 할만큼 숙련되지 않은 작업, 

• 복잡한 작업을 관찰하는 어려움 등이다.

Task complexity influences how observers rate observed performances in the workplace.46,50 Feedback providers show less agreement on ratings of highly complex tasks compared with those of tasks of low complexity. Possible explanations for this refer to the number of subtasks included in complex tasks, a lack of clear standards (for each subtask), that an FP is not skilled enough to perform the task him or herself, and the difficulty of observing complex task behaviour.

FP의 높은 과제 친숙도는 평가자 일치도를 더 높인다.

High task familiarity in the FP leads to more agreement in ratings

관찰 된 업무에 익숙한 피드백 제공자들은 높은 평가자 간 일치도를 보여줍니다. 

• 관리 업무, 진단, 직무 지식 및 판단 능력에 대한 평가자 간 일치도는 동료 또는 부하 직원보다 감독자 사이에 더 높습니다. 감독자는 자신의 역량 또는 유사한 업무를 수행 한 경험으로 전체 업무의 개요를 가지고 있습니다. 

• 그러나 동료들은 관찰 된 대인 행동의 평가에서 더 높은 평가자 간 일치를 보인다. 동료가 동료들과 더 자주 일한다는 사실은 부하들 또는 감독자들보다 이러한 특정한 측면에 대한 더 나은 통찰력을 제공합니다. 50,51,65

Feedback providers who are familiar with the observed task show high inter-rater agreement. 

• Inter-rater agreement in ratings of management tasks, diagnosis, job knowledge and judgement ability is higher among supervisors than among peers or subordinates. Supervisors have an overview of the entire task as a result of their competence or their experience in performing similar tasks themselves. 

• However, peers show higher inter-rater agreement in ratings of observed interpersonal behaviour. The fact that peers work more often with their colleagues gives them better insight than subordinates or supervisors into these particular aspects.50,51,65

관측 도구를 사용하여 FP를 훈련하면 평가 오류가 줄어 듭니다.

Training FPs in using observation instruments reduces rating errors

평가 오류는 관찰의 품질 뿐만 아니라 이후 단계에서 피드백 메시지의 내용에 영향을 미칩니다. 이러한 오류의 예로는 후광 효과, 관대 효과, 평가 정확도 및 관찰 정확도가 포함됩니다 .58-60 관측 도구로 작업하는 방법에 대한 교육은 평가 오류를 줄이고 정확도를 높입니다 .60 행동 관찰 방식에 대한 훈련은 과제 관찰의 퀄리티에 긍정적 인 영향을줍니다 (d = 0.59) .58 이러한 평가자 훈련시에 등급 카테고리의 의미를 토론하고, 실습, 피드백을 핵심 요소로 구성하면 더욱 매우 효과적이고, 평가 오류를 50-85 % 줄입니다 .59

Rating errors influence the quality of the observation and, in a later phase, the content of the feedback message. Examples of such errors include the halo effect, the leniency effect, rating accuracy and observational accuracy.58–60 Training in how to work with observation instruments reduces rating errors and increases accuracy.60 Training in behaviour observation had a high positive impact on the quality of the task observation (d = 0.59).58 Training in which discussion about the meanings of rating categories, practice and feedback are central components is very effective: it reduces rating errors by 50–85%.59

루브릭을 사용하면 채점의 신뢰도가 높아지고 피드백 의사소통을 용이하게 한다.

Use of rubrics increases the reliability of scoring and facilitates feedback communication

루브릭이란 다음과 같습니다.

'... Authentic하고 Complex한 학생 활동의 질적 평가 점수 도구. 여기에는 퍼포먼스의 중요한 차원들과 준거를 달성했는지에 대해 평가하는 기준이 포함됩니다. '

A rubric is: ‘...a scoring tool for qualitative ratings of authentic or complex student work. It includes criteria for rating important dimensions of performance as well as standards of attainment for those criteria.’66 

루브릭에서는 준거 및 기준이 명확하게 제시되므로 task dimension의 초점이 명확해져서 채점의 신뢰도가 높아집니다.

In rubrics, criteria and standards are made explicit so that the meaning and focus of dimensions of the task are clear, which results in high reliability of scoring.

루브릭은 구체적이기 때문에 FP는 루브릭이 피드백 커뮤니케이션을 촉진하는 것으로 인식합니다.

Because of their concrete nature, FPs perceive rubrics as also facilitating feedback communication.

FR과 FP의 문화적 배경이 비슷하면 평가 등급이 높아집니다.

Similarities in the cultural backgrounds of the FR and FP result in higher performance ratings

전문가로서의 행동에 대한 학습자 및 감독자의 인식은 (국가의) 문화적 배경과 조직 문화에 의해 결정됩니다. 자신의 나라에서 일하고 동일한 문화적 배경의 FP가 감독하는 FR은 더 높은 업무 성과 등급을 얻는다. 문화적 배경이 유사하기 때문에이 사람들은 전문성에 대한 유사한 인식을 가지며 특정 직무 차원에 대한 가치를 유사하게 평가한다.

Learners’ and supervisors’ perceptions about acting as a professional are determined by (country) cultural background and by the organisational culture. An FR working in his own country and being supervised by an FP from the same cultural background achieves higher task performance ratings.54 Because of the similarities in their cultural backgrounds, these individuals have comparable perceptions about professionalism and value certain job dimensions similarly.54

FP와 FR 간의 관계를 구축하는 데 더 많은 시간을 할애한다면 평가와 객관적인 성과 지표 간의 상관 관계가 높아진다

Making more time available for the FP to build a relationship with the FR leads to higher correlations between ratings and objective performance measures

[업무에 소비 된 시간] 또는 [생산 속도]와 같은 객관적인 척도는 사람이 제공하는 피드백 평가보다 관찰에 따른 편향이 적다. Norton은 동료 피드백 상황에서 FP와 FP와의 관계에 대한 시간 투자가 FP의 성과 등급과 객관적인 성과 측정 (r = 0.69) 사이의 상관 관계에 영향을 미친다는 사실을 발견했습니다 .61 FP가 관계에 대해 투자한 시간이 많았을 때, FP의 등급과 성과의 객관적인 등급 사이의 상관 관계가 높았다. 이러한 결과는 FP가 FR을 더 잘 알게되면 FP로부터의 편향에 따르는 오류를 감소 시킨다는 것을 암시한다. 특히 자존감이 낮거나 시험 불안감이 높은 학생의 경우 감독자를 아는 것은 신뢰의 요인이 된다.68

Objective outcome measures, such as time spent on a task and a person’s production pace, are less prone to observation bias than ratings of human feedback providers. Norton found that in a peer feedback situation, the FP’s time investment in the relationship with the FR influenced the correlation between the FP’s performance rating and objective measures of performance (r = 0.69).61 When the FP’s time investment in the relationship was high, the correlations between the FP’s ratings and objective ratings of performance were high.61 The results suggest that getting to know the FR reduces rating errors of bias from the FP. Especially for students with lower self-esteem or high levels of test anxiety, knowing the supervisor represents a factor of trust.68

피드백 효과에 영향을 미치는 변인들

Variables influencing the feedback effect

FR의 초기 스킬이 낮을 경우 피드백 효과가 높습니다.

Low initial skill in the FR results in high feedback effects

임상 상황에 대한 연구 결과에 따르면, 임상 실습에 대한 피드백은 요구 사항을 충족시킨 FR보다, 권장 관행의 요구 기준을 충족시키지 못한 FR에게 더 효과적 이었음을 보여줍니다 .36 낮은 기술을 가진 FR은 개선의 기회가 많아지고 효과가 더 빨리 볼 수 있습니다.

Research in the clinical setting shows that feedback on clinical practice was more effective with FRs who did not meet the required baseline of recommended practice than with FRs who did meet this requirement.36 An FR with low skills has more opportunities for improvement and effects may become visible more quickly.

FR의 자존감은 피드백 효과에 영향을 미칩니다.

The FR’s self-esteem influences the feedback effect

자존감은 리뷰 및 메타 분석에서 자주 언급되지 않았습니다. 이것은 연구 된 변수의 대부분이 개인적 측면보다는 비 개인적인 측면과 관련되기 때문일 수 있습니다. 피드백이 사람의 자존감을 위협하는 것으로 인식되면 피드백의 효과는 더 낮습니다 .8

Self-esteem was not mentioned often in the reviews and meta-analyses. This may be because most of the variables studied relate to impersonal rather than personal aspects. When feedback is perceived as threatening a person’s self-esteem, the effect of the feedback is lower.8

FR이 목표 설정 행동을 보이면 피드백 효과가 증가합니다.

Having FRs show goal-setting behaviour increases the feedback effect

FR이 목표를 염두에두고 자신이 달성하고자하는 것을 알고있을 때 수신 된 피드백을 사용하여 목표를 달성 할 수 있습니다. 피드백은 FR이 목표를 설정했을 때, 그렇지 않을 때보다 더 효과적입니다 .8

When an FR has a goal in mind and knows what he or she wants to accomplish, the received feedback might be used to reach that goal. Feedback is more effective when an FR sets a goal than when he or she does not.8

다각적 인 개입의 일환 인 피드백은 피드백 효과를 증가시킵니다.

Feedback as part of a multifaceted intervention increases the feedback effect

특히 시험 상황에서 피드백이 삽입 된 학습 내용은 피드백 효과를 증가시킨다. (표 1 피드백 유형) 피드백 개입과 다른 교육 개입 (소위 다면적 중재)의 결합은 다음과 같다. 감사, 감독, 교육 구제 방문 또는 교육은 피드백 효과를 증가시킨다 .16,36,40,41,52

The instructional content in which feedback is embedded, especially in a test situation, increases the feedback effect (Table 1 [form of feedback]).52 The combination of a feedback intervention with other educational interventions (so-called multifaceted interventions), such as audits, supervision, educational outreach visits or education, increases the feedback effect.16,36,40,41,52

독창적이고 구체적이고 정교한 피드백 콘텐츠는 피드백 효과를 높입니다.

Encouraging, specific, elaborate feedback content increases the feedback effect

피드백 메시지의 내용을 원하는 피드백 효과에 맞게 조정하면 효율성을 높일 수 있다.49 

Tailoring the content of the feedback message to the desired feedback effect increases its effectiveness.49 

구체적이고, 관련성이 있고, 격려성 정보가 있는 피드백(예: 정답 (표준) 제공, 작업 정보 제공, 이전 trial과 관련된 성과에 대한 추가 설명 및 정보 제공)의 경우 더 효과가 높다.

Feedback consisting of specific, relevant and encouraging information, such 

• as correct answers (the standard), 

• task information, 

• additional explanation and information about performance in relation to previous trials, 

일반적 정보, 옳음/그름의 정보, 칭찬만 있는 얕은 피드백은 덜 효과적이다.

is more effective than shallow feedback, such as 

• general information, 

• ‘right’/ ’wrong’ information, or 

• compliments.4,8,52,70,72,73

빈번한 피드백은 피드백 효과를 증가시킵니다.

Frequent feedback increases the feedback effect

단순하게 훈련이 가능하고, 짧고, 시각적이며 정신 운동적인 일을하는 경우, 흔히 제공되는 피드백은 드문 피드백보다 피드백 효과를 더 많이 증가시킵니다 .8 Soumerai et al. 의사의 약물 처방 행동에 대한 지속적인 피드백 보고서가 제공되었을 때 약물 처방 연습에 긍정적 인 변화가 있음을 발견했습니다 .43 피드백을 자주받는 데 익숙해지더라도 피드백 효과를 감소시키지는 않는 것처럼 보입니다 .49

With simply trainable, short, visual and psychomotor tasks, frequently provided feedback increases the feedback effect more than infrequent feedback.8 Soumerai et al. found a positive change in drug-prescribing practice when ongoing feedback reports about medical doctor’s drug-prescribing behaviour were provided.42 Being used to receiving frequent feedback does not appear to decrease the feedback effect.49

33개의 변인 중 21개는 연구마다 결과가 달랐다.

Twenty-one of the 33 variables show equivocal results:

몇몇 연구들은 피드백의 길이 (피드백의 강도)가 피드백 효과에 영향을 미친다는 것을 보여 주었다. 길이가 다른 메시지는 다른 효과를 가진다. 그러나 결과는 길거나 짧은 메시지가 더 좋은지 분명하지 않다. 최적의 피드백 길이에 대한 지침은 이로부터 파생 될 수 없으며 작업에 따라 다를 수 있습니다.

Several studies show that the length of the feedback (Table 1 [intensity of feedback]) influences the feedback effect: messages of different lengths have different effects.16,47 However, the results do not make clear whether long or short messages are better. Guidelines for the optimum length of feedback cannot be derived from this and are probably task dependent.

고찰

DISCUSSION

프레임 워크를 참조하여, 우리의 연구는 다음을 보여줍니다 :

• (i) 피드백 프로세스의 각 단계에서 오는 변수는 피드백 프로세스의 다음 단계에 영향을 미치며,

• (ii) 피드백 과정의 모든 4 단계가 피드백 효과에 영향을 미친다.

With reference to the framework, our study shows that: 

• (i) variables from each phase of the feedback process influence the next phase in the feedback process, and 

• (ii) all four phases in the feedback process influence the feedback effect. 

임상 실습의 결과는 FP가 피드백 (단계 C)을 얼마나 잘 전달하는지뿐만 아니라 수행 된 과제 (단계 A), 관찰 및 평가 (단계 B) 및 FR의 수신에 초점을 맞추어야한다는 것입니다. 피드백의인지 (단계 D).

The consequence for clinical practice is that we should not only focus 

• on how well the FP communicates the feedback (phase C), but also 

• on the performed task (phase A), 

• the observation and rating (phase B), and 

• the FR’s reception and perception of the feedback (phase D).

이것을 예를 들어 설명 할 수 있습니다. 시니어 임상실습학생이 피드백을 받을 경우, 다음과 같은 이유로 효과가 낮을 수 있다.

학생이 동의하지 않는 노인 부부의 병력을 취하는 데 어려움을 겪었다면 (높은 업무 복잡성).

점원을 감독하는 레지던트는 방금 훈련을 시작했습니다 (전문 지식이 부족함) (A? B).

따라서 레지던트는 관찰 된 행동을 기술 할 수 없다 (비 특이적인 메시지) (B? C),

학생은 자신이 잘 수행하지 못했다고 결론을 내리게됩니다 (자기 존중에 영향을 미침) (C? D).

We can illustrate this with an example. When a senior clerk receives feedback, its effect may be low 

if the clerk has had difficulty in taking a history from an elderly couple who disagree (high task complexity). 

The resident supervising the clerk has only just started training (lacks expertise) (A?B). 

Consequently, the resident is not able to describe the observed behaviour (unspecific message) (B?C), 

which leads the clerk to conclude he or she performed poorly (influencing self-esteem) (C?D).

그러나 이것만으로는 효과를 예측할 수 없습니다. 

• (A) 병력청취를 향상시키기 위해 특정 정보가 필요하다는 것을 학생이 알고 있기 때문에 피드백 효과가 증대될 수 있다.

• 감독 레지던트의 집중력과 전문성 부족(B)으로 인해 비 특정 메시지 (C)가 발생하기 때문에 피드백 효과가 낮아질 수 있다

• 또는 메시지가 점원의 자부심 (D)에 대한 위협으로 해석되기 때문입니다.

The influences of these processes on the effect cannot be predicted. 

• They may increase the effect because the clerk understands that specific information is needed to improve the history taking (A). 

• They may decrease the feedback because the lack of concentration and expertise in the supervising resident (B) results in a non-specific message (C), 

• or because the message is interpreted as a threat to the clerk’s self-esteem (D).

우리는 피드백 과정이 피드백 효과에 결정적이라는 것을 알 수 있습니다. 한 단계에만 집중하면 피드백 연구의 생태 학적 타당성에 큰 영향을 미친다.

We learn from this that the feedback process is crucial to the feedback effect. Focusing on only one phase has large consequences for the ecological validity of feedback studies.

한계

Limitations

이 메타 리뷰는 피드백에 대한 모든 문헌을 철저히 개관 한 것처럼 보이지 않습니다. 다양한 연구와 변수가 여러 가지 이유로 빠져 있습니다. 예를 들어, 피드백 성향, 피드백 프레임 워크 79 및 FPs80의 특성과 같은 '새롭거나'드문 주제가 정 성적 리뷰 또는 메타 분석에 포함되기 위해서는 더 많은 출판물이 필요합니다. Sadler81과 Black and Wiliam, 82 같은 연구 방법이나 특정 방법론 기준으로 인해 우리가 사용한 특정 검색 기준에 의해 일부 리뷰 나 메타 분석이 확인되지 않았다. Barnum 효과, 83 피드백 추구, 84 그리고 Hattie와 Timperley의 검토, 5는 검색 기준을 언급하지 않았다. 1984 년에 출판 된 FP에 대한 피드백 제공에 대한 검토와 같이 일부 연구는 우리가 선택한 시간 (1986 년 1 월부터 2012 년 2 월까지)으로 출판되었으며, 마지막으로 일부 변수는 단일 질적 연구에서 연구되었을 수 있습니다 또는 실험이나 메타 분석이나 리뷰의 대상이 아닐 수도 있습니다.

This meta-review does not pretend to give an exhaustive overview of all the literature about feedback. Several studies and variables are missing for a variety of reasons. For example, ‘new’ or ‘rare’ topics, like feedback propensities,78 feedback framing79 and the characteristics of FPs80 require more publications in order to be included in a qualitative review or meta-analysis. Sometimes these topics will turn up in narrative reviews.60 Some reviews or meta-analyses were not identified by the particular search criteria we used, such as those by Sadler81 and Black and Wiliam,82 or because of particular methodological criteria, such as studies on the Barnum effect,83 feedback seeking,84 and the review by Hattie and Timperley,5 which did not mention search criteria. Some studies were published outwith the time span we selected (January 1986 to February 2012), such as a review on the effect of providing feedback on the FP published in 1984,85 and, finally, some variables may have been researched in single qualitative studies or experiments, but may not have been the subject of meta-analyses or reviews.

메타 분석 및 문헌 검토에 중점을 두는 결과는보고 된 변수가 새로운 것이 아니라는 것입니다. 그들은 기초 연구에서 연구되었습니다. 메타 분석과 검토는 서로 다른 연구의 혼합, 출판 편견 및 저질의 연구의 포함으로 인해 타당성에 대한 위협으로 고통을받는 경우가 종종있다 .86-88 이는 결과의 허위 진술로 이어진다. 이것이이 메타 검토에 적용될 가능성을 배제 할 수는 없습니다.

A consequence of focusing on meta-analyses and literature reviews is that the reported variables are not new; they have been researched in primary studies. Meta-analyses and reviews often suffer from threats to validity caused by the mixing of dissimilar studies, publication bias and the inclusion of poor quality studies.86–88 This leads to misrepresentations of outcomes; we cannot exclude the possibility that this may apply to this meta-review.

교차 학문 연구를 함께 가져 오는 단점은 다양한 연구 상황, 과제 및 참가자가 관련된다는 것입니다. 하나의 맥락에서 발견 된 결과는 단순히 다른 맥락으로 일반화 될 수 없다 : 작업 양상 및 맥락 모두 결과에 영향을 미친다 .8,47,52,54

The downside of bringing cross-disciplinary research together is that it involves a variety of study contexts, tasks and participants. Results found in one context cannot simply be generalised to other contexts: both task aspects and context influence findings.8,47,52,54

연구 주제

Research agenda

대부분의 변수는 A 상, B 상 또는 피드백 효과에 영향을줍니다. 단계 C와 D의 변수에 대한 추가 연구를 위해 세 가지 권장 사항이 있습니다. 

• 첫째, 연구 결과에 따라 표 2에 열거 된 변수가이 단계에 영향을 미치는지 여부와 방향 및 방향이 결정될 수 있습니다. 

• 둘째, 조사자는 피드백 메시지의 프레임, 설명의 '품질'과 피드백의 예, 피드백 메시지의 긍정적 측면과 부정 측면의 순서와 같은 언어 적 행동의 추가 측면을 연구 할 수 있습니다. 

• 마지막으로, 연구는 음성 및 표정의 색조와 같은 비언어적 행동의 측면을 탐구하고 의견의 원활한 의사 소통 및 수신에 기여할 수있는 FP 및 FR의 비언어적 행동의 특징을 검색 할 수 있습니다.

Most variables influence phase A, phase B or the feedback effect. For further research into the variables of phases C and D, we have three recommendations. 

• Firstly, research might determine whether the variables listed in Table 2 influence these phases, in which direction and how much. 

• Secondly, investigators might study further aspects of verbal behaviour, such as the framing of feedback messages, the ‘quality’ of explanations and examples in the feedback, and the order of the positive and negative aspects of the feedback message. 

• Lastly, research might explore aspects of nonverbal behaviour, such as tone of voice and facial expression, and search for features in the FP’s and FR’s non-verbal behaviour that might contribute to the better communication and reception of the feedback.

Practical implications

---

Med Educ. 2015 Jul;49(7):658-73. doi: 10.1111/medu.12744.

Variables that affect the process and outcome of feedback, relevant for medical training: a meta-review.

van de Ridder JM1, McGaghie WC2, Stokking KM3, ten Cate OT4.

Author information

1

Department of Education, Albert Schweitzer Hospital, Dordrecht, the Netherlands.

2

Department of Medical Education, Feinberg School of Medicine Northwestern University, Chicago, Illinois, USA.

3

Department of Educational Sciences, Utrecht University, Utrecht, the Netherlands.

4

Center for Research and Development of Education, University Medical Centre Utrecht, School of Medical Sciences, Utrecht University, Utrecht, the Netherlands.

Abstract

CONTEXT:

Feedback is considered important in medical education. The literature is not clear about the mechanisms that contribute to its effects, which are often small to moderate and at times contradictory. A variety of variables seem to influence the impact of feedback on learning. The aim of this study was to determine which variables influence the process and outcomes of feedback in settings relevant to medical education.

METHODS:

A myriad of studies on feedback have been conducted. To determine the most researched variables, we limited our review to meta-analyses and literature reviews published in the period from January 1986 to February 2012. According to our protocol, we first identified features of the feedback process that influence its effects and subsequently variables that influence these features. We used a chronological model of the feedback process to categorise all variables found.

RESULTS:

A systematic search of ERIC, PsycINFO and MEDLINE yielded 1101 publications, which we reduced to 203, rejecting papers on six exclusion criteria. Of these, 46 met the inclusion criteria. In our four-phase model, we identified 33 variables linked to task performance (e.g. task complexity, task nature) and feedback reception (e.g. self-esteem, goal-setting behaviour) by trainees, and to observation (e.g. focus, intensity) and feedback provision (e.g. form, content) by supervisors that influence the subsequent effects of the feedback process. Variables from all phases influence the feedback process and effects, but variables that influence the quality of the observation and rating of the performance dominate the literature. There is a paucity of studies addressing other, seemingly relevant variables.

CONCLUSIONS:

The larger picture of variables that influence the process and outcome of feedback, relevant for medical education, shows many open spaces. We suggest that targeted studies be carried out to expand our knowledge of these important aspects of feedback in medical education.

© 2015 John Wiley & Sons Ltd.

Comment in

• Filling the feedback gap: the unrecognised roles of shame and guilt in the feedback cycle. [Med Educ. 2015]

PMID:

 

26077214

 

DOI:

 

10.1111/medu.12744

[Indexed for MEDLINE]