피드백의 범위를 넓혀서 근무지 학습의 Relevance 높이기(Acad Med, 2018)

피드백의 범위를 넓혀서 근무지 학습의 Relevance 높이기(Acad Med, 2018)

Broadening the Scope of Feedback to Promote Its Relevance to Workplace Learning

Renée M. van der Leeuw, MD, PhD, Pim W. Teunissen, MD, PhD, and Cees P.M. van der Vleuten, PhD

일을 통해 배우는 것을 WBA와 맞추는 것은 도전이다. 피드백과 학습의 단절은 피드백에 대한 지식과 풍부한 연구에도 불구하고 현재 놓치고 있는 학습 기회가 있다는 것을 의미한다.

aligning learning through work with workplace-based assessment is a challenge.4–6 The disconnect between feedback and learning implies that there are learning opportunities that are now being missed—despite the knowledge and wealth of research on feedback.

다음과 같은 피드백 

"연수생들의 성과를 개선하기 위한 목적으로 관찰된 성과와 기준을 비교한 구체적인 정보."

a review described feedback as 

“Specific information about the comparison between a trainee’s observed performance and a standard, given with the intent to improve the trainee’s performance.”7

동일한 저자의 보다 최근의 메타 리뷰에서는 피드백의 주요 문헌들은 [피드백을 효과적으로 제공하는 방법 또는 메시지의 어떤 측면(즉, 출처, 형태, 내용, 타이밍)이 결과에 영향을 미치는지와 같은 피드백의 도구적 측면]에 초점을 맞춘다는 것을 보여주었다.8 "좋은 피드백을 주는 것은 결국 학습과 성과 개선으로 이어질 것이다"는 가정이 널리 퍼져인느 것으로 보인다. 그러나 이 가정은 직장에서 학습과 행동 변화에 대한 더 복잡한 이해와 잘 맞지 않는다. 따라서 이렇게 피드백을 좁게 정의하는 것은 work를 통한 학습을 지원하는 데 있어서 제한된 가치만을 가진다. 많은 연구 간행물과 의학 교육의 최근 이니셔티브는 근무지학습에서의 피드백에 사회적 상호 작용과 문화적 측면이 미치는 영향을 강조한다.

A more recent meta-review by the same authors showed that most research regarding feedback focuses on instrumental aspects, such as how to give feedback effectively and which aspects of the message (i.e., source, form, content, timing) influence the outcome.8 The pervading assumption seems to be that “giving good feedback” will lead to learning and performance improvement. This assumption does not align well with a more complex understanding of learning and behavioral change in workplaces.9–13 This narrow definition of feedback therefore has limited value in supporting learning through work. Many research publications and recent initiatives in medical education emphasize the influence of social interactions and cultural aspects on feedback in workplace learning.14–18

그럼에도 불구하고, 피드백 자체에 영향을 미칠 때, "기술적" 접근이 여전히 지배적이다.

Nevertheless, when honing in on feedback itself, the “technical” approach is still dominant,

피드백의 더 넓은 범위로서 '수행관련정보PRI'

Performance-Relevant Information as a Broader Scope for Feedback

• 피드백의 더 광범위한 범위는 특정 맥락에서의 수행과 관련하여 업무 공간의 학습에 영향을 미치는 모든 정보를 통합해야 한다. 아무리 우리가 피드백의 정의를 확대하더라도, 그것은 여전히 "주고 받는" 정보의 개념이 될 것이다. 피드백이라는 용어를 쓰는 한, 학습자로서 당신에게 주어지는 것에 대한 판단은 주로 다른 사람들에 대한 인식에 기반을 둔다. 

• 반대로 '성과 관련 정보(PRI)'의 개념에서, 기존의 관점은 [자신의 인식, 감정, 경험에 대해서, 무엇이 자신의 학습과 관련이 있다고 간주하는지]를 강조하는 방향으로 바뀐다. 이것은 새로운 접근방식이며 관찰자가 관찰한 것에 대한 시각을 제공하는 기존의 관점과는 매우 다르다.

• A broader scope for feedback should incorporate all information that affects learning in the workplace related to one’s performance within that context. Although we could have broadened the definition of feedback, it would continue to be the concept of “giving and receiving” information. With feedback, the judgment of what is given to you as a learner lies primarily in the perception of others. 

• With the concept of performance-relevant information (PRI), this perspective shifts to appreciate the importance of what a learner, with his/her perception, emotions, and experiences considers relevant, for his/her learning. This is a new approach and is very different from the perspective in which an observer provides his/her vision of what was observed.

근무지환경에서 학습자가 이용할 수 있는 수많은 학습 기회를 반영하기 위해, 우리는 먼저 범위를 넓히기 위한 개념으로서 "관련 정보"라는 용어를 선택했다. 

• 관련 정보는 학습자와 직접적으로 관련된 사실이나 세부사항을 기술하는 더 중립적인 용어인 반면, 

• 피드백은 어떤 것이 얼마나 성공적이거나 유용한가에 대한 판단을 요약한다. 

To reflect the numerous learning opportunities that are available to learners in the workplace setting, we first chose “relevant information” as a concept to broaden our scope. Relevant information is a more neutral term to describe facts or details that directly relate to the learner, whereas feedback encapsulates a judgment about how successful or useful something is. 

또한 우리는 관련 정보가 어디에서 파생될 수 있는지를 설명하고자 했으므로, PRI의 개념을 보여주기 위해 "수행performance"을 추가했다.

Because we aimed to address where the relevant information could be derived from, we added “performance,” to yield the concept of PRI.

간단히 말해, PRI는 학습자가 어떻게 직장에서 자신의 성과를 학습과 관련된 정보로 해석하는지에 초점을 맞춘다. 이 PRI는 개인의 업무 수행과 직장에서의 상호작용에 대한 해석에서 발생하는 학습에 대한 모든 잠재적인 정보의 source를 포함한다. 

• 치료 후 환자의 결과, 

• 역할 모델의 수행능력

• 평가 및 평가, 

• 의사 소통에 있어 동료와 동료의 반응, 

• 실패 또는 성공의 느낌에 대한 탐구

In short, PRI as a concept focuses on how learners interpret their performance in the workplace in terms of what is relevant information for their learning. This notion of PRI includes all potential sources of information for learning arising from the interpretation of one’s performance and interaction in the workplace. Among these are 

• patient outcomes after treatment; 

• the performance of role models; 

• evaluations and assessments; 

• responses of colleagues and peers in communication with you; and 

• exploring feelings of failure or great successes.

근무지학습은 [직장에서의 사회적 상호 작용과 경험]에서 발생하는 성과에 대한 관련 정보의 해석에 기초한다. 사회적 상호작용은 [개인이 학습을 위한 input으로서 무엇을 encounter 할지]를 결정하기 때문에 학습에 영향을 미친다.22 이는 다양한 학습자를 위해 다양한 학습 경험을 생성한다.

Workplace learning is based on an interpretation of relevant information for performance arising from social interaction and experiences in the workplace.10,22,23 Social interaction influences individual learning because the interaction determines what the individual encounters as input for learning.22 This creates a multitude of possible learning experiences for different learners.10,23

PRI에는 보다 명확한 평가 피드백에서 직장 경험, 감정 또는 환자 결과에 대한 보다 암묵적인 해석에 이르기까지 모든 범주 또는 유형의 정보가 포함된다.

PRI includes all categories or types of information, ranging from the more explicit assessment feedback to the more implicit interpretation of workplace experiences, emotions, or patient outcomes.

PRI라는 새로운 관점에서의 학습기회

Opportunities Emerging From the New Scope of PRI

근무지학습

Workplace learning

성과 개선을 중심에 두는 피드백의 정의에는 측정하기 어렵거나 눈에 잘 띄지 않는 성장 또는 학습의 측면이 포함되지 않는다. 여기에는 예를 들어, 한 인간으로서의 성장, 자신이나 타인에 대한 더 깊은 통찰력, 근무지 프로세스 또는 문화적 측면에 대한 인식, 어려운 감정을 처리 방법을 경험하고 확인하는 것 등과 같은 것이 포함된다.

The definition of feedback in its primary association with performance improvement does not include aspects of growth or learning that are less visible, let alone measurable.7 for example, growth as a human being, deeper insights into oneself or others, awareness of workplace processes or cultural aspects, experiencing and identifying ways to deal with difficult emotions, or gaining confidence.

PRI의 광범위성은 [단기적으로 관찰 가능한 성과 변화에서는 도출되지 않는 학습]을 포함할 수 있는 여지를 만들어냄에 따라, 개인이 어떻게 근무지에 embed된 정보를 선택하고 이해하는지를 설명할 수도 있다. 이를 통해 직장에서의 상황에 대한 해석이 어떻게 개인적 경험을 result in 하는지를 이해하는 데 도움이 될 수 있다.

As the broader scope of PRI creates room to include learning that may not result in short-term observable performance change, it could also elucidate how individuals select and make sense of information that is embedded in the workplace. This can add to our understanding of how interpretations of situations in the workplace result in personal experiences.

평생학습

Lifelong learning

의학 교육에서는 "효과가 있는 것"에 초점을 맞추는 경향이 있다.

There is a tendency to focus on “what works” in medical education

이것은 직장 학습에 필수적인 [관계의 질과 상호작용의 중요성]으로부터 눈을 떼게 한다. 학습이 발생하는 학습자와 맥락 사이의 상호작용과 PRI에 초점을 맞추면 결과물보다는 프로세스를 강조하게 된다. 학습의 프로세스는 여러 해가 지나도 여전히 relevant한 평생학습과 매우 관련이 있는 반면, 학습 과정의 결과물은 언제나 한정된 유통기한을 가지고 있다.

It distracts attention from the importance of the quality of the relation and interaction that are vital for workplace learning.13,14 The focus on PRI and interaction between learners and their context that accommodates learning emphasizes process rather than product. This can also be highly relevant in lifelong learning, where the process of learning remains relevant throughout the years,26 whereas the product of the learning process has a constantly elapsing expiration date.

실수

Making mistakes

실수하는 것이 인간의 일부이긴 하지만, 시행착오를 위한 제한된 공간이 있는 의료 훈련 상황에서는 큰 부담이 된다. 수치심, 죄책감, 실수나 실패에 대한 두려움은 다루기 어렵다.

Although making mistakes is part of being human, the stakes are high in medical training situations in which there is limited room for trial and error. Shame, guilt, or fear of mistakes or failure are difficult to deal with.

PRI에 초점을 맞출 때 부정적인 감정을 극복하는 것이 더 쉬울 수 있는데, 그 이유는 "무슨 잘못을 했느냐" 보다는 무슨 일이 일어났고, 어떤 것이 수행과 관련이 있는지를 이해하는 데 초점이 맞추어져 있기 때문이다.

it might be easier to overcome negative emotions when focusing on PRI and also to discuss these with others, as the focus is drawn to making sense of what happened and what is relevant in terms of performance, rather than “what did you do wrong.”

결론

Concluding Remarks

PRI는 또한 더 많은 암묵적인 배움의 원천으로 관심을 끌기 때문에, 중요한 문제는 [어떻게 일상에서 PRI로부터 배우는 것을 가장 잘 지원할 수 있느냐] 하는 것이다.

Because PRI also draws attention toward more implicit sources of learning, an important question is how best to support learning from PRI in daily practice.

요약하자면, 관계나 교육동맹은 근무지학습의 필수적 측면으로 간주되는데, 이 경우에 PRI의 개념이 잘 부합하며, 근무지에서의 상호작용으로부터 도출가능한 관련 정보에 집중하게 한다.

In summary, the relationship or educational alliance can be considered a vital aspect in workplace learning, in which the concept of PRI fits well as it draws attention toward relevant information that is derived from interaction in the workplace.

Van den Eertwegh et al28은 근무지에서 레지던트의 의사소통 학습 과정을 조사하고 학습 과정을 설명하는 5단계 모델을 식별했다. 첫 단계는 바람직한 행동이나 임상 결과에 직면하는 것이다. PRI는 직장 내 학습을 위한 모든 소스(예를 들어 암묵적 또는 환자-관리 관련 소스)를 조명함으로써 이 첫 번째 단계에 추가적 정보를 제공할 수 있다.

Van den Eertwegh et al28 investigated residents’ communication learning processes in the workplace and identified a five-phase model to describe the learning processes. The first phase is confrontation with (un) desired behavior or clinical outcomes. PRI could add to this first phase by shedding light on all sources for learning in the workplace—for example, also the implicit or patient-care related sources.

PRI는 [평가 정보의 사용]을 넘어, 의학교육에서 학습 기회를 명시적으로 확장하는 방식으로 피드백의 범위를 넓혀준다. 더욱이, 쉽게 측정하거나 이야기하지 않는 측면(예: 감정, 신뢰, 밤에 깨어 있는 상태)까지 고려함으로써, 근무지 맥락의 복잡성을 인정한다. 

PRI broadens the scope of feedback in a way that will explicitly expand learning opportunities in medical education beyond the use of assessment information. Moreover, it acknowledges the complexity of the workplace context, taking into account aspects that are not easily measurable or talked about (e.g., feelings, trust, lying awake at night). 

• PRI는 어떤 정보가 당신과 관련되는지, 그리고 왜 관련되는지 찾는데 집중함으로써 성찰을 지원한다. 

• 상호작용을 PRI를 수집하는 과정 중 하나로 인식하고, 따라서 PRI는 사회적 상호작용을 통한 학습에 기여한다. 

• PRI는 무슨 일이 일어났고 어떤 것이 학습과 관련이 있는지를 이해하는 것에 초점을 맞추고 있기 때문에 해롭거나 불리한 영향을 예방할 수 있다. 

• 마지막으로, PRI는 직장에서 학습과 평가에 관한 우리 커뮤니티의 범위확장에 부합한다.

• PRI supports reflection by focusing on seeking out which information is relevant to you and why. 

• It recognizes interaction as one of the processes to gather PRI, thus contributing to learning through social interaction. 

• PRI may prevent harmful or adverse effects as the focus is on making sense of what happened and what is relevant in terms of learning. 

• Finally, PRI matches our communities’ broadening scope on learning and assessment in the workplace.

28 van den Eertwegh V, van der Vleuten C, Stalmeijer R, van Dalen J, Scherpbier A, van Dulmen S. Exploring residents’ communication learning process in the workplace: A five-phase model. PLoS One. 2015;10:e0125958.

21 Eva KW, Bordage G, Campbell C, et al. Towards a program of assessment for health professionals: From training into practice. Adv Health Sci Educ Theory Pract. 2016;21:897–913.

---

Acad Med. 2018 Apr;93(4):556-559. doi: 10.1097/ACM.0000000000001962.

Broadening the Scope of Feedback to Promote Its Relevance to Workplace Learning.

van der Leeuw RM1, Teunissen PW, van der Vleuten CPM.

Author information

1

R.M. van der Leeuw is a postdoc researcher in medical education and elderly care medical resident, Department of Elderly Care Medicine, Gerion, VU University, Amsterdam, the Netherlands. P.W. Teunissen is professor of medical education, Maastricht University, Maastricht, the Netherlands, and gynecologist, VU University Medical Center, Amsterdam, the Netherlands. C.P.M. van der Vleuten is professor of education, Department of Educational Development and Research, Maastricht University, Maastricht, the Netherlands.

Abstract

The common goal in medical education is to support the health care workforce, both present and future, in becoming and remaining competent professionals. Both during and after medical training, learning takes place in the clinical workplace. Yet, how feedback is defined in medical education and how it is practiced in clinical training situations, combined with a research focus on "what works," limits its potential for learning. This article explores the theoretical background of learning in interaction and current trends in medical education to broaden the scope of feedback and promote its relevance to workplace learning.A new, wider perspective is outlined in which feedback could be redefined as "performance-relevant information" (PRI). PRI can incorporate all information that is deemed relevant to the learner, drawn from interaction in workplace learning and one's interpretation of performance in the clinical workplace. This information can, for example, come from the evaluation of patient outcomes after treatment; observations of role models' performance; evaluations and assessments; exploring feelings of failure or success; and responses of colleagues and peers.PRI draws attention to learning opportunities that better fit the highly social learning of clinical workplaces and current trends in medical education. It supports the interpretation of individual or team performance in terms of relevance to learning. This allows for a comprehensive way of viewing and stimulating workplace learning and the performance of professionals, providing an opportunity to create lifelong learning strategies and potentially improving the care of patients.

PMID:

 

29068817

 

DOI:

 

10.1097/ACM.0000000000001962