임상교육 지도 상황에서 입다물기(MUM): 개인적 생각과 공공의 판단(Med Educ, 2019)

임상교육 지도 상황에서 입다물기(MUM): 개인적 생각과 공공의 판단(Med Educ, 2019)

Keeping mum in clinical supervision: private thoughts and public judgements

Catherine E Scarff,1 Margaret Bearman,2 Neville Chiavaroli1 & Steve Trumble1

도입

INTRODUCTION

이 시나리오를 상상해보라. 바쁜 클리닉이나 긴 병동 회진의 끝이며, 당신은 직장 평가에서 훈련생을 관찰할 예정이다. 그렇게 할 때, 당신은 연습생이 그 일에 고군분투하고 있는 것을 보게 되고 당신은 줄 '부정적 피드백'을 갖게 된다. 무슨 생각을 하고 있는 거야? 그리고 나서, 너는 어떻게 생각하니?

Imagine this scenario. It is the end of a busy clinic or long ward round and you are scheduled to observe a trainee in a workplace assessment. As you do so, you see that the trainee is struggling with the task and you have ‘negative feedback’ to give. What goes through your mind? And then, what do you say?

많은 임상 감독자들은 학습자의 성과에 대한 바람직하지 않은 관점을 갖게 될 때, 감독자는 자신의 생각을 말하기를 꺼린다.12 이것은 학습자가 자신의 성과에 대해, 특히 뭔가 문제가 있을 때, 충분한 정보를 제공받지 못하는 '피드백 소실'로 이어질 수 있다. 3 극단적으로, 이것은 기준을 충족하지 못하는 학습자의 'failure to fail'를 초래한다.1,2,4 그러한 바람직하지 않은 평가 뉴스를 전달하기를 꺼리는 것은, 본질적으로 종합적이든 형태적이든, 때때로 'MUM 효과'라고 알려진 심리 현상에 직접적으로 연관될 수 있다.

Many clinical supervisors are reluctant to speak their mind when they have formed an unfavourable view of a learner’s performance.1,2 This can lead to ‘vanishing feedback’,3 where a learner is not given sufficient information about their performance, in particular that their work is unsatisfactory. At an extreme, this results in the ‘failure to fail’ those learners who do not meet standards.1,2,4 Such reluctance to communicate unfavourable assessment news, whether summative or formative in nature, can at times, be directly linked to a psychological phenomenon known as ‘the MUM effect’.

1970년대 이후, 다양한 심리학과 경영학 연구는 일반적으로, 사람들이 불쾌감을 주는 메시지에 대해 Mum(MUM)한다는 것을 확인시켜 주었다.5 이러한 경험적 연구의 focused body는 의학 교육 문헌에서 상대적으로 탐구되지 않은 영역이지만, 어떤 상황에서는 직접적으로 표현을 하지 못하는 "예의바름"에 대해서 설명하기 위해 구성주의적 관념을 사용해 왔다. 의학 교육은 MUM 효과 문헌에서 참고할 것이많은데, 특히 우리의 최선의 노력에도 불구하고 'failure to fail'이 임상 감독에서 지속될 경우 더욱 그러하다.

Since the 1970s, a range of psychological and management studies have confirmed that, in general, people are likely to keep Mum about Unpleasant Messages (MUM).5 This focused body of empirical research remains relatively unexplored in the medical education literature, although constructionist notions of politeness have been used to explain a lack of direct expression in some circumstances.6 The MUM effect literature has much to offer medical education, particularly when ‘failure to fail’ persists in clinical supervision, despite our best efforts.4

1970년 조지아대 심리학과에서 로젠과 테서는 '사람들은 긍정적인 정보보다 부정적인 정보 전달을 더 꺼릴 것'이라는 상식적 개념을 시험해 보려고 했다. 5 이 기념비적인 MUM 효과 실험은 메시지의 성격과 전달 방법 사이의 관계를 조사했다.5 급한 메시지를 전달할 기회가 주어졌을 때, MUM에 대해 연구되고 있다는 것을 알지 못했던 피험자들은, (좋은 소식에 비해서) 나쁜 소식을 완전히 전달하지 못했다.5 저자들은 그 후 '무소식은 희소식'이라는 진언론을 '무소식은 비소식'으로 다시 표현했다.

In 1970, in the Department of Psychology at the University of Georgia, Rosen and Tesser sought to test the ‘common sense notion that people will be more reluctant to communicate information which is negative rather than positive for the recipient’.5 This seminal MUM effect experiment examined the relationship between the nature of the message and how people deliver it.5 Subjects, who were unaware that they were being studied about MUM, when given an opportunity to deliver an urgent message, did not deliver it as completely when the news was bad compared with good.5 The authors subsequently rephrased the aphorism ‘no news is good news’ to ‘no news is bad news’.7

MUM은 의료 교육 문헌에 거의 나타나지 않는다. 단, 평가자의 rating이 학습자 성과를 어떻게 적절하게 반영하는지 이해하는 데 초점을 맞추고 있다.17 비록 '불쾌한 리퍼커션'18에 대한 우려가 rating에 영향을 미치는 것으로 알려져 있지만, 이것은 '맥락적' 요인17 또는 등급 '변동성variability'의 출처source로 간주된다.18 MUM 효과에서는 초점이 다르다. 여기서는 적절한 rating 판단을 하더라도 평가자가 이러한 판단(등급, 서면 의견 또는 구두 피드백 정보)을 학습자에게 전달하지 않을 수 있음을 의미한다.

MUM appears rarely in the medical education literature, except fleetingly as a possible explanation for rater bias.16 However, rater cognition literature is predominantly focused on understanding how assessors’ ratings appropriately reflect learner performance.17 Although concern about ‘unpleasant repercussions’18 is noted as influencing ratings, it is considered as a ‘contextual’ factor17 or a source of rating ‘variability’.18 The MUM literature has a different focus. It suggests that, even if the appropriate assessment judgements are made, the assessor may not communicate these judgements (as ratings, written comments or verbal feedback information) to the learner.

임상 감독관들이 [개인적 생각]을 [공적 판단]으로 변환시킬 수 없는 것은 임상 평가와 의료에 심각한 영향을 미친다. 

• 첫째, 이는 평가자 인식 문헌에 기술된 바와 같이 학생평가에서 오류의 원인이 된다. 이것은 복수의 평가자를 사용함으로써 다소 개선될 수 있으며, 이를 위해 최근 의료 교육 평가에 대한 '프로그램적' 접근방식은 복수의 평가자로부터 빈번한 형성적 '저부담' 평가에 의존한다. 

• 둘째로, 의학교육 피드백 문헌에 따르면 평가자들은 학습자의 수행능력에 대한 정보를 주지 않으며(관대함 편향), 이는 학습자의 적절한 학습 기회를 막는다. 30여 년 전, 엔데는 같은 문제에 주목했는데, 그는 이를 '사라지는 피드백'이라고 불렀다. '... 교사는 선의 때문에 학생의 문제를 둘러서 이야기하거나, 완전히 난해하게 할 정도로 간접적인 표현을 사용한다. 부정적인 평가를 두려워하는 학생은, 선생님의 이같은 회피 행위를 지지하고 강화한다. 그 결과 최고의 의도에도 불구하고, 어떤 실질적인 가치도 전달되지도, 수신되지도 않는다.'

• 마지막으로, 아무리 극단적으로라도, 임상 감독관은 학습자가 필요한 기준을 아직 충족하지 못했을 때 합격하게 놔두게 한다. 'Failure to fail'는 제대로 수행하지 못한 연습생에 대한 교정조치나 추가 지원이 없는 것을 뜻하며, 이는 (환자에게 해를 입히는 등) 심각한 결과가 발생하기 전에 개입하여 성과를 개선할 수 있는 기회를 놓치게 만든다. 결정적으로, failure to fail을 해결하기 위한 개입은(교수개발 포함)아주 제한된 개선만을 가져왔다. 즉, FtF는 의료 교육 및 실천에서 광범위한 영향을 미치는, 지속적으로 발생하는 결과이다.

Clinical supervisors’ inability to turn private thoughts into public judgements has serious implications for clinical assessment and health care more broadly. 

• Firstly, it is a source of error in rating learners, as is described in the rater cognition literature.18 This may be somewhat ameliorated by the use of multiple raters and to this end, recent ‘programmatic’ approaches to medical education assessment rely on frequent formative ‘low stakes’ assessments from multiple raters.19–21 

• Secondly, the medical education feedback literature suggests assessors withhold information about performance (‘leniency bias’), which prevents trainees from learning appropriately.22 Over 30 years ago, Ende noted the same issue, which he called ‘vanishing feedback’: ‘... the well-intentioned teacher talks around the problem or uses such indirect statements as to obfuscate the message entirely. The student, fearing a negative evaluation, supports and reinforces the teacher’s avoidance. The result is that despite the best of intentions, nothing of any real value gets transmitted or received’.3 

• Finally, at the most extreme, clinical supervisors let learners pass when they have not yet met the required standard.4 ‘Failure to fail’ denies remediation or extra support to poorly performing trainees and results in a missed opportunity to intervene and improve performance before a serious consequence occurs, such as harm to patients. Critically, interventions aimed at addressing failure to fail, including faculty development, have resulted in only limited improvements.4 In other words, this is a persistent problem with wide-ranging consequences for health care education and practice.

아래 우리가 약술한 바와 같이, MUM 문헌은 '입을 닫는 것'을 유지하는 상태가 팽배하다고 말한다.23 2626 더 유용하게, MUM 효과 연구는 또한 개개인마다 서로 다른 방식으로 침묵을 지킨다는 것을 지적한다. 또한 'Mum 행동을 engage하는 정도도 다양하다.'30

As we outline below, the MUM literature suggests that keeping mum is pervasive.23–26 More usefully, the MUM effect research also notes that individuals keep mum in different ways27–29 and ‘vary in the extent they engage in these behaviors’.30

기사에서 나온 연구결과는 세 가지 테마로 함께 묶였다. 즉, MUM 행동이 어떻게 생겼는지를 설명하는 주제, MUM 효과의 잠재적 이유를 탐구하는 주제, 그리고 MUM 행동에 영향을 줄 수 있는 요소를 고려하는 테마.

The findings from the articles were clustered together into three themes: 

• those that describe what MUM behaviours look like, 

• those that explore potential reasons for the MUM effect and 

• those that consider factors that can influence MUM behaviours.

MUM효과의 행동적 표현

BEHAVIOURAL MANIFESTATIONS OF THE MUM EFFECT

미루기

Delaying behaviours

가장 초기의 연구는 MUM 효과가 나쁜 소식을 전달하는데 있어서 '미루기' 형태로 나타난다는 것을 지적한다.5,27,38 예를 들어, 테서,로젠,테서는 현장 연구에서 나쁜 소식 전달이 좋은 소식과 비교하여 지연되었다는 것을 보여주었다.27 비슷하게 베네딕트와 레빈도 성과 평가에 관한 실험에서 [시뮬레이션된 감독자들이 하위 성과자들에게 수행 등급을 부여하는 것을 지연시켰다는 것]을 보여주었다. .29

The earliest research notes the MUM effect manifests as a ‘delay’ in delivering bad news.5,27,38 For example, Tesser, Rosen and Tesser showed in a field study that bad news delivery (rejection of a disability financial aid application) was delayed compared with good.27 Similarly, Benedict and Levine showed in an experiment about performance appraisal that simulated supervisors delayed giving performance ratings to lower performers.29

어떤 상황에서는 지연이 의사소통에 도움이 될 수 있다. 왜냐하면, 어떤 메시지를 받게 될지에 대한 valence를 알리고, teller를 돕는 '사회적 기능'을 할 수 있다.

it is noted that delay may even be beneficial to communication in some situations, serving a ‘social function’ 26 of announcing the valence of the message to come and so helping tellers in their task.9,26

왜곡하기

Distorting behaviours

불쾌한 메시지를 왜곡하는 모습은 실험실 설정에서도 관찰되었으며 28,29,36 메시지의 왜곡은 비즈니스 환경에서 '설탕발림'으로 보고되었다.34,39

Distorting an unpleasant message has also been observed in laboratory settings28,29,36 and distortion of the message has been reported in business settings as ‘sugarcoating’.34,39

조직적 학습에서 '설탕발림'의 효과를 모델링하는 것은, 메시지에 대한 약간의 왜곡이 사실 의사소통을 촉진할 수 있지만, 특정 지점을 넘어서면 효과적인 의사소통이 악화될 수 있음을 시사한다.34 이것은 긴스부르크 등이 언급한 언어 분석과 일치한다. 임상 작업 기반 평가에서 서면 코멘트를 수행했으며, 이는 좋은 수행자와 나쁜 수행자 모두에 대해서 광범위한 '헷징'이 발생함을 보여준다.6

Modelling the effects of ‘sugarcoating’ in organisational learning suggests some small amount of distortion of the message may in fact promote communication but when present beyond a certain point, effective communication deteriorates.34 This aligns with the linguistic analysis that Ginsburg et al. have conducted on written comments in clinical work- based assessments, which shows extensive ‘hedging’ for both good and bad performers.6

회피하기

Avoidant behaviours

중요한 것은, 나쁜 소식을 전달하는 사람들은 부정적인 메시지를 전달하는 것을 회피할 수 있다는 것이다.5,11,33,39 예를 들어, 2006년 자연주의 연구에서 인터뷰한 교장들 중 절반 이상이 처음에 성적이 나쁜 교사들의 문제를 무시하거나 회피한 것을 인정했다. 교장이 학생들의 실패를 관리하지 않기 위해 학생들에게 행동을 해 달라고 애원하는 극단적인 예를 포함한다.

Significantly, communicators of bad news may avoid delivering some or all of a negative message.5,11,33,39 For example, over half of the principals interviewed in a 2006 naturalistic study admitted to initially ignoring or avoiding the problem of underperforming teachers, including an extreme example of a principal begging students to behave to avoid managing their teacher’s failings.11

MUM효과는 왜 발생하는가?

WHY DOES THE MUM EFFECT OCCUR?

의사소통자의 성격이나 조직 분위기가 부정적인 메시지 전달에 상당한 영향을 미칠 수 있다는 점도 주목할 필요가 있다.39,41,42

It is worth noting that there are also factors in play; the communicator’s personality or the climate of an organisation may have a significant impact on delivery of negative messages.39,41,42

자신에 대한 걱정

Self-concern

Rosen과 Tesser는 '불쾌한 메시지의 전송을 가능하게 하는 상황에 놓이는 것은, 그가 실제로 메시지를 전송하는지 여부에 관계없이 개인 내면의 긴장을 조성한다'.5 초기 실험 연구에서는 의사소통자들이 나쁜 소식을 공유할 때 죄책감을 경험할 수 있다는 것을 보여주었다.

MUM behaviours may result from a communicator’s desire to avoid bad feelings in themselves, although Rosen and Tesser highlight that ‘being put into a situation that makes transmission of unpleasant messages possible creates a tension system within the individual regardless of whether or not he actually transmits the message’.5 Early experimental studies5,43 showed that communicators may experience feelings of guilt when sharing bad news

메시지 전달자는 수신자가 소식을 어떻게 볼지를 명시적으로 고려할 수 있으며, 의도적으로 메시지를 지연시키는 것은 메시지를 전달하는 자신에 대한 부정적인 평가를 최소화하기 위한 것일 수 있다.23 MUM 행동에 대한 추가적인 이유는 나쁜 소식을 전달할 때 (또는 실제로 요구되는) 의사소통자의 기분 변화를 피하기 위함이다.35 이는 임상평가 문헌에 반영된다: 많은 연구에서 평가자도 trainee를 fail시킬 때, 정서적으로 댓가를 치름을 보고한다.4

Communicators may explicitly consider how their delivery of news will be viewed by receivers24 and the deliberate use of delay may be intended to minimise a negative evaluation of the communicator.23 A further reason given for MUM behaviours is to avoid the negative change in the communicator’s mood that occurs (or in fact is required) when delivering bad news.35 This resonates with the clinical assessment literature: many studies report the emotional toll on clinical assessors when failing a trainee.4

타인에 대한 걱정

Concern for others

메시지 전달자는 불쾌한 메시지를 받는 사람에 대한 우려를 하기 때문에 MUM 행동이 발생할 수 있다. 일반적으로 사람들은 [다른 사람이 좋은 소식을 받고 싶어할 것이고, 반대로 나쁜 소식을 받고 싶어하지 않을 것]이라고 가정하기에, 이것이 행동에 영향을 미칠 수 있다는 것이다.35

The communicator’s concern for the recipient of an undesirable message can also lead to MUM behaviours. The common assumption is that people will want to receive good news and, conversely, not want to receive bad news and this may influence the communicator’s behaviour.35

Conlee와 Tesser에 따르면, 나쁜 소식조차도 듣고 싶어하는 수신인의 욕구를 분명하게 밝힌 상황에서, 메시지 전달자가 이것을 알고 있더라도, 정보 전달을 증가시켰지만, 완전히 MUM 효과를 없앤 것은 아니라는 것을 발견했다.44

Conlee and Tesser tested the effect of clearly stating a recipient’s desire to be told news, even if bad. They found that although knowledge of the recipient’s desire to hear news did increase its transmission, it did not entirely eliminate the MUM effect.44

받는 사람이 부정적인 메시지에 어떻게 반응할 것인지에 대한 의사소통자의 믿음도 MUM 결정에 영향을 미칠 수 있다. '발신자는 수신자를 부정적인 감정 상태로 만들지 않는 것을 선호한다'35 그리고 '특정 메시지가 관련 받는 사람에게 미칠 정서적 영향에 민감하게 보인다'.35 이것들은 대부분 고통을 주고 싶어하지 않기 때문에 매우 자연스러운 공감 반응으로 보인다. 부정적인 메시지를 전달하기 위한 유혹은 다른 사람에게 불행을 야기시키지 않기를 바라는 메시지 전달자의 소망, (진정할 시킬 수 없을지도 모르는) 나쁜 소식에 화가 난 사람과 함께 있는 것에 대한 두려움, 또는 수신자가 발신자를 가혹하게 판단할 것이라는 두려움 때문일 것이다.35

A communicator’s belief of how a recipient may respond to a negative message can influence his or her decision to tell or not. ‘Communicators prefer not to put the recipient in a negative affective state’35 and appear sensitive to the ‘emotional impact a particular message would have on the relevant recipient’.35 These seem like very natural empathetic responses, as most do not wish to cause distress. Reluctance to deliver a negative message may be because of 

• the communicator’s wish to avoid causing unhappiness in another, 

• their fear of being with a person who is upset by bad news, whom they may be unable to calm down, or 

• their fear that an emotional recipient will judge them harshly.35

규범에 대한 우려

The communicator’s concern with norms

사회 규칙이나 규범을 준수하려는 전달자의 욕구는 MUM행동에 관한 세 번째 가능한 설명을 나타낸다.35 이것은 임상평가에서 탐구된 '예의바름 이론'의 개념과 일치한다.6 여기서 좋은 소식을 주는 것은 '체면을 살리는 것'으로 보여지고 따라서 규범적인 것이다. 다시, 이것은 '의학 내에서 [훈련생]과의 비판적인 논의를 자주 피하는 문화가 있다'는 임상평가 설정에서 일어나는 것으로 보고된다.46

Communicators’ desires to conform to societal rules or norms represent a third possible explanation for MUM behaviours.35 This aligns with notions of ‘politeness theory’ explored in clinical assessment,6 where giving good news is seen as ‘face saving’ and therefore normative. Again, this is reported to occur in the clinical assessment setting: ‘there is sometimes a culture within medicine where the critical discussions with [trainees] are often avoided’.46

MUM행동은 무엇에 영향을 받는가?

WHAT CAN INFLUENCE MUM BEHAVIOURS?

의사소통 책임

Responsibility to communicate

의사소통자에게 부정적인 메시지를 전달하기 위한 책임을 명확하게 할당하는 것은 행동에 영향을 미치는 것으로 나타났다.

Clearly assigning responsibility to communicate a negative message to a communicator has been shown to affect behaviour.

참가자들에게 뉴스를 전달할 책임이 주어지는 실험에서, 그들은 그렇게 해야 할 의무가 있다고 느꼈고, 그들이 결정하지 않도록 요청받거나 어디에서 결정하도록 허용된 사람들과 비교했다.

in an experiment where participants were given the responsibility to communicate a piece of news, they felt more obliged to do so, compared with those who were asked not to or where they were allowed to decide;

메시지의 결과

Consequence of the message

결과에 대한 인식이 MUM 행동에 영향을 미칠 수 있다. 성과 평가의 중요성이 증가함에 따라, 성과 관리 환경에서 메시지 전달자의 불편함 수준도 증가했다.49

Perception of consequences may affect MUM behaviours. In a performance management setting, as the importance of a performance appraisal increased, so too did communicators’ levels of discomfort.49

결과에 대한 불확실성은 메시지의 전달에도 영향을 미칠 수 있다. Weenig의 실험적인 연구는 [뒤따르는 결과가 불확실한 나쁜 뉴스]가 [뒤따르는 결과가 확실한 가진 나쁜 뉴스]보다 더 쉽게 전달된다는 것을 암시한다. 그 결과 전자는 '더 급하고 더 도움이 된다'.51

Uncertainty about the consequence may also affect the delivery of the message. Weenig’s experimental work suggests that bad news with indefinite consequences is delivered more readily than bad news with definite consequences, as a result of the former being regarded as ‘more urgent and more helpful’.51

익명성

Anonymity

MUM 효과는 여전히 익명의 상황에서 발생할 수 있다.52 그러나 익명성이 MUM 행동에 미치는 영향에 대한 연구는 혼합되어 있다.23,53

The MUM effect may still occur in anonymous situations;52 however, studies are mixed as to the influence of anonymity on MUM behaviours.23,53

직무만족

Job satisfaction

의사소통자의 작업 상황에 대한 만족도가 영향을 미칠 수 있다.

A communicator’s level of satisfaction with their work situation may influence

콕스 등은 메시지 전달자의 직무만족도나, 전달자 자신의 감독관에 대해 갖는 신뢰의 수준이 스스로 보고된 MUM 행동과 부정적인 관계가 있음을 시사한다. 15 비젤은 고용 안정과 같은 요인들이 나쁜 소식을 전달하려는 의지에 영향을 미칠 수 있다고 지적한다.33

Cox et al. suggest levels of job satisfaction and trust in a supervisor are negatively related to self-reported MUM behaviours;15 Bisel notes that factors such as job security may affect willingness to deliver bad news.33

기존 관계

Pre-existing relationship

일반적으로, MUM 행동은 통신자와 수신자 사이에 기존에 존재하는 관계에 의해 바뀔 수 있다. 위에서 언급한 바와 같이, 감독자에 대한 신뢰는 MUM 행동의 가능성을 감소시킬 수 있다. Weenig 등은 둘 사이의 관계가 가까울수록 정보 교환이 발생할 가능성이 더 높지만, 다른 연구의 결과는 덜 확정적이다.8

In general, MUM behaviours may be modified by the presence of a pre-existing relationship between the communicator and the recipient. As noted above, trust in a supervisor may decrease the likelihood of MUM behaviours. Weenig et al. suggest that the closer the relationship between the two, the more likely that information exchange will occur,51,55 although results of other studies are less conclusive.8

(위계) 차이도 관련이 있다. 예를 들어, Ploeger, Kelly, Bisel은 부하들이 자신들보다 더 높은 직원에 대해 MUM을 유지할 가능성이 더 높다는 것을 보여주었다.40 이러한 관계 발견은 의학 교육과 매우 관련이 있다.

differences are also relevant. For example, Ploeger, Kelly and Bisel showed that subordinates were more likely to keep MUM to an employee senior to them.40 These relationship findings are highly relevant to medical education,

매체

Medium

어떤 매체로 전달되느냐도 중요할 수도 있지만, 이것은 여전히 논쟁의 대상이다.

The medium of the message may be significant, but this is still a matter for debate.

메타 분석 결과 응답자들이 전화 인터뷰의 질문에 매우 긍정적인 반응을 보일 가능성이 더 높았으며, 다른 덜 직접적인 방법과 비교하였다.59 대조적으로, Dibble은 전달 방식이 의사소통을 꺼리는 자기 보고 수준에 영향을 미치지 않는다는 것을 발견했다(대면 vs 전자 메일).26

a meta-analysis showed that respondents were more likely to give extremely positive responses to questions in telephone interviews, compared with other less direct methods.59 By contrast, Dibble found that mode of delivery did not affect the self- reported level of reluctance to communicate (e-mail in comparison with face to face),26

문화적 차이

Cultural differences

MUM 효과는 '광범위한' 경향으로 설명되어 왔으며, 60개의 MUM 행동에 대한 보고가 많은 환경에서 나왔다.

The MUM effect has been described as a ‘widespread’ tendency,60 and reports of MUM behaviours have come from many settings

의학교육의 실질적 함의

PRACTICAL IMPLICATIONS FOR MEDICAL EDUCATION

이 문헌 검토는 MUM 효과가 만연하고, 바람직하지 않은 메시지를 전달하거나 왜곡하는 것을 완전히 피할 수 있으며, 문화와 작업장에 걸쳐 지속된다는 것을 시사한다.

This literature review suggests that the MUM effect is pervasive, can lead to a complete avoidance of delivering or distortion of an undesirable message, and persists across cultures and workplaces.

임상 성과 평가 설정에 대한 이 작업의 즉각적이고 실질적인 함축은 5가지다.

There are five immediate, practical implications of this work for clinical performance assessment settings.

1 MUM 효과는 불가피하게 발생할 것이다. 

1 The MUM effect will inevitably occur. 

MUM 효과가 만연하하다면, 이는 프로그램적 평가의 가치를 뒷받침한다. 사람마다 그들의 MUM 행동의 범위에서 다양한 것으로 보인다. 따라서, 낮은 이해관계를 가지는 많은 다른 평가자들로부터 많은 평가 지점을 갖는 것은 MUM 효과의 발생을 제거하지는 않지만, MUM 효과의 영향을 줄여줄 것이다

If the MUM effect is pervasive, then this supports the value of the programmatic assessment movement.19–21 It appears that people vary in the extent of their MUM behaviours; therefore, having many points of assessment from many different assessors, each with low stakes, should reduce the impact of the MUM effect, although not eliminate its occurrence.

2 학습자를 위한 메시지의 이점에 초점을 맞추면 평가자와 관련 MUM 행동의 불편함을 줄일 수 있다. 

2 Focusing on the benefit of the message for the learner may reduce the discomfort for assessors and associated MUM behaviours. 

교육은 성과 평가와 같지 않다. 교육에서, 나쁜 퍼포먼스 메시지는 배울 수 있는 좋은 기회, 혹은 심지어 '좋은 소식'으로 생각될 수 있다. 이것은 교육 동맹의 개념과 일치한다. 학습자는 자신들에게 가장 큰 관심을 가지고 있다고 믿는 감독자를 신뢰하게 될 것이다.56 이는 기존 관계가 MUM 행동에 어떤 영향을 미칠 수 있는지를 이해하는 열쇠가 될 수 있다. [누군가에게 최고의 이익이 되고자 하는 것]은 분명히 [어떤 불편함으로부터 그들을 보호하는 것]과 같지 않다.

Education is not the same as performance appraisal. In education, poor performance messages can be thought of as good opportunities to learn, or even ‘good news’. This aligns with the notion of the educational alliance, where the trainee will trust a supervisor who they believe has their best interests at heart.56 This may be the key to understanding how a pre-existing relationship can affect MUM behaviours; working towards someone’s best interests is clearly not the same as protecting them from any discomfort.

3 [불편한 메시지 전달]이 job의 일부로 간주될 때 MUM은 감소한다. 

3 MUM manifestations reduce when delivery of an undesirable message is seen as a part of the job. 

임상의가 환자에게 나쁜 소식을 전달하는 것을 피하지 않는 것과 마찬가지로, 우리는 의료 감독자들이 스스로를 교육자로 보도록 장려하고 지원할 수 있으며, 이와 함께 불편한 메시지를 피드백 프로세스의 일부로 제공할 필요가 있다. 이는 일부 감독자들이 부정적인 피드백을 제공하는 것을 꺼린다고 보고하고, 일부는 교육과 평가 사이의 역할 충돌을 보고하기 때문에 중요하다.63

In the same way that clinicians don’t avoid delivering bad news to patients, we can encourage and support clinical supervisors to see themselves as educators, and with this comes the need to provide undesirable messages as part of feedback processes. This is important as some supervisors report reluctance to provide negative feedback62 and some report a role conflict between teaching and assessing.63

4 모든 MUM 행동이 해롭지는 않을 수 있다. – 정도는 관련이 있다. 

4 Not all MUM behaviours may be harmful – the extent is relevant. 

강조된 바와 같이, 메시지 전달이 다소 지연될 경우 이점이 있을 수 있다.9,26 일부 '설탕발림'이 메시지를 더 '맛있게' 만들 수도 있다. 설탕 코팅64의 효능을 의심하는 이유는 있지만, 진정성은 매우 중요하다.65 달달하게 만드는 것은 퍼포먼스에 대한 정보라기보다는, 동기부여적 격려로 볼 수 있다. 이것은 추가적인 조사가 필요한 영역이다.

As highlighted, there may be benefits to some delay in delivering messages.9,26 It may also be that some ‘sugarcoating’34 may make the message more ‘palatable’, although there is reason to doubt the efficacy of sugarcoating64 and sincerity is very important.65 It may be that sweetening can be seen as motivational encouragement rather than part of the information on performance; this is an area for further investigation, not just within the MUM literature.

5 우리는 우리의 평가자에게 더 관대해야 한다.

5 We should be more forgiving of our assessors. 

여러 연구에 따르면 MUM은 인간의 자연스러운 경향이며 따라서 세계의 모든 교수개발을 동원해도 불편한 메시지를 숨기는 침묵을 해소하지 못할 수도 있음을 시사한다. MUM 효과에 대한 정보를 임상 감독자에게 제공하는 것이 반드시 문제를 '수정'하는 것은 아닐 것이다. 그러나 그러나 평가자는 왜, 언제, 어떻게 그들이 훈련생들로부터 정보를 보류하는지 이해해야 하고, 자신의 행동을 조절하기 위한 조치가 필요한지 이해해야 한다. 또한 만약 그들이 MUM 효과가 너무 강력하다고 판단되면 피드백이나 평가 의무를 스스로 내려놓아야 한다. (어떤 시스템에서든) 평가자는 수행기준을 충족하지 못하는 연습생이 진행되지 않도록 보장하는 책임을 질 수 있음을 깨닫는 것이 중요하다.

This body of work suggests that MUM is a natural human tendency and therefore all the faculty development in the world may not resolve the reticence to deliver undesirable messages. Providing clinical supervisors with information about the MUM effect will not necessarily ‘fix’ the problem, but it may permit assessors to understand why, when and how they withhold information from trainees and therefore take steps towards regulating their behaviour or allow them to excuse themselves from feedback or assessment duties if they find the effect to be overpowering. It is important that assessors realise that, regardless of the system, they can take responsibility for ensuring that trainees who do not meet performance standards are not allowed to progress.

비록 MUM 효과가 만연할 수 있지만, 보편적인 것은 아니며 다른 평가 맥락은 특정한 행동을 구속하거나 가능하게 할 수 있다. 한 가지 심오한 차이점은 평가의 목적이 주로 피드백(형성적)인지 아니면, 주로 progress 판단을 기록하기 위한 것인지(총괄적)이다.

Although the MUM effect may be pervasive, it is not universal and different assessment contexts may constrain or enable certain behaviours. One profound difference is whether the assessment’s purpose is primarily as feedback (formative) or if it is primarily for recording a judgement of progress (summative).

임상 감독관들은 피드백이 그들의 소관의 핵심 부분이라는 것을 매우 잘 알고 있다; 보건 전문직 전반에서 임상 감독관들은 피드백을 교수 개발을 위한 가장 시급한 영역 중 하나로 식별한다.66 Bing-You 등은 적절한 감독관 몇 명이 피드백 역할을 전문화 해야한다고 제안한다. 이것은 MUM 효과를 감소시키는 한 가지 방법이 될 수 있다.

Clinical supervisors are acutely aware that feedback is a core part of their remit; across the health professions clinical supervisors identify feedback as one of the most urgent areas for faculty development.66 Bing-You et al. suggest22 that a few suitable supervisors should specialise in the feedback role and we should target our efforts to building these clinicians’ sense of identity as educators. This may be one way to reduce the MUM effect;

또한, 피드백이 단순한 메시지 이상의 것에 맞춘다면, [성과에 관한 정보]는 단지 더 큰 일련의 피드백 교환이나 관계의 한 부분이다; Bing-You의 비유로 보자면, 탱고 댄스의 한 스텝에 불과한 것이다.

Additionally, in line with feedback being more than just the message,67 this places provision of information on performance as just one part of a larger series of feedback exchanges or relationships; to use Bing-You’s analogy, just one step in the dance.22

때때로 평가 메시지는 발달적developmental이지 않다. 이러한 경우, 평가의 주된 목적이 progress에 대한 고부담 결정을 결정하는 경우, MUM 효과를 '제어'하는 다른 접근법이 있을 수 있다. 다시 한 번, 임상 감독관이 메시지 전달이 자신의 핵심 업무의 일부라는 것을 알게 하는 것은 매우 중요하다. 이것을 넘어, 복수의 메시지 전달자를 활용하면 MUM 효과를 개선시킬 수 있다. 이것은 두 가지 방법으로 가능하다.

Sometimes, assessment messages are not developmental. In these instances, when the primary purpose of assessment is making high- stakes decisions on progress, then there may be other approaches to ‘control’ the MUM effect. Once again, ensuring that clinical supervisors see that delivery of the message is part of their core job is very important. Beyond this, it may be that multiple message givers may ameliorate the MUMeffect. This is possible in two ways.

첫째, 프로그램적 평가에서와 같이 복수의 메시지를 수집할 수 있다. 그러나 MUM 문헌의 주요 통찰력 중 하나는 '나쁜 소식'이 충분히 표현되지 않을 것이라는 점이기 때문에, 단 한번의 좋지 않은 평가 결과가 다른 평가들을 더 세밀하게 조사하게 하는 결과를 초래해야 한다는 점을 고려할 가치가 있을 것이다. 물론 이는 단일한 평가 결과가 다소 정확하다는 것을 암시하지는 않는다. 그러나 전반적으로 평가자는 불편한 메시지를 전달하기보다 묵혀둘 가능성이 더 높기 때문에, (한두 건의) 부정적인 평가라고 해서 간과해서는 안 된다.

Firstly, multiple messages may be collated, as in programmatic assessment. However, as one of the key insights from the MUM literature is that ‘bad news’ will be under-represented, it may be worth considering that singular poor assessment results should result in other assessments being given stronger scrutiny. Of course, this does not suggest that a singular poor assessment result is more or less accurate; however, because, across the population, assessors are more likely to withhold undesirable messages than deliver them, a negative assessment should not be overlooked.

둘째로, 메시지 전달 자체가 패널이나 그룹을 통해 이루어질 수 있기 때문에, 나쁜 뉴스의 전달자가 되기 위해 개인에게 의존하기보다는, 합의를 통해 MUM 경향에 신경쓸 수 있다.

Secondly, delivery of the message itself can be through a panel or a group, so that the natural MUM tendencies can be attended to through consensus rather than relying on an individual to be the bearer of bad news.

LIMITATIONS OF THIS REVIEW

CONCLUSIONS

17 Kogan JR, Conforti L, Bernabeo E, Iobst W, Holmboe E. Opening the black box of clinical skills assessment via observation: a conceptual model. Med Educ 2011;45 (10):1048–60.

18 Gingerich A, Kogan JR, Yeates P, Govaerts MJB, Holmboe ES. Seeing the ‘Black Box’ differently: assesssor cognition from three research perspectives. Med Educ 2014;48:1055–68.

6 Ginsburg S, van der Vleuten C, Eva KW, Lingard L. Hedging to save face: a linguistic analysis of written comments on in-training evaluation reports. Adv Health Sci Educ 2016;21 (1):175–88.

66 Bearman M, Tai J, Kent F, Edouard V, Nestel D, Molloy E. What should we teach the teachers? Identifying the learning priorities of clinical supervisors Adv Health Sci Educ 2018;23 (1):29–41.

---

Review

 

, 53 (2), 133-142

 Feb 2019

Keeping Mum in Clinical Supervision: Private Thoughts and Public Judgements

Catherine E Scarff 1, Margaret Bearman 2, Neville Chiavaroli 1, Steve Trumble 1

Affiliations 

Affiliations

• 1Department of Medical Education, Melbourne Medical School, University of Melbourne, Melbourne, Victoria, Australia.
• 2Centre for Research in Assessment and Digital Learning, Deakin University, Geelong, Victoria, Australia.

• PMID: 30328138
 
• DOI: 10.1111/medu.13728

Abstract

Context: The seemingly obvious claim that people prefer to keep mum about undesirable messages - termed 'the MUM effect' - was initially reported in the psychology literature in the 1970s. More recently, it has been discussed in contexts including performance appraisals and the reporting of unsuccessful projects in workplace settings, but only sparsely in educational ones. We wished to review the published literature on the MUM effect in order to understand the implications for clinical assessment.

Methods: We performed a narrative literature review on the MUM effect and clustered findings together into three themes: those that describe what MUM behaviours look like, those that explore potential reasons for the MUM effect and those that consider factors that can influence MUM behaviours.

Results: This paper summarises the extensive literature on the MUM effect, including its manifestations and modifiers and discusses how the effect may be used to consider issues faced by many clinical supervisors faced with delivering 'negative' assessment messages to trainees.

Discussion: We suggest, that as a pervasive phenomenon, the MUM effect can both help to explain the difficulties that some assessors face when delivering undesirable messages (including feedback or ratings) and offer new insights in how to deal with such issues.

© 2018 John Wiley & Sons Ltd and The Association for the Study of Medical Education.