무대에서 연기하기: 직접관찰에 관한 전공의의 인식(Med Educ, 2017)

무대에서 연기하기: 직접관찰에 관한 전공의의 인식(Med Educ, 2017)
Staging a performance: learners’ perceptions about direct observation during residency
Kori A LaDonna,1 Rose Hatala,2 Lorelei Lingard,3 Stephane Voyer2 & Christopher Watling4

 

 

소개
Introduction

레지던시 프로그램은 학습자가 유능하고 안전하며 독립적인 실무자가 되기 위한 필수 기술을 갖추고 졸업하도록 직접 관찰('마스터' 임상의가 관찰하고 견습생에게 피드백을 제공하는 전략)을 사용합니다. 직접 관찰은 두 가지 목적을 달성할 것으로 기대된다.

• 첫째, 모든 프로그램이 수행해야 하는 학습자 성과에 대한 평가를 뒷받침할 것으로 기대된다.
• 둘째, 학습자가 학습목표를 달성할 수 있도록 지도하기 위해 형성적 피드백과 코칭의 기초가 되어 학습을 지원한다.

Residency programmes use direct observation (a strategy in which the ‘master’ clinician watches and provides feedback to the apprentice) to ensure that learners graduate with the requisite skills to be competent, safe and independent practitioners.1, 2 Direct observation is expected to serve two purposes.

• First, it is expected to underpin the assessment of learner performance that all programmes must conduct.
• Second, it is supposed to support learning by serving as a basis for formative feedback and for coaching, in order to guide learners toward meeting their learning objectives.3, 4 

증거는 Miller의 평가 계층 구조 중 가장 높은 수준에서 학습자의 의료 전문성, 기술 또는 절차적 기술, 커뮤니케이션7, 전문성을 포함한 다양한 임상 역량을 평가할 때 직접 관찰의 타당성과 신뢰성을 강력하게 뒷받침한다. 그러나 평가에서 확립된 유용성과는 대조적으로, 교육생의 학습, 환자 치료 결과 및 직업적 정체성 형성에 대한 직접 관찰의 영향은 널리 연구되지 않았다. 직접 관찰에서 생성된 피드백이 교육생의 학습과 성과를 향상시킨다는 것을 뒷받침하는 증거는 제한적이다.19 학습에 가치가 있을 만큼 충분한 빈도로 직접 관찰이 발생하지 않을 수 있으며, 개별 역량을 평가하기 위해 직접 관찰을 사용하는 것은 '의사 발전을 형성하는 데 있어 이러한 역할의 근본적인 의미와 상호 연관성'을 놓칠 수 있다. 직접적인 관찰이 학습에 어떤 영향을 미치는지에 대한 더 나은 이해가 시급하다.
Evidence strongly supports the validity and reliability of direct observation in assessing a range of clinical competencies, including learners’ medical expertise, technical or procedural skills,5, 6 communication7 and professionalism,8 at the highest levels of Miller's assessment hierarchy.9, 10 By contrast with its established usefulness in assessment, however, the influence of direct observation on trainees’ learning, patient care outcomes and professional identity formation has not been widely studied11-15; there is limited evidence to support that feedback generated from direct observation improves trainees’ learning and performance,12, 16-18 or that it improves patient safety and care.19 Direct observation may not occur with enough frequency to be valuable for learning,20, 21 and using direct observation solely to assess individual competencies may miss ‘the underlying meaning and interconnectedness of these roles in shaping physician development’.13 A better understanding of how direct observation influences learning is urgently needed. 

하지만 '직접 관찰'이 정확히 무엇인가요? 그렇게 널리 지지된 접근법의 경우, 의학 교육에서의 사용에 초점을 맞춘 기사에서도 거의 정의되지 않는다. 우리는 [직접 관찰]을 학습자가 자신의 지식과 기술을 임상 실습에 어떻게 적용하는지에 대한 이해를 높이기 위해 학습자가 수행하는 것을 관찰하는 능동적인 과정으로 정의한다. 직접 관찰은 종합적 또는 형성적 목적에 기여할 수 있으며, 객관적 구조 임상 검사(OSCE)와 미니 임상 검사(mini-CEX)와 같은 공식화된 평가 컨텍스트에서 평가가 표현 목표가 아닌 비공식 코칭 지향 컨텍스트에 이르기까지 다양한 환경에서 사용될 수 있다. 관찰 기반 종합 평가 도구는 연구의 많은 관심을 끌었지만, 직접적인 관찰은 학습자의 강점과 약점을 파악하고, 지속적인 발달 피드백을 지원하고, 학습자가 확인된 결함을 해결하기 위한 실행 계획을 수립하는 데 도움이 될 수 있고 형성적인 역할을 해야 한다. 관찰은 한마디로 코칭의 기초를 형성하지만 [효과적인 코칭을 지원하는 관찰 전략]은 여전히 불충분하게 정의되어 있습니다. 
But what exactly is ‘direct observation’? For an approach so widely endorsed, it is rarely defined, even in articles firmly focused on its use in medical education. We define direct observation as the active process of watching learners perform in order to develop an understanding of how they apply their knowledge and skills to clinical practice. Direct observation can serve either summative or formative purposes, and it may be used in a variety of settings, ranging from formalised assessment contexts like the objective structured clinical examination (OSCE) and the mini-clinical examination (mini-CEX), to informal coaching-oriented contexts in which assessment is not the express goal.22 Observation-based summative assessment tools have garnered the bulk of research attention,23, 24 but direct observation can and should play a formative role 9 in identifying learners’ strengths and weaknesses, to support continuous developmental feedback and to help learners create an action plan to address identified deficiencies. Observation, in short, forms the basis for coaching; however, the observational strategies that support effective coaching remain inadequately defined.25

이러한 이해의 차이에도 불구하고, 직접적인 관찰은 교육학적인 의미를 지니게 하고 교육자들은 교육적인 영향이 크다고 가정하는 경향이 있다. 그러나 학습자들은 정말 관찰받고 싶어하는지에 대해서는 덜 확신하는 것으로 보인다. 왜 그런지 이해하지 못하면, 우리는 이론에서 실제보다 더 잘 통할 수 있는 교육 전략을 자랑할 위험이 있다. 직접 관찰의 사회문화적 측면에 대한 우리의 최근 탐구는 전공의들의 양면성을 설명할 수 있는 한 가지 단서를 발견했다. 관찰을 요청하는 것은 종종 학습자들에게 있다. 

Despite these gaps in understanding, direct observation makes pedagogic sense and educators tend to assume that its educational impact is high.26 Learners, however, appear to be less convinced that they want to be observed.17 Without understanding why, we risk trumpeting an educational strategy that may work better in theory than it does in practice. Our recent exploration of the sociocultural aspects of direct observation revealed one clue that may explain residents’ ambivalence21: the onus is often on learners to ask for observation.

그러나 의학이 교육되고 실천되는 임상 기관에 내재된 문화적 가치인 효율성과 자율성에 충돌하기 때문에 학습자들은 꺼린다. 만약 학습자가 관찰이 직접적으로 교육이나 직업적 발전을 향상시킨다고 확신하지 못하고 관찰을 요청하는 것이 그들의 직업적 신뢰도에 부정적인 영향을 미칠까 걱정한다면, 학습자가 관찰받는 것에 대해 이중적이거나 심지어 반대하는 것은 놀라운 일이 아닐지도 모른다. 

Learners are, however, reluctant because asking to be observed conflicts with efficiency and autonomy, cultural values embedded in the clinical institutions where medicine is taught and practised.21 If learners are not convinced that observation directly enhances their education or professional development, and if they worry that asking for observation will negatively impact their professional credibility,21, 27 then it is perhaps not surprising that learners are ambivalent about, or even opposed to, being observed.10

그러나 우리는 모든 학습자가 직접적인 관찰에 대한 양가적이라고 특징지어서는 안 된다. 일부 학습자들에게는 신뢰받는 선배들의 관찰이 자신감을 높이고 임상 능력을 향상시켰다. 이 뉘앙스는 탐구를 필요로 한다. 직접 관찰이 학습을 촉진시키기를 바란다면 관찰자의 존재나 목적이 학습자의 전문성 발달에 영향을 미치는지 등 관찰을 가치 있게 하는 조건을 이해해야 한다. 학습자가 직접 관찰이 학습과 전문성 개발에 미치는 영향을 어떻게 인식하는지 탐색하는 것이 보다 성공적인 구현을 위한 전략 개발의 첫 번째 단계입니다. 따라서 본 연구의 목적은 직접 관찰이 수행, 행동 및 학습에 미치는 영향을 포함하여 훈련 중 관찰된 거주자의 경험을 탐구하는 것이었다.

We must not characterise all learners as ambivalent about direct observation, however. For some learners, being observed by trusted senior colleagues buoyed their confidence and improved their clinical skills.28-30 This nuance demands exploration. If we hope that direct observation will promote learning, we need to understand the conditions that make observation valuable for learners, including whether or not an observer's presence or purpose impacts learners’ professional development. Exploring how learners perceive the impact of direct observation on their learning and professional development is the first step to developing strategies for more successful implementation. Thus, the purpose of this study was to explore residents’ experiences of being observed during their training, including their perceptions of the impact of direct observation on their performance, behaviour and learning.

방법들
Methods

우리는 CGT31, 32를 사용하여 레지던트 교육 동안 학습자의 직접적인 관찰 경험을 탐구했습니다. CGT는 연구자와 참가자의 경험과 관점이 기초적인 사회적 과정에 대한 의미가 어떻게 구성되는지에 영향을 미친다는 것을 인지한다(예: 대학원 의료 훈련 중 관찰). 이 연구는 3명의 임상 교육자(CW, RH, SV)와 수사학(LL) 및 보건과학(KL)에 대한 전문 지식을 갖춘 2명의 박사 학위 교육 연구자에 의해 수행되었다.

We used a constructivist grounded theory approach (CGT)31, 32 to explore learners’ experiences with direct observation during their residency training. CGT recognises that researchers’ and participants’ experiences and perspectives influence how meaning is constructed about a basic social process (e.g. being observed during postgraduate medical training); this research was conducted by three clinician educators (CW, RH and SV) and two PhD-trained medical education researchers with expertise in rhetoric (LL) and health sciences (KL).

슐리치의학전문대학원(슐리치)의 모든 레지던트들이 일대일 면접에 참여할 수 있도록 초청하는 채용 이메일을 발송했다. 22명의 교육생(n = 12명의 여성), 다양한 전문분야(응급의학 [n = 2], 가정의학[n = 2], 외과[n = 3], 소아과[n = 1], 정신과[n = 4], 신경과[n = 2], 방사선학[n = 1], 내과[n = 1] 및 내과 n = 7 PGY 3–5, 2명의 임상 동료)가 반구조화 인터뷰에 참여하기로 동의했다. 인터뷰 동안 한 인터뷰 진행자(KL)는 참가자들에게 훈련 프로그램에서 직접 관찰의 목적과 역학을 설명하고, 관찰된 경험을 되새기며, 직접 관찰이 학습과 전문적 발전에 미치는 영향을 설명하도록 요청했다. 직접 관찰은 여러 형태를 취하기 때문에 참가자에 대한 직접 관찰을 의도적으로 정의하거나 특정 유형의 관찰로 논의를 제한하지 않았다. 대신 참가자들에게 일반적으로 관찰된 작업의 측면, 누가 자신의 작업을 관찰하고 어떤 형태의 직접 관찰이 필요한지를 설명하도록 요청하였다(예: 직접 관찰, 비디오, 양방향 거울 등). 모든 인터뷰는 분석 전에 음성 녹음, 문자 그대로 옮겨지고 비식별화 되었다.
We sent a recruitment e-mail inviting all residents at the Schulich School of Medicine and Dentistry (Schulich) to participate in one-to-one interviews. Twenty-two trainees (n = 12 females) representing a variety of specialties (including emergency medicine [n = 2], family medicine [n = 2], surgery [n = 3], paediatrics [n = 1], psychiatry [n = 4], neurology [n = 2], obstetrics and gynaecology [n = 2], radiation oncology [n = 1] and internal medicine [n = 5]) and training levels (n = 13 PGY 1 or 2; n = 7 PGY 3–5, two clinical fellows) consented to participate in semi-structured interviews. During the interviews, one interviewer (KL) asked participants to describe the purpose and mechanics of direct observation in their training programme, to reflect on their experiences of being observed, and to describe the impact of direct observation on their learning and professional development. Because direct observation takes many forms, we purposefully did not define direct observation for participants, or limit discussion to a particular type of observation. Instead participants were asked to describe the aspects of their work that were typically observed, who observed their work and what form direct observation took (e.g. in-person observation, video, two-way mirror, etc.). All interviews were audio-recorded, transcribed verbatim and de-identified prior to analysis.

데이터 수집과 분석은 반복적으로 수행되었다. 우리는 3단계 코딩 과정 동안 지속적인 비교 분석을 수행했다.

• 첫째, KL과 CW는 자주 발생하는 초기 코드를 식별하기 위해 처음 두 개의 녹취록을 독립적으로 코드화했다. KL과 CW는 관찰 정의, 관찰 접근법, 관찰자의 정체성, 관찰에 대한 기대, 관찰의 시스템 도전 또는 촉진자, 관찰의 의미(감정적 반응과 피드백 신뢰도 포함)를 포함한 예비 테마를 개발하기 위해 초기 코드를 함께 통합했다.
• 그런 다음 KL은 예비 테마를 사용하여 다음 세 가지 대본의 적합성과 관련성을 테스트하기 위해 코드를 작성했다. 예비 분석을 정교하게 하기 위해 이론적 샘플링을 사용하여 직접 관찰에 대한 추가 관점을 얻었다. 구체적으로, 우리는 슐리치의 두 명의 임상 동료와 시범 관찰 및 피드백 프로그램에 참여한 브리티시컬럼비아 대학교(UBC)의 네 명의 내과 레지던트들을 인터뷰했다. 슐리치 임상 연구진은 체류 후 훈련에서 직접 관찰의 역할을 설명할 수 있었고, UBC 참가자들은 그들의 지식이나 기술을 평가하기보다는 전문적 개발을 코칭하기 위해 고안된 혁신적인 접근법과 일반적인 직접 관찰 관행을 비교하고 대조할 수 있었다.
• 인터뷰 가이드는 또한 지속적인 비교 분석 동안 개발된 분석 통찰력에 초점을 맞추도록 진화했습니다. 예를 들어, 인터뷰가 진행됨에 따라 참가자들은 관찰에 대한 다양한 접근법(예: 종합 평가 또는 코칭을 위한 관찰)을 구별하고 훈련 중에 어떤 접근법을 경험했는지 논의하도록 유도되었다. 추가 인터뷰를 통해 다른 통찰이 드러났을 수도 있지만, 학습자의 관찰 경험을 이해하기에 충분하다고 판단했을 때 데이터 수집을 중단했습니다.33

Data collection and analysis were conducted iteratively; we engaged in constant comparative analysis during the three-stage coding process.

• First, KL and CW independently coded the first two transcripts to identify frequently occurring initial codes; together KL and CW consolidated initial codes to develop preliminary themes, including defining observation, approaches to observation, the observer's identity, expectations for observation, system challenges or facilitators of observation, and implications of observation (including emotional responses and feedback credibility).
• KL then used the preliminary themes to code the next three transcripts to test their fit and relevance. To elaborate our preliminary analysis we used theoretical sampling31 to gain additional perspectives about direct observation. Specifically, we interviewed two clinical fellows at Schulich and four internal medicine residents at the University of British Columbia (UBC) who had participated in a pilot observation and feedback programme.22 The Schulich clinical fellows were able to describe the role of direct observation in post-residency training; the UBC participants were able to compare and contrast usual direct observation practice with an innovative approach designed to coach professional development, rather than to assess their knowledge or skill.
• The interview guide also evolved to focus on analytical insights developed during constant comparative analysis. For instance, as the interviews progressed, participants were prompted to distinguish between the various approaches to observation (e.g. observation for summative assessment or observation for coaching) and to discuss which approaches they had experienced during their training. Although additional interviews may have revealed other insights, we ceased data collection when we determined that our findings were sufficient for understanding learners’ experiences of being observed.33

모든 연구자들이 일련의 회의에 참여하여 데이터를 검토하고, 주제를 다듬고, 범주를 개발하고, 직접 관찰이 학습에 미치는 영향을 해석했다. 특히, 연구팀은 참가자들이 관련성이 있지만 구별되는 두 가지 생각을 분명히 밝혔다고 이론화했다. 

• (i) 기관 및 전공 특이적 사회적, 조직적, 문화적 영향이 대학원 교육에서 직접 관찰의 수행방식에 영향을 미쳤다. 
  
• (ii) 직접 관찰이 개별 학습자에게 미치는 영향이 다양하였다. 

All researchers participated in a series of meetings to review data, to refine themes, to develop categories and to interpret the impact of direct observation on learning. Specifically, the research team theorised that participants articulated two related, yet distinct ideas:

• (i) that institutional and specialty-specific social, organisational and cultural influences impacted how direct observation played out in their postgraduate training, and
• (ii) that direct observation variably impacted individual learners.

따라서 연구팀은 시스템 수준과 개별 학습자 수준에서 직접 관찰을 이해하기 위해 두 가지 분석을 수행했다. 전자의 분석은 다른 곳에서 보고된다. 이 분석에서는 관찰이 자신의 성과와 행동에 미치는 영향에 대한 개인의 인식에 초점을 맞춘다. 모든 연구 절차는 웨스턴 대학교 연구 윤리 위원회의 승인을 받았다.
Consequently, the team conducted two separate analyses to understand direct observation at the level of the system and at the level of the individual learner. The former analysis is reported elsewhere21; in this analysis, we focus on individuals’ perceptions of the impact of observation on their own performance and behaviour. All research procedures were approved by the Western University Research Ethics Board.

 

결과.
Results

참가자들에게 직접적인 관찰은 양날의 검이었다. 대부분의 참가자들은 자신감을 강화하고 사각지대를 드러내는 데 도움이 되는 중요한 교육 전략이라고 특징짓지만, 관찰자의 존재가 자신의 행동을 변화시킬 수 있는 다양한 방법을 설명하기도 했다. 관찰자는 정서적 불편함을 조성하고, 학습자의 임상 성과를 변경하며, 학습자-환자 관계를 손상시킬 수 있다. 이러한 의도하지 않은 결과에 기여하는 것은 학습자가 관찰을 평가로 간주하는 광범위한 경향이 있었으며, 이는 관찰 중 자신의 행동뿐만 아니라 관찰자가 자신의 의학적 전문성과 임상 기술에 대한 진정한 묘사를 보고 있다는 확신에도 영향을 미쳤다.

For participants, direct observation was a double-edged sword. Most participants characterised it as an important educational strategy that helped them to bolster their confidence and to reveal their blind spots, but they also described a range of ways in which the presence of an observer might alter their behaviour. Observers could create emotional discomfort, alter a learner's clinical performance and compromise the learner–patient relationship. Contributing to these unintended consequences was a pervasive tendency for learners to regard observation as assessment, which influenced not only their behaviour during observation, but also their confidence that observers were seeing an authentic portrayal of their medical expertise and clinical skill.

의도하지 않은 결과: 정서적 불편
Unintended consequence: emotional discomfort

참가자들은 보통 자신 있게 잘할 수 있는 과제나 절차를 수행하는 것이 관찰되는데, '그렇다면 내가 매우 불편한 일이라면, 누군가 나를 지켜보는 것에 대한 스트레스는 일반적으로 내가 평소보다 더 잘하지 못하게 만들 것이다.'(P9) 대다수의 참가자는 관찰을 통해 자의식을 느끼거나, 주요 정보를 '땀 흘리거나'(P15) '허우적거리거나'(P7) 임상 검사의 구성 요소를 잊어버렸다.
Participants were typically at ease being observed doing a task or procedure they could confidently perform well, ‘but, then, if it's things that I'm very uncomfortable with, the stress of having someone there watching me will typically make me perform worse than I normally would’ (P9). For the majority of participants, being observed made them feel self-conscious, made them ‘sweat’ (P15) or ‘fumble’ key information (P7), or made them forget components of the clinical examination:

 

나는 감시당하고 있을 때 훨씬 더 산만하게 느껴진다. 내가 무엇을 해야 하는지 정확히 알고 있지만, 누군가가 나를 지켜보고 있다는 것을 알게 되면, 나는 갑자기 훨씬 더 걱정된다 - 내가 무엇을 잊었는가? 다음에 할 일이 뭐죠? 반면 혼자 있을 때는 5초 정도 시간을 갖고 머릿속을 다시 가다듬어야 한다고 거의 느낄 정도입니다. 하지만, 만약 내가 감시당하고 있다면, 내 머릿속에 침착하고 집중하기가 훨씬 더 힘들어.(P18)
I feel a lot more scatterbrained when I'm being watched. I know exactly what I'm supposed to do, but knowing someone is watching me, I'm just all of a sudden a lot more worried - What did I forget? What's next? Whereas when I'm on my own, I almost feel it's okay if I need to take 5-seconds and regroup in my head. But, if I'm being watched, it's just so much harder to keep calm and focused in my head.(P18)

 

참가자들은 누군가(의사, 의대생, 간호사 또는 환자)가 항상 지켜보고 있다는 것을 인정했지만 관찰자의 존재에 따른 영향은 달랐고, 관찰받는 것은 일반적으로 관찰자가 [동일한 진료 범위]를 가지고 있거나 [공식적인 평가를 할 수 있는 위치]에 있다고 인식되는 경우에만 불안감을 유발했다. 교수진이 관찰하는 것은 스트레스를 주는 것으로 묘사되었고, 순환 과정 동안 다수의 임상의 관찰자를 두는 것은 특히 불안감을 유발할 수 있다. 한 정신과 레지던트는 다음과 같이 설명했다.
Participants acknowledged that someone (a physician, a medical student, a nurse or a patient) was always watching, but the impact of the observer's presence differed, and being observed was typically only anxiety-provoking if the observer was perceived to have the same scope of practice or to be in a position to provide a formal assessment. Being observed by faculty members was described as stressful, and having multiple clinician observers over the course of a rotation could be particularly anxiety-provoking because learners had to tailor their style to what they perceived each observer was expecting to see. A psychiatry resident described that:

 

… 모든 사람들은 특정한 방식으로 일을 한다 … 어떤 사람들은 당신이 과거 정신의학 역사에 집중하기를 기대한다. 어떤 사람들은 당신이 그들(환자)이 어떻게 양육되었는지에 초점을 맞추기를 원한다. 그래서 그 사람이 무엇을 찾고 어떻게 접근하는 것을 좋아하는지를 알게 되면, 그것은... 쉬워진다.
… everyone does things a certain way … certain people expect you to focus … on … past psychiatric history. Some people want you to focus on how they (patients) were raised. And so once you know what that person is looking for and how they like to approach things, it becomes … easier. (P18)

이런 지적은 전공의들이 관찰받는 불편함뿐만 아니라, 특정 관찰자를 위한 공연의 필요성에도 고군분투하고 있으며, 두 가지 투쟁 모두 진정되는 데 시간이 걸릴 수 있음을 시사하는 것으로 보인다.
This comment seems to indicate that residents not only struggle with the discomfort of being observed, but also with the need to stage a performance for a particular observer, and both struggles can take time to abate.

 

영향: 수행능력
Impact: performance

참가자들은 대부분 관찰자가 자신의 성과를 관찰할 뿐만 아니라 평가한다고 가정했기 때문에, 관찰자를 기쁘게 하기 위해 자신의 임상 스타일을 쉽게 변경했다. 그들은 그들의 '성적'이 그들의 공식적인 평가, 영구적인 기록, 그리고 심지어 그들의 훈련이나 경력 승진에 영향을 미칠 수 있다고 의심했다. 따라서 참가자들은 관찰을 코칭으로 개념화하는 경우가 거의 없었다. 대신, 관찰자가 있는 것은 진료실의 게슈탈트를 [실제 환자와의 만남]에서 [OSCE 스테이션과 유사한 것]으로 변형시켰으며, 참가자들은 코치가 아닌 점수를 매기는 것처럼 연기를 묘사했다. 관찰자 앞에서, 참가자들은 '기본적으로 해야 할 일들의 방식인 뛰어난 수완의 규칙'을 따름으로써 '더 신중하고 반성적인… 의대 스타일' (P1)이라고 보고했다. '예를 들어, 호흡기 검사의 일부로 간주되는 특정한 기술들이 있는데, 제가 그것들을 높은 수율을 발견하지 못했기 때문에 자주 그렇게 하지는 않을 것입니다. 그러나 만약 내가 관찰되고 있다면, 나는 내가 훨씬 더 철저해야 한다고 생각한다.' (P20) 따라서 관찰받을 때 목표는 [환자 중심 치료]에서 [성과 중심 치료]로 전환되었고 가상 체크리스트의 완성이 되었다. 관찰된 것이 어떻게 그의 임상적 접근 방식을 바꾸었는지를 묻자, 참가자 3은 '나는 아마도 더 철저한 질문을 할 것이다… 장기적으로 상관없는 질문들… 아마도 상관없는 질문들, 단지 내가 그 확인란에서 모든 것을 하고 있는 것처럼 보이기 위해서'라고 말했다.

Participants readily altered their clinical style to please the observer because most assumed that the observer was not only watching their performance, but also grading it. They suspected that their ‘grade’ could have implications for their formal assessment, permanent record, and even their training or career advancement: ‘I think we're assessed every day … It's a frame of how good you are at your job and how much you know … but there's always the possibility that it could be punitive’ (P16). Consequently, participants rarely conceptualised observation as coaching. Instead, having an observer present transformed the gestalt of a clinic room from a real-world patient encounter into something resembling an OSCE station, and participants described performing as though they were being graded, not coached. In the presence of an observer, participants reported being ‘more cautious and reflective … sort of medical school style’ (P1) by following ‘examsmanship rules which are basically the ways you are supposed to do things …’ (P10). ‘There are certain techniques that are considered to be part of the respiratory exam, for instance, that I probably don't do that often because I don't find them high yield. But if I am being observed, I think I will err to be much more thorough’ (P20). Thus, when observed, the goal shifted from providing patient-centred care to performance-centred care and the completing of an imaginary checklist. When asked how being observed changed his clinical approach, participant 3 said, ‘I'd probably ask more thorough questions … that have no bearing in the long run … probably irrelevant questions, just to look like I'm doing everything under the sun in that check box’.

의도하지 않은 결과: 환자와의 관계
Unintended consequences: relationship with patients

관찰자의 존재는 또한 신중하게 구성된 레지던트-환자 관계의 역동성을 방해할 수 있다. 레지던트들은 그들이 환자 개개인의 필요에 따라 그들의 품행과 언어를 맞춤으로써 환자들과의 관계를 발전시켰다고 설명했다. 일부 참가자들은 환자와의 일상적인 의사소통 방식을 설명했으며, 종종 유머를 사용하여 신뢰를 발전시키고 환자를 편안하게 만들었다. 그러나 관찰자가 있는 경우 참가자들은 [보다 공식적인 접근법]을 취하기 위해 일반적으로 쓰던 대화 방식을 포기할 수 있다.
The presence of an observer could also disrupt the dynamic of carefully constructed resident–patient relationships. Residents described that they developed a rapport with patients by tailoring their demeanour and language to each patient's needs. Some participants described using a casual and relatively informal communication style with patients, often invoking humour to develop trust and to make the patient feel comfortable. However, having an observer present could cause participants to forgo their typical conversation style for a more formal approach:

 

그래서 가끔 환자들과 꽤 격의 없이 지내요. 어린 환자들한테는 말을 써요. 18살인데 자살 충동을 느끼는 것처럼요. 그러니까, 오늘 하루 잘 보내고 계시진 않겠죠. 만약 내가 다른 사람에 의해 관찰받는다면, 나는 그들과 그렇게 말하지 않았을 것이다… 하지만 농담이나, 나쁜 말장난, 또는 그런 종류의 것에 약간 수용적인 몇몇 환자들은, 내가 모르는 사람들에 의해 관찰되었다면, 아마도 나는 그렇게 하는 것을 망설일 것이다.

So sometimes I'm fairly casual with patients. With young patients, I do use language, like if they're 18, and they're feeling suicidal, I'll say things like, so you're having a pretty (expletive) day, eh, it's not going so well. If I was being observed by strangers, I wouldn't talk like that with them … But some patients who are receptive to joking around a little bit, or a bad pun, or that kind of thing, if I was being observed by people I didn't know, then I probably would be hesitant to do that. (P1)

참가자들은 또한 관찰자가 있는 경우 환자가 민감한 정보를 노출할 가능성이 낮다는 것을 인지했다. '1대1일만 되면 환자들이 조금 더 마음을 열 것 같아요' 방에 사람이 너무 많으면 많은 정보를 누설할 때 조금 불안해진다."(P15)고 했다. 참가자들은 또한 특히 관찰자가 자신의 연구를 수정하거나 비평하기 위해 개입할 경우 환자가 의사 관찰자와 상호 작용하고 신뢰하게 될 것이라고 우려했다. '… 어쩌면 그들은 더 이상 나를 믿지 않을지도 모른다… 아마도 이제 그들은 "글쎄, 나는 너와 말하고 싶지 않다. 나는 네 실수를 고쳐주는corrected 사람과 이야기하고 싶다."라고 말할 것이다. (P10)

Participants also perceived that patients were less likely to reveal sensitive information if there was an observer present: ‘I feel patients will open up a little bit more … when it's just one-on-one. If there are too many people in the room, it's making them a little bit nervous when they're divulging a lot of information” (P15). Participants also worried that patients would be more likely to interact with, and trust, the physician observer, particularly if the observer stepped in to correct or critique their work: ‘… maybe they don't trust me anymore … maybe now they're going to say, “well I don't want to talk to you I want to talk to the person that corrected you”’ (P10).

진위성의 결여를 인지하고 있다.
A perceived lack of authenticity

학습자가 불안, 평가 중심의 성과 또는 학습자-환자 관계의 변화와 관련하여 자신의 일상 관행에 대한 변화를 인지하는 것은 관찰된 것이 진정성이 있는지에 대한 의문을 불러일으켰다. 학습자들은 관찰이 그들이 직업의 과제를 실제로 수행하는 방법을 포착하기 위한 것이라는 것을 이해했지만, 많은 사람들은 관찰이 이러한 목적을 달성했는지에 대해 의문을 제기했다.

Learners’ recognition of alterations to their usual practices, related to anxiety, assessment-oriented performance or changes in the learner–patient relationship, raised questions about whether what was observed was authentic. Although learners understood that observation was intended to capture how they actually carry out the tasks of their profession, many questioned whether observation achieved this aim:

 

나는 그들이 반드시 당신의 일상적인 접근법에 대한 평가를 받는다고 생각하지 않는다. 그러나 당신의 접근법이 어떻게 보일지에 대한 이해는 얻고 있다고 생각한다. 제 생각엔 그들은 아마 그것에 대해 꽤 잘 알 것 같아요. (P20)
I don't think they're getting, necessarily, the assessment of your day-to-day approach, but of your understanding of what an approach would look like. I think that they probably get pretty good insight into that. (P20)

참여자들은 관찰자 효과의 영향이 관찰자들에게 그들이 [실제로 일하는 방식을 반영하지 않는 인상을 주었다]고 인식하였다.

Participants perceived that the impact of an observer effect created an impression for observers that was not reflective of how they actually worked:

 

… 저는 보통 제가 독립적으로 평가를 할 때, 그 시점에서 저는 그렇게 많은 불안감을 가지고 있지 않기 때문에, 그렇게 많이 잊어버리지 않는 것처럼 느껴지지만, 제가 누군가의 감시를 받고 있지 않다는 것을 알 때 제 생각을 모으는 것이 더 쉽다고 느낍니다.
… I do feel that normally when I am independent doing my assessment, because I don't have as much of an anxiety level at that point, I don't seem to forget as much … but I feel like it's easier for me to gather my thoughts when I know that I'm not being watched by someone. (P14)

 

불안으로 인한 실수는 특히 좌절감을 주었는데, 그 이유는 '내가 실제로 무언가를 하는 것이 관찰되는 매우 드문 순간에 내가 꽤 잘한다고 느끼는 것을 보여줄 기회를 날려버린 것 같았기 때문이다.' (P8)
Anxiety-induced mistakes were particularly frustrating because ‘… it felt like I had sort of blown off this opportunity to demonstrate that, in a very rare moment where I was actually being observed doing something that I felt that I was reasonably good” (P8).

 

기여요인자
Contributing factors

[직접 관찰이 실제로 무엇이고 무엇을 하려는 의도인지 명확하지 않은 점]은 관찰자의 목적, 관찰자의 역할, 관찰자와 학습자가 어떻게 행동해야 하는지에 대한 의문을 불러일으켰다. 많은 사람들에게 임상 기술을 관찰하는 것은 드물고 예측할 수 없는 일이었다. 한 참가자가 지적한 바와 같이, 직원이 우연히 그곳에 있을 때, 또는 직원이 마음속으로 그 질문에 답하기 위해 특정한 질문을 가지고 있거나 신체적인 부분을 관찰하는 경우가 아니라면 말이다. … 그러한 기술들은 거의 많이 관찰되는 경향이 없다.'(P19). 비록 참가자들은 직접 관찰이 평가 목적으로 발생해야 한다는 것을 인식했지만, 그 발생조차도 불확실할 수 있다. '직접 관찰에 대해 작성해야 할 평가 양식을 가지고 있지만, 나는 그것들이 일반적으로 수행되지 않으며, 수행되지 않아도 어떠한 영향도 없다는 것을 알게 되었다.'(P10) '무소식이 희소식'이라는 암묵적 가정이 있었고, '관찰받지 않음'은 역량이 있음을 시사했다. 따라서 [관찰자의 예상치 못한 출현]은 관찰이 무작위로 발생하는지, 또는 관찰자의 존재가 문제나 결핍을 나타내는지에 대한 의문을 일으켰다.

 

Lack of clarity about what direct observation actually was and what it was intended to do raised questions about its purpose, the observer's role, and how observers and learners should behave. For many, observation of their clinical skills was uncommon and unpredictable: as one participant noted, unless ‘… you fortuitously happen to be there when a staff is there…or if the staff has a particular question and observes part of your history, or physical, in order to answer that question in their mind … those skills don't tend to be observed nearly as much’ (P19). Although participants recognised that direct observation was supposed to happen for assessment purposes, even there its occurrence could be uncertain: ‘we have these evaluation forms that we are supposed to fill out about direct observation but I find that they're not usually done and there are no repercussions if they're not done’ (P10). There was an implicit assumption that ‘no news is good news’, and that a lack of observation was indicative of competence. The unexpected appearance of an observer, therefore, raised questions about whether observation occurred randomly, or if the presence of an observer signalled a problem or deficiency:

제가 특정 클리닉에 있었는데, 같은 병력과 신체검사를 반복해서 하면서 좋은 반응을 얻지 못하는 동안 계속 관찰을 받고 있었다고 가정해 봅시다. 그러면 저는 좌절하게 됩니다. 왜 와서 날 관찰하냐고 물었거든 무슨 문제라도 있어? 문제가 생기면 왜 말을 안 하는 거죠? 만약 매번 교수가 관찰하러 온다면… 아마도 내가 뭔가를 놓치고 있었던건지 궁금할 것 같다(P5)
Let's say I was in a particular clinic, and I was constantly being observed while I did the same history and physical over and over and over and not getting good feedback, then I would get frustrated. Because, I'm like, okay, why are you coming in and observing me, is there an issue? If there's an issue, why aren't you telling me?… If they came in every single time … I would probably say am I missing something? (P5)

[직접 관찰의 예측 불가능성]으로 인해 참가자들은 관찰자의 목적이 감독, 평가 또는 코칭인지 구별하기 어려웠다. 관찰자의 깜짝 등장은 자신의 존재 목적에 대한 명확한 기대의 부족과 맞물려 역할의 모호성과 상당한 정서적 불편함을 유발했다.
The unpredictability of direct observation made it difficult for participants to discern whether the observer's purpose was to supervise, to assess or to coach. The surprise appearance of an observer, coupled with a lack of clear expectations about the purpose of his or her presence, triggered role ambiguity and significant emotional discomfort.

참가자들은 관찰되는 것과 감독받는 것을 구별했지만, 이 용어에 대한 정의는 다양했고, 참가자들은 관찰자의 역할을 둘러싼 불확실성을 강조하면서 각 역할을 구별하는 것을 명확히 표현하기 위해 고군분투했다. 일반적으로 참여자들은 감독을 '효율성'(P13)을 보장하거나, 실수를 포착하기 위한 '안전망'(P19)으로 사용하기 위한 '일이 제대로 되게 하기 위한' '적극적'(P10) 과정으로 개념화했다. 참가자들의 경우, 감독관은 환자의 관리와 의료 지식과 기술을 가르치는 것을 직접 책임졌다. 감독의 특징은 필요한 상황이 되면 감독자가 구두 또는 물리적으로 take over할 수 있다는 기대였다.

Participants differentiated between being observed and being supervised, but their definitions of these terms were variable, and participants struggled to articulate what made each role distinct, highlighting the uncertainty surrounding the observer's role. In general, participants conceptualised supervision as a pragmatic ‘active’ (P10) process that was ‘about getting the job done’ (P13), to either ensure ‘efficiency’ or to use as a ‘safety net’ (P19) to catch mistakes. For participants, a supervisor was directly responsible for a patient's care and for teaching medical knowledge and technique. A feature of supervision was an expectation that the supervisor might verbally or physically take over if the situation required it:

… 내가 분만을 할 직원 몇 명이 생각나는데 특히 내가 좀 더 젊었을 때는 너희 개인 공간에 있을 거야 왜냐면 너희들은 이 우글거리는 아기 주위에 몰려있거든 그리고 그들은 "줄을 만지고, 줄을 더듬고, 어깨를 만지고"라고 말하곤 합니다. 아니면 "그걸 만지지 마세요."라고 말할 것입니다. 가끔 손을 쓸어내리곤 했죠
… I can think of some staff, where I'll do a delivery and especially when I was more junior, they would be sort of right in your personal space because you're all crowded around this crowning baby. And they'd be like, “feel for the cord, feel for the cord or get the shoulder” and they're sort of telling you, or “don't touch that”. You'd have, from time to time, your hands swatted away. (P8)

이와는 대조적으로, [관찰]은 일반적으로 학습을 용이하게 하고 전문적인 개발을 코칭하기 위한 '불간섭' 활동으로 간주되었다. 이 경우 직접 관찰은 학습자가 주도적으로 참여할 수 있는 기회를 제공하고, 스킬을 연습하고, 서비스 제공에 대한 피드백을 받도록 되어 있었다. 그러나 종종 특정 임상적 만남에 대한 명확한 기대는 일반적으로 협상되지 않아 학습자들이 그들이 감독받고 있는지 관찰되고 있는지에 대해 불확실하게 된다. 결과적으로 참가자들은 기본적으로 관찰을 평가로 보고 그에 따라 수행했다.
By contrast, observation was generally considered a ‘hands off’ activity intended to facilitate learning and to coach professional development. In this case, direct observation was supposed to afford learners the opportunity to take the lead, and to practice skills and to receive feedback about their service provision. Often, however, clear expectations for a particular clinical encounter were not typically negotiated, leaving learners uncertain about whether they were being supervised or observed. Consequently, participants defaulted to viewing observation as assessment, and performed accordingly:

 

나는 환자와 이야기를 시작했지만 우리가 같이 상담을 하는 건지 아니면 내가 컨설팅을 담당하는지 불분명했고 그는 그냥 뒤로 물러날 생각이었다. 그래서 시작은 했는데 그냥 저 혼자만 그런 생각을 하고 그가 거기 있다는 사실에 정신이 팔려 끔찍한 역사를 쓰게 된 건 아닌가 하는 생각이 들었어요. 너무 아팠어요. 그래서 결국 그는 그 자리를 물려받았다. 그리고 나서 그는 말했다. "오, 그건 정말 이상했어. 구술시험과 같은 OSCE 상황에서 당신을 관찰하는 것 같았어요. 그리고 저는 정말 그렇게 느꼈어요. 하지만 제 생각엔 사전beforehand에 용어가 명확하지 않았기 때문인 것 같아요... (P8)
I started talking with the patient but I was unclear of whether we were doing the consult together, or whether I was responsible for doing the consult and he was just going to step back. So I kind of started but then I sort of second guessed whether it would just be me and just having those thoughts and being distracted by the fact that he was there and I wasn't sure what his role was, led me to do a terrible history. It was so painful. So then he eventually took over… And then afterwards he had said, ‘Oh that was really strange. It was kind of like I was observing you in an OSCE situation, like an oral structured exam’ and I was like yeah, that's really what it felt like but I think it was because the terms were not necessarily clear beforehand … (P8)

완화 요인
Mitigating factors

직접 관찰과 관련된 당면 과제에도 불구하고 학습자가 관찰 경험에서 학습 가치를 이끌어낸 사례도 인지했다. 일부 사람들에게는 관찰받는 동안 느끼는 '높아진 불안감'은 임상 상황의 스트레스를 시뮬레이션하는 데 유용했다.

Despite the challenges we identified related to direct observation, we also recognised instances where learners drew learning value from their experiences of being observed. For some, the heightened anxiety they felt while being observed was useful, as it simulated the stress of clinical situations:

 

… 관찰은 당신이 실제 사람을 돌본다면 가질 수 있는 아드레날린을 완전히 대체한다고 생각한다. 당신이 책에서 읽은 실제 사례를 기억하도록 도와주는 기억의 정서적 요소, 관찰되는 것의 정서적 요소… 나는 그것을 기억한다… (P1)
… observation, I think, totally replaces that adrenaline that you would have if you were looking after a real person … the affective component of memory that helps you remember real cases, that have been stuff you read in the book, that affective emotional component of being observed … I remember that stuff … (P1)

다른 사람들에게는 신뢰할 수 있는 관찰자가 자신의 연구를 지켜보도록 한 경험이 '자신감 쌓기'(P19)와 안전하고 유능한 임상의로 발전하는 데 매우 중요했다. '모르는 것을 모르는 것은 매우 위험하다.'[P8], 참가자들은 절차 기술을 숙달하고 자신의 '사각지대'(P8)를 식별하기 위해 관찰이 필요하다고 설명했다. 사실, 관찰되지 않는 것은 불안감을 유발할 수 있습니다. 한 참가자는 보다 빈번한 직접 관찰이 그녀의 기술에 대한 의구심을 어느 정도 누그러뜨렸을 것이라고 추측했다.

For others, the experience of having a trusted observer watch their work was critical for ‘building confidence’ (P19) and for ensuring that they were developing into safe, competent clinicians. ‘Not knowing what you don't know is very dangerous’ [P8], and participants described that being observed was necessary for mastering procedural skills and for identifying their ‘blind spots’ (P8). In fact, not being observed could be anxiety-provoking. One participant surmised that more frequent direct observation might have assuaged some of her doubts about her skill set:

저는 다른 면에서는 제 역량에 대해 매우 자신감을 가지고 있지만, 제가 이것을 제대로 하고 있는지 모르겠다고 말하는 부분이 있기 때문에… 저는 누군가가 저를 보기 전에 3학년이 되거나 졸업할 때까지 기다리지 않고 싶습니다. 지금 하는 게 낫다고 생각해서 제 자신이 부족하다고 생각하는 게 아니라 제가 제대로 하고 있는지 잘 모르겠어요. (P10)
I feel very confident with my competence in other respects but I feel that because I have not been observed there is a part of me that says I don't know if I'm doing this right … I don't want to wait until I'm in third year or graduated before someone watches me and says, ‘she's doing it that way?’ I think it's better to have it done now so I would say there is a part of me that feels unclear, not that I don't think I'm competent but I really don't know if I'm doing it right. (P10)

우리의 분석은 관찰자 효과를 완화하는 요인이 그러한 긍정적인 경험이 어떻게 만들어질 수 있는지를 이해하는 데 중요할 수 있음을 시사한다. 관찰되는 것에 대한 불안 요소가 항상 있었지만, 관찰을 일상적인 일로 보는 참가자들에게 정서적 불편은 그렇게 마비되지 않은 것처럼 보였다. 참가자 1은 "나는 관찰에 매우 익숙하다… 나는 항상 관찰된다"고 진술했다. 따라서 관찰이 임상 실습의 [정상적이고 비교적 빈번하며 기대되는 부분]이라고 인식한 전공의에게는, 관찰과 관련된 수행 불안은 긍정적인 학습 결과를 가져왔다. 그렇지 않은 사람들에게는, 정서적인 불편함이 그들의 성과에 부정적인 영향을 미쳤다: '나는 그것이 참신한 경험이라는 사실에서 많은 것이 나온다고 생각한다. 그것은 당신을 당신의 게임에서 약간 벗어나게 합니다.' (P20). [관찰자의 행동]과 [학습자와의 관계]는 관찰자 효과를 완화시킬 수 있다. 관찰자들은 신중하게 선택되었고 명확한 기대와 긍정적이고 직업적인 관계를 맺는 사람을 찾는 것은 편안한 만남을 위한 발판을 마련했다.

Our analysis suggests that factors that mitigate the observer effect may be important in understanding how such positive experience can be created. Although there was always an element of anxiety about being observed, emotional discomfort did not seem as paralysing for participants who viewed observation as a routine occurrence. Participant 1 stated, ‘I'm so used to observation … I'm always observed’, so for this participant, and for others who perceived that observation was a normal, relatively frequent and expected part of clinical practice, the performance anxiety associated with being observed had positive learning outcomes. For others, emotional discomfort negatively impacted their performance: ‘I think a lot of that comes from the fact that it is a novel experience. It does throw you off your game a little bit’ (P20). The observer's behaviour and his or her relationship to the learner could also mitigate the observer effect. Observers were carefully chosen and finding one who set clear expectations and a positive, professional relationship set the stage for a comfortable encounter:

 

그때의 차이는 그 특정 교사와 좋은 관계를 맺었고, 그 사실을 인지하고 있었고, 그런 일이 일어나고 있다는 것을 알고 있었기 때문에 정신적으로 대비할 수 있었을 것이라고 생각합니다. 왜냐하면 제가 좀... 제가 그 스태프들과 좋은 관계를 맺고 미리 알고 있지 않았다면 아마 불안감을 불러일으켰을 것입니다. (P22)
I think the difference in that case might have been that I'd had a good relationship with that particular preceptor at that point, and I was aware of it, I knew it was happening, so I could be prepared mentally for that. Because I felt it was a little … it probably would have been anxiety-provoking if I hadn't had such a good relationship with that staff, and known about it in advance. (P22)

일부 참여자는 관찰자의 행동이 경험의 유용성에 미치는 영향을 인식하고 관찰자가 효과적일 수 있는 방법을 제안하였다.

Some participants recognised the impact of an observer's behaviour on the usefulness of the experience and suggested ways that an observer might be effective:

 

저는 입을 다물 수 있는 능력이 좋은 관찰자를 만든다고 생각합니다. 왜냐하면 끊임없이 끼어들면 더 이상 관찰하지 않기 때문입니다. 그러니까 조용히 지켜볼 수 있어야 할 것 같아요. 그리고 나서, 여러분이 보고 있던 것을 어느 정도 분해할 수 있습니다. 그래야 좋은 것뿐만 아니라 나쁜 것도 볼 수 있습니다. 그리고 꼭 나쁜 점이 없다면, 어떻게 하면 더 좋은 것을 만들 수 있는지 보세요. 우리는 항상 더 잘 할 수 있으니까요. (P3)
I think the ability to shut up makes a good observer, because if you're constantly interjecting, you're not observing anymore. So, I think you have to be able to be quiet and watch. And then, really be able to sort of break down what you were seeing, so that, not only can you see the good, but you can see the bad as well. And if there's not something that's necessarily bad, see how to make something better, because we can always be doing better. (P3)

 

논의
Discussion

관찰 행위가 사건의 결과를 바꾼다는 것은 과학적 원리이다.
It's a scientific principle that the act of observation is changing the outcome of an event. (P21)

 

직접 관찰은 교육생들이 단계적 또는 실제 임상적 만남에서 어떻게 수행하는지 확인할 수 있는 귀중한 기회를 제공하고, 학습자들이 자신의 장단점을 파악할 수 있도록 피드백을 만들 수 있도록 도와준다. 특히, 작업 환경에서 학습자를 관찰하는 것은 '학습자가 알고 있는 것을 넘어 실제로 무엇을 하는지 볼 수 있는 기회를 제공하는데, 이는 기본적으로 자격을 갖춘 의사를 교육하는 데 필수적이다'. 그러나, 우리의 연구 결과는 관찰자의 존재가 학습자의 임상 행동을 변경하는 의도하지 않은 결과도 발생시켜 관찰된 성과가 실제로 무엇을 하는지 정확하게 반영하는지 의문을 갖게 한다는 것을 시사한다. 자체 성과에 대한 진정성이 의심되므로 관찰자가 신뢰할 수 있더라도 해당 성과에 대해 받는 피드백의 신뢰성은 떨어질 수 있다고 추측한다. 관찰자 효과는 다른 환경에서 잘 연구되지만, 우리의 연구는 의학 교육 담론에서 제한적이지만 영향력 있는 역할에 대해 확장되며, 부분적으로 전공의가 관찰받는 것에 대해 갖는 양면성을 설명할 수 있다.34
Calls to increase the amount of direct observation in postgraduate medical education make intuitive sense; direct observation offers a valuable opportunity for educators to see how trainees perform during staged or real-world clinical encounters, and to craft feedback to help learners identify their strengths and weaknesses.2 Specifically, observation of learners in workplace settings ‘offers the opportunity to see beyond what they know and into what they actually do, which is fundamentally essential to training qualified physicians’.10 However, our findings suggest that the presence of an observer also creates unintended consequences that alter learners’ clinical behaviour, leading them to question whether their observed performance accurately reflects what they actually do. With the authenticity of their own performance in doubt, we speculate that the credibility of the feedback they receive on that performance may be diminished, even if the observer is trustworthy. The observer effect is well studied in other settings, but our research expands on its limited, yet impactful, role in the medical education discourse and may explain, in part, the ambivalence residents have about being observed.34

유능하고 환자 중심적인 의사가 되기 위해서 학습자는 

• 기술적 합리성(닥터링 작업에 필요한 '교과서' 지식 및 절차적 기술)을 익히고 
• 전문적인 예술성(전문가들이 직장 기반 경험과 의학의 역학을 종합하여 의사 기술을 연습하는 방법)을 연마해야 한다. 

Becoming a competent, patient-centred physician requires learners
▶ to master technical rationality (the ‘textbook’ knowledge and procedural skills required to do the work of doctoring) and
▶ to hone professional artistry (the way experts practice the art of doctoring by synthesising the mechanics of medicine with workplace-based experience).35, 36 

우리는 관찰되는 것에 대한 학습자의 양면성은 [학습 방법]과 [직업적 정체성을 개발하는 방법]과 관련된 인식론적 긴장과 관련이 있다고 제안한다. 즉, 학습자의 수행 목표는 중요도가 감소하는 세 가지 수준으로 계층적으로 구성된다. 

• 자신의 자아 개념(또는 존재 방법), 
• 의사 과업을 숙달 
• 의사 과업을 학습.

We suggest that learners’ ambivalence about being observed is related to epistemological tensions pertaining to how they learn and to how they develop their professional identities. That is, learners’ performance goals are hierarchically organised at three levels of decreasing importance:

• their self-concept (or ways of being),
• mastering the tasks of doctoring and
• learning the tasks of doctoring.37, 38 

참가자들은 자율학습과 서비스 제공의 시행착오를 통해 기술적 합리성과 전문적인 예술성을 크게 연마했다고 인식했으며, 직접 관찰의 목적은 [과제 평가와 과제 학습을 평가하는 것]이라고 가정했다. 그들은 관찰이 자신의 개인적 또는 직업적 발전을 위한 것이라고 생각한 적이 거의 없다. 따라서 관찰을 받는 것은 참가자들의 [자율성]과 [성장하는 자아 개념]과 충돌하기 때문에 상당한 정서적 불편함을 야기했다. 결과적으로, 참가자들은 그들의 관찰자에게 깊은 인상을 주기 위해 공연을 해야 한다는 압박감을 느꼈다.

Participants perceived that they largely honed their technical rationality and professional artistry35, 36 through the trial and error of autonomous learning and service provision; they assumed that the purpose of direct observation was to assess tasks and their task learning. They rarely, if ever, thought of an observation as being for their personal or professional development. Being observed, therefore, created significant emotional discomfort because it conflicted with participants’ autonomy21 and burgeoning self-concept, because it was perceived as relatively novel and because it was almost always perceived as a high-stakes proposition.39 Consequently, participants felt pressured to stage a performance to impress their observer.

우리의 발견은 문학에 두 가지 새로운 기여를 한다. 

• 첫째, 참가자들은 관찰과 감독을 구별하는 데 어려움을 겪었고, 따라서 관찰자의 역할과 목적에 대해 불확실했다. 그럼에도 불구하고, 관찰자의 존재는 그들이 평가받고 있다는 것을 암시했다. 
• 둘째로, '관찰자 효과'는 접수된 피드백의 신뢰성을 훼손할 수 있는 방식으로 그들의 성능을 변화시키는 것으로 인식되었다.

Our findings make two novel contributions to the literature.

• First, participants had difficulty distinguishing between observation and supervision, and they were therefore uncertain about the observer's role and purpose. Regardless, the presence of an observer signalled for them that they were being assessed.
• Second, an ‘observer effect’ was perceived to alter their performance in a way that could undermine the credibility of the feedback received.

 

관찰자들은 '관찰'하고 있는가, 아니면 '감독'하고 있는가?
Are observers ‘observing’ or ‘supervising’?

참석자들은 직접 관찰이 무엇인지, 무엇을 하려는 것인지에 대한 기대는 종종 명확하게 표현되지 않았다고 설명했다. 그들은 다음을 거의 알지 못했다.

• 관찰이 언제 일어날지,
• 관찰이 어떻게 전개될지,
• 관찰자의 목적이
  • 지식과 기술을 평가하는 것인지,
  • 환자의 안전을 보장하는 것인지,
  • 전문적 개발을 육성하는 것인지

Participants described that expectations of what direct observation is, and what it is intended to do, were often not clearly articulated. They rarely knew

• when an observation would occur,
• how the observation would unfold, and
• whether the observer's purpose was
  • to assess their knowledge and skill,
  • to ensure patient safety or
  • to nurture their professional development.

즉, 학습자들은 자신이 관찰되고 있는지 감독되고 있는지 확신하지 못했습니다. 지도와 관찰은 별개의 교육 전략이지만, 그 용어들은 문헌과 실제로 서로 교환적으로 사용된다. 상당히 중복되는 부분이 있지만 감독과 관찰의 차이를 이해하려면 전경에 있는 내용, 관찰자와 학습자 사이의 거리, 교육학적 역할을 누가 수행할 수 있는지에 주의를 기울여야 한다.

In other words, learners were unsure whether they were being observed or supervised. Supervision and observation are distinct curricular strategies, yet the terms are used interchangeably in the literature and, we suspect, in practice. Although there is considerable overlap, making sense of the differences between supervision and observation requires paying attention to what is foregrounded, to the distance between the observer and the learner, and to who is able to fulfill pedagogical roles.

[감독]이란 '의사가 환자를 관리하는 맥락에서 개인적, 전문적, 교육적 발전에 관한 문제에 대한 모니터링, 지도 및 피드백 제공'을 말한다. 감독은 환자 안전을 우선시한다. 비록 책임감이 있고 점진적인 독립성을 가지고 있지만, 훈련생들이 '가장 책임감 있는 의사'에 의해 감독될 것이라는 기대가 있다. 감독자는 자신이 하는 일의 한 요소로 직접 관찰을 사용하지만, 감독자는 멀리 떨어져 있거나, 물리적으로는 존재하지 않는 경우도 있다. 

반면, [직접 관찰]은 관찰자가 학습자가 어떻게 수행하는지 적극적으로 관찰한다는 것을 의미하지만, 그러나 모든 관찰자가 반드시 교육생을 감독supervising할 책임이 있는 것은 아니다. 다양한 관찰자(예: 환자, 제휴 보건 전문가, 주니어 교육생 등)가 학습자 성과를 관찰하고 의견을 제시할 수 있다; 비록 환자 안전이 종종 직접 관찰의 중요한 부분이지만, 학습자의 교육과 전문적인 개발이 더 중심일 때도 있다.

Supervision is ‘the provision of monitoring, guidance and feedback on matters of personal, professional and educational development in the context of a doctor's care of a patient’.40 Supervision prioritises patient safety40; there is an expectation that trainees will be supervised by the ‘most responsible physician’, albeit with graduated responsibilities and progressive independence.41, 42 Supervisors use direct observation as one component of what they do, but supervision may also occur at arm's length, sometimes without the supervisor being physically present.

By contrast, direct observation implies that an observer is actively watching how learners perform; not all observers, however, are necessarily responsible for supervising trainees. Learner performance may be watched, and perhaps commented on, by a range of observers (e.g. patients, allied health professionals, junior trainees, etc.); although patient safety is often an important piece of direct observation, a learner's education and professional development sometimes take centre stage.

그러나 주치의는 일반적으로 감독과 관찰의 이중적인 역할을 하며, 관찰자와 피관찰자 모두에게 그 불분명하다. 중복이 발생하기 때문에 혼란이 지배하고 참가자들의 혼란은 직접적인 관찰을 학습에 가치 있는 것으로 인식하는지 여부에 직접적인 영향을 미치는 것처럼 보였다.

However, attending physicians typically have the dual role of supervising and being asked to observe, and the delineations are opaque both for observers and for those being observed. Because overlap occurs, confusion reigns and participants’ confusion seemed to directly impact whether or not they perceived direct observation as valuable to their learning.

감독, 코칭, 종합평가 등 직접 관찰은 훈련의 모든 단계에 자리 잡고 있지만, 관찰은 평가와 불가분의 관계에 있다는 참가자들의 여전한 인식에 놀랄 수 밖에 없었다. 하지만 그렇게 되면 안 된다. 관찰의 목적에 대한 관찰자의 의도와 기대보다, [학습자가 관찰자의 의도된 목적을 어떻게 인식했는지]가 더 중요하다. 참가자들은 임상 작업을 능숙하고 독립적으로 수행할 수 있다고 신뢰할 수 있는지 여부를 측정하기 위해 직접 관찰되었음을 인지했다. '코치로서의 관찰자'는 전공의가 관찰받은 경험과는 정반대처럼 보였다. 결과적으로 관찰의 목적과 기대에 대한 명확성의 부족은 그들의 역할의 모호성을 악화시켰다. 즉, 관찰자가 있는 곳에서 참가자들은 학습자로서 행동해야 할지 의사로서 행동해야 할지 몰랐다.

Although direct observation, for supervision, for coaching or for summative assessment, has a place at all stages of training, we were struck by participants’ lingering perceptions that observation was inextricably linked to assessment. But perhaps we shouldn't be. The observer's intentions and expectations for the observation's purpose matter less than what learners’ perceive the observer's intended purpose to be.43 Participants perceived that they were directly observed to gauge whether or not they could be trusted to competently and independently perform clinical work44; ‘the observer as coach’ seemed antithetical to their observation experiences. Consequently, lack of clarity about the purpose of and expectations for the observation exacerbated their role ambiguity; in other words, in the presence of an observer, participants did not know whether to behave as a learner or as a doctor.

전공의들은 직접 관찰이 그들의 직업적 발전과 반비례적으로 관련이 있다고 가정했다고 추측한다. 즉, 참가자들이 점진적인 독립성을 얻음에 따라, 그들은 직접 관찰이 그들의 일상적 임상 작업에서 물러날 것으로 예상하였다.21 직접 관찰이 오직 그들의 전문적 개발을 지도하는 데 사용될 수 있다는 것이 참가자들에게는 믿기 어려워 보였기 때문에, 임상의-관찰자가 갑자기 등장하는sporadic 모습은 [참가자들이 경계를 늦추지 않도록 알람을 울리는 깜짝 이벤트]로 인식되었다. 그래서 전공의는 자동으로 [평가(피평가자) 모드]가 기본이 되었다고 설명했습니다. 구체적으로 참가자들은 'doing'에 초점을 두거나, 임상적 사실을 이해하고 있거나 임상 기술을 수행하기 위한 '교과서' 접근법을 알고 있다는 것을 입증하고자 했다. 반대로, 자신의 'being' 또는 '예술을 과학적 의학에 통합하는 방법'을 보여주는 것은 억제하였다. 우리의 연구 결과는 관찰자의 존재가 훈련생의 수행 방식을 변화시킨다는 일화적 증거를 뒷받침하는 경험적 연구를 제공한다.47
We speculate that participants assumed that direct observation was supposed to be inversely related to their professional development. In other words, as participants earned progressive independence, they expected that direct observation would recede from their everyday clinical work.21 Because it seemed implausible to participants that direct observation might be used solely to coach their professional development, the sporadic appearance of a clinician-observer was perceived as a surprise that sounded an alarm for participants to be on guard. In response, participants described that they automatically defaulted to performing in assessment mode. Specifically, participants focused on doing or demonstrating that they understood clinical facts or that they knew the ‘textbook’ approach for performing a clinical skill, and suppressed their being, or how they integrated art into the science of medicine.45, 46 Our findings provide empirical research to support anecdotal evidence that the presence of an observer changes how trainees perform.47

'관찰자 효과'
The ‘observer effect’

서로 다른 기대와 접근 방식은 성과에 대한 다른 인식을 초래할 수 있으며, 관찰되는 것은 행동을 변화시키는 것으로 잘 알려져 있다. 호손 효과는 20세기 초 시카고의 웨스턴 일렉트릭 전화 공장에서 조명, 휴식, 관찰을 포함한 업무 변수가 직원 성과에 어떤 영향을 미치는지 측정한 일련의 연구를 통해 처음 설명되었다. 변수를 조작하는 방법과 관계없이, 연구자들은 관찰이 근로자의 생산성에 상당한 영향을 미치고 그들의 성과에 영향을 미친다고 결론 내렸다.54 노련한 건강관리 전문가도 관찰자 효과에 면역이 되지 않는다. 임상의는 '단순이 연구가 진행되고 있다는 사실'만으로도, 자신의 진단 및 처방 행동을 변경하고, 손 위생 프로토콜과 임상 관행 권장사항을 더 잘 준수한다. 행동 변화는 임상의가 평소 임상 환경에서 관찰된 경우에도 관찰자의 불편함을 최소화하려는 시도와 무관하게 발생한다. 동료 임상의가 관찰하는 것은 관찰자 효과의 영향을 강화할 수 있으며, 불편함은 성과나 행동을 변화시키는 강력한 동기가 될 수 있다.
Different expectations and approaches can lead to different perceptions of performance,48, 49 and being observed is well known to change behaviour.50-56 The Hawthorne, or observer, effect was first described after a series of early 20th century studies at the Western Electric telephone factory in Chicago, which measured how workplace variables, including illumination, rest and observation, impacted employee performance.53 Regardless of how they manipulated variables, researchers concluded that being observed significantly influenced workers’ productivity and altered their performance.54 Even seasoned health care professionals are not immune to the observer effect. Clinicians alter their diagnostic and prescribing behaviours52 and demonstrate better compliance with hand hygiene protocols55 and clinical practice recommendations56 ‘merely as the result of being studied’.52 Changes in behaviour occur even if clinicians are observed in their usual clinical environments, and regardless of the observer's attempts to be unobtrusive or to minimise their discomfort.56 Being observed by a fellow clinician may intensify the impact of the observer effect, and discomfort may be a strong motivator for changing performance or behaviour.56

연구에서 관찰자 효과는 부분적으로 인위적인 연구 조건에 기인하며, 결과에 대한 잠재적인 설명 또는 제한으로서 통제되거나 인정된다. 그러나 문헌에 따르면 직장 기반 관찰의 목적은, 학습자가 자연주의 임상 환경에서 어떻게 수행하는지 보기 위한 [시험 설정의 인위성]을 회피하는 것이다. 대신, 의학 교육 및 연구에서 직접 관찰은 부분적으로 직접적인 관찰과 효과적인 피드백 사이의 추정된 관계 때문에 참조 표준 교육 및 평가 전략으로 널리 가정된다. 피드백은 학습의 기반으로 간주되지만 피드백의 효과는 [신뢰성credibility]에 달려 있습니다. 학습자가 피드백을 신뢰할 수 있는 것으로 인식하려면 피드백이 중심이 되는 활동을 관찰해야 하며 관찰자가 신뢰할 수 있어야 합니다. 본 논문의 기여는 신뢰성credibility의 또 다른 핵심 요소가 [관찰된 성능의 인식된 진정성perceived authenticity]임을 발견했다는 데 있다.
In research, an observer effect is attributed, in part, to artificial study conditions, and it is either controlled for, or acknowledged, as a potential explanation for, or limitation of, the results.50, 51, 57, 58 The literature suggests that the purpose of workplace-based observation is, however, to circumvent the artificiality of exam settings to see how learners perform in a naturalistic clinical environment; the potential for an observer effect to influence workplace learning and performance is rarely considered. Instead, in medical education and research, it is widely assumed that direct observation is a reference standard teaching and assessment strategy, in part because of the presumed relationship between direct observation and effective feedback. Feedback is considered a foundation of learning,59 but the effectiveness of feedback relies on its credibility. For learners to perceive feedback as credible, the activities upon which the feedback is centred should be observed,60 and the observer must be trustworthy.18, 60-62 Our paper's contribution is in uncovering another key element of credibility: the perceived authenticity of the observed performance.

시사점Implications

피드백이 학습에 영향을 미치려면 학습자의 자체 평가 및 목표와 일치해야 합니다. DeNisi와 Kluger는 학습자가 과제나 과제 학습을 자신의 자아 개념에 대한 비판으로 다루기 위한 피드백을 해석할 때 부정적인 반응을 보인다는 이론을 세웠다. 우리는 피드백이 속임수라고 주장한다. 직업적 정체성의 침해는 고통스러우며, 참가자들에게는 [관찰받는 것]이 [자신의 독립성과 기술에 대한 가정]과 충돌할 때 스트레스와 불안감을 자극한다. 따라서 관찰자의 피드백에 대한 학습자의 반응에 부정적인 감정이 나타날 수 있지만, 우리는 관찰자의 존재가 학습자의 자아 개념에 가장 큰 위협이 된다고 추측한다. 즉, 학습자가 의사로서 했을 행동을 반영하지 않는 학습자로써의 성과를 '준비'했다고 인식한다면, 그 거짓된 수행에서 생성된 피드백을 가치 있게 여기지 않을 수 있습니다.
For feedback to impact learning, it must align with a learner's self-assessment and goals60, 63; DeNisi and Kluger theorise that learners’ respond negatively when they interpret feedback intended to address task or task learning as a critique of their self-concept.37 We contend that feedback is a red herring. Violations of professional identity are distressing,46 and for participants, being observed became stressful and anxiety provoking when it clashed with their assumptions about their independence and skill. Therefore, although negative emotions may manifest in learners’ responses to an observer's feedback,37, 38 we speculate that it is the appearance of an observer that poses the greatest threat to a learner's self-concept, and in turn, to learners’ receptivity to feedback. In other words, if learners perceive that they ‘staged’ a performance as a learner that doesn't reflect what they would have done as a doctor, they may be unlikely to value feedback generated from that inauthentic performance.

우리는 [인식된 관찰자 효과]가 [유용한 피드백이 부족하다는 학습자의 인식]을 부분적으로 설명할 수 있다고 제안한다. 학습자가 보다 철저하고 세심한 방식으로 수행하도록 하기 위해 [관찰자가 가하는 암묵적인 압력]이 학습에 가치가 있을 수 있지만, 교육자는 관찰자 효과가 학습자의 수행에 대한 인식을 진실한authentic 것에서 비진실한inauthentic 것으로 옮겨갈 위험이 있고, 결과적으로 피드백의 신뢰성을 저해시킨다. 만약 참가자의 인식이 정확하다면, 임상의사 교육자에게 '실제적 수행authentic performance'를 평가하는 것은 불가능하지는 않지만 특히 어려운 일이 된다.

We suggest that a perceived observer effect may partly explain learners’ perceptions that useful feedback is scant.56 Although there may be learning value in the implicit pressure exerted by an observer to make learners perform in a more thorough and meticulous way, educators must recognise that an observer effect risks moving the learner's perception of their performance from authentic to inauthentic, thus minimising the credibility of feedback they receive. If participants’ perceptions are accurate, then assessing an ‘authentic performance’ is difficult, if not impossible, for clinician educators. 

의사 소통자, 건강 옹호자 및 전문적 역할을 관찰하고 평가하는 것은 특히 문제가 될 수 있다. 예를 들어 환자 중심의 의사소통에는 즉흥성이 필요하다. 전공의들이 평소 환자를 볼 때에는, 각각의 환자에게 그들의 의사소통 방식을 맞추었다고 묘사했다. 그러나 관찰자 앞에서 그들은 형식적이고 형식적인 접근법을 채택하는 것을 설명했고, 임상의 교육자들이 직접 관찰을 통해 의사소통과 다른 핵심 역량을 검증적으로 평가할 수 있는지에 대한 의문을 제기했다.

Observing and assessing the communicator, health advocate and professional roles may be particularly problematic. For instance, patient-centred communication requires improvisation64; in their usual practice, participants described tailoring their communication style to each patient. In the presence of an observer, however, they described adopting a formal and formulaic approach, raising questions about whether it is possible for clinician educators to authentically evaluate communication and other key competencies through direct observation.

우리는 직접적인 관찰이 중요하지 않거나 헛된 것이라고 제안하는 것이 아니다. 평가에서 직접 관찰의 역할은 가치 있고 잘 설명되어 있습니다. 주니어 레지던트들에게 의사로서 체크리스트 작업을 하는 것은 유용하다; 그러나 시니어 레지던트들은 그들이 발전하는 역량을 전문적인 정체성에 통합할 수 있도록 도움을 주는 코칭을 필요로 한다. '학생들이 자신이 누구인지, 자신이 누구인지, 그리고 누가 될 수 있도록 돕기 위해 지속적이고 종적으로 노력하는 것에 중점을 두어야 한다. 실제 성과와 평가에 대한 인식에 영향을 미치는 '관찰자 효과'의 잠재성에도 불구하고, 직접적인 관찰은 임상 교육자가 학습자가 의사 업무를 수행하는 방법을 확인하고 학습자가 안전하고 유능한지 평가하는 최선의 방법으로 남아 있다.10 일부 참가자는 관찰되는 것을 중요하게 여겼다. 관찰자가 자신의 '실시간' 의사결정과 환자 및 동료와의 상호작용을 보는 것이 학습에 유리하다고 설명했다. 이러한 참가자들에게 직접적인 관찰은 그들의 학습과 직업 발달에 긍정적인 영향을 미치는 중요하고 심지어 중요한 교육 전략이었다.

We are not suggesting that direct observation is unimportant or futile. The role of direct observation in assessment is valuable and well described. For junior residents, being observed doing the checklist work of doctoring is useful; however, senior residents require coaching to help them integrate developing competencies into a professional identity and ‘the emphasis should be on trying continuously and longitudinally to help students to find out who they are, who they are becoming, and who they wish to become’.65 Despite the potential for an ‘observer effect’ to impact perceptions of authentic performance and assessment, direct observation remains arguably the best way for clinician educators to see how learners do the work of doctoring, and to assess whether learners are safe and competent.10 Some participants valued being observed and described that having an observer see their ‘real-time’ decision-making and interactions with patients and colleagues was advantageous for their learning. For these participants, direct observation was an important, even critical, educational strategy that had a positive impact on their learning and professional development.21

우리는 직접 관찰이 학습에 지속적으로 긍정적인 영향을 미치려면 임상의사 교육자들이 직접 관찰을 개념화하고 참여하는 방법에 대해 다르게 생각할 필요가 있다고 제안한다. 학습에 대한 직접 관찰의 신뢰성과 가치를 극대화하려면 다음 세 가지 기능이 필요합니다. 

• (i) 학습자는 관찰자를 신뢰하고 좋은 관계를 가져야 한다. 
  
• (ii) 관찰자는 예상을 분명하게 표현해야 한다. 
  
• (iii) 관찰이 평가와 연결되어 있을 때와 연결되어 있지 않을 때 명확해야 한다.

We are suggesting that for direct observation to consistently have a positive impact on learning, clinician educators need to think differently about how they conceptualise and engage in direct observation. To maximise the credibility and value of direct observation for learning, three features are required:

• (i) learners must trust, and have a good relationship with, the observer,22 
• (ii) the observer must clearly articulate expectations, and
• (iii) it should be clear when observation is connected with assessment and when it is not.

 

나아갈 길
A way forward

역할의 모호성을 피하고, 불확실성과 수행에 대한 불안을 줄이고, 진위성에 대한 인식을 완화하기 위해, 관찰자는 [학습자의 의료 전문지식을 평가하는 것]인지 또는 [학습자의 전문적 개발을 코칭하는 것]인지 명확히 표현하는 것이 필수적이다. 즉, 관찰자는 학습자가 의사로서 업무수행 방식을 평가하는 것이 목표인지, 의사가 되는 방식을 육성하는 것이 목표인지를 학습자를 위해 명확히 해야 한다. 브리티시컬럼비아 대학의 임상의-과학자들은 최근 진정한 임상 환경에서 관찰과 피드백을 정상화하고 평가를 강조하지 않으며 학습자와 교사 모두에게 프로그램의 코칭 의도를 명확하게 설명하는 유망한 코칭 기반 피드백 프로그램을 시범 운영했다. 비록 이 혁신적인 프로그램은 유망하지만, 물류 문제를 해결하고 레지던트 프로그램 전반에 걸쳐 유사한 혁신을 성공적으로 구현하기 위한 전략을 고안하기 위해서는 더 많은 작업이 필요하다. 특히 임상의사 교육자들은 임상적, 학술적 의무에 대한 과중한 부담을 안고 있어 이러한 유형의 관찰 프로그램이 필요로 하는 시간 동안 바쁜 스케줄에 공간을 내기가 어렵다. 학습자에게 도움이 되고 교육자에게 실현가능하기 위해서는 관찰자의 존재에 익숙해지기 위해 얼마나 자주, 그리고 얼마나 오랫동안 직접적인 관찰을 해야 하는지에 대한 더 나은 증거가 필요합니다.

To avoid role ambiguity, to reduce uncertainty and performance anxiety and to mitigate perceptions of inauthenticity, it is imperative for observers to clearly articulate if their purpose is to assess learners’ medical expertise or to coach learners’ professional development. In other words, observers must clarify for learners whether their goal is to assess how a learner does the work of a physician or to nurture the ways he or she becomes a physician. Clinician-scientists at the University of British Columbia recently piloted a promising coaching-based feedback programme 22 built on normalising observation and feedback in authentic clinical settings, de-emphasising assessment and clearly articulating the coaching intent of the programme to both learners and teachers. Although this innovative programme is promising, more work is required to address logistical issues and to devise strategies to successfully implement similar innovations across residency programmes. Specifically, clinician educators are overburdened with clinical and academic duties, rendering it difficult to make room in their busy schedules for the time this type of observation programme requires. To be helpful for learners and to be feasible for educators, we also require better evidence about how frequently, and for how long, direct observation needs to occur for learners to become accustomed to the presence of an observer.

또한 신뢰할 수 있는 관찰자가 되는 것이 무엇을 의미하는지에 대한 인식을 넓힐 필요가 있다. 참가자들은 참가자들이 그들의 행동을 변화시키는 정도가 누가 지켜보는가에 따라 다르다고 보고했다. 참가자들은 의사가 아닌 다른 사람이 보고 있을 때 더 진실하게 수행했다(고 인식했다). 멀티소스 피드백 연구는 직장 기반 평가가 학습자 성과에 영향을 미친다는 가장 확실한 증거를 제공하기 때문에 환자와 가족을 의료 교육 및 평가에 참여시키는 타당성과 신뢰성을 탐구하는 연구는 시기적절하고 중요하다. 예를 들어 환자와 가족 구성원은 학습자 성과(예: 교과서의 의료 지식 또는 절차 기술)의 특정 측면에 대해 신뢰할 수 있는 피드백을 제공할 수는 없겠지만, 학습자가 자신의 요구를 충족하는 방식으로 소통하거나 옹호하는지 여부에 대한 피드백을 제공할 자격이 있다. 환자와 가족이 의료 교육 및 평가에 보다 의미 있게 참여할 수 있는 가능성을 평가하려면 추가 증거가 필요하다.

Another way forward is to broaden perceptions about what it means to be a credible observer. Participants reported that the degree to which participants altered their behaviour depended on who was watching; participants performed, or perceived that they performed, more authentically when someone other than a physician was watching. Because multisource feedback research provides the most robust evidence that workplace-based assessments impact learner performance,66 research exploring the feasibility and credibility of engaging patients and families in medical education and assessment is timely and critical. For instance, although patients and family members may not be able to provide credible feedback about certain aspects of learner performance (e.g. textbook medical knowledge or procedural skills)67 they are qualified to provide feedback about whether or not learners communicate with or advocate for them in ways that meet their needs. Additional evidence is required to assess the feasibility of more meaningfully engaging patients and families in medical education and assessment.

제한사항Limitations

우리의 연구 결과는 두 개의 캐나다 학술 센터에서 거주자들의 경험을 설명하며, 따라서 다른 환경에 대한 일반화를 의도하지 않는다. 이것은 인식에 대한 연구인데, 이는 학습자가 관찰자를 참석시킴으로써 자신의 수행이 부정적으로 변했다고 인식할 수 있지만 실제로는 그렇지 않을 수 있다는 것을 의미한다. 마찬가지로, 그들은 직접 관찰이 그들이 인식하는 것보다 더 많이 지시하더라도 교육적 가치나 영향을 거의 제공하지 않는다고 인식할 수 있다. 이러한 가능성에도 불구하고 학습자의 인식은 중요합니다. 인식은 피드백이 반향을 일으킬 가능성에 영향을 미치며 임상 교육자는 피드백을 관찰하고 작성할 때 잠재적인 관찰자 효과에 대한 인식을 사용할 수 있습니다. 임상의사 교육자들이 자신의 존재가 학습자 성과에 영향을 미친다고 인식하는지 여부를 탐구하는 연구도 필요하다.

Our findings describe the experiences of residents at two Canadian academic centres and are therefore not intended for generalisation to other settings. This is a study of perceptions, which means that learners might perceive that their performance has been altered negatively by having an observer present, but it may not actually be. Similarly, they might perceive that direct observation offers little educational value or impact, even if it directs them more than they recognise. Notwithstanding these possibilities, learners’ perceptions matter; perceptions influence the likelihood that feedback will resonate and clinician educators can use their awareness of a potential observer effect when they observe and when they craft their feedback. Research exploring whether or not clinician educators perceive that their presence impacts learner performance is also warranted.

결론 Conclusion

관찰자 효과 또는 관찰자가 있을 때 발생하는 의도하지 않은 결과가 있다. [학습자의 성과를 변화시킬 수 있으며, 직접 관찰의 진정성과, 그에 따른 피드백의 인식된 신뢰성에 대한 의문]을 갖게 한다. 직접 관찰의 참신함에 대한 인식은 그들의 성과가 평가되고 있다는 인식과 결합되어 참가자들이 그들의 작업에 접근하는 방식을 바꾸는 상당한 스트레스와 불안감을 야기했다. 참가자들이 관찰자 앞에서 자신이 평가받고 있다고 느낀 것은 놀라운 일이 아닐 것이다. 참가자들에게 관찰자의 존재는 [스트레스와 불안감을 유발]하며, 본의 아니게 그들의 [역할 모호성을 악화]시켜, 그들의 [직업적 정체성 형성을 둘러싼 긴장]을 강화시킬 수 있다. 이 두 가지 경험 모두 관찰되는 것에 대한 양면성을 영속시키는 전반적인 불편감에 기여한다. 우리는 직접적인 관찰이 중요하지 않다고 말하는 것이 아니다. 그러나 우리는 교육자들이 관찰자 앞에서 어떻게 레지던트가 수행하는지가 독립적인 의사로서 실제로 하는 일을 반영하지 못할 수 있으며, 이는 관찰과 수행자의 피드백이 그들의 학습에 얼마나 가치 있다고 느끼는지에 미치는 파급 효과를 인식해야 한다고 제안한다.

The observer effect, or the unintended consequences that happen when an observer is present, may alter learners’ performance, raising questions about the authenticity of direct observation and the perceived credibility of the feedback that arises from it. The perceived novelty of direct observation, coupled with perceptions that their performance was being graded, created significant stress and anxiety that altered how participants approached their work. It is perhaps not surprising that participants felt that, in the presence of an observer, they were being assessed. For participants, the presence of an observer is stressful and anxiety-provoking and may unintentionally exacerbate their role ambiguity, intensifying tensions around their professional identity formation. Both of these experiences contribute to an overall sense of discomfort that perpetuates ambivalence about being observed. We are not suggesting that direct observation is unimportant. But we are suggesting that educators need to be aware that how residents perform in the presence of an observer may not reflect what they actually do as independent practitioners,68 and that this has a ripple effect on how valuable they feel the observation and attendant feedback is to their learning.

 

 

---

 

 

Med Educ. 2017 May;51(5):498-510.

 

 doi: 10.1111/medu.13232. Epub 2017 Feb 28.

 

Staging a performance: learners' perceptions about direct observation during residency

Kori A LaDonna 1, Rose Hatala 2, Lorelei Lingard 3, Stephane Voyer 2, Christopher Watling 4

Affiliations collapse

Affiliations

1Centre for Education Research & Innovation, Schulich School of Medicine and Dentistry, Western University, London, Ontario, Canada.

2Department of Medicine, University of British Columbia, Vancouver, British Columbia, Canada.

3Department of Medicine and Centre for Education Research & Innovation, Schulich School of Medicine and Dentistry, Western University, London, Ontario, Canada.

4Department of Clinical Neurological Sciences and Centre for Education Research & Innovation, Schulich School of Medicine and Dentistry, Western University, London, Ontario, Canada.

PMID: 28247495

DOI: 10.1111/medu.13232

Abstract

Context: Evidence strongly supports that direct observation is a valid and reliable assessment tool; support for its impact on learning is less compelling, and we know that some learners are ambivalent about being observed. However, learners' perceptions about the impact of direct observation on their learning and professional development remain underexplored. To promote learning, we need to understand what makes direct observation valuable for learners.

Methods: Informed by constructivist grounded theory, we interviewed 22 learners about their observation experiences. Data collection and analysis occurred iteratively; themes were identified using constant comparative analysis.

Results: Direct observation was widely endorsed as an important educational strategy, albeit one that created significant anxiety. Opaque expectations exacerbated participants' discomfort, and participants described that being observed felt like being assessed. Consequently, participants exchanged their 'usual' practice for a 'textbook' approach; alterations to performance generated uncertainty about their role, and raised questions about whether observers saw an authentic portrayal of their knowledge and skill.

Conclusion: An 'observer effect' may partly explain learners' ambivalence about direct observation; being observed seemed to magnify learners' role ambiguity, intensify their tensions around professional development and raise questions about the credibility of feedback. In turn, an observer effect may impact learners' receptivity to feedback and may explain, in part, learners' perceptions that useful feedback is scant. For direct observation to be valuable, educators must be explicit about expectations, and they must be aware that how learners perform in the presence of an observer may not reflect what they do as independent practitioners. To nurture learners' professional development, educators must create a culture of observation-based coaching that is divorced from assessment and is tailored to developing learners' identities as practitioners of both the art and the science of medicine.

© 2017 John Wiley & Sons Ltd and The Association for the Study of Medical Education.