전공의 수련과정에서 직접관찰의 현상학: 밀러의 'does'레벨은 관찰가능한가? (Med Educ, 2022)

전공의 수련과정에서 직접관찰의 현상학: 밀러의 'does'레벨은 관찰가능한가? (Med Educ, 2022)
A phenomenology of direct observation in residency: Is Miller's ‘does’ level observable?
Chris B. T. Rietmeijer1 | Suzanne C. M. van Esch2 | Annette H. Blankenstein1 | Henriëtte E. van der Horst1 | Mario Veen3 | Fedde Scheele4 | Pim W. Teunissen5 

 

 

1 서론
1 INTRODUCTION

직접 관찰(DO)은 역량 기반 의학교육(CBME)의 초석이며, 형성적 및 총체적 목적을 가진 작업장 기반 평가(WBA)의 핵심입니다.1, 2 그러나 졸업후의학교육(PGME)에서 DO의 활용은 저조합니다.1, 3, 4 PGME에서 DO에 관한 문헌은 불분명한 이해관계, 평가에 대한 두려움, 환자와의 상호작용의 어려움, 관찰을 요청하거나 제공하는 것과 상충되는 자율성과 효율성에 대한 기대 등 이러한 저조한 활용에 대한 충분한 설명을 제공합니다.3-12 한 가지 중요한 반복되는 발견은 '관찰자 효과'입니다. Ladonna와 동료들이 발견한 바와 같이, 관찰하는 레지던트들은 마치 '공연을 하는 것'처럼 느껴져 환자에게 덜 자연스럽게 행동하고 '평소'의 진료 방식을 '교과서적인' 접근 방식으로 바꾼다고 합니다. 이러한 '진정성 없는 행동'에 대한 피드백은 레지던트들에게 유용한 것으로 간주되지 않았습니다.6 
Direct observation (DO) is a cornerstone of competency-based medical education (CBME); it is at the heart of workplace-based assessment (WBA) with its formative and summative purposes.1, 2 Yet the uptake of DO in postgraduate medical education (PGME) is poor.1, 3, 4 The literature on DO in PGME provides ample explanations for this poor uptake, such as unclear stakes, fear of assessment, difficulties in interacting with patients and expectations concerning both autonomy and efficiency that conflict with asking for, or offering, observation.3-12 One important recurring finding is the ‘observer effect’. As Ladonna and colleagues found, observed residents felt as if they were ‘staging a performance’; they behaved less naturally towards patients and ‘they exchanged their ‘usual’ practice for a ‘textbook’ approach’. Feedback on this ‘inauthentic behaviour’ was not considered useful by these residents.6

진정성 없는 행동이 '임상 역량을 평가하기 위한 밀러 피라미드의 최상단에 있는 '한다'에 대한 평가'로서 DO의 가치에 심각한 위협이 된다는 것은 의심의 여지가 없습니다.1, 13 '한다' 수준의 평가는 학습자가 임상 상황에서 독립적으로 기능할 수 있는 능력을 평가하는 것입니다.13 코건과 동료들은 DO에 대한 지침에서 '학습자가 관찰을 받을 때 실제와 다른 의료행위를 할 수 있다(예: 환자 병력을 기록할 때 전자 건강 기록을 입력하지 않거나 더 집중적인 검사가 적절한데도 종합적인 신체 검사를 하는 경우)'는 점을 인식했습니다. 그러나 저자들은 '관찰자는 학습자가 실제 업무 행동에 대한 피드백을 받을 수 있도록 학습자가 '평소에 하던 대로' 하도록 격려해야 한다'고 말하며 이 문제에 반박합니다.1 
There can be no doubt that inauthentic behaviour is a serious threat to the value of DO as ‘an assessment of “does” at the top of Miller's pyramid for assessing clinical competence’.1, 13 Assessment of the ‘does’ level is an assessment of the learner's ability to function independently in clinical situations.13 In their guidelines on DO, Kogan and colleagues recognised that ‘learners may default to inauthentic practice when being observed (e.g., not typing in the electronic health record when taking a patient history or doing a comprehensive physical exam when a more focused exam is appropriate)’. But the authors counter this problem by stating that ‘observers should encourage learners to “do what they would normally do” so that learners can receive feedback on their actual work behaviour’.1

동일한 지침에 따르면, 이를 더 쉽게 하기 위해 감독자는 물리적으로 그 상황에 있지만, 예를 들어 환자의 시야에서 벗어난 곳에 앉는 등 가능한 한 적게 존재해야 합니다.1 
To make this easier, according to the same guidelines, supervisors, while physically being in the situation, should be as little present as possible, for example, by sitting out of the patient's line of sight.1

그러나 이러한 슈퍼바이저의 역할은 일반 진료(GP) 교육에서 환자의 진료 상황 경험에 대한 최근 현상학적 연구와 상충되는 것으로 보입니다.14 환자들은 여러 가지 이유로 슈퍼바이저가 어느 정도 대화에 참여하기를 원했고, 실제로 그렇게 했습니다. 그 이유 중 하나는 환자들이 [후배의 접근에 대한 선배의 승인]이 필요했기 때문입니다. 이를 심각하게 받아들이면 선배의사가 [가능한 한 대화에 벗어나있는 것]이 아니라, 반대로 [신중하게 대화에 참여]하는 방향으로의 변화를 의미할 수 있습니다.14 
This take on the supervisor's role, however, seems to conflict with our recent phenomenological research on patients' experiences in DO situations in general practice (GP) training.14 Patients, for several reasons, needed—and indeed caused—supervisors to participate in the conversation to some extent. One of those reasons was that patients needed the senior's approval of the junior's approach. Taking this seriously would imply a movement in the opposite direction, where a supervisor judiciously participates in the activity, rather than keeping out of it as much as possible.14

그러나 이러한 대조적인 통찰은 단 하나의 연구, 즉 환자의 관점에 대한 연구로만 뒷받침됩니다.14 중요한 것은 현상학적 접근법을 통해 환자의 관점에 대한 이해를 얻었으며, 즉 환자가 진료 상황에서 본질적으로 경험하는 것의 규칙성을 조사했다는 점입니다. 빈과 시안치올로가 조언했듯이, 의학교육에서 지속적인 문제(대부분의 교육 상황에서 DO가 부족하다는 점 등)에 직면할 때 우리는 '속도를 늦춰야 할 때 속도를 늦출 수 있도록 하여, 연구 대상과 더 직접적으로 소통하고, 우리의 가정을 드러내고, 새로운 각도에서 성가신 문제를 해결하도록 돕는' 철학적 접근 방식을 취해야 합니다.15 현상학은 그러한 접근 방식이며, 이를 통해 DO 상황에서 환자가 필요로 하는 것과 의학교육이 DO를 개념화하는 방식 사이의 불일치를 볼 수 있게 해줍니다.1, 14 DO 상황에서 레지던트(및 수퍼바이저)의 경험에 대한 유사한 현상학적 이해가 부족하며, 모든 관점에서 DO 상황에 대한 보다 완전한 이해를 바탕으로 제기된 질문에 대한 답을 찾기 위해 필요합니다. 따라서 우리는 현상학적 접근 방식을 따라 다음을 조사했습니다. 
This contrasting insight, however, is supported by only one study, on one perspective, that is, that of patients.14 Importantly, we obtained our understanding of the patients' perspective by following a phenomenological approach, meaning that we investigated regularities in what patients essentially experienced in DO situations. As Veen and Cianciolo advised, when facing persistent problems in medical education (such as the lack of DO in most training contexts), we should take a philosophical approach that ‘empowers us to slow down when we should, thereby engaging us more directly with our subjects of study, revealing our assumptions, and helping us address vexing problems from a new angle’.15 Phenomenology is such an approach; it enabled us to see the discrepancy between what patients needed in DO situations and how medical education conceptualises DO.1, 14 A similar phenomenological understanding of residents'(and supervisors') experiences in DO situations is lacking and needed to find answers to the questions that have arisen, based on a more complete understanding of DO situations from all perspectives. We, therefore, followed a phenomenological approach to investigate

수퍼바이저가 직접 환자를 관찰하는 동안 레지던트들이 환자와 함께 일할 때 어떤 규칙적인 경험을 했는지 조사했습니다.
the regularities in how residents essentially experienced working with a patient while a supervisor was physically present, observing them.

앞서 언급한 바와 같이, DO는 WBA의 핵심입니다.1, 2 그러나 현상학적 접근은 예를 들어 목적 등의 측면에서 현상을 미리 정의하지 않고 조사하는 것을 의미합니다.16 따라서 우리는 DO의 목적이나 다른 정의에 관계없이 위의 연구 질문에 정의된 대로 DO 상황을 조사했습니다.
As indicated, DO is central to WBA.1, 2 A phenomenological approach, however, implicates investigating phenomena without pre-defining them, in terms of their purposes for example.16 We therefore investigated DO situations as defined in the research question above, regardless of the purposes or other definitions of DO.

2 방법
2 METHODS

현상학적 접근
Phenomenological approach

우리는 네덜란드의 한 GP 수련 센터에서 현상학적 인터뷰 연구를 수행했습니다. 
We performed a phenomenological interview study in one Dutch GP training centre.

의학교육 문헌에서는 종종 해석적(또는 해석학적) 현상학과 서술적(또는 초월적) 현상학을 구분한다.17, 18 그러나 Rietmeijer와 Veen은 저자들이 특정 학파에 가입하기보다는 현상학을 어떻게 이해하고, 연구에서 현상학의 원칙을 어떻게 적용했는지 명확히 할 것을 제안했다.16 이제 이러한 원칙과 우리가 사용한 방법을 설명한다. 
Medical education literature often distinguishes interpretive (or hermeneutic) phenomenology from descriptive (or transcendental) phenomenology.17, 18 However, Rietmeijer and Veen proposed that, rather than subscribing to a specific school, authors should make clear how they understand phenomenology and how they applied principles of phenomenology in their study.16 We now describe these principles and the methods we used.

2.1.1 사전 반성적 경험의 공통 구조
2.1.1 Common structures in pre-reflective experience

우리는 전공의들이 DO 상황에서 무엇을 경험했는지, 즉 이러한 상황에 대해 반성하기 전에 '반성 전 경험'을 조사했습니다. 이 반성 전 경험을 조사하는 것은 달성할 수 없는 이상이지만, 우리의 목표는 참가자들의 반성, 아이디어 및 의견을 통해 반성 전 경험의 공통 구조에 대해 알아보는 것이었습니다. 이러한 공통 구조는 규칙성 또는 불변 구조 또는 경험의 본질이라고도 불립니다.16, 19, 20
We investigated what residents experienced in DO situations before they had reflected on these situations: the ‘pre-reflective experience’. Although investigating this pre-reflective experience is an unattainable ideal, our goal was to learn what participants' reflections, ideas and opinions revealed about the common structures of this pre-reflective experience. These common structures are also called regularities, or invariant structures, or essences of the experience.16, 19, 20

2.1.2 이론에 얽매이지 않는 개방적 연구, 브래킷 사용
2.1.2 Open, theory-free; bracketing

우리는 의도적으로 참가자의 역할, 방법 또는 목표와 같은 DO 상황에 대한 이론 없이 이 연구를 시작했습니다. 우리는 상황 자체가 전공의들에게 어떻게 발생하는지에 초점을 맞췄습니다.16 현상학적 원칙에 따라 이러한 개방적인 접근 방식을 통해 현상을 미리 정의하고 관심 대상을 좁혔더라면 발견하지 못했을 현상의 측면을 볼 수 있었습니다.16 
We deliberately started this study without a theory on DO situations, for example, in terms of participants' roles, methods or goals. We focused on how the situation in itself occurred to residents.16 In line with phenomenological principles, this open approach enabled us to see aspects of the phenomenon that would remain unnoticed had we pre-defined it and narrowed our object of interest.16

이러한 개방성을 얻기 위해 우리는 조사 대상에 대한 '자연스러운 태도'를 '괄호'(=보류)해야 했습니다.16, 19-22

• 자연스러운 태도에서는21 레지던트, 환자, 감독자, DO 상황 사이의 관계에 대한 가정을 당연한 것으로 간주하게 됩니다. 즉, 인터뷰를 시작하기 전에 이미 교육 이벤트와 같은 DO 상황을 미리 정의하고 모든 참가자에게 특정한 역할을 부여합니다.
• 반면에 현상학적 태도를 취하는 경우, 우리는 자신과 다른 참가자, 상황 사이의 관계에 대한 참가자의 경험에 정확히 관심을 갖습니다.16, 19-22

In order to attain this openness, we had to ‘bracket’ (= suspend) our ‘natural attitude’ towards our object of investigation.16, 19-22 

• With a natural attitude,21 we would take our assumptions about relations between the resident, the patient, the supervisor and the DO situation for granted. In other words, before starting the interviews, we would already have predefined DO situations, for instance, as a teaching event, with particular roles for all the participants.
• With a phenomenological attitude, by contrast, we are precisely interested in participants' experiences of these relationships between themselves, the other participants and the situation.16, 19-22

[가정에 대한 반성적 성찰]은 모든 질적 연구에서 일반적이지만, 현상학에서 괄호치기는 그보다 더 나아가, 현상에 대한 시야를 좁힐 수 있는 이론적, 개념적 아이디어를 중단하는 것을 의미합니다. 

• 이는 종종 후설의 '사물 그 자체로'라는 말과 함께 언급됩니다.21 따라서 연구자는 자신의 자연스러운 태도와 인터뷰 대상자의 자연스러운 태도를 끊임없이 의식해야 합니다.22
• 따라서 괄호치기는 인터뷰와 분석 과정에서 똑같이 중요했습니다. 이를 위해서는 DO에 대한 의견과 이론을 끊임없이 중단하고 전공의들이 DO 상황을 어떻게 경험했는지, 그리고 이러한 경험의 공통된 구조가 무엇인지에 대해 그들이 밝힌 내용으로 되돌아가는 것이 수반되었습니다.22

Although reflexivity on one's assumptions is common in all qualitative research, in phenomenology, bracketing goes further than that and means suspending theoretical and conceptual ideas that may narrow one's sight of the phenomenon.

• This is often referred to with Husserl's dictum ‘to the things themselves’.21 Researchers must, therefore, constantly be aware of both their own natural attitude and the natural attitude of the interviewees.22 Bracketing was, consequently, equally important during the interviews and the analysis of them.
• This entailed constantly suspending opinions and theories about DO that arose and bringing them back to what they revealed about how residents experienced DO situations and what were the common structures of this experience.22

인터뷰를 시작하기 전에 CBTR과 SCMvE는 각각 DO 상황에서 레지던트가 된 경험에서 중요한 측면이라고 생각하는 것에 대한 에세이를 썼습니다. 이 에세이에서 그들은 DO에 대한 이전 연구 결과를 포함하여 DO 상황에 대해 당연하게 여기는 자신의 자연스러운 태도에 대해서도 성찰했습니다.10, 11, 14 이후 그들은 이 에세이에 대해 서로 인터뷰하고, 인터뷰 및 분석 기간 동안 반성적 일기와 추가 메모 작성의 시작으로 이러한 성찰을 활용했습니다. 이 연습을 통해 밝혀진 한 가지 예로, 두 연구자 모두 후배 의사는 선배 의사로부터 배워야 하며, 그 역할을 DO가 해야 한다고 확신하고 있는 것으로 나타났습니다. 이것이 그럴듯해 보이지만, 이 의견 및 다른 의견/이론(예: 서론에서 설명한 바와 같이)을 의도적으로 중단함으로써, 그들은 인터뷰 과정에서 레지던트들의 사전 성찰적 경험에 기여하는 DO 상황의 다른 측면도 보기 위해 더 민감해지려고 노력했습니다. 
Before starting the interviews, CBTR and SCMvE each wrote an essay on what they thought were important aspects of the experience of being the resident in a DO situation. In these essays, they also reflected on their natural attitude, what they tend to take for granted regarding DO situations, including findings from their previous research on DO.10, 11, 14 They subsequently interviewed one another about these essays and used these reflections as the start of a reflexive diary and further memo writing throughout the interview and analysis period. As one example of what this exercise revealed, it appeared that both researchers were convinced that a junior doctor must learn from a senior doctor, with DO playing a role. However plausible this seems, by deliberately suspending this and other opinions/theories (e.g., as described in the introduction), they tried to become more sensitive in their interviews to see also other aspects of DO situations that contributed to residents' pre-reflective experience.

컨텍스트
Context

저희는 네덜란드 서부에서 인터뷰를 진행했습니다. 네덜란드의 GP 수련은 역량 기반의 3년 수련 프로그램으로, 레지던트는 첫해와 마지막 해를 GP에서 보내며 교대로 근무하는 두 명의 GP 트레이너의 감독 하에 일합니다. 레지던트는 주간 퇴원 프로그램을 위해 매주 1일씩 수련 기관을 방문합니다. 수퍼바이저와 레지던트는 수련 기관에서 환자 진료 중에 의사 또는 관찰자가 되어 번갈아 가며 정기적인 양방향 DO 세션에 참여하도록 점점 더 많이 권장하고 있습니다. 인터뷰 당시 실제로 이러한 조언을 받아들이는 비율은 점점 증가하고 있었지만 여전히 적당한 수준이었습니다. 저자는 해당 수련 기관에서 근무하지 않았으며 인터뷰에 응한 레지던트들과는 아무런 관계가 없습니다. 
We performed our interviews in the western part of the Netherlands. Dutch GP training is a competency-based, 3-year training programme; residents spend their first and final years in GP, working under the nearby supervision of one—sometimes two alternating—GP trainers. Residents visit their academic training institute 1 day each week for their day release programme. Supervisors and residents are increasingly encouraged by the training institute to engage in regular bi-directional DO sessions, taking turns being the doctor or the observer, during patient care. The take-up of this advice in practice, at the time of our interviews, was growing but still moderate. The authors did not work at the training institute and had no relationship with the residents interviewed.

데이터 수집
Data collection

2021년에는 무작위로 선정된 총 30명의 1~3년차 레지던트에게 DO 상황에서의 경험에 대한 인터뷰에 응해달라는 이메일 초대장을 보냈습니다. 수락한 레지던트는 SCMvE 또는 CBTR에서 인터뷰를 진행했습니다. 인터뷰는 코로나19 팬데믹으로 인해 물리적 만남이 제한되었기 때문에 화상 통화로 진행되었습니다. 인터뷰는 '환자를 진료하는 동안 상사가 방에 함께 있어 환자를 관찰했던 상황에 대해 말씀해 주시겠습니까'라는 첫 질문 외에는 미리 정해진 질문이 없다는 점에서 비구조화22되었습니다. 그러나 경험의 방식을 이해하려는 우리의 목표는 우리가 사용한 질문 유형에 영향을 미쳤습니다: 저희는 반 마넨을 따라 의도적으로 '경험의 실존적 요소'를 찾았습니다. 반 마넨은 사람들이 다음에서 경험한다고 주장합니다.20

• 신체(예: 무엇을 느끼고 무엇을 하는지),
• 시간(예: 언제 무슨 일이 일어나고 시간이 얼마나 빨리 가는지),
• 장소(예: 누가 어디에 앉고 가구의 위치),
• 관계(예: 환자와의 친숙함 및 수련 관계의 질)

경험의 방법을 파악하기 위해 이러한 경험의 실존적 요소에 따라 구체적인 DO 상황에서 어떤 일이 일어났는지 매우 사실적으로 질문했습니다.20, 22 인터뷰 시간은 60분에서 75분까지 다양했습니다. 
In 2021, we sent an email invitation to a total of 30 first- and third-year residents, randomly chosen, to be interviewed about their experiences in DO situations. Those who accepted were interviewed by either SCMvE or CBTR. The interviews took place via video calls because physical encounters were restricted because of the Covid 19 pandemic. The interviews were unstructured22 in the sense that there were no pre-fixed questions other than the opening question: ‘Can you tell me about a situation in which your supervisor was present in the room, observing you while you were working with a patient?’ However, our aim of understanding the how of the experience did influence the type of questions that we used: We followed van Manen by deliberately looking for his ‘existential elements of experience’. Van Manen claims that people experience things

• in their body (e.g., what they feel and what they do),
• in time (e.g., what happens when and how fast the time goes),
• in place (e.g., who sits where and position of furniture) and
• in relationship (e.g., familiarity with the patient and quality of the training relationship).20 

To get to the how of the experience, we asked quite factually what happened in specific DO situations, guided by these existential elements of experience.20, 22 The interviews varied in length from 60 to 75 min.

분석
Analysis

인터뷰는 비디오로 녹화되었습니다. CBTR과 SCMvE는 먼저 비디오 녹화를 개별적으로 분석하여 이 인터뷰가 주제에 대해 말하는 내용을 한두 개의 문구(즉, 'sententious phrases'[반 마넨])로 캡처하여 전체적으로 분석했습니다.20 그런 다음 인터뷰를 필사하고 익명화했으며, CBTR은 이 필사본을 반 마넨의 다양한 렌즈인 [살아있는 신체, 살아있는 공간, 살아있는 시간, 살아있는 관계]를 통해 네 차례에 걸쳐 코딩하여 분석했습니다.20 이 네 가지 렌즈 사용은 경험의 이러한 모든 측면에 더 민감하게 반응하도록 만들었습니다. 이는 분석에서 중요한 단계였습니다. 그러나 이 작업의 목적은 경험을 네 가지 범주로 설명하는 것이 아니라 경험에 대한 보다 완전한 그림을 얻는 것이었습니다.20 따라서 결과 섹션에서는 이러한 실존적 요소에 대해 보고하지 않고 반복적이거나 공통적인 구조로 사전 반영 경험을 세분화할 것입니다.16, 19, 20
The interviews were videotaped. Both CBTR and SCMvE first—separately—analysed the video recordings holistically by capturing in one or two phrases what this interview told them about our topic (i.e., ‘sententious phrases’ [van Manen]).20 They then transcribed and anonymised the interviews, and CBTR analysed these transcriptions in four rounds of coding through Van Manen's different lenses of lived body, lived space, lived time and lived relationship.20 Using these four lenses made us more sensitive to all these aspects of the experience. It was an important step in the analysis. The aim of this, however, was to gain a more complete picture of the experience, not to describe the experience in four categories.20 Therefore, in the results section, we will not report on these existential elements but will break down the pre-reflective experience in recurrent, or common, structures.16, 19, 20

CBTR은 사전 반성적 경험의 특정 공통 구조(예: '평가자로서의 수퍼바이저에 대한 전공의의 인식')에 대해 드러나는 것으로 보이는 코드를 해석하여 코드를 그룹화했습니다. 그는 '상상적 변형' 과정을 통해 이러한 공통 구조를 파악했습니다.

• 상상적 변형이란 이 구조가 없더라도 같은 경험이 될 수 있는지 스스로에게 물어보는 것을 의미합니다. 대답이 '아니오'면 공통 구조로 간주했습니다.16, 20

CBTR grouped the codes by interpreting what they seemed to reveal about specific common structures of the pre-reflective experience (e.g., ‘residents' awareness of the supervisor as an assessor’). He determined these common structures through a process of ‘imaginative variation’.

• Imaginative variation means asking oneself if the experience would still be the same experience without this structure. If the answer was no, it was a common structure.16, 20

CBTR은 이 과정에서 반성적인 메모를 작성했습니다. 그런 다음 이 모든 자료를 SCMvE에게 보냈고, SCMvE는 직접 녹취록을 읽고 코드, 코드 그룹, 메모에 댓글을 달고 더 많은 코드와 메모를 추가했습니다. SCMvE와 CBTR은 각 인터뷰가 끝난 후 화상 통화를 통해 결과를 논의했습니다. 3번과 6번의 인터뷰가 끝난 후 PWT는 이들과 함께 회의에 참여하여 지금까지의 분석 결과를 검토했습니다. 분석에 대한 추가 검토는 MV, AHB, HEvdH, FS를 포함한 전체 팀과 두 차례의 회의에서 이루어졌으며, 이들은 코드, 코드 그룹 및 메모의 예와 분석 시스템에 대해 의견을 제시했습니다. 
CBTR wrote reflexive memos during this process. He then sent all this material to SCMvE who read the transcripts herself, commented on codes, code groups and memos, and added more codes and memos. SCMvE and CBTR discussed their findings during video calls, after each interview. After three and six interviews, PWT joined them in a meeting to review the analyses thus far. A further review of the analyses took place in two meetings with the whole team, including MV, AHB, HEvdH and FS, who commented on examples of codes, code groups and memos and on the system of analysis.

3 결과
3 RESULTS

총 6명의 레지던트를 인터뷰했는데, 그 중 5명은 수련 1년차 후반에, 1명은 수련 3년차에 있었습니다. 모든 레지던트는 전체 상담 과정에서 지도의의 관찰을 받은 경험이 있었습니다. 이러한 DO 세션은 형성적인 목적으로 진행되었습니다. 우리가 들은 대부분의 이야기는 이러한 예정된 DO 상황에 관한 것이었지만, 일부는 환자상담 중에 조언을 구하기 위해 슈퍼바이저를 호출하여 발생한 부가적ad hoc 관찰에 관한 것이었습니다. 우리는 인터뷰를 분석하여 전공의의 사전 성찰적 경험의 공통 구조에 대해 밝혀진 내용을 해석했습니다. 다음 단락에서는 이러한 공통 구조에 대해 보고합니다.
We interviewed a total of six residents, five of them in the second half of their first year, and one in her third year of the training. All residents had experience with being observed by their supervisor throughout a whole consultation. These DO sessions were intended to be formative. Most accounts we heard were about these scheduled DO situations, but some were about ad hoc observations when the supervisor was called in for advice during a consultation. We analysed the interviews by interpreting what they revealed about common structures of residents' pre-reflective experiences. We report on these common structures in the following paragraphs.

[첫 번째이자 명백한 공통 구조]는 DO 상황에서 레지던트들은 환자와 수퍼바이저가 함께 있는 방에 있는 경험을 했다는 것입니다. 레지던트들은 자신과 환자, 수퍼바이저 간의 언어적 및 비언어적 상호작용은 물론 수퍼바이저와 환자 간의 상호작용도 경험했습니다:
A first and obvious common structure was that in DO situations residents experienced being in a room with a patient and with a supervisor. Residents experienced verbal and non-verbal interactions between themselves and the patient and the supervisor, as well as interactions between the supervisor and the patient:

• R2: 그래서 좀 더 열심히 해야겠다는 생각이 들어요, 거의 '안녕하세요!!' (손을 흔들며) [...] 환자가 수퍼바이저에게 계속 말을 걸면 [...] 그러면 '내가 이 대화를 해야 하는데, 이렇게 하면 잘 안 되겠구나'라는 생각이 들어요.
  R2: So, then I feel that I have to work a bit harder, I'm almost doing like ‘hallo!!’ (waves her hand) […] if the patient keeps talking to the supervisor […] Then I think: I was supposed to do this conversation, but this way I'm not quite succeeding.

레지던트들의 사전 성찰 경험에서 [두 번째로 공통적인 구조]는 수퍼바이저와 환자 모두에게 인상을 남기면서 수퍼바이저의 관찰을 받는 경험을 했다는 것이었습니다:
A second common structure in residents' pre-reflective experiences was that they experienced being observed by their supervisor while making an impression on both the supervisor and the patient:

• R6: 네, 하지만 수련 중이라는 것과 환자가 당신에 대한 의견을 형성하고 슈퍼바이저가 당신에 대한 의견을 형성한다는 것을 매우 의식하고 있죠 [...].
  R6: Well, but yes, you are very conscious of being in training and that, um, the patient forms an opinion of you, and that the supervisor forms an opinion of you […].

수퍼바이저에게 어떤 인상을 남겼는지에 대한 인식은 레지던트들이 자신의 성취에 대해 자부심을 가질 수 있게 합니다:
Awareness of the impression they made on supervisors could make residents proud of their accomplishments:

• R1: 그리고 나서 [...] 이게 잘 되고 있구나, 이게 잘 되고 있구나, 이게 잘 되고 있구나, 그리고 은근히 이렇게 생각했죠, 아, 잘 되고 있구나, 슈퍼바이저가 여기 와서 (이걸) 봐주셔서 다행이다.
  R1: And then I thought, yeah, […] this is going well, this is going well, this is going well, and I secretly thought like, oh, this is going nicely and I'm glad that my supervisor is here (and sees it).

이러한 관찰에 대한 인식은 전공의들이 관찰되지 않는 환자면담과 비교해보면, 관찰받는 때에 더 불안감을 느끼고 심지어 장애를 느낄 수도 있습니다:
This awareness of being observed could also make residents feel insecure and even handicapped compared with a not-observed consultation:

• R6: 글쎄요, 관찰을 받을 때는 그것이 무엇인지, 무엇을 해야 하는지 잘 모르는 경우가 많고, 평상시에는 무언가를 생각하거나 무언가를 만들어내지만, 감독관이 저를 관찰하고 있으면 잘못된 말을 할까 봐 두렵습니다.
  R6: Well, um, I feel that when I'm being observed I know less often what it is or what I have to do; and, normally, I would think of something, or make something up, but if my supervisor is observing me, I'm afraid that I'll say the wrong things.

레지던트들이 환자와 진단 및 치료 계획에 대해 논의할 때 불안감과 장애를 느끼는 것이 가장 두드러졌습니다:
Feeling insecure and handicapped was most prominent when residents discussed the diagnosis and care plan with the patient:

• R2: [...] 진단과 치료 방법에 대해 완전히 확신하지 못하면 [...] 감독관이 끼어들어 전혀 하지 않겠다고 말할지도 모르기 때문에 [...] 그렇게 해야 하는 것이 매우 어색했습니다.
  R2: […] concerning the diagnosis and how to handle this, if I am not entirely certain, I can't be very firm in saying we're going to do this […] because perhaps the supervisor will interrupt and say that we're not going to do this at all […] I found that very awkward to have to do.

불안감 및/또는 장애를 느끼는 것은 레지던트들이 환자와 상호작용하는 개인적인 방식과도 관련이 있을 수 있습니다:
Feeling insecure and/or handicapped could also relate to residents' personal way of interacting with patients:

• R2: [...] 제가 환자와 소통하는 방식 등 여러 가지 측면에 대해 상사가 인정해줄지 궁금합니다 [...] 저는 상당히 친근하고 가능하면 격식을 차리지 않는데, 상사도 그런 점을 인정해줬으면 좋겠어요 [...].
  R2: […] that I wonder if my supervisor approves […] that can concern multiple aspects, such as how I communicate with patients, I'm quite approachable and not so formal if possible, and then I hope that she will appreciate that too […].

[또 다른 공통적인 경험 구조]로, 레지던트들은 관찰 수퍼바이저를 선배 동료이자 잠재적 조력자로 경험했습니다. 이로 인해 레지던트들은 독립적인 노동자로서 수퍼바이저에게 주는 인상에 해가 되더라도 최적의 환자 치료를 위해 수퍼바이저의 의견을 묻게 될 수 있습니다:
As another common structure of the experience, residents experienced their observing supervisor as a senior colleague and potential helper. This could lead residents to ask the supervisor's opinion, for the sake of optimal patient care, even if this was to the detriment of the impression they made on their supervisor as an independent worker:

• R3: 특히 치료 계획은 최소한 확인을 받고 싶어요. 특히 전문가가 제 옆에 앉아있는데 환자가 최적의 치료보다 못한 치료를 받는 것은 원치 않아요 [...] 저는 항상 갈등을 겪습니다: 이것은 관찰이기 때문에 전문가가 없는 것처럼 행동해야 한다. 하지만 어쨌든 저는 그와 상담합니다 [...].
  R3: Especially the care plan, I want to have that checked at least. I don't want the patient to get less than optimal treatment when the expert, notably, was sitting beside me […] I always have that conflict: this is an observation so I should act as if he wasn't there. But then I consult him anyway […].

또한 레지던트들은 자신의 지도의가 환자에게 친숙한 GP인 경우가 많았습니다. 이것 역시 레지던트가 대화에 감독관을 참여시킬 수 있습니다:
Also, residents often experienced their supervisor as the patient's familiar GP. This, too, could make residents engage their supervisor in the conversation:

• R4: [...] 환자가 (슈퍼바이저와 상의할 때) 그걸 좋아하는 것 같아요 [...] 자기 담당 GP가 동의한다는 것을 알기 때문이죠.
  R4: […] I think that the patient likes that (when I discuss things with my supervisor) […] because she sees that her own GP agrees.

[또 다른 공통된 구조]는 레지던트들이 진료실에서 슈퍼바이저의 위치에 대해 경험하는 것이었습니다:
Another common structure was the residents' experience of the position of the supervisor in the room:

• R3: 네, 그녀가 제 뒤에 조금 더 옆으로 앉았다면 도움이 되었을 거예요 [...] 이제 저는 그녀가 우리 사이에 [...] 거의 중재자처럼 [...] 앉았다는 것을 깨달았습니다.
  R3: Yes, it would have helped if she had sat more to the side, a bit behind me […] Now I realise that she sat right between us […] almost like a mediator […].
• R5: 그는 정말 말 그대로 기댈 수 있는 사람이고 저를 지지해주는 사람이기 때문에 그가 제 뒤에 앉지 않고 옆으로 더 멀리 앉았다면 아마도 (책임자라는) 느낌을 줄 수 있었을 것입니다.
  R5: Well he is really quite literally someone to lean on, someone who supports me, so if he did not sit behind me but to the side and further away, that would perhaps give me the feeling (of being in charge).

놀랍게도 수퍼바이저의 존재로 인한 방해에도 불구하고 레지던트들은 종종 관찰 상황을 독립적으로 일하는 방법을 보여주기 위한 초대 또는 과제로 경험했습니다:
Strikingly, despite the disturbances resulting from the presence of the supervisor, residents often did experience the observation situation as an invitation, or assignment, to show how they work independently:

• R1: [...] 이것은 (환자와 그의 아들과) 꽤 좋은 3자 대화였습니다; 제 수퍼바이저는 옆에 앉아서 개입하지 않았고, 어..., 그냥 관찰했고, 어... 저는 모든 것을 혼자서했습니다 [...].
  R1: […] This was quite a good three-way conversation (with a patient and his son); my supervisor sat to the side, and he did not intervene, he, uh …, he just observed, and uh… I did it all by myself […].

마치 환자와 혼자 있는 것처럼 독립적으로 일하려고 하면 많은 좌절감을 느낄 수 있습니다:
Trying to work independently, as if they were alone with the patient, could cause many frustrations:

• R5: 제가 약간 수렁에 빠지거나 개요를 잃을 때 ..., 그가 거기에 없으면 스스로 회복할 수 있지만 [...], 분명히 저는 상사가있을 때 대부분 회복하지 못합니다.
  R5: When I get bogged down a bit, or lose the overview …, if he were not there I would recover myself, […] but, apparently, I mostly don't manage to recover when my supervisor is present.
• R1: 그리고 그것은 ..., 당신은 최고의 자아가 아니며, 최적의 기능을 발휘하지 못하고 [...] 당신이 원하지만, 그것은 역설입니다.
  R1: and that's …, then you're not your best self, you're not functioning optimally […] while you do wish you did, that's a paradox.

반면, 일부 레지던트들은 독립적으로 일하는 방식을 보여주기 위한 과제로서 DO 상황을 경험하지 않았을 때를 설명하면서, 그 상황을 [상사와 함께 일하고 서로를 관찰하면서 배울 수 있는 기회]로 해석하기도 했습니다:
By contrast, some residents provided accounts of times when they did not experience DO situations as an assignment to show how they work independently; they could also interpret the situation as an opportunity to work and learn together with their supervisor, observing each other, which they valued:

• R2: [...] 저는 그 상황을 협력적인 상담으로 바꾸고 싶었습니다 [...] 서로를 보완하고 [...] 어떻게 할 것인지에 대해 스파링을하고, 음, 네, 그게 재미 있다고 생각했습니다 [...].
  R2: […] I was inclined to turn the situation into a collaborative consultation […] I like that, complementing each other […] sparring about what would you do, and um, yeah, I thought that was fun […].

흥미롭게도 DO 상황에 대한 이러한 해석은 대부분 자발적으로 발생했으며 감독자와 사전에 합의하지 않았습니다.
Interestingly, this interpretation of the DO situation mostly arose spontaneously and was not agreed upon in advance with the supervisor.

[마지막으로 공통적 경험 구조]로, 레지던트들은 이전 경험을 바탕으로 수퍼바이저와 기존 관계를 맺고 있었으며, 이는 DO 상황을 경험하는 방식에 영향을 미쳤습니다:
As a last common structure of experience, residents had a pre-existing relationship with their supervisor based on previous experiences, which influenced how they experienced the DO situation:

• R2: 저는 이 수퍼바이저와 매우 잘 지낼 수 있었고, 서로 신뢰하는 관계였기 때문에 수퍼바이저의 관찰을 받는 것이 신경 쓰이지 않았어요.
  R2: I could get along very well with this supervisor, we had a trusted relationship, so I didn't mind being observed by him.

4 토론
4 DISCUSSION

일반적으로 DO에 대한 이해를 증진하기 위해, 특히 '관찰자 효과', '진정성 있는 행동', 밀러의 'DO' 수준 및 DO 상황에서 수퍼바이저의 참여와 관련하여 [레지던트들이 DO 상황에서 전-성찰적으로 경험한 것의 규칙성]을 조사했습니다. 그 결과, 관찰하는 수퍼바이저가 관찰하지 않는 상담과 비교했을 때 레지던트의 경험과 행동이 어떻게 크게 달라졌는지 밝혀냈습니다. 다음 단락에서 이에 대해 자세히 설명하겠습니다.
In order to advance our understanding of DO in general, and specifically concerning the ‘observer effect’, ‘authentic behaviour’, Miller's ‘does’ level and the participation of supervisors in DO situations, we investigated regularities in what residents pre-reflectively experienced in DO situations. Our results illuminate how an observing supervisor substantially changed the experience of residents and their behaviour, compared with unobserved consultations. We will elaborate on this in the following paragraphs.

Ladonna와 동료들은 레지던트들이 DO 하에서 '진실하지 않게' 행동한다고 보고했으며,6 따라서 관찰되지 않을 때, 즉 독립적으로 일할 때 어떻게 행동할지 보여주지 못한다는 사실을 발견했습니다.1, 13 이 저자들은 관찰자 효과(관찰 및 평가받는다고 느낄 때 다르게 행동하는 것을 말함)가 이에 대한 책임이 있다고 주장했습니다. 그러나 이러한 관찰자 효과는 레지던트에게 평소처럼 행동하도록 격려하고1 더 나은 DO 조건을 조성함으로써 극복할 수 있는 것으로 간주되는 경우가 많습니다.4, 8, 23 이러한 조건에는 다음이 포함됩니다.4, 8, 23, 24 

• 종단적이고 신뢰할 수 있는 훈련 관계,
• 전용 시간이 있는 반복적인 DO 세션,
• 감독자가 의도적으로 한쪽에 앉아 환자와 눈을 마주치는 등 접촉을 피하는 등 레지던트의 자율성을 촉진하는 조치

연구 결과에 따르면 이러한 예방 조치는 실제로 산만한 상호작용을 줄이고 레지던트가 더 편안하게 느끼도록 도울 수 있음을 확인시켜 줍니다. 그러나 더 편안하고 산만함을 덜 느낀다는 것은 감독자가 없을 때처럼 '진정성 있게' 또는 독립적으로 일할 수 있다는 것과는 다릅니다.
Ladonna and colleagues found that residents reported behaving ‘inauthentically’ under DO,6 thus not showing how they would work when not observed, that is, independently.1, 13 These authors held the observer effect responsible for this, which refers to acting differently when feeling observed and assessed. This observer effect, however, is often regarded as something that can be overcome, by encouraging residents to behave as they would normally do,1 and by creating better DO conditions.4, 8, 23 Such conditions comprise

• longitudinal, trusted, training relationships,
• recurring DO sessions with dedicated time and
• measures to promote residents' autonomy such as supervisors avoiding contact, including eye contact, with the patient by deliberately sitting to one side.4, 8, 23, 24 

Our results confirm that these precautions may indeed help reduce distracting interactions and make residents feel more at ease. However, feeling more at ease and less distracted is not the same as being able to work ‘authentically’, or independently, as one would when the supervisor is not there.

우리는 수퍼바이저의 존재로 인해 발생하는 [관찰자 효과]가 이전에 이해했던 것보다 훨씬 더 중요하기 때문에 독립적으로 일할 수 없다는 것을 발견했습니다. 관찰되는 상황에 놓임으로써, 수퍼바이저는 레지던트와 환자가 경험하고 느끼고 행동하는 것에 불가피한 영향을 미치면서, 그 상황을 여러 가지 방식으로 변화시켰기 때문입니다.

• 한 가지 예로, 레지던트들은 관찰되지 않는 상황에서는 그렇게 하지 않았을지라도 최적의 환자 치료와 편안함을 위해 수퍼바이저를 대화에 참여시키고 싶은 유혹을 받는다는 사실을 발견했습니다. 이러한 레지던트들은 선배가 병실에 있을 때 자신의 전문성을 활용하지 않는 것이 부자연스럽게 느껴졌습니다.
• 환자와 슈퍼바이저(주로 담당 GP)가 친숙하다는 점도 레지던트들이 슈퍼바이저를 참여시키는 또 다른 이유였습니다. DO 상황에서 환자의 경험에 대한 이전 연구14에 따르면 환자들도 같은 이유로 슈퍼바이저의 연륜 및/또는 환자와의 친숙함 때문에 슈퍼바이저를 대화에 끌어들이는 것으로 나타났습니다.

We found that the observer effect that is caused by the presence of the supervisor did not allow for working independently because this effect was much more material than was previously understood: By being in the situation that was observed, the supervisor changed that situation in numerous ways with an inevitable impact on what the resident and patient experienced, felt and did.

• As one example, we found that residents were tempted to engage their supervisor in the conversation for the sake of optimal patient care and comfort, even if they would not have done so in an unobserved situation. For these residents, when the senior was in the room, it felt unnatural not to make use of their expertise.
• The familiarity of the patient with the supervisor, often their GP, was an additional reason for residents to engage their supervisor. Our previous study of patients' experiences14 in DO situations indicated that patients also drew supervisors into the conversation, for the same reasons: the supervisor's seniority and/or familiarity with the patient.

우리는 관찰자 효과는 레지던트가 관찰되고 평가받는다고 느끼는 것뿐만 아니라, 감독하는 GP의 존재가 관찰 대상 상황을 심오한 방식으로 변화시킨다는 결론을 내립니다. 따라서 레지던트가 독립적으로 일하는 방식을 관찰하는 것으로 정의된 Miller의 '한다' 수준을 관찰하는 것은1,13 불가능해 보입니다. 
We conclude that the observer effect is not just about residents feeling observed and assessed; the presence of a supervising GP changes the situations to be observed in profound ways. Therefore, observing Miller's ‘does’ level, defined as observing how a resident works independently,1, 13 seems impossible.

우리는 레지던트들이 종종 이 문제로 어려움을 겪는다는 것을 발견했습니다: 레지던트들은 수퍼바이저나 프로그램의 기대에 따라 [독립적으로 일하는 모습을 보여줘야 한다]고 생각하면서도, 동시에 그것이 [불가능]하고, 심지어 [좋은 환자 치료를 위해서도 바람직하지 않다]는 것을 경험했습니다. 기대에 부응하고 가능한 한 독립적으로 일하려고 노력하면서 이에 대처한 레지던트들은 많은 장애와 좌절을 경험했다고 보고했습니다. 이전 연구에서도 DO가 레지던트, 환자, 감독자 세 참여자 모두에게 불편한 상황과 어색함을 초래하는 경우가 많다고 강조합니다.3, 6, 9-11, 25 이러한 원인 중 하나는 한편으로는 감독자의 참여에 대한 환자와 레지던트의 요구와 다른 한편으로는 DO 지침에 따라 감독자를 대화에서 배제하려는 감독자 및 레지던트의 시도1에서 찾을 수 있다고 이 문헌에 덧붙여 설명합니다.
We found that residents often struggled with this: They experienced the expectations of the supervisor, or the programme, as needing to show how they work independently, while they simultaneously experienced that this was impossible, and even undesirable in the interests of good patient care. Residents who coped with this by complying with the expectations and trying to work as independently as possible reported many impediments and frustrations. Previous research also highlights that DO often brings about uncomfortable situations and awkwardness for all three participants: residents, patients and supervisors.3, 6, 9-11, 25 We add to this literature that one of the causes for this may be found in the discrepancy between patients' and residents' needs for the participation of the supervisor on the one hand, and the DO guidelines-driven supervisors' and residents' attempts to keep the supervisor out of the conversation,1 on the other.

실무적 시사점
Practical implications

이 연구는 평가에 관한 연구는 아니지만, 연구 결과는 WBA에 영향을 미칠 수 있습니다.26, 27

• 레지던트 역량 평가에 필요한 데이터를 어떻게 수집할 수 있을까요?
• 레지던트가 독립적으로 유능한 GP 또는 전문의가 되고 있는지 어떻게 확신할 수 있을까요?
• PGME는 어떻게 사회적 책임에 부응하고 있나요?
• 어느 정도 거리를 두고 객관적으로 레지던트를 평가해야 하지 않을까요?

이러한 질문은 의학교육에서 일반적이고 타당한 질문이며, CBME 시대에는 더욱 그렇습니다.26
Although this study was not about assessment, our findings may have implications for WBA.26, 27 

• How do we collect the data we need for assessing our residents' competence?
• How can we be certain that a resident is becoming an independently competent GP or medical specialist?
• How does PGME live up to its societal accountability?
• Must we not assess residents with a certain degree of distance and objectivity?

These are common and valid questions in medical education; more so in the CBME era.26

그러나 우리의 연구 결과는 독립적 역량에 대한 이러한 거리두기 관찰의 실현 가능성에 의문을 제기합니다. 앞서 살펴본 바와 같이, 관찰자가 관찰하는 것은 적어도 부분적으로는 관찰자의 존재에 의해 영향을 받습니다. 자연 과학에서는 인공물이라고 할 수 있습니다. 이는 레지던트의 성과에 대해 '객관적'이고 거리를 두고 판단하고자 하는 욕구가 실제로는 자연과학자, 즉 (포스트)실증주의적 태도를 드러낸다는 것을 알 수 있게 해줍니다.28 그러나 사회구성주의에서 이러한 [인공물]은 [레지던트의 학습 궤적에 대한 의미]에 관한 [대화의 유효한 출발점]이 될 수 있습니다.28 이는 대화의 중요성이 점점 강조되는 피드백에 관한 문헌과 공명합니다.29-31 우리의 결과는 이러한 대화가 우리가 본 것은 그 자체로는 의미가 없음을 확고히 확립하는 것으로 시작해야 한다는 것을 시사합니다. 연구 결과에서 종종 반영된 것처럼, 모호하지 않고 명확하게 이 점을 밝히면 DO 상황의 긴장을 완화할 수 있습니다.
Our results, however, question the feasibility of this distanced observing of independent competence. As shown, what observers observe is, at least in part, caused by their presence. In the natural sciences, we would speak of artefacts. This helps us see that the wish for an ‘objective’, distanced, judgement of a resident's performance actually reveals a natural scientist, that is, a (post-) positivist attitude.28 In social constructivism, however, these artefacts can be valid starting points for a dialogue concerning their meaning for the resident's learning trajectory.28 This resonates with the literature on feedback, in which the importance of dialogue is increasingly emphasised.29-31 Our results suggest that this dialogue should start with firmly establishing that what we have seen has no meaning in itself. Being clear about this instead of ambiguous, as was often reflected in our results, may relieve tensions in DO situations.

위의 내용을 다시 밀러의 피라미드에 대입하면,13 우리는 절대로 'shows how'를 수준 이상은 볼 수 없으며, 'does'라는 단계는 [우리가 관찰한 것]과 [다른 출처에서 추론한 것]을 기반으로 구축하는 구조입니다. 이러한 다른 출처와 관련하여 점점 더 많은 지식이 민족지학 및 현상학에서 파생된 전공의의 역량 진전을 평가하는 새로운 보완적인 방법을 뒷받침합니다.32-34
When we translate the above again to Miller's pyramid,13 we will never see more than the ‘shows how’ level, which makes the ‘does’ level a construction that we build upon what we have observed and what we infer from other sources. Concerning these other sources, a growing body of knowledge supports new complementary ways of assessing the residents' progress in competence, derived from, for example, ethnography and phenomenology.32-34

마지막으로, 우리의 연구 결과는 레지던트와 수퍼바이저가 환자와 같은 공간에 있는 목적과 진행 방법에 관한 대화를 개선할 수 있음을 시사합니다. 유사한 GP 수련 환경에서 수행된 최근 연구에 따르면 레지던트와 수퍼바이저는 이에 대해 거의 논의하지 않는 것으로 확인되었습니다.10-12 이러한 대화의 중요한 요소는 DO 상황이 양방향적이고 전경이 아닌 경우 학습에 가장 효과적인 것으로 보입니다.10, 11 따라서 레지던트와 수퍼바이저는 서로 관찰하고, 관찰 정보를 수집, 공유 및 함께 해석하면서 함께 일하고 배우기 위해 DO 상황을 사용하는 것을 고려해야 합니다. 
As a last practical implication, our results suggest that residents and supervisors could improve their dialogue concerning the purpose of their being in the same room with a patient and how to proceed. Recent research in similar GP training settings confirms that residents and supervisors hardly discuss this.10-12 An important factor for this dialogue appears to be that DO situations seem to work best for learning when DO is bi-directional and not foregrounded.10, 11 Residents and supervisors should therefore consider using DO situations to work and learn together while observing each other, collecting, sharing and together interpreting observational information along the way.

향후 연구에 대한 시사점
Implications for future research

레지던트와 환자를 대상으로 한 현상학적 연구는 PGME에서 DO를 개념화하는 데 기여했으며, 수퍼바이저가 관찰하는 상황에 필연적으로 참여해야 함을 강조했습니다. 이 과정에서 수퍼바이저의 DO 상황에 대한 경험에 대한 현상학적 조사는 아직 중요한 부분이 누락되었습니다. 
Our phenomenological research amongst residents and patients has contributed to the conceptualisation of DO in PGME, highlighting the inevitable participation of supervisors in the situations they observe. In this, a phenomenological investigation of supervisors' experiences in DO situations is yet an important missing piece.

이 연구의 주요 기여는 관찰자 효과를 단순히 불안을 유발하는 것이 아니라 상황을 실질적으로 변화시키는 것으로 새롭게 개념화했다는 점입니다. 이러한 이해를 확인 및/또는 개선하기 위해서는 다른 맥락에서의 추가 연구가 필요합니다.35
The main contribution of this work to the literature is the new conceptualisation of the observer effect, not just as anxiety-provoking but as a material alteration of the situation. Further research in other contexts is needed to confirm and/or improve this understanding.35

또한, 함께 일하고 배우는 세션에서 얻은 정보가 전공의에 대한 요약 평가에 가장 적합한 정보를 제공할 수 있는 방법에 대한 더 많은 연구가 필요합니다. 
Moreover, we need more research on how information obtained from working and learning together sessions can best inform summative assessments of residents.

제한 사항
Limitations

본 연구는 네덜란드의 한 GP 수련 센터에서 수행되었기 때문에 다른 상황에 적용하는 데 한계가 있습니다. 언급해야 할 중요한 맥락적 요소는 GP 수련 과정에서 환자가 레지던트보다 레지던트의 지도의인 자신의 GP를 더 잘 알고 있다는 점입니다. 이 사실은 우리의 연구 결과 중 하나에 기여했습니다: 레지던트들은 자신의 슈퍼바이저를 환자에게 친숙한 GP로 경험했습니다. 이렇기에 레지던트가 수퍼바이저를 대화에 참여하도록 유도할 수 있습니다. 수퍼바이저를 참여시키는 또 다른 이유인 연공서열은 아마도 대부분의 의료 전문직의 교육 맥락에 적용될 것입니다. 
We conducted our research in one Dutch GP training centre, limiting its transferability to other contexts. An important contextual factor to mention is that patients, in GP training, usually know their own GP, who is the resident's supervisor, better than they know the resident. This fact contributed to one of our findings: Residents experienced the presence of their supervisor as the patient's familiar GP. This could encourage them to engage the supervisor in the conversation. The other reason to engage the supervisor, their seniority, will probably apply to education contexts in most health professions.

두 번째 한계는 이 연구가 네덜란드의 한 일반의 교육 센터라는 한 가지 맥락에서만 이루어진 소규모 인터뷰 연구라는 점입니다. 그러나 현상학적 연구에서는 소수의 참여자만으로도 의미 있는 결과를 얻을 수 있는 경우가 많습니다. 반 마넨의 말처럼: '모든 현상학적 주제는 언제나 다시 다루어지고 원래 의미의 차원과 의미의 측면을 탐구할 수 있다'.20 또한 귀납적으로 얻은 이론의 타당성은 그 자체의 양적 토대가 아니라 다양한 맥락에서의 유용성에 의해 결정되며,35 이는 더 많은 연구가 필요합니다.
A second limitation is that this is a small interview study in only one context: a GP training centre in the Netherlands. In phenomenological research, however, small numbers of participants often suffice to attain meaningful, though not exhaustive, results. As van Manen puts it: ‘Every phenomenological topic can always be taken up again and explored for dimensions of original meaning and aspects of meaningfulness’.20 Also, the validity of inductively obtained theory is not determined by its quantitative underpinning per se but by its usefulness in different contexts,35 which needs to be determined further.

5 결론
5 CONCLUSION

우리의 연구 결과는 '관찰자 효과'가 이전에 이해되었던 것보다 훨씬 더 중요하다는 것을 보여줍니다. 결과적으로, 밀러의 'Does' 수준에서 마치 수퍼바이저가 없는 것처럼 전공의의 '진짜' 행동을 관찰하는 것은 이론적으로나 실제적으로 불가능하며, 오해의 소지가 있는 개념으로 보입니다:

• 수퍼바이저가 그곳에 있는데도, 마치 수퍼바이저가 그곳에 없는 것처럼 일하도록 하는 불가능한 일을 전공의에게 강요하나, 보고된 모든 관련 문제와 고통을 포함하여 상황을 실질적으로 변화시켰기 때문에 오해의 소지가 있으며,
• 수퍼바이저가 상황에 참여하지 않도록 하여 잠재적으로 환자와 전공의의 요구를 무시하게 만들었기 때문에 오해의 소지가 있으며,
• 전공의과 수퍼바이저가 교육과 학습의 기회를 낭비하게 만들었다는 점에서 오해의 소지가 있습니다.

Our results indicate that the ‘observer effect’ is much more material than was previously understood. Consequently, observing residents' ‘authentic’ behaviour at Miller's ‘does’ level, as if the supervisor was not there, seems—theoretically and practically—impossible and a misleading concept: misleading because it invited residents to do the impossible:

• to work as if the supervisor was not there while he/she was there and substantially changed the situation, with all the reported associated problems and distress;
• misleading also because it made supervisors try to avoid participating in the situation, thereby potentially neglecting patients' and residents' needs; and
• misleading, finally, because it made residents and supervisors waste opportunities for educating and learning.

이번 연구 결과와 이전 연구 결과를 바탕으로, 레지던트와 수퍼바이저가 한 공간에서 함께 환자 진료에 참여하는 경우, 일방향 DO는 함께 일하고 배우는 세션에서 양방향 DO로 대체하는 것이 더 낫다고 제안합니다.
Based on our results and previous findings, we suggest that when a resident and a supervisor are together in one room, engaged in patient care, one-way DO is better replaced by bi-directional DO in working-and-learning-together sessions.

 

---

Med Educ. 2023 Mar;57(3):272-279. doi: 10.1111/medu.15004. Epub 2022 Dec 23.

A phenomenology of direct observation in residency: Is Miller's 'does' level observable?

Chris B T Rietmeijer 1, Suzanne C M van Esch 2, Annette H Blankenstein 1, Henriëtte E van der Horst 1, Mario Veen 3, Fedde Scheele 4, Pim W Teunissen 5

Affiliations collapse

Affiliations

1Department of General Practice, Amsterdam UMC, location Vrije Universiteit Amsterdam, Amsterdam, The Netherlands.

2Department of General Practice, Amsterdam UMC, location University of Amsterdam, Amsterdam, The Netherlands.

3Department of General Practice, Erasmus Medical Center, Rotterdam, The Netherlands.

4School of Medical Sciences, Athena Institute for Transdisciplinary Research, Amsterdam UMC, location Vrije Universiteit Amsterdam, Amsterdam, The Netherlands.

5School of Health Professions Education, Maastricht University, Maastricht, The Netherlands.

PMID: 36515981

PMCID: PMC10107098

DOI: 10.1111/medu.15004

Abstract

Introduction: Guidelines on direct observation (DO) present DO as an assessment of Miller's 'does' level, that is, the learner's ability to function independently in clinical situations. The literature, however, indicates that residents may behave 'inauthentically' when observed. To minimise this 'observer effect', learners are encouraged to 'do what they would normally do' so that they can receive feedback on their actual work behaviour. Recent phenomenological research on patients' experiences with DO challenges this approach; patients needed-and caused-some participation of the observing supervisor. Although guidelines advise supervisors to minimise their presence, we are poorly informed on how some deliberate supervisor participation affects residents' experience in DO situations. Therefore, we investigated what residents essentially experienced in DO situations.

Methods: We performed an interpretive phenomenological interview study, including six general practice (GP) residents. We collected and analysed our data, using the four phenomenological lenses of lived body, lived space, lived time and lived relationship. We grouped our open codes by interpreting what they revealed about common structures of residents' pre-reflective experiences.

Results: Residents experienced the observing supervisor not just as an observer or assessor. They also experienced them as both a senior colleague and as the patient's familiar GP, which led to many additional interactions. When residents tried to act as if the supervisor was not there, they could feel insecure and handicapped because the supervisor was there, changing the situation.

Discussion: Our results indicate that the 'observer effect' is much more material than was previously understood. Consequently, observing residents' 'authentic' behaviour at Miller's 'does' level, as if the supervisor was not there, seems impossible and a misleading concept: misleading, because it may frustrate residents and cause supervisors to neglect patients' and residents' needs in DO situations. We suggest that one-way DO is better replaced by bi-directional DO in working-and-learning-together sessions.

© 2022 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.