임상 수행능력의 상호의존성 고려하기: 평가와 위임에 대한 함의(Med Educ, 2018)

임상 수행능력의 상호의존성 고려하기: 평가와 위임에 대한 함의(Med Educ, 2018)

Considering the interdependence of clinical performance: implications for assessment and entrustment

Stefanie S Sebok-Syer, Saad Chahine, Christopher J Watling, Mark Goldszmidt, Sayra Cristancho & Lorelei Lingard

도입

INTRODUCTION

대부분의 의료행위가 진정으로 '독립적'이 아니라는 이해가 증가하고 있음에도 불구하고, [독립적인 졸업후 연수생 성과]를 평가할 수 있는 능력은 역량 기반 의료교육(CBME)의 핵심 전제다. 이러한 목표를 달성하기 위해, 프로그램은 다양한 과제를 완료함에 따라 교육생의 관찰과 위탁에 초점을 맞춘 새로운 역량 기반 평가 도구를 개발하도록 요구되어 왔다.1 위임 가능한 프로페셔널 활동(EPA)으로 특징지어지는 이러한 작업은 관찰 가능하고 측정 가능한 행동이며, 교육생이 특정 수준의 역량을 달성한 후 (독립적으로) 성공적으로 수행하도록 감독관이 신뢰할 수 있다.2 이러한 위임 결정은 감독되지 않은 환자 진료를 제공할 준비가 되어 있는지 판단하는 데 사용되기 때문에 독립적 실습을 준비하는 선배 훈련생들에게 특히 중요하다.3 그러나 직장 기반 임상 환경에서는 연습생의 성과가 감독하는 교직원과 분리할 수 없이 연계되는 경우가 많기 때문에 수행 결과를 특정 연습생 한 명과 연결시키기가 어려울 수 있다.4

Despite an increasing understanding that most clinical practice is not truly ‘independent’, the ability to assess independent postgraduate trainee performance is a key premise of competency-based medical education (CBME). To achieve this goal, programmes have been required to develop novel competency-based assessment tools focused on the observation and entrustment of trainees as they complete various tasks.1 Characterised as entrustable professional activities (EPAs), such tasks are observable and measurable behaviours that supervisors can trust trainees to carry out (independently) with success once they have achieved a particular level of competence.2 These entrustment decisions are particularly important when it comes to senior trainees preparing for independent practice because they are used to judge their readiness to provide unsupervised patient care.3 However, in workplace-based clinical settings, performance outcomes can be difficult to link to one particular trainee because trainees’ performance is often inseparably tied to the faculty members who supervise them.4

게다가, 임상 감독에 대한 연구에 따르면, 교수진들이 환자 안전을 보호하기 위해 훈련병의 독립성을 통제하고 심지어 대항하는 다양한 관행을 제정하는 것을 제안한다.7 이러한 감독 관행이 때때로 [보이지 않는다]는 것을 감안할 때, 훈련병들은 실제보다 자신이 더 높은 독립성을 가지고 있다고 인지할 수 있다.8

Furthermore, studies of clinical supervision suggest that faculty members enact various practices that control and even counteract trainee independence to safeguard patient safety .7 Given that these supervisory practices are sometimes invisible, trainees may perceive more independence than they actually have.8

의사들이 다른 의사들과 고립되어 의료행위를 하는 경우는 거의 없다는 것을 인정하면서도, 의학교육은 [독립적 실천을 위하여 훈련생들이 [감독받지 않거나 간접적으로만 감독받는 상태의 의료행위]를 준비하는 것으로 바뀌어가고 있다. 그러나 이러한 변화는 아직 독립성에 대한 강한 초점을 유지하고 있는 평가 담론으로 번역되지 않았다.9-11 평가 모델은 독립적 성과를 측정하기 위해 일반적으로 설계되어 있다는 점을 감안할 때, 이들은 작업장 기반 훈련 환경에서 임상 성과에 대한 집합적collective 특성에 직면했을 때 어려움을 겪는다.

Within medical education, our language has changed from preparing trainees for independent practice to preparing them for unsupervised or indirectly supervised practice, acknowledging that physicians rarely practise in isolation from others. However, this shift has not yet translated into assessment discourse, which retains a strong focus on, and assumption of, independence.9–11 Given that assessment models are conventionally designed to measure independent performance, they struggle when faced with the collective nature of clinical performance in workplace-based training environments.

평가 연구는 복잡한 작업장 기반 성능 환경에서 평가의 정확성에 영향을 미치는 내용 특수성, 12 레이터 분산, 13 또는 컨텍스트의 영향, 14와 같은 분산 출처를 식별했다.

Assessment research has identified sources of variance such as 

• content specificity,12 

• rater variance,13 or 

• the influence of context,14 

....which impact the accuracy of assessments in complex, workplace-based performance environments.

직장 기반 평가의 다른 학자들도 이러한 환경에서 평가해야 할 과제를 인식하고 있으며, 어떤 연구자들은 성과에 관한 질적 데이터에 더 많이 의존해야 한다고 주장하고 있고, 다른 학자들은 다양성을 최소화하기 위해 평가자를 더 잘 교육해야 한다고 주장하고 있다.17 또는 직접 관찰과 같은 행위가 미치는 미묘한 사회문화적 영향에 대한 더 많은 이해가 필요함을 주장한다.

Other scholars of workplace-based assessment have also recognised the challenges of assessing in these environments, with some advocating for more reliance on qualitative data regarding performance,16 and others arguing for better training of raters to minimise variance17 or more nuanced understanding of the sociocultural influences on practices such as direct observation.18

현재의 연구는 임상 및 직장 환경에서의 평가의 복잡성을 유용하게 정교하게 설명하였지만, [독립된 훈련생이 평가 관심의 초점이 된다는 관점]을 유지하는 경향이 있었다. 이 가정은 널리 퍼져있지만 대체로 암묵적이기에, 거의 탐구되지 않았다underexplored. 본 연구는 이러한 근본적인 가정을 명시하고, 의문점을 제기한다.

Although this current scholarship has usefully elaborated the complexity of assessment in clinical and workplace settings, it has tended to maintain the perspective that the independent trainee is the focus of assessment attention. This assumption is pervasive but largely tacit and therefore underexplored. The current study makes explicit, and questions, this fundamental assumption.

많은 의학 교육 학자들은 이 분야의 지배적인 개인주의, 인지주의적인 학습 접근방식을 벗어나 교육, 사회과학, 인문학적 지식에서 [사회문화적 지향성]을 이끌어낼 필요가 있다고 주장해왔다.20-23 사회적 학습 이론, 사회 물질 이론 및 복잡성 이론은 모두 역동적인 임상 시스템에서 협력 작업의 얽힌 차원을 미리 파악할 수 있는 능력에 대해 채택되었다.

Many medical education scholars have argued for the need to move beyond the field’s dominant individualist, cognitivist approaches to learning, to engage sociocultural orientations from education, social science and humanities-based knowledges.20–23 Social learning theories, sociomaterial theories and complexity theory have all been embraced for their ability to foreground entangled dimensions of collaborative work in dynamic clinical systems.

실천과 학습의 사회문화적 차원에 대한 견실한 고려가 있었지만, 의학교육에서 평가의 문제에는 사회문화적 지향성이 거의 적용되지 않았다. 현재의 연구는 이러한 두 영역을 연결하고 독립적 성과에 대한 가정에 의문을 제기함으로써 이러한 격차를 해소한다.

Although there has been robust consideration of the sociocultural dimensions of practice and learning, a sociocultural orientation has rarely been applied to issues of assessment in medical education. The current study addresses this gap by bridging these two domains and questioning the assumption of independent performance.

CBME의 맥락에서 [어떤 연습생 행동과 결정이 연습생들의 독립적인 임상 행동과 결정]을 반영하는 것으로 간주될 가능성이 높은가?

Which trainee actions and decisions in the clinical workplace are likely, in the context of CBME, to be considered a reflection of trainees’ independent clinical actions and decisions?

방법

METHODS

이 연구는 기관 건강 과학 연구 윤리 위원회의 승인을 받았다. 우리는 구성주의적 근거 이론 접근법을 사용하여 작업장 기반 설정에서 '독립적' 연습생 임상 성능의 특성을 탐구했다.29 데이터 수집 및 분석은 반복적인 방식으로 일어났다. 목적적 샘플링 기법을 사용하여, 우리는 12개의 대학원 전문분야에 걸쳐 11명의 임상교직 교직원 및 10명의 선임 교육생(PGY [PGY]4/5)을 대상으로 개별 면접을 실시하였습니다.

This study was approved by the institutional Health Sciences Research Ethics Board. We used a constructivist grounded theory approach to explore the nature of ‘independent’ trainee clinical performances in workplace-based settings.29 Data collection and analysis occurred in an iterative fashion. Using a purposive sampling technique, we conducted individual interviews with 11 clinical teaching faculty members and 10 senior trainees (postgraduate year [PGY]4/5) across 12 postgraduate specialties:

캐나다 중형 단일 의과대학의 교직원과 연수생들에게 이메일이 보내져 30~45분짜리 준구조적 개별면접에 참여하도록 초청했다. 이론적 포화에 도달했을 때 데이터 수집을 중단했는데, 이는 새로운 아이디어가 더 많은 데이터 수집과 동일시되지 않았을 것이라는 것이 아니라, 상호의존성의 차원에 대한 이해를 가능하게 하는 데 충분한 데이터 수집을 달성했다는 것을 의미한다.

E-mails were sent to faculty members and trainees at a single, midsized Canadian medical school, inviting them to participate in a 30–45- minute semi-structured individual interview. We ceased data collection when we reached theoretical sufficiency, which did not mean that no new ideas would have been identified with more data collection, but rather that we had achieved sufficient data collection to enable an understanding of the dimensions of interdependence.30,31

우리는 데이터 수집과 데이터 분석이 동시에 이루어지는 반복적인 프로세스를 이용하여 지속적 비교 귀납적 분석을 실시했고, 각각은 다른 것을 알려주고 영향을 주었다. 구성론자의 근거 이론에 따라, 29 연구자들은 초기, 집중, 이론의 세 가지 분석 단계에 관여했다. 

We conducted constant comparative inductive analysis using an iterative process in which data collection and data analysis were concurrent, each informing and influencing the other. Following constructivist grounded theory,29 the researchers engaged in three analytical stages of coding: initial, focused and theoretical. 

초기 코딩과 집중 코딩은 대화록이 사용 가능해짐에 따라 반복적으로 이루어졌다. 초기 코딩은 면접 대본을 한 줄씩 읽어 아이디어를 파악하는 것으로 구성됐다. 초기의 코드를 바탕으로, 초점 코딩은 그 다음, 대본 내의 개념이나 주제를 강조하기 위해 사용되었다; 식별된 초기 주제는 '디커플링의 문제'라고 불렸다. 이것은 참가자들이 설명하려고 하는 독립적 성과에 영향을 미치는 요소들에 대한 지속적인 참조를 언급하였다. 참가자가 설명한 각각의 새로운 사건, 경험 또는 관점을 이전의 사건, 경험 및 관점과 비교하여 주제를 정의하고 다듬었다. 즉, 디커플링에 관한 질문이다.

Initial and focused coding took place iteratively as transcripts became available. Initial coding consisted of reading the interview transcripts line-by-line to identify ideas. Building upon our initial codes, focused coding was then used to highlight concepts or themes within the transcripts; an early theme identified was termed ‘the question of decoupling’, which referred to participants’ persistent references to factors influencing the independent performances they were trying to explain. Each new incident, experience or perspective described by a participant was compared with previous incidents, experiences and perspectives to define and refine the theme – the question of decoupling.

일단 모든 주제 범주가 완성되고 그에 따라 데이터가 조직되면 이론 코딩은 그들 사이의 관계를 탐구하고, 이러한 관계에 대한 이론적 통찰과 질문을 반영하기 위해 분석적 메모를 작성했다. 이 과정에서 우리는 디커플링에서 커플링으로 관심을 전환하여, 참가자들이 특정 임상 성과가 독립적이지 않다고 느끼는 이유를 설명하는 동안, 왜 그것이 상호의존적인지에 대한 통찰력도 제공하고 있다는 새로운 이해를 반영했다.

Once all thematic categories were finalised and the data organised accordingly, theoretical coding explored the relationships among them, and analytical memos were created to reflect theoretical insights and questions about these relationships. At this point in the process, we shifted our attention from decoupling to coupling, reflecting our emerging understanding that, while participants were explaining why they felt a particular clinical performance was not independent, they were also providing insight into why it was interdependent.

결과

RESULTS

면접은 참가자들에게 [독립적인 연습생 수행 사례]에 대해 설명해 달라고 요청하면서 시작되었다. 대부분의 참여자들은 임상 훈련 맥락에서 명백하게 독립적인 성과들이 존재한다고 주장했다. 그러나 모든 인터뷰에 걸쳐 일관적으로 참가자는 대부분의 시간을 독립 연습생 성과에 대한 일련의 거부권 및 예외에 대한 세부사항을 상세히 설명하는데 소비했다. 이러한 예외와 거부권disclaimers을 분석하면서 우리는 상호의존성의 패턴을 설명할 수 있었고, 결국 우리는 이를 '커플링'으로 개념화했다.

The interviews began by asking participants to describe instances of independent trainee performance. Most participants asserted that some clearly independent performances existed in their clinical training context. However, consistent across all interviews, participants spent most of their time detailing an array of disclaimers for, and exceptions to, their examples of independent trainee performance. In analysing these exceptions and disclaimers, we were able to describe patterns of interdependence, which we eventually conceptualised as ‘coupling’.

독립적 수련생 성과

Independent trainee performance

독립성은 당사 수습참가자(PGY4/5)가 직접 감독(참가자 R2) 없이 시료의 총검사 등 임상업무를 수행할 때, 사전승인 없이 환자진료를 제공하고 처분 또는 퇴원 전만 상담(참가자 R5 및 R7)할 때, 또는 당직일 때 발생한다고 기술하였다. 그리고 교수진(참가자 R6 및 R8)과 상의할 필요 없이 임상 결정을 내린다. 한편, 많은 연습생 참가자들은 그들이 하는 모든 것을 독립적인 것으로 특징지었다.

Independence was described by our trainee participants (PGY4/5) as occurring when they perform a clinical task, such as gross examination of specimens, without direct supervision (Participant R2), when they provide patient care without prior approval and only consult before disposition or discharge (Participants R5 and R7), or when they are on-call and make clinical decisions without having to consult with faculty members (Participants R6 and R8). On the one hand, a number of trainee participants characterised ‘everything’ they do as independent.

또한 대부분의 교육생들은 졸업후교육의 후기 단계(즉, PGY4/5)와 교육생들이 직접적인 감독 없이 일하고 있는 임상 상황에서 독립적인 수행이 더 쉽게 관찰될 수 있음을 인정했다.

Most trainees also acknowledged that independent performance was easier to observe in the later stages of postgraduate training (i.e. PGY4/5) and in clinical situations where trainees are working without direct supervision:

검사 오더는 독립적인 연습생 성과를 반영하기 위해 가장 많이 인용된 사례 중 하나였다. 예를 들어, 연습생이 교대시간 내내 어떤 종류의 독립적인 행동과 결정을 내릴 수 있는지를 물었을 때, 한 교직원은 '랩 검사, 약물 주문, 가슴 엑스레이 주문'(참가자 F1)으로 응답했다.

Ordering practices were among the most common examples cited to reflect independent trainee performance. For instance, when asked what sort of independent actions and decisions a trainee might make throughout a shift, one faculty member responded with ‘order lab tests, order medications, and [order] chest x-rays’ (Participant F1).

그러나 '전공의와 교직원이 한 팀으로 일한다'(참가자 R3)는 경험의 결과로서, 연수생 참가자들도 졸업후 교육 내 독립성에 challenge하기도 했다.

However, trainee participants also challenged the very notion of independence within postgraduate training, as a result of their experience that ‘the resident and faculty work as a team’ (Participant R3).

이러한 논평에서 알 수 있듯이, 연습생들은 성과가 상호의존적인 협력 팀의 일원으로 일한다.

As these comments suggest, trainees work as part of a collaborative team, where performance is interdependent.

상호의존적인 연습생 성과

Interdependent trainee performance

교수진과 연습생들이 독립된 연습생 수행의 구성 요소를 설명하면서, 그들 모두는 독립적으로 보이는 공연이 실제로는 어떻게 독립적이지 않을 수 있는지에 대해 길게 이야기했다. 그들은 '어렵다tricky'(참가자 R5) '불행히도'(참가자 R5) '하지만, 불가능하지는 않더라도 개개의 시술자에 의해 분리하는 것은 어렵다'(참가자 F8) 등 세부적인 예외사항과 부인사항, 복잡요인 등을 제시했고, [명확한 독립성과]를 구분짓는 선을 긋기 위해 고군분투하는 모습을 보였다.

As faculty members and trainees described what constituted independent trainee performance, all of them spoke at length about how a performance that seems to be independent may not be. They offered detailed exceptions, disclaimers and complicating factors, such as ‘it’s tricky’ (Participant R5), ‘unfortunately’ (Participant R5) and ‘but it is difficult, if not impossible, to separate them by individual practitioner’ (Participant F8), and they appeared to struggle to draw a line around clearly independent performance.

인터뷰의 이러한 부분을 분석하면서, 우리는 상호의존적 수행의 패턴을 반복적으로 식별했다; 우리는 이러한 패턴을 다른 팀원들의 수행과 '커플링'하는 것으로 개념화했다. 참가자가 설명한 커플링의 주요 구성은 연습생과 감독자 간이었다.

In analysing these parts of the interviews, we identified recurring patterns of interdependence performance; we have conceptualised these patterns as ‘coupling’ of trainee performance with that of other team members. The main configuration of coupling described by our participants was between trainee and supervisor.

교육생과 감독자의 결합

Coupling of trainees and supervisors

데이터에 나타난 커플링의 주요 구성은 [연습생과 감독자 사이]의 것이었다. 훈련생과 감독자의 상호의존성 성격과 정도는 임상적 맥락과 제공된 감독 유형에 따라 달라졌다. 수술실과 같은 일부 임상적 맥락에서, 커플링은 참가자들이 [과연 전공의가 '독립적'으로 여겨질 수 있는지 의문을 가질 정도]로 강한 용어로 설명되었다.

The predominant configuration of coupling evident in the data was that between a trainee and his or her supervisor. The nature and degree of interdependence of trainee and supervisor depended on the clinical context and the type of supervision provided. In some clinical contexts, such as the operating room, coupling was described in such strong terms that participants questioned whether trainees could ever be considered independent.

또 다른 외과 교수진은 수술 결과에 대한 깊은 책임감 때문에 자신의 감독 수준이 연습생에게 완전한 독립을 허락하지 않았다고 설명했다.

Another surgical faculty member explained that, because of a profound sense of responsibility for the surgical outcome, his level of supervision never abated to allow a trainee full independence:

교직원이 수술실에 만능인 수술의 임상적 맥락은 이처럼 세심한 관찰을 뒷받침했다. 그러나 이것은 수술의 독특한 것이 아니었다. 비수술 프로그램 참가자들도 주의 깊게 관찰되는 느낌을 전했다.

The clinical context in surgery, where the faculty member is omnipresent in the operating room, supported such careful watching. But this was not unique to surgery. Participants from non-surgical programmes also reported a sense of being carefully watched.

누군가 어딘가에서 내 어깨 너머로 보고 있다는 것을 알게 된 것이 그저 너무 위로가 되어 가장 멋진 순간 같았다.(참가자 R6)

It was like the most wonderful moment because it was just so comforting to know that somebody was looking over my shoulder someplace. (Participant R6)

이 연습생은 혼자 수행하는 것이 아니라 누군가 나를 지켜보는 것에 안도감을 표시했지만, 다른 사람들은 독립성에 제약이 된다고 생각하는 것에 대해 좌절감을 표시했다. 다음의 예는 병리학과 실험실 의학에서 나온다.

Although this trainee expressed relief at knowing he or she was not performing alone but were being watched, others expressed frustration at what they perceived to be a constraint on their independence. The following example comes from pathology and laboratory medicine:

졸업하는 날이 지나면 (그 전까지는 하지 못했어도) 곧바로 모든 것을 사인할 수 있다는 것은 이상한 일이다. 그날 밤 마법 같은 일이 일어나 갑자기 능력을 가질 수 있게 되었다.(참가자 R2)

It’s an odd thing where I graduate the next day and I can sign out everything. So something magical happens that night, and I can suddenly have the ability. (Participant R2)

독립된 전공의 수행으로 흔히 투약, 검사, 영상 오더 등이 언급되었지만, 많은 교수진 참여자들은 '대부분, 우리 전공의들은 실제로 약을 오더하기 전에 논의를 기다린다'(참가자)는 감독자와 상의 후에만 그런 주문이 배치되는 경우가 많다는 것을 인정했다.개미 F4).

Although the ordering of medications, tests or imaging was often mentioned as an independent trainee performance, many faculty participants acknowledged that such orders are often placed only after consultation with a supervisor: ‘for the most part, our residents wait to have the discussion before they actually would order the medication’ (Participant F4).

오더 행위는 (예를 들어 전자 건강 기록에 연습자에게 태그가 지정된) 독립적으로 보일 수 있지만 실제로 감독자와 결합된 성과를 반영할 수 있다는 점에서, 이러한 논의는 문서화에서 거의 명백하지 않다.

These discussions are rarely evident in documentation, such that ordering practices may appear independent (tagged to the trainee in the electronic health record, for instance) but actually reflect performance that is coupled with the supervisor.

독립적인 성과에 대한 질문에 대한 참가자들의 반응은 부분적으로 [막후에서 일어나는 일에 대한 인식]에 달려 있었다. 신경과 출신의 한 교직원은 일부 교육생들이 교직원들이 받아쓰기를 검토하고 편집할 것이라는 인식 없이 dictation을 승인sign-off한다고 지적했다.

Participants’ responses to the question of independent performance depended in part on their awareness of the work that occurs behind the scenes. One faculty participant from neurology pointed out that some trainees sign-off on dictations without an awareness that faculty members will review and edit them:

대부분의 전공의들은 종종 자신이 특정 환자의 치료를 계속 맡아서 제공하지 않았기 때문에 환자의 결과에 대해 거의 알지 못하거나, 또는 그러한 환자의 관련 임상 문서가 교직원의 감독 결과로 어떻게 편집되었는지에 대해 거의 알지 못한다고 인정했다.

Most trainees admitted knowing very little about the outcomes of their patients, or how the associated clinical documentation for such patients was edited as a result of a faculty member’s supervision, because the trainee often did not continue to provide the patient’s care:

교수진들은 여러 임상과를 드나들며 로테이션하는 졸업후 교육의 일시적인 특성상 [자신의 성과]가 [(임상 결정을 변경했을 수 있는) 상사의 성과]와 얼마나 강하게 결합되어 있는지를 교육생들이 깨닫기 어렵게 한다고 논평했다.

Faculty members commented that the transient nature of postgraduate training, in which they rotate in and out of clinical workplace settings, makes it difficult for trainees to appreciate how strongly their performance is coupled with their supervisors’, who may have altered clinical decisions:

기타 커플링 구성

Other configurations of coupling

데이터에서는 감독관과 교육생 간의 결합이 주를 이루었지만, 일부 참여자는 교육생과 의료진의 다른 구성원 간의 결합 사례를 제공하기도 했다.

Although coupling between supervisors and trainees was dominant in the data, some participants provided examples of coupling between trainees and other members of the health care team.

많은 참가자들은 각각의 연습생들의 행동이나 결정이 다양한 정도로 결합되어, 그들의 계획을 검토했던 선배 팀원들과 함께 연결될 것이기 때문에, 교수팀teaching team 구조는 임상 수행의 귀속성에 대한 도전을 제시한다고 지적했다. 그리고 어느 팀원이 어떤 시간에 커플링되는지 완전히 예측할 수 있는 것은 아니다. 예를 들어, 한 훈련생은 '내가 긴급히 주의를 기울여야 한다고 느끼는 어떤 것이든, 예를 들면, 기도의 비상 사태와 같은, 긴급한 주의가 필요하다'고 보고했다. 나는 주치의 뿐만 아니라 선임 레지던트에게도 연락할 것이다.' (참가자 R8)

Many participants pointed out that the teaching team structure presents challenges to the attribution of clinical performances, as each trainee’s actions or decisions will be coupled, to varying degrees, with a more senior team member with whom they reviewed their plans. And it is not entirely predictable which team members are coupled at any given time: for instance, one trainee reported that ‘anything that I feel needs urgent attention, such as an airway emergency. I would contact both the senior resident as well as the attending’ (Participant R8).

참가자들은 또한 간호사, 사회복지사, 실험실 테크니션 등 팀원들의 역할과 행동에 의해 훈련생 독립성이 어떻게 조절되는지에 대한 사례도 제시했다.

Participants also offered examples of how trainee independence is modulated by the roles and behaviours of team members, such as nurses, social workers and laboratory technicians.

고찰

DISCUSSION

교수진과 교육생들에게 독립적인 교육생 수행 사례를 설명하도록 요청하면서, 우리는 교육생 수행의 상호의존성에 대한 통찰력을 얻었다. 우리는 이러한 현상을 '커플링'으로 특징지어 다른 교육생 및 의료 전문가뿐만 아니라 감독자 모두에게 교육생 수행의 상호의존성을 포착했다.

In asking faculty members and trainees to describe instances of independent trainee performance, we gained insight into the interdependence of trainee performance. We have characterised this phenomenon as ‘coupling’ to capture the interdependence of trainee performance with both supervisors as well as with other trainees and health care professionals.

첫째로, 그러나, 결합이라는 용어에 대한 메모가 있다. 우리는 이 용어를 두 팀 구성원(예: 연습생과 감독자) 간의 상호의존성을 나타내기 위해 사용해 왔으며, 조사 결과 인터뷰와 발표의 반환에서 참가자들과 공감했다. 그러나 우리는 [결합]이 복잡한 시스템에서 요소의 상호의존성과 정도를 설명하기 위해 조직과학에서 사용되는 용어라는 것을 인정한다. [결합 이론]에 따르면, 시스템 요소system elements는 응답성responsiveness(즉, 변화에 대응하는 능력과 능력)와 구별성distinctiveness(즉, 시스템 내에서 독립적인 역할의 보존)의 정도에 따라 개념화된다.33 

First, though, a note about the term coupling.We have used it to represent interdependence between two team members (e.g. trainee and supervisor) and the term had resonance with participants in our return of findings interviews and presentations. We recognise, however, that coupling is also a term used in organisational science to describe the nature and degree of interdependence of components in complex systems. According to coupling theory, system elements are conceptualised according to their degree of responsiveness (i.e. capacity and ability to respond to changes) and distinctiveness (i.e. preservation of an independent role within a system).33 

본 논문에서 '커플링'이라는 용어의 사용은 연결 장치 배열의 가장 기본적인 것, 즉 시스템 내의 두 인간 요소 사이의 것만을 반영한다. 그러나 결합 이론은 인간과 물질 모두를 포함한 상호의존성의 보다 정교한 관계를 허용한다.34 본 연구의 데이터에는 결합에 대한 몇 가지 정교한 설명(예: 훈련생, 교수진 및 회전 일정 또는 환자 인구 조사와 같은 시스템 요소 간의 결합)만 포함되어 있지만, 우리는 이 영역에서 연구가 계속됨에 따라, 연습생의 임상 성과를 형성하는 상호의존성의 여러 패턴에 대한 이해를 심화시키기 위해 조직적 결합 이론을 생산적으로 가져올draw 있을 것으로 기대한다.

Our use of the term ‘coupling’ in this paper reflects only the most basic of coupling arrangements: between two human elements in a system. However, coupling theory allows for more elaborate relations of interdependence, including among multiple factors, both human and material.34 Although the data from this study contained only a few elaborate descriptions of coupling (e.g. coupling between trainee, faculty member and system factors such as rotation schedule or patient census), we expect that as research continues in this domain, we can draw productively on organisational coupling theory to deepen our understanding of the multiple patterns of interdependence shaping trainees’ clinical performance.

연습생 수행능력이 감독자의 수행능력과 결부되어 있는 것은 놀라운 일이 아니다. 많은 연구들이 의학의 직장 기반 훈련 모델에서 감독 관계의 힘과 중요성을 강조해왔다. 하우어 및 동료의 임상 감독 검토 결과, 감독자, 훈련생, 감독자-훈련생 관계, 업무 및 맥락 등 훈련생 독립성에 영향을 미치는 다섯 가지 중요한 요소가 확인되었다. 케네디의 임상 감시에 대한 관찰 및 인터뷰 연구 결과, 감독관과 연습생 모두 연습생 독립과 환자 안전의 목표의 균형을 맞추기 위한 전략을 수립하는 것으로 나타났다.8,35

It is not surprising that trainee performance is coupled with that of a supervisor. Many studies have highlighted the power and importance of the supervisory relationship in medicine’s workplace- based training model. Hauer and colleagues’4 review of clinical supervision identified five important factors that impact trainee independence: 

• supervisor, 

• trainee, 

• supervisor–trainee relationship, 

• task and 

• context. 

Kennedy’s observational and interview study of clinical supervision found that both supervisors and trainees enact strategies to balance the goals of trainee independence and patient safety.8,35

우리는 연습생들과 임상 교수팀의 다른 구성원들, 특히 감독자들 사이에 결합된 수행의 다양한 구성에 대해 설명해왔다. 우리는 커플링의 렌즈를 통해 연습생 성과를 보게 되다면 [(i) 수행이 진정으로 독립적일 수 있는 순간을 식별하는 것]과 [(ii) 수행이 언제 어떻게 상호의존적인지를 판단]하는 두 가지 방식으로 우리에게 도움이 될 수 있다고 주장한다.

We have described various configurations of coupled performance between trainees and other members of the clinical teaching team, particularly supervisors. We contend that viewing trainee performance through the lens of coupling can help us in two ways: (i) to identify moments where performance may be truly independent, and (ii) to appreciate when and how performances are interdependent.

독립성 정의

Defining independence

독립은 정의상 타인의 통제, 영향력 또는 지지로부터 자유로워지는 것을 의미하며, 스스로 생각하고 행동할 수 있는 능력을 가지고 있는 것이다.37 독립된 성과를 평가하기 위해 모색함에 따라, 우리는 연습생들이 다음과 같은 것을 했던 사례를 찾아야 한다. 

• (i) 직접 감독 없이 임상 작업을 수행해야 한다(예: 요추 구멍). 

• (ii) 사전 승인 없이 임상 데이터를 수집(예: 혈액 검사 명령)하거나 

• (iii) 임상 의사결정(예: 응급실 퇴원)을 관리한다. 

Independence, by definition, means being free from control, influence or support of others, with the ability to think and act for oneself.37 As we seek independent performances to assess, we should look for instances in which trainees 

• (i) perform a clinical task without direct supervision (e.g. a lumbar puncture); 

• (ii) gather clinical data without prior approval (e.g. ordering bloodwork); or 

• (iii) manage clinical decision making (e.g. discharge from the emergency room). 

커플링을 인정함으로써 독립적 수행의 그러한 특성을 명확하게 표현할 수 있다. 일단 명확하게 설명되면, 교육자들은 그들 자신의 프로그램에서 어떤 성과가 이러한 특성을 가지고 있는지 식별하고 그것들을 평가하기 위한 최선의 방법을 위한 전략을 세울 수 있다.

An appreciation of coupling allows us to clearly articulate such characteristics of independent performance. Once articulated, educators can identify which performances in their own programmes have these characteristics and make strategies for the best way to assess them.

상호의존성 특성

Characterising interdependence

우리가 제시한 [커플링]의 개념은 연습생의 수행이 다른 개인과 상호의존하는 정도를 명확히 하기 위한 언어를 제공한다. 커플링이라는 개념으로 [독립 성과에 대한 가정]과 [상호의존적 성과에 대한 현실] 사이의 간격을 메울 수 있다.

The concept of coupling we have put forth provides a language for articulating the degree to which a trainee’s performance is interdependent with another individual(s). With this language, we can bridge the gap between the assumption of independent performance and the reality of interdependent performance.

우리의 일은 사회문화적 이해를 높이면서 평가와 측량 접근을 결합marry하려고 한다. 우리는 이 결합이 쉬운 결합이 될 것이라고 기대하지 않는다. 왜냐하면 그것은 이러한 학구적인 공동체들의 신성한 가정에 도전할 가능성이 높기 때문이다. 그러나 우리는 [평가]와 [사회문화적 관점] 사이의 이러한 결합이 직장 기반 환경에서 임상 수행의 상호의존성을 authentically 포착하기 위해 필요하다고 주장할 수 있다. 

Our work attempts to marry assessment and measurement approaches with an appreciation of sociocultural understandings. We have no expectation that this marriage will be an easy one, as it is likely to challenge sacred assumptions from each of these scholarly communities. However, we would argue that this marriage between assessment and sociocultural perspectives is necessary in order to authentically capture the interdependence of clinical performance in workplace-based settings. 

결합된 수행의 다양한 구성configuration을 평가하기 위해서는 여러 개인, 수많은 과제 차원 및 다양한 결과 조치를 평가할 수 있는 접근방식이 필요하다. 또한 결과 평가에서 contribution과 attribution을 구분하여 결합 성과를 더욱 특성화할 수 있는 방법도 고려할 필요가 있다. 교육적 측정에서 새롭게 등장하는 접근방식은 이 목적을 위해 유용하게 사용될 수 있다. 예를 들어 Andrews et al.40은 최근 Andersen/Rasch (A/R) 다변량 항목 반응 이론(IRT) 모델을 사용했다.

To assess the various configurations of coupled performances, we need approaches that can assess multiple individuals, numerous task dimensions and various outcome measures. We also need to consider how coupled performances could be further characterised by distinguishing between contribution and attribution39 in outcomes assessment. Emerging approaches in educational measurement might prove useful to this end. For example, Andrews et al.40 recently used the Andersen/Rasch (A/R) multivariate item response theory (IRT) model

Wilson, Gochyev, Scalise41은 온라인 학습 환경에서 협력하는 파트너의 데이터를 사용하여 전체 분산 중 약 90%가 그룹에 의해 설명된다는 것을 보여주었다. 교육적 측정을 통한 이러한 연구는 잘못된 이분법을 만들기 보다는 수행의 독립적 및 상호의존적 차원 모두의 측면을 포착하고 스펙트럼을 따라 성과를 특성화하는 방식으로 협업과 같은 기술을 평가하기 위한 초기 접근방식을 제공한다. 의학교육에서 윌슨과 동료들이 제안한 Rasch 측정 모델의 변화는 이미 래이터의 협력적 수행의 측면을 포착하기 위해 사용되어 왔다.42 앞서 언급한 모든 접근방식은 진정한 임상적 성과를 의미 있게 평가하기 위해 집합체를 고려할 것을 요구한다.

Wilson, Gochyyev and Scalise41 used data from partners collaborating in an online learning environment to show that roughly 90% of total variance was explained by groups. These studies from educational measurement provide early approaches for assessing skills such as collaboration in ways that capture aspects of both independent and interdependent dimensions of performance and characterise performance along a spectrum rather than creating a false dichotomy. Within medical education, a variation of the Rasch measurement model proposed by Wilson and colleagues has already been used to capture aspects of rater’s collaborative performance.42 All of these aforementioned approaches require us to consider the collective in order to meaningfully assess authentic clinical performance.

본 연구는 (i) 연습생 수행이 독립적일 때 보다 정밀하고 (ii) 연습생 수행 내에서 결합을 설명할 수 있다는 평가로의 전환을 지지한다. 평가에 대한 커플링의 영향을 설명하려면 trainee ordering practice의 example을 결과 변수로 고려하십시오. 이 결과를 [결합한 것coupled]으로 개념화하는 접근방식은 [연습생 오더가 독립적 결정인지 또는 결합적 결정인지]에 대해서 [특정 교수진의 감독 관행이 미치는 영향]을 고려할 것이다. 또한 임상적 행위가 연습자에게 공정하게 귀속될 수 있는지 또는 최종 결과에 대한 연습생의 기여가 연습생이 수행하는 조건에 대한 보다 정확한 반영을 나타내는지를 판단하는 데 도움이 될 것이다. 더욱이, 이러한 조건은 감독자와 훈련생에게만 국한되지 않는다. 다른 팀원, 임상 자원 및 의료 프로토콜도 임상 실행의 상호의존성에 기여할 수 있다. 

Our study advocates for a shift towards assessment that (i) is more precise about when trainee performance is independent and (ii) can account for coupling within trainee performance. To illustrate the implications of coupling for assessment, consider the example of trainee ordering practices as an outcome variable. An approach that conceptualises this outcome as coupled would take into account the influence of particular faculty members’ supervisory practices on the extent to which a trainee order is an independent decision or a coupled one. It would also help to determine whether the clinical action could be fairly attributed to a trainee or whether the contribution of the trainee to the final outcome represents a more accurate reflection of the conditions under which the trainee performs. Furthermore, these conditions are not limited to supervisor and trainee; other team members, clinical resources and medical protocols could also contribute to the interdependence of clinical practice.

교육생의 오더 행위는 교육생의 전문지식 습득 뿐만 아니라, 교육생의 감독자가 변화함에 따라(그리고 임상 상황의 다른 중요한 측면들이 교체에서 교체로 변화함에 따라) 바뀔 수 있다. 결합된 수행을 위해 특별히 설계된 평가 접근방식은 커플링의 configuration이 변화하면, 그러한 변화를 관찰하고 해석하여 조정할 수 있을 것이다.

Trainees’ ordering practices may well change not only as trainees gain expertise, but also as their supervisors change (and as other salient aspects of the clinical context change from rotation to rotation); an assessment approach designed specifically for coupled performances would allow observation and interpretation of such changes and adjust this information as the configurations of coupling change.

한계

Limitations

결론 CONCLUSION

결합의 개념은 우리가 독립적 성과와 집합적 성과 사이의 풍경을 매핑하고 우리가 측정하고자 하는 구조에 대해 보다 목적적으로 생각하도록 돕기 때문에 앞으로 나아갈 길을 제공한다. 현재까지 [독립적 임상 수행능력]에 대한 평가는 설명되지 않은 분산과 같은 교란 요인들이 난무하고 있다. 우리는 이 '소음'이 경우에 따라 결합의 신호가 될 수 있다고 제안한다.

The concept of coupling provides a way forward, as it helps us begin to map the landscape ‘in between’ independent performance and collective performance and to think more purposefully about the constructs we intend to measure. To date, the assessment of independent clinical performance has been fraught with confounding factors such as unexplained variance; we suggest that this ‘noise’ might, in some cases, be a signal of coupling.

15 Gingerich A, Regehr G, Eva KW. Rater-based assessments as social judgments: rethinking the etiology of rater errors. Acad Med 2011;86:S1–7.

24 Fenwick T. Sociomateriality in medical practice and learning: attuning to what matters. Med Educ 2014;48 (1):44–52.

---

. 2018 Apr 19;52(9):970-980.

 doi: 10.1111/medu.13588. Online ahead of print.

Considering the interdependence of clinical performance: implications for assessment and entrustment

Stefanie S Sebok-Syer 1, Saad Chahine 1, Christopher J Watling 1, Mark Goldszmidt 1, Sayra Cristancho 1, Lorelei Lingard 1

Affiliations 

Affiliation

• 1Centre for Education Research and Innovation, Schulich School of Medicine and Dentistry, Western University, London, Ontario, Canada.

• PMID: 29676054
 
• PMCID: PMC6120474
 
• DOI: 10.1111/medu.13588

Free PMC article

Abstract

Introduction: Our ability to assess independent trainee performance is a key element of competency-based medical education (CBME). In workplace-based clinical settings, however, the performance of a trainee can be deeply entangled with others on the team. This presents a fundamental challenge, given the need to assess and entrust trainees based on the evolution of their independent clinical performance. The purpose of this study, therefore, was to understand what faculty members and senior postgraduate trainees believe constitutes independent performance in a variety of clinical specialty contexts.

Methods: Following constructivist grounded theory, and using both purposive and theoretical sampling, we conducted individual interviews with 11 clinical teaching faculty members and 10 senior trainees (postgraduate year 4/5) across 12 postgraduate specialties. Constant comparative inductive analysis was conducted. Return of findings was also carried out using one-to-one sessions with key informants and public presentations.

Results: Although some independent performances were described, participants spoke mostly about the exceptions to and disclaimers about these, elaborating their sense of the interdependence of trainee performances. Our analysis of these interdependence patterns identified multiple configurations of coupling, with the dominant being coupling of trainee and supervisor performance. We consider how the concept of coupling could advance workplace-based assessment efforts by supporting models that account for the collective dimensions of clinical performance.

Conclusion: These findings call into question the assumption of independent performance, and offer an important step toward measuring coupled performance. An understanding of coupling can help both to better distinguish independent and interdependent performances, and to consider revising workplace-based assessment approaches for CBME.

© 2018 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.