평가에 의해서 가려진 것: 내과 WBA에서 증례발표에 대한 학습자와 교수자의 관점(Acad Med, 2019)

평가에 의해서 가려진 것: 내과 WBA에서 증례발표에 대한 학습자와 교수자의 관점(Acad Med, 2019)

Overshadowed by Assessment: Understanding Trainee and Supervisor Perspectives on the Oral Case Presentation in Internal Medicine Workplace-Based Assessment

Lindsay Melvin, MD, MHPE, James Rassos, MD, Daniel Panisko, MD, MPH, Erik Driessen, PhD, Kulamakan M. Kulasegaram, PhD, and Ayelet Kuper, MD, DPhil

구두증례발표(OCP)는 의사들 간의 의사소통에 필수적인 역할을 한다.1 33 의대생들은 환자의 사례를 제시하는 기술을 일찍 배워 여러 해에 걸쳐 익힌다.4 OCP는 임상 지식의 향상, 환자 커뮤니케이션, 데이터 수집, 해석 및 구두 프레젠테이션을 포함한 많은 기술을 통합하도록 훈련자에게 요구한다.4,5 나아가 OCPs는 연수생과 감독관 간 밀접한 전문적 접촉의 순간을 허용한다.

The oral case presentation (OCP) plays an essential role in communication between physicians.1–3 Medical students learn the skill of presenting a patient’s case early and hone it over many years.4 OCPs require trainees to integrate many skill sets, including the refinement of clinical knowledge, patient communication, data gathering, interpretation, and verbal presentation.4,5 Further, OCPs allow moments of close professional contact between trainees and supervisors.

그러나, 훈련 프로그램에서 OCP는 공식적인 평가로서 표준화되어있지 않다. OCP의 의료 교육 및 특히 IM 훈련에서 잘 확립된 역할에도 불구하고, 감독관이 전체론적 연습생 평가에 OCP를 어떻게 통합하는지, 연습생이 의학교육에서 OCP를 어떻게 인지하는지에 대한 이해는 여전히 부족하다.

However, OCPs are not standardized as formal assessment in training programs. Despite the OCP’s well-entrenched role in medical education and specifically in IM training, there remains a paucity of understanding around how supervisors integrate OCPs in holistic trainee assessment or how trainees perceive the OCP in their medical education.

우리가 아는 바로는, 지금까지 이 분야의 연구는 OCP의 내용, 형태 또는 스타일의 정량화에 초점을 맞추었다. 이전 연구에서 OCP가 연습생 평가에 기여한다는 것이 광범위하게 드러났지만, 8개의 OCP 평가에 대한 최근 연구는 주로 개별 OCP의 내용 및 프레젠테이션 스타일의 체크리스트 평가 형식을 가정했으며, 임상적 추론은 거의 다루지 않았다.5,9–13

To our knowledge, research in this domain to date has focused on quantification of content, form, or style of an OCP. Although previous studies have shown broadly that an OCP contributes to a trainee’s evaluation,8 recent work on evaluation of OCPs has predominantly assumed the form of checklist assessments of content and presentation style of individual OCPs, with few addressing clinical reasoning.5,9–13

의대생들은 OCP를 데이터 수집 및 공유에 있어 structured exercise으로 보는 반면, 임상의사들은 OCP를 flexible narrative로 본다.4 링가드와 하버14는 또한 감독 임상의가 OCP의 "관련성relevance" 개념에 중요시한다는 점을 상세히 설명했다. "관련성"은 (임상적으로나 수사적으로나) 맥락에 따라 달라지며, 연수생이 OCP에서 유연해야 할 필요성을 강조한다.

Medical students have been described as viewing OCPs as a structured exercise in data gathering and sharing, whereas attending clinicians view OCPs as a flexible narrative.4 Lingard and Haber14 have also elaborated on the importance that supervising clinicians place on the concept of “relevance” in the OCP. “Relevance” is clinically and rhetorically context dependent, highlighting the need for trainees to be flexible in their OCPs.

역량 기반 의료 교육(CBME) 프레임워크에서는 WBA가 핵심적이다. CBME는 authentic formative 평가를 위해 Workplace-based 활동을 이해하고 최적화하는 교육자의 관심을 새롭게 했다.

In a competency-based medical education (CBME) framework, workplace-based assessment is pivotal. CBME has renewed educators’ interest in understanding and optimizing workplace-based activities for authentic formative assessment.

OCP는 즉각적으로 관찰가능한 활동이며, 내재된 교육적 잠재력을 가지고 있다.16 OCP에 대한 훈련자 및 감독자의 OCP 경험은, 특히 평가와 관해서는 동일한 퍼즐의 두 조각을 나타낸다. CBME 교육 모델의 구성요소로 OCP를 공식화하려면 연습생 교육 및 평가에 OCP가 어떻게 사용되는지 명확히 이해해야 한다.

The OCP is an immediately observable activity, ripe with inherent educational potential.16 Trainee and supervisor experiences with OCPs, particularly in assessment, represent two pieces of the same puzzle. Formalization of the OCP as a component of CBME training models6,17 necessitates that we clearly understand how OCPs are used in trainee education and assessment.

방법

Method

내과의 임상 감독자에 의한 전공의 교육 및 평가에서 OCP의 역할을 탐구하기 위해 구성주의자 기반 이론 접근법을 사용했다. 구성주의 기반 이론에서, 지식은 특정 환경과 맥락 안에서 참여자의 경험에 대한 연구자의 탐구를 통해 형성된다. 참가자와 연구자의 경험과 견해는 모두 사회 활동을 둘러싼 의미 구축에 영향을 미친다. 우리 연구팀은 이 연구에 다양한 임상 및 교육적 전문지식을 가져왔다.

We used a constructivist grounded theory approach to explore the role of the oral OCP in trainee education and assessment by clinical supervisors within IM. In constructivist grounded theory, knowledge is constructed through the researcher’s exploration of participants’ experiences within specific settings and contexts.18,19 Both participants’ and researchers’ experiences and views affect the construction of meaning around a social activity.18 Our research team brought varying expertise in clinical and educational work to this study.

세팅

Setting

토론토 대학의 일반 IM 임상 강의실에서, OCP는 하룻밤 사이에 입원한 환자들의 아침 식사 중에 발생한다. OCP의 수는 매일 평균 1-4건이다. 케이스는 보통 후배 연수생(의대생 또는 1학년 레지던트)이 감독관에게 직접 발표한다. 본 연구에서 "훈련자"는 3학년 또는 4학년 의대생과 IM 레지던트를 가리킨다. 본 수련 프로그램에서, 개별 OCP는 공식적으로 평가되지 않는다. 레지던트와 학생을 위한 최종 ITER은 전체 로테이션에 대해서 평가하며, OCP의 요소들은 "의료 전문가" 및 "커뮤니케이터" 카테고리에 포함되어있고, 이를 바탕으로 CanMEDS 영역에서 1에서 5점까지의 등급으로 평가한다.

At the University of Toronto on a general IM clinical teaching unit, OCPs occur during the morning intake of patients admitted overnight on call. The number of OCPs averages between one and four cases daily. Cases are usually presented by junior trainees (medical students or first-year residents) directly to supervisors. In this study, “trainees” refers to clinically based third-or fourth-year medical students and residents in IM. In our training programs, individual OCPs are not formally evaluated. Final in-training evaluation reports for residents and students reflect the entire rotation and employ a 1–5 rating scale across the CanMEDS domains of practice, with elements of OCPs encompassed under the “medical expert” and “communicator” categories.

샘플

Sample

참가자의 샘플링에 대한 이론적 전략을 따랐으며, 이에 따라 데이터 수집과 분석은 후속 데이터 수집에 정보를 제공하였다.19,20

We followed a theoretical strategy for participant sampling, whereby data collection and analyses informed subsequent data collection.19,20

우리는 연령, 성별 및 연도에 따라 다양한 참가자를 선별하기 위해 목표 샘플링을 사용했으며, 이는 우리의 연구 질문에 대한 이해를 증진시키고 상세히 설명할 수 있다.

We used purposive sampling to select participants varied in age, gender, and years of experience who would be able to enrich and elaborate on our developing understanding of our research questions.19,20

모집

Recruitment

자료수집

Data collection

자료 수집과 분석은 반복적이었으며, 근거 이론에 부합한다.

Data collection and analysis was iterative, consistent with grounded theory.20

면접자는 스터디 팀이 작성하고 다듬은 반구조화된 인터뷰 가이드(http://links.lww.com/ACADMED/A599 참조)를 사용했으며 연습생 학습, 평가 및 평가에서 OCP 사용에 관한 개방형 질문 및 잘 했거나 잘 못했던 OCP의 구체적 특징을 묻는 질문으로 구성되었다. 우리는 발생하는 주제와 개념을 탐구하기 위해 인터뷰 가이드를 반복적으로 수정했다. 분석하기 전에 모든 데이터가 deidentified되었다.

Interviewers used a semistructured interview guide created and refined by the study team (see Supplemental Digital Appendixes 1 and 2, available at http://links.lww.com/ACADMED/A599) and consisting of open-ended questions regarding the use of the OCP in trainee learning, evaluation, and assessment as well as questions about specific features of strong and weak OCPs. We iteratively revised the interview guides to explore arising themes and concepts.19 Interviews were audio-recorded and transcribed verbatim. All data were deidentified prior to analysis.

자료분석

Data analysis

우리는 반복적이고 지속적인 비교 방식으로 구성주의적 근거 이론적 접근법을 사용하여 모든 기록을 분석하였다.19,21,22 이론적 샘플링은 데이터 분석과 함께 반복적으로 지속되어 새롭게 부상하는 프레임워크의 차이를 해결하고 코드의 전체 범위의 의미에 대한 이해를 공고히 하였다.19,21–23 분석이 이루어지는 동안, 우리는 데이터 세트를 결합하고 비교하기 전에, 각 참가자를 별도로 그룹화하였다.

We analyzed all transcripts using a constructivist grounded theory approach, in an iterative, constant comparative fashion.19,21,22 Theoretical sampling continued iteratively alongside data analysis to address gaps in the emerging framework and solidify understanding of the full range of meaning of the codes.19,21–23 During analysis, we considered each participant group separately before combining and comparing the data sets for further analysis.

두 명의 면접관(L.M.과 J.R)은 초기 코드를 개발하기 위해 라인 바이 라인 코딩을 실시했다. 그리고 나서 우리는 각 세트의 첫 세 번의 인터뷰 후에 새롭게 등장하는 코드와 개념에 대해 토론하기 위해 만났다. 우리는 새로운 코드가 나타나지 않을 때까지 계속하여 코드의 예를 확인하고 확인하지 않기 위해 반복 코딩에 대한 지속적인 비교 접근방식을 사용했다. 우리는 코딩 구조를 다듬고, 테마 간의 관계를 탐구하고, 전체 데이터 세트에 근거한 분석의 측면에 도전하고, 이론적 모델을 다듬기 위해 여러 번 만났다.22 연구팀의 각 구성원은 분석에 다양한 연구와 교육적 전문지식을 가져왔다. 그 후, 몇몇 작가(K.M.K., D.P., A.K)는 각각 코드화되지 않은 대본을 읽어 부호화 구조와 이론적 모델을 검증하였다. 이론적 포화 상태가 달성될 때까지 데이터 수집이 계속되었으며, 새로운 테마가 발생하지 않았고 데이터가 교육 실무에서 OCP의 사용을 충분히 이해할 수 있다고 그룹 합의에 의해 결정되었다.23,24

The two interviewers (L.M. and J.R.) conducted line-by-line coding to develop initial codes. We then met to discuss emerging codes and concepts after the first three interviews of each set. We used a constant comparative approach to iterative coding in which transcripts were read multiple times to ascertain confirming and disconfirming examples of codes, continuing until no new codes emerged. We met several times to refine the coding structure, explore relationships among themes, challenge aspects of the analysis based on the full data set, and refine a theoretical model.22 Each member of the research team brought varied research and educational expertise to the analysis. Subsequently, several authors (K.M.K., D.P., and A.K.) each read uncoded transcripts to verify the coding structure and theoretical model. Data collection continued until theoretical saturation was achieved, determined by group consensus that no new themes were arising and the data were sufficient to understand the use of OCPs in educational practice.23,24

우리는 연구 주제와 해석에 대한 잠재적 영향과 관련하여 우리 개개인의 입장을 반영할 수 있도록 주의를 기울였다. 이러한 입장은 연구팀 회의에서 논의되었다. 연구에 참여하지 않은 임상의와 교육 전문가와의 구성원 확인은 우리의 연구 결과를 확인하는 데 사용되었다.

We took care to be reflexive about our individual positions in relation to the research subject and potential effects on interpretation. These stances were discussed at research team meetings. Member checking with clinicians and educational experts who had not participated in the study was used to confirm the resonance of our findings.

결과

Results

모든 인터뷰 대상자는 IM에서 OCP의 필수 요소에 대한 공유된 정신 모델shared mental model을 보여주었다. OCP 내용 및 프레임워크의 세부사항을 둘러싸고 감독자와 연습생들 사이에 긴장감은 없었다.

All interviewees demonstrated a shared mental model of the required elements of OCPs in IM. There was no tension between supervisors and trainees around the details of OCP content and framework.

역량 평가를 위한 OCP

The OCP in assessment of competence

가장 중요한 발견은 [환자 진료를 위한 정보 공유]라는 OCP의 명백한 목적이 [임상 역량을 평가하고자 OCP를 암묵적으로 사용]하게 되면 가려진다overshadowed는 것이다. OCP는 trainee가 자신의 역량을 시연하는 활동이자, 감독자가 trainee의 역량을 평가하는 활동이다. OCP는 [적절한 환자 진료를 보장하기 위한 것]과 [의료 교육 내의 성과 평가]라는 두 가지 차원에서 동시에 이뤄진다. 데이터 분석은 WBA에서 감독자와 연습생 모두 OCP를 어떻게 인지했는지를 설명하는 이론적 프레임워크를 개발했다(그림 1 참조).

The overarching finding was that the explicit purpose of an oral OCP in information sharing for patient care appeared to be overshadowed by the implicit use of OCPs in assessment of clinical competence and educational standing. The OCP is an activity centered around trainee demonstration, and supervisor assessment, of competence. OCPs are assessed concurrently on two levels: for ensuring appropriate patient care and as a performance assessment within medical education. Data analysis resulted in the development of a theoretical framework addressing how OCPs were perceived by both supervisors and trainees in workplace-based assessment (see Figure 1).

환자에 대한 공통 이해 개발

Developing a shared understanding of the patient

겉보기에 OCP의 주된 목적은 환자 치료에 필요한 정보를 전달하는 것이다. 훈련생과 감독관 모두 이와 관련하여 일반적으로 OCP의 중요성을 언급하면서, OCP의 성공이 환자와 환자의 문제를 명확히 이해하게 된다고 설명했다.

Ostensibly, the primary purpose of an OCP is communicating necessary information required for patient care. Trainees and supervisors alike spoke of the importance of OCPs generically in this regard, explaining that a successful OCP results in a clear understanding of the patient and the patient’s problems:

감독자는 이해하고 싶어한다

Supervisors seek understanding

감독관들은 환자를 이해하기 위한 수단으로 OCP에 접근했고, 이를 통해 훈련생을 평가했다.

Supervisors approached the OCP as a means to understand the patient and, through their ability to do so, subsequently assess the trainee.

서사

Narrative

환자 프레젠테이션에 대한 이해를 증진하는 과정에서, 감독자들은 환자에 대한 understanding의 발전과정에 대해서 유연성을 허용했다. [서사로서 증례 프레젠테이션]의 개념이이 이러한 shared understanding을 구성하는 본질이었다. 서사의 명확성이 부족하면 trainee의 OCP가 부적절함을 의미할 수 있다.

In building understanding of a patient presentation, supervisors allowed for flexibility around how comprehension is developed. Inherent to constructing this shared understanding was the concept of the case presentation as a narrative. Lack of clarity in a narrative could signify an inadequate OCP by the trainee:

정보 통합 및 관련성 이해

Information synthesis and understanding relevance

성공적인 OCP의 가장 중요한 것은 적절한 정보 통합과 필터링 능력이었다. 효과적인 OCP는 "관련성"을 어떻게 이해하느냐에 달려있다.

Crucial to a successful OCP was the ability of a trainee to show adequate information synthesis and filtering. An effective OCP hinges on the understanding of “relevance,”

감독자들은 OCP에서의 임상 추론의 정교함이란, 관련성을 종합하고 이해함으로써 입증할 수 있으며, 훈련생들의 능력을 설명했다고 말했다. (감독자와 연습생 모두) trainee가 이것을 잘 하지 못한다는 것은 뭔가 어려움을 겪고 있다는 신호라고 말했다.

Supervisors described that the sophistication of clinical reasoning in an OCP, demonstrated through synthesis and understanding relevance, delineated trainees’ abilities. Both supervisors and trainees described that failings in these features, may signal a learner in difficulty.

불확실성 관리

Managing uncertainty

감독자들은 임상적 불확실성이 종종 발생한다는 것을 인지했다. 감독관들은 자신의 한계에 대한 이해를 표현하는 훈련생들을 칭찬하였으며, trainee들이 어떻게 임상적 불확실성을 식별하고 관리하는지를 보여주었다.

Supervisors recognized that clinical uncertainty often arises. Supervisors lauded trainees who express an understanding of their limitations, demonstrating how they identify and manage clinical uncertainty.

전공의는 통제하고 싶어한다

Trainees seeking control

훈련생들은 감독관이 [환자 관리]와 [수련생 평가] 모두에서 OCP를 사용한다는 사실을 알고 있었다. 따라서, 훈련생에게 OCP는 자신이 develop한 환자에 대한 공통이해를 통제하기 위한 과정으로 보았다. 조심스러운 performance은 감독자의 암묵적 선호에 따라 조정되었고, 밤을 새워 선배 전공의를 거치며 다듬어졌다. 예를 들어, 연습생들은 information synthesis를 [감독관에게 자신의 능력을 증명하기 위한 방법]으로 프레이밍했다.

Trainees were cognizant of the fact that supervisors use OCPs in both patient care and assessment. Thus, trainees viewed the OCP as an exercise in controlling the shared understanding of a patient that is developed. The careful performance was adapted to oft-implicit supervisor preferences and polished by senior residents overnight. For example, trainees often framed information synthesis as a way to demonstrate their ability to the supervisor:

평가에 참여하여 연습생들은 [감독관이 그들의 환자관리 결정에 동의할 수 있도록], OCP에서 의도적으로 이야기를 구성하고자 하는 욕구를 나타냈다. 훈련생들은 종종 OCP를 "논쟁" 또는 "이야기 판매"라고 묘사한다.

Attuned to assessment, trainees expressed a desire to purposefully construct the OCP’s narrative such that the supervisor would agree with their management decisions, or “buy into (the) plan” (R2-11). Trainees often described OCPs as an “argument” (R3-12), or of “selling a story” (R2-11)

불확실성 회피

Avoiding uncertainty

통제에 대한 열망에 걸맞게, trainee는 불확실성의 표현을 가치있게 여기지 않았다. 감독관들의 인식과는 달리, 연습생들은 불확실성을 (강점보다는) 약점으로 비유했다. 훈련자는 표시된 불확실성 수준을 최소화하기 위해 OCP를 제어하는 것에 대해 말했다.

Fitting with the desire for control, the expression of uncertainty was not valued by trainees. In contrast to the perceptions of supervisors, trainees equated uncertainty to weakness rather than strength. Trainees spoke of controlling the OCP to minimize the level of uncertainty displayed:

The OCP as a performance

연습생 면담에서는 [(학습보다) 평가에서 OCP의 활용]에 대한 토론이 주를 이뤘다. OCP의 평가 역할에 대한 훈련자의 의식은 다음과 같은 만남에서 강한 성과 추론을 초래했다.

trainee interviews were dominated by discussions of OCPs’ use in assessment, rather than learning. Trainees’ consciousness of the OCP’s role in assessment resulted in a strong overtone of performance in the encounter:

버퍼로서 선배 전공의 

Senior resident as buffer

선배 전공의는 [경험과 감독자 선호에 대한 사전 지식]을 통해 후배들이 이 performance을 무사히 navigate할 수 있도록 돕는 데 중추적인 역할을 한다고 묘사되었다. 하룻밤 사이에 선배 레지던트와 함께 한 첫 OCP는 일종의 리허설이었고, 선배들은 감독관과의 아침 프레젠테이션 전에 후배들의 OCP를 다듬어주었을 것이다.

Senior residents were described as being pivotal in helping juniors navigate this performance through experience and prior knowledge of supervisor preferences. The first OCP with the senior resident overnight was often used as a practice run, and seniors may have polished the juniors’ OCP prior to the morning presentation with the supervisor:

연습생과 감독자 모두, OCP를 심사숙고해서 구성하기 때문에, 평가에서 과대평가될 수 있으며, 이 경우 아마도 진짜 능력을 잘못 나타내는 것일 수 있다는 사실을 인식했다.

Both trainees and supervisors displayed awareness of the fact that carefully constructed OCPs were perhaps a misleading representation of true abilities if the OCP is overvalued in assessment:

슈퍼바이저의 선호에 적응

Adapting to supervisor preferences

OCP가 명백히 평가에 가중치를 갖기 때문에, 연습생들은 어떤 감독관이 종종 암묵적이거나 특이한 성향을 보일 때 좌절감을 언급했다.

Because of the OCP’s apparent weight in assessment, trainees also described frustrations with often-implicit and idiosyncratic supervisor preferences for OCPs:

고찰

Discussion

연수생과 감독관 모두에게, 환자관리 및 의학교육이라는 OCP의 명백한 목적은 synchronous informal assessment activity라는 특성에 의해 가려졌다.

both trainees and supervisors, the explicit purpose of the OCP in IM patient care and medical education was overshadowed by the synchronous informal assessment activity.

임상 감독관들은 OCP를 사용하여 서술적 사용, 정보 합성, 불확실성 탐색과 같은 연습생 데모 기술을 통해 환자에 대한 이해를 형성했다. 결과적으로, 훈련생들은 선배 전공의에 의해 다듬어진, [각 감독관의 개별 선호도에 맞춘 퍼포먼스]로서 OCP를 통제하려고 했다. (훈련생과 슈퍼바이저는) OCP의 핵심 요소들의 정신 모델을 공유함에도 불구하고, OCP에 대한 기대가 대체로 암묵적이었기에 긴장이 고조되었다.

Clinical supervisors used OCPs to form an understanding of the patient through trainee-demonstrated skills such as using narratives, information synthesis, and the navigation of uncertainty. Consequently, trainees sought to control the OCP, viewing it as a performance tailored to each supervisor’s individual preferences, refined by senior residents. Tensions arose due to the largely implicit expectations of the activity, despite the shared mental model of the core elements of an OCP.

효과적인 OCP는 여러 영역에서 역량을 입증하는 것을 나타내며 교육 발전의 창을 제공한다. OCP에서 지식 통합과 합성이 무엇보다 중요하다는 사실은 [OCP에서 내용만을 평가하는 것이 아니라는 것]을 입증하는 다른 연구와도 부합한다.8,11,13,25 "관련성"의 이해를 통해 임상적 추론을 입증하는 것은 성공적인 OCP에 매우 중요하다. 그러나 '관련성'은 환자, 컨텍스트 및 감독자 선호도에 따라 달라지는 것이다

An effective OCP represents the demonstration of competence in multiple domains and offers a window into educational development. The finding that knowledge integration and synthesis is paramount in the OCP is supported by other studies which demonstrate that content alone is not the only evaluated aspect of an OCP.8,11,13,25 Demonstrating clinical reasoning through the understanding of “relevance” is critical to a successful OCP. However, relevance is a shifting target for trainees, depending on the patient, context, and supervisor preferences.14

물밑으로 흐르는 평가의 분위기는 연습생과 감독자 사이의 동태를 변화시킨다. 평가가 있었기에, trainee들은 OCP를 역량을 입증하는 performance로 보았다. 훈련생들은 심사원의 approval을 얻으려고 쇼맨십 멘탈리티를 취했다. 이것은 LaDonna와 동료들의 연구 결과를 보완하는데, 26 더 나아가 OCP는 학습자의 행동에 의도하지 않은 결과를 초래하는 임상적 관행을 관찰하는 형태임을 시사한다. Lo and Regehr의 연구 결과와 비슷하게, 본 연구에서도 연습생들은 OCP에서 이미지 관리에 몰두했다. 그러나, 그들의 연구와는 달리, 훈련의 모든 단계에 걸친 우리의 참여자들은 OCP를 가르치는 것과 배우는 것에 쉽게 연관시키지 않았다. Trainee가 [평가와 성과에 대한 관심]을 주로 갖고 있었기에, OCP의 초점은 풍부한 WBL에서 벗어나게 되었다

The undercurrent of assessment throughout the encounter alters the dynamic between trainee and supervisor. Driven by assessment, the trainees we interviewed viewed the OCP as a performance in demonstrating competence. Trainees assume a showmanship mentality, seeking approval from the assessor. This complements findings from LaDonna and colleagues,26 further suggesting that the OCP is a form of observation of clinical practice with unintended consequences on learner behavior. Similar to the findings of Lo and Regehr,27 trainees from our study were preoccupied with image management during the OCP. However, unlike their study, our participants across all stages of training did not readily associate OCPs with teaching and learning. Trainee concern with assessment and performance diverts the focus of the OCP away from rich workplace-based learning.

이러한 발견은 앞선 연구를 보완하며, 의학교육 내에서 OCP 동안 발생하는 WBA와 WBL 사이의 긴장을 보여준다.4,15,28

These findings elaborate on earlier work, demonstrating further tensions during OCPs between workplace-based assessment and learning within medical education.4,15,28

[불확실성 탐색]에 대한 이질적인 관점도 긴장 상태를 보여준다. 이전의 연구 결과와 일관되게, 훈련생들은 불확실성을 피해야 할 약점이라고 말했다.28 감독관들이 불확실성의 논의를 강점으로 보는 사실은 대부분 훈련생들에게 알려지지 않았다.

The disparate views of navigating uncertainty also exemplify the tension: Trainees spoke of uncertainty as a weakness to be avoided, consistent with previous findings.28 The fact that supervisors view discussions of uncertainty as a strength is largely unbeknownst to trainees.

그러나, 평가를 우선시한 나머지 trainee는 무능해 보일 것을 우려하여 불확실성에 대처하는 능력을 강조했다. 또 다시 이런 방식으로 WBA는 WBL보다 우선한다.

However, overarching assessment deemphasizes to trainees the ability to cope with uncertainty, for fear of seeming incompetent. In this way, assessment supersedes formative workplace learning.

우리의 연구는 OCP가 CBM의 WBA에서 OCP의 잠재적 사용을 정당화하면서 역량을 평가하고 입증하는 수단으로 받아들여진다는 것을 증명한다.

our study demonstrates that OCPs are accepted as a means of assessing and demonstrating competence, legitimizing the potential use of OCPs in CBME workplace-based assessment.

또한 이번 연구에서는 선배 레지던트들이 의학교육 apprenticeship을 통하여 영향력을 행사하는 것을 밝혀냈다. 선임 레지던트들은 OCP의 학습을 형성하고, 감독관들에게 최종 OCP를 위한 후배들을 지도하고 준비하는데 필수적이다. 이전의 문헌은 실무에서의 코칭과 평가의 분리를 요구해 왔다.32,33 이 연구를 통해 우리는 선배 레지던트들이 중요한 sideline 코치라는 것을 알 수 있다. 이것의 요소들은 이미 실제에 있는 것으로 보인다.34

Our findings also shed light on the influential role of senior residents as near-peers in medical education apprenticeship. Senior residents are essential in shaping learning of and from OCPs, guiding and preparing juniors for the final OCP to supervisors. Previous literature has called for the separation of coaching and assessment in practice.32,33 Through this study, we see that senior residents are crucial sideline coaches. it appears that elements of this are already in practice.34

OCP에서 슈퍼바이저의 성향에 대해 훈련생들과 감독관들은 서로 다른 이야기를 했다. 그러한 선호preference는 대개 함축적이며 상황에 매우 의존적이다.4,14 훈련생들은 [외관상 무작위로 보이는 스타일적 차이]가 평가에 영향을 미친다고 생각하여, 이를 두려워하는 것으로 보인다.

Trainees and supervisors spoke of differing supervisor preferences for OCPs. Such preferences are usually implicit and often highly dependent on context.4,14 Trainees appear to dread these seemingly random stylistic discrepancies, as they are perceived to affect assessment.

Apramian과 동료들은 감독관들이 performance가 아니라 사실은 preference를 얼마나 잘 흉내내는지를 평가하고 있는 것이 아닌지 대해 의문을 제기했다. OCP를 평가 활동으로 검토할 때 이와 유사한 질문이 발생한다.35 OCP는 진실한 임상적으로 내재된 활동이지만, 선배 레지던트와 감독자가 선호하는 것을 모방하고 모델링하는 데 집중하게 되면 평가의 타당성을 떨어뜨릴 수 있다.

Apramian and colleagues raised questions of whether supervisors are assessing the mimicry of preference, rather than performance. A similar question arises when examining the OCP as an assessment activity.35 Though the OCP is an authentic, clinically embedded activity, mimicry and modeling of senior residents and supervisor preferences may detract from its assessment validity.

OCP의 결점에도 불구하고, 그것은 잘 알려진 비공식 평가 방법과 훈련생들의 in vivo 역량을 평가하고 감독자들이 능력을 평가하는 수단으로 남아있다.

Despite the OCP’s flaws, it remains a well-recognized method of informal assessment and a means for trainees to demonstrate and for supervisors to assess competence “in vivo.”

CBME에서는 임상적으로나 교육적으로 유의하지 않은 직접 관찰을 사용하는 새로운 형태의 평가를 추가할 위험이 있다. 우리는 authentic한 임상적 맥락 안에 존재하는 WBA를 최적화해야 한다. OCP는 병력청취검사 또는 신체검사 기술에 대한 대리지표가 아니며, 그보다는 임상 추론을 직접 관찰할 수 있는 기회이다: 임상추론은 의학 교육에서 중요한 기술이지만, 여전히 평가 측면에서는 모호한 점이 있다.

In CBME, there is a risk of adding new forms of assessment employing direct observation that are not clinically or educationally meaningful. We must optimize workplace-based assessments that exist within authentic clinical contexts. The OCP is not a surrogate for direct observation of history-taking or physical examination skills, but an opportunity for the direct observation of clinical reasoning: a crucial skill in medical education, yet elusive in evaluation.40–42

OCP는 [환자 관리의 핵심 요소]이자, [연습생 교육 및 평가]를 위한 authentic, clinically embedded encounter의 역할을 한다. 그러나 평가에 집중하면 연습생들이 성과 지향적인 행동에 관심을 갖게 된다.

The OCP serves both as a core element in patient care and an authentic, clinically embedded encounter for trainee education and assessment. However, focus on assessment leads trainee attention toward performance-oriented behaviors.

중요한 것은, 감독자는 OCP의 서사, 통합, 불확실성 관리와 같은 핵심 측면을 연습생에게 다시 강조할 필요가 있다는 점이다. 감독자가 평가의 미묘한 요소를 명시적으로 명확히 한다면, 과제의 formative nature를 활용가능할 것이며, 연습생이 performance와 control에 초점을 두어 행동하는 것을 막아줄 것이다.

Importantly, supervisors can reemphasize for trainees key aspects of the OCP, such as the narrative, synthesis, and managing uncertainty. Faculty development for supervisors to explicitly clarify subtle elements of the assessment would harness the formative nature of the task and redirect trainee behavior away from performance and control.43,44

결론적으로, 우리가 인터뷰한 감독관과 훈련생들 모두 OCP를 평가에서 중요한 역할을 하는 임상 활동으로 보았다.

In conclusion, both the supervisors and trainees we interviewed viewed the OCP as a clinical activity with an important role in assessment.

Limitations

Conclusion

36 ten Cate O, Hart D, Ankel F, et al; International Competency-Based Medical Education Collaborators. Entrustment decision making in clinical training. Acad Med. 2016;91:191–198.

38 Sklar DP. Competencies, milestones, and entrustable professional activities: What they are, what they could be. Acad Med. 2015;90:395–397.

27 Lo L, Regehr G. Medical students’ understanding of directed questioning by their clinical preceptors. Teach Learn Med. 2017;29:5–12.

33 Watling C. The uneasy alliance of assessment and feedback. Perspect Med Educ. 2016;5:262–264.

---

, 94 (2), 244-250

 Feb 2019

Overshadowed by Assessment: Understanding Trainee and Supervisor Perspectives on the Oral Case Presentation in Internal Medicine Workplace-Based Assessment

Lindsay Melvin 1, James Rassos, Daniel Panisko, Erik Driessen, Kulamakan M Kulasegaram, Ayelet Kuper

Affiliations 

Affiliation

• 1L. Melvin is assistant professor, Department of Medicine, University of Toronto, and staff physician, Division of General Internal Medicine, University Health Network, Toronto, Ontario, Canada. J. Rassos is a fifth-year resident, general internal medicine subspecialty training program, Department of Medicine, University of Toronto, Toronto, Ontario, Canada. D. Panisko is professor, Department of Medicine, University of Toronto, and staff physician, Division of General Internal Medicine, University Health Network, Toronto, Ontario, Canada. E. Driessen is professor of medical education and chair, Department of Educational Development and Research, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, the Netherlands. K.M. Kulasegaram is scientist and assistant professor, Department of Family and Community Medicine, Wilson Centre, University Health Network and Faculty of Medicine, University of Toronto, Toronto, Ontario, Canada. A. Kuper is associate professor, Department of Medicine, scientist and associate director, Wilson Centre for Research in Education, University Health Network, University of Toronto, and staff physician, Division of General Internal Medicine, Sunnybrook Health Sciences Centre, Toronto, Ontario, Canada.

• PMID: 30211754
 
• DOI: 10.1097/ACM.0000000000002451

Abstract

Purpose: The oral case presentation (OCP) is an essential part of daily clinical practice in internal medicine (IM) and a key competency in medical education. It is not known how supervisors and trainees perceive OCPs in workplace-based learning and assessment.

Method: Using a constructivist grounded theory approach, 26 semistructured interviews were held with trainees and supervisors (18 clinical clerks and first- through third-year postgraduate trainees, and 8 supervisors) on the IM clinical teaching unit at the University of Toronto, 2015-2016. Interviews focused on how the OCP was viewed by both trainees and supervisors in clinical practice as a tool for patient care, learning, and assessment. Iterative, constant comparative techniques were used to analyze the interviews and develop a framework to understand trainee and supervisor perspectives.

Results: Supervisors and trainees viewed the OCP as an important part of informal trainee assessment in IM. Supervisors used OCPs to understand the patient through trainee-demonstrated skills including the use of narratives, information synthesis, and management of uncertainty. However, because of awareness of assessment, trainees sought to control the OCP, viewing it as a performance demonstrating their competence, mediated by senior residents and tailored to supervisor preferences.

Conclusions: Preoccupied with assessment around OCPs, trainees often lost sight of the valuable learning taking place. Use of OCPs in assessment necessitates optimization of the educational activity for trainees. Providing explicit direction to both trainees and supervisors, defining expectations, and clarifying the assessment activity of the OCP can optimize the encounter for best educational practice