직접 관찰과 평가를 정렬하기(Med Educ, 2019)

직접 관찰과 평가를 정렬하기(Med Educ, 2019)

Aligning direct observation and assessment

Stephen Gauthier

평가는 역량 기반 의료 교육(CBME)에서 학습과 평가를 추진하는 엔진이다. 직접 관찰은 그 엔진에 동력을 주는 연료다. 직접 관찰에 기반한 강력한 평가 프로그램 작성에 대한 책임은 결국 바쁜 최전방 임상의들의 어깨에 있다. 그 결과, 임상 실습에서 자연스럽게 발생하는 감독자의 관찰을 활용하는 것이 중요하다.

Assessment is the engine that drives learning and evaluation in competency-based medical education (CBME). Direct observation is the fuel that powers that engine. Responsibility for the creation of a strong programme of assessment based on direct observation ultimately falls on the shoulders of busy frontline clinicians. As a result, it is important to capitalise on supervisors’ observations that occur naturally in clinical practice.

의료 훈련의 구조에 짜여들어가있는woven into 그러한 기회 중 하나는 감독자에게 임상 사례를 발표하는 관행이다. 구두사례 발표는 연습생과 감독자가 환자 진료를 안내하는 정보를 검토하는 귀중한 순간을 나타낸다. 그것들은 모든 분야의 일일 작업흐름에 포함된다. 그러나 구두사례 프리젠테이션이 널리 보급되었음에도 불구하고 평가 툴로서 어떻게 효과적으로 사용될 수 있는지 명확하지 않기 때문에 평가에 활용도가 낮다.12 이 점에서 중요한 단계는 구두사례 프리젠테이션을 사용하여 어떤 기술을 평가해야 하고 평가해서는 안 되는지를 이해하는 것이다.

One such opportunity woven into the fabric of medical training is the practice of presenting a clinical case to a supervisor. Oral case presentations represent valuable moments in which the trainee and supervisor review information that guides patient care. They are embedded in the daily workflow of all disciplines. Despite their prevalence, however, oral case presentations are underutilised for assessment because it is unclear how they can be used effectively as assessment tools.1,2 A critical step forward in this regard is to understand which skills should and should not be assessed using oral case presentations.

스켈리 외 연구진.3은 레지던트 환자가 마주치는 동안의 의사소통을 후속 구두사례 설명과 비교하여 이러한 이해에 기여한다.

Skelly et al.3 contribute to this understanding by comparing communication during resident– patient encounters with subsequent oral case presentations.

환자의 만남과 사례 제시 사이에 의료 콘텐츠의 상당 부분이 일치했지만, 의사소통에서는 해당되지 않았다(일치도가 낮았다). 스켈리 외 연구진은 레지던트가 환자의 만남 동안 중요한 의사소통 기술을 지속적으로 보여주지 못했으며 구두사례 발표 중 감독자들에게 의사소통의 질에 대해서는 전달되지 않았다는 사실을 발견했다.3 게다가, 감독관들은 기본적인 의사소통 문제를 제안하는 'cues'에 거의 반응하지 않았다. 저자들은 이러한 문제들을 다루기 위해 좀 더 직접적인 관찰을 요구한다.

Whereas much of the medical content was congruent between the patient encounter and case presentation, this was not true for communication. Skelly et al. found that residents consistently failed to demonstrate important communication skills during the patient encounter and that communication quality was not conveyed to supervisors during oral case presentations.3 Furthermore, supervisors rarely responded to ‘cues’, which suggested underlying communication issues. The authors call for more direct observation to address these issues.

스켈리 외 연구진의 연구결과3 CBME의 확립된 평가 이론과 일치한다. 어떤 역량을 평가하기 위해 대리proxy지표(이 경우 구술 사례 발표)를 사용하는 것은 문제가 있다. 레지던트-환자 상호 작용을 관찰하는 것은 밀러의 피라미드 최고 수준에 있는 의사소통에 대한 평가를 가능하게 한다. 평가의 '편의성'을 위하여 다른 전략을 사용하려는 유혹이 많겠지만, 다른 방식으로 'doing'에 대한 평가를 한다는 것은 불가능하다.

Skelly et al.’s findings3 align with established theories of assessment in CBME. Using a proxy (in this case the oral case presentation) to assess any given competency is problematic. Observing resident– patient interaction directly provides an assessment of communication at the highest level of Miller’s pyramid – assessing a trainee ‘doing’4 – that cannot be achieved in other ways despite the temptation to use other strategies for the sake of convenience.

어떤 형태의 평가도 평가 프로그램으로 우리가 달성해야 할 모든 목표를 달성할 수 없다. 따라서, '어떤 기술이 어떤 순간에 관찰될 수 있는지'에 대한 세심한 고려가 필요하다. 이를 위해 '직접 관찰'이라는 개념을 좁게 구상해서는 안 된다. 직접 관찰에는 단순히 [수련자가 환자와 상호작용하는 상황을 관찰하는 상황]을 넘어서, [감독자가 연습자가 임상 과제를 완료하는 것을 지켜보는 상황]도 포함될 수 있다.

no one form of assessment can achieve every goal we need to fulfil with our assessment programme, a conclusion that necessitates the careful consideration of which skills can be observed at which moments. To this end, the notion of ‘direct observation’ should not be conceived narrowly. Direct observation can include any situation in which a supervisor watches a trainee complete a clinical task rather than simply a situation in which a trainee is watched while interacting with a patient.

본질적으로, [연습생-환자 조우에 대한 '직접 관찰']이 [구술 사례 발표]와 비교하여 연습생의 능력에 대해 반드시 더 나은 평가를 제공하는 것은 아니다. 오히려 이 둘은 서로 다른 평가를 가능하게 하며, 각 도구는 서로 다른 기술을 관찰할 수 있는 잠재력을 가지고 있다.

In essence, it is not that ‘direct observation’ of a trainee–patient encounter necessarily offers a better assessment of the trainee’s competence relative to the oral case presentation. Rather, it offers a different assessment and each tool has the potential to enable the observation of different skills.

즉, 스켈리 외 연구진이 구두사례 프리젠테이션에 의해 제공되는 간접적인 수단을 통해 의사소통능력을 평가할 수 없다는 사실을 경고하지만, 직접 관찰의 정의를 확대한다면, [임상 추론]은 구두사례 발표에서 (밀러의 피라미드 최고 수준인) '직접 관찰'이 가능하다고 볼 수 있다. 환자와의 상호 작용과 달리, 구두사례 발표는 감독자가 자신의 임상 추론에 대한 보다 광범위한 평가를 용이하게 하기 위해 탐색 질문을 하고 연습생과 체계적인 대화를 할 수 있도록 한다.5

In other words, although Skelly et al.3 alert us to the fact that communication skills may not be assessable through the indirect means provided by oral case presentations, broadening the definition of direct observation may make it such that clinical reasoning is more ‘directly observed’ at the highest level of Miller’s pyramid in the oral case presentation. Unlike an interaction with a patient, an oral case presentation allows the supervisor to ask probing questions and to engage in structured dialogue with the trainee to facilitate a more extensive assessment of his or her clinical reasoning.5

구두사례발표가 커뮤니케이션 스킬을 정확히 보여주지 못하는 것과 마찬가지로, [레지던트가 작성한 퇴원 요약서를 읽는 것]은 퇴원 과정에서 bedside에서 발생한 상호작용의 퀄리티에 대해서 정확히 보여주지 못하는 proxy method일 수 있다. 그러나, 퇴원 요약서를 검토함으로써 판단할 수 있는 귀중한 기술이 있다. 예를 들어 퇴원 요약서는 

• 의료 제공자와 의사소통하는 능력, 

• 퇴원 계획을 수립하는 능력, 

• 안전한 transitions of care를 구현할 수 있는 능력

...에 대해 더 '직접 관찰'을 제공할 가능성이 높다.

Reading a discharge summary written by a resident offers a proxy method of assessing the discharge process that may not be an accurate representation of the quality of the discharge interaction that takes place at the bedside, much as oral case presentations do not accurately convey communication skills. However, there are valuable skills to be demonstrated, insight into which might be gleaned by reviewing discharge summaries. Discharge summaries, for example, are likely to provide more ‘direct observation’ of a trainee’s ability to communicate with health care providers, formulate discharge plans and implement safe transitions of care.

평가해야 할 기술에 따라서는, 아래의 것들이 직접 관찰의 기회 또는 proxy라고 볼 수 있다.

• 소생 후의 보고, 

• 컨설턴트에게 제공받은 정보의 전달 

• 프로시져 노트 문서화

...가 포함된다. 

Other activities that can be viewed as either proxies or opportunities for direct observation according to the skill that needs to be assessed include 

• debriefing following a resuscitation, 

• relaying information provided by a consultant and 

• documenting procedure notes. 

위 활동 중 수련생-환자 조우에 대한 직접적인 관찰을 수반하는 것은 없지만, 그것들은 가치 있는 역량에 대한 보다 직접적인 관찰을 통해 entrustment decision에 도움이 된다.2,7 감독관은 주어진 활동을 관찰할 때 평가해야 할 것을 의도적으로 선택하기 위해 이러한 구별을 이해해야 한다.

None of these activities involve direct observation of a trainee– patient encounter, but they can inform entrustment decisions through more direct observation of valued competencies.2,7 Supervisors must understand this distinction in order to deliberately choose what to assess when observing any given activity.

요컨대, 스켈리 외 연구진은 우리에게 구두 사례 발표가 의사소통 능력을 평가하는데 부적합하다는 것을 보여준다. 그러나 focused and deliberate하게 사용한다면 충분한 가치를 제공할 수 있다는 점에서, 구두사례발표가 쓸모 없거나 형편없는 평가 수단이라는 것을 의미하지는 않는다. 특정 기술을 직접 관찰하기 위한 도구로 구술 사례 프레젠테이션을 수용하면 '우리가 하고 있는 것do과 측정하는 것measure을 정렬'할 수 있다.8 감독자가 무엇을 관찰는지도 중요하지만, 더 중요한 것은 관찰하는 동안 무엇을 평가하는지이다.

In sum, Skelly et al.3 show us that oral case presentations are inadequate for assessing communication skills. However, this does not imply that they are useless or poor means of assessment given that they can provide value when used in focused and deliberate ways. Perceiving oral case presentations as tools to directly observe specific skills allows for an opportunity to ‘[align] what we measure with what we do’.8 What supervisors observe matters, but what they assess while observing matters more.

---

Med Educ. 2019 Jul;53(7):642-644. doi: 10.1111/medu.13903. Epub 2019 May 20.

Aligning direct observation and assessment.

Gauthier S1.

Author information

1

Division of General Internal Medicine, Department of Medicine, School of Medicine, Queen's University, Kingston, Ontario, Canada.

PMID:

 

31106882

 

DOI:

 

10.1111/medu.13903