의도한 전체에서 추출된 부분의 합: 역량과 수련중 평가(Med Educ, 2009)

의도한 전체에서 추출된 부분의 합: 역량과 수련중 평가(Med Educ, 2009)

The sum of the parts detracts from the intended whole: competencies and in-training assessments

 

Elaine M Zibrowski,1 S Indu Singh,1 Mark A Goldszmidt,1 Christopher J Watling,1 Cynthia F Kenyon,1 Valerie Schulz,1 Heather L Maddocks2 & Lorelei Lingard3

 

도입

INTRODUCTION

캐나다의 레지던트 프로그램은 수련중평가in-training assessment, ITA를 CanMEDS  role에 따라 구조화해야 한다. 전형적인 형태는 ITAR(in-training assessment report)을 활용하여 감독자 의사가 피훈련자의 수행능력을 매 임상 로테이션 종료 시점에서 평가하는 것이다.

Canadian residency programmes are now required to structure their in-training assessment (ITA) processes around the CanMEDS roles. This typically involves asking the supervising clinician(s) to appraise train- ees’ performance at the end of every clinical rotation using an in-training assessment report (ITAR) which is platformed on the framework (Fig. 2).7

 

 

최근 레지던트의 CanMEDS 역할에 대한 인식에 관심이 모였고, 레지던트들이 역할들에 대한 지식과 이해가 부족함이 드러났다. 한 연구에서는 반 이하의 의사만이 CanMEDS 역할에 친숙하다고 했고, 다른 연구에서는 Health Advocate라는 역할이 레지던트에게 실체가 없다intangible고 응답했다. 그러나 각 역량이 어떻게 평가되는지와 피훈련자가 그것을 어떻게 인식하는지 사이의 관계에 대해서는 연구가 없다.

Recent attention to residents’ perceptions of CanMEDS has identified shortcomings in their knowledge and appreciation of the roles. In one study, less thanhalf of resident doctors surveyedwere familiar with the roles and another study found the role of Health Advocate to be particularly intangible for residents.8,9 However, there has been no inquiry into the potential relationship between the way competen- cies are assessed and trainees’ perceptions of them.

비쥬얼 레토릭visual rhetoric 이론에 따르면, 한 문서의 구조가 메시지에 담긴 가치를 전달한다. 즉, '시각적 구조는 단순히 겉으로 드러나는 '의상dress'가 아니라, 의미를 담고 있는 구조물construction이다.' 시각적 구조가 학습자의 태도와 행동에 의도하지 않은 방향으로 영향을 준다는 것이 이전에도 보고된 바 있다. optometry record의 비쥬얼 레토릭 분석에 기반하면, 구조가 환자 데이터의 우선순위 설정에 영향을 주고, 진단 자료의 포함 여부와 배치에 대해서 틀리게 인식하게 한다.

The theory of visual rhetoric asserts that visual layout and the structure of a document have the potential to communicate value-laden messages: that is ‘visual structures …are not external ‘‘dress’’’,10 but, rather, they are constructions that carry meaning.11–13 The idea that visual structures can shape learner attitudes and actions in unintended ways has been reported previously in health professions education research. Based on a visual rhetorical analysis of an optometry record, Varpio et al.14 postulated that its structure influenced learners’ prioritisation of patient data and produced a false sense of the ordering and inclusion of diagnostic data.

 

방법

METHODS

본 연구의 자료는 레지던트의 ITA에 대한 인식 조사의 한 부분으로 이뤄졌다.

The data described here were collected as part of a study exploring residents’ perceptions of their ITA.17

근거이론접근법에 따라서 preliminary 분석이 수행되었다.

Following a grounded theory approach,18 preliminary analysis was carried out alongside data collection to facilitate the ongoing elaboration of emerging themes through theoretical sampling and refined interview probes.

 

결과

RESULTS

참가자 인구통계, 주제

Participant demographics and emergent themes

 

 

 

CanMEDS 교육

CanMEDS education

포커스그룹에 참여한 레지던트들은 CanMEDS 기반 수련을 거의 받지 않는다고 응답하였다. 대부분은 CanMEDS 교육이 각 과에서 로테이션 시작할 때 Royal College에서의 공식 자료를 초반에 나눠주는 것 외에는 없다고 응답했다.

Focus group participants articulated that they had received little CanMEDS-based training. Most per- ceived their CanMEDS education to have been limited to their department’s circulation of official material from the Royal College at the beginning of a clinical rotation:

참여자들은 그러나 공식적인 CanMEDS 교육이 필요하다고 인식하지 않았다.

Participants did not, however, perceive the need for a formal CanMEDS curriculum, explaining:

'저에게는 거의 상식같아요'

‘To me, a lot of that stuff is common sense.’ (R14)

CanMEDS 의 롤모델링은 거의 없다.

Role-modelling of CanMEDS-relevant behaviours was perceived as occurring only rarely:

'사람들은 롤모델 역할을 하지만, CanMEDS 프레임워크 방식은 아니다'

‘People role-model, but it’s not in the framework of CanMEDS.’ (R23)

대신, 참여자들은 ITAR이 각 역할에 대한 정보 주는 일차 출처 역할을 한다고 했다.

Rather, participants indicated that the ITAR served as their primary source of information on the roles, explaining:

'내가 그걸 아는 이유는 평가지에 있기 때문이에요'

‘I just know them all because we see them on our evaluations.’ (R22)

역량에 대한 친숙함, 관련성

Familiarity and relevance of the competencies

비록 레지던트들이 CanMEDS 기반으로 수행능력이 평가되고 있음을 인식하고 있긴 했지만, 프레임워크에 그다지 친숙하지는 않았다. 몇몇 레지던트들은 각 역량의 이름을 옳게 알고 있는지 불확실해 했으며, 어떤 레지던트들은 하나도 제대로 이름을 말하지 못했다.

Although residents were aware that their perfor- mance assessments were CanMEDS-based, their familiarity with the framework was limited. Several individuals seemed unsure about whether the names of competencies they identified were actually correct and some had difficulty naming a single competency.

비록 대부분이 각 역할들이 의사로서 중요하게 갖춰야 할 특징을 대표한다는 것에 동의했지만, 논의는 대체로 한 가지 특정한 역할의 협소한 정의에 초점을 맞추는 식이었다. 예를 들면, 한 역할 내에서의 enabling competencies에 대해서 말할 때, 레지던트들은 자신이 속한 전공에서 rate한 역할에 초점을 맞췄다.

Although most agreed that, overall, the roles repre- sented important attributes for doctors, their discus- sion seemed to focus on a narrow definition for any given role. For example, during the focus group, when speaking about enabling competencies within a role, residents tended to focus on the roles rated by their own department’s ITAR.

모든 역할들 중 레지던트들은 Medical Expert가 가장 관련되고 중요한 것이라고 여겼다. 그러나 여기에 대한 논의는 이 역량을 주로 '의학과 과학 지식의 습득'에 대한 것으로 인식했다.

Of all the roles, residents tended to regard that of Medical Expert as being the most relevant and important. However, their discussion of it illustrated that they perceived this competency to primarily involve the acquisition of medical and scientific knowledge.

대부분의 참여자들은 적어도 하나 이상의 다른 개념들은 행동을 정의하는데 모호하다고 불만을 표했다.

Most participants complained that at least one of the other competencies seemed nebulous in terms of its defining behaviours:

CanMEDS의 holistic한 철학과 다르게, 많은 참여자들이 각 역량의 중첩되는overlapping 것에 대해서 혼란스러워했다.

By contrast with the CanMEDS holistic philosophy, several participants seemed confused regarding the overlapping nature of the competencies:

레지던트들은 CanMEDS 가 근무 환경에 관련되어 있는것인지에 대해서도 의문을 표했다. 이들의 회의적인 태도는 프레임워크가 모든 임상로테이션에 늘 적용가능한 것이 아니라는 인식과 연관된다. 

Residents also questioned the relevance of CanM- EDS to their work environment. Their scepticism seemed related to the perception that the framework wasn’t always applicable to every clinical rotation:

일부 참여자들은 피훈련자들이 특정 역할을 능숙하게 발전시킬 기회게 제한된다고 했고, 특히 Health Advocate과 Manager에서 그랬다. 

Several participants discussed clinical contexts in which trainees might have limited opportunities to develop proficiency in particular roles, especially those of Health Advocate and Manager:

유사하게, 참여자들은 특정 수련 단계에서 일부 역할들의 관련성에 의문을 표했다.

Similarly, participants questioned the relevance of some roles to particular training levels:

'Resource management는 정의상 우리 레지던트보다는 주치의에게 해당된다'

‘Resource management, by definition, kind of falls on the attending more than on us as residents.’ (R9)

 

CanMEDS 기반 평가의 타당도

Validity of CanMEDS-based assessment

참여자들은 역량-기반 ITA의 타당도에 대해 우려했다. 피훈련자들은 ITA가 효과적이려면 교수와 레지던트가 함께 헌신하고 참여해야 한다고 강조했다. 그러나 참여engagement에 있어서, 레지던트들은 어떻게 일부 bias가 역량-기반 평가에 방해가 되는지 의견을 주었다. 주된 비판은 각 로테이션에서 역량과 관계된 행동을 수행할performing, 그리고 그것을 누군가가 관찰할being observed 기회가 적다는 것이다.

Participants expressed concerns regarding the per- ceived validity of their competency-based ITAs. Trainees interviewed individually emphasised that joint commitment or engagement, by both faculty and residents, was critical in making ITA effective.17 However, within the context of engagement, resi- dents commented on how some sources of error bias could hinder competency-based assessment. The main criticism was that any given rotation often presented only limited opportunities for both per- forming and being observed performing behaviours relevant to the competencies:

'교수들은 우리가 환자와 상호작용하는 장면을 보는 일이 별로 없다'

‘Staff don’t see you interacting with patients a lot of the time.’ (R20) 

이러한 제한된 관측은 과연 supervisor가 평가를 내릴 수 있을 만큼 충분히 자신들을 보았는지enough exposure에 의문을 갖게 한다.

This perception of limited observation seemed to lead several residents to question whether their supervisors would have enough exposure to them to make legitimate performance appraisals:

고찰

DISCUSSION

본 연구에서는 일개 대규모 도시 의과대학에서의 레지던트들을 대상으로 연구하여 레지던트들이 일부 역량을 다른 역량보다 더 잘 이해하고 있음을 확인시켜주었다. 더 중요한 것은, 피훈련자의 CanMEDS에 대한 전반적 인식이 왜곡되어distort 있으며, 이것은 ITAR에 노출되는 것에 영향을 받는 것으로 보인다.

Our study involving residents from several programmes at one large, urban medical school confirms previous findings that trainees understand some competencies better than others.8,9 More important, we would argue, is the finding that trainees’ overall conception of CanMEDS appeared to be distorted, and this in turn seemed to be influenced by their exposure to the ITAR.

우리는 레지던트들이 ITA 경험을 매개로 CanMEDS 역할을 알게 된다는 것을 찾았고, 이 과정에서 프레임워크의 원래 철학을 반영하지 못하는 구조로 이해하고 있음을 알게 되었다 (즉 의료행위의 스펙트럼에 걸쳐서 통합되고 상호 보완적인 방식). 피훈련자들은 각각의 역량을 상호배타적인 것으로 인식했다.

We found that residents’ acquaintance with the CanMEDS roles was mediated by their ITA experi- ences, which may have served to produce an under- standing of the construct that was not reflective of the framework’s philosophy (i.e. complementary in nat- ure and integrated across the spectrum of medical practice). Trainees viewed the individual competen- cies as being mutually exclusive,

(최근의 수정에도 불구하고) ITAR의 전통적 구조는 여전히 남아 있다. 비주얼 레토릭은 이러한 전통적인 구조가 참여자가 ITAR 경험으로부터 이끌어낸 잠재적 의미에 주는 영향을 보여준다.

ITAR’s traditional structure of discrete items rated across Likert scales remained intact. Visual rhetoric provides a framework for exploring the influence of this traditional structure on the potential meanings extracted by participants from their ITAR experiences.

비주얼 레토릭 이론에 따르면, 시각적/비언어적 구조(목록 형식)가 각 항목이 서로 고립된 것처럼 보이게 하고, 일부 항목이 다른 항목에 대해서 우선되는 것처럼 보이게 한다. 어떠한 의미와 가치가 들어간 메시지를 전달하는 것이다. ITAR에 관한 비주얼 레토릭 분석은 CanMEDS 를 둘러싸고 구성되는 의미와 프레임워크가 기반하고 있는 통합적 철학이 상충한다는 것을 보여준다. CanMEDS 다이어그램의 트레이드마크는, 데이지 꽃으로 묘사되며, 여러 역할이 Medical Expert와 중첩되는 것을 보여준다. Expert는 중심에 위치함, 다른 것보다 더 큰 글씨체로 쓰여지고, 다른 꽃잎petal과 교차된다는 특권이 있다. 대조적으로 ITAR은 위계적인 형태로 우선순위를 보여주는 unique role을 목록으로 보여준다. Medical Expert가 가지는 특징은 목록에서 가장 상단에 위치한다는 것으로부터 암시될 수 있지만, 다른 역할과의 관계는 시각적으로 거의 드러나지 않는다. 더 나아가서 각각의 역할은 여러개의 enbling competency로 분절화되어 별개의 sub-entity로 보여진다.

The theory of visual rhetoric approaches visual, non- linguistic structures, such as list formats, in which items tend to be isolated from one another and some items are given visual priority over others, as not being merely aesthetic. Rather, they can convey meaningful, value-laden messages.10–13 A visual rhe- torical analysis of the ITAR suggests that the meaning it constructs around CanMEDS conflicts with the integrated philosophy underpinning the framework. The trademarked CanMEDS diagram, which is depicted as a daisy, is visually organised so that the other roles overlap with that of Medical Expert. Expert is privileged by its central position, larger font and the fact that it intersects with all the other ‘petals’. By comparison, the ITAR lists unique roles which are prioritised in a hierarchical fashion. The prominence of Medical Expert may be suggested by its presence at the top of the list, but its relationship to the other roles gets little or no visual representa- tion. Furthermore, each role is fragmented into several enabling competencies, which are also presented as discrete sub-entities.

ITAR의 시각적 레이아웃은 의미를 전달하는 구조물이다. 이 레이아웃은 각 역할이 별개로 여겨지는 것처럼 보여주며, 그렇게 개별적 entity로 이해할 수 있고, 그래야 한다고 (권위있는 기관의 문서이므로) 말하는 듯 하다. 이러한 비주얼 레토릭적 관점은 역량-바탕 프레임워크를 둘러싼 비판과도 일치한다. '이러한 사고방식은 구체적인 역량의 장황한 목록을 만들어내나, 어떤 행동activity로 표현되었을 경우 그다지 원래의 의미를 반영하지 않는다'

The visual layout of the ITAR is a construction that carries meaning:11 it tells trainees that the roles are to be treated separately, that they can and (because this is a document with institutional authority) probably should be understood as distinct entities. This visual rhetorical perspective appears to be concordant with much of the criticism surrounding competency-based frame- works: ‘…this thinking tends to produce long checklists of specific competencies, formulated as activities that, in the end, do not quite reflect the original meaning.’1 (p 543)

역량-바탕 프레임워크가 이렇게 '분절화'하는 경향이 있다는 것을 비판하면서, Huddle과 Heudebert는 '임상역량을 분절화하여 측정가능한 형태의 작은 단위로 나눠진 수행performance들은 '역량있는 의사'를 구성하도록 다시 합해지지 않으며, 그럴 수 있지도 않다'. 그러나 피훈련자들은 ITAR의 '작은 체크박스'의 맥락에서 CanMEDS에 대해서 이야기 할 때 이러한 분절화anatomisation을 내면화하고 잇는 것으로 보이며, 일부 역할은 수행할 수 없고, 다른 총괄적 역할more global thing보다 Expert role에 더 초점을 맞춘다. 우리의 연구결과는 '각각의 조각이 더해지면 원래 의도한 역량을 구성할 수 있는가'의 문제 외에도 ITAR에서 보여지는 항목이 피훈련자가 애초에 의도한 전체가 아니라 각각의 조각에 집중하게끔 만든다는 문제를 제기한다.

Critiquing the tendency of competency-based frame- works towards such ‘anatomising’, Huddle and He- udebert argue that ‘the measurable bits of performance that follow from anatomising clinical competence according to discrete learning objectives do not and cannot add back together to constitute the skill and ability of the competent physi- cian’.4 However, trainees still seemed to internalise the anatomisation as they talked about CanMEDS in the context of the ‘little boxes’ on the ITAR, of not being able to ‘practise’ some roles, and about the need to focus on the Expert role rather than on other roles, which are ‘more global things’. Our data suggest that, aside from the problem of whether the pieces ‘add up to the kind of competence we are actually interested in’,4 their presentation as items within the ITAR draws trainees’ attention towards these pieces and away from the intended whole.

Varpio 등, Lingard and Haber의 연구에서도 generic structure 를 학습자들이 지속적으로 접하게 되면, 그것을 rigid한 것으로 여기게 된다고 말한다. 그것이 마치 '규칙the rule'인 것처럼 여기게 되며, 비판적/창의적/유연하게 바라보지 못하게 된다. 우리 연구에서도 피훈련자들이 ITAR을 지속적으로 접하면서, CanMEDS의 전형이라고 여기게 된다.

The work of Varpio and colleagues14 and Lingard and Haber15,16 has highlighted the suggestion that when a generic structure is repeatedly encountered by medical learners, they may come to treat it rigidly. They may view it as being ‘the rule’ and have difficulty in approaching it critically, creatively or flexibly. Our results suggest that, as trainees continually encounter the ITAR, they appear to see it as the embodiment of CanMEDS.

레지던트들이 Medical Expert role이 가지는 지위가 중요하다는 점은 옳게 인식했지만, 이것이 '의학과 과학 지식, 임상 술기의 수준'만을 의미하는 것이라고 잘 못 인식하고 있었다.

Although residents appeared to correctly perceive the prominent position of the Medical Expert role, they incorrectly viewed it as referring solely to the level of one’s medical and scientific knowledge and clinical skills.

더 나아가서, 비록 이러한 인식이 우려할 만한 것이긴 하나, 이것을 레지던트들이 그 역할들을 personally enact한다고 해석해서는 안된다. 피드백의 전달에 대해서 우리가 아는 바와 유사하게, 어떤 역할이 특정 의료행위에서 더 salient한지를 생각해야 할 사람은 교수일지도 모른다.

Further, although this lack of recognition is concerning, it should not be interpreted as indicating that residents do not, in fact, personally enact the roles. In a manner that echoes what we know about the delivery of feedback,19,20 it may be that faculty need to be more overt in thinking aloud about which roles are salient in a particular practice and labelling these.

19 Kogan JR, Bellini LM, Shea JA. Have you had your feedback today? Acad Med 2000;75 (10):1041.

 

 

 

 

 

---

Med Educ. 2009 Aug;43(8):741-8. doi: 10.1111/j.1365-2923.2009.03404.x.

 

The sum of the parts detracts from the intended whole: competencies and in-training assessments.

Zibrowski EM1, Singh SI, Goldszmidt MA, Watling CJ, Kenyon CF, Schulz V, Maddocks HL, Lingard L.

Author information

• 1Schulich School of Medicine & Dentistry, University of Western Ontario, London, Ontario, Canada. elaine.zibrowski@schulich.uwo.ca

Abstract

OBJECTIVES:

Despite the fact that Canadian residency programmes are required to assess trainees' performance within the context of the CanMEDS Roles Framework, there has been no inquiry into the potential relationship between residents' perceptions of the framework and their in-training assessments (ITA). Using data collected during the study of ITA, we explored residents' perceptions of these competencies.

METHODS:

From May 2006-07, a purposive sample of 20 resident doctors from internal medicine, paediatrics, and surgery were interviewed about their ITA experiences. Data collection and analysis proceeded in an iterative fashion consistent with grounded theory. In April 2008, a summary of recurrent themes was presented during a focus group interview of another five residents to afford further elaboration and refinement of thematic findings.

RESULTS:

The in-training assessment report (ITAR) was perceived as a primary source of residents' information on CanMEDS. Residents' familiarity with the set of competencies appeared to be quite limited and they possessed narrow definitions of the roles. Several trainees questioned the framework's relevance and some appeared confused about the overlapping nature of the roles. Although residents viewed the central Medical Expert role as the most relevant and important competency, they incorrectly perceived it as only involving the acquisition of medical and scientific knowledge. A visual rhetorical analysis of a typical ITAR suggests that the visual features found within this assessment tool may be misrepresenting the framework and the centrality of the Medical Expert role.

CONCLUSIONS:

Resident doctors' knowledge of CanMEDS was found to be limited. The visual structure of the ITAR appears to be a factor in residents' apparent distortion of the CanMEDS construct from its original holistic philosophy.

PMID:

 

19659487

 

[PubMed - indexed for MEDLINE]