의사 역량 평가의 개념적, 실천적 어려움(Med Teach, 2015) [출력완료]

의사 역량 평가의 개념적, 실천적 어려움(Med Teach, 2015)

Conceptual and practical challenges in the assessment of physician competencies

CYNTHIA R. WHITEHEAD1,2,3, AYELET KUPER1,2,4, BRIAN HODGES1,2,5 & RACHEL ELLAWAY6

1University of Toronto, Canada, 2Wilson Centre, Canada, 3Women’s College Hospital, Canada, 4Sunnybrook Health Sciences

Centre, Canada, 5University Health Network, Canada, 6Northern Ontario School of Medicine, Canada

도입

Introduction

평가에 대한 현재 모델은 우리의 사고와 실천을 발전시켜왔다. 그러나 이 모델들은 의료행위와 평가의 본성nature를 더 이해해가면서 점차 낡고 올이 다 드러났다.

Current models of assessment have served us well in advancing our thinking and practices, but they are becoming increasingly threadbare in light of our emerging understanding of the nature of medical practice and of the assessment of medical practitioners.

배경

Background

최근 의과대학 교육과정은 생의학적 기초에서 (이 전에는 암묵적으로만 다뤄져오던) 의사소통/프로페셔널리즘/리더십과 같은 역량에 이르기까지 확장되어왔다. 이러한 개념이 비공식 또는 잠재 교육과정에서 공식 교육과정으로 옮겨온 것은 단순히 내용만 더해진 것이 아니다. 이러한 변화는 형식이 없던 것에 형식을 부여했고, 새로운 형식을 위한 새로운 방법이 필요했다.

In recent years medical school curricula have broadened from their biomedical base to explicitly include previously tacit competencies such as communication, professionalism and leadership. Moving these concepts from the informal and hidden curricula of medical education to its formal curriculum is not just a matter of adding content; these changes require form to be given to the formless, and new methods to be put in place to match these new and emerging forms.

CanMEDS의 개발은 한 사례이다. Educating Future Physicians for Ontario (EFPO) project 가 CanMEDS의 근원이다.

The development of CanMEDS is an example of this shift. The roots of CanMEDS can be found in the Educating Future Physicians for Ontario (EFPO) project (Whitehead et al. 2011a).

EFPO프로세스에서 의사의 8개 역할이 개발되었다. 캐나다의 전문의들은 EFPO역할을 가지고 다시 작업하여 일곱개의 CanMEDS 역할로 만들었다. 8번째 역할인 "Person"을 제거하고, "Professional"을 넣었다.

Eight relatively distinct physician roles were developed in the EFPOprocess. Canadian specialist physicians took the EFPO roles and re-worked them into the seven current CanMEDS Roles (Medical Expert, Collaborator, Manager, Health Advocate, Communicator, Scholar and Professional) (Frank et al. 1996), in the process removing EFPO’s eighth role of ‘‘Person’’, embedding it instead in the Professional Role (Whitehead et al. 2011a, 2014).

이 역할에 깔려 있는 복잡한 개념을 고려했을 때, 각 역할을 학생과 trainee에게 인식시키는 것은 잘해봐야 근사치에 가까운 수준approximation 정도이다. 

Understandably, given the complex concepts that underpin the roles, the realization of each role in our students and trainees remains an approximation at best.

EFPO 와 CanMEDS 는 귀납적 프로세스의 결과물이다. 의료행위의 복잡성과 다원성을 단순하고 인식가능한 역할로 만든 것이다. 개별 역할의 집합(즉, 이상적인 의사의 완벽한 모습totality)이 CanMEDS 역량 프레임워크를 구성한다. 이제 CanMEDS는 공식화되어서 국가 및 국제적 인증 기준까지 공식화되고 확장되었다. 교육자들은 이렇게 성문화된now-codified, 표준화된 역할을 교육 및 평가를 위해 translate해야 한다. 의학교육자들은 이 역량을 평가하기 위한 실용적 접근법으로서 모든 가능한 도구들(채점기준/마일스톤/체크리스트)을 현장에 있는 임상교사들에게 제공해주기 위해서 설계/파일럿/의무화/도입에 열심히 노력했다.  교육자들이 수년간 이 프로세스에 몰입해온 동안 competency project는 교육리더들에게 있어서 "아직 걸음마 단계"라고 여겨지고 있다.

The EFPO and CanMEDS Roles were the result of an inductive process, rendering the complexities and pluralities of what it takes to be a medical practitioner into a set of simple and recognizable roles. The aggregate of the individual Roles (reflecting the totality of the ideal physician) comprises the CanMEDS competency framework. Now that CanMEDS has been formalized and expanded on in national and international accreditation standards, educators have been required to deductively translate the now-codified and standardized roles back into their teaching and assessment practices. Medical educators have risen to the challenge, working diligently to design, pilot, mandate and implement all manner of toolkits, rubrics, milestones and checklists to provide on-the-ground clinical teachers with practical approaches to learner assessment of these competencies (Bandiera et al. 2006; Sherbino et al. 2008; Royal College of Physicians and Surgeons of Canada 2014). While educators have already been engaged in this process for a number of years, the competency project is still considered by education leaders to be ‘‘in its infancy’’ (Association of Faculties of Medicine of Canada 2012, p. 4).

일부 CanMEDs 역할(Medical Expert)는 상대적으로 가르치고 평가하기가 쉽지만, 다른 역할들은 그보다 어렵다. 교육자들이 효과적이고 relevant한 평가도구를 모든 역량에 대하여 가지고 있지 않는 이상, 평가는 평가하기 '손쉬운'영역으로 skew되고 말 것이다.

While some CanMEDS Roles or competencies (such as Medical Expert) have been relatively easy to teach and assess, others have proved to be more challenging (Verma et al. 2005; Leveridge et al. 2007; Bryden et al. 2010). Unless educators have effect- ive and relevant assessment tools for all competencies, assessment may end up skewed towards ‘‘easier’’ areas,

Competence와 Competency 이해하기

Understanding competence and competency

각각의 프레임워크는 복잡한 의료행위의 개별 요소들을 단순하게 구조화된 다이어그램으로 표현하며, 종종 그림으로 묘사되기도 한다. CanMEDS는 "Medical Expert"를 중심에 둔 일곱 개 역할을 꽃으로 표현했다. ACGME도 기능을 목록화 한 CanMEDS와 비슷한 모델을 가지고 있으며, Scottish Doctor은 세 개의 concentric ring을 가지고 의사가 무엇을 할 줄 알아야 하고, 그것을 어떻게 해야 하고, 전문직으로서의 역할이 무엇인가를 표현하였다. 이 모델들이 각각 사용한 언어가 다르고, 그것이 구현arrange된 방식이 다르지만, 이 모델은 모두 의사의 능력 또는 역량을 보여주기 위한 목적이 있다.

Each frame-work reduces the complexities of multiple individual compo-nents of medical practice diagram into or a simple structure, often based represented as a figure. CanMEDS is around seven roles represented as a flower with ‘‘MedicalExpert’’ at the centre (Frank & Danoff 2007), the AccreditationCouncil for Graduate Medical Education (ACGME) (2006) has asimilar model to CanMEDS usually given as a list of functions,while the Scottish Doctor has three concentric rings repre-senting what the doctor is able to do, their approach to practice and their role as a professional (Ellaway et al. 2007).The language used and the way they are each arranged visually is different, although they all aim to represent a physician’s capabilities or competencies (ibid). 

또한, 맥락이 바뀌면 역량 프레임워크고 새로운 사회와 사회적 상황을 반영할 수 있게 달라져야 한다. 이에 우리는 역량 프레임워크의 적용은 상황-, 맥락- 특이적으로 이뤄져야 한다고 제안한다.

Furthermore, as contexts change, then, at least by implication, competency frameworks may also need to change to reflect new social and societal circumstances. We suggest, therefore, that the applicability of competency frameworks should be considered as situated and context- specific.

그러나 '추상화'로서, 이 역량 프레임워크는 그것이 보여주고자 하는 복잡한 아이디어와, 맥락의 변화에 반응하여 달라지는 의료행위의 변화 방식을 단순화한 버전을 제공할 수 밖에 없다. 따라서 어떤 프레임워크도 절대 "진실"일 수 없으며, 모든 프레임워크는 "근사치approximation"으로 장점과 함께 한계점이 분명하다.

As abstractions, however, they necessarily provide a simplified version of the complex ideas they represent and the ways that practice changes in response to the context in which it takes place. No framework, therefore, is ever ‘‘the truth’’, but instead all frameworks are approximations, and all will inevitably have limitations as well as strengths.

 

역량의 평가

Assessment of competencies

북미 교육에서 측정을 지배해온 전통은 psychometric 방법론 적용과 역량프레임워크의 개념에 초점을 두고 있고, 이것 때문에 평가와 측정에 관한 논의가 제한된다. Psychometric 기법은 한 개인 내에 stable trait로서 존재한다고 여겨지는 현상을 평가하기 위하여 처음 사용되었다. 예컨대 진실성/논리적 추론/시공간 능력 등이 있다. 인지심리학자들은 나중에 이 기법을 지식을 평가하는데 활용하였고, 더 나아가 수행능력 평가에까지 활용하였다. 'Psychometrically evaluated instruments'는 개인의 stable하고 latent한 특질을 평가하는데 유용했다. 교육자에게 이것은 real/measurable/underlying 심리특성을 평가함을 뜻했다.

The dominant tradition of measurement in education in North America has led to a focus on the application of psychometric methods and concepts to competency frame- works, thereby sometimes limiting discussion of assessment and capability to matters of measurement (Hodges 2013). Psychometric techniques were first used to evaluate phenom- ena that were thought of as stable traits that existed within a particular individual: things like truthfulness, logical reasoning and visual–spatial ability. Cognitive psychologists later expanded the use of these techniques to assess knowledge, and then further to assess performance. Psychometrically evaluated instruments are useful for assessing stable, latent traits within individuals. This implies that, as educators, we are assessing real, measurable, underlying psychological traits (Kuper et al. 2007).

psychometric approach 는 지식이나 테크닉적 스킬에 대해서는 잘 작동했다. 그러나 이 접근법이 개인의 특성으로서 stable하지 않은 construct에 대해서는 잘 작동하지 않았다. CanMEDS 역할 중 Advocate나 Collaborator는 어떻게 의료전문직이 다른 사람과 상호작용해야하는지에 대한 내용이나, 상호작용이란 본질적으로 맥락- 그리고 문화- 특이적인 것이다. 따라서 아무리 이 역량을 깔끔하게neatly 기술하다고 하더라도, 의사소통/협력/프로페셔널리즘/Advocacy 역량에 대한 개개인의 관점은 역사적, 상황적으로 달라지며 변화가능한 것이고, 배경과 문화가 다르면 달라진다.

A psychometric approach works well for constructs that relate to knowledge and technical skill. This approach does not, however, easily align with constructs that are not stable for individual traits. CanMEDS Roles such as Advocate and Collaborator, for example, depict how medical professionals should perform in their interactions with others – interactions that are intrinsically context- and culture-specific. Therefore, no matter how many attempts are made to neatly codify physician competence, individual views of competent com- munication, collaboration, professionalism and advocacy will be historically contingent, situational, changeable – and inevitably different from those from other backgrounds and cultures (Kuper et al. 2007).

추가적으로, medical training을 통해서 커뮤티니가 요구하고 바라는 것을 제공해야 할 사회적 책무성이 강조되고 있다. 따라서 평가 전략과 평가 행위는 반드시 광범위한 개념(공정성, 개인의 요구, 안전, 신뢰도와 타당도, 사회와 커뮤니티의 특수한 요구에 대한 반응)을 포괄해야 한다.

In addition, there is a growing call for socially account- able medical training to ensure that our graduates can provide what communities need and want (Boelen & Heck 1995; Frenk et al. 2010). Assessment strategies and practices must therefore embrace and encompass a wide range of concepts, including fairness, individual needs, safety, reli- ability, and validity and responsiveness to particular societal and community needs.

새로운 접근법을 받아들이려는 역사적인 전례가 있음을 안다. 하지만 이러한 도구들은 여러가지 측면에서 평가에 유용하기는 하나, 사회적, 문화적으로 결정되는 21세기 의사 역량에 대한 현재의 미묘한 차이current nuanced를 담아내기에는 이상적이지 않다.

We also know that there is historical precedent to the adoption of new approaches: We suggest, however, that these tools, while very useful for assessing many things, are not ideal for the more socially and culturally-determined roles that comprise the current nuanced 21st Century understanding of physician competence.

방법과 도구를 다시 생각하기

Rethinking methods and means

여기서 우리는 두 가지 구체적인 사례에 초점을 두고자 한다. Ethonography와 Realist evaluation이다 이 두 가지 모두 복잡한 사회적 구조를 평가하기 위한 것이다. 맥락과 사회적 위치location를 고려하며, 동일한 상황 내에서도 잠재적으로 가능한 다양한 subject position의 존재를 존중하고, 역량을 수행하는 것이 맥락에 따라서 달라질 수 있음에 개방적이다.

In this paper we focus on two specific examples: ethnography and realist evaluation, both of which were designed to assess complex social constructs. Each takes into account context and social location, honours the existence of multiple potential subject positions within the same situation, and is open to wide variability in the contextual performance of competence.

 

• Realist inquiry explains the dynamics of complex systems in terms of various mechanisms in different contexts that lead to different outcomes (Wong et al. 2012; Pawson 2013). Realist inquiry also works with the concept of middle-range theory: demi-regularities within and around particular contexts rather than global phenomena. Realist assessment is therefore about explaining what individuals and groups are doing and how they are doing it rather than measuring a stable and predict- able construct.

 

• Ethnographic assessment involves gathering data about social interactions, using tools including observation, discus- sions and the analysis of written artifacts. Originally deriving from the discipline of anthropology, ethnography examines social processes, perceptions and behaviours within and between groups (Reeves et al. 2008, 2013).

이 두 가지는 복잡한 사회적 construct 평가를 framing하기 위한 방법론의 사례일 뿐이다.

Ethnography and realist evaluation are only two examples of methodological approaches for framing the assessment of complex social constructs such as the non-Medical Expert (Intrinsic) Roles (Sherbino et al. 2011).1 

이 방법론들은 trainee의 수행능력을 사회적 영역social realm의 관점에서 바라보며, 신뢰도와 타당도에 초점을 맞춰온 지난 60년간 "노이즈"로 무시되어온 수행능력의 맥락을 다시 비춰준다.

These meth- odologies can illuminate aspects of trainee performance in the social realm, as well as the contexts of that performance, that have been ignored as ‘‘noise’’ within our almost 60-year focus on validity and reliability.

나아갈 방향

Ways forward

우리는 변화 없이 relevant하고 rigorous한 사회적으로 구성되는 Non-Medical Expert역할에 대한 평가는 불가능하다. 우리는 교육자들이 고의로 incongruent한 평가도구를 사용한다고 생각하지 않는다.

However, we contend that, without change, the assessment of the socially constructed, non-Medical Expert (Intrinsic) Roles cannot be relevant and rigorous. We do not think that choose educators will knowingly to use methodologically incongruent assessment tools, as in doing so they will fall short of the needs of learners, patients, the profession and society as a whole.

"우리가 평가하지 않으면 학생들은 그것을 중요하게 여기지 않을 것이다"라는 mantra가 교육자가 만들어내는 산출물의 어느 정도를 차지할까? 의학교육과 같은 Academic culture에서 교수들은 늘 강의를 끝낼 때 "학생들이 관심있어 하는 것은 시험에 뭐가 나올지 뿐이라는 것을 다 안다. 지금부터 알려주겠다"라는 식으로 강의를 끝내며, 이것이 test-focused 환경에서 만들어진 교사를 보여준다. 이러한 환경은 universal하지 않다. 예를 들면 덴마크에서는 레지던트 시험이 없다.

To what extent is the mantra ‘‘if we don’t assess it the students will not value it’’ a product of educators’ own making? Academic cultures, such as medical education, where professors routinely end lectures with statements like ‘‘I know all you care about it what is on the test, so now I will tell you’’ clearly implicate teachers in the construction of a test-focused environment. This environment is not universal; in Denmark, for example, there are no residency exams (Karle & Nystrup 1995; Hodges & Segouin 2008).

고찰

Discussion

우리의 집단적 기억은 모하하고 부분적이다. 우리는 과거에 어땠는지를 빠르게 잊고, 어떻게 여기까지 왔는지를 잊어버린다. 우리는 우리가 지금 가지고 있는 것과 하고 있는 것을 정상으로 받아들인다normalize.  

Our collective memory tends to be rather vague and partial: we quickly forget where we have been and how we got here. We normalize what we currently have and do (in this case our current constellation of competencies, roles and frameworks)

non-Medical Expert (Intrinsic) Role의 평가에 대한 또 다른 가능한 평가방법으로는  case study methodology, critical discourse analysis and phenomenology등이 있다.

Other potential methodologies relevant to the assessment of the non-Medical Expert (Intrinsic) Roles include case study methodology, critical discourse analysis and phenomenology.

가능한 옵션을 늘리고 다양한 평가 접근법에 의존하는 것이 의학교육의 다른 트렌드와 부합한다. 평가방법론에 적용하는 논리도 같아야 한다.

Expanding our options and drawing on multiple assess- ment approaches fits with other trends in medical education. We need the same to apply logic to our assessment methodologies.

국제 커뮤니티가 평가에 대한 사회과학 기반의 접근법을 탐구하지 않는다면, socially-constructed non- Medical Expert (Instrinsic) Roles를 적절하게 평가할 수 있는 능력이 제한될 것이다.

If this international community does not explore the potential of social science- based approaches to assessment then there will remain limits to the ability to adequately assess the socially-constructed non- Medical Expert (Instrinsic) Roles.

 

Sherbino J, Frank JR, Flynn L, Snell L. 2011. ‘‘Intrinsic Roles’’ rather than ‘‘armour’’: Renaming the ‘‘non-medical expert roles’’ of the CanMEDS framework to match their intent. Adv Health Sci Educ Theory Pract 16(5):695–697.

---

Med Teach. 2015 Mar;37(3):245-51. doi: 10.3109/0142159X.2014.993599. Epub 2014 Dec 19.

Conceptual and practical challenges in the assessment of physician competencies.

Whitehead CR1, Kuper A, Hodges B, Ellaway R.

Author information

• 1University of Toronto , Canada .

Abstract

Abstract The shift to using outcomes-based competency frameworks in medical education in many countries around the world requires educators to find ways to assess multiple competencies. Contemporary medical educators recognize that a competent trainee not only needs sound biomedical knowledge and technical skills, they also need to be able to communicate, collaborate and behave in a professional manner. This paper discusses methodological challenges of assessment with a particular focus on the CanMEDS Roles. The paper argues that the psychometric measures that have been the mainstay of assessment practices for the past half-century, while still valuable and necessary, are not sufficient for a competency-oriented assessment environment. New assessment approaches, particularly ones from the social sciences, are required to be able to assess non-Medical Expert (Intrinsic) roles that are situated and context-bound. Realist and ethnographic methods in particular afford ways to address thechallenges of this new assessment. The paper considers the theoretical and practical bases for tools that can more effectively assess non-Medical Expert (Intrinsic) roles.

PMID:

 

25523113

 

[PubMed - indexed for MEDLINE]