프로페셔널리즘 평가: 우리가 출발한 곳에서 우리는 어디로 향하고 있는가? 오타와 그 이후(Med Teach, 2018)

프로페셔널리즘 평가: 우리가 출발한 곳에서 우리는 어디로 향하고 있는가? 오타와 그 이후(Med Teach, 2018)

Assessment of professionalism: From where have we come – to where are we going? An update from the Ottawa Consensus Group on the assessment of professionalism

Brian Hodgesa , Robert Paulb,c and Shiphra Ginsburgc,d

aWilson Centre for Research in Medical Education, University Health Network and Faculty of Medicine, University of Toronto, Toronto, Canada; bInstitute of Health Policy, Management and Evaluation, University of Toronto, Toronto, Canada; cWilson Centre for Research in Medical Education, University Health Network and University of Toronto, Toronto, Canada; dDepartment of Medicine, Mount Sinai Hospital, University of Toronto, Toronto, Canada

도입

Introduction

2011년, 프로페셔널리즘 평가에 관한 국제 워킹 그룹(IWGAP)은 주요 주제를 파악하고 이 영역에서 새로운 방향을 제안하면서 2년간의 업무의 정점인 보고서를 발표했다(Hodges et al. 2011).

In 2011, an International Working Group on the Assessment of Professionalism (IWGAP) released a report that was the culmination of two years of work, identifying key themes and proposing new directions in this domain (Hodges et al. 2011).

접근방식은 참신하고 전통적인 방식과는 달랐다. 목표는 단일한 합의에 도달하는 것이 아니라 전문직업성이 개념화되고 평가되는 다른 방식을 특징짓는 것이었다. 이 집단의 상대적 다양성은 서로 다른 문화와 문맥에 대한 광범위한 커버리지를 보장하는 데 도움이 되었다. 흥미롭게도, 당시 확인된 거의 모든 문학은 영어로 되어 있었다; 거의 전적으로 앵글로색슨/서양의 작가들에 의해 제작되었다. 이는 그 후 10년 동안 그 풍경이 크게 바뀌었기 때문에 현재의 논문에서 우리가 되돌아갈 것이라는 관측이다.

The approach was novel and different from the traditional: the goal was not to reach a singular consensus but rather to characterize different ways that professionalism was conceptualized, and assessed, around the world. The relative diversity of the group helped to ensure broad coverage of different cultures and contexts. Interestingly, almost all literature identified at that time was in English; almost entirely produced by authors in Anglo-Saxon/Western countries. This is an observation that we will return to in the current paper because that landscape has changed greatly in the subsequent decade.

선정된 문헌의 전문직업성 평가는 크게 세 가지로 특징지어졌다.

The assessment of professionalism in the selected literature was characterized in three broad ways:

1. 개인 차원의 특성, 특성, 행동 또는 인지 과정으로서의 프로페셔널리즘

2. 대인관계 수준의 과정이나 효과로서의 프로페셔널리즘(교사-학생-학생-학생-학생-환자) 및

3. 권력, 제도, 사회와 관련된 사회/기관 차원의 현상으로서의 프로페셔널리즘

1. Professionalism as an individual-level characteristic, trait, behavior or cognitive process;

2. Professionalism as an interpersonal-level process or effect (teacher-student, student-student, student-patient); and

3. Professionalism as a societal/institutional-level phenomenon associated with power, institutions, and society.

향후 연구를 위한 분야에 초점을 맞춘 일련의 일반적인 권고안이 제안되었다. 표 1을 참조하십시오.

A set of general recommendations was proposed,focused on areas for future research. Please see Table 1.

표 1. 국제 작업 그룹의 2011년 보고서에서 본 프로페셔널리즘 평가에 관한 일반 권고 사항.

Table 1. General Recommendations on the Assessment of Professionalism from the 2011 Report of the International Working Group.

프로페셔널리즘:Professionalism:

1.역사문화적 맥락에 따라 달라짐

1. Varies across historical and cultural contexts

2. 구체적인 정의는 효과적인 교수법과 방어가능한 평가를 안내하는데 도움이 될 것이다.

2. Concrete definitions will help guide effective teaching methods and defensible assessments

3. 의학의 사회적 책임과 관련이 있다. 변화를 반영하기 위해 정의를 정기적으로 재정비해야 한다.

3. Is related to medicine’s social responsibility; definition should be refined regularly to reflect change

4. 대중과의 대화를 통해 정의해야 할 필요성; 개인, 대인, 시스템/기관 세 가지 수준에서 모두 정의되어야 한다.

4. Needs to be defined, through dialog with the public; at all three levels: individual, interpersonal, systems/institutional

5. 개선improvement 문화의 일부가 되어야 함: 형성적 방법이 우세해야 함

5. Should be part of a culture of improvement: formative methods should predominate

6. 현존하는 문헌은 대부분 앵글로색슨: 문화간 경계/재확인이 필요하다

6. Existing literature is mostly Anglo-Saxon: cross-cultural caution/re-validation is needed

7. 전문성을 정의하고 측정하기 위한 다양한 접근법이 가치 있다(사회학, 인류학, 심리학)

7. A diversity of approaches to defining and measuring professionalism is valuable (sociology, anthropology, psychometrics, psychology)

8. 각 관점(및 관련 평가 방법)은 전문직업성 요소를 가시화하고 다른 관점으로부터 주의를 돌리게 한다.

8. Each perspective (and related assessment methods) will make some elements of professionalism visible; deflect attention from others

원래의 작업 그룹은 이러한 각 범주를 뒷받침할 수 있는 서로 다른 과학적 관점을 반영하기 위해 인식론적 분류 체계를 만들었다. 이러한 인식론적 입장은 실증주의자(경험적 과학적 연구를 통해 밝혀질 수 있는 전문직업성에 관한 고정된 진리가 있다)에서 구성주의자(전문직업성이라고 할 수 있는 고정된 것은 없다; 오히려 각 문화와 역사 시대에 재현된다)까지 다양했다.

The original working group created an epistemological taxonomy to reflect the different scientific perspectives that could underpin each of these categories. These epistemological positions ranged from positivist (there are fixed truths about professionalism that can be uncovered through empirical scientific research) to constructivist (there is no fixed thing that can be called professionalism; rather it is recreated in each culture and historical period).

마찬가지로, 사회 수준에서 우리는 사회적 계약의 개념(Cruess et al. 2017)과 같은 보편적 개념을 전제로 한 전문직업성의 원리를 식별하고 평가하는 데 관심이 있는 반면, 다른 연구자들은 전문직업성이 권력과 특권과 관련이 있고 사용될 수 있다는 학생들의 인식을 평가하는 데 관심이 있었다. 엘리트(Martimianakis 등)에게 충성심을 강요한다. 2009). 각 포지션에서 흘러나온 평가 관행의 형태는 근본적으로 달랐고 작업 그룹 멤버들은 전문성에 대한 대화를 넓히는 데 중요한 공헌이라고 느꼈다. 

Similarly, at the societal level we found 

• researchers interested in identifying and assessing principles of professionalism assuming universal concepts such as the notion of a social contract (Cruess et al. 2017), while 

• others were concerned with assessing students’ awareness that professionalism was related to power and privilege and could be used to enforce loyalty to an elite (Martimianakis et al. 2009). 

The forms of assessment practice that flowed from each position were radically different and Working Group members felt it was an important contribution to broaden conversations about professionalism.

또 다른 목표는 원래 보고서의 연구 요구가 어느 정도까지 주의를 기울였는지를 조사하는 것이었다(표 2). 

Another goal was to examine the degree to which calls for research in the original report had been heeded (Table 2). 

방법

Method

내용 분석: 전문성 평가 절차

Content analysis: Practices of assessment of professionalism

비블리메트릭 연구

Bibliometric study

레토릭(임피적 담화) 분석: 2011년 보고서 인용 목적

Rhetorical (empirical discourse) analysis: Purposes for citing the 2011 report

기사들은 주제별로 부호화되어 인용문의 수사학적 용도에 따라 분류되었는데, 이는 "empirical"이라 불리는 담론 분석가의 방법론적 접근법이다. 우리는 중요한 담론 분석 방법론의 일부가 될 전문직업성의 특정 담론 구조와 연계된 권력 관계를 분석하지 않았다(Hodges et al. 2008). 수사학적 목적을 위해 인용구를 부호화하는 과정은 다른 곳에서 설명된다(Hodges et al. 2014). 간단히 말해서, 이 방법에는 특정 연구 기사(또는 기사의 집합)를 인용하는 기사의 보관 파일을 확인한 다음 인용 목적을 명시하거나 암시하는 것이 포함된다. 레토릭(retoric)은 언어를 어떻게 사용하여 이러한 관점을 설득하고 사용하는가에 대한 연구로, 분석은 작가/작가가 독자들에게 사고/실행하도록 설득하려고 시도하는 것을 특징짓기 위한 것이다. RP는 이 코딩과 분석을 실시했다.

Articles were coded thematically and classified according to the rhetorical use of the citation, a methodological approach from the family of discourse analysis called “empirical.” We did not analyze the power relations linked to specific discursive constructions of professionalism that would be part of a critical discourse analysis methodology (Hodges et al. 2008). The process of coding citations for rhetorical purposes is described elsewhere (Hodges et al. 2014). Briefly, the method involves identifying an archive of articles that cite a particular research article (or set of articles) and then identifying the stated, or implied, purposes for citation. Rhetoric is the study of how language is used to persuade and using this perspective an analysis aims to characterize what an author/authors are attempting to persuade readers to think/do. RP conducted this coding and analysis.

토론 그룹

Discussion groups

내용 분석: 전문성 평가 절차

Content analysis: Practices of assessment of professionalism

결과 

Results

비블리메트릭 연구

Bibliometric study

대부분의 출판물이 영어로 출판되었지만, 우리는 2011년 보고서를 13개 언어(중국어, 프랑스어, 독일어, 이탈리아어, 일본어, 한국어, 라트비아어, 말레이어, 노르웨이어, 파르시, 폴란드어, 포르투갈어, 스페인어), 40개 국가(영국(30), 캐나다(24), 대만(10), 네덜란드, 사우디아라비아(6e)로 인용한 것을 발견했다.ach)와 스리랑카 및 아일랜드(각각 5개).

Though most publications were in English (83%), we found citations of our 2011 report in 13 other languages (Chinese, French, German, Italian, Japanese, Korean, Latvian, Malay, Norwegian, Farsi, Polish, Portuguese, Spanish) and by authors from 40 different countries (UK (30), USA (27), Canada (14), Taiwan (10), The Netherlands and Saudi Arabia (6 each) and Sri Lanka and Ireland (5 each).

주제발견

Thematic findings

전문성 개념의 심층적인 참여

A deeper engagement with conceptions of professionalism

우리의 최초 보고 당시에는 전문직업성에 관한 출판물이 증가하고 있었지만, 전문직업성의 개념적 기초를 탐구하는 작가는 상대적으로 적었다. 우리는 인식론적 이해의 폭을 넓힐 것을 요구했다(예: 권고사항 1과 2 참조). 그 이후로 몇몇 연구들은 실제로 전문직업성의 역사적 개념적 구조를 탐구했고 정치적이고 사회학적 차원과 같은 복잡성의 층을 더했다. 여기에는 여러 논문(반 Mook 2011; Zijlstra-Shaw 2015)과 세 권(레빈슨 외, 2014; 크루스 외 2016b; 몬로우스와 리스 2017)이 포함된다. 물론, 우리는 우리의 권고가 전문직업성의 개념적 이해에 초점을 맞춘 작가들로 이어졌다고는 생각하지 않는다. 그럼에도 불구하고, 이 발견은 환영받았고 이 영역에서 일반적인 연구의 성숙을 반영한다.

At the time of our original report, publications about professionalism were on the rise, but relatively few authors were exploring the conceptual basis of professionalism. We called for greater breadth in epistemological understanding (see, for example, recommendations 1 and 2). Since that time several works have indeed explored the historical and conceptual constructions of professionalism and added in layers of complexity such as the political and sociological dimensions. This includes several theses (van Mook 2011; Zijlstra-Shaw 2015) and three books (Levinson et al. 2014; Cruess et al. 2016b; Monrouxe and Rees 2017). Of course, we do not assume that our recommendations alone led to authors focusing on conceptual understandings of professionalism. Nevertheless, this finding was welcome and reflects a general maturation of research in this domain.

평가 방법의 분류 체계 확대

Greater use of taxonomies of assessment methods

2011년 보고서에서 우리는 전문직업성을 평가하기 위해 여러 도구를 사용할 필요성을 강조했으며 단일 시점의 측정에 의존하는 것을 주의하라고 권고했다. 문헌의 중요한 발전은 여러 평가 도구를 가장 중요한 틀에 매핑하려는 분류법의 창안이었다. 예를 들어, 일반적인 접근방식은 전문성 평가의 통합 프로그램을 개념화하기 위해 잘 알려진 밀러의 피라미드를 사용하는 것이다. 한 예를 인용하자면, Monrouxe와 Rees(2017년)는 어떻게 평가 도구가 Miller 피라미드의 각 수준에서 사용될 수 있는지, 그리고 각 수준에서 평가하려고 할 때 발생하는 딜레마가 어떻게 나타나는지 보여주며, 교사와 학생 모두의 인용과 함께 설명된다. 이와 더불어 크루스 외 연구진(2016a)은 밀러의 피라미드에 한 층을 더하여 프로페셔널 아이덴티티를 정점으로 만들 것을 제안했다.

In the 2011 report, we highlighted the need to use multiple tools to assess professionalism and cautioned about depending on a single, point-in-time instrument. An important advance in the literature has been the creation of taxonomies that attempt to map multiple assessment tools to an overarching framework. A common approach, for example, is to use Miller’s pyramid, the well-known hierarchy of “knows, knows how, shows and does” to conceptualize integrated programs of assessment of professionalism. To cite one example, Monrouxe and Rees (2017) show how assessment tools can be used at each level of Miller’s pyramid and how dilemmas that arise in trying to assess at each level emerge, illustrated with quotations from both teachers and students. In addition to this, Cruess et al. (2016a) suggested an even higher peak to Miller’s pyramid: professional identity.

평가기기의 심리학적 특성에 관한 연구

A focus on psychometric properties of assessment instruments

기존 측정도구의 신뢰성과 타당성을 이해하는 데 더욱 관심이 쏠리고 있다. 다시 한번 우리는 우리의 보고서 때무넹 이런 연구가 생겼다고 언급하고 싶지 않으며, 그보다는 추세를 문서화하기를 원한다. 이 역시 현장에서 환영할 만한 방향이다. 여러 검토서에서는 많은 수의 출판된 평가도구의 인벤토리를 작성하여 다양한 매개변수를 사용하여 비교하였다.

Increased attention is being given to understanding the reliability and validity of existing instruments. Again we do not wish to imply causality in relation to our report, but rather to document a trend. This too is a welcome direction in the field. Several review papers created inventories of a large number of published instruments and compared them using various parameters. 

예를 들어 로드리게스 외 연구진(2012년)은 응급의학의 전문직업성 평가에 사용되는 모든 측정도구를 신뢰성, 타당성, 실현가능성 측면에서 요약하였다. 가장 야심찬 것은 74개의 도구와 80개의 경험적 연구를 정리하여 신뢰성(내부 일관성 및 측정 오류)과 유효성(내용, 구조, 가설 테스트, 교차 문화, 기준)의 다차원적인 종합 표를 작성하는 중국의 리 외 연구진(2017년)의 검토였다. 저자들은 그들의 것이 인정되고 표준화된 프레임워크("건강 상태 측정도구 선택을 위한 컨센서스 기반 표준" COSMIN")를 사용하여 전문직업성 평가도구의 측정 특성에 대한 첫 번째 체계적인 검토라고 주장한다. 

Rodriguez et al. (2012) for example, summarized all instruments used for the assessment of professionalism in emergency medicine in terms of reliability, validity, and feasibility. Most ambitious was a review by Li et al. (2017) from China in which 74 tools and 80 empirical studies were compiled to create a comprehensive table with multiple dimensions of reliability (internal consistency and measurement error) and validity (content, structural, hypothesis testing, cross-cultural, and criterion). The authors argue that theirs is the first systematic review of the measurement properties of professionalism assessment instruments using an accepted, standardized framework (the “Consensus-based standards for the selection of health status measurement instruments” COSMIN). 

전문직업성이 "건강 상태 측정"이라는 것은 논란의 여지가 있지만 측정 도구를 평가하고 비교하기 위해 표준화된 접근법을 사용하는 것이 유용하다. 이 작품에서 "교차문화적 타당성"의 범주를 추가하는 것 또한, 데이터로 인구밀도가 높지는 않지만, 이 영역에 대한 관심의 필요성에 대한 환영할 만한 대응이다. 이 저자들은 또한 흥미롭게도 전문성 평가를 위해 문헌에서 확인한 모든 도구 중 대다수(55%)가 개념적으로 3가지 큰 제도적 역량 프레임워크로 추적될 수 있다는 점에 주목했다. 바로 미국 내과 위원회, 캐나다 왕립 의사 및 외과의사 대학, 인증이다. 대학원 의학 교육 위원회.

Though it is debatable that professionalism is a “health status measurement”, the use of a standardized approach to evaluate and compare measurement tools is useful. The addition of a category of “cross-cultural validity” in this work, while not highly populated with data, is also a welcome response to the need for attention to this domain. These authors also noted, interestingly, that of all the tools they identified in the literature for the assessment of professionalism, the majority (55%) could be traced conceptually to 3 large institutional competence frameworks: the American Board of Internal Medicine, the Royal College of Physicians and Surgeons of Canada and the Accreditation Council on Graduate Medical Education.

문화와 언어에 대한 집중도 향상

Greater focus on culture and language

아마도 가장 극적인 발견은 많은 문화와 언어에 걸친 전문직업성의 평가를 탐구하는 출판물의 큰 증가였을 것이다. 2011년 보고서에서 우리는 앵글로 색슨/서양의 작가들이 쓴 연구가 대부분이고, 문화간 비교 연구의 거의 전무함을 비판했다. 따라서 일본(니시고리 외 2014), 사우디아라비아(솔리만과 새타르 2018), 인도(모디 외 2014), 이탈리아(콘소르티 외 2012), 에티오피아(판타훈 외 2014), 걸프 아라비아(알레아비안), 이란 및 (Emadzadeh et al. 2014) 스리랑카(Chandratilake 2016)등 언어적, 문화적으로 다양한 맥락에서 전문직업성을 연구하는 30여 편의 출판물을 발견하게 되어 고무적이었다. 이 작업 중 일부는 양적이었으며, 예를 들어 캐나다에서 원래 만들어진 악기인 P-MEX는 일본에서 신뢰성, 유효성 및 문화적 관련성을 평가하였다(쓰가와 외, 2011). 가장 야심찬 것은 만다린어로 출판된 의학 전문직업성에 관한 논문들에 대한 광범위한 검토였다. 비록 저자들이 전문성과 관련이 있는 695개의 기사를 발견했지만, 단지 43개만이 실증적 연구였고, 단지 평가에 관한 몇 안 되는 것이었다. 그럼에도 불구하고 이들 저자는 중국의 정치체제뿐 아니라 유교, 도교 등 중국 전통적 가치관의 역할에 주목했다(왕 외 2016).

Perhaps the most dramatic finding was the large increase in publications exploring the assessment of professionalism across many cultures and languages. In our 2011 report, we criticized a dominance of writing from Anglo-Saxon/ Western authors and the near total lack of cross-cultural comparison studies. Thus it was heartening to find more than 30 publications examining professionalism in linguistic and culturally diverse contexts such as Japan (Nishigori et Korea al. al. 2014), (Kwon et 2017), Saudi Arabia (Soliman and Sattar 2018), India (Modi et al. 2014), Italy (Consorti et al. 2012), Ethiopia (Fantahun et al. 2014), GulfArabic countries (Al-Eraky and Chandratilake 2012), Iran and (Emadzadeh et al. 2014) Sri Lanka (Chandratilake 2016). Some of this work was quantitative, for example, the P-MEX, an instrument originally created in Canada was evaluated for reliability, validity and cultural relevance in Japan (Tsugawa et al. 2011). The most ambitious was a scoping review of papers on medical professionalism published in Mandarin. Though the authors found 695 articles that had something to do with professionalism, only 43 were empirical studies and of those, just a handful about assessment. Nevertheless, these authors drew attention to the role of traditional Chinese values such as Confucianism and Taoism, as well as the political system in China (Wang et al. 2016).

레토릭 분석: 2011년 보고서 인용 목적

Rhetorical analysis: Purpose of citing the 2011 report

영어로 출판된 글의 부분집합은 인용의 목적을 수사적으로 이해하기 위해 code되었다. 간단히 말해서, 2011년 보고서가 인용된 이유는 무엇인가? "대부분의 인용은 전문직업성에 대한 관심을 정당화하는 데 기여했으며(41%), 전문직업성에 대한 평가를 정당화(38%), 서로 다른 국가 및 직업에 대한 전문성을 탐구하기 위한 논쟁(25%) 순이었다. 2011년 보고서의 방법론(2%)과 관련된 인용문은 거의 없었고, 우리의 원래 보고서에 나타난 평가에 관한 개념 전문성이나 권고사항(3%)에 대해 논의하는 사람도 거의 없었다.

The subset of articles published in English was coded to understand rhetorically the purpose of citation. Simply put, “For what reason was our 2011 report cited?” Most commonly citations served 

• to justify attention to professionalism in general (41%), followed by 

• justifying the assessment of professionalism (38%) and third 

• to argue for exploring professionalism in different countries and professions (25%). 

Very few citations involved a study drawing on the methodology of the 2011 report (2%) and few debated the concepts professionalism or recommendations about assessment that appeared in our original report (3%).

Citation은 출판의 모든 부분에 걸쳐 등장했지만 가장 많이 citation이 된 파트는 introduction에 있었다. 가장 자주 인용이 단 한 장(신문 54%)밖에 없었다. 흥미로운 관찰은 실제로 평가에 관한 것이 아니라 전문성에 관한 기사들에 대한 꽤 많은 인용문이었다. 종종 IWG 보고서의 인용과 관련된 전문성의 중요하거나 필수적인 역할에 대한 언급이 있었다.

Citations appeared throughout all sections of publications but the most common location was in the introduction. Most often there was only a single citation (54% of the papers). An interesting observation was the fairly prolific citation of our report in articles that were not actually about assessment, but was about professionalism more generally. Often a statement was made about the valuable or essential role of professionalism linked to a citation of the IWG report.

토론 그룹

Discussion groups

전문성 개념의 진화

Evolution of the concept of professionalism

  전문직업성으로부터 전문적 정체성 형성으로의 더 큰 관심 옮겨가는 것으로 보인다.

  There appears to be greater interest in, and in some cases a shift in language, away from professionalism toward professional identity formation.

  보건 전문가를 불안정한 딜레마에 빠뜨리는 조건에 대한 기관들의 책임을 묻는 것을 포함한 사회적 책임과 시스템 문제들의 역할에 더 많은 관심이 있다.

  There is more attention to the role of social responsibility and systems issues including holding institutions accountable for conditions that put health professionals in untenable dilemmas.

  집단적 역량에 대한 의문이 제기되고 있다: 전문직업성의 개념이 개인에게만 적용되는 것이 아니라 집단에 적용될 수 있는가?

  Questions are being raised about collective competence: can the notion of professionalism be applied to a group rather than just to individuals?

  중요한 관점이 나타났다: 프로페셔널리즘이 어쩌면 엘리트 특권을 유지하기 위한 방어적인 입장인가? "REMEDIATION"은 사회 통제의 한 형태로 어느 정도 기능하는가?

  A critical perspective has emerged: is professionalism perhaps a defensive position to maintain elite privileges? To what extent does “remediation” function as a form of social control?

평가 관행의 변화는 일반적으로 전문성 평가에 영향을 미친다.

Changes in assessment practice generally affect the assessment of professionalism

  평가 자체에서 타당성의 개념이 진화하고 있는데, "배움의" 대신에 "배움을 위한" 평가에 더 큰 역점을 두고 있다.

  The concept of validity in assessment itself is evolving: there is greater emphasis on assessment over time and assessment “for learning” instead of “of learning.”

  개별적 특성의 평가에서 벗어나 집단, 맥락, 시스템을 좀 더 고려하려는 움직임이 있다.

  There is a movement away from assessment of individual traits, toward more consideration of groups, contexts, and systems.

  위임entrustment는 "EPA"이 폭넓게 채택되는 등, 평가에서 보다 두드러진 개념으로, 통합적인 방식으로 전문직업성을 평가해야 한다는 생각을 제기한다.

  Entrustment is a more prominent concept in assessment, such as the widespread adoption of “entrustable professional activities” (ten Cate et al 2016), raising the idea of assessing professionalism in an integrated way

의료 및 의료 교육의 맥락 변화

Changes in the context of healthcare and medical education

  어떻게 학습 환경과 맥락이 행동을 결정하는지에 대해 더 초점이 맞춰지고 있다

  There is a greater focus on the learning environments and how context determines behavior.

  학생과 내과의사의 소진, 직장생활과 개인생활의 균형, 그리고 적절한 근무시간 문제에 관한 방대한 문헌이 있다.

  There is a vast and growing literature about student and physician burnout, wellness and resiliency including balancing work life and private life, and issues of appropriate duty hours.

  숨겨진 커리큘럼과 그것이 어떻게 구조와 문화를 전문적인 행동의 함양에 포함시키는가에 더 많은 초점이 주어진다.

  More focus is given to hidden curricula and how they implicate structures and cultures in the cultivation of professional behaviors.

  전문직업성과 임상 결과 사이의 관계에 대한 관심이 높아지는 등 많은 종류의 결과에 대해 기관들이 점점 더 책임을 지고 있다.

  Institutions are increasingly held accountable for many kinds of outcomes, including increased attention to the relationship between professionalism and clinical outcomes.

  안전문헌의 상승과 문화가 어떻게 "정상화된 일탈"(평상적인 관행이 된 부적응적 행동)을 육성하는가에 대한 새로운 관심이 높아지고 있다.

  There is a rise in safety literature and new attention to how cultures foster “normalized deviance” (maladaptive behavior that has become usual practice).

  비전문화 경향도 있는데, 의료계의 권위와 자율성이 변화함에 따라 전문직업성이 영향을 받을 것이다.

  There are trends toward deprofessionalization: as the authority and autonomy of the medical profession changes, professionalism will be impacted.

결론

Conclusions

마찬가지로, 전문직업성에는 숨겨진 커리큘럼, 전문직과 권력계층, 정치경제적 요소와 같은 관련 개념을 도출하는 제도적 수준의 고려사항에 대해 훨씬 더 많이 쓰여 있다. 이렇게 확대된 관점은 (전문직업성을) 개인의 특성에만 집중하는 것이 단순하다는 것을 보여주며, 문제가 있는 맥락과 시스템 수준 문제로부터 주의를 돌린다. 또한 일반적으로 연구의 정교함에도 진화가 이루어졌는데, 현재 많은 저자들이 잘 기술된 이론적 프레임워크, 인식론적 명확성을 채용하고 있으며, 세계 다른 지역의 연구자들의 연구의 영향을 입증하고 있다. 즉, 연구영역이 성숙되고 있는 것이다.

Similarly, there is much more written about institutional level considerations in professionalism, drawing in related concepts such as the hidden curriculum, professional and power hierarchies, political-economic factors. This broadened perspective shows that focusing only on individual characteristics is simplistic and deflects attention from problematic contextual and systems level issues. There has also been an evolution in the sophistication of the research generally, with many authors now employing well-articulated theoretical frameworks, epistemological clarity and demonstrating the influence of the work of researchers in other parts of the world. In other words, the research domain is maturing.

표 2. 2011 - 2018년 프로페셔널리즘 평가에 관한 연구 권고사항 및 이 주제를 다루는 기사 수

Table 2. 2011 Recommendations for Research on the Assessment of Professionalism and number of articles addressing this theme between 2011 and 2018.

1. 언어문화적 맥락에 걸친 전문성 조사(34)

1. Examine professionalism across linguistic and cultural contexts (34)

2. 의료 전문직 전반에 걸친 프로페셔널리즘의 정의 비교(25)

2. Compare definitions of Professionalism across health care professions (25)

3. 학습에 적합한 전문성 요소의 특성(34)

3. Characterize elements of professionalism amenable to learning (34)

4. 전문성 평가와 기타 평가 형태 간의 연계성 검토(29)

4. Examine links between assessment of professionalism and other forms of assessment (29)

5. 전문성 평가에 환자 관점을 통합/평가 (2)

5. Incorporate/evaluate patient perspectives in assessment of professionalism (2)

6. 임상 작업장에서 전문성 탐구(20)

6. Explore professionalism in clinical workplaces (20)

7. 평가 데이터가 교육의 문화를 변화시킬 수 있는 방법 탐구(23)

7. Explore ways assessment data can change the culture of education (23)

8. 개인 차원의 기대가 기관/시스템 차원의 기대와 충돌할 때 어떤 일이 발생하는지 고려한다(1)

8. Consider what happens when expectations at an individual level conflict with those at an institutional/systems level (1)

9. 혁신적인 데이터 수집 방법 모색 및 professionalism 평가(29)

9. Explore innovative ways to collect data and assess professionalism (29)

---

Review

 

, 41 (3), 249-255

 Mar 2019

Assessment of Professionalism: From Where Have We Come - To Where Are We Going? An Update From the Ottawa Consensus Group on the Assessment of Professionalism

Brian Hodges 1, Robert Paul 2 3, Shiphra Ginsburg 3 4, The Ottawa Consensus Group Members

Affiliations 

Affiliations

• 1a Wilson Centre for Research in Medical Education , University Health Network and Faculty of Medicine, University of Toronto , Toronto , Canada.
• 2b Institute of Health Policy , Management and Evaluation, University of Toronto , Toronto , Canada.
• 3c Wilson Centre for Research in Medical Education , University Health Network and University of Toronto , Toronto , Canada.
• 4d Department of Medicine , Mount Sinai Hospital, University of Toronto , Toronto , Canada.

• PMID: 30696355
 
• DOI: 10.1080/0142159X.2018.1543862

Abstract

Background: In 2009, an International Working Group (IWG) on the Assessment of Professionalism began collaborating and published recommendations in 2011. Nearly a decade later the IWG reconvened to take stock of the state of practice and research in professionalism and the impact of the 2011 report.

Method: A bibliometric study identified all publications on assessment of professionalism since 2011, noting those that cited the original report. Articles were coded to identify the reason for citation and new trends in assessment. Bibliometric data were supplemented by discussion groups held at key international education meetings.

Results: Six-hundred publications on the assessment of professionalism were found in Google Scholar and 164 in Web of Science since 2011, of which 177 (30%) and 84 (50%) respectively cited the original IWG publication. English language publications were most common (83%), but there were articles in 13 other languages by authors from 40 countries. The report was cited commonly to justify attention to professionalism in general (41%), assessment of professionalism (38%) and to explore professionalism in different countries and professions (25%). A thematic analysis showed that of 9 research areas recommended in 2011, 7 of 9 categories were represented with a large increase in research across languages and cultures.

Conclusions: Though the assessment of professionalism remains a challenge the research base continues to grow, especially related to professionalism across cultures and languages, and a large percentage of publications cite the IWG recommendations. There remains a gap in research and writing about patients' perspectives.