의과대학생의 비전문직업적 행동UPB 프로파일의 2차원 모델(Adv Health Sci Educ Theory Pract, 2019)

의과대학생의 비전문직업적 행동UPB 프로파일의 2차원 모델(Adv Health Sci Educ Theory Pract, 2019)

Developing a two‑dimensional model of unprofessional behaviour profiles in medical students

Marianne C. Mak‑van der Vossen1 · Anne de la Croix1,2 · Arianne Teherani3 · Walther N. K. A. van Mook4 · Gerda Croiset5 · Rashmi A. Kusurkar1

도입

Introduction

의대생들의 전문직업적 성과를 평가하는 것은 어렵고 민감한 활동이다(Veloski et al. 2005; Ginsburg et al. 2009). 교육자들이 성적이 저조한 학생들을 낙제시키지 못하는 결과를 초래하는 경우가 많다(Yepes-Rios et al. 2016). Underperforming students를 파악하지 못할 경우, 성적 향상을 돕기 위한 지원을 제공할 수 없다(Ellaway et al. 2017). 의대생들의 열악한 전문직업적 성과를 쉽게 파악할 수 있는 연구기반 도구를 만들고, 교사가 어떤 어려움도 극복하기 위해 추가 지도에서 혜택을 받을 수 있는 학생들을 인정하도록 돕는 것이 학부 의대교육의 중요성이 있을 것이다(Arnold 2002; Hodges et al. 2011).

Evaluating medical students’ professional performance is a difficult and sensitive activity (Veloski et al. 2005; Ginsburg et al. 2009). It often results in educators’ failure to fail underperforming students (Yepes-Rios et al. 2016). When underperforming students are not identified, they cannot be offered assistance to help them improve their performance (Ellaway et al. 2017). It would be important for undergraduate medical education to create research-based tools to facilitate identification of poor professional performance of medical students, and help teachers recognize students who may benefit from extra guidance in order to overcome any difficulties (Arnold 2002; Hodges et al. 2011).

의대생들의 문제행동을 조기에 발견하고 교정하는 것이 필수적이다(Papadakis et al. 2005). 현재의 문헌은 이러한 학습자에게 피드백을 제공하고 교정조치가 필요한 학생을 식별하기 위해 전문적이지 않은 행동을 하는 학생을 탐지하는 전략에 초점을 맞추고 있다. 학생들의 비전문적 행동의 서술자 및 범주에 주의를 기울였는데, 여기에는 참여 부족, 정직성 결여, 타인과의 상호작용 문제, (피드백에 응답하지 않는 것을 포함하여) 서투른 자기인식 등이 포함된다(테헤라니 외). 2009; Mak-van der Vossen et al. 2017).

Early detection and remediation of poor performance of medical students is essential (Papadakis et al. 2005). Current literature has focused on strategies to detect students who behave unprofessionally, aiming to provide feedback to these learners and to identify students who need remediation. Attention has been given to descriptors and categories of students’ unprofessional behaviours, which include poor engagement, lack of integrity, poor interaction with others, and poor self-awareness, including not responding to feedback (Teherani et al. 2009; Mak-van der Vossen et al. 2017).

표준화된 내러티브나 프로파일이 보더라인 퍼포먼스를 보이는 레지던트에 대한 교직원의 의견을 효과적으로 나타낼 수 있다는 연구 증거가 있다(Regehr et al. 2012). 이전의 연구에서는, 학부 의대 교사들이 비전문적 행동을 식별하도록 돕기 위해, 학부 학생들을 위해 그러한 프로파일을 작성했다(Mak-van der Vossen et al. 2016). 이 이전의 연구는 세 가지 방법론적 단계로 구성되었다: 

• 첫째로, 전문적이지 않은 행동의 본보기를 만들기 위해 문헌을 검토하였다. 

• 두 번째 단계에서는 학생의 비전문적 행동을 이 템플릿을 사용하여 채점하고 이후 Latent Class Analysis를 사용하여 그룹화했다. (최전방(의사) 교육자가 첨부 종료 평가 양식과 같은 형태로)

• 마지막 단계에서, 각 클래스에는 해당 클래스의 프로토타입 평가 양식에 대한 서술적 정보에 기초한 설명이 제공되었다. 

Research evidence shows that standardized narratives or profiles can effectively represent faculty opinions of residents with borderline performance (Regehr et al. 2012). In our earlier work, we generated such profiles for undergraduate students, in an attempt to aid undergraduate medical teachers to identify unprofessional behaviour (Mak-van der Vossen et al. 2016). This previous study consisted of three methodological steps: 

• firstly, the literature was reviewed to construct a template of unprofessional behaviours. 

• In the second step, students’ unprofessional behaviours, as described by frontline (physician) educators on end-of-attachment evaluation forms, were scored using this template, and subsequently grouped using Latent Class Analysis. 

• In the last step, each class was provided with a description based on the narrative information on the evaluation forms of prototypes of that class. 

우리는 전문적이지 않은 행동으로 인용된 학생들의 행동을 과대평가한 세 가지 다른 수업이나 프로필을 발견했다. 프로필은 다음과 같았다: 

• 낮은 신뢰성, 

• 낮은 신뢰성, 낮은 통찰력, 

• 낮은 신뢰성, 낮은 통찰력, 낮은 적응력. 

We found three different classes or profiles that hypothetically describe the behaviours of students who are cited for unprofessional behaviour. The profiles were: 

• Poor reliability, 

• Poor reliability and poor insight and 

• Poor reliability, poor insight and poor adaptability. 

세 가지 프로파일의 내용에 기초하여, 세 가지 프로파일 사이의 구별 변수는 자기반성과 적응성을 위한 용량(그림 1과 온라인 부록 #1 참조)으로 기술되었다(Mak-van der Vossen et al. 2016).

Based on the content of the three profiles, the distinguishing variable between the three profiles was described as the Capacity for self-reflection and adaptability (see Fig. 1 and online appendix #1) (Mak-van der Vossen et al. 2016).

전문 교사들의 관점을 추가하면 이론적 개념에 경험 기반 계층을 추가하기 때문에 최종 모델이 실제로 사용될 가능성이 더 높아질 것이다(Pajares 1992; Turner 등). 2009). 전문가의 관점을 통합하는 접근방식은 합의된 그룹 방법의 사용이다. 컨센서스 그룹 방법은 일반적인 합의를 수집하기 위한 체계적인 수단을 제공하며, 지식 있는 참여자의 경험을 추가하여 연구로부터 불완전한 경험적 증거를 강화하는 데도 사용할 수 있다(Humphrey-Murto et al. 2017).

Adding expert teachers’ perspectives will make it more likely that the final model will be used in practice because of the addition of an experience-based layer to a theoretical concept (Pajares 1992; Turner et al. 2009). An approach to incorporating experts’ perspectives is the use of consensus group methods. Consensus group methods offer a systematic means to gather general agreement, and can also be used to strengthen incomplete empirical evidence from research by adding experience of knowledgeable participants (Humphrey-Murto et al. 2017).

방법

Methods

연구 설계

Study design

전문가 패널 방법이라고도 하는 명목 그룹 기술(NGT)을 채용하였으며(Humphrey-Murto et al. 2017; Waggoner et al. 2016) 이를 전문가 패널 토론의 주제 분석과 결합하였다(Ho et al. 2011). NGT에서, 회의 참가자는 특정 개념에 대한 그들의 관점을 공유하고 토론한 후, 이 개념에 대한 그들의 생각을 독립적으로 순위를 매긴다. NGT는 참가자가 조사 영역의 지식 있는 대표자이고, 실제 경험을 가지고 있으며, 다양한 환경에서 왔기 때문에 외부의 영향 없이 진정한 전문가의 의견을 밝히는 데 도움이 된다. 다른 합의 방법(델파이 기법 등)보다 NGT를 선택했는데, 이는 더 많은 아이디어의 발생으로 이어지기 때문이다(Humphrey-Murto et al. 2017). 더욱이, 참가자들이 서로 이러한 생각을 토론함에 따라, 각 참여자들은 유사한 전문지식을 가진 동료들과의 상호작용과 토론에 기초하여 소개된 모든 아이디어에 대한 개인적인 의견을 확립할 수 있다. 이 분야에서 인정받는 전문가여야 할 강력한 조력자가 회의를 주재하여 일부 참가자가 지나치게 그룹 토론을 지배할 가능성을 완화시킨다. NGT의 순위 절차는 최종 순위가 개별적으로 그리고 개인적으로 이루어지기 때문에 민주적인 결과를 보장한다.

We employed Nominal Group Technique (NGT), also called expert panel method, (Humphrey-Murto et al. 2017; Waggoner et al. 2016) and combined this with thematic analysis of expert panel discussions (Ho et al. 2011). In NGT, participants in a meeting share and discuss their perspectives on a certain concept and subsequently independently rank their ideas about this concept. NGT helps to reveal authentic expert opinion without any outside influence, since participants are knowledgeable representatives of the area of inquiry, have practical experience, and come from diverse settings. We selected NGT over other consensus methods (such as a Delphi technique) because it leads to generation of a larger number of ideas (Humphrey-Murto et al. 2017). Furthermore, as participants discuss these ideas among each other, each participant can establish their personal opinions about all introduced ideas based on interaction and discussion with colleagues with similar expertise. A strong facilitator, who should also be a recognized expert in the field, chairs the meeting, mitigating the potential for some participants to unduly dominate the group discussion. The ranking procedure in NGT ensures a democratic result, since final ranking takes place individually and privately.

성찰성

Reflexivity

이 연구는 참여자와 연구자의 살아 있는 경험에 기초하여 지식이 활발히 구성되고, 그들에 의해 그들의 상호작용과 관계의 산물로 공동작성되는 구조성의적 패러다임을 사용하여 설정되었다(Corbin과 Strauss 2008). 이 선택의 의미는 우리의 방법이 참여자, 연구자 및 연구된 현상 간의 상호작용과 담론을 허용해야 한다는 점이었고, 이는 NGT와 주제 분석 방법을 선택하고 이 둘을 결합하도록 만들었다(Varpio et al. 2017). 

This study was set up using a constructivist paradigm, in which knowledge is seen as actively constructed based on the lived experiences of participants and researchers alike, and co-created by them as the product of their interactions and relationships (Corbin and Strauss 2008). The implication of this choice was that our method had to allow for interaction and discourse between participants, researchers and the studied phenomenon, which led us to choose the NGT and thematic analysis methods, and combine these two (Varpio et al. 2017). 

구성주의적 패러다임을 사용하는 것의 또 다른 의미는 참여자들과 연구자들이 이 연구의 결과를 공동으로 만들었음을 인정해야 한다는 것이다. 최종 결과는 참여자들과 연구자들 사이의 공유된 지식과 일상적인 경험에 대한 상호작용과 토론에서 비롯된다.

Another implication of using the constructivist paradigm is that we must acknowledge that participants and researchers co-created the outcomes of this study: the final results originate from the interaction and discussion among participants and researchers about their shared knowledge and day-to-day experiences.

절차 및 참가자

Procedures and participants

2016년 10월부터 2018년 1월 사이에 네덜란드 각 의과대학의 전문가 패널과의 회의를 통해 양적·질적 자료를 수집했다. 각 학교에서는 네덜란드 의학 교육 협회(NVMO)의 프로페셔널리즘에 관한 국가 특별 이익 그룹의 구성원의 도움을 받아 전문가 패널 회의가 하나씩 조직되었다. 이러한 구성원들은 적어도 3년 동안 비전문적 행동을 가진 학생들의 평가 및/또는 교정조치를 담당한 의료 교육자로 정의되는 전문 행동 전문가를 학교에 초빙했다. 이 회원은 그들에게 소위 스노우볼 샘플링이라고 불리는, 참가 자격이 있는 전문가들의 다른 이름을 언급할 수 있는지 물었다. 이 개인들은 추가로 참여하도록 초청되었다. 

Between October 2016 and January 2018, we collected quantitative and qualitative data through meetings with panels of experts from different medical schools in the Netherlands. In each school one expert panel meeting was organised with the help of a member of the national Special Interest Group on Professionalism of the Netherlands Association for Medical Education (NVMO). These members invited professional behaviour experts at their school, defined as medical educators who had been responsible for the assessment and/or remediation of students with unprofessional behaviour for at least three years. The member asked them if they could mention any other names of experts who would be eligible to participate, so called snowball sampling (Berg 1998). These individuals were additionally invited to participate. 

NVMO 회원은 전문가들의 가용성에 근거하여 회의를 조직했다. 참가자는 다양한 환경에서 다양한 관점과 전문지식 관점을 포함하기 위해 임상 및 임상 학부 의학의 교육 중 하나 또는 둘 다에 대한 지식과 실제 경험을 목적으로 표본 추출되었다. 이 전문가들은 정규 일선 교사들보다 훨씬 더 자주 비전문적으로 행동하는 학생들과 접촉해 왔다. 전문가들은 비전문적으로 행동하는 학생들과 직면해 있다. 따라서, 그들은 그러한 학생들의 지도에서 특정한 경험을 발전시켰다. 

The NVMO member organized a meeting based on the availability of the experts. The participants were purposively sampled for their knowledge and practical experience, either or both in preclinical and clinical undergraduate medical education, to include a wide range of viewpoints and expertise perspectives from different settings. These experts had been in contact with students who behaved unprofessionally much more frequently than regular frontline teachers; the experts are confronted with a selection of students who have shown to behave unprofessionally. Thus, they had developed a specific experience in the guidance of such students. 

모든 참가자는 절차에 동의했고, 최종 일정은 가용성에 기초했다. 표본 크기는 연구를 앞두고 결정되지 않았다. 우리는 데이터의 충분성을 목표로 했는데, 이는 데이터가 연구의 목적을 달성할 수 있을 만큼 충분히 풍부해야 한다는 것을 의미한다(Varpio et al. 2017). 그 자료의 충분성은 전체 연구팀에서 합의에 도달함으로써 결정되었다.

All participants agreed with the procedures, and final scheduling was based on availability. The sample size was not determined ahead of the study. We aimed for sufficiency of the data, meaning that the data should be rich enough to accomplish the aim of the study (Varpio et al. 2017). The sufficiency of the data was determined by reaching consensus in the full research team.

자료 분석

Data analysis

A. 순위 결과

A. Ranking results

그룹 아이디어와 각 전문가 패널 회의에서 도출된 순위는 기존 프로필을 정비하는 데 대한 그룹 합의를 나타냈다(그림 1과 온라인 부록 1 참조). MM과 AdlC는 5개 그룹 모두의 그룹 아이디어를 최종 아이디어로 합성했는데, 이 아이디어는 전체 연구팀에 의해 확인되었다. 최종 아이디어의 순위는 각 그룹 아이디어에 대해 모든 참가자의 순위를 합산하여 설정되었으며, 모든 포인트의 백분율로 제시되었다.

The group ideas and the ranking originating from each expert panel meeting represented the group consensus about refining the pre-existing profiles (see Fig. 1 and online appendix #1). MM and AdlC synthesized the group ideas from all five groups into final ideas, which were confirmed by the full research team. The ranking of the final ideas was established by adding up the rankings from all participants for each group idea, and presented as the percentage of all points.

B. 질적 자료

B. Qualitative data

C. 기존 프로필 개념을 최종 모델로 개발

C. Developing the pre-existing profiles concept into a final model

D. 회원 조회

D. Member checking

결과

Results

1차 결과

Primary results

A. NGT 공정 순위 결과

A. NGT process ranking results

5개 그룹은 162개의 개별적인 아이디어를 만들어냈다. 참가자들 사이에서 토론과 순위를 매긴 후, 이 아이디어들 중 37개만이 적어도 한 표 이상을 얻었다. 37개의 아이디어 중 일부는 매우 비슷하여, 다른 그룹의 그룹 아이디어를 10개의 최종 아이디어로 통합시켰다. 세 가지 가장 우선순위가 높은 최종 아이디어는 합쳐서 모든 점수의 60%를 받았다. 프로세스를 생성하고 최종 아이디어로 순위를 매기는 아이디어는 그림 2를 참조하십시오.

The five groups generated 162 individual ideas. After debating and ranking among the participants, only 37 of these ideas got at least one vote. Some of the 37 ideas were very similar, leading to a synthesis of the group ideas from different groups into ten final ideas. Combined, the three most prioritized final ideas received 60% of all points. See Fig. 2 for the idea generating process and ranking into final ideas.

B. 전문가 패널 회의의 주제 분석

B. Thematic analysis of the expert panel meetings

(1) 프로파일과 프로파일을 구분하는 변수, (2) 시간에 따른 프로파일의 동적 특성, (3) 프로페셔널하지 못한 행동에 대한 인과 요인의 세 가지 주요 주제를 찾아냈다. 이 세 가지 주제는 아래에서 논의될 것이다. 

We found three main themes: (1) The profiles and the variable that distinguishes between profiles, (2) The dynamic nature of the profiles over time, and (3) Causal factors for the unprofessional behaviour. These three themes will be discussed below. 

(1) 프로파일과 프로파일을 구분하는 변수

(1) The profiles and the variable that distinguishes between profiles

(2) 프로파일의 동적 특성

(2) The dynamic nature of the profiles

(3) 비전문적 행동의 원인

(3) Causes for unprofessional behaviour

개인적인 사정

Personal circumstances

교육적 맥락에서 본 상황

Circumstances from the educational context

문화적 차이

Cultural differences

표 1에서 NGT-프로세스의 최종 아이디어 10개를 전문가 패널 회의의 인용문으로 예시한다.

In Table 1 the ten final ideas from the NGT-process are illustrated with quotes from the expert panel meetings.

C. 최종 모델 개발

C. Development of the final model

우리는 10가지 아이디어를 통합하여 기존 개념에서 프로파일을 구분하는 변수와 프로파일을 개선하고, 사본의 주제 분석 결과에 세심한 주의를 기울였다. 이 개정 내용은 표 2에 설명되어 있다.

We incorporated the ten ideas to improve the profiles and the variables that distinguish between the profiles in the pre-existing concept, paying close attention to the results of the thematic analysis of the transcripts. These amendments are described in Table 2.

전문가 패널 회의에서 가장 높은 순위의 아이디어는 성찰성과 적응성이 두 가지 구별되는 변수라는 것이었다. 이 때문에 우리는 두 변수로 구별되는 네 개의 프로파일의 2차원 모델을 고안하게 되었다(그림 3 참조). 기존의 프로파일은 우리의 참여자들에 의해 어떤 신뢰성도 정상적인 행동으로 보여지지 않으며, 직업적이지 않은 행동이 우발적으로 발생할 수 있다는 것을 반영한다. 학생이 직업적이지 않은 행동을 인정하고, 그것을 통해 배울 수 있다는 것을 증명하는 것은 중요하다. 따라서 이 프로파일은 최종 모델에서 우발적인 행동으로 설명된다. 기존의 프로파일은 신뢰성이 없고, 어떤 통찰력도 두 개의 별도 프로파일로 나누지 않았다. 한편으로는, 적응할 가능성이 없는 학생의 통찰력을 나타내는 학생들의 행동도, 고군분투하는 행동으로 묘사된 최종 모델에서 나타난다. 반면에, 시스템 게임 행위로 묘사된 최종 모델에서, 통찰력이 부족함에도 불구하고 개선을 보여주는 학생들의 행동. 기존의 프로파일은 신뢰도, 통찰력, 적응력 등이 없으며, 시간이 지남에 따라 반영성이나 적응력을 보여주지 않고 비전문적 행동을 보이는 학생을 기술하는 것은 변경되지 않았다. 최종 모델에서 이 프로파일은 경멸하는 행위로 묘사된다.

• 기존의 프로필 "신뢰성이 없음"은 참여자들에 의해 정상적인 행동으로 보여지며, 비전문적 행동이 우발적으로 발생할 수 있음을 반영한다. 학생이 직업적이지 않은 행동을 인정하고, 그것을 통해 배울 수 있다는 것을 증명하는 것은 중요하다. 따라서 이 프로파일은 최종 모델에서 우발적인 행동으로 설명된다. 

• 기존 프로파일 "신뢰성, 통찰력 없음"은 두 개의 별도 프로파일로 구분되었다. 

• 한편으로는, 적응할 가능성이 없는 학생의 통찰력을 나타내는 학생들의 행동도, 고군분투하는 행동으로 묘사된 최종 모델에서 나타난다. 

• 반면에, 시스템 게임 행위로 묘사된 최종 모델에서, 통찰력이 부족함에도 불구하고 개선을 보여주는 학생들의 행동. 

• 시간이 지남에 따라 반사성이나 적응성을 보여주지 않고 비전문적 행동을 보이는 학생을 기술하는 기존의 프로파일 "신뢰성, 통찰력, 적응성 없음"은 변경되지 않았다. 최종 모델에서 이 프로파일은 경멸적 행위로 묘사된다.

The highest ranked idea from the expert panel meetings was that reflectiveness and adaptability are two distinct distinguishing variables. This prompted us to devise a two-dimensional model of four profiles distinguished by two variables (see Fig. 3). 

• The preexisting profile no reliability is seen by our participants as normal behaviour, reflecting that unprofessional behaviour can accidentally happen. It is important that the student acknowledges the unprofessional behaviour, and demonstrates that he or she can learn from it. This profile is thus described as accidental behaviour in the final model. 

• The pre-existing profile no reliability, no insight has been divided in two separate profiles. On the one hand, students’ behaviour that indicates a student’s insight without the possibility to adapt, in the final model described as struggling behaviour. 

• On the other hand, students’ behaviour that show improvement, despite lacking insight, in the final model described as gaming-the-system behaviour. 

• The pre-existing profile no reliability, no insight and no adaptability, describing a student displaying unprofessional behaviour without showing reflectiveness or adaptability over time, has not been changed. In the final model this profile is described as disavowing behaviour.

D. 회원 확인 결과 유효성 확인

D. Validation of the results by member checking

고찰

Discussion

본 연구의 목적은 다양한 맥락에서 전문직업성 전문가의 의견을 추가하여 기존의 연구 기반 개념을 구체화하여 학부 의대생들의 비전문적 행동 프로파일을 위한 모델을 개발하는 것이었다. 전문가 패널 회의에 참여하는 전문가 교육자들은 기존의 개념을 개선하기 위한 10가지 아이디어를 제안하였다. 결과는 프로필을 구별하는 변수가 반사성과 적응성임을 나타낸다. 게다가, 두 가지 추가적인 프로파일이 나타났다. 바로 게임-시스템 행동과 고군분투하는 행동이다.

The purpose of this study was to refine a pre-existing research-based concept by adding opinions of professionalism experts from different contexts, thus developing a model for unprofessional behaviour profiles of undergraduate medical students. Expert educators participating in expert panel meetings collectively proposed ten ideas to improve the pre-existing concept. The results indicate that the variables discriminating the profiles are reflectiveness and adaptability. Furthermore, two additional profiles emerged: gaming-the-system behaviour and struggling behaviour.

전문가들은 프로필의 유동성을 강조했는데, 이는 시간이 지남에 따라 학생들이 한 프로필에서 다른 프로필로 이동할 수 있다는 것을 의미한다. 놀랍게도, 전문적이지 않은 행동에 대한 구체적인 서술적 서술은 전문가들에게 중요하지 않은 것처럼 보였다. 우리는 이 연구 결과를 사용하여 네 개의 프로파일과 두 개의 구별 변수를 가진 최종 모델을 구성했다. 이 최종 모델은 의료 교육자가 학부생들의 비전문직업적 행동을 인식하도록 유도하여 전문성 역량이 부족한 학생을 쉽게 식별할 수 있도록 해야 한다. 또한 최종 모델은 학습자가 추가 훈련을 받지 못하도록 교정하거나 해고하는 의사결정 과정을 지원할 수 있다.

Experts stressed the fluidity of the profiles, which means that students can move from one profile to another over time. Surprisingly, specific narrative descriptions of unprofessional behaviours appeared not to be important to the experts. We used these findings to construct a final model of four profiles and two distinguishing variables. This final model should guide medical educators to recognize unprofessional behaviours of undergraduate students, thus facilitating the identification of students who underperform in the competency of professionalism. The final model could also support the decision-making process to remediate or dismiss learners from further training.

프로필을 구별하는 두 가지 변수는 성찰성과 적응성인 것으로 나타났다. 이는 성찰 능력이 전문적 행동에 대한 합격과 불합격 사이의 임계값을 설명하는 데 결정적인 역할을 한다는 이전의 연구 결과를 확인시켜 준다(Kalet et al. 2016, 2017; Hoffman et al. 2016) 이러한 초기 연구 결과에 적응성도 재교육을 할 것인지 제적할 것인지에 대한 의사결정 과정의 중요한 지침이 된다는 점을 추가한다. 그러나 여전히 남아 있는 질문은 "이 두 변수는 독립적인가, 아니면 서로 영향을 미치는가?"이다.

The two variables discriminating between the profiles appeared to be reflectiveness and adaptability. This confirms earlier findings that reflective ability plays a role as a determinant for describing the thresholds between pass and fail for professional behaviour (Kalet et al. 2016, 2017; Hoffman et al. 2016) We add to these earlier findings that adaptability is also an important guiding factor in the decision-making process on remediation strategies or dismissal. A question that still remains is: “Are these two variables independent, or do they influence each other?”

두 개의 새로운 프로파일이 설명되었다. 

• 첫 번째 새로운 프로파일은 시스템 게임 행동의 프로파일이었다. 전문가들은 교사들이 분명히 이러한 행동을 인식하기 어렵기 때문에 이러한 행동을 감지하기 어렵다고 표현했다. 시스템적 행동은 전문성의 가치를 개인적으로 내재화하지 않고 외부 규범에 근거한 바람직한 직업적 행동을 보여주는 것으로 보인다. 이것은 시스템의 조작 또는 게임 행위가 전문성이 없는 것인지, 또는 학습 과정의 문턱 단계인지를 질문한다(Neve et al. 2016). 아니면 의과교육이라는 고도로 도전적인 환경 속에서 학생들이 탈진으로부터 자신을 보호하는 방법일까. 우리의 연구결과는 이 상황에 대한 학생들의 인식의 중요성을 보여준다. 학습자가 그것이 목적을 위한 수단이라는 것을 알고 있는 한, 효과적인 전략이 될 수 있을 때까지 페이크할 것이다(Larson과 Yao 2005; Patel et al. 2018). 

• 두 번째 프로필, 고군분투하는 행동은 의료 교육 문헌에서 많이 인정받고 있다(Dyrby et al. 2010). 또한 이 경우, 학생의 상황 인식이 더욱 발전하기 위해 매우 중요해 보인다.

Two new profiles were described.

• The first new profile was the profile of gaming-the-system behaviour. Experts expressed that this behaviour is difficult to detect, since teachers obviously find it difficult to recognize this behaviour. Gaming-the-system behaviour seems to be the display of desired professional behaviour based on external norms, without having personally internalized the values of professionalism. This brings up the question if faking or gaming-the-system behaviour is unprofessional, or a threshold phase in the learning process (Neve et al. 2016). Or is it a way that students protect themselves from burn-out in the highly challenging environment of medical education? Our findings indicate the importance of the students’ awareness of this situation. Fake it till you make it can be an effective strategy, as long as the learner is aware that it is a means to an end (Larson and Yao 2005; Patel et al. 2018). 

• The second new profile, struggling behaviour is widely acknowledged in the medical education literature about burnout (Dyrbye et al. 2010). Also in this case, the student’s awareness of the situation seems crucial for further development.

전문가들은 학생들이 시간이 지남에 따라 한 프로필에서 다른 프로필로 이동할 수 있다고 강조했다. 우리의 연구결과는 성찰력과 적응력이 전문성 결여의 심각성에 대한 결정을 내릴 때 고려해야 할 중요한 측면이라는 것을 보여준다. 피드백에 대한 학생들의 반응과 그 후의 개선은 어떤 프로필이 적합한지fitting 확인하는 것의 일부분이다. 교사들은 전형적으로 스냅 사진을 찍고, 그에 따라 행동한 후, 선택한 프로필을 확인하거나 수정하기 위해 학생의 성적을 재평가한다. 학생들의 프로필은 역동적일 뿐만 아니라, 그것에 대한 교육자들의 의견도 다양하다. 이것은 다른 교육자에 대한 평가를 결합하여 일정 기간 동안 성과를 평가하는 프로그램적 평가 방법이 필요함을 의미한다(Van der Vleuten과 Schuwirth 2005). 이는 또한 교정조치 활동이 정상적인 교육 과정의 일부여야 하며 의료 교육 프로그램에 통합되어야 함을 의미한다(Kalet et al. 2017).

Experts stressed that students can move from one profile to another over time. Our findings indicate that reflectiveness and adaptability are important aspects to consider in making decisions about seriousness of the professionalism deficiency. Students’ response to feedback, and improvement thereafter is part of establishing the fitting profile. Teachers typically take a snapshot, act accordingly, and later re-evaluate the student’s performance to ascertain or modify the profile chosen. Possibly, not only students’ profiles are dynamic, but also educators’ opinions about them. This warrants the programmatic assessment method, in which performance is assessed over a period of time, by combining assessments of different educators (Van der Vleuten and Schuwirth 2005). This also implies that remediation activities should be part of the normal educational process, and integrated in the medical education program (Kalet et al. 2017).

구체적인 행동들에 대한 서술은 문제 행동들을 잘 구분해주지 않는 것discriminative으로 보인다. 아마도 초기 프로파일과 함께 제공된 서술적 서술은 너무 상세하고 맥락에 따라 달라지기 때문일 것이다. 행동에만 치중하는 듯한 일선 교사들과는 달리 전문 교사들은 학생들의 성찰과 향상에 더 많은 관심을 기울인다. 이 발견은 행동, 행동의 귀속성 및 행동의 결과를 가지고 설명하는 detecting underperformance에 관한 기존 문헌에 공헌한다. 우리의 연구결과는 성찰성이 전문성 우려와 관련이 있다는 것을 입증한다(Hoffman et al. 2016). 우발적인 비전문적 행동은 문제가 되지 않지만, 관찰된 비전문적 행동에 대한 피드백 후 성찰의 부족과 개선의 부족은 학생이 교정조치를 필요로 하는 지표로 간주된다.

Descriptions of specific behaviours turned out to not be discriminative. Possibly the narrative descriptions that came with the initial profiles were too detailed and context-specific. In contrast with frontline teachers, who seem to focus on behaviours, expert teachers pay more attention to students’ reflectiveness and improvement. This finding is a contribution to the existing literature about detecting underperformance, in which behaviours, attributions for behaviours and consequences of behaviours have been described (Teherani et al. 2009; Ginsburg et al. 2009; Guerrasio et al. 2014). Our findings confirm that reflectiveness is related to professionalism concerns (Hoffman et al. 2016). Accidental unprofessional behaviour is not seen as problematic, but a lack of reflectiveness and a lack of improvement after feedback on observed unprofessional behaviour are seen as indicators that a student needs remediation.

기존 개념은 일선(의사)-교사의 평가 양식에 대한 전문적 행동 평가에 기초하였으며, 프로필의 최종 모델은 전문 교수진의 의견을 바탕으로 하였다. 우리는 기존의 개념과 최종 모델의 차이가 전문적이지 않은 행동을 인식하는 과정의 여러 단계에서 학생의 비전문적 행동에 대한 [일선(의사) 교육자]와 [전문가]의 접근방식 차이에 의해 설명될 수 있을 것이다(표 3 참조).

The pre-existing concept was based on frontline (physician)-teachers’ evaluations of professional behaviour on evaluation forms, and the final model of profiles is based on opinions of expert faculty. We hypothesize that the differences between the pre-existing concept and the final model could be explained by the different approaches of frontline (physician)-educators and experts to students’ unprofessional behaviour, in several phases of the process of recognizing unprofessional behaviour (see Table 3).

한계

Limitations

교육 및 향후 연구에 대한 시사점

Implications for education and future research

프로필은 일선 교사들에게 유용할 수 있다. 왜냐하면 특정 프로필의 식별은 교사 과정이 끝난 후 추가적 지침guidance을 위해 학생을 추천할 필요가 있는지를 결정하는 데 도움이 될 수 있기 때문이다. 일선 교사들은 신뢰성 문제뿐 아니라 전문 교수진의 전문성 필수 요소로 꼽히는 학생의 성찰력과 적응력에도 초점을 맞춰야 한다. 이러한 프로파일은 교정조치가 적용된 후 교정조치의 감시를 받은 개인이 학생의 개발, 특히 학생들의 성찰성과 적응성을 따르는 데 유용할 수 있다.

The profiles can be useful for frontline teachers because identification of a certain profile can help to decide if a student needs to be referred for further guidance after the teacher’s course has been finished. Frontline teachers should not only focus on reliability issues, but also on a student’s reflectiveness and adaptability, which are seen as essential aspects of professionalism by expert faculty. The profiles can be useful for individuals with remediation oversight to follow the student’s development after remediation has been applied, especially students’ reflectiveness and adaptability.

교육 연구자들은 프로파일이 효과적인 교정조치를 결정하기 위한 수단인지 조사해야 한다. 성찰성 및 적응성은 개발 중인 프레임워크에서 교정조치의 threshold로 통합될 수 있다(Ellaway et al. 2017; Kalet et al. 2017). 본 연구의 결과에 기초하여 결과 효과를 위해 추가적으로 연구해야 하는 각 프로파일에 대해 다음과 같은 교정조치 전략을 상정한다. 

Educational researchers have to investigate if the profiles are a means to determine effective remediation. Reflectiveness and adaptability could possibly be incorporated as thresholds for remediation in frameworks that are under development (Ellaway et al. 2017; Kalet et al. 2017). Based on the findings of our study, we postulate the following remediation strategies for each of the profiles that need to be studied further for outcome effectiveness. 

• 우발적 행동: 학생은 누구나 개인적, 상황적, 문화적 인과적 요인의 결합에 기초하여 실수를 저지를 수 있으며, 그 목표는 개인이 실수로부터 배우도록 하고, 그렇게 함으로써 서로를 지지하고, 이러한 우발적 비전문적 행동으로부터 집단적으로 학습하도록 하는 것임을 알아야 한다. 

• 시스템 게임 행동: 전문직업적 행동과의 관련성을 명확히 하여 전문적 가치를 내재화할 수 있어야 한다. 

• 고군분투하는 행동: 비전문적 행동에 대한 내부적 또는 외부적 인과관계에 대한 지원이 필요하다. 여기에는 의대 밖의 자원에 도움을 받아 guidance가 필요할 수 있다. 멸시하는 행동이 교정하기 가장 어려운 것처럼 보인다. 이러한 학생들은 처음에는 성찰적 능력을 개발해야 하며, 그들에게 제공된 피드백을 바탕으로 대안적인 행동을 시도하도록 동기 부여되어야 한다. 우리는 이러한 가설을 차후의 연구에서 다룰 작정이다. 

• For the profile of accidental behaviour the student needs to become aware that anyone can make a mistake based on the combination of personal, contextual and cultural causal factors, and that the goal is to let the individual learn from mistakes, support each other in doing so, and collectively learn from these accidental unprofessional behaviours. 

• For students who display gaming-the-system behaviour the relevance of professional behaviour needs to be made clear, so that they can internalize the professionalism values. 

• The student with struggling behaviour needs support for the internal or external causal factor for the unprofessional behaviour. This might include guidance from resources outside the medical school. The disavowing behaviour seems to be the most challenging to remediate. These students initially need to develop reflective skills, and be motivated to try out alternative behaviour based on the feedback provided to them. We intend to address these hypotheses in a future study. 

더욱이, 이 프로파일에 맞는 새로운 설명이나 비그넷이 연구를 통해 개발될 수 있다면 흥미로울 것이다. 표 3에 기술된 일선 교사와 전문 교사의 가설적 차이도 연구로 확인할 필요가 있다.

Furthermore, it would be interesting if new descriptions or vignettes that fit the profiles could be developed through research. The hypothesized differences between frontline teachers and expert teachers as described in Table 3 also need to be confirmed by research.

---

, 24 (2), 215-232

 May 2019

Developing a Two-Dimensional Model of Unprofessional Behaviour Profiles in Medical Students

Marianne C Mak-van der Vossen 1, Anne de la Croix 2 3, Arianne Teherani 4, Walther N K A van Mook 5, Gerda Croiset 6, Rashmi A Kusurkar 2

Affiliations 

Affiliations

• 1Department of Research in Education, VUmc School of Medical Sciences, Amsterdam UMC, PO Box 7057, 1007 MB, Amsterdam, The Netherlands. m.mak@vumc.nl.
• 2Department of Research in Education, VUmc School of Medical Sciences, Amsterdam UMC, PO Box 7057, 1007 MB, Amsterdam, The Netherlands.
• 3LEARN! Academy, Vrije Universiteit, Amsterdam, The Netherlands.
• 4Center for Faculty Educators, School of Medicine, University of California San Francisco, San Francisco, USA.
• 5Department of Intensive Care Medicine, Maastricht University Medical Center, Maastricht University, Maastricht, The Netherlands.
• 6Faculty of Medical Sciences, University Medical Center Groningen, Groningen, The Netherlands.

• PMID: 30387053
 
• PMCID: PMC6484089
 
• DOI: 10.1007/s10459-018-9861-y

Abstract

Standardized narratives or profiles can facilitate identification of poor professional behaviour of medical students. If unprofessional behaviour is identified, educators can help the student to improve their professional performance. In an earlier study, based on opinions of frontline teachers from one institution, the authors identified three profiles of medical students' unprofessional behaviour: (1) Poor reliability, (2) Poor reliability and poor insight, and (3) Poor reliability, poor insight and poor adaptability. The distinguishing variable was Capacity for self-reflection and adaptability. The current study used Nominal Group Technique and thematic analysis to refine these findings by synthesizing experts' opinions from different medical schools, aiming to develop a model of unprofessional behaviour profiles in medical students. Thirty-one experienced faculty, purposively sampled for knowledge and experience in teaching and evaluation of professionalism, participated in five meetings at five medical schools in the Netherlands. In each group, participants generated ideas, discussed them, and independently ranked these ideas by allocating points to them. Experts suggested ten different ideas, from which the top 3 received 60% of all ranking points: (1) Reflectiveness and adaptability are two distinct distinguishing variables (25%), (2) The term reliability is too narrow to describe unprofessional behaviour (22%), and (3) Profiles are dynamic over time (12%). Incorporating these ideas yielded a model consisting of four profiles of medical students' unprofessional behaviour (accidental behaviour, struggling behaviour, gaming-the-system behaviour and disavowing behaviour) and two distinguishing variables (reflectiveness and adaptability). The findings could advance educators' insight into students' unprofessional behaviour, and provide information for future research on professionalism remediation.

Keywords: Attitude; Consensus; Faculty; Medical schools; Medical students; Professional misconduct; Professionalism; Undergraduate medical education; Unprofessional behaviour.