프로페셔널리즘 평가: 현재까지의 생각 정리 (Med Teach, 2013)

프로페셔널리즘 평가: 현재까지의 생각 정리 (Med Teach, 2013)

Assessment of professionalism: A consolidation of current thinking

JOHN GOLDIE

University of Glasgow, UK

도입

 Introduction

프로페셔널리즘에 대한 규범적normative 정의에 초점을두면 문맥, 제도 및 사회 경제적 및 정치적 관심사의 영향을 놓치고 행동 규범을 지나치게 강조하게된다 (Martimiankis et al., 2009). 프로페셔널리즘은 역사적인 기간과 문화적 맥락에 따라 달라지는 복합적이고 다차원적인 구인입니다 (Hodges 외. 2011). 그것은 House의 PSSP모델의 세 단계 각각에 대한 요소들을 모두 가지고 있으며, 이 모델은 심리적 사회 심리학, 상징적 국제주의와 성격 및 사회 구조적 관점을 끌어 들이고 3 가지 수준의 분석과 그것들의 상호 작용의 관련성을 인정한다.

The focus on normative definitions of professionalism misses the influence of context, institutions and socio-economic and political concerns and leads to an overemphasis on codes of behaviour (Martimiankis et al. 2009). Professionalism is a complex, multi-dimensional construct that varies across historical time periods and cultural contexts (Hodges et al. 2011). It has elements at all three levels of House’s (1977) PSSP model (Figure 1), which draws on the psychological social psychology, symbolic internationalist and the personality and social structure perspectives, and recognises the relevance of the three levels of analysis and their interactions.

포스트 모더니즘 관점은 덜 결정론적이다. 개인은 고유 한 배경과 기관이 존재하는 현재 상황을 통해서 institution을 이해하는 것으로 간주됩니다. 의미는 전달되기보다는 창조되고 문화는 끊임없이 재창조된다 (Tierney 1997).

The post-modern view, is less deterministic. Individuals are viewed as making sense of institutions through their own unique backgrounds and in the current context in which the institution resides. Meaning is created rather than transmitted and culture is constantly being re-created (Tierney 1997).

단순히 성과를 정의하고 교육 및 학습 경험을 제공하는 것 만으로 의과대학에서의 프로페셔널리즘 및 프로페셔널리즘 행동에 대한 태도에 긍정적 인 영향을 미칠 것이라는 가정을 지지하는 증거는 거의 없다 (Jha 등, 2007). 프로페셔널리즘이 긍정적이고 관련성이있는 것으로 평가되어야한다면 전문성을 평가해야합니다 (Cohen 2006; Stern and Papadakis 2006).

There is little evidence to support the assumption that simply defining outcomes and providing teaching and learning experiences will positively impact on attitudes towards professionalism and/or professional behaviour in medical school or subsequent practice (Jha et al. 2007). Professionalism needs to be assessed if it is to be viewed as both positive and relevant (Cohen 2006; Stern and Papadakis 2006).

평가의 폭

The scope of assessment

프로페셔널리즘 평가에 대한 학술 문헌은 (윤리적 원칙의 상실과 같은 결핍 영역을 확인함으로써), 식별 가능한 긍정적 인 속성과 행동의 집합을 달성하는 직업적 정체성의 개발과 성취에 초점을 두었다. (Baldwin & Daugherty 2006).

The academic literature on the assessment of professionalism has moved from an initial focus on the development and attainment of professional identity (through identifying areas of deficiency, such as the loss of ethical principles) to the attainment of a set of identifiable positive attributes and behaviours (Baldwin & Daugherty 2006). 

일차적인 초점은 프로페셔널 행동의 측정에 있었는데, 이것의 가정은 행동이란 가정, 인지, 태도, 성격 및 특성과 같은 전문성의 기본 차원을 반영한다 것이다. 그러나 사회 -인지 심리학의 증거는 이를 뒷받침하지 않았습니다. 예를 들어, 특히 사회적 압력이 특정한 방식으로 행동하는 것과 같은 외부 제약이 강할 때, 태도attitude가 행동의 예측 인자가 아님이 밝혀졌습니다 (Rees & Knight 2007).

The primary focus has been on the measurement of professional behaviour, the assumption being behaviour is reflective of the underlying dimensions of professionalism;cognitive, attitudinal, personality and characteristics.However, this has not been supported by evidence from socio-cognitive psychology. For example, attitudes have been found to be poor predictors of behaviour particularly when external constraints, such as social pressure to behave in a particular way, are strong (Rees & Knight 2007).

개인의 행동은 기본 태도보다도 학습과 실습 중에 발생하는 상황적 및 맥락적 현상에 영향을 받기 쉽습니다 (Wallace et al 2005; Rees & Knight 2008). 즉, 맥락적 상황을 무시하는 관찰자에 의해 학생들과 의사들은 부당하게 'unprofessional'하다고 분류 될 가능성을 가지고 있습니다. 따라서 "상황적 특이적 프로페셔널리즘 문제, 딜레마, lapse"이라는 개념은 비전문가 행동의 특성 또는 특성에 대한 global 개념보다 더 유용 할 수있다 (Hodges et al., 2011). 따라서 평가에는 전문적 행동의 맥락 의존적 성격이 포함되어야합니다.

An individual’s behaviour is more likely to be influenced by situational and contextual phenomena arising during learning and practice than by their underlying attitudes (Wallace et al 2005; Rees & Knight 2008). This has the potential for students and doctors being unfairly labelled as ‘unprofessional’ in their attitudes by observers who ignore contextual circumstances. The concept of situationally specific professionalism challenges, dilemmas or lapses may therefore be more useful than a global concept of a characteristic or trait of unprofessional behaviour (Hodges et al. 2011). Assessment, therefore, must include the context-dependent nature of professional behaviours. 

professionalism symmetry를 측정하는데 있어서, 즉 조직 계층 구조의 모든 수준이 동일한 방법으로 평가된다면, 자신이 가르치는 대로 실천하지 않는 교수에 의해서 학생이 느끼는 긴장이 완화될 수 있습니다 (Brainard & Brislen 2007).

In measuring professionalism symmetry, i.e. where all levels in the organisational hierarchy are evaluated using the same methods, may help alleviate the tension produced by students being assessed by faculty members who do not always practice what they preach (Brainard & Brislen 2007). 

비슷하게, 행동 측정에 중점을 둘 경우, (attitude는 unprofessional 하지만) professional한 행동을 하는 방식으로 프로페셔널리즘을 'fake'하는 것이 encourage 될 수 있다 (van Mook 외. 2009a). 행동과 태도 모두를 포착하는 평가 방법을 위해서는, 추가 개발 및 테스트가 필요하며, 그 예로는 관측과 함께 태도가 드러나는 대화를 하는 것이 있다. 피드백, 특히 반성을 장려하는 곳에서는 피드백이 정체성 형성을 변화시키고 촉진시킬 수 있습니다 (Goldie 2012).

Similarly, with the emphasis on measurement of behaviours, doctors may be encouraged to ‘fake’ professional behaviours with the potential for doctors with professionally acceptable behaviours, but unprofessional attitudes, being assessed as professional (van Mook et al. 2009a). Assessment methods that capture both behaviours and attitudes require to be further developed and tested, for example observation coupled with conversations during which attitudes are revealed (Rees & Knight 2007). Feedback, particularly where it encourages reflection, may lead to change and promote identity formation (Goldie 2012).

행동 측정에 집중하게 되면 프로페셔널리즘의 기반을 이루는 지식도 무시하게 된다. 학생들이 이 지식을 소유하고 있는지를 적절하게 시험해야 한다 (van Mook et al. 2009b; Hodges et al. 2011).

The concentration on the measurement of behaviour has also ignored the knowledge base of professionalism. It is important that students’ possess this knowledge and that it is adequately tested (van Mook et al. 2009b; Hodges et al. 2011).

사회 / 기관 수준의 프로페셔널리즘은 의료 기관 및 교육 기관 및 광범위한 의료계의 목표, 열망 및 집단 행동의 맥락에서 이해 될 수 있습니다. 이 수준의 평가는 초기 단계입니다. 그것은 직업이 넓은 사회의 기대를 충족시키는 정도를 측정하는 것을 포함 할 것 같다.

Professionalism at the societal/institutional level can be understood in the context of the goals, aspirations and collective behaviours of the healthcare and educational institutions and the wider medical profession. Assessment at this level is in its infancy. It is likely to involve measuring, the extent to which the profession meet the expectations of the wider society 

일반적 평가 원칙

General assessment principles

과거에 (프로페셔널리즘의) Constructs는 안정적이고 일반적이고 다른 Constructs과는 무관하다고 가정했다. 그러나 안정되고 일반적인 Constructs의 개념은 더 이상 견디지 못한다는 것이 입증되었다 (Elstein et al., 1978).

Constructs were assumed to be stable, generic and independent of other constructs. However, the idea of stable and generic constructs has proved no longer tenable (Elstein et al. 1978),

의학 교육 환경에서의 평가는 테스트 조건 하에서 개인의 성과를 측정하는 데 집중되었습니다. 평가는 이상적으로 일상 생활에서 성과를 측정하는 것을 포함해야합니다 (van Mook 외. 2009b).

Assessment in the medical education setting has concentrated on measuring individual’s performance under test conditions. Assessment should ideally involve measuring performance in everyday practice (van Mook et al. 2009b).

사용할 악기를 고려할 때 다음 기준을 고려해야합니다.

In considering which instruments to use, the following criteria need to be considered: 

. Validity 

. Reliability 

. Feasibility 

. Acceptability

실제로 이러한 유틸리티 기준 (Thistlethwaite & Spencer 2008) 사이에는 trade-off가 존재합니다. 고부담 시험에서는 신뢰도에 우선 순위를 두어야 한다.

In practice, a trade-off exists between these utility criteria (Thistlethwaite & Spencer 2008). In high-stake examinations reliability will have higher priority in the choice of assessment method.

프로페셔널리즘 평가 도구

Assessment tools for measuring professionalism

Lynch 외의 초기 연구 (2004) 및 Veloski et al. (2005), Wilkinson et al. (2009)는 프로페셔널리즘 측정을 위한 9 가지 평가 도구 클러스터를 확인했습니다. 박스 1은 각 카테고리의 평가 도구의 예와 함께 다른 클러스터를 나열합니다.

Building on earlier work by Lynch et al. (2004) and Veloski et al. (2005), Wilkinson et al. (2009) identified nine clusters of assessment tools for measuring professionalism. Box 1 lists the different clusters with examples of assessment tools in each category

임상 기술, 능력 및 성능 평가를위한 Miller (1990) 프레임 워크를 사용할 장비를 선택하는 데있어 상대적 위치와 사용법을 설명하는 데 유용합니다 (그림 2).

In choosing which instruments to use Miller’s (1990) framework for the assessment of clinical skills, competence and performance is useful for illustrating their relative position and use (Figure 2).

다양한 상황에서 기존 프로그램의 신뢰성과 타당성을 높이는 것이 새로운 도구 개발에 집중하는 것보다 더 적절할 수있다 (Hodges et al. 2011).

Increasing the depth and the quality of reliability and validity of existing programmes in various contexts may be more appropriate than concentrating on developing new instruments (Hodges et al. 2011).

프로페셔널리즘 평가의 일반적 가이드라인

General guidelines for assessing professionalism 

프로페셔널리즘 평가의 일반적 가이드라인이다.

General guidelines have been developed for assessing professionalism (van Mook et al. 2009b): 

. 프로페셔널리즘은 다차원적인 구조이므로 개인, 대인 관계, 사회 / 기관 수준에서 평가해야합니다.

. Professionalism is a multi-dimensional construct and as such should be assessed at individual, interpersonal and societal/institutional levels.

. 프로페셔널리즘을 측정 할 때 어떤 도구도 모든 차원을 포착 할 수 없습니다. 여러 방법을 결합하여 삼각 측량이 필요합니다 (Thistlethwaite & Spencer 2008). 성과 수준에서의 평가가 중요하지만, 지식, 가치 및 태도도 측정되어야한다 (van Mook et al., 2009b).

. When measuring professionalism, no single instrument captures all its dimensions. Combining multiple methods, triangulation, is necessary (Thistlethwaite & Spencer 2008). While assessment at performance level is important, knowledge, values and attitudes should also be measured (van Mook et al. 2009b).

. 평가의 목적은 명확하게 해야하며, 특히 그것이 형성 목적인지 총괄 목적인지가 명확해야 한다. 형성 평가에 의해 제공되는 피드백은 행동이 변화 할 가능성이있다 (Phelan et al., Papadakis 외 2001, Goldie 2012). 특히 종단적이고 빈번하고 치료를 유도하는 데 도움이 될 경우 그렇다 (Van Luijk 외 2000; Projectteam Consortium Abeundi 2005). descriptive comment을 제공하는 도구를 사용하는 것이 가장 효과적입니다 (Hunt 1992).

. The purpose of assessment must be made clear, particularly whether it is for formative and/or summative purposes. Feedback provided by formative assessment has the potential to change behaviour (Phelan et al. 1993; Papadakis et al. 2001; Goldie 2012), particularly when it is longitudinal, frequent and helps guide remediation (Van Luijk et al. 2000; Projectteam Consortium Abeundi 2005). Using instruments which provide descriptive comments are most effective (Hunt 1992).

. 성과의 선택은 방법의 유용성과 관련이있다. 예를 들어, 동료 평가는 포괄적으로 사용될 때 형성 평가 도구로 잘 작동하지만, 부정적인 측면에서 동료를 판단하지 않으므로 변별력이 낮은 경우가 있습니다 (Arnold 외. 2005).

. The choice of outcome is related to the usefulness of the method. For example, while peer assessment works well as a formative assessment tool when used summatively, it often fails to discriminate due to a reluctance to judge their peers in a negative light (Arnold et al. 2005).

. 평가자를 위한 기준이 norm인지 아니면 criteria인지 결정하십시오. 합의가 없기 때문에 전문성에 대한 구체적이고 운영 가능한 정의 (Stern 2006) 기준이 선호되는 기준이 바람직합니다. 그러나 professional lapse의 빈도가 낮기 때문에 reference standard를 설정하는 것이 어려울 수 있습니다 (Hafferty 2006).

. Decide what the reference for assessors should be – norm or criteria. With the lack of consensus, concrete, operationalisable definition(s) of professionalism (Stern 2006) criteria referenced standards are preferable. However, setting the reference standard can be difficult as the incidence of professional lapses is often low (Hafferty 2006).

. 테스트의 수와 관련 컨텍스트의 수를 늘리면 결과의 신뢰성이 높아집니다. 평가가 현실에 가까워 질수록 더 타당할 가능성이 커진다 (van der Vleuten 1996). 마찬가지로 관측자의 수를 늘리면 안정성이 높아집니다. 평가자는 학생들의 성과를 객관적으로 평가할 수 있도록 훈련받아야 하며, '귀인 편향 (attribution bias)'(관찰 된 행동을 모든 상황에 대해 일반화하려는 경향)을 avoid하는 훈련을 받아야합니다 (Stern 2006).

. Increasing the number of tests and the number of relevant contexts will increase the reliability of the result. The closer the assessment is to reality, the more valid it is likely to be (van der Vleuten 1996). Similarly, increasing the number of observers increases reliability. Assessors need to be trained to rate students’ performance objectively and avoid ‘attribution bias’, i.e. the tendency to generalise observed behaviours to all contexts (Stern 2006).

. 평가에는 이상적으로 갈등을 포함하는 상황이 포함되어야합니다 (Arnold 2002; Hafferty 2006; Stern 2006). 평가는 딜레마에 대한 해결책을 제안할 뿐만 아니라, 그 제안 뒤의 reasoning을 establish해야합니다 (Stern 2006).

. The assessment should ideally include a situation that involves conflict (Arnold 2002; Hafferty 2006; Stern 2006). Assessment should not only include proposing a solution to the dilemma, but also establish the reasoning behind the proposal (Stern 2006).

. 평가는 종단적 궤적을 포함해야합니다. 전문성은 과정입니다 (Hilton & Slotnik 2005; Hafferty 2006). 그것은 의대, 대학원 교육 및 그 이상에서 평가되어야합니다.

. The assessment should incorporate a longitudinal trajectory. Professionalism is a process (Hilton & Slotnik 2005; Hafferty 2006). It should be assessed throughout medical school, post-graduate training and beyond.

. 평가는 훈련의 지속에 관한 결정뿐만 아니라 적절한 guidance, 개선을위한 제안 (Hodges et al 2011)에 의해 뒷받침되어야한다. 후향적 연구 결과, 면허위원회에서 징계 조치에 직면 한 의사들은 그 이전에도 직업적 실수의 발생 빈도가 더 높았다는 증거가 있습니다 (Papadakis 외 2004, Ainsworth & Szauter 2006).

. The assessment should be supported by adequate guidance, suggestions for remediation, as well as decisions regarding continuation of training (Hodges et al 2011). There is evidence from retrospective studies that practicing doctors facing disciplinary action from licensing boards had a higher incidence of prior professional lapses (Papadakis et al 2004; Ainsworth & Szauter 2006).

. 관찰 중에, 그리고 관찰 직후에 피드백을 격려하고 반영해야한다 (van Mook 2009b). 성찰은 개인 학습과 정체성 형성에 기여한다 (Bravilosky et al. 2011; Goldie 2012). 건설적인 피드백의 제공은 전문적 행동을 개선시키는 것으로 나타났다 (Phelan et al., 1993; Papadakis 외 2001; Goldie 2012).

. Feedback, encouraging reflection, should be provided during and directly after the observations (van Mook 2009b). Reflection contributes to individual learning and identity formation (Bravilosky et al. 2011; Goldie 2012). Provision of constructive feedback has been shown to improve professional behaviour (Phelan et al. 1993; Papadakis et al. 2001; Goldie 2012).

. 평가 도구가 새로운 맥락에서 사용되는 경우, 문화적 관련성에 주의를 기울여 re-validation하는 것이 중요하다 (Hodges et al. 2011).

. Where assessment tools are to be used in new contexts, re-validation with attention to cultural relevance is important (Hodges et al. 2011).

---

Med Teach. 2013;35(2):e952-6. doi: 10.3109/0142159X.2012.714888. Epub 2012 Sep 3.

Assessment of professionalism: a consolidation of current thinking.

Goldie J1.

Author information

1

General Practice & Primary Care, University of Glasgow, Glasgow, Scotland, UK. johngoldie@fsmail.net

Abstract

CONTEXT:

Professionalism has become a hot topic in medical education. Professionalism needs to be assessed if it is to be viewed as both positive and relevant.

OBJECTIVES:

The assessment of professionalism is an evolving field. This review aims to consolidate current thinking.

IMPLICATIONS:

Assessment of professionalism has progressed from an initial focus on the development and attainment of professional identity, through identifying areas of deficiency, to the attainment of a set of identifiable positive attributes and behaviours. It is now beginning to recognise the challenge of assessing a multi-dimensional construct, looking beyond the measurement of behaviour to embrace a diversity of approaches.

CONCLUSIONS:

Professionalism should be assessed longitudinally. It requires combinations of different approaches, assessing professionalism at individual, interpersonal and societal/institutional levels. Increasing the depth and the quality of reliability and validity of existing programmes in various contexts may be more appropriate than concentrating on developing new instruments. Increasing the number of tests and the number of relevant contexts will increase the reliability of the result. Similarly increasing the number of observers increases reliability. Feedback, encouraging reflection, can promote change in behaviour and identity formation.

PMID:

 

22938675

 

DOI:

 

10.3109/0142159X.2012.714888