목적적 표본에서 신호를 추론하기: 역량 평가에서 맥락의 역할(Med Educ, 2022)

목적적 표본에서 신호를 추론하기: 역량 평가에서 맥락의 역할(Med Educ, 2022)
Inferring signs from purposeful samples: The role of context in competency assessment
Marise Ph. Born1,2 | Karen M. Stegers-Jager3 | Chantal E. E. van Andel3

 

1 소개
1 INTRODUCTION

임상 교육 동안, 의대생의 실습 적합성은 관습적으로 현실적인 학습 및 작업 환경에서 성과에 대한 편의 샘플을 사용하여 평가된다. 이러한 소위 직장 기반 평가에서 평가자는 예를 들어 환자와 상호 작용하는 동안 특정 상황에서 학생들의 지식, 기술 및 태도를 평가하기 위해 직접관찰을 사용한다. 그러나, 의과대학은 학생이 [특정한 관찰된 상황]에서 어떻게 수행하는지에 관심이 있는 것이 아니라, 학생들이 다른 상황에서 수행할 수 있는 능력에 대해 [일반화하기 위해 관찰]을 사용할 수 있는 정도에 관심이 있다.1 다르게 말하면, CanMEDs 프레임워크에 정의된 것과 같은 [의사로서 노동 시장에 진입하는 데 중요한 역량]에 대한 [학생들의 일반적인 상태standing]에 대한 평가를 제공하는 데 관심이 있다.2 따라서 교육 연구자들 사이에서, [현재 WBA의 편의 표본]이 의과대학이 끝날 때 학생의 [전반적인 의료 역량 프로필을 추정하는 데 적합한지]에 대한 문제가 제기되었다. 임상 평가는 종종 상황에 따라 제한되고 특이적이기 때문이다.

During clinical training, medical students' fitness for practice is customarily assessed using convenience samples of performance in realistic learning and working environments. In these so-called workplace-based assessments, raters use direct observation to appraise students' knowledge, skills and attitudes in a particular situation, for example, while interacting with a patient. However, medical schools are not so much interested in how a student performs in a specific observed situation but rather in the extent to which they can use the observation to generalise about the students' ability to perform in other situations.1 Put differently, they are interested in providing an estimation of students' general standing on the competencies important for entering the labour market as medical doctor such as those defined in the CanMEDs framework.2 Among educational researchers, the issue therefore has been raised of whether the current convenience samples of workplace-based assessments are appropriate for extrapolating a student's overall medical competency profile at the end of medical school, given that clinical assessments are often context bound and specific.

예를 들어, [하나 또는 두 개의 대인관계 상황을 관찰함]으로써 학생들의 [대인관계 기술에 대한 일반적인 결론]을 도출하는 것이 가능한지 궁금해 할 수 있다. 맥락특수성 다음으로 [다차원성]의 문제가 있다: 대부분의 학생-환자 상호 작용은 학생들이 여러 역량을 통합하고 수행할 것을 요구한다.1 작업장 기반 평가는 여러 역량을 통합적으로 평가할 수 있는 샘플을 제공하기 때문에 매력적이지만, 3 이러한 평가는 [개별 역량의 숙련도]를 구별하기 어렵게 만든다. 본 논문의 목표는 작업장 기반 평가의 편리한 샘플링보다 목적적합한 특성 분류법을 사용하여 어떻게 학생들의 일반적인 역량 프로파일을 보다 미묘한 방식으로 고려하기 시작할 수 있는지 조사하는 것이다. 우리는 또한 의사 수행의 어떤 요소가 의대생에서 평가하기에 시기상조이며, 의사 경력의 어떤 순간에 그것들을 측정하는 것이 적절해지는지에 대한 문제를 탐구한다. 심리학 분야에서 차용하여, 우리는 우리의 목표를 [(목적적인) 샘플]로부터 [징후(실습할 준비가 되었다는)를 추론]할 필요성으로 설정한다.

One may, for instance, wonder whether it is possible to draw general conclusions about students' interpersonal skills from the observation of one or two interpersonal situations. Next to context specificity, there is the issue of multidimensionality: most student–patient interactions require students to integrate and perform several competencies.1 Although workplace-based assessments are attractive because they provide samples that enable assessing multiple competencies in an integrated manner,3 these make it harder to distinguish mastery of individual competencies. This paper's goal is to examine how we might begin to consider students' general competency profiles in more nuanced ways by using a taxonomy of characteristics that can lead to purposeful rather than convenience sampling of workplace-based assessments. By implication, we also explore the issue of which elements of physician performance are premature to assess in medical students and at what moment in a doctor's career it will become appropriate to measure them. Borrowing from the discipline of Psychology, we frame our goal as the need to infer signs (that one is ready for practice) from (purposeful) samples.

실제 업무 수행 샘플을 사용하여 전문 역량을 평가하는 것은 [샘플 접근법]의 한 예로 간주될 수 있으며, 이는 대표적인 [성과 또는 행동의 샘플이 미래의 성과 또는 행동의 예측자로 사용되는 상황]을 가리킨다.4 표본 접근법은 일반적으로 [신호 접근법]과 대조된다. [신호 접근 방식]에서, (신호) 선택 맥락에서 일반적으로 적용되는 것처럼, 인지 능력 및 성격 특성(= 기호)과 같은 [구별 가능한 구성, 특성 또는 기술]이 성과를 예측하는 데 사용된다. 비록 건전한 평가가 성과를 예측하기 위해 성격 특성을 사용하는 것을 옹호하지는 않지만, [성적]조차도 인지 능력, 성격 특성 및 학습 능력에 영향을 받는 다면 [복합 측정]으로 간주될 수 있다. 5,6 마찬가지로, 개인에게 전문적인 활동을 맡기 위해 식별된 일반적인 조건은 능력, 성실성, 신뢰성 및 겸손이라는 점에서, [의과대학 시절에 취해진 척도]들이 간접적으로 [성격 특성을 포함할 가능성]이 있음을 시사한다.
The use of samples of performance from real practice to assess professional competence can be regarded as an example of the samples approach, which refers to a situation where a sample of representative performance or behaviour is used as a predictor of future performance or behaviour.4 The samples approach is usually contrasted with the signs approach. In the signs approach, as commonly applied in (personnel) selection contexts, distinguishable constructs, traits, or skills, such as cognitive abilities and personality traits (= signs) are used to predict performance. Although sound assessments do not advocate for the use of personality traits to predict performance, even grades can be considered multifaceted compound measures influenced by cognitive ability, personality traits and study skills.,5, 6 Similarly, the general conditions identified for entrusting individuals with a professional activity are ability, integrity, reliability and humility,7 further suggesting that measures taken during medical school are likely to, indirectly, include personality traits.

두 접근 방식 사이의 중요한 차이는 [샘플 접근 방식]에서 구인이 개별적으로 측정되지 않고 작업을 수행하기 위한 기술 레퍼토리를 입증하는 방법으로 통합 방식으로 측정된다는 것이다. 이 접근법의 강점은 [행동 일관성]의 개념에 있다: 행동 조치의 예측 타당성은 이 행동과 예측되는 미래 행동이 더 비슷할수록 더 높을 것이다.5 그러나, 이것이 바로 의대생들의 일반적인 능력 수준을 예측하는 것이 목표일 때 문제를 복잡하게 만드는 것이다.

• [샘플]은 [특정 상황에서 수행능력]을 예측합니다. 그러면 [측정되지 않은 다른 상황]에서 [수행능력을 일반화]하려면 어떻게 해야 합니까?
• 또 다른 단점은 [척도의 다면성] 때문에 학생이 [특정 상황에서 왜 성적이 떨어지는지] 명확하지 않은 경우가 많다는 것이다. 이렇게 하면 샘플은 진단 도구로서의 가치가 감소합니다.

그렇다면, 문제는 어떻게 우리의 샘플이 우리가 징후를 추론할 수 있도록 할 수 있는가 하는 것입니다.

An important difference between both approaches is that, in the samples approach, constructs are not measured separately, but in an integrated way by means of demonstrating a skills repertoire to perform a task. The strength of this approach lies in the notion of behavioural consistency: the predictive validity of the behavioural measures will be higher the more this behaviour and the to be predicted future behaviour are alike.5 However, this is exactly what complicates matters when the aim is to predict medical students' general competency level.

• Samples predict performance in specific situations, so how do we then generalise to performance in other situations that were not measured?
• Another disadvantage is that due to the multifaceted nature of the measures, it is often not clear why a student underperforms in a particular situation. This reduces the value of samples as diagnostic instruments.

So, the question is how can we ensure that our samples enable us to infer signs?

우리는 작업 분석의 결과로부터 MD의 직무에 필요한 KSAO(지식, 기술, 능력 및 값 8을 포함한 기타 특성)를 정의하는 것부터 시작하는 것이 중요하다고 주장할 것이다. 좋은 소식은 그러한 작업 분석이 이미 의료 분야에 대해 어느 정도 실시되었고, CanMEDs 및 ACGME 역량을 포함한 현재 의료 커리큘럼의 기초가 되는 역량 프레임워크의 정의로 이어졌다는 것이다.2, 9 여기서부터, 문제는 [임상실습 재직 중에 채취한 샘플]이 [다양한 맥락에서 예측될 수 있는 징후를 추론하기에 충분한 정보를 제공]하도록 어떻게 보장할 것인가 하는 것이다. 이 문제를 해결하기 위해, 우리는 스미스의 프레임워크를 사용하여 [개인의 특성]을 소위 보편성, 직업성 및 관계성의 범주로 분류한다. 이를 통해 [표본에서 신호로 추정하려고 할 때 맥락적 요인의 영향이 개별 특성의 범주에 따라 달라진다]는 것을 제안한다.

We will argue that it is important to start with defining the KSAOs (knowledge, skills, abilities and other characteristics including values8) that are required for the job of MD,2 resulting from work analysis. The good news is that—to some extent—such work analyses have already been conducted for the medical field and have led to the definition of competency frameworks underlying the current medical curricula, including CanMEDS and ACGME competencies.2, 9 From here, the question becomes how do we ensure that the samples we take during clerkship provide sufficient information to infer signs that will be predictive across various contexts. To address this issue, we use Smith's framework10 to classify individual characteristics into the so-called categories of universals, occupationals and relationals to propose that the effects of contextual factors when trying to extrapolate from samples to signs are dependent upon the category of individual characteristics.

이를 통해, 본 논문은, [역량의 다양한 측면이 어떻게 서로 다른 일반성을 갖는다고 생각될 수 있는지]를 탐구함으로써, [의과대학에서 직장 기반 평가의 현재 영역에 대한 비판적 검토]와 [평가를 위한 목적적 샘플링 프레임워크]를 제공한다. [스미스의 프레임워크]는 평가와 인원의 선택이라는 맥락에서 개발되었으며 평가 조치의 내용과 향후 작업장 성과와의 관계 사이의 관계를 설명하기 위한 전반적인 관점을 제공한다. 평가에서 유용한 결과를 예측할 수 있는지 여부에 초점을 맞춘 유효성 모델입니다(cf). 보먼 외.11). Smith의 연구를 사용하기 위한 우리의 선택은 의대생들의 평가에서 도출될 수 있는 추론의 유형에 대한 그것의 관련성이다. 메식(Messick)의 것과 같은 다른 타당성 모델 12는 우리의 목적에 유용하기에는 너무 추상적인 것으로 간주되었다.
In doing so, this paper offers a critical review of the current domain of workplace-based assessment in medical school and a framework for purposeful sampling for assessment by exploring how different aspects of competence might usefully be thought of as having different generalisability. Smith's framework was developed in the context of assessment and selection of personnel and offers an overall view to explain relationships between the content of assessment measures and their relationships with future workplace performance. It is essentially a validity model, focusing on whether assessments can predict useful outcomes (cf. Borman et al.11). Our choice for using Smith's work is its relevance for the type of inferences that can be made from assessments of medical students. Other validity models, such as Messick's,12 were viewed as too abstract to be useful for our purposes.

2 작업 분석에서 임상 역량 평가까지
2 FROM WORK ANALYSIS TO ASSESSING CLINICAL COMPETENCIES

임상 역량을 식별하기 위해 일반적인 규칙이 특정 사례 집합에서 파생되는 귀납적 방법을 사용할 수 있다. 어떤 일련의 사례가 적절한지를 정의하기 위해, 종종 어떤 직업에 대한 일련의 중요한 요구 사항을 추출하기 위해 결정적 사건(예외적으로 좋은 행동과 나쁜 행동의 일화적 사건)이 사용된다.13 이것은 알려진 [가장 오래된 작업 분석 기법]이다.14 이 방법은 [최근에 졸업한 의사가 수행할 수 있는 일련의 전문적인 행위]를 공식화하기 위한 최근의 이니셔티브에서 볼 수 있다. 학부 커리큘럼과 관련된 이러한 이니셔티브는 대부분의 대학원 의료 교육 프로그램에서 신뢰할 수 있는 전문 활동(EPA)에 초점을 맞추는 방향으로 전환되었다.16 예에는 임상 상담과 동료와의 커뮤니케이션 및 협업이 포함된다.. 그런 다음 [제안된 전문 활동 세트]를 생성하면 임상 훈련 중에 어떤 샘플이 필요한지 결정하여 학생들의 이러한 활동 실행 능력에 대한 진술을 가능하게 한다. 이 방법에 내재된 위험은 구조물이나 역량이 표본에 의해 적절히 커버되지 않는다는 것이다. 역량은 [사람의 역량](예: 의학 지식, 의사소통 기술 및 전문적 태도)을 설명하는 반면, EPA는 [전문적 실무 단위](예: 복강경 담낭 절제술 수행 작업)이다.16 따라서 표본 추출이 적절하다는 것은 표본이 부족하지 않으며, 관련 없는 측면을 포함하지 않는다는 것을 의미한다.14

To identify clinical competencies, one could use an inductive method in which generic rules are derived from a set of specific cases. To define which set of cases is relevant, critical incidents—anecdotal incidents of exceptionally good and exceptionally poor behaviour—are often used to extract a set of critical requirements for a profession.13 This is the oldest work analysis technique known.14 This method can be seen in recent initiatives to formulate a set of professional activities that recently graduated medical doctors need to be able to execute.8, 15 These initiatives regarding undergraduate curricula followed a shift to focusing on entrustable professional activities (EPAs) in most postgraduate medical training programmes.16 Examples include clinical consultation and communicating and collaborating with colleagues. Generating a proposed set of professional activities then allows one to decide which samples are required during clinical training to enable statements about students' ability to execute these activities. A risk inherent in this method is that constructs or competencies are not adequately covered by the samples. Whereas competencies describe people's capacities (e.g., medical knowledge, communication skills and professional attitude), EPAs are units of professional practice (e.g., the task of conducting a laparoscopic cholecystectomy). 16 Adequate sampling, therefore, implies that samples are not deficient and do not contain irrelevant aspects.14

대안은 연역법으로, [특정 상황에 일반적인 규칙을 적용하는 것]을 의미한다. 임상 훈련의 경우, 이것은 필요한 샘플 세트가 속성 지향적 직무 분석(능력, 특성, 적성 등), 문헌 검토 또는 기존 이론에 기초하여 연역적으로 생성된다는 것을 의미한다.17 네덜란드 의대를 위한 최근 업데이트된 Raamplan에 설명된 CanMEDs 역량에 기초한 학부 의료 훈련을 위한 의도된 학습 결과는 그러한 직무 분석의 예를 제공한다. 그러나 주요 과제는 임상 교육 중에 이러한 모든 학습 결과를 의도적으로 평가하는 것이다. 이것은 학생들의 성적을 평가할 [다양한 상황들의 의도적인 표본 추출]이 필요하다. 
An alternative is the deductive method, which implies applying a general rule to a specific situation. For clinical training, this would mean that the set of required samples is generated deductively on the basis of an attribute-oriented job analysis (competencies, traits, aptitudes; e.g., Cook14), a literature review or an existing theory.17 The intended learning outcomes for undergraduate medical training based on the CanMEDs competencies described in the recently updated Raamplan for Dutch medical schools offers an example of such a job analysis.8 The main challenge, however, is to ensure that all these learning outcomes are intentionally assessed during clinical training. This requires deliberate sampling of various situations in which students' performance is going to be assessed.

사무직에서 연역적 접근법과 귀납적 접근법의 장점과 단점을 고려하여, 우리는 다음을 제안하고 Smith의 모델을 사용하여 하이브리드 방법이 어떻게 만들어질 수 있는지 탐구한다.
Given the described advantages and disadvantages of both the deductive and inductive approaches in clerkships, we propose the following and use Smith's model to explore how a hybrid method might be created:

• 제안 1.모든 학습 성과가 임상실습 기간 중에 의도적으로 평가되도록 하려면, 즉 임상 훈련에서 샘플(작업장 기반) 평가에 대한 연역적 및 귀납적 접근 방식의 조합이 필요하다.
• Proposition 1.To ensure that all learning outcomes are intentionally assessed during clerkships, a hybrid method is needed, that is, a combination of the deductive and inductive approach to sample (workplace-based) assessments in clinical training.

3 보편, 직업 및 관계
3 UNIVERSALS, OCCUPATIONALS AND RELATIONALS

의사로서 일하기 위해 요구되는 역량은 Smith의 모델에서 다양한 범주의 직업 특성에 속합니다.10 그는 [역량이 상황에 따라 달라지는 정도]에 초점을 맞추며 다음의 세 가지 직업 특성 영역을 구분합니다. 

• 보편성, [모든 근로자에게 요구되는 특성]으로 상황에 의존하지 않는 보편성
• 직업성, 즉 [특정 직업에 요구되는 특성]을 의미하지만 따라서 직무 관련 특성에 의존하는 다른 직업에는 해당되지 않는다. 
• 관계성, 즉 [특정 조직 환경]에서 함께 일하는 습관적인 방법을 사용하는 데 필요한 관계입니다.

이제 각 범주에 적합한 역량에 대한 직관적인 예를 제시하고 행동의 샘플에서 부호(일반 역량에 대한 주장)를 추출하는 것이 쉬울지 문제가 있을지를 추론함으로써 이 세 가지 범주에 대해 더 심도 있게 논의할 것이다.

The competencies required to work as a doctor belong to different categories of job characteristics in Smith's model.10 He focuses on the degree to which competencies are context dependent, differentiating between the following three domains of job characteristics: 

• universals, which are characteristics required by all working individuals and thus not context-dependent; 
• occupationals, which refer to characteristics required by certain jobs but not others that, therefore, are dependent on task-related features of an occupation; and 
• relationals, which are required in a specific organisational context with habitual ways of working together.

We will now discuss these three categories more in depth by offering intuitive examples regarding what competencies fit into each category and deducing, thereby, whether extracting signs (claims about general competencies) from samples of behaviour is likely to be easy or problematic.

4 유니버설
4 UNIVERSALS

[보편적 역량]은 여러 직업과 맥락에 걸쳐 관련이 있다. Smith의 인지 능력, 생명력(신체적, 정신적 에너지 18) 및 직업 정신(양심성 포함)에 대한 보편성 외에, 우리는 민첩성(일명 적응성 19)을 오늘날의 보편성으로 간주한다. 신기술과 환자 인구 변화를 통한 업무 변화는 직원들이 훨씬 더 적응력이 있어야 한다. 스미스는 보편성을 [모든 직업에 대해 0이 아닌 예측 타당성을 갖는 구인]으로 간주한다.
Universal competencies are relevant across jobs and contexts. Next to Smith's universals of cognitive capacities, vitality (physical and mental energy18) and work ethos (including conscientiousness), we also regard agility (aka adaptability19) as a present-day universal. Changes in work through new technology and changing patient populations require employees to be much more adaptable. Smith regards universals as constructs that would hold a nonzero predictive validity for all jobs.

그런 다음 문제는 특정 의료 작업 상황에서 '보편적' 행동을 샘플링하여 다른 의료 작업 및 환경에서 이러한 행동을 예측할 수 있는지 여부가 된다. 우리의 전제는 그러한 샘플링이 신뢰성 있고 구성 가능한 방식으로 수행된다면, 14 이것은 실제로 가능하다는 것이다.

• 이 개념을 뒷받침하기 위해, 곤잘레스-뮬레 등의 메타 분석은 많은 직업 유형과 환경에서 일하는 성인들 사이의 [인지 능력]의 측정이 어떻게 일반적인 직업 성과를 강력하게 예측하는지 보여준다.
• Koczwara 등은 종단적 연구에서 다양한 방법(GMA 테스트 및 상황별 측정)으로 측정한 졸업생 간의 [인지 능력]이 모의 환자 상담 및 GP 훈련에 사용되는 작업 관련 그룹 토론과 같은 의료 작업과 관련된 시뮬레이션 연습을 예측했다고 보고했다. 
• 더욱이, He 등의 메타 분석은 직업과 수행 등급 유형에 걸쳐 예측되는 [성실성]의 척도를 보여주는 반면,
• Hojat 등은 [성실성]이 의대와 의료 직업에서 수행에 대한 가장 강력하고 일관된 성격 예측 변수라고 보고한다.

The question then becomes whether sampling ‘universal’ behaviour in a specific medical work situation can predict this behaviour in any other medical work and setting. Our premise is that if such sampling is done reliably and in a construct-valid way,14 this indeed is possible.

• In support of this notion, a meta-analysis by Gonzalez-Mulé et al.20 shows how measures of cognitive ability among working adults across many job types and settings strongly predict general job performance,
• while Koczwara et al.21 in a longitudinal study, reported that cognitive ability among graduates as measured in diverse ways (a GMA test and more contextualised measures) predicted simulation exercises related to medical work, such as a simulated patient consultation and a work-related group discussion used for selection into UK-training for GP.
• Moreover, a meta-analysis by He et al.22 shows measures of conscientiousness to be predictive across occupations and types of performance ratings,
• whereas Hojat et al.23 report this trait to be the strongest and most consistent personality predictor of performance in medical school and in the medical profession.

이러한 발견은 이러한 구인의 예측 타당성이 직업과 작업 환경뿐만 아니라 이러한 [보편성]을 측정하는 방법 전반에 걸쳐 유지된다는 것을 시사한다. 우리는 활력, 민첩성 및 작업 기질과 관련된 메타 분석에 대해 잘 알지 못하지만, 이러한 개념에 대해 유사한 발견을 예측할 수 있다. 따라서 이는 우리를 다음과 같이 이끈다. 
These findings suggest that the predictive validity of these constructs holds not only across jobs and work settings but also across the way these universals are measured. Although we are not knowledgeable of meta-analyses related to vitality, agility and work ethos, we would predict similar findings for these concepts. This, therefore, leads us to the following:

• 제안 2.특정 의료 작업 환경에서 인지 능력, 활력(신체적 및 정신적 에너지), 작업 윤리(양심성 포함) 및 민첩성인 [보편적 역량]의 [신뢰할 수 있고 구성 가능한 표본 추출]은 [다른 의료 작업 환경 또는 의료 직업으로 일반화]될 수 있다.
• Proposition 2.Reliable and construct-valid sampling of universal competencies, which are cognitive capacities, vitality (physical and mental energy), work ethos (including conscientiousness) and agility, in a specific medical work setting is generalisable to any other medical work setting or medical occupation.

이 명제는 [신뢰할 수 있고 구성 가능한 방식]으로만 수행된다면, 보편성을 샘플링하는 방법이 특별히 중요하지 않다는 것을 암시한다. 즉, 증거 수집에 대한 여러 접근 방식(즉, 서로 다른 평가 방법)을 사용할 수 있지만, 모두 타당성 증거에 의해 뒷받침되어야 한다. 따라서 [감독자에 의한 평가]와 같은 전통적인 방법 외에, [상황 판단 시험]과 같은 다른 방법, 동료, 간호사, 환자 및 감독자와 같은 관련 [타인에 의한 360° 평가], 학생이 특정 과제를 실제로 실행하는 대신 [수행하는 방법을 설명하고 묘사]하는 'walk-throughs'가 사용될 수 있다. 평가 방법의 선택에 영향을 미치는 요소는 시간과 비용과 같은 것들에 의해 주도되어 매우 현실적일practical 수 있다. [상황, 맥락, 시간에 걸친 성격 특성의 안정성]은 성격 심리학자들 사이에서 논의의 문제로 남아 있는 복잡한 문제이지만, 26,27 [성실성]은 상대적으로 높은 수준의 안정성을 보여주는 경향이 있는 하나의 성격 구조이며, 이것은 그것이 평가의 일반화를 해치지 않고 많은 상황, 맥락, 시간에 평가될 수 있음을 시사한다.

This proposition implies that the way universals are sampled is not particularly important, provided it is done reliably and in a construct-valid way. In other words, multiple approaches to gathering evidence (i.e., different assessment methods) can be used, but all need to be supported by validity evidence. Therefore, next to traditional methods such as ratings by supervisors, other methods like situational judgement testing,24 360° ratings by relevant others such as colleagues, nurses, patients and supervisors,25 and ‘walk-throughs’ during which students explain and describe how they execute certain tasks instead of actually executing them14 could be used. Factors influencing the choice of assessment method then could be very practical, driven by things such as time and costs. While the stability of personality traits across situations, contexts and time is a complex issue that remains a matter of discussion among personality psychologists,26, 27 conscientiousness is one personality construct that tends to show a relatively high degree of stability, suggesting it is assessable in many situations, contexts and times without harming generalisation of the assessment.

5 직업적
5 OCCUPATIONALS

스미스에 따르면, 직업성은 [특정 직무나 직업과 관련된 특성]이다. 직업의 예로는 특정 직업에서 효과적인 수행을 가능하게 하는 특정 인지 능력(예: 수치적 또는 언어적 기술), 특정 지식 및 특정 성격 특성이 있다. 스미스는 이러한 낮은 수준의 능력이 [일반적인 인지 능력(보편적)과 상당히 겹치는 것]을 보여주며, 성과와 선형적으로 관련이 있다고 보고한다.

According to Smith,10 occupationals are characteristics that are relevant to particular jobs or occupations. Examples of occupationals are specific cognitive abilities (i.e., numerical or verbal skills), specific knowledge and certain personality traits that enable effective performance in a particular job. Smith reports that these lower-level abilities show considerable overlap with general cognitive ability (a universal) and are linearly related to performance.

[직무 클러스터링]은 종종 [직무 또는 직무 그룹에 특정 능력이 필요하다]는 개념으로 시작됩니다. 의사를 위한 [특정 인지 능력]의 예로는 [임상 추론]이 있는데, 이는 진단 및/또는 치료 계획에 도달하기 위해 환자 정보를 해석하는 보건 전문가의 인지 과정으로 간주될 수 있다. 임상 추론은 의심할 여지 없이 [의업을 정의내리는defining 특성]이기 때문에 의사의 ['일반적generic' 직업성occupational]으로 간주될 수 있다. 한편, 특정 의료 분야 간의 관련성이 다르기 때문에 ['특이적specific' 직업성]으로 간주될 수 있는 직업도 있다. 예를 들어 눈과 손의 협응을 생각해 보자. 이 협응은 특히 외과 분야와 관련이 있지만 일반 의학 분야에서는 덜 관련이 있다.
Job clustering often starts with the notion that jobs, or groups of jobs, require specific abilities. An example of a specific cognitive ability for doctors is clinical reasoning, which could be considered as the cognitive processes of health professionals through which they interpret patient information to come to a diagnosis and/or treatment plan. Clinical reasoning is arguably the defining characteristic of the medical profession28 and therefore can be considered as a ‘generic’ occupational for medical doctors. On the other hand, there are also occupationals that differ in their relevance between specific medical domains and therefore may be considered ‘specific’ occupationals. Think for example of eye–hand coordination, which is particularly relevant to the surgical disciplines, but less so for general medicine.

• 제안 3. 의료의 경우, 직업은 모든 의사의 직업과 관련된 [일반적 직업성]과 특정 분야 내의 의사와 관련된 [특이적 직업성]으로 나눌 수 있다.
  Proposition 3.For the medical profession, occupationals can be divided into generic occupationals, which are relevant to all medical doctors' occupations, and into specific occupationals which are relevant for medical doctors within specific disciplines.

[일반적 직업성]의 범주에는 임상 추론, 진실성, 의사소통 기술(동료 및 환자와의 의사소통), 타인에 대한 관심, 스트레스 내성, 자기 중심적 학습 지향 등이 포함되지만 이에 국한되지는 않을 수 있다.
The category of generic occupationals includes, but may not be limited to, clinical reasoning, integrity, communication skills (communication with colleagues and patients), concern for others and for society, stress tolerance, self- and other-focused learning orientation.

[특이적 직업성]의 범주는 특정 분야에 따라 관련성이 있는 역량으로 구성된다. 여기에는 일반적인 직업의 하위 측면(예: 의사소통의 하위 측면으로서의 어린이와의 의사소통), 눈-손 조정/수동적 손재주(수술), 공간 인식(방사선학) 및 경계(마취)와 같은 역량이 포함된다.
The category of specific occupationals consists of competencies that are relevant depending on the specific discipline. These comprise competencies such as subfacets of generic occupationals (e.g., communication with children as subfacet of communication), eye–hand coordination/manual dexterity (surgery), spatial awareness (radiology) and vigilance (anaesthesia).

[일반적 직업성]과 [특이적 직업성] 사이의 차이를 고려할 때, 그렇다면 의과대학은 두 가지 유형 모두에 대해 어느 정도 그리고 어떻게 표본을 추출할 수 있는가 하는 문제이다. 의과대학이 학생들에게 광범위한 미래 업무 상황에 대비하도록 하기 때문에 의과대학 시절에는 임상적 추론과 같은 [일반적 직업성]에 집중하는 것이 논리적으로 보인다. 그러나 모든 의사가 임상 추론에 유능해야 한다는 데 동의하지만, 이를 정의하고, 가르치고, 평가하는 데 어려움이 존재한다.28 여기서 주요 쟁점은 이전과 마찬가지로 맥락 특이성이다. 즉, 임상 과제의 맥락은 학생의 수행과 필요한 임상 추론 유형에 영향을 미칠 것이다. 이는 [[특정 상황에서 (관찰된) 성과]를 통해 [일반적인 직업 임상 추론에서 역량]을 추정할 필요가 있음]을 의미한다. 하지만 어떻게 우리가 의과대학이 끝날 때 '임상추론'과 같은 일반적인 직업에서 일반적으로 유능하다는 것을 증명할 수 있도록 요구되는 구체적인 상황을 결정할 수 있을까요? 우리는 여기서 [샘플링에 대한 하이브리드 접근 방식]을 사용하는 것이 맥락과 과제에 걸친 의대생의 역량에 대한 진술을 개선하는 데 특히 유용할 것이라고 믿는다.
Given the distinction between generic and specific occupationals, the question then is to what extent and how can medical schools sample for both types. As medical schools seek to prepare students for a wide range of future work contexts, it seems logical to focus on generic occupationals, such as clinical reasoning, during medical school. But, while it is agreed that all medical doctors must be competent in clinical reasoning, challenges exist in defining, teaching and assessing it.28 The main issue here, as before, is context specificity29; that is, the context of the clinical task will have an influence on the student's performance and the type of clinical reasoning required. This implies that we need to estimate competence in the generic occupational clinical reasoning by means of (observed) performance in specific situations. But how do we decide on the specific situations that are required for us to be able prove at the end of medical school that a student is generally competent in a generic occupational such as ‘clinical reasoning’? We believe that here the use of a hybrid approach to sampling is likely to be particularly useful to help improve statements about medical students' competences across contexts and tasks.

위에서 언급한 바와 같이, [하이브리드 접근법]은 EPA의 형태를 취할 수 있는 일련의 '중요한critical' 전문 활동을 식별함으로써 [귀납적]으로 시작할 수 있다. 그러나 표본 추출에 유용하게 쓰려면 이러한 활동이 구체적이고 문맥화되어야 한다. 예컨대 [일반적인 활동으로의 임상상담]을 활용하기보다는 [신경학이나 정신과 상담]처럼 의대생들이 임상훈련 중 숙달해야 하는 다양한 유형의 임상상담을 생각할 수 있었다. 최근 핵심 EPA 임상 상담을 위해 [16개의 하위 활동], 이른바 [nested EPA]가 제안되었다. 따라서, 하위 활동 표본 추출이 특정 직업 평가에 특히 관련이 있다고 제안한다. 그 다음 질문은 [[특이적 직업성]이 지역화된localized 활동이나 상황]을 (우리의 궁극적 목표인) [일반적 직업성]에 대한 무언가를 추론하기 위해 어떻게 사용하느냐가 된다. 
As alluded to above, the hybrid approach could start inductively by identifying a set of ‘critical’ professional activities, which could take the form of EPAs. In order to be useful for sampling, however, these activities should be concrete and contextualised. For example, rather than using the generic activity clinical consultation, one could think of the different types of clinical consultations that medical students must master during clinical training, such as the neurological or the psychiatric consultation. Recently, as many as 16 subactivities, so-called nested EPAs, have been suggested for the core EPA clinical consultation.15 We propose, therefore, that sampling subactivities is particularly relevant for assessing specific occupationals. The question then becomes how we subsequently use activities or situations within which specific occupationals are localised, to infer something about generic occupationals, which after all is our goal?

여기서 샘플링 평가 상황에 대한 [연역적 접근법]을 추가하는 것이 유용하다. 설명하자면, 모든 의사들에게 중요하다고 여겨지는 또 다른 기술, 즉 의사소통 기술을 성찰해 보자. Van der Vleuten 등 30은 의사소통 기술이 매우 맥락특이적임을 고려할 때, 의사소통 평가에 대한 [프로그램적 평가 접근 방식]을 사용할 것을 제안하는데, 이는 학생들의 의사소통 기술의 [여러 샘플을 더 오랜 기간에 걸쳐 수집하기 위해 다양한 방법을 사용한다는 것]을 의미한다. 광범위한 샘플링에서 역량을 '일반화'하는 [귀납적 접근법]의 가치에 동의하지만, 우리는 의사소통 역량이 의미하는 것의 정신을 포착하는 활동의 적절한 샘플링을 보장하기 위해 [역량 프레임워크와 이론적 모델에 기초한 체계적이고 연역적인 접근법]이 이 종적 접근법에 중첩되는 것이 중요하다고 생각한다. 

Here, the addition of a deductive approach to sampling assessment situations becomes useful. To explain, let us reflect on another skill that is considered important to all medical doctors: communication. Given that communication skills are highly context specific, Van der Vleuten et al.30 propose the use of a programmatic assessment approach to communication assessment, which implies using different methods to collect multiple samples of students' communication skills over a longer period of time. Although we agree with the value of this inductive approach of ‘generalising’ competence from broad sampling, we think it is important that a systematic, deductive approach based on competency frameworks and theoretical models be overlaid on this longitudinal approach to ensure adequate sampling of activities that capture the spirit of what is meant by communication competence.

또 다른 예로, 스티븐스와 캠피온이 정의한 [팀워크 지식, 기술, 능력의 모델]을 생각해 보자. 갈등 관리 역량, 공유된 문제 해결 역량 및 커뮤니케이션 능력과 같은 대인 관계 역량으로 구성된 이 모델은 팀워크에 기반한 선택 절차에 대한 [상황 판단 테스트]를 연역적으로 설계하는 데 사용되었다. 이상적인 방법으로 활동을 샘플링하려면 환자 조합(즉, 학생이 접하는 환자의 양과 다양성)을 고려해야 합니다. DeJong 등이 제안한 바와 같이, 환자 조합을 개별 학생의 특정 학습 목표와 요구에 맞게 조정하는 것을 고려할 수 있다. 요컨대, [사건이나 상황에서만 시작하는 것]과는 대조적으로, [연역적 접근법]은 [의사소통의 일부 측면]은 [실제 임상 실무에서 직접 관찰하는 전형적 방법]이 아닌 [다른 방법으로 측정되는 것이 더 낫다]는 결론을 이끌어낼 수 있다.

Another example, consider the model of teamwork knowledge, skills and abilities defined by Stevens and Campion.31 This model, consisting of, among others, interpersonal competences like conflict management competences, shared problem solving competences and communication competences, was used to deductively design a situational judgement test for selection procedures based on teamwork.31 To sample activities in an ideal manner, the patient mix (i.e., the quantity and the diversity of the patients encountered by students) must be taken into account. As suggested by De Jong et al., we might want to consider tailoring the patient mix to specific learning goals and needs of individual students.32 In sum, in contrast to starting from incidents or situations only, the deductive approach may lead to the conclusion that some aspects of communication would better be measured in other ways than by the typical way of direct observation in real clinical practice.

• 제안 4. [연역적 접근법]은 [일반적 직업성]의 신뢰할 수 있고 구인-타당한 샘플링을 지원하는 반면, [귀납적 접근법]은 [특이적 직업성]의 [구인-타당한 샘플링]을 지원하는 데 특히 유용하다.
  Proposition 4.A deductive approach supports reliable and construct-valid sampling of generic occupationals, whereas an inductive approach is particularly useful for supporting reliable and construct-valid sampling of specific occupationals.

스미스에 따르면, [어떤 비인지적 역량]은 특정 직업에서 성과를 향상시킬 수 있다. 일반적으로 회계사로서 수행하는데 중요한 속성이 소방관으로서 수행하는데 중요한 속성과 같을 가능성은 낮다. 하지만 의사들에게 어떻게 그럴 수 있을까요? 전문분야의 차이에도 불구하고 모든 의사들에게 중요한 비인지적 역량이 있는가? 그리고 전문분야에 따라 모든 의사가 아닌 일부 의사들에게 중요한 특성이 있는가? [직무 분석]을 사용하여, Patterson 등은 의사가 특정 적성을 가진 전문 분야와 일치하도록 보장하는 데 도움이 될 수 있는 (임상 지식과 학문적 성취를 넘어선) 광범위한 속성을 식별했다. 그들은 연구된 전문 분야 간의 차이점보다 [유사성이 더 많았지만], 서로 다른 전문 분야 전문가들 사이에서의 [인식된 중요성의 차이]는 역량 영역의 맥락 특이성을 나타낸다고 결론지었다. 

According to Smith, certain noncognitive competencies may enhance performance in particular occupations. Generally, it is unlikely that attributes that are important for performing as an accountant are the same as those important for performing as a firefighter. But how is that for medical doctors? Are there noncognitive competencies that are important for all medical doctors, despite their specialty, and are there such characteristics that are important for some, but not all doctors, depending on their specialty? Using job analyses, Patterson et al.33 identified a wide range of attributes beyond clinical knowledge and academic achievement that may help ensure that doctors are matched with a specialty for which they have a particular aptitude. They concluded that although there were more similarities than dissimilarities between the studied specialties, differences in perceived importance by professionals from the different specialties indicate context specificity of competency domains.

예를 들어, 소아과에서는 의사소통과 공감능력이 가장 중요한 것으로 평가되었고, 마취과에서는 진실성과 경계가 가장 높은 평가를 받았다. 소아과와 산부인과에서, 그리고 산부인과에서, 팀 참여는 마취보다 더 중요하게 여겨졌다. 관련성의 차이 다음으로, 전문 분야 간의 맥락의 차이는 요구되는 역량의 질적 차이로 이어진다. 33 이것은 의사소통과 같은 [일반적 직업성]이 [특이적 직업성]으로 분류될 수 있다는 것을 의미한다. 예를 들어, 대화 스타일을 어른에서 아이로 바꿀 수 있다는 것은 환자와의 사이코-성 문제를 논의할 수 있다는 것과는 다르다. 관련 역량 영역에 대한 전문 분야별 상황별 정보를 제공함으로써 다양한 전문 분야의 직무 분석은 평가 표본 추출뿐만 아니라 의대생의 자기 선택 및 진로 선택에도 정보를 제공할 수 있다. 그럼에도 불구하고, 의과대학은 그들의 졸업생들에게 다양한 대학원 훈련 프로그램을 준비시켜야 하기 때문에, 의대생들은 모든 의사들에게 중요하다고 여겨지는 역량에 걸쳐 최소한의 기준을 제시할 필요가 있다. 
즉, [일반적 직업성]은 [한 사람의 경력 초기에 특히 중요하다]는 것을 의미한다. 나중에 특정 전문 분야에서 우선순위로 확인된 도메인(즉, 특정 직업)을 해당 전문 분야의 선택 및 평가 절차를 설계하는 데 사용할 수 있다. 

As an example, within paediatrics, communication and empathy were rated as most important, whereas in anaesthesia, integrity and vigilance got the highest ratings. In both paediatrics and obstetrics and gynaecology, team involvement was considered more important than in anaesthesia. Next to differences in relevance, differences in context between specialties also lead to qualitative differences in required competences.33 This implies that a generic occupational like communication could be broken-down into specific occupationals. For example, being able to switch in conversation style from adult to child interactions is different from being able to discuss psycho-sexual problems with patients. By providing specialty-specific, contextualised information on relevant competency domains, job analyses for various specialties could not only inform assessment sampling but also self-selection and career choice of medical students. Nevertheless, as medical schools must prepare their graduates for a wide variety of postgraduate training programmes, medical students need to demonstrate a minimum standard across competencies that are considered important for all medical doctors, meaning that the generic occupationals are particularly important in the early stages of one's career. Later, domains that are identified as priorities in a particular specialty (i.e., the specific occupationals) could be used for designing selection and assessment procedures for that specialty.

• 제안 5.
• (a) 일반적 직업성은 의대생들을 위한 평가 절차를 설계할 때 특이적 직업성보다 더 많은 비중을 두어야 한다.
  
• (b) 특이적 직업성은 의료 전공의의 선택과 평가 절차에서 일반적 직업성보다 더 많은 비중을 두어야 한다. 그러나 그들은 의대생들의 의학 전공 선택에도 사용될 수 있다.
  Proposition 5.
• (a) Generic occupationals should be given more weight than specific occupationals in designing assessment procedures for medical students.
• (b) Specific occupationals should be given more weight than generic occupationals in selection and assessment procedures for medical residents; they could, however, also be used for medical students' self-selection into medical specialties.

6 관계성
6 RELATIONALS

[관계성]은 [특정 업무 맥락과 관련된 특성]이다. 병원의 어느 부서에서는 의사와 그의 팀 간의 관계가 조화로울 수 있지만, 다른 부서에서는 팀 내의 관계가 매우 소송적litigious일 수 있다. 그러한 차이는 그러한 상황을 탐색하는 데 필요한 기술과 지식이 현저하게 다르기 때문에 성과에 현저한 영향을 미칠 수 있다. 결과적으로, [관계성]은 소위 [개인-조직 적합성]과 관련되며, [특정 개인과 특정 조직 맥락이 일치하는지 여부]를 조사하는 접근법을 요구한다. 개인-조직적 적합성에 대한 방대한 양의 연구가 업무와 조직 심리학자들에 의해 수행되었으며, 주로 가치, 즉 [개인의 가치]가 [특정 조직의 가치]와 일치하는지 여부에 초점을 맞추고 있다. Kristof-Brown 등.34와 Arthur 등.35에 의한 메타분석에 따르면 가치적합은 개인의 직무만족도, 이직률(부정적) 및 조직에 대한 헌신과 관련이 있다. 

Relationals, as Smith10 suggested, are characteristics that are relevant to specific work contexts. In one hospital department, the relationship between a medical doctor and his or her team can be harmonious but in another department relationships in a team may be very litigious. Such differences could have a marked effect on performance as the skills and knowledge required to navigate those situations differ markedly. Consequently, relationals concern the so-called person-organisation fit and demand an approach that investigates whether a specific person and a specific organisational context are a match. A vast amount of research into person-organisation fit has been conducted by work and organisational psychologists, mostly focusing on values, namely, whether a person's values are commensurate with the values of a specific organisation. Meta-analyses by Kristof-Brown et al.34 and Arthur et al.35 report that a values-fit is related to a person's job satisfaction, to turnover (negatively) and to commitment to the organisation.

[가치]의 예는 위신prestige을 위해 노력하고, 강한 성취 지향성을 가지며, 타인의 복지에 대한 헌신에 초점을 맞추는 것등이 있다.

• 특정 학술병원은 선진화, 인지도, 사회적 지위를 중요하게 여기는 사람들을 끌어들이는 선진화와 명성의 가능성을 강조할 수 있다. 
  
• 다른 병원은 환자 지향성이 강할 수 있으며, 위신보다 서비스 지향성을 더 중요시합니다. 
  
• 또 다른 병원에서는, 직원들이 스스로 일하고 결정을 내릴 수 있도록 하는 독립성에 초점을 맞출 수 있으며, 이것은 강한 개인의 책임과 자율성을 선호하는 사람들에게 일치할 수 있다. 

Examples of values are striving for prestige, having a strong achievement-orientation, and a focus on commitment to the welfare of others.36 

• A certain academic hospital may emphasise possibilities for advancement and prestige, which may attract people who find advancement, recognition, and social status important.
• Another may be strongly patient oriented, valuing service orientation more than prestige.
• In yet another hospital, the focus could possibly be on independence, allowing its employees to work on their own and make decisions, which may form a match for those who prefer strong individual responsibility and autonomy.

드 클레르크 외 연구진은 슈바르츠의 일반 가치 모델을 기반으로 다음과 같은 주제를 바탕으로 [조직을 위한 가치 모델]을 개발하였다. 

• 자기 평가(예: 성취, 위신 및 권력), 
  
• 변화에 대한 개방성(예: 자극과 자기 방향의 필요성), 
  
• 자기 초월 (예: 사회적 헌신) 
  
• 보수성 (예: 전통, 적합성) 

Based on the general values model of Schwarz,37 De Clercq et al.36 developed a values model for organisations, grounded on the underlying themes of

• self-enhancement (e.g., achievement, prestige and power),
• openness to change (e.g., need for stimulation and self-direction),
• self-transcendence (e.g., social commitment) and
• conservation (e.g., tradition, conformity).

Gennissen 등이 의대생들을 대상으로 한 최근의 정성적 연구는 이 학생들 사이에서 세 가지 직업 관련 가치를 발견했다. 

• 성취와 자신의 일에 대한 인정과 관련된 직업 지향, 
• 평생 자기 계발에 대한 지향, 
• 일과 삶의 균형을 중시하는 지향

이 세 가지 가치에서 De Clerq 등의 [자기 강화]와 [변화에 대한 개방성] 테마는 쉽게 인식될 수 있다. 향후 연구는 De Clercq 등의 가치 모델, 즉 [자기 초월]과 [보수성]의 두 가지 다른 주제가 의대생에게 어느 정도 관련이 있는지 조사할 수 있다.

A recent qualitative study among medical students by Gennissen et al.38 found three career-related values among these students, namely,

• a career orientation concerned with achievement and recognition of one's work,
• an orientation towards lifelong self-development and
• an orientation valuing work–life balance.

In these three values, De Clercq et al.'s themes of self-enhancement and openness to change can easily be recognised. Future research could investigate to what extent both other themes in De Clercq et al.'s value model, that is, self-transcendence and conservation, are relevant for medical students.

가치의 차이 외에도, 작업 환경은 높은 자원 대 낮은 자원 환경, 전자 성과 모니터링의 부재 또는 존재, 요구하는 속도와 같은 구조적 측면에서 다를 수 있다. 20, 39 이러한 요인들은 [조직과 개인에 의한 직무와 기술의 해석]에 영향을 미칠 수 있으며, 따라서 [이러한 해석이 공유되는 정도]에도 영향을 미칠 수 있다. 스미스에 따르면, [가치]와 [직무에 대한 공유된 해석]은 관계 범주에서 가장 관련성이 높은 하위 영역에 속한다.
Next to differences in values, work settings may differ in structural aspects, such as a high- versus low-resource environment, the absence or presence of electronic performance monitoring and needed speediness.20, 39 Such factors may influence the interpretation of the tasks and skills of the job by the organisation and by the individual, and thus the degree to which this interpretation is shared. According to Smith,10 values and the shared interpretation of the job are among the most relevant subdomains in the category of relationals.

우리는 가치, 이상과 원칙, 직업/과제 해석과 같이, [관계성] 측면에서 [특정 의료 환경과 의대생 사이의 일치성]이 학생의 [미래 업무 관련 웰빙]과 [특정 맥락에서 자신의 의료직에 대한 헌신]을 위해 중요하다고 믿는다. 그러므로, 임상실습은 학생들에게 [가치 프로필]의 관점에서 그들이 [일치하는 것을 경험하는지 여부]를 탐구할 기회를 주어야 한다. 향후 특정 병원 부서의 선발 절차에서 이 경기가 역할을 할 수 있다. 예를 들어, 의대생의 일과 삶의 균형 가치는 다른 병원 부서보다 한 병원 부서에 더 적합할 수 있다. 관계성에 초점을 맞추어 다음과 같이 제안한다.
We believe that congruence between a specific medical setting and the medical student in terms of relationals—values, ideals and principles and job/task interpretation—is important for the student's future work-related well-being and the student's commitment to one's medical job in a specific context. Therefore, clerkships should give students the opportunity to explore whether they experience a match in terms of their value profile. In future selection procedures in a specific hospital department, this match could play a role. To illustrate, it may well be that the work–life balance values of a medical student are more fitting for one hospital department than for another. Focusing on relationals, we therefore propose that:

• 제안 6.
• (a) 여러 설정(다양한 병원, 저자원 및 고자원 위치 등)에 걸친 임상실습은 의대생에게 한 편으로는 [De Clercq 등의 업무 관련 가치 모델과 직무/과제 해석 측면에서 그들의 가치] 사이에서 적합도를 경험할 기회를 주고,   
  다른 한편으로 [다른 설정을 특징짓는 값과 직무/과제 해석]사이에서 적합도를 경험할 기회를 줘야 한다.
  
• (b) 가치 적합도와 공유 직무 해석 적합도는 특정 병원 환경에 대한 (자체) 선택에 영향을 미칠 수 있다.
  
• Proposition 6.
• (a) Clerkships across several settings (different hospitals, locations with low- and high resources, etc.) should provide medical students the opportunity to experience the degree of fit between
  • their values in terms of De Clercq et al.'s work-related values model and their job/task interpretation on the one hand, and
  • the values and job/task interpretations that characterise different settings on the other hand.
• (b) The degree of value-fit and shared job-interpretation fit might inform (self-)selection for specific hospital settings.

이를 위해 의대생들은 임상연수를 진행하면서 [스스로 평가한 가치관]과 [직무해석 프로필]을 개발해야 한다고 생각한다. 게다가, 우리는 그들이 특정 임상실습을 할 를 때, 그들이 그러한 환경에서 편안함을 느낄 수 있는지 여부를 성찰할 수 있도록 [[그들의 가치]와 [직무 해석] 사이의 [적합성 정도]]와, [그 특정한 맥락에 특징적인 가치와 직업 해석]에 대해 숙고할 것을 조언한다.
To this end, we think that medical students should develop their own self-assessed values and job interpretation profile39 while they conduct their clinical training. Furthermore, while they follow a particular clerkship, we advise that they reflect upon the degree of fit between their values and job interpretation, and the values and job interpretations that are characteristic for that specific context, to be able to reflect whether they would be able to feel at home in such an environment.

[관계성]과 관련된 중요한 이슈는, 의대생의 '적합fit' 척도가 [학생과 특정 병원 단위의 문화적 맥락 사이의 일치]를 포함하는지 여부이다. 이 적합성은 학생이 특정 감독자, 동료 팀 또는 성별, 생활 방식 또는 언어의 측면에서 [특정 인구학적 동질성 또는 이질성]을 갖는 '케미'를 의미할 수 있다. 우리는 (팀 및 병원 환경에 대한 학생의 적합도의 등급을 포함한) 관계성 표본을 다른 의료 작업(상황, 전문 분야, 병원)에 대해 일반화하는 것은 특히 위험하며, 지나친 단순화이기에 시도해서는 안 되는 것이라고 믿는다. 그 이유는 그러한 평점은 [주어진 작업 상황]에 대해서 [매우 맥락적이고 독특할 것]이기 때문이다.

An important issue connected to relationals is whether a measure of a medical student's ‘fit’ includes a match between a student and the cultural context of a specific hospital unit. This fit may refer to the student's chemistry with a specific supervisor, the team of colleagues34 or with a certain demographic homogeneity or heterogeneity in terms of gender, lifestyle or language.34 We believe that generalisation from samples of relationals, including ratings of the student's fit with the team and the hospital climate, to other medical work (contexts, specialisms, hospitals) to be particularly perilous, an oversimplification that should not be attempted. The reason for this is that such ratings will be too contextualised and unique for the work situation in which they were given.

이러한 평정 요소의 전형적인 예는 [호감]이다. 심리학에서의 대인 인식 연구는 [호감]이 소위 [관계 효과]의 영향을 강하게 받는, 타인에 대한 얼마나 근본적인 판단fundamental judgement인지를 명확하게 보여준다. [이 효과는 [특정 평가자]과 [특정 피평가자]의 조합에 고유]하므로, 정의에 따라 특정 개인의 특정 기준 밖에서는 관련이 없다. 특정 병원 단위의 등급을 일반화할 때 잠재적으로 복잡한 또 다른 요인은 [신뢰]의 관계이다. Jones와 Shah41 그리고 Campagna42 (Kenny40에서 인용된 바와 같이)에 의한 연구에서, [더 오랜 시간 동안 함께 일한 사람]들의 경우, 평가자의 신뢰도 등급의 변동의 큰 부분은 관계 변동에 기인할 수 있는 것으로 보인다. 다시 말해, 신뢰는 평가자와 피평가자의 Dyad에게 고유합니다. 따라서 특정 병원 단위에서 상당 기간 일자리 제의를 받아들일 때가 되어야만 해당 단위에만 고유한 관계가 관련성을 갖게 된다. 이러한 사고방식에 따라, 우리는 다음을 제안한다.

A classic example of such a rating component is liking. Interpersonal perception research from within psychology40 clearly shows how liking is a fundamental judgement made about others which is strongly influenced by the so-called relationship effect. This effect is unique to the combination of a specific rater and a specific ratee and therefore, per definition, is not relevant outside that particular dyad of individuals. Another potentially complicating factor in generalising ratings from a specific hospital unit is the relational of Trust. From studies by Jones and Shah41 and Campagna42 (as cited in Kenny40), it appears that for people who have worked together for longer periods of time, a large part of the variance in ratings of ratee's trustworthiness could be attributed to relationship variance. In other words, trust is unique to the dyad of the rater and the ratee. Therefore, only when it is time to accept a job offer at a particular hospital unit for a considerable period of time will relationals, which are unique to that unit, become relevant. Following this line of thinking, we propose the following:

• 제안 7. 
• (a) 임상실습 기간 중, 평가자는 [관계 효과와 관련된 요소(예: 호감, 신뢰 및 케미)]에 대한 등급을 부여하지 않아야 하며, [가치적합 및 직무 해석적합 평가]를 하지 않아야 한다.
• (b) 그러나 이러한 [관계 효과]는 의과대학 졸업생이 [구직 신청을 하는 시점]에서는 관련성이 매우 높아진다.
• Proposition 7.
• (a) During clerkships, raters should refrain from giving ratings which include elements associated with the relationship effect (e.g., liking, trust and chemistry) and from value-fit and job interpretation fit evaluations.
• (b) Such relationship effects, however, become highly relevant at the point in time when the medical graduate applies for a job.

따라서 임상실습 자격 동안 평정을 할 때, 평가자는 [전문 역량에 대한 등급에 영향을 미칠 수 있는 관련 없는 요인(예: 호감 및 내그룹 선호도)]을 인지하도록 훈련해야 한다.

When providing ratings during clerkships, therefore raters need to be trained to become aware of nonrelevant factors that may influence their ratings of professional competences (e.g., liking and in-group favouritism43).

7 Smith의 세 가지 범주 통합
7 INTEGRATING SMITH'S THREE CATEGORIES

본 논문은 의사로서 일하기 위해 필요한 세 가지 다른 범주의 특성이 구분될 수 있다는 주장으로 시작했다.

• [보편성]은 모든 직업과 따라서 의사를 위한 것이다.
• [직업성]은 모든 의사 직무에는 필요하나, 다른 직무에는 필요하지 않은 특성을 가리키며, 의사의 하위 집단에만 관련된 [특성의 하위 집합]을 포함한다.
• [관계성]은 특정 상황에서 효과적인 수행을 가능하게 하는 특성을 가리킨다. 따라서 효과적인지 여부는 특정 조직에 따라 달라진다. 10

보편성에서, 직업성, 그리고 관계성으로 올수록, characteristics는 더 맥락 의존적이 된다. 이것은 능력에 대한 주장을 일반화하기 위해 [임상실습 자격 동안 등급의 샘플을 사용하는 것]이, 보편성universals들에게는 가장 쉽지만, 관계성relationals에 대해서는 주장된 귀납(또는 일반화를 자제)가 필요하다는 것을 의미한다.
This paper started off by arguing that three different categories of characteristics required to work as a doctor can be distinguished.

• Universals hold for all jobs and therefore also for medical doctors;
• occupationals refer to characteristics required for all medical, but not other, jobs and include a subset of characteristics that are relevant only to subpopulations of medical doctors;
• relationals, in contrast, refer to characteristics that enable effective performance in particular settings, and which therefore are effective or not dependent on the specific organisation.10 

Moving from universals to occupationals to relationals, the characteristics become more context dependent. This means that using samples of ratings during clerkships to generalise to claims about competence will be easiest for universals, but will require argued induction—or refraining from generalisation—for relationals.

한 가지 주제인 정서affect는 이 모형을 사용하여 분류하기 어려운 상태로 남아 있습니다. 언뜻 보면, affect-relevant 상황은 관계적으로 보일 수 있다.

• 예를 들어, 주어진 환경이 [작업 과부하 대 최적 작업량], [목표 파괴적 사건 대 중단 없는 목표 달성], 그리고 [권위주의적 대 개방적인 분위기]에 대해서 어떻게 특징지어지는가?
• 에이전트성이 높은 학생(성취 지향)의 경우 특정 병원 풍토가 높은 모호성, 통제력 상실 및 업무 완료 장애로 특징지어지는지, 그리고 이러한 문제에 대처할 수 있는지 여부를 아는 것이 중요하다.
• 이와 유사하게, 교감 지향성이 높은 학생들은 의사소통의 갈등과 환자와의 상호작용의 문제에 대해 특정 병원 문화가 어떻게 평가되는지, 그리고 그들이 그러한 문제에 대처할 수 있는지 알아야 한다.

One topic, affect,44 remains hard to categorise using this model. At first sight, affect-relevant situations may appear to be relationals.

• For instance, to what extent is an environment characterised by work overload versus an optimal work volume, by goal disruptive events versus uninterrupted goal attainment, and by an authoritarian versus an open climate?
• For students who are highly agentic (achievement oriented), it is important to be knowledgeable of whether a specific hospital climate is characterised by high ambiguity, loss of control and obstacles in completing their work tasks and whether they are able to cope with such issues.
• Similarly, students who are highly communion oriented need to know how a particular hospital culture rates on issues of conflict in communication and problems in interactions with patients, and whether they can cope with such issues.

그러나, 우리가 보기에, 이러한 상황에 대한 정서적 반응affective reactions이 모든 의료 직업에 걸쳐 나타나는 특성일 가능성이 있는지, 특정 전문 분야 간에 차이가 있는지, 또는 특정 병원 부서 내의 분위기에 특이적인 것인지의 여부는 현 시점에서 반드시 명확하지 않다. 일단, 우리는 이러한 업무 특성을 교육생의 영향에 대한 보편적인 주장을 이끌어내기보다는 입사 지원 시 평가해야 할 [관계]로 취급할 것을 제안한다.

However, to our view, it is not necessarily clear at this point whether affective reactions to such situations44 are likely to be characteristics displayed across all medical occupations, differ between certain medical specialties, or are specific to the climate within a certain hospital department. For now, we suggest treating these work characteristics as relationals to be assessed during job applications rather than drawing universal claims about trainees' affect.

Smith10은 다른 맥락, 즉 인사 선택에 대해 일련의 선발 조치의 [예측 타당성predictive validity]이란 [척도에 의해 적용되는 특성 영역]과 [측정되는 도메인]의 함수라고 제안했다. 이를 위해 그는 대수 공식을 개발했다. 수정된 공식 버전은 우리의 목적, 즉 임상 훈련 중 학생들의 성과 평가에 대한 생각을 안내하는 데 사용될 수 있다. 이 개념에 따라, 우리는 다음과 같이 이 공식의 수정을 도출했다.

For a different context, namely, personnel selection, Smith10 proposed that the predictive validity of a set of selection measures is a function of the domain of characteristics covered by the measures and the accuracy with which the domain is measured. To this end, he developed an algebraic formula. A modified version of the formula can be used for our purposes, namely, to guide thinking about performance appraisal of students during clinical training. In line with this notion, we derived a modification of this formula, as follows.

대수적으로 의대생 보편성(U), 직업성(O) 및 관계성(R) 평가의 품질은 다음과 같이 설명할 수 있다. 이러한 역량의 평가의 관측 품질(QAC)은 세 도메인(U, O, R) 각각에 각각의 가중치(W;importance), 표본 추출 품질(S), 평가의 상호 주관성(I)을 곱한 함수이다. 이 공식에서, [W는 결정과 관련하여 도메인의 상대적 중요성]을 의미하지만, [S와 I는 측정의 정확성(즉, 데이터의 품질)의 특징]입니다. 즉, 수집된 데이터 포인트(예: 관찰 및 등급)의 샘플(S)이 도메인 내의 역량을 커버할 만큼 충분히 크고 대표적이며, 가능한 한 효과적으로 수행되었는지 여부(I)를 반영한다(예: 정보에 정통하고 경험이 풍부한 관찰자 대 직관적이고 순진하게 판단). 우리는 [상호 주관성]이 관심 의료 역량에 대해 더 현실적이라는 사실을 고려할 때 스미스의 "평가의 객관성(O)"을 대체하기 위해 상호 주관성을 사용했다. 이 공식에서 우리는 일반적 직업성(Og)과 특이적 직업성(Os)을 구분한다.

Algebraically, the quality of the assessment of medical students' universals (U), occupationals (O) and relationals (R) can be described as follows: the observed quality of the assessment of these competencies (QAC) is a function of the extent to which it measures each of the three domains (U, O and R) multiplied by their respective weight (W; importance), the sampling quality (S) and the intersubjectivity of the assessment (I). In this formula, W refers to the relative importance of the domain in relation to the decision to be made, whereas S and I are features of the accuracy of measurement (i.e., quality of the data). That is, they reflect whether the sample (S) of collected data points (e.g., observations and ratings) is large and representative enough to cover the competencies within the domain and whether or not that has been done as effectively as possible (I) (e.g., using informed and experienced observers vs. intuitive and naïve judgement). We used intersubjectivity to replace Smith's “objectivity (O) of assessment” given the fact that intersubjectivity is more realistic for the medical competencies of interest. In the formula, we distinguish between generic occupationals (Og) and specific occupationals (Os).

 

 

이 공식은 교육 프로그램 관리가 궁극적으로 책임지는 학생들의 평가의 질을 정당화하는 데 사용될 수 있다. 이는 U, O 및 R 역량에 부여된 중요성을 명시적으로 설명하고 사전 결정된 척도(예를 들어 -5[매우 나쁜 샘플링/상호 주관성]에서 +5[우수한 샘플링/상호 주관성]까지의 척도로)에서 평가의 샘플링 및 상호 주관성을 방어함으로써 수행된다(표 1).
This formula can be used to justify the quality of the assessment of students for which the educational programme management ultimately is responsible. This is done by explicitly explaining the importance given to the U, O and R competencies, and by defending the quality of sampling and intersubjectivity of the assessments on a predetermined scale (for instance on a scale from −5 [very bad sampling/intersubjectivity] to +5 [excellent sampling/intersubjectivity]) (Table 1).

아래 통합표(표 2)는 보편성, 직업성, 관계성을 평가하는 방법에 대한 개요를 제공합니다. 또한 각 역량 영역과 몇 가지 평가 권고사항에 대해 관련 일반성 문제를 어떻게 다룰 수 있는지 설명한다. 우리는 [보편성 범주](신뢰하게 측정된다면, 그리고 상대적으로 강력한 예측 타당성 계수를 가진다면)가 의료 분야의 선택과 평가에서 상대적으로 큰 비중을 가질 필요가 있다고 주장한다. 보편성에 초점을 맞추는 것은 우리가 집중하고 있는 임상 훈련의 의대생 모집단의 경우와 마찬가지로 '배치에 대한 결정이 지연될 가능성이 있을 때' 중요하다. [보편성]은 또한 "급속한 변화가 예상되는" 조건에서도 매우 적합하며, 10은 기술 및 과학 발전의 효과가 주어진 의료 전문가에게 특징적이지만 또한 한 국가 내의 의료 시스템에 대한 정부의 간섭 가능성을 감안한다. 어떤 곳에서는, 상당한 수의 의학 졸업생들이 의사 이외의 직업을 찾는다(예: 약학 및 정책 자문 45). 따라서 이런 경우, 정의상 [보편성]의 상대적 중요성이 강조된다. 물론, 모든 졸업생들의 절대 다수가 의사로서 직업을 찾는 것을 고려할 때, 우리의 관점에서도 [일반적 직업성]은 필수적이지만, 앞에서 주장했듯이, 관계성은 임상 훈련 동안 가중치가 낮아야 한다.
The below integrative table (Table 2) offers an overview of how, to our view, universals, occupationals and relationals can be assessed. It also illustrates how relevant generalisability issues can be dealt with for each competency domain, and several assessment recommendations. We maintain that the category of universals—if reliably measured and when having a relatively strong predictive validity coefficient—needs to have a comparatively heavy weight in selection and assessment for the medical profession. Focusing on universals is important when ‘decisions about placement are likely to be delayed’ (Smith10, 18), as is the case for the population of medical students in clinical training we are focusing on. Universals also are highly appropriate in ‘“turbulent” … conditions where rapid change is anticipated’,10 which is characteristic for the medical profession given effects of technological and scientific developments but also given the potential of governmental interference in the medical systems within a country. In some places, a substantial minority of medical graduates find jobs other than medical doctor (e.g., in pharmacy and policy adviserships45), training for which by definition highlights the relative importance of universals. Naturally, generic occupationals to our view are essential as well, given that the vast majority of all graduates find a job as medical doctor,45 whereas as argued before, relationals, in contrast, should receive a low weight during clinical training.

의대생들의 평가와 (자기-)선발 문제를 더 넓게 보고 그들의 미래 직업 성공을 예측하면, 많은 다른 요소들이 작용하게 될 것이다. 이러한 요소들 중에는 평가가 (법적으로) 모든 이해당사자에 의해 공정하고 적절하다고 보는지, 비용이 많이 들지 않지만 실용적인지, 그리고 학생들의 졸업이 기대되는 부분이 무엇인지 등이 있습니다. 이러한 요소들은 본 논문의 범위를 벗어나기 때문에 여기서 간단히 언급될 뿐입니다. 우리는 심리학 영역에서 나온 [스미스의 타당성 모델]이 의학생의 전문적인 기술 평가의 관련성relevance과 일반화가능성generalizability에 대한 질문을 프레임하는 새로운 방법을 형성한다고 믿는다. 제시된 제안은 실증적 연구에서 시험할 필요가 있을 것이지만, 우리는 그것들이 의과대학이 편의 표본에서 평가가 이루어지는 목적에 따라 안내되는 보다 목적 있는 표본으로 이동할 수 있도록 하는 유용한 출발점을 제공할 것으로 기대한다. 또한 이 세 가지 범주의 각 품질을 어떤 상황에서 어떻게, 얼마나 자주, 측정해야 하는지에 대한 의사결정을 지원해야 한다. 다시 말해서, 의학 졸업생들이 원하는 각각의 자질에 대한 숙달 정보를 제공하는 가장 적절한 데이터 출처는 무엇인가?

Taking a broader view on the issue of assessment and (self-)selection of medical students and predicting their future job success, many other factors will come into play. Among these are whether the assessments are seen as (legally) fair and appropriate by all stakeholders,14, 21 not too costly but practical, and what portion of students can be expected to graduate.47 These factors are only briefly mentioned here as they are beyond the scope of the present paper. We believe Smith's validity model, which emanated from the domain of psychology, forms a novel way to frame questions of the relevance and generalisability of professional skills assessment of students in medicine. The propositions put forward will need to be put to the test in empirical studies, but we expect them to provide a useful starting point to enable medical schools to move from convenience samples towards more purposeful samples guided by the purpose for which the assessments are being made. They should further help make decisions about how, how often and under which circumstances each of the qualities in these three categories has to be measured. In other words, what are the most appropriate sources of data to inform mastery of each of the desired qualities for medical graduates?

8 결론
8 CONCLUSION

보편성, 직업성 및 관계성으로 구성된 스미스의 프레임워크에서 추출하고 샘플과 부호의 구별을 사용하여, 우리는 (a) 임상실습 근무 중 평가 목적으로 샘플링하는 문제와 (b) 신호Signs에 대한 일반화가능성 문제에 대한 역량 영역 분할의 의미를 간략히 설명했다. 의과대학에서 표본 추출의 초점은 [일반적 직업성]을 평가하는 데 맞춰져야 한다. 그러나, 우리는 [특이적 직업성]이 일반적 직업성을 측정을 도울 수 있으며, 의대생들에게는 그들이 특정한 적성을 가지고 있는 미래의 직업 환경에 대해 정보를 주는 것에 도움이 될 수 있다고 추측한다. 학생들은 [특정 의료 환경에 대한 자신의 적합성을 자가 진단]하기 위해 관계성을 사용하는 것이 좋습니다. 보편성, 직업성 및 관계성에 대한 스미스의 공식을 채택하여 교육자가 의대생 평가의 질을 개념화할 수 있도록 지원한다.

Drawing from Smith's framework of universals, occupationals and relationals, and using the distinction between samples and signs, we outlined the implications of a division of competency domains for (a) issues of sampling for assessment purposes during clerkships, and (b) generalisability to signs. The focus of sampling in medical schools should be on assessing generic occupationals. However, we suspect that specific occupationals can help to measure generic occupationals and to inform medical students on future work contexts for which they have a particular aptitude. Students are advised to use relationals to self-assess their fit with specific medical settings. An adaptation of Smith's formula for universals, occupationals and relationals is provided to assist educators to conceptualise the quality of assessment of medical students.

 

---

Med Educ. 2022 Jan;56(1):117-126. doi: 10.1111/medu.14669. Epub 2021 Oct 5.

Inferring signs from purposeful samples: The role of context in competency assessment

Marise Ph Born 1 2, Karen M Stegers-Jager 3, Chantal E E van Andel 3

Affiliations collapse

Affiliations

1Department of Psychology, Erasmus University Rotterdam, Rotterdam, The Netherlands.

2Optentia and Faculty of Economic and Management Sciences, North-West University, Vanderbijlpark, South Africa.

3Institute of Medical Education Research Rotterdam, Erasmus MC, Rotterdam, The Netherlands.

PMID: 34558107

DOI: 10.1111/medu.14669

Abstract

Context: Medical students' clinical competencies are customarily assessed using convenience samples of performance from real practice. The question is how these convenience samples can be turned into purposeful samples to extrapolate students' overall competency profile at the end of medical school, particularly given the context specificity of clinical performance. In this paper, we will address this issue of inferring signs from samples using insights from the discipline of psychology.

Theoretical perspective: We adapted Smith's theory of predictor validity of universals, occupationals and relationals to the context of clinical competency assessment. Universals are characteristics required by all working individuals and therefore not context dependent. Occupationals refer to characteristics required by certain jobs but not others and therefore are dependent on task-related features of an occupation. Relationals are required in a specific organisational context with habitual ways of working together.

Application: Through seven propositions, we assert that generalising from samples of assessed clinical competencies during clerkships to generic competencies (i.e., signs) is dependent on whether characteristics are universals, occupationals and relationals, with universals most and relationals least generalisable.

Conclusion: When determining what types of ratings to use to evaluate medical student competence, medical education has shown too little nuance in considering the degree to which particular characteristics are likely to be generalisable, approaching the issue in an all-or-none manner. Smith's distinction between universals, occupationals and relationals offers a promising way forward that has implications for assessment, student selection and career choice.

© 2021 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.