WBA의 타당도: 지평 넓히기 (Med Educ, 2013)

WBA의 타당도: 지평 넓히기 (Med Educ, 2013)

Validity in work-based assessment: expanding our horizons

Marjan Govaerts & Cees PM van der Vleuten

도입

INTRODUCTION

WBA에는 미니 임상 평가 운동, 실용 기술 직접 관찰, 전문성 미니 평가 운동, 다중 소스 피드백 및 연수생 개종자를 전형적으로 요구하는 연수 평가 보고서 등의 평가 도구가 포함됩니다 미리 정해진 규칙과 기준에 따라 수치로 점수를 매기고 훈련생의 능력에 대한 정확하고 쉽게 전할 수있는 설명을 얻는다.

Work-based assessments include assess- ment tools such as mini-clinical evaluation exercise, direct observation of practical skill, professionalism mini-evaluation exercise, multi-source feedback as well as in-training evaluation reports that typically require clinical assessors to convert trainee perfor- mance into a numerical score, according to prede- fined rules and criteria, to obtain accurate and easily communicable descriptions of a trainee’s abil- ity.

연구 결과는 총괄 평가 목적을 위한 WBA의 유용성에 심각한 우려를 제기합니다. 

• 첫째, 현실 세계에서의 평가 작업은 예측할 수없고 본질적으로 표준화되지 않으며 여러 부서마다 동일하지 않습니다. 심리측정 관점에서 볼 때 이것은 평가의 신뢰성과 타당성에 심각한 위협을 제기합니다. 

• 둘째, 전문가 판단이 WBA에 내재되어 있으므로 평가의 주관성에 대해 심각한 우려가 제기됩니다. 평가자는 일반적으로 측정 오류의 주요 원인으로 간주됩니다 .2.3 등급은 받아 들일 수 없도록 편향되어 있으며 후광 및 관대화 영향을받으며 성능 등급의 내부 및 내부 신뢰도는 종종 표준 이하임을 나타냅니다 .4-6

research findings raise serious concerns about utility of WBA for sum- mative assessment purposes. 

• First, assessment tasks in the real world are unpredictable and inherently unstandardised and they will not be equivalent over different administrations. From a psychometric per- spective, this poses serious threats to reliability and validity of assessment. 

• Second, as professional judge- ment is inherent in WBA, serious concerns are raised about the subjectivity of assessments. Raters are generally considered to be major sources of measurement error.2,3 Performance ratings are con- sidered to be unacceptably biased, suffering from halo and leniency effects, and intra- and inter-rater reliability of performance ratings are often found to be substandard.4–6

WBA에 대한 대부분의 비판은 심리측정의 정량적 틀과 일치하는 타당성과 타당화에 대한 접근에서 유래한다. 

• 타당성은 증거 또는 이론적 근거에 의해 정당화되면서 의사 결정과 행동 측면에서 제안 된 해석과 평가 결과의 사용 (예 : 성과 등급 또는 시험 점수)이 적절하고 적절하다는 정도를 나타냅니다. 

• 타당화는 다른 출처로부터 얻은 여러 종류의 증거를 축적하고 통합함으로써 시험 점수의 의도 된 해석과 제안 된 용도와의 관련성을 뒷받침하는 과학적으로 건전한 타당성 주장을 개발하는 것으로 정의 될 수있다.

• 타당화는 코흐 (Koch)와 델 루카 (DeLuca) 11에 명시된 바와 같이 : '... 타당성 확인은 평가 실무에 대한 지속적인 조사를 촉진하는 생성 과정이어야한다.'

most criticisms of WBA stem from approaches to validity and validation con- sistent with the quantitative framework of psycho- metrics. 

• In essence, validity refers to the degree to which the proposed interpretations and the uses of assessment outcomes (e.g. performance ratings or test scores) in terms of decisions and actions are adequate and appropriate, as justified by evidence or theoretical rationales.8,9 

• Validation can then be defined as ‘developing a scientifically sound validity argument to support the intended interpretation of test scores and their relevance to the proposed use’10 through accumulation and integration of dif- ferent kinds of evidence from different sources. 

• Or, as stated by Koch and DeLuca11: ‘..validation should be a generative process that promotes continuous inquiry into assessment practice’.

이 글은 WBA에서 타당성과 타당화에 대해 심리측정접근에만 초점을 맞춘 접근이 더 이상 적합하지 않을 수도 있다는 것을 보여주기 위함이다.

In this article, it is our intent to illus- trate that an exclusive focus on traditional psycho- metric approaches to validity and validation in WBA may no longer be appropriate

심리측정의 예측론적 틀 안에서, 평가는 일반적으로 일반화 가능한 설명이나 예측을 목표로한다. 9,12 현재 평가에서 심리측정적 담론의 중심은 진정한 성과true performance를 나타내는 진정한 점수true score의 추론에 거의 초점을 맞추고있다.

Within the predictive, deterministic framework of psychometrics, assessment typically aims for general- isable explanations or predictions.9,12 Central to the psychometric discourse in current assessment are its almost exclusive focus on the inference of a true score representing true performance;

WBA에 대한 현재의 접근법과 WBA의 타당성 확인에서 세 가지 가정이 특히 눈에 띈다

In current approaches to WBA and validation of WBA, three assumptions in particular seem to stand out:

1 학습 (전문성 개발)은 사전에 식별하고 지정할 수있는 결정적이고 선형적인 프로세스입니다. 과제 수행과 학습 (평가 점수로 표현됨)은 전형적으로 맥락과는 별도로 추상화되고 해석된다.

1 Learning (professional development) is a deter- ministic, linear process that can be identified and specified in advance; task performance and learning (as represented by assessment scores) are typically abstracted and interpreted indepen- dent of context;

2 능력으로부터 추론 된 능력은 고정적이고 영구적이며 탈맥락화된 속성, 즉피훈련자의 고유 한 특성 또는 능력이다,

2 Competence, as inferred from performance, is a fixed, permanent and decontextualised attri- bute, i.e. an inherent trait or ability of health care workers (or trainees), and

3 성과는 '객관화'될 수 있으며 평가자는 수행 할 수있는 경우 실제 수준의 성과를 관찰하고 관찰 할 수 있습니다.

3 Performance can be ‘objectified’ and assessors, if they were only capable to do so, would be able to rate and observe some true level of per- formance.

그러나 산업 및 조직 심리학의 연구 결과는 직무 수행능력은 복잡한 직무에서 특히 시간적 안정성이 결여되어 있음을 보여 주었다 .13,14 직무 수행의 실제 개인 내 편차는 개인의 변화로 인해 발생할 수있다. 동기, 피로, 능력 수준의 변화), 직업 환경의 변화 14) 이와 유사하게, 의학 교육에서의 연구 결과는 상황 (즉, 작업 환경 또는 작업 환경)이 의사의 진료행동에 결정적인 영향을 미친다는 것을 보여주었다. 예를 들면, 전문가(내과의사)의 임상추론능력은 상황에 따라 매우 specific했으며, 그 상황에서 누구를 만나느냐(환자와 의사) 또는 목표 및 설정이 어떠하느냐에 따라 달랐다.

however, findings from research in industrial and organisa- tional psychology show that job performance lacks temporal stability, especially in highly complex jobs.13,14 True intra-individual variation in job per- formance may result from changes in the individual (e.g. due to motivation, fatigue, changing levels of competence) as well as changes in the job environ- ment.14 Similarly, research findings in medical edu- cation indicate that context (i.e. task environment or work environment) critically influences behav- iours in practising doctors. Durning and col- leagues,15 for instance, reported that contextual factors affected clinical reasoning performance by experts (board certified internists) in ways that were very specific to the situation and were influenced by participants in the encounter (patient and doctor), their goals and the setting.

또한 WBA에서의 평가자의 영향은 단순히 bias가 아니며, 오히려 수행능력에 대한 대체적이고 보완적인 타당한 견해를 보여주는 것이다.

Similarly, increasing evidence from industrial and organisational psychology, as well as medical education, supports contentions that rater effects in WBA do not represent (mere) rater biases, but rather represent alternative and comple- mentary valid perspectives on trainee perfor- mance,16

최근의 연구 결과와 복잡한 사회 환경에서의 학습에 대한 이해의 증대는 WBA의 현재 타당도 증거의 중요성과 적합성이 의문시 될 수 있으며, psychometrics에 포함 된 일반적인 타당성 이론은 더 이상 유지할 수 없다고 제안합니다. 우리는 잘못된 가정하에 운영 될 수 있습니다.

Recent research findings and growing understand- ing of learning in complex social environments therefore suggest that meaningfulness and appropri- ateness of current validity evidence in WBA can be called into question, and common validity theory, which is framed in psychometrics, may no longer hold: we may be operating on faulty assumptions.

WBA와 학습의 예측가능성

WBA AND PREDICTABILITY OF LEARNING

의학 교육에서 행동 주의적,인지 주의적, 구성 주의적 학습 이론에서 기인 한 시각은 오랫동안 교육 및 평가의 발전을 주도 해왔다. 이러한 학습 이론은 공통적으로 개별 학습자에 초점을 두어 학습의 인지 적 측면 (즉, 사고와 반성)을 강조하고 학습이 학습자의 마음에 위치한 '물건'으로 간주된다는 점이 공통적이다. 이 이론들은 맥락이 학습 과정의 질과 학습이 얼마나 잘 이루어지는지에 영향을 미친다는 것을 인정하지만, 학습한 내용이나 배워야 할 내용은 맥락에 상대적으로 무관하다는 견해를 가지고있다.

In medical education, perspectives originating from behaviourist, cognitivist and constructivist learning theories have long dominated developments in instruction and assessment. These learning theories have in common that they focus on individual learners, that they stress cognitive aspects of perfor- mance (i.e. thinking and reflection) and that learn- ing is treated as a ‘thing’ or product located in the mind of the learner. Although these theories acknowledge that context influences quality of learning processes and thus how well learning occurs, their view is that the nature of what is learned or is to be learned, is relatively independent of context.17

그들은 일반적으로 직무 학습을 공식 학습과 유사한 선형 과정으로 취급하는데, 학습자가 무능력incompetent에서 유능함competent으로 발전하여 학습 및 성과 개발을 형성하는 데 사회, 문화 및 조직적 요인의 역할을 거의 무시합니다.

They generally treat workplace learn- ing as a linear process, akin to formal learning, through which a learner develops from incompetent to competent, largely neglecting the role of social, cultural and organisational factors in shaping learn- ing and performance development.

그러나 지난 수십 년 동안 직장에서의 학습에 대한보다 강력한 이론이 나타 났다.

During the past decades, however, more robust theories of work- place learning have emerged,

특히 직장 학습의 사회문화이론 그룹은 직장 환경에서 학습을 이해하는 데보다 강력한 틀을 제공하는 것으로 보인다. 사회 문화적 학습 이론은 학습은 공동체의 활동에 적극적으로 참여하고 작업 환경의 복잡하고 역동적 인 시스템과 상호 작용함으로써 출현한다고 주장한다 .18 따라서 이 이론에서는 학습과 전문성 개발이 학습이 일어나는 맥락의 특징들과 불가분의 관계로 본다. 즉, 맥락이 변화함에 따라 학습 과정은 물론 학습 결과가 변한다 .17,19 연수생이 무엇을, 어떻게, 왜 배우는지는 피훈련자와 공동 참여자 (예 : 감독자, 평가자, 동료 및 임상 적 맥락에서의 환자들)들의 경험, 의미, 결과에 따라 달라진다.

Especially the group of socio-cultural theories of workplace learning seem to offer more powerful frameworks for understanding learning in workplace settings . Socio-cultural learning theories claim that learning and learning outcomes emerge through active participation in activities of a community and interaction with the complex and dynamic systems of the work environment.18 Socio-cultural learning theories therefore consider learning and expertise development to be inextricably linked to features of the context in which the learning occurs; learning processes as well as learning outcomes change as contexts change.17,19 What, how and why trainees learn is shaped by unique experiences and the meaning or consequences that trainees and co-par- ticipants (e.g. supervisors, assessors, co-workers and patients in a clinical context) attach to these experi-ences.9 

사회적 상호 작용에 의해 생성 된 지식에 중점을 둔 사회 문화적 학습 이론은 특히 임상환경의 학습에서 유용하다. 임상환경의 학습은 다음과 같은 특징을 갖는다.

Socio-cultural learning theories, with their focus on knowledge produced by social interaction, are particularly useful for thinking about learning in clinical training and health care settings. 

• In these settings, learning is produced by a trainee’s engagement in non-standardised and unpredictable tasks of authentic health care practices and the ongoing social interaction around authentic tasks, shaped by (unique) physical, social and organisational contexts.20 

• Learning in clinical work settings then inevitably becomes a dynamic, non-linear and non-deterministic process. 

• The increasing complexity of health care as well as its ever-changing context furthermore demand that we move beyond predictability of individual learning and competence towards conceptualisations of competence as a collective, sit-uated and dynamically produced through interac- tion and learning in functional clinical groups.20 

(개인 능력에서 팀 경쟁력으로 초점을 전환해야하는) 팀 기반 진료가 보건 의료 시스템에서 급속도로 표준화되고있을뿐만 아니라 헬스케어시스템의 복잡성과 역동성은 더 이상 역량을 "달성해야 하는 상태"로 볼 수 없다는 것을 의미합니다. 오히려 요즘 업무 기반 학습 및 역량의 개념에는 변화에 지속적으로 적응할 수있는 능력이 포함되어야합니다. 역량은 지식과 기술의 습득에 관한 것이 아니라 변화하는 업무 프로세스에 대한 응답으로 새로운 지식을 창출하는 능력에 관한 것입니다 .21 이러한 관점에서 학습은 지속적으로 진화하는 상황에 적응하는 사회적 네트워크 및 실천 공동체에서의 협력 적 프로세스를 통해 '아직 존재하지 않는 것'을 학습하는 것을 포함한다.22,23

Not only is team-based care rapidly becoming the norm in our health care systems (requiring a shift in focus from individual competence to team com- petence), the complex and dynamic nature of health care systems also implies that we can no longer see competence as ‘a state to be achieved’. Rather, nowadays, notions of work-based learning and competence should include the ability to con- tinuously adapt to change. Competence it is not just about acquisition of knowledge and skills, but about the ability to create new knowledge in response to changing work processes.21 From this perspective, learning involves learning things ‘that aren’t there yet’, through exchange and interactions in social networks and collaborative processes in communi- ties of practice that adapt to continuously evolving circumstances.22,23

학습자와 환경 사이의 복잡하고 역동적 인 상호 작용 프로세스에서 '학습자와 환경은 서로를 재구성합니다'. 학습은 '팽창적'이며 학습은 '끊임없이 변화하는 환경의 도전에 맞추어 유연하고 건설적이며 혁신적인 방식으로 행동하는 (집단적) 능력의 향상'이라는 개념으로 해석 될 수있다 .17 따라서 미래의 실천을위한 학습은 학습 분명한 종점이없는 진행중인 프로세스입니다. 학습은 결코 끝나지 않습니다. 이것은 학습이 잘 정의되고 안정된 학습 성과로 계획되고 공식적인 사건에 초점을 맞추는 의학 교육의 전통적인 접근 방식에 직접적으로 반대된다. 따라서 직장 학습의 최근 이론은 예측 가능하고 결정할 수있는 직장 학습 시스템이 설계 될 수 있는지에 대해 의문을 갖는다. 이론들 중 일부는 복잡성 이론에 기초를두고 있으며, 학습은 예측 불가능하고 예기치 않은 방식으로 그 맥락에서 창발적으로 발생하는 창조적 인 과정이라고 강조한다.

Complex and dynamic interactive processes between the learners and their environ- ment then ‘mutually reconstruct both the learner and the environment’. Learning is ‘expansive’22 and can be conceptualised as ‘an increasing (collective) capacity for acting in flexible, constructive and inno- vative ways appropriate to the challenges of ever changing circumstances’.17 Learning for future prac- tice thus implies that learning is an ongoing process without a clear endpoint; learning is never com- plete. This is directly opposed to traditional approaches in medical education where learning focuses on planned, formal events with well-defined and stable learning outcomes.24 Very recent theories of workplace learning therefore explicitly question whether predictable and decidable systems of work- place learning can be designed and implemented. These theories, some of which build on complexity theory, emphasise the view that learning is an ongo- ing creative process, emergent from its context in unpredictable and unanticipated ways.17

비록 사회 학습 이론이 의학 교육에서 점차적으로 사용되고 있지만, 현재의 이론의 상당 부분은 직장 학습을 이해하고 설명하려는 목적이 있어서, 양질의 학습을 지원하고 향상시킬 수 있는 균일한uniform 조건을 확인하고 실행하려고 한다. 실제로 직업 기반 학습 및 WBA를 향상시키기위한 많은 노력은 전문성 개발의 '올바른'이론 개발을 통해 훈련생의 학습을 예측 가능한 방식으로 조장하는 임상 교육의 설계를 목표로하는 것으로 보입니다. 또한 학습 환경 (예 : 주요 프로젝트)에서 사전에 정의 된 단계마다 달성해야하는 역량표준을 명시하려는 것도 한 방법이다25

Although social learning theory is increasingly beingused in medical education,19 much of current theo- rising still seeks to understand and explain work- place learning so that conditions that uniformly support and enhance quality learning can be identi- fied and implemented. In fact, a lot of current efforts to improve work-based learning and assess- ment seem to aim for the design of clinical training that steers trainees’ learning in predictable ways, through development of the ‘right’ theories of pro- fessional development, better analyses of task envi- ronments and the technology to model them,12 as well as specifying standards for competent perfor- mance that have to be achieved at predefined stagesin the learning process (e.g. milestones project).25 

이러한 (마치 법과 같은) 예측 가능성은 평가, 학습 및 성과 모델을 psychometric 프레임 워크와 호환 가능하게 만드는 데 필요합니다. 그러나 학습이 본질적으로 상황 의존적이고situated, 협동적이며, 변형적이고 팽창적인 (즉, 재생산보다는 지식 생산에 초점을 맞춘)것이라고 보는 개념은 학습 내용의 예측 가능성과 통일성에 대한 가정에 도전한다. 미리 정의 된 학습 성과에 초점을 맞춘 평가는 반드시 전문성 개발 과정의 arbitrary한 단계를 지나치게 단순화한다.

Such (law-like) predictability is neces- sary to make models of assessment, learning and performance compatible with the psychometric framework. However, conceptualisations of learning as inherently situated, collaborative, transforma- tional and expansive (i.e. focusing upon knowledge production rather than reproduction) challenge assumptions of predictability and uniformity in what is learned and what is to be learned. Assessment that focuses on predefined and specified learning outcomes then necessarily becomes an oversimplifi- cation of an arbitrary stage in the process of profes- sional development.26

WBA와 고정된 특성으로서의 역량

WBA AND COMPETENCE AS A FIXED ATTRIBUTE

과제나 상황에 따라 달라지는 맥락 특이성 또는 수행능력 변화가 의학 교육에서 잘 알려진 현상이지만, 평가 및 그 타당성 평가에 대한 접근 방식은 다음과 같은 가정을 기반으로합니다. "'측정'가능한 '진짜' 수행능력의 수준이 있고, 시간, 작업, 상황의 변화에 따라 발생하는 개개인의 수행능력의 차이variability는 측정오차로 간주한다' 역량은 전문 영역 내에서 성능 샘플링으로 추측 할 수있는 안정적인 특성으로 개념화되며, 일단 개발되고 확립 된 전문 지식은 한 상황에서 다른 상황으로 이전 할 수 있는 것으로 간주됩니다. 실제로, 대부분의 면허 및 인증 절차는 이 가정을 정확히 설명하는 듯 하다.

Although context specificity or performance variabil- ity from one case or task to the next is a well-known phenomenon in medical education,27 current approaches to assessment and its validation build on assumptions that there must be some level of true performance that can be ‘measured’: variability of an individual’s performance over time or across tasks and work settings is typically viewed as mea- surement error. Competence is conceptualised as a stable trait, to be inferred from performance sam- pling within the professional domain, and expertise, once developed and established is considered to be portable and transferable from one context to another. In fact, most licensure and certification procedures seem to build on exactly this assump- tion.

이러한 능력과 전문성의 개념화에 도전하는 연구가 점차 증가하고 있습니다. 개인 내의 편차는 상당하다. 개인 간 차이만큼 커질 수있다 .28-30 학습 과정에서 학습자의 수행능력은 전문적인 실습 참여를 통해 배우고 발전함에 따라 변화한다는 것은 자명하다. 실제로, 현재 WBA의 초점은 성과 및 전문성 개발을 향상시키기위한 지속적인 평가와 피드백이다.

There is an increasing body of research that chal- lenges these conceptualisations of competence and professional performance. Within-person variation in performance is substantial and can be as large as between-person differences.28–30 Obviously, perfor- mance of learners changes during training, as they learn and develop through participation in profes- sional practice. Indeed, the focus of current WBA is ongoing evaluation and provision of feedback to improve performance and expertise development.31

또한 우리는 학습자와 전문직 종사자가 항상 최선을 다하고있는 것은 아니며, 그 수행은 날마다 또는 심지어 같은 날안에서도 다양하다는 것을 쉽게 인정할 수 있다. 특히 복잡한 작업에서 성능은 시간적 안정성이 부족합니다 .13,14 이유는 동기 부여가 될 수 있습니다 (예 : 충돌하는 작업으로 인한 성과 목표 및 노력의 변화), 생리적 (예 : 피로) 또는 개인 성능에 영향을주는 기타 불안정한 원인 기분 또는 정서적 경험 .32

We also readily accept that learners and profession- als are not always performing at their best, and that performance varies from day to day or even within the same day. Especially in highly complex jobs, per- formance lacks temporal stability.13,14 Reasons may be motivational (e.g. changes in performance goals and effort due to conflicting tasks), physiological (e.g. fatigue) or any other unstable cause affecting individual performance, such as mood or emotional experiences.32

더 중요한 것은, 작업 환경에서의 성과의 역동적 특성이 환경 요인에 의해 유발된다는 것이다. 즉 전문가조차 작업 환경의 기회와 제약에 의해 영향을 받는다. 산업 및 조직 심리학 및 인적 자원 관리 분야의 연구 결과에 따르면 Talented performance란 한 회사에서 다른 회사로 직접 옮겨 갈 수 있는 것이 아니며, 이는 talent는 '구입가능하다'라는 조직의 인적자원의 근본 가정에 도전하는 것이다.

More importantly, however, there is an increasing body of research indicating that the dynamic nature of performance in work settings is caused by envi- ronmental factors, i.e. opportunities and constraints in the work setting, even in experts and talented performers. Research findings in industrial and or- ganisational psychology and human resource man- agement suggest that talented performance is not directly portable from one company to another, thereby challenging one of the foundational assumptions underlying human resource practices in organisations, namely that talent can be bought.

일반적으로 연구 결과에 따르면 성과는 상황에 따라 다르며 '새로운 환경에서 주어지는 과제에 맞지 않는 한 재능은 이전되지 않을 것'이라고 나타났습니다 .33 

• 예를 들어, 월스트리트의 '스타'는 다른 회사로 옮긴 후 장기간의 실적 하락이 있었고 실적 저하가 최대 5 년간 지속되었습니다 .34 

• 연구 결과에 따르면 새로운 역할과 업무 환경의 특정 기능이 성과 저하에 영향을 미쳤습니다. 작업 수행의 맥락적이고 상황적 성질은 동료 집단과 함께 움직인 스타가 단독으로 움직인 경우보다 수행능력이 뛰어났다는 사실에 의해 확인되었다. 

• 리더쉽의 이식성에 관한 연구는 뛰어난 재능을 가진 최고 경영자가 다른 회사로 옮겼을 때 항상 능력이 발휘되지는 않는다는 것을 보여주었습니다. 기술과 경험이 새 직업에서 가치있게 증명되었는지 여부는 새로운 작업 환경의 특수한 특성에 달려있다 .33 

• 마찬가지로 축구 선수의 개인별 성과 변화에 대한 연구에 따르면 변화의 상당 부분이 행동을 제한함으로써 설명 될 수 있었다 팀원을 포함한 다른 사람들의 더욱이 환경 적 제약에 대한 민감성은 플레이어와 작업의 복잡성에 따라 달라 지므로 성능은 사람, 작업 및 환경 간의 상호 작용에 의해 결정된다는 것을 암시합니다 .30 

이러한 결과는 문화적, 사회적 환경 및 특정 작업 환경에서 개인 및 그룹과의 지속적 상호작용의 산출물로서의 성과의 개념과 일치합니다. 

In general, research findings indicate that perfor- mance is contextual and that ‘talent won’t transfer unless it maps to the challenges of the new environ- ment’.33 

• For instance, ‘star’ investment analysts on Wall Street showed significant short- and long-term performance decline after moving to another firm and the drop in performance persisted for up to 5 years.34 

• Research findings suggested that specific features of the new role and work setting influenced the drop in performance. The contextual and situ- ated nature of job performance was affirmed by findings that stars who moved with a group of col- leagues performed better than those who moved solo. 

• A study on the portability of leadership also showed that highly talented chief executive officers who were recruited by other firms did not always deliver; whether skills and experience proved valu- able in the new job depended on specific character- istics of their new work environment.33 

• Similarly, research on intra-individual performance variation in football players showed that a significant portion of variance could be explained by constraining actions of others, including teammates. Moreover, susceptibility to environmental constraints varied across players and job complexity, suggesting that performance is determined by the interaction between person, task and environment.30 

These findings are consistent with the notion of perfor- mance and competence being the product of cul- tural and social circumstances and of ongoing interaction with individuals and groups (teams) in a specific work setting.

최근 의학 교육에 대한 연구는 지식의 안정과 숙달과 지식의 일반적인 이전 가능성에 대한 가정을 동등하게 다루지 않는다. 예를 들어, Wenghofer와 그의 연구진은 의사의 성과에 대한 연구에서, 의사의 작업 환경과 체계적 (지역 사회 관련) 요인이 성능에 크게 영향을 미치고 다수의 수행능력에 다양한 영향을 미친다는 사실을 발견했습니다. 이 연구는 의사 자체의 요인이 수행능력에 유의미한 영향을 주었지만, 기존에 가정한 것 만큼 중요하지는 않다는 것을 보여주었습니다. 의사 행동에 대한 상황의 비판적인 영향은 Ginsburg와 동료 연구에서도 설명되었는데, 의사의 수행능력은 '각 상황에 고유한 다중적인 상호의존적이고 특이한 힘'의 영향을 받는다고 결론 지었다.

Recent research in medical education equally chal- lenges na€ıve assumptions about performance stabil- ity and generic transferability of knowledge and skilful practice. In their study on family practitio- ners’ performance, Wenghofer and colleagues,35 for instance, found that the doctor’s work setting as well as systemic (community-related) factors signifi- cantly impacted performance, with varying effects across different performance dimensions. The study furthermore showed that, although doctor factors significantly influenced performance, they were not nearly as important as previously assumed. The criti- cal influence of context on doctor behaviour was also illustrated in a study by Ginsburg and col- leagues,36 con- cluded that a doctor’s performance was subject to ‘multiple interdependent, idiosyncratic forces unique to each situation’.

맥락적 요소와의 상호 작용으로 인한 성능 변화는 '측정 오류'로 기각되어서는 안되며 개인의 전문 역량을 평가할 때 잠재적으로 가치 있고 의미있는 정보로 간주되어야합니다 .37

perfor- mance variability resulting from interaction with con- textual factors should not be dismissed as ‘measurement error’, but considered as potentially valuable and meaningful information in the appreci- ation of an individual’s professional competence.37

WBA와 수행능력의 객관화

WBA AND OBJECTIFICATION OF PERFORMANCE

사회 문화적 관점에서 볼 때, 퍼포먼스는 사회적으로 구성되며 각 개인의 인식과 작업의 상황 별 특성과의 상호 작용에 의해 결정됩니다. 이 프레임 워크를 작업 환경에서의 성과 평가에 적용하면, 수행능력에 대한 '그림'은 결코 객관적 일 수 없으며, 항상 개별 평가자의 관점과 가치에 따라 개념화되고 구성됩니다. 평가는 평가자 자신의 독특한 경험, 평가 과제 및 그 맥락에서의 사회적 구조에 영향을 받았다.

From a socio-cultural perspective, performance is socially constructed and determined by each per- son’s perception of and interaction with situational characteristics of the task at hand. When this frame- work is applied to the assessment of performance in work settings, a picture emerges of performance that can never be ‘objective’, but is always concep- tualised and constructed according to the perspec- tives and values of an individual assessor, influenced by his or her unique experiences and the social structures in the assessment task and its context.38

실제로, 산업 및 조직 심리학에서의 연구 결과는 작업 환경에서의 성과에 대한 평가자의 판단이 현장에서만 이해 될 수 있음을 나타냅니다. 평가자의 행동은 평가가 이루어지는 맥락 내에서 이루어집니다. 

• WBA에서 평가자는 복잡하고 예측할 수없는 업무에 종사하고 있으며, 시간 압박과 상충되는 목표, 정의가 불분명한 목표를 자주 직면합니다. 39,40 

• 평가자의 행동과 평가 결과는 개인간의 관계 (학습자 및 동료와의 관계), 정치적, 정서적 및 문화적 요인과 같은 업무 환경에서의 다양한 다른 요소들에 의해서도 영향을 받는다.

In fact, research findings in industrial and organisa- tional psychology indicate that assessors’ judgements of performance in work settings can only be under- stood in situ: assessor behaviours are framed within the context in which assessment takes place. In WBA, assessors are engaged in complex and unpre- dictable tasks, more often than not in a context of time pressures and conflicting as well as ill-defined goals.39,40 Assessors’ behaviours and assessment out- comes are furthermore influenced by a broad range of other factors in the work context, such as inter- personal relationships (with the learner as well as with co-workers), political, emotional and cultural factors.41,42

구성 주의자, 사회 문화적 평가 방법에서 평가자는 더 이상 수동적 측정 도구가 아니고, 평가 컨텍스트의 자체적인 현실성을 해석하고 구성하는 능동적인 정보 처리자이다. Deres와 Petrosky가 말한 것처럼 43) : '재판관'의 가치관, 경험 및 관심사는 복잡한 수행능력을 해석 할 수있게 해주는 요소이지만, 광범위한 훈련과 보정을 하더라도 이들을 구분지어주는 특성이 절대 사라지지 않을 것이다.

Central to constructivist, socio-cultural approaches to assessment is the view that assessors can no longer be seen as passive measurement instruments, but as active information processors who interpret and construct their own personal real- ity of the assessment context. Or, as stated by De- landshere and Petrosky43: ‘Judges’ values, experiences, and interests are what makes them capable of interpreting complex performances, but it will never be possible to eliminate those attributes that make them different, even with extensive train- ing and “calibration”.’

이것은 실무 집단 내에서 그리고 그 사회 전반에 걸쳐 정직한 의견 차이가있을 수 있음을 의미한다. 예를 들어 환자와의 만남에서 적절한 감독자 평가자의 동의는 동료, 연수생 또는 환자. 평가자의 해석 및 성과 관련 행동의 점수 산정에서의 차이점은 '각각의 소스가 각기 다른 상황에서의 행동을 평가할 때, 공통된 개인의 직업 성과에 대한 별개의 견해'로 볼 수있다. 

This implies that there can be honest disagreement within and across communi- ties of practice: a specific supervisor–assessor’s con- ception of appropriate performance in, for instance, a patient encounter may be different from that of co-workers, the trainee or the patient. Differences in an assessor’s interpretation and scoring of perfor- mance-related behaviours may then be viewed as ‘distinct views of a common individual’s job perfor- mance that may be equally valid’44 or ‘meaningful differences in….. behavior across sources, especially when each source rates… behavior in different situ- ations’.16

최근 의학 교육에 관한 연구 45,46은 산업 및 조직의 정신병 학에서 발견 한 사실을 확인시켜 준다. Govaerts 등의 연구에 따르면 연수생의 성과를 관찰하고 평가할 때 평가자는 업무 효율성에 관한 판단과 결정에 도달하기 위해 작업 별 성과 이론 및 사람 스키마와 함께 일반적인 방법을 사용했습니다.

Recent research in medical education45,46 confirms findings from industrial and organisational psychol- ogy. A study by Govaerts et al.46 showed that, when observing and evaluating trainee performance, assessors interac- tively used general as well as task-specific perfor- mance theory and person schemas to arrive at judgements and decisions about performance effec- tiveness.

이러한 발견은 WBA에 대한 사회 문화적 접근을 지원하며, 평가자는 훈련, 사회화 및 업무 경험을 통해 자신의 성과 이론 및 역량 개념을 구성하고 재구성하는 '사회적 인식자'로 간주되어야합니다. 따라서 작업 환경의 평가자는 본질적으로 특이한 것idiosyncratic이므로 다수의 평가자는 다수의 현실을 구성하게됩니다.

These find- ings provide support for socio-cultural approaches to WBA, in which assessors are to be seen as ‘social perceivers’ who construct and reconstruct their own performance theories and conceptualisations of competence through training, socialisation and task experience. Consequently, assessors in work settings are inherently idiosyncratic, and multiple assessors will have multiple constructed realities.

WBA와 타당화에 대한 함의

IMPLICATIONS FOR WBA AND VALIDATION

이 논문에서 제시된 연구와 통찰력을 토대로, 우리는 WBA가 본질적으로 가치-의존적인, 사회적 해석적 행동이라고 주장하고 싶다. 평가 과정에 참여한 개인의 경험, 의미, 의도 및 해석을 반영한다 ( '해석 적 공동체'). 47 사회 문화적 이론에 근거한 학습과 수행의 개념은 학습 성과에만 중점을 두는 것이 아니라, 오히려 그보다도 역동적이고 복잡한 작업 환경 설정에서 벌어지는 학습, 퍼포먼스 및 퍼포먼스 해석의 기초가 되는 프로세스에 대해 초점을 두기를 바란다. 이는 평가의 목적이 학습이나 학습 결과를 '객관적으로' '정확하게'정량화하는 것이 아니라 피훈련자와 의사가 무엇을, 어떻게, 왜 배우고 있는지 이해하는 것임을 의미합니다. 이것은 학습자, 학습 환경 및 학습이 일어나고있는 더 큰 사회 시스템과의 관계 등의 상황을 이해하고 설명하는 것을 수반한다. 평가 질문Assessment question은 학습자의 경험, 그들이 참여한 활동 학습 성과, 학습 결과 및 성과 해석을 형성하는 사회적, 문화적, 윤리적 문제에 대한 것이어야 한다.

On the basis of the research and insights presented in this paper, we want to argue that assessment in work settings is a socially situated interpretive act, which is inherently value laden. It reflects the expe- riences, the meanings, intentions and interpreta- tions of individuals involved in the assessment process (‘the interpretive community’).47 Concep- tions of learning and performance based in socio- cultural theory call for assessment that does not just focus on learning outcomes, but also (and perhaps even more so) on the processes underlying learning, performance and performance interpretations in dynamic, complex workplace settings. This implies that the purpose of assessment is not to ‘objectively’ and ‘accurately’ quantify learning or learning out- comes, but to understand what, how and why train- ees and doctors are learning. This entails under- standing and explicating context, i.e. the relation- ship between learners, the learning environment and the larger social systems within which learning is occurring.9 Assessment questions need to address learners’ experiences, the activities that they are engaged in as well as the social, cultural and ethical issues that shape learning, learning outcomes and performance interpretations.12

질적 연구 패러다임 (예 : 구성 주의자 - 해석 적) 내에 위치하는 질의 시스템이 여기에 적합하다.

Inquiry systems that are situated within qualitative research paradigms (e.g. constructivist- interpretive) seem to be well suited for this task.

지난 수십 년 동안 사회 구성 론적, 사회 문화적 학습 이론과 이론에 입각하여 평가에 대한 '해석주의적 접근'이 제안되었다. 9,11,12,48,49 이러한 접근 방식의 중심적인 특징은 다음과 같다. 해석주의적 접근에서 성과 평가는 절대적이고 객관적인 진리가 아니라 사회적 구조 또는 그에 대한 해석으로 간주된다 49. 성과의 '진정한'점수 또는 '객관적인'점수는 없습니다. 오히려 '진실'은 특정 시점에서, 최대한 정보에 입각하여 성과에 대한 정교한 판단을 내려야 하는 평가사들 사이의 합의의 문제입니다.

During the past decades, ‘interpretivist approaches’ to assessment have been proposed, in line with social-constructivist and socio-cultural theories of learning and performance.9,11,12,48,49 A central fea- ture of these approaches is that performance assess- ments are seen as social constructions or interpret- ations, rather than absolute, objective truths49; there is no single ‘true’ score or ‘objective’ rating of per- formance. Rather, ‘truth’ is a matter of consensus among assessors who have to arrive at judgements on performance that are as informed and sophisti- cated as can be at a particular point in time.

각 접근법에는 고유 한 기원과 뉘앙스가 있지만 해석 주의적 평가 접근법의 주요 특징은 다음과 같이 요약 할 수있다 43,48,49,51 :

Although each approach has its own origin and nuances, key char- acteristics of interpretivist assessment approaches could be summarised as follows43,48,49,51:

1 WBA 평가에서 task은 상호교환가능한 것은 아니나, 학습 및 평가에 고유한 기여를 합니다. WBA는 평가자와 평가 대상자 사이에서 '사회적으로' 구성되므로, 학습자는 일반적으로 situated assessment process를 파악하기 위해 학습 및 평가 활동을 문서화 한 서류 또는 포트폴리오를 준비합니다. 평가는 학습자가 학습하고 경험하는 내용, 학습 목표 및 학습 계획, 평가 활동 (예를 들어 작업 샘플링) 및 성과 평가를 문서화하기 위해 학습자가 작업 (및 학습)하는 상황을 설명하도록 요구합니다. 학습자가 특정 평가 작업의 요구를 어떻게 인식하는지 아는 것은 퍼포먼스 해석에서 중요한 정보이다. 따라서 학습자의 관점은 일반적으로 평가 프로세스에 통합되며, 피드백 사이클과 학습 및 업무 성과에 대한 비판적인 분석 및 성찰이 포함됩니다.

1 In WBA assessment, tasks are not interchange- able, but make unique contributions to learning and assessment. As assessments in work settings are ‘socially constructed’ between assessors and the person who is being assessed, learners typi- cally prepare a paper or portfolio documenting their learning and assessment activities to cap- ture situated assessment processes. Assessment asks learners to describe the contexts in which they work (and learn), to document their learn- ing experiences, learning goals and learning plans as well as assessment activities (work sam- pling, for instance) and performance evalua- tions. Knowing how a learner perceives the demands of any particular assessment task is considered critical information in performance interpretations. Therefore, the learner’s point of view is typically incorporated in the assess- ment process, as are intermittent feedback cycles with critical analyses and reflection on learning and task performance;

2 평가는 수치 적 점수가 아닌 서술에 의존합니다. 전문가 판단 (평가가 이루어지는 맥락에 대해 가장 잘 알고있는 사람, 의도적으로 파악하고 설명하는 사람)을 통해서 성과에 대해 정교하고 서면으로 평가 된 의견을 형성함으로써, 의도적으로 성과의 맥락-특이적 측면을 잡아낸다. 점수 자체만으로는 의미가 없기 때문에, 평가 도구는 평가자가 학습자의 역량 개발을 이끌어 내고 역량 달성에 관한 의사 결정에 의미있는 서술문을 제공하는데 도움이 되어야 한다.

2 Assessments rely on narratives rather than numerical scores: assessments seek to purpose- fully generate elaborate, written evaluative state- ments about performance by expert judges – those who are most knowledgeable about the context in which assessment occurs, intention- ally capturing and accounting for context-spe- cific aspects of performance. As scores have little intrinsic meaning, assessment instruments challenge assessors to provide narrative com- ments that are useful in guiding the learner’s competence development as well as meaningful in decision making about competence achieve- ment;

3 평가 프로세스의 모든 이해 관계자는 지속적으로 도전을받으며 기본 해석과 가정 해석을 문서화해야합니다.

3 All stakeholders in the assessment process are thus continuously challenged and required to document their performance interpretations as well as to articulate underlying values and assumptions;

4 개인의 성과 레퍼토리를 심층적으로 이해하고, 다양한 업무 요구 사항에 대한 적응 능력을 알기 위해 광범위한 업무, 상황 및 평가자로부터 성과 평가가 수집됩니다.

4 Written performance evaluations are collected across a broad range of tasks, contexts and assessors, in order to gain in-depth understand- ing of a person’s performance repertoire and capability to adapt to various task requirements,

5 역량에 대한 추정은 평가과정에서 이해 관계자 간의 공개적인 심사숙고와 대화를 통해 사용 가능한 모든 성과 증거를 비판적으로 검토하는 것을 기반으로합니다. 해석적 접근에서 해석은 단일 시기의 성과 또는 단일 성과 문서에 한정되지 않는다. 의미있는 해석은 평가 및 성능 평가 전반에 걸쳐 구성 될 수 있고, 그래야 한다. 여러 출처로부터의 데이터는 작업 및 성격 전반에 걸친 성과 패턴뿐만 아니라 외향적 측면의 성과를 식별하기 위해 삼각측량, 검토 및 논의되어야한다. 전체적인 수준의 성과에 대한 일관된 해석이나 통합적 판단이 내려질 때까지 해석은 모든 가용 증거를 활용하여 반복적으로 검증된다. 필요하다면, 결정은 성과의 특정 측면에 관한 추가 정보 수집을위한 조사 전략을 포함한다. 이것은 '아무것이나 해도 된다anything goes'는 의미는 아닙니다. 

5 Inferences about professional competence are based on critical review of all available perfor- mance evidence, through open deliberative and critical dialogue among stakeholders in the assessment process. An interpretive approach does not imply that interpretations are bound to single assessment occasions or to single per- formance documentations. Meaningful interpre- tations can, and should be, constructed across assessment occasions and performance evalua- tions. Data from multiple sources are to be tri- angulated, reviewed and discussed to identify patterns of performance across tasks and con- texts as well as any outlying aspects of perfor- mance. Interpretations are repeatedly tested against all available evidence, until a coherent interpretation or an integrative judgement on an overall level of performance can be accounted for43,48. If necessary, decisions involve inquiry strategies for additional informa- tion gathering about specific aspects of perfor- mance. This does not mean that ‘anything goes’; 

본질적으로 최종 결정을 내릴 때는 전문적인 판단이 필요합니다. 전문적인 판단은 그 판단이 방어 가능하고 신뢰할 수있는 방식으로 증명되고, 동기 부여되고 구체화되어야합니다. 성과 평가를 안내하기 위해 가치 및 표준에 대한 집단 토론을 통해 상호주의적인 범주 또는 차원을 개발할 수 있습니다. 증거에 대한 비판적 검토, 의사 결정 과정의 문서화, 다른 해석 및 가정에 대한 의문 제기는 모두 필수적이며 최종 결정의 타당성과 공정성에 기여합니다. 평가의 해석적 접근의 강점 중 하나는 추적가능성이며, 이는 풍부하고 의미있는 정보와 가치와 표준에 대한 문서화에 의해 이뤄진다. 외부 평가자는 프로세스가 공정하고, 전문적인 표준을 반영하며, 무능한 전문가로부터 일반 대중을 보호하기에 충분히 엄격하다는 것을 보증하기 위해 감사 역할을 맡을 수 있습니다. 이러한 관점에서, 해석적 평가는 평가자의 생각을 숨기는 일련의 점수에 의존하는 평가보다 더 신뢰할 수있다.

essentially, final decision making requires professional judgements that should be corrobo- rated, motivated and substantiated in such a way that the judgement is defensible and credi- ble. To guide the performance evaluation, inter- pretive categories or dimensions can be developed through collective discussion of val- ues and standards. The critical review of the evi- dence, the questioning of the different interpretations and assumptions as well as the documentation of the decision-making process are all essential and contribute to the validity and fairness of the final decision. Part of the strength of interpretive approaches to assess- ment is its traceability, through documentation of rich, meaningful information and articulation of values and standards. External evaluators may then assume an auditing role to ensure that the process is equitable, reflects pro- fessional standards and is sufficiently rigorous to protect the public from incompetent profession- als. In this respect, interpretive assessment may be more trustworthy than assessments relying on a set of scores that mask assessors’ think- ing.51

평가에 대한 이러한 견해는 심리측정 기반의 환원주의적 (실증주의 중심의) 접근 방식과는 근본적으로 다르다. 그럼에도 심리측정적 기반과 구성주의- 상호주의적 평가 방법이 갖는 공통점은 신뢰할만한 증거에 근거하여 전문역량에 대한 신뢰성 있고 방어 가능한 추론을 해야 한다는 것이다. 두 가지 틀 내에서 평가 타당성 확인은 '관찰 된 성과에서 결론 및 결정으로 이어지는 일련의 추론 및 가정의 개발'과 '이러한 추론 및 가정의 타당성 평가 ... 적절한 증거의 사용'을 포함한다.

These views on assessment are fundamentally differ- ent from prevailing psychometric-based, reductionist (positivist-oriented) approaches to assessment. What both the psychometric-based and constructivist-inter- pretivist assessment approaches have in common, though, is that inferences about professional compe- tence need to be credible and defensible, based on trustworthy evidence. Within both frameworks, assessment validation comprises the ‘development of a series of inferences and assumptions leading from the observed performances to conclusions and decisions…’ and ‘evaluation of the plausibility of these inferences and assumptions ….. using appro- priate evidence’.52

분명히, 정량적 평가와 관련된 신뢰성과 타당성에 대한 전통적인 관념은 상황에 따른 성과 해석의 평가에서는 유용성이 제한적이다. 해석주의적 평가 접근법의 근본적인 가정은, 이론적인 틀로서의 타당성 이론과 질적 평가에서 타당화 과정에 사용될 개념적 도구를 요구한다. 해석주의자 평가 접근법에서 사용되는 질적탐구의 '타당성'을 결정하기 위하여 이러한 도구가 사용되어야 한다. 링컨 (Lincoln)과 구바 (Guba) 53,54의 평가에 대한 고전적 연구에서 구성주의자 - 해석주의자 평가의 적절성을 판단하는 데 사용할 수있는 기준이 제안되었습니다. 평가 품질을 평가하기위한 신뢰성 (즉, 신용, 이전 가능성, 의존성 및 확인 가능성) 및 진위성 (즉, 공평성, 개방성, 협상 및 공유 된 이해)과 같은 기준의 사용을 제안합니다.

Clearly, traditional notions of reliability and validity related to quantitative evalua- tion of assessment practices have limited usefulness in the evaluation of situated performance interpre- tations. The theoretical assumptions underlying interpretivist assessment approaches, call for validity theory that provides the theo-retical framework and the conceptual tools to guide the validation process in qualitative assessment inquiry , and we argue that they can and should be used to determine ‘validity’ (i.e., trustworthiness, credibility and defensibility) of the qualita- tive inquiry in interpretivist assessment approaches.  Criteria and standards that can be used to judge the adequacy of constructivist-interpretivist assessment have been suggested by Lincoln and Guba53,54 in their classical work on evaluation. They suggest the use of criteria such as trustworthiness (i.e. credibility, transferability, dependability and confirmability) and authenticity (i.e. fairness, openness, negotiation and shared understanding) to evaluate assessment quality.

그들은 또한 질적 탐구를 엄격하게하기 위해 다양한 기술이나 방법론적 전략의 사용을 제안한다. 이러한 기술에는 다음이 포함됩니다. 피어 브리핑; (신흥 해석에 도전하는 반박 표본을 적극적으로 추구하는) 불확실한 증거 분석, 신원 확인을위한 진보적 인 주관성, (양도 성 달성을위한) 두껍고 풍부한 설명, 감사 추적, 외부 감사 및 평가 결정 프로세스 (의존성 및 확인 가능성 확보).

They furthermore propose the use of vari- ous techniques or methodological strategies to bring rigour to the qualitative inquiry. These techniques include: 

• prolonged engagement in the assessment process; 

• peer debriefing; 

• analysis of disconfirming evidence (i.e. actively seeking counterexamples that challenge emerging interpretations), 

• member checks and progressive subjectivity (to achieve credibility) as well as 

• thick, rich description (to achieve transferability) and 

• the audit trail, external audit and documentation of the assessment decision pro- cesses (to achieve dependability and confirmability).

CONCLUDING REMARKS

우리의 주장은, 평가의 (평가)에서 특정 프레임워크를 구축 할 때, 그 사용을 뒷받침하는 가정에 대해 아주 명확해야한다는 것이다. 사회 - 문화 학습 이론에 기초하여 우리는 전문 역량의 중요한 측면에 대한 심층적 인 이해와 의미있는 정보를 생성하기 위해 질적 (구조적 - 해석 주의적) 연구 패러다임에 기반한 WBA 접근법을 제안한다. 학습 성과를 풍부하고 서술 적으로 평가하고 기본 성과 이론 및 가치를 명확히하는 것은 학습을 최대화하기위한 평가 시스템의 형성 기능을 향상시킬뿐 아니라 총괄 평가에서 신뢰할만한 의사 결정에 필수 불가결하다. WBA에 대한 구성주의자 - 해석 주의자 접근법에 대한 인식이 높아지며, 심리측점담론에만 초점을 둔 현대 보건의료교육의 평가에 더 이상 도움이되지 않을 수도 있다는 인식이 점차 커지고있는 것으로 보인다 .60,61

Our argument, is that when building on specific frameworks in (evaluation of) assessments, one has to be very clear about assump- tions underlying its use. On the basis of socio-cul- tural learning theories we propose approaches towards WBA that are grounded in qualitative (con- structivist-interpretivist) research paradigms, to gen- erate in-depth understanding of and meaningful information about critical aspects of professional competence. Rich, narrative evaluations of perfor- mance as well as articulation of underlying perfor- mance theories and values not only enhance the formative function of the assessment system to maximise learning,58 but are indispensible for trust- worthy decision making in summative assessments. Our constructivist-interpretivist approach to WBA seems to cater to the growing awareness in the liter-ature that an exclusive focus on the psychometric discourse may no longer be helpful in facing assess- ment challenges in modern health care practices and education.60,61 

오히려 우리는 평가 프로그램의 양적 접근 방식과 질적 접근 방식의 균형을 조심스럽게 유지하면서, 평가 목적뿐만 아니라 학습 및 성과 / 역량의 개념화에 근거하여 선택을 정당화하는 것을 목표로 삼아야합니다.

Rather, we should aim for careful balancing of quantitative and qualitative approaches in our assessment programmes, justify- ing our choices on the basis of assessment purposes as well as conceptualisations of learning and perfor- mance/competence.

WBA에 대한 해석주의적 접근의 함의는 '해석적인 공동체interpretive community'는 그것을 만들 수 있는 평가자뿐만 아니라 성과평가를 숫자에서 단어로 전환함을 의미한다. 이것은 평가자가 자신의 가치와 판단을 뒷받침하는 가정을 기꺼이 드러낼 수 있음을 의미합니다. 그들은 비판적 대화와 의미있는 협상에 기꺼이 참여하고, 다른 사람들을 건설적으로 비판하고, 변화에 개방적이어야한다. 가장 큰 과제는 평가 과정에서 신뢰를 확보하는 데 필요한 시간과 에너지를 쏟는 것이다.

Implications of interpretivist approaches to WBA include a shift from numbers to words in perfor- mance assessment as well as assessors who are will- ing and able to create an ‘interpretive community’. This means that assessors must be able to demon- strate commitment to articulation of their own val- ues and assumptions underlying judgements; they must be willing to engage in critical dialogue and meaningful negotiation, offer criticisms to others and be open for change in the light of the negotia- tion. The biggest challenge may very well be to make the necessary commitments of time and energy that are required to achieve trustworthiness in the assessment process.

마지막으로, 이 논문에서 설명서 평가 및 타당도의 개념화가 다양한 범위의 (학교 기반) 교육 환경에서 모든 종류의 비표준화 평가에 적용된다. 학습 평가에 대한 평가의 변화는 평가 및 평가 타당성에 대한 고전적 개념의 재검토를 요구합니다.

Finally, we think that conceptualisations of assess- ment and validity as described in this paper apply to all kinds of unstandardised assessments – in a range of (school-based) educational contexts. Changes in assessment towards assessment for learning, increas- ingly call for reconsideration of conventional notions of assessment and assessment validity.

GLOSSARY TABLE

Social/socio-cultural learning theories emphasise learning through active participation in social (authentic, profes- sional activities). Learners develop by actively engaging in ongoing processes of workplaces. The learning processes as well as learning outcomes (performance) are deter- mined by social, organisational, cultural and other contex- tual factors. However, socio-cultural learning theories also reject the idea that the individual learner should be the exclusive focus of analysis: learning can be either individ- ual or social (collective).17

Constructivist-interpretivist assessment approaches view assess- ment to be value laden and socially constructed. Assessors are social beings who construct the assessment according to their own values, beliefs and perceptions. Performance can therefore never be objective. The interpretive approach focuses on participants’ own perspectives in conceptualising and reconstructing their experiences, expectations, interpretations and assumptions.38

23 Mennin S. Self-organisation, integration and curriculum in the complex world of medical education. Med Educ 2010;44:20–30.

36 Ginsburg S, Bernabeo E, Ross KM, Holmboe ES. “It depends”: results of a qualitative study investigating how practicing internists approach professional dilemmas. Acad Med 2012;87 (12):1–9.

50 Kuper A, Reeves S, Albert M, Hodges BD. Assessment: do we need to broaden our methodological horizons? Med Educ 2007;41:1121–3.

---

Med Educ. 2013 Dec;47(12):1164-74. doi: 10.1111/medu.12289.

Validity in work-based assessment: expanding our horizons.

Govaerts M1, van der Vleuten CP.

Author information

1

Educational Development and Research, Maastricht University, Maastricht, the Netherlands.

Abstract

CONTEXT:

Although work-based assessments (WBA) may come closest to assessing habitual performance, their use for summative purposes is not undisputed. Most criticism of WBA stems from approaches to validity consistent with the quantitative psychometric framework. However, there is increasing research evidence that indicates that the assumptions underlying the predictive, deterministic framework of psychometrics may no longer hold. In this discussion paper we argue that meaningfulness and appropriateness of current validity evidence can be called into question and that we need alternative strategies to assessment and validity inquiry that build on current theories of learning and performance in complex and dynamic workplace settings.

METHODS:

Drawing from research in various professional fields we outline key issues within the mechanisms of learning, competence and performance in the context of complex social environments and illustrate their relevance to WBA. In reviewing recent socio-cultural learning theory and research on performance and performance interpretations in work settings, we demonstrate that learning, competence (as inferred from performance) as well as performance interpretations are to be seen as inherently contextualised, and can only be under-stood 'in situ'. Assessment in the context of work settings may, therefore, be more usefully viewed as a socially situated interpretive act.

DISCUSSION:

We propose constructivist-interpretivist approaches towards WBA in order to capture and understand contextualised learning and performance in work settings. Theoretical assumptions underlying interpretivist assessment approaches call for a validity theory that provides the theoretical framework and conceptual tools to guide the validation process in the qualitative assessment inquiry. Basic principles of rigour specific to qualitative research have been established, and they can and should be used to determine validity in interpretivist assessment approaches. If used properly, these strategies generate trustworthy evidence that is needed to develop the validity argument in WBA, allowing for in-depth and meaningful information about professional competence.

© 2013 John Wiley & Sons Ltd.

Comment in

• Validating workplace-based assessments: continuity, synthesis and a qualitative heart. [Med Educ. 2013]

PMID:

 

24206150

 

DOI:

 

10.1111/medu.12289