HPE 평가의 사회적 명령으로서 타당도: 개념 분석(Med Educ, 2018)

HPE 평가의 사회적 명령으로서 타당도: 개념 분석(Med Educ, 2018)

Validity as a social imperative for assessment in health professions education: a concept analysis

Melanie Marceau,1 Frances Gallagher,1 Meredith Young2 & Christina St-Onge3

도입 INTRODUCTION

보건 전문직 교육(HPE) 내에서 평가의 역할을 재고하고 재편성해야 한다는 주장이 여러 차례 제기돼 왔다. 평가 요청의 현재 추세는 다음을 요구한다.

• 전통적인 학습의 평가에서 벗어나 학습을 위한 평가를 향한 변화, 

• 대안적이고 진정한authentic 평가 전략의 지원 및 사용

• 성과에 대한 목적적합하고 적절한 표본 추출에 대한 증가하는 요구에 부합

모두 프로그램적 평가를 위한 접근방식이다.2

There have been several calls to reconsider and reshape the role of assessment within health professions education (HPE). Current trends in assessment call for 

• a shift towards assessment for learning away from the traditional assessment of learning,1 

• urge increased support for and use of alternative and authentic assessment strategies, and 

• echo a growing call for purposeful and appropriate sampling of performance, 

all of which are approaches that translate to programmatic assessment.2 

평가에 있어 가장 중요한 고려사항은 시행 중인 평가 전략이 최고 품질이어야 한다는 것이다. 평가의 품질은 전통적으로 그 타당성과 연관되어 왔으며, 이는 [평가 점수의 타당한 해석을 뒷받침할 증거를 축적하는 것을 목표]로 하는 엄격한 검증 과정을 통해 문서화된다.3–5

One consideration that remains paramount to assessment is that the assessment strategies put in place need to be of the highest quality. The quality of assessment has traditionally been associated with its validity, which is documented through rigorous validation processes that aim to accumulate evidence to support a valid interpretation of assessment scores.3–5

[Authentic 및 프로그램적 평가와 같은] 평가의 현재 추세에 대하여, [타당화에 대한 전통적인 접근법]에 대해서도 의문이 점점 커지고 있다.6–9 예를 들어, 문헌에는 평가자 분산rater variance이 전문가 판단을 반영할 수 있으므로 측정 오류로만 간주해서는 안 된다는 논의가 있다. 이러한 논의는 모든 평가자 분산을 측정 오류로 보고 전통적인 측정 모델을 적용하는 것은 적절하지 않음을 시사한다.10 또한, (authentic 또는 프로그램적 평가처럼) 복잡한 평가를 위한 타당화 프로세스에서 통계적 및 심리학적 근거에만 의존하는 것에 약간의 불편함이 있는 것으로 보인다. 이유는, 이 증거가 부적절해서가 아니라 평가의 품질에 대한 평가로서 불완전하기 때문이다.

The use of traditional approaches to validation for current trends in assessment, such as authentic and programmatic assessment, is increasingly questioned.6–9 For instance, there are discussions in the literature suggesting that rater variance may reflect expert judgement and therefore should not be considered solely as measurement error. These discussions suggest traditional measurement models cannot be applied as they consider all rater variance to be measurement error.10 Additionally, there appears to be some discomfort about relying solely on statistical and psychometric evidence in a validation process for complex assessment such as authentic or programmatic assessment, not because this evidence is inappropriate, but because it may give an incomplete evaluation of the quality of the assessments (e.g. Schuwirth and van der Vleuten,11 and Hodges12).

기존 심리측정학 모델을 복잡한 평가에 적용할 수 있는지에 대한 논쟁 외에도 HPE 커뮤니티에서는 타당성 자체에 대한 합의가 거의 없는 것으로 보인다. St-Onge 외 연구진들은 HPE 문헌에서 타당성이 어떻게 사용되는지를 조사하기 위해 담화 분석 방법론에 의존했다. 저자들은 HPE 문헌에서 타당성에 대한 세 가지 다른 개념을 식별하고 기술하였다. 

(i) 시험 특성으로서의 타당성 (고전 유효성 'trinity'[내용, 기준 및 구성]에 대한 유효성); 

(ii) 주장 기반 증거사슬로서의 타당성(메식스 13 및 케인의 14 프레임워크에서 선호하는 논쟁 기반 접근법과 유사) 

(iii) 사회적 의무로서의 타당성.9 

In addition to the debates about the applicability of traditional psychometric models to complex assessment, there seems to be little agreement in the HPE community regarding validity itself. St- Onge et al.9 relied on discourse analysis methodology to investigate how validity is used in the HPE literature. The authors identified and described three different conceptualisations of validity within the HPE literature: 

• (i) validity as a test characteristic (similar to the classic validity ‘trinity’ [content, criteria and construct]); 

• (ii) validity as an argument-based evidentiary chain (similar to the argument-based approaches favoured in Messick’s13 and Kane’s14 frameworks), and 

• (iii) validity as a social imperative.9 

다른 개념론과 대조적으로, 사회적 의무로서의 타당성은 HPE 문헌에서 새롭게 대두되는 담론이며 [평가와 검증에 대한 보다 전체적인holistic 비전]을 반영하며, 특히 평가의 [더 넓은 개인(학습자)과 사회적 결과에 대해 고려할 것]을 강조한다. 예를 들어, '사회적 결과societal consequences'에 대한 고려는 보건 전문가 인증으로 이어지는 높은 수준의 평가 품질을 보장할 필요성을 포함했다.

By contrast with the other conceptualisations, validity as a social imperative is an emerging discourse in the HPE literature and reflects a more holistic vision of assessment and validation, specifically highlighting considerations for broader individual (learner) and societal consequences of assessment. For example, within the discourse analysis, consideration for ‘societal consequences’ included the necessity of assuring the quality of high-stakes assessments leading to the certification of health professionals.

사회적 의무로서의 타당성의 새로운 개념은 문학 전반에 걸쳐 제시되었고, 프로그램적 평가에 관한 논의를 반영하고 사회 내 [다른 이해관계자(예: 학습자, 평가자, 교육 프로그램, 더 넓은 대중)]에 대한 [평가의 잠재적 결과]에 대한 고려를 증가시켰다. 이 담론은 St-Onge 외 연구진에서 가장 덜 구체화되거나 조작화된 것으로, 아마도 그것의 창발적 성격 때문일 것이다.

The emerging concept of validity as a social imperative was represented across a body of literature and reflected discussions around programmatic assessment and increased consideration of the potential consequences of assessment for different stakeholders in society (e.g. learners, assessors, educational programmes, the broader public). This discourse is the least concretised or operationalised in St-Onge et al.’s work,9 probably because of its emergent nature.

방법 METHODS

개념분석(concept analysis)은 지식의 개발에 사용되는 방법론이다.15,16 체계적이고 엄격한 과정을 통해 개념을 구체화하고 다듬어 실전에 보다 효율적으로 사용할 수 있도록 할 수 있다.16 로저스에 의해 개발된 방법은 귀납적이며 데이터 분석에 대한 질적 접근법에 의존한다.16,17 로저는 그녀의 방법을 [나선형]이라고 묘사하였으며, 이는 반복적인 과정을 통해 개념의 끊임없는 진화를 보여주는 것이다. 이 끊임없는 진화는 우리의 목적과 잘 맞아떨어졌다.18,19

Concept analysis is a methodology used in the development of knowledge.15,16 Through a structured and rigorous process, this methodology can be used to clarify and refine a concept so that it can be used more efficiently in practice.16 The method developed by Rodgers is inductive and relies on qualitative approaches to data analysis.16,17 Rodgers illustrates her method as a spiral to show the constant evolution of a concept through an iterative process,16,17 and this constant evolution resonated well with our purpose.18,19

로저스는 진화 개념 분석을 완료하는 데 있어 6단계를 설명하고 있으며, 이는 비선형적 방식으로 수행될 수 있다.16 표 1은 이러한 단계와 보다 전통적인 연구 용어와의 정렬을 간략히 설명한다. 1~4단계는 방법 섹션과 가장 직접적으로 일치하지만, 6단계는 이 문서의 결론에 설명되어 있다. 5단계는 개념 진화evolving concept에 항상 포함되어 있는 것은 아니며, 우리 작업의 진행 상황을 고려할 때, 우리는 그것을 향후 작업의 길잡이로 포함하기를 선호해왔다.

Rodgers describes six steps in completing an evolutionary concept analysis, which can be performed in a non-linear fashion.16 Table 1 briefly describes these steps and their alignment with more traditional research terminology. Whereas Steps 1–4 align most directly with the methods section, Step 6 is described in the conclusion of this article. Step 5 is not always included for evolving concepts and, given the state of progress of our work, we have preferred to include it as an avenue for future work.

1단계. 관심의 개념 및 관련 표현 식별

Step 1. Identify the concept of interest and associated expressions

정의해야 할 개념에 라벨을 붙이는 데 사용되는 용어(단어나 단어 그룹)를 적절하게 선택하는 것이 필수적이다.16 처음에, [사회적 명령]으로서의 타당성의 새로운 개념은 HPE 문헌으로부터 개발되었다. 이 개념 분석의 실행에서, 우리는 맥락을 구체화하는 것이 중요하다는 것을 알게 되었다. 따라서, 이 연구의 핵심인 개념은 HPE의 평가에 대한 사회적 의무로서 타당성이 있다.

It is essential to appropriately select the terminology (word or group of words) used to label the concept that is to be defined.16 Initially, the emerging concept of validity as a social imperative9 was developed from the HPE literature. In the execution of this concept analysis, we found it important to specify the context; therefore, the concept that is the core of this study is validity as a social imperative for assessment in HPE.

2단계. 데이터 수집에 적합한 영역 식별 및 선택

Step 2. Identify and select an appropriate realm for data collection

St-Onge et al.,9에 의해 사용된 원래 용어로부터 그리고 학술 사서의 도움을 받아, (ii) 타당도, (iii) 사회적 의무, (iii) 평가, (iv) 보건 전문가(예: 의학, 간호 또는 물리치료 전문가)의 각 개념을 포함하는 논문를 대상으로 검색 전략을 개발했다.

Drawing from the original terms used by St-Onge et al.,9 and with the assistance of an academic librarian, a search strategy was developed to target articles that included each of the following concepts: (i) validity; (ii) social imperative; (iii) assessment, and (iv) health professional (e.g. medicine, nursing or physical therapy professional).

그림 1은 문서 선택 절차를 보여준다.

Figure 1 illustrates the document selection procedure.

3단계. 개념의 속성, 선행 조건 및 결과 식별과 관련된 데이터 수집

Step 3. Collect data relevant to identifying attributes, antecedents and consequents of the concept

3단계와 4단계를 별도로 제시하지만, 개념 분석 중에 데이터 수집과 관리는 반복적인 프로세스로 수행된다는 점에 유의해야 한다.16 데이터 수집과 분석은 개념을 명확히 하기 위해 팀원들 간에 몇 차례의 반복적인 토론이 필요했다.

We present Steps 3 and 4 separately; however, it is important to note that during concept analysis, data collection and management are performed as an iterative process.16 Data collection and analysis required several iterative rounds of discussion among team members to clarify the concept.

포함된 문서의 어떤 구성요소도 데이터의 출처로 간주될 수 있다: 초록, 도입, 방법, 결과, 토론 및 결론은 모두 사회적 의무로서 타당성 개념의 개선과 관련된 데이터를 생성할 수 있다.

Any component of an included document could be considered as a source of data: the abstract, introduction, methods, results, discussion and conclusion could all generate data relevant for the refinement of the concept of validity as a social imperative.

속성, 선행 조건 및 결과의 식별은 로저스가 설명한 개념 분석의 핵심 특징이다.17 이러한 중점 영역은 분석 전에 데이터를 수집, 정리 및 관리하는 데 도움을 주었다. 구체적으로는, 

• 선행조건antecedents은 HPE에서 평가를 위한 사회적 의무로서 타당성의 개념보다 앞서는 것이다. 

• 속성attributes은 개념을 정의하는 특성 또는 [HPE에서 평가에 대한 사회적 의무로서 타당성]을 다른 것과 구별짓거나 특징짓는 특성이다. 

• 결과consequents는 개념의 직접적인 결과로 일어나는 것이다.16

The identification of attributes, antecedents and consequents is a key feature of a concept analysis, as described by Rodgers.17 These main areas of focus helped us to collect, organise and manage the data before the analysis. More concretely, 

• antecedents are what precedes the concept16 of validity as a social imperative for assessment in HPE. 

• Attributes are the characteristics that define the concept16 or what distinguishes or characterises validity as a social imperative for assessment in HPE. 

• The consequents of a concept are what happens as a direct result of the concept.16

4단계. 개념의 속성, 선행 조건 및 결과에 대한 데이터 분석

Step 4. Analyse data for the attributes, antecedents and consequents of the concept

개념 분석이 중요한 방법론적 프레임이었지만, 텍스트에서 수집된 데이터를 해석하기 위해 어떤 정성적 분석 접근법을 사용해야 하는지에 대해서는 규범적이지 않다. 여기서, 우리는 마일스 등이 기술한 정성적 분석 프로세스를 사용하기로 결정했는데, 이는 개념 분석의 구조를 감안할 때 로저스가 제안한 선행 코드, 속성 및 결과물을 포함하는 미리 정해진 코드 내에서 창발적 코드(귀납적 프로세스)를 식별할 수 있기 때문이다. 좀 더 구체적으로 말하면, 이 과정은 반복적으로 그리고 부수적으로concomitantly 진행되는 수행된 세 가지 동시적 분석 사이클로 구성되어있다 - [데이터 응축, 데이터 표시, 그리고 결론 도출 및 검증]

Although concept analysis was the overarching methodological frame, it is not prescriptive regarding which qualitative analysis approach should be used to interpret data gathered from texts. Here, we decided to use the qualitative analysis process described by Miles et al.20 because it allows for the identification of emerging codes (inductive process) within predetermined codes, which, given the structure of a concept analysis, includes antecedents, attributes and consequents as suggested by Rodgers.15,16 More specifically, this process consists of three concurrent analysis cycles performed iteratively and concomitantly: data condensation; data display, and drawing and verifying conclusions.

• 데이터 응축은 미리 결정되어있거나(예: 선행 조건, 속성 및 결과), 새롭게 부상한 코드(예: 유효성의 결과에 대한 논란 또는 점수 해석에 따른 결과에 대한 우려)를 사용한 데이터 분석이다.

Data condensation consists of data analysis using predetermined (i.e. antecedents, attributes and consequents) and emerging codes20 (e.g. controversy about consequences of validity or concern about consequences resulting from the interpretation of scores).

• 데이터 디스플레이는 데이터 시각화를 통해 우리의 결과를 더 잘 이해하고 나타낼 수 있게 했다.20 스키마를 이용하여, 연구팀은 코드의 시각적 표현을 얻었다.

Data display allowed us to better understand and represent our results through data visualisation.20 Using a schema, the research team obtained a visual representation of the codes.

모든 요소에 대한 이러한 개요는 문서의 발췌본이 속성인지 선행인지 결과인지를 판단하는 데 도움이 되었다.

This overview of all elements helped us to determine whether an excerpt of a document was an attribute, an antecedent or a consequent.

• 결론을 도출하고 검증하는 것은 데이터 응축과 데이터 표시에서 나타나는 결론의 개발과 검증과 관련이 있다.20 분석은 반복적인 과정이었기 때문에, 연구팀은 데이터와 코드 사이의 일치를 개선하기 위해 문서를 여러 번 다시 읽었다.

Drawing and verifying conclusions relates to the development and verification of conclusions that emerge from data condensation and data display.20 Because analysis was an iterative process, the team re-read the documents several times to improve the match between data and codes.

결과 

RESULTS

총 67건의 문서가 선정되어 분석되었다.

A total of 67 documents were selected and analysed.

(Table 2).

(Table 3).

HPE의 평가에 대한 사회적 의무로서 타당성 개념의 확인된 선행 조건, 속성 및 결과의 개요는 그림 2에서 확인할 수 있다.

An overview of the identified antecedents, attributes and consequents of the concept of validity as a social imperative for assessment in HPE can be found in Figure 2.

선행자

Antecedents

사회적 기대에서 비롯되는 HPE의 변화

Changes to HPE that stem from societal expectations

전문기관과 고등교육기관이 [의료전문가의 역량취득을 측정하고 감시하는 방법에 대한 정보]에 대한 사회의 욕구가 증가하고 있다.21 예를 들어, 역량기반교육(CBE)의 핵심 원칙 중 하나는 전문직 종사자가 성취하도록 보장함으로써 환자를 보호하는 것이다. 일정 수준의 역량22–24이며 임상 환경의 현실에 더 잘 대비된다.25–27 전문 기관과 고등 교육 기관은 대상 역량에 걸쳐 학습자의 능력을 가능한 한 정확하게 측정하기 위해 평가 프로그램을 신중하게 계획하고 설계해야 한다.

There has been increasing desire on the part of society for information on how professional bodies and higher education institutions measure and monitor the acquisition of competencies by health care professionals.21 For example, one of the core tenets of competency-based education (CBE) is to protect patients by ensuring that professionals achieve a certain level of competency22–24 and are better prepared for the realities of the clinical setting.25–27 Professional bodies and higher education institutions must ensure that their assessment programmes are carefully planned and designed in order to measure the abilities of learners across targeted competencies as accurately as possible.

역량 있는 실무에 대한 기대치를 반영하고 부합하는 평가에 집중

Focus on assessment that reflects and aligns with expectations of competent practice

학습을 촉진하고 대중을 보호하기 위해서는 평가 관행을 조정할 필요가 있다.23 문헌은 전통적인 학습의 평가에서 학습을 위한 평가로 이동함을 나타낸다.1 우리는 또한 대안적이고 진정한alternative and authentic 평가 전략의 사용에 초점을 맞추었다. 이러한 평가는 [현실주의, 작업 상황의 시뮬레이션 또는 작업 상황 자체의 동원]으로 특징지어지며, [판단, 복잡한 작업, 피드백]에 초점을 맞추고 있다.28-30 '프로그램적 평가'라는 용어가 점점 더 많이 사용되고 있다.

To facilitate learning and protect the public, it is necessary to adjust assessment practice.23 The literature indicates a shift towards assessment for learning from the traditional assessment of learning.1 We also found a focus on the use of alternative and authentic assessment strategies, characterised notably by realism, simulations of the work context, or mobilisation of the work context itself, and a focus on judgement, complex tasks and feedback.28–30 There is a growing use of the term ‘programmatic assessment’,2

타당성에 대한 적절한 증거를 제공하는 것이 어려움

Difficulty in providing appropriate evidence of validity

비록 심리측정학 접근법이 여전히 중요하고 HPE에 관련되지만, 기존의 타당화 전략은 보다 현대적인 평가 관행에 이를 적용할 때 한계가 있다.11,33 현재 우리가 이용할 수 있는 측정 및 통계 분석 모델은 [개별 역량 평가 도구]의 품질을 문서화하는 데 적합하지만, [평가 프로그램]을 검증하는 데 수반되는 복잡성으로는 쉽게 확장되지 않는다. 현재 우리의 정신측정학 모델은 도구에 의해 생성된 점수의 검증에 잘 배치되어 있지만, [서술적 피드백]이나 HPE에서 점점 더 늘어나는 [질적 평가 데이터]에 적합한 접근법은 별로 가지고 있지 않다. 게다가, 실제로 [전체 평가 프로그램] 또는 [학습자의 전반적인 역량]의 타당화를 잘 처리할 수 있는 정신측정학 접근법은 거의 없다.

Although psychometric approaches are still valuable and relevant in HPE, traditional validation strategies have limits when it comes to applying them to more modern assessment practices.11,33 The measurement and statistical analysis models currently available to us are appropriate for documenting the quality of individual competence assessment tools, but are not easily extended to the complexities of validating a programme of assessment. Whereas our current psychometric models are well situated for the validation of scores generated by tools, we have few approaches that are appropriate for narrative feedback, or the more qualitative assessment data that are increasingly present in HPE.34 In addition, few psychometric approaches are, indeed, amenable to the validation of entire assessment programmes or the learner’s overall set of competencies.21

[사회적 필수요건]으로 타당성 측면에서의 [선행자]들은 [의료전문가의 훈련과 평가에 대한 지속적인 주요 변경사항], 특히 [교육과 평가에 대한 CBE 접근방식의 채택]과 align 되어있는 것으로 보인다.

The antecedents identified for validity as a social imperative seem to align with ongoing major changes to the training and assessment of health care professionals, most notably the adoption of CBE approaches to training and assessment.

특성 

Attributes

평가 품질을 문서화하기 위해 사회가 신뢰할 수 있다고 간주하는 증거의 사용 시연

Demonstration of the use of evidence considered credible by society to document the quality of assessments

결과에 대한 해석은 [관리자의 결정(예: 성공 대 실패)]으로 이어질 가능성이 높다. HPE의 맥락에서, 평가 결과의 잘못된 측정 또는 잘못된 해석은 환자 안전에 큰 영향을 미칠 수 있다: 필요한 기술이나 역량이 없는 연습에 적합하다고 판단되는 학습자는 부적절한 환자 진료를 제공할 수도 있다.23,35

Interpretation of the results is likely to lead to a decision by the administrators (e.g. success versus failure). In the context of HPE, poor measurement or misinterpretation of assessment results can have a significant impact on patient safety: a learner who is deemed suitable for practice without the requisite skills or competencies may deliver suboptimal patient care.23,35

학습자의 success or failure는 [설득력 있는 평가 자료에 근거]해야, 준비되지 않은 연습생이 사회에 미칠 잠재적 부정적 영향을 줄일 수 있다.

A learner’s success or failure must be based on persuasive assessment data to decrease the potential negative impacts of an ill-prepared trainee on society.

즉, 고부담 평가(라이센스 검사 등)는 [환자에게 안전한 진료를 제공하기 위해 필요한 역량을 아직 숙달하지 못한 연습생]에게 진료할 수 있는 권한을 부여할 수 있다. 그러한 결과로, 학습자의 능력에 대한 판단을 담당하는 전문 기관과 고등 교육 기관은 [충분하고 신뢰할 수 있는 증거]를 가지고 [학습자의 역량 수준을 문서화]해야 한다.

In other words, high-stakes assessments (such as licensure examinations) may grant the right of practice to trainees who have not yet mastered the competencies required to provide safe care to patients. With such consequences, the professional bodies and higher education institutions responsible for making judgements about a learner’s abilities must document the learner’s level of competence with sufficient and credible evidence.37–40

점점 더 많은 전문 기관professional bodies들이 학습자 역량 평가에 대한 책임을 고등 교육 기관과 전문 훈련 프로그램에 이전하고 있다.26 따라서, [타당화 프로세스를 수립하고 평가 품질을 뒷받침하는 증거를 문서화하는 것]은 (프로그램 인증을 포함하여) 고등 교육 기관이 가지는 책임의 주요 측면이다. 평가가 종종 사회를 보호하기 위한 보호자로서 사용된다는 점을 고려할 때, 우리는 [평가 점수에 대한 해석의 타당성을 문서화하는 증거]를 사회가 이용할 수 있도록 해야 하며, [이용자들에게 신뢰성이 주어야 한다]고 주장한다. 이는 평가 과정에 대한 외부 관점을 필요로 한다.

Increasingly, professional bodies are transferring responsibility for assessing learner competency to higher education institutions and professional training programmes.26 Therefore, establishing validation processes and documenting evidence supporting the quality of assessment is a major aspect of responsibility for higher education institutions, including for programme accreditation. Given that the assessment is often used as a guard with which to protect society, we posit that the evidence to document the valid interpretation of assessment scores should be made available to society and credible to its users; this takes an external view of the assessment process.

고등 교육 기관과 전문 훈련 프로그램은 그들이 유능한 실무자임을 입증한 훈련생들만 졸업하거나 인증할 책임이 있으며, 그러한 결정을 뒷받침할 증거를 제공할 수 있어야 한다.

Higher education institutions and professional training programmes have a responsibility to society to ensure that they graduate or certify only those trainees who have demonstrated they are competent practitioners, and must be able to provide evidence to support those decisions.

평가 프로세스 및 점수 해석을 통해 포함된 검증

Validation embedded through the assessment process and score interpretation

검증은 지속적인 역동적 과정이다.41 개발 및 모니터링을 포함하는 평가에 참여하는 사람들은 평가 및 평가 프로그램의 개발, 평가 전략의 관리 및 결과의 해석 과정에서 평가의 품질(타당성)에 대한 지속적인 경계심vigilance을 보여야 한다.39

Validation is a continuous dynamic process.41 Those involved in assessment, which includes development and monitoring, must show constant vigilance for the quality (validity) of their assessments during the development of the assessment and assessment programme, the administration of assessment strategies, and the interpretation of results.39

평가 프로그램을 구성함에 있어, 타당화 프로세스의 모든 구성요소를 의도적으로 선택하면 결과의 해석이 더 신뢰할 수 있고 방어성이 더 높아진다.6 평가 과정 전반에 걸쳐 타당성을 구축하는 것은 평가 프로그램의 모든 측면의 품질을 개선하는 데 도움이 된다. 구체적인 용어로, 이것은 평가 책임자가 [타당화 전략](예: 심리측정학 분석, 측정자 인터뷰), [평가 관리 절차], [평가자가 요구하는 교육]을 미리 선택한다는 것을 의미한다.

During the construction of an assessment programme, the deliberate selection of all components of the validation process makes the interpretation of results more credible and more defensible.6 Building in validity34,42 throughout the assessment process helps to improve the quality of all aspects of the assessment programme. In concrete terms, this means that the person responsible for the assessment pre-selects the validation strategies (e.g. the psychometric analyses, interviews with raters), the assessment administration procedure and the training required by assessors.

결과적 타당성에 대한 고려는 검증 프로세스의 필수적인 부분이며 평가 개발 및 모니터링 프로세스 전반에 걸쳐 타당성을 구축하기 위한 노력에서 중요한 고려사항이 되어야 한다. 결과는 의도되거나 의도하지 않을 수 있고, 유익하거나 해로울 수 있다. 결과적으로, 관리자는 평가 프로그램에 포함된 모든 평가를 개발하는 동안 평가의 잠재적 결과를 고려하고 또한 모니터링해야 한다. 보다 구체적으로, 예상가능한 결과를 고려할 때에는 운영 및 결과 해석에서 발생하는 [모든 가능한 결과]가 포함되어야 하며, (일반적으로 검증에 대한 더 고전적인 접근방식처럼) 구인-무관 분산(CIV)에 국한되지 않아야 한다.

Consideration for consequential validity is an essential part of the validation process35 and should be an important consideration in an effort to build in validity throughout the assessment development and monitoring process. Consequences can be intended or unintended, beneficial or harmful.5,13,14,43 As a result, administrators should consider, and also monitor for, potential consequences of assessment during the development of all assessments included in an assessment programme. More specifically, the consideration of anticipated consequences should include all possible consequences arising from the administration and interpretation of the results,35 and not be limited to construct-irrelevant variance, as typically reported in more classical approaches to validation.

[의도적인 이익]은 종종 예측하고 측정하기 가장 쉬운 반면, [의도하지 않은 손해]는 종종 고려하고 감시하기 가장 어렵다.

Intentional benefits are often the easiest to anticipate and measure, whereas unintentional harms are often the hardest to consider and monitor.35

평가 결과의 조합 해석을 뒷받침하는 문서화된 유효성 증거

Documented validity evidence supporting the interpretation of the combination of assessment findings

검증 프로세스는 다른 시간에 서로 다른 출처로부터 수집된 학습자의 여러 '스냅샷' 형태로 상당한 양의 정보를 생성하는 프로그램 평가 접근법에서도 중요하다.21 프로그램 평가에서는, 평가 프로그램에서 생성된 점수(들)의 해석을 뒷받침하는 타당성 증거를 수집해야 한다.

The validation process is also important in a programmatic assessment approach that produces a considerable amount of information in the form of several ‘snapshots’ of the learner collected from different sources at different times.21 In programmatic assessment, validity evidence must be collected to support the interpretation of the score (s) generated by the assessment programme

평가 결과를 전체적으로 해석하려면, [이용 가능한 평가 데이터]를 조직하고 해석하기 위해 [한 명 또는 그 이상의 개인]의 판단이 필요할 수 있다.

This interpretation of the assessment results as a whole is likely to require the judgement of one or more individuals in order to organise and interpret available assessment data.

결과를 [산술적으로 단순히 합산만 하면 전체가 되는 작은 조각으로 나눌 수 없는 경우], 특히 평가 프로그램에서 [다양한 평가 유형의 정보를 결합해야 하는 경우], 정보를 수집하고 분석collate하기 위해 인간의 판단을 사용해야 한다.

‘If we cannot break down the results into little pieces that arithmetically add up to a total score, we need to use human judgement to collect and collate information, especially if – in a programme of assessment – information from various types of assessment needs to be combined (p. 481)’.32

평가 관리자가 평가 프로그램에 걸쳐 제시된 학습자의 성과에 대해 보다 방어가능한 결정을 내릴 수 있도록 타당성 증거를 문서화할 필요가 있다.21

Validity evidence needs to be documented in order to help assessment administrators make a more defensible decision about the learner’s performance, as represented across the programme of assessment.21

모든 평가 전략의 품질을 문서화하기 위한 다양한 증거(양적 및 정성적)의 정당화된 사용 시연

Demonstration of a justified use of a variety of evidence (quantitative and qualitative) to document the quality of all assessment strategies

평가 프로그램의 품질은 몇 가지 출처로부터의 타당도 증거에 기초해야 한다. 모든 평가 프로그램에 대해 포괄적인 검증 프로세스가 시행되도록 하기 위해 증거를 신중하게 선택해야 한다.26,41

The quality of the assessment programme must be based on evidence of validity from several sources.37,38,40 Evidence must be carefully chosen to ensure that a comprehensive validation process is put in place for any assessment programme.26,41

타당도 증거는 본질적으로 양적이든 질적이든 엄격한 접근법에 기초해야 한다.34,35 평가 프로그램의 감시를 책임지는 사람들은 이를 위해 타당화 실무를 할 때 [질적연구의 맥락에서 개발된 지식과 방법의 총체corpus]를 활용integrate할 수 있다.

Validity evidence, be it quantitative or qualitative in nature, must be based on a rigorous approach.34,35 To this end, those responsible for the monitoring of programmes of assessment could integrate the corpus of knowledge and methods developed in the context of qualitative research into their validation practices.

예를 들어, 평가를 담당하는 관리자는 서로 다른 유형의 증거에 대한 일관성을 찾기 위해 데이터를 삼각측량하거나, [포화 상태]에 도달하기 위해 학습자의 성과에 대한 정보를 축적하기 위해 서로 다른 전략을 사용할 수 있다.1,39 [평가 의사결정 과정과 관련된 엄격함을 개선하기 위해 '전체적overall' 판단을 내리는 사람]들로부터 [상세한 질적 데이터]를 포함하는 것도 고려할 수 있다. .12

As an example, administrators responsible for assessment could use different strategies to accumulate information about the learner’s performance in order to triangulate data to look for consistency across different types of evidence or attempt to reach saturation.1,39 We could also consider including detailed qualitative data from the individuals who are making ‘overall’ judgements in order to improve the rigour associated with assessment decision-making processes.12

결과

Consequent

검증 프로세스의 건전성 및 평가에 따른 결정의 신뢰

Belief in the soundness of the validation process and the decisions resulting from the assessment

사회적 의무로서의 타당성은 이제 떠오른emerging 개념이기 때문에, 그 결과의 주제에 대해 직접 보고하는 문헌은 거의 없다. 그러나 서로 다른 집단(전문 기관 및 고등 교육 기관의 관리자, 평가를 수행하는 평가자)에 의해 수행되는 [타당화 프로세스에서 사회에 대한 고려consideration for society]는 [평가 시스템, 평가 점수, 그리고 이 시스템에서 도출된 판단]에 대한 신뢰를 증가시킬 것으로 믿는다. 프로그램적 평가는 타당하고 다양하며 고품질 유효성의 증거를 사용하여 구성 및 모니터링할 필요가 있다.34

As validity as a social imperative is an emerging concept, there is little literature directly reporting on the topic of its consequents. However, we believe that the consideration for society in the validation processes conducted by different groups (administrators for professional bodies and higher education institutions, as well as the assessors conducting the assessment) will increase trust in the assessment system, in the assessment scores and in judgements resulting from this system. Programmatic assessment needs to be constructed and monitored with relevant, varied and high- quality evidence of validity.34

'[실천공동체에 의한 수행능력 가치]에 대한 논의에 참여하면 [무엇이 전문적 역량의 우수성을 구성하는지]와 [평가 시스템이 환자 치료의 질 향상에 어떻게 기여할 수 있는지]에 대한 논쟁을 더욱 부채질할 수 있다(1172 페이지).33

‘Engagement in discussion about performance values by communities of practice may further fuel the debate about what constitutes excellence in professional competence and how assessment systems may contribute to improving the quality of patient care (p. 1172)’.33

평가와 검증 프로세스의 프로그램은 계획되고 명시적으로 문서화되어야 한다. 따라서 평가 결과의 해석에서 발생하는 [결정은 더 쉽게 방어할 수 있고 사회를 포함한 모든 이해당사자들에게 투명하게 공개될 것]이다.

The programme of assessment and validation processes should be planned and explicitly documented; therefore, decisions arising from the interpretation of the assessment results will be more easily defensible and made transparent to all stakeholders, including society at large.

고찰 DISCUSSION

평가의 타당성에 대한 사회의 우려

Society’s concern about the validity of assessment

사회는 평가가 고품질의 평가가 될 것으로 기대한다; 이는 [고등 교육 기관(차세대 의료 사업자를 양성할 사회적 지시)의 평가]부터 [다양한 전문 기관의 평가(대중을 보호할 사회의 지시)]에 이르기까지 광범위한 평가에 적용된다. 몇몇 기관들은 이러한 사회적 책임을 충족시키고 평가에 대한 사회적 우려에 대응할 수 있도록 하기 위한 작업을 시작했다. 한 예로, 캐나다 의료 위원회(MCC)는 [허가 의무(즉, 캐나다에서의 의료행위)와 관련된 사회적 맥락과 관련된 니즈]를 식별하기 위한 프로세스에 투자했다. MCC는 최근 관련 이해관계자(전문가, 간호사, 약사, 의사, 일반인)와의 협의 결과를 참작하기 위해 평가 청사진을 수정했다.45 점수 해석에 따른 의사결정을 정당화하기 위해 [타당성 증거]가 필요하며, 특히 보건의료 전문직의 진입을 위한 핵심 결정 지점을 나타내는 입학, 면허 및 인증과 같은 고부담 평가에서 그렇다.

Society expects assessments to be of high quality; this applies to assessments ranging from those by higher education institutions (which have the social mandate to train the next generation of health care providers) to those of the various professional bodies (which have the social mandate to protect the public). Several institutions have initiated work to meet this social responsibility and to enable them to respond to societal concerns about assessment. As one example, the Medical Council of Canada (MCC) invested in a process to identify needs relevant to its societal context as relevant to its licensure mandate (i.e. medical practice in Canada). The MCC has recently adapted its assessment blueprint to take into account results from consultations with relevant stakeholders (experts, nurses, pharmacists, physicians and members of the public).45 Validity evidence is necessary to justify decisions resulting from score interpretations, especially in high-stakes assessments, such as admissions, licensing and certification, which represent key decision points for entry into the health care professions.

에바 외 연구진은 고부담평가 횟수가 증가했음에도 불구하고 미국의 [의료 오류 빈도]와 [질 낮은 건강 관리의 빈도]가 계속 증가하고 있음을 강조한다. 환자 안전에 대한 사회적 우려는 의료 분야에서 발생하는 사건(예: 부작용)에 대한 대중 매체의 관심이 높아짐에 따라 촉진되는 것으로 보이며, 이는 의료 사업자의 역량 수준을 반영하는 것으로 볼 수 있다.46 [프로그램적 평가 또는 평가자 기반 평가에 대한 의존도가 증가하고, HPE의 평가 가치에 대한 인식이 지속되고, 많은 평가 결정의 고부담 특성을 인정함에 따라], (개인의 역량에 관한 추론을 포함하여) [평가 점수에 근거한 추론]의 타당성을 결정하는 것은 여전히 과제로 남아 있다.

Eva et al.23 highlight that, even with the increased number of high-stakes assessments, the frequencies of medical error and poor quality health care in the USA continue to increase. Societal concerns about patient safety appear to be fuelled by the growing attention given by mass media to events occurring in the health care sector (e.g. adverse events), which could be seen as a reflection of the competency level of health care providers.46 With increasing reliance on programmatic or rater-based assessments, continued recognition of the value of assessment in HPE and an acknowledgement of the high-stakes nature of many assessment decisions, determining the validity of inferences based on assessment scores, including inferences regarding an individual’s competence, remains a challenge.

메식스의 통일된 타당성 이론은 평가 프로그램의 품질 문서화를 책임지는 사람들을 도울 수 있는 방식으로 아직 운영되지 않았다. 프로그램적 평가에 대한 평가 점수에 근거한 추론 검증에 대한 [케인의 주장 기반 접근방식]을 운용하려는 노력이 있었지만, 이 프레임워크는 [메식(Messick)처럼] 평가의 결과에는 초점을 맞추지 못하고 있다. 평가 프로그램에 대한 검증 관행을 지원하기 위해 HPE 평가의 현재 맥락에서 이러한 프레임워크에서 최선의 것들을 통합하기 위한 추가 작업이 필요하다.

Messick’s13 unified theory of validity has yet to be operationalised in a way that could help those responsible for the documentation of the quality of their assessment programmes.25,47 Although there have been efforts to operationalise Kane’s14,43 argument-based approach to the validation of inferences based on assessment scores for programmatic assessment, this framework does not have the same focus on consequences of assessment as that of Messick.13 Further work is required to bring the best of these frameworks together in the current context of HPE assessment in order to support validation practices for programmes of assessment.

개인과 사회에 대한 평가 결정의 결과에 대한 기대

Anticipation of the consequences of assessment decisions for individuals and society

평가자는 개인과 사회에 대한 평가 결정의 잠재적 결과를 예측하고 이를 최소화 또는 완화하기 위한 조치를 제안해야 한다. 그러나 타당화 과정의 잠재적 결과에 대한 고려는 여전히 논란의 여지가 있다.48,49 메렌스50과 팝햄,51과 같은 일부 저자들은 [평가의 결과]가 타당성이 아니라 사회정책과 관련이 있다고 주장해왔다. 그럼에도 불구하고 평가는 사회적 행위로서 사회적 결과를 가져온다. 쿡과 라인베리35는 결과적 타당성이 검증 과정에서 고려해야 할 가장 중요한 증거라고 주장하기까지 한다. 그들의 정당성은 우리의 분석에서 확인된 핵심 특징과 유사하다: 평가 결과에 기초하여 이루어진 모든 결정은 긍정적이거나 부정적으로 개인이나 사회에 영향을 미칠 수 있다.

Assessors must anticipate the potential consequences of assessment decisions on individuals and society, and propose measures to minimise or mitigate them. However, consideration of the potential consequences of the validation process remains controversial.48,49 Some authors, such as Mehrens50 and Popham,51 have argued that the consequences of assessment are associated with social policies and not with validity.4,5,44,49,52,53 Nonetheless, assessment is a social act and has social consequences. Cook and Lineberry35 go so far as to claim that consequential validity is the most important evidence to consider in a validation process. Their justification is similar to a core feature identified in our analysis: all decisions made based on the results of assessments can impact the individual or society, positively or negatively.

이러한 개념 분석의 결과에 기초하여, 결과를 단순히 귀납적으로a posteriori 관심을 가지거나 측정할 것이 아니라, 타당화 과정(평가 및 평가 점수의 준비, 관리 및 해석) 전체에 걸쳐 검토, 참석 및 완화해야 한다고 본다. 그러나 결과는 HPE에서 자주 측정되지 않는다. 우리는 '어떻게' 평가의 결과를 before, during, after에 측정할 수 있는지에 대한 몇 가지 설명들을 찾아냈다. 더욱이, 결과 측정measuring consequences은 [평가의 잠재적인 의도하지 않은 결과를 측정하기 위한 종적 연구와 같은] 상당한 노력이 필요한 도전적인 과정이다.5 결과적 타당성 보장이 어렵다는 점을 감안할 때, 결과적 타당성의 작동화에 대한 추가 연구가 필요하다.

Based on the results of this concept analysis, we believe that consequences should not simply be attended to or measured a posteriori, but considered, attended to and mitigated throughout the validation process (preparation, administration and interpretation of assessment and assessment scores). However, consequences are not frequently measured in HPE.1,23,35 We found few descriptions of ‘how’ one could measure the consequences of assessment before, during or after the said assessment. Furthermore, measuring consequences is a challenging process that requires substantial effort5 such as through longitudinal studies to measure the potential unintended consequences of assessment.23 Given the difficulty in assuring consequential validity, further studies on the operationalisation of consequential validity are required.

정성적 검증 전략의 중요성 증대

The increased importance of qualitative validation strategies

CBE로 HPE의 변화는 프로그램적 평가의 이행과 성과 기반 평가에 대한 의존도 증가와 같은 평가 실무의 변화를 가져왔다. 문헌은 점점 더 authentic하고 프로그램적인 평가와 같은 복잡한 평가에 대한 적절한 타당성 증거를 제공하는 것이 어렵다는 것을 시사하고 있다.

The shift in HPE towards CBE brought about changes in assessment practice, such as the implementation of programmatic assessment and the increased reliance on performance-based assessment. The literature increasingly suggests the difficulty of providing adequate validity evidence for complex assessment such as authentic and programmatic assessment.

호지스가 지적한 바와 같이, 정신측정학 접근법은 현재 진화하고 있다. [분석과 합성을 위한 정성적 접근법을 타당화 프로세스에 통합하는 것]을 포함하여, 복잡한 평가 전략의 합성과 품질 모니터링을 위한 해결책을 공동체로 찾을 필요가 있다. 기존 타당도 프레임워크의 작성자(예: Messick13 및 Kane14)는 평가 점수의 유효한 해석을 지원하기 위한 정성적 데이터의 사용을 기각하지는 않지만, 이러한 데이터가 어떻게 보일 수 있고 타당화 과정에서 어떻게 고려될 수 있는지에 대해서는 거의 알려져 있지 않다. 

As indicated by Hodges,12 psychometric approaches are currently evolving. We need, as a community, to find solutions for the synthesis and quality monitoring of complex assessment strategies, including integrating qualitative approaches for analysis and synthesis into the validation process. Although the authors of existing validity frameworks (e.g. Messick13 and Kane14) do not dismiss the use of qualitative data to support the valid interpretation of assessment scores, little is known of what these data might look like and how they might be considered in a validation process.13,44,53

정성적 타당도 증거에 대한 의존도를 증가시킬 수 있는 잠재적 위험으로는 [전통적인 정신측정학 접근법에 대한 의존도 감소]와 [전통적인 양적 방법론을 위한 장소의 제한] 등이 있을 수 있다. 일부 저자들은 질적 증거와 양적 증거를 결합할 필요성을 언급해왔다. 

A potential risk for increasing the reliance on qualitative validity evidence may suggest a limited place for more traditional quantitative methodologies, with a reduced reliance on traditional psychometric approaches. Some authors have mentioned the need to combine qualitative and quantitative evidence.35,53,54

그러나 질적 근거와 양적 증거를 결합하는 목표에 부합하는 제안된 전략들은 제대로 정의되지 않았거나 운용되지 않은 채로 남아 있다. 서로 다른 유형의 증거 사이의 균형은 분석과 데이터 통합에 대한 혼합된 방법 접근법을 고려하는 데 어려움이 있을 수 있으며 이로울 수 있다. 

However, the proposed strategies that would align with the goal of combining qualitative and quantitative evidence remain poorly defined or operationalised. The balance between different types of evidence may be difficult to establish and may benefit from the consideration of mixed-methods approaches to analysis and data integration.55,56

선택된 증거의 유형에 관계없이, 평가에 참여하는 개인은 프로그램적 평가의 품질을 보장하기 위해 최선의 증거를 선택하고 정당화해야 한다. 그러나 특히 접근 가능한 자원이 거의 없는 개인이나 기관에서 검증 접근방식의 전환을 달성하기는 쉽지 않을 것으로 보인다. 수집된 타당도 증거의 유형(질적, 양적 또는 혼합)에 관계없이, 이러한 증거에 근거하여 해석하고 결정을 내리는 인간의 판단이 필요하며, 항상 그러할 것이다. 

Regardless of the types of evidence selected, individuals involved in assessment must choose and justify the best evidence to ensure the quality of their programmatic assessment. However, achieving a shift in validation approach is unlikely to be easy, especially for those individuals or institutions with few accessible resources. Whatever the type of validity evidence collected – be it qualitative, quantitative or mixed – there is, and will always be, a need for human judgement to interpret and make decisions based on these evidences.32,34

강점과 한계 Strengths and limitations

개념 분석에서, 모든 관련 문헌의 식별은 품질의 표식이 아니다. 오히려 개념 분석의 목적은 개념의 폭을 반영하는 대표적인 문헌을 식별하는 것이다.

In a concept analysis, the identification of all relevant literature is not a marker of quality; rather, the goal of a concept analysis is to identify a representative body of literature reflecting the breadth of a concept.

결론 CONCLUSIONS

이 개념 분석의 결과는 [평가의 품질에 대한 사회의 증가하는 우려]와 [새롭게 부상하는 평가 접근방식의 품질을 확립하기 위한 평가 책임자의 필요성]을 강조한다. 이제 개념을 명확히 했으므로, 추가 연구는 평가의 개발 및 모니터링에 관련된 개인에 따라 검증 접근법, 사회적 관심사 및 이 개념의 운영화 사이의 교차점을 설명하는데 초점을 맞출 수 있다. 학생, 심사원, 관리자, 평가 위원회 또는 전문 기관의 구성원 등.

Findings from this concept analysis highlight society’s growing concern about the quality of assessment and a need for those responsible for assessment to establish the quality of newly emerging assessment approaches. Now that we have clarified the concept, further research can focus on elucidating the intersections between validation approaches, societal concerns and the operationalisation of this concept according to individuals involved in the development and monitoring of assessment, such as students, assessors, administrators, and members of assessment committees or professional bodies.

23 Eva KW, Bordage G, Campbell C, Galbraith R, Ginsburg S, Holmboe E, Regehr G. Towards a programme of assessment for health professionals: from training into practice. Adv Health Sci Educ Theory Pract 2016;21 (4):897–913.

32 Schuwirth LWT, van der Vleuten CPM. Programmatic assessment: from assessment of learning to assessment for learning. Med Teach 2011;33 (6):478–85.

33 Govaerts M, van der Vleuten CPM. Validity in work- based assessment: expanding our horizons. Med Educ 2013;47 (12):1164–74.

34 van der Vleuten CPM, Schuwirth LWT, Scheele F, Driessen EW, Hodges B. The assessment of professional competence: building blocks for theory development. Best Pract Res Clin Obstet Gynaecol 2010;24 (6):703–19.

35 Cook DA, Lineberry M. Consequences validity evidence: evaluating the impact of educational assessments. Acad Med 2016;91 (6):785–95.

38 Colliver JA, Conlee MJ, Verhulst SJ. From test validity to construct validity ... and back? Med Educ 2012;46 (4):366–71.

39 Cook DA, Brydges R, Ginsburg S, Hatala R. A contemporary approach to validity arguments: a practical guide to Kane’s framework. Med Educ 2015;49 (6):560–75.

46 Carraccio C, Englander R, van Melle E, ten Cate O, Lockyer J, Chan M-K, Frank JR, Snell LS. International competency-based medical education collaborators. Advancing competency-based medical education. Acad Med 2016;91 (5):645–9.

---

. 2018 Jun;52(6):641-653.

 doi: 10.1111/medu.13574.

Validity as a social imperative for assessment in health professions education: a concept analysis

Mélanie Marceau 1, Frances Gallagher 1, Meredith Young 2, Christina St-Onge 3

Affiliations 

Affiliations

• 1Department of Nursing, Faculty of Medicine and Health Sciences, Université de Sherbrooke, Sherbrooke, Quebec, Canada.
• 2Department of Medicine and Center for Medical Education, Faculty of Medicine, McGill University, Montreal, Quebec, Canada.
• 3Department of Medicine, Faculty of Medicine and Health Sciences, Université de Sherbrooke, Sherbrooke, Quebec, Canada.

• PMID: 29878449
 
• DOI: 10.1111/medu.13574

Abstract

Context: Assessment can have far-reaching consequences for future health care professionals and for society. Thus, it is essential to establish the quality of assessment. Few modern approaches to validity are well situated to ensure the quality of complex assessment approaches, such as authentic and programmatic assessments. Here, we explore and delineate the concept of validity as a social imperative in the context of assessment in health professions education (HPE) as a potential framework for examining the quality of complex and programmatic assessment approaches.

Methods: We conducted a concept analysis using Rodgers' evolutionary method to describe the concept of validity as a social imperative in the context of assessment in HPE. Supported by an academic librarian, we developed and executed a search strategy across several databases for literature published between 1995 and 2016. From a total of 321 citations, we identified 67 articles that met our inclusion criteria. Two team members analysed the texts using a specified approach to qualitative data analysis. Consensus was achieved through full team discussions.

Results: Attributes that characterise the concept were: (i) demonstration of the use of evidence considered credible by society to document the quality of assessment; (ii) validation embedded through the assessment process and score interpretation; (iii) documented validity evidence supporting the interpretation of the combination of assessment findings, and (iv) demonstration of a justified use of a variety of evidence (quantitative and qualitative) to document the quality of assessment strategies.

Conclusions: The emerging concept of validity as a social imperative highlights some areas of focus in traditional validation frameworks, whereas some characteristics appear unique to HPE and move beyond traditional frameworks. The study reflects the importance of embedding consideration for society and societal concerns throughout the assessment and validation process, and may represent a potential lens through which to examine the quality of complex and programmatic assessment approaches.

© 2018 John Wiley & Sons Ltd and The Association for the Study of Medical Education.