HPE 평가의 사회적 명령으로서 타당도: 개념 분석(Med Educ, 2018)

Validity as a social imperative for assessment in health professions education: a concept analysis

Melanie Marceau,1 Frances Gallagher,1 Meredith Young2 & Christina St-Onge3

도입 INTRODUCTION

보건 전문직 교육(HPE) 내에서 평가의 역할을 재고하고 재편성해야 한다는 주장이 여러 차례 제기돼 왔다. 평가 요청의 현재 추세는 다음을 요구한다.

• 전통적인 학습의 평가에서 벗어나 학습을 위한 평가를 향한 변화, 

• 대안적이고 진정한authentic 평가 전략의 지원 및 사용

• 성과에 대한 목적적합하고 적절한 표본 추출에 대한 증가하는 요구에 부합

모두 프로그램적 평가를 위한 접근방식이다.2

There have been several calls to reconsider and reshape the role of assessment within health professions education (HPE). Current trends in assessment call for 

• a shift towards assessment for learning away from the traditional assessment of learning,1 

• urge increased support for and use of alternative and authentic assessment strategies, and 

• echo a growing call for purposeful and appropriate sampling of performance, 

all of which are approaches that translate to programmatic assessment.2 

평가에 있어 가장 중요한 고려사항은 시행 중인 평가 전략이 최고 품질이어야 한다는 것이다. 평가의 품질은 전통적으로 그 타당성과 연관되어 왔으며, 이는 [평가 점수의 타당한 해석을 뒷받침할 증거를 축적하는 것을 목표]로 하는 엄격한 검증 과정을 통해 문서화된다.3–5

One consideration that remains paramount to assessment is that the assessment strategies put in place need to be of the highest quality. The quality of assessment has traditionally been associated with its validity, which is documented through rigorous validation processes that aim to accumulate evidence to support a valid interpretation of assessment scores.3–5

[Authentic 및 프로그램적 평가와 같은] 평가의 현재 추세에 대하여, [타당화에 대한 전통적인 접근법]에 대해서도 의문이 점점 커지고 있다.6–9 예를 들어, 문헌에는 평가자 분산rater variance이 전문가 판단을 반영할 수 있으므로 측정 오류로만 간주해서는 안 된다는 논의가 있다. 이러한 논의는 모든 평가자 분산을 측정 오류로 보고 전통적인 측정 모델을 적용하는 것은 적절하지 않음을 시사한다.10 또한, (authentic 또는 프로그램적 평가처럼) 복잡한 평가를 위한 타당화 프로세스에서 통계적 및 심리학적 근거에만 의존하는 것에 약간의 불편함이 있는 것으로 보인다. 이유는, 이 증거가 부적절해서가 아니라 평가의 품질에 대한 평가로서 불완전하기 때문이다.

The use of traditional approaches to validation for current trends in assessment, such as authentic and programmatic assessment, is increasingly questioned.6–9 For instance, there are discussions in the literature suggesting that rater variance may reflect expert judgement and therefore should not be considered solely as measurement error. These discussions suggest traditional measurement models cannot be applied as they consider all rater variance to be measurement error.10 Additionally, there appears to be some discomfort about relying solely on statistical and psychometric evidence in a validation process for complex assessment such as authentic or programmatic assessment, not because this evidence is inappropriate, but because it may give an incomplete evaluation of the quality of the assessments (e.g. Schuwirth and van der Vleuten,11 and Hodges12).

기존 심리측정학 모델을 복잡한 평가에 적용할 수 있는지에 대한 논쟁 외에도 HPE 커뮤니티에서는 타당성 자체에 대한 합의가 거의 없는 것으로 보인다. St-Onge 외 연구진들은 HPE 문헌에서 타당성이 어떻게 사용되는지를 조사하기 위해 담화 분석 방법론에 의존했다. 저자들은 HPE 문헌에서 타당성에 대한 세 가지 다른 개념을 식별하고 기술하였다. 

(i) 시험 특성으로서의 타당성 (고전 유효성 'trinity'[내용, 기준 및 구성]에 대한 유효성); 

(ii) 주장 기반 증거사슬로서의 타당성(메식스 13 및 케인의 14 프레임워크에서 선호하는 논쟁 기반 접근법과 유사) 

(iii) 사회적 의무로서의 타당성.9 

In addition to the debates about the applicability of traditional psychometric models to complex assessment, there seems to be little agreement in the HPE community regarding validity itself. St- Onge et al.9 relied on discourse analysis methodology to investigate how validity is used in the HPE literature. The authors identified and described three different conceptualisations of validity within the HPE literature: 

• (i) validity as a test characteristic (similar to the classic validity ‘trinity’ [content, criteria and construct]); 

• (ii) validity as an argument-based evidentiary chain (similar to the argument-based approaches favoured in Messick’s13 and Kane’s14 frameworks), and 

• (iii) validity as a social imperative.9 

다른 개념론과 대조적으로, 사회적 의무로서의 타당성은 HPE 문헌에서 새롭게 대두되는 담론이며 [평가와 검증에 대한 보다 전체적인holistic 비전]을 반영하며, 특히 평가의 [더 넓은 개인(학습자)과 사회적 결과에 대해 고려할 것]을 강조한다. 예를 들어, '사회적 결과societal consequences'에 대한 고려는 보건 전문가 인증으로 이어지는 높은 수준의 평가 품질을 보장할 필요성을 포함했다.

By contrast with the other conceptualisations, validity as a social imperative is an emerging discourse in the HPE literature and reflects a more holistic vision of assessment and validation, specifically highlighting considerations for broader individual (learner) and societal consequences of assessment. For example, within the discourse analysis, consideration for ‘societal consequences’ included the necessity of assuring the quality of high-stakes assessments leading to the certification of health professionals.

사회적 의무로서의 타당성의 새로운 개념은 문학 전반에 걸쳐 제시되었고, 프로그램적 평가에 관한 논의를 반영하고 사회 내 [다른 이해관계자(예: 학습자, 평가자, 교육 프로그램, 더 넓은 대중)]에 대한 [평가의 잠재적 결과]에 대한 고려를 증가시켰다. 이 담론은 St-Onge 외 연구진에서 가장 덜 구체화되거나 조작화된 것으로, 아마도 그것의 창발적 성격 때문일 것이다.

The emerging concept of validity as a social imperative was represented across a body of literature and reflected discussions around programmatic assessment and increased consideration of the potential consequences of assessment for different stakeholders in society (e.g. learners, assessors, educational programmes, the broader public). This discourse is the least concretised or operationalised in St-Onge et al.’s work,9 probably because of its emergent nature.

방법 METHODS

개념분석(concept analysis)은 지식의 개발에 사용되는 방법론이다.15,16 체계적이고 엄격한 과정을 통해 개념을 구체화하고 다듬어 실전에 보다 효율적으로 사용할 수 있도록 할 수 있다.16 로저스에 의해 개발된 방법은 귀납적이며 데이터 분석에 대한 질적 접근법에 의존한다.16,17 로저는 그녀의 방법을 [나선형]이라고 묘사하였으며, 이는 반복적인 과정을 통해 개념의 끊임없는 진화를 보여주는 것이다. 이 끊임없는 진화는 우리의 목적과 잘 맞아떨어졌다.18,19

Concept analysis is a methodology used in the development of knowledge.15,16 Through a structured and rigorous process, this methodology can be used to clarify and refine a concept so that it can be used more efficiently in practice.16 The method developed by Rodgers is inductive and relies on qualitative approaches to data analysis.16,17 Rodgers illustrates her method as a spiral to show the constant evolution of a concept through an iterative process,16,17 and this constant evolution resonated well with our purpose.18,19

로저스는 진화 개념 분석을 완료하는 데 있어 6단계를 설명하고 있으며, 이는 비선형적 방식으로 수행될 수 있다.16 표 1은 이러한 단계와 보다 전통적인 연구 용어와의 정렬을 간략히 설명한다. 1~4단계는 방법 섹션과 가장 직접적으로 일치하지만, 6단계는 이 문서의 결론에 설명되어 있다. 5단계는 개념 진화evolving concept에 항상 포함되어 있는 것은 아니며, 우리 작업의 진행 상황을 고려할 때, 우리는 그것을 향후 작업의 길잡이로 포함하기를 선호해왔다.

Rodgers describes six steps in completing an evolutionary concept analysis, which can be performed in a non-linear fashion.16 Table 1 briefly describes these steps and their alignment with more traditional research terminology. Whereas Steps 1–4 align most directly with the methods section, Step 6 is described in the conclusion of this article. Step 5 is not always included for evolving concepts and, given the state of progress of our work, we have preferred to include it as an avenue for future work.

1단계. 관심의 개념 및 관련 표현 식별

Step 1. Identify the concept of interest and associated expressions

정의해야 할 개념에 라벨을 붙이는 데 사용되는 용어(단어나 단어 그룹)를 적절하게 선택하는 것이 필수적이다.16 처음에, [사회적 명령]으로서의 타당성의 새로운 개념은 HPE 문헌으로부터 개발되었다. 이 개념 분석의 실행에서, 우리는 맥락을 구체화하는 것이 중요하다는 것을 알게 되었다. 따라서, 이 연구의 핵심인 개념은 HPE의 평가에 대한 사회적 의무로서 타당성이 있다.

It is essential to appropriately select the terminology (word or group of words) used to label the concept that is to be defined.16 Initially, the emerging concept of validity as a social imperative9 was developed from the HPE literature. In the execution of this concept analysis, we found it important to specify the context; therefore, the concept that is the core of this study is validity as a social imperative for assessment in HPE.

2단계. 데이터 수집에 적합한 영역 식별 및 선택

Step 2. Identify and select an appropriate realm for data collection

St-Onge et al.,9에 의해 사용된 원래 용어로부터 그리고 학술 사서의 도움을 받아, (ii) 타당도, (iii) 사회적 의무, (iii) 평가, (iv) 보건 전문가(예: 의학, 간호 또는 물리치료 전문가)의 각 개념을 포함하는 논문를 대상으로 검색 전략을 개발했다.

Drawing from the original terms used by St-Onge et al.,9 and with the assistance of an academic librarian, a search strategy was developed to target articles that included each of the following concepts: (i) validity; (ii) social imperative; (iii) assessment, and (iv) health professional (e.g. medicine, nursing or physical therapy professional).

그림 1은 문서 선택 절차를 보여준다.

Figure 1 illustrates the document selection procedure.

3단계. 개념의 속성, 선행 조건 및 결과 식별과 관련된 데이터 수집

Step 3. Collect data relevant to identifying attributes, antecedents and consequents of the concept

3단계와 4단계를 별도로 제시하지만, 개념 분석 중에 데이터 수집과 관리는 반복적인 프로세스로 수행된다는 점에 유의해야 한다.16 데이터 수집과 분석은 개념을 명확히 하기 위해 팀원들 간에 몇 차례의 반복적인 토론이 필요했다.

We present Steps 3 and 4 separately; however, it is important to note that during concept analysis, data collection and management are performed as an iterative process.16 Data collection and analysis required several iterative rounds of discussion among team members to clarify the concept.

포함된 문서의 어떤 구성요소도 데이터의 출처로 간주될 수 있다: 초록, 도입, 방법, 결과, 토론 및 결론은 모두 사회적 의무로서 타당성 개념의 개선과 관련된 데이터를 생성할 수 있다.

Any component of an included document could be considered as a source of data: the abstract, introduction, methods, results, discussion and conclusion could all generate data relevant for the refinement of the concept of validity as a social imperative.

속성, 선행 조건 및 결과의 식별은 로저스가 설명한 개념 분석의 핵심 특징이다.17 이러한 중점 영역은 분석 전에 데이터를 수집, 정리 및 관리하는 데 도움을 주었다. 구체적으로는, 

• 선행조건antecedents은 HPE에서 평가를 위한 사회적 의무로서 타당성의 개념보다 앞서는 것이다. 

• 속성attributes은 개념을 정의하는 특성 또는 [HPE에서 평가에 대한 사회적 의무로서 타당성]을 다른 것과 구별짓거나 특징짓는 특성이다. 

• 결과consequents는 개념의 직접적인 결과로 일어나는 것이다.16

The identification of attributes, antecedents and consequents is a key feature of a concept analysis, as described by Rodgers.17 These main areas of focus helped us to collect, organise and manage the data before the analysis. More concretely, 

• antecedents are what precedes the concept16 of validity as a social imperative for assessment in HPE. 

• Attributes are the characteristics that define the concept16 or what distinguishes or characterises validity as a social imperative for assessment in HPE. 

• The consequents of a concept are what happens as a direct result of the concept.16

4단계. 개념의 속성, 선행 조건 및 결과에 대한 데이터 분석

Step 4. Analyse data for the attributes, antecedents and consequents of the concept

개념 분석이 중요한 방법론적 프레임이었지만, 텍스트에서 수집된 데이터를 해석하기 위해 어떤 정성적 분석 접근법을 사용해야 하는지에 대해서는 규범적이지 않다. 여기서, 우리는 마일스 등이 기술한 정성적 분석 프로세스를 사용하기로 결정했는데, 이는 개념 분석의 구조를 감안할 때 로저스가 제안한 선행 코드, 속성 및 결과물을 포함하는 미리 정해진 코드 내에서 창발적 코드(귀납적 프로세스)를 식별할 수 있기 때문이다. 좀 더 구체적으로 말하면, 이 과정은 반복적으로 그리고 부수적으로concomitantly 진행되는 수행된 세 가지 동시적 분석 사이클로 구성되어있다 - [데이터 응축, 데이터 표시, 그리고 결론 도출 및 검증]

Although concept analysis was the overarching methodological frame, it is not prescriptive regarding which qualitative analysis approach should be used to interpret data gathered from texts. Here, we decided to use the qualitative analysis process described by Miles et al.20 because it allows for the identification of emerging codes (inductive process) within predetermined codes, which, given the structure of a concept analysis, includes antecedents, attributes and consequents as suggested by Rodgers.15,16 More specifically, this process consists of three concurrent analysis cycles performed iteratively and concomitantly: data condensation; data display, and drawing and verifying conclusions.

• 데이터 응축은 미리 결정되어있거나(예: 선행 조건, 속성 및 결과), 새롭게 부상한 코드(예: 유효성의 결과에 대한 논란 또는 점수 해석에 따른 결과에 대한 우려)를 사용한 데이터 분석이다.

Data condensation consists of data analysis using predetermined (i.e. antecedents, attributes and consequents) and emerging codes20 (e.g. controversy about consequences of validity or concern about consequences resulting from the interpretation of scores).

• 데이터 디스플레이는 데이터 시각화를 통해 우리의 결과를 더 잘 이해하고 나타낼 수 있게 했다.20 스키마를 이용하여, 연구팀은 코드의 시각적 표현을 얻었다.

Data display allowed us to better understand and represent our results through data visualisation.20 Using a schema, the research team obtained a visual representation of the codes.

모든 요소에 대한 이러한 개요는 문서의 발췌본이 속성인지 선행인지 결과인지를 판단하는 데 도움이 되었다.

This overview of all elements helped us to determine whether an excerpt of a document was an attribute, an antecedent or a consequent.

• 결론을 도출하고 검증하는 것은 데이터 응축과 데이터 표시에서 나타나는 결론의 개발과 검증과 관련이 있다.20 분석은 반복적인 과정이었기 때문에, 연구팀은 데이터와 코드 사이의 일치를 개선하기 위해 문서를 여러 번 다시 읽었다.

Drawing and verifying conclusions relates to the development and verification of conclusions that emerge from data condensation and data display.20 Because analysis was an iterative process, the team re-read the documents several times to improve the match between data and codes.

결과 

RESULTS

총 67건의 문서가 선정되어 분석되었다.

A total of 67 documents were selected and analysed.

(Table 2).

(Table 3).

HPE의 평가에 대한 사회적 의무로서 타당성 개념의 확인된 선행 조건, 속성 및 결과의 개요는 그림 2에서 확인할 수 있다.

An overview of the identified antecedents, attributes and consequents of the concept of validity as a social imperative for assessment in HPE can be found in Figure 2.

선행자

Antecedents

사회적 기대에서 비롯되는 HPE의 변화

Changes to HPE that stem from societal expectations

전문기관과 고등교육기관이 [의료전문가의 역량취득을 측정하고 감시하는 방법에 대한 정보]에 대한 사회의 욕구가 증가하고 있다.21 예를 들어, 역량기반교육(CBE)의 핵심 원칙 중 하나는 전문직 종사자가 성취하도록 보장함으로써 환자를 보호하는 것이다. 일정 수준의 역량22–24이며 임상 환경의 현실에 더 잘 대비된다.25–27 전문 기관과 고등 교육 기관은 대상 역량에 걸쳐 학습자의 능력을 가능한 한 정확하게 측정하기 위해 평가 프로그램을 신중하게 계획하고 설계해야 한다.

There has been increasing desire on the part of society for information on how professional bodies and higher education institutions measure and monitor the acquisition of competencies by health care professionals.21 For example, one of the core tenets of competency-based education (CBE) is to protect patients by ensuring that professionals achieve a certain level of competency22–24 and are better prepared for the realities of the clinical setting.25–27 Professional bodies and higher education institutions must ensure that their assessment programmes are carefully planned and designed in order to measure the abilities of learners across targeted competencies as accurately as possible.

역량 있는 실무에 대한 기대치를 반영하고 부합하는 평가에 집중

Focus on assessment that reflects and aligns with expectations of competent practice

학습을 촉진하고 대중을 보호하기 위해서는 평가 관행을 조정할 필요가 있다.23 문헌은 전통적인 학습의 평가에서 학습을 위한 평가로 이동함을 나타낸다.1 우리는 또한 대안적이고 진정한alternative and authentic 평가 전략의 사용에 초점을 맞추었다. 이러한 평가는 [현실주의, 작업 상황의 시뮬레이션 또는 작업 상황 자체의 동원]으로 특징지어지며, [판단, 복잡한 작업, 피드백]에 초점을 맞추고 있다.28-30 '프로그램적 평가'라는 용어가 점점 더 많이 사용되고 있다.

To facilitate learning and protect the public, it is necessary to adjust assessment practice.23 The literature indicates a shift towards assessment for learning from the traditional assessment of learning.1 We also found a focus on the use of alternative and authentic assessment strategies, characterised notably by realism, simulations of the work context, or mobilisation of the work context itself, and a focus on judgement, complex tasks and feedback.28–30 There is a growing use of the term ‘programmatic assessment’,2

타당성에 대한 적절한 증거를 제공하는 것이 어려움

Difficulty in providing appropriate evidence of validity

비록 심리측정학 접근법이 여전히 중요하고 HPE에 관련되지만, 기존의 타당화 전략은 보다 현대적인 평가 관행에 이를 적용할 때 한계가 있다.11,33 현재 우리가 이용할 수 있는 측정 및 통계 분석 모델은 [개별 역량 평가 도구]의 품질을 문서화하는 데 적합하지만, [평가 프로그램]을 검증하는 데 수반되는 복잡성으로는 쉽게 확장되지 않는다. 현재 우리의 정신측정학 모델은 도구에 의해 생성된 점수의 검증에 잘 배치되어 있지만, [서술적 피드백]이나 HPE에서 점점 더 늘어나는 [질적 평가 데이터]에 적합한 접근법은 별로 가지고 있지 않다. 게다가, 실제로 [전체 평가 프로그램] 또는 [학습자의 전반적인 역량]의 타당화를 잘 처리할 수 있는 정신측정학 접근법은 거의 없다.

Although psychometric approaches are still valuable and relevant in HPE, traditional validation strategies have limits when it comes to applying them to more modern assessment practices.11,33 The measurement and statistical analysis models currently available to us are appropriate for documenting the quality of individual competence assessment tools, but are not easily extended to the complexities of validating a programme of assessment. Whereas our current psychometric models are well situated for the validation of scores generated by tools, we have few approaches that are appropriate for narrative feedback, or the more qualitative assessment data that are increasingly present in HPE.34 In addition, few psychometric approaches are, indeed, amenable to the validation of entire assessment programmes or the learner’s overall set of competencies.21

[사회적 필수요건]으로 타당성 측면에서의 [선행자]들은 [의료전문가의 훈련과 평가에 대한 지속적인 주요 변경사항], 특히 [교육과 평가에 대한 CBE 접근방식의 채택]과 align 되어있는 것으로 보인다.

The antecedents identified for validity as a social imperative seem to align with ongoing major changes to the training and assessment of health care professionals, most notably the adoption of CBE approaches to training and assessment.

특성 

Attributes

평가 품질을 문서화하기 위해 사회가 신뢰할 수 있다고 간주하는 증거의 사용 시연

Demonstration of the use of evidence considered credible by society to document the quality of assessments

결과에 대한 해석은 [관리자의 결정(예: 성공 대 실패)]으로 이어질 가능성이 높다. HPE의 맥락에서, 평가 결과의 잘못된 측정 또는 잘못된 해석은 환자 안전에 큰 영향을 미칠 수 있다: 필요한 기술이나 역량이 없는 연습에 적합하다고 판단되는 학습자는 부적절한 환자 진료를 제공할 수도 있다.23,35

Interpretation of the results is likely to lead to a decision by the administrators (e.g. success versus failure). In the context of HPE, poor measurement or misinterpretation of assessment results can have a significant impact on patient safety: a learner who is deemed suitable for practice without the requisite skills or competencies may deliver suboptimal patient care.23,35

학습자의 success or failure는 [설득력 있는 평가 자료에 근거]해야, 준비되지 않은 연습생이 사회에 미칠 잠재적 부정적 영향을 줄일 수 있다.

A learner’s success or failure must be based on persuasive assessment data to decrease the potential negative impacts of an ill-prepared trainee on society.

즉, 고부담 평가(라이센스 검사 등)는 [환자에게 안전한 진료를 제공하기 위해 필요한 역량을 아직 숙달하지 못한 연습생]에게 진료할 수 있는 권한을 부여할 수 있다. 그러한 결과로, 학습자의 능력에 대한 판단을 담당하는 전문 기관과 고등 교육 기관은 [충분하고 신뢰할 수 있는 증거]를 가지고 [학습자의 역량 수준을 문서화]해야 한다.

In other words, high-stakes assessments (such as licensure examinations) may grant the right of practice to trainees who have not yet mastered the competencies required to provide safe care to patients. With such consequences, the professional bodies and higher education institutions responsible for making judgements about a learner’s abilities must document the learner’s level of competence with sufficient and credible evidence.37–40

점점 더 많은 전문 기관professional bodies들이 학습자 역량 평가에 대한 책임을 고등 교육 기관과 전문 훈련 프로그램에 이전하고 있다.26 따라서, [타당화 프로세스를 수립하고 평가 품질을 뒷받침하는 증거를 문서화하는 것]은 (프로그램 인증을 포함하여) 고등 교육 기관이 가지는 책임의 주요 측면이다. 평가가 종종 사회를 보호하기 위한 보호자로서 사용된다는 점을 고려할 때, 우리는 [평가 점수에 대한 해석의 타당성을 문서화하는 증거]를 사회가 이용할 수 있도록 해야 하며, [이용자들에게 신뢰성이 주어야 한다]고 주장한다. 이는 평가 과정에 대한 외부 관점을 필요로 한다.

Increasingly, professional bodies are transferring responsibility for assessing learner competency to higher education institutions and professional training programmes.26 Therefore, establishing validation processes and documenting evidence supporting the quality of assessment is a major aspect of responsibility for higher education institutions, including for programme accreditation. Given that the assessment is often used as a guard with which to protect society, we posit that the evidence to document the valid interpretation of assessment scores should be made available to society and credible to its users; this takes an external view of the assessment process.

고등 교육 기관과 전문 훈련 프로그램은 그들이 유능한 실무자임을 입증한 훈련생들만 졸업하거나 인증할 책임이 있으며, 그러한 결정을 뒷받침할 증거를 제공할 수 있어야 한다.

Higher education institutions and professional training programmes have a responsibility to society to ensure that they graduate or certify only those trainees who have demonstrated they are competent practitioners, and must be able to provide evidence to support those decisions.

평가 프로세스 및 점수 해석을 통해 포함된 검증

Validation embedded through the assessment process and score interpretation

검증은 지속적인 역동적 과정이다.41 개발 및 모니터링을 포함하는 평가에 참여하는 사람들은 평가 및 평가 프로그램의 개발, 평가 전략의 관리 및 결과의 해석 과정에서 평가의 품질(타당성)에 대한 지속적인 경계심vigilance을 보여야 한다.39

Validation is a continuous dynamic process.41 Those involved in assessment, which includes development and monitoring, must show constant vigilance for the quality (validity) of their assessments during the development of the assessment and assessment programme, the administration of assessment strategies, and the interpretation of results.39

평가 프로그램을 구성함에 있어, 타당화 프로세스의 모든 구성요소를 의도적으로 선택하면 결과의 해석이 더 신뢰할 수 있고 방어성이 더 높아진다.6 평가 과정 전반에 걸쳐 타당성을 구축하는 것은 평가 프로그램의 모든 측면의 품질을 개선하는 데 도움이 된다. 구체적인 용어로, 이것은 평가 책임자가 [타당화 전략](예: 심리측정학 분석, 측정자 인터뷰), [평가 관리 절차], [평가자가 요구하는 교육]을 미리 선택한다는 것을 의미한다.

During the construction of an assessment programme, the deliberate selection of all components of the validation process makes the interpretation of results more credible and more defensible.6 Building in validity34,42 throughout the assessment process helps to improve the quality of all aspects of the assessment programme. In concrete terms, this means that the person responsible for the assessment pre-selects the validation strategies (e.g. the psychometric analyses, interviews with raters), the assessment administration procedure and the training required by assessors.

결과적 타당성에 대한 고려는 검증 프로세스의 필수적인 부분이며 평가 개발 및 모니터링 프로세스 전반에 걸쳐 타당성을 구축하기 위한 노력에서 중요한 고려사항이 되어야 한다. 결과는 의도되거나 의도하지 않을 수 있고, 유익하거나 해로울 수 있다. 결과적으로, 관리자는 평가 프로그램에 포함된 모든 평가를 개발하는 동안 평가의 잠재적 결과를 고려하고 또한 모니터링해야 한다. 보다 구체적으로, 예상가능한 결과를 고려할 때에는 운영 및 결과 해석에서 발생하는 [모든 가능한 결과]가 포함되어야 하며, (일반적으로 검증에 대한 더 고전적인 접근방식처럼) 구인-무관 분산(CIV)에 국한되지 않아야 한다.

Consideration for consequential validity is an essential part of the validation process35 and should be an important consideration in an effort to build in validity throughout the assessment development and monitoring process. Consequences can be intended or unintended, beneficial or harmful.5,13,14,43 As a result, administrators should consider, and also monitor for, potential consequences of assessment during the development of all assessments included in an assessment programme. More specifically, the consideration of anticipated consequences should include all possible consequences arising from the administration and interpretation of the results,35 and not be limited to construct-irrelevant variance, as typically reported in more classical approaches to validation.

[의도적인 이익]은 종종 예측하고 측정하기 가장 쉬운 반면, [의도하지 않은 손해]는 종종 고려하고 감시하기 가장 어렵다.

Intentional benefits are often the easiest to anticipate and measure, whereas unintentional harms are often the hardest to consider and monitor.35

평가 결과의 조합 해석을 뒷받침하는 문서화된 유효성 증거

Documented validity evidence supporting the interpretation of the combination of assessment findings

검증 프로세스는 다른 시간에 서로 다른 출처로부터 수집된 학습자의 여러 '스냅샷' 형태로 상당한 양의 정보를 생성하는 프로그램 평가 접근법에서도 중요하다.21 프로그램 평가에서는, 평가 프로그램에서 생성된 점수(들)의 해석을 뒷받침하는 타당성 증거를 수집해야 한다.

The validation process is also important in a programmatic assessment approach that produces a considerable amount of information in the form of several ‘snapshots’ of the learner collected from different sources at different times.21 In programmatic assessment, validity evidence must be collected to support the interpretation of the score (s) generated by the assessment programme

평가 결과를 전체적으로 해석하려면, [이용 가능한 평가 데이터]를 조직하고 해석하기 위해 [한 명 또는 그 이상의 개인]의 판단이 필요할 수 있다.

This interpretation of the assessment results as a whole is likely to require the judgement of one or more individuals in order to organise and interpret available assessment data.

결과를 [산술적으로 단순히 합산만 하면 전체가 되는 작은 조각으로 나눌 수 없는 경우], 특히 평가 프로그램에서 [다양한 평가 유형의 정보를 결합해야 하는 경우], 정보를 수집하고 분석collate하기 위해 인간의 판단을 사용해야 한다.

‘If we cannot break down the results into little pieces that arithmetically add up to a total score, we need to use human judgement to collect and collate information, especially if – in a programme of assessment – information from various types of assessment needs to be combined (p. 481)’.32

평가 관리자가 평가 프로그램에 걸쳐 제시된 학습자의 성과에 대해 보다 방어가능한 결정을 내릴 수 있도록 타당성 증거를 문서화할 필요가 있다.21

Validity evidence needs to be documented in order to help assessment administrators make a more defensible decision about the learner’s performance, as represented across the programme of assessment.21

모든 평가 전략의 품질을 문서화하기 위한 다양한 증거(양적 및 정성적)의 정당화된 사용 시연

Demonstration of a justified use of a variety of evidence (quantitative and qualitative) to document the quality of all assessment strategies

평가 프로그램의 품질은 몇 가지 출처로부터의 타당도 증거에 기초해야 한다. 모든 평가 프로그램에 대해 포괄적인 검증 프로세스가 시행되도록 하기 위해 증거를 신중하게 선택해야 한다.26,41

The quality of the assessment programme must be based on evidence of validity from several sources.37,38,40 Evidence must be carefully chosen to ensure that a comprehensive validation process is put in place for any assessment programme.26,41

타당도 증거는 본질적으로 양적이든 질적이든 엄격한 접근법에 기초해야 한다.34,35 평가 프로그램의 감시를 책임지는 사람들은 이를 위해 타당화 실무를 할 때 [질적연구의 맥락에서 개발된 지식과 방법의 총체corpus]를 활용integrate할 수 있다.

Validity evidence, be it quantitative or qualitative in nature, must be based on a rigorous approach.34,35 To this end, those responsible for the monitoring of programmes of assessment could integrate the corpus of knowledge and methods developed in the context of qualitative research into their validation practices.

예를 들어, 평가를 담당하는 관리자는 서로 다른 유형의 증거에 대한 일관성을 찾기 위해 데이터를 삼각측량하거나, [포화 상태]에 도달하기 위해 학습자의 성과에 대한 정보를 축적하기 위해 서로 다른 전략을 사용할 수 있다.1,39 [평가 의사결정 과정과 관련된 엄격함을 개선하기 위해 '전체적overall' 판단을 내리는 사람]들로부터 [상세한 질적 데이터]를 포함하는 것도 고려할 수 있다. .12

As an example, administrators responsible for assessment could use different strategies to accumulate information about the learner’s performance in order to triangulate data to look for consistency across different types of evidence or attempt to reach saturation.1,39 We could also consider including detailed qualitative data from the individuals who are making ‘overall’ judgements in order to improve the rigour associated with assessment decision-making processes.12

결과

Consequent

검증 프로세스의 건전성 및 평가에 따른 결정의 신뢰

Belief in the soundness of the validation process and the decisions resulting from the assessment

사회적 의무로서의 타당성은 이제 떠오른emerging 개념이기 때문에, 그 결과의 주제에 대해 직접 보고하는 문헌은 거의 없다. 그러나 서로 다른 집단(전문 기관 및 고등 교육 기관의 관리자, 평가를 수행하는 평가자)에 의해 수행되는 [타당화 프로세스에서 사회에 대한 고려consideration for society]는 [평가 시스템, 평가 점수, 그리고 이 시스템에서 도출된 판단]에 대한 신뢰를 증가시킬 것으로 믿는다. 프로그램적 평가는 타당하고 다양하며 고품질 유효성의 증거를 사용하여 구성 및 모니터링할 필요가 있다.34

As validity as a social imperative is an emerging concept, there is little literature directly reporting on the topic of its consequents. However, we believe that the consideration for society in the validation processes conducted by different groups (administrators for professional bodies and higher education institutions, as well as the assessors conducting the assessment) will increase trust in the assessment system, in the assessment scores and in judgements resulting from this system. Programmatic assessment needs to be constructed and monitored with relevant, varied and high- quality evidence of validity.34

'[실천공동체에 의한 수행능력 가치]에 대한 논의에 참여하면 [무엇이 전문적 역량의 우수성을 구성하는지]와 [평가 시스템이 환자 치료의 질 향상에 어떻게 기여할 수 있는지]에 대한 논쟁을 더욱 부채질할 수 있다(1172 페이지).33

‘Engagement in discussion about performance values by communities of practice may further fuel the debate about what constitutes excellence in professional competence and how assessment systems may contribute to improving the quality of patient care (p. 1172)’.33

평가와 검증 프로세스의 프로그램은 계획되고 명시적으로 문서화되어야 한다. 따라서 평가 결과의 해석에서 발생하는 [결정은 더 쉽게 방어할 수 있고 사회를 포함한 모든 이해당사자들에게 투명하게 공개될 것]이다.

The programme of assessment and validation processes should be planned and explicitly documented; therefore, decisions arising from the interpretation of the assessment results will be more easily defensible and made transparent to all stakeholders, including society at large.

고찰 DISCUSSION

평가의 타당성에 대한 사회의 우려

Society’s concern about the validity of assessment

사회는 평가가 고품질의 평가가 될 것으로 기대한다; 이는 [고등 교육 기관(차세대 의료 사업자를 양성할 사회적 지시)의 평가]부터 [다양한 전문 기관의 평가(대중을 보호할 사회의 지시)]에 이르기까지 광범위한 평가에 적용된다. 몇몇 기관들은 이러한 사회적 책임을 충족시키고 평가에 대한 사회적 우려에 대응할 수 있도록 하기 위한 작업을 시작했다. 한 예로, 캐나다 의료 위원회(MCC)는 [허가 의무(즉, 캐나다에서의 의료행위)와 관련된 사회적 맥락과 관련된 니즈]를 식별하기 위한 프로세스에 투자했다. MCC는 최근 관련 이해관계자(전문가, 간호사, 약사, 의사, 일반인)와의 협의 결과를 참작하기 위해 평가 청사진을 수정했다.45 점수 해석에 따른 의사결정을 정당화하기 위해 [타당성 증거]가 필요하며, 특히 보건의료 전문직의 진입을 위한 핵심 결정 지점을 나타내는 입학, 면허 및 인증과 같은 고부담 평가에서 그렇다.

Society expects assessments to be of high quality; this applies to assessments ranging from those by higher education institutions (which have the social mandate to train the next generation of health care providers) to those of the various professional bodies (which have the social mandate to protect the public). Several institutions have initiated work to meet this social responsibility and to enable them to respond to societal concerns about assessment. As one example, the Medical Council of Canada (MCC) invested in a process to identify needs relevant to its societal context as relevant to its licensure mandate (i.e. medical practice in Canada). The MCC has recently adapted its assessment blueprint to take into account results from consultations with relevant stakeholders (experts, nurses, pharmacists, physicians and members of the public).45 Validity evidence is necessary to justify decisions resulting from score interpretations, especially in high-stakes assessments, such as admissions, licensing and certification, which represent key decision points for entry into the health care professions.

에바 외 연구진은 고부담평가 횟수가 증가했음에도 불구하고 미국의 [의료 오류 빈도]와 [질 낮은 건강 관리의 빈도]가 계속 증가하고 있음을 강조한다. 환자 안전에 대한 사회적 우려는 의료 분야에서 발생하는 사건(예: 부작용)에 대한 대중 매체의 관심이 높아짐에 따라 촉진되는 것으로 보이며, 이는 의료 사업자의 역량 수준을 반영하는 것으로 볼 수 있다.46 [프로그램적 평가 또는 평가자 기반 평가에 대한 의존도가 증가하고, HPE의 평가 가치에 대한 인식이 지속되고, 많은 평가 결정의 고부담 특성을 인정함에 따라], (개인의 역량에 관한 추론을 포함하여) [평가 점수에 근거한 추론]의 타당성을 결정하는 것은 여전히 과제로 남아 있다.

Eva et al.23 highlight that, even with the increased number of high-stakes assessments, the frequencies of medical error and poor quality health care in the USA continue to increase. Societal concerns about patient safety appear to be fuelled by the growing attention given by mass media to events occurring in the health care sector (e.g. adverse events), which could be seen as a reflection of the competency level of health care providers.46 With increasing reliance on programmatic or rater-based assessments, continued recognition of the value of assessment in HPE and an acknowledgement of the high-stakes nature of many assessment decisions, determining the validity of inferences based on assessment scores, including inferences regarding an individual’s competence, remains a challenge.

메식스의 통일된 타당성 이론은 평가 프로그램의 품질 문서화를 책임지는 사람들을 도울 수 있는 방식으로 아직 운영되지 않았다. 프로그램적 평가에 대한 평가 점수에 근거한 추론 검증에 대한 [케인의 주장 기반 접근방식]을 운용하려는 노력이 있었지만, 이 프레임워크는 [메식(Messick)처럼] 평가의 결과에는 초점을 맞추지 못하고 있다. 평가 프로그램에 대한 검증 관행을 지원하기 위해 HPE 평가의 현재 맥락에서 이러한 프레임워크에서 최선의 것들을 통합하기 위한 추가 작업이 필요하다.

Messick’s13 unified theory of validity has yet to be operationalised in a way that could help those responsible for the documentation of the quality of their assessment programmes.25,47 Although there have been efforts to operationalise Kane’s14,43 argument-based approach to the validation of inferences based on assessment scores for programmatic assessment, this framework does not have the same focus on consequences of assessment as that of Messick.13 Further work is required to bring the best of these frameworks together in the current context of HPE assessment in order to support validation practices for programmes of assessment.

개인과 사회에 대한 평가 결정의 결과에 대한 기대

Anticipation of the consequences of assessment decisions for individuals and society

평가자는 개인과 사회에 대한 평가 결정의 잠재적 결과를 예측하고 이를 최소화 또는 완화하기 위한 조치를 제안해야 한다. 그러나 타당화 과정의 잠재적 결과에 대한 고려는 여전히 논란의 여지가 있다.48,49 메렌스50과 팝햄,51과 같은 일부 저자들은 [평가의 결과]가 타당성이 아니라 사회정책과 관련이 있다고 주장해왔다. 그럼에도 불구하고 평가는 사회적 행위로서 사회적 결과를 가져온다. 쿡과 라인베리35는 결과적 타당성이 검증 과정에서 고려해야 할 가장 중요한 증거라고 주장하기까지 한다. 그들의 정당성은 우리의 분석에서 확인된 핵심 특징과 유사하다: 평가 결과에 기초하여 이루어진 모든 결정은 긍정적이거나 부정적으로 개인이나 사회에 영향을 미칠 수 있다.

Assessors must anticipate the potential consequences of assessment decisions on individuals and society, and propose measures to minimise or mitigate them. However, consideration of the potential consequences of the validation process remains controversial.48,49 Some authors, such as Mehrens50 and Popham,51 have argued that the consequences of assessment are associated with social policies and not with validity.4,5,44,49,52,53 Nonetheless, assessment is a social act and has social consequences. Cook and Lineberry35 go so far as to claim that consequential validity is the most important evidence to consider in a validation process. Their justification is similar to a core feature identified in our analysis: all decisions made based on the results of assessments can impact the individual or society, positively or negatively.

이러한 개념 분석의 결과에 기초하여, 결과를 단순히 귀납적으로a posteriori 관심을 가지거나 측정할 것이 아니라, 타당화 과정(평가 및 평가 점수의 준비, 관리 및 해석) 전체에 걸쳐 검토, 참석 및 완화해야 한다고 본다. 그러나 결과는 HPE에서 자주 측정되지 않는다. 우리는 '어떻게' 평가의 결과를 before, during, after에 측정할 수 있는지에 대한 몇 가지 설명들을 찾아냈다. 더욱이, 결과 측정measuring consequences은 [평가의 잠재적인 의도하지 않은 결과를 측정하기 위한 종적 연구와 같은] 상당한 노력이 필요한 도전적인 과정이다.5 결과적 타당성 보장이 어렵다는 점을 감안할 때, 결과적 타당성의 작동화에 대한 추가 연구가 필요하다.

Based on the results of this concept analysis, we believe that consequences should not simply be attended to or measured a posteriori, but considered, attended to and mitigated throughout the validation process (preparation, administration and interpretation of assessment and assessment scores). However, consequences are not frequently measured in HPE.1,23,35 We found few descriptions of ‘how’ one could measure the consequences of assessment before, during or after the said assessment. Furthermore, measuring consequences is a challenging process that requires substantial effort5 such as through longitudinal studies to measure the potential unintended consequences of assessment.23 Given the difficulty in assuring consequential validity, further studies on the operationalisation of consequential validity are required.

정성적 검증 전략의 중요성 증대

The increased importance of qualitative validation strategies

CBE로 HPE의 변화는 프로그램적 평가의 이행과 성과 기반 평가에 대한 의존도 증가와 같은 평가 실무의 변화를 가져왔다. 문헌은 점점 더 authentic하고 프로그램적인 평가와 같은 복잡한 평가에 대한 적절한 타당성 증거를 제공하는 것이 어렵다는 것을 시사하고 있다.

The shift in HPE towards CBE brought about changes in assessment practice, such as the implementation of programmatic assessment and the increased reliance on performance-based assessment. The literature increasingly suggests the difficulty of providing adequate validity evidence for complex assessment such as authentic and programmatic assessment.

호지스가 지적한 바와 같이, 정신측정학 접근법은 현재 진화하고 있다. [분석과 합성을 위한 정성적 접근법을 타당화 프로세스에 통합하는 것]을 포함하여, 복잡한 평가 전략의 합성과 품질 모니터링을 위한 해결책을 공동체로 찾을 필요가 있다. 기존 타당도 프레임워크의 작성자(예: Messick13 및 Kane14)는 평가 점수의 유효한 해석을 지원하기 위한 정성적 데이터의 사용을 기각하지는 않지만, 이러한 데이터가 어떻게 보일 수 있고 타당화 과정에서 어떻게 고려될 수 있는지에 대해서는 거의 알려져 있지 않다. 

As indicated by Hodges,12 psychometric approaches are currently evolving. We need, as a community, to find solutions for the synthesis and quality monitoring of complex assessment strategies, including integrating qualitative approaches for analysis and synthesis into the validation process. Although the authors of existing validity frameworks (e.g. Messick13 and Kane14) do not dismiss the use of qualitative data to support the valid interpretation of assessment scores, little is known of what these data might look like and how they might be considered in a validation process.13,44,53

정성적 타당도 증거에 대한 의존도를 증가시킬 수 있는 잠재적 위험으로는 [전통적인 정신측정학 접근법에 대한 의존도 감소]와 [전통적인 양적 방법론을 위한 장소의 제한] 등이 있을 수 있다. 일부 저자들은 질적 증거와 양적 증거를 결합할 필요성을 언급해왔다. 

A potential risk for increasing the reliance on qualitative validity evidence may suggest a limited place for more traditional quantitative methodologies, with a reduced reliance on traditional psychometric approaches. Some authors have mentioned the need to combine qualitative and quantitative evidence.35,53,54

그러나 질적 근거와 양적 증거를 결합하는 목표에 부합하는 제안된 전략들은 제대로 정의되지 않았거나 운용되지 않은 채로 남아 있다. 서로 다른 유형의 증거 사이의 균형은 분석과 데이터 통합에 대한 혼합된 방법 접근법을 고려하는 데 어려움이 있을 수 있으며 이로울 수 있다. 

However, the proposed strategies that would align with the goal of combining qualitative and quantitative evidence remain poorly defined or operationalised. The balance between different types of evidence may be difficult to establish and may benefit from the consideration of mixed-methods approaches to analysis and data integration.55,56

선택된 증거의 유형에 관계없이, 평가에 참여하는 개인은 프로그램적 평가의 품질을 보장하기 위해 최선의 증거를 선택하고 정당화해야 한다. 그러나 특히 접근 가능한 자원이 거의 없는 개인이나 기관에서 검증 접근방식의 전환을 달성하기는 쉽지 않을 것으로 보인다. 수집된 타당도 증거의 유형(질적, 양적 또는 혼합)에 관계없이, 이러한 증거에 근거하여 해석하고 결정을 내리는 인간의 판단이 필요하며, 항상 그러할 것이다. 

Regardless of the types of evidence selected, individuals involved in assessment must choose and justify the best evidence to ensure the quality of their programmatic assessment. However, achieving a shift in validation approach is unlikely to be easy, especially for those individuals or institutions with few accessible resources. Whatever the type of validity evidence collected – be it qualitative, quantitative or mixed – there is, and will always be, a need for human judgement to interpret and make decisions based on these evidences.32,34

강점과 한계 Strengths and limitations

개념 분석에서, 모든 관련 문헌의 식별은 품질의 표식이 아니다. 오히려 개념 분석의 목적은 개념의 폭을 반영하는 대표적인 문헌을 식별하는 것이다.

In a concept analysis, the identification of all relevant literature is not a marker of quality; rather, the goal of a concept analysis is to identify a representative body of literature reflecting the breadth of a concept.

결론 CONCLUSIONS

이 개념 분석의 결과는 [평가의 품질에 대한 사회의 증가하는 우려]와 [새롭게 부상하는 평가 접근방식의 품질을 확립하기 위한 평가 책임자의 필요성]을 강조한다. 이제 개념을 명확히 했으므로, 추가 연구는 평가의 개발 및 모니터링에 관련된 개인에 따라 검증 접근법, 사회적 관심사 및 이 개념의 운영화 사이의 교차점을 설명하는데 초점을 맞출 수 있다. 학생, 심사원, 관리자, 평가 위원회 또는 전문 기관의 구성원 등.

Findings from this concept analysis highlight society’s growing concern about the quality of assessment and a need for those responsible for assessment to establish the quality of newly emerging assessment approaches. Now that we have clarified the concept, further research can focus on elucidating the intersections between validation approaches, societal concerns and the operationalisation of this concept according to individuals involved in the development and monitoring of assessment, such as students, assessors, administrators, and members of assessment committees or professional bodies.

23 Eva KW, Bordage G, Campbell C, Galbraith R, Ginsburg S, Holmboe E, Regehr G. Towards a programme of assessment for health professionals: from training into practice. Adv Health Sci Educ Theory Pract 2016;21 (4):897–913.

32 Schuwirth LWT, van der Vleuten CPM. Programmatic assessment: from assessment of learning to assessment for learning. Med Teach 2011;33 (6):478–85.

33 Govaerts M, van der Vleuten CPM. Validity in work- based assessment: expanding our horizons. Med Educ 2013;47 (12):1164–74.

34 van der Vleuten CPM, Schuwirth LWT, Scheele F, Driessen EW, Hodges B. The assessment of professional competence: building blocks for theory development. Best Pract Res Clin Obstet Gynaecol 2010;24 (6):703–19.

35 Cook DA, Lineberry M. Consequences validity evidence: evaluating the impact of educational assessments. Acad Med 2016;91 (6):785–95.

38 Colliver JA, Conlee MJ, Verhulst SJ. From test validity to construct validity ... and back? Med Educ 2012;46 (4):366–71.

39 Cook DA, Brydges R, Ginsburg S, Hatala R. A contemporary approach to validity arguments: a practical guide to Kane’s framework. Med Educ 2015;49 (6):560–75.

46 Carraccio C, Englander R, van Melle E, ten Cate O, Lockyer J, Chan M-K, Frank JR, Snell LS. International competency-based medical education collaborators. Advancing competency-based medical education. Acad Med 2016;91 (5):645–9.

© 2018 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

평가프로그램과 케인의 타당도 관점(Med Educ, 2012)

Programmatic assessment and Kane’s validity perspective

Lambert W T Schuwirth1,2 & Cees P M van der Vleuten2

도입 INTRODUCTION

의학 교육 평가 문헌은 의료 [역량을 구성하는 각각의 개별 구조construct]에 대해 ['성배'라는 것이 존재할 것이라는 가정] 하에 (다른 모든 것에 비해) [하나의 평가 기구의 본질적인 우월성을 입증하려는 연구]에 의해 오랫동안 지배되어 왔다. 이 담론의 대표적인 예로는 의학 문제해결의 평가에서 [객관식 문항]보다 [개방형 문항]의 선천적 우월성을 입증하려고 시도한 많은 연구가 있다.1-4 그러나 점점 더 평가의 내용이 그 형식보다 훨씬 더 중요한 역할을 한다는 것이 분명해졌다.2-5 더 중요한 것은 이러한 성배가 존재할 가능성이 매우 낮으며, 심지어 다른 맥락까지 적용될 가능성이 낮다는 인식이 증가하고 있다는 점이다. 대신, 각 평가 방법의 효용성은 항상 품질의 다양한 측면 사이의 절충이라는 관념이 자리를 잡게 되었다.

The medical education assessment literature has long been dominated by studies that try to demonstrate the intrinsic superiority of one assessment instrument over all others on the assumption that such a ‘holy grail’ for each of the separate constructs that make up medical competence will exist. Typical examples of this discourse include the many studies that have attempted to prove the innate superiority of open-ended questions over multiple-choice questions in the assessment of medical problem-solving.1–4 Increasingly, however, it has become clear that the content of an assessment plays a far more important role than its format.2–5 More importantly, there is increasing awareness that it is highly improbable that such a holy grail exists and even less likely that it will be applicable across different contexts. Instead, the notion that the utility of each assessment method is always a compromise between various aspects of quality has gained ground.

[평가의 질]을 더 높은 수준에서 평가해야 한다는 것이 더 일반적으로 받아들여졌을 때 한 단계 더 나아갔다. 따라서 개별 평가 방법의 수준에서 평가를 평가하기보다는 방법에 따라 평가의 품질을 결정해야 한다.8.9 이 관점의 두 가지 결과가 중요하다. 

• 첫째로, 어떤 상황에서든 하나의 도구가 완벽하지 않을 수 있다는 것을 깨닫게 한다(실제로 거의 모든 악기는 완벽하지 않다). 

• 둘째로, 평가 도구의 강점은 평가 프로그램 구축을 통한 유연하고 맞춤화된 접근방식에서 비롯된다는 것을 암시한다. [(거의) 완벽한 도구의 조합]보다 아마도 [덜 완벽한 구성요소를 세심하게 결합한 세트]가 더 강력한 평가 프로그램을 만들 수 있다.

A further step was taken when it became more generally accepted that the quality of assessment should be evaluated at a higher level. Thus, rather than evaluating an assessment at the level of the individual assessment method, the quality of the assessment should be determined across methods.8,9 Two outcomes of this view are important. 

• Firstly, it makes us realise that in any situation a single instrument may not be perfect (in reality almost all instruments are less than perfect). 

• Secondly, it implies that strength derives from a more flexible and tailor-made approach to building a programme. A combination of (near-) perfect instruments may result in a weaker programme than a carefully combined set of perhaps less perfect components.

예를 들어, 역량 영역(예: 미국 대학원 의학 교육 인증 위원회[ACGME] 또는 캐나다 CanMEDS 도메인의 왕립 의사 및 외과의사 대학(Royal College of Occessors and Occessors of CanMEDS domains10,11)의 개발의 맥락에서, 전통적인 접근방식은 각 역량 영역에 대해 하나의 우수한 기기가 개발되어야 하는 평가 프로그램을 지시할 것이다. 그러한 프로그램은 [1개의 도구 대 1의 역량 영역 설계]를 따를 것이다. 프로그램적 접근방식에서 하나의 기구는 학생과 교사 모두에게 다양한 역량 영역을 알릴 수 있으며, 역량 영역은 다양한 출처의 정보를 사용하여 평가된다. 따라서 1 : 1 관계보다는 소위 n : n 관계를 얻는다.12

For example, in the context of the development of competency domains (such as those defined by the US Accreditation Council for Graduate Medical Education [ACGME] or the Royal College of Physicians and Surgeons of Canada’s CanMEDS domains10,11), the traditional approach would dictate an assessment programme in which one superior instrument would require to be developed for each of the competency domains. Such a programme would follow a one-instrument-to-one-competency-domain design. In a programmatic approach one instrument can inform both students and teachers on various competency domains and a competency domain is assessed using information from various sources. Thus, rather than a 1 : 1 relationship, a so-called n : n relationship is obtained.12

완벽한 단일 도구가 없고 각 도구가 장단점(또는 표시, 부작용 및 금지)을 가진 것으로 간주되는 경우, 이것은 신뢰도나 건설 타당성 부족으로 인해 기각된 방법의 필요한 재평가로 이어져야 한다 (바이바, 긴 케이스, 구술 시험 등). 전통적으로 평가 도구의 가치가 다소 이분법적인 방법(좋음 대 나쁘음)으로 판단되었던 반면에, 이제는 [평가 프로그램의 장단점] 또는 [빌딩 블록으로서의 부가가치added value 측면]에서 재평가되고 있다.

If there is no single perfect instrument and each instrument is considered to have its advantages and disadvantages (or indications, side-effects and contraindications), this leads to a necessary reappraisal of methods that had been dismissed because of lack of reliability or construct validity, such as the viva, the long case, the oral examination, and so forth. Whereas the value of an instrument was traditionally judged in a more or less dichotomous manner (as good versus bad), it is now reappraised in terms of its strengths and weaknesses or its added value as a building block in an assessment programme.

타당도에 대한 Kane의 관점

KANE ON VALIDITY

본질적으로 타당성은 [문제의 평가가 평가하고자 하는 역량이나 성과 측면을 실제로 포착하는지]의 문제와 관련된다. 따라서 의료교육의 경우 평가 프로그램은 기업의 '의료 역량'을 포착하는 것을 목표로 한다. 역량이라는 entity는 [존재한다고 가정하지만, 직접 관측할 수 없다는 점에서 construct]이다. 따라서 관찰된 행동에서 유추해야 한다.

In essence, validity pertains to the question of whether the assessment in question actually captures the aspect of competence or performance it purports to assess. Thus, in the case of medical education, the assessment programme aims to capture the entity ‘medical competence’. Such an entity is a construct in that it is assumed to exist yet it cannot be observed directly. Therefore, it must be inferred from observed behaviour.

Kane은 특정 구조에 대한 평가의 타당성을 유추하는 것은 주장을 구축하고 검증하는 (그리고 반증하려는) 지속적인 과정이라고 말한다.13–15

Kane states that inferring the validity of an assessment for a certain construct is an ongoing process of building and verifying (and trying to falsify) arguments.13–15

관찰에서 점수까지

From observation to score

문제해결 능력 평가에서 전형적인 접근방식은 학생들이 다양한 의학적 사례에서 어떻게 수행하는지 관찰하는 것이다. 점수는 학생들이 질문에 대한 '원raw' 대답에서 도출되어야 한다. 물론 우리는 병력청취에서 질문한 관련 질문의 수, 수행된 관련 신체 검사의 수, 그리고 주문된 관련 실험실 시험의 수를 세어 모두 합쳐서 총점을 줄 수 있다.

A typical approach in the assessment of problem solving skills is to observe how students perform on various medical cases. A score must be derived from the ‘raw’ answers students give to questions. We could, of course, just count the number of relevant questions asked in history taking, the number of relevant physical examinations performed and the number of pertinent laboratory tests ordered, and add them all up to give a total score.

그러나 의학문제해결 및 전문지식에 관한 이론은 [전문가는 결론을 내리기 전에 반드시 더 많은 정보를 수집하지 않으며, 그보다는 '효율적'으로 정보를 수집한다]고 기술하고 있다.16–18 또한, 어떤 정보를 수집하는가에 관한 전문가들 사이에 개별적인 차이가 있다(사람에 따라 고유하다). 따라서, 위에서 설명한 방식으로 점수를 매기는 것은 관찰 결과를 점수로 적절하게 변환하는 데 도움이 되지 않을 것이다.

However, theories on medical problem solving and expertise state that experts do not necessarily collect more information before they come to a conclusion, but that they collect information more efficiently.16–18 In addition, there are individual differences between experts with respect to which information they collect (idiosyncrasy).17–19 Therefore, scoring in the manner described above would not serve to properly translate observations to scores.

관측 점수에서 우주 점수까지

From observed score to universe score

일반적으로 한두 건의 케이스는 후보자의 문제해결 전문지식에 대한 일반적인 결론을 도출하는 데 충분한 증거를 제공하지 않는다고 알려져 있다. 인지심리학 연구는 문제해결 전문지식의 영역별 특수성domain specificity 현상을 반복적으로 보여 주었다.23,24 따라서 긴 사례의 작은 표본은 일반적인 문제해결 능력에 대한 추론을 지원하지 않는다.

It is generally known that one or two cases never provide evidence sufficient to support the drawing of general conclusions about a candidate’s problem solving expertise. Research in cognitive psychology has repeatedly demonstrated the phenomenon of the domain specificity of problem-solving expertise.23,24 Therefore, small samples of long cases do not support inferences on general problem-solving ability.

그 결과, key-feature(KF) approach  접근법이나 의료 의사 결정에 초점을 맞춘 확장 매칭 항목과 같이 더 많은 수의 더 짧은 사례에 기초한 방법이 설계되었다.25–27

As a result, methods based on larger numbers of shorter cases, such as in the key-feature approach or in extended-matching items focused on medical decision making, have been designed.25–27

우주 점수에서 대상 도메인까지

From universe score to target domain

간단한 점수 체계와 좋은(넓지만 더 피상적인) 표본 추출 접근법을 통해 관찰된 점수에서 우주universe 점수까지의 좋은 추론을 이끌어내지만, 그 점수가 [의료에서 의사결정 능력]을 포착하고 있는가? 일련의 연구는 그러한 시험의 점수가 예상에 따라 작용한다는 것을 입증하기 위해 사용될 수 있다.

Key-feature approaches with simple scoring schemes and good (broad but more superficial) sampling approaches lead to a good inference from observed score to universe score, but do they capture medical decision-making ability? A series of studies may be used to demonstrate that scores on such tests behave according to expectations.

따라서 [우주 점수에서 목표 영역(의료 의사결정 기술)까지]의 추론을 뒷받침하기 위해서는 [질문에서 확인한 결정이 정말로 필수적이거나 핵심 기능의 결정을 대표한다는 가정]을 뒷받침하는 정보를 수집해야 한다.28,30

Thus, in order to support an inference from universe score to target domain (medical decision-making skills), information in support of the assumption that the decisions for which the questions ask are really essential or represent key-feature decisions must be collected.28,30

대상 도메인에서 구성으로

From target domain to construct

마지막으로, 의료 문제 해결은 단순히 서류 기반 또는 컴퓨터화된 사례에 대해 올바른 결정을 내리는 것 이상의 것을 수반한다. 실제 생활에서는 환자로부터 정보를 유도하는 능력(예: 의사소통 능력)과 정보를 선별하고 관련 없는 정보와 관련성을 구별하는 능력과 같은 많은 다른 요소들이 역할을 할 수 있다.

Finally, medical problem solving entails much more than simply making the right decisions on paperbased or computerised cases. In real life many other factors may play a role, such as ability to elicit information from a patient (e.g. communication ability), and ability to sift through information and distinguish relevant from non-relevant information.

즉, [키-기능 접근방식을 이용한 문제해결능력의 평가]가 [의료역량이라는 construct에 어떤 것을 더하는지]를 판단하는 것이 중요하다. 그 방법의 장단점은 무엇인가? 추가 방법을 사용하여 약점을 해결하거나 보완할 수 있는 방법은 무엇인가? 예를 들어, [키-기능 접근 점수]와 [미니-임상시험(미니-CEX)] 점수 사이의 시너지는 무엇인가? 전자는 높은 양의 낮은 충실도 평가를 기반으로 하고 후자는 더 적은 수의 충실도 시험 표본에 기초하고 있다.

In other words, it is important to determine what the assessment of problem-solving ability, using key-feature approaches, adds to the construct of medical competence. What are the strengths or weaknesses of the method? How can the weaknesses be addressed or compensated for by using additional methods? What, for example, is the synergy between key-feature approach scores and scores on mini-clinical examinations (mini-CEXs), where the former is based on a high quantity of low-fidelity assessment and the latter on fewer samples of high-fidelity testing?

케인의 타당성 관점을 보여주는 의학적 예

A medical example of Kane’s validity perspective

의학에서 BP는 직접 관찰할 수 없는 구조의 좋은 예다. 혈압은 일반적으로 환자의 건강 평가에 도움이 되도록 복용한다.

In medicine, BP is a good example of a construct that cannot be observed directly. Blood pressure is normally taken to aid in the evaluation of a patient’s health.

관찰에서 점수까지

From observation to score

환자의 BP를 확인할 때 의사는 음향(코롯코우 소리) 신호와 스피모노마노미터의 시각적 판독값을 수치값으로 전환해야 한다. 추론은 의사가 언제 판독을 해야 할지 알고, 스피모노미터가 너무 빨리 또는 너무 느리게 흘러내리지 않게 하고, 오른쪽 커프를 사용하는 등의 가정에 근거한다. 절차의 모든 측면이 올바르게 수행되어야만 관찰부터 점수까지의 유효한 추론이 이루어질 수 있다.

When taking a patient’s BP, the doctor must convert acoustic (Korotkow sounds) signals and a visual reading of the sphygmomanometer to a numerical value. The inferences are based on the assumption that the doctor knows when to take the reading, does not let the sphygmomanometer run down too quickly or too slowly, and uses the right cuff, and so forth. Only when every aspect of the procedure is performed correctly can a valid inference from observation to score be made.

관측 점수에서 우주 점수까지

From observed score to universe score

다음 추론은 관측치가 가능한 모든 관측치를 충분히 대표하는지 여부를 가리킨다. 이 예에서 이것은 하나의 측정치가 진단을 기초로 할 충분한 데이터를 제공하는지 여부를 가리킨다. 예를 들어 네덜란드 가이드라인은 고혈압은 BP를 한 번의 상담에서 두 번 측정하고 두 번째 상담에서 반복 측정해야 진단할 수 있다고 규정하고 있다.32

The next inference refers to whether the observations are sufficiently representative of all possible observations. In our example, this refers to whether one measurement provides sufficient data on which to base a diagnosis. The Dutch guideline, for example, stipulates that hypertension can only be diagnosed if BP is taken twice during one consultation and is repeated during a second consultation.32

우주 점수에서 대상 도메인까지

From universe score to target domain

이제 BP 측정 결과는 [환자의 심혈관 상태]에 대한 결론을 도출하는 데 사용된다. 이를 위해서는 심장의 배양, 맥박 증식 및 기타 결과를 통합하고 결론이 유효하기 위해 결과를 삼각측량해야 한다.

Now the results of the BP measurements are used to draw conclusions about the cardiovascular status of the patient. This requires heart auscultation, pulse palpation and other results to be incorporated and the results triangulated in order for the conclusions to be valid.

대상 도메인에서 구성으로

From target domain to construct

환자의 심혈관 상태는 이제 [환자의 건강 상태]를 확립하는 데 사용될 수 있지만, 보다 일반적인 결론을 뒷받침하기 위해 다른 출처로부터 추가 정보를 얻고 삼각측량을 해야 한다.

The patient’s cardiovascular status can now be used to establish his or her health status, but further information must be obtained from other sources and triangulated to support a more general conclusion.

추론하기

MAKING INFERENCES

케인의 견해로는 추론은 [논거argument]에 근거한다. 이것들은 양적인 것일 수도 있고 질적인 것일 수도 있지만, 그것들은 항상 이론에 근거하고 해석적인 것이어야 하기 때문에 [고립된 논거]로 존재할 수는 없다. 물론, 어떤 논쟁도 괜찮지는 않을 것이다. 검증 과정의 논쟁은 명확하고 구체적이며 일관성이 있어야 하며 완전해야 하며 타당해야 하며 검증가능해야 하며 반증가능해야 한다.14

In Kane’s view, inferences are based on arguments. These may be quantitative or qualitative, but they must always be theory-based and interpretive and thus cannot serve as arguments in isolation. Of course, not just any argument will do. Arguments in the validation process must be clear, specific, coherent, complete, plausible, verifiable and falsifiable.14

모든 이해관계자나 연구자가 자신의 논리를 따를 수 있도록 하기 위해서는 논거argument가 명확해야 한다. 따라서 argument에는 충분한 구체적인 내용이 포함되어야 한다. 일관성은 관련 추론 네트워크가 최종 결론과 결정이 관찰된 성과로부터 타당하게 뒤따를 수 있도록 요구한다. 이를 위해서는 논거가 완전해야 한다. 

Arguments are required to be clear in order to ensure that every stakeholder or researcher is able to follow their logic. Therefore, the argument must include sufficient specific details. Coherence requires that the network of related inferences is such that the final conclusions and decisions follow plausibly from the observed performance. This requires the argument to be complete. 

어떤 주장의 타당성plausibility은 종종 주장 그 자체로 자명할 수 있지만, 일부 주장의 경우 경험적 기초에만 의존하기도 하며, 반면 다른 어떤 주장의 경우 신중한 문서화 및 절차 정밀도에 의존할 수도 있다. 이것은 연역적 추론이나 귀납적 추론뿐만 아니라 확률적 추론과 같은 다른 형태의 방어적 추론도 포함할 수 있다. 

The plausibility of the argument may often be self-evident, but some arguments will rely on empirical underpinning (preferably by not only verification, but also by multiple failed attempts at falsification) and others will rely on careful documentation and scrutiny of procedures. This may involve the employment of not only deductive reasoning or inductive inferences, but also of other forms of defeasible reasoning, such as probabilistic reasoning. 

방어가능한 주장은 어떤 전제presupposition를 담고 있지만 반론counterargument이 강할 경우 이것이 전복될 수도 있다는 것을 수용하는 주장이다. 확률에 근거한 주장은 무효로 할 수 있지만defeasible, 순전히 연역적 논리에 근거한 주장은 그렇지 않다. 비록 이것이 평가 개발자나 연구자가 자신이 필요로 하는 어떤 논쟁이든 사용할 수 있는 대단한 관용도를 가지고 있다는 인상을 줄 수 있지만, 이것은 사실이 아니다: 모든 논쟁은 그것이 타당성을 위한 최적의 증거를 제공하기 위해 전략적이고 프로그램적인 방법으로 신중하게 선택되어야 한다.

Defeasible arguments are arguments that contain a presupposition but accept that this may be overthrown if counterarguments are strong. Probability-based arguments are defeasible, whereas those based on sheer deductive logic are not. Although this may give the impression that the assessment developer or researcher has great latitude to use whatever arguments he or she needs, this is not the case: every argument must be carefully chosen in a strategic and programmatic way to ensure that it provides the optimal evidence for validity.

프로그램 평가 및 추론

PROGRAMMATIC ASSESSMENT AND INFERENCES

평가 프로그램은 다양한 평가 구성요소(도구)를 사용할 것이다. 우리는 각 평가도구의 품질은 동일한 (심리측정적) 접근법을 사용하여 결정할 수 없다고 믿는다. 대신에, 우리는 프로그램의 특정 구성요소에 따라 평가에 다양한 방법과 절차가 사용되어야 한다고 생각한다. 이들 각각의 선택은 [평가도구의 구성 요소와 평가 프로그램이 포착하고자 하는 구인construct]의 특성에 대한 명확한 개념에 기초해야 한다.

A programme of assessment will use various assessment components (instruments). We believe that the quality of each of these cannot be determined using the same (psychometric) approaches. Instead, we think that a variety of methods and procedures should be used in assessment depending on the specific component of the programme. The choice of each of these must be based on a clear notion of the nature of the construct the component and the assessment programme are trying to capture.

우리는 이 방법들 중 어떤 것도 그 자체로 좋거나 나쁘다는 것을 보여주고 싶지 않다. 반대로, 특정 방법의 가치와 유용성은 추론을 얼마나 서포트하는지로부터만 도출될 수 있으며, 따라서 [특정 구인에 대한 평가의 타당성]에 도달할 수 있다.

We do not wish to illustrate that any of these methods are either good or bad in themselves. On the contrary, the value and usefulness of a particular method can only be derived from the support it lends to an inference and thus to the validity of the assessment for a certain construct.

추론 1. 관찰에서 점수까지

Inference 1. From observation to score

문항 작성 규칙 

Item construction rules

이는 주제를 숙지한 학생이 항목에 정확하게 답하고 숙달하지 않은 학생이 오답할 확률을 최적화하기 위한 것이다.33,34 다시 말해 학생이 거짓 부정 또는 거짓 긍정 응답을 할 가능성을 최소화하는 역할을 한다.

These are designed to optimise the probability that a student who has mastered the subject matter will answer the item correctly and those without sufficient mastery will answer incorrectly.33,34 In other words, they serve to minimise the chance that a student will give a false negative or false positive response.

예를 들어, 학생이 가장 긴 옵션을 선택했기 때문에 객관식 질문에 정확하게 답하거나, 또는 소위 '블런더부스' 기법을 성공적으로 적용했기 때문에 개방형 질문에 정확하게 답하는 경우, 이 학생이 획득한 점수는 [주제 숙달이 아니라] '시험-숙련성'에 기초하였기 때문에 무효다.

If, for example, a student answers a multiple-choice question correctly because he or she has chosen the longest option, or answers an open-ended question correctly because he or she has successfully applied a so-called blunderbuss technique, the scores this student obtains are invalid as they are based on ‘test-wiseness’ and not on subject matter mastery.

구술 시험에서의 시험 전략과도 관련이 있다(예: 시험관의 취미를 알아내고 그것을 활용한다).

it also pertains to test-taking strategies in oral examinations (e.g. find out the hobby horses of the examiner and capitalise on them).

평가의 구조화

Structuring of the assessment

모든 응시자가 평가에서 요구하는 과제와 유사하게 대응해야 하는 ATLS(고급 외상 수명 지원) 절차적 능력의 평가와 같이 관심대상 구조construct가 균일하다면, 평가를 구조화하면 관측치에서 점수로의 변환이 개선된다. 그러나 후보자와 당면한 문제(예: 직장에 의한 평가와 같이)의 [상호작용의 질]이 문제라면, 구조화는 잘 작동하지 않는다.

If the construct of interest is uniformity, such as in the assessment of advanced trauma life support (ATLS) procedural skills, in which all candidates should respond similarly to the tasks demanded by the assessment, structuring the assessment improves the conversion of observations to scores. However, if the quality of the interaction between the candidate and the problem at hand (e.g. as in workplace-based assessment) is an issue, structuring does not work well.

한 가지 예는 고도로 구조화된 초기 객관적 구조 임상 검사(OSCE)이다. 많은 심사관들은 개별 항목에 대한 모든 점수를 합산하는 것이 OSCE가 평가하고자 하는 역량의 능력을 실제로 나타내지 않는다고 불평했다. 구인의 구체적인 정의에 따라 평가의 구조화는 경우에 따라 타당성 주장을 강화하지만 다른 경우에는 약화시킬 수 있다.

This is exemplified by early objective structured clinical examinations (OSCEs), which were highly structured. Many examiners complained that adding up all the scores on the individual items did not really indicate ability in the competence the OSCE was intended to assess. Depending on the specific definition of the construct, structuring the assessment may strengthen the validity argument in some cases, but weaken it in others.

채점 규칙 

Scoring rules

물론 채점 규칙의 결정이 중요한 역할을 한다. 추측guessing에 대한 벌점 적용 여부에 대한 광범위한 논쟁이 이를 잘 보여주는 예다.35

Of course, the determination of scoring rules plays an important role. The extensive debates about whether or not to apply a penalty for guessing are a good example of this.35

[학생의 지식을 하나의 구성]으로 담아내려고 한다면, [willingness to guess]는 [관찰부터 점수까지의 추론]에서 오류의 원인이 된다. 대조적으로, [학생이 실제로 어떤 지식을 사용하려고 하는지]를 평가하는 데 관심이 있다면, educated guess를 하려는 의지는 구조 관련 분산(CRV)의 원천으로 보여질 수 있다.

If one tries to capture the student’s knowledge as a construct in his or her head, willingness to guess is a source of error in the inference from observation to score. If, by contrast, one is interested in assessing which knowledge the student is willing to actually use, willingness to make an educated guess may well be seen as a source of construct-relevant variance.

또한, [더 복잡한 채점 방법]이 일반적으로 더 많은 분산을 도입하지만 (구인 관련 분산인 경우가 드물기 때문에) [단순한 1-0 접근법]보다 본질적으로 더 나은 것은 아니다. 이것은 'Granularity'와 관련된 문제다. 지나치게 상세한 채점은 구성과 관련된 분산을 증가시킬 수 있다. 논문의 경우 10점 만점에 7.35점이 있으면 단순히 존재하지 않는 정확도를 나타낸다.

Further, more complicated scoring methods are not inherently better than simple 1-0 approaches19 because although they generally do introduce more variance, this is seldom construct-relevant variance. This is an issue related to ‘granularity’. Overly detailed scoring can increase the construct-irrelevant variance: a mark of 7.35 out of 10 for a thesis suggests an accuracy that is simply not there.

문항 분석 

Item analyses

[문항 분석]은 유효성에 부정적인 영향을 미칠 수 있는 항목을 식별할 수 있기 때문에 관찰에서 점수로 추론을 개선하는 데 사용될 수 있다. 그러나 이 능력은 평가에서 시험하고자 하는 구성에 따라 달라진다.

Item analyses can be used to improve the inference from observation to score because they can identify items that might have a negative influence on validity. However, this ability depends on the construct the assessment aims to test.

만약 구조물이 균질하고 안정적이라고 가정한다면, 문항 분석은 종종 항목들의 제거로 이어진다. 이것은 구성 무관련 분산(CIR)을 제거함으로써 시험의 측정적 특성을 개선한다.

If the construct is assumed to be homogeneous and stable, item analyses often lead to the elimination of items. This improves the measurement properties of the test by weeding out construct-irrelevant variance.

그러나 시험이 [본질적으로 의미 있고 관련성이 있는 항목의 집합]으로 보여지는 경우(ATLS 교육에서 사례 상황처럼) 문항분석 결과는 어떤 항목을 주의 깊게 검토해야 할 필요성을 보여주기 위한 것이다. 이를 통해서 그 문항이 실제로 구인과 관련이 있고, 모호하지 않으며, 의미있는지를 확인하게 된다.

If, however, the test is seen as a collection of intrinsically meaningful and relevant items (as in the case situations in ATLS training), item analysis results can only serve to flag up the need to carefully review an item and check whether it is actually as relevant, unambiguous and meaningful as it was thought to be on construction.

관련성 평가

Relevancy evaluations

항목이나 평가 부분이 관련되어야 한다는 완전한 합의가 있을 수 있지만, [관련성]이 정의되는 방법 역시 구인에 대한 이론적 개념에 달려 있다.

There is probably complete agreement that items or assessment parts need to be relevant, but how relevance is defined is again dependent on theoretical conceptions about the construct.

• 관련성은 대부분의 사람들이 알고 있는 것으로 정의될 수 있다. 그 경우에 높은 p-값(정답률)은 타당성 주장을 구성한다. 

• 관련성을 역량 있는 사람이 알아야 할 것으로 정의된다면, 높은 항목-총 상관관계(Rit)와 함께 낮은 p-값이 타당성에 대한 더 나은 주장이 될 것이다. 

• 관련성을 모든 사람들이 알아야 할 것으로 정의된다면, p-값(정답률)과 총점-문항 상관관계(Rit)는 관련성에 유용한 매개변수가 아니다. 이 경우, 어떤 항목의 관련성에 대한 질적 논거가 필요하다. 예를 들어, 학생이 갑상선의 생물피드백 메커니즘과 그 호르몬을 이해하지 못한다면, 실험실 결과를 잘 해석하지 못할 것이다.

• Relevance can be defined as what most people know. In that case high p-values would constitute an argument for validity. 

• If relevance is defined as what competent people need to know, low p-values in conjunction with high item–total correlations (Rit) would be a better argument for validity. 

• By contrast, if relevance is defined as what all people should know, p-values and Rit are not useful parameters for relevancy. In this case, qualitative arguments for the relevancy of an item need to be made: for example, if a student doesn’t understand the biofeedback mechanism of the thyroid gland and its hormones, he or she will not interpret laboratory results well.

보고 및 요약

Reporting and summarising

구두 평가, 포트폴리오 및 직장 기반 평가에서 [보고 및 요약]하는 것은 정보를 '점수'로 변환하는 한 방법이다. 평균, 표준 편차 등은 정량적 방법에서 많은 양의 데이터를 점수로 변환하는 표준 방법을 나타내는 반면, 정성적 평가에서 전문가 요약은 이러한 역할을 한다.

Reporting and summarising in oral assessments, portfolios and workplace-based assessments is one way of converting information to ‘scores’. Whereas means, standard deviations and so forth represent standard ways of converting large amounts of data into scores in quantitative methods, in qualitative assessment an expert summary plays this role.

정량적 평가에서 뒷받침되는 증거는 정확한 (통계적) 기술 기법과 정확한 계산의 적용에 기초한다. 정량적 평가에서 supporting evidence는 평가자의 전문지식과 그것의 발전(교사 훈련)에 기초한다.

In quantitative assessment methods the supporting evidence is based on the application of the correct (statistical) descriptive techniques and correct calculations. In the qualitative context it is based on examiner expertise and its development (teacher training).

평가도구의 사용가능성 

Feasibility of the instrument

사용자는 평가 도구를 사용하는 데 완전히 익숙해야 한다. 그렇지 않고서야 어떻게 자신의 관측을 정확하게 점수로 환산할 수 있을까? 사용자가 평가 도구를 사용하여 관찰을 채점하는 방법이나 특정 관찰을 채점하는 위치에 대해 확신할 수 없는 경우 관찰에서 점수까지의 추론 강도는 심각하게 제한된다. 또 다른 상황은 평가 도구가 사용하기에 너무 복잡하여(예: 60항목 OSCE 양식) 관측자의 '인지 부하'가 [수행능력을 관찰하고 판단]하기보다는 [평가도구를 관리하는 방법을 알아내는 데 이용되는 경우]에 존재한다. 따라서 [관찰에서 점수까지의 타당한 추론은 평가도구가 충분히 사용자 친화적이거나 시험관이 훈련을 통해 도구에 세심하게 숙지된 경우]에만 할 수 있다.

The user must be fully comfortable with using the assessment instrument. How else can he or she correctly translate his or her observations into scores? If the user is unsure about how to score an observation using the instrument or where to score certain observations, the strength of the inference from observation to score is seriously limited. Another such situation exists if the instrument is so complicated to use (e.g. a 60-item OSCE form) that the observer’s ‘cognitive load’ is occupied by finding out how to manage the instrument rather than by observing and judging the performance. A valid inference from observation to score can therefore only be made if the instrument is sufficiently user-friendly or the examiner has been carefully familiarised with the instrument through training.

요약하면, 관찰에서 점수까지의 모든 추론에 대해 타당성 인수는 다음을 기반으로 한다. 

• 측정 도구 제작에 사용되는 품질 절차, 

• 사용자 및 사용자의 전문성 

• 양 요인 간의 상호 작용 

In summary, for all inferences from observation to score, validity arguments are based on 

• the quality procedures used to construct the measurement instrument, 

• the expertise of the user and 

• the interplay between both factors. 

우리는 각 (타당도) 주장의 강도가 [주장이 구인의 이론적 개념을 지지하는 정도]에 의해 결정된다는 것을 충분히 강조하고자 한다.

We cannot stress enough that the strength of each argument is determined by the extent to which it supports the theoretical notions of the construct.

추론 2. 점수에서 우주 점수까지

Inference 2. From scores to universe scores

이 두 번째 추론은 종종 '신뢰성'이라고 불린다. 이 개념은 [신뢰할 수 없는 시험은 절대 타당할 수 없다]는 격언의 기초가 된다. 그러나 그 관계는 그것보다 더 미묘한 뜻이 있다. 관측된 점수로부터 우주 점수로의 추론은 [관측된 점수의 집합이 가능한 모든 점수의 우주를 충분히 대표한다는 주장]에 근거한다.

This second inference is often referred to as ‘reliability’; this notion is the basis for the adage that unreliable tests can never be valid. However, the relationship is more nuanced than that. The inference from observed scores to universe scores is based on the argument that the observed set of scores is sufficiently representative of the universe of all possible scores.

그러므로 이 '유니버스'의 본질에 대한 생각은 필수불가결한 것이다. 

• 예를 들어, 테스트-재테스트 상관관계는 유니버스(대상 영역 또는 구성물)가 [내부적으로 일관성이 있거나 동질적이라는 가정] 하에 우주 표현에 대해서만 유효한 추론이다. 

• 만약 ['유니버스'가 이질적인 것으로 가정]한다면, 높은 시험-재고 상관관계를 찾는 것은 논리적이지도 않고 그럴듯하지도 않을 것이다. 이 경우 시험-보정 신뢰성은 양호한 우주 일반화보다는 불량함을 나타낼 수 있다.36

An idea of the nature of this ‘universe’ is therefore indispensible. 

• For example, test–retest correlations are only valid inferences for universe representation under the assumption that the universe – the target domain or the construct – is internally consistent or homogeneous. 

• If the ‘universe’ is assumed to be heterogeneous, it will be neither logical nor plausible to find high test–retest correlations. In this case test–retest reliability would indicate poor rather than good universe generalisation.36

고전 시험 이론

Classical test theory

크론바흐의 알파 공식과 쿠더-리처드슨 공식과 같은 고전적 시험 이론(CTT)에 기초한 절차는 시험-재시험 상관관계의 개념을 참조한다. 실제로 그들은 시험 결과의 내부 일관성을 결정한다. 물론 우리가 [유니버스 자체가 너무 동질적이어서, 독립적으로 채취한 두 표본이 동일한 결과를 초래할 것으로 예상할 수 있다고 가정]한다면, 시험-재시험 상관관계는 우주의 일반화에 유용한 접근법일 것이다. 이러한 가정에서는, 관측치 사이의 모든 변동이 일반적으로 구성 관련 분산(CIR)으로 처리된다는 결론을 얻는다.

Procedures based on classical test theory (CTT), such as Cronbach’s alpha and Kuder–Richardson formulas, refer to the notion of a test–retest correlation. In fact, they determine the internal consistency of the test results. Of course a test–retest correlation is only a useful approach to universe generalisation if we assume that the universe itself is so homogeneous that two independently taken samples can be expected to lead to the same results. A consequence of this assumption is that all variation between observations is generally treated as construct-irrelevant variance.

또 다른 가정은 관측 중에 측정 개체가 변하지 않는다는 것이다. 우리가 이전에 사용한 BP와 지능의 예에서 우리는 전자가 시시각각으로 변하고 후자가 안정감을 유지할 것으로 기대한다. 만약 우리가 낮 동안 두 가지 측정을 반복하고 대상 내에서 완벽한 일치와 대상들 간의 체계적 차이를 찾는다면, 우리는 이것을 지능 테스트의 타당성과 BP 측정의 타당성을 지지하는 주장으로 간주할 것이다.

Another assumption is that the object of measurement does not change during the observations. In the examples we used before, of BP and intelligence, we expect the former to change from moment to moment and the latter to remain stable. If we were to take repeated measurements of both during the day and were to find perfect agreement within subjects and systematic differences between subjects, we would regard this as an argument in favour of the validity of the intelligence test and against that of the BP measurement.

단수성이나 동질성이 구조에 관한 이론의 일부가 아니거나 질적 데이터가 수집되는 경우 CTT는 잘 작동하지 않는다.

In cases in which unidimensionality or homogeneity are not part of the theory about the construct or where qualitative data are collected, CTT does not work well.

일반성 이론

Generalisability theory

일반화가능도 이론(GT)은 훨씬 유연하다. 사용자가 어떤 분산 요소를 구성 관련 요소로 간주하고 구성 관련 요소로 간주해야 하는지 정확하게 정의해야 한다. 그러나, 그것은 여전히 하나의 우주 점수가 있고 이것은 함축성을 가지고 있다는 개념에서 출발한다. 예를 들어 OSCE에 있는 관측소의 총 점수에 대해 일반적 타당성 분석을 수행하는 경우, [기본적인 가정은 '스킬'의 특성이 [소생 스테이션의 점수]와 [복부 검사 스테이션의 점수]를 결합하는 행위를 방어할 수 있으며, 이 두 가지를 서로 교환할 수 있다는 것이다]. 또 다른 예로는 미니 CEX가 있는데, 여기서 일반 가능성 분석은 역사 학습 기술이 인문학적 특성과 완전히 상호 호환된다는 자동 가정을 해야 한다. 이런 가정하에, [어리석은 질문을 하지만 숙련된 의사소통 방식으로 그렇게 하는 사람]은 [불쾌한 방식으로 올바른 질문을 하는 사람]과 동일한 정도로 유능하다.

Generalisability theory (GT) is much more flexible. It requires the user to define exactly which elements of variance are to be seen as construct-relevant and which as construct-irrelevant. It still, however, starts from the notion that there is one universe score and this has implications. If, for example, a generalisability analysis is performed on the total scores of the stations on an OSCE, the underlying assumption is that the trait ‘skills’ is such that it is defensible to combine the scores on a resuscitation station with those on an abdominal examination station, and that both are interchangeable. Another example is the mini-CEX, where a generalisability analysis must make the automatic assumption that history-taking skills are completely interchangeable with humanistic qualities. On this assumption, someone who asks stupid questions but does so in a skilled communicative manner is as competent as someone who asks the right questions in an unpleasant manner.

누가 옳다는 말은 없지만, 구성 요소인 '기술'의 성격에 대해 크게 다른 견해가 있는 것은 분명하다.

There is no saying who is right, but it is clear that there are hugely different views on the nature of the construct ‘skills’.

확률론적 접근법

Probabilistic approaches

또 다른 이슈는 모든 상황이 동일한 양의 샘플링을 필요로 하는지에 관한 것이다. 7개의 미니 CEX 관측에서 매우 형편없거나 매우 잘한 후보자는 정말로 여덟 번째가 필요한가?

Another issue concerns whether every situation requires the same amount of sampling. Does the candidate who has performed very poorly or extremely well on seven mini-CEX observations really require an eighth?

하나의 이론은 [지식이 하나의 특성의 구인]이라는 가정으로부터 출발할 수 있는데, 이 가정은 [학습자의 능력이 높을수록 정답을 맞출 확률이 균일하게 증가할 것]이라는 것을 암시한다(예를 들어, 학생이 좌심장 장애에 대해 좋은 지식을 가지고 있다면, Frank-Starling 메커니즘과 심장 생리학에 대해서도 알고 있다고 가정해도 무방할 것이다). 그러한 이론적 맥락에서 [문항 반응 이론(IRT) 모델은 일반화의 유용한 수단]이다. 

One theory may start from the assumption that knowledge is a construct of a single trait which implies that there will be a uniform increase in the probability that a candidate will give a correct answer with increasing ability (e.g. if a student has good knowledge about left-sided heart failure, it will be safe to assume that he or she knows about heart failure, about Frank–Starling mechanisms and about heart physiology). In such a theoretical context, item response theory (IRT) models are useful means of generalisation. 

그러나 지식의 소유가 [서로 관련 없는 일련의 항목]으로 보이는 상황에서(예를 들어, 학생이 계면활성제가 제2형 폐렴구에 의해 생산된다는 것을 안다면, 이것은 그가 발광기 테레스 근육의 종이와 삽입이 무엇인지 자동적으로 안다는 것을 의미하지는 않는다), IRT는 덜 유용하고 이항 모델과 같은 다른 모델들은 덜 유용할 수 있다. 좀 더 적용이 되다37

In a situation in which the possession of knowledge is seen as an unrelated set of items (e.g. if a student knows that surfactant is produced by type II pneumocytes, this does not automatically mean that he or she knows what the origo and insertion of the pronator teres muscle are), IRT is less useful and other models, such as binomial models, may be more applicable.37 

정보의 포화도

Saturation of information

정보 접근법의 포화상태는 정성적 연구 방법론에서 온 것이다. 만약 우리가 [구인이 이질적이고 비차원적]이라고 가정하거나 이론화한다면, [내부 일관성 측정은 일반화를 위한 최선의 방법이 아니다]. 정보의 포화상태는 기본적으로 새로운 관찰이 이미 획득한 정보에 중요한 새로운 정보를 추가하지 않는다는 것을 의미한다. 이는 추가 진단이 진단이나 치료 작용을 바꾸지 않으면 명령해서는 안 된다는 진단 격언과 견줄 만하지만, 하나의 진단만 할 수 있다고 규정하지는 않는다.

Saturation of information approaches originate from qualitative research methodologies. If we assume or theorise the construct to be heterogeneous and non-dimensional, internal consistency measures are not the best way to generalise. Saturation of information basically means that new observations do not add important new information to that already obtained. This is comparable with the diagnostic adage that if additional diagnostics do not change the diagnosis or the therapeutic actions, they should not be ordered, but it does not stipulate that only one diagnosis can be made.

특히 학습을 위한 평가 접근방식에서 침상 예절을 목표로 하는 평가 구성요소를 설계하고자 한다면, 모든 관측치를 점수로 변환하고 일반적 타당성 계수를 계산하는 것은 실제로 그러한 복잡한 현상의 평가에 대한 정의가 되지 않을 것이다. [새로운 관찰]이 [후보가 어떻게 하고 있는지]에 대한 [정보의 만화경]에 어떤 것을 더해줄 것인지에 대해 추측하는 것은 훨씬 더 유용하고 정보가 풍부하다.

If one wants to design an assessment component aimed at bedside manners, especially from an assessment-for-learning approach, converting all observations to a score and calculating the generalisability coefficient would not really do justice to the assessment of such a complex phenomenon. Making assumptions about whether a new observation would add anything to the kaleidoscope of information about how a candidate is doing is much more useful and information-rich.

신뢰도

Credibility

비록 권위에 기반한 주장이 현재 유행하고 있지는 않지만, 물론 [신뢰성]의 문제는 유니버스의 일반화에 역할을 한다. 진단 전문지식에 대한 연구는 경험 많은 전문가들이 진단과 치료에 대한 유효한 결정에 도달하기 위해 정보가 덜 필요하다는 것을 보여준다. 이것은 평가 분야에도 쉽게 적용될 수 있다. 관찰에서 유니버스 점수에 이르는 추론을 함에 있어서, 많은 맥락에서 [전문가가 초보 평가자보다 더 적은 수의 관찰을 필요로 하는 것]이 일반적일 가능성이 높다. 따라서 관찰된 대 우주 점수 추론 주장은 초보자가 추론을 하는 것보다 [전문가 평가자가 추론을 하는 경우]에 더 강력하다.

Although authority-based arguments are not in vogue at present, the issue of credibility does, of course, play a role in universe generalisation. Research in diagnostic expertise shows that experienced experts need less information to reach valid decisions about diagnosis and treatment. This can be easily translated to the assessment field. It is highly likely – and, in many contexts, normal – that an expert requires fewer observations than a novice assessor to make the inferences from observation to universe score. Therefore, the observed-to-universe-score inference argument is stronger if the inference is made by an expert assessor than by a novice.

샘플링 스키마

Sampling schemas

샘플링 스키마(예: 청사진)는 샘플링할 도메인과 우주에 대한 관찰 샘플(항목, 미니-CEX 등)의 [대표성]을 바탕으로 한 인수에 의한 우주 일반화 추론을 지원한다.

Sampling schemas – such as blueprinting – support the universe generalisation inference by arguments based on the domain to be sampled and the representativeness of the sample of observations (items, mini-CEXs, etc.) for the universe.

• 우주를 동질적으로 보더라도, 표본 추출은 모든 원치 않는 분산원을 평균화할 수 있을 만큼 충분히 넓어야 한다. 

• 이와는 대조적으로 우주를 이질적인 것으로 보는 경우, 표본 추출은 우주의 모든 측면이 표본에 포함되도록 해야 한다.

• Even if the universe is seen as homogeneous, sampling must be broad enough to average out all unwanted sources of variance. 

• By contrast, if the universe is seen as heterogeneous, sampling must be such that all aspects of the universe are included in the sample.

추론 3. 우주 점수에서 대상 도메인까지

Inference 3. From universe score to target domain

프로세스 중 어느 시점에서 [대표 결과]는 [대상 영역에 대한 결론]을 도출할 수 있는 방식으로 [결합]되어야 한다. 평가 프로그램에서 이것은 다양한 계측기의 결과를 조합할 것을 요구한다.

At some point during the process the representative results must be combined in such a way that conclusions about the target domain can be drawn. In a programme of assessment this requires that the results of various instruments be combined.

이는 표준이 무엇인지뿐만 아니라 다양한 도구로부터 얻은 결과(특히 양적 정보와 질적 정보를 결합한 경우)를 어떻게 결합할지에 대해서도 의사결정을 내릴 것을 요구한다.

This demands that decisions be made not only about what the standards are, but also on how to combine the results of various instruments (especially if they combine quantitative and qualitative information).

표준설정

Standard setting

표준 설정은 평가에서 크게 논의되는 사안이다. 이는 타겟 영역에 대한 [이분법적 yes/no 결정에 도달하기 위해 많은 측정 정보를 줄이는 최적의 방법]에 관한 것이기 때문이다. 다시 한번 추론의 유형과 주장의 강도는 대상 영역의 이론적 개념에 따라 달라진다.

Standard setting is a heavily debated issue in assessment. This is logical because it concerns the optimal way to reduce much of the measurement information to arrive at a dichotomous yes ⁄ no decision about the target domain. Again, the type of inferences and the strength of the argument depend on the theoretical notion of the target domain.

• [특정 시점에서 숙달되어야 하는 모듈형 대상 영역](예: 무릎 검사 수행 능력)의 경우, 일반적으로 표준 설정은 [최소 허용 수준의 숙달성]을 정의하기 위해 사용된다. 

• [종단적 구성 요소](예: 진행률 테스트)는 전체 기간life 동안 지속적으로 개선되는 특성을 평가한다. 이 경우 상대적 또는 투입적ipsative 표준(훈련 단계나 또래 집단 또는 후보자의 과거 성과에 상대적)이 더 적용된다.

• For modular target domains (e.g. ability to perform an examination of the knee), which should be mastered by a certain time-point, standard setting is typically used to define the minimally acceptable level of mastery. 

• Longitudinal components (e.g. progress testing) assess characteristics that constantly improve during life. In these cases, relative or ipsative standards (relative to the phase of the training or a peer group or relative to the candidate’s past performance) are more applicable.

역학 또는 기준 기반 접근 방식

Epidemiological or criterion-based approaches

[수치적 결과]가 대상 영역의 기준으로 정의될 수 있는 경우, 이 세 번째 추론의 주장은 양성 또는 음성 예측 값과 승산비에 기초할 수 있다. 이러한 경우, 수신기 작동 특성(ROC) 곡선을 사용하여 추론 주장을 뒷받침할 수 있다.

In cases in which a numerical outcome can be defined as a criterion for the target domain, the arguments in this third inference can be based on positive and negative predictive values and odds ratios. In such cases, receiver operating characteristic (ROC) curves can be used to support the inference argumentation.

그러나 수치적 접근만이 역학 논쟁의 혜택을 볼 수 있는 것은 아니다. 몇몇 더 [이론적인 역학 개념]도 유용하다. 긍정적인 예측가치에 대한 아이디어는, 논리적으로, 고학년 학생들은 저학년 학생들과는 다른 유급률failure rate을 보여야 한다. 왜냐하면 간단히 말해서, 지속적으로 이뤄진 선발 과정으로 인해 역량이 부족한 학생이 수업에 남아있을 가능성이 감소하였기 때문이다. 따라서 1년차 코호트에서 25%의 failure rate가 허용된다고 간주되는 경우, 이는 최종 학년 그룹에서 동일한 failure rate가 허용된다는 것을 의미해서는 안 된다.

However, not only numerical approaches can benefit from epidemiological arguments. Some more theoretical epidemiological concepts are also useful. The idea of the positive predictive value gives us to understand that, logically, senior year classes should show dissimilar failure rates to more junior classes, simply because the ongoing selection process has decreased the a priori probability that an incompetent student will remain in the class. Thus, if a failure rate of 25% is considered acceptable in a first-year cohort, this should not mean that the same failure rate is acceptable in a final-year group.

보정, 연결 및 데이터 정렬

Compensation, conjunction and collation

대상 영역에 대한 좋은 추론을 도출하기 위해서는 서로 다른 평가 요소들을 결합해야 한다. 그러나 정보를 결합하는 특정 방법을 무작위로 선택하는 것은 논쟁의 강력한 근거를 제공하지 못한다.

In order to arrive at a good inference about the target domain, separate assessment elements must be combined. However, randomly choosing a certain method of combining information does not provide a strong basis for argumentation.

내용이 같을 경우 형식이 다르더라도 사물things이 잘 일반화된다는 견실한 연구에도 불구하고 2,3,5 우리는 의미 있는 내용보다는 형식이 비슷한 경우(예: 복부 검사와 무릎 검사의 OSCE 스테이션)에 요소들을 결합하는 경우가 많다.

Despite the robust finding that things generalise well across formats if the content is the same and vice versa,2,3,5 we often combine elements because they are of the same format (e.g. OSCE stations on abdominal examination and knee examination) rather than because they have similar meaningful content.

이것은 본질적으로 스킬이란 것을 [관련성이 있는 관찰된 능력의 선별된 집합]이 아니라 [단차원적 특성]으로 보는 암묵적 개념에 기초한다. 후자(단차원적 특성)에서는 보상compensation이 대상 영역에 추론을 하는 가장 좋은 방법이며, 전자(본질적으로 관련있는 관찰된 능력의 집합) 에서는 결합conjunction이 가장 좋은 방법이다.

This is based on the implicit notion of skills as a unidimensional trait, rather than as a selected set of intrinsically relevant observed abilities. In the former, compensation is the best way of making an inference to the target domain; in the latter conjunction is.

다양한 출처 또는 평가 요소의 정보가 결합되어야 하는 경우(예: 무릎 검사에 관한 OSCE 스테이션과 무릎 해부학에 초점을 맞춘 서면 검사의 부분), 결합collation과 삼각 측정이 논쟁에 더 적합한 기초가 된다. 여기서 [삼각측량을 행하고 해석하는 사람의 인간의 판단과 전문지식]은 추론의 완전성과 타당성의 기초를 형성한다 (이는 마치, 거의 같은 방식으로, 나트륨 수치와 갈증 불만사항의 조합에 의미를 부여하기 위해서는 의사의 전문지식과 필요한 것과 같다). 9,38,39

If information from various sources or assessment elements needs to be combined (e.g. an OSCE station on knee examination and the part of a written examination that focuses on knee anatomy), collation and triangulation are more suitable bases for argument. Here, human judgement and the expertise of the person doing and interpreting the triangulation formthe basis for the completeness and plausibility of the inference (in much the same way as the expertise of the doctor is needed to make meaning of the combination of information on sodium level and a thirst complaint).9,38,39

(Collate: to bring together different pieces of written information so that the similarities and differences can be seen:)

회원조회

Member checking

멤버 체크는 평가 과정에 대한 다양한 기여자의 견해만 포함하는 평가 프로그램의 모든 프로세스를 의미하지만(예: 360도 접근 방식), 또한 다음의 것들을 지속적으로 평가할 수 있도록 설계된 내부 단계도 포함한다. 

• 대상 영역에 관한 중간 및 최종 결론이 이러한 기여자contributor의 견해와 일치하는지 여부 

• 이러한 관점에 기초하여 작성된 추론이 유효한지 여부. 

Member checking refers to all processes in an assessment programme that not only includes the views of various contributors to the assessment process (such as in a 360-degree approach), but also includes in-built steps designed to continually evaluate 

• whether the intermediate and final conclusions with respect to the target domain accord with the views of these contributors and 

• whether inferences made on the basis of these views are valid. 

따라서, 멤버 체크는 대상 영역에 관한 최종 결정과 결론에 대한 [모든 행위자actor의 소유권ownership을 지지]하고, 따라서 추론의 타당성을 지지한다.

As such, member checking supports the ownership of all actors of the final decisions and conclusion with respect to the target domain and thus to the plausibility of the inference.

이러한 추론을 위해 양적 방법과 질적 방법 모두 이용할 수 있다. 

• 순수하게 양적인 결과를 조합할 필요가 있을 때에는, 보상compensation과 연계conjunction, 예측 가치predictive value 등의 문제가 더 설득력을 갖는다. 

• 질적 결과(질적 결과만 또는 양적 결과와 연계하여)를 사용할 때에는, 인간의 판단력이 역할을 하므로, [판단을 내리는 사람들의 전문성(교사 훈련)과 신뢰성]이 주장argument의 필수 요소다.

For this inference, both quantitative and qualitative methods are available. 

• Whenever purely quantitative results need to be combined, issues such as compensation and conjunction, and predictive values, are more convincing. 

• Whenever qualitative results are used (either in isolation or in conjunction with quantitative results), human judgement plays a role, and thus the expertise (teacher training) and credibility of the people making the judgements are necessary elements of the arguments.

추론 4. 대상 도메인에서 구성으로

Inference 4. From target domain to construct

기본적으로 앞의 두 가지 추론에 사용된 것과 동일한 방법과 절차를 사용하여 [대상 도메인에서 구성으로] 추론한다. 의료 역량competence의 구성을 위해, 특히 이 construct을 일련의 역량competency 영역으로 보는 현재 통용되는 관점에 비추어 볼 때, 이러한 [역량 영역competency domains이 최종 구인final construct을 구성하는 방법]에 대한 이론적이고 실질적인 개념을 갖는 것이 중요하다.

Basically the same methods and procedures used in the previous two inferences are used to make inferences from target domain to construct. For the construct of medical competence, especially in the light of the currently popular view of this construct as a set of competency domains, it is important to have a theoretical and practical notion of how these competency domains make up the final construct.

최종적인 비유로서의 건강은 세계보건기구 40에 의해 '... 육체적, 정신적, 사회적 복지가 완전한 상태일 뿐 질병이나 병약함의 부재는 아니다.'40 건강에 대한 이러한 정의는 이론적으로 유용한 구인이지만, 어떤 실제 환자에서도 거의 달성되지 않을 것이기 때문에 의료실무에서는 무용지물이다. 실제 현장에서는, [건강]은 [환자와 의사 모두 그 과정의 결과에 만족하고 있으며, 더 이상의 행동이 필요하지도, 바라지도 않는다고 결정했다는 의미]로 더 자주 이용된다.

Health as a final analogy is defined by the World Health Organization40 as: ‘...a state of complete physical, mental and social well-being and not merely the absence of disease or infirmity.’40 This is a useful theoretical construct, but it is useless in medical practice because it will almost never be attained in any real patient. In practice, health is more often used in the sense that both the patient and doctor are satisfied about the outcome of the process and have decided that further actions are neither needed nor wanted.

[CanMEDS 및 ACME 역량에 정의된 것과 같은] 역량 영역은 이론상 유용하지만, 현재로서는 평가 목적으로 무언가를 해결해주기보다는 더 많은 문제를 일으키는 구인construct을 형성한다. 

• 어떤 정보를 어떤 역량에 매핑해야 하는가? 

• 서로 다른 역량에 매핑되는 정보를 어떻게 처리해야 하는가? 

• 한 가지 역량에 매핑되는 서로 다른 정보 소스를 어떻게 관리해야 하는가? 

• 역량이 서로 보상할 수 있는가, 아니면 서로 결부적으로 다루어야 하는가?

Competency domains, such as those defined in the CanMEDS and ACGME competencies, are useful in theory, but, for assessment purposes, they form a construct that currently creates more problems than it solves. 

• What information should be mapped onto which competency? 

• How should we deal with information that maps onto different competencies? 

• How should we manage different sources of information that map onto one competency? 

• Can competencies compensate for one another or should they be treated conjunctively?

또 다른 논의의 쟁점이 훨씬 더 중심적일 수 있다. 의료 역량은 [모든 상황]에서 프로토콜에 부합하는 방식으로 행동할 수 있는 능력인가, 아니면 진단, 의사소통 및 치료 결정을 [각 상황에 최적으로 적용할 수 있도록 충분히 유연한 방식으로 행동]할 수 있는 능력인가? 전자에서는 추론에 대한 더 구조화된 접근법이 더 그럴듯하다. 후자에서는 좀더 해석적인 주장이 나와야 한다. 우리는 우리가 [평가하고자 하는 구인이 충분히 명확하고 그것에 대한 모든 이론적 개념이 충분히 구체적일 때에만 타당성확인의 주장이 만들어질 수 있다]는 것을 충분히 강조하고자 한다.

Another issue of discussion may be even more central. Is medical competence the ability to act in a manner that accords with protocol in every situation or is it the ability to be act in a manner that is sufficiently flexible to allow for the optimal adaptation of diagnostic, communicative and therapeutic decisions to each situation? In the former, more structured approaches to inferences are more plausible. In the latter, more interpretative arguments must be made. We cannot stress enough that the arguments of validation can only be made if the construct we want to assess is defined clearly enough and when all theoretical notions about it are sufficiently concrete.

결론 CONCLUSIONS

우리는 여기서 의료 역량의 평가의 타당성은, 특히 평가 프로그램에 기초하는 경우, 각각은 일관성이 있어야 하지만, 또한 일관되고 일관성 있는 하나의 주장 시리즈를 형성하는 데 최대 기여해야 하는 추론 프로그램에 기초해야 한다고 주장해왔다.

We have argued here that the validity of the assessment of medical competence – especially if it is based on a programme of assessment – is based on a programme of inferences, each of which must be coherent, but which must also contribute maximally to the forming of one consistent and coherent argumentation series.

© Blackwell Publishing Ltd 2012.

의학교육에서 오픈북평가: 지금이 적기다 (Med Teach, 2020)

Assessing open-book examination in medical education: The time is now

Ivry Zagury-Orlya and Steven J. Durningb

코로나바이러스 대유행은 전세계적으로 의료 교육자들이 그들의 교육과 평가를 온라인 환경에 적응하도록 강요했다. 온라인에서 학습자를 평가하면 이론적으로 시험 보안, 특히 고부담 시험(Durning et al. 2016; Fuller et al. 2020)에 대한 우려가 제기된다. 폐쇄형 시험(CBE)과 개방형 시험(OBE)의 관리는 감독되지 않은 것에서부터 오디오 및 비디오 모니터링과 지문 감식이 있는 시험 프로그램까지 다양하다(Fuller et al. 2020). 현재, OBE 대 CBE의 사용은 논쟁거리로 남아 있다 – 그 이유와 함께, OBE와 CBE 중 어느 한쪽의 사용을 지지하는 결정적인 증거가 부족하다. (Durning et al. 2016)

The coronavirus pandemic has forced medical educators, globally, to adapt their teaching and assessment to the online environment. Assessing learners online, theoretically poses a concern for test security, particularly for high-stakes testing (Durning et al. 2016; Fuller et al. 2020). Administration of closed-book examinations (CBEs) and open-book examinations (OBEs) vary from being unsupervised to test-taking programs with audio and video monitoring and fingerprint identification (Fuller et al. 2020). As of now, the use of OBE versus CBE remains a debate – with reason: definitive evidence supporting the use of one over the other is lacking (Durning et al. 2016).

CBE 또는 OBE를 사용하기로 한 결정에는 몇 가지 이론적 가정이 있다. 한 쪽에서, CBE 옹호자들은 일반적으로 

• 첫째, CBE가 [학습자가 알고 있는 정보]의 지표로서 정보를 이해하고 인출하는 학습자의 능력을 평가하는데 필수적이라고 주장한다. (Durning et al. 2016) 

• 둘째로, CBE를 복용하는 것은, 외관상 더 수동적인 OBE와 비교했을 때, 시험 효과의 결과로 학습자의 장기 보유에 도움이 될 수 있는 기억력에서 더 많은 노력을 필요로 할 수 있다. 그럼에도 불구하고, 최근 CBE와 OBE를 비교한 체계적 검토에서 시험 성과와 시험 효과에 대해 유의미한 차이는 발견되지 않았다(Durning et al. 2016). 

• 셋째, 학습자는 OBE가 CBE보다 쉽다고 가정할 수 있으며, 결과적으로 OBE에 대해 덜 공부할 수 있다(Durning et al. 2016). 실제로, 체계적 검토 결과 학습자들은 OBE를 준비하는 데 더 적은 시간을 투자했지만, 포함된 37개 연구 중 70%는 OBE에 대한 사전 경험이 거의 또는 전혀 없었으며, 이는 학생들이 준비하는데 필요한 시간을 과소평가하게 만들 수도 있다(Durning et al. 2016).

There exist several theoretical assumptions underlying the decision to use CBEs or OBEs. On the one hand, advocates for CBE generally contend that, 

• first, CBEs are essential for evaluating learners’ ability to understand and recall information as an indication of what learners know (Durning et al. 2016). 

• Second, taking a CBE may require more effortful retrieval from memory, which, as a result of the testing effect, could benefit learners’ long-term retention, as compared to seemingly more passive OBEs (Durning et al. 2016). Nevertheless, in a recent systematic review comparing CBE and OBE, no significant differences were noted for exam performance and testing effects (Durning et al. 2016). 

• Third, learners may assume OBEs are easier than CBEs, and may, consequently, study less for an OBE (Durning et al. 2016). Indeed, the systematic review indicated that learners invested less time preparing for an OBE; however, in 70% of the 37 studies included, participants had little to no prior experience with OBE, which may have led them to underestimate the time required to prepare (Durning et al. 2016).

반면 OBE의 지지자들은 OBE가 교육자들이 암기를 넘어 고차원의 인지 능력과 비판적 사고를 요구하는 질문을 제기할 수 있도록 한다고 주장한다. 학습자의 지식을 평가하지 않는다는 위협은 모든 것을 찾을 시간이 없도록 시험 시간을 제약시킴으로써 극복할 수 있다(Durning et al. 2016). 또는 더 좋은 방법은 'why'에 대한 질문을 함으로써 극복할 수 있다(슈워츠슈타인과 로버츠 2017; 풀러 외 2020). 이러한 질문은 검색할 수 없을 뿐만 아니라, 학습자들의 추론적 사고를 밝혀내고 그들의 사고에 도전하는데 도움을 준다. 그리고 의학지식이 핵심역량임에도 불구하고 의료학습자의 지식손실은 상당할 수 있다(D'Eon 2006).

On the other hand, proponents of OBE argue that OBEs allow educators to pose questions that require higher-order cognitive skills and critical thinking, beyond rote memorization (Durning et al. 2016). The threat of not assessing learners’ knowledge could be overcome by time-pressured tests, leaving little time to look up everything (Durning et al. 2016), or better, by asking why questions (Schwartzstein and Roberts 2017; Fuller et al. 2020), which are not only less searchable but also help to uncover learners’ reasoning and challenge their thinking. And although medical knowledge is a core competency, knowledge loss among medical learners can be significant (D’Eon 2006).

암기의 한계를 인식하는 것은 플립 교실 모델(슈워츠슈타인과 로버츠 2017)의 채택과 일치하며, 최근 미국 의료면허시험(USMLE) 1단계를 합격 또는 불합격으로 하기로 연방의료위원회(FSMB)와 국가의료심사위원회(National Board of Medical Examiners, NBME)의 결정과 일치한다. USMLE step 1에서 세 자리 성적을 없앰으로써, 학습자들은 불필요한 사실보다 더 중요하고 관련 있는 정보를 우선시할 것으로 기대한다(Prober 2020).

Recognizing the limits of rote memorization is consistent with the adoption of the flipped classroom model (Schwartzstein and Roberts 2017), and the recent decision by the Federation of State Medical Boards (FSMB) and the National Board of Medical Examiners (NBME) to make the US Medical Licensing Examination (USMLE) Step 1 exam a pass or fail assessment. By eliminating the three-digit score, learners may prioritize more essential and relevant information, over unnecessary facts, they are likely to be tested on (Prober 2020).

OBE와 CBE의 대면 비교를 넘어, OBE는 임상 실습에 보다 정통하며 다양한 전이 가능한 기술의 평가를 허용할 수 있다. 

• 학습자가 고품질 정보를 얻기 위해 찾아야 하는 자원(자료)의 유형에 대해 공식적인 교육을 받고 있는가? 

• 학습자가 시간에 제약된 환경에서 신뢰할 수 있는 증거를 적용하는 방법을 알고 있는가? 

• 학습자가 불확실성에 대응하는 방법을 알고 있는가? 

Beyond the face-to-face comparison of OBE and CBE, OBEs are more authentic to clinical practice and may allow for assessment of various transferable skills. 

• Do learners have formal training on the type of resources they must seek to obtain high-quality information? 

• Do learners know how to apply credible evidence in time-constrained settings? 

• Do learners know how to respond to uncertainty? 

이 질문들 중 많은 것은 매일 실무자들이 경험하는 것을 나타낸다. 그러나 이러한 질문들은 일반적으로 교육되거나 의도적으로 평가되지 않는다.

Many of these questions represent what practitioners experience daily; yet, these are typically not taught or purposely assessed.

온라인 OBE는 '구글 의사'를 넘어 의사가 현재 임상 실습에서 사용할 것으로 예상되는 치료 시점 자원을 실시간으로 시뮬레이션할 수 있다. 특히 OBE는 학습자가 온라인 자원을 효율적으로 효과적으로 문제 해결에 활용할 수 있도록 설계할 수 있다. 이 때 수행능력이 뛰어나다는 것은 다음과 같은 지식으로 증명될 수 있다: 

• 무엇을 검색할 것인가, 어느 정도 배경 지식이 있어야 효과적일 수 있다. 

• 어디서 검색할 것인가, 신뢰할 수 있는 출처를 식별하고 오보의 현저한 시대에 이성의 목소리가 되기 위해 필요한 기술 

• 어떻게 검색할 것인가, 적절한 키워드, 유효한 검색 전략 및 적절한 리소스 탐색을 최소 시간 내에 검색하는 방법 

• 어떻게 데이터를 효과적으로 사용할 것인가– 정보 검색에 능숙하다고 해서 지식 번역의 우수성을 의미하는 것은 아니다.

Online OBEs can provide a real-time simulation of the point-of-care resources – beyond doctor Google – that physicians are currently expected to use in their clinical practice. Specifically, OBEs can be designed for learners to utilize online resources to problem-solve efficiently and effectively. Greater performance could be evidenced by knowing: 

• what to search, which would require some background knowledge to be effective; 

• where to search, a necessary skill for identifying credible sources and for being the voice of reason in this striking age of misinformation; 

• how to search, with appropriate keywords, valid search strategies, and proper resource navigation, in minimal time; and 

• how to use the data effectively – being proficient at searching for information does not imply excellence in knowledge translation. 

또한 온라인 OBE는 일반적으로 증거 기반 의학이라고 불리는 [임상 의사결정에서 이용 가능한 최선의 증거를 적절히 식별하고 활용하는 것의 중요성]에 대한 학습자의 인식을 높일 수 있다. 과학 정보의 양이 기하급수적으로 증가함에 따라 한때 의과대학에서 일찍 습득되었던 지식은 잊혀질 뿐만 아니라 무관할 수도 있다. 온라인 OBE를 관리함으로써, 의대생과 레지던트들도 자기주도 학습자가 되어야 할 의무를 더욱 의식하게 될 수 있다. 그들은 의료행위의 끊임없는 진화에 보조를 맞추는 기술을 개발할 수 있었다.

Online OBEs may also heighten learner awareness of the importance of aptly identifying and utilizing best available evidence in clinical decision-making, commonly referred to as evidence-based medicine. With the quantity of scientific information increasing exponentially, knowledge that was once acquired early in medical school may not only be forgotten but may also be irrelevant. By administering online OBEs, medical students and residents may become more mindful of their duty to be self-directed learners. They could develop skills in keeping up with the constant evolutions of medical practice.

코로나바이러스 대유행으로 인한 CBE의 제한된 실현가능성을 고려할 때, 지금은 의료 교육자인 우리 모두가 의학교육에서 온라인 OBE의 사용을 신중하게 탐구할 때다. 

• 첫째, 효과성을 연구하기 전에 학습자에게 저부담 환경에서 충분한 OBE 경험을 제공해야 한다. 예를 들어, 우리는 종합 평가 전에 일련의 형성적 OBE를 구현할 수 있다. 

• 둘째, OBE가 학습자와 교수진에게 어떻게 받아들여지는지를 잘 설계된 조사와 정성적 연구 방법을 사용하여 탐구해야 한다. 

• 셋째, 우리는 온라인 자원으로 오픈북 시험을 사용하는 것의 효율성과 효과성에 대한 연구를 고려해야 한다. 예를 들어, 현재 사용할 수 있는 시험 응시 기술을 고려할 때, 우리는 학습자가 어떤 자원을 사용하고 있는지 또는 주어진 페이지의 어떤 섹션에 가장 오랜 시간을 소비하는지 평가할 수 있다. 그러한 데이터 분석을 통해 우리는 학습자들에게 미래의 실무자로서 그들에게 도움이 될 수 있는 맞춤형 피드백을 제공할 수 있을 것이다.

Given the limited feasibility of CBEs due to the coronavirus pandemic, now is the time for us, medical educators, to thoughtfully explore the use of online OBEs in medical education. 

• First, before studying their effectiveness, we should provide learners with sufficient OBE experience in lower-stake settings. For example, we can implement a series of formative OBEs before a summative assessment. 

• Second, we should explore how OBEs are received by learners and by faculty using well-designed surveys and qualitative research methods. 

• Third, we ought to consider studying the efficiency and effectiveness of using openbook exams with online resources. For example, given the test-taking technology that is currently available, we can assess what resources learners are using, or what section of any given page they spend the longest time on. Such data analytics would allow us to provide our learners with tailored feedback that could benefit them as future practitioners.

그러나 한 가지 시험 모드를 선택하는 대신에 OBE와 CBE를 결합한 혼합 접근법을 사용하여 학습자를 평가할 수 없을까? OBE와 CBE에 대한 체계적 검토의 결론은 각각 장단점과 추천에 대한 혼합된 증거를 고려할 때, 학습 프로토콜은 오픈북과 클로즈북 항목을 모두 사용하여 학습자를 평가할 수 있어야 한다고 제안했다(Durning et al. 2016).

But, instead of choosing one mode of examination over another, could we not assess learners using a blended approach, combining OBEs and CBEs? Conclusions from a systematic review on OBE and CBE suggested that we should; given the pros and cons of each, and the mixed evidence for recommending one versus the other, study protocols could assess learners using both open-book and closed-book items (Durning et al. 2016).

[필수 의료 개념에 대한 학습자의 이해를 평가해야 한다고 주장하는 CBE 지지자]들은 임상 실습에서 결국 기대되는 것인 [학습자의 정보 검색 및 번역 능력을 평가하는 능력을 가진 공개 온라인 검사를 지지하는 OBE 지지자]들과 힘을 합칠 수 있다. 혼합된 평가에는 1부에서, CBE로, 자료를 찾아보지 않고 알아야 할 개념에 대한 학습자의 평가한 뒤, 2부에서 학습자가 연구할 것으로 기대되는 주제에 대한 오픈북이 포함될 수 있다.

Proponents of CBE who reason that we must evaluate learners’ understanding of essential medical concepts can join forces with OBE supporters who advocate for an open, online examination that has the ability to assess learners’ capacity to search and translate information efficiently, as they would be expected to do in clinical practice. A mixed assessment could include a first part, closed-book, evaluating learners on concepts they should know without looking things up, followed by a second part, open-book, on topics learners are expected to research.

• 학습자의 경우 일상적인 OBE는 [스테로이드 합성에 관한 분자적 상세한 내용]보다는 무엇이 잘못될 수 있고 왜 잘못될 수 있는지에 더 많은 초점을 맞출 수 있다. 교육자가 학습 자료를 제공하거나 탐색하기를 기다리는 대신, 몇 시간 동안 최신의 과학 문헌을 통해 학습자들은 평생 자기조절적학습자가 되는 방법을 배우고 신뢰할 수 있는 연구를 효율적으로 검색하고 해석할 수 있다. 

• 교육자들에게 OBE는 인터넷 검색의 이점과 한계를 조사하고 학습자의 고차원의 사고 능력을 목표로 하는 데 매력적일 수 있다. 중요도가 높은 CBE에 오픈 엔드 항목을 추가함으로써, 면허소지 기관은 진품이며 증거기반 임상실무와 관련된 기술을 평가할 기회를 갖는다.

• For learners, routine OBEs could entail focusing less on the molecular details of steroid synthesis, and more on what can go wrong and why. Rather than waiting for educators to provide learning materials or navigating, for hours, through up-to-date, scientific literature, learners can learn how to become lifelong self-regulatory learners and search and interpret credible research efficiently. 

• For educators, OBEs could be attractive in investigating the benefits and limits of searching the Internet and in targeting their learners’ higher-order thinking skills. By adding open-ended items to high-stakes CBEs, licensing bodies have an opportunity to assess skills that are authentic and relevant to evidence-based clinical practice.

Durning SJ, Dong T, Ratcliffe T, Schuwirth L, Artino AR, Boulet JR, Eva K. 2016. Comparing open-book and closed-book examinations: a systematic review. Acad Med. 91(4):583–599.

CBME를 위한 평가 진주(J Grad Med Educ, 2017)

Assessment Pearls for Competency-Based Medical Education

Susan Humphrey-Murto, MD, MEd, FRCPC Timothy J. Wood, PhD Shelly Ross, MA, PhD Walter Tavares, PhD Brent Kvern, MD, CCFP, FCFP Ravi Sidhu, MD, MEd, PhD Joan Sargeant, BN, MEd, PhD Claire Touchie, MD, MHPE, FRCPC

1. 모든 평가는 표본이다.

1. All Assessments Are Samples

전공의가 demonstrate할 것으로 기대하는 모든 것을 평가할 수 없기 때문에, 우리는 신중하게 구성된 청사진을 사용하여 의도적으로 대표 지식과 기술을 샘플링해야 한다.2 Blueprint는 평가되고 있는 내용을 정의하며, 또한 충분하고 적절한 샘플링을 보장함으로써 평가 전략이 유효하다는 증거를 제공한다. 예를 들어, 내과용 1 EPA는 "의학 바닥에서 새로운 급성 문제를 가진 입원환자를 수용하고 관리한다."3,4 전공의가 이 EPA를 완료하기 위해서는 기초과학 지식, 임상적 특징 및 관리 전략, 의사소통 기술 및 적절히 focus된 신체검진 수행 능력 등 몇 가지 역량이 필요하다. 각 역량에 대해서는 샘플링 전략이 필요하다.

It is not possible to assess everything residents are expected to demonstrate, so we must deliberately sample representative knowledge and skills using a carefully constructed blueprint.2 A blueprint defines what is being assessed; it also provides evidence that the assessment strategy is valid by ensuring sufficient and appropriate sampling. For example, 1 EPA for internal medicine is ‘‘admit and manage a medical inpatient with a new acute problem on a medical floor.’’3,4 Several competencies are required for a resident to complete this EPA: knowledge of basic science, clinical features and management strategies, as well as communication skills and the ability to perform an appropriately focused physical examination. For each competency, a sampling strategy is required.

2. 부담stakes이 높을수록 샘플이 더 많이 필요함

2. The Higher the Stakes, the More Samples Are Needed

모든 측정은 오차가 있으며, 부담이 더 높을수록 더 많은 평가점(또는 샘플)이 필요하다.5 예를 들어, 평가의 목적이 전공의에게 외래 클리닉에서 환자 관리에 대한 피드백을 제공하는 것이라면, 단일 평가가 적절할 것이다. 반면, 임상 역량 위원회(CCC)가 학습자 진급에 대한 결정을 내리고자 한다면(즉, 평가는 고득점 합격/불합격 결정을 위한 것이다), 평가자료를 1개만 사용하는 것은 방어할 수 없을 것이다. 평가의 목적(높은/낮은 부담)을 정의하면 필요한 샘플 수를 결정하는 데 도움이 될 수 있다.

All measurements have error, and the higher the stakes, the more assessment points (or samples) are required.5 For example, if the purpose of the assessment is to provide feedback to residents on the management of patients in ambulatory clinic, a single assessment would be appropriate. On the other hand, if the Clinical Competency Committee (CCC) wanted to make decisions on learner promotion (ie, the assessment is for higher-stakes pass/fail decisions), then using only 1 faculty assessment would not be defensible. Defining the purpose (high/low stakes) of the assessment can help determine how many samples are needed.

3. 쉬운 것뿐만 아니라 중요한 것이 무엇인지 평가하기

3. Assess What Is Important, Not Just What Is Easy

교육자들은 종종 무엇이 중요한지를 평가하기 보다는 쉬운 것을 평가하는 잘못을 범한다. 우리는 지필시험이 임상 역량의 모든 측면을 평가는데 사용하는 것으로는 적절하지 않다는 것을 알고 있다. CanMEDS 2015 및 ACME(Accreditation Council for Graduate Medical Education) 역량7과 같은 프레임워크에서 내면적intrinsic(의료전문가 외non-medical expert) 역할은 평가하기 어려울 수 있지만(예: 프로페셔널리즘), 이것들이 의사 역량의 중요한 요소들이다. 분명히, 의료 교육자들은 의료 지식(ACGME)이나 CanMEDS 의료 전문가medical expert 역할과 같이 평가하기 쉬운 능력뿐만 아니라, 서로 다른 영역의 역량을 평가하는 도구를 개발하는 데 있어 진전을 이루었다.

Educators often default to assessing what is easy, rather than assessing what is important. We know that using a written examination to assess all aspects of clinical competence is not adequate. The intrinsic (nonmedical expert) roles in frameworks such as CanMEDS 20156 and the Accreditation Council for Graduate Medical Education (ACGME) competencies7 can be difficult to assess (eg, professionalism), yet they are important elements of physician competence. Clearly, medical educators have made progress on developing tools to assess different areas of competence, not just the easier competencies to assess such as medical knowledge (ACGME) or the CanMEDS medical expert role.

4. 모든 평가에는 판단이 포함된다.

4. All Assessment Involves Judgment

완벽한 객관성과 표준화는 가능하지도 바람직하지도 않다. 시험 점수가 생성되려면 성과를 관찰한 다음 점수로 변환해야 하며, 이 점수는 반드시 해석되어야 한다. 모든 단계에는 판단이 필요하다.

Perfect objectivity and standardization is neither possible nor desirable. Considering that in order for a test score to be generated, a performance must be observed and then converted into a score, which then must be interpreted—every step involves judgment.

평가자 인식은 여러 평가자가 서로 다른 관점을 제공하고 전공의의 성과에 대한 더 풍부한 데이터를 제공할 수 있는 잠재력을 가지고 있는 강점으로써 증가된 관심을 받았다.11 반면에, 여러 평가자들에 의한 과도한 평가등급 변동은 신뢰성과 타당성에 대한 우려를 야기시켰다.12 훈련을 통해서 평가자는 개선될 수 있으나, 연구 결과는 엇갈린다.13

Rater cognition has received increased attention as a strength, where multiple raters provide different perspectives and have the potential to provide richer data about a resident’s performance.11 On the other hand, excessive variability in ratings by different raters has raised concerns about reliability and validity.12 Training raters may improve assessment quality, but results are mixed.13

승급promotion의 문턱이나 기준을 명확하게 정하려면 집단적 판단과 전문가의 공감대가 필요하다.11,14

Determining the threshold or standard for promotion clearly requires collective judgments and the consensus of experts.11,14

5. 양적, 질적 방법 상호 보완

5. Quantitative and Qualitative Methods Complement One Another

내러티브는 누적된 숫자가 가릴mask 수 있는 성과 요소를 포착하는 것으로 입증되었다. 나아가, 대부분의 직장 평가 상황과 같이 표준화되지 않은 상황에서는 피드백과 학습을 위한 훨씬 더 나은 데이터를 제공한다.11

Narratives have been shown to capture elements of performance that an accumulation of numbers may mask15; further, in unstandardized situations—such as most workplace assessment situations—narrative provides much better data for feedback and learning.11

6. 임상적 역량의 모든 측면을 파악할 수 있는 단일 평가 툴은 없음

6. No Single Assessment Tool Can Capture All Aspects of Clinical Competence

임상적 역량은 다양한 평가 도구와 전략이 필요한 복잡한 구조다.

Clinical competence is a complex construct necessitating a diverse set of assessment tools and strategies.

7. 피드백은 평가의 필수 요소

7. Feedback Is an Essential Element of Assessment

최상의 평가 관행은 하나의 교육 단위를 통과할 수 있을 만큼 충분히 잘 하는 것뿐만 아니라, 수행능력 향상에 도움이 되는 형성적 피드백의 기회를 제공하는 것이다.

best assessment practice is not only about doing well enough to pass a unit of instruction, but also providing an opportunity for formative feedback that contributes to improved performance.

8. 평가는 학습을 촉진한다.

8. Assessment Drives Learning

학습자들은 가능할 때마다 '시험에 대비하여' 학습 전략을 자신이 알고 있는 개념에 집중하여 학습할 것이다. 시험 강화 학습은 교육생들이 시험을 준비하고 완료한 후 피드백을 받을 때 학습을 포함한다.

Learners will ‘‘study to the test’’ whenever possible, focusing their study strategies on concepts they know will be examined. Test-enhanced learning involves learning as trainees prepare for the test, complete it, and then receive feedback.

9. 타당성이 평가 데이터의 가장 중요한 특성임

9. Validity Is the Most Important Characteristic of Assessment Data

간단히 말해서 타당성은 [이론과 증거가 특정 목적을 위한 평가 점수의 해석을 뒷받침하는 정도에 대한 전반적인 판단]이다.5,22 만약 어떤 전공의가 객관식 시험에서 만점을 점수를 받았다면, 우리는 과연 그 전공의가 내과의사에게 오는 모든 상담에 대비해서, 이제 책임지고first call 컨설트를 받을 준비가 되어 있다고 결론을 내릴 수 있을 것인가?

Simply put, validity is the overall judgment of the degree to which theory and evidence support the interpretation of assessment scores for a specific purpose.5,22 If a resident scores perfectly on a multiple-choice examination of knowledge, can we conclude that the resident is ready to take first call for all consultations coming to internal medicine?

객관식 시험 점수를 first call을 받을 준비가 되어 있다는 증거로 해석하는 것은 타당하지 않다: 증거(지식 시험)가 목적(전반적 역량)을 뒷받침하지 않기 때문이다. 이는 중요한 개념을 강조한다: (본질적으로) 타당하거나 타당하지 않은 테스트는 없다는 것이다. 타당성은 항상 특정 목적에 대한 시험 점수에 근거한 추론이나 판단의 적절성을 말한다.

the interpretation of the multiple-choice test score as proof of readiness to take first call is not valid: the evidence (knowledge testing) does not support the purpose (overall competence). This highlights an important concept: that there is no such thing as a valid or invalid test. Validity always refers to the appropriateness of inferences or judgments based on test scores for a specific purpose.

10. 완벽한 평가는 환상이다.

10. Perfect Assessment Is an Illusion

모든 평가와 관련된 많은 기준이 있다: 타당성, 재현성, 동등성, 타당성, 교육 효과, 촉매 효과, 수용성. 23,24 궁극적으로 평가는 항상 어느 정도의 타협을 수반한다.

There are many criteria that are relevant to any assessment: validity, reproducibility, equivalence, feasibility, educational effect, catalytic effect, and acceptability.23,24 Ultimately, assessment always involves some degree of compromise.

• 진행상황에 대한 데이터와 피드백을 제공하는 것이 목적이라면 저부담 평가를 고려하십시오. 이 경우 실현가능성(행정의 본질), 수용성(전공의와 교직원에 대한 수용성), 교육효과(피드백 촉진), 촉매효과(교육을 강화할 결과를 제공)가 모두 중요하게 고려될 것이다. 

• 만약 이것이 유의미한 결과를 가진 고부담 평가였다면, 방어 가능한 결과로 이어지기 위해서는 재현성(통계적으로 신뢰할 수 있는 시험)과 동등성(모든 전공의가 동일한 방법으로 시험됨)이 가장 중요할 것이다.

Consider a low-stakes assessment where the purpose is to provide residents with progress data and feedback. In this instance, feasibility (ease of administration), acceptability (for residents and faculty), education effect (facilitates feedback), and catalytic effect (provides results that enhance education) would all be considered important. If this was a high-stakes assessment with significant consequences, then reproducibility (statistically reliable test) and equivalence (every resident is tested in the same way) would be paramount to lead to defensible results.

Assessment Pearls for Competency-Based Medical Education

• PMID: 29270255
 
• PMCID: PMC5734320
 
• DOI: 10.4300/JGME-D-17-00365.1

의학 전문직업성 평가: 평가도구와 측정특성의 체계적 보고(PLoS One, 2017)

Assessing medical professionalism: A systematic review of instruments and their measurement properties

Honghe Li1, Ning Ding1☯, Yuanyuan Zhang2☯, Yang Liu3, Deliang Wen1*

도입 

Introduction

의료전문가의 사회에 대한 헌신이 의료전달체계 내에서 변화의 외적인 힘에 의해 도전을 받고 있는 가운데, 의료전문직업성은 고품질 환자진료를 제공하는 핵심요인 중 하나로 널리 주목을 받아 왔다[1–4]. 많은 연구에서 입증되었듯이, 전문직업성은 의사-환자 관계 개선, 환자 만족도, 의료 전문가의 경력 만족도, 그리고 심지어 건강관리 결과와도 밀접한 관련이 있기 때문에 의학의 실천에 중심적이다[4–7]. 의료 전문직업성의 핵심 요소들은 모든 의료 전문가들이 의료 서비스를 조직하고 제공할 것을 약속하고, 환자와 대중들 사이에서 신뢰를 구현하며, 각자의 분야에서 자기 감시와 개선을 하도록 요구한다[8–11]. 게다가 전문성에 대한 이해는 시간과 문화적 맥락에 따라 다르다[12]. 전문성이 복합적이고 다차원적인 구조임을 시사한다[9].

Facing medical professionals’ commitment to the society is being challenged by external forces of change within health care delivery systems, medical professionalism has received widespread attention as one of the core factors in providing high-quality patient care [1–4]. As demonstrated by many studies, professionalism is central to the practice of medicine because of its close associations with improvements in physician-patient relationships, patient satisfaction, health care professionals’ career satisfaction, and even healthcare outcomes [4–7]. The core components of medical professionalism require that all medical professionals commit to organize and deliver health care, to implement trust within patients and the public, and to self-monitor and improve in their respective fields [8–11]. Besides, understanding of professionalism varies across time and cultural contexts [12], suggesting that professionalism is a complex, multi-dimensional construct [9].

지난 30년 동안, 의료 전문직업성을 평가하기 위한 다양한 도구들이 개발되었고 많은 경험적 연구에 사용되었다[13–15].

Over the last three decades, various instruments to assess medical professionalism were developed and employed in many empirical researches [13–15].

측정도구 사용에 대한 지침을 제공하기 위한 노력의 일환으로, 발행된 여러 검토 기사에서 내용, 유형 및 구성에 대한 전문성을 평가하는 측정도구를 요약하고 비교하였다[9, 13, 15, 16, 18, 19]. 이러한 검토에 따르면 많은 측정도구들이 측정 특성에 대해 완전히 평가되지 않았으며, 이는 척도의 사용을 제한한다[9, 13, 18].

In an effort to provide guidance for instrument usage, several published review articles have summarized and compared instruments assessing professionalism with respect to their content, type, and construction [9, 13, 15, 16, 18, 19]. These reviews have indicated that many instruments have not been fully evaluated for their measurement properties, which would then limit their usage [9, 13, 18].

COSMIN(Consensus-based Standards for health status Measurement INstruction) 체크리스트는 연구의 방법론적 품질을 체계적으로 평가하기 위해 개발된 프레임워크로, 다양한 분야에서 경험적 연구의 품질을 평가하는 데 사용되어 왔다 [23–25]. 건강관리 결과를 측정하는 기구 외에도, COSMIN 체크리스트는 자가 효능감, 의사 신뢰도 및 근린 환경과 같은 다른 복잡한 건강 관련 문제의 금융상품의 품질을 평가하는 데도 사용되었다 [24, 26, 27].

The COnsensus-based Standards for the selection of health status Measurement INstruments (COSMIN) checklist is a widely accepted framework developed for systematically evaluating the methodological quality of studies [20–22] and has been used for assessing the quality of empirical studies in various fields [23–25]. Besides instruments measuring health care outcomes, the COSMIN checklist was also used to assess the quality of instruments of other complex health-related issues, such as self-efficacy, trust in physicians, and neighborhood environments [24, 26, 27].

연구 자료 및 방법

Materials and methods

검색 전략 

Search strategy

1990년 1월 1일부터 2015년 12월 31일까지 전자 데이터베이스 PubMed, Web of Science, PsycINfo에 대한 무증상 검색은 측정 속성에 대한 보고서(S1 부록)로 의료 전문성을 평가하는 연구를 식별하기 위해 실시되었다.

A systematic search of the electronic databases PubMed, Web of Science, and PsycINFOfrom January 1, 1990 through to December 31, 2015, was conducted to identify studies assessing medical professionalism with reports on measurement properties (S1 Appendix).

본 연구에서는 전문직업성을 아놀드 외 에 의한 분류에 근거하여 완전한 구성물complete construct로 파악하였다. [29] 아놀드 등에서는 의료 전문성을 평가하는 도구를 세 가지 그룹으로 분류하였다. 

• 역량 면으로서의 전문성을 평가하는 도구, 

• 종합적인 구성 요소로서의 전문성을 평가하는 도구, 그리고 

• 휴머니즘과 공감과 같은 전문성의 별도 요소 평가 도구 [29]. 

이 검토에는 전문성의 개별적인 요소만을 가지는 척도가 전문성을 전체적으로 평가하는 척도로 간주되지 않았기 때문에 종합적 구성으로서 또는 역량의 한 측면으로서 전문성의 척도가 포함되었다.

In this study, we identified professionalism to be a complete construct based on the classification of instruments by Arnold, et al. [29]. Arnold, et al., classified instruments assessing medical professionalism into three groups: 

• those assessing professionalism as a facet of competence; 

• those assessing professionalism as a comprehensive construct; and 

• those assessing separate elements of professionalism, such as humanism and empathy [29]. 

This review included measures of professionalism as a comprehensive construct or as a facet of competency, since any measure of only an individual element of professionalism was not considered as a measure assessing professionalism as a whole.

연구 선택

Study selection

자료 추출과 질 평가

Data extraction and quality assessments

포함된 연구의 방법론적 품질과 계측기의 측정 특성을 평가하기 전에 계측기의 짧은 이름, 작성자/년, 국가, 연구 설계, 대상 모집단, 표본 크기, 설정, 연령, 성비 등 포함된 연구의 서술적 변수를 추출했다.

Before assessing the methodological quality of the included studies and the measurement properties of an instrument, descriptive variables of the included studies were extracted, including: the short name of the instrument, author/year, country, study design, target population, sample size, setting(s), age, and sex ratio.

방법론적 퀄리티 평가

Evaluation of methodological quality of the included studies

포함된 연구의 방법론적 품질은 COSMIN 점검표에 기초하여 평가되었다[20]. COSMIN 체크리스트에는 고전적 테스트 이론(CTT) 기반 분석(내부 일관성, 신뢰성, 측정 오류, 내용 유효성, 구조적 유효성, 가설 테스트, 문화 간 유효성, 기준 유효성 및 응답성)을 위한 9개의 상자가 포함되어 있다. 이 box들은 계측기의 측정 속성에 대한 연구의 설계, 방법론 및 보고 품질의 다른 측면을 평가한다. 각 box에는 4점 척도로 측정된 5~18개 항목이 들어 있다. 문항응답이론(IRT) 모델의 경우 방법론적 품질을 평가하기 위한 상자가 1개뿐입니다. 항목 내 어떤 항목의 가장 낮은 점수는 각 상자의 전체 점수를 결정한다.

Methodological quality of the included studies was evaluated based on the COSMIN checklist [20]. The COSMIN checklist includes 9 boxes for classical test theory (CTT) based analyses (internal consistency, reliability, measurement error, content validity, structural validity, hypothesis testing, cross-cultural validity, criterion validity, and responsiveness) to rate different aspects of the design, methodological, and reporting quality of studies on instruments’ measurement properties. Each box contains 5 to 18 items measured on a 4-point scale (excellent, good, fair, or poor). For item response theory (IRT) models, there is only 1 box to rate its methodological quality. The lowest score for any item within the item determined the overall score for each box.

• 교차 문화 타당성은 번역되거나 문화적으로 조정된 측정도구에서 항목의 성능을 결정하고, 조정된 측정도구가 원래 버전의 계측기 항목의 성능을 적절히 반영하는지 여부를 결정하는 것을 목적으로 한다. 

• 대응성은 측정될 구조물의 시간 경과에 따른 변화를 감지할 수 있는 계측기의 능력으로서 COSMIN에 의해 정의되었다. 

9개의 측정 속성에 대한 전체 설명은 COSMIN 분류법[22]에서 얻을 수 있다. COSMIN 체크리스트와 4점 척도는 COSMIN 웹사이트[31]에서 확인할 수 있다.

• Cross-cultural validity aimed to determine the performance of the items on a translated or culturally adapted instrument and whether or not the adapted instrument adequately reflects the performance of the items of the original version of the instrument. 

• Responsiveness was defined by COSMIN as the ability of an instrument to detect change over time in the construct to be measured. 

A full description of the 9 measurement properties can be obtained from the COSMIN taxonomy [22]. The COSMIN checklist and the 4-point scale can be found on the COSMIN website [31].

도구의 측정적 특성 평가

Evaluation of measurement properties of the included instruments

측정 속성의 보고된 모든 측면의 추출은 COSMIN 점검표에 따라 수행되었다[20–22]. 식별된 측정의 측정 속성은 Terwee 외 연구진[32]이 개발한 측정 속성의 품질 기준[표 1에서 볼 수 있는 바와 같이]에 근거하여 평가하였으며, 이는 다양한 연구 분야에서 많은 체계적인 검토에 이용되어 왔다[33–35].

Extraction of all reported aspects of the measurement properties was performed according to the COSMINchecklist [20–22]. The measurement properties of the identified measures were evaluated based on the criteria for quality of measurement properties developed by Terwee et al [32] (as can be seen in Table 1), which have been used in many systematic reviews in different study fields [33–35].

자료 합성과 질 평가 

Data synthesis and quality assessment

향후 사용을 위한 권장 계기를 결정하기 위해, Cochrane Back Review Group[36, 37]에서 제안한 최선의 증거 합성을 수행하였고, 도구의 속성 수준은 "강", "모더레이트", "제한", "충돌", "알 수 없음"으로 분류되었다(표 2). 가장 좋은 증거 합성은 고려를 위한 세 가지 측면을 결합했다: 

• 1) 다양한 연구에서 언급된 측정 속성의 방법론적 품질, 

• 2) 계측기의 측정 속성의 등급, 

• 3) 각 계측기에 대한 연구 수.

In order to determine instruments for recommendation for future use, best-evidence synthesis as proposed by the Cochrane Back Review Group [36, 37] was performed, with levels of instrument properties categorized as “strong”, “moderate”, “limited”, “conflicting”, or “unknown” (Table 2). The best-evidence synthesis combined three aspects for consideration: 

• 1) the methodological quality of the measurement property stated by various studies, 

• 2) the rating of the measurement properties of instruments, and 

• 3) the number of studies for each instrument.

More rating rules can be seen in Table 2.

결과

Results

문헌 검색 및 연구 선택

Literature search and study selection

선정 과정의 세부사항은 그림 1에서 확인할 수 있다.

The details of the selection process can be seen in Fig 1.

포함된 연구 및 측정도구에 대한 설명

Description of included studies and instruments

포함된 연구의 특성 요약(S2 부록)을 보면 80개 연구 중 78개가 2000년 이후 출판된 것으로 나타났다. 80% 이상의 연구가 북미와 유럽에서 수행되었다.

The summary of the characteristics of the included studies (S2 Appendix) show that 78 of the 80 studies were published after 2000. More than 80%of studies were conducted in North America and Europe,

전문성이 종합구축(n = 44)으로 인정되는지, 역량의 면(n = 30)으로 인정받는지에 따라 총 74개의 악기가 두 가지 광범위한 범주로 나뉘었다.

A total of 74 instruments were divided into two broad categories depending on whether professionalism was recognized 

• as a comprehensive construct (n = 44) or 

• as a facet of competence (n = 30).

포함된 74개 계측기의 분류는 표 3에서 확인할 수 있으며, 포함된 계측기의 자세한 내용은 S3 부록에서 확인할 수 있다.

The classification of the 74 included instruments’ classification can be seen in Table 3, and details of the included instruments can be found in the S3 Appendix.

미국내과학회(ABIM)의 이론적 프레임워크[3]에 근거하여 12개 악기를 개발하였고, 

캐나다 왕립의학과외과의대학[40]에 근거한 7개 악기는 [40], 그리고 

22개 악기는 모든 악기의 55.4%를 차지하는 대학원 의학교육인증위원회[41]에 근거하였다.

• 12 instruments were developed based on the theoretical framework of the American Board of Internal Medicine (ABIM) [3], 

• 7 were based on the Royal College of Physicians and Surgeons of Canada (RCPSC) [40], and 

• 22 were based on the Accreditation Council for Graduate Medical Education (ACGME) [41], accounting for 55.4%of all instruments.

포함된 연구의 방법론적 품질

Methodological quality of the included studies

내부 일관성 및 구조적 타당성은 가장 많이 보고된 측정 속성(각각 64개 연구와 54개 연구로 보고됨)인 반면, 

측정 오류, 신뢰성, 기준 유효성 및 응답성은 충분히 보고되지 않았으며, 후속 연구 부족으로 인해 보고되었을 가능성이 가장 높다(표 4 참조).

Internal consistency and structural validity were the most frequently reported measurement properties (reported in 64 and 54 studies, respectively), 

whereas measurement errors, reliability, criterion validity and responsiveness were not reported sufficiently, most likely due to the lack of follow-up studies (See Table 4).

표본 크기가 불충분하고 누락된 데이터를 관리하는 방법에 대한 세부 정보가 부족하여 28개 연구가 방법론적 품질에서 "공정" 또는 "불량"으로 평가되었다. 16개 연구에서 보고된 각 측정 속성은 "양호" 또는 "우수"로 평가되었다.

Inadequate sample sizes and lack of details in how missing data were managed resulted in 28 studies being rated as “fair” or “poor” in methodological quality. In 16 studies, each reported measurement property was rated as either “good” or “excellent”.

• 17개 연구에서는 내용 타당성이 보고되었으며, 그 중 적합성이나 포괄성이 충분히 평가되지 않았기 때문에 방법론적 품질에서 11개가 "공정" 또는 "불량"으로 평가되었다. 

• 71개 연구 중 18개 연구에서는 가설 검정을 실시했지만, 4개 연구만 '선'으로 평가되었고, 나머지는 가설을 제시하거나 가설 기대치(효과 방향이나 크기)를 명확히 진술하지 못했다. 

• 교차 문화의 유효성은 단지 5개의 계기에 대해 시험되었고, 이 속성에서 저조한 성과는 주로 다중 그룹 확인 인자 분석의 부족에 기인했다. 

• MSF 계수를 사용한 17개 연구 중 하나를 제외한 모든 연구는 내부 일관성 측면에서 저조한 성과를 보였는데, 이는 항목별 판매에 대한 크론바흐의 계수가 계산되지 않았기 때문이다.

• 17 studies reported content validity, of which 11 were rated “fair” or “poor” in methodological quality because relevance or comprehensiveness was not sufficiently evaluated. 

• 18 of the 71 studies implemented hypothesis testing, but only 4 were rated as “good”, and the rest failed to propose hypotheses or to clearly state hypothesis expectations (the directions or magnitudes of the effects). 

• Cross-culture validity was tested for only five instruments, and poor performance in this property was mainly due to the lack of multiple-group confirmatory factor analysis. 

• All but one of the 17 studies using MSF instruments performed poorly with respect to internal consistency, because Cronbach’s coefficients for subscales were not calculated.

측정 품질 특성

Quality of measurement properties

계측기의 측정 특성의 품질은 Terwee의 기준 [32] (표 5)에 근거하여 평가하였다. 대부분의 계측기는 성능이 우수하였으며, 내부 일관성과 구조적 타당성에서 ("+") 긍정적인 평가를 받았다. 콘텐츠 유효성의 불확실한 결과는 주로 불충분한 정보 때문이었다. 다그룹 확정요인 분석의 부족으로, 문화간 타당성에 대한 대부분의 결과도 미확정 상태로 돌아왔다. 기준 유효성에 관하여, 두 연구에서 사용된 금 표준(즉 USMLE, 프로그램GPA)이 사실 유효한 금 표준이라는 증거는 불충분했다[97, 98]. 또한, Pearson 계기와 이러한 공인된 금 표준 간의 상관관계는 0.7 미만이므로 부정적인 결과를 나타낸다. 그 결과, criterion validity은 전반적인 측정 성능이 저조한 것으로 나타났다.

The quality of instruments’ measurement properties were assessed based on Terwee’s criteria [32] (Table 5). Most instruments performed well and were rated positively (“+”) in internal consistency and structural validity. Indeterminate results in content validity were mainly due to insufficient information. Due to the lack of multiple-group confirmatory factor analysis, most results for cross-cultural validity also returned indeterminate. As for criterion validity, there was insufficient evidence that the gold standards (i.e. USMLE, programGPA) used in two of the studies were in fact valid gold standards [97, 98]. Additionally, Pearson correlations between the instruments and these recognized gold standards were less than 0.7, signifying negative results. As a results, criterion validity displayed poor overall measurement performance.

최량증거합성

Best-evidence synthesis

최선의 증거 합성은 연구 방법론적 품질의 결과(표 4)와 계측기의 측정 속성 결과(표5)를 통합하여 표 2에 요약한 방법에 따라 수행되었다. 각 계측기의 측정 특성에 대한 성능은 표 6과 같다.

Best-evidence synthesis was performed according to the method summarized in Table 2, by integrating the results of study methodological qualities (Table 4) and the results of measurement properties of instruments (Table 5). The performances of each instrument’s measurement properties are shown in Table 6.

데이터 합성 결과에 따르면 측정 속성에서 3개의 계측기는 최소 2개의 강한 양성("++") 또는 3개의 중간 양성("+") 등급을 가졌고, 측정 속성에서 제한적이거나 음성이거나 "-", "-" 또는 "-" 등급이 없는 것으로 확인되었다. 

• 이러한 두 가지 기구, 즉 간호학 분야의 자체 관리 등급 척도는 모두 간호학과 학생들을 위한 히사르의 기구[53]와 간호학 개업의 역할 및 역량 척도[80]이다. 

• 세 번째로는 의대생들의 역량 측면에서의 의학적 전문성에 대한 역할 모델 평가인 PFCI(Preceived Computer Competency Competency Competency Competency Registory)이다[118].

According to the data synthesis results, 3 instruments had at least two strong positive (“+++”) or three moderate positive (“++”) ratings without any limited or negative (“-”, “-” or “-”) ratings in measurement properties and were thus identified as best-rated. 

• Two of these instruments, both self-administered rating scales in the nursing profession, were Hisar’s instrument for nursing students [53] and the Nurse Practitioners’ Roles and Competencies Scale (NPRCS) [80]. 

• The third is the Perceived Faculty Competency Inventory (PFCI), a role model evaluation by medical students regarding medical professionalism as a facet of competency [118].

고찰

Discussion

2009년 이전과 2009년 이전에, 여러 기사에서 의료 전문성을 평가하는 데 사용되는 평가 도구 또는 기법을 체계적으로 검토하였다[9, 13, 15, 18]. 그러나 최근의 체계적 검토는 주로 특정 기기 유형(예: MSF)이나 특정 의료 분야에 초점을 맞춘다[30, 121].

Up and prior to 2009, several published articles systematically reviewed the assessment tools or techniques used to assess medical professionalism [9, 13, 15, 18]. However, recent systematic reviews mainly focus on a specific instrument type (eg. multisource feedback) or on a specific medical discipline [30, 121].

본 검토에서는 2008년부터 2015년까지 발표된 새로운 연구와 그에 상응하는 계측기를 포함하였으며, 연구 방법론적 품질과 보고된 계측기의 측정 특성을 분석하여 계측기의 선택과 사용을 용이하게 하기 위해 계측기의 특성을 요약하였다.

In this review, we included new studies and a corresponding instrument published from 2008 to 2015, analyzes the methodological quality of the studies and the measurement properties of the reported instruments, and summarizes the instruments’ characteristics in order to facilitate their selection and use.

직접 관찰(mini-CEX 및 P-MEX를 통한)과 수집된 견해(MSF 및 환자의 의견을 통한)는 전문성을 평가하는 데 중요한 도구로 입증되었다[9, 122]. 이러한 것들은 복수의 평가자와 다른 관점을 제공하며 평가, 신뢰성 및 객관성의 폭을 강화한다[9, 122]. 

• 그러나, 본 연구는 전문성을 평가하는 MSF 기기가 14개가 있었음에도 불구하고, 전문성을 종합 개념으로 평가하는 MSF 기기가 거의 없다는 것을 보여주었다. 또한 MSF를 사용한 18개 연구 중 17개 연구에서는 내부 일관성에 대한 "나쁜" 방법론 등급을 얻었거나 이 속성에 대해 보고하지 않았다.

Direct observations (through mini-CEX and P-MEX) and collated views (through MSF and patients’ opinions) have been demonstrated to be crucial instruments for assessing professionalism[9, 122]. These offer different perspectives from multiple assessors and would enhance the breadth of assessment, reliability, and objectivity [9, 122]. 

• However, despite there being 14 MSF instruments assessing professionalism as a facet of competency, this study showed that there were few MSF instruments assessing professionalism as a comprehensive concept. Furthermore, 17 of the 18 studies using MSF obtained a “poor” methodology rating for internal consistency or did not report on this property.

따라서, 기존의 MSF 계측기의 방법론적 품질을 개선·향상하거나 전문성에 특화된 MSF 계측기를 더 많이 개발해야 한다는 요구가 있다. 밀러의 택사노미[123, 124, 125]는 평가 시스템 개발을 위한 템플릿으로서 의료 교육에서 평가의 상대적 위치와 사용법을 설명하기 위해 자주 사용되어 왔다. 전문성을 comprehensive construct으로 평가하는 기존 도구들도 시뮬레이션 기구가 없어 밀러의 피라미드 모델의 'show how' 수준을 보여주지 못한 반면, 역량의 한 측면a facet of competency으로서의 전문성 평가는 이 수준에서 더 나은 성능을 보였다.

Thus, there is a calling to refine and enhance the existing methodological quality of MSF instruments or to develop more MSF instruments specific to professionalism. Miller’s Taxonomy (knows, knows how, shows, and does) [123], as a template for the development of systems of evaluation [12, 124, 125], has often been used to illustrate the relative position and usage of assessment in medical education. The existing instruments assessing professionalism as a comprehensive construct also failed to demonstrate the “shows how” level of Miller’s pyramid model because of no simulation instruments, whereas assessment of professionalism as a facet of competency held better performance in this level.

그러나 이 연구에서는, 평가도구 중 의사결정을 위한 운용상 사용을 뒷받침할 수 있는 유효성 및 신뢰성에 대한 중요한 기준을 충족하는 도구는 거의 없었다. 이전의 여러 리뷰[9, 15, 18]에서는 의료전문성 평가의 새로운 방법을 개발하는 것보다 기존 측정도구의 측정 특성을 개선하는 것이 더 실용적일 수 있다는 의견을 제시하였다. 그러나 이번 연구에 포함된 도구 중 37개가 새롭게 개발되었으며, 기존 악기 대부분이 정교함이 결여되어 있었다.

However, in this study, very few of the involved instruments met the critical criteria for validity and reliability that would support their operational use for decision-making. Multiple previous reviews [9, 15, 18] have suggested that it may be more practical to improve the measurement properties of existing instruments rather than develop new measures of assessing medical professionalism. However, 37 of the instruments involved in this study were newly developed, and most of the existing instruments lacked refinement.

적절한 후속 조치가 부족하여 많은 연구에서 신뢰성과 측정 오류가 모두 무시되었다. 표 4, 5, 6에서 볼 수 있듯이, 측정 속성의 COSMIN 정의[22] 및 COSMIN 점검표 매뉴얼의 이 측정 속성 요구[127]에 근거한 어떤 연구도 측정 오류를 보고하지 않았다. 그것은 "측정할 구성의 진정한 변화에 기인하지 않는 환자 점수의 체계적이고 무작위적인 오류"로 정의되었으며, 시점 간의 분산을 고려해야 했다. 따라서 이 검토에서 포함된 연구 중 하나는 허용 가능한 측정 오류를 보고하였다.

Both reliability and measurement error were ignored in many studies due to the lack of adequate follow-up. As can be seen in Tables 4, 5 and 6, based on the COSMIN definitions of measurement properties [22] and COSMIN checklist manual’s requirement of this measurement property [127], no study reported measurement error. It was defined as “the systematic and random error of a patient’s score that is not attributed to true changes in the construct to be measured” and needed to take into account the variance between time points. Thus, in this review one of the included studies reported acceptable measurement error.

종단적 연구 부족과 그에 따른 개입이 대응성responsiveness 평가 부족의 주요 원인이다. 또한 기준 유효성criterion validity도 거의 보고되지 않았다. 전문성이 추상적인 개념이라는 게 가장 유력한 이유다. 전문직업성 평가에 합리적인 gold standard는 말할 것도 없고, 현재 전문성에 대한 보편적인 정의는 없다. 의사 신뢰[26], 팀워크[128], 커뮤니케이션 기술[129, 130], 사교 기술[131] 등 다른 많은 분야에서도 마찬가지다.

Lack of longitudinal studies and corresponding interventions are the primary reasons for the lack of evaluation of responsiveness. Additionally, criterion validity was also rarely reported. The most likely reason is that professionalism is an abstract concept. There is currently no universal definition of professionalism, not to mention a reasonable gold standard for its assessment. This is also the case in many other fields, such as trust in physicians [26], teamwork [128], communication skills [129, 130], and social skills [131].

최량증거 합성의 요약에서 보듯이 모든 측정 속성에 대해 측정 기구를 시험한 적은 없지만, 간호학과 학생들을 위한 히사르의 계측기 [53], NPRCS [80], PFCI [118] 등 세 가지 계측기는 방법론적 품질과 측정 속성 모두에서 더 나은 성능을 보였다. 앞의 두 개의 자기보고식 등급 척도는 밀러의 택사노미의 "knows" 수준과 "knows how" 수준에 속했다. 이것은 밀러의 피라미드 모델의 높은 인지 수준에 대한 의료 전문성을 평가하는 도구와 고품질 연구의 필요성을 강조한다. 더욱이 3가지 권장기구 중 2개는 간호사의 전문성을 평가한 반면 3번째 기구는 의대생을 대상으로 했다. 이것들은 의사와 같은 다른 의료 하위 분야의 전문성을 평가하는 기구의 개발 또는 개선을 위해 참조될 수 있다.

As seen in the summary of best-evidence synthesis, no measurement instrument had been tested for all measurement properties, but three instruments—Hisar’s instrument for nursing students [53], the NPRCS [80], and the PFCI [118]—had better performance in both methodological quality and measurement properties. The former two self-administered rating scales belonged to the “knows” and “knows how” levels of Miller’s Taxonomy. This highlights the need for high-quality studies and for instruments that assess medical professionalism on higher cognitive levels of Miller’s Pyramid Model. Moreover, two of three recommended instruments assessed professionalism in nurses, while the third instrument targeted medical students. These could be referenced for the development or improvement of instruments assessing professionalism in other medical subfields, such as physicians.

결론

Conclusion

측정도구는 도구 사용 및 대상 모집단이 다양했지만, 측정 속성의 성능 및 해당 연구의 방법론적 품질이 다양했다. 구체적으로는 적절한 후속 조치가 미흡하여 많은 연구에서 신뢰성과 측정 오류가 무시되었고, 종적 연구와 그에 상응하는 개입이 부족하여 응답성이 거의 보고되지 않았다. 보고된 척도의 속성에서, 내용타당도와 준거타당도는 부정적이거나 불확실한 등급이 더 많아 계측기의 사용과 평가결과의 유의성을 제한할 수 있었다.

The instruments were diverse in tools’ use and target population, but the performance of their measurement properties and the methodological quality of the corresponding studies were varied. Specifically, reliability and measurement error were ignored in many studies due to the lack of adequate follow-up, and responsiveness was rarely reported due to lack of longitudinal study and corresponding intervention. For the measurement properties that were reported, content validity and criterion validity had more negative or indeterminate ratings, which would limit the usage of the instruments and the significance of assessment results.

9. Wilkinson TJ, Wade WB, Knock LD. A blueprint to assess professionalism: results of a systematic review. Acad Med. 2009; 84: 551–558. https://doi.org/10.1097/ACM.0b013e31819fbaa2 PMID: 19704185

19. Goldie J. Assessment of professionalism: a consolidation of current thinking. Med Teach. 2013; 35: e952–956. https://doi.org/10.3109/0142159X.2012.714888 PMID: 22938675

맥락특이성 (When I say ...) (Med Educ, 2014)

When I say … context specificity

Cees P M van der Vleuten

사람들은, 특히 다른 사람들의 행동은 안정적인 성향에 의해 지배된다고 생각하는 경향이 있다. 특성trait은 [안정된 잠재된 실체]로서, 만약 성장이 경험의 결과로 일어난다고 한다면, 이것은 시간이 지남에 따라 지속적으로 일어난다.

People are inclined to think that behaviour, that of others in particular, is governed by stable dispositions. Traits are stable latent entities and if growth happens as a result of experience, this happens continuously over time.

그러나, 성격 심리학 연구자들이 반세기 넘게 특성을 측정하려고 노력한 후, 행동에 주된 영향을 미치는 것은 특성이 아니라 상황이라는 것을 깨닫기 시작하였다. 이것은 사람-상황 상호작용으로 패러다임을 급진적으로 바꿔놓았으며, 특성 역시 맥락-의존적 상태로 재구성되었다.

However, after researchers in personality psychology had been trying to measure traits for over half a century, the realisation dawned that it was not traits but the situation that was the dominant influence on behaviour. This sparked a radical shift to a paradigm of person-by-situation interaction, with traits re-cast as context-dependent states.1

의학 교육에서 맥락이 새롭게 중심으로 등장하면서 상당한 파문을 일으켰다. 문제 해결 능력은 더 이상 안정된 실체로 개념화되지 않았다. 사실 정반대로, 그것은 전문가와 학습자들의 독특한 경험에 따라 극단적으로 특정한 맥락이었다.

In medical education, the new centrality of context caused quite a stir. Problem-solving ability was no longer conceptualised as a stable entity. Quite the opposite in fact, it was context specific in the extreme, depending crucially on experts’ and learners’ idiosyncratic experiences.

평가에서 중요한 발견은 1960년대의 환자 관리 문제라는 한 가지 문제 해결 연습의 수행은 다른 연습에서의 수행에 대한 예측이 거의 없었다는 점이었으며, 이는 평가 방법에 걸쳐 공유된 것으로 판명된 지속적인 발견이었다. 분산 성분을 따로 떼어서 분석했을 때, 일반적으로 [측정 목적과 관련된 분산]보다 [사람-문항 상호작용]이 훨씬 커서 분산의 가장 지배적인 근원으로 식별했다.

The seminal discovery in assessment was that performance on one problem-solving exercise – the Patient Management Problem of the 1960s – was hardly predictive of performance on another exercise, a persistent finding that turned out to be shared across assessment methods. In teasing out variance components, research typically identified person-by-item interaction as the most dominant source of the greatest variance, much greater than the variance associated with the purpose of the measurement,

이것은 [일반화가능한 추론]을 하기 위해서는 표본이 (종종 불가능할 정도로) 커야 한다는 것을 암시했다.

This implied that to make generalisable inferences, samples had to be large, often unfeasibly so.

전문지식 연구와 심리측정학에서 나온 연구 결과는 사실상 모든 의학 교육 분야로 복제되었다. 심지어 프로페셔널리즘, 커뮤니케이션, 팀 성과, 리더십과 같은 일반적인 기술도 맥락 특이적인 것으로 증명되었다. Eva2는 적절한 결론을 내렸다: '맥락 특이성은 심오하게 일반적인 현상'이다.

The findings from expertise research and psychometrics were replicated in virtually all areas of medical education. Even generic skills, such as professionalism, communication, team performance and leadership proved context specific. Eva2 aptly concluded: ‘context specificity is a profoundly general phenomenon’.

심리학적 이론에서 맥락 특이성은 '소음'으로 치부된다. 하지만 과연 그럴까? 의사가 환자나 환경에 자신의 행동을 적합시킬 때 '소음'이라고 확신할 수 있는가. 만약 이것이 의사의 전문적 전문지식의 표시라면?

In psychometric theory, context specificity is dismissed as ‘noise’. But is it? Can we be sure it is ‘noise’ when a doctor fits his actions to the patient or the environment (a hectic emergency department, being on call at night)? What if this is a sign of the doctor’s professional expertise?

평가계는 복잡한 성과를 포착하기 위해서는 전문적인 판단에 의존하는 것이 안전하다는 견해를 지지하기 시작하고 있다

The assessment community is beginning to endorse the notion that it is safe to rely on professional judgement for capturing complex performances.

우리가 현재 문서화하고 있는 새로운 이해는 [평가자들이 수동적이고 완벽하게 보정된 측정기기]가 아니라 [상황적 요인과 개인적 경험의 정보를 이용하여 판단을 내리는 능동적 행위자agent]이라는 것이다.4

The new understanding that we are currently documenting is that assessors are not passive, perfectly calibrated measurement instruments, but active agents constructing judgements using information from situational factors and personal experiences.4

이러한 관점에서, 서로 다른 평가자들이 서로 유사한 판단을 내릴 것으로 예상되지 않으며, 이것은 실제로 바람직할 수도 있다! 사실, 학습의 측면에서 보자면 성과에 대한 다양한 관점이 이로운 것일 수도 있다. 또한, 우리는 숫자에 의한 채점scoring으로부터 멀어지고 있다. 복잡한 기술과 수행은 이해하기 어렵고 서술만이 제공할 수 있는 풍부한 정보가 필요하다.

From this perspective, different assessors are not expected to make similar judgements, and this may actually be desirable! Indeed, from a learning orientation, different perspectives on performance may be beneficial. Also, we are moving away from scoring by numbers. Complex skills and performances are elusive and need the wealth of information that only narrative can provide.

어쩌면 우리의 해석에 의미를 부여하기 위해 질적인 방법론을 도입해야 할지도 모른다. 목적적합한 샘플링, 회원 확인, 삼각측량 및 포화도는 복잡한 성능을 바탕으로 예측하기 위한 건전한 전략일 수 있다. 말로 점수를 대체해야 할까? 그렇다면 심리학 이론을 해석적 이론으로 대체해야 할까?

Perhaps we should invoke qualitative methodologies to give meaning to our interpretations. Purposeful sampling, member checking, triangulation and saturation may be sound strategies for making predictions based on complex performances. Should we replace scores by words? So, should we replace psychometric theories with an interpretative theory?

3 Durning S, Artino AR Jr, Pangaro L, van der Vleuten CPM, Schuwirth L. Context and clinical reasoning: understanding the perspective of the Med Educ 2011;45:927–38.

When I say … context specificity

• PMID: 24528457
 
• DOI: 10.1111/medu.12263

학생평가에 성찰적 글쓰기 사용시 고려사항: 신뢰도와 타당도(Med Educ, 2015)

Considerations in the use of reflective writing for student assessment: issues of reliability and validity

Tracy Moniz,1 Shannon Arntfield,2 Kristina Miller,3 Lorelei Lingard,4 Chris Watling4 & Glenn Regehr5

도입 INTRODUCTION

의료 교육자는 학습자의 성찰 능력 성장을 지원하는 도구를 개발하거나, 더 깊은 의미를 얻고 미래의 행동을 인도하는 방법으로 경험을 검토, 해석 및 이해하는 능력을 개발했다.9,10 성찰적 글쓰기는 포트폴리오를 학습하는 맥락에서 점점 더 많이 사용되는 그러한 도구 중 하나이다.

medical educators have developed tools that support the growth of reflective capacity in learners, or the ability to review, interpret and understand experiences in ways that achieve deeper meaning and guide future behaviour.9,10 Reflective writing is one such tool that is used increasingly in the context of learning portfolios.4,9–22

교육 도구로서의 성찰적 글쓰기의 증가는 의학교육자들 사이에서 점차 [의대생의 성찰 능력을 '전문적 발전의 지표로서' 공식적으로 평가하기 위한 평가 도구로도 사용될 수 있다]는 기대가 늘어나는 결과를 낳았다. 즉 해석적, 관계적, 성찰적 기술에서의 정체성 형성과 성장 모두에 관하여 평가할 수 있다고 보았다. 이러한 가정과 기대를 부채질하는 것은 의학의 역량 기반 교육 운동의 성장인데, 이는 학생들이 훈련 과정 동안 중요한 이정표를 달성했다는 것을 확인하기 위한 평가 메커니즘을 필요로 한다.

The rise of reflective writing as an educational tool has resulted in tentative, but increasing, assumptions and expectations among medical educators that it can also be used as an assessment tool to formally assess a medical student’s reflective capacity ‘as an indicator of professional development’,10 with respect to both identity formation and growth in interpretive, relational and reflective skills.10,12,20,22 Fuelling these assumptions and expectations is the growth of the competency-based education movement in medicine,23,24 which requires assessment mechanisms to affirm that students have accomplished key milestones over the course of their training.

따라서 우리의 연구는 학부 의학 교육에서 평가 방법으로서 성찰적 쓰기 포트폴리오를 점점 더 광범위하게 채택하고 있는 것을 고려한다.

Our study, therefore, considers – and questions – the increasingly widespread uptake of the reflective writing portfolio as an assessment method in undergraduate medical education.

방법 

METHODS

포트폴리오 모듈 설계 

Portfolio module design

2012/2013학년도 캐나다 의대 3학년 의대생 170명이 임상실습 포트폴리오 모듈에 참여했다. 내러티브 의학에 뿌리를 둔 3 포트폴리오 모듈은 [정체성 형성의 문제, 환자의 질병 경험 이해, 사람 중심의 치료]에 집중하기 위한 학습 도구로 성찰을 사용했다.28

Over the 2012/2013 academic year, 170 Year 3 medical students at a Canadian medical school participated in the portfolio module of clerkship. Rooted in narrative medicine,3 the portfolio module used reflection as a learning tool to focus on issues of identity formation, understanding the patient’s illness experience, and person-centred care.28

학생들은 한 해 동안 완료한 네 번의 성찰적 글쓰기 연습에 대해 제공된 각 질문 목록에서 선택한 성찰적 글쓰기 프롬프트에 대한 응답으로 각각의 성찰을 작성했다. 표 1은 학생들이 선택할 수 있는 완전한 쓰기 프롬프트 세트를 보여준다.

Students wrote each reflection in response to a reflective writing prompt, which they selected from a list of prompts provided for each of the four reflective writing exercises completed throughout the year. Table 1 presents the complete set of writing prompts from which students could choose.

참가자 Participants

성찰 능력 측정 Measurement of reflective capacity

REFLECT rubric10은 신뢰성 연구의 대상이 된 반사적 글쓰기 작품에서 입증된 반사 수준을 코드화하기 위한 몇 안 되는 출판된 도구 중 하나이다.25

The REFLECT rubric10 is one of the few published tools for codifying the level of reflection demonstrated in reflective writing pieces that has been subject to studies of reliability.25

기타 학생 성취도 측정 Other measures of student performance

의대 2학년 때 학생들은 MCQ 시험을 이용해 평가한 8개 과정 모듈을 이수했다.

During the second year of medical school, students completed eight course modules assessed using MCQ examinations.

의과대학 4학년 동안 학생들은 10개의 표준화된 환자 기반 스테이션으로 구성된 OSCE를 이수했다.

During Year 4 of medical school, students completed an OSCE that consisted of 10 standardised patient-based stations.

연구는 생물의학 지식 이상을 포함하는 커뮤니케이션, 임상적 추론, 전문성과 같은 본질적 기술의 발달과 반사 능력의 개발을 연관시켰다. 이러한 점을 고려할 때, OSCE에 의해 생성된 이러한 내재적 기술(가장 두드러진 커뮤니케이션 도전에서의 성능)의 측정은 성찰적 글쓰기 능력과 관련이 있을 것으로 예상하였다.

Research has associated the development of reflective capacity with that of intrinsic skills, such as communication, clinical reasoning and professionalism,1–8 which encompass more than biomedical knowledge. Given this, we anticipated that measures of these intrinsic skills as generated by the OSCE (most notably performance on a communication challenge) would be related to reflective writing capacity.

절차 Procedure

4명의 측정자를 대상으로 한 REFLECT 루브릭에 대한 교육에는, 보충 디지털 콘텐츠를 포함하여 Wald 등이 보고한 자료에 대한 검토가 포함되었고, 루브릭을 어떻게 적용할 수 있는지에 대한 그룹 토론이 이어졌다.

Training on the REFLECT rubric for the four raters included a review of the material reported by Wald et al.,10 including the supplemental digital content, followed by a group discussion on how the rubric might be applied.

4명의 측정자는 훈련을 마친 후 참가자 성찰의 428개 표본을 모두 평가하였다(훈련에 사용된 표본을 재평가하는 것을 포함).

Following training, the four raters assessed all 428 samples of participant reflections (which included the re-rating of those used in training).

주어진 작품에 대한 최종 '성찰' 점수를 결정하기 위해, 우리는 네 명의 평가자들의 평균 점수를 사용했다.

To determine the final ‘reflection’ score for a given piece, we used the average score across the four raters.

통계 분석 Statistical analysis

표본에 대한 경주 간 신뢰도를 결정하기 위해, 우리는 4개의 쓰기 표본 세트 각각에 대한 4-Rater Cronbach의 a-값 30과 전체 428개의 표본에 대한 4-Rater a-값 및 Srout 및 Fleiss31 사례 2 단일-Rater 내 상관 계수(ICC)를 별도로 계산했다. 이 전체 표본 ICC에서 우리는 스피어맨-브라운 예언 공식 32를 사용하여 최소 0.80의 신뢰도 값을 달성하는 데 필요한 측정기 수를 결정했다.

To determine the inter-rater reliability for our sample, we separately calculated four-rater Cronbach’s a-values30 for each of the four sets of writing samples, as well as the four-rater a-value and the Shrout and Fleiss31 Case 2 single-rater intraclass correlation coefficient (ICC) for the full 428 samples. From this full-sample ICC, we used the Spearman–Brown prophecy formula32 to determine the number of raters needed to achieve a reliability value of at least 0.80.

성찰적 글쓰기 점수의 발산적/수렴적 타당도를 탐구하기 위해, 4개의 쓰기 샘플과 REFLECT 점수의 Pearson 제품-모멘트 상관 계수(r)를 통해 각 참가자의 평균 REFLECT 점수를 계산했다. 2학년 MCQ 점수(전위적 타당성)와 4학년 OSCE 점수(전위적 타당성)로.

To explore the divergent and convergent validity of the reflective writing scores, we calculated the average REFLECT score for each participant across the four writing samples and the Pearson product– moment correlation coefficients (r) of the REFLECT score with students’ Year 2 MCQ scores (divergent validity) and Year 4 OSCE scores (convergent validity).

결과 RESULTS

평가자 간 신뢰도 Inter-rater reliability

4개의 쓰기 샘플에 대한 네 평가자의 a-값은 0.72 - 0.82 범위였으며, 모든 쓰기 샘플에서 a = 0.771(단일 기록 ICC: 0.457)이었다. 스피어맨-브라운 예언 공식의 적용은 최소 0.80의 평가자 간 a-계수를 달성하기 위해 5명의 레이터가 주어진 반사를 점수화할 필요가 있음을 나타냈다.

Four-rater a-values for the four writing samples ranged from 0.72 to 0.82; across all writing samples, a = 0.771 (single-rater ICC: 0.457). Application of the Spearman–Brown prophecy formula indicated the need for five raters to score a given set of reflections to achieve an inter-rater a-coefficient of at least 0.80.

여러 글쓰기 간 신뢰도 Reliability across writing samples

표 2는 학생 참가자가 제작한 4개의 반사적 글쓰기 샘플 각각에 대한 평균, SD 및 점수 범위를 나타낸다(각각 4명의 측정자가 채점).

Table 2 reports the mean, SD and range of scores for each of the four samples of reflective writing produced by the student participants (each scored by the four raters).

4개의 쓰기 샘플 간의 상관관계는 중간(r = 0.407)에서 낮은(r = 0.097)까지 다양했으며, 4-표본 a-값은 0.541(단일표본 ICC: 0.228)이었다. 스피어맨-브라운 예언 공식의 적용에 따르면 적어도 0.80의 신뢰도 값을 얻으려면 학생당 14개의 쓰기 샘플이 필요하다.

The correlations between the four samples of writing ranged from moderate (r = 0.407) to low (r = 0.097), resulting in a four-sample a-value of 0.541 (single-sample ICC: 0.228). Application of the Spearman–Brown prophecy formula indicated that 14 writing samples per student are required to achieve a reliability value of at least 0.80.

변별 및 수렴 타당도 Divergent and convergent validity

표 3은 MCQ와 OSCE 총점, 글로벌 및 통신 점수에 대한 기술 통계량을 나타낸다.

Table 3 presents descriptive statistics for the MCQ and OSCE total, global and communication scores.

표 4는 모든 측정에 걸친 상관관계의 패턴을 보여준다. REFT 점수와의 상관관계는 통계적으로 유의하지 않았다.

Table 4 presents the pattern of correlations across all measures. None of the correlations with the REFLECT scores were statistically significant.

고찰 DISCUSSION

학부 의학 커리큘럼에서, 성찰적 쓰기는 학생들의 성찰 능력을 평가하는 주요 도구가 되었다. 4,10–12,20

In undergraduate medical curricula, reflective writing has become a primary tool for the assessment of students’ reflective capacity.4,10–12,20

이전 연구와 일관된 방식으로, 우리는 REFLECT 루브릭을 의료 교육 환경에서 반사적 쓰기 성능을 계량화하는 도구로 사용하여 합리적인 평가자 간 신뢰성을 입증했다. 우리의 연구는 지금까지 가장 큰 표본 크기를 사용했다: 107명의 참가자들이 각각 4개의 서술문을 써서 분석을 위한 총 428개의 서술문을 제공했다.

In a manner consistent with previous research, we demonstrated reasonable inter-rater reliability using the REFLECT rubric as a tool for quantifying reflective writing performance in a medical education setting. Our study used the largest sample size to date: 107 participants each wrote four narratives to provide a total of 428 narratives for analysis.

우리의 평가자 간 신뢰성은 월드 외 연구진.10이 보고한 것 보다 다소 낮았다(최종 반복에서 단일 경주자 ICC 0.632를 발견했다). 우리의 낮은 값이 샘플링 오차를 나타내는지 아니면 측정자 사이의 루브릭에 덜 친숙함을 나타내는지 우리는 모른다. 그럼에도 불구하고, 우리의 연구 결과는 적어도 0.80의 래터간 신뢰도를 얻는 데 필요한 래터 수에 영향을 미친다: 우리의 연구는 4~5명의 평가자가 필요하다고 결론내린 반면, Wald와 동료은 2~3명의 사용을 제안했다.

Our inter-rater reliability was somewhat lower than that reported by Wald et al.10 (who found a single-rater ICC of 0.632 in their final iteration). Whether our lower values represent sampling error or less familiarity with the rubric among our raters, we do not know. Regardless, our findings have implications for the number of raters needed to obtain inter-rater reliability of at least 0.80: our study concluded the need for four or five raters, whereas Wald and colleagues10 proposed the use of two or three raters based on their results.

아마도 더 놀라운 것은, 우리는 하나의 성찰적 글쓰기 능력이 다른 글의 성능을 강하게 예측하지 못한다는 것을 발견했다. 4명의 측정자 평균을 바탕으로 한 반사 쓰기 점수에 대한 단일표본 ICC는 0.228에 불과했는데, 이는 반사 쓰기 성능을 안정적으로 측정하기 위해 약 14개의 쓰기 표본이 필요하다는 것을 보여준다. 이러한 연구 결과는 성찰적 글쓰기가 [의학 교육에서 평가된 다른 많은 기술들만큼] 맥락 의존적인 것임을 암시한다. 그 결과 성찰적 글쓰기 표본 하나만으로는 학생의 반사적 쓰기 능력에 대한 특별히 정확하거나 안정적인 추정치가 되지 못한다.

Perhaps more strikingly, we found that performance on one reflective writing sample did not strongly predict performance on another. The single-sample ICC for reflective writing scores based on the average of four raters was only 0.228, which indicated that approximately 14 writing samples are required to obtain a stable measure of reflective writing performance. These findings suggest that reflective writing appears to be as context-dependent as many other skills assessed in medical education, such that a single sample of narrative reflection is unlikely to be a particularly accurate or stable estimate of a student’s reflective writing competency. 

실제로, 우리의 연구 결과는 성과에 대한 신뢰할 수 있는 추론을 도출하기 위해 학생당 14개의 반사적 쓰기 샘플이 필요하다는 것을 시사한다. 이 요건은 OSCE(성능의 안정적 추정치를 달성하려면 15~20개의 관측소가 필요함) 또는 미니임상 평가 연습(미니-CEX)과 같은 다른 평가와 호환된다(37 성능 점수에 대한 합리적인 신뢰도를 달성하기 위해 약 14개의 등급 표본이 필요함).

Indeed, our study results suggest the need for 14 reflective writing samples per student to draw reliable inferences about performance. This requirement is compatible with other assessments, such as OSCEs (which require 15–20 stations to attain stable estimates of performance36) or mini-clinical evaluation exercises (mini-CEXs) (which require around 14 samples of rating to achieve reasonable confidence in performance scores37).

성찰적 글쓰기 포퍼먼스에 대한 연구를 설계할 때, 연구자들은 표본당 너무 적은 샘플 또는 너무 적은 평가자를 사용함으로써 발생하는 부정확한 측정에 의해 연구가 제한되지 않도록 해야 한다.

in designing a study in which reflective writing performance is a dependent measure, researchers must ensure that findings are not limited by inaccurate measurements of reflective writing that result from the use of too few samples or too few raters per sample.

우리의 연구 결과는 또한 의학 교육이 현재 평가 도구로서 성찰적 글쓰기 포트폴리오를 통합하고 제공하는 방식에 상당한 변화가 필요하다는 것을 시사한다. 성찰적 글쓰기 기반 평가는 [OSCE 또는 Mini-CEX와 같은 다른 평가 도구]와 동등한 수준의 연구 및 자원 투입을 요구한다. 이 정도의 헌신이 없다면, 성찰적 글쓰기를 신뢰성과 타당도를 갖춘 평가로 자신 있게 사용될 수 없다.

Our findings further suggest the need for a significant shift in the way medical education currently incorporates and provides resources for reflective writing portfolios as assessment tools. Reflective writing-based assessment demands the same levels of research and resource commitment as have been applied to other assessment tools such as the OSCE or the mini-CEX. Without such a commitment, reflective writing cannot confidently be used as a reliable and valid form of assessment.

비록 우리가 반사적 글쓰기를 측정하는 것이 간단하지 않다는 것을 보여주었지만, 성찰적 글쓰기가 쉽게 수량화되지 않는다는 사실이 교육 도구로서의 RW의 가치를 부정하지 않는다. 사실, 차론과 헤르만38은 [성찰적 글쓰기를 계량화하려는 바로 그 노력이 그것의 교육적 가치를 훼손했을 수도 있다]고 주장해 왔다. 그들은, 의료 교육자들이 성찰적 글쓰기의 사용을 학습에서 평가로 확대함에 있어서, 성찰적 글쓰기를 환원적인 방식으로 사용하게 되었다고 제안한다. 그 결과, 성찰적 글쓰기가 학습에 대하여 가지는 잠재적 효용을 완전히 감소시킬 수 있다. 지금과 같은 평가의 맥락에서, '글쓰기란, 특정 기술이 이미 다른 곳에서 획득된 다음에, 그 기술의 달성 정도를 측정하기 위해 사용된다'.38

Although we have shown that measuring reflective writing is not simple, the fact that reflective writing is not easily quantifiable does not negate its value as an educational tool. In fact, Charon and Hermann38 have argued that the very effort of quantifying reflective writing may have undermined its educational value. They suggest that, in extending the use of reflective writing from learning to assessment, medical educators have come to use reflective writing in a reductive manner – one that may reduce its potential utility for learning altogether. In the current context of assessment, ‘writing is used to measure the attainment of the skill of reflection after that skill has somehow been attained elsewhere’.38 

글쓰기를 '발견discovery'으로 보는 대안적 관점에서는, 글쓰기란 '사실상 성찰 상태에 도달하기 위해' 사용되어야 한다고 주장한다.38 성찰적 글쓰기를 판단하고 평가할 때, 글쓰기는 '개별 학습자의 성취에 대한 정량화된 마커'에 불과하다. 성찰적 글쓰기를 판단하고 평가하면, 글쓰기가 그 자체로 성찰 기술을 가르치는 발견적 과정이 되지 못하는 것이다. 38. 평가를 목적으로 성찰적 글쓰기를 사용하는 것은 학생들이 무엇을 어떻게 쓰느냐의 성격과 방법을 변화시킨다: 그들은 '반성reflect'하기 보다는 겉으로 보이는 '수행perform'하기 위해 쓴다. [평가에 집중하는 것]은 '성찰을 통한 학습'이 더 이상 목표가 아니기 때문에 실제로 [학생의 학습 능력]과 충돌할 수 있으며, 샤론과 헤르만이 주장하듯이, '이 충동은 아마도 성찰적 글쓰기의 잠재적인 진정한 이득을 왜곡하고 낭비할 수 있다'.38

In their alternative view of writing as ‘discovery’, Charon and Hermann argue that writing should, in fact, be used ‘to attain the state of reflection’.38 The act of judging and rating reflective writing turns that writing into ‘quantified markers of individual learners’ achievements’38 instead of a discovery process that, in and of itself, teaches the skills of reflection. Using reflective writing for assessment purposes changes the nature and method of what and how students write: they write to ‘perform’ rather than to ‘reflect’. Focusing on assessment may then actually conflict with a student’s ability to learn because ‘learning through reflection’ is no longer the goal and, as Charon and Hermann argue, ‘this impulse perhaps distorts and squanders the potential deep dividends of the work of reflective writing’.38

우리의 자료를 토대로 볼 때, 개개인의 안정적인 구조로서 반사능력에 대한 의미 있는 결론을 도출하기 위해서는 학생당 14개의 쓰기 샘플이 필요한 것으로 보이며, 각 샘플은 4~5명의 측정자가 평가해야 한다. 이러한 적지 않은 요구사항은 학부 의학교육에서 성찰적 글쓰기를 평가 도구로 사용하는 것의 타당성과 유용성에 관한 중요한 고려사항을 제기한다.

Based on our data, it seems that to draw meaningful conclusions about reflective capacity as a stable construct in individuals requires 14 writing samples per student, each of which must be assessed by four or five raters. This daunting requirement raises important considerations regarding the feasibility and utility of using reflective writing as an assessment tool in undergraduate medical education.

우리는 이번 연구가 학생들의 성찰능력을 평가하기 위한 성찰적 글쓰기의 사용에 관한 중요한 경고의 이야기를 제공한다고 믿는다. 적어도 우리의 자료는 그 분야가 평가 도구로서 반사적 글쓰기를 사용하는 방향으로 계속 나아가고 있다면, 향후 연구는 실행하기에 신뢰할 수 있고 타당하며 실용적인 반사적 글쓰기의 척도 개발에 초점을 맞춰야 한다고 제안한다. 아마도 더 비판적으로, 우리의 결과는 교육적 도구로서 성찰적 글쓰기의 사려 깊은 사용의 필요성을 강화시키고, 유의미하게 충족시킬 수 없는 목적을 위하여 성찰적 글쓰기를 급작스럽게 채택하는 것을 경계한다.

we believe our findings offer an important cautionary tale regarding the use of reflective writing to assess students’ reflective capacity. At minimum, our data suggest that if the field continues to move towards the use of reflective writing as an assessment tool, then future research must focus on the development of measures of reflective writing that are reliable, valid and practical to implement. Perhaps more critically, our results reinforce the need for the thoughtful use of reflective writing as a pedagogical tool, and caution against its precipitous adoption to serve purposes it cannot meaningfully fulfil.

38 Charon R, Hermann N. A sense of story, or why teach reflective writing? Acad Med 2012;87 (1):5–7.

© 2015 John Wiley & Sons Ltd.

프로그램적평가의 이론적 고려사항(Med Teach, 2020)

Theoretical considerations on programmatic assessment

Dario M. Torrea, L. W. T. Schuwirthb and C. P. M. Van der Vleutenc,d

도입

Introduction

PA(Programmatic assessment)는 평가를 시스템이나 프로그램 전체로 보는 평가 접근방식이다(Van der Vleuten and Schuwirth 2005). 최적의 건설적 정렬을 달성하기 위해 의도적인 방법 조합을 사용한다(Bigs 1996). PA의 각 개별 평가는 전형적으로 학습에 최적화된 데이터 지점일 뿐이다. 즉, 데이터 포인트당 합격/불합격 결정이 이루어지는 것이 아니라, 데이터 포인트 간에 충분한 정보를 수집한 후에야 통과/실패 결정을 의미한다. PA에서는 주기적으로 성찰과 자기조절학습이 촉진되는데, 이는 데이터 포인트에서 얻은 정보에 대해 정기적으로 진척 상황을 논의하는 코치(실적 데이터를 수집하여 사용하는 교수진)와 논의하기 때문이다. 충분한 데이터가 수집된 후에야, 일반적으로 (독립적) 평가위원회 형태에서 총괄적 결정이 이루어진다(PA의 핵심 측면에 대한 개요는 표 1 참조). 거의 모든 경우에서 PA는 이른바 학습을 위한 평가AfL라는 철학과 연관되어 있다.

Programmatic assessment (PA) is an approach to assessment in which assessment is seen as a system or a program as a whole (Van der Vleuten and Schuwirth 2005). It uses a deliberate mix of methods to achieve optimal constructive alignment (Biggs 1996). Each individual assessment in PA is merely a data point which is typically optimized for learning. This means that pass/fail decisions are not taken per data point, but only after enough information across data points has been collected. In PA, self-regulated learning is promoted by periodic reflection by the learners on the information received from the data points and with coaches (faculty members who gather and use performance data to stimulate and support students in managing their learning) who regularly discuss the learner’s progression. Only when sufficient data are collected, a summative decision is taken, usually in the form of an (independent) committee of assessors (see Table 1 for an overview of the core aspects of PA). In almost all cases, PA is associated with a so-called assessment for learning philosophy (Schuwirth and Van der Vleuten 2011).

그러나 PA의 이론적 기반은 명확하게 설명되지 않았다.

However, the theoretical underpinnings of PA have not been clearly described.

• 첫 번째 그리고 가장 분명한 이유는 다른 과학 영역과 마찬가지로 의학 교육 뒤의 과학은 이론과 그에 뒤따르는 가설에 대한 실험적인 테스트를 통해 발전하기 때문이다. 

• 또 다른 중요한 이유는 이론이 연구 결과를 이해하는데 중요하며, 특정 현상이 발생하는 이유를 이해하면 교육자들이 한 교육적 맥락에서 다른 교육적 맥락으로 연구 결과를 적용adapt할 수 있다는 것이다(Cianciolo et al. 2013).

• The first and most obvious reason is that, like any scientific domain, the science behind medical education progresses through experimental testing of theories and their ensuing hypotheses. 

• Another important reason is that theories are important for making sense of research findings and that understanding why certain phenomena occur allows educators to adapt research findings from one educational context to another (Cianciolo et al. 2013).

우리는 여기서 경고할 것이 있다. 이 글의 목적은 특정 이론이 PA의 교리를 설명하는데 다른 이론보다 낫다고 주장하는 것이 아니다.

We want to express a caveat here. The purpose of this article is not to argue that one particular theory is better than others to explain the tenets of PA.

프로그래밍 방식 평가: 모델

Programmatic assessment: The model

1. 교육활동은 일련의 [학습과제]를 수반하며, 교육설계원칙에 근거한 커리큘럼을 만드는 데 기여하는 방식으로 정비된다.

1. Training activities involve a series of learning tasks and are arranged in such a way that they contribute to create a curriculum based on principles of instructional design

2. [평가 활동]은 학습자에게 의미 있고 지속적인 학습과 성장을 지원하도록 설계된다. 그들은 교사에게 다양한 평가 방법에서 얻은 복수의 평가 데이터 포인트를 제공한다.

2. Assessment activities are designed to be meaningful to the learner and to support ongoing learning and growth. They provide the teacher with multiple assessment data points from a wide array of assessment methods.

a. 평가자의 주요 임무는 각 데이터 지점의 정보를 활용하여 학습자에게 피드백을 제공하고, 또한 이전 평가 정보에 기초하여 학습자의 진행 상황에 대한 결정을 내리는 것이다. 저부담 데이터포인트 정보는 평가자에 의해 나중에 활용될 수 있다.

a. The main task of the assessor is to provide feedback to the learner by utilizing the information from each data point and to make a decision about the progress of the learner also based on previous assessment information. Low-stake data point information can be later utilized by the assessor.

b. 평가와 훈련training 활동은 매우 밀접하게 연관되어 있으며 때로는 같을 수도 있다. 대부분의 평가 과제는 개발적이지만 숙달 지향적인 것도 있다. 숙달 지향적 과제는 보통 고부담이지만, 그것은 여전히 피드백의 기회가 있으며, 저부담 활동과는 완전히 관련이 없거나 영향을 받지 않을 수 있다.

b. Assessment and training activities are very closely interrelated and sometimes, they may be the same. Most assessment tasks are developmental but some are mastery-oriented. A mastery-oriented task is high stakes, but it does still constitute an opportunity for feedback and may not be completely unrelated or unaffected by low-stakes activities.

3. 따라서 평가 활동은 종단적 방식으로 이루어진다. PA에는 지속적으로 정보를 수집하는 과정이 있으며(공식적 평가를 통해 이뤄지거나, 비공식적/공식적 피드백을 통해 이뤄진다), 정기적인 성찰과 교수/코치와의 미팅을 진행한다. 학습자의 피드백 수행enactment은 평가의 필수적인 부분이다.

3. Assessment activities happen therefore in a longitudinal fashion. There is a continuous process of collecting information – either through formal assessments or through informal and formal feedback – in a dossier or portfolio with periodic reflections and meetings with a faculty member/coach. The enactment on feedback by the learner is an integral part of the assessment.

4. 지원활동에는 성찰적 학습과 자기조절학습이 포함된다. 학습자는 학습 및 평가 활동의 정보에 기초하여 성찰적 학습을 수행한다. 자기조절학습은 학생을 지도하고 멘토링하는 교직원의 서포트를 받는다. 사회적 상호작용은 성찰활동과 자기조절 학습을 위한 비계scaffold를 제공한다.

4. Supporting activities include reflective and self-regulated learning. Reflective learning performed by learners is based on information from learning and assessment activities. Self-regulated learning is supported by faculty through students’ coaching and mentoring. Social interaction provides a scaffold for reflective activities and self-regulated learning.

5. 중간 및 최종 평가는 연속체에 걸친 훈련과 평가 활동 전반에 걸쳐 교차하는 의사결정 지점이다. 중간 평가는 교정조치 지향적remediation-oriented이며, 학습을 위한 정보가 풍부한 권장사항을 제공하며, 학습자의 종단적 개발을 목표로 한다.

5. Intermediate and final evaluations are decision points interspersed throughout training and assessment activities across the continuum. Intermediate evaluations are remediation-oriented, provide information-rich recommendations for learning, and are aimed at the longitudinal development of the learner.

6. 최종 평가는 학습자가 프로그램을 진입/진학할progress 수 있는지 또는 종료해야 하는지 여부를 결정한다는 목표를 가진 고부담 결정이다. 복수의 데이터 포인트와 중간 평가의 정보를 활용하여 판단을 내리는 전문가 위원회에 의해 달성된다(Van der Vleuten et al. 2012).

6. The final evaluation is a high-stakes decision with the goal of determining whether the learners can progress in the program or should exit. It is achieved by a committee of experts who make a judgment utilizing information from multiple data points and intermediate evaluations (Van der Vleuten et al. 2012).

이론적 특

Theoretical frameworks

PA 기본원칙: 의미 구축

Fundamental PA principle: Meaning making

PA에서 의미와 의미구축이 중심적인 역할을 한다. PA 의미구축에서, 학습자는 자신이 이용할 수 있는 모든 정보를 분석하고 삼각측량하여 특정한 장점과 약점을 식별하도록 요구되거나, 그렇게 할 동기를 부여 받는다. 그 결과 학습자는 정보의 의미를 적극적으로 구축하고, 자신의 성과를 새롭게 파악하며, 향후 학습을 위한 구체적인 계획을 설계한다. 

Meaning and meaning making play a central role in PA. In PA meaning making, learners are required or incentivized to analyze and triangulate all information available to them, identifying specific strengths and weaknesses. As a result, learners actively construct meaning of the information, develop a new understanding of their performance, and design concrete plans for future learning. 

평가 방법에 걸쳐 정보를 삼각측량할 수 있도록 교사와 학습자는 정보가 결합합으로써 의미를 파악할 수 있어야 한다. 이는 임상의사가 병력청취와 신체검사 결과(Tweed and Wilkinson 2019)를 결합하여 의미를 파악하는 것과 비슷하다. 의미구축은 또한 건설적인 피드백의 제공과 유용하고 실행 가능한 학습 목표의 형성에 중요하다. 몇 가지 이론은 왜 이것이 더 나은 판단과 더 나은 학습으로 이어질 수 있는지를 뒷받침한다.

In order to be able to triangulate information across assessment methods, the teacher and learner must be able to see meaning in the way the information is combined – much like a clinician sees meaning in combining a lab result with a history taking response and a physical examination finding (Tweed and Wilkinson 2019). This meaning making is also important for the provision of constructive feedback and the formulation of useful and actionable learning goals. Several theories underpin why this would lead to better judgments and better learning.

설명 이론: 구성주의자 및 사회적 구성주의자

Explanatory theories: Constructivist and social constructivist

[구성주의적 접근법]에서 학습은 능동적인 의미 생성 과정으로 간주된다. 학습은 미래의 문제 해결을 위해 지식을 보유하고 접근하기 위해 내부적으로 구성되어야 한다. 이 이론은 더 많은 지식과 이해는 '구성construction'이라고 기술하고 있는데, 이것은 학습자가 기존의 지식과 이해에 기반하여 적극적으로 구축되어야 하고 따라서 수동적으로 획득되지 않는다는 것을 의미한다. 학습은 또한 이해관계자(학습자와 교사)와 교사들 사이의 사회적 활동이다(Dewey 1938; Bruner 1960; Vygotsky 1978; Bruner 1986). 따라서 [효과적인 학습이라는 목적을 가진 상호작용]은 이해관계자들 사이의 shared meaning making에 달려 있다.

In a constructivist approach, learning is seen as an active process of meaning making, positing that knowledge has to be constructed internally in order to be retained and accessible for future problem-solving. The theory states that further knowledge and understanding are constructions, which means that they have to be actively built on existing knowledge and understanding and are therefore not acquired passively. Learning is also seen as a social activity between stakeholders (learners and teachers) and teachers facilitate and support students’ active involvement with the material (Dewey 1938; Bruner 1960; Vygotsky 1978; Bruner 1986). Interaction with the purpose of effective learning thus depends on shared meaning making between the stakeholders.

사회적 구성주의는 인지 발달과 깊은 이해에서 [사회적 과정의 가치]를 강조한다. 다른 사람들과의 결정적 상호작용은 기존 지식에 대한 새로운 지식의 구축을 촉진할 뿐만 아니라 학습자들이 그들의 이해를 구성하고 재구성하도록 한다. 따라서 그들은 사회적이고 협력적인 환경을 통해 학습된 지식과 이해에 대한 다양한 의미 있는 관점을 만들어 낸다. 따라서 학습 과정의 협력적 성격과 문화적 사회적 맥락의 중요성을 강조한다. 인지 과정의 강화는 사회적 상호작용에서 비롯되고, 사회적 상호작용의 결과다. 학습은 [학습자에 의한 새로운 지식의 동화]일 뿐만 아니라 학습은 [학습자가 지식 공동체로 통합되는 과정]이기도 하다(Vygotsky 1978; Bruner 1986). 따라서 의미 부여와 의미 있는 상호작용은 이러한 프로세스의 필수불가결요소이다.

Social constructivism stresses the value of the social process in cognitive development and deep understanding. The critical interactions with others not only facilitate the building of new knowledge on existing knowledge but also make the learners construct and reconstruct their understanding. Thus, they create various meaningful perspectives on the learned knowledge and understanding through a social and collaborative setting. It emphasizes, therefore, the collaborative nature of learning and the importance of the cultural and social context in the learning process. This strengthening of cognitive processes originates in and is the result of social interactions. Learning is not only the assimilation of new knowledge by learners, but it is also the process by which learners become integrated into a knowledge community (Vygotsky 1978; Bruner 1986). Meaning making and meaningful interaction are therefore sine qua nons for these processes.

기본 PA 원리: 종단성

Fundamental PA principle: Longitudinality

PA에서도 학습자의 진행 상황에 대한 정보를 종단적으로 수집하는 접근법은 중요하다. 그것은 더 긴 기간 동안의 평가 참여가 가능하게 하며, 스냅숏보다는 더 많은 장면을 제공한다. 또한, 의사결정의 부담이 데이터의 신뢰성, 풍부성 및 견고성에 비례해야 하는 비례성 원칙(Schuwirth et al. 2017)이 있다. 이 원칙에 따르면, 오랜 시간 동안 평가에 참여한다면prolonged engagement, 여러 평가의 데이터 포인트를 수집하고 수집하는 데 더 많은 시간을 사용할 수 있고, 고부담 의사결정에 대한 이해관계자 수가 늘어날 것이다. 그리고 평가 피드백이 이전의 피드백에 기반하여 구축build on될 수 있도록 한다.

The approach to collect information about the learner’s progress longitudinally is important in PA as well. It provides a longer assessment engagement and thus more of a movie rather than a snapshot. Further, in accordance with the principle of proportionality (Schuwirth et al. 2017)in which the stakes of the decisions have to be proportional to the credibility, richness, and robustness of data, prolonged engagement allows for more time to collect and collate multiple assessments’ data points and greater stakeholder numbers in relation to high stakes in decision making and it enables the assessment feedback to better build on previous feedback.

설명 이론: 구성주의자 및 사회 구성가

Explanatory theories: Constructivist and social constructivist

듀이(1938년)는 수십 년 전, 모든 경험은 이전의 경험에 의해 형성되고 '어떤 식으로든 다음에 오는 경험의 질을 변화시킨다는' [경험의 연속성]의 원리를 기술했다(p. 27). 연속성의 원칙에 기초하면, 효과적인 교육은 지속적인 성장의 과정으로 간주되고 경험의 질은 이후의 경험에 영향을 미치는 방법으로 의도된다. 따라서 경험의 연속성의 원칙은 지속적인 학습을 지원하기 위해 평가, 훈련 및 지원 활동을 배치하는 PA의 중요한 측면이다.

Dewey (1938), many decades ago, described the principle of continuity of experience in which every experience is shaped by the previous experience and ‘modifies in some ways the quality of those which come after’ (p. 27). Based on the principle of continuity, effective education is seen as a process of continuous growth and the quality of the experience is intended as a way to influence later experiences. The principle of continuity of experience is therefore an important aspect of PA in which assessment, training, and supporting activities are arranged to support ongoing learning.

이것은 비고츠키(1978년)와 푸에르슈타인 등의 작업에 의해 더욱 지원되며(2002년), 여기서 핵심은 정적 평가와 반대되는 동적 평가 개념이다. 동적 평가는 assisted performance를 통한 학습자의 미래 발전을 목표로 한다. 그것은 단순히 학생이 특정 시점에 무엇을 할 수 있느냐(배움의 관점에 대한 더 많은 평가)가 아니라, 학생이 피드백과 도움(배움에 대한 평가)에 어떻게 대응할 수 있느냐에 대한 것이다. 그러므로 강조되는 것은 과거에 배운 것이 아니라 현재와 미래에서 배울 수 있는 것에 있다. 

This is further supported by the work of Vygotsky (1978) and Feuerstein et al. (2002) in which the concept of dynamic assessment, opposed to static assessment, is central. Dynamic assessment aims at the future development of the learner through a process of assisted performance. It is not merely about what the student can do at a certain point in time (more an assessment of learning perspective) but how the student could respond to feedback and assistance (assessment for learning). The emphasis is therefore not on what has been learned in the past but on what can be learned in the present and the future. 

현대 교육에서, 이것은 불가능한 기대가 아니다; 평생학습에 대한 기대가 증가함에 따라, 우리는 – 행동주의자와 같은 방식의 – 통제는 졸업으로 끝나며, 대학의 사회에 대한 책임은 졸업과 함께 시작된다는 것을 깨닫는다. ...다음의 것들은 [사회적 학습 맥락에서 발생하는, 사회 구성주의 이론적 프레임워크에 기반을 둔] PA의 요소 중 하나이다.

• 학습자에게 피드백을 지속적으로 전달하며, 학습을 지원하고 만들기 위한 평가 활동의 배치

• 학생들을 지도하고 지도하는 교육자  역할

• 고부담 또는 저부담 결정을 내리는 전문가 위원회를 구성하는 평가자 간의 사회적 상호의존성과 상호작용 

In modern education, this is not an implausible expectation; with the increasing expectation of the lifelong learner, we realize that the – behaviorist – span of control ends with graduation and the university’s responsibility to society starts with graduation. 

• The arrangement of assessment activities to support and create learning with constant delivery of feedback to learners, 

• the role of teachers in coaching and mentoring students, and 

• the social interdependence and interactions among assessors in the setting of a committee of experts who make high or low stakes decisions 

...are some of the elements of PA that occur in a social learning context and are grounded in a social constructivist theoretical framework.

앞선 학습이 다음에 뒤따를 학습에 미치는 영향의 중요성을 감안하여, PA는 지식의 재구조화가 일어날 수 있도록 하는 교육적 핵심 요소를 포함한다. PA는 새로운 지식 구조의 개발을 위한 비계를 만들고 학생들에게 새로운 상황에서 개념과 전략을 적용할 수 있는 지속적인 기회를 제공한다. 이러한 맥락에서, 가르침과 평가는 학습의 목표, 특히 [현재의 이해]와 [추구하는 새로운 이해 사이]의 격차를 좁히는 목표를 향해 혼합blend된다. 학습을 위한 평가AfL와 학습의 평가AoL 구성요소의 조합은 (다른 평가 행위와 도구의 여러 데이터 포인트에 의해 지원되는) 교육 연속체 전체에 걸쳐 지속적인 평가를 가능하게 한다.

In view of the importance of prior learning as an influence on new learning, PA includes key elements of pedagogic practice that allow knowledge restructuring to occur. PA creates the scaffold for the development of new knowledge structures and provides students with continuous opportunities to apply concepts and strategies in novel situations. In this context, teaching and assessment are blended toward the goals of learning, particularly the goal of closing gaps between current understanding and the new understandings sought. The combination of components of assessment for and of learning allows creating a continuous assessment across an educational continuum supported by multiple data points from different assessment practices and tools.

기본 PA 원칙: 지속적인 피드백 및 피드백 루프 닫기

Fundamental PA principle: Continuous feedback and closing the feedback loop

PA에서는 피드백의 제공 및 획득과 피드백 루프의 폐쇄를 위한 중심 역할이 존재한다. 이것은 형성적 평가와 혼동되어서는 안 된다. 그보다, 이것은 [피드백 과정을 학습을 유도하는 최적의 접근방식으로 사용하는 것]에 관한 것이다. 이는 학생들이 피드백을 사용해야on board하고, 후속 학습 목표에서 의도한 개선을 이루었음을 증명해야 한다는 것을 의미한다. 

In PA, a central role exists for the provision and uptake of feedback and closing the feedback loop. This is not to be confused with formative assessment; instead, it is about an approach in which the feedback process is used to optimally drive student learning. This means that the student has to take the feedback on board and has to demonstrate that the ensuing learning goals have led to the purported improvement. 

이것은 [PA의 총괄적 측면]이란 일회성으로 특정 합격 점수를 획득하는 것이 아니라, 외부 세계에서도 수용할 수 있는 목표에 상호 합의하는 지속적인 과정이라는 것을 의미한다. 이것은 학습자에게 쉬운 과정이 아니며 종종 학습자들을 그들의 안전 영역 밖으로 밀어낼 것이다. 다양한 이론들이 이것이 효과적인 학습을 용이하게 하는 이유를 설명한다.

This means that the summative aspect in PA is not the attainment of a certain cutoff score in a one-off occasion but a continuous process of reaching mutually agreed upon targets which are also acceptable to the outside world. This is not an easy process for the learner and will often push them outside of their comfort zone. Various theories explain why this facilitates effective learning.

설명 이론: 인지적 및 인지적 발달 방향

Explanatory theories: Cognitivist and cognitive development orientation

동화 이론(Ausubel 2012)과 인지 개발 이론(Vygotsky 1978)은 PA의 중요한 이론적 신조다. 동화 이론은 새로운 사상이 확립된 사상이나 관념에 의해 관련되고 동화되었을 때 효과적으로 학습되어 새로운 인지 구조를 만들 수 있다고 가정한다. PA에서는 새로운 데이터 포인트가 이전의 '기존의established' 데이터 포인트에 지속적으로 동화되며, 평가 데이터는 이전의 확보된 평가 데이터와 동화되어 중간 및 최종 평가로 이어진다.

Assimilation theory (Ausubel 2012) and the theory of cognitive development (Vygotsky 1978) are important theoretical tenets of PA. Assimilation theory posits that new ideas are effectively learned when they are related to and assimilated by established ideas or notions, so that they can create a new cognitive structure. In PA, new data points are continually assimilated to previous ‘established’ data points, and assessment data are assimilated to previous established assessment data, leading to both the intermediate and final evaluation of the model.

Vygotsky의 인지 발달 이론에서, 하나의 중심 목표는 인지 갈등을 만들어 인지 성장을 장려하는 것이다.

In Vygotsky’s theory of cognitive development, one central aim is to encourage cognitive growth by creating cognitive conflict,

Vygotskian 이론의 핵심 개념은 학습자의 실제 개발과 잠재적 개발 사이의 공간 또는 거리로 의도된 근위부 개발 영역(ZPD)이다. ZPD는 학습과 개발이 상호 작용하는 영역을 나타내며 개발 준비의 척도를 제공한다. ZPD에 있는 어려운 과제들은 최대치의 인지적 성장을 촉진한다. 따라서 교육자가 종단적 저부담 평가와 고부담 평가를 통합하므로써, ZPD에서 학습자의 성과를 점진적으로 평가할 수 있는 기회를 만든다면, PA에서 새로운 통찰력을 제공할 수 있을 것이다. ZPD는 [세계에 대한 학습자의 기존 개념]이 [새로운 정보]와 충돌할 때 존재하며, 이는 학습자 자신의 능력에 대한 자기 인식에도 적용된다.

이것은 메지로의 변혁적 학습 이론(Mezirow 2002)에 의해 제시된 혼란스러운 딜레마와 유사하다. 이 딜레마는 여러분 주변의 세계와 학습자로서 여러분 자신을 이해하는 출발점이 된다. PA의 개발 구조와 지원 활동은 ZPD에서 학생과 교사의 상호작용을 허용하며, 따라서 인지 발달과 인지적 변화를 촉진한다.

This is similar to the disorientating dilemma as posited by Mezirow’s transformative learning theory (Mezirow 2002), in which the disorientating dilemmas serve as a starting point for reframing understanding, both of the world around you and of yourself as a learner. The developmental structure and supporting activities of PA allow the interaction of students and teachers in the ZPD, therefore promoting cognitive development and cognitive change.

기본 PA 원칙: 학습에 대한 평가 및 학습에 대한 평가

Fundamental PA principle: Assessment for learning and assessment as learning

학습을 위한 평가AfL로서 PA는 [교육 과정과 평가 과정 사이의 경계가 더 모호]하다는 점에서 더 전통적인 접근 방식과는 다르다. 보다 전통적인 접근법에서 평가는 단지 교육 과정의 결과를 측정하는 것을 목적으로 한 교육 이외의 과정으로 볼 수 있는 반면, PA에서 평가와 교육은 서로 불가분한 영역이다. 이것은 아마도 철학적 입장에서 가장 어려운 변화일 것이다. 그러나 PA가 왜 전통적인 평가보다 더 나은 학습자 역량의 개발을 지원하는지에 대한 타당한 이론적 뒷받침이 있다.

The PA as an assessment for learning approach is different from a more traditional approach in that the lines between educational and assessment processes are fuzzier. In the more traditional approaches, assessment can be seen as a process extrinsic to education, merely aimed at measuring the outcome of the educational process, whereas in PA, the assessment process is an inextricable part of education. This is perhaps the most difficult change in philosophical stance but there is, again, plausible theoretical underpinning of why PA supports the development of learner competence, likely even better than traditional assessment.

설명 이론: 교육적 설계 및 구성주의적 지향 이론

Explanatory theories: Theory of instructional design and constructivist orientation

학습 과제와 평가 활동의 상호 결합을 '학습으로서의 평가'라고 부르기도 한다. 학습 과제에는 TBL 또는 PBL 소그룹 튜토리얼, 자율학습, 강의, 역사 및 신체검사 작성, 문제해결 과제 등 학습으로 이어지는 여러 가지 학습 활동이 포함될 수 있다. 학습 과제 분석에는 목표와 활성화 목표를 달성하는 데 필요한 필수 역량의 식별이 포함된다(Gagne 등 2005).

The interweaving of learning tasks and assessment activities is sometimes called ‘assessment as learning.’ A learning task may involve a number of learning activities leading to learning: a TBL or PBL small group tutorial, a self-study, a lecture, a history and physical exam write up, or a problem-solving assignment. Learning task analysis involves the identification of prerequisite competencies which are needed to achieve target and enabling objectives (Gagne et al. 2005).

그 다음, 프로그램에서 목적적합한 과제 선정이 요구된다. 학습 과제는 학생이 필요한 기본 지식, 기술 또는 이해를 습득하는 데 도움이 되도록 만들어져야 하며, 이는 목표에 도달하거나 더 깊이 있는 학습을 촉진하는 [도약대 역할]을 하게 된다. 이 원칙은 medical competence의 획득뿐만 아니라 learning how to learn에도 해당된다. PA에서는 학습자가 학습 목표를 공식화하고 성공적으로 제정enact하기 위해 이것을 사용할 것이라는 기대와 함께, 학습자가 의미를 부여하기 위한 지속적인 피드백과 요구사항requirement은 '학습'에 관한 학습과제로 간주된다. PA의 학습과제 개념은 학습과제에 대한 Gagne의 분석에 타당하게 근거하고 있다. 즉, 훈련 활동과 평가 활동이 밀접하게 연관되어 있을 뿐만 아니라, medical competence와 learning to learn에 대한 학습도 이루어지고 있다.

A purposeful selection of tasks in the program is then required; learning tasks are set to support the student in acquiring necessary basic knowledge, skills, or understanding to serve as a springboard to reach target objectives or promote further and deeper learning. This principle does not only pertain to the acquisition of medical competence but also to learning how to learn. In PA, the continuous feedback and requirement for the learner to make meaning, in conjunction with the expectation that the learner will use this to formulate and successfully enact learning goals, are to be seen as learning tasks on ‘learning to learn.’ The concept of learning tasks of PA is plausibly grounded in Gagne’s analysis of learning tasks. In other words, not only are training activities and assessment activities closely connected, but also are learning for medical competence and learning to learn.

마찬가지로 Merri€enboer와 Kirschner(2017년)는 10단계 및 4C/ID(4개 구성 요소 지침 설계) 모델을 설명한다. 이 모델의 주요 요소와 첫 번째 요소 중 하나는 학습 과제의 설계를 수반한다. PA 모델과 유사하게, 4C/ID 모델의 구조적 요소는 상호의존적이며, 퍼포먼스 평가의 설계는 특정한 시점에 각 과제에 대한 성과를 측정할 수 있다. 이를 통해 학습과제에 대한 학습자의 종단적 진행을 모니터링할 수 있다.

Similarly, Merri€enboer and Kirschner (2017) describe a ten-step and 4C/ID (4 components instructional design) model. One of the main and first component of this model entails the design of learning tasks. Similar to the PA model, the structural elements of 4C/ID model are interdependent and the design of performance assessments allows to measure performance on each of the tasks, at particular points in time. This allows for monitoring the learners’ longitudinal progression over the leaning tasks.

또한, 4C/ID의 단계 중 하나는 학습 과제의 시퀀스(3단계)를 포함한다. 이 순서는 단순한 것에서 복잡한 것으로 나아가는 것이며, 수행능력 평가(2단계)와 결합되어서 함께 학습을 최적화하고 개별화된 학습 개발 궤적을 만든다. Van Merri€enboer와 Kirschner(2017년)는 4C/ID 모델에서 평가의 총괄적 초점(AoL)은 고부담 결정을 내리는 것에 있지만, 동시에 강력한 형성적 기능 - 의미있는 피드백 - 을 수행해야 한다고 주장했다.

Further, one of the steps involves the sequence of learning tasks (step 3), from simple to more complex, which, coupled with frequent performance assessments (step 2), optimizes learning and creates individualized learning developmental trajectories. In the 4C/ID model, Van Merri€enboer and Kirschner (2017) contend that even though the summative focus of assessment (assessment of learning) is to make high-stakes decisions, it must also perform a strong formative – meaningful feedback – function.

따라서 학습과 평가 과정을 성공적으로 진행하기 위하여 AoL과 AfL은 건설적으로 정렬되고, 교육 이론과 설계와 완벽하게 통합되어야 하지만, 이것이 얼마나 성공할 수 있는가는 [교사나 코치의 질]과 [조직의 학습 문화]에 달려 있다(Harrison 등 20).16, 2017).

Therefore, assessment of and for learning can be constructively aligned, and fully integrated with instructional theory and design, if they are to succeed in driving the learning and assessment process, but how successful this can be done depends on the quality of the teacher or coach and the learning culture in the organization (Harrison et al. 2016, 2017).

PA 기본원칙: 학생 주체성과 책임

Fundamental PA principle: Student agency and accountability

PA의 중요한 측면은 학생들이 자신의 학습과 평가에 대한 주체성과 책임을 맡도록 허용하거나 만드는 것이다. 앞에서 말했듯이, 학습자의 학습과 평가에 대한 행동주의자적 통제 범위는 그들의 졸업으로 끝나지만, 의대의 사회에 대한 책임은 졸업으로 시작된다. 그러므로 PA 프로그램은 점차적으로 그 기관과 책임을 학습자에게 넘기는 것을 추구한다. 이는 행동주의자와 자기조절이론에 정통한 운전자 사이의 의식적이고 의도적인 균형이 구현의 일부임을 암시한다. 

An important aspect of PA is allowing or making the student assume agency and accountability for their own learning and their own assessment. As said before, the span of – behaviorist – control over the learners’ learning and assessment ends with their graduation but the medical school’s responsibility to society starts with graduation. PA programs therefore seek to gradually hand over that agency and accountability to the learner. This implies that a conscious and purposeful balance between behaviorist and self-regulation theory-informed drivers is part of the implementation.

설명 이론: 자기결정론(SDT)과 자기규제학습이론(SRL)

Explanatory theories: Self-determination theory (SDT) and self-regulation learning theory (SRL)

지원 활동, 특히 '자율성 지지 교육'이라는 개념은 PA 모델의 핵심 요소로서 학습자와 교사가 참여한다. 이러한 '자율성 지원 교육'은 무엇보다도 SDT와 SRL의 두 가지 이론적 프레임워크에 근거를 두고 있다.

Supporting activities, in particular the concept of ‘autonomy-supportive teaching,’ are a key component of the PA model and involve learners and teachers. Such ‘autonomy-supportive teaching’ is grounded in, among others, two theoretical frameworks, SDT and SRL.

SDT의 주요 축 중 하나는 자율성의 개념과 필요성이다. SDT에서 자율성은 '[자기 행동]의 인식된 기원이나 근원이 되는 것'(Deci와 Ryan 2004, 페이지 8)으로 의도되므로, 자율적 행동은 자아의 표현이다. SDT에서는 자율성-지지적 교사는 학생에게 독립적인 업무의 기회를 제공하고, 내부 동기를 지원하며, 학생들의 요구에 유연하고 대응한다. 따라서 '자율성 지지적 교육'은 PA의 맥락에서 교사들이 하는 주요한 역할이며, 코칭은 학생들의 자기 결정을 촉진하고, 학생들을 자율성의 연속체에서 움직이도록 돕는다.

One of the main pillars of SDT is the concept of or need for autonomy. In SDT, autonomy is intended as ‘being the perceived origin or source of one’s own behaviour’ (Deci and Ryan 2004, p. 8) and therefore, an autonomous behavior is an expression of the self. In SDT, autonomy-supportive teachers provide opportunities for independent work and support internal motivations, and they are flexible and responsive to the needs of the students. Therefore, ‘autonomy-supportive teaching’ is a major role teachers play in the context of PA, and the coaching fosters students’ self-determination and helps move the students across an autonomy continuum.

성공적인 평생 학습자에게 필요한 원하는 자율성을 달성할 수 있도록 하기 위해, 자기조절학습(SRL)은 통찰력이 있을 수 있다(Pintrich 2004; Schunk 2005). SRL은 학습자가 목표 설정, 학습 전략 선택 및 자체 성과 평가에 관여한다는 것을 전제로 한다. 또한 '자율적 지원 교육'의 개념은 [교사가 학생의 목표 설정, 학습 과제 제안, 학습과정 감시 및 평가 등을 돕는] 사회적조절학습의 원칙에도 근거를 두고 있다(Zimmerman 1998; Bandura 2001).

In order to be able to achieve the desired autonomy needed for successful lifelong learners, self-regulated learning (SRL) can be insightful (Pintrich 2004; Schunk 2005). SRL posits that learners are involved in goal setting, selecting learning strategies and evaluating their own performance. The concept of ‘autonomy-supportive teaching’ is also grounded in the principle of socially regulated learning in which the teacher helps the student in setting goals, suggesting learning tasks, monitoring and assessing the learning process (Zimmerman 1998; Bandura 2001).

설명 이론: 행동주의적 성향과 고의적 실천 원칙

Explanatory theories: Behaviorist orientation and principles of deliberate practice

행동주의적인 접근법의 교리는 우리가 PA에서 숙달학습의 개념을 접할 때 해당되는 것이다(Block 1980; Guskey 1980; Skinner 2011). 숙달학습에서 학생들은 정해진 수준의 숙련도를 보여주지 않으면 다음 수준의 수업으로 나아갈 수 없다. 이러한 숙달력은 의료 역량의 요소와 관련될 수 있지만 학습의 요소에도 해당될 수 있다. 예를 들어, 성찰 또는 자기분석 문서를 작성하는 것은 일련의 프로그램된 연습을 통해 배울 필요가 있을 수 있다. 이러한 모든 측면에 대해, [점진적으로 과제의 난이도를 증가시키면서, 즉각적인 보강과 피드백을 결합]하는 shaping이라는 개념은 행동주의자적 원칙이다.

Tenets of behaviorist approaches are considered when we encounter the concept of mastery learning in PA (Block 1980; Guskey 1980; Skinner 2011). In mastery learning, students cannot progress to the next level of instruction unless they demonstrate a set level of proficiency. This mastery can pertain to elements of medical competence but also to elements of learning to learn. For example, producing reflection or self-analyses documents may need to be learned through a series of programed exercises. For all these aspects, the concept of shaping, where instruction proceeds with tasks of increasing levels of difficulty, coupled with immediate reinforcement and feedback is a principle of the behaviorist orientation.

숙달학습은 어떤 면에서 [의도적인 연습DP]의 핵심 원칙이다. DP는 코치에 의해서 설계되는 활동으로서, 반복과 정교화를 통해 개인의 성과를 향상시키는 것이 목적이다(Anders Ericsson 2008). [학습자 동기 부여]와 [과제 설계]는 DP의 중요한 요소들이다. 교육자는 [학습자의 사전 지식 및 이해를 고려하여, 단시간의 교육 후에 학습자가 과제를 정확하게 이해할 수 있도록] 해야 한다. 학습자는 각 과제와 관련된 활동이 끝난 후 즉시 관련 피드백과 성과에 대한 지식을 얻어야 한다.

Mastery learning is a key principle of deliberate practice for some aspects – typically the more technical aspects – as is meaning making to others – typically the more understanding/insight-related aspects. Deliberate practice is intended as the activity designed by a coach to improve performance of an individual through repetition and refinement (Anders Ericsson 2008). Learners’ motivation and the design of the task are crucial elements of deliberate practice. Educators should take into account ‘the pre-existing knowledge and understanding of the learners, so that the task can be correctly understood after a brief period of instruction.’ Learners should receive immediate relevant feedback and knowledge of results of their performance after each task-related activity.

또한, 비고츠키아의 관점에 따르면, [배우는 과정에서는 교사와 학생이 학습 프로세스의 shaping과 directing 책임을 분담하지만], 점차적으로 책임이 바뀌는 co-regulated learning에 참여해야 할 것이다. 이를 위해 초기 비계는 서서히 제거되고 학생은 점차적으로 자신의 학습에 대한 책임감을 높여 자기 조절 능력을 키울 것으로 예상된다(van Houten-Schat et al. 2018). PA에서 학생과 교사의 관계는 매우 중요하며, PA의 역할은 실제로 그들의 발전의 다른 단계에 있는 학생들의 자기조절을 강화하는 것일 수 있다.

Further, according to the Vygotskian perspective, teacher and student will have to engage in co-regulated learning, in which they share the responsibility of shaping and directing the learning process but with a gradual change of responsibilities. For this, the initial scaffold will be slowly removed and the student is expected to gradually take increasing responsibility of his or her own learning, developing self-regulating skills (van Houten-Schat et al. 2018). In PA, the relationship of student and teacher is crucial, and one role of PA might indeed be that of foster self-regulation of students at different stages of their development.

해설론: 직업수요원론

Explanatory theories: Job demand–resource theory

고용수요원론(JDR-T) (Bakker and Demeruti 2017)에서 직업 특성은 크게 두 가지 범주로 나뉜다. 직무 요구와 직무 자원. 

• 직무 요구는 [높은 업무 부담이나 감정적으로 힘든 상황]과 같은 신체적, 심리적, 조직적 노력이다. 

• 직무 자원은 직무 요구를 줄여주거나, 자율성을 높여주거나, 성과에 대한 피드백을 제공하거나, 개인의 성장을 촉진하거나, 업무 목표를 달성하는 것이 포함된다. 직무 자원은 미래의 업무 참여와 동기를 예측한다.

In the job demand–resource theory (JDR-T) (Bakker and Demerouti 2017), job characteristics fall into two main broad categories: job demands and job resources. 

• Job and demands are physical psychological organizational efforts that may include high work pressure or emotionally demanding situations. 

• Job resources are those aspects of the job that reduce job demands, foster autonomy, provide feedback on performance, promote personal growth, and achieve work goals. Job resources predict future work engagement and motivation.

PA 평가에서 지원 활동에서 교직원의 역할은 바커와 데메루티(2017년)가 정의한 [직무 자원의 창출]과 유사할 수 있다. 코치로 활동할 때 교수들은 학생들의 자기 결정과 자율성을 개발하고, 상호작용적 사회적 학습 환경을 조성하며, 학생들이 직업 수요에 대처할 수 있도록 하고, 발전과 성장의 기회를 창출할 수 있도록 하는 직업 자원을 제공하기 위해 노력한다.

In PA assessment, the role of the faculty within the supporting activities may be similar to that of creating job resources as defined by Bakker and Demerouti (2017). Faculty when acting as coaches contribute to develop students’ self-determination and autonomy, foster an interactive social learning environment, and strive to provide those job resources that allow students to cope with job demands while creating opportunities for development and growth.

고찰

Discussion

의학연구와 달리 의학교육연구는 연구결과의 완벽한 복제를 자동적으로 가정하지는 않는다. 따라서 (RCT처럼) 의료 연구가 문맥적 특징에 관계없이 다른 맥락에서 복제할 수 있는 발견을 목표로 하는 경우가 많다면, 종종 의학교육 연구는 '복잡성' 또는 '시스템'을 가정하고 시작한다(Rosas 2015). 복잡한 상황에서, 발견을 한 맥락에서 다른 맥락으로 직접 복제하는 것은 작동하지 않는다; 대신에, 어떤 것이 작용하여 다른, 약간 다른 문맥에 맞게 수정되거나 전달될 수 있는 이유를 이해할 필요가 있다. 그러한 이해는 문제 해결을 transfer하는데 있어서 깊은 구조deep structure의 역할과 유사하다고 볼 수 있다(Eva et al. (Eva et al. 1998). 따라서 이론은 특정 상황이나 학습 조직에서 발생할 수 있는 구현의 과제를 극복하는 데 도움이 될 수 있다(Torre 등 2006).

Unlike in medical research, medical education research does not automatically assume perfect replication of research findings. So, where medical research is often aimed at producing findings that can be replicated in any other context regardless of contextual features – typically like randomized controlled trials – often (medical) education research starts from the assumption of complexity or systems (Rosas 2015). In complex situations, direct replication of findings from one context to another does not work; instead, there is a need to understand why something works so it can be adapted or transferred to fit another, slightly different context. Such understanding can be seen as analogous to the role of a deep structure in transfer of problem solving (Eva et al. 1998). Theory can therefore help overcome the challenges of implementation that may arise in specific contexts or learning organizations (Torre et al. 2006).

이론이 PA의 실행을 위한 기회를 알려준 한, 우리는 이론이 구현 도전에 직면하는 데 어떻게 도움이 될 수 있는지에 대한 예를 설명하기를 좋아한다. 예를 들어, 학생들은 임상실습에서, 그들은 한 번의 로테이션에서 동안 문제가 있을 수 있다. 그런 다음, 향후 로테이션 감독자/조정자가 이러한 문제에 대해 알아야 후속 로테이션 중에 이러한 문제를 학생에게 구체적으로 지원할 수 있다. 그러나, 감독관에게 앞선 로테이션의 정보를 주는 것을, 다음 감독관에게 편견을 갖게 하며, 학생들은 마치 '범죄 전과criminal case record'를 부당하게 넘기는 것처럼 인식할 수 있다. 그러나 PA 관점에서는, 이것은 '관리의 연속성' 프로세스에 더 가까울 것이다. 이 딜레마는 학습 맥락에 대한 표준 평가에서 주요 문제지만, PA 맥락에서 쉽게 해결할 수 있다.

As far as theory informed opportunities for the implementation of PA, we like to illustrate an example of how theory may help face an implementation challenge. For instance, when students are in their clinical rotations, they might have issues during one rotation. It is then imperative that the supervisor/coordinator of future rotations knows about these issues, so that they can specifically support the student with these during the subsequent rotations. However, notifying that supervisor may be perceived by the students as an unfair transfer of a ‘criminal case record’ and therefore may be seen to be biasing the next supervisor. From a PA view, it would be more like a ‘continuity of care’ process. This dilemma is a major one in a standard assessment of learning context, but it is an easy one to solve in a PA context.

한 로테이션을 도는 동안 문제를 경험한 학생은 학습 코치 –와 함께 –을 분석하고 교정조치 계획을 제시하도록 요청 받는다. 그 후 학생은 미래의 감독자와 이 계획을 소통하고 토론하며 이 계획을 어떻게 실행할지 준비할 것으로 예상된다. 점검 단계에서, 감독관이 계획에 서명하도록 요구될 수 있으며, 그것은 포트폴리오의 일부가 된다. 또한 학생과 그들의 학습 코치는 학생들이 이러한 어려운 대화를 다루는 방법을 배울 수 있도록 하기 위해 미래의 감독자/코디네이터와 그들의 문제를 소통하는 방법을 토론하고 연습할 수 있다. 이와 같이, 정보의 연속성과 종단성이 보호된다면, 학생이 자신의 학습에 주체성을 가지게 되고, 지난 로테이션의 문제는 단순히 나쁜 경험이 아니라 학습의 기회로 여겨지며, 그 문제는 단순히 성적표에 대한 체크박스가 아니라 학습의 의미 형성을 최적화하고, 자기조절학습을 촉진하고, 지속적인 성장과 학습자의 발전을 자극하는 수단으로 사용될 것이다.

The student who experiences issues during one rotation is asked to analyze – together with their learning coach – and provide a plan for remediation. The student is then expected to communicate and discuss this plan with their future supervisor and make arrangements for how to implement this plan. As a check, it can be required that the supervisor signs a plan and it becomes part of the portfolio. The student and their learning coach could also discuss and practice the way the student would communicate their issues with their future supervisor/coordinator, as a way of allowing the student to learn how to deal with these difficult conversations. As such, continuity of care and longitudinality of information is safeguarded, agency lies with the student for their own learning, the issues in the past rotation are not merely bad experiences but opportunities for learning, and the issues are not just a tick box on an academic transcript, but are being used to optimize meaning making of learning, foster self-regulated learning, and promote continuous growth and learner’s development.

우리가 다루지 않은 것과 점점 더 중요한 이슈로 인식되고 있는 것은 [조직문화]와 [소위 순진한 인식론]의 역할이다. 전자는 조직의 변화 의지를 촉진하거나 저해한다는 점에서 중요하다(Harrison et al. 2017). 후자는 더더욱 극복하기 어렵다, 깊은 신념과 관련되기 때문에, 우리는 비체계적이고 유도되지 않은 경험에 의해 우리 주변의 세계에 대해 발전한다(Vosniadou 1994). 이러한 현상은 종종 사람들로 하여금 그들이 교육받고 평가받는 방식이 현대 교육의 틀이 되어야 한다고 믿게 한다. 하지만, 우리가 50년 전처럼 의술을 실천하지 않는 것처럼, 우리도 50년 전처럼 교육을 실천하는 것을 목표로 해서는 안 된다. 왜 의학은 왜 일반적으로 진보하는 방향으로 자연스러운 전문직업적 경향을 갖는데 있고, 의학 교육에 관해서는 보수적이 되는지는 여전히 불분명하다. 우리는 이 분야에서 아직 이 요소를 우리의 서술에 포함시키기에는 충분한 이론적 발전이 없다고 느꼈다.

What we have not addressed and what is increasingly being recognized as a significant issue is the role of organizational culture and of so-called naïve epistemologies. The former is significant in that it facilitates or hampers the willingness in the organization to change (Harrison et al. 2017). The latter is even more difficult to overcome, as it relates to the deep beliefs, we develop about the world around us by unsystematic and unguided experience (Vosniadou 1994). This phenomenon often leads people to believe that the way they were educated and assessed should be the mold for modern education. However, like we do not practice medicine like we did 50 years ago, neither should we aim at practicing education the way we did 50 years ago. Why there is a general natural professional tendency in medicine to progress and when it comes to medical education to be conservative is still unclear. We felt that there is not sufficient theoretical development in this field yet to include this element in our narrative.

van Houten-Schat MA, Berkhout JJ, van Dijk N, Endedijk MD, Jaarsma AD, Diemers AD. 2018. Self-regulated learning in the clinical context: a systematic review. Med Educ. 52(10):1008–1015.

지식, 스킬, 딱정벌레: 의학교육에서 개인적 경험의 프라이버시 존중(Perspect Med Educ, 2020)

Knowledge, skills and beetles: respecting the privacy of private experiences in medical education

Mario Veen · John Skelton · Anne de la Croix

도입

Introduction

모든 의대생들이 무언가가 들어 있는 상자를 가지고 있다고 가정하자: 우리는 그것을 '공감'이라고 부른다. 아무도 다른 사람의 상자를 들여다볼 수 없고, 모든 학생들은 그들 자신의 공감 경험을 보아야만 공감이 무엇인지 안다고 말한다.—여기서는 모든 사람이 각자 자기 상자에 서로 다른 것을 가지고 있을 수 있을 것이다. 심지어 그런 것이 끊임없이 변하는 것도 상상할 수 있을 것이다.

Suppose every medical student had a box with something in it: we call it ‘empathy’. No one can look into anyone else’s box, and all students say they know what empathy is only by looking at their own experience of empathy.—Here it would be quite possible for everyone to have something different in their box. One might even imagine such a thing constantly changing.

우리는 이 인용구의 'empathy'라는 단어를 'integrity', '성찰' 또는 '전문적 정체성 형성'으로 대체할 수 있다. 우리는 루드비히 비트겐슈타인의 사고실험을 거쳐 그들을 '딱정벌레'라고 부를 것이다.

We could replace the word ‘empathy’ in this quote by ‘integrity’, ‘reflection’, or ‘professional identity formation’—these are terms that have found their way into our common medical educational language yet are intensely personal and private for learners. We will call them ‘beetles’, after the thought experiment by Ludwig Wittgenstein:

모든 사람들이 무언가가 들어 있는 상자를 가지고 있다고 가정하자: 우리는 그것을 '딱정벌레'라고 부른다. 아무도 다른 사람의 상자를 들여다볼 수 없고, 모든 사람은 자기가 가진 딱정벌레만 보고 딱정벌레가 무엇인지 안다고 말한다.—여기서는 모든 사람이 자기 상자에 뭔가 다른 것을 가지고 있을 수 있을 것이다. 누군가는 그러한 것이 끊임없이 변화하는 것을 상상할 수도 있다.

Suppose everyone had a box with something in it: we call it a ‘beetle’. No one can look into anyone else’s box, and everyone says he knows what a beetle is only by looking at his beetle.—Here it would be quite possible for everyone to have something different in their box. One might even imagine such a thing constantly changing [1].

딱정벌레와 같은 비유에서 딱정벌레는 사적이고 개인적인 경험을 의미한다. 우리는 결코 '상자'에서 우리 자신의 내적 경험을 끄집어내어 비교할 수 없기 때문에, 다른 사람들이 (자신과) 같은 방식으로 공감이나 고통을 경험하는지 여부는 결코 알 수 없다.

In the beetle-in-a-box analogy, the beetle stands for private, personal experiences. We can never know if other people experience empathy or pain in the same way, because we can never take our own inner experiences out of the ‘box’, and compare them.

우리는 의학 교육에서 딱정벌레를 다루는 방법을 고려하기 전에 이 근본적인 생각을 끝까지 따를 것이다. 사적인 경험('고통', '슬픔')을 가리키는 단어의 의미는 정신적 이미지에서 찾아볼 수 없다. 우리가 무언가를 지칭할 수 있는 것이 적을수록('이것'이 바로 내가 '의자'라고 말로 의미하는 것이다) 더 복잡해진다. 자기자신의 개인적인 경험을 표현할 말을 찾는 것이 어려운 것이라면, 다른 사람의 내면에 대해서 그렇게 하는 것은 불가능한 것이다. 그러나 의학 교육은 최근 의학의 개인적이고 감정적인 측면에 더 많은 관심을 보였으며, 이에 따라 공감, 직업적 정체성 개발, 성찰과 같은 흐릿한fuzzy 개념[2]을 도입했다. 이것들은 학생 시절과 그 이후의 경력을 통해 사적인 상자에 들어 있는 딱정벌레들이다.

We shall follow this fundamental idea through, before considering ways to deal with beetles in medical education. The meanings of words that refer to private experiences (‘pain’, ‘sadness’) are not to be found in a mental image. The less we can point to something (‘THIS is what I mean when I say ‘chair”), the more complex it is to define. It is difficult to find words for our own private experiences, but it is impossible to do so for someone else’s inner world. However, medical education has recently shown more interest in the personal and emotional side of medicine, and has thereby introduced such fuzzy concepts [2] as empathy, professional identity development, and reflection. These are beetles in the individual’s box, carried through the student years and the subsequent career.

이 논의에서, 딱정벌레 문제의 핵심은, [개인적인 경험]이 실제로 존재하고, 이것이 유능한 의료 전문가로 발전하는데 중요하다는 것을 알고 있지만, 우리는 그것을 관찰하거나 측정하거나 공유할 수 없다는 것이다. 왜냐하면 양 당사자가 지적할 수 있는 외부의 referent가 없기 때문이다. 이것은 '평가'에 증명demonstration과 관찰observation을 필요로 하는 의학 커리큘럼에 딱정벌레를 통합하기 어렵다는 것을 의미한다. 의학교육에서 평가를 할 때 우리는 '지금 관찰하는 것은 '실제real thing'의 표현'이라고 가정한다. 기술은 보여질 수 있고, 지식도 보여질 수 있다. 그러나 딱정벌레는 그럴 수 없다.

For our purposes, the core of the beetle problem is that while we know private experiences exist and matter for developing into a competent healthcare professional, we cannot observe, measure, or share them, because there is no external referent that both parties can point to. This means it is hard to incorporate beetles into the medical curriculum, in which assessment requires demonstration and observation, where the assumption is that what we observe is a representation of the ‘real thing’. A skill can be demonstrated, knowledge can be demonstrated. Beetles cannot.

그러나 의학 교육에서는 의대생들이 자신의 상자를 열어, 평가를 위해 어떤 내용을 제작할 수 있는 것처럼 행동하는 경우가 많다. 그리고나면, 교육자들은 의대생들의 공감 수준[3] 또는 그들의 성찰의 질을 평가해야 한다[4]. 이를 위해 의과대학생들에게는 의학커리큘럼에서 개인적인 경험을 '공유'해달라는 요구가 점점 늘고 있다. 하지만 만약 이것이 근본적으로 불가능하다면?

In medical education, however, we often act as if medical students are able to open up their boxes and produce the contents for assessment purposes. Educators, in turn, are expected to assess medical students’ levels of empathy [3] or the quality of their reflection [4]. To this end, medical trainees are increasingly asked to ‘share’ private experiences in the medical curriculum. But what if this is fundamentally impossible?

우리는 딱정벌레를 어떻게 다루어야 할지 모른다. 동시에, 우리는 역량 기반 의학의 젊은 과학에서 이 시점에서 우리는 여전히 '우리가 가만히 서 있을 수 없는 과도기의 한가운데' 있다는 것을 인정한다.

We do not know how to deal with beetles-in-boxes. At the same time, we acknowledge that at this point in the young science of competency-based medical education we are still ‘in the midst of a transition in which we cannot remain standing ’ [5].

딱정벌레가 어떻게 의학 교육과정에 들어갔는지

How beetles entered medical curricula

지식과 기술과는 다른 동물인 딱정벌레가 공식적인 커리큘럼에 들어간 정확한 순간은 없다. 우리는 두 가지 주요 발전이 한 역할을 했다고 가정한다.

There is no exact moment when beetles, different animals from knowledge and skills, entered formal curricula. We hypothesize that two main developments played a role.

첫째, 환자의 안전과 관리 대한 초점이다. 전문직 종사자보다는 일반인(환자)에 초점을 맞춘 것은 1세기 동안, 일반 교육을 위해 듀이에서, 그리고 의학 검진을 위해 오슬러에서 있었다[7]. 1970년대부터[8] 이후, 병뿐만 아니라 환자까지도 강조하면서 인간화된 의학의 요구가 증가하고 있다[9].

First, the focus on the safety and care of the patient. A focus on the lay rather than the professional has been with us for a century, in Dewey for general education [6], and in Osler for medicine passim [7]. From the 1970s [8] onwards, there have been increasing calls for humanized medicine, with its emphasis on the patient as well as the disease [9].

케네디는 의사소통, 팀워크, 그리고 그와 같은 것들을 포함하기 위해 '역량의 개념을 확장할 필요가 있다'고 말했다. 인적 요인 및 환자 중심은 의료 서비스의 중요한 측면이 되었다 [11, 12].

Kennedy spoke of the need to ‘broaden the notion of competence’, to include such things as communication, team-work and the like [10]. Human factors and patient-centredness became important aspects of healthcare [11, 12].

둘째, 역량기반 교육을 향한 움직임과 그에 따른 OSCE 사용의 증가는 역량을 평가하는 객관적인 방법으로 여겨졌다[13–17]. 교육과학에서 얻은 통찰력은 영감으로 사용되었고 '[기술, 성격 특성, 사회 및 경제적 문제, 시민으로서의 책임 측면에서] 현대 의사의 특성과 자질에 대한 상세한 분석이 필요하다고 판단되었다'[13]. '특정 상황에서 의료행위에 필요한 기능'이라는 가이드에 따라, 의학 교육은 이전에 탐구되지 않았던 새로운 주제를 향해 문을 열었다. 유명한 CanMeds 역할은 이 발전의 파생물로 볼 수 있다.

Second, the movement toward outcome-based education, and consequently the burgeoning use of the OSCE approach offered itself explicitly as an objective way of assessing competence [13–17]. Insights from educational sciences were used as an inspiration and ‘a detailed analysis of the characteristics and qualifications of the modern physician was deemed necessary, in terms of skills, personality traits, social and economic problems, and responsibility as a citizen’ [13]. Taking guidance from ‘functions required for the practice of medicine in a specified setting’, doors opened for new and previously unexplored themes in medical education. The famous CanMeds roles can be seen as an offshoot of this development,

CanMeds 역할과 씨름하면서, 많은 이상한 손님들이 공식적인 교육과정에 들어갔다: 진실성, 전문성, 공감, 반성과, 배려심, 등등. 이러한 새로운 개념들은 자신들이 들어간 집주인의 요구 중 일부를 준수해야 했다: 딱정벌레는 즉시 측정할 수 있는 것으로 명확히 정의되었다(이는 인증 기관의 조사를 받는 시스템에서는 흔한 일이다). 이러한 개념적 명확성에 대한 요구는 빠르게 충족되었고, (딱정벌레와 같은) 공감이 가르치고 보여질 수 있는 행동의 집합인 'achievement'이나 'performance'으로 변화되었다. 

In grappling with CanMeds roles, many strange guests entered the formal curriculum: integrity, professionalism, empathy, reflection, a caring attitude, and so on. These new concepts had to comply with some of the demands of their new home: beetles were immediately clearly defined to be measurable and assessable—as is customary in systems under scrutiny of accreditation bodies. This demand for conceptual clarity was quickly satisfied, transforming a beetle-like empathy into an ‘achievement’ or ‘performance’, a set of behaviours that can be taught and demonstrated, and therefore assessed and measured. 

그러나, 획일적인 정의를 찾으려는 시도는 [우리가 같은 말을 사용하고 있을 때, 우리는 같은 것을 의미한다는 가정]에 달려 있다.

However, the attempt to find a uniform definition hinges on the assumption that when we are using the same word, we mean the same thing.

딱정벌레는 본디 의학을 좀더 인간적으로 만들기 위해 커리큘럼에 추가되었고, 우리는 이 노력을 칭송한다. 그러나 여기에 수반된 비용은 딱정벌레를 지식과 행동으로 전락시키는 것이었다. 감정이입이 기술이나 수행이 되면, 그것은 공감을 멈추게 된다. 성찰이 체크박스가 되는 순간, 그것은 진정한 성찰이 아니게 된다[19].

Beetles were added to the curriculum to make medicine more human, which is an endeavour we applaud. But the cost has been to reduce them to knowledge and behaviours. When empathy becomes a skill or a performance, it ceases to be empathy. The moment reflection becomes a tick-box exercise, it ceases to be authentic reflection [19].

딱정벌레의 복잡성

The complexity of beetles

비트겐슈타인의 상자속 딱정벌레 사고 실험은 주로 감각을 다루지만 논쟁은 연장될 수 있다.

Wittgenstein’s beetle-in-a-box thought experiment deals principally with sensations, but the argument can be extended,

비트겐슈타인은 특히 고통의 문제를 다룬다. 내 고통의 경험도 네 고통의 경험과 같은가?

Wittgenstein deals in particular with the question of pain. Is my experience of pain the same as yours?

첫째로, 단어는 의미가 변한다. 공동체는 그것들을 이러한 변화를 반영하고 보강하는 방식으로 단어를 사용한다. 그러므로 영어 ‘게이’는 이제 ‘쾌활함’이라는 의미에서 쓸모가 없어 보인다. '스퀘어'는 1950년대에 그랬던 것처럼 더 이상 '패셔너블'을 의미할 수 없다. 의미는 용도에 의해 결정된다. 의학 교육에서 단어들의 변화하는 의미를 연구하는 것은 우리에게 많은 것을 가르쳐 줄 수 있는데, 이것은 '역량있는competent' 의사의 인식에 관한 연구에서 알 수 있다[20]. Kripke는 Sign을 사용할 때 중요한 것은, '공동체'가 내가 그것을 제대로 사용했는지에 동의하는지 여부라고 말했다[21].

First, words change their meaning, and the community uses them in ways which reflect and reinforce these changes—or the changes die out. Thus, English ‘gay’ seems unusable now in the sense of ‘lighthearted’. ‘Square’ can no longer mean ‘unfashionable’, as it did in the 1950s. Meaning is determined by use. Studying changing meanings of words in medical education can teach us a lot, as can be seen in a study about perceptions of the ‘competent’ doctor [20]. Kripke suggests that in using a sign ,what matters is that the ‘community’ agree that I have used it successfully [21].

의학 교육은 서로 다른 문화적, 제도적 공동체로 이루어져 있으며, 의과대학에 사용되고 있는 개념들은 종종 다른 과학 공동체(의학, 심리학, 인문, 사회, 교육학)로부터 옮겨운 것이다. 개인, 공동체 및 과학 분야를 넘나드는 여행에서 단어는 새로운 의미를 얻고, 기존의 의미를 잃는다[22]. 이것은 '감정'과 같은 개념이 매우 다른 의미를 가질 수 있는 이유를 설명할 수 있다[23].

Medical education consists of different cultural and institutional communities, and concepts that are being used in medical education have often travelled from other scientific communities (medical science, psychology, humanities, social & educational sciences). In their travels across individuals, communities, and scientific disciplines, words take on meanings and lose others [22]. This might explain why a concept such as ‘emotion’ can take on very different meanings [23].

둘째, 가치와 관련된 개념은 원래 절대로 잘 정의되지 않는다. 수학의 플러스 부호는 명확하게 정의되어 있다. 예를 들어, 이것은 신체의 일부와 질병의 이름에 대한 많은 의학 용어에 대체로 해당된다.

Second, concepts associated with value are in principle never well-defined. A plus sign in mathematics is clearly defined: This is broadly true of a great many medical terms, for parts of the body and names of diseases, for example.

그러나 '공감'이라는 단어에 대해서 그러한 합의는 없다. 그러한 합의는 애초에 존재할 수 없다. 더 나아가, '공감'이라는 것이 '해야하는 일의 목록'으로만 구성되어있지 않음은 자명하다. '공감'적인 사람이 특정한 방식으로 행동할 수는 있지만, 그렇게 하지 않는 것이 의미하는 바는 여러가지가 될 수 있다.

There is no such agreement—there can be no such agreement—about a term like ‘empathy’, or ‘respect’ (for colleagues or patients, for example). And beyond that, it seems clear that ‘empathy’ does not consist of a list of things to do. An empathic person may behave in specific ways (cocks their head, listens carefully, says ‘that must be very hard for you’), but failure to do so could mean many things.

(예를 들어) 우리는 공감이 부족하다는 것을 재빨리 추론할 수도 있지만, 그것은 이 사람이 많은 젊은 학부생들이 그렇듯이 공동체가 이해할 수 있는 방식으로 '감정'의 가치나 태도를 어떻게 표현해야 하는지 모른다는 것을 의미할 수도 있다. 또 다른 가능성은 그 사람이 우리와 다른 배경을 가지고 있다는 것이며, 우리는 그들의 행동을 특정한 감정을 나타내는 것으로 해석하지 않을 수도 있다[24]. 같은 방식으로, 시니컬한 학생일지라도 시험에 합격하기 위해서는 공감하는 행동을 흉내낼 수도 있다.

We might quickly infer a lack of empathy, yet it could mean that this person does not know how to demonstrate the value or attitude of ‘empathy’ in a way that the community can understand, as might be the case in many young undergraduates. Another option is that this person has a different background to us, the perceivers, and we might not interpret their behaviour as displaying a certain emotion [24]. Equally, a cynical student may imitate empathic behaviour in order to pass exams.

'진짜' 딱정벌레와 [그 딱정벌레의 발현으로 볼 수 있는] 행동과 마커marker 사이에는 인과관계가 없다. 또한 가치나 태도를 보여주는 것으로 보여지는 것은 그것을 실제로 소유했다는 증거가 아니다.

There is no causal relationship between the ‘real’ beetle, and the set of behaviours and markers that might be seen as the manifestation of that beetle. Also, being seen as demonstrating a value or attitude is not evidence of actually possessing it.

문제는 우리가 이 두 원이 어딘가에서 중복될 수 있다는 것을 알고 있지만, 어느 학생이 어느 집합에 떨어지는지는 알 수 없다는 것이다.

The catch is that while we know that the two circles probably overlap somewhere, we are unable to tell which students fall into which area.

딱정벌레 평가 - 불가능한 모험

Assessing beetles—an impossible venture

의학 교육에서 딱정벌레의 진짜 어려움은 시험에서 온다. 지식('지식')과 기술('수행')의 측면을 가르치고 시험하기 쉽다. 그러나 추상적 개념(딱정벌레)은 일반적으로 '가치'과 연결되어 있으며, 본디 손쉽게 '정확한 정의'를 내어주지 않는다. 그런 의미에서 '잘못된' 대답과 '올바른' 대답을 구분할 정확한 방법은 없다. 그러나 마찬가지로, 의사가 음주한 상태로 수술해도 괜찮은지 물어보는 것으로는 좋은 가치(관)를 가지고 있는지 평가할 수는 없다. 학생은 어떤 대답이 필요한지 너무 잘 안다.

The real difficulty with beetles in medical education comes with testing. It is easy to teach and test aspects of knowledge (‘knowing’) and skills (‘doing’). Abstract concepts (beetles), however, are typically linked to values, and in principle not susceptible to precise definition. There is in that sense no exact way of telling a ‘right’ answer from a ‘wrong’ answer. But equally, one cannot assess whether a doctor has good values by asking them if it is okay to operate under the influence of alcohol. They are likely to know what answer is required.

문제는 시험을 목적으로 딱정벌레를 [학생들이 알고 있거나 해야 하는 것]으로 정의하는 것이다. 이렇게 함으로써 딱정벌레를 행동으로 재구성 하고, 지표indicator를 지정하여 측정할 수 있게 한다. 그러나 딱정벌레가 수행performance의 측면에서만 정의되고 평가될 때, 좀비 문제[19]는 두 가지 방법으로 발생한다. 

• 첫째, 외부 관찰자로서, 우리는 그 행동이 진짜인지 아니면 '그런 척 하는 행동'인지 구분할 수 없다. 

• 둘째, 이런 식으로 행동을 보는 체계에서 학생들은 단지 [행동에 대한 보상]을 받게 되며, 의미 있는 딱정벌레 교육에 실제로 참여하게 될 외적인 동기는 없다.

The risk is that, for testing purposes, a beetle is defined in terms of what students must know or do. It is reformulated as a behaviour, and indicators are specified so it becomes measurable. But when the beetle is defined and tested only in terms of performance, what we have elsewhere called the Zombie problem [19] arises in two ways. 

• First, as outside observers, we cannot say if the behaviour is authentic or an act, such as an actor might give. 

• Second, in a system that views behaviour in this way, students are rewarded for just the behaviour, and there is no extrinsic motivation to actually engage in meaningful beetle education.

그래서, 예를 들어, 우리는 학생들이 성찰을 하기를 원한다. 슬프게도, 우리는 '성찰적 좀비'만 양성할 수 있다. [19], 성찰적 좀비는 실제로 성찰을 하지 않고도 성찰적인 사람의 모든 외적인 특징을 보여주는 학생이다. 성찰 모형에 대한 지식이 적용된 성찰 에세이를 쓰는 학생의 능력은 실제 성찰을 보장하지 않는다. 그것은 단지 그들이 성찰적 에세이를 잘 쓴다는 것을 의미한다: 상자가 있고, 그 상자 속에는 성찰이이 일어날 수 있는 공간이 있지만, 우리는 그 안에 딱정벌레가 있는지, 혹은 그 어떤 다른 것을 포함하고 있는지 모른다.

So, for example, we want students to reflect. Sadly, we can easily posit a ‘reflective zombie’ [19], a student showing all the outer traits of a reflective person without having actually reflected. A student’s ability to write a reflective essay in which knowledge of reflection models has been applied does not guarantee actual reflection. It just means they are good at writing a reflective essay: there is a box, a space in which reflection could take place, but we do not know if there is a beetle in there, or if it contains anything at all.

우리가 전통적으로 딱정벌레를 평가하는 방법은 표상representation 모델을 사용하는 것이다. 이 모델에서 언어와 행동은 사람들의 내적 삶[26]에서 실제로 일어나고 있는 일을 나타내는 것으로 보인다. 우리는 학생들의 머리와 마음 속을 직접 들여다볼 수 없다는 것을 알고 있다. 다만 (논리적으로) 우리는 행동을 관찰할 수 있을 뿐이라고 귀결된다.

The way we traditionally assess beetles is with the model of representation. In this model, language and action are seen as a representation of what is actually going on in people’s inner lives[26]. We recognize that we cannot look directly inside students’ heads and hearts. But what we can observe, the logic goes, is their behaviour:

우리는 교육자들이 학생이 하는 것과 말하는 것을 해석하기를 기대하며, 교육자들이 이로서 [학생의 딱정벌레]를 판단내리는 방식으로 해석하기를 기대한다. 이 표상적representational 모델은 비판을 받았으나, 여전히 의학 교육에서 우세한 모델이다. 우리는 이 모델을 버릴 때가 되었다고 믿는다.

We expect educators to interpret what a student does and says, and we expect them to translate this to a judgment of the student’s beetle . This representational model has been criticized [1, 27, 28] but is still the dominant model in medical education. We believe it is time to leave this model behind.

우리는 상자 속의 딱정벌레가 어떻게 생겼는지를 보여주는 행동적, 물리적 표지에 동의할 수 있고, 학생에게 그들 자신의 딱정벌레에 대한 점수를 스스로 보고하도록 요청할 수 있지만, 이것은 우리에게 딱정벌레 자체에 대한 어떤 것도 말해주지 않는다.

We can agree on the behavioural and physical markers of what we think a beetle in a box looks like, and we can ask people to self-report a score of their own beetle—but that does not tell us anything about the beetle itself.

앞으로 갈 길

The way forward

평가: 딱정벌레의 사생활 존중

Assessment: respect the privacy of the beetle

어떻게 평가할 것인가?

how will we assess this?

1. '우리는 이것을 평가하고 싶은가? 만약 그렇다면 왜인가?' 의도된 평가가 정말로 역량 개발에 기여하고 있는가? 이것은 커리큘럼에 중요하지만 평가하기에 유익하거나 해롭지는 않은 부분이 있을 가능성을 열어준다.

1. ‘Do we want to assess this, and, if so, why?’ Does the intended assessment truly contribute to competency development? This opens up the possibility that there may be parts of the curriculum which are important, but not beneficial or even harmful to assess.

2. '이것 평가 가능할까?' 만약 어떤 것이 객관적으로 측정될 수 없고, 우리가 어쨌든 평가의 형태를 적용한다면, 우리는 실제로 평가되고 있는 것에 대해 생각할 필요가 있다.

2. ‘Is it possible to assess this?’ If something cannot be objectively measured, and we apply a form of assessment anyway, then we need to think about what is actually being assessed.

3. '이 현상의 어느 측면을 평가하며, 어떻게 평가하는가?' 여기서 평가 방법은 평가 대상과 일치해야 한다.

3. ‘Which aspect of this phenomenon do we assess, and how?’ Here the assessment method should fit what is being assessed.

딱정벌레에 대한 객관적인 평가는 근본적으로 불가능하다. 왜냐하면 그것은 외부적인 기준을 필요로 하기 때문이다. 표준화가 항상 가능한 것은 아니다: 예를 들어 [표준화된 시험에서의 수행]을 가지고 [의사가 실제 환경에서 어떻게 수행할지]를 추론하는 것은 현명하지 못하다[29, 30]. 왜냐하면 '실제 세계는 비표준화되어 있고, 더 중요한 것은, 표준화를 시도하는 것은 평가를 하찮게trivialize 할 것이기 때문이다.' [31].

Objective assessment of beetles is fundamentally impossible, because it requires an external standard. Standardization is not always possible: extrapolating, for example, how a doctor performs in a real-world environment from performance in a standardized test is unwise [29, 30], because: ‘The real world is non-standardized and haphazard, and, more importantly, any attempt at standardization will only trivialize the assessment’ [31].

인간으로서 우리는 항상 서로에 대해 의견과 판단을 형성한다. 주관적 평가는 평가자의 경험이 방정식의 필수적인 부분임을 의미한다[30]. 교육자는 [자신의 딱정벌레]를 도구로 사용함으로써, (피평가자와의) 대화 속에서 어떻게 공명resonate하는지 인식함으로써, 학생이 '공감'적으로 보이는지에 대한 자신의 생각을 형성할 수 있다. 또는 우리는 환자의 피드백과 그들의 공감 경험을 (모크) 상담에서 살펴볼 수도 있다. 

As human beings, we form opinions and judgments of each other all the time. Subjective assessment means that the assessor’s experience is a necessary part of the equation [30]. An educator might form an idea of whether a student comes across as empathic by being aware how their own beetle ‘resonates’ in the conversation, using themselves as an instrument. Or we might look at patient feedback and their experience of empathy in a (mock) consultation. 

우리는 평가에 대한 현상학적 접근을 제안하고 있는데, 이는 객관적 평가가 아닌 평가자의 경험이 기준이라는 것을 의미한다. 이런 종류의 평가는 딱정벌레에 대한 부당한 주장pretence을 하지 않는 한 매우 유용할 수 있다(예: '이 사람은 성찰능력이 없다' 또는 '이 사람은 공감능력이 없다'). 그것은 또한 우리가 평가자마다 같은 사람에 대한 다른 평가를 가질 수 있다는 것을 받아들여야 한다는 것을 의미한다. 이러한 경우, (프로그램 평가나 전체적인 평가와 같은) 평가가 논리적이다[30].

We are proposing a phenomenological approach to assessment, which means that the experience of the assessor, rather than an objective assessment, is the criterion. This kind of assessment can be very useful, as long as no pretences are made about the beetle (e.g., ‘this person cannot reflect’, or ‘this person is not empathic’). It also means that we have to accept that different assessors can have different assessments of the same person. This makes other forms of assessment more logical, such as programmatic assessment or holistic assessment [30].

이러한 유형의 평가는 '평가도구'가 교사의 경험이기 때문에 교사 연수를 필요로 한다. 평가자 훈련은 평가자로서 자신의 한계를 인식하고 반성하며, 항상 편견을 갖는 것에 초점을 맞출 것이다. 진정한 전문직 종사자들은 자기 자신의 주관성과 잠재적 편견을 성찰하고 인식할 것이기 때문에 수준 높은 교육자들은 수준 높은 교육자들은 고품질의 판단을 내릴 것이다.

This type of assessment requires teacher training, as the assessment ‘instrument’ is the teacher’s experience. This kind of training would focus on being aware of and reflecting on one’s limits as an assessor, and being aware of always being biased. High-quality educators will form high-quality judgments, as true professionals will be reflective and aware of their own subjectivity and potential bias.

정의: 딱정벌레 모양의 구멍

Definitions: beetle-shaped holes

(그들의 감정[30]을 포함하여) 미래의 의사에 대한 현대의학의 whole person 관점은 환영할 만하다. 그러나 정확한 정의에 도달하려는 어떤 시도도 잘못된 것이다. (딱정벌레를) '정확한' 정의로 조작화하려는 것은 복잡한 개념의 본질을 상실할 위험이 있다.

The contemporary focus on the whole person of the future doctor, including their emotions [30], is welcome. However, any attempt to reach precise definitions is misguided. Operationalizing these definitions risks causing complex concepts to lose their essence.

딱정벌레를 정의해야 할 것으로 보기보다는, 우리는 딱정벌레를 공동체 사이를 여행하고, 특정한 의미를 떠맡고, 다른 것을 잃고, 개별적인 해석의 여지를 남기는 흐릿한fuzzy 개념[2]으로 볼 수도 있다. 

Rather than seeing beetles as something to be defined, we might see them as fuzzy concepts [2] that travel between communities, take on certain meanings, lose others, and leave room for individual interpretation. 

특정 개념이 무엇을 의미하는지 임시적으로 그리고 부분적으로 정의하기 위해 더듬는 동안, 우리는 그것이 무엇을 할 수 있는지에 대한 통찰력을 얻는다. (부분적이고 임시적인 정의를 찾고자) 더듬는 것 자체가 가치있는 작업이다. 심지어 끈질기게 확립된 그러한 개념조차 그 개념의 잠재적 상호주관성 때문에 가치가 있다. 누구에게나 같은 의미를 지니기 때문이 아니라, 그렇지 않기 때문에 가치가 있는 것이다.

‘While groping to define, provisionally and partly, what a particular concept may mean, we gain insight into what it can do. It is in the groping that the valuable work lies. [. . . ] Even those concepts that are tenuously established [are valuable] primarily because of their potential intersubjectivity. Not because they mean the same thing for everyone, but because they don’t’ [22].

사회학과 학생들이 말하자면 '자본주의'나 '아노미'나 '기분' 같은 추상적인 개념을 가지고 작업을 해야 하는 것처럼, 의대생들은 '환자 중심', '팀워크', '반성'과 같은 용어를 다루는 법을 배워야 할 것이다. 이것이 어렵다고 생각했던 유일한 이유는 의학 교육이 과학을, 특히 '팩트'에 관한 과학을 다룬다고 인식되었기 때문이다. 그러나 사회과학과 인문학에서 어려운 개념에 대한 논의는 일상적인 일이다.

Just as students of sociology, say, have to work with abstract concepts such as ‘capitalism’ or ‘anomie’ or ‘ascribed status’, so medical students will need to learn to handle terms like ‘patient-centredness’, ‘teamwork’, and ‘reflection’. The only reason anyone ever thought this was hard is because medical education is perceived as involving science, and science is about facts. The discussion of difficult concepts is, however, routine in social sciences and humanities.

이것은 쉽지 않다. 의학교육 시스템이 그렇듯이, 목표는 여전히 '옳은 것'에서 '잘못된 것'을 가려내고, 최선의 행동 방침을 결정하기 위해 증거를 사용하는 것 등을 목표로 한다. 의학(교육)의 전통에서 모든 개념은 잘 정의되어 있으며, 그렇지 않은 개념은 과학적인 개념이 아니므로 적어도 전문적professionally으로는 신경 쓸 가치가 없는 것처럼 여겨졌다. 이는 (역설적으로) 교육 개발자, 교사, 학생들이 모호성을 다루는 법을 배울 필요가 있다는 것을 의미한다. 사회과학과 인문과학은 이런 점에서 의학을 제공할 것이 많다.

This is not easy, as in the medical education system the aim is still to sort out what is ‘correct’ from what is ‘incorrect’, to use evidence to decide on the best course of action, and so on. In this tradition, every concept is well-defined, and if it is not, it is not a scientific concept and therefore not worth bothering with, at least professionally. This means educational developers, teachers, and students need to learn how to deal with ambiguity. Social science and the humanities have a lot to offer medical education in this respect.

역량 프레임워크: 한계 인정

Competency frameworks: acknowledge the limits

그 중심적인 난제는 간단히 언급되어 있다. 무엇인가를 의학교육과정에 포함시킬지를 결정하는 조건이 '객관적으로 측정가능한지'라면, 커리큘럼에 딱정벌레가 설 자리는 없을 것이며, 우리는 오직 지식과 기술에만 집중해야 할 것이다. 그러나 우리는 심대히 중요하지만, 평가는 커녕, 명확하게 정의조차 할 수 없는 것(integrity, value, 자기 인식 등등)이 있다는 것을 알고 있다.

The central conundrum is simply stated. If the condition for inclusion in the medical curriculum is that something is objectively measurable, then indeed beetles have no place in the curriculum, and we should focus only on knowledge and skills. Yet we know that there are things (integrity, values, self-awareness, to name but a few) which matter profoundly but which cannot be clearly defined, let alone assessed.

역량 프레임워크는 측정할 수 있는 지식과 기술의 측면을 규정한다. 그러나 시험이라는 조건에서의 측정 행위와 이에 대해 분명히 해야 할 것은 의사가 오더를 내릴 수 있는지 여부를 측정하는 것이다.

Competency frameworks set out aspects of knowledge and skills which can be measured. The act of measurement under examination conditions, however, and we should be clear about this, is a measurement of whether a doctor can perform to order.

대부분의 학생들은 표준화된 환자와 대면하여 OSCE에서 공감을 수행할perform 수 있다. 그러나 이것이 그들을 공감하게 하지는 않는다.

most students can perform empathy in an OSCE, face to face with a standardized patient: but this does not make them empathic.

딱정벌레에 대한 평가, 아니 [딱정벌레와 결부된 성과performance에 대한 평가]가 조금이라도 시도되려면 잘 훈련된 사람들이 필요하다. 그리고 학생들에 관한 한, 어떤 종류의 '애니멀' 딱정벌레인지 배우고 그들이 개인적으로 가지고 다니는 딱정벌레를 탐구하는 것은 학생들이 동료나 멘토들과 함께 성찰하고, 탐구하고, 대화할 수 있는 공간을 필요로 할 것이다.

Assessment of beetles, or rather, assessments of performances that we associate with beetles, requires well-trained people if it is to be attempted at all. And as far as students are concerned, learning what kind of ‘animals’ beetles are, and exploring the beetles they personally carry with them, might require space for students to reflect, explore and talk to peers and mentors.

평가와 측정은 그 자체로 목표가 되어서는 안 되며, 보다 높은 목적을 달성해야 한다.

Assessment and measurement should not be goals in themselves, but serve a higher purpose:

평가는 교육적 가치를 가질 수 있다. 그러나 많은 경우 평가는 역효과를 낳을 수 있고 학생들을 피상적인 학습행위로 이끌 수 있다.

Assessments can have educational value—people learn from being assessed, learn from feedback, and from mapping their progress. But in many cases, assessment can be counterproductive and guide students towards superficial learning behaviour.

상자속 딱정벌레 사고실험의 본질은 딱정벌레 '그 자체'는 공공 언어public language에서 [아주 잘 정의된 역할]을 할 수 없다는 것이다. 우리는 우리가 말하고 있는 것을 대충 알고 있다고 짐작하겠지만, '정직'에 대한 당신의 개념은 나와 다를 수 있다. 그러므로 우리는 딱정벌레의 사생활을 존중해야 한다. 프라이버시에 대한 정의 중 하나는 '각 개인의 경험과 생각을 즉시 그 사람에게 알리는 기능'이다[34]. 딱정벌레의 비유는 교육자로서 우리가 그러한 내부 국가들에 즉시 접근할 수 없다는 것을 보여준다. 학생들 자신만이 한다.

The essence of the beetle-in-a-box thought experiment is that the beetle ‘itself’ cannot play any very well-defined role in public language. Your concept of ‘honesty’ may be different from mine, even if we suspect we know roughly what we are talking about. We should, therefore, respect the privacy of the beetle. One definition of privacy [33] is ‘the feature which leaves each person’s experiences and thoughts as known immediately to that person’ [34]. The beetle analogy shows that we as educators have no immediate access to those inner states. Only the students themselves do.

결론

Conclusion

지식과 기술 다음으로, 딱정벌레는 의학 교육에 중요한 역할을 한다. 딱정벌레는 외부 세계에 접근할 수 없는 사적인 경험이지만, 개인이 세상을 경험하는 방식과 따라서 그들이 배우고 발전하는 방식의 중요한 부분이다. 딱정벌레의 문제는, 우리가 딱정벌레를 기술로서 취급하고, 학생들에게 (실제로는 불가능한) 시연demonstration을 요청하고, 우리는 그것들을 측정하려고 노력하는 것이, 피상적인 '좀비' 학습 행동을 자극한다는 것이다.

Next to knowledge and skills, beetles-in-boxes play an important part in medical education. Beetles are private experiences that are inaccessible to the outer world, but are an important part of the way individuals experience the world and thus the way in which they learn and develop. The problem with beetles is that we treat them as skills and ask students to demonstrate them (which is impossible), we try to measure them (which is impossible), and thereby we stimulate superficial ‘zombie’ learning behaviour.

우리는 의료 교육자들이 그것을 보고 측정하거나 평가하려 하지 않음으로써 개인 경험의 프라이버시를 존중할 것을 요구한다. 그렇게 하기보다는, 딱정벌레를 잡고 있는 사람, 의대생에게 초점을 옮기자고 제안한다.

We call for medical educators to respect the privacy of private experiences by not trying to see, measure, or assess them. Rather than doing so, we propose to shift the focus to the person holding the beetle, the medical student.

20. Whitehead CR, Austin Z, Hodges BD. Continuing the competency debate: reflections on definitions and discourses. AdvHealthSci Educ. 2013;18:123–7. XXX

23. McNaughton N. Discourse(s) of emotion within medical education: the ever-present absence. Med Educ. 2013;47:71–9.

30. Schuwirth L, Ash J. Assessing tomorrow’s learners: In competency-based education only a radically different holistic method of assessment will work. Six things we could forget. MedTeach. 2013;35:555–9.

타당도: 한 단어, 여러 의미(Adv in Health Sci Educ, 2016)

Validity: one word with a plurality of meanings

Christina St-Onge1 • Meredith Young2 • Kevin W. Eva3 • Brian Hodges4

도입

Introduction

타당도는 일반적으로 측정할 개념, (개발된) 평가 도구, (사용된) 분석 접근법, 평가 결과의 선택에 필요한 정보를 주는 퀄리티 평가의 표지로 간주된다(AERA 등 1999). 즉, '타당도는 평가의 필수불가결한 것이다. 왜냐하면 타당도가 없다면 의학교육에서 평가는 아무런 의미가 없기 때문이다' (Downing 2003). 이와 같이 타당도는 흔히 도구의 퀄리티를 '증명attest'하고 입학부터 실무에 이르기까지 높은 보건 전문직 교육에서 고부담 평가의 사용을 정당화하기 위해 사용된다. 다른 말로 하자면, [무엇이 타당한가]에 대한 결정이 개인과 사회에 영향을 미치기 때문에, 타당도는 다른 사람들에게 특정한 도구, 분석 절차 또는 시험 점수가 높은 품질 기준을 충족한다는 것을 확신시키기 위해 사용되는 수사학적 '갓-텀'(Lingard 2009)이 되었다.

Validity is generally considered a beacon of quality assessment, informing the choice of concepts measured, assessment tools developed, analytic approaches used, and interpretation of assessment results (AERA et al. 1999). That is, ‘‘Validity is the sine qua non of assessment, as without evidence of validity, assessments in medical education have little or no intrinsic meaning’’ (Downing 2003). As such, validity is often used to ‘attest’ to the quality of tools and to justify the use of assessments in health professions education where stakes are high from admissions to entry into practice. In other words, because decisions about what is considered valid impact upon individuals and society, validity has become a ‘god term’ (Lingard 2009) that is used rhetorically to convince others that particular instruments, analytic procedures, or test scores collected meet high standards of quality.

그러나 최근 몇 가지 리뷰에서 문서화한 바와 같이, HPE(Health Professions Education) 내에서 '타당도'이라는 용어를 사용하는 방식에는 명백한 불일치가 있다(Cook et al. 2013, 2014). 그러한 가변성을 지적하는 작가는 일반적으로 (적어도 암묵적으로) 이러한 불일치의 원인이 현대 이론과 타당도에 대한 접근에 관한 무지에 의한 것이라고 가정한다. 그러나 타당화 관행의 variability는, 부분적으로, 서로 다른 영역의 사람들에게, 서로 다른 방식으로 가치를 제공하는, 서로 다른 타당도의 개념화로부터 발생할 수 있다고 생각할 수 있다.

There is clear inconsistency, however, in the way the term ‘validity’ is used within Health Professions Education (HPE), as documented by several recent reviews (Cook et al. 2013, 2014). Authors who point to such variability commonly assume (at least implicitly) that it is driven by ignorance regarding modern theories and approaches to validity. It is conceivable, however, that the variability in validation practices could arise, in part, from different conceptualizations of validity that provide value to those who work in health professions education in different ways.

HPE은 교육심리학, 측정학, 사회학, 실험심리학 등 여러 분야의 전문가로부터 지속적으로 정보가 유입되는 응용분야로, 이 모두가 분야의 방법론적, 개념적 풍요로움에 기여한다. 그러나 이러한 '풍요로움richness'은 [타당도의 상이한 개념화]를 유발하고, 이는 서로 다른 우선순위로 이어질 수 있으며, 따라서 혼동, 오해, 갈등을 유발할 수 있는 다수의 해석과 이해의 원인이 될 수 있다.

Health professions education is an applied field full of practitioners that is continuously informed by many different disciplines, including educational psychology, measurement, sociology and experimental psychology, all of which contribute to the methodological and conceptual richness of the field. This ‘richness’, however, may lead to different priorities that are supported by differing conceptualizations of validity, thereby generating multiple interpretations and understandings that have the potential to create confusion, miscommunication, and conflict.

타당도에 대한 [묵시적 개념화]와 [상이한 개념화]의 공존은 문제가 있다. 왜냐하면 HPE에서 매일 중대한 결정이 평가 점수의 '퀄리티'에 크게 의존하는 방식으로 이뤄지기 때문이다(예: 개인이 자신이 선택한 직업에 접근할 수 있는 능력, 잘못 인지된 상황에 직면했을 때 법적 상환legal recourse, 그리고 가장 일반적으로 그리고 중요한 것은 환자가 받는 치료의 질이다.) 평가 점수의 '방어가능성'과 그러한 점수의 '정확성'에 대한 개념은 생산된 점수의 타당도에 관한 논쟁에 강하게 놓여 있다.

The co-existence of implicit and different conceptualizations of validity is problematic because important decisions are made every day within the health professions that rely heavily on the ‘quality’ of assessment scores (e.g., individuals’ access to a career of their choice, legal recourse when faced with perceived fault, and most generally and importantly, the quality of care received by patients). Notions of the ‘defensibility’ of assessment scores and the ‘accuracy’ of such scores rest strongly on arguments regarding the validity of the scores produced.

목적

Purpose

이 연구의 주된 목적은 담화 분석을 사용하여 보건 직업 교육에서 '타당도'이라는 용어가 사용되는 다양한 방법을 식별하는 것이었다.

The primary purpose of this study was to use discourse analysis to identify the different ways in which the term ‘validity’ is used within health professions education.

방법

Method

설계

Design

우리의 연구는 담론 이론(Mills 2004)에 기반을 두고 있으며, 따라서 담론 분석의 방법론을 채택하고 있다. 우리의 접근방식은 주로 Hodges 등이 '경험적 담화 분석'라고 명명한 것을 따르고 있으며, 보건 직업 교육 문헌의 텍스트와 언어로 타당도가 구성되는 방법에 일차적으로 초점을 맞추고 있다.

Our research is based on discourse theory (Mills 2004) and thus employs a methodology of Discourse Analysis. Our approach is primarily what Hodges et al. (2008) have labeled ‘empirical discourse analysis’—having a primary focus on ways validity is constructed in text and language in the health professions education literature.

자료(아카이브)

Data (Archive)

토론 분석은 관심의 소지를 식별하기 위해 분석되는 텍스트 및 기타 자료의 식별에서 시작된다(Hodges et al. 2008). 우리는 주로 우리의 연구 기록보관을 보건직 교육원들로 제한했다. 그 목적은 그 분야에서 일하는 사람들에 의해 어떻게 그 건축물이 변형적으로 사용되는지를 탐구하는 것이기 때문이다.

Discourse analysis begins with identification of an archive—the textual and other materials that are analyzed to identify discourses of interest (Hodges et al. 2008). We predominantly restricted our study archive to sources from health professions education because the purpose was to explore how the construct is variably used by people working in that field.

이 연구를 위해 조립된 기록보관소는 4단계 과정으로 구축되었으며, 타당도와 평가를 주제로 한 영어와 프랑스어 출판된 동료 검토 논문과 책으로 구성되어 있다.

The archive assembled for this research was constructed in a four-step process and is comprised of English and French published peer-reviewed articles and books on the topic of validity and assessment.

1단계 본 논문의 모든 저자들은 프레임 평가 관행 측면에서 '매우 중요'하다고 간주한 개인 소장품으로부터 보건 전문직 교육 분야의 타당도와 평가에 관한 5개 내지 6개의 주요 논문을 식별했다. 한 작가(CSO)는 이 텍스트를 비판적으로 검토하여 새로운 언어와 타당도에 대한 개념을 식별하였다.

Step 1 All authors of this paper identified five to six key papers on validity and assessment in the field of health professions education fromtheir personal collection that they considered to be ‘very important’ in terms of framing assessment practices. One author (CSO) reviewed the texts critically to identify emerging language and concepts about validity.

2단계 이 문서 모음에서 인용한 내용은 이차 출처를 포함하도록 아카이브를 확장하기 위해 검토되었다. 한 작가(CSO)는 새롭게 대두되는 담론을 추가로 파악하기 위해 이 텍스트들을 검토했다.

Step 2 The references from this collection of papers were examined to expand the archive to include secondary sources. One author (CSO) reviewed these texts in order to further identify emerging discourses.

3단계 PubMED, ERIC 및 PsycINFO/PsycLit을 사용하여 보건 전문직 교육 문헌에 대한 보다 공식적인 검색을 포함하며, 학술적 사서의 도움을 채용했다. 이 검색의 목표는 1995년에서 2013년 사이에 건강 전문직 교육에서 '평가 타당도'을 주제로 출판된 더 큰 기사의 집합을 확인하는 것이었다. 검토는 전통적인 체계적 검토를 수행하기 보다는 보관소의 폭과 범위를 증가시킬 목적으로 잘린truncated 키워드를 사용하여 실시되었다(valid*, assess*). 즉, 목표는 이 검색으로 포괄적이거나 매우 정밀한 포함/제외 기준을 설정하는 것이 아니라 가능한 한 많은 타당도 개념화를 포함하는 것이었다. 기록보관소에 대해 고려되기 위해서, 기사는 보건 직업 교육 분야에서 평가의 맥락에서 타당도 문제를 다루어야 했다.

Step 3 Involved a more formal search of health professions education literature using PubMED, ERIC, and PsycINFO/PsycLit, employing the assistance of an academic librarian. The goal of this search was to identify a larger set of articles, published between 1995 and 2013, on the topic of ‘validity of assessment’ in health professions education. The review was conducted using the truncated key words valid* and assess* with the intention of increasing the breadth and coverage of the archive rather than with the aim of undertaking a traditional systematic review. In other words, the goal was not to be comprehensive with this search or to set very precise inclusion/exclusion criteria, but was to be as inclusive of as many validity conceptualizations as possible. To be considered for the archive, an article had to address the topic of validity in the context of assessment in the field of health professions education.

4단계 위에서 언급한 검색은 2013년부터 2015년까지 주요 작성자가 설정한 콘텐츠 경고 표에 의해 플래그가 표시된 텍스트로 보완되었다. 한 저자(CSO)는 이러한 목표를 염두에 두고 논문의 포함/제외를 평가하기 위해 문헌검색에서 검색된 모든 제목과 추상화를 검토하였다.

Step 4 The above mentioned search was complemented by texts from 2013 to 2015 flagged by Table of Content alerts set by the principal author. One author (CSO) reviewed all titles and abstracts retrieved from the literature search to assess the inclusion/exclusion of papers with these goals in mind.

절차

Procedure

분석

Analysis

분석은 반복적이었으며, 연속적인 각 단계에서 순차적으로 담론표를 작성했고, 팀의 집단적 및 개별적 전문지식(추후 기술)과 그 결과로 나타나는 내재적 관점을 통해 이를 알게 되었다. 담론의 요소(핵심어, 개념, 주장, 관련 개인과 제도)가 더욱 명확하게 규명됨에 따라 결국 표 1의 구축으로 이어지는 패턴으로 분류되었다.

The analysis was iterative, building the discourse table sequentially at each successive stage and it was informed by the team’s collective and individual expertise (that are subsequently described) and the inherent perspectives that result. As elements of discourse (key words, concepts, arguments, associated individuals and institutions) were more clearly identified, they were sorted into patterns that eventually led to the construction of Table 1.

결과

Results

연구된 기록 자료에서 세 가지 다른 담론이 확인되었다. 

(1) 시험 특성으로서의 타당도, 

(2) 논쟁 기반 증거-체인으로서의 타당도, 

(3) 사회적 의무로서의 타당도.

Three different discourses were identified in the archival materials studied: (1) Validity as a test characteristic, (2) Validity as an argument-based evidentiary-chain and (3) Validity as a social imperative.

• 시험 특성으로서의 타당도는 타당도가 도구의 본질적 속성이며 따라서 내용 및 문맥에 독립적인 것으로 보일 수 있다는 개념에 의해 뒷받침된다.

Validity as a test characteristic is underpinned by the notion that validity is an intrinsic property of a tool and could, therefore, be seen as content and context independent.

• 주장에 기초한 증거-체인으로서의 타당도는 타당도가 도구/장치에 속하지belong 않도록 지속적인 분석을 통해 평가 결과의 해석을 지원하는 것의 중요성을 강조한다. 프로세스 기반 검증(타당도란 목표가 아니라 여정)이 강조된다.

Validity as an argument-based evidentiary-chain emphasizes the importance of supporting the interpretation of assessment results with ongoing analysis such that validity does not belong to the tool/instrument itself. The emphasis is on process-based validation (emphasizing the journey instead of the goal).

• 사회적 의무로서의 타당도는 긍정적이든 부정적이든 개인과 사회 수준에서 평가의 결과를 예견한다.

Validity as a social imperative foregrounds the consequences of assessment at the individual and societal levels, be they positive or negative.

시험의 특성으로서 타당도

Validity as a test characteristic

이 담화에서 타당도는 흔히 "시험이 실제로 측정하고자 하는 것을 측정하는 정도"로 정의된다(Anastasi 1988, 페이지 28). 문자 그대로 액면가로서 그러한 정의는 타당도 주장을 도구 자체의 특성(즉, 본질적으로 도구에 속하는 것)에 대한 진술로 취급한다. 이와 같이 도구에 내재된 속성으로서의 타당도는 내용, 컨텍스트, 시간이 바뀌어도 유지된다. 종종 이 담론과 연관되어 발견되는 개념은 "시험은 상관관계가 있는 모든 것에 대해 타당valid하다"(길포드 1946, 페이지 429)라는 문장에서 예시된 개념이다. 이 담론을 사용하여 도구가 '타당한' 것으로 '낙인 찍히면' 그 도구는 그 품질을 무한정 유지하는 것처럼 취급된다.

In this discourse, validity is often defined as ‘‘the degree to which the test actually measures what it purports to measure’’ (Anastasi 1988, p. 28). Taken literally and at face value, such a definition treats claims of validity as statements about a characteristic of the tool itself (i.e., something that inherently belongs to the tool). As such, validity as a property inherent in a tool spans domains of content, context, and time. Often found associated with this discourse is a concept illustrated by the statement: ‘‘a test is valid for anything with which it correlates’’ (Guilford 1946, p. 429). Once a tool is branded as ‘valid’ using this discourse, the tool is treated as though it retains that quality indefinitely.

따라서 시험 특성으로서의 타당도는 그 도구를 승인해주는 '금도장'으로 생각할 수 있다. 예를 들어, 이 담론을 사용하는 사람들은 MCQ(다중 선택 질문)가 지식의 타당한 척도라고 말할 수 있다. 따라서 그들은 필기 시험을 만들 때 주어진 형식을 따르는 것만으로도 방어될 수 있다. 다음은 타당도의 '골드 씰'을 달성한 것으로 프레임된 도구에 대한 사례 몇 가지이다.

Validity as a test characteristic, therefore, can be thought of as a ‘gold seal of approval’. As an example, those employing this discourse would say that Multiple Choice Questions (MCQs) are a valid measure of knowledge, full stop. Thus they can be defended as the goto format when creating written exams. Here are a few examples of claims about tools that are framed as having achieved a ‘gold seal’ of validity:

증거는 JSE[Jefferson Scale of Empathy]가 의료 분야에서 의대생과 의사에게 타당valid하고 신뢰할 수 있는 공감의 척도가 된다는 것을 보여주었다. (Van Winkle et al. 2013, 페이지 219 - 저자)

Evidence has shown the JSE [Jefferson Scale of Empathy] to be a valid and reliable measure of empathy in medical students and physicians in the context of healthcare. (Van Winkle et al. 2013, p. 219 -emphasis by authors)

타당도를 도구의 품질로 간주하는 경우, 주어진 영역(지식, 기술, 전문성 등)에 대해 [가장 타당한 것으로 보일 수 있는 하나의 우수한 도구가 있을 수 있는 가능성]이 열린다. 따라서 이러한 담론은 측정하려는 내용이나 능력과는 무관한, '최고의' 평가 도구를 식별하기 위한 탐색, '성배'를 찾기 위한 퀘스트를 가능하게 한다.

When one considers validity to be a quality of a tool, the door is opened for the possibility that for any given domain (knowledge, skills, professionalism, etc.) there could be one superior tool that could be shown to be the most valid. Thus, this discourse makes possible the quest for ‘holy grails’ of assessment, a quest to identify the ‘best’ assessment tools, independent of content or ability to-be-measured.

MCQ 테스트는 서면 평가의 가장 효율적인 형태로서, 콘텐츠의 광범위한 적용범위에 의해 신뢰성과 타당도를 갖는다. (McCoubrie 2004, 페이지 711 - 저자 강조)

MCQ testing is the most efficient formof written assessment, being both reliable and valid by broad coverage of content. (McCoubrie 2004, p. 711 -emphasis by authors)

흥미롭게도, 우리는 시험적 특징으로서의 타당도의 담론을 비판적으로 평가하는 일부 사람들은 이를 '구식', '논쟁적', '가치 결여'라고 주장한다.

Interestingly, we found that the discourse of validity as a test characteristic is judged harshly by some who argue that this view is ‘antiquated’, ‘controversial’, or ‘lacking in value’.

우리는 종종 '타당화된 도구'라는 말을 듣는다." 이 개념화는 그 도구가 타당하거나 그렇지 않다는 이분법을 암시한다. 이 견해는 부정확하다. 첫째로, 타당도는 추론의 속성이지, 기구가 아니라는 것을 기억해야 한다. 둘째, 해석의 타당도는 항상 정도의 문제다. 도구에서 얻은 점수는 기초 구조를 더 정확하거나 덜 정확하게 반영하지만 결코 완벽하지 않다. (Cook and Beckman 2006, p. 166e10)

We often read about ‘‘validated instruments.’’ This conceptualization implies a dichotomy—either the instrument is valid or it is not. This view is inaccurate. First, we must remember that validity is a property of the inference, not the instrument. Second, the validity of interpretations is always a matter of degree. An instrument’s scores will reflect the underlying construct more accurately or less accurately but never perfectly. (Cook and Beckman 2006, p. 166e10)

타당도 범주를 고려할 때, 타당도 증거는 다양한 정도까지 존재한다고 이해되지만, 평가가 '타당하다'라고 할 수 있는 threshold는 없다. (벡먼 외) 2004, 973쪽

When considering categories of validity, it is understood that validity evidence exists to various degrees, but there is no threshold at which an assessment is said to be valid. (Beckman et al. 2004, p. 973)

그러나 보건 전문직 교육 문헌에 이러한 타당도 담론이 지속적으로 존재함에 따라 '즉각적 해결책'이 필요한 개인(예: '타당한' 평가 프로그램, 도구, 접근법을 새로 만들려는 열망/지식/자원이 없는 교육자와 관리자)가 필요로하는 실용적 필요성을 충족시킬 수 있음을 시사한다. 타당도의 담론을 시험 특성으로 사용하면, 자원이나 심리학적 전문지식이 부족한 상황에서도, 퀄리티가 높다고 보고된 도구를 사용하여 평가와 관련된 과제를 극복할 수 있기 때문이다. 즉, '이미 발견된found' 해결책의 사용이 가능한 것이다.

However, the continued presence of this discourse of validity in the health professions education literature suggests that it may fill a pragmatic need for individuals who require ‘off-the-shelf solutions’ (e.g., educators and administrators who do not have the desire, knowledge, or resources to create ‘valid’ assessment programs, tools, or approaches de novo). Using the discourse of validity as a test characteristic permits the possibility of ‘found’ solutions to overcome the challenges associated with assessing students and future professionals using tools reported to be of high quality in a context of limited resources or limited psychometric expertise.

...대학 차원의 가용자원으로 타당하고 신뢰할 수 있는 역량 평가를 개발하기는 쉽지 않다.(로버트 외 2006, 저자의 542 강조)

…Developing a valid and reliable assessment of competence is not easy to achieve with the resources available at the university level. (Roberts et al. 2006, p. 542 emphasis by authors)

우리는 타당도를 시험의 내재된 특성으로 강조함으로써 다른 효과에 대해 추측할 수 있다. 시험의 불변성 속성으로서의 타당도는 평가 실무자에게 잘못된 안전의식을 심어줄 우려가 있다. 평가자는 평가도구의 '금도장gold seal'에 대해 의문을 제기하거나 다시 확인해볼 필요성을 전혀 느끼지 못할 수 있다. 예를 들어, MCQ 시험 형식을 사용하는 것은, 할라디나 등 2002년에 제시된 것과 같은 항목 작성 지침이나 MCQ가 사용되는 맥락적 성격을 고려하지 않고 '타당하다valid'(McCoubrie 2004)고 들었기 때문이다. 이런 것이 이 담론에 존재하는 사각지대의 사례이다. 마찬가지로 적절한 청사진이나 문제가 있는 시나리오에 대한 주의vigilance 없이 OSCE나 MMI와 같은 평가 접근방식을 배치하는 것을 선택하는 것은 맥락적으로 의미 있는 평가를 달성하려는 [원래 의도했던 목적]을 어렵게 만들 수 있다(Eva 및 Macala 2014). 더욱이 원래 연구한 용도 이외의 목적으로 또는 원래 맥락을 넘어서는 목적으로 시험을 사용하는 것도 (부정적) 결과를 초래할 수 있다.

We can speculate about some of the effects of emphasizing validity as a test characteristic over other discourses of validity. Validity as an immutable property of a test has the potential to create a false sense of security for assessment practitioners, who may never feel the need to question or re-evaluate an instrument’s ‘gold seal’. Using an MCQ exam format, for example, because it is said to be ‘valid’ (McCoubrie 2004) without consideration for item-writing guidelines such as those put forward in Haladyna et al. 2002), or the nature of the context in which the MCQs are used, is an example of such a blind spot. Similarly, choosing to put in place an assessment approach like OSCEs or MMIs without proper blueprinting strategies or without vigilance for problematic scenarios may defeat the intended purpose of achieving a contextually meaningful assessment (Eva and Macala 2014). Moreover, using tests beyond their original contexts or for purposes other than the originally studied uses can have consequences.

잘못된 인간에 대한 측정:

IQ 테스트가 지능을 하나의 탈맥락화된 점수로 수량화할 수 있다는 전제를 가지고 이뤄진 결과, 어떻게 새로운 맥락(이민 목적 등)에서 사용된 다음, IQ 점수에 근거하여 특정 인종-민족 집단을 '지능이 낮은 사람'으로 표기하는 등의 부적절한 결론을 도출해 왔는가.

The Mismeasure of Man: 

how the IQ test, based on the premise that intelligence can be quantified in a single, decontextualized score, has been used in novel contexts (such as for immigration purposes) to draw inappropriate conclusions such as labelling of entire ethno-cultural groups as ‘less intelligent’ based on test scores.

인수 기반 증거-체인으로서의 타당도

Validity as an argument-based evidentiary-chain

이 담론을 사용할 때, 타당도는 논쟁 기반 증거-체인으로 구체화되며, "평가 결과에 할당된 의미나 해석을 뒷받침하거나 반박하기 위해 제시된 증거"로 정의된다(2003년, 페이지 830). 이 담론에서의 타당도는 때때로 (이전의 담론에서와 같이) 특정 도구에 초점을 맞추지만, 타당도 자체는 매우 맥락의존적으로 본다. 여기서는 타당도 확인 프로세스를 통해 달성할 수 있는 점수의 타당한 해석에 초점을 맞추고 있다. 즉, 시행된 각각의 시험마다 (기초 이론/예측과 관련하여) 평가 결과의 해석을 뒷받침할 수 있는 충분한 증거가 있는지 검증한다. 여기서 명사 'validation'과 동사 'to validated'가 주로 나타나지만, 형용사 'validated'라는 문구는 절대 사용하지 않는다. 이는 평가되는 도구의 품질이 아니라 도구 사용의 적절성이라는 개념과 평가 프로세스를 구현하는 방식에 따라 시험자의 성과나 평가 점수에서 도출된 해석과 결론을 반영한다.

When this discourse is used, validity is framed as an argument-based evidentiary-chain and defined as ‘‘the evidence presented to support or refute the meaning or interpretation assigned to assessment results’’ (Downing 2003, p. 830). Though validity in this discourse does sometimes focus on particular tools (as in the previous discourse), validity itself is seen as highly contextual. The focus is on the valid interpretation of scores that can be achieved via a validation process used to verify that there is sufficient evidence in each administration of a test to support the interpretation of the assessment results in relation to the underlying theory/expectations. Here, the adjective ‘validated’ never appears while the noun ‘validation’ and the verb ‘to validate’ are common. This reflects the notion that it is not the quality of the tool that is judged but rather the appropriateness of the uses of the tool, and the interpretations and conclusions drawn from the examinees’ performance or assessment scores given the way the assessment process was implemented.

예를 들어, certification 시험의 타당화validation 프로세스는 임상 시뮬레이션을 주의 깊게 작성하고, 실제로 구현하며, 표준화했다는 문서화뿐만 아니라, 원하는 역량을 획득한 후보만 합격하고, 역량을 숙달하지 못한 후보만 시험에 불합격하도록 하는 것을 목적으로 할 수 있다. 그러나 중요한 것은 이 근거출처와 그에 기반한 certification 시험의 타당도 판단은 이 한 가지 사례에만 적용될 것이다. 그 다음에 사용할 때, 그리고 그 다음에 생성된 결과는 또 다른 타당도 검사를 필요로 할 것이다.

For example, a validation process for a certification exam might aim to document that clinical simulations were created carefully, implemented authentically, and standardized as well as ensuring that only the candidates who have acquired the sought after competences pass and only the candidates who do not master the competences fail the exam. Importantly, however, these sources of evidence and the determination of validity of the certification examinations would apply only to one instance of its use. Subsequent usages and the results generated would require repeated validation.

논쟁 기반 증거-체인으로 타당도 담론을 채택하는 사람들에게, 데이터/점수의 사용과 해석을 뒷받침하거나 반박하기 위한 증거를 제공하기 위해 '타당도'을 사용한다는 점에서 [과학적 방법]에 비유될 수 있다. 이 담론에서는 증거가 계속 축적되면서 결론이 바뀔 수도 있다고 인식한다. 따라서 타당도 과정을 평가 목적을 정의한 후 구현되는 여정으로 특징짓기도 한다. 타당화 과정의 목표는 검증 프로세스에서 가능한 한 많은 증거를 수집하고, 특정 테스트에서 생성된 데이터의 타당도 정도를 알려주는 변수/요소를 식별하는 것이다. 이 뿐만 아니라, 타당도 주장을 이해하고, 그 한계를 설정하는 것이다.

For those employing the discourse of validity as an argument-based evidentiary-chain, there is an analogy to the scientific method in that ‘validation’ is used to provide evidence to support or refute the use and interpretation of data/scores. There is also recognition that conclusions may change as evidence continues to accumulate. It is thus characterized by some as a journey on which one embarks after having defined the assessment purpose(s). The goal is to collect as much evidence as possible in a validation process and to identify variables/factors that inform the degree to which data produced by a particular test are valid but also to understand and set limits on claims of validity.

이 담론의 사용자들은, 이론에 근거한 평가 전략을 만든 다음, 관찰된 결과가 토대를 이루는underlying 이론의 예상 징후를 보여주는지를 평가하는 것을 목표로 한다.

Users of this discourse aim to create assessment strategies that are based on theories and then evaluate if the observed results show evidence of expected manifestations of the underlying theory.

이 담론은 타당화 접근법과 표준을 전면에 배치하며, 두 저자 메식(1995)과 케인(2006)은 이 담론의 anchor authorities으로 매우 자주 인용된다. 따라서 [논쟁 기반 증거 체인으로서의 타당도]는 [평가에 의해 생성된 점수의 품질에 대해 (권위 있게 말하고자 하는 경우) 적용할 일련의 규칙과 규정]을 만든다.

this discourse places validation approaches and standards at the forefront, and two authors—Messick (1995) and Kane (2006)—are very frequently cited as anchor authorities for this discourse. Validity as an argument-based evidentiary-chain thus creates a set of rules and regulations to be applied if one wants to speak authoritatively about the quality of the scores generated by an assessment.

이러한 담론은 타당도 및 검증 관행을 규제하는 교육 및 심리 테스트 표준 SERT (AERA 등 1999년), 교육 테스트 서비스 ETS 및 기타 기관과 같은 공식화된 평가 기관과 강하게 관련되어 있는 것으로 보인다. 더욱이, 이러한 기관들은 권장되는 관행recommended practice을 적용하고 집행하는 고도로 자격을 갖춘 사람들의 역할을 정당화한다.

This discourse appears to be strongly associated with formalized assessment institutions such as; the Standards for Educational and Psychological Testing (AERA et al. 1999), the Educational Testing Service, and others that regulate validity and validation practices. Moreover, these institutions legitimize the role of highly qualified people who apply and enforce the recommended practices.

이 타당도 담론을 과도하게 강조할 때 발생할 명백한 결과는 [검증 과정이 절대 끝나지 않는 과정이 될 것]이라는 점이다(Bertrand and Blais 2004). "타당도 및 평가 검증 및 개정'은 절대 끝나지 않는 사이클이다(Beckman 등). 2009년, 페이지 188)". 게다가, 점수 해석을 위해 다른 형태의 증거들을 어떻게 따져볼지에 대한 명확한 규칙이 없는 것 같다. 따라서 [수집된 타당도 근거와 새로운 점수 해석]을 해석하고 통합할 필요가 있기 때문에, QA 프로세스에 지속적으로 engage해야만 한다(Cook et al. 2015).

An apparent consequence of an over-emphasis of this discourse of validity is that the validation process would become a never-ending process (Bertrand and Blais 2004): ‘‘validity and assessment validation and revision is a never-ending cycle’’ (Beckman et al. 2009, p. 188). In addition, there appear to be no clear rules about how to weigh the different forms of evidence for different score interpretations. Thus, one can remain engaged in a continuous quality assurance process with the need to interpret and incorporate each new piece of validity evidence collected and each new score interpretation (Cook et al. 2015).

마지막으로, 이러한 담론을 강조함에 따른 또 다른 결과는, '내용 전문가content exprt'들이 실제로 좋은 성과를 정의하는 것이 무엇인지를 '알고' 있지만, (보다 공식화된 검증 프레임워크에 따르려면) 이들의 판단은 증거체인에서 relevant하거나 reliable해보이지 않기 때문에 평가 과정에서 저평가될 수 있다는 것이다. 즉, [타당도의 근거로 간주되는 것을 너무 협소하게 바라볼 경우], 자신의 전문직을 규제할 책임이 있는 전문가에게 상황에 맞춘 적절하고 중요한 평가 전략의 결정능력이 주어지지 않을 수 있다.

Finally, one further consequence of emphasizing this discourse is that little consideration may be given to content experts who feel that they ‘know’ what defines good performance in practice but who may become undervalued in the assessment process because their judgement does not seem relevant or reliable in the evidentiary-chain according to the more formalized validation frameworks. In other words, the professionals who are responsible for regulating their own profession may experience lessened capacity to determine contextually appropriate and important strategies for assessment if too narrow a lens is placed on what counts as evidence of validity.

검증의 증거-체인을 지원하기 위해 데이터를 수집하는 데 시간과 리소스가 필요하다. 이것은 임상 실습과 교육에서 최전선에서 일하는 사람들에게 어려울 수 있다. 그들은 또한 (더 많은 적시point-in-time 시험 전략을 위해 수집할 수 있는 증거의 덩어리를 모으는 것이 더 어려운) '주관적subjective' 또는 '관찰적observational'으로 보이는 평가를 채택할 때 저항에 직면할 수 있다.

Time and resources are required to collect data to support an evidentiary-chain of validation. This may prove difficult for those working at the front lines in clinical practice and education settings. They may also face resistance when employing assessments that are seen as ‘subjective’ or ‘observational’ for which it is more difficult to assemble the mass of evidence that can be gathered for more point-in-time testing strategies.

사회적 의무로서의 타당도

Validity as a social imperative

사회적 의무으로서의 타당도는, 개별적으로 취했을 때, 대부분의 독자들에게 친숙하게 보일 수 있는 몇 가지 요소들로 새롭게 부상하는 담론이다. 이 담론은 처음 두 가지 담론보다 새로이 등장한 것으로, 다양한 종류의 전문성, 관점, 이해관계자(관리자, 연구원, 정책 분석가 등)의 역할을 강조한다. 사회적 의무로서의 타당도는 개인 및 사회 수준에서 평가의 결과에 대한 신중한 고려를 포함하는 평가에 대한 사회 주도적 관점으로 나타났다. 이러한 담론은 보다 광범위한 개인 및 사회 문제를 전망함으로써, 특정 도구에 대해 한 가지만 고려하지 않고sole consideration, 이를 뛰어넘는 '조감도'를 취한다는 것이 특징이다. 

Validity as a social imperative is an emerging discourse with several components that, when taken individually, may seem familiar to most readers. This discourse is newer and informed by different kinds of expertise, perspectives, and stakeholders (administrators, researchers, policy analyst, etc.) than the first two discourses. Validity as a social imperative appeared in our archive as a socially driven perspective on assessment that includes calls for deliberate consideration for the consequences of assessment at both individual and societal levels. This discourse appears to be characterized by taking a ‘bird’s eye view’ of assessment that foregrounds broader individual and societal issues and that goes beyond the sole consideration of specific tools.

시험의 결과에 주의를 기울이는 것은 반드시 이 신흥 담론에만 국한되는 것은 아니며, 위에서 설명한 타당도의 증거적 개념과 더 일반적으로 관련이 있는 저자를 찾을 수 있다. 어느 정도, 사회적 의무로서의 타당도는 증거-체인으로서의 타당도에서 뻗어나온 결과물outgrowth일 수 있다. 우리가 [사회적 의무]를 별개의 담론으로 식별하려는 이유는, '사회적 의무'로 타당도를 사용하는 사람들은 [평가 개발 및 검증 프로세스 전반에 걸쳐 나타나는 평가의 사회적 결과]를 특히 중요시하는 것처럼 보이기 때문이다. 이와는 대조적으로, 증거-체인 담론에 포함되는 경우, 평가의 결과는 많은 변수 중 하나일 뿐이며, 일반적으로 전혀 고려되지 않을 경우 사소한 변수일 뿐이다. 또한 사회적 의무로서의 타당도의 담론은 학습자를 넘어 보다 거시적 사회 수준에서 영향을 포함하도록 평가 결과의 개념을 확장시킨다.

Giving attention to the consequences of a test is not necessarily unique to this emerging discourse and can be found authors who are more commonly associated with the evidentiary-chain notion of validity described above. To some degree, validity as a social imperative may be an outgrowth of validity as an evidentiary-chain. Our argument for identifying it as a discrete discourse arises from the observation that those who employ validity as a social imperative seem to foreground social consequences of assessment throughout assessment development and validation processes. By contrast, when included in the evidentiary-chain discourse, consequences of assessment are just one of many variables, usually a minor one if considered at all. This discourse of validity as a social imperative also expands the idea of consequences of assessment beyond learners to include impacts at a more macro societal level.

...참가할 가치가 있는 10%를 선정하는 과정에서(따라서 사회에서 존경받고 보수가 좋은 자리를 보장한다) 우리는 나머지 90%에게 그들이 가치 없는 사람이고, 그들이 충분히 좋지 않으며, 개인적인 결함을 가지고 있다고 말하고 있다. (노먼 2004)

…in the course of selecting the 10 % who are worthy of admission (and hence guaranteed an esteemed and well-paid place in society), we are telling the other 90 % that they are unworthy; that they are not good enough, that they have personal failings. (Norman 2004)

이러한 타당도 담론을 채택하는 사람들은 평가 목적에 대한 프로그램적 관점에 부합하는 경향이 있기 때문에, 이 담론의 지지자들은 사후 분석에는 주의를 덜 기울이는 것 같다. 오늘날 작가들은 평가를 도입하기 전에 [평가 전략의 개념적 계획 및 평가에 대한 목적적 접근의 우선 순위 지정을] 더욱 강조해 왔다. 또한 평가 후에는 [(평가 수행 후 문제를 식별하고 해결하는 데 초점을 맞춘) 평가의 품질에 대한 분석적 점검]보다 [의도하지 않은 결과의 최소화]를 강조해왔다. 예를 들어, 개별 평가 도구에 의해 생성된 데이터에서 시험 데이터가 결합되는 방식으로 강조점이 이동하기도 한다. 

Because those who adopt this discourse of validity tend to align themselves with a programmatic perspective on the purpose of assessment, proponents of this discourse seem to give less attention to post hoc analyses. Writers today have put greater emphasis on conceptual planning of an assessment strategy and prioritizing a purposeful approach to assessment by using tools and strategies a priori (prior to its administration) and minimizing unintended consequences over analytic checking of the quality of assessment results a posteriori, practices that focus on identifying and addressing issues post administration. For example, there is also a shift in emphasis from data generated by individual assessment tools to the way in which testing data are combined.

[(거의) 완벽한 평가도구의 조합]보다 오히려 [덜 완벽한 평가도구의 세심한 결합]이 결과적으로는 더 나을 것이다. 즉, 중요한 것은 있는 것은 빌딩블록의 퀄리티 뿐만 아니라, 빌딩블록을 결합하는 방식이다. (슈워스와 반 데르 블뤼텐 2012, 페이지 39)

A combination of (near-) perfect instruments may result in a weaker programme than a carefully combined set of perhaps less perfect components. In other words, it is not only the quality of the building blocks that is relevant, but also the ways in which they are combined. (Schuwirth and van der Vleuten 2012, p. 39)

이것은 사후 심리측정학 분석 데이터가 중요하지 않다고 말하는 것은 아니다. 다만, 사후 심리측정적 분석은 평가 전략의 복잡성을 완전히 파악하지 못하는 것 같다.

This is not to say that post hoc psychometric analytic data are not important. However, they seem unable to fully capture the complexity of assessment strategies

따라서, [학습자가 평가에 지불하는 비용]과 [사회와 실무자 모두가 경험할 수 있는 편익] 사이의 균형을 잡으려는 맥락에서 판단해야 한다.

and as such, they must be considered in the context of striving for balance between the costs of having learners submitted to the assessment and the potential for benefits to be experienced by both society and the practitioner.

심리측정적 접근방식은 [의료 전문가에게 점점 더 필수적이라고 여겨지는 상위 수준의 역량을 평가하기에는], 특히 이 역량을 [authentic context에서 분리하여 의미 있게 평가할 수 없다는 점]에서, 너무 환원주의적이다 (Kuper 등 2007). (Beendonk 외 2013, 페이지 560)

[…] the psychometric approach is considered to be too reductionist (Huddle and Heudebert 2007) for the assessment of higher order competencies, which are increasingly deemed to be essential for medical professionals but cannot be meaningfully assessed detached from the authentic context (Kuper et al. 2007). (Berendonk et al. 2013, p. 560)

넓은 사회과학적 관점에서 볼 때, 전통적인 OSCE 타당도 조사는 약간 좁았다. ...OSCE는 맥락의존적이고, 잠재적으로 formative하며, 권력, 경제, 문화의 관계와 같은 사회학적 변수의 영향을 많이 받는 복잡한 사회적 사건이다. (호지 2003, 페이지 253)

From the vantage point of a broad social-science perspective, traditional OSCE validity research has been a bit narrow. …OSCEs are complex social events that are highly contextual, potently formative and heavily influenced by sociological variables such as relations of power, economics and culture. (Hodges 2003, p. 253)

본질적으로, 이 담론은 관심의 초점을 [도구나 검증 과정의 속성]에서 [학습자와 사회를 위하여 평가가 지향해야 하는 목적]으로 이동시킨다.

In essence, this discourse shifts the focus of attention from the properties of the tool or the validation process to the desired purpose of assessment for the learner and for society.

평가의 교육적 가치는 쉽게 과소평가된다. 대부분의 학습자가 평가의 요구 사항을 발견하고 충족하는 데 능숙하기 때문에 평가의 성격과 내용은 학생들이 채택하는 학습 전략에 강한 영향을 미친다. (크로슬리 외 2002, 페이지 800)

The educational value of assessment is easily underestimated. The nature and content of assessment strongly influences the learning strategies that students adopt because most learners are adept at spotting and meeting the requirements of an assessment. (Crossley et al. 2002, p. 800)

이러한 담론을 사용하는 개인들이 종사하는 교육 프로그램 및 조직에서는 [커리큘럼]과 [사회가 졸업생에게 기대하는 미래의 의료행위practice]에 부합하는 완전하고 포괄적인 평가 프로그램을 주장한다. (약점을 식별하는) 후향적인 관점이기보다는, 이는 (assessment practice 개선을 통한) 전향적인 관점이다.

Individuals that employ this discourse often work in training programs and organizations that claim ownership of a complete, comprehensive program of assessment aligned with the curriculum and the expectations of society for future practice (and in some cases certification) of graduates prospectively (through improving assessment practices) rather than retrospectively (through identifying weaknesses).

더욱이, 이러한 담론은 평가의 일치단결된concerted 발전을 중요시하기에, 프로그램적인 평가 개발을 지도guide하는 평가 위원회나 이사들의 필요성을 강조한다. 평가 도구와 접근법의 결정은 개별 코스를 담당하는 자 또는 개별 코스의 특이한 견해/책임을 가진 사람, 생성된 데이터의 타당도를 측정하는 사람에게 맡겨둘 것이 아니다.

Moreover, this discourse promotes concerted developments in assessment, thus creating the need for evaluation committees or directors that guide programmatic assessment development rather than leaving the selection of tools and approaches to the idiosyncratic views/abilities of those responsible for individual courses, or in the hands of those who measure the validity of data generated.

단순히 좋아 보이는 도구를 사용하게 놔둬서, 학생들의 미래를 바꾸는 life-changing decision을 내리는 것은 분명 용납될 수 없다는 것이 내 견해다(6). 그러나 그것은 반대 의견이다.(노먼 2015, 페이지 300, 301)작가에 의한 강조

My own view is that it is surely not acceptable to make life changing decisions about students’ future using instruments that simply look good (6). But that is one opinion against another. (Norman 2015, pp. 300, 301)—emphasis by authors

문헌에 따르면, 사회적 의무로서 타당도를 지나치게 강조하면 "대부분의 교육자들에게 물의를 일으킬 뿐만 아니라, 실제로 시험 사용의 의도된 결과와 의도하지 않은 결과에 대한 주의를 덜 기울일 수 있다"(Shepard 1997, 페이지 13). 일반적으로 이러한 타당도 형태와 관련된 데이터는 다양한 출처에서 얻으며, 양적 정보뿐만 아니라 질적 정보도 포함할 수 있다.

It has been suggested in the literature that an overemphasis on validity as a social imperative may ‘‘not only muddy the waters for most educators, it may actually lead to less attention to the intended and unintended consequences of test use’’ (Shepard 1997, p. 13). Typically, data related to this form of validity come from a variety of sources and may include qualitative as well as quantitative information.

좀 더 전통적인 것을 소홀히 할 가능성이 있지만 그럼에도 불구하고 유용한 정신측정학 모니터링은 특히 개별 도구의 퀄리티 수준에서 이루어진다. '큰 그림'만 보고 평가 도구(예: 항목 분석, 신뢰성, 합격률 등)에 의해 생성된 구체적인 데이터의 품질을 모니터링하는 시력을 상실할 경우, '신뢰할 수 없는' 검사나 불공정한 합격/불합격 점수를 중심으로 사각지대가 발생할 수 있다. 이 담론에서 심리측정적 분석은 타당도 확인의 중심적 접근방식은 아니지만, 적절히 사용할 경우 그 사용은 목적적합한 평가의 목표를 지원할 수 있다. 질적 데이터의 사용에 대한 강력한 접근방식이 이 담화(Kuper et al. 2007; Van Der Vleuten et al. 2010)에서 유용할 수 있다는 주장이 제기되었지만, 그렇게 하는 방법은 초기 단계에 머물러 있다.

there is the potential of neglecting the more traditional, but nevertheless useful psychometric monitoring a posteriori, particularly at the level of the quality of individual tools. If one attends only to the ‘big picture’ and loses sight of monitoring the quality of data generated by specific assessment tools (e.g., item analysis, reliability, pass rates, etc.), blind spots may develop around ‘unreliable’ examinations or unfair pass/fail cut scores. While in this discourse psychometric analysis is not the central approach to ascertain validity, its use may support the goal of purposeful assessment when used appropriately. It has been argued that robust approaches to the use of qualitative data could be useful within this discourse (Kuper et al. 2007; Van Der Vleuten et al. 2010), however methods to do so remain in their infancy.

고찰

Discussion

본 연구는 보건 직업 교육 및 평가의 특정한 맥락 안에서 "타당도"이라는 용어를 사용하는 것에 초점을 맞추었다. 기본적인 개념화와 무관하게, 타당도는 보건 직업 교육에 일반적으로 사용되며 높은 부하를 받는 용어임이 분명하다.

This study has focused on the use of the term ‘‘validity’’ within the specific context of health professions education and assessment. Independent of the underlying conceptualization, it is clear that validity is a commonly used -and highly loaded- term in health professions education.

• 타당도는 어떤 사람들에게는 도구가 특정 금본위제를 충족하였기 때문에 도구가 사용될 수 있거나 심지어 사용되어야 한다는 것을 나타내는 것처럼 보인다.

Validity seems to signify, for some, that a tool can or even should be used since it has met a certain gold standard.

• 다른 사람들에게는 점수 해석의 적절성을 보장하기 위해 진행되는 과정에 대해 말하는 것 같다.

For others, it seems to speak to the process put in place to ensure the appropriateness of the score interpretation.

• 어떤 그룹에게 타당도는 의도하지 않은 결과를 최소화하는 데 초점을 맞춘 학습자와 사회의 평가의 역할과 가치에 대한 고려사항에 관한 것으로 보인다.

For a third group, validity seems to be about the considerations for the role and value of assessment for learners and society with a focus on minimizing unintended consequences.

이러한 각 단점을 채택함으로써 얻을 수 있는 권력관계와 편익은 (부분적으로는) 공개된 타당화 관행에서 채택되는 프로세스와 시험testing 기관이 생성 및 승인한 지침에 의해 권장되는 프로세스 간의 관찰된 불일치를 설명할 수 있다.

The power relations and benefits gained by adopting each of these discourses may explain—in part—the observed discrepancies between the processes that are sometimes adopted in published validation practices and the processes recommended by the guidelines generated and endorsed by testing organizations.

[논쟁 기반 증거-체인의 담론]을 채택하는 사람들에게 신뢰를 받으려면, 특정 용어를 사용해야 하고, 이른바 '현대적' 타당도 이론을 언급해야 할 것으로 예상된다. 따라서 이 담론에 참여하는 한 가지 방법은 [기술 보유자 또는 적절한 언어와 기술을 익힌 사람]이 되어서, 타당도의 규칙과 규정(일반적으로 케인과 메시크에 관한 것)을 주장하는 것이다. 이들은 타당도 접근법을 권장하고 적용할 수 있는 힘을 가지고 있다. 즉, [논쟁 기반 증거-체인 담론]은 특정한 기술과 지식 기반을 가진 사람들이, 특정한 전문화된 직업을 갖는 것을 가능하게 한다. 또한 [선별된 그룹의 사람]만이 타당화 작업을 처리할 수 있는 전문 지식을 가지고 있다는 것을 암시하는 것으로 보인다.

To be credible to those employing the discourse of argument-based evidentiary-chain, one is expected to use a specific set of terminology and refer to what are called ‘modern’ theories of validity, as illustrated by the multiple reviews on the subject (Cizek et al. 2008, 2010; Cook et al. 2014, 2015; Wools and Eggens 2013). Thus, one way of participating in this discourse is as a skill holder or a person who has mastered the appropriate language and skills and, as such, lays claim to the rules and regulations of validation (usually in reference to Kane and Messick). Such individuals have the power to recommend and apply validation approaches. In other words, this discourse makes certain specialized jobs possible for people who have a specific skill set and knowledge base. It also appears to imply that only a select group of people have the expertise to tackle a validation task.

최근의 체계적인 검토를 살펴보면 '근대적 타당성 이론'의 채택이 늦어지고lag 있다는 점을 지적하고 비평한다(Cook et al. 2013, 2014). 이러한 담론이 지배적인 경우, 고도로 훈련된 개인이 평가 도구의 지속적인 타당도를 보장해야 함을 암시하는 경우가 많다. 결과적으로, (—제한적인 공식 훈련만 받은 —)'novices'가 평가 프로그램을 개발하고 모니터링해야 하는 상황에서,

• 그들은 같은 언어를 사용하지 않기 때문에 '외계인' 또는 '임포스터'로 인식될 수 있다. 

• 인가된 타당성 이론을 능숙하게 사용하지 못할 수 있다. 

• '전문가'에게 통상적이지 않거나 설득력이 없는 타당도 프로세스 근거를 제시할 수 있다.

Recent systematic reviews document and critique a ‘lag’ in uptake of ‘modern validity theories’ (Cook et al. 2013, 2014). Where this discourse is dominant, it is often implied that highly trained individuals are required to ensure the ongoing validation of assessment tools. Consequently, when ‘novices’—with limited formal training—are called upon to develop and monitor assessment programs, they 

• may be perceived as ‘outsiders’ or ‘impostors’ because they do not use the same language, 

• may not adeptly use sanctioned theories of validity, and 

• may put forward evidence during a validation process that is not conventional or convincing to a ‘professional’.

[사회적 의무로서의 타당도]와 같은 타당도에 대한 새로운 담론과 개념화가 등장하며, 다른 역할의 가능성이 대두되고 있다. 그리고 다음의 질문이 제기된다.

• 타당성이란 것은 무엇을 의미하는지(또는 어떤 담론이 합법적이라고 여겨지는지)에 대해서 판단할 수 있는(또는 허용되지 않는) 사람은 누구인가?

• 궁극적으로, '적절한' 평가라는 것은 무엇인가?

With new emerging discourses and conceptualizations of validity—such as validity as a social imperative—comes the possibility of different roles and, as such, calls into question 

• who is now allowed (or not allowed) to judge what validity means (or which discourse is considered legitimate) and 

• ultimately what is considered ‘appropriate’ assessment. 

이 세 번째 담론의 사용자는 정책 입안자, 교사 및 커리큘럼 및/또는 평가 프로그램 전문가를 포함한다. 세 번째 담론을 채택하는 사람들은 종종 시험 대상자를 옹호하거나(평가 대상자가 평가로부터 피해를 경험하지 않도록 해야 함), 사회 전반을 옹호함으로써(평가 프로그램이 프로그램의 가치와 사회의 요구에 부합되어야 함) 이러한 담론에 윤리적 요소를 끌어오는confer 경우가 많다.

Users of this third discourse might include policy makers, teachers, and curriculum and/or assessment program specialists. Those who employ this discourse often do so by advocating for those being tested (aiming to make sure that no harm is experienced by the learners from the assessment) or for society in general (by making sure that the programs of assessment are aligned with programs’ values and society’s needs) thus conferring on this discourse an ethical quality.

Validation의 초점을 바꾸려는 생각에 어떤 사람들이 예민하게 반응하는 것은 놀랄 일이 아니다. (본 논문의) 개발 단계에서 이 연구에 대해 다음과 같은 의견을 들었다(즉, 연구비 신청에 대응하여): 

"심리학적 관점에서, 나는 [타당도 개념화 연구]가 우리의 지식에 새로운 어떤 것도 추가할 수 있다고 생각하지 않는다. 타당도는 사회언어적 이슈에 근거하지 않는다. 그것은 경험적 자료와 현대/전통적인 심리학적 방법에 기반을 두고 있다."

it is not surprising that some individuals would react strongly to the thought of shifting the focus of validation, as exemplified by the following review received about this work at the development stage (i.e., in response to a grant application): 

‘‘From a psychometric perspective, I do not believe that [investigating conceptualizations of validity] can add anything new to our knowledge. Validity is not based on sociolinguistic issues; it is based on empirical data and modern/traditional psychometric methods.’’

우리가 '시험기 가진 특성'으로서 타당도(=첫 번째 담론)를 주장하는 사람을 만나지는 않았지만, 문헌에는 이러한 관점을 받아들이고 있음이 문헌상에는 명확히, 그리고 지속적으로 확인되며, 따라서 심리측정적 담론이 충족시켜주는 요구가 분명 존재한다. 우리는 분석에서 타당도의 담론과 관련하여 나타나는 두 가지 주요 역할, 즉 소비자와 생산자를 확인할 수 있었다. 즉, 이 담론은 [생산자(개별이든 조직이든)]가 ['타당화된validated' 도구를 필요로 하는 소비자]에게 [제품(테스트/평가 전략)]을 제공 및 판매하는 소비주의 철학을 선호한다.

While we did not encounter anyone laying claim to validity as a test characteristic, its clear and continued presence in the literature suggests both that many accept this perspective and that it fulfills a need. We could see in our analysis two major roles emerging in association with the discourse of validity as a test characteristic: consumers and producers. In other words, this discourse favours a consumerism philosophy in which producers (whether individuals or organizations) provide (and market) products (tests/ assessment strategies) to consumers who need ‘validated’ tools.

이 경우에 소비자는 개인(예: '쉘프 시험'을 사용하는 교수)이나 집단(예: 어떤 직업의 문지기로 라이선스 시험을 받아들이는 사회)가 될 수 있다. 소비자는 외부 출처에 근거하여 '사전에 이미 검증된' 평가 도구를 제공받고 싶어하며, 자신이 선택한 도구에서 생성된 데이터의 타당도에 대해 독립적으로 의문을 제기할 수 없거나(능력) 의문을 제기할 의사가 없을 수 있다(의지).

Consumers can be individuals (such as professors using a ‘shelf exam’) or collectives (such as a society that accepts a licensure exam as the gatekeeper of a profession). The consumers need to rely on external sources to provide them with ‘pre-validated’ assessment tools and may not be able or willing independently to question the validity of the data generated by those tools that they have taken up.

평가 도구가 '명성name'을 지닌다면 [이러한 형식의 타당도 담론을 채택하는 것은] 생산자(개별 연구자, 개발자 또는 조직)에게 매력적일 수 있으며, 그 후에 상업적 목적을 위해 학술적 영향, 브랜드 또는 저작권을 증명하는 데 사용될 수 있다. 이 기업가적 성격은 시험의 특성으로서 타당도의 담론을 촉진하기 위한 동기를 창출할 수 있다. 또한 기관은 판매 가능한 제품을 생산하기 위한 적절한 요소(즉, '타당화된 평가 도구')를 결합할 수 있을 때 이 담론을 사용함으로써 신뢰도나 힘을 얻을 수 있다.

Adopting this form of validity discourse may also be attractive to producers (individual researchers, developers, or organizations) when an assessment tool carries their name and then can be used to demonstrate scholarly impact, branded, or copyrighted for commercial purposes. This entrepreneurial dimension may create an incentive to promote the discourse of validity as a test characteristic. Institutions may also gain credibility or power from using this discourse when they can put together the appropriate ingredients to yield sellable products (i.e., ‘validated assessment tools’).

이번 연구에서 알 수 있듯이, 개개인이 최고의 품질 기준을 충족시키기 위한 평가를 밑바닥부터de novo 만들 수 있는 모든 자원을 가지고 있지 않을 수 있다는 점을 감안할 때, 타당도를 이러한 방식으로 개념화하는 것이 실용주의적 요구에 부응하는 것처럼 보인다. 

As indicated in our results, this conceptualization of validity does seem to answer a pragmatic need given that individuals might not have all the resources to create assessment de novo to meet the highest standards of quality. 

또 하나 또는 추가적인 설명은 담론이 임상학에서 '수입'되었다는 것이다. Clinical science에서는 고전적인 타당도 모델(또는 내용, 구성 및 준거 타당도)이 문헌에 남아 있으며(Mokkink et al. 2012; Portney 2000), 타당도를 임상에서 사용하는 평가 도구의 속성으로 간주한다.

Another or additional explanation is that the discourse was ‘imported’ from the clinical sciences in which the classical model of validity (or the validity trinity of content, construct, and criterion validity) is still present in the literature (Mokkink et al. 2012; Portney 2000) and in which we see validity as the property of a clinical assessment tool.

이 작업의 한계에는 특정 문맥에 대한 담화 분석을 집중하기로 선택한 것이 포함된다.

Limitations of this work include that we chose to focus our discourse analysis on a specific context—the scientific literature of health professions education.

결론

Conclusion

타당도는 보건 직업 교육에서 몇 가지 다른 의미를 가지고 있다. 이러한 의미들의 공통점은, 아마도 어떤 형태로든 타당도가 평가 개발 및 품질 모니터링에 대한 논의의 핵심이며, 그 중심에 있어야 한다는 암묵적 이해일 것이다. 본 연구에서 관찰된 담론은 보건 직업 교육에 영향을 미치는 다수의 병행적 분야와 분야의 타당도 개념 사용과 관련하여 발생할 가능성이 높다. 어떤 담론이 합법적이거나 지배적인 것으로 보이는 변화가 있었다면, 이는 [보건 직업과 다른 분야 사이의 관계 변화] 때문일 수 있다.

Validity has several different meanings in health professions education. What these meanings have in common, perhaps, is an implicit understanding that validity, in some form, is and should be at the heart of any discussion about assessment development and quality monitoring. It is likely that the discourses observed in this study arise in relation to usages of the concept of validity in a number of parallel disciplines and fields that influence health professions education. It may be that changes in which discourse is seen as legitimate or dominant can be traced to changing relationships between the health professions and other fields.

따라서, 타당도 개념을 채택하는 사람들에 대한 우리의 권고는 평가 도구와 프로그램의 가치 및 적절성에 대한 진술을 하기 전에 자신이 타당도에 대해 갖는 개념을 명시적으로 설명하는 것이다. 그렇게 한다고 해서 한 사람이 사용하는 담론의 한계가 없어지는 것은 아니며, 다른 담론을 채택한 경우에 관련될 타당도에 대한 함축도 피할 수 없다. 그러나 이는 타당도 개념이 비판적 성찰에서 자유롭지 않게 채택되지 않을 가능성을 증가시키고 따라서 현장이 현장에 영향을 미치는 불일치와 긴장을 해소하는 데 도움이 될 수 있다.

As such, our recommendation for those employing concepts of validity is to explicitly describe one’s conceptualizations before making statements of truth about the worth and/or appropriateness of assessment tools and programs. Doing so will not eliminate the limitations of the discourse one uses, nor will it avoid the implications for validity that would be relevant had a different discourse been adopted. It will, however, increase the likelihood that the notion of validity is not adopted free of critical reflection and might, therefore, help the field to bridge discrepancies and tensions that are currently impacting upon the field.

Lingard, L. (2009). What we see and don’t see when we look at ‘‘competence’’: Notes on a god term. Advances in Health Sciences Education, 14, 625–628.

Norman, G. (2015). Identifying the bad apples. Advances in Health Sciences Education, 20(2), 299–303. doi:10.1007/s10459-015-9598-9.

Schuwirth, L. W. T., & van der Vleuten, C. (2012). Programmatic assessment and Kane’s validity perspective. Medical Education, 46(1), 38–48. doi:10.1111/j.1365-2923.2011.04098.x.

Van Der Vleuten, C. P. M., Schuwirth, L. W. T., Scheele, F., Driessen, E. W., & Hodges, B. (2010). The assessment of professional competence: Building blocks for theory development. Best Practice and Research: Clinical Obstetrics and Gynaecology, 24(6), 703–719. doi:10.1016/j.bpobgyn.2010.04.001.

PBL의 맥락에서 평가(Adv Health Sci Educ Theory Pract, 2019)

Assessment in the context of problem‑based learning

Cees P. M. van der Vleuten1 · Lambert W. T. Schuwirth2

도입

Introduction

창시 이래, 문제 기반 학습(PBL)은 세계를 정복했다(도너랜드 비클리 1993). 맥매스터 대학교의 60년대 중반에 강의 기반 교육의 급진적인 단절로 시작된 것은(Barrows and Tamblyn 1980), 그 이후 다른 학교들에 의해 점점 더 모방되고 있는 성공적인 교육 전략인 것으로 밝혀졌다.

Since its inception, problem-based learning (PBL) has conquered the world (Donnerand Bickley 1993). What started in the mid-sixties at McMaster University as a radical break from lecture-based education (Barrows and Tamblyn 1980), turned out to be a successful didactic strategy which has since been increasingly copied by other schools.

원래 PBL은 이념적 정체성이 높았다. 이는 '진정한 PBL'을 실천할 때 준수해야 하는 정의된 단계를 가진 프로세스로 정의되었음을 의미했다. 나중에야 PBL이 교육 및 인지 심리학 연구(Norman과 Schmidt 1992; Dolmans et al. 2005; Neville 2009)의 통찰력과 이론과 일치한다는 것이 명확해졌다.

Originally, PBL had a high ideological identity. This meant that it was defined as a process with defined steps which had to be adhered to when practicing ‘true PBL’. Only later did it become clear that PBL aligned with insights and theories from educational and cognitive psychological research (Norman and Schmidt 1992; Dolmans et al. 2005; Neville 2009).

오늘날, PBL에 대한 원래의 이념적 접근은 진정되었고 그것은 많은 다른 manifestation를 가질 수 있다. 그래서 어떤 학교가 PBL을 사용한다고 주장할 때 그것이 정확히 무엇을 수반하는지 항상 명확하지는 않다.

Nowadays, the original ideological approach to PBL has calmed down and it can have many different manifestations. So, when schools claim to be using PBL it is not always clear what that exactly entails.

우리의 관점에 따르면, 그것은 몇 가지 필수적인 특성이다.

In our view that are some essential characteristics:

1. 과제나 문제를 학습의 출발점으로 삼는 것

2. 자기주도적, 자기조절적 학습

3. 이러한 과제를 해결하는 학습자 그룹 작업

4. 이 과정의 촉진자로서 교사들의 역할

3. Working in groups of learners tackling these tasks

4. The role of the teachers as a facilitator of this process

이는 PBL의 맥락에서 학습자 성과에 대한 평가를 어떻게 설계할 것인가 하는 문제를 남긴다. 건설적인 정렬은 모든 이해당사자들(학습자, 직원 및 조직)이 지지하고 경험하는 [프로그램의 의도된 목적]과 [평가의 공개적이고 예기치 않은 목표]가 서로 얼마나 정렬되었는지를 표현하는 개념으로 제안되었다(Bigs 1996). 둘 사이에 불일치가 있는 경우, 평가의 영향은 일반적으로 의도한 학습 접근법을 무시한다.

This leaves the question how to design assessment of learner achievements in the context of PBL? Constructive alignment has been suggested as a concept that expresses the extent to which the intended goals of the training program align with the overt and unexpected goals of the the assessment as espoused and experienced by all stakeholders (learners, staff and organization) (Biggs 1996). If there is a mismatch between the two, the assessment impact typically overrides the intended learning approach.

평가에서 지배적인 교육 관행은 종합적이고 모듈화된 접근법이며, 특히 주로 인지적 측면을 평가한다. 불행하게도, 많은 PBL 학교들도 이 접근법을 사용하는데, 이것은 논리적으로 많은 경우에 건설적인 비정렬constructive malalignment로 이어진다.

The dominant educational practice in assessment is a summative, modular approach, particularly assessing the more cognitive aspects. Unfortunately, many PBL schools use this approach as well, which logically leads to constructive misalignment in many cases.

이러한 건설적인 불일치를 더 잘 이해하기 위해, 우리는 PBL 맥락에서 평가와 관련된 두 가지 주요 갈등을 식별하는 것이 도움이 된다고 생각한다. 

To better understand this constructive misalignment, we find it helpful to identify two major frictions around assessment in a PBL context. 

첫째는 PBL이 단순히 지식과 기술의 발달 이상의 것을 촉진하는 것으로 가정된다는 것이다. 그러한 다른 능력들은 임상적 추론과 임상적 의사 결정뿐만 아니라 의사소통, 협업 전문성 등과 같은 더 많은 영역-비의존적 능력과도 관련이 있다. [일반적으로 평가된 것]과 [PBL 교육 접근법에 의해 열망된 것] 사이에 인식된 마찰은 더 적절한 평가 방법을 설계하려는 많은 시도들로 이어졌다.

The first is that PBL is assumed to promote more than purely the development of knowledge and skills. Such other abilities related not only to clinical reasoning and clinical decision-making, but also to more domain independent abilities such as communication, collaboration professionalism, etcetera. The perceived friction between what was generally assessed and what was aspired by PBL education approaches has led to many attempts to design more appropriate methods of assessment.

두 번째 마찰은 한편으로는 학습자에게 학습을 자율적으로 규제하도록 요구하지만, 동시에 교사 주도의 평가나 시험을 성공적으로 통과해야 한다는 모순에 있다. 학생들이 성공적으로 자기 평가를 하고 그 후에 자신의 학습을 지시하는 능력은 심각하게 의심된다(Eva et al.) 그러나, 졸업 후 의사들은 평생 학습자가 될 수 있어야 하며, 이를 위해서는 스스로 평가하고 스스로 조절하는 학습 능력을 갖추어야 한다는 데 더 많은 동의가 있는 것 같다.

The second friction lies in the contradiction of requiring the learners to self-regulate their learning on the one hand, but at the same time they have to successfully pas set of teacher-led assessments or tests. the ability of students to successfully self assess and subsequently direct their own learning is seriously doubted (Eva et al. 2004). Yet, there seems to be more agreement that after graduation doctors should be able to be lifelong learners and for this require having developed self-assessment and self-regulated learning ability.

수단에 대한 요구

The quest for instrumentation

분명히 PBL은 임상 추론을 촉진하기 위한 것으로, 이는 논리적으로 임상 추론의 평가를 위한 기구를 개발하고자 하는 욕구로 이어졌고, 그 후에는 이 분야에서 방대한 양의 연구 개발로 이어졌다.

Clearly, PBL is aimed at promoting clinical reasoning, which logically led to the desire to develop instruments for the assessment of clinical reasoning, and subsequently to a vast amount of research and development in this area.

평가 문헌에서, 이것은 60년대에 환자 문제의 종이 시뮬레이션을 사용하면서 시작되었다(McGuire and Babott 1967; McCarty and Gonnella 1967). 그것들은 환자 관리 문제(PMP)로 불렸다. 환자의 초기 complaint가 제시되었고, 학습자는 해결책에 도달하기 위해 문제를 헤쳐나가야 했다. 학생이 취한 각각의 행동들은 점수가 매겨졌고 이 점수는 한 개인의 임상적 추론 능력을 나타내는 지표로 여겨졌다.

Within the assessment literature, this started in the sixties with the use of paper simulations of patient problems (McGuire and Babbott 1967; McCarthy and Gonnella 1967). They were called Patient Management Problems (PMPs). A patient’s initial complaint was presented, and the learner had to navigate their way through the problem to arrive at the solutions. Each action taken was scored and these scores were considered to be an indication of a person’s clinical reasoning ability.

그 방법에 대한 몇 가지 직관에 반하는 측정 문제가 발견되었다. 첫째, 전문가들은 (시뮬레이션을 통한) 최적의 경로에 동의하지 않았고 각 결정에 서로 다른 점수를 부여했다. 즉, 전문가들은 동일한 문제를 제시했을 때, 그들은 서로 다른 해결 방법을 제안했다.

Several, counterintuitive, measurement problems with the method were found. First, experts did not agree on the optimal pathway through the simulation and assigned different credits to each decision. In other words, when different experts were presented with the same problem, they suggested different solution pathways.

둘째, 환자 문제에 대한 개별 학습자의 점수가 0.1–0.2로 매우 낮다는 것이 밝혀졌다. 임상적 추론을 일반적이고 지식에 독립적인 특성으로 측정할 수 없다는 것이 명백해졌다. 이것은 후에 내용 특이성의 문제라 불리는 것의 첫 번째 표시였다(Eva 2003).

Second, it was discovered that the scores of individual learners across patient problems was very low, in the order of 0.1–0.2. It became clear that clinical reasoning could not be measured as a generic and knowledge-independent trait. This was a first indication of what later has been called the problem of content specificity (Eva 2003).

그 후 내용 특이성은 거의 모든 평가 측정에 내재하는 것으로 밝혀졌다. 모든 평가 측정에서 재현 가능한 점수에 도달하기 위해서는 분산 소스sources of variance에 걸쳐 상당한 표본 추출이 이루어져야 한다. 내용(문제, 사례, 항목, 오랄, 측점 등)에 영향을 미칠 수 있는 측면.

Content specificity was subsequently found to be innate to almost all assessment measurement. In order to arrive at a reproducible score in all assessment measurements, considerable sampling needs to be done across sources of variance; aspects that have a possible impact on the score such as content (problems, cases, items, orals, stations, etc.),

따라서, 평가 시간이 제한되어 있는 경우, 표본 추출에 효율적일 필요가 있다. 그 방법으로 개발된 것 중 하나는 키 기능 접근 시험(Page et al. 1995) 및 확장 일치 항목(Case and Swanson 1993)과 같이 덜 복잡한 짧은 시나리오나 vignet을 사용한 평가 방법이었다. 그러나 이러한 기구들은 주로 임상추론과정의 결과, 즉 임상적 의사결정에 초점을 맞추는 것 같았다. '추론 프로세스 자체'에 대한 평가는 여전히 성배로 남아 있었다.

The corollary of this that given that assessment time is limited, there is a need to be efficient with sampling. One of the developments were assessment methods with short scenarios or vignettes which were less complex, such as key-feature approach testing (Page et al. 1995) and or extended-matching items (Case and Swanson 1993). However, these instruments seemed to focus mainly on the outcome of the clinical reasoning process, the clinical decision making. The assessment of the reasoning process itself still remained a Holy Grail.

따라서, 검색은 계속되었고, 좀 더 구체적인 임상 추론도구는 나중에 개발되었다.

Therefore, the search continued and some more specific clinical reasoning instruments were developed later,

한 예로 잘못 정의된 환자 시나리오가 전개되고 학습자가 문제에 대한 가설에 대한 확률을 나타내야 하는 SCT(스크립트 동시성 테스트)가 있다(Lubarsky et al. 2011). 또 다른 형식은 PBL 학습 과정, 이른바 트리플 점프 연습(Westmorland and Parsons 1995)을 모방한 구술이었다. 그것은 구술적 배경(점프 1)에서의 사례 발표, 학습자에 의한 사례에 대한 자율 학습 시간(점프 2) 및 다음 구술적 세션에서의 발견 보고(점프 3)에서 시작되었다. 트리플점프는 꽤 독창적이었지만 그다지 인기를 얻은 적은 없었다.

One example is the Script Concordance Test (SCT) in which an ill-defined patient scenario unfolds itself and the learner has to indicate probabilities of their hypothesis of the problem (Lubarsky et al. 2011). Another format was an oral that also mimicked the PBL learning process, the so-called Triple Jump Exercise (Westmorland and Parsons 1995). 

• It started with the presentation of a case in an oral setting (jump 1), 

• some time for self-study on the case by the learner (jump 2) and 

• a report of the finding in a next oral session (jump 3). 

The method was quite original but never has gained much popularity.

임상적 추론보다 임상적 의사결정을 평가하기가 더 쉬웠던 이유 중 하나는 온톨로지적 차이: 

• 임상적 의사결정은 일반적으로 한 개 또는 소수의 방어가능한 정답으로 이어지는 과정인 반면 

• 임상적 추론은 더 예측 불가능하거나 복잡하며 (상황에 따라 여러 괜찮은 답이 있을 수 있는) 다중적 결과를 초래할 수 있는 과정이다.(Durning et al. 2010).

One of the currently proposed reasons why clinical decision making was easier to assess than clinical reasoning is an ontological difference: 

• clinical decision making is a process that typically leads to one or a few defensibly correct answers whereas 

• clinical reasoning is a process that is more unpredictable or complex and there can lead to multiple good answers depending on the situation (Durning et al. 2010).

훌륭한 임상 의사결정이 예상할 수 있는 정답으로 이어진다면, 전형적으로 구조화되고 표준화된 평가로 시험할 수 있다. 그렇기 때문에 평가에서 핵심 특징 접근방식이나 확장 매칭 항목에 대한 유효한 것으로 밝혀졌다(Case and Swanson 1993; Bordage et al. 1995). 필요한 결과를 예측할 수 없고 상황에 따라 여러 가지 좋은 답이 있다면, 평가를 미리 정의할 수 없으며, here and now에서 평가해야 한다.

If good clinical decision-making predictably leads to correct answers, it can typically be tested with structured and standardised assessments. That is why the key feature approach to assessment and extended matching items have been found to be valid (Case and Swanson 1993; Bordage et al. 1995). When the required outcome is unpredictable and there are multiple good answers depending on the situation the assessment cannot be predefined and has to happen in the here and now.

이 과제의 한 예는 SCT에 대한 우려로 설명되는데, SCT에서는 자극stimulus(질문에서 묻는 것)은 본질적으로 다르지만, 점수가 수렴되어 있어 임상 추론의 복잡성과 잘 맞지 않는다(Lineberry et al. 2013). 이로 인해 임상 추론 평가에서 인간 판단의 역할을 연구하는데 새로운 관심을 갖게 되었다(Govaerts et al. 2012; Govaerts et al. 2011; Gingerich et al. 2014).

One example of this challenge is illustrated by the concerns around script concordance tests, where the stimulus—what the question asks—is divergent in nature but the scoring is convergent and hence does not sit well with the complexity of clinical reasoning (Lineberry et al. 2013). This has led to a renewed interest in researching the role of human judgment in the assessment of clinical reasoning (Govaerts et al. 2012; Govaerts et al. 2011; Gingerich et al. 2014).

평가 관행에서 이것을 하는 데는 많은 변화가 있을 수 있다. 슈워스 외 연구진은 "결론적으로, 임상적 추론을 평가하는 방법은 매우 많고, 최선의 척도가 없기 때문에, 선택은 정말로 당신의 것이다."라고 결론짓는다. (슈워스 외, 2019, 페이지 413)

There can be many variations to do this in an assessment practice. Schuwirth et al. conclude: “Finally, because there are so many ways to assess clinical reasoning, and no single measure is the best measure, the choice is really yours.” (Schuwirth et al. 2019, p. 413)