의학교육에서 평가의 신뢰(Credibility)인식에 영향을 미치는 요인(Adv Health Sci Educ Theory Pract. 2021)
Factors affecting perceived credibility of assessment in medical education: A scoping review (Adv Health Sci Educ Theory Pract. 2021)
Stephanie Long1 · Charo Rodriguez1 · Christina St‑Onge2 · Pierre‑Paul Tellier1 · Nazi Torabi3 · Meredith Young4,5

도입 Introduction

[평가]는 일반적으로 [학습자의 특정 학습 목표, 목표 또는 역량 달성에 대한 판단]을 내리기 위해, 정보를 [시험, 측정, 수집 및 결합]하는 전략을 포함한다(Harlen, 2007; Norcini et al., 2011). 평가는 일반적으로 의학교육에서 네 가지 방법으로 사용된다(엡스타인, 2007).

Assessments are broadly described as any strategy involving testing, measuring, collecting, and combining information to make judgments about learners’ achievement of specific learning objectives, goals, or competencies (Harlen, 2007; Norcini et al., 2011). Assessments are commonly used in four ways in medical education (Epstein, 2007):

• (i) Practice에 입문하는 사람들이 [역량있음을 보장함으로써 대중을 보호]해야 한다.
  
• (ii) 고등교육 [지원자 선발의 근거]를 제공하기 위해
  
• (iii) 교육기관(품질보증)을 위하여 [Trainee의 성과에 대한 피드백] 제공
  
• (iv) 미래 학습을 지원하고, 방향을 제시한다(엡스타인, 2007; Norcini 등, 2011).
• (i) to protect the public by ensuring those entering practice are competent,
• (ii) to provide a basis for selecting applicants for advanced training,
• (iii) to provide feedback on trainee performance for the institution (i.e., quality assurance), and
• (iv) to support and provide direction for future learning (Epstein, 2007; Norcini et al., 2011).

[미래 학습을 가이드하는 평가]라는 개념은 평가의 [촉매 효과]로 설명되었으며, 이러한 촉매 효과가 달성되려면 학습자가 평가-생성 피드백(즉, 점수, 서술 코멘트)에 참여함으로써, 학습자가 평가 과정에 능동적으로 참여해야 한다(Norcini 등, 2011). 학습자가 향후 성과를 개선하기 위해 평가에서 생성된 피드백에 참여하지 않을 경우 평가의 잠재적인 교육적 이점은 무효화됩니다. 따라서 평가의 교육적, 수행적 이점을 극대화하기 위해서는, 학습자가 평가에서 생성된 피드백에 참여하도록 장려하거나 저해하는 요소를 이해하는 것이 중요합니다.
The notion of assessment guiding future learning has been described as the catalytic effect of assessment, and for this catalytic effect to be achieved, a learner must be an active participant in the assessment process by engaging with assessment-generated feedback (i.e., scores, narrative comments) (Norcini et al., 2011). If learners fail to engage with assessment-generated feedback to improve future performance, the potential educational benefit of assessment is negated. Therefore, it is critical to understand the factors that encourage or discourage, learners from engaging with assessment-generated feedback in order to maximize the educational and performance benefits of assessment.

의료 학습자(학생, 레지던트 또는 동료)가 [평가 과정에 참여]하고 [평가에서 생성된 피드백을 통합]하여 이후 [성과를 개선하는지 여부]에 몇 가지 요소가 기여할 수 있다. 학생의 평가 참여에 기여하는 한 가지 핵심 요소는 특히 평가인에 의존하는 평가 상황에서 [학습자가 평가와 평가자에 대해 인식하는 신뢰도credibility]이다(Bing-You 등, 1997; Watling, 2014; Watling 등, 2013). 여기서, 현재 증거는 신뢰할 수 있다고 간주되는 피드백이 이후의 관행 개선을 지원하는 데 사용될 가능성이 더 높다는 것을 지적한다. 신뢰할 수 없다고 판단된 피드백은 무시될 가능성이 높으므로 교육적 가치가 거의 없다(Watling, 2014; Watling & Lingard, 2012; Watling 등, 2013). 이 작업의 초점은 평가 순간에 수반되는 [피드백 대화]에 맞춰져 있다는 점에 유의해야 합니다. 따라서, 신뢰성 판단은 평가 과정과 평가자 자체에 의해 영향을 받았습니다. [Supervisor의 피드백 중에서 학습자가 신뢰할 수 있다고 판단한 것]만이 학습 형성에 영향을 미칠 수 있다는 얘기다. 
Several factors may contribute to whether medical learners (students, residents, or fellows) engage with the assessment process and integrate assessment-generated feedback to improve later performance. One key contributing factor to student engagement with assessment is the learner’s perceived credibility of the assessment and of their assessor, particularly in assessor-dependent assessment contexts (Bing-You et al., 1997; Watling, 2014; Watling et al., 2013). Here, current evidence points out that feedback deemed credible is more likely to be used to support later practice improvement. Feedback judged to be not credible is likely to be ignored, and therefore, be of little educational value (Watling, 2014; Watling & Lingard, 2012; Watling et al., 2013). It is important to note that the focus of this work was on the feedback conversation that accompanied an assessment moment. Hence, judgments of credibility were influenced by both the assessment process and the assessor themselves. In other words, only supervisor-provided feedback judged as credible by learners will be influential in shaping learning.

와틀링 외 연구진(2012)에 따르면, 신뢰도 판단은 학습자가 [학습에 통합되어야 할 정보]와 [무시해야 할 정보]를 정리하고, 평가하고, 학습 단서에 가치를 부여할 때 발생한다. Bing-You 외 연구진(1997)에 따르면, Supervisor가 제공한 피드백의 신뢰성에 대한 학습자의 판단은 다음으로부터 영향을 받습니다.
According to Watling et al., (2012), credibility judgments occur when learners organize, weigh, and allocate value to the learning cues presented to them, deciding which information should be integrated into their learning and which should be dismissed. According to Bing-You et al., (1997), learners’ judgments of the credibility of feedback provided by a supervisor are influenced by:

• (i) Supervisor의 특성에 대한 전공의의 인식(예: 신뢰와 존중, 임상 경험)
  
• (ii) Supervisor의 행동에 대한 전공의의 관찰(예: 대인관계 기술 부족, 관찰 부족),
  
• (iii) 피드백의 내용(예: 비특정, 자기 표현과 불일치),
  
• (iv) 피드백 전달 방법(예: 판단적인 것, 그룹 설정에서 발생한 것) (Bing-You 등, 1997).
  
  
• (i) residents’ perceptions of supervisor characteristics (e.g., trust and respect, clinical experience),
• (ii) residents’ observations of supervisor behaviour (e.g., lack of interpersonal skills, lack of observation),
• (iii) content of feedback (e.g., non-specific, incongruent with self-perceptions), and
• (iv) method of delivering feedback (e.g., judgmental, occurs in group setting) (Bing-You et al., 1997).

따라서 이 지식 본문은 피드백의 개념을 평가자와 학습자 사이의 대화 또는 토론으로 간주한다(Ajjawi & Regehr, 2019). 
This body of knowledge therefore conceives the notion of feedback as a conversation or discussion between an assessor and a learner (Ajjawi & Regehr, 2019).

우리는 교육 동맹의 중요성과 피드백 대화를 신중하게 구성해야 할 필요성을 인정한다(Telio et al., 2015). 하지만 동시에 우리는 평가자 또는 감독자와의 대면 대화(예: 시험 점수, 교육 중 성과 평가, OSCE 점수)와 별개로 학습자는 다양한 출처로부터 자신의 성과에 대한 데이터 또는 정보를 제공받는다고 주장한다. 이 평가 데이터는 학습자에게 피드백을 제공하기 위한 목적으로 작성된 경우가 많습니다 – 컨텐츠의 숙달도를 측정하고, 더 많은 주의나 집중이 필요한 영역을 제안하거나, 학습자가 커리큘럼을 통해 자신의 진행 상황을 추적하도록 지원합니다.

While we acknowledge the importance of the educational alliance (Telio et al., 2015) and the need to carefully construct feedback conversations (Henderson et al., 2019; Watling, 2014), we argue that learners receive data or information about their performance from a variety of sources that are disconnected from face-to-face conversations with an assessor or supervisor (e.g., examination scores, in-training performance evaluations, OSCE scores). This assessment-generated data is often intended to function as feedback to the learners – to gauge mastery of content, to suggest areas that require more attention or focus, or to help a learner track their progress through a curriculum.

이러한 평가-생성 피드백assessment-generated feedback의 교육적 가치를 지원하기 위해 평가(평가 데이터를 생성하는 대상) 및 평가-생성 피드백(평가로 생성된 데이터 및 학습자와 공유되는 데이터)의 인식된 신뢰도perceived credibility에 영향을 미치는 요인을 조사하기 시작했다. 

To support the educational value of this assessment-generated feedback, we set out to explore the factors that influence the perceived credibility of assessment (the objects that generate assessment data) and assessment-generated feedback (the data generated by assessments and shared with learners). 

방법 Methods

의학 교육에서 평가 및 평가-생성 데이터의 신뢰성에 대한 학습자 인식에 대한 현재 문헌은 이질적이고 방법론과 집중도가 매우 다양한 논문으로 구성되어 있다. 이러한 가변성은 우리의 초점 영역이 의학 교육 내에서 새로운 연구 영역이라는 인식과 결합하여 범위 검토 방법론을 우리의 연구 맥락에서 현재 연구에 가장 적합한 접근방식으로 만든다. Scoping review에 대한 몇 가지 접근방식이 있지만, 우리는 Arcsey와 O'Malley(2005) 5단계 프레임워크에 의존했다. 범위 지정 검토에는 선택 사항인 6단계( 이해관계자와의 협의)가 포함될 수 있지만(Arcsey & O'Malley, 2005) 포함되지 않았다.
Current literature on learner perceptions of credibility of assessment and assessment-generated data in medical education is disparate and comprised of articles that are highly variable in methodology and focus. This variability, in combination with the recognition that our area of focus is an emerging area of research within medical education, makes a scoping review methodology the most appropriate approach for the present study in our research context. While there are several approaches to scoping reviews (Arksey & O'Malley, 2005; Levac et al., 2010), we relied on the Arksey and O'Malley (2005) 5-stage framework. Scoping reviews can include an optional 6th step (consultation with stakeholders) (Arksey & O'Malley, 2005), which was not included.

1단계: 연구 질문 식별
Step one: Identify research question

이 검토는 "의학교육 문헌에 문서화된 평가 및 평가-생성 피드백의 인식 신뢰성에 영향을 미치는 요인은 무엇인가?"라는 연구 질문에 의해 유도되었다.
This review was guided by the research question, “What are the factors that affect the perceived credibility of assessment and assessment-generated feedback documented in the medical education literature?”.

2단계: 관련 연구 확인
Step two: Identifying relevant studies

의료 사서(NT)와 협력하여 통제된 어휘(예: MeSH)와 키워드를 사용하여 관련 문헌을 식별하기 위한 검색 전략을 개발하고 실행했다. 검색 전략은 MEDLINE(Ovid), PsycInfo(Ovid), Scopus, EMBASE(Ovid), EBSCO(EBSCO)에서 채택 및 구현되었다. 검색을 2000년에서 2020년 11월 16일 사이에 발표된 연구로 제한했다.(2017년 6월 17일에 처음 실행되어 2020년에 업데이트됨) 이것이 보건 직업 교육에서 [평가의 교육적 가치에 대해 논의하는 쪽]으로 문헌의 변화를 나타냈기 때문에 우리는 2000년에 닻을 내렸다(Frank 등, 2010). 보다 구체적으로, 이것은 학습과 평가의 성과(즉, 역량)에 초점을 맞춘 의료 교육 개혁으로 향하는 전환점을 나타냈다(Frank et al., 2010). 

In collaboration with a medical librarian (NT), a search strategy was developed and executed to identify relevant literature, using controlled vocabularies (e.g., MeSHs) and keywords. The search strategy was adapted and implemented in: MEDLINE (Ovid), PsycInfo (Ovid), Scopus, EMBASE (Ovid), and ERIC (EBSCO). We limited the search to studies published between 2000 to November 16, 2020 (search first executed June 17, 2017 and updated in 2020). We chose to anchor to 2000 as this represented a shift in the literature towards discussing the educational value of assessment in health professions education (Frank et al., 2010). More specifically, this represented a turning point towards reforms in medical education focused on outcomes (i.e., competency) of learning and assessment (Frank et al., 2010). 

3단계: 스터디 선택
Step three: Study selection

포함된 논문: (1) 의학 학습자를 초점 모집단으로 두고, (2) 프로그램이나 환자가 아닌 개별 학습자에 대한 평가를 포함하고, (3) 평가 또는 평가-생성 피드백과 관련하여 신뢰성을 논의했으며, (4) 주요 연구 연구였으며, (5) 영어 또는 프랑스어(연구팀의 언어 역량)였다.
Included papers: (1) had medical learners as the focal population, (2) contained assessment of individual learners (rather than programs or patients), (3) discussed credibility as related to assessment or assessment-generated feedback, (4) were primary research studies, and (5) were in English or French (linguistic competencies of the research team).

두 명의 저자(SL, MY)는 웹 기반 선별 애플리케이션 Rayyan을 사용하여 모든 제목과 추상(Peters 등, 2015)을 독립적으로 심사했다. 의견이 일치하지 않는 경우, 세 번째 검토자(CSO)는 불일치를 해결했다. 원시 백분율 합의는 평가자 간 신뢰도의 척도로 사용되었다(Kastner 등, 2012). 전체 텍스트 검토를 위해 포함된 문서는 EndNote X8.0.2로 내보내졌다(EndNote Team, 2013). SL은 모든 전체 텍스트 기사를 독립적으로 심사했으며, MY는 포함을 위해 전체 텍스트 문서의 10%를 검증했다.

Two authors (SL, MY) independently screened all titles and abstracts (Peters et al., 2015) using the web-based screening application Rayyan (http://rayyan.qcri.org) (Ouzzani et al., 2016). In cases of a disagreement, a third reviewer (CSO) resolved discrepancies. Raw percent agreement was used as a measure of inter-rater reliability (Kastner et al., 2012). Articles included for full-text review were exported to EndNote X8.0.2 (The EndNote Team, 2013). SL independently screened all full-text articles, with MY verifying 10% of full-text articles for inclusion.

4단계: 데이터 차트 작성
Step four: Charting the data

추출된 데이터: 저널, 발행 연도, 대륙, 연구 설계, 방법론, 인구 특성, 평가 유형, 평가 제공자, 제공된 피드백 유형, "타당성"이 사용되지 않은 경우, "타당성"이라는 용어는 구조를 지칭하는 데 사용되었다., 신뢰성의 정의 , 신뢰도에 영향을 미치는 요인.
Data extracted: journal; year of publication; continent; study design; methodology; study population characteristics; types of assessment; who provided the assessment; type of feedback provided; use of term “credibility”, if “credibility” was not used which term was used to refer to the construct; definition of credibility; factors that affect credibility.

평가 유형, 평가 제공자, 피드백 유형은 원본 기사에 사용된 정확한 언어에 따라 코딩되었습니다.
Assessment type, provider of assessment, and feedback type were coded relying on the exact language used in the original articles.

5단계: 결과 수집, 요약 및 보고
Step five: Collating, summarizing, and reporting the results

데이터 합성은 서지학적 설명과 주제 분석에 초점을 맞췄다. 우리는 PRISMA-ScR에 따라 결과를 보고했다.
The data synthesis focused on bibliometric description and thematic analysis. We reported our results according to the PRISMA extension for Scoping Reviews (PRISMA-ScR) (Peters et al., 2020; Tricco et al., 2018).

데이터 분석
Data analysis

정량분석
Quantitative analysis

연구의 특성 및 분포(예: 연구 설계, 출판 연도, 연구 인구)를 설명하기 위해 서지학 특성에 대한 기술 분석이 사용되었다.
Descriptive analyses of bibliometric characteristics were used to describe the nature and distribution of the studies (e.g., study design, year of publication, study population).

정성적 주제 분석
Qualitative thematic analysis

우리는 토마스와 하든(2008)이 설명한 주제 분석을 위한 방법론적 프레임워크를 적용했다. 
We applied the methodological framework for thematic analysis described by Thomas and Harden (2008). 

결과Results

검색 결과 Search results

80개의 문헌이 포함 기준을 충족하여 합성에 포함되었다(그림 1 "보완 디지털 부록 2" 참조).
Eighty articles met the inclusion criteria and were included in the synthesis (Fig. 1, see "Supplemental Digital Appendix 2" for a list of all included articles).

Fig. 1

포함된 문서의 특성
Characteristics of included articles

포함된 연구는 2000년 1월 1일부터 2020년 11월 16일 사이에 발표되었으며, 시간 경과에 따른 출판물 수가 분명히 증가했다(보완 디지털 부록 3).

• 연구는 48개 저널에 걸쳐 발표되었다.
• 다양한 지리적 지역에서 수집되었지만, 대다수는 유럽(n=38, 38.8%)과 북미(n=31, 31.6%)였다.
• 참여자는 의대생(n = 60, 61%), 레지던트(n = 17%, 17%), 펠로우(n = 2, 2.0%), 전문 교육생(n = 17%, 17%), 전공의(n = 2, 2.0%) 등이다.
• 대부분의 평가는 감독관 또는 심사원(n=43%, 38%)이 실시했으며, 평가-생성 피드백은 주로 점수 또는 등급(n=32, 23%)으로 제시되었으며, 주로 서면(n=29,20%) 또는 구두(n=29,21%) 형식으로 제공되었다.
• 포함된 논문은 광범위한 연구 접근법에서 나왔으며, 반구조화 인터뷰(n = 20%, 10%), 포커스 그룹(n = 31, 23%), 설문지(n = 37, 28%), 설문조사(n = 18, 13%), 설문지 또는 설문지의 자유 텍스트 논평(n = 13, 9.7%)에서 생성된 데이터에 의존했다. (n = 14, 10%).

Studies included were published between January 1, 2000 and November 16, 2020, with an apparent increase in the number of publications across time (Supplemental Digital Appendix 3).

• Studies were published across 48 journals.
• Literature was drawn from a variety of geographic regions, but the majority were from Europe (n = 38, 38.8%) and North America (n = 31, 31.6%).
• Participants included: medical students (n = 60, 61%), residents (n = 17, 17%), fellows (n = 2, 2.0%), specialist trainees (n = 17, 17%), and registrars (n = 2, 2.0%).
• Most assessments were provided by a supervisor or an assessor (n = 43, 38%), and assessment-generated feedback was primarily presented as scores or ratings (n = 32, 23%), usually provided in written (n = 29, 20%) or verbal form (n = 29, 21%).
• Included papers were from a breadth of research approaches, relying on data generated from semi-structured interviews (n = 20, 10%), focus groups (n = 31, 23%), questionnaires (n = 37, 28%), surveys (n = 18, 13%), free-text comments from surveys or questionnaires (n = 13, 9.7%), a pile-sorting activity, and psychometric analysis of assessment data (n = 14, 10%).

표 1 본 검토에 포함된 간행물의 서지학적 세부 정보
Table 1 Bibliometric details of publications included in this review

신뢰성의 개념화
Conceptualization of credibility

80개 출판물 중 34개 논문만이 '신뢰성credibility'이라는 특정 용어를 사용했으며, 명시적인 정의를 제공한 것은 없었다. 동일한 현상(즉, 평가 또는 평가-생성 피드백의 인식된 신뢰성)을 반영하는 것으로 간주되는 27개의 다른 용어를 식별했다. 가장 자주 사용되는 용어는 유용한(n = 23), 공정한(n = 17), 가치있는(n = 10)이었다("보완 디지털 부록 5"에서 식별된 전체 용어 목록).
Of the 80 publications included in the synthesis, only 34 articles used the specific term ‘credibility’, and none provided an explicit definition. We identified 27 other terms that were considered to reflect the same phenomenon (i.e., perceived credibility of assessment or assessment-generated feedback). The most frequently used terms were useful (n = 23), fair (n = 17), and valuable (n = 10) (full list of terms identified in "Supplemental Digital Appendix 5").

평가의 교육적 가치
Educational value of assessment

여러 논문(Malau-Aduli 등, 2019; Ricci 등, 2018; Ryan 등, 2017; Yielder 등, 2017)은 평가의 교육적 가치와 관련된 결과를 명시적으로 설명하고 포함시켰다. 교육적으로 가치 있는 것으로 인식되는 평가는 (Rici 등, 2018)에서 인용한 "우리가 남은 경력 동안 사용할 지식을 최대로 유지할 수 있는 황금 같은 기회"(참여자 73, 페이지 358)로 간주되었다. 교육적으로 가치 있는 평가로부터 기대되는 긍정적 결과는 [학습자가 자신의 약점을 성찰할 수 있도록 한다는 것]이었다. "…내가 잘하지 못하는 분야를 식별하게 한 것은 질문 그 자체였다." (참가자 14CP, 페이지 967)는 (라이언 외, 2017)에서 인용했다.

Several papers (Malau-Aduli et al., 2019; Ricci et al., 2018; Ryan et al., 2017; Yielder et al., 2017) explicitly described and included findings pertaining to the educational value of assessment. Assessments perceived as educationally valuable were viewed as “…golden opportunit[ies] to stay on top of the knowledge we will be using for the rest of our careers” (Participant 73, p. 358) quoted from (Ricci et al., 2018). A promising outcome of educationally valuable assessment was that it allowed learners to reflect on their weaknesses: “…what made me identify the areas I wasn’t good at was the questions themselves” (Participant 14CP, p. 967) quoted from (Ryan et al., 2017).

인식된 신뢰도에 영향을 미치는 요인
Factors that affect perceived credibility

학습자의 평가 및 평가-생성 피드백에 대한 인식 신뢰도에 영향을 미치는 세 가지 요소를 확인했습니다.
We identified three sets of factors that affect learners’ perceived credibility of assessment and assessment-generated feedback:

• (i) 평가 프로세스의 요소
  
• (ii) 학습자의 교육 수준 및
  
• (iii) 의학교육의 맥락
• (i) elements of the assessment process,
• (ii) learners’ level of training, and
• (iii) context of medical education

(모든 테마와 하위 테마의 개요는 표 2를 참조하고, 각 테마를 지원하는 예시 인용문은 "보완 디지털 부록 6"을 참조한다.)
(see Table 2 for an overview of all themes and subthemes; and "Supplemental Digital Appendix 6" for exemplary quotes supporting each theme).

표 2 평가의 인식된 신뢰도에 영향을 미치는 요소
Table 2 Factors that affect the perceived credibility of assessment

요인 1: 평가 프로세스의 요소
Factor 1: Elements of an assessment process

우리는 학습자의 신뢰도에 대한 인식에 영향을 미치는 평가 프로세스의 다섯 가지 요소를 확인했습니다.
We identified five elements of the assessment process that influenced learners’ perceptions of credibility:

• (A) 평가자 또는 피드백 제공자,
  
• (B) 평가 절차,
  
• (C) 인식된 평가 점수의 품질
  
• (D) 평가점수의 형식 및
  
• (E) Suboptimal performance에 따르는 결과.
• (A) assessor or feedback provider,
• (B) procedures of assessment,
• (C) perceived quality of assessment scores,
• (D) format of assessment scores, and
• (E) consequences of suboptimal performance.

A.평가자 또는 피드백 제공자 
A.Assessor or feedback provider 

여기에는 다음이 포함된다.
which included:

• (i) 평가자와의 신뢰 관계 (i) trusting relationship with assessor,
• (ii) 장기 훈련생 진행 상황에 대한 관심 인식 (ii) perceived interest in long-term trainee progress,
• (iii) 평가에 대한 경험/훈련 부족, (iii) lack of experience/training with assessment, and
• (iv) 존경 (iv) respect.

(i)평가자와의 신뢰관계 
(i)Trusting relationship with assessor 

대부분의 학습자는 피드백을 제공한 개인(동료를 포함)과 강력하고 신뢰할 수 있는 관계가 있는 경우 평가 및 평가-생성 피드백을 신뢰할 수 있는 것으로 인식했다. 이 결과는 모든 평가 형태에 걸쳐 일관되었으며, 자신의 성과를 평가하는 개인과 신뢰 관계가 있다면 긍정적이든 부정적이든 의학 학습자들이 평가에서 생성된 피드백을 수용하고 반응한다는 것을 나타낸다. 

Most learners perceived an assessment and assessment-generated feedback as credible if they had a strong and trusting relationship with the individual who provided it (Bogetz et al., 2018; Bowen et al., 2017; Duijn et al., 2017; Feller & Berendonk, 2020; LaDonna et al., 2017; Lefroy et al., 2015; MacNeil et al., 2020; Mukhtar et al., 2018; Ramani et al., 2020; Watling et al., 2008), including peers (Rees et al., 2002). This finding was consistent across forms of assessment and indicates that medical learners were accepting and responsive to assessment-generated feedback, be it positive or negative, if there was a trusting relationship with the individual assessing their performance:

"그녀는 저를 잘 알고 있기 때문에 그 피드백은 믿을 만하다고 생각합니다. 당신을 잘 알고 좋아하는 사람에게서 끔찍한 말을 듣기는 힘들 것 같아요. 하지만, 이것이 당신이 더 잘할 수 있는 것이라고 말하고 실행 가능한 조언을 주는 것에 있어서, 저는 당신이 많은 것을 하는 것을 보고 당신이 어떻게 일을 잘하는지 아는 사람에게서 오는 것이 좋다고 생각합니다." (R6, 페이지 1076) (라마니 외, 2020)에서 인용했습니다. 
“She knows me well, so I think the feedback is reliable. I think it might be hard to get something horrible coming from someone who knows you well and who you like. But, in terms of saying this is what you could do better, and giving actionable pointers, I think that it’s nice coming from someone who’s seen you do a lot of stuff and knows how you work very well.” (R6, p. 1076) quoted from (Ramani et al., 2020).

그 반대도 사실이었다. 즉, 학습자는 꾸준히 자신이나 자신의 기술에 덜 익숙한 개인의 피드백을 무시하고 평가절하했다.
The inverse was also true, learners regularly ignored and discounted feedback from individuals who were less familiar with them or their skills (Beaulieu et al., 2019; Bogetz et al., 2018; Cho et al., 2014; Duijn et al., 2017; Levine et al., 2015; McKavanagh et al., 2012).

(ii)연수생 장기진도에 대한 관심도 인식 
(ii)Perceived interest in trainee long-term progress 

학습자를 적극적으로 관찰하지 않거나 불충분한 관찰을 바탕으로 수행에 대한 판단을 내린 평가자에 의해 완료된 평가는 신뢰할 수 있는 것으로 인식되지 않았다. 평가-생성 피드백을 개인화하고, 구체적이고, 행동가능하게 주기 위하여 시간과 공간을 제공한 평가자를 가치있게 여겼다.
Assessments completed by assessors who did not actively observe their learners or made judgments about performance based on insufficient observations were not perceived as credible (Areemit et al., 2020; Bowen et al., 2017; Cho et al., 2014; Duijn et al., 2017; Eady & Moreau, 2018; Ingram et al., 2013; MacNeil et al., 2020; McKavanagh et al., 2012; Ramani et al., 2020). Assessors who provided time and space for

• personalized (Bleasel et al., 2016; Bowen et al., 2017; Duijn et al., 2017; Harrison et al., 2015),
• specific (Beaulieu et al., 2019; Brown et al., 2014; Duijn et al., 2017; Green et al., 2007; Gulbas et al., 2016; Harrison et al., 2015; Ramani et al., 2020), and
• actionable assessment-generated feedback (Areemit et al., 2020; Bleasel et al., 2016; MacNeil et al., 2020; Murdoch-Eaton & Sargeant, 2012; Perron et al., 2016; Ramani et al., 2020) were valued:

(iii)평가에 대한 경험/훈련 부족 
(iii)Lack of experience/training with assessment 

평가자가 교육 및 평가 프로세스에 대한 경험이 부족한 경우, 학습자는 평가 또는 평가에서 생성된 피드백을 신뢰할 수 있는 것으로 인식할 가능성이 적습니다. 평가자가 다음과 같은 경우 믿을 만한 것으로 보이지 않았다.

• 평가 프로세스를 구현하는 방법에 익숙하지 않은 경우,
  
• 역량을 적절하게 평가하는 방법에 대해 확신이 없는 경우
  
• "절차를 따르지 않는 것" 

When an assessor lacked training and/or experience with the assessment process, learners were less likely to perceive the assessment or assessment-generated feedback as credible (Brits et al., 2020; Gaunt et al., 2017; Mohanaruban et al., 2018). If an assessor was

• unfamiliar with how to implement the assessment process (Bleasel et al., 2016; Mukhtar et al., 2018),
• unsure about how to properly evaluate competence (Johnson et al., 2008), or
• “w[as] not buying into the process” (p. 592) quoted from (Braund et al., 2019), it was not seen as credible.

이는 수행능력-중심 평가, 직장-기반 평가 및 포트폴리오에서 가장 두드러졌다.
This was most apparent in performance-based assessment (Green et al., 2007), workplace-based assessment (Brown et al., 2014; Gaunt et al., 2017; Johnson et al., 2008; McKavanagh et al., 2012; Ringsted et al., 2004; Weller et al., 2009), and portfolios (Johnson et al., 2008; Kalet et al., 2007; Sabey & Harris, 2011).

(iv)존중 
(iv)Respect 

학습자는 자신이 존경하는 의사의 평가 피드백을 가치있게 여기고, 선호한다고 보고했다. 그리고 그러한 존경은 의사의 임상 기술과 교육 능력 모두에서 생성되었다.

Learners reported valuing and preferring assessment-generated feedback from physicians they respected– where respect arose from both the physician’s clinical skills (Bello et al., 2018; Bleasel et al., 2016; Feller & Berendonk, 2020; Ramani et al., 2020) and teaching abilities (Bowen et al., 2017; Dijksterhuis et al., 2013; Sharma et al., 2015):

"내가 정말 존경하는 사람으로부터 긍정적인 피드백을 받으니 내 일에 대한 자신감이 높아지고 목적의식이 높아졌다.". 학습자들은 또한 자신의 교수 능력을 향상시키길 원하는 지도자들의 중요성을 강조했다(Dijksterhuis 등, 2013; 샤르마 등, 2015).

“Getting positive feedback from someone I really admired boosted my confidence and increased my sense of purpose in my work.” (Unspecified resident, p. 509) quoted from (Beaulieu et al., 2019). Learners also stressed the importance of supervisors who wanted to improve their own teaching skills (Dijksterhuis et al., 2013; Sharma et al., 2015).

요약하자면, 이러한 발견들은 아래와 같은 특징을 보이는 평가자 또는 슈퍼바이저와 신뢰할 수 있는 관계에 있을 때, 평가 또는 평가에서 생성된 피드백도 신뢰할 수 있는 것으로 인식될 가능성이 더 높다는 것을 시사한다.

• 주어진 평가에 대한 경험이 있다.
  
• 학습자의 장기적 성공에 대한 관심을 보여준다.
  
• 자신의 교육 능력을 향상시키길 원하는 사람으로 인식된다.
  
• 믿을 만 하다.

In summary, these findings suggest that an assessment or assessment-generated feedback is more likely to be perceived as credible if there is a trusting relationship with an assessor or supervisor who

• has experience with a given assessment,
• shows an interest in the long-term success of a learner,
• is perceived as someone who wants to improve their teaching skills, and
• is seen as trustworthy.

B.평가 절차 
B.Procedures of an assessment 

평가 절차의 신뢰성에 대한 교육생의 인식에 영향을 미친 주요 요인은 다음과 같다.
The major factors that affected trainee perceptions of the credibility of the procedures of an assessment were:

• (i) 평가 접근법의 표준화, (i) standardization of assessment approach
  
• (ii) 명확한 목적 (ii) clear purpose
  
• (iii) 임상 관련성, (iii) clinical relevance
  
• (iv) 타이밍 (iv) timing.

(i)평가 접근법의 표준화 
(i)Standardization of assessment approach 

학습자는 [표준화된 평가와 평가-생성 피드백]을 [비표준화된 양식]보다 더 신뢰할 수 있는 것으로 인식했다(Harrison et al., 2016). 학습자들은 직장 기반 평가(Khairy, 2004) 또는 성과 기반 평가(Jawaid et al., 2014)와 같은 평가 방법의 표준화 및 구조 부족에 대해 우려를 제기했다. 예를 들어, 학습자는 일관된 방식으로 평가(제프리 외, 2011; 프레스턴 외, 2020)되고 성과를 명시적 표준에 대해 평가하는 것이 중요하다고 강조했다(벨로 외, 2018; 해리슨 외, 2016; 리스 외, 2002; 샤르마 외, 2015; 수호요 외, 2017; 웰러). 학습자는 비구조화된 평가가 불공정하고(Nesbitt 등, 2013) 자신의 수행 정도를 덜 대표한다고 느꼈다(Brits 등, 2020).

Learners perceived standardized assessment and assessment-generated feedback as more credible than non-standardized forms (Harrison et al., 2016). Learners raised concerns regarding the lack of standardization and structure of assessment methods such as workplace-based assessments (Khairy, 2004) or performance-based assessments (Jawaid et al., 2014). For instance, learners stressed the importance of being assessed in a uniform manner (Jefferies et al., 2011; Preston et al., 2020) and having their performance evaluated against explicit standards (Bello et al., 2018; Harrison et al., 2016; Rees et al., 2002; Sharma et al., 2015; Suhoyo et al., 2017; Weller et al., 2009). Learners felt that unstructured assessments were unfair (Nesbitt et al., 2013) and less representative of their performance (Brits et al., 2020).

(ii)명확한 목적 
(ii)Clear purpose 

학습자는 그 목적을 이해했을 때 평가가 더 의미 있다고 인식했으며(Gaunt 등, 2017년; Given 등, 2016년; Green 등, 2007년; LaDonna 등, 2017년; MacNeil 등, 2020년) 평가 프로세스에 더 많이 참여하도록 이끌었다(Eenman 등, 2015년). 그러나 학습자가 평가의 목적에 대해 혼란스럽거나 불분명할 때 평가의 가치를 무시하는 경향이 있었다(Cho 등, 2014). 
Learners perceived assessments to be more meaningful when they understood its purpose (Gaunt et al., 2017; Given et al., 2016; Green et al., 2007; Kalet et al., 2007; LaDonna et al., 2017; MacNeil et al., 2020), which lead them to engage more with the assessment process (Heeneman et al., 2015). However, when learners were confused or unclear about the purpose of an assessment, they tended to dismiss its value (Cho et al., 2014): 

(iii)임상 관련성 
(iii)Clinical relevance 

학습자는 실제 시나리오에서 임상 기술을 실습할 기회를 제공하는 것으로 보이는 것과 같이 [실제 임상진료를 복제replicated한, 임상적으로 관련이 있다고 인식한 평가]를 가치 있게 평가했다. 이러한 평가는 임상 역량을 입증할 수 있는 기회로 간주되었다. 
Learners valued assessments they perceived as clinically relevant because they were seen to provide opportunities for practicing clinical skills in authentic scenarios (Barsoumian & Yun, 2018; Bogetz et al., 2018; Foley et al., 2018; Hagiwara et al., 2017; Jawaid et al., 2014; Khorashad et al., 2014; Malau-Aduli et al., 2019; Olsson et al., 2018; Pierre et al., 2004; Preston et al., 2020; Shafi et al., 2010; Yielder et al., 2017) that replicated real-life clinical care (Bleasel et al., 2016; Craig et al., 2010; McLay et al., 2002; Moreau et al., 2019). These assessments were viewed as opportunities to demonstrate clinical competence.

(iv)평가 타이밍
(iv)Timing of assessment 

마지막으로, [평가의 타이밍]은 교육생이 평가의 신뢰성을 인식하는 방식, 특히 훈련 중에 평가를 해야 하는 시점에 영향을 미쳤다. 평가가 커리큘럼과 수련 단계에 적합하고 적절하다고 판단될 때 평가에 대한 인식의 신뢰도가 증가하였다. Kalet 등은 [학습자들이 아직 노출되지 않은 역량에 대해 평가하는 것]은 시간 활용이란 점에서 부적절하다고 느꼈다고 보고했다. 또한 학습 잠재력을 최적화하고 개선할 영역을 식별하기 위해 훈련 초기에 특정 성과 기반 평가(예: OSCE, 시뮬레이션 임상 검사)가 요청되었다.

Lastly, the timing of an assessment also affected how a trainee perceived its credibility, specifically at which point during training an assessment should be given. Perceived credibility of assessment increased when the assessment was believed to be relevant and appropriate to the curriculum (Brits et al., 2020; Labaf et al., 2014; McLaughlin et al., 2005; Papinczak et al., 2007; Pierre et al., 2004; Vishwakarma et al., 2016) and level of training (Kalet et al., 2007; Pierre et al., 2004; Wiener-Ogilvie & Begg, 2012). Kalet et al. (2007) reported that learners felt it was a poor use of time to be assessed on competencies to which they had not yet been exposed. In addition, certain performance-based assessments (e.g., OSCE, simulated clinical examination) (Wiener-Ogilvie & Begg, 2012) were requested earlier in training to optimize learning potential and identify areas for improvement.

요약하면, 우리의 연구 결과는 학습자가 평가 또는 평가에서 생성된 피드백은 그것이 [표준화된 경우], [명확하게 전달되는 목적이 있고], [임상적 관련성을 보유]하고 있으며, [교육 중에 적절한 시점에 제공받는 경우]에 신뢰할 수 있는 것으로 인식할 가능성이 더 높다는 것을 보여준다.
In sum, our findings show that learners are more likely to perceive assessments or assessment-generated feedback as credible if they are standardized, have a clearly communicated purpose, hold clinical relevance, and are given at an appropriate time during their training.

C.평가점수의 인정된 품질
C.Perceived quality of assessment scores

학습자는 [점수의 퀄리티가 높다고 인식했을 경우]에 가장 호의적으로 반응했고, 이는 (점수가) 자신의 수행능력을 가장 잘 대표한다고 믿었을 때를 의미한다. 동등한 점수의 부족은 [수행능력-기반 평가]나 [직장 기반 평가]에서 주로 제기되었다. 그러나 한 연구는 [서면 시험(훈련 중 검사)]에 대해서도 유사한 우려를 식별했다(Kim 등, 2016; Ryan 등, 2017). 성과 기반 및 직장 기반 평가의 경우, 이러한 우려는 학습자가 자신의 평가자를 선택함으로써 도입된 인식 편향과 강하게 연결되었다(Brown et al., 2014; Curran et al., 2018; Feller & Berendonk, 2020).

Learners responded most favourably to scores they perceived to be of high quality, as they were believed to be most representative of their performance (Brits et al., 2020; Jawaid et al., 2014; Pierre et al., 2004). Lack of comparable scoring was an issue primarily raised with performance-based (Jawaid et al., 2014; Pierre et al., 2004) and workplace-based assessments (Kim et al., 2016; Nesbitt et al., 2013; Weller et al., 2009). One study, however, identified similar concerns on a written assessment (in-training examination) (Kim et al., 2016; Ryan et al., 2017). For performance-based and workplace-based assessments, this concern was strongly linked to perceived bias introduced by learners selecting their own assessors (Brown et al., 2014; Curran et al., 2018; Feller & Berendonk, 2020).

D.평가 점수 형식
D.Format of assessment scores

[평가 점수의 형식]은 훈련생이 그 신뢰도를 인식하는 방식에도 영향을 미쳤다. 학습자는 수행 평가 척도(Braund et al., 2019; Castonguay et al., 2018) 또는 양식(Curran et al., 2018)과 같은 [특정한 수행능력 채점 방법]은 "다양한 수준의 훈련과 실제 기술의 뉘앙스를 파악할 수 없었다"며 "학습 목표를 해석하고 해석하는데 어려움을 겪었다"고 느꼈음을 밝혔다. 이들은 평점이 '의미를 상실했다'고 느꼈고, 주어진 항목에서 '좋은 것good에서 우수한 것excellent으로' 나아가는 데 필요한 구체적인 기술을 찾아내기 위해 고군분투했다.

The format of assessment scores also affected how a trainee perceived its credibility. Learners felt certain assessment scoring methods such as performance rating scales (Braund et al., 2019; Castonguay et al., 2019) or forms (Curran et al., 2018) were unable to “catch the nuances of different levels of training and actual skills.” (Unspecified SR resident, p. 1500) quoted from (Bello et al., 2018) and were “difficult to interpret and translate into learning goals. They felt ratings ‘lacked meaning’ and struggled to identify specific skills to improve on to ‘move from good to excellent’ on a given item.” (Results, p. 178) quoted from (Bogetz et al., 2018).

E.최적이 아닌 성능의 결과
E.Consequences of suboptimal performance

평가자의 인식된 신뢰성이 [평가자 및 피드백 제공자], [평가 절차], [표준화된 채점], [평가 점수 형식] 및 [부족한 성과에 따르는 결과]를 포함한 [평가 프로세스의 여러 요소]에 의해 영향을 받는다는 것을 시사한다.

Our results suggest that the perceived credibility of an assessment is influenced by multiple elements of the assessment process including the assessor and feedback provider, procedures of an assessment, standardized scoring, format of assessment scores, and consequences of suboptimal performance.

평가는 부족한 성과에 따른 결과가 명확할 때 더 신뢰할 수 있는 것으로 인식되었다(Arnold 등, 2005). 즉 "과정 중은 물론 심지어 졸업에서도 동료의 성적에 영향을 미쳐야 한다"라는 생각과 같다.

• 일부 학습자는 감독자 기반 평가와 동료 평가를 모두 포함하여, [수반되는 결과가 없는 평가]는 학습에 미치는 영향이 제한적이라고 느꼈다(Arnold 등, 2005).
• 그러나 일부 학습자는 반대로 특정 평가(예: 지식 테스트 또는 수행 기반 평가)의 결과는 "그런 테스트가 실제로 가져야 할 결과보다 훨씬 더 크다"고 느꼈다.

Assessments were perceived to be more credible when there were clear consequences of suboptimal performance, i.e., “it should affect the peer’s grades in courses and even in graduation” (p. 821) (Arnold et al., 2005). Some learners felt assessments with no consequences limited potential for learning (Dijksterhuis et al., 2013; Schut et al., 2018)—including both supervisor-based and peer assessment (Arnold et al., 2005). However, some learners felt the consequences of certain assessments e.g., knowledge tests or performance-based assessment were “much bigger than the consequences such a test should actually have.” (Participant B1, p. 660) quoted from (Schut et al., 2018).

요인 2: 학습자의 교육 수준
Factor 2: Learners’ level of training

[학습자의 수련 단계]는 평가에 대한 인식된 신뢰성과 평가-생성 피드백에 대한 후속 수용성에 영향을 미쳤다(Bello 등, 2018; Bowen 등, 2017; Murdoch-Eaton & Sargeant, 2012; Wade 등, 2012). 학습자가 주니어 학습자에서 시니어 학습자로 발전함에 따라 수동적인 피드백 수신(예: 평가자가 기준을 충족하는지 알려 주기를 기대함)에서 성과 향상을 위한 학습 전략을 조정하기 위한 보다 적극적인 피드백 탐색으로 발전적 전환이 일어날 수 있습니다(Dijsterhuis 등, 2013; Murdoch-Eaton & Sargeant)., 2012).

• 주니어 학습자는 자신의 성과를 긍정하기 위해 긍정적인 피드백을 원했고, 부정적인 피드백으로 인해 사기가 저하되었습니다(Murdoch-Eaton & Sargeant, 2012).
• 반대로 상급 학습자는 성과 향상에 사용될 수 있기 때문에 부정적인 피드백에서 더 큰 가치를 보았다(Bleasel et al., 2016; Chaffinch et al., 2016; Murdoch-Eaton & Sargeant, 2012; Sabey & Harris, 2011). 상급 학습자들은 긍정적인 피드백이 "자신을 현실에 안주하게 할 수 있다"(Trainee A3a, 페이지 718)는 것과 항상 실천 가능한 개선 단계를 제공하는 것은 아니기 때문에 의미가 적다고 느꼈습니다(Harrison et al., 2016).

A learner’s level of training influenced their perceived credibility of an assessment and their subsequent receptivity to assessment-generated feedback (Bello et al., 2018; Bowen et al., 2017; Murdoch-Eaton & Sargeant, 2012; Wade et al., 2012). As learners progressed from being junior to senior learners, a developmental shift may occur from passive reception of feedback (e.g., expecting assessors to inform them if they are meeting standards) to more active seeking of feedback in order to adapt learning strategies to improve performance (Dijksterhuis et al., 2013; Murdoch-Eaton & Sargeant, 2012).

• Junior learners wanted positive feedback to affirm their performance and were demoralized by negative feedback (Murdoch-Eaton & Sargeant, 2012).
• On the contrary, senior learners saw greater value in negative feedback as it could be used to improve performance (Bleasel et al., 2016; Chaffinch et al., 2016; Murdoch-Eaton & Sargeant, 2012; Sabey & Harris, 2011). Senior learners felt that positive feedback was less meaningful because it “can make you complacent” (Trainee A3a, p. 718) quoted from (Murdoch-Eaton & Sargeant, 2012) and it did not always provide actionable steps for improvement (Harrison et al., 2016).

주니어 학습자는 동료의 피드백이 관리자의 피드백보다 신뢰성이 떨어진다고 느꼈습니다. (Burgess & Mellis, 2015)에서 인용한 "[학술]들이 준 피드백은 반 친구의 피드백이라기보다는 내가 가져간 것이다." (의대생 12, 페이지 205) 또한, 주니어 학습자들은 동료들이 자신의 기술을 평가할 때 객관적으로 생각하는 데 어려움을 겪을 수 있다고 느꼈다(Murdoch-Eaton & Sargeant, 2012). 
Junior learners felt peer feedback was less reliable than feedback from a supervisor: “…the feedback they [academic] gave was what I took away rather than my class mate’s” (Medical student 12, p. 205) as quoted from (Burgess & Mellis, 2015). Additionally, junior learners felt their peers may have difficulty being truly objective when evaluating their skills (Murdoch-Eaton & Sargeant, 2012).

그러나 상급 학습자는 도움이 되는 것으로 인식되어 동료 평가에서 더 자주 가치를 발견했다(McKavanagh 등, 2012; Lees 등, 2002). 상급 학습자들은 또한 동료 평가의 신속성과 심도 있는 토론으로 후속 조치를 취할 수 있는 능력에 대해 높이 평가했다(Murdoch-Eaton & Sargeant, 2012). 

Senior learners, however, more often found value in peer assessment as it was perceived to be helpful (McKavanagh et al., 2012; Rees et al., 2002). Senior learners also appreciated peer assessment for its immediacy and the ability to follow-up with in-depth discussion (Murdoch-Eaton & Sargeant, 2012).

간단히 말해서, 우리의 연구 결과는 주니어 학습자와 시니어 학습자가 피드백의 제공자와 극성에 따라 피드백의 효용성에 대해 서로 다른 관점을 가지고 있음을 시사한다.

In brief, our findings suggest that junior and senior learners have different perspectives on the utility of feedback which depend on the provider and polarity of the feedback.

요소 3: 의료 교육의 맥락
Factor 3: Context of medical education

우리는 의료 교육의 맥락과 관련된 평가-생성 피드백의 인식 신뢰성에 영향을 미치는 두 가지 요인을 식별했다.
We identified two factors that influence the perceived credibility of assessment-generated feedback related to the context of medical education: 

• (i) 안전한 학습 환경 및
  
• (ii) 평가-생성 피드백의 일관성.
• (i) safe learning environment and
• (ii) consistency of assessment-generated feedback.

이러한 요소들은 프로그램이나 기관의 수준에서 문제를 반영하기 때문에 이전에 확인된 요소들과 다릅니다. 따라서 이러한 요소들은 [이전 섹션에서 논의한 평가의 과정이나 실천과 관련된 요소에 비해 평가-생성 피드백의 인지된 신뢰성을 지원하도록] 수정 또는 조정하기가 더 어려울 수 있다.
These factors differ from those previously identified because they reflect issues at the level of the program or institution. These factors may therefore be more difficult to amend, adapt, or adjust to support the perceived credibility of assessment-generated feedback compared to factors related to the process or practice of assessment discussed in previous sections.

(1)안전한 학습환경 
(1)Safe learning environment 

학습자는 [안전한 학습 환경에서 발생하는 평가]가 학습(Duijn et al., 2017; Sargeant et al., 2011), 자기 성찰(Nikendei et al., 2007)을 촉진하고 평가 및 평가-생성 피드백에 대한 참여를 촉진했기 때문에 신뢰할 수 있는 것으로 인식했다. 그러나 "[f]필수 순환과 더 짧은 배치가 있는 임상 학습 환경은 의미 있는 교육 관계를 개발하기 위해 사용 가능한 시간에 영향을 미쳤다." (결과, 페이지 1306) (Bowen 등, 2017) 안전한 학습 환경은 학습자가 도움을 구하고, 지식 격차를 인정하며, 실수를 공개적으로 토론하는 학습 풍토라고 설명하였다(상사 등, 2011).

Learners perceived assessment occurring in a safe learning environment as credible as it fostered learning (Duijn et al., 2017; Sargeant et al., 2011), self-reflection (Nikendei et al., 2007), and facilitated engagement with assessment and assessment-generated feedback. However, clinical learning environments with “[f]requent rotations and shorter placements affected time available to develop meaningful educational relationships.” (Results, p. 1306) (Bowen et al., 2017). A safe learning environment was described as a learning climate in which learners felt comfortable to seek help, admit knowledge gaps, and openly discuss mistakes (Sargeant et al., 2011).

(2)평가 결과 피드백의 일관성 
(2)Consistency of assessment-generated feedback 

일부 학습자는 [간헐적인 피드백이 신뢰도에 대한 인식을 저하시켰다]고 보고했다(Brits et al., 2020; Korszun et al., 2005; Murdoch-Eaton & Sargeant, 2012; Perera et al., 2008; Weller et al., 2009). "전반적으로 의료 훈련에서 완전히 부족한 것은 피드백이며, 동료들과 당신이 어디에 있는지, 그리고 당신의 전문가가 실제로 어떻게 생각하는지 아는 것이다." (미확인 훈련생, 페이지 527). 제공된 산발적인 피드백 중 대부분은 지나치게 일반적이고(MacNeil 등, 2020; Mohanaruban 등, 2018; Moreau 등, 2019; Preston 등, 2020), 일방적으로 지시적인 것(Dijksterhuis 등, 2013)으로 보여 도움이 되지 않는 것으로 판단되었다. 반면 어떤 학습자들은 피드백 내용과 제공이 개선되어 보다 구체적인 초과 근무 및 임상적 집중이 되고 있다고 느꼈다(Murdoch-Eaton & Sargeant, 2012). 이러한 일관되지 않은 연구 결과는 각 기관이 임상 교육 사이트마다 어느 정도 차이가 있지만, 학습자의 평가-생성 피드백 제공과 후속 수용성에 영향을 미치는 [고유한 문화]를 가지고 있을 수 있음을 시사한다(Craig 등, 2010). 평가에서 생성된 피드백은 교육 과정, 순환, 연도별로 차이가 있어 향후 교육에는 해당되지 않을 수 있으므로 추가 개발에 통합 및 활용하기 어렵다. 이러한 피드백 불일치는 학습자가 의료 교육 내에서 제한된 피드백 문화를 나타내는 것으로 확인되었다(Weller 등, 2009). 

Some learners reported infrequent feedback decreased perceived credibility (Brits et al., 2020; Korszun et al., 2005; Murdoch-Eaton & Sargeant, 2012; Perera et al., 2008; Weller et al., 2009): “[o]ne thing that’s totally lacking in medical training across the board is feedback, and knowing where you are in relation to your colleagues and also what your specialist actually really [thinks]” (Unidentified trainee, p. 527) quoted from (Weller et al., 2009). Of the sporadic feedback provided, most was judged as unhelpful as it was seen as overly general (MacNeil et al., 2020; Mohanaruban et al., 2018; Moreau et al., 2019; Preston et al., 2020) and primarily directive (Dijksterhuis et al., 2013). Other learners felt feedback content and provision was improving, becoming more specific overtime and clinically focused (Murdoch-Eaton & Sargeant, 2012). These inconsistent findings suggest that each institution may have its own culture that influences the provision of assessment-generated feedback and subsequent receptivity by learners, with some variability across clinical education sites (Craig et al., 2010). Assessment-generated feedback appears to vary by course, rotation, and year of training, making it difficult to integrate and use for further development as it may not be applicable in future training. These feedback inconsistencies have been identified by learners as indicative of a limited feedback culture within medical education (Weller et al., 2009).

요약하자면, 우리의 검토는 [안전한 학습 환경]에서 이루어지고 [일관된 피드백을 제공]하는 평가가 신뢰할 수 있는 것으로 인식될 가능성이 더 높다는 것을 시사한다.

In summary, our review suggests that assessments that take place in a safe learning environment and provide consistent feedback are more likely to be perceived as credible.

여러 평가 유형에 걸쳐 평가의 인식된 신뢰성에 영향을 미치는 요인
Factors that influence the perceived credibility of assessment across assessment types

위에 보고된 평가 및 평가-생성 피드백의 인식 신뢰성에 영향을 미치는 요소는 학생의 훈련 수준을 통해 주어진 평가를 받은 평가자의 경험에서 학습 환경에 이르기까지 다양하다. 표 3에 포함된 요소를 고려하면 평가에 대한 인식 신뢰도와 평가-생성 피드백 및 학습에 대한 지원 평가가 증가해야 한다.
The factors that influence the perceived credibility of assessment and assessment-generated feedback reported above span from assessor experience with a given assessment through student’s level of training to the learning environment. In Table 3, we summarize the evidence regarding design-related factors (i.e., assessment process and scoring) that influence the perceived credibility of assessment in order to better support the development of credible assessment practices. We organized the evidence according to three common assessment approaches (written assessment, performance-based assessment, workplace-based assessment) whether these factors increase or decrease perceived credibility and provide supportive evidence. Consideration of the factors included in Table 3 should increase perceived credibility of assessments and assessment-generated feedback and support assessment for learning. 

표 3 평가의 인식 신뢰도에 영향을 미치는 설계 관련 요인
Table 3 Design-related factors that affect the perceived credibility of assessment

고찰 Discussion

이 범위 지정 검토는 의료 교육 문헌에서 평가 및 평가-생성 피드백의 인식된 신뢰성의 개념에 초점을 맞췄다. 1차 문헌에서 추출한 우리의 연구 결과는 의료 학습자가 평가의 신뢰성과 관련 평가에서 생성된 피드백을 인식하는 방법에 영향을 미칠 수 있는 요인의 집합이 있음을 시사한다. 점점 더 관련성이 있는 개념임에도 불구하고, 검토에 포함된 매우 적은 수의 연구만이 '신뢰성credibility'이라는 용어를 정확히 사용했으며, 명시적 정의를 포함하는 연구는 없었다. 용어 사용 빈도가 낮음에도 불구하고, 신뢰성credibility의 개념은 문헌에서 공정성, 타당성, 유용성, 가치성 등의 측면에서 반영되었다. 하나의 개념을 설명하는 데 여러 용어가 사용되고 명시적인 정의가 없기 때문에, 우리의 연구 결과는 인식된 신뢰성이 다음과 밀접하게 관련된 새로운 개념임을 시사한다. 

• 방어 가능(Norcini 등, 2011),
• 교육적으로 가치 있는(Holmboe 등, 2010) 및
• 학생 지향 평가 실천 (Epsein 등, 2011)

This scoping review focused on the concept of perceived credibility of assessment and assessment-generated feedback in the medical education literature. Drawn from primary literature, our findings suggest there is a constellation of factors that can influence how medical learners perceive the credibility of assessment and associated assessment-generated feedback. Despite being an increasingly relevant concept, very few studies included in our review used the exact term ‘credibility’, and none included an explicit definition. Despite the low frequency of the term, the concept of credibility was present in the literature—reflected in terms such as fair, valid, helpful, useful, and valuable. With several terms being used to describe one concept, and no explicit definitions, our finding suggests that perceived credibility is an emerging concept tightly related to

• defensible (Norcini et al., 2011),
• educationally-valuable (Holmboe et al., 2010), and
• student-oriented assessment practices (Epstein, 2007; Norcini et al., 2011).

검토 과정을 통해 신뢰성과 타당성credibility and validity 이 평가 품질 보장을 위한 유사한 고려사항을 반영할 수 있다는 것이 분명해졌다. 현대의 타당성 개념화는 합격/실패 결정 또는 역량의 판단(일반적으로 평가 관리자의 책임) 측면에서 점수의 해석을 뒷받침하는 증거를 고려한다(Messick, 1995). 관리자는 주어진 점수 해석을 뒷받침하는 타당성 근거에 무게를 두고 해당 점수 해석이 타당한지 여부를 판단한 후 평가 결과를 교육기록부에 입력한다. 평가의 교육적 가치를 고려할 때, [점수 해석의 '책임감'은 학습자 개인의 몫]입니다. 각 학습자는 자신의 점수나 평가 결과를 자신의 성과나 순위를 나타내는 지표로 해석하고, 추가 학습이나 성과 개선 영역을 식별하기 위해 이러한 해석을 바탕으로 할 책임이 있습니다. 
Through the review process, it became apparent that the terms credibility and validity may reflect similar considerations for ensuring assessment quality. Modern conceptualizations of validity consider the evidence supporting the interpretation of scores in terms of pass/fail decisions or judgments of competence—typically the responsibility of assessment administrators (Messick, 1995). An administrator weights the validity evidence supporting a given score interpretation, decides whether or not that score interpretation is sound, and then the results of the assessment are entered into an educational record. When considering the educational value of assessment, the ‘responsibility’ of score interpretation rests in the hands of individual learners. Each learner is responsible for interpreting their scores or assessment results as indicators of their own performance or standing, and to build on those interpretations in order to identify areas of further study or performance improvement.

[점수 해석을 지지하는 데 사용할 수 있는 타당성 증거를 평가하는 관리자]와 병행하여 [학습자는 성과 개선을 위해 피드백에 의존해야 하는지 결정하기 위해, 평가 또는 평가-생성 피드백의 신뢰성에 대한 증거를 평가]하는 것으로 보입니다. 이 두 명의 서로 다른 교육 이해 당사자들은(즉 교육 관리자 및 학습자), 공식적인 교육 평가를 위해서든 또는 비공식 수행 능력 향상을 위해서든, 점수 해석의 적절성에 대한 결정에 참여하고 평가 데이터의 정당한 사용(또는 비사용)을 결정한다. 
In parallel to an administrator weighing validity evidence available in support of a score interpretation, learners appear to weigh evidence of the credibility of an assessment or assessment-generated feedback to determine whether to rely on the feedback for performance improvement. These two different educational stakeholders—assessment administrators and learners—both engage in decisions about the appropriateness of a score interpretation and decide on the legitimate use (or not) of the assessment data, either for formal educational assessment or informal performance improvement.

생성한 평가 데이터에 대한 [학습자의 참여와 해석]은 [평가의 교육적 가치]를 뒷받침한다. 이 검토의 결과는 학습자가 평가 점수에 어떻게 참여하는지engage with는, 최소한 부분적으로 [해당 점수에 대한 신뢰도]에 달려 있음을 시사한다.

• 평가 또는 평가에서 생성된 피드백이 신뢰할 수 있는 것으로 인식되면 학습자는 향후 성과를 개선할 수 있는 기회로 해당 피드백에 참여할 가능성이 높아집니다(Watling et al., 2012).
• 신뢰할 수 없는 것으로 인식되면 무시, 무시 또는 기각됩니다.

This engagement with, and interpretation of, assessment-generated data by a learner underpins the educational value of assessment. The findings of this review suggest that how learners engage with assessment scores is at least partially dependent on how credible those scores are perceived to be. When an assessment or assessment-generated feedback is perceived as credible, learners are more likely to engage with it as an opportunity to improve future performance (Watling et al., 2012). When it is not perceived as credible, it is discounted, ignored, or dismissed. 

어떤 면에서 평가 데이터에 참석할지 또는 무시할지 결정할 때, 학습자는 평가 또는 평가-생성 피드백의 타당성 또는 신뢰성에 의문을 제기하는 것으로 보인다. 학습자가 평가 설계, 구현 및 채점을 신뢰할 수 있는 것으로 인식하지 않을 경우 평가 과정이 평가의 교육적 가치를 훼손할 가능성이 있기 때문에, [평가 과정에서 학생을 행위자actor 또는 이해관계자]로 고려해야 한다.(Harrison 등, 2016; Ricci 등, 2018). 이러한 관점은 평가 데이터가 향후 개선에 기여할 수 있도록 학생 중심의 평가 실천을 지원하고, 평가에 대한 잠재적인 방법을 개별 학습자의 요구와 관심사에 더 잘 맞출 것을 제안한다(Looney, 2009).
In a way, learners appear to be questioning the validity (Ricci et al., 2018), or credibility of assessments or assessment-generated feedback when deciding whether to attend to, or ignore, assessment data. These findings contribute to a consideration of students as actors or stakeholders in the assessment process (Harrison et al., 2016; Ricci et al., 2018) because if learners do not perceive the assessment design, implementation and scoring as credible, the assessment process will likely undermine the educational value of assessment. This perspective supports more student-centred assessment practices to ensure assessment data can contribute to later improvement, and suggests potential avenues for assessments to be more tailored to individual learner's needs and interests (Looney, 2009).

평가 또는 평가-생성 피드백이 신뢰할 수 있는 것으로 인식될 가능성을 높이는 몇 가지 요인을 식별했다.
We identified several factors that increase the likelihood of an assessment or assessment-generated feedback being perceived as credible

첫째, 평가의 인식된 신뢰성과 관련 피드백은 [평가자나 피드백 제공자]에 대한 훈련생의 인식에 크게 영향을 받았다. 예를 들어, 학습자는 다음과 같은 경우 평가를 신뢰할 수 있는 것으로 인식할 가능성이 더 높다.
First, perceived credibility of an assessment and its associated feedback was greatly influenced by a trainee’s perception of their assessor or feedback provider. For instance, a learner was more likely to perceive an assessment as credible if they

• 평가자와 신뢰관계가 있었다
  
• 존경했다. 
  
• 장기적 발달에 관심이 있는 것으로 인식되었다
• had a trusting relationship with their assessor (Bogetz et al., 2018; Bowen et al., 2017; Duijn et al., 2017; Feller & Berendonk, 2020; LaDonna et al., 2017; Lefroy et al., 2015; MacNeil et al., 2020; Mukhtar et al., 2018; Ramani et al., 2020; Watling et al., 2008),
• respected them (Beaulieu et al., 2019; Bello et al., 2018; Bleasel et al., 2016; Bowen et al., 2017; Dijksterhuis et al., 2013; Feller & Berendonk, 2020; Ramani et al., 2020; Sharma et al., 2015), and
• perceived them to be interested in their long-term progress (Areemit et al., 2020; Bleasel et al., 2016; Bowen et al., 2017; Duijn et al., 2017; Eady & Moreau, 2018; Harrison et al., 2015; MacNeil et al., 2020; Ramani et al., 2020).

둘째, [평가 자체]의 몇 가지 측면은 신뢰성의 인식 가능성으로 이어졌으며, 이러한 요소들은 다음을 포함한다.
Second, several aspects of an assessment itself led to greater likelihood of perceived credibility, these factors included

• 표준화된 접근방식 
  
• 명확한 목적 
  
• 임상 관련성 및 진정성
  
• 훈련 중 적절한 시간에 평가를 제공한다
• standardized approach (Harrison et al., 2016; Jawaid et al., 2014; Jefferies et al., 2011; Khairy, 2004; Nesbitt et al., 2013; Rees et al., 2002; Sharma et al., 2015; Suhoyo et al., 2017; Weller et al., 2009),
• clear purpose (Cho et al., 2014; Green et al., 2007; Heeneman et al., 2015; Kalet et al., 2007),
• clinical relevance and authenticity (Bleasel et al., 2016; Craig et al., 2010; Given et al., 2016; Jawaid et al., 2014; Khorashad et al., 2014; McLay et al., 2002; Pierre et al., 2004; Shafi et al., 2010), and
• provision of the assessment at an appropriate time during their training (Curran et al., 2007; Kalet et al., 2007; Labaf et al., 2014; McLaughlin et al., 2005; Papinczak et al., 2007; Pierre et al., 2004; Vishwakarma et al., 2016; Wiener-Ogilvie & Begg, 2012).

셋째, [평가점수의 품질]에 대한 인식은 신뢰도 인식에 필수적이었다(Brown 등, 2014년; Jawaid 등, 2014년; Kim 등, 2016년; Nesbitt 등, 2013년; Pierre 등, 2004년; Weller 등, 2009년). 학습자가 점수가 임의적이라고 느낄 때 신뢰도에 대한 인식이 감소했다.

Third, perceived quality of assessment scoring was imperative to perceived credibility (Brown et al., 2014; Jawaid et al., 2014; Kim et al., 2016; Nesbitt et al., 2013; Pierre et al., 2004; Weller et al., 2009), when learners felt scoring was arbitrary, perceptions of credibility decreased.

마지막으로 학습자는 평가 중 [부적절한 성과에 대한 명확한 후속결과]를 원했으며(Arnold et al., 2005; Dijksterhuis et al., 2013) 평가 없이는 평가가 학습을 진척시킬 수 없다고 느꼈기 때문에 신뢰할 수 없었다. 
Lastly, learners wanted clear consequences for suboptimal performance during an assessment (Arnold et al., 2005; Dijksterhuis et al., 2013), without it, learners felt the assessment could not drive learning forward and thus was not as credible.

우리의 연구 결과는 [학습자가 평가의 많은 상황적, 과정적, 형식적(평가자, 평가 자체, 그리고 평가에서 생성된 피드백) 측면을 기반으로, 평가의 신뢰성에 대해 판단하여, 무시할 정보와 향후 성과 개선을 위해 통합하고 사용할 정보를 결정한다]는 결론을 뒷받침한다. 따라서 향후 학습을 지원할 목적으로 평가를 설계할 때는 평가 절차, 학습자와 평가자 간 신뢰 관계, 적절한 채점 접근법 등을 고려해야 한다.

Our findings support the conclusion that medical learners make judgments about the credibility of assessment based on many contextual, process, and format aspects of assessment – including assessors, the assessment itself, and the assessment-generated feedback – to determine what information they will dismiss and what they will integrate and use for future performance improvement. Therefore, when designing an assessment with the intention to support future learning, considerations of assessment procedures, trusting relationships between learners and assessors, and appropriate scoring approaches should be made.

또한 평가의 인식된 신뢰성을 훼손하는 몇 가지 요인을 확인했으며, 따라서 아래의 것들은 평가 또는 평가 프로그램을 설계할 때 피해야 한다. 일부는 평가자와 관련이 있다.

• 평가 프로세스에 익숙하지 않은 평가자
  
• 평가자를 스스로 선택할 수 있는 권한  
  
• 평가자에 의해 점수가 학습자에 대해 설명되거나 상황에 맞게 조정되지 않은 경우

We also identified several factors that undermined the perceived credibility of assessment; and therefore, should be avoided when designing an assessment or assessment program. Some are related to the assessor;

• assessors who are unfamiliar with assessment process (Bleasel et al., 2016; Brown et al., 2014; Green et al., 2007; Johnson et al., 2008; Kalet et al., 2007; McKavanagh et al., 2012; Ringsted et al., 2004; Sabey & Harris, 2011; Weller et al., 2009),
• the ability to self-select an assessor (Brown et al., 2014), and
• when scores are not explained or contextualized for the learner by the assessor (Bello et al., 2018; Bogetz et al., 2018; Braund et al., 2019; Castonguay et al., 2019; Curran et al., 2018).

예를 들어, 학습자가 평가 과정에 익숙하지 않고 훈련이 부족한 평가자를 만났을 때, 그 평가는 신뢰할 만한 것으로 인식될 가능성이 낮았다. 또한 학습자는 [자신의 점수를 이해하는 것]의 중요성과 [점수를 향상시킬 수 있는 방법]을 강조했습니다. 이러한 요소가 없다면, 학습자는 평가에서 생성된 피드백을 신뢰할 수 있는 것으로 인식하지 못할 가능성이 더 높습니다. 이러한 결과는 평가에서 생성된 피드백이 향후 학습을 지원할 수 있는 가능성을 높이는 데 평가자의 중요성을 강조한다. 평가 자체의 질과 상관없이, 평가자가 신뢰할 수 있는 것으로 인식되지 않는 경우, 학습자는 평가를 배움의 기회가 아닌 "후프 투 스쳐 지나가기"로 볼 수 있습니다. 학습자가 자신의 평가를 이러한 관점에서 인식하면 결과 점수 해석의 타당성이 훼손됩니다. 좀 더 구체적으로 말하면, 학습자는 이 평가에 교육의 기회로 참여하지 않을 것이며, 따라서 평가가 좋은 데이터의 수집으로 이어지지는 않을 것이다. 이 때, 이 평가에 근거한 학습자의 성과에 대한 판단은 타당하지 않을 수 있습니다. 

For instance, when learners encountered an assessor who was unfamiliar and lacked training with the assessment process, the assessment was less likely to be perceived as credible. Additionally, learners highlighted the importance of understanding their scores and how they could improve them, without this piece, they were more likely to not perceive the assessment-generated feedback as credible. These findings highlight the importance of the assessor in increasing the likelihood that assessment-generated feedback can support future learning. Regardless of the quality of the assessment itself, if an assessor is not perceived as credible, learners may view the assessment as a “hoop to jump through” rather than an opportunity for learning. When learners perceive their assessments in this light, the validity of resulting score interpretations are undermined. More specifically, the learner will not engage with this assessment as an educational opportunity, and thus, the assessment will not lead to the collection of good data. When this occurs, any judgments made regarding the learner’s performance based on this assessment may not be valid.

마지막으로, 우리는 평가 또는 평가-생성 피드백의 인식된 신뢰성에 부정적인 영향을 미치는 [평가 문화를 둘러싼 상황적 요인(즉, 안전한 학습 환경, 피드백 불일치)]을 식별했다. 평가와 피드백 문화를 바꾸기는 어려운 반면, 식별된 많은 요소들은 관련 설계, 구현 및 피드백 관행을 신중하게 고려하여 수정할 수 있다. 역량 기반 의료 교육의 맥락에서 훈련생 성과 평가는 학습자의 발달 궤적을 지원하는 종적 및 프로그램적 평가에 의존한다(Frank et al., 2010). 본 리뷰에 포함된 문헌에 따르면, 주니어 학습자와 시니어 학습자가 원하는 피드백 유형의 차이를 문서화하였다. 상급 학습자가 비판적 피드백을 선호하는 경향이 있는 경우, 이는 향후 성과를 개선하는 데 더 유용한 것으로 인식된다. 반면 하급 학습자들은 사기를 꺾는다고 느꼈습니다.

Finally, we identified contextual factors surrounding the culture of assessment (i.e., safe learning environment, Duijn et al., 2017; Nikendei et al., 2007; Sargeant et al., 2011), feedback inconsistencies (Craig et al., 2010; Korszun et al., 2005; Murdoch-Eaton & Sargeant, 2012; Perera et al., 2008; Weller et al., 2009)) that negatively impact the perceived credibility of assessment or assessment-generated feedback. While the culture of assessment and feedback remains challenging to influence, many of the factors identified are possible to amend with careful consideration of the associated design, implementation, and feedback practices. In the context of competency-based medical education (Frank et al., 2010), the evaluation of trainee performance is dependent on longitudinal and programmatic assessment which supports the developmental trajectory of learners (Frank et al., 2010). Literature included in this review documented a difference in the type of feedback desired by junior versus senior learners; where senior learners tended to prefer critical feedback as it was perceived as more useful in improving future performance (Chaffinch et al., 2016; Murdoch-Eaton & Sargeant, 2012; Sabey & Harris, 2011), whereas junior learners felt it was demoralizing. 

요약하자면, 이 범위 지정 검토는 교육생이 평가의 신뢰성과 그에 관련된 피드백에 참여, 사용 및 지각하는 방법에 영향을 미치는 다양한 요소를 식별했다. 과거의 의료 교육 실천 권고안과는 달리, 우리의 연구 결과는, 학습자 관점에서 유용성과 신뢰성을 개선하기 위해 동원될 수 있는 평가 및 피드백 프로세스의 측면을 강조함으로써, [학습자를 학습 프로세스의 중심에 배치]한다(Spenzer & Jordan, 1999). (체크리스트, 점수, 등급 척도 등) 특정 형태의 평가-생성 피드백은 해석이 어렵고 의미가 부족한 것으로 인식됐다. 성과 또는 직장 기반 피드백과 같은 다른 형태는 교육생들에게 드물고 특정적이지 않으며 도움이 되지 않는 것으로 인식되어 왔다. 

In sum, this scoping review has identified a variety of factors that influence how trainees engage, use, and perceive the credibility of an assessment and its associated feedback. Distinct from past medical education practice recommendations (Telio et al., 2015), our findings place the learner at the centre of the learning process (Spencer & Jordan, 1999) by highlighting aspects of the assessment and feedback process that can be mobilized to improve its utility and credibility from the learner perspective. Certain forms of assessment-generated feedback such as checklists, scores, rating scales were perceived as difficult to interpret and lacking meaning. Other forms such as performance- or workplace-based feedback have been perceived by trainees as infrequent, non-specific, and unhelpful. 

이러한 결과는 교육생과 평가자 간의 "교육적 동맹"의 중요성을 나타낸다. 이러한 개념 하에서, 평가와 피드백 프로세스는 [일방적인 정보 전송(평가자에서 수습사원으로)]에서 [실제로 피드백을 사용하여, 학문적 목표를 달성하기 위해 협력할 목적을 가지고, 학습 목표, 성과 및 표준에 대한 공유된 이해를 갖고있는, 진정한 교육적 관계]로 재구성되어야 한다. 평가자-학습자 대화 이외의 평가-생성 피드백의 역할을 고려할 경우, 평가와 평가-생성 피드백이 효과적인 학습에 기여하도록 보장하기 위해 학습자와 기관 또는 프로그램 간에 교육적 동맹을 형성하는 방법을 고려하는 것이 가치가 있을 수 있음을 시사한다.
These findings point to the importance of an “educational alliance” between trainees and assessors, whereby the assessment and feedback processes are reframed from one-way information transmission (from assessor to trainee) to an authentic educational relationship with a shared understanding of learning objectives, performance, and standards with the aim of working together to achieve academic goals using feedback in practice (Molloy et al., 2019; Telio et al., 2015). If we consider the role of assessment-generated feedback outside of assessor-learner conversations, it suggests that there may be value in considering how educational alliances can be formed between a learner and an institution or program in order to ensure assessment and assessment-generated feedback contribute to effective learning.

이 범위 지정 연구에는 몇 가지 제한이 있습니다. 문헌에서 신뢰도credibility 라는 용어를 상대적으로 자주 사용하지 않고, 우리의 검색 전략에서 신뢰의 구성이 운영화된 방식 때문에, 일부 관련 문헌이 누락되었을 가능성이 있다. 관련 문헌을 최대한 많이 확인하기 위해 경험이 풍부한 학계 사서를 팀에 포함시키고 검색 전략을 반복적으로 다듬었습니다. 또한 검색 전략을 보완하기 위해 주요 기사의 인용 추적에 의존했다. 연구 중인 개념이 평가 및 의료 교육 문헌 전반에 걸쳐 광범위하게 표현될 가능성이 높기 때문에 이 검토는 수작업을 수행하지 않았다(Young 등, 2018). 우리는 또한 동료 검토 저널에 발표된 주요 문헌으로 검색을 제한하여 평가 및 평가-생성 피드백의 인식 신뢰성에 영향을 미치는 요소를 연구 증거에 의해 뒷받침되었다. 대부분의 확인된 논문들은 유럽과 북미에서 온 것이므로, 우리의 발견이 국제적으로 적용될 수 있는 가능성은 제한적일 수 있다. 국제적인 수준에서 우리의 발견의 일반화 가능성을 향상시키기 위해, 향후 연구는 이러한 발견을 국제적으로 적용하기 위해 더 잘 맥락화하기 위한 주요 국제 전문가와의 논의를 포함할 수 있다.

This scoping study has some limitations. Due to the relatively infrequent use of the term credibility in the literature, and the way in which the construct of credibility was operationalized in our search strategy, it is possible that some relevant literature was missed. To ensure we identified as much relevant literature as possible, we included an experienced academic librarian on our team and iteratively refined our search strategy. We also relied on citation tracking of key articles to supplement our search strategy. This review did not perform handsearching as the concept under study was likely to be broadly represented across the assessment and medical education literature (Young et al., 2018). We also decided to limit our search to primary literature published in peer-reviewed journals to synthesize the factors, supported by research evidence, that influenced the perceived credibility of assessment and assessment-generated feedback. Most identified articles were from Europe and North America; therefore, the international applicability of our findings may be limited. To enhance the generalizability of our findings at the international level, future research could engage discussions with key international experts to better contextualize these findings for international application.

결론 Conclusion

이 검토에 요약된 결과는 [학습을 지원하고 추진하는 수단]으로서의 평가 및 평가-생성 피드백의 가치를 뒷받침하며, 평가 개발자, 평가 관리자 및 의료 교육자가 의료 학습자를 포함하는 [학습자 중심의 평가 접근 방식]을 채택하는 것을 고려하는 것이 의미 있을 수 있다. 그 효용성을 보장하기 위해서 평가 전략이나 도구의 개발에 학습자를 포함할 수 있다.

The findings summarized in this review support the value of assessment and assessment-generated feedback as a means to support and drive learning, and it may be meaningful for assessment developers, assessment administrators, and medical educators to consider adopting a learner-centred assessment approach that includes medical learners in the development of learning assessment strategies and tools for assessment to ensure their utility.

Adv Health Sci Educ Theory Pract. 2021 Sep 27.

 doi: 10.1007/s10459-021-10071-w. Online ahead of print.

Factors affecting perceived credibility of assessment in medical education: A scoping review

Stephanie Long 1, Charo Rodriguez 1, Christina St-Onge 2, Pierre-Paul Tellier 1, Nazi Torabi 3, Meredith Young 4 5

Affiliations expand

• PMID: 34570298
• DOI: 10.1007/s10459-021-10071-wAbstractKeywords: Assessment; Credibility; Feedback; Learner engagement; Medical education.
• Assessment is more educationally effective when learners engage with assessment processes and perceive the feedback received as credible. With the goal of optimizing the educational value of assessment in medical education, we mapped the primary literature to identify factors that may affect a learner's perceptions of the credibility of assessment and assessment-generated feedback (i.e., scores or narrative comments). For this scoping review, search strategies were developed and executed in five databases. Eligible articles were primary research studies with medical learners (i.e., medical students to post-graduate fellows) as the focal population, discussed assessment of individual learners, and reported on perceived credibility in the context of assessment or assessment-generated feedback. We identified 4705 articles published between 2000 and November 16, 2020. Abstracts were screened by two reviewers; disagreements were adjudicated by a third reviewer. Full-text review resulted in 80 articles included in this synthesis. We identified three sets of intertwined factors that affect learners' perceived credibility of assessment and assessment-generated feedback: (i) elements of an assessment process, (ii) learners' level of training, and (iii) context of medical education. Medical learners make judgments regarding the credibility of assessments and assessment-generated feedback, which are influenced by a variety of individual, process, and contextual factors. Judgments of credibility appear to influence what information will or will not be used to improve later performance. For assessment to be educationally valuable, design and use of assessment-generated feedback should consider how learners interpret, use, or discount assessment-generated feedback.
• © 2021. The Author(s), under exclusive licence to Springer Nature B.V.

"일단 척도가 과녁이 되면, 좋은 척도로서는 끝이다" (J Grad Med Educ, 2021)
‘‘When a Measure Becomes a Target, It Ceases to be a Good Measure’’
Christopher Mattson, MD Reamer L. Bushardt, PharmD, PA-C, DFAAPA Anthony R. Artino Jr, PhD

여러분이 대형 학술 의료 센터에서 레지던트 프로그램을 이끌고 있으며, 이 프로그램은 매년 열리는 ACGME(Arcreditation Council for Graduate Medical Education) 레지던트/동료 설문 조사를 준비하고 있다고 상상해 보십시오. 최근 주 80시간 근무 위반이 발생하여 ACGME에 보고될 것을 우려하여, 설문조사 1개월 전에 전공의들에게 이메일을 보내 현재 작업량을 줄이기 위한 일정 변경 사항을 공지합니다. 또한 근무 시간 위반에 대한 ACME 인용은 프로그램과 채용 노력에 중대한 부정적인 결과를 초래할 수 있다고 언급했습니다. 조사 당일, 대부분의 전공의들은 근무시간 위반 빈도를 묻는 질문에 "절대" 또는 "거의 절대"라고 대답한다. 
Imagine you are leading a residency program at a large academic medical center, and the program is preparing for the annual Accreditation Council for Graduate Medical Education (ACGME) Resident/Fellow Survey. You are concerned that 80-hour workweek violations have recently occurred and will be reported to the ACGME. You email the residents one month before the survey to announce forthcoming schedule changes to decrease residents’ current workload. You also mention that an ACGME citation for work hour violations could have major negative consequences for the program and recruitment efforts. On the day of the survey, most residents respond by answering ‘‘never’’ or ‘‘almost never’’ when asked about the frequency of work hour violations.

1970년대 영국 경제학자 찰스 굿하트는 통화 성장 목표를 토대로 재정 정책의 효과를 측정하는 함정을 설명했다. 현재 [굿하트의 법칙]으로 알려진 것은 인류학자 마릴린 스트라던의 인용문에서 가장 자주 일반화된다. "어떤 조치가 목표가 되면, 그것은 좋은 척도가 되는 것을 중단한다."1 Goodhart의 법칙은 최초 형태에서 "[관찰된 통계 규칙성]은 통제 목적으로 압력이 가해지면 붕괴되는 경향이 있습니다."라고 언급했습니다. 처음에는 우스꽝스럽던 것이 널리 퍼지고 보편적으로 적용할 수 있는 아이디어가 되었다. 
In the 1970s, British economist Charles Goodhart described the pitfalls of measuring the effectiveness of fiscal policy based on monetary growth targets. What is now known as Goodhart’s law is most often generalized in a quote from anthropologist Marilyn Strathern, ‘‘When a measure becomes a target, it ceases to be a good measure.’’1 In its original form, Goodhart’s law stated, ‘‘Any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes.’’2,3 What was initially a jocular aside has become a widely disseminated and universally applicable idea.4 

학습자, 교사, 임상의 및 학자들에게 Goodhart의 법칙은 보건 직업 교육의 근본적인 진리를 말해줍니다. 특히, 조치를 대상으로 한 후 학습자를 평가하고 프로그램을 평가하는 데 사용하는 관행이 대학원 의학 교육(GME)에 상당히 만연해 있다. 

For learners, teachers, clinicians, and scholars, Goodhart’s law speaks to a fundamental truth in health professions education. In particular, the practice of targeting measures and then using them to assess learners and evaluate programs, even when the measures are no longer credible, is quite pervasive in graduate medical education (GME). 

관련 아이디어 및 GME 예제
Related Ideas and GME Examples

Goodhart의 법칙의 근간이 되는 원칙은 경제학에만 국한되지 않는다.
The principle underlying Goodhart’s law is not limited to economics.

실험적이고 준실험적인 연구 설계 방법의 선구자인 캠벨은 "어떤 양적인 사회적 지표가 사회적 의사결정에 더 많이 사용될수록, 부패 압력corruption pressures에 더 취약해질more subject 것이며, 감시하고자 하는 사회적 과정을 왜곡하고 부패시키는 방향으로 적응할more apt 것"이라고 말했다.
A pioneer of experimental and quasi-experimental study design methods, Campbell noted, ‘‘The more any quantitative social indicator is used for social decision-making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor.’’5

첫 번째 예에서 프로그램 책임자는 전공의의 대응 방식이 어떻게 사용되는지 알고 있으며, 이에 따라 최선의 대응 방법에 대해 전공의를 지도해야 한다는 압박감이 생깁니다. 결과적으로 [근무시간 규정을 준수하지 않은 사례]가 탐지되지 않을 수 있습니다. ACME는 이 조치measure를 목표targeting로 함으로써, 프로그램 책임자와 전공의의 행동에 조치 자체를 왜곡할 수 있는 방식으로 영향을 미치고 있으며, 이로 인해 조치measure가 의도된 목적intended purpose에 덜 유용하게 됩니다. 
In the opening example, Program directors are aware of how their residents’ responses are used, which creates pressure to coach residents on how best to respond. As a result, noncompliance with work hour regulations may go undetected. By targeting this measure, the ACGME is influencing program director and resident behavior in a way that may distort the measure itself, which renders the measure less useful for its intended purpose. 

USMLE(United States Medical Licensing Examination) Step 1 점수는 레지던트 프로그램 책임자들이 전공의 신청서를 심사하고 전공의 순위를 매길 때 사용하는 경우가 많습니다. 1단계 점수는 의학적 지식을 평가하고 전체 지원자 품질의 대체물로 사용됩니다. 이 실습은 USMLE 1단계 준비에 상당한 시간과 노력을 쏟는 의대생들에게 잘 알려져 있습니다. 그러면 점수는 [학습된 의학적 지식과 미래의 잠재력]이 아닌, [시험 준비에 쏟는 시간과 시험 준비 자원에 대한 액세스]를 대변하는 쪽으로 나타나기 시작한다. 이러한 초점은 또한 현지 과정 검사를 위한 공부, 소규모 그룹 및 동료 학습 활동에 적극적으로 참여하거나 임상 기술을 개발하는 등 다른 학습 활동을 희생하면서 이뤄진다.  궁극적으로 GME 교수진이 [USMLE 1단계 점수를 목표로targeting 하는 것]은 [레지던트 준비와 실습에 부정적인 영향을 미칠 수 있는 의대생 행동]에 영향을 미칩니다.

United States Medical Licensing Examination (USMLE) Step 1 scores are often used by residency program directors when screening resident applications and ranking residents. Step 1 scores assess medical knowledge and are used as a surrogate for overall applicant quality. This practice is well known to medical students, who focus a significant amount of time and effort on preparing for the USMLE Step 1. The scores then begin to represent this increased focus, including the amount of dedicated study time and access to test preparation resources, rather than learned medical knowledge and future potential. This focus also comes at the expense of other learning activities, such as studying for local course examinations, actively participating in small group and peer-learning activities, or developing clinical skills.6,7 Ultimately, the targeting of USMLE Step 1 scores by GME faculty influences medical student behaviors inways that may negatively affect their preparation for residency and practice.  


마지막으로, 학계의 '간행물 수'와 저널 임팩트 팩터에 대한 집착은 GME 연구 환경에서도 느낄 수 있다.8 부서 의장과 승진 위원회는 임명 및 승진 결정을 돕기 위해 이 숫자를 사용합니다. 이와 같이 교수진들은 논문 발표량, 저널 임팩트 요소 결함으로 잘못 측정되는 저널의 보고 품질에 초점을 맞추도록 유도된다. 이러한 대상에 집중하는 것은 차선의 연구 방법을 장려하는 것으로 널리 알려져 있습니다.9 그것은 또한 보건직 교육연구에서 흔히 볼 수 있는 "살라미 슬라이싱"10과 명예 저자honorary authorship과 같은 문제적 연구행위questionable research practice에 동참할 압력을 가하고 있다.11 

Finally, the fixation in academia on ‘‘number of publications’’ and journal impact factor is also felt in GME research environments.8 Department chairs and promotion committees use these numbers to help make appointment and promotion decisions. As such, faculty are incentivized to focus on the quantity of papers published, and the reported quality of journals, erroneously measured by the flawed journal impact factor, over the quality of the research itself. Focusing on these targets is widely known to encourage suboptimal research methods.9 It also addspressure to engage in other questionable research practices such as ‘‘salami slicing’’10 and honorary authorship, both of which are common in health professions education research.11 

의도하지 않은 결과 완화
Mitigating Unintended Consequences

GME 교수진은 구체적인 조치measure가 목표target가 될 때 부정적인 결과를 예상해야 한다. 의도하지 않은 결과를 인식하는 것이 가장 중요한 단계이며, 이는 평가 및 프로그램 평가 계획을 개발할 때 중요한 논의를 자극할 수 있습니다. 마찬가지로, 이러한 부정적 영향이 어떻게 완화될 수 있는지를 고려하는 것이 중요하다. 다른 방법으로, 우리는 현재 존재하는 시스템을 고려할 때, [어떤 행동이 보상받을 것]인지 고려해야 합니다.12 
GME faculty should anticipate negative consequences when specific measures become targets. Recognizing the unintended consequences is the most important step; this can stimulate important discussions when developing assessment and program evaluation plans. Likewise, it is vital to consider how these negative effects might be mitigated. Said another way, we should consider what behaviors will be rewarded given the system that currently exists.12 

표준 참조norm-referenced 평가 대신, 준거 참조criterion-referenced 를 선택하는 것은 Goodhart와 Campbell의 행동 법칙을 완화하기 위한 또 다른 전략이다. 예를 들어, 숙달 학습mastery learning 기법은 "교육 진행도가 [커리큘럼 시간]이 아닌 [입증된 성과]에 기초하는 교육 접근법"으로 설명되어 왔다. 따라서 "학습자는 지정된 숙달 수준에 도달할 때까지 반복적으로 연습 및 재시험을 수행한다" 14 강사 및 커리큘럼 설계자는 개인의 성공을 위해 필요한 지식, 기술 및 태도를 결정하는 데 초점을 맞추며, 서로 상대적인 순위를 매기는 데 초점을 맞추지 않습니다. 역량 기반 프레임워크는 숙달 학습을 적용한 한 가지 예이며, 역량 기반 평가 시스템은 어려움을 겪고 있는 개인을 식별하는 데 있어 가능성을 보여주었다.15 [최고 성과자를 식별하는 것]보다 학습에 초점을 두고, [고군분투하는 학습자를 찾는 것]에 초점을 맞추는 것이 GME의 주요 목표가 되어야 한다. 준거-참조 평가도 (전통적인 평가 시스템 내에서 작동하는 데 익숙한 학습자들 사이에 존재할 수 있는) 경쟁 인센티브competition incentive의 일부를 제거할 수 있도록 지원합니다.  
Selecting criterion-referenced over norm-referenced assessments is another strategy to mitigate Goodhart’sand Campbell’s laws in action. For example, mastery learning techniques have been described as ‘‘an instructional approach in which educational progress is based on demonstrated performance, not curricular time. Learners practice and retest repeatedly until they reach a designated mastery level.’’14 Instructors and curriculum designers focus on determining the knowledge, skills, and attitudes that are needed for individual success, rather than focusing on ranking individuals relative to one another. Competency-based frameworks are an example of applied mastery learning, and competency-based assessment systems have shown promise in identifying individuals who are struggling.15 The focus on learning and finding struggling learners rather than identifying the highest performers should be a primary goal in GME. Criterion-referenced assessments also help to eliminate some of the competition incentives that may exist among peers who are accustomed to functioning within more traditional assessment systems.  

추가적으로, 논란의 여지가 있지만, 규범-참조norm-referenced 성과가 아닌 준거criteria에 초점을 맞춘 전략은 의대 입학에 대해서 추첨lottery을 사용하는 것이다.16 의과대학 [입학에 필요한 구체적인 기준을 정의]하고, 이를 추첨 대상자의 입학 기준으로 활용함으로써, 신청자가 이 기준 이상으로 지표를 부풀리려 하는 압박이 줄어들 수 있다. 
An additional, albeit controversial, strategy that focuses on criteria over norm-referenced outcomes is the use of a lottery for medical school admissions.16 By defining specific criteria necessary for success in medical school and using them as entrance criteria to the lottery, there may be less pressure on applicants to attempt to inflate their metrics beyond these thresholds. 

GME 교수진은 또한 [특정 시점 성과]보다는 [학습자 및 프로그램 성장 프로세스에 초점]을 맞춰 평가 및 평가 시스템을 강화할 수 있습니다. 이러한 접근 방식은 의학 교육에서 "종방향 및 발전적 사고"라는 맥락에서 설명되었습니다. 이는 교수진으로 하여금

• 개인 또는 프로그램이 어떻게 수행하는지(예: '''1년차 전공의가 4년차 전공의 수준으로 수행'') 를 넘어
• 왜 개인 또는 프로그램이 그러한 방식으로 행동하는지 (예: ''초기 전공의는 개인 진료 데이터를 독립적으로 검토하고 진료실습을 개선할 수 있는 능력을 보여주며, 복잡한 환자의 의료팀 논의를 주도한다'') 로 나아가게 한다.

GME faculty can also fortify their assessment and evaluation systems with a focus on the processes of learner and program growth versus specific time-point outcomes. This approach has been described in medical education in the context of ‘‘thinking longitudinally and developmentally.’’17 It challenges faculty to move

• beyond how an individual or program performs (eg, ‘‘the first-year resident performs at the level of a senior resident’’) and
• towards why an individual or program performs the way they do (eg, ‘‘the first-year resident shows an ability to independently review personal practice data and improve practice, and also leads health care team discussions of complex patients’’).  

마지막으로, assessment and evaluation 에서 "숫자"에 과도하게 의존하는 것을 피하면 Goodharts와 Campbell의 법칙의 일부 영향을 완화할 수 있다. 이 아이디어는 앞서 GME의 양적 오류를 피하는 관점에서 논의된 바 있다.18 숫자는 완전히 포착할 수 있는 역량의 범위가 상당히 제한적이다. 또한 쿡 등이 지적한 바와 같이, "숫자 점수는 본질적으로 미래에 중요할 속성과 행동을 포착하는 데 제한된다." 19 반대로, [서술적 평가]는 교수들이 의도적으로 추구하거나 다른 방법으로 발견하지 않았을 수 있는 정보를 밝혀낼 수 있도록 한다. 서술적 접근법은 복잡한 행동이나 활동을 수치적 대리인으로 축소하지 않기 때문에 뉘앙스와 맥락을 식별하고 탐구할 수 있는 수단을 제공한다. 
Finally, avoiding overreliance on ‘‘the numbers’’ in assessment and evaluation can mitigate some of the effects of Goodhart’s and Campbell’s laws. This idea has been previously discussed through the lens of avoiding the quantitative fallacy in GME.18 Numbers are quite limited in the range of competencies that they can completely capture. Further, as noted by Cook, et al, ‘‘Numeric scores are inherently limited to capturing attributes and actions prospectively identified as important.’’19 In contrast, narrative assessments allow faculty to uncover information that might not have been intentionally sought or otherwise discovered. Because narrative approaches do not reduce complex behaviors or activities into a numerical surrogate, they provide a means to identify and explore nuance and context. 

숫자 평가 및 평가에서 벗어나 주관성을 인정하고 수용해야 할 필요성이 대두됩니다.20,21 이러한 접근 방식은 교수들로 하여금 서술형 평가의 복잡성과 난잡함을 환영하도록 장려합니다. 정성적 연구 접근법과 서술적 평가는 본질적으로 풍부하고 조작하기 어려우며 신뢰할 수 있는 의사결정을 내릴 수 있다.19,22 서술적 평가는 종종 완전한 구성 샘플링을 보장하기 위해 복수의 관찰을 요구한다. 정량적 측정에 여러 관측치를 사용하는 경우 측정 품질의 한 표식은 반복 측정치 간의 변동성이 없다는 것입니다. 개인이나 프로그램은 매번 같은 결과를 얻도록 행동을 바꿀 수 있습니다. 매번 달성해야 하는 "단일한 정답"의 존재는 Goodhart의 법칙과 Campbell의 법칙이 정량적 측정의 맥락에서 특히 관련이 있는 이유를 설명합니다. 그러나 서술 기반 측정에 복수의 관측치를 사용하는 경우, 측정의 품질은 서로 다른 관점을 통해 설명되는 차이에 의해 결정된다. 단 하나의 예상 결과가 없기 때문에 서술적 논평은 조작하기가 훨씬 더 어려워집니다.  
Along with the movement away from numeric assessments and evaluations comes the need to acknowledge and embrace subjectivity.20,21 This approach encourages faculty to welcome the complexity and messiness of narrative assessments. Qualitative research approaches and narrative assessments are inherently rich, are harder to manipulate, and can produce credible decisions.19,22 Narrative assessment often requires multiple observations toensure complete construct sampling. When multiple observations are used for a quantitative measure, one marker of the measure’s quality is the lack of variability between iterative measurements. Individuals or programs can change their behavior such that the same outcome is achieved every time. The existence of a single ‘‘right answer’’ to be achieved every time explains why Goodhart’s and Campbell’s laws are particularly relevant in the context of quantitative measures. However, when multiple observations are used for a narrative-based measure, the measure’s quality is determined by differences that are elucidated through different perspectives. The lack of a single expected outcome renders narrative comments much more difficult to manipulate.  

요약
Summary

Goodhart's와 Campbell의 법률은 이제 경제학과 사회과학 분야에서 그 본래의 맥락을 넘어서 인정받고 있습니다. 사회적 의사결정에 정보를 제공하기 위해 정량적 사회적 지표에 의존하는 평가 및 평가 시스템에 위험이 존재한다.5 위의 예에서 알 수 있듯이 이러한 개념은 GME와 관련이 있습니다. 
The implications of Goodhart’s and Campbell’s laws are now appreciated beyond their original contexts in economics and the social sciences. Risks exist in assessment and evaluation systems that rely on quantitative social indicators to inform social decision-making.5 These concepts are relevant to GME, as demonstrated by the above examples. 

[Goodhart 및 Campbell의 법칙]에 따른 피해를 방지하거나 최소화하기 위한 단계는 다음과 같습니다.
steps to prevent or minimize harms from Goodhart’sand Campbell’s laws include:

• 평가 및 평가 시스템을 계획할 때, 정량적 조치의 의도하지 않은 잠재적 결과에 대해 논의합니다.
• 학습자 평가 및 프로그램 평가 노력의 설계에 로직 모델 또는 기타 구조화된 접근 방식을 적용합니다.
• 준거 기반 평가를 고려한다.
• 학습자 평가 및 프로그램 평가에 대한 주관적이고 서술적인 접근 방식을 수용합니다.

• discuss the potential unintended consequences of quantitative measures as you plan your assessment and evaluation system;
• apply a logic model or other structured approach in the design of your learner assessment and program evaluation efforts;
• consider criterion-referenced (over norm-referenced) assessments; and
• embrace subjective, narrative approaches to learner assessment and program evaluation. 

J Grad Med Educ. 2021 Feb;13(1):2-5.

 doi: 10.4300/JGME-D-20-01492.1. Epub 2021 Feb 13.

"When a Measure Becomes a Target, It Ceases to be a Good Measure"

Christopher Mattson, Reamer L Bushardt, Anthony R Artino Jr

• PMID: 33680290
• PMCID: PMC7901608 (available on 2022-02-01)
• DOI: 10.4300/JGME-D-20-01492.1

감정과 평가: 위임의 평가자-기반 판단에서 고려사항(Med Educ, 2018)
Emotions and assessment: considerations for rater-based judgements of entrustment
Carlos Gomez-Garibello & Meredith Young

도입
INTRODUCTION
평가는 어떤 교육적 맥락에서든 초석cornerstone을 이룬다. 엡스타인은 의학적 맥락에서 평가가 세 가지 목표에 부합한다고 말한다. 

• 미래의 학습을 위한 동기 부여와 정보를 제공한다; 
• 무능한 전문가를 찾아냄으로써 대중을 보호하고,
• 지원자들을 상급 훈련에 입학시킬 수 있는 기초를 제공한다.

Assessment constitutes a cornerstone in any educational context. Epstein states that in the medical context, assessment serves three goals:

• it provides motivation and information for future learning;
• it protects the public by detecting incompetent professionals, and
• it provides a basis for admitting applicants to advanced training.1 

최근에는 [학습을 위한 평가]가 [피드백 제공과 개선을 위한 영역 식별]을 통하여 [평가의 교육적 가치]를 갖는다는 것을 강조하면서 [평가의 교육적 역할]에 더욱 중점을 두고 있다. 
Recently, more emphasis has been placed on the educational role of assessment, with assessment for learning highlighting the educational value of assessment through the provision of feedback and identification of areas for improvement.2,3 

최근의 연구는 [평가자 기반rater-based 평가]에서 작용하는 인지적 기초와 과정을 조명했다. 보건직업교육(HPE)에서 평가자에 대한 광범위한 문헌의 대다수는 평가판단에 영향을 미치는 인지적 또는 상황적 요인에 초점을 맞추고 있다. 그러나 평가는 공백 상태에서 이루어지는 것이 아니라, 교육-관련 요구를 충족시키는 사회적 맥락 안에서 이루어진다. 
recent work has shed light on the cognitive underpinnings and processes at play in rater-based assessment.4–8 The majority of the broader literature on raters in health professions education (HPE) has focused on cognitive4–6 or contextual8 factors that influence rater judgements. However, assessment does not take place in a vacuum, but within a social context9 that serves to fulfil education-related demands. 

위탁 가능한 전문 활동EPA은 학습자의 [발달적 궤적]을 파악하고, 교육 맥락에서 임상 교사가 '자연적으로' 하고 있는 것과 일치시키기 위해 개념화되었다. 즉, 훈련생이 [과제를 독립적으로 완수할 준비가 되었는지] 또는 graded supervision에 대한 의사결정이 그것이다.

Entrustable professional activities were conceptualised in order to capture the developmental trajectory of learners, as well as to align with what clinical teachers were ‘naturalistically’ doing in educational contexts: making decisions regarding whether (or not) trainees were ready to complete a task independently or with graded supervision.10–12 

위탁 가능한 전문활동은 다음과 같은 활동을 말한다.

• (i) 특정 분야의 필수 업무이다.
• (ii) 지식, 기술 및 태도의 적절한 통합이 필요하다.
• (iii) 관찰 가능한 결과를 초래한다.
• (iv) 자격을 갖춘 학습자에게 위임된다.
• (v) 독립적으로 실행할 수 있다.
• (vi) 기간 내에 수행되어야 한다.
• (vii) 과정과 결과에 대해서 관찰 및 평가할 수 있다.
• (viii) 둘 이상의 역량 또는 역량 영역의 통합을 반영한다.

Entrustable professional activities refer to activities that:

• (i) are essential tasks of a discipline;
• (ii) require adequate integration of knowledge, skills and attitudes;
• (iii) lead to observable outcomes;
• (iv) are entrusted to qualified learners;
• (v) are independently executable;
• (vi) are performed within a timeframe;
• (vii) are observable and assessed in process and results, and
• (viii) reflect the integration of two or more competencies or domains of competence.10 

평가 관점에서, 평가자는 일상적으로 학습자에게 직무 환경에서 특정한 활동 수행을 위임하기 때문에 [EPA의 개념이 임상 실무에 직관적]이라고 생각한다. 학습자가 어떤 활동을 수행하는 [독립성의 수준level of independence]은 훈련생, 감독자, 과업의 성격, 상황별 상황 및 훈련생과 감독자 사이의 관계에 따라 달라집니다. 
From an assessment perspective, raters find the concept of EPAs intuitive to their clinical practice as they routinely entrust learners to perform activities in workplace settings.14–17 The level of independence at which learners perform these activities depends on factors related to the trainee, the supervisor, the nature of the task, contextual circumstances, and the relationship between the trainee and supervisor.17–19

[신뢰]는 많은 요인이 작용하기 쉬운, 사회적 판단을 나타낸다고 주장되어 왔다.9 신뢰에 근거한 평가자 기반 판단과 관련된 과제에 기여하는 것은 신뢰의 정의와 관련 평가 모델이 위임의 목적 또는 학습자에게 위임하기 위해 감독자가 이용할 수 있는 증거에 따라 다르다는 사실이다. 예를 들어, 10 Kate는 위임은 총괄적이거나 임시적이라고 제안한다.
it has been argued that trust, represents a social judgement in which many factors are likely to be at play.9 Contributing to the challenges associated with rater-based judgements grounded in trust is the fact that definitions of trust and associated models of assessment vary depending on the purpose of entrustment or the evidence available to supervisors to entrust learners.17 For example, ten Cate propose that entrustment is summative or ad hoc

또한, 10명의 케이트 외 연구진들은 훈련생과 감독자 사이의 관계에 [세 가지 임시 신뢰 모드]를 정의합니다. 

• 추정된 신뢰: 동료의 자격 증명 및 코멘트에 기초한 것
• 초기 신뢰: 첫인상에 따라 달라지는 것
• 근거된 신뢰: 관측 가능한 증거를 이용할 수 있을 때 발생하는 것

Further, ten Cate et al. define three modes of ad hoc trust in the relationship between trainee and supervisor:

• presumptive, which is based on credentials and comments from colleagues;
• initial, which is dependent on first impressions, and
• grounded, which occurs when observable evidence is available.17 

역량, 위탁가능성 또는 성과 결정에 영향을 미치는 상황별 요인의 식별을 고려할 때, 평가자-특이적 요인들이 평가에 영향을 미칠 수 있다는 점을 고려하는 것이 합리적일 수 있다. 새로운 작업이 평가자 기반 작업에 대한 인지 요인과 접근법의 역할을 식별했지만, 여기서는 CBME의 구현으로 인하여 점차 [평가자 기반 평가에 대한 의존도가 증가]하고, [평가자 내에서 요구되는 판단의 복잡성]을 고려할 때, CBME라는 패러다임에서는 [평가자 감정에 대한 신중한 조사]가 시기적절할 수 있다고 제안한다. 
Given this identification of contextual factors that influence decisions of competence, entrustability or performance, it may be reasonable to consider that rater-specific factors might influence assessment. Although emerging work has identified the roles of cognitive factors and approaches to rater-based tasks,4–6 here, we propose that a careful investigation into rater emotions may be timely given the increased reliance on rater-based assessments associated with the implementation of CBME, and the complexity of the judgements required of raters within this paradigm

[감정]은 [강렬한 생리적, 심리적 반응]으로 정의되어 왔으며, 그것을 [경험하는 개인에게 의미 있는 것]으로 인식되어 왔고, [개인이 속한 환경에서의 상황에 대한 반응]에서 비롯됩니다. 평가자(교육자/교사)와 평가 받는 훈련생 모두에 대해 평가자 기반 평가 과정 내에 감정이 존재할 수 있다고 가정하는 것은 어렵지 않을 것이다.
Emotions have been defined as intense physiological and psychological reactions, perceived as meaningful to the individual experiencing them, and resulting from a response to a situation in an individual’s environment.21–24 It would not be difficult to surmise that emotions may be present within a rater-based assessment process, for both the rater (educator/teacher) and the trainee being assessed. 

HPE 내의 연구는 [감정과 인식 사이의 연관성]을 검토하는 것이 훈련생 성과에 대한 우리의 이해를 풍부하게 할 수 있다고 주장해 왔습니다. 특히 맥코넬과 에바는 감정이 사람들이 정보를 식별하고 처리하고 행동하는 방식에 영향을 미친다고 주장한다. 의료 비상사태에 대한 팀 기반 시뮬레이션처럼, 보다 복잡한 교육 환경에서는 부정적인 감정(예: 불안)이 (고차원적 프로세스(예: 추론 및 메타인지 모니터링)보다는) 저원차적 인지 프로세스(예: 요약 또는 정보 제공)와 연관될 것을 제안한다.26 

Work within HPE has argued that examining the association between emotions and cognitions might enrich our understanding of trainee performance.25 In particular, McConnell and Eva claim that emotions influence the ways in which people identify, process and act on information.25 In more complex educational environments, such as team-based simulations of medical emergencies, it is suggested that negative emotions (e.g. anxiety) are associated with lower- order cognitive processes (e.g. summarising or providing information) rather than higher-order processes (e.g. reasoning and metacognitive monitoring).26 

교육 환경의 정서
EMOTIONS IN EDUCATIONAL SETTINGS

연구자들은 학습에서 감정의 영향을 조사하는 것이 동기 부여와 학습과 성과에 어떤 영향을 미치는지에 대한 더 나은 이해를 이끌어냈다고 제안했다. 
researchers have suggested that examining the influence of emotions in learning has resulted in better understanding of how motivation and affect influence learning and performance.24,27 

라인하르트 페크룬Reinhard Pekrun의 통제-가치 이론control–value theory은 교육적 맥락에서 감정과 성과 사이의 연관성을 조사할 수 있는 포괄적인 프레임워크를 제공합니다. 이 이론에 따르면, 감정은 감정적, 인지적, 동기적, 표현적, 생리학적 과정을 포함합니다. Pekrun은 교육 활동(예: 강의)과 결과(예: 시험의 결과)에 대한 학습자의 인지적 평가(특히, 인식된 통제와 가치)가 학습자의 다른 감정(예: 기쁨, 자부심, 수치심, 좌절)을 유도하여 수행과 과제 결과에 영향을 미칠 수 있다고 주장합니다. 그 결과, 활동 및 결과에 대한 평가된 가치appraised value와 통제력은 학습자의 동기 부여, 학습 전략, 인지 리소스, 자기 규제 및 학업 성취도에 영향을 미칩니다. 
Reinhard Pekrun’s control–value theory offers a comprehensive framework with which to examine the association between emotions and performance in educational contexts.24 According to this theory, emotions encompass affective, cognitive, motivational, expressive and physiological processes.24 Pekrun argues that learners’ cognitive appraisal (specifically, perceived control and value) of educational activities (e.g. a lecture) and outcomes (e.g. results of an examination) elicit different emotions in learners (e.g. joy, pride, shame, frustration), which, in turn, can influence performance and task outcomes.24,29 As a result, the appraised value and control of activities and outcomes elicit different emotions in learners, which, in turn, impact learners’ motivation, learning strategies, cognitive resources, self-regulation and academic achievement.29 


일부 연구는 학생 평가에서 감정의 역할을 탐구했지만, 대부분의 연구는 '시험 불안'의 인지 구성 요소를 이해하는 데 초점을 맞췄다. 저자는 [시험 불안]을 [시험이나 과제가 완료되기 전이나 완료되고 난 후, 평가 상황이나 개인의 성과와 관련된 내부 대화internal dialogue에 대한 개인의 반응]으로 정의한다. 근거에 따르면, 수행능력을 최적화하려면 일정한 수준의 각성이 필요하다는 것을 시사하지만, 극도로 낮거나 높은 각성은 성능을 저해하는 것으로 보인다. 
Some research has explored the role of emotions in student assessment, but the majority of work has focused on understanding the cognitive components of ‘test anxiety’.30 Authors define test anxiety as an individual’s reactions to assessment situations or any internal dialogue related to the individual’s performance before, during or after the examination or task is completed.21 Evidence suggests that a certain level of arousal is necessary to optimise performance; however, extreme low or high arousal appears to impede performance.30 

다른 교육적 맥락에서와 마찬가지로 건강 직업의 학습자는 학습과 수행에 방해가 될 수 있는 감정을 경험합니다.
As in any other educational context, learners in the health professions experience emotions that may interfere with their learning and performance.

교사의 감정을 다룰 때, 문헌에서는 주로 교사의 관점에서 [분노나 좌절의 느낌]에 초점을 맞추는 경향이 있다. 작가들은 또한 교사들이 교실에서 보여주는 감정과 신념, 목표, 정체성이 어떻게 관련되어 있는지를 탐구했다. 이 연구에 따르면, 교사들은 개인적 기대(예: 목표, 신념)와 문화적 기대(예: 학습과 가르침에 관련된 믿음)를 교실에 가져오고, 이는 그들의 인지적 감정과 정서적 경험의 결과로서 증명되거나 반박된다corroborated or refuted.33 
When considering teachers’ emotions, the literature tends to focus primarily on feelings of anger or frustration from the perspective of the teacher.32 Authors have also explored how beliefs, goals and identity relate to emotions that teachers display in classrooms.33 According to this research, teachers bring to their classrooms a set of personal expectations (e.g. goals, beliefs) and cultural expectations (e.g. beliefs related to learning and teaching) that are corroborated or refuted as a result of their cognitive appraisal and emotional experiences.33 

감정 및 의사결정 작업
EMOTIONS AND DECISION-MAKING TASKS

일반적으로 의사결정 과정에는 다음을 포함한다. 

• 사람들이 선택하는 옵션, 
• 그 결정의 잠재적 결과 
• 의사결정이 이루어진 후 다른 결과가 발생할 확률

In general, a decision-making process encompasses

• the options among which people choose,
• the potential outcomes of that decision, and
• the probability of different consequences occurring after the decision has been made.34,36 

연구자들은 감정이 사람들이 결정을 내리는 방법에 중요한 영향을 미친다고 주장해왔다. 사실, 신경생물학 연구에서 나온 증거는 감정이 모든 의사결정 과정에서 중요한 역할을 한다는 것을 암시합니다. 저자는 세 가지 유형의 감정이 의사결정 과정에 영향을 미칠 수 있다고 강조합니다. 

• (i) 결정을 내리는 사람의 정서적 특성 또는 기질(Mood) 
• (ii) 당사자가 의사결정을 할 때 유도되는 감정(Incidental emotion) 
• (iii) 가능한 결정의 결과에 대한 예상 감정(expected emotion).

researchers have argued that emotions have significant impact on how people make decisions.34,37–39 In fact, evidence from neurobiological studies suggests that emotions play a critical role in all decision-making processes.38 Authors stress that three types of emotion can influence decision-making processes:

• (i) emotional traits or the temperament of the person who is making the decision (mood);
• (ii) emotions elicited when the person makes the decision (incidental emotions), and
• (iii) anticipated emotions of the outcomes of the possible decisions (expected emotions).40

증거는 긍정적인 감정을 경험하는 사람들은 결정을 내리기 위해 휴리스틱한 전략을 사용할 가능성이 더 높다는 것을 암시합니다; 반대로 부정적인 감정을 가진 사람들은 체계적인 접근을 사용하는 경향이 있습니다.
Evidence suggests that individuals experiencing positive emotions are more likely to use heuristic strategies to make decisions; contrarily, individuals bearing negative emotions tend to use a systematic approach.39

이 프레임워크를 HPE 내 위탁에 대한 판단 적용까지 확장하면

• 긍정적인 감정(예: 기쁨, 자부심)을 보고하는 평가자가 전체론적holistic 관점에서 학습자를 평가할 가능성이 높아지고, 후광 효과의 결과로 학습자의 준비 상태를 잘못 나타낼misrepresentation 수 있습니다.
• 반면 부정적인 감정(예: 불안, 두려움)을 경험하는 평가자들은 훈련생, 절차 또는 상황에 대한 세부사항에 더 집중할 가능성이 더 높으며, 마찬가지로 연습 준비 상태의 잘못된 표현으로 이어질 수 있습니다.

If we extend this framework to the application of judgements of entrustment within HPE,

• raters who report positive emotions (e.g. joy, pride) may be more likely to appraise their learners from a holistic perspective, resulting in misrepresentations of the readiness of the learner as a result of the halo effect;
• whereas raters who experience negative emotions (e.g. anxiety, fear) may be more likely to focus on details of the trainee, the procedure or the situation,25 also potentially leading to misrepresentations of readiness to practise. 

요약하자면, 여러 분야의 문헌을 폭넓게 검토한 결과, 학자들은 [스스로의 감정에 대한 인식 부족]이 편향된 의사결정을 초래할 수 있다는 데 동의한다는 것을 밝혀냈다.

To summarise, a broad review of the literature across several domains has revealed that scholars agree that a lack of awareness of one’s emotions may lead to biased decision making.41–43 

평가자 인식
RATER COGNITION

평가자 인식의 몇 가지 개념적 모델이 등장했고, 다른 저자들은 평가 과정의 다른 구성요소를 대상으로 삼았다. [평가자 인식]을 다룬 문헌 내에서 평가자 기반 평가는 첫 인상, 평가자의 주의력 및 인지 한계, 평가의 인지 과정, 평가자가 의미를 전달하기 위해 사용하는 '코드', 평가 결정의 사회적 특성, 즉시 평가 컨텍스트의 역할 등에 관하여 검토되었습니다. 사용되는 렌즈와 상관없이, 평가자 기반 평가는 [여러 요인에 의해 영향을 받을 수 있는 복잡한 과정]이라는 일반적인 공감대가 있다. 
Several conceptual models of rater cognition have emerged,4–6 and different authors have targeted different components of the assessment process. Within the rater cognition literature, rater-based assessment has been examined through the lenses of first impressions,7 the attentional and cognitive limits of raters,6 the cognitive processes of rating,4 the ‘codes’ that raters use to transfer meaning,44 the social nature of assessment decisions,9 and the role of the immediate rating context.8 Regardless of the lens used, there is a general consensus that rater-based assessment is a complex process that can be influenced by a multitude of factors. 

평가자는 [편향되거나 본질적으로 오류가 있는 것]으로, [오류 분산의 기여자]로서, 그리고 [전문지식이나 전문가의 판단의 원천]으로 다양하게 여겨져 왔다.

• 평가자가 편향되거나 오류가 있는 것으로 간주되는 경우, 평가 접근법의 방어가능성은 개인이 도구를 '적절하게' 사용하고 있고 체계적인 편견 없이 사용할 수 있도록 보장하는 것을 목표로 하는 좋은 평가자 훈련의 맥락에서 증가할 것으로 예상할 수 있다.
• 또한, 평가자가 '무작위 노이즈'를 통해 측정 오류에 기여하는 것으로 인식되는 경우, 평가 품질을 높이는 최선의 방법은 충분한 수의 평가자가 '참된' 성과를 보다 적절하게 포착하기 위해 평가를 완료하도록 보장하는 것이다.
• 마지막으로, 평가자는 [판단을 내리기 위해] [전문지식을 통해 translate할 정보 소스를 동원할 수 있는 능력]을 갖춘 전문가 의사결정자로 포지셔닝될 수 있다. 이러한 포지셔닝에서 방어가능한 평가 시스템은 잠재적으로 유해한 영향으로부터 보호하면서 평가자의 전문성으로부터 얻을 수 있는 효익을 극대화하는 방식으로 구축될 것이다. 

Raters have variously been considered to be biased or inherently error-ridden, as contributors to error variance, and as sources of expertise or expert judgement.5,6

• If raters are considered as biased or error-ridden, the defensibility of assessment approaches can be expected to increase in the context of good rater training that aims to ensure that individuals are using the tool ‘appropriately’ and without any systematic bias.
• Additionally, if raters are recognised as contributing to measurement error through ‘random noise’, the best means of increasing assessment quality will be to ensure that a sufficient number of raters complete assessments in order to more appropriately capture ‘true’ performance.
• Finally, raters may be positioned as expert decision makers, with ability to mobilise several sources of information that they will translate through their expertise in order to make a judgement. In this positioning, a defensible assessment system would be constructed in a way that maximises the benefit that can be drawn from raters’ expertise while protecting against potentially deleterious effects. 

평가 기반 평가에서의 감정
EMOTIONS IN RATER-BASED ASSESSMENT

Gingerich가 제안했듯이, 신뢰와 판단은 본질적으로 사회적이며, 사회적 판단에서 감정은 중요한 역할을 합니다.9 이러한 관계를 설명하기 위해 평가자가 [프로시져를 수행하는 전공의를 평가]하는 상황을 상상해보자. 이 평가 과정이 인지적 판단consideration에만 의존한다고 상상하기는 어렵다. 대신에 인지적, 관계적(사회적) 및 정서적 고려consideration 사이의 상호작용(즉 통제와 가치의 관점에서 평가 후 도출된 감정)이 평가 과정이 전개되는 방식을 더 잘 나타낼 수 있다. 
As suggested by Gingerich, trust and judgement are inherently social, and emotions play an important role within social judgements.9 In order to illustrate this relationship, we must imagine the ways in which a rater assesses a resident performing a procedure. It is difficult to imagine that this process relies exclusively on cognitive considerations; instead the interaction among cognitive, relational (social) and emotional considerations (i.e. emotions elicited after appraisal in terms of control and value) might better represent the ways in which the assessment process unfolds. 

간단히 말해서, 평가자 기반 평가에서 감정의 역할은 다음을 반영하는 것으로 간주될 수 있다.
In brief, the role of emotion in rater-based assessment might be considered to reflect:

• (i) 편향된 의사결정을 초래하는 감정
• (ii) 평가 측정에 무작위 소음을 추가하는 감정 및
• (iii) 평가 결정에 기여하는 정당한 정보 소스를 나타내는 감정. 
• (i) emotions that lead to biased decision making;
• (ii) emotions that add random noise to assessment measurement, and
• (iii) emotions that represent a legitimate source of information that contributes to assessment decisions. 

편향된 의사결정을 이끌어 내는 감정
Emotions that lead to biased decision making

자극arousal과 교사의 감정에 대한 문헌을 요약해보면, 감정은 평가자 기반 평가의 [체계적 편향에 대한 기여자]로 간주될 수 있다. 간단히 요약하면, 각성 상태나 감정 상태에서의 차이가 [수행의 특정 측면]으로 주의를 돌리게 하거나, [대조 효과]가 두드러지게 만들 수 있다. 평가자 기반 평가에서 감정의 역할에 대한 이러한 개념화에서, 감정의 잠재적 함의에는

• 감정의 역할을 완화하기 위한 평가 훈련의 제안
• 또는 잠재적인 편견을 [완화하거나 통제하기 위한 수단]으로서, 평가 작업 중 평가자의 감정 반응을 측정하는 도구 또는 과제의 개발이 포함된다. 

Given the summary of the literature on arousal25,45 and teacher emotions,24,46 emotions might be considered as contributors to systematic bias in rater-based assessment. To briefly summarise, it is possible that differences in arousal or emotional states could shift rater attention to particular aspects of performance, or perhaps even highlight contrast effects.8 In this conceptualisation of the role of emotion in rater-based assessment, potential implications of emotion include

• suggestions of either rater training in order to mitigate the role of emotion, or
• perhaps the development of tools or tasks with which to measure the emotional responses of raters during assessment tasks as a means of mitigating or controlling for potential bias. 

평가 측정에 무작위 노이즈를 추가하는 감정
Emotions that add random noise to assessment measurement

단일 평가자 기반 평가 판단에서 감정의 역할은 맥락에 관련되어 있으며, ten Cate 외 연구진과 고바어트가 요약한 바와 같이 여러 상호 연관된 요인(학습자 요인, 교사 요인, 상황적 요인 등)에서 비롯될 가능성이 높다. 감정이 평가 시스템에 '소음'을 추가한다는 제안은 위에서 언급한 것과 유사한 해결책으로 귀결됩니다. 즉, 특정 후보자의 수행을 평정rating하는 수를 늘리는 것이다. 특히 EPA의 이해도가 낮은 영역에 비추어 볼 때, 우리는 관찰과 수행능력의 평정 숫자를 늘리는 것이 잠재적인 해로운 영향이 거의 없다고 느낀다. 

The role of emotions in a single rater-based assessment judgement is likely to be contextually related and to result from several interconnected factors (learner factors, teacher factors, contextual factors, etc.) as summarised by ten Cate et al.17 and Govaerts.47 The suggestion that emotions add ‘noise’ to the assessment system results in a similar solution to that mentioned above: an increase in the number of ratings of performance for a given candidate. Particularly in view of the little- understood area of EPAs, we feel there are few potential detrimental effects to considering an increased number of observations and ratings of performance.  

평가 결정에 기여하는 정당한 정보 소스를 나타내는 감정
Emotions that represent a legitimate source of information that contributes to assessment decisions

감정은 모든 의사결정 과정의 본질적인 구성 요소를 구성합니다. 여러 분야의 문헌에서, 결정을 내릴 때 인지적, 정서적, 상황적 요인의 얽힘을 강조한다. 그런 의미에서 평가에서 감정의 역할을 무시하거나 소홀히 하면 이 과정에 대한 이해가 줄어들 것이다. 우리의 관점에서는 감정을 엄격하게 통제하거나(개념화 A) 무의미한 교란으로 간주하는 방식(개념화 B)으로 감정을 개념화하는 것은 최적의 옵션이 아니다. 오히려, 우리는 평가 과정에서 [감정의 중요성을 인정하는 틀을 만드는 것]을 지지합니다. 평가자를 감정 상태에 따라 선정해서는 안 되지만, 평가자가 자신의 감정에 대한 [자기 인식]과 [자기 조절]을 촉진하는 데 초점을 맞춘 전략의 잠재적인 이익을 고려해야 할 것이다.48 

Emotions constitute an inherent component of any decision-making process.23,34,45 Literature from different fields highlights the intertwining of cognitive, emotional and contextual factors when it comes to making decisions. In this sense, disregarding or neglecting the role of emotions in assessment will reduce understanding of this process. From our perspective, conceptualising emotion by tightly controlling for it (Conceptualisation A) or counting it as meaningless disturbance (Conceptualisation B) are not optimal options. Rather, we advocate for generating frameworks that acknowledge the importance of emotions in assessment processes. Raters should not be selected on the basis of their emotional states, but perhaps we should consider the potential benefit of strategies focused on facilitating self- awareness and self-regulation of raters’ emotions.48 

향후 연구를 위한 영역
AREAS FOR FUTURE RESEARCH


평가 시 평가자의 감정 이해
Understanding raters’ emotions in assessment

위탁 이해
Understanding entrustment

평가 및 사회적 요인
Assessment and social factors

학습자 평가에서 감정의 역할을 탐구할 수 있는 잠재적 지향 프레임워크 중 하나는 평가 도구 설계, 평가 수행 및 평가 생성 점수 해석 과정에 관련된 세 가지 요소를 식별하는 펠레그리노 외 연구진(49)의 평가 삼각망입니다. 특히, 이러한 요소에는 다음이 포함됩니다.

• 인지: 평가자의 정신 모델 및 학습 인지 이론으로 정의되는 인지,
• 관찰: 학습자의 반응과 해석을 이끌어내기 위해 사용할 과제의 특성을 구성하는 관찰
• 해석: 관찰로부터 추론의 규칙과 가정을 정의(그림 1).

One potential orienting framework with which to explore the role of emotions in the assessment of learners is Pellegrino et al.’s assessment triangle,49 which identifies three elements involved in the process of designing assessment tools, performing assessment, and interpreting assessment-generated scores. Specifically, these elements include:

• cognition, defined as assessors’ mental models and cognitive theories of learning;
• observation, comprising the characteristics of the tasks to be used to elicit learners’ responses, and
• interpretation, or defining the set of rules and assumptions of reasoning from observations (Fig. 1).49,50

이 세 가지 측면은 [임상 절차를 수행하는 학습자가 직접 관찰]되는 가상의 사례를 사용하여 설명할 수 있습니다. 이 전형적인 평가 시나리오에서 

• [인지]는 임상 프로시져에서 역량의 입증을 위해 평가자가 필요하다고 생각하는 지식, 기술, 태도의 집합을 말한다. 
• [관찰]은 반드시 관심을 기울여야attended to 하는 임상 수행능력의 측면을 의미하며, 
• [해석]은 이러한 관찰을 바탕으로 학습자의 역량에 대해 가정하는 것을 의미합니다.49 

These three facets may be illustrated using a hypothetical case in which a learner performing a clinical procedure is directly observed. In this typical assessment scenario,

• cognition refers to the set of knowledge, skills and attitudes that the assessor considers necessary to demonstrate competence during the clinical procedure.
• Observation would refer to aspects of the clinical performance that must be attended to, and
• interpretation refers to the assumptions made about the learner’s competence based on these observations.49 

우리는 평가 프로세스가 인식, 관찰, 해석 및 감정 등 4가지 차별화 요소들로 구성된 테트라드로 더 잘 정의될 것을 제안한다(그림 2). 
we suggest that the assessment process is better defined as a tetrad comprised of four differentiated, yet related, elements – cognition, observation, interpretation and emotions – and that these elements are intertwined throughout the act of assessing (Fig. 2). 

결론
CONCLUSIONS

감정을 [평가와 의사결정 과정의 핵심 구성요소]로 인식하는 것은 감정을 단순히 비인지적 변동의 원천으로 개념화하지 않게 해준다. 오히려, 이러한 인식은 감정이 [평가 생성 데이터의 설계, 실행 및 해석에 있어 근본적인 역할]을 할 수 있음을 시사합니다. 
Recognising emotions as a key component of assessment and decision-making processes moves us away from conceptualising emotions as merely non-cognitive sources of variation in developing assessment judgements. Rather, this recognition suggests that emotions can, and should, play a fundamental role in the design, execution and interpretation of assessment- generated data. 

결론적으로 [평가]는 [평가자가 학습자의 지식, 기술 및 태도에 대한 판단을 내리는 의사결정 과정으로 정의]할 수 있습니다. 
In conclusion, assessment can be defined as a decision-making process in which raters generate judgements regarding learners’ knowledge, skills and attitudes. 

우리는 평가자의 감정에 대한 고려가 평가의 설계, 개념화, 구현 및 사용, 그리고 평가자가 생성하는 점수 해석에 중심적이어야 한다고 주장한다. 감정을 평가 과정에 포함하는 것은 평가자를 '측정 도구'로 보는 개념에서 벗어나, 사회적, 정서적 맥락 안에 평가 프로세스를 포함한다는 것을 시사합니다. CBME 프레임워크 내의 평가가 학습을 지원하고 촉진하는 목표를 달성할 수 있도록 보장하기 위해서는 감정적 요소와 관련된 평가 기반 평가에 기여하는 프로세스에 대한 이해를 확대해야 합니다.
We argue that consideration for raters’ emotions should be central to the design, conceptualisation, implementation and use of assessments, and to the interpretation of the scores they generate. The inclusion of emotions as an element within the assessment process suggests a move away from the idea of a rater as a ‘measurement instrument’ and instead embeds the assessment process within a social and emotional context. Expanding our understanding of the processes that contribute to rater-based assessment, including those related to emotional elements, is necessary to ensuring that assessment within a CBME framework can achieve the goals of supporting and facilitating learning. 

Med Educ. 2018 Mar;52(3):254-262.

 doi: 10.1111/medu.13476. Epub 2017 Nov 9.

Emotions and assessment: considerations for rater-based judgements of entrustment

Carlos Gomez-Garibello 1, Meredith Young 1

Affiliations collapse

Affiliation

• 1Centre for Medical Education, Faculty of Medicine, McGill University, Montreal, Quebec, Canada.

• PMID: 29119582
• DOI: 10.1111/medu.13476Abstract
• Context: Assessment is subject to increasing scrutiny as medical education transitions towards a competency-based medical education (CBME) model. Traditional perspectives on the roles of assessment emphasise high-stakes, summative assessment, whereas CBME argues for formative assessment. Revisiting conceptualisations about the roles and formats of assessment in medical education provides opportunities to examine understandings and expectations of the assessment of learners. The act of the rater generating scores might be considered as an exclusively cognitive exercise; however, current literature has drawn attention to the notion of raters as measurement instruments, thereby attributing additional factors to their decision-making processes, such as social considerations and intuition. However, the literature has not comprehensively examined the influence of raters' emotions during assessment. In this narrative review, we explore the influence of raters' emotions in the assessment of learners.Conclusions: We identify and discuss three different interpretations of the influence of raters' emotions during assessments: (i) emotions lead to biased decision making; (ii) emotions contribute random noise to assessment, and (iii) emotions constitute legitimate sources of information that contribute to assessment decisions. We discuss these three interpretations in terms of areas for future research and implications for assessment.
• Methods: We summarise existing literature that describes the role of emotions in assessment broadly, and rater-based assessment specifically, across a variety of fields. The literature related to emotions and assessment is examined from different perspectives, including those of educational context, decision making and rater cognition. We use the concept of entrustable professional activities (EPAs) to contextualise a discussion of the ways in which raters' emotions may have meaningful impacts on the decisions they make in clinical settings. This review summarises findings from different perspectives and identifies areas for consideration for the role of emotion in rater-based assessment, and areas for future research.
• © 2017 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

글로벌 평정척도가 체크리스트보다 전문성의 상승단계 측정에 더 나은가? (Med Teach, 2019)
Are rating scales really better than checklists for measuring increasing levels of expertise?
Timothy J. Wooda and Debra Pughb

도입
Introduction

객관적 구조화 임상검사(OSCE)에서 성과를 평가할 때 평정 척도rating scale는 학습자의 전문성 증가에 민감하지만, 체크리스트는 그렇지 않다는 것이 원칙이 되었다. 이에 대한 일반적인 설명은, 초보자들이 익숙하지 않은 문제에 직면했을 때 상세한 접근법을 사용할 가능성이 높은 반면, 더 경험이 많은 임상의들은 진단에 도달하기 위해 지름길을 사용할 수 있기 때문에 체크리스트를 사용하여 평가할 때 실제로 낮은 점수를 받을 수 있다는 주장과 관련된다(Regehr et al. 1998; Hawkins and Bullet 2008). 이와 같이, 체크리스트(조치 수행 여부를 평가하는 것)는 [철저성과 데이터 수집 능력을 보상한다]는 비판을 자주 받는 반면, 평정 척도rating scale(평가자가 조치가 얼마나 잘 수행되었는지 판단할 수 있게 하는 것)는 임상적 추론과 같이 전문가에게 보이는 고차적 기술을 평가하는 데 더 낫다는 평을 받는다.
It has become a doctrine that, when assessing performance in an objective structured clinical examination (OSCE), rating scales are sensitive to the increasing expertise of learners, whereas checklists are not. A common explanation for this relates to the assertion that novices are likely to use a detailed approach when encountering an unfamiliar problem while more experienced clinicians are able to use shortcuts to arrive at a diagnosis and, thus, may actually get lower scores when assessed using a checklist (Regehr et al. 1998; Hawkins and Boulet 2008). As such, checklists (which assess whether or not an action was performed) are often criticized for rewarding thoroughness and data-gathering ability, while rating scales (which allow raters to judge how well an action was performed) are touted as being better for assessing the higher-order skills seen in experts, such as clinical reasoning (Hodges and McIlroy 2003; Yudkowsky 2009). 


이론적인 관점에서 볼 때, 증가하는 전문성을 포착하는 데 있어서 등급 척도가 체크리스트보다 낫다는 주장이 타당하다. 이중 프로세스 이론은 문제에 직면했을 때 자동, 비분석 프로세스(유형 1) 또는 노력이 드는, 분석적 프로세스(유형 2)를 사용할 수 있다고 제안합니다. 따라서 OSCE 환경에서,

• 전문 임상의가 사례에 접근할 때 무의식적(유형 1) 프로세스를 더 강조하여 실제로 일부 체크리스트 항목을 누락할 것으로 예상할 수 있다.
• 반대로, 같은 경우에 접근하는 초보자는 보다 체계적(유형 2) 접근법에 더 큰 중점을 둘 수 있으며, 결과적으로 체크리스트 과제를 더 많이 수행하기 때문에 더 높은 점수로 보상받을 수 있다.

From a theoretical perspective, the assertion that rating scales are better than checklists at capturing increasing levels of expertise makes sense. Dual-process theory suggests that when faced with a problem we may use automatic, non-analytic processes (i.e. Type 1) or effortful, analytic processes (i.e. Type 2) (Evans 2008, 2018; Kahneman 2011).

• In an OSCE setting, therefore, one might expect an expert clinician to place greater emphasis on unconscious (i.e. Type 1) processes when approaching a case and therefore actually miss some checklist items.
• In contrast, a novice approaching the same case may place greater emphasis on a more systematic (i.e. Type 2) approach and, consequently be rewarded with a higher score because they perform more of the checklist tasks. 

연구 결과를 설명할 수 있는 또 다른 접근방식은, 전문가가 될수록 전문가는 다른 개발 단계를 거쳐 발전한다는 것이다(Dreyfus and Dreyfus 1986). [초보 단계]는 대량의 데이터 수집을 강조하는 반면, [전문가]들은 집중된 데이터를 보다 효율적으로 수집할 수 있으며 주어진 문제를 해결하도록 이끈 모든 단계를 파악하기 위해 어려움을 겪을 수 있습니다. 마찬가지로, 전문가들은 임상 데이터를 신속하게 해석할 수 있는 질병 스크립트를 개발하여 초보자가 수행할 수 있는 모든 단계를 따르지 않고도 문제를 해결할 수 있도록 할 수 있다(Schmidt et al. 1990). 
Another approach that could account for the findings is that professionals progress through different developmental stages as they become experts (Dreyfus and Dreyfus 1986). The novice stage isc haracterized by an emphasis on the gathering of large amounts of data, while experts are able to gather focused data more efficiently and may struggle to identify all the steps that led them to solve a given problem. Similarly,experts may capitalize on their experience to develop illness scripts that allow them to quickly interpret clinical data, allowing them to solve problems without following all the steps that a novice might (Schmidt et al. 1990).  

이러한 세 가지 이론을 고려할 때, 전문성이 높은 수험생을 평가할 때 평가 척도가 체크리스트보다 더 나은 도구가 될 것으로 예상할 수 있다.
Given these three theories, one would expect rating scales to be a better tool than checklists when assessing examinees with increasing levels of expertise. 

그러나, 이러한 등급 척도 우위에 대한 주장은 정당한가? 가장 자주 인용되는 연구에서 가정의사는 글로벌 등급 점수(5점 만점 기준)에서 전공의나 임상실습생보다 높은 점수를 받았지만, 2개 스테이션 정신의학 OSCE(Hodges et al. 1999)에 대한 체크리스트로 평가했을 때 두 그룹보다 더 나쁜 점수를 받았다. 

But, is this claim of rating scale superiority warranted? In the most frequently cited study, family physicians scored higher than residents and clinical clerks on a global rating score (derived from five 5-point rating scales), but worse than both groups when assessed with a checklist on a two-station psychiatry OSCE (Hodges et al. 1999). 

호지스 외 연구진(1998)은 8개 스테이션의 정신의학 OSCE에서 전공의와 임상실습생을 비교했다. 전공의들은 임상실습생보다 Rating scale 등급이 높았지만 체크리스트 점수는 비슷했다. 더 많은 스테이션이 있음에도 불구하고, 이러한 결과 패턴이 서로 다른 도메인을 평가하는 OSCE로 일반화 될지는 완전히 명확하지 않다. 저자들이 지적하듯이, 정신의학은 중요한 면에서 다른 학문과 다를 수 있다. 
study by Hodges et al. (1998) compared residents and clerks on an 8-station psychiatry OSCE. Residents had higher global ratings than clerks but similar checklist scores. Despite having more stations, it is not entirely clear if this pattern of results would generalize to OSCEs assessing different domains. As the authors point out, psychiatry may differ fromother disciplines in important ways. 

체크리스트의 한계에도 불구하고, 성과 평가 시 많은 장점을 제공한다. 즉, 체크리스트는 비교적 사용하기 직관적이고, 균일한 등급 기준을 제공하고, 높은 신뢰성을 가질 수 있으며, 취약 영역에 대한 특정 피드백을 제공할 수 있다(Harden et al. 2016; Norcini 2016). 실제로 잘 구성된 체크리스트와 등급 척도가 종종 다른 교육 수준을 구별하는 유사한 결과를 낳는다는 것을 보여주는 문헌 기구가 증가하고 있다. 예를 들어, 최근의 체계적인 검토(Ilgen et al. 2015)는 시뮬레이션 기반 평가에서 체크리스트와 등급 척도의 사용에 대한 타당성 증거를 탐색했다. 그 중 7개는 등급 척도 사용을 선호했고, 2개는 체크리스트 사용을 선호했으며, 대다수는 도구에서 차이를 발견하지 못했다. 그러나 이 체계적인 검토는 시뮬레이션 기반simulation-based 평가에만 초점이 맞춰져 있다는 점에 유의해야 한다. 시뮬레이션과 직접 관련되지 않은 수행능력 기반performance-based 평가에 대한 점검 목록과 등급 척도의 비교에는 제한된 증거만 있을 뿐이다. 

Despite the purported limitations of checklists, they offer many advantages when assessing performance, namely: checklists are relatively intuitive to use; provide uniform rating criteria; can have high reliability; and allow for the provision of specific feedback on areas of weakness to residents (Harden et al. 2016; Norcini 2016). In fact, there is a growing body of literature demonstrating that wellconstructed checklists and rating scales often produce similar results in discriminating between different levels of training. For example, a recent systematic review (Ilgen et al. 2015) explored validity evidence for the use of checklists and rating scales in simulation-based assessment. Of those, seven favored the use of rating scales, two favored the use of checklists, and the vast majority (n¼25) found no difference in the tools. However, it is important to note that this systematic review focused only on simulation-based assessments. There is only limited evidence in the comparison of checklists and rating scales for performance-based assessments not directly related to simulation. 

방법
Methods

참여자 Participants

Internal Medicine 진행률 검사 OSCE(IM-OSCE)는 Ottawa University(PGY1–PGY4)의 모든 Internal Medicine 레지던트에게 필수적이지만 형식적인 연례 검사로 시행됩니다. 
The Internal Medicine progress test OSCE, or IM-OSCE, is administered as a mandatory, but formative, annual examination for all Internal Medicine residents at the University of Ottawa (PGY1–PGY4). 


설계 Design

IM-OSCE는 지식, 임상 의사 결정, 신체 검사 기술 및 커뮤니케이션 기술을 평가하도록 설계된 9개 스테이션으로 구성되었습니다. 시험의 각 행정의 청사진은 캐나다 왕립의과대학 외과의가 정한 내과 교육 목표(RCPSC 2011)에 기초했다. 각 행정부마다 다양한 신체 시스템과 분야를 대표하는 사례가 선정되었습니다. 각 IM-OSCE의 내용은 사례 반복 없이 매년 달랐다. 
The IM-OSCE consisted of nine stations that were designed to assess knowledge, clinical decision making, physical examination skills, and communication skills. The blueprint for each administration of the exam was based on the Objectives of Training for Internal Medicine set by the Surgeons of Royal College of Physicians and Canada (RCPSC 2011). For each administration, cases were selected to represent a variety of different body systems and disciplines. The content on each IM-OSCE was different every year, with no repetition of cases. 


내과 전문의들은 각 스테이션마다 고유한 평가자 한 명씩을 두고 각 역마다 전공의들의 성과를 평가했다. 그러나 IM-OSCE의 설계 때문에 평가자는 분석에 포함되지 않았다. 각 IM-OSCE는 하나의 관리에서 두 개의 좌석이 있었고 각 좌석에 여러 개의 트랙이 있었습니다. 이 설계는 평가자와 표준화된 환자가 교락 요인이 되고 트랙과 좌석에 내포된다는 것을 의미합니다. 전공의는 이러한 선로에 무작위로 할당되고 PGY 레벨에 의해 체계적으로 할당되지 않았기 때문에 설계가 더욱 복잡했으며, 따라서 정격자 또는 선로와 같은 요소를 포함하면 상당한 데이터 누락과 전력 상실로 이어질 수 있었다. 따라서 우리는 스테이션 수준에서 데이터를 분석하기로 결정했으며, 분석에 트랙이나 레이터를 포함하지 않았습니다. 
Internal Medicine specialists assessed the residents’ performance on each station with a single, unique examiner at each station. Raters were not included in the analysis, however, because of the design of the IM-OSCE. Each IM-OSCE had two sittings in one administration and multiple tracks within each sitting. This design would mean that raters and standardized patients would be confounded factors and would be nested within track and sitting. The design was further complicated because residents were randomly allocated to these tracks and not systematically assigned by PGY level, therefore including factors like rater or track would have led to considerable missing data and a loss of power. We decided therefore to analyze data at the station level and did not include track or rater in the analysis. 

Pugh 외 연구진(2014)에 기술된 바와 같이, 전공의들은 스테이션-특이적 체크리스트와 작업-특이적 평정 척도(MeanGR)를 조합하여 평가받았다. 또한 표준 설정에 사용되는 단일 글로벌 등급 척도(GRS)를 사용하여 평가했으며, 응시자의 성과를 의대생 수준 또는 PGY 1~4의 연수생 수준으로 평가하기 위해 개발된 교육 수준 평가 척도traning level rating scale도 사용했다. 이 시험의 경우, 스테이션 점수는 표준 설정의 수정된 경계선 방법(McKinley 및 Norcini 2014)을 적용하는 데 사용되는 GRS와 체크리스트와 MeanGR(위원회가 결정한 각 가중치)의 조합을 사용하여 도출되었다. PGY1-4 척도는 피드백용으로만 사용되었으며 스테이션 점수에 반영되지 않았습니다. 각 스테이션별 점수를 합산해 총점을 만들어 수험생에게 보고했다. 

As described in Pugh et al. (2014), residents were scored using a combination of station-specific checklists and task-specific rating scales (MeanGR). They were also assessed using a single global rating scale (GRS) used for standard setting, as well as a training level rating scale developed to rate candidate performance as being at the level of a medical students or at the level of a trainee in PGYs 1 to 4. For this examination, station scores were derived using a combination of the checklist and the MeanGR (weightings for each determined by a committee) with the GRS used to apply the modified borderline method of standard setting (McKinley and Norcini 2014). The PGY1–4 scale was used only for feedback and did not factor into the station score. A total score was created by summing the scores on each station and were reported to examinees. 

분석 Analysis

시험 연도 내의 각 스테이션에 대해 체크리스트와 MeanGR 점수를 먼저 z-점수로 변환하여 두 측정치의 점수와 등급이 동일한지 확인했습니다. 음수를 제거하기 위해 각 측도의 z-점수는 평균 100, 표준 편차는 10으로 표준화되었습니다. 
For each station within an exam year, the Checklist and MeanGR scores were first converted to z-scores to ensure scores and ratings on both measures were on the same scale. To remove the negative numbers, the z-scores for each measure were standardized to have a mean of 100 and a standard deviation of 10. 

시험 연도별 각 스테이션마다 주 요인subject factor으로 취급되는 전공의의 PGY 수준(PGY1–4)과 반복 측정 요인repeated measure factor으로 취급되는 측정(즉, 체크리스트 및 평균GR 점수)을 사용하여 혼합 분산 분석을 수행하였다. 주된 관심은 다음과 같다.

• (1) PGY 수준의 주요 효과가 있었던 비교: 훈련 증가의 함수에 따라 점수가 변경되었음을 나타낼 수 있기 때문
• (2) PGY 수준과 두 측정값 사이에 교호작용 비교: 이는 한 측정값에서 점수가 다른 측정값과 다르게 증가했음을 나타내기 때문

For each station by exam year, a mixed ANOVA was conducted with PGY level of the resident (PGY1–4) treated as a between subject factor and the measure (i.e. Checklist and MeanGR scores) treated as a repeated measures factor. Of most interest were:

• (1) comparisons in which there was a main effect of PGY level, because this would indicate that scores changed as a function of increases in training; and
• (2) comparisons producing an interaction between PGY level and the two measures, because this would indicate that scores increased differently for one measure compared to the other.

스테이션에서 교호작용이 발견되면 교호작용의 근원을 탐색하기 위해 후속 분석이 수행되었습니다. 해당 스테이션에 대한 각 측도에 대해 PGY 수준을 과목 간 인자로 처리한 상태에서 과목 간 분산 분석을 별도로 수행했습니다.
If an interaction was found on a station, a subsequent analysis was conducted to explore the source of the interaction. For each measure on that station, a separate between subjects ANOVA was conducted with PGY level treated as a between subject factor.

윤리 Ethics review


결과
Results

2014년 총 73명, 2015년 85명, 2016년 86명의 전공의가 시험에 응시했다. 그림 1-3은 주어진 관리 연도의 각 스테이션 별 체크리스트와 평균 GR 점수를 나타낸 막대 그래프를 보여준다.
There was a total of 73 residents attempting the examination in 2014, 85 in 2015 and 86 in 2016. Figures 1–3 display bar graphs depicting Checklist and Mean GR scores by PGY for each station in a given administration year.

즉, 27개 스테이션에 걸쳐 총 13개 스테이션에서 체크리스트 점수와 평균 GR 점수에 대해 동등하게 교육 수준 상승 함수로 점수가 증가했음을 입증했으며, 한 스테이션만 체크리스트 점수가 증가하지 않고 등급 척도가 증가했음을 입증했다. 
In other words, across 27 stations, a total of 13 stations demonstrated that scores increased as a function of increase in training level equally for both Checklist and Mean GR scores and only one station demonstrated that checklist scores did not increase but rating scale did. 

고찰
Discussion

본 연구의 목적은 OSCE 내에서 전문지식의 증가와 채점 도구 사이의 관계를 재검토하여 [평정 척도rating scales]가 [체크리스트]보다 전문지식의 증가에 실제로 더 민감한지를 판단하는 것이었다. 체크리스트는 그렇지 않지만, 평정 척도는 전문지식 수준에 민감하다는 일반적인 견해를 고려할 때, 평정 척도 점수는 PGY 수준의 함수로 증가해야 하는 반면, 점검표 점수는 증가해서는 안 된다고 예상할 수 있다. 우리의 결과는 전문성 증가를 측정할 때 체크리스트에 비해 종종 인용되는 등급 척도 우위에 대한 주장에 반대challenge한다. 우리가 조사한 27개 스테이션 중 rating scale에서만 PGY 수준별 차이가 나타난 것은 1개뿐이었다. 
The purpose of this study was to reexamine the relationship between increases in expertise and scoring instruments within an OSCE in order to determine if ratings scales are indeed more sensitive to increases in expertise than checklists. Given the prevailing view that rating scales are sensitive to levels of expertise whereas checklists are not, one would expect that rating scale scores should increase as a function of PGY levels whereas checklist scores should not. Our results challenge the oft-cited claim of rating scale superiority over checklists when measuring increases in expertise. Of the 27 stations we examined, there was only one in which rating scales but not checklists demonstrated a difference by PGY level. 

우리의 결과는 시뮬레이션과 관련된 여러 논문에서 보고된 결과를 복제하지만(Ilgen et al. 2015) 왜 우리의 연구 결과가 [등급 척도의 우월성]에 대한 일반적인 가정에 도전하는지 의문을 제기한다. 여러 가지 이유가 있을 수 있습니다. 첫째, 체크리스트 설계는 초기 Hodges 등 연구 이후 발전해 왔다. 즉, 체크리스트는 요청되거나 [수행될 수 있는 모든 단계의 전체 목록]을 나타내지 않으며, 사례의 주요 기능key feature에 초점을 맞출 가능성이 더 높아졌습니다(Daniels et al. 2014; Yudkowsky et al. 2014). 확실히, 이것은 본 연구에 포함된 OSCE가 주요 특징key features에 초점을 두고 개발된 사례이다. 
Our results replicate findings reported in several papers related to simulation (Ilgen et al. 2015) but raise the question as to why our findings challenge the common assumption of rating scale superiority. A number of reasons might exist. First, the design of checklists has evolved since the initial Hodges et al. study. That is, checklists are now less likely to represent an exhaustive list of all steps that could be asked or done, and more likely to focus on the key features of the case (Daniels et al. 2014; Yudkowsky et al. 2014). Certainly, this is the case with the OSCEs included in the present study which were developed with a focus on key features. 

세 번째 가능성은 스테이션들의 난이도와 관련이 있을 수 있다. Hodges 등의 연구에서 스테이션은 임상 실습생 수준으로 설계되었지만 전공의와 수련후 의사를 테스트했다. 본 연구의 관측소는 PGY-4 수준의 성능을 테스트하기 위해 만들어졌기 때문에 상당히 어려웠다. 
A third possibility could be related to the difficulty of the stations. The Hodges et al. stations were designed to be at the level of clinical clerks but tested residents and practicing physicians. The stations in this study were considerably more difficult, having been created to test ability at the level of a PGY-4. 

연구 대상 27개 스테이션 중 13개 스테이션만only이 사용하는 채점도구와 무관하게 PGY 수준별 차이를 보인 것은 다소 놀라운 일이었다. PGY-4 수준에서 설정된 난이도 시험이지만 모든 수련 연차의 전공의가 시도한 진도 시험임을 감안할 때, 모든 스테이션에 적어도 하나의 도구instrument에서 변화가 있을 것으로 예상할 수 있다. 그러나 이는 적어도 부분적으로는 스테이션 유형의 함수일 수 있습니다. 주목할 점은 의사소통 스테이션 (0/3) 중 단 한 곳도 없었고, 단지 신체검진 스테이션에서 3/12에서만 두 척도 중 하나 이상에서 PGY level에 따른 차이가 나타났다.
It was somewhat surprising that only 13 of the 27 studied stations demonstrated a difference by PGY level regardless of the scoring instrument used. Given that this is a progress test with a difficulty set at a PGY-4 level but attempted by residents of all training years, one would have expected changes with at least one of the instruments in all stations. However, this may be again, at least in part, a function of station type. It is noteworthy that none of the communication stations (0/3) and only 3/12 physical examination stations examined demonstrated a difference by PGY level for either of the measures. 

세 번째 신체 검사 스테이션은 상호작용이 있었고, 평정 척도만이 PGY 수준이 증가를 보였다. 신체 검사 스테이션과 관련된 이러한 발견은 많은 신체검사 기술(예: 관절 검사 또는 신경 검사 수행 능력)이 수련 초기에 획득되었을 것으로 예상되고 레지던트 기간 동안 크게 발전하지 않았을 수 있기 때문에 발생했을 수 있습니다. 의사소통 스테이션에 대한 PGY 수준의 차이가 없는 것과 관련하여, 이는 수련기간 증가에 따른 내과 레지던트 의사소통 능력 개발의 진전이 없음을 입증하는 이전에 발표된 연구와 일치한다(Pugh et al. 2016). 
A third physical examination station had an interaction with only the rating scale producing increases in PGY level. This finding related to physical examination stations may have occurred because many of the skills tested (e.g. ability to perform a joint or neurologic exam) might be expected to have been acquired early in training and may not have evolved much during residency. With regards to the lack of differences seen by PGY-level on the communication stations, this is in keeping with a previously published study which also demonstrated no progression in the development of Internal Medicine residents’ communication skills over time (Pugh et al. 2016). 

이론의 여지없이, (수험생이 효율적인 데이터 수집하고, 진단을 내리고, 관리 계획을 수립하는 과정에서 문제에 대한 접근 방식을 입증해야 하는) [구조화된 구술structured oral]은 더 복잡하며, 따라서 주니어 훈련생과 시니어 훈련생 사이의 차이를 입증할 가능성이 더 높을 수 있다. (10/12 structured oral station는 PGY-수준별 차이를 보였다.)
Arguably, structured orals, which require an examinee to demonstrate an approach to a problem that includes efficient data gathering, diagnosis and formulation of a management plan, are more complicated and therefore may be more likely to demonstrate a difference between junior and senior trainees (10/12 structured oral stations demonstrated a difference by PGY-level). 

본 연구의 가장 큰 한계는 동일한 평가자가 체크리스트와 평가 척도를 모두 완료했기 때문에 두 측정이 서로 영향을 미쳤을 가능성이 매우 크다는 것이다. 즉, 체크리스트가 역량 증가를 측정할 수 없다는 가정이 얼마나 일반적인지를 고려할 때, 두 측정이 서로 교란되어 있더라도 우리의 결과는 최소한 주의를 시사해야 합니다.
A major limitation to our study is that the same rater completed both the checklist and the rating scales and therefore it is quite possible that the two measures influenced each other. That said, considering how common the assumption is that checklists cannot measure increases in competency, our results should at the least suggest caution even with both measures being confounded with each other.

결론적으로, 우리는 체크리스트가 등급 척도보다 낫거나 나쁘다고 주장하는 것이 아니다 – 둘 다 특정한 상황에서 장점이 있다.

In conclusion, we are not arguing that checklists are better or worse than rating scales – both have merits under particular circumstances. 

Med Teach. 2020 Jan;42(1):46-51.

 doi: 10.1080/0142159X.2019.1652260. Epub 2019 Aug 20.

Are rating scales really better than checklists for measuring increasing levels of expertise?

Timothy J Wood 1, Debra Pugh 2

Affiliations collapse

Affiliations

• 1Department of Innovation in Medical Education, University of Ottawa, Ottawa, Canada.
• 2Department of Medicine, University of Ottawa, Ottawa, Canada.

• PMID: 31429366
• DOI: 10.1080/0142159X.2019.1652260Abstract
• Background: It is a doctrine that OSCE checklists are not sensitive to increasing levels of expertise whereas rating scales are. This claim is based primarily on a study that used two psychiatry stations and it is not clear to what degree the finding generalizes to other clinical contexts. The purpose of our study was to reexamine the relationship between increasing training and scoring instruments within an OSCE.Approach: A 9-station OSCE progress test was administered to Internal Medicine residents in post-graduate years (PGY) 1-4. Residents were scored using checklists and rating scales. Standard scores from three administrations (27 stations) were analyzed.Findings: Only one station produced a result in which checklist scores did not increase as a function of training level, but the rating scales did. For 13 stations, scores increased as a function of PGY equally for both checklists and rating scales.Conclusion: Checklist scores were as sensitive to the level of training as rating scales for most stations, suggesting that checklists can capture increasing levels of expertise. The choice of which measure is used should be based on the purpose of the examination and not on a belief that one measure can better capture increases in expertise.

친구 다음에 OSCE를 볼 때의 이득: 후향적 연구(Med Teach, 2018)
Gaining an advantage by sitting an OSCE after your peers: A retrospective study
Asim Ghouria, Charles Boachieb, Suzanne McDowalla, Jim Parlec, Carol A. Ditchfielda, Alex McConnachieb, Matthew R. Waltersa
and Nazim Ghouria
 

도입
Introduction

OSCE는 임상 관행을 반영하기 위한 "실제" 시나리오를 시뮬레이션하는 여러 스테이션으로 구성됩니다. 따라서 OSCE 검사를 통해 학생의 임상 기술을 평가할 수 있습니다. Miller의 피라미드(Gormley 2011)의 "Shows how"를 보여줍니다. 
The OSCE consists of multiple stations simulating “real life” scenarios, which are intended to reflect clinical practice. Hence the OSCE examination allows assessment of a student’s clinical skills: the “shows how” of Miller’s pyramid (Gormley 2011).

조직적인 이유로 OSCE 전달의 현재 구성은 종종 연속적인 날짜에 스테이션의 재사용을 수반합니다. 그러나 이는 응시자들이 시험 내용에 대해 결탁할 수 있는 잠재적 기회(즉, 부정행위)를 주며, 나중에 시험을 치르는 학생들에게 잠재적으로 유리할 수 있다(Park et al. 2006). 궁극적으로 [담합 의혹]은 시험성적의 타당성에 대한 의구심을 불러일으킬 수 있고, 이러한 행위에 연루된 것으로 의심되는 학생들의 정직성integrity에 의문을 제기할 수 있으며, 이로 인해 의료계에 대한 국민의 신뢰가 훼손될 수 있다. 게다가 이러한 유착은 weaker student에게 더 이득이 되어서, 결과적으로는 합격하지 않았어야 할 학생이 합격하는 결과를 낳는다.
For organizational reasons the current configuration of OSCE delivery often involves the re-use of stations on consecutive days. This however gives candidates a potential opportunity to collude over the contents of the examination (i.e. cheat), potentially conferring an advantage to students undertaking the examination on later sittings (Parks et al. 2006). Ultimately, the suspicion of collusion can raise doubts over the validity of the examination grades and draw into question the integrity of students suspected of participation in this behavior, with consequent risk to the trust of the public in the medical profession (Smith 2000). In addition such collusion may advantage the weaker who students more and result in some passing should not. 

OSCE 결과에 대한 이전의 연구는 [시간이 지남에 따라 반복되는 스테이션]에서 학생 점수가 크게 향상되지 않았다. 이 연구들은 미국, 영국, 한국의 3학년과 4학년 학생들을 대상으로 실시되었다.  
Previous studies of OSCE results have not shown a significant improvement in student scores for stations repeated over time . These studies have been performed using third year and fourth year students in USA, UK and South Korea.  

현재까지 가장 많은 학생을 대상으로 한 연구는 Parks 등이 수행했다. (2006년), 2일 동안 의대 3학년생 255명의 OSCE 점수를 분석했습니다. 학생 담합은 의과대학이 설치한 온라인 토론 게시판을 통해 확인됐다. 그러나 OSCE의 1일차 총점에서는 2일차 대비 유의한 차이가 관찰되지 않았다. 슬라이드가 바뀌었음에도 불구하고 1일차에 적용된 진단을 2일차에 82명이 잘못 적어낸 병리학 스테이션의 한 하위 항목에서만 담합 효과를 명확히 알 수 있었다. 
The study with the largest number of students to date was performed by Parks et al. (2006), who analyzed the OSCE marks of 255 third year undergraduate medical students over a 2-day period. Student collusion was confirmed via an online discussion board set up by the medical school. However, no significant difference was observed in the total mark for the OSCE on day 1 compared with day 2. A clear indication of the effects of collusion could only be obtained from a single subsection of a pathology station, where 82 students on day 2 incorrectly gave the diagnosis which had applied on day 1 despite the slide having been changed. 

방법
Methods

학생 그룹Student population

영국 글래스고 대학(University of Glasgow, UK, Scotland)에서 의대생 OSCE 최종학년의 시험 성적이 분석되었다. 이 연구의 목적상, 최종 연도 코호트 6개(2009-2010~2014-2015 포함)가 연속 포함되었다. 1505명의 학생들의 데이터가 포함되었습니다(n→238, 262, 226, 261, 259, 259). 모든 학생은 OSCE에 응시하기 전에 최종 종료 전까지 다른 서킷 또는 장소에서 OSCE를 보게 될 학생과 OSCE 내용을 논의해서는 안 된다는 안내를 받는다.

• (1) 형형성 문제 및 동료에 대한 존중 문제
• (2) 개인적으로 GMP의 표준을 충족하지 못하는 문제
• (3) 대학 시험 규정 위반

Examination performance of final year medical students OSCE at (Year 5) undertaking their the University of Glasgow, Scotland, UK, was analyzed. For the purpose of this study, 6 consecutive final year cohorts were included (2009–2010 to 2014–2015 inclusive). Data from 1505 students was included (n¼238, 262, 226, 261, 259, 259 in consecutive years). All students are given instructions prior to sitting the OSCE advising that they must not discuss the content of the OSCE with candidates sitting the OSCE at other sites or circuits until the final completion of the examination due to

• (1) issue of equity and respect to colleagues;
• (2) issue of failure to personally meet standards of Good Medical Practice; and
• (3) breach of University examination rules.

또한 시험이 진행되는 동안 [어떤 방법으로든 OSCE의 내용에 대해 논의한 것]으로 판명될 경우 상원에 회부하고 공식적인 실무 적합성 절차를 밟는 등의 징계 조치를 취할 것을 권고합니다. 

They are also advised that if they are found to be discussing the content of the OSCE by any means while the examination is running, they will be subject to disciplinary action in the form of referral to Senate and formal Fitness to Practice procedures. 

OSCE 형식
OSCE format

매년 최종 학부 의학 커리큘럼의 임상 구성요소에 기여하는 OSCE 스테이션이 32개에서 50개 사이였다. 시험은 A~D의 네 부분으로 나뉘었다. 각 파트는 서로 다른 필드를 평가했습니다. 

• A – 산부인과 및 정신의학, 
• B – 의학 및 수술, 
• C – 소아과, 
• D – 기타 전문 분야.

For each year, there were between 32 and 50 OSCE stations that contributed to the clinical component of the final year undergraduate medical curriculum. The examination was divided into four parts: A–D. Each part assessed different fields:

• A – Obstetrics and Gynaecology and Psychiatry,
• B – Medicine and Surgery,
• C – Paediatrics,
• D – Other specialties.

모든 SP들은 그 역할을 위해 훈련을 받는 훈련된 배우들이다. 또한 대다수의 SP들은 커뮤니케이션 기술 교육에 참여하기 때문에 SP의 역할에 경험이 많습니다. 
All SPs are trained actors who undergo training for the role. The majority of the SPs also take part in the teaching of communication skills so are highly experienced in the role of SP. 

각 스테이션에는 회로 중에만 평가자examiner가 한 명씩 있었습니다. 모든 examiner은 선임 임상의사였고 모두 OSCE 평가에 대한 교육을 받았다. 평사자는 같은 날 또는 다른 날에 두 개 이상의 회로에 대해 동일한 스테이션을 표시할 수 있지만, 어떤 평가자도 동일한 스테이션을 전체 4-5일 동안 채점하지examined 않았습니다. 또한, 평가자는 같은 날 또는 다른 날에 다른 서킷의 다른 스테이션을 평가했을 수 있습니다. 
Each station had one examiner only during a circuit. All examiners were senior clinicians and all were trained in OSCE assessment. While an examiner could mark the same station for more than one circuit on the same day or on different days, no individual examined the same station for the full 4–5 days. In addition, examiners may have assessed a different station during another circuit on the same or different days. 

각 스테이션에 대해 학생은 객관적인 항목 목록에 대해 20점 만점으로 채점되었다. 또한, 평가자는 학생의 성적을 글로벌하게 판단하여 "합격", "실패", "경계선"으로 분류하였다. 그런 다음, 각 스테이션의 합격점수는 경계선 등급을 받은 모든 응시자의 숫자 점수를 취하여 이 점수의 평균을 계산하여 계산하였다. 학생들의 합격/불합격은 score로만 결정되었고, 이러한 점에서 전반적global 판단은 어떠한 가중치도 부여되지 않는다. 
For each station, the student was marked out of 20 against an objective list of items. In addition, the examiner made a second, global judgment of the student’s performance and categorized it as a “Pass”, “Fail” or “Borderline”. The pass mark for each station was then calculated by taking the numerical scores for all candidates who were rated as borderline and calculating the mean of these scores. Students passed or failed by their scores alone; the global judgment is not given any weighting in this regard. 

데이터 보호 및 윤리 승인
Data protection and ethical approval

통계 분석 및 데이터 표시
Statistical analysis and data presentation

각 연도 그룹에 대해 매일 통과된 스테이션 비율이 그래픽으로 표시됩니다. 혼합 효과 로지스틱 회귀 분석을 사용하여 각 개별 측점을 통과할 확률과 관련된 요인을 모형화했습니다. 모형에는 학생과 회로에 대한 랜덤 효과가 포함되었습니다. 고정 효과는 검사일(1~5일), 시간(오전/오후), 성별 및 연도와의 연관성을 평가하기 위해 포함되었다.

The percentage of stations passed on each day are presented graphically for each year group. Mixed effects logistic regression was used to model factors associated with the probability of passing each individual station. Models included random effects for students and circuits. Fixed effects were included to assess the association with day of examination (1–5), time of day (am/pm), gender and year. 

우리는 OSCE에 합격한 각 학생의 예상 확률을 추정하기 위해 우리의 모델을 사용했습니다. 그런 다음, 각 학생에 대해 각 역이 사용된 날짜와 시간의 조합을 같은 학년 그룹에서 서로 주어진 해당 조합으로 대체했습니다. 이러한 방식으로 우리는 같은 해 학생에게 스테이션이 할당되는 방식의 제약 내에서 각 학생에 대한 OSCE 합격 확률에 대한 요일별 및 시간별 합격률 변동의 잠재적 영향을 평가할 수 있었습니다. 

We used our model to estimate the predicted probability of each student passing the OSCE overall. Then, for each student, we replaced the combination of days and times that each station was taken, with the corresponding combinations that each other student was given in the same year group. In this way, we were able to assess the potential impact of variation in pass rates by day and time on the overall probability of passing the OSCE, for each student, within the constraints of the way that stations were allocated to students in the same year. 

결과
Results

인구통계학적 변수 및 일반 OSCE 성능
Demographic variables and general OSCE performance

표 1은 학생들의 인구통계학적 특성을 요약한 것이다.
Table 1 summarizes the students’ demographic characteristics;

OSCE 측점을 통과할 가능성에 영향을 미치는 변수의 유의성
Significance of influencing variables on likelihood of passing OSCE stations

표 2는 혼합 효과 로지스틱 회귀 분석에서 도출된 학년도, 성별, 일, 시간 간의 추정 연관성 및 스테이션 합격 확률을 보여줍니다. 6년 동안 스테이션를 합격할 확률에는 유의한 차이가 없었습니다. 여학생보다 남학생이 각 스테이션을 합격할 확률이 낮았습니다(p<0.001). 하루가 지날 때마다 스테이션 통과 확률이 20%씩 증가하는 추세가 있었습니다. 이러한 연관성은 그림 1에서도 확인할 수 있습니다. 전체적으로 학생 한 명이 통과하는 평균 역 수가 5일 동안 증가했습니다. 
Table 2 shows the estimated associations between academic year, gender, day, and time, and the probability of passing a station, derived from the mixed effects logistic regression analysis. There were no significant differences in the probability of passing stations across the six year groups. Male students were less likely to pass each station than female students (p<0.001). There was a trend across days, with the odds of passing a station increasing by 20% for each additional day. This association can also be seen in Figure 1. Overall, the mean number of stations being passed by each student rose over the 5 days. 

OSCE 합격 확률 예측
Predicted probability of passing the OSCE

그림 2는 각 학생이 OSCE 시험을 전체적으로 통과하는 데 필요한 최소 스테이션 수를 통과할 수 있는 예측 확률을 보여줍니다. 이는 각 학생이 할당된 날짜와 시간의 실제 조합과 같은 연도 그룹의 다른 학생으로부터 얻은 가능한 모든 대체 조합에 기초한 혼합 효과 로지스틱 회귀 분석 모형에서 파생되었습니다.
Figure 2 shows the predicted probability of each student passing the minimum number of stations needed to pass the OSCE examination overall. This was derived from the mixed effects logistic regression model, based on the actual combination of days and times that each student was allocated, and under all possible alternative combinations, taken from the other students in the same year group. 

혼합 효과 로지스틱 회귀 분석 모형에는 학생에 대한 랜덤 효과가 포함됩니다. 즉, 학생의 능력이 모형에 기본 제공되는 것으로 가정된 분포가 있습니다. 이 분포의 맨 아래에 있는 학생만 전체 예측 합격 확률이 100% 미만으로 유의하게 떨어집니다. 이러한 학생의 경우 각 측점을 사용하는 요일과 시간을 변경하면 전체 합격 확률에 더 큰 영향을 미칩니다. 이 모델에 따르면 이러한 효과는 클 수 있습니다. 일부 학생의 경우 합격 확률은 자신이 소속된 요일과 시간에 따라 10%~90% 정도 달라질 수 있습니다. 그러나 이러한 예측은 모형의 극단적 가장자리에서 이루어지는 것이므로, 이러한 학생들이 관측소를 선택한 시기의 영향을 정확하게 나타내지 못할 수 있습니다. 
The mixed effects logistic regression model includes a random effect for students; in other words, there is an assumed distribution of students’ abilities built in to the model. Only for those students at the lower end of this distribution does the overall predicted probability of passing dip noticeably below 100%; for these students, varying the days and times on which each station is taken has a greater effect upon overall probability of passing the examination. According to the model, this effect can be large: for some students, the probability of passing could vary between 10% and 90%, depending on the days and times on which they take their stations. Note, however, that these are predictions being made at the extreme fringes of the model and may not be an accurate representation of the impact of when stations were taken for these students. 

학생 성과별 일수 및 시간 분포
Distribution of days and times by student performance

표 3은 학생들이 매년 자신의 역에 앉아 최종 학점에 따라 나눈 평균 날을 보여줍니다.
Table 3 shows the mean day on which students sat their stations each year, divided according to the final grade achieved. 

고찰
Discussion

우리의 연구에 따르면 최종 학년 의대생들은 시험 기간 [초기]에 같은 OSCE 스테이션을 수강하는 학생들에 비해 [나중]에 응시할 경우 OSCE의 스테이션을 통과할 가능성이 상당히 높았으며, 특히 이러한 효과는 [약체 학생weaker student]들에게 두드러졌다. 이는 학생 담합이 OSCE 합격의 기회를 증가시키는 데 기여 가능한 요소임을 시사한다. 가장 가능성이 높긴 하지만 담합만이 가능한 설명은 아니다. 시간이 지날수록 수험 적응도가 높아지고, 담합이 없는 상황에서도 성적이 좋아질 수 있다. 시험관은 시간이 지남에 따라 점수를 매기는 경향이 일정하게 변화했을 수 있습니다. 예를 들어, 대부분의 시험관은 반나절 이상 수업을 하지 않기 때문에 이는 가능성이 낮지만, 이것이 발생할 것으로 예상할 이유는 없습니다. 메커니즘과 상관없이, 우리의 데이터는 시험을 보는 날이 시험 성과에 영향을 줄 수 있음을 시사합니다. 
Our study suggests that final year medical students were significantly more likely to pass a station in the OSCE if undertaken on a later day compared to students undertaking the same OSCE station on earlier days of the examination period and that this effect was particularly marked for weaker students. This suggests that student collusion is a possible contributory factor in increasing the chances of passing an OSCE station. Although most probable, collusion is not the only potential explanation. Students may become more attuned to the examination process over time and show improved performance even in the absence of collusion. Examiners may demonstrate trends in their marking over time, for example, becoming more lenient on later days, though this is unlikely since the vast majority of all our examiners do not do more than one half-day session and there is no reason to expect this to occur. Regardless of the mechanism, our data suggests that the day on which an exam is taken may influence examination performance. 

그림 1에서 볼 수 있듯이 최소 3일 후 시험을 치르는 학생들을 비교할 때 유의미한 이점이 나타나기 시작하는데, 이는 담합 효과가 점차 발생함을 시사한다. 본 연구에서 사용된 대규모 데이터 집합은 특정 스테이션에서 합격할 가능성과 관련된 요인에 대한 강력한 평가를 가능하게 했으며 따라서 일 및 오후와의 연관성을 더 정확하게 추정할 수 있게 되었다. 
As indicated in Figure 1, significant advantages start to appear when comparing students doing examinations at least three days later, suggesting that any effect of collusion accrues gradually. The large dataset used in our study has made possible a robust assessment of factors associated with the likelihood of passing a station and therefore allowed for estimation of the associations with day and am/pm with greater precision. 

분석 결과에 대응하여, (연구자의 소속기관에서는) 이후의 회로later circuit에 있는 후보자에게 어떠한 내용도 알려지지 않도록 하고, (모든 사이트와 회로에 걸쳐 모든 후보자에 대한 공정한 검사를 보장하기 위해) OSCE 기간 동안 모든 후보자가 격리됩니다. 여기에는 학생들이 완전히 전자적으로 격리되지 않은 상태가 포함됩니다. 다만 이 상태는 감독자invigilator가 감시한다. 또한, 모든 MBChB 신입생들은 이제 학생 협약에 서명합니다. 이 협약은 소셜 미디어와 관련하여 다음과 같은 내용을 담고 있습니다.

"전문적으로 커뮤니케이션해야 할 책임이 디지털 미디어까지 확대된다는 것을 알고 있습니다. 나는 의대생이나 의사가 기대하는 개인적인 특성에 따라 개인에게 걱정이나 고통을 줄 수 있는 이미지나 문자를 온라인에 올리지 않을 것이다. Placement 중에는 NHS 리소스를 통해 소셜 미디어에 액세스하지 않을 것입니다." 

In response to the outcomes from our analysis, to ensure that no content becomes known to candidates sitting in later circuits and to ensure a fair examination for all candidates across all sites and circuits, all candidates are now quarantined during the OSCE. This involves the students not having full electronic isolation – supervised by invigilators. Further, all new MBChB students also now sign a student agreement, which notes the following with regards to social media –

“I am aware that my responsibility to communicate professionally extends to digital media. I will not post images or text online which may cause concern or distress to any individual, in keeping with the personal attributes expected of a medical student or doctor. I will not access social media through NHS resources while on placement”. 

마지막으로, 일반적인 조치의 일환으로, 학교 전체의 학부생들이 디지털 능력 향상 프로젝트에 참여했습니다. 학생들은 디지털 아이덴티티 설문조사에 참여하도록 초대되었다. 조사 결과로부터 학생들이 더 많은 지침을 원하는 주요 주제를 파악했다.

• 디지털 아이덴티티 관리,
• 온라인 환경에서의 전문성,
• 디지털 웰빙,
• 생산성 기술(디지털 산만distraction 관리 포함),
• 온라인 커뮤니케이션 및 협업 기회 등 

40명의 학생 파트너는 이러한 분야의 잠재적인 과제, 해결책 및 커리큘럼 개발 기회에 초점을 맞춰 직원들과 협업했습니다. 
Finally, as part of general measures, undergraduate students from across the school have engaged in a digital skills enhancement project. Students were invited to participate in the Digital Identity survey. The results identified key topics on which students want more guidance, including

• digital identity management,
• professionalism in an online environment,
• digital well-being,
• productivity skills (including management of digital distractions), and
• opportunities for communication and collaboration online.

Forty student partners worked in collaboration with staff, focusing on potential challenges, solutions, and opportunities for curriculum developments in these areas. 


결론적으로, 우리의 증거는 나중에 같은 OSCE 스테이션을 받는 학생들이 시험 기간 초반의 학생들에 비해 더 나은 합격 기회를 가지고 있으며, 이는 특히 능력이 떨어지는 학생들에게서 두드러진다. 이것이 학생 간의 담합을 반영하는 것인지, 시험관 평가의 동향인지, 아니면 일부 다른 편견의 원천을 반영하는 것인지 결정할 수 없다. 우리는 우리의 연구가 특히 약한 학생들을 대상으로 한 첫 번째 연구라고 믿는다. 우리가 설명하고 있는 효과는 성적이 더 높은 학생들 사이에서 덜 명백할 것으로 보인다. 그리고 환자의 관점에서 볼 때, 의사들이 그렇지 않을 경우 자격을 얻을 수 있는 이러한 가능한 효과는 매우 중요합니다. 
In conclusion, our evidence suggests that students undertaking the same OSCE stations later on in an examination period have a better chance of passing compared to students earlier in an exam period, and this is particularly evident for the less able students. Whether this reflects collusion between students, trends in examiner assessments, or some other source(s) of bias, cannot be determined. We believe ours is the first study to look particularly at weaker students; it seems likely that any effects we are describing would be less apparent among the higher-performing students. And, from the point of view of the patient, this possible effect, which could result in doctors qualifying who would not otherwise do so, is of key significance. 

담합: 종종 비밀스럽고 신중한 시험 내용을 학생들 간에 고의적이고 용납할 수 없는 공유는 부정행위나 다름없다.

Collusion: The intentional and impermissible sharing of exam contents between students, which is often secret and discreet, and is tantamount to cheating.

Med Teach. 2018 Nov;40(11):1136-1142.

 doi: 10.1080/0142159X.2018.1458085. Epub 2018 Apr 24.

Gaining an advantage by sitting an OSCE after your peers: A retrospective study

Asim Ghouri 1, Charles Boachie 2, Suzanne McDowall 1, Jim Parle 3, Carol A Ditchfield 1, Alex McConnachie 2, Matthew R Walters 1, Nazim Ghouri 1

Affiliations collapse

Affiliations

• 1a School of Medicine, Dentistry and Nursing, College of Medical, Veterinary and Life Sciences , University of Glasgow , Glasgow , UK.
• 2b Robertson Centre for Biostatistics, Institute of Health and Wellbeing , University of Glasgow , Glasgow , UK.
• 3c Institute of Clinical Sciences, College of Medical and Dental Sciences , University of Birmingham , Birmingham , UK.

• PMID: 29687736
• DOI: 10.1080/0142159X.2018.1458085Abstract
• Purpose: To investigate if final year medical students undertaking an OSCE station at a later stage during examination diet were advantaged over their peers who undertook the same station at an earlier stage, and whether any such effect varies by the student's relative academic standing. Methods: OSCE data from six consecutive final year cohorts totaling 1505 students was analyzed. Mixed effects logistic regression was used to model factors associated with the probability of passing each individual station (random effects for students and circuits; and fixed effects to assess the association with day of examination, time of day, gender and year). Results: Weaker students were more likely to pass if they took their OSCE later in the examination period. The odds of passing a station increased daily by 20%. Overall, the mean number of stations passed by each student increased over the 5 days. Conclusions: Students undertaking the same OSCE stations later in examination period statistically had higher chances of passing compared to their peers, and the weaker students appear to be particularly advantaged. These findings have major implications for OSCE design, to ensure students are not advantaged by examination timing, and weaker students are not "passing in error".

의학교육에서 기준선 설정: 고부담 평가(Understanding Medical Education 3rd Ed, Ch 24)
24 Standard Setting Methods in Medical Education: High‐stakes Assessment

Andre F. De Champlain

Research and Development, Medical Council of Canada, Ottawa, Ontario, Canada  

의사 결정의 필요성
The Need to Make Decisions

사람, 객체, 사물을 '분류classification'하는 의사결정의 필요성은 일상적인 것에서 가장 중요한 것에 이르기까지 일상생활의 모든 측면에 스며 있다. 예를 들어 운전면허 취득을 위한 시험에 합격하려면 교통법규 및 성과(합격, 평행주차 등)에 관한 일정 수준의 숙련도를 갖추어야 한다. 이러한 분류의 목적은 안전하지 않은 운전자들이 차량의 운전대를 잡지 못하게 하는 것이다. 마찬가지로, 형사 재판에서 판결을 내리는 배심원단은 사건의 증거(즉, 관련 자료 분석)를 신중하게 검토한 후 피고를 '유죄' 또는 '무죄'로 '분류'하는 혐의를 받는다. 배심원단은 여러 측면에서 평가에서 표준 설정과 유사하다.

The need to make decisions that assign people, objects, or things into ‘classifications’ permeates all aspects of daily life, from the mundane to the most significant. For instance, passing an examination to obtain a driver’s licence requires meeting a certain level of proficiency with regard to knowledge of traffic laws and performance (passing, parallel parking, etc.). The aim of such a classification is to keep unsafe drivers from getting behind the wheel of a vehicle. Similarly, a jury that renders a verdict in a criminal trial is charged with ‘classifying’ a defendant as ‘guilty’ or ‘not guilty’, after carefully weighing the evidence of a case, i.e. analysing relevant data. The jury analogy seems particularly relevant to standard setting in assessment on a number of counts:

• 두 활동 모두 모집단에서 충분히 크고 대표적인 참가자 집단이 필요하다(시민권 또는 직업권).
• Both activities require a sufficiently large and representative participant group from the population (whether a citizenry or a profession).

• 두 활동 모두 분류 목적으로 사용할 결정이 필요하다(판결 제출 또는 통과/실패 기준 설정).
• Both activities necessitate a decision that will be used for classification purposes (rendering a verdict or setting a pass/fail standard).

• 정보의 의도된 사용은 각 사례에서 매우 유사하다(형사 재판에서의 수용 및/또는 갱생과 그에 상응하는 공공의 보호 및 표준 설정에서의 교정조치 고려사항).
• The intended use of the information is very similar in each instance (incapacitation and/or rehabilitation in a criminal trial and the corresponding protection of the public and remediation considerations in standard setting).
 

의사 결정의 필요성 또한 학부 의학 교육에서 재검증까지 의사 생활의 모든 단계에서 중요한 부분입니다. 주요 결정은 의과대학 수준[8–12]뿐만 아니라 의과대학 수준[1]에서 자격증을 부여하거나 보유할 때, 또는 보유할 때, 또는 자격증은 [3–5] 또는 전문기관[6, 7]에 대한 진입을 허용하거나 거부할 때 발생한다. 이러한 결정은 기준선 설정standard setting이라고 하는 프로세스를 통해 이루어집니다. Cizek [13]은 기준선 설정을 '[두 개 이상의 상태 또는 성과 정도를 구별]하기 위하여 [숫자의 할당]을 초래하는 [규정되고 합리적인 규칙 또는 절차의 적절한 추종]'(예: 통과/실패)으로 설명한다. 졸업자뿐 아니라 자격증 및 면허 소지자가 안전한 임상 실습을 허용하는 지식과 기술을 보유하고 있는지 확인해야 한다는 점을 감안할 때, 보건 전문가 내에서 이 활동은 특히 중요합니다 [14, 15]. 그럼에도 불구하고 용어 컷 점수 및 합격 기준에 대한 기본적인 오해는 여전히 지속되고 있습니다(박스 24.1 참조).

The need to make a decision is also part‐and‐parcel of all phases of a physician’s professional life, from undergraduate medical education to revalidation. Key decisions occur when awarding or denying an unrestricted licence to practise medicine [1, 2], granting or withholding a credential [3–5], or granting or denying entry into a professional body [6, 7], as well as at the medical school level [8–12]. These decisions are arrived at through a process that is referred to as standard setting. Cizek [13] describes standard setting as ‘the proper following of a prescribed, rational system of rules or procedures resulting in the assignment of a number to differentiate between two or more states or degrees of performance’ (e.g. pass/fail). This activity is especially critical within the health professions, given the need to ensure the public that graduates as well as holders of certificates and licences possess the knowledge and skill sets that permit safe clinical practice [14, 15]. In spite of this, a basic misconception still persists regarding the terms cutscore and passing standard (see Box 24.1).

표준 대 절단→점수
Standard Versus Cut‐score

기준과 참조 설정에서 시험 점수를 주로 사용하는 것은, 응시자가 [시험의 기초가 되는 것으로 추정되는 역량의 집합]을 숙달했는지 여부를 결정하는 것이다. 학교 수준이든, 면허 또는 인증 결정이든, 기준 설정은 합격 기준을 식별하기 위해 정기적으로 수행되며, 이는 중요하다고 간주되고 시험에 의해 측정되는 기술 영역의 숙달 또는 역량의 지표로 취급됩니다.
The primary use of any test score in a criterion‐referenced setting is to determine whether a candidate has mastered a set of competencies presumed to underlie performance on the examination. Whether at the school level or for licensure and/or certification decisions, standard setting exercises are routinely carried out to identify a passing standard, which is treated as an indicator of mastery or competency in the skill areas deemed important and measured by an examination.
 

케인[16]은 [합격기준passing standard]을 [실무에서 요구되는 허용 가능한 수준의 성과와 지식에 대한 질적 설명]으로 정의한다. 이와 같이 통과기준은 역량의 개념적 정의 또는 질적 정의로 볼 수 있다. 예를 들어, 최종 1년간의 학부 OSCE에서는 경계선 후보가 [감독된 의료에 진입하는 데 필요한 데이터 수집, 신체 검사 및 의사소통 기술을 입증]하도록 규정할 수 있다.

Kane [16] defines a passing standard as a qualitative description of an acceptable level of performance and knowledge required in practice. As such, the passing standard can be viewed as a conceptual or qualitative definition of competence. For example, in a final‐year undergraduate OSCE, a standard might stipulate that the borderline candidate demonstrate the data gathering, physical examination, and communication skills necessary for entry into supervised practice. 

반면 [컷(cut) 점수]는 표준을 반영하는 점수 척도를 따르는 [숫자]입니다. 이것은 역량에 대한 조작적 정의입니다. 이전 예에서 전문가 패널리스트는 [65% 이상의 점수]를 받은 응시자가 최종 1년제 학부 OSE의 성과 표준을 충족했다고 판단할 수 있습니다.

The cut‐score, on the other hand, is a number along the score scale that reflects the standard. It is an operational definition of competence. In our previous example, expert panellists might decide that a candidate who scores at or above 65% has met the performance standard for the final‐year undergraduate OSCE.

표준 설정의 주요 고려 사항
Key Considerations in Standard Setting

[표준 설정standard setting]은 [점수 척도를 두 개 이상의 범주로 분할할 수 있도록 합리적이고 방어 가능한 방법으로 인간의 판단을 종합할 수 있는 과정]이다. [전문가의 판단]에 중점을 둔다는 점에서, 모든 [표준은 본질적으로 주관적]이라는 점을 강조하는 것이 중요합니다. 따라서 시험에서 컷-점수를 정할 때는 'gold standard'가 없다. 컷(cut) 점수는 표준과 참여 심판 패널 설정을 위해 선택한 방법을 포함하여 여러 요인의 함수로 달라질 수 있으며 이에 국한되지 않는다[17–21]. 
Standard setting is a process that allows human judgements to be synthesised in a rational and defensible way to facilitate the partitioning of a score scale into two or more categories. Given the emphasis on expert judgement, it is important to underscore that all standards are intrinsically subjective in nature. Consequently, there is no ‘gold standard’ when it comes to setting a cut‐score on an examination. Cut‐scores can and will vary as a function of several factors, including, but not limited to, the method selected to set the standard and the panel of participating judges [17–21].

Jaeger[18]는 '판단을 제공하는 사람들의 마음을 뺀다면, 아마도, (기준 설정에서의) 정답이 존재하지 않을 것이다'고 언급함으로써 이 점을 가장 잘 요약하였다. 적절한 경험적 증거로 뒷받침되는 체계적인 과정을 따르는 것은 표준 설정 패널이 (정책 기반) 판단을 방어 가능한 방식으로 점수 척도로 해석하는 데 도움이 될 수 있지만, 숙련자를 비숙련자로부터, 또는 통과자를 실패자로부터 완벽하게 구분하는 어떤 '참true' cutscore를 추정하는 데 사용할 수 있는 방법은 없다.

Jaeger [18] best summarised this point by stating that ‘a right answer (in standard setting) does not exist, except, perhaps, in the minds of those providing judgement’. Following a systematic process that is supported with appropriate empirical evidence can help standard setting panels translate (policy‐based) judgement onto a score scale in a defensible manner, but no method can be used to estimate some ‘true’ cut‐score that perfectly separates masters from non‐masters or passers from failers.

모든 표준 설정 프로세스의 [내재적 주관성]을 고려하여, 모범 사례는 배경 및 교육 특성과 관련하여 대상 시험 모집단을 광범위하게 대표하는 심판 패널의 선발을 필요로dictate 한다[22, 23]. 표준 설정 패널 구성은 의료 교육에서 평가가 복잡하다는 점을 감안할 때 훨씬 더 관련이 깊어집니다. 그들의 연공서열과 전문지식 수준에도 불구하고, 평가의 목적을 감안할 때 결과적인 컷(cut) 점수가 합리적인지 확인하기 위해서는 패널리스트에 대한 광범위한 교육이 필수적입니다 [24]. 적어도, 평가의 목표, 표준 설정의 목적, 완료를 요구하는 과제, 최소한의 숙련도 또는 경계선 성과를 구성하는 일반적인 정의 등과 관련하여 [모든 패널리스트가 서로 조화를 이루도록 보장하기 위한 교육]이 필요하다[25]. 

In view of the inherent subjectivity of any standard setting process, best practice dictates selection of a panel of judges that broadly represents the target examination population, with respect to background and educational characteristics [22, 23]. The composition of the standard setting panel becomes even more relevant given the complexity of assessments in medical education. Despite their seniority and level of expertise, extensive training of panellists is essential to ensure that the resulting cut‐score is reasonable given the objectives of the assessment [24]. If nothing else, training is necessary to ensure that all panellists are in harmony with one another in regard to the goal of the assessment, the purpose of the standard setting exercise, the task that they are asked to complete, and a general definition of what constitutes minimal proficiency or a borderline performance [25]. 

일반적인 표준 설정 교육 세션에는 다음과 같은 여러 단계가 필요합니다. 

• (i) 패널리스트에 대한 검체 검사 자료의 제공
• (ii) 참가자에게 완료를 요구하는 과제의 명확한 표시
• (iii) 경계선 후보의 정의에 할당된 토론 기간
• (iv) 예시 세트에 대한 판단
• (v) 참가자 간의 오해를 명확히 하기 위한 토론 기간
• (vi) 훈련의 모든 측면에 대한 사후 조사[22].

A typical standard setting training session requires a number of steps including:

• (i) the provision of sample examination materials to panellists;
• (ii) a clear presentation of the task that participants are being asked to complete;
• (iii) a period of discussion allocated to the definition of the borderline candidate;
• (iv) judgements on a set of exemplars;
• (v) a discussion period to clarify any misconceptions amongst participants; and
• (vi) a post‐exercise survey on all aspects of training [22].

이러한 주의사항에도 불구하고, 이 장에 설명된 방법들은 결과적인 cut-score가 변덕스러운 판단보다는 정보에 입각한 판단에 근거하도록 보장하기 위해 따를 수 있는 체계적인 단계를 제공한다. 우선 검사의 절단 점수 결정을 위한 일반적인 방법의 개요(박스 24.2 참조)를 살펴보고, [표준 참조 표준]과 [기준 참조 표준]의 차이를 알아볼 것이다.  

Despite these caveats, the methods outlined in this chapter will provide systematic steps that can be followed to ensure that the resulting cut‐score is defensible and based on informed, rather than capricious, judgements on the part of the expert panel. The difference between a normreferenced standard and a criterion‐referenced standard will first be reviewed prior to an overview of common methods for determining a cut‐score on an examination (see Box 24.2).  

Norm → 참조 대 기준 → 참조
Norm‐ referenced Versus Criterion‐referenced Standards

아주 넓게 본다면, 표준은 성격상 [규범-참조] 또는 [준거-참조]로 분류될 수 있다[26].
At a very high level, standards can be classified as either norm‐referenced or criterion‐referenced in nature [26]. 

[규범 참조 표준]은 비교 후보 그룹의 성과에서 절단 점수가 도출된다는 점에서 [상대적인 표준]이다. 절단 점수를 클래스 평균보다 높은 표준 편차로 설정하거나 절단 점수를 분포의 90번째 백분위수 순위에서 고정하는 등, 표준 참조 표준의 예는 많습니다. 기본적인 개념은 컷아웃 점수가 비교 집단의 상대적 성과의 함수로만 설정된다는 것이다. 우리는 순전히 다른 응시자들이 얼마나 잘(또는 못) 시험을 잘 보느냐에 따라 응시자를 합격시키거나 불합격시킵니다.
A norm‐referenced standard is a relativestandard in that the cut‐score is derived from the performances of a comparative group of candidates. There are many examples of norm‐referenced standards, such as setting the cut‐score at one standard deviation above the mean of the class or fixing the cut‐score at the 90th percentile rank of a distribution. The fundamental notion is that the cut‐score is set solely as a function of the relative performances of a comparative group. We pass or fail a candidate on an examination purely based on how well (or badly) other test takers performed.

반면에, [준거 참조 프레임워크] 내에서, 표준은 일반적으로 그룹 성과에 관계없이 후보자가 입증해야 하는 영역의 지식의 함수로 설정된다. 따라서 이것은 절대적인 기준입니다. 예를 들어, 의료 전문가 패널은 전문적 판단과 검사의 목적에 따라 지원자가 최소의 역량을 갖춘 것으로 간주되려면 해당 영역의 70%를 마스터해야 한다고 결정할 수 있다.
On the other hand, within a criterion‐referenced framework, the standard is typically set as a function of the amount of knowledge of the domain that the candidate needs to demonstrate, irrespective of group performance. As such, it is an absolute standard. For example, a panel of medical experts might determine that a candidate needs to master 70% of the domain to be deemed minimally competent, based on their professional judgement and the objectives of an examination.

전문적 검사의 경우, 일반적으로 여러 가지 이유로 [준거 참조 표준criterion‐referenced standards]이 선호된다.

• 첫째, 규범 참조 표준은 그룹의 상대적 성과에 전적으로 기초하기 때문에 주어진 후보가 알고 있거나 모르는 것에 대해 거의 또는 전혀 언급하지 않는다.
• 둘째, 더 중요한 것은, 규범 참조 표쥰에서의 컷(cut) 점수는 [그룹의 능력 수준]에 따라 다양하다는 것이다.

For professional examinations, criterion‐referenced standards are generally preferred for a number of reasons.

• First, a norm‐referenced standard tells little to nothing about what a given candidate knows or does not know, since it is entirely based on the relative performance of the group.
• Second, and more importantly, the cut‐score selected in a norm‐referenced standard setting exercise will vary as a function of the ability level of the group.

응시자의 수준이 낮으면 낮은 cut-score를 낳을 것이며, 더 능력이 뛰어난 응시자들의 cut score는 더 높아질 것이다. 이는 결국 능력 수준에 따라 다양한 후보군을 배출합니다. 예를 들어, 평균보다 1-표준 편차(1SD)로 컷(cut) 점수를 설정하면 [응시자(집단)의 지식수준에 관계없이 코호트의 약 16%가 실패]합니다. 그러나, 이 그룹들은 도메인에 대한 지식에 있어 큰 차이가 있을 수 있습니다. 만약 그 수업이 능력 있는 학생 대 능력 없는 학생으로 구성되어 있다면 분포의 '평균에 가까운' 점수는 상당히 다른 의미를 가질 수 있다. 즉, [합격 수행능력(즉, '최소한의 역량')]의 의미는 후보자가 언제, 누구와 합격했는지에 따라서 달라질 수 있다.

Lower cut‐scores will result from the performances of less proficient candidates, whereas higher cut‐scores will be set with more able cohorts. This, in turn, produces cohorts of candidates who vary in regard to their level of competence. For example, setting a cut‐score at one standard deviation below the mean will result in failing about 16% of any cohort, irrespective of what candidates may or may not know. However, it is conceivable that these groups could differ drastically in their knowledge of the domains. Scoring ‘near the average’ of a distribution can have quite a different meaning if the class is composed of high ability candidates versus less able students. That is, the meaning of a passing performance (and consequently ‘minimal competence’) can vary as a function of when and with whom the candidate passed.

따라서, 통과 기준을 설정하는 norm‐referenced 접근법은 정치적 및 직업적 관점 모두에서 방어할 수 없다untenable. 표준 참고 표준을 사용할 수 있는 유일한 상황은 [소수의 지원자를 선발해야 할 때]입니다(예: 제한된 수의 대학원 연수 시간).
Consequently, a norm‐referenced approach to setting a passing standard is untenable from both political and professional perspectives. The only instance in which it may be acceptable to use a norm‐referenced standard is when the selection of a small number of candidates is necessary (e.g. for a restricted number of postgraduate training slots).


기준을 설정하는 Criterion‐referenced 방법은 이러한 많은 한계를 극복하기 때문에 매력적이다. Criterion‐referenced 방법을 사용하여 설정한 컷(cut) 점수는 특정 직업의 광범위한 분야를 대표하는 전문가들이 안전 실천에 필요한 기술과 지식을 보유한 후보자를 나타내는 숙련도 수준을 반영한다. 이러한 이유로, 의료 면허 분야뿐만 아니라 다른 보건 전문가 검사 프로그램에서도 몇 년 동안 Criterion‐referenced 설정 방법이 성공적으로 채택되고 옹호되어 왔다[1, 2, 27–29]. 다음 두 절에서는 가장 일반적으로 사용되는 기준 기준 설정 방법을 간략하게 설명합니다(박스 24.3 참조).

Criterion‐referenced methods for setting a standard are appealing because they overcome many of these limitations. A cut‐score that is set using a criterion‐referenced method reflects a level of proficiency that experts representing wide sectors of a given profession agree is indicative of a candidate who possesses the skills and knowledge required for safe practice. For this reason, criterion‐referenced methods for setting cut‐scores have been successfully employed and defended for several years in the medical licensing arena as well as with other health profession examination programmes [1, 2, 27–29]. The following two sections briefly describe the criterion‐referenced standard setting methods in most common use (see Box 24.3).

테스트 중심 방법
Test‐ centred Methods

[준거-참조 테스트-중심 방법Criterion‐referenced test‐centred methods]은 객관식 검사와 같은 지식 평가에 대한 합격 점수를 설정하는 데 호소하고 있다. 이러한 표준 설정 형식에서, 전문가들은 시험 또는 과제의 각 항목에 요구되는 성능 수준을 판단하도록 요청받는다(예: 최소한의 숙련도). 자주 사용되는 일반적인 테스트 중심 방법에는 Angoff, Ebel, Nedelsky 및 Bookmark 절차[30]가 포함됩니다(상자 24.4 참조).

Criterion‐referenced test‐centred methods are appealing for setting a pass mark on knowledge assessments, such as multiple‐choice examinations. In this form of standard setting, experts are asked to judge the level of performance required on each item of the test or task to meet the standard (e.g. minimal proficiency). Common and frequently used test‐centred methods include the Angoff, Ebel, Nedelsky, and Bookmark procedures [30] (see Box 24.4).

앙고프 방법
Angoff Method

Angoff 절차에서 패널리스트는 항목별로 각 항목에 정확하게 답변할 수 있는 [최소 숙련도 후보자의 비율]을 추정해야 한다[31]. 사실상 이것은 전문가의 판단에 근거하여 테스트의 각 구성 요소 부분의 [난이도를 평가]하는 것이다. 그런 다음 이러한 비율은 각 전문가 심판에게 합산됩니다. 일반적으로 심판의 항목 비율의 평균 또는 중위합은 검사에서 컷-점수로 처리됩니다. 상자 24.5는 세 개의 패널 목록을 사용한 5가지 항목 검사에 기초한 Anoff 절차에 대한 간단한 그림을 제공합니다. 이 예제에서 패널 목록 절단 점수는 1.35(또는 1/5)에서 2.65(또는 3/5) 사이였습니다. 따라서 전체 컷 점수가 1.97/5(또는 2/5)와 같으므로 최종 컷 점수를 선택할 수 있습니다.
In the Angoff procedure, panellists are asked to estimate, on an item‐by‐item level, the proportion of minimally proficient candidates that would answer each item correctly [31]. Effectively this constitutes an assessment of the degree of difficulty of each component part of the test based on expert judgement. These proportions are then summed for each expert judge. Typically, the mean or median sum of item proportions across judges is treated as the cut‐score on the examination. Box 24.5 provides a simple illustration of the Angoff procedure based on a five‐item examination with three panellists. In this example, panellist cut‐scores ranged from 1.35 (or 1/5) to 2.65 (or 3/5). An overall cutscore equal to 1.97/5 (or 2/5) could therefore be selected as the final cut‐score.

 


[수정된 Angoff 방법] 또한 표준의 결정을 위해 제안되었습니다 [9, 32–35]. 한 가지 수정방식으로는 패널리스트에게 일반적인 논의 후에 판단을 수정할 수 있도록 하는 것이다 [36]. 다른 수정방식으로는 패널리스트에게 [최종 라운드]에서  '현실 성과 점검reality performance check'을 제공함으로써, 최초 판단을 측정하고guage, 원하는 경우 수정할 수 있도록, 최초 등급 라운드 후에 규범적normative 데이터(예: 문항 난이도 및 변별도)를 제공하는 것이다[37]. 
Modified Angoff methods have also been proposed for determining a standard [9, 32–35]. One adaptation of the Angoff method allows panellists to modify their judgements following a general discussion [36]. Other revisions entail providing normative data (e.g. item difficulty and discrimination indices) following the initial round of ratings in order to provide panellists with a ‘reality performance check’ against which to gauge their initial judgements and modify them, if so desired, in a final round [37].

장점 및 제한 사항
Advantages and Limitations

Angoff 방법군의 주요 장점 중 하나는 MCQ 및 성능 기반 평가를 포함하여 다수의 검사와 함께 광범위하게 사용됐다는 것이다 [34]. 따라서, 그러한 연습을 수행하고자 하는 모든 연구자는 풍부한 증거와 정보를 이용할 수 있다. 또한 앙고프 방식은 패널리스트가 테스트 항목을 검토하고 재료 및 후보자에 대한 전문 지식을 바탕으로 판단을 내려야 한다는 점에서 어느 정도 직관적이라는 매력을 가지고 있다. 마지막으로 Angoff 방법은 '예/아니오' 방법을 통해 능률화할 수 있으며 [38] 방법은 작업을 더욱 단순화할 수 있습니다.
One main advantage of the Angoff family of methods is that they have been used extensively with a host of examinations, including both MCQ and performance‐based assessments [34]. As such, a wealth of evidence and information is available to any researcher interested in carrying out such an exercise. Also, the Angoff method holds a certain amount of intuitive appeal in that panellists are required to review test items and offer judgements based on their expert knowledge of the material and candidates. Finally, the Angoff method is amenable to streamlining such as through the ‘Yes/No’ method [38], which can simplify the task even more.


한편, Angoff 방법은 패널리스트가 완료해야 하는 두 가지 주요 과제의 본질적인 특성, 즉, [무엇이 최소한의 숙련도를 구성하는지]를 명확히 하고, 각 테스트 항목에 정답을 맞출 수 있는 [최소 숙련도 응시자의 비율을 일관되게 추정]하는 것 때문에 많은 비판을 받았다[35].

• Shepard [39]는 패널리스트에게 제시된 과제가 너무 인지적으로 어려우며 아마도 대부분의 참가자가 감당할 수 없을 것이라고 주장했다. 그러나 다른 이들은 이러한 주장을 반박하고 이러한 어려움을 패널리스트의 불충분한 교육이나 판단을 유도할 성능 데이터의 부재 때문이라고 지적했습니다 [40].
• Plake 외 연구진[41]에 의해 수행된 조사에서도 문항 성능 추정치item performance estimate는 패널 내부와 패널 간뿐만 아니라, 당해 및 수년 간에 걸쳐 고부담의 인증 검사를 위한 것으로 나타났다. 이러한 발견은 표준 설정 연습에 적합한 심판 패널 선택의 중요성을 다시 한 번 강조하고, 더 중요한 것은 당면 과제의 성격에 대한 오해를 없애기 위해 모든 전문가에게 광범위한 교육을 제공한다는 것이다.

On the downside, the Angoff methods have come under heavy criticism due to the inherent nature of the two main tasks that panellists are required to complete, namely to articulate what constitutes minimal proficiency and then consistently estimate proportions of minimally proficient candidates who would correctly answer each test item [35].

• Shepard [39] argued that the task presented to panellists was too cognitively challenging and probably beyond the capability of most participants. Others, however, have refuted this claim and ascribed these difficulties to insufficient training of panellists or the absence of performance data to guide judgements [40].
• Research conducted by Plake et al. [41] also showed that item performance estimates were consistent within and across panels, as well as within and across years for a high‐stakes certification examination. These findings once more underscore the importance of selecting appropriate panels of judges for standard setting exercises and, more importantly, offering extensive training to all experts to eliminate any misconceptions regarding the nature of the task at hand.

이러한 한계에도 불구하고, Angoff 방법군은 검사에 대한 컷☆스코어를 설정하기 위한 가장 보편적이고, 오래 지속되며, 잘 연구된 일련의 절차들 중 하나입니다 [30].

Despite these limitations, the Angoff family of methods continues to be one of the most prevalent, longstanding, and well researched set of procedures for setting a cut‐score on an examination [30].

에벨 방법
Ebel Method

에벨이 개괄적으로 설명한 절차는 패널리스트에게 각 항목에 대한 난이도 추정치뿐만 아니라, 검토의 기초가 될 것으로 추정되는 영역을 고려하여 내용 관련성까지 제공하도록 요청함으로써 Angoff의 방법을 확장한다[42]. 컷(cut) 점수는 [난이도]와 [관련성 판단]의 [곱셈값cross-products]을 추가하여 계산한다. 

The procedure outlined by Ebel extends Angoff’s method by asking panellists not only to provide difficulty estimates for each item but also content relevance, given the domains that are presumed to underlie the examination [42]. The cut‐score is computed by adding the cross‐products of the difficulty and relevance judgements.

상자 24.6은 2차원 Ebel 그리드의 간단한 예를 제공합니다. 이 예에서 심사위원들은 50개 항목 중 5개가 내용에 필수적이며 난이도가 '쉬운' 수준이라고 느꼈다. 비슷한 맥락에서 패널리스트에게도 최소한으로 숙달된 후보자가 올바르게 답할 수 있는 각 내용 관련성/난이도 셀 항목의 비율을 추정하도록 요청받았다. 그 결과로 나온 절단 점수는 관련성/난이도 셀 교차성 제품의 합계입니다. 이 예에서 응시자는 시험에 합격하려면 25/50 항목(50%)을 올바르게 답해야 합니다.

Box 24.6 provides a simple example of a two‐dimensional Ebel grid. In this example, judges felt that 5 of 50 items were essential to the content and ‘easy’ level of difficulty. In a similar vein, panellists were asked to estimate the proportion of items, in each content relevance/difficulty cell, that the minimally proficient candidate would correctly answer. The resulting cut‐score is the sum of the relevance/ difficulty cell cross‐products. In this example, candidates would need to correctly answer 25/50 items (50%) to pass the examination.

장점 및 제한 사항
Advantages and Limitations

아이러니하게도, 기준 제정을 위한 Ebel 방법의 장점 중 하나인 [난이도] 외에 [항목 관련성]이 패널리스트의 판단에 반영될 수 있다는 것이 Ebel 방법의 약점이기도 하다. 예를 들어, Berk[43]는 패널리스트가 연습 중에 내용(난이도)과 목적적합성 판단을 [분리할 수 있는지]에 의문을 제기한다. 이 두 차원이 많은 경우 상당히 높은 상관관계를 갖는다고 주장한다. 시험 개발의 관점에서, 시험에는 애초에 [관련성이 낮은 항목]을 포함시키는 것이 더 나은 것이 아닌가라는 의문을 제기할 수 있다. 대부분의 맥락에서, 총점은 (상호 관계가 있는) 여러 도메인에서 후보자들의 역량을 전반적으로 반영하는 것으로 해석됩니다. 따라서 (Ebel 방법에서) [관련성이 낮다고 여겨지는 항목]은 전체적인 역량(예: 합격/불합격)이나 순위에 대한 추론에 거의 기여하지 않는다.

Ironically, one advantage of the Ebel method for setting a standard, namely that item relevance, in addition to difficulty, can be factored into panellists’ judgements, is also its chief weakness. Berk [43], for example, questions the ease with which panellists can separate content (difficulty) and relevance judgements during an exercise, largely based on the argument that these two dimensions are often correlated quite highly. From a test development standpoint, one could also question the merits of including test items that are not relevant in an examination. In most contexts, the total score is interpreted as an overall reflection of candidates’ competencies on a composite of (interrelated) domains. Consequently, items that are deemed irrelevant contribute little to nothing in informing inferences about overall competency (e.g. pass/fail) or standing.

네델스키 방법
Nedelsky Method

네델스키[44]는 [(응시자가) MCQ에 답할 때, 최소한 숙련도 있는 후보들이 먼저 재료에 대한 지식을 바탕으로 부정확하다고 식별한 옵션을 제거한 다음 나머지 선택 항목 중에서 무작위로 추측한다는 전제] 하에 이뤄지는 표준 설정 방법이다. 실제 컷(cut) 점수는 나머지 대안 수의 역수 항목 전체의 합에 해당합니다. 예를 들면, 패널리스트 그룹은 5가지 항목, [5개 문항 MCQ 시험]에서 [최소한 숙달된 후보자]가 각 항목에 걸쳐 2, 1, 3, 4개의 옵션을 각각 제거할 것으로 추정한다. 따라서 네델스키 절단 점수는 1/3 + 1/4 + 1/2 + 1/2 + 1/1 = 2.58/5 또는 3/5 60%에 해당합니다.

Nedelsky [44] outlined a standard setting method based on the premise that when answering MCQs, minimally proficient candidates first eliminate options that they identify as incorrect based on their knowledge of the material, and then randomly guess amongst remaining choices. The actual cut‐score corresponds to the sum across items of the reciprocal of the remaining number of alternatives. To illustrate; assume that a group of panellists estimates that the following number of options would be eliminated, respectively, by the minimally proficient candidate on a five‐item, five‐option MCQ examination: 2, 1, 3, 3, 4, across each of the items. The Nedelsky cut‐score would therefore correspond to: 1/3 + 1/ 4 + 1/2 + 1/2 + 1/1 = 2.58/5 or 3/5 60%

장점 및 제한 사항
Advantages and Limitations

네델스키 방법의 주요 장점은 패널리스트가 판단을 내릴 때 [보기distractors 요소의 품질], 즉 MCQ에 대답할 때 최소한의 숙달된 후보자가 가질 수 있는 부분적 지식을 고려할 수 있다는 것이다. 그러나 이 절차의 여러 단점들로 인해 어려움을 겪는다는 것이 잘 문서화되어있다. 첫째, 패널리스트에 부과된 과제는 Angoff 또는 Ebel 연습에서 예상되는 것보다 훨씬 더 부담스럽다. 패널리스트는 최소한의 숙련도 있는 응시자의 정확한 응답 확률을 추정해야 할 뿐만 아니라, 후자의 시험 응시자가 distractor가 부족하거나 부분적인 지식으로 인해 제거할 수 있다고 믿는 옵션에 비추어 그렇게 해야 합니다.

The main advantage of the Nedelsky method is that it allows panellists to factor in the quality of the distractors when making their judgements, that is, any partial knowledge that the minimally proficient candidate may possess when answering an MCQ. However, the procedure also suffers from a number of well‐documented shortcomings. First, the task imposed on panellists is much more onerous that what is expected in either an Angoff or Ebel exercise. Panellists must not only estimate the probability of a correct response on the part of the minimally proficient candidate, but they must do so in light of options they believe the latter test taker can eliminate either due to poor distractors or partial knowledge. 

또한 절차의 특성으로 인해 패널리스트가 제공할 수 있는 확률 값이 사실상 제한된다. 예를 들어, MCQ 옵션이 5개인 경우 판사가 제공할 수 있는 타당한 추정치는 0.20, 0.25, 0.33, 0.50 및 1.00 [43]뿐입니다. 즉, 최소 숙련도 응시자는 신뢰할 수 없는 경우 0, 1, 2, 3 또는 4 옵션을 제거할 수 있습니다.

Additionally, probability values that are provided by panellists are de facto restricted due to the nature of the procedure. For example, with a five‐option MCQ, the only plausible estimates that judges can provide are: 0.20, 0.25, 0.33, 0.50, and 1.00 [43]. That is, the minimally proficient candidate can eliminate either 0, 1, 2, 3, or 4 options as non‐plausible. 

마지막으로, 가장 중요한 것은 네델스키 방법에서 [최소한의 숙련도 응시자의 시험 응시 행동이 동일하다고 가정한다]는 것이다. 즉, 그러한 대안에서 타당성이 없는 것으로 제거되지 않은 것과 동일한 방식으로 추측한다는 것이다. 위험 행동, 차등 부분 지식 및 기타 요소를 고려할 때 이러한 가정에 대한 의문이 심각하게 제기되었다[45, 46]. 이러한 한계를 다루기 위해 절차의 수정이 제안되었지만[47], 네델스키 방법은 그 내재적 복잡성과 더 많이 사용되는 방법에 비해 실질적인 효익이 거의 없기 때문에 지난 수십 년간 인기가 떨어졌다.

Finally, and most importantly, the Nedelsky method assumes that the test‐taking behaviour of minimally proficient candidates is identical, i.e. they guess in the same fashion from those alternatives not eliminated as implausible. This assumption has been seriously called into question given risk behaviours, differential partial knowledge, and other factors [45, 46]. Though modifications of the procedure have been proposed to address these limitations [47], the Nedelsky method has waned in popularity over the past few decades due to its inherent complexity and few practical benefits over more popular methods.

책갈피 방법
Bookmark Method

또한 책갈피 방법은 [본질적 단순성]으로 인해 절단 점수를 설정하는 데 상당히 정기적으로 사용됩니다[48]. 이 접근방식으로 [시험 문항이 가장 쉬운 것부터 어려워지는 순서로 패널리스트에 제시]됩니다(책자 한 페이지당 한 항목). 이 방법의 원래 의도는 항목 대응 이론(IRT) 기반 난이도 추정의 함수로 항목의 순서를 정하는 것이었지만, 방법을 조정하고 간단한 p-값(정확한 응답의 비율)으로 MCQ를 정렬하는 것도 가능하다. 각 패널 목록은 최소한 숙달된 후보자가 나머지 항목에 올바르게 답변하지 못할 것으로 예상되는 지점에 책갈피(정지 규칙stopping rule)를 배치해야 합니다. 
The Bookmark method is also used quite regularly to set a cut‐score due to its intrinsic simplicity [48]. With this approach, test items are presented to panellists by order of difficulty from least to most difficult (one item per page in a booklet). Though the original intent of the method was to sequence the items as a function of item response theory (IRT)‐based difficulty estimates, it is also possible to adapt the method and order the MCQs by simple p‐values (proportion of correct responses). Each panellist is required to place a bookmark (a stopping rule) beyond which a minimally proficient candidate would not be expected to correctly answer remaining items. Note that the

책갈피 방법은 여러 단계로 구분해야 하는 경우(예: 초급, 중급, 고급 수준의 결정)에 자주 사용된다. 가장 간단한 애플리케이션에서 최종 절단 점수는 여러 패널 목록에서 책갈피 항목 중 [중위수]에 해당합니다. 원래의 책갈피 절차에서도 이 절단 점수를 기본 IRT 가능성 측정 기준[48]으로 변환했다는 점을 지적하는 것이 중요합니다. 성능 벤치마크를 추가하는 방법의 확장도 제안되었습니다 [49, 50]. 이러한 개정에 대한 자세한 내용을 얻고자 하는 독자는 이 참고 자료를 참조할 것을 권장합니다.

Bookmark method is also frequently employed for multiple judgements (e.g. determining levels of basic, proficient, and advanced). The final cut‐score, in its simplest application, would correspond to the median number of items at the bookmark across panellists. It is important to point out that the original Bookmark procedure also translated this cut‐score to the underlying IRT ability metric [48]. Extensions of the method that entail adding the use of performance benchmarks have also been proposed [49, 50]. Readers wishing to obtain more details on these revisions are encouraged to consult these references.

장점 및 제한 사항
Advantages and Limitations

Bookmark 방법의 주요 장점은 [단순성]과 패널 목록에 부과되는 비교적 [낮은 인지 부하]입니다. 적어도 다른 테스트 중심 방법과 비교됩니다. 시험 항목은 난이도(참가자에게 알려지지 않음)에 따라 정렬되며, 패널리스트는 둘 이상의 숙련도 범주를 설명하기 위해 하나 또는 여러 개의 북마크를 배치해야 합니다. 책갈피 방법의 또 다른 매력적인 특징은 혼합 형식mixed-format 평가뿐만 아니라 객관식 및 수행능력 검사에 쉽게 적용할 수 있다는 점이다. 마지막으로, IRT 숙련도 메트릭스에 대한 전통적인 연계는 대부분의 대규모 테스트 프로그램이 시험 구축, 채점, 규모 조정 및 등식을 포함한 다수의 활동에 [IRT 기반 방법을 구현]한다는 점에서 큰 매력을 가지고 있다. 따라서 북마크 표준 설정 방법은 unified IRT 프레임워크에 쉽게 통합될 수 있습니다.
The main advantage of the Bookmark method is its simplicity and the relatively light cognitive load that is imposed on panellists, at least in comparison to other testcentred methods. Test items are ordered according to difficulty (again, unbeknownst to participants) and panellists are required to place one or several bookmarks to delineate two or more proficiency categories. Another attractive feature of the Bookmark method is that it can be readily applied to multiple‐choice and performance examinations as well as mixed‐format assessments. Finally, its traditional link to an IRT proficiency metric also holds great appeal given that the majority of large‐scale testing programmes implement IRT‐based methods for a host of activities, including test construction, scoring, scaling, and equating. As such, the Bookmark standard setting method can easily be integrated into a unified IRT framework.


이러한 장점에도 불구하고 책갈피 표준 설정 방법에는 실무자가 알아야 할 여러 가지 제한이 있습니다.

• 첫째, 책갈피 표준 설정 연습의 컷(cut) 점수는 시험 양식의 난이도와 불가분의 관계에 있다. 예를 들면, 응시자의 숙련도 대비 매우 '쉬운' 시험을 떠올려 볼 수 있다. 이는 최초 응시자의 90% 이상이 전형적으로 합격하는 의료 면허 및 인증 시험의 경우에 해당됩니다 [27]. 이 'mis-targeting'으로 인해 패널 목록이 적절한 책갈피를 설정하지 못할 수 있습니다. 경우에 따라서는 응시자군의 능력이 높을 때에는 책자의 마지막(=가장 어려운) 문항조차도 너무 쉬워서 숙련자와 비숙련 구분할 수 없다고 보는 것이 타당하다. 다른 사람들이 [30]을 언급했듯이, 이 문제는 다른 테스트 중심 방법과도 함께 발생할 수 있습니다. 책갈피 접근법은 품목의 난이도 때문에 이러한 문제를 명백하게 만듭니다.
• 또 다른 실질적인 한계는 일부 문항의 퍼포먼스가 낮아서 삭제할 경우 소책자(즉, 페이지당 하나의 항목이 있는 경우 테스트 항목)를 재주문해야 한다는 것이다.
• 마지막으로 문항이 테스트 양식 전체에 걸쳐 난이도가 낮음에서 높음으로 일정하게 배치되지 않을 수 있으며, 실제로도 문항의 난이도가 그렇지 않을 수도 있다는 것입니다. 따라서 패널리스트가 마스터와 비 마스터를 가장 잘 구별하는 척도를 따라 실제 포인트를 식별하기가 어려울 수 있다. 즉, 문항 난이도에 gap이 있을 경우 책갈피를 식별할 수 없을 수 있다. 

Despite these advantages, the Bookmark standard setting method does possess a number of limitations that the practitioner should be aware of.

• First and foremost, the cut‐score in a Bookmark standard setting exercise is inextricably linked to the difficulty of the test form. To illustrate, consider a test that is very ‘easy’ in relation to the proficiency level of candidates. This is often the case with medical licensing and certification examinations where over 90% of first‐time test takers typically pass [27]. This ‘mis‐targeting’ can make it impossible for panellists to set an appropriate bookmark. In certain instances, it is plausible that even the last item in a booklet is too easy to distinguish between masters and non‐masters when the candidate sample is highly able. As others have mentioned [30], this problem could also crop up with other test‐centred methods. The Bookmark approach, by virtue of item difficulty ordering, makes any such problems glaringly obvious.
• Another practical limitation of this standard setting method is that booklets (i.e. test items if there is one item per page) need to be re‐ordered if some items are deleted due to poor performance.
• A final limitation is that items may not, and in fact are probably not, evenly spaced in terms of differences in difficulty from low to high throughout a test form. Thus, it might be difficult for panellists to identify an actual point along the scale that best discriminates between masters and non‐masters, i.e. the bookmark might not be identifiable given gaps in item difficulty.

이러한 제약이 책갈피 방법을 무효화하지는 않지만 실무자는 이러한 잠재적 이슈를 인식하고 실제 기준 설정 연습 전에 그에 따라 계획을 수립해야 한다.
While these limitations do not invalidate the Bookmark method, practitioners should be aware of these potential issues and plan accordingly prior to the actual standard setting exercise.

수험생 중심 방법
Examinee‐ centred Methods

반면에 [준거(Criteria)-참조, 응시자-중심 방법examinee‐centred methods]에는 자격을 갖춘 전문가 패널 그룹의 글로벌 성과 판단에 근거한 표준 설정이 포함된다. 의학교육에서 성과 평가의 통합된 다차원적 특성을 고려할 때, 후자의 방법은 OSCE에 대한 컷(cut) 점수를 설정하는 데 특히 적합하다[51]. 두 가지 일반적인 검사자 중심 표준 설정 방법은 대조군 방법과 경계선 그룹 방법이다[52, 53]. (박스 24.7 참조).
Criterion‐referenced examinee‐centred methods, on the other hand, involve setting a standard based on global judgements of performance by a group of qualified expert panellists. Given the integrated, multi‐dimensional nature of performance assessments in medical education, the latter methods are particularly well suited for setting a cut‐score on OSCEs, for example [51]. Two popular examinee‐centred standard setting methods are the contrasting groups method and the borderline group method [52, 53]. (see Box 24.7).

대조 그룹 방법
Contrasting Groups Method

대조 그룹 방법에서 패널리스트는 각 후보자에게 수행능력 프로파일(예: OSCE 스테이션의 검사 목록 및 등급 척도)을 검토하고 테스트 응시자가 시험에 합격할 자격이 있는지 여부를 판단하도록 요청받습니다. 그런 다음 두 후보 그룹(무자격 및 자격)에 대한 OSCE 측점 점수가 그래프에 표시됩니다. 일반적으로 두 그룹의 테스트 응시자를 가장 잘 구별하는 점수는 컷★점수로 선택됩니다[52–54]. 

In the contrasting groups method, panellists are asked, for each candidate, to review a performance profile (e.g. checklists and rating scales on an OSCE station) and determine whether the test taker is qualified or unqualified to pass the examination. OSCE station scores for both groups of candidates (unqualified and qualified) are then plotted on a graph. The score that best discriminates between both groups of test takers is typically selected as the cut‐score [52–54].

예시를 위한 대조 그룹 그림은 그림 24.1에 나와 있습니다. 이 예에서, 위양성과 위음성 결정이 동등하게 중요할 경우, 교차 구역의 중간점을 절단 점수 값으로 선택할 수 있다. 단, 검사의 목적이 부정행위로부터 환자를 보호하는 것이라면 교차구역 상부의 값을 선택할 것이다(위양성 결정 최소화, 즉 합격을 위해 필요한 임상 기술을 보유하지 않은 합격자의 수 최소화).

A sample contrasting‐groups plot is shown in Figure 24.1. In this example, the mid‐point of the intersection zone could be selected as the cut‐score value if false-positive and false‐negative decisions were of equal importance. However, if the intent of the exam is to protect patients from malfeasance, a value in the upper part of the intersection zone would be chosen (minimising false‐positive decisions, i.e. minimising the number of passing candidates who do not possess the clinical skills necessary to pass).

경계선 그룹 방법
Borderline Group Method

경계선 그룹 방법에서 패널리스트는 각 후보자에 대한 성능 프로파일을 검토하고 [허용가능한 수행능력]과 [허용불가능한 수행능력]을 식별하라는 요청도 받습니다. 또한 패널리스트는 허용 가능한 성과 수준에 불과하다고 판단되는 후보자를 지정해야 합니다. 그런 다음 합격자의 점수가 그래프에 표시됩니다. 일반적으로 [중위수median 점수 값]이 검사의 cut score로 선택됩니다[1, 53]. 이 접근법의 한 가지 한계는 borderline acceptable group의 크기가 상당히 작기 때문에 [매우 불안정한 절단 점수(예: 중위수) 값]을 낳을 수도 있다는 것이다.

In the borderline group method, panellists are also asked to review a performance profile for each candidate and identify unacceptable as well as acceptable performances. Additionally, panellists must designate those candidates that are deemed to lie just at a borderline acceptable performance level. The scores of these borderline acceptable examinees are then plotted on a graph. Typically, the median score value is chosen as the cut‐score on the examination [1, 53]. One limitation that has been raised with this approach is that the size of the borderline acceptable group might be quite small, thus contributing to a very unstable cut‐score (e.g. median) value.

이러한 단점을 해결하기 위한 수단으로 [경계 회귀법borderline regression method]이 대안적인 관련 표준 설정 방법으로 제안되었다. 이 절차에서는 선형 회귀 모델링을 사용하여 점수 척도의 절단 점수를 등급 범주(예: 허용되지 않음, 허용 가능, 허용 가능)의 함수로 예측합니다. 즉, 특정 OSCE 스테이션의 합격 점수는 후보 점수(예: 체크리스트 점수)를 글로벌 등급으로 회귀시켜 획득합니다. 기존의 경계선 그룹 방법과는 달리, (borderline acceptable candidate의 점수 뿐만 아니라) [모든 데이터 포인트]가 컷 점수를 결정하는 데 사용됩니다 [55].

As a means of addressing this shortcoming, the borderline regression method was proposed as an alternative, related standard setting method. As it implies, this procedure uses linear regression modelling to predict the cut‐score on the score scale as a function of the rating categories (e.g. unacceptable, borderline acceptable, acceptable). That is, the pass mark for a given OSCE station is obtained by regressing candidate scores (e.g. checklist scores) onto the global ratings. Unlike the more traditional borderline group method, all data points are used in determining the cutscore, not only those associated with borderline acceptable candidates [55].

장점 및 제한 사항
Advantages and Limitations

대조집단 및 경계집단 방법은 패널리스트에게 [응시자의 전반적인 성과를 두 가지(또는 그 이상) 범주로 분류]하는 방식으로 전반적 판단holistic judgement하도록 요구한다]는 점에서 매우 유사하다. 실제로 경계집단법을 전문가들이 성과에 대한 허용여부를 판단할 필요가 있을 뿐만 아니라 '가장자리(on the cusp)' 즉, 허용가능한 경계에 대한 접근방식의 일반화로 생각할 수 있다. 두 방법 간의 유사성이 높다는 점을 감안할 때, 이 방법들이 동일한 장점과 한계를 가지고 있다는 것은 별로 놀랄 일이 아니다.

The contrasting groups and borderline group methods are very similar in that they require panellists to make holistic judgements on the overall performance of candidates by classifying them into two (or more) categories. In fact, one could conceive of the borderline group method as a generalisation of the contrasting groups approach where experts not only need to determine whether a performance is acceptable or unacceptable, but also ‘on the cusp’, i.e. borderline acceptable. Given the high degree of similarity between the methods, it should come as little surprise that they carry the same advantages and limitations.

한편, 두 가지 방법 모두 패널리스트가 보다 '직관적'인 작업을 완료하도록 요구하기 때문에, [OSCE 및 작업장 기반 평가와 같은 수행능력 평가]에서 종종 선호됩니다. 즉, 후보자를 unacceptable, acceptable 또는 borderline acceptable로 분류합니다. 또한 분류 판단을 내리는 차원들dimensions이 종종 높은 관련성을 갖는다는 점을 고려할 때, 이러한 복잡한 평가에 매우 적합하다. 따라서 이러한 방법은 [후보자에 대한 분류 결정을 내릴 때] [패널리스트가 모든 고려사항을 통합할 수 있는 관용성]을 제공한다. 

On the plus side, both methods are often preferred for performance assessment such as OSCEs and workplacebased assessments as they require panellists to complete a task that is more ‘intuitive’, i.e. classify candidates as either unacceptable, acceptable, or borderline acceptable. They are also well suited to these complex assessments given that dimensions on which to make classification judgements are often highly related. As such, these methods provide panellists with the latitude to incorporate all of their considerations when arriving at a classification decision with a candidate.

(두 가지 접근법 모두) 패널리스트에게 높은 수준의 유연성을 제공한다는 점이 주된 한계가 된다. 두 방법 모두 패널리스트 판단을 [본질적으로 신뢰할 수 있고 타당한 것]으로 간주합니다. 즉, gold standard으로 간주합니다. 패널리스트가 이러한 판단을 내릴 수 있는 능력을 손상시킬 수 있는 요소는 예측하기 어려운 방식으로 최종 컷(cut)-점수 가치를 편향시킴으로써, [일부 후보군에 명백히 불공정한 표준]으로 이어질 수 있습니다. 따라서 주최자는 패널리스트에게 적절히 교육을 제공하여, 이러한 영향을 최소화하고, 궁극적으로 모든 이해관계자에게 방어 가능한 프로세스를 보장할 수 있도록 하는 것이 중요하다. 심사 대상자에게 매우 친숙할 수 있는 패널리스트가 판단을 제공할 때 [construct‐irrelevant factors] 에 의해 영향을 받는 시나리오를 쉽게 예상할 수 있다. 이러한 construct‐irrelevant factors 에는 성별, 민족성, 복장, 성격, 작업 습관 및 광범위하게 정의된 바와 같이 '능력'과 무관한 무수한 기타 외부 특성이 포함될 수 있다.

The greater level of flexibility that is afforded by both approaches also potentially constitutes their chief limitation. Both methods treat panellist judgements as intrinsically reliable and valid, i.e. as thegold standard. Any factor that can detract from the panellists’ ability to provide such judgements will bias the ultimate cut‐score value in a way that is difficult to predict and will lead to a standard that is most certainly unfair to subgroups of candidates. Consequently, the moderator plays a critical role in ensuring that the training offered to panellists can at least minimise this effect to ultimately assure a defensible process for all stakeholders. It is easy to envisage a scenario where panellists, who might very well be familiar with the candidates who they are evaluating, are affected by construct‐irrelevant factors when providing their judgements. Such construct‐irrelevant factors might include gender, ethnicity, dress, personality, work habits, and a myriad of other extraneous features that are unrelated to ‘competency’, as broadly defined by the examination.

대조 그룹과 경계선 그룹 방법 모두 [cut score 설정을 위해, 현장에서 충분히 많은 대표 전문가 그룹을 식별할 수 있으며, 이들이 지시에 따라 과제를 완료하도록 훈련할 수 있다]는 기본적인 전제에 의존한다. [부적절한 훈련]은 (borderline acceptable 에 불균형적으로 많은 수의 후보자를 할당하는 것과 같은) 다수의 바람직하지 않은 결과를 초래할 수 있다[56, 57]. 
Both the contrasting groups and borderline group methods also rest on the central premise that a sufficiently large group of representative professionals in the field can be identified for an exercise and also trained to complete the task at hand as instructed. Inadequate training can lead to a number of undesirable outcomes, including the propensity to assign disproportionally large number of candidates to the borderline acceptable group [56, 57]. 

이는 후자 그룹의 실적에서 점수가 나온다는 점에서 매력적으로 들릴 수 있지만, 거의 모든 응시자를 허용 가능한 경계선으로 분류하는 것은 시험, 교육 및 기타 요인에 대한 심각한 문제를 제기한다. 또한 확인하기 어려운 방식으로 다시 편향된 컷 스코어를 산출합니다.

While this may sound appealing, given that the cut‐score is derived from the performances of the latter group, classifying nearly all candidates as borderline acceptable seriously raises questions about the quality of the examination, instruction, and other factors, while yielding a cut‐score that is again biased in ways that are difficult to ascertain.


이 점과 관련하여, 경계선 그룹 방법은 후자 그룹이 충분히 큰 숫자로 구성되어야 합니다. 그렇지 않으면 그 결과로 얻어진 cut-score는, (가장 단순한 경우의 중위수 점수 또는 보다 복잡한 통계 모델링에 기초한 예측 값(예: 로지스틱 회귀 분석, 잠재 클래스 분석 등)이든), 불안정하고 '역량'을 부적절하게 반영할 것이다. 전통적인 대조집단 표준 연습에서 요구되는 과제의 이분법적 성격을 고려할 때, 패널리스트는 borderline acceptable performance라는 선택지가 없을 때, 허용가능과 허용불가능으로 나누기 어려울 수 있다. Plake와 Hambleton[56]은 의사결정 척도의 세밀한 축척을 허용하는 방법의 확장을 제안했다. 
Related to this point, the borderline group method does require that the latter group be composed of a sufficiently large number or the resulting cut‐score, whether the median score in the simplest case or a predicted value based on more complex statistical modelling (e.g. logistic regression, latent class analysis, etc.), will be unstable and inappropriately reflect ‘minimal competency’. Given the dichotomous nature of the task that is required in a traditional contrasting groups standard exercise, it might also be difficult for panellists to classify candidates as either unacceptable or unacceptable, with no option for a borderline acceptable performance. Plake and Hambleton [56], amongst others, proposed an extension of the method that does allow for a finer gradation of the decision scale.

마지막으로, 두 가지 방법 모두 의료 교육자가 응시자를 잘못 분류했을 때의 결과를 요약하는 정책을 명확히 수립하는 것이 중요합니다. [국민의 보호가 최우선 고려 대상]인 경우 위양성(불합격해야 할 응시생의 합격)과 위음성(합격해야 하는 응시생의 불합격) 결정을 동등하게 다루는 것은 바람직하지 않을 수 있다. 이 경우, 위양성 분류를 최소화하는 것이 더 큰 관심사이다. 반대로 부담이 낮은lower stake 설정에서는 거짓 음성 오류를 최소화하는 정책도 완전히 수용가능하다.
Finally, it is critical, for both methods, that the medical educator clearly set a policy that outlines the consequences of misclassifying a candidate. Treating both false‐positive (passing a candidate who should have failed) and false‐negative (failing a candidate who should have passed) decisions equally might be quite undesirable in instances where protection of the public is of prime consideration. Under the latter scenario, minimising false‐positive classifications is of greater concern. Conversely, in lower‐stakes settings, minimising false‐negative errors could be perfectly acceptable as a policy. 

패널리스트에 전달된 엄청난 책임을 감안할 때 대조 그룹 및 경계선 회귀 방법과 관련된 모든 잠재적 제한은 그러한 표준 설정 연습에서 사회자moderator가 수행해야 하는 역할이 중요함을 다시 강조한다. 실제로 사회자moderator가 경계선 그룹 또는 대조 그룹 표준 설정을 '좌지우지make or break' 할 수 있다고 해도 과언이 아니다.
All of the potential limitations associated with the contrasting groups and borderline regression methods, given the immense responsibility that is conveyed upon panellists, again underscore the critical role that the moderator needs to play in such standard setting exercises. Indeed, it is not an exaggeration to state that the moderator can ‘make or break’ a borderline group or contrasting groups standard setting exercise.

호프스티 방법
Hofstee Method

기준 설정을 위한 준거 참조 접근법을 사용할 때, [의사결정과 관련된 정치적 고려]를 전혀 하지 않는다면, 수용할 수 없는 결과를 초래할 수 있다. 즉, 표준 설정의 결과로 얻어진 컷(cut) 점수는 지나치게 크거나 작은 비율의 후보를 합격하시키거나 불합격시키지 말아야 한다. 예를 들어, 특정 의료 전문 검사가 지속적으로 15%의 응시자 중 불합격시켜왔다고 가정해 보십시오. 또한 이 모집단은 매년 매우 유사하고 능력 면에서 우수하다고 가정한다. Angoff 연습 후 설정한 컷(cut) 점수가 후보자의 50%를 낙제시키는 결과를 가져온다면, 그 표준은 비현실적이며 정책적 관점에서 매우 받아들일 수 없을 것이다.

The use of criterion‐referenced approaches for setting a standard can lead to unacceptable outcomes in the absence of political considerations associated with the decision. That is, the cut‐score arrived at following a standard setting exercise should not result in failing or passing an unacceptably large or small proportion of candidates. To illustrate, assume that a given medical specialty examination has consistently failed around 15% of candidates. Further assume that this population is very comparable, ability wise, from year to year. If the cut‐score set after an Angoff exercise results in failing 50% of candidates, the standard is unrealistic and might very well be unacceptable from a policy standpoint.

Hofstee [58]는 '현실 확인reality check'을 제공하는 수단으로 패널 목록에 다음 질문을 하고 그에 대한 답을 (Hofstee) 플롯에 표시함으로써 '타협compromise'하는 방법을 제안했다.
As a means of providing a ‘reality check’, Hofstee [58] proposed a ‘compromise’ method that involves asking panellists the following questions, the answers to which are subsequently graphed in a (Hofstee) plot:


• 내용 전체를 고려할 때 최대 및 최소 허용 컷 점수는 얼마입니까? 이러한 값은 일반적으로 Hofstee 그림에서 Cmin 및 Cmax로 표시됩니다.
• Considering the content as a whole, what are the maximum and minimum tolerable cut‐scores? These are typically labelledCminandCmaxon the Hofstee plot.

• 최대 및 최소 허용 불합격률은 얼마입니까? 이러한 값은 일반적으로 Hofstee 플롯에 Fmax 및 Fmin으로 나열됩니다.
• What are maximum and minimum tolerable failure rates? These are usually listed as Fmax and Fmin on the Hofstee plot.

Hofstee 그림의 예는 그림 24.2에 나와 있습니다.
An example of a Hofstee plot is provided in Figure 24.2.

이 그림을 생성하려면 먼저 정확한 누적 백분율 분포를 계산해야 합니다. 이 분포는 점수 척도에 따라 각 지점에서 불합격할 후보자의 누적 비율을 요약합니다. 그런 다음 좌표(Cmin, Fmax)와 (Cmax, Fmin)를 그림 24.2와 같이 직선으로 표시하고 결합합니다. 이 직선과 분포곡선 사이의 교차점이 [Hofstee cut-score]에 해당합니다. 절단 점수는 x축에 표시된 'cut' value로 표시됩니다.
In order to create this plot, a cumulative percentagecorrect score distribution needs to first be computed. This distribution outlines the cumulative percentage of candidates who would fail at each point along the score scale. Then, the coordinates (Cmin, Fmax) and (Cmax, Fmin) are plotted and joined by a straight line, as illustrated in Figure 24.2. The point of intersection between this line and the frequency distribution corresponds to the Hofstee cut‐score. The cut‐score is illustrated by the ‘cut’ value shown on the x‐axis. 

그림 24.2에 설명된 예에서 패널리스트는 컷☆스코어가 55(Cmin) 이하, 85(Cmax) 이하가 되어야 한다고 생각했습니다. 마찬가지로, 고장률은 최소 10%(Fmin)여야 하지만 50%(Fmax)보다 높으면 안 된다는 것을 나타내었습니다. 두 좌표 세트를 모두 연결하고 x축에 선을 그리면 Hofstee 컷스코어 값 65가 생성되어 후보 코호트의 약 35%가 불합격합니다. Hofstee 방법의 목적은 일반적으로 기준 기준 표준이 Hofstee 기반 값의 근처에 속하는지 여부, 즉 기준 표준이 절단 점수 값과 고장률의 정치적 고려사항 및 전역적 인상과 일관되는지 여부를 결정하는 것이다[59].

In the example outlined in Figure 24.2, panellists felt that the cut‐score should be no lower than 55 (Cmin) and no higher than 85 (Cmax). Similarly, they indicated that the failure rate should be at least 10% (Fmin) but not higher than 50% (Fmax). Linking both sets of coordinates and drawing a line down to the x‐axis yields a Hofstee cut‐score value of 65, which would result in failing about 35% of the candidate cohort. The aim of the Hofstee method is generally to determine whether criterion‐referenced standards fall within the vicinity of the Hofstee‐based value, i.e. whether they are consistent with political considerations and global impressions of cut‐score values and failure rates [59].

장점 및 제한 사항
Advantages and Limitations

Hofstee 방법의 주요 장점은 패널리스트가 [거의 또는 아무런 제한 없이 컷-점수 값과 불합격률에 대한 전체적인 판단]을 제공할 수 있다는 것입니다. 패널리스트는 경험, 테스트 내용에 대한 지식 및 검사 목표에 따라 성능 매개변수 한계를 정의해야 합니다. Hofstee 방법을 구현할 수 있는 유연성과 용이성 또한 주요 한계입니다. 즉, 이 방법은 일반적으로 [1차 기준 설정 방법이 아니라], 시험자 중심의 다른 접근방식을 보완하기 위한 ['reality check' 또는 대체 방법]으로 간주된다.

The primary advantage of the Hofstee method is that it allows panellists to offer holistic judgements on cut‐score values and failure rates with few to no constraints. Based on their experience, knowledge of the test content, and objective of the examination, panellists must define performance parameter limits. The flexibility and ease with which one can implement the Hofstee method also constitutes its chief limitation. That is, it is not generally viewed as a primary standard setting method but rather as a ‘reality check’ or fall‐back method meant to complement other approaches, whether test‐ or examinee‐centred. 

이처럼 Hofstee 방법은 supportive한 역할을 한다고 했을 때, 실무자가 패널 리스트의 일반적인 기대치에 따라 더 전통적인 방법으로 설정된 컷-스코어가 사라지는지를 판단하는 데 도움이 되는 귀중한 정보를 제공할 수 있습니다. 그러나 그러한 특수성을 고려할 때 일반적으로 개별 측정치로 사용해서는 안 된다. 의료 교육 분야에서 점점 더 많이 사용되는 표준 설정의 또 다른 방법은 박스 24.8에서 논의된다. 
 

Within this supporting context, the Hofstee method can provide valuable information that can help the practitioner gauge whether a cut‐score set with a more traditional method gibes with the general expectations of panellists. However, it should generally not be used as a standalone measure given its ad hoc nature. Another more controversial method of standard setting increasingly used in the medical education arena is discussed in the Box 24.8. 

기준 참조 표준 설정 방법 선택
Selecting a Criterion‐referenced Standard Setting Method

미국교육연구협회 '교육 및 심리검사를 위한 표준'[61, 페이지 53]은 '모든 시험 또는 모든 목적에 대해 cut-score를 결정하는 유일한 방법은 있을 수 없으며, 어떤 단일한 절차도 방어성을 완전히 확립할 수는 없다'고 분명히 명시하고 있다. 이러한 노선을 따라 Angoff[61]는 '컷(cut) 점수 설정 문제와 관련하여, 서로 일치하는 결과를 산출하지 못할 뿐만 아니라 반복 적용 시에도 동일한 결과를 산출하지 못하는 몇 가지 판단 방법을 관찰했다'고 언급했다.

The American Educational Research Association ‘Standards for Educational and Psychological Testing’ [61, p. 53] clearly state that ‘there can be no single method for determining cut‐scores for all tests or for all purposes, nor can there be any single set of procedures for establishing their defensibility’. Along these lines, Angoff [61] also noted that ‘regarding the problem of setting cut‐scores, we have observed that the several judgemental methods not only fail to yield results that agree with one another, they even fail to yield the same results on repeated application’.

어떤 하나의 방법으로도 '최적' 절단 점수 값을 식별할 수 없음에도 불구하고, 후자는 항상 전문적인 판단에 포함되기 때문에, 의학 교육자가 표준 설정 접근방식을 선택할 때 고려하고자 하는 여러 요소가 있다. 다음은 이러한 요인에 대한 개요입니다.

Despite the fact that no single method can lead to the identification of an ‘optimal’ cut‐score value, as the latter is always embedded in professional judgement, there are nonetheless a number of factors that the medical educator might wish to consider when selecting a standard setting approach. An overview of these factors is presented next.

[명확한 표준 설정 프로세스를 준수하는 정도]가 cut-score에 가장 큰 영향을 미칩니다. 무슨 방법을 쓰든지, 표준 설정 과정에는 [표준 설정 연습 및 시험의 목표에 대한 명확한 정의, 잘못된 인식을 최소화하기 위한 패널리스트의 광범위한 교육, 그리고 최소한의 숙련도 또는 허용 가능한 성과를 구성하는 것이 무엇인지에 대한 명확한 개요]가 포함되어야 한다. 그러나 시험 목표와 시험 점수 사용자가 원하는 관련 결정을 고려하여 가장 적합한 표준 설정 방법을 선택하는 것은 여러 요인을 고려할 수 있다.

The extent to which a clear standard setting process is adhered to has the greatest impact on the cut‐score. This process, regardless of the method adopted, should include a clear definition of the objective of the examination as well as the standard setting exercise, extensive training of panellists to minimise any misconceptions, as well as a clear outline of what constitutes minimal proficiency or a borderline acceptable performance. However, a number of factors can be considered to select a standard setting method that might be most suitable given the intended aims of the examination and the associated decision that the test score user wishes to make.

첫 번째 질문 중 하나는 [시험 형식]이 어떻게 되는지이다.

• 지식 기반 검사(예: MCQ)의 경우 패널리스트가 완료해야 하는 과제를 감안할 때, 즉 실제 테스트 항목의 검토에 근거하여 컷(cut) 점수를 추정하는 것이 가장 적절하다.
• 반대로 OSCE 및 작업 공간 기반 작업과 같은 성능 평가의 경우 복잡한 다차원 성능 특성을 고려할 때 검사 중심 방법이 표준을 설정하기에 더 적합합니다. 후자는 일반적으로 성과에 대한 전체론적 판단을 수반한다.

One of the first questions to ask is what is the format of the examination?

• For knowledge‐based examinations (e.g. MCQs), test‐centred methods are most appropriate given the task that panellists are asked to complete, i.e. estimate a cut‐score based on a review of the actual test items.
• Conversely, for performance assessments, such as OSCEs and workplace‐based tasks, examineecentred methods are more suitable for setting a standard given the complex, multi‐dimensional nature of performance. The latter typically entail holistic judgements of performance.

둘째, 사용자는 시험 형식을 고려할 수도 있습니다. 예를 들어, 일부 표준 설정 방법(예: Nedelsky 방법)은 MCQ와 함께 사용하기 위해 개발되었습니다. 일부 방법은 서로 다른 형식(예: Angoff 방법)으로 사용할 수 있지만, 기대치를 충족할 수도 있고 충족하지 못할 수도 있는 특정 가정이 이루어진다. 예를 들어, Angoff 방법과 그 파생물offshoot들은 본질적으로 수행능력이 보상적compensatory이라고 가정한다. 즉, 응시자들은 다른 섹션에서 잘함으로써 시험의 특정 부분에서 잘 하지 못한 것을 보상할 수 있다. 따라서 이러한 방법들은 서로 다른 요소들이 성공적으로 독립적으로 완성되어야 하는 결합적 환경에서는 적절하지 않을 것이다. 다른 방법(Hofstee, 대조군)은 테스트 형식에 무관하도록test-format invariant 개발되었습니다.
Second, the user may also wish to consider the format of the examination. For example, some standard setting methods (e.g. the Nedelsky method) were developed exclusively for use with MCQs. While some methods can be used with different formats (e.g. Angoff methods), certain assumptions are made that may or may not meet expectations. For example, the Angoff method and its offshoots assume that performance is compensatory in nature, i.e. candidates can compensate for doing poorly in certain parts of the examination by doing well in other sections. These methods would therefore be inappropriate in a conjunctive setting, where different components need to be successfully and independently completed. Other methods (Hofstee, contrasting groups) were developed as test‐format invariant.
 

종종 공표되는 한 가지 잘못된 믿음은 표준을 설정할 때 [다수의 방법을 결합하면 '더 나은 컷 스코어'를 제공한다는 것]이다. 표준 설정과 삭감 점수 선택은 정보에 입각한 판단에서 도출되기는 하지만, 궁극적으로는 [정책 결정]이라는 점을 반복적으로 강조할 수 밖에 없다. 복수의 방법을 결합하면 '더 나은' 표준이 될 것이라는 증거는 거의 없다[57]. '올바른correct' cut-score가 없는데, 어떻게 여러 접근방식의 결과를 종합할 수 있는가? 또한 이 전략에는 훨씬 더 많은 리소스가 필요합니다. 몇 가지(부실하게) 구현된 접근법의 결과를 제공하기보다는 항상 하나의 표준 설정 방법을 체계적으로 구현하는 것이 더 낫다. 

One erroneous belief that is often promulgated is the one that suggests that combining a multitude of methods when setting a standard will provide a ‘better cutscore’. It is important to reiterate that standard setting and the selection of a cut‐score are ultimately policy decisions, albeit derived from informed judgement. There is little evidence to suggest that combining multiple methods will lead to a ‘better’ standard [57]. Since there is no ‘correct’ cut‐score, how can policy makers synthesise results from multiple approaches? This strategy also requires significantly more resources. It is always better to systematically implement one standard setting method rather than provide results from several (poorly) implemented approaches.

다시 말하지만, [cut-score에 뒤따르는 프로세스]가 궁극적으로 방어해야 할 사항입니다. 후자는 기준 설정 연습의 [모든 단계를 적절히 문서화]하여, 패널리스트의 [선발과 훈련을 명확히 기술]하고, cut-score의 사용을 [뒷받침하는 경험적 증거]를 제공하는 것을 포함한다. 이러한 데이터에는 일반적으로 컷-점수 값에 대한 변동성 소스(판단, 패널 등)의 영향뿐만 아니라 컷-점수 구현 결과(예: 과거 추세에 비추어 합격/불합격률의 적절성)가 포함된다. 절단 점수 확인의 중요성은 다음 섹션에서 강조합니다(상자 24.9 참조).

Again, the process that is followed when arriving at a cut‐score is ultimately what needs to be defended. The latter includes properly documenting all phases of a standard setting exercise, clearly describing the selection and training of panellists, as well as providing empirical evidence to support the use of a cut‐score. These data typically include the impact of sources of variability (judges, panels, etc.) on the cut‐score value as well as the consequences of implementing a cut‐score (e.g. the appropriateness of pass/fail rates in light of historical trends). The importance of validating any cut‐score is underscored in the next section (see Box 24.9).

컷-점수를 지원하기 위한 유효성 증거 수집
Gathering Validity Evidence to Support a Cut‐score

어떤 표준 설정 방법을 채택하였든, [얻어진 표준을 검증하기 위한 증거를 수집하는 것]은 중요한 단계입니다 [62, 63]. 이 장에서 언급한 바와 같이, 모든 표준 설정 연습에서 궁극적으로 중요한 것은 프로세스가 체계적으로 준수되고 여러 증거 소스를 사용하여 방어될 수 있는 범위입니다. 
Regardless of the standard setting method adopted, gathering evidence to validate the resulting standard is a critical step [62, 63]. As stated throughout this chapter, what is ultimately of importance with any standard setting exercise is the extent to which a process is systematically adhered to and can be defended using a number of evidential sources.

[절차적 타당성procedural validity을 뒷받침하는 근거]는 표준 설정 보고서에 명확히 기록될 필요가 있다. 이것은 일반적으로 모든 표준 설정 보고서의 첫 부분으로 구성되며, 다음을 포함하여 연습의 각 단계에 대한 철저한 설명을 수반한다.
The evidence to support procedural validity needs to be clearly documented in the standard setting report. This usually comprises the first part of any standard setting report and entails a thorough account of each step of the exercise including:
 

• • 대상 시험의 개요 및 목적
• • 근거 근거와 함께 구현된 선택된 표준 설정 방법에 대한 명확한 설명.
• • 전문가 심판단 선정 과정, 심사위원의 자격 설명, 전문직 전체를 대표하는 정도 설명
• • 훈련 과정, 성과 표준의 정의 및 데이터 수집 방법을 포함한 연습의 모든 단계에 대한 개요

• An overview of the targeted examination and its purpose.

• A clear articulation of the selected standard setting method implemented with a supporting rationale.

• The process used to select the panel of expert judges, as well as a description of their qualifications and the extent to which they represent the profession as a whole.

• An outline of all phases of the exercise, including the training process, definition of the performance standard, and how data were collected.

표준 설정 연습의 다양한 측면에 대한 조사 패널 목록은 절차적 타당성 증거를 뒷받침하는 마지막 중요한 부분을 구성합니다. 패널 리스트가 공정에서 얼마나 신뢰하며, 더 중요한 것은 컷-스코어 결과에서 얼마나 신뢰합니까? 훈련 단계에 대한 심판의 인상과 점수를 평가하는 것은 모든 표준 설정 연습에 대한 강력한 확인을 제공할 수 있다.
Surveying panellists on various aspects of the standard setting exercise constitutes a final important piece of supporting procedural validity evidence. How confident are the panellists in the process and, more importantly, in the resulting cut‐score? Evaluating judges’ impressions of the training phase as well as the cut‐score can provide strong confirmation for any standard setting exercise.
 

대부분의 기준 참조 검사의 높은 위험 특성을 고려할 때 cut-score의 내부 타당도를 뒷받침하는 증거도 매우 중요하다. 즉, 절단 점수의 추정은 얼마나 정확하며 관심 있는 모든 측면에서 얼마나 재현 가능합니까? 정밀도와 관련하여, 항목 응답 능력 지표와 관련된 항목 응답 능력 지표의 경우, 절단 점수와 관련된 숙련도 추정치의 (조건부) 표준 오차는 후자 값의 안정성을 직접적으로 나타낼 수 있다. 관측된 점수 척도(예: 숫자 , 오른쪽, 백분율 correct 정확 등)를 사용하여, 실무자는 복합 이항 모델을 사용하여 절단 점수와 관련된 오차의 양을 추정할 수도 있다[64].
Evidence to support the internal validity of the cut‐score is also of great importance given the high‐stakes nature of most criterion‐referenced examinations. That is, how precise is the estimate of the cut‐score and how reproducible is it across any facet of interest? With regard to precision, if the cut‐score is relatable to an item response theory ability metric, the (conditional) standard error of the proficiency estimate associated with a cut‐score can provide a straightforward indication of the stability of the latter value. With an observed score scale (e.g. number‐right, percentage‐correct, etc.), the practitioner can also estimate the amount of error associated with a cut‐score using a compound binomial model [64].
 

또한, 표준 설정에 참여하는 심판, 심판 패널(여러 그룹이 참여하는 경우), 선택한 항목/스테이션 등의 기능으로 절단 점수가 영향을 받는 정도는 [일반화가능도 이론]을 사용하여 쉽게 평가할 수 있다[8, 65]. 이 프레임워크를 통해 의료 교육자는 위에 열거된 측정 오류의 측면 또는 잠재적 원천에 기인할 수 있는 점수(컷☆스코어 포함)의 변동성을 추정할 수 있다. 이와 유사하게, IRT 기반 등급 척도 모델[66]은 또한 후보자의 능력 분포, 항목/역의 어려움 및 등급의 엄격성과 관련하여 유용한 정보를 제공할 수 있다. 내부 타당도 의 증거를 수집하기 위해 사용하는 모델의 복잡성에 관계없이, 이 중요한 정보의 출처는 절단 점수가 추정되는 안정성이나 정밀도에 대한 지표를 제공하는 데 있으며, 주로 오용을 최소화하기 위해 실무자에게 일부 경계를 제공하는 데 있다.
Additionally, the extent to which the cut‐score is impacted as a function of the judges participating in an exercise, the panel of judges (if multiple groups are involved), the items/stations selected, etc. can be readily assessed using generalisability theory [8, 65]. This framework allows the medical educator to estimate the amount of variability in scores (including the cut‐score) that can be ascribed to any facet or potential source of measurement error as listed above. Similarly, IRT‐based rating scale models [66] can also provide useful information with respect to the ability distribution of candidates, difficulty of items/stations, as well as stringency of raters. Regardless of the complexity of the models utilised to gather evidence of internal validity, the aim of this critical source of information is to provide an indication of the stability or precision with which a cut‐score is estimated, primarily to provide some boundaries to the practitioner in order to minimise its misuse.
 

[절단 점수의 외부 타당도external validity을 뒷받침하는 증거]도 표준 설정 노력의 일부가 되어야 한다. 이는 표준 구현의 영향과 직접 관련이 있기 때문이다. (과거의) 불합격률에 미치는 영향에 비추어 절단 점수의 합리성을 평가하는 것은 일반적으로 외부 검증 노력의 핵심이다. 예를 들어, 일반적으로 졸업 OSCE에서 한 학년의 10~12% 사이에서 불합격해왔다고 가정해보자. 표준 설정 연습에 따른 55%의 불합격률이 나왔다면, 코호트가 과거 그룹 및 유사한 난이도의 OSCE와 비교할 수 있는 능력을 가졌다고 가정할 때 컷(cut) 점수 및 그 적정성에 대한 상당한 정밀 조사를 보증할 것이다.
Evidence to support the external validity of a cut‐score should also be part of any standard setting effort as this relates directly to the impact of implementing a standard. Assessing the reasonableness of the cut‐score in light of its impact on failure rates is generally at the core of external validation efforts. For example, assume that a graduation OSCE has typically failed between 10 and 12% of a class. A failure rate of 55%, following a standard setting exercise, would warrant considerable scrutiny of the cut‐score and its appropriateness, assuming that the cohort is of comparable ability to past groups and the OSCE of a similar difficulty level.
 

(표준 설정의) 결과를 [다른 평가와 비교하는 것]은 제안된 모든 절단 점수에 대한 외부 타당도의 또 다른 중요한 원천을 구성한다. 예를 들어, 유사한 구조(예: 이전 OSCE)를 측정하는 다른 시험에서의 합격/불합격률 또는 학생 현황과 얼마나 비교가 됩니까? 두 번의 검사가 정확히 동일한 도메인 조합을 측정할 것이라고 기대하지는 않지만, 그럼에도 불구하고 대부분의 응시자들에게 동등한 지위를 줄 것입니다.

A comparison of results to other assessments constitutes another important source of external validity for any proposed cut‐score. For example, how comparable are pass/ fail rates to grades or the status of students on other examinations measuring similar constructs (e.g. a prior OSCE)? Though we would not expect two examinations to measure exactly the same combination of domains, they should nonetheless yield a comparable standing for most candidates.

결론
Conclusions

표준 설정은 학부 교육에서 의사 재검증 노력에 이르기까지 의료 교육의 모든 평가 활동에서 필수적인 부분입니다. 응시자가 시험의 기초가 되는 역량을 습득했는지 여부를 결정하는 것은 개별적인 판단뿐만 아니라 프로그램 효과성, 교육 효과성 등을 평가하는 데 사용되는 핵심 결과이다. [67, 68].
Standard setting is an intrinsic part of all assessment activities in medical education, from undergraduate training to physician revalidation efforts. Determining whether a candidate has mastered any number of competencies underlying an examination is a key outcome used not only to render individual judgements but also to evaluate programme effectiveness, teaching efficacy, etc. [67, 68].

무엇보다도, gold standard가 없으며, 모든 cut-score는 궁극적으로 ['역량'을 구성하는 수준]에 대해서 [내용전문가 집단이 내린 정보에 입각한 판단]을 반영한다는 점을 다시 한 번 강조해야 한다. 따라서 표준 설정 프로세스를 체계적으로 따르고 적절한 경험적 증거를 사용하여 이를 사용하는 것이 그러한 연습의 핵심이다.
First and foremost, it is important to reiterate that there is no gold standard and that all cut‐scores ultimately reflect informed judgement from a group of content experts on what level of performance constitutes ‘competency’. Systematically following a standard setting process and supporting its use with appropriate empirical evidence is therefore central to any such exercise.

시험에 대한 cut-score 결정에 어떤 방법을 사용하든, 표준 설정 연습을 수행하기 전에 몇 가지 문제를 해결해야 한다.
Irrespective of the method selected to arrive at a cutscore on an examination, several issues need to be addressed prior to undertaking a standard setting exercise. 

첫째, 심사 위원단은 모든 시험 이해관계자의 축소판으로 보아야 하며, 따라서 지리적 영역, 의과대학 위치, 전문성, 성별 또는 민족성이 직업에 의해 중요하다고 간주되는 특성을 반영해야 한다. 그러한 광범위한 패널을 소집하는 것은 대부분의 전문직 종사자들의 견해가 실무에 통합되고 궁극적으로 표준이 되도록 보장할 것이다.
First, the panel of judges should be viewed as a microcosm of all exam stakeholders and as such should mirror any characteristic deemed important by the profession, be that geographical area, medical school location, specialty, gender, or ethnicity. Convening such a broad panel will ensure that views from most members of the profession are incorporated in the exercise, and ultimately, the standard.
 

모든 표준 설정 패널에 적합한 수의 패널 목록을 결정하는 것도 중요합니다. 너무 적은 수의 패널리스트를 초대하는 것은 바람직하지 않다. 한 명의 반대 심판의 판단이 최종 컷-점수의 가치에 과도한 영향을 미칠 수 있기 때문이다. 반면에 지나치게 대형 패널을 구성하는 것은 비용 효율적이지 않을 수 있습니다. 따라서 위에서 설명한 바와 같이 패널집단에게 원하는 특성을 명확하게 식별하면, 패널의 최적 크기를 결정하는 데 귀중한 정보를 제공할 수 있다.

Determining a suitable number of panellists for any standard setting panel is also critical. Inviting too few panellists is ill‐advised, as the judgements of a single dissenting judge could have an undue impact on the value of the final cut‐score. On the other hand, assembling a large panel may not be cost‐effective. Consequently, clearly identifying the desired characteristics of the group, as outlined above, can provide valuable information for determining the panel’s optimal size. 

일단 cut-score가 설정되면, 정치적 또는 내용적 성격에 기반하여 직업에서 발생할 수 있는 모든 변화에 비추어 지속적인 적합성을 보장하기 위해 모든 검사의 컷(cut) 점수를 주기적으로 재검토하는 것도 중요하다. 마지막으로, 표준 설정 방법이 다르면 컷-점수 값이 달라진다는 점을 다시 언급하는 것이 중요합니다. 

Once set, it is also important that the cut‐score for any examination be periodically revisited to ensure its continued appropriateness in light of any changes that may have occurred in the profession, whether political or content‐based in nature. Finally, it is important to restate that different standard setting methods will produce different cut‐score values.

모든 표준 설정 연습의 중심 목표는 다음과 같아야 한다.

• (i) 특정 방법의 선택을 방어한다.
• (ii) 연습 내내 따르는 모든 단계를 꼼꼼하게 문서화해야 한다.
• (iii) 기준의 선택은 가능한 한 많은 경험적 증거에 기초하며, 주어진 cut-score 채택의 결과뿐만 아니라, 전체적 인상을 고려한다

The central aim in any standard setting exercise should be to:

• (i) defend the choice of a particular method,
• (ii) meticulously document all steps followed throughout the exercise, and
• (iii) base the selection of the standard on as much empirical evidence as possible, factoring in global impressions as well as the consequences of adopting a given cut‐score.

형성적 OSCE가 어떻게 학습을 유도하는가? 전공의 인식 분석 (Med Teach, 2017)
How do formative objective structured clinical examinations drive learning? Analysis of residents’ perceptions
Debra Pugh, Isabelle Desjardins & Kevin Eva

배경
Background

평가가 학습을 촉진한다는 데는 의학 교육자들 사이에 이견이 거의 없습니다(Newble 2016). 그러나 평가의 역할에 대한 강조가 순전히 더 나은 학습의 평가(AOL)에서 교육자가 학습을 위한 평가(AFL)를 사용할 수 있는 방법에 대한 사고 방식으로 변화함에 따라, 다양한 형태의 평가가 교육적 가치를 갖는 방법과 시기를 결정하는 자극이 있다. 
There is little disagreement among medical educators that assessment drives learning (Newble 2016). However, as the emphasis for the role of assessment shifts purely from better assessment of learning (AOL) toward thinking in ways about how educators can use assessment for learning (AFL), there is an impetus to determine how and when assessments of various forms have educational value. 

평가가 학습자에게 직접적 및 간접적 영향을 미칠 수 있다는 것을 알게 되었습니다(Larsen et al. 2008). [직접적인 효과]는 평가 자체가 학습을 촉진할 때 발생합니다. 예를 들어, [테스트 효과]는 동일한 시간을 할애했을 때, 그냥 공부보다 테스트가 학습에 더 강력한 영향을 미칠 수 있다는 잘 확립된 현상을 말한다(Larsen et al. 2008, 2009; Kromann et al. 2009; Larsen 2013). 반면 [간접적인 효과]는 학습자에게 평가를 받을 것임을 알려 학습 동기를 제공하는 데서 발생합니다. 또한, 시험이 끝난 후 학습자에게 제공되는 피드백은 학습자가 평가가 끝난 후에도 주제를 계속 탐색하도록 동기를 부여할 수 있는 장점과 단점을 강조하여 학습 방향을 안내하는 데 도움이 될 수 있습니다(Agrawal et al. 2012). 
It has become understood that assessment can have both direct and indirect influences on learners (Larsen et al. 2008). Direct effects arise when the assessment itself prompts learning. For example, the testing effect refers to a well-established phenomenon that testing can have a more powerful influence on learning than when an equal amount of time is devoted to studying (Larsen et al. 2008, 2009; Kromann et al. 2009; Larsen 2013). Indirect effects, in contrast, arise from providing an incentive to study by informing learners that they will be assessed. In addition, the feedback provided to learners after a test can help to guide their learning by highlighting areas of strength and weakness that may, in turn, motivate learners to continue exploring the topic after the assessment is over (Agrawal et al. 2012). 

이러한 명확한 평가의 이점에도 불구하고, 시험이 학습에 해로울 수도 있습니다. 예를 들어, 시험 이벤트로 인한 스트레스는 학습자들이 장기적인 이득을 위해 자료를 보다 철저히 이해할 수 있도록 노력을 기울이기보다는, 단기적으로(즉, 시험에서) 성공할 가능성을 극대화하는 피상적인 학습 전략(예: 암기, 주입식, 공부)을 채택하도록 유도할 수 있습니다. (Pashler et al. 2007) 또한 학습자는 테스트의 단서cue를 사용하여 시도하지 않았을 질문에 올바르게 (찍어서) 답할 수 있으며, 이는 자신의 능력에 대한 인상을 부풀릴 수 있습니다(Desjardins et al. 2014). 마지막으로, 수험생들은 점수를 높이기 위해 담합과 부정행위에 의존해야 한다는 압박감을 느낄 수 있으며, 다시 실제 학습과 관련된 노력을 저하시킬 수 있습니다(Henning et al. 2013). 
Despite these clear benefits of assessment, testing can also be detrimental to learning. For example, the stress caused by a testing event may lead learners to adopt superficial learning strategies (e.g. rote memorization, cramming, studying to the test) that maximize their chances of success in the short term (i.e. on an examination) rather than devoting their efforts to truly understanding the material in a way more likely to yield long-term gain (Pashler et al. 2007). Learners may also use cues on the examination to correctly answer questions they would not otherwise have attempted, which may create an inflated impression of their own abilities (Desjardins et al. 2014). And, finally, examinees may feel pressure to resort to collusion and cheating in an attempt to improve their scores, again detracting from efforts related to actually learning the material (Henning et al. 2013). 

시험을 교육학적 개입으로 채택employ하려고 노력하는 사람들에게 이러한 어려움은 평가가 [학습자가 자신의 스킬을 보여주는 상황]을 지켜보는 관찰자가 있는 수행능력-기반performance-based 평가일 때 더욱 복잡해질 가능성이 있다. 
These challenges for those striving to employ tests as pedagogical interventions are likely to be compounded when the assessment in question is performance based with observers watching a learner demonstrate their skills. 

비록 지식은 기초로서 필요하지만, 학습자가 임상 문제에 직면했을 때 그 지식을 통합하고 적용하는 방법을 평가하기 위해 잘 설계된 OSCE를 사용한다(Harden et al. 1975). OSCE는 일반적으로 (임상 기술과 환자와의 관계를 확립하는 능력 등) 서면 테스트의 대상과 다른 구조를 평가하는 데 사용된다(Jefferies et al. 2007). 이 두 가지 요인 모두 OSCE에서 이루어지는 학습이 단순한 [선언적 지식]을 반영할 가능성이 낮으며, 다양한 방식으로 해석가능한 상호작용을 수반하는 [복잡한complex 행동]을 반영할 가능성이 높다는 것을 시사한다. 
Although they require a foundation of knowledge, well-designed OSCEs are used to assess how learners integrate and apply that knowledge when faced with a clinical problem (Harden et al. 1975). OSCEs are generally used to assess different constructs than those that are targeted by written tests, such as clinical skills and the ability to establish rapport with a patient (Jefferies et al. 2007). Both of these factors suggest that the learning that takes place in OSCEs is less likely to reflect simple declarative knowledge and more likely to reflect complex behaviors that will interact in variably interpreted ways. 

따라서 OSCE를 둘러싸고 이뤄지는 학습은 (서면 테스트와 비교했을 때) 의사가 공식 교육을 완료한 후 경험하게 될 평가 모멘트의 영향에 대한 더 나은 근사치better approximation를 제공할 수 있습니다. 그러나 수행능력-기반 평가에서 따라오는 관찰은 학습자가 자연스럽게 무엇을 할 것인지를 보여주기보다는 '연기play a role'을 해야 한다고 느끼게 만듦으로써 '연출적staging' 행동으로 이어진다는 점을 명심해야 한다(Gormley et al. 2016; Shea and Norcini 2017). 이는 학습자, 특히 상급advanced 교육 단계에 있는 학습자의 경우 [잘 설계된 OSCE조차 비현실적인 것으로 간주]한다면 교육적 가치에 대한 냉소를 유발할 수도 있다. 이 모든 내용을 종합하여 대학원(전공의) 교육 환경에서 형성적목적을 위해 표면적으로 운영되는 OSCE가 학습을 장려하기 위해 평가를 설계할 때 고려해야 하는 긴장을 더 잘 이해할 수 있는 특히 강력한 컨텍스트를 제공할 것임을 시사한다. 

As such, learning that takes place around an OSCE could provide a better approximation (relative to written tests) of the influence of assessment moments that physicians will experience after their formal training is completed. It is important to keep in mind, however, that the observation required for performance-based assessment leads to “staging” behaviors as learners can feel compelled to “play a role” rather than demonstrate what they would naturally do (Gormley et al. 2016; Shea and Norcini 2017). This creates the potential that learners, especially those operating at an advanced stage of training, will view even a well-designed OSCE as inauthentic, thus engendering cynicism regarding its educational value. All of this sums together to suggest that an OSCE that is ostensibly run for formative purposes in a postgraduate (residency) training context would provide a particularly powerful context within which to better understand the tensions that need to be taken into account when designing assessments to encourage learning. 

방법
Methods

형성적 OSCE는 오타와 대학에서 대학원 과정(PGY) 1~4학년 레지던트에게 Progress test(즉, 여러 단계의 교육에서 학습자에게 시행되는 종합 검사)로 시행되었습니다. 같은 날 저녁, [9개 스테이션]의 [5개 동시회로]가 2차례 운행돼 모든 전공의가 이용할 수 있었다. 

A formative OSCE was administered to Internal Medicine (IM) residents in postgraduate years (PGY) 1–4 at the University of Ottawa as a progress test (i.e. a comprehensive examination administered to learners at different stages of training). Five simultaneous circuits of nine stations were run twice in the same evening to accommodate all residents. 

OSCE 진행률 테스트 형식
OSCE progress test format


스테이션의 길이는 12분, 구두 피드백은 1분이었다. 1분이 긴 시간은 아닌 것으로 보일 수 있지만, 이 맥락에서 우리의 이전 연구는 심사관들이 1분 안에 평균 16명의 전공의 피드백 포인트를 제공하는 것으로 입증했다(Humphrey-Murto et al. 2016). 전공의는 스테이션 유형에 따라 선택된 스테이션별 체크리스트와 다수의 5점 평가 척도(예: 조직 기술, 환자와의 관계)를 사용하여 의사 검사자에 의해 채점되었다.
Stations were 12min in length, accompanied by 1min of verbal feedback. While a single minute may not seem like a long time, our previous research in this context has demonstrated that examiners provide an average of 16 residents feedback points to in 1 min (Humphrey-Murto et al. 2016). Residents were scored by physician examiners using a combination of station-specific checklists and a number of five-point rating scales (e.g. organizational skills, rapport with patient) that were selected based on station type.

참여자 Participants

설문 Surveys

참가자들은 검사 전(사전 검사), 검사 직후(사후 검사), 검사 후 결과(사후 결과)의 세 가지 설문조사를 완료해야 했습니다. 자세한 내용은 보충 부록을 참조하십시오. 
Participants were asked to complete three surveys: before the examination (pre-examination), immediately following the examination (postexamination), and after the examination, results were made available (postresults); see Supplementary Appendix. 

운영 Administration

온라인 설문조사 서비스(Fluid Survey VR)를 사용하여 설문조사를 배포했으며 선택된 응답(즉, 라이커트 등급 척도)과 구성된 응답(즉, 서술형 논평) 질문을 모두 포함했다.
Surveys were distributed using an online survey service (Fluid Surveys VR ) and included both selected-response (i.e., Likert-like rating scales) and constructed response (i.e. narrative comments) questions.

분석 Analyses

상위 성과자와 하위 성과자 간의 차이는 총 OSCE 점수의 [중위 분할median splits]을 사용하여 조사되었으며, 전공의는 특정 대학원 연도에 상위 성과자 또는 하위 성과자로 분류되었다. 우리는 성취도가 낮은 사람이 성취도가 높은 사람과 비교했을 때 다른 학습 전략을 채택할 것이라는 가설을 세웠습니다. 혼합 설계 분산 분석을 사용하여 검사 주기 동안 낮은 성과자와 높은 성과자의 등급의 차이뿐만 아니라 그러한 등급의 변화(즉, OSCE 이후 및/또는 결과를 받은 후 참가자의 인식이 변경되었는지 확인)를 조사했습니다. 구면성에 대한 가정을 위반한 경우, Greenhouse–Geisser corrections을 사용했다. 
Differences between high and low performers were explored using median splits on total OSCE score with residents classified as either high or low performers within their particular postgraduate year. We hypothesized that low achievers would adopt different learning strategies when compared to high achievers. A mixed design ANOVA was used to examine differences in low and high performers’ ratings as well as changes in those ratings over the examination cycle (i.e. to see if participants’ perceptions changed after the OSCE and/or after they received their results). Where assumptions of sphericity were violated, Greenhouse–Geisser corrections were used. 

결과
Results

참가자는 OSCE에 등록된 거주자의 분포에 근거하여 예상대로 모든 교육 수준에 걸쳐 비교적 고르게 분포되었다(표 1). 
Participants were relatively evenly distributed across all levels of training, as expected based on the distribution of residents enrolled in the OSCE; (Table 1). 

선택한 응답 질문에 대한 테마 생성
Theme generation for selected response questions

참가자들에게 OSCE의 목표에 대해 묻는 질문에서는 세 가지 주제를 파악했습니다. 

• 성과 지향 목표(즉, 참가자가 점수를 잘 받기를 원했음을 나타내는 목표) 
• 숙달 지향 목표(즉, 참가자가 임상 기술 향상을 원했음을 나타내는 목표) 및 
• 피드백을 받는 것(즉, 참가자가 OSCE로부터 성과에 대한 지침을 구하고 있었다는 것을 나타내는 목표)

For the question asking participants about their goals for the OSCE, three themes were identified:

• performance-oriented goals (i.e. goals indicating the participant wanted to score well),
• mastery-oriented goals (i.e. goals indicating the participant wanted to improve their clinical skills) and
• receiving feedback (i.e. goals indicating the participant was seeking guidance about their performance from the OSCE). 

OSCE의 가치에 대한 참가자의 인식과 관련된 항목은 [타당한 평가 수단]과 [교육적 가치]라는 주제로 코드화되었다. 
Items related to participants’ perceptions about thevalue of the OSCE were coded into the themes of:

• valid means of assessment and
• educational value. 

OSCE를 준비하는 데 사용된 학습 활동의 유형에 대한 질문과 OSCE에서 점수를 잘 받는 방법에 대한 참가자의 인식에 대한 질문은 [내용 중심 전략]과 [시험 전략]의 두 가지 주제로 나뉘었다. 
Items associated with both the question about the types of study activities used to prepare for the OSCE and the question about participant perceptions of how to score well on the OSCE were divided into two themes:

• content-focused and
• test-taking strategies. 

OSCE 목표
Goals for the OSCE

성능 지향 목표: 연습 OSCE는 처음이기 때문에, 로얄 칼리지 OSCE의 형식을 익히고 다음에 시험을 볼 때 나아지기를 바라는 것이 저의 주된 목표입니다. (C3Q; PGY-2) 
Performance-oriented goals: Since it will be my first time doing the practice OSCE, my main goal is to familiarize myself with the format of a Royal College OSCE and hopefully improve the next time I take the exam. (C3Q; PGY-2) 

숙달 지향 목표: OSCE는 로얄 칼리지에 대비하여 PGY4급으로 설계되어 있기 때문에, 저는 R1로서 이 경험을 통해 (이 시험에 합격할 것이라고 기대보다는) 배우는 것이 목표입니다. (A1P; PGY-1) 
Mastery-oriented goals: Since the OSCE is designed for the PGY4 level in preparation for the Royal College, my goal is to learn from this experience as an R1 and not expecting (sic) to pass the exam. (A1P; PGY-1) 

피드백 요청: 내용만 있는 것이 아니라, 그런 관점에서 저의 '시험정신exammanship'과 로얄 칼리지 준비에 대한 피드백을 원합니다. (A1E; PGY-3) 
Desire for feedback: I would like feedback on my ‘exammanship’ (sic) and Royal College preparation from that point of view, rather than just content alone. (A1E; PGY-3) 

표 2에서 볼 수 있듯이, 고성능 전공의와 저성능 전공의 모두 좋은 성과를 거두기를 원했다. 시간에 따라 변하기는 했지만 [성과 지향적 진술]과 관련된 평균 등급은 일반적으로 높았다(F→4.1 p→0.03). 사후 검사(평균 4.2, SE→0.15)와 사후 결과(평균 4.3, SE→0.10) 조사와 비교했을 때 사전 검사(평균 →4.6, SE→0.11)에서 평균 등급이 더 높았다. 높은 성과 대 낮은 성과자의 주효과는 관찰되지 않았으며(F→0.52, p→0.48), 상황(즉 사전 검사, 사후 검사, 사후 결과)은 성과 그룹과 상호작용하지 않았다(F→3.2, p→0.07).
As shown in Table 2, both high- and low-performing residents wanted to perform well. Mean ratings related to performance-oriented statements were generally high, although they changed over time (F¼4.1 p¼0.03). Post hoc tests indicated that mean ratings were higher in the pre-examination survey (mean¼4.6, SE¼0.11) when compared to the postexamination (mean¼4.2, SE¼0.15) and postresults (mean¼4.3, SE¼0.10) surveys. No main effect of high versus low performers was observed (F¼0.52, p¼0.48) and occasion (i.e. pre-examination, postexamination, postresults) did not interact with performance group (F¼3.2, p¼0.07).

OSCE를 사용하여 임상 기술을 개선하고자 하는 참가자의 욕구를 나타내는 [숙련 중심의 진술]에 대한 평점은 OSCE 직후 내려갔으나, 참가자가 결과를 받은 후 상승하였다(F§123, p<0.001). 수행능력 수준별 차이는 없었으며(F→0.01p→0.91) 경우에 따라 성능 수준(F→0.64, p→0.53)과 상호 작용하지 않았습니다. 
Ratings for mastery-oriented statements, indicating participants’ desire to use the OSCE to improve their clinical skills, went down immediately after the OSCE but then increased after participants received their results (F¼123, p<0.001). There was no difference by performance level (F¼0.01 p¼0.91) and, again, occasion did not interact with performance level (F¼0.64, p¼0.53). 

[피드백 수신]과 관련된 진술의 등급은 OSCE를 예상하여 피드백을 받는 것의 중요성과 관련된 진술에 대한 평점이 가장 높았습니다. 이러한 등급이 사전 조사와 후속 조사(F→8.7, p→0.001) 사이에 감소하였고, 성능 수준(F→1.3, p→0.26)과 상호작용(F→3.0, p→0.07)의 차이가 없었다.

Ratings for statements related to the importance of receiving feedback were greatest in anticipation of the OSCE as these ratings decreased between the pre-examination survey and subsequent surveys (F¼8.7, p¼0.001), with no difference between performance level (F¼1.3, p¼0.26) and no interaction (F¼3.0, p¼0.07).

OSCE에 대한 인식
Perceptions of the OSCE

시간에 따라 설정한 목표에 대한 참가자의 반응이 동적으로 변화했음에도 불구하고, OSCE의 타당성과 관련된 참가자의 평점은 표 3에 예시된 바와 같이 OSCE의 교육적 가치에 대한 평점(F of0.56, p570.57)과 마찬가지로 안정적이었다(F33.4, p)0.05) 다시 말하지만, 이러한 등급은 성능 수준에 따라 차이가 없었으며, 발생 및 성과 수준(두 주제 모두 F<2.0, p>0.15)은 상호 작용하지 않았다.
Despite the dynamic changes in participants’ responses regarding the goals they set over time, their ratings related to the validity of the OSCE were stable (F¼3.4, p¼0.05) as were their ratings of the educational value of the OSCE (F¼0.56, p¼0.57), as illustrated in Table 3. Again, these ratings did not differ by performance level (F<0.50, and p>0.45 for both themes) and occasion and performance level did not interact (F<2.0, p>0.15 for both themes).

OSCE 직후에 설문조사를 했을 때, 거의 모든 참가자(n=34, 97%)가 무언가를 배웠다고 보고했다. 사후 평가 설문 조사에 대한 대부분의 논평은 시험 전략 개선과 관련하여 무엇을 배웠는지에 초점을 맞췄다. 
When surveyed immediately following the OSCE, almost all participants (n¼34, 97%) reported that they had learned something. Most of the comments on the postexamination survey focused on what was learned in relation to improving test-taking strategies: 

반면, 결과가 발표된 후 OSCE로부터 무엇을 배웠는지에 대한 질문을 받았을 때, 참가자들의 서술적 논평은 OSCE가 지식의 상당한 gap를 식별하도록 했다는 사실을 강조하였다.
In contrast, when asked about what they had learned from the OSCE following the release of the results, participants’ narrative comments highlighted the fact that the OSCE had allowed them to identify significant gaps in their knowledge:

학습을 안내하는 데 유용한 요소를 물었을 때, 참가자의 평점은 시험자 피드백에 대해 상대적으로 중립적이었다(평균 §3.4, SD00.79). 서술적 논평은 일부 참가자가 심사자 피드백의 타당성의 가치를 떨어뜨리는 이분법dichotomy을 언급되었고, 다른 참가자는 더 많은 피드백을 요구하였다.  
When asked what factors were useful in guiding their learning, participants’ ratings were relatively neutral regarding examiner feedback (mean¼3.4, SD¼0.79). Narrative comments reflected a dichotomy in which some participants discounted the validity of examiner feedback, while others called for more feedback:  

스터디 활동에 소요된 시간
Time spent on study activities

비록 이것이 형성시험이었지만, 약 절반의 참가자(n¼18, 51%)는 OSCE를 위해 특별히 준비하는 데 시간을 보낸다고 보고했다. 
Although this was a formative examination, about half theparticipants (n¼18, 51%) reported spending time specific-ally preparing for the OSCE. 

표 4에 예시된 점수는 연구 활동에 소요된 시간과 관련하여 참가자의 의도와 경험 간에 차이가 존재했음을 시사한다. [시험 전 설문]에서 교육생들에게 연구 활동에 얼마나 많은 시간을 할애할 것으로 예상했는지를 물었을 때, 후보자들에게 다양한 학습 활동에 실제로 얼마나 많은 시간을 소비했는지를 보고하도록 요청했을 때(평균 2.2, SE→0.20) [시험 후 설문]보다 반응이 유의미하게 높았다(평균 1.1, SE→0.22) [시험 결과 후]에서는, 참가자들에게 미래 OSCE 연구에 얼마나 많은 시간을 할애할 계획이냐는 질문을 받았을 때, 그들의 추정치는 다시 사전 심사 수준(평균 § 2.3, SE se 0.25)으로 올라갔다. 이러한 등급은 성능 수준(두 주제 모두 F<0.6, p>0.4)에 따라 다르지 않았으며, 성능 수준과 경우가 상호 작용하지 않았다(두 주제 모두 F<0.6, p>0.5).
The scores illustrated in Table 4 suggest that, with regards to time spent on study activities, differences existed between participants’ intentions and their experience. Preexamination, when trainees were asked how much time they anticipated they would spend on study activities, responses were significantly higher (mean¼2.2, SE¼0.20) than they were postexamination, when candidates were asked to report how much time they had actually spent on various study activities (mean¼1.1, SE¼0.22). Postresults, when participants were asked how much time they would plan to devote to studying for future OSCEs, their estimates came up again to the pre-examination level (mean¼2.3, SE¼0.25). These ratings did not differ by performance level (F<0.6, p>0.4 for both themes) nor did performance level and occasion interact (F<0.6, p>0.5 for both themes).

OSCE에서 점수를 잘 받는 방법
How to score well on the OSCE

OSCE에서 점수를 잘 받으려면 더 많은 컨텐츠 지식이 필요하다는 참가자의 인식과 관련된 등급이 시간이 지남에 따라 변경되었습니다(F¼5.0, p00.01). [시험 후 설문]은 표 5에 예시된 바와 같이 [시험 전 설문](평균 3 3.6, SE 0 0.09)와 [결과 후 설문](평균 3 3.9, SE 0 0.10) 사이에 이러한 차이가 발생한 것으로 나타났다. 성능 수준의 주효과는 없었습니다(F→0.099, p→0.75). 그러나 성능과 상황 사이에는 교호작용이 있었습니다 (F→6.5, p→0.005). 사후 테스트 결과 사전 심사 후 콘텐츠 지식의 중요성에 대한 낮은 성과자의 인상이 높아진 반면, 높은 성과자의 평점은 OSCE 이전 낮은 성과자의 평점보다 높아 시간이 지날수록 높은 것으로 나타났다. 시간에 따른 시험 응시 전략의 중요성에 대한 참가자의 평가에는 차이가 없었다(F→0.17, p→0.81).
Ratings related to participants’ perceptions that more content knowledge is required to score well on the OSCE changed over time (F¼5.0, p¼0.01). Post hoc tests indicated that this difference arose between the pre-examination (mean¼3.6, SE¼0.09) and postresults (mean¼3.9, SE¼0.10) surveys, as illustrated in Table 5. There was no main effect of performance level (F¼0.099, p¼0.75). However, there was an interaction between performance and occasion (F¼6.5, p¼0.005). Post hoc tests indicated that low performers’ impressions of the importance of content knowledge increased after the pre-examination survey, whereas high performers’ ratings were higher than low performers’ ratings pre-OSCE and remained high over time. There was no difference in participants’ ratings of the importance of test-taking strategies over time (F¼0.17, p¼0.81).

OSCE를 어떻게 준비했는지를 물었을 때, 가장 일반적인 연구 전략에는 콘텐츠 지식 향상(n=18), 정기 임상 순환 시 환자 검사(n=13), 임상 검사 관련 비디오 시청(n=10)이 포함되었습니다. 테스트맨십과 관련된 전략은 덜 자주 표현되었다. 즉, 이전 OSCE 체크리스트(n→5)와 OSCE 준비 과정(n→1)의 검토였다. 
When asked how they had prepared for the OSCE, the most common study strategies involved improving content knowledge: reading around areas of content (n¼18), examining patients during regular clinical rotations (n¼13) and watching videos related to clinical examinations (n¼10). Strategies related to testmanship were less commonly expressed: review of old OSCE checklists (n¼5) and OSCE prep courses (n¼1). 

고찰
Discussion

시험전 효과
Pretest effects

비록 형성적 시험이었지만, OSCE는 시험 전 단계에서 공부 습관에 영향을 주었다. 참가자들은 OSCE가 [콘텐츠 지식 향상]과 [시험 점수 극대화]를 목적으로 하는 학습 행동에 참여하도록 이끌었다고 보고했습니다. 이는 필기 테스트에서 보이는 것과 유사하다(Cilliers et al. 2012). 흥미롭게도 학습자가 종종 성과 지향적 또는 숙달 지향적(Chen et al. 2016)으로 분류되지만, 참가자들은 OSCE를 극복해야 할 장애물이자 학습과 피드백을 받을 수 있는 기회로 보고 있음을 시사했다.
Although it was a formative examination, the OSCE influenced study habits in the pre-assessment phase. Participants reported that the OSCE led them to engage in study behaviors aimed at both improving content knowledge and maximizing their test scores, which parallels what is seen in written tests (Cilliers et al. 2012). Interestingly, although learners are often categorized as being either performance oriented or mastery oriented (Chen et al. 2016), participants’ responses suggested that they viewed the OSCE as both a hurdle to overcome and an opportunity to learn and receive feedback, as reflected by their goals and study strategies. 

의료계 전공의들이 성공하기 위해 학문과 높은 점수를 모두 추구하는 데 많은 시간을 보냈다는 점에서 이는 놀라운 일이 아닐 수 있다. 따라서 학습자의 마음속에서 [수행을 잘 하는 것]과 [자료를 숙달하는 것]은 [맥락에 따라서 중요도가 조금씩 달라지는 보완적 목표]로 개념화될 수 있습니다. 학습자가 OSCE를 [학습에 대한 평가]와 [학습을 위한 평가] 둘 다로 보는 것 역시, 이러한 구조 사이(AoL과 AfL)에 상당한 기능적 중복이 있으며, 평가 순간을 반드시 하나의 범주 또는 다른 범주로 분류하는 것으로 생각하는 것은 인위적일 수 있음을 시사한다. 확실히, 모든 평가가 어느 정도 극복해야 할 장애물로 간주될 수 있기 때문에 [학습자는 교육자의 방식대로 총괄적 평가와 형성적 평가를 구분하지 않는다]고 제안하는 문헌이 있다(Bok et al. 2013; Heeneman et al. 2015). 
This may not be surprising, given that medical residents have spent much of their academic career pursuing both knowledge and high marks in order to be successful. Therefore, performing well and mastering the material may more accurately be conceptualized as complementary goals that are more or less foregrounded in the minds of learners, depending on context. That learners appeared to view such a low stakes OSCE as both an assessment of their learning and an assessment for their learning suggests that there is considerable functional overlap between these constructs and that it may be artificial to think of assessment moments as necessarily falling into one category or the other. Certainly, there is literature to suggest that learners do not differentiate between formative and summative assessment the way educators do, as all assessment may be viewed as a hurdle to be overcome to some extent (Bok et al. 2013; Heeneman et al. 2015). 

순시험 효과
Pure test effects

시험 행위 자체가 필기 시험(시험 강화 학습)을 통한 학습으로 이어지는 것으로 나타났다. 필기 시험 사용에 대한 여러 연구에서는 혼자 공부하는 것에 비해 시험이 더 많은 학습과 더 나은 학습 이전으로 이어진다는 것을 발견했지만, 이것이 수행능력 기반performance-based 시험에서도 해당되는지transfer 여부는 명확하지 않다(Butler 2010; Larsen et al. 2013). [수행능력 기반 테스트를 보는 것 자체]로도 결과 유사한 효과가 발생한다는 징후가 있었지만, 그러한 현상은 잘 확립되지 않았다(Kromann et al. Kromann et al. 2009). 현재 연구에서 거의 모든 참가자는 이 Formative OSCE에 참여함으로써 무언가를 배웠다고 보고하였다. 
The act of testing itself has been shown to lead to learning with written tests (test-enhanced learning). Several studies on the use of written tests have found that testing leads to more learning and better transfer of learning when compared to studying alone, but it is not clear if this transfers to performance-based tests (Butler 2010; Larsen et al. 2013). While there have been indications that similar effects occur as a result of sitting performance-based tests, that phenomenon is less well established (Kromann et al. 2009). In the current study, almost all participants reported that they had learned something by participating in this formative OSCE. 

평가 결과가 모두 공개되고 나면, [임박한 시험으로 인한 스트레스]가 해소되었기 때문인지, 수행의 중요성에 대한 참가자들의 상대적 인식이 시간이 지날수록 줄어든 것으로 보인다. 반면 [내용 숙달]의 중요성에 대한 평가는 시험 직후 낮아졌다가 결과 발표 직후 다시 올라갔다. 
Based on their ratings, it appears that participants’ relative perceptions of the importance of performing well decreased over time, perhaps because the stress associated with the impending examination had been removed. In contrast, ratings of the importance of mastering the content decreased immediately following the examination and then bounced back up following the release of the results. 

주관식 응답에서는 [미래의 OSCE에서 성공할 수 있도록 하는 시험 전략testmanship에 대한 통찰력을 얻는 데 도움이 되었다]는 응답이 많았다. 이와는 대조적으로, 결과 발표 후 완료된 후속 조사에서 무엇을 배웠는지에 대한 질문을 받았을 때, 참가자들의 코멘트는 [내용 지식]에 초점을 맞추는 경향이 있었다. 이것은 평가의 즉각적인 위협을 제거함으로써, 참가자들이 [단순히 좋은 성과]를 내는 것을 목표로 하기보다는, [학습에 더 집중]할 수 있게 되었다는 사실을 반영할 수 있다. 또한 평가가 [성과 중심의 근시안적 태도]를 유도하는 경향은 [일시적]일 수 있음을 시사합니다.
many of the narrative comments that the reflected the perception OSCE helped them to gain insight into testmanship strategies to allow them to be successful on future OSCEs. In contrast, when asked about what they had learned in the follow-up survey completed after the release of the results, participants’ comments tended to focus on content knowledge. This may reflect the fact that removal of the immediate threat of being assessed allowed participants to better focus on their learning rather than simply aiming to perform well, while also suggesting that any tendencies assessments have toward inducing performance-focused shortsightedness may be transient.

시험 후 효과
Post-test effects

일부는 제공된 피드백의 가치를 평가절하하였고, 다른 일부는 더 많은 피드백을 추구하였다. 이는 Formatie OSCE에서 시험자 피드백이 어느정도나 학습의 중요한 modulator가 되는지에 대해 의문을 제기한다(Eva et al. 2010).
Some discounted the value of the feedback provided, while others sought more feedback. This raises questions about the extent to which examiner feedback is an important modulator of learning in a formative OSCE (Eva et al. 2010).

고성능 및 저성능
High versus low performers

놀랍게도 OSCE에 대한 목표, OSCE의 가치에 대한 인식, 연구 활동에 소요되는 시간 등에서 [낮은 성과자와 높은 성과자의 차이는 없었다]. 우리는 저성취자들이 학습에 더 성과 지향적인 접근법을 채택하거나 이러한 평가 형태에 대해 더 부정적인 견해를 가질 수 있다는 가설을 세웠으나, 이에 대한 어떠한 증거도 찾지 못했으며, assessment practice의 주된 영향이 적어도 형성적 맥락에서는 전반적 숙련도에 좌우되지 않을 수 있음을 시사했다.  
Surprisingly, there were no differences between low and high performers in terms of their goals for the OSCE, their perception of the value of the OSCE, or time spent on study activities. We had hypothesized that low performers might employ a more performance-oriented approach to learning or that they might have more negative views with regards to this form of assessment, but we did not find any evidence of this, suggesting that the leading influences of assessment practices may not be dependent on the overall proficiency of the examinee, at least in a formative context. 

다만 점수를 잘 받는 것에 대한 [콘텐츠 관련 지식]의 중요성에 대해서, 고득점자의 인식은 시험 전-후-결과후에 걸쳐 안정적인 반면, 저득점자의 인식은 OSCE 시험 이후 높아진 점이 눈에 띈다. 이는 저성취자들이 처음에는 콘텐츠 관련 지식의 가치를 충분히 인식하지 못했지만, OSCE 경험은 그들에게 그들의 약점에 대한 몇 가지 통찰력을 제공했을 수 있음을 시사할 수 있다.
However, it is notable that high performers’ recognition of the importance of content-related knowledge in order to score well was stable throughout the examination period, whereas low performers’ ratings increased after the OSCE. This may suggest that, although low performers did not fully appreciate the value of content-related knowledge initially, the OSCE experience may have provided them with some insights into their weaknesses.

한계 Limitations



결론 Conclusions

이 연구는 OSCE 관련 학습이 언제 어떻게 발생하는지 설명하는 예비 단계를 나타냅니다. 본 연구에서는 전공의들이 OSCE를 이수할 수 있는 기회를 학습경험(AFL)으로 평가한 것으로 보이지만, 이는 형성적이고 저부담 시험임에도 불구하고 성과를 잘 내고자 하는 욕구(AOL)에 의해 다소 억제되었다. 필기 시험(Cilliers et al. 2010)에서 볼 수 있듯이, OSCE는 학습 전(즉, 학습 습관의 변경) 순수(즉, 학습으로 직접 연결) 단계와 사후(즉, 학습 목표의 개발로 연결) 단계에서 양성과 음성으로 학습에 모두 영향을 미치는 것으로 보인다. 

This study represents a preliminary step in explaining when and how OSCE-related learning occurs. It would seem that the residents in this study valued the opportunity to complete an OSCE as a learning experience (AFL), but this was tempered somewhat by a desire to perform well (AOL) despite the fact that it was a formative, low stakes, examination. As has been shown with written tests (Cilliers et al. 2010), OSCEs seem to influence learning in both positive and negative ways in the pre(i.e. by changing study habits) pure(i.e. by directly leading to learning) and post-test (i.e. by leading to the development of learning goals) phases. 

형성 평가: 미래의 학습을 안내하고, 확신을 주며, 성찰을 촉진하고, 미래의 가치를 형성하는 평가의 토론 형식입니다.

Formative assessment: A discussive form of assessment that guides future learning, provides reassurance, promotes reflection, and shapes future values. 

Reference: Epstein R. (2007) Assessment in Medical Education. New England Journal of Medicine; 356:387–396. 

Med Teach. 2018 Jan;40(1):45-52.

 doi: 10.1080/0142159X.2017.1388502. Epub 2017 Oct 16.

How do formative objective structured clinical examinations drive learning? Analysis of residents' perceptions

Debra Pugh 1, Isabelle Desjardins 1, Kevin Eva 2

Affiliations collapse

Affiliations

• 1a Department of Medicine , University of Ottawa , Ottawa , Canada.
• 2b Department of Medicine , University of British Columbia and Senior Scientist at the Centre for Health Education Scholarship (CHES) , Vancouver , Canada.

• PMID: 29037098
• DOI: 10.1080/0142159X.2017.1388502Abstract
• Introduction: Although several studies have explored the relationship between learning and written tests, little is understood about how performance-based examinations influence learning. The purpose of this study was to explore how a formative objective structured clinical examination (OSCE) drives learning.Results: Participants' goals for the OSCE related to performance, mastery and feedback. Almost all participants reported that they had learned something from the OSCE (94%) and most participants generated learning goals after the OSCE (71%). High performers appeared to recognize the importance of content-related knowledge for scoring well before and after the OSCE, whereas low performers may have under-estimated its importance until after the examination.
• Discussion: Participants viewed a formative OSCE as both a hurdle to overcome (assessment of learning) and an opportunity to learn (assessment for learning). Understanding how OSCEs influence study behavior can help guide the development of assessments that promote learning.
• Methods: We administered surveys to residents (n = 35) at three time points to determine if and how an OSCE influenced their learning: before and immediately following the OSCE, and after the distribution of their results. Differences in quantitative responses between high- and low-performing residents and across time were compared using repeated-measures ANOVA. Thematic analysis was used to analyze narrative comments.

원하는 것을 측정하기 위한 OSCE 개발을 위한 12가지 팁(Med Teach, 2017)
Twelve tips for developing an OSCE that measures what you want
Vijay John Daniels & Debra Pugh

도입
Introduction

OSCE(Objective Structured Clinical Examination)는 1975년(Harden et al. 1975)에 처음 도입되었으며, 그 이후 지역 기관과 국가 고위험 검사 모두에서 임상 능력 평가에 OSCE가 광범위하게 사용되고 있다(Patrício et al. 2013). 
The Objective Structured Clinical Examination (OSCE) was first introduced in 1975 (Harden et al. 1975) and, since that time, OSCEs have been used extensively (Patrıcio et al. 2013) for assessing clinical skills, both at local institutions and on national high-stakes examinations. 

타당성에 대한 우리의 이해는 여러 개별 타당성 유형(예: 기준, 내용 유효성 등)에서 타당성에 대한 주장을 뒷받침하기 위해 다양한 근거 출처를 사용하는 구성 타당성의 통일적 개념으로 발전해 왔다.

• 첫째는 메식(Messick 1989)의 5가지 출처의 프레임워크를 통해
• 그리고 더 최근에는 케인(Kane)의 주장argument-기반 검증 접근법(Kane 2013)이다

Our understanding of validity has evolved from several separate types of validity (e.g. criterion, content validity etc.) to a unitary concept of construct validity in which various sources of evidence are used to support an argument for validity,

• first through Messick’s framework of the five sources (Messick 1989) and, more recently,
• through Kane’s argument-based approach to validation (Kane 2013). 

쿡 외 연구진(2015)이 요약한 바와 같이, 케인의 프레임워크는 관찰에서 평가에 기초한 의사결정에 이르기까지 유효한 해석을 보장하기 위한 4가지 핵심 단계에 초점을 맞춘다.

• 첫 번째 단계는 관찰된 성과를 점수(점수)로 변환하여 점수가 최대한 성과를 반영하도록 하는 것입니다.
• 두 번째 단계는 특정 검사에서 테스트 성능 환경(즉, 가능한 모든 동등한 테스트 – 일반화)에 이르는 점수를 일반화하는 것입니다.
• 세 번째는 테스트 환경에서의 성능을 실제 삶(Extrapolation)으로 외삽하는 것입니다.
• 마지막으로 네 번째 단계는 의사결정을 위한 정보의 해석입니다(함의implication). 

As summarized by Cook et al (2015), Kane’s framework involves focusing on four key steps to ensure valid interpretation from observation to making a decision based on the assessment.

• The first step is translation of an observed performance into a score (Scoring) ensuring the score reflects the performance as best as possible.
• The second step is generalizing the score from the specific examination to the test performance environment (i.e. all possible equivalent tests – Generalization).
• Third is extrapolating performance in the test environment to real life (Extrapolation).
• And finally the fourth step is the interpretation of this information for making a decision (Implications).

타당성에 대한 두 가지 주요 위협은 다음과 같다.

• 구인-대표성 부족(샘플링이 너무 적거나 부적절한 표본 추출)
• 구인-무관 분산(점수 변동을 초래하는 관심 구성과 관련이 없는 것)

The two main threats to validity are

• construct underrepresentation (too little sampling or inappropriate sampling) and
• construct-irrelevant variance (anything unrelated to the construct of interest that results in score variability). 

본 논문의 목적은 케인의 타당성 프레임워크의 렌즈를 통해 바라본 바와 같이 원하는 것을 측정하는 OSCE를 개발하기 위한 12가지 팁을 제공하는 것입니다. 12가지 팁은 OSCE를 개발할 때 사용할 수 있는 순서로 제시됩니다. 각 팁의 핵심 사항은 표 1에 요약되어 있습니다.
the purpose of this paper is to provide 12 tips for developing an OSCE that measures what you want, as viewed through the lens of Kane’s validity framework. The 12 tips are presented in the order they would be operationalized when developing an OSCE. Key points from each tip are summarized in Table 1,

팁 1 OSCE 결과의 용도를 결정합니다.
Tip 1 Decide on the intended use of the results from your OSCE

OSCE의 개발은 끝에서 시작해야 합니다. 결과를 가지고 어떤 결정을 내리게 됩니까? OSCE는 형성적입니까 아니면 총괄적입니까? 이 질문에 대한 답은 케인의 모델의 Implication 단계에 대한 증거를 제공합니다. 그리고 이 단계가 마지막이지만, 이러한 질문에 대한 답은 나머지 OSCE 개발의 틀을 만들 것이며, 따라서 이러한 질문들이 왜 먼저 이루어져야 하는지에 대한 것입니다. 예를 들어, 저부담의 시험은 학습자에게 피드백을 제공하는 데 사용되며, 이는 고부담의 임상실습후 및 국가 면허 시험과 달리, 개별적 코칭이나 재교육을 위하여 사용할 수 있다. 이러한 이유로 저부담 시험은 고부담 검사와 같은 수준의 점수 신뢰도가 필요하지 않으므로(Downing 2004) 더 짧은 검사가 가능하다. 
Development of an OSCE should begin with the end: What decisions will I make with the results?; Is the OSCE formative or summative? The answers to these questions provide evidence for the Implications stage of Kane’s model. And though this stage is last, the answers to these questions will frame the rest of OSCE development, and hence why they must be asked first. For example, a lower stakes exam would be used to provide feedback to learners, and could lead to individual coaching or remediation, compared to a higher stakes end-of-clerkship or national certification examination, that can result in repeating a clerkship or year of residency. For these reasons, a lower stakes exam does not require the same level of score reliability as a high stakes examination (Downing 2004), and so a shorter examination is possible. 

또 다른 참신한 디자인은 모든 응시자가 상대적으로 짧은 심사 참여가 요구되는 순차적 OSCE이다. 그런 다음, 사전에 정의된 표준이 미치지 못하는 사람만 전체 OSCE에 참여하여 기술을 평가해야 합니다.
Another novel design is the sequential OSCE in which all candidates would be required to participate in a relatively short screening examination. Then, only those who perform below a predefined standard would subsequently be required to participate in a full-length OSCE to assess their skills.

팁 2 OSE가 평가해야 할 항목 결정
Tip 2 Decide what your OSCE should assess

OSCE는 전체 컨텐츠 도메인을 평가하는 데 사용할 수 없습니다. 오히려 학습자가 습득해야 할 지식과 기술의 샘플을 평가하는 데 사용됩니다. OSCE가 교육 목표를 반영하도록 하려면 청사진을 작성하는 것이 중요합니다. 청사진blueprint 작성은 콘텐츠 전문가가 관심 구인contruct이 적절하게 대표되도록 하는 프로세스를 말합니다(Coderre 등). 2009). 
OSCEs cannot be used to assess an entire content domain. Rather, they are used to assess a sample of the knowledge and skills that learners are expected to have mastered. To ensure that an OSCE reflects educational objectives, blueprinting is key. Blueprinting refers to the process by which content experts ensure that constructs of interest are adequately represented (Coderre et al. 2009). 

따라서 한 OSCE 스테이션에서 보여준 퍼포먼스는 다른 상황에서의 병력청취 및 신체 검사 수행능력으로 일반화할 수 있습니다(Generalization). 각 스테이션의 길이는 보통 5분에서 10분 사이이다(Khan et al. 2013). 그러나 어떤 과제를 평가하느냐에 따라 더 길어질 수 있다. 
This helps to ensure that one can generalize performance on these stations to the learner’s ability to perform other history and physical examinations in an OSCE (Generalization). The length of each station is usually between five and ten minutes (Khan et al. 2013) but could be longer depending on what task is being assessed. 

시험 결과의 의도된 용도(즉, 낮은 위험 대 높은 위험)를 고려하여, 관심 구성을 적절하게 표본 추출할 수 있는 [충분한 수의 스테이션]이 있어야 한다. 국지적으로 개발된 저부담 시험은 8~10개의 스테이션도 괜찮은 반면, 고부담 OSCE는 허용 가능한 신뢰성을 달성하기 위해 14~18개의 스테이션이 필요할 수 있다(Khan et al. 2013). 
There must be enough stations to adequately sample the construct of interest, taking into account the intended use of the exam results (i.e. low versus high stakes). A lower stakes locally developed exam may have only eight to ten stations, whereas a high stakes OSCE may require 14-18 stations to achieve acceptable reliability (Khan et al. 2013). 

모든 CanMED 역할(Frank et al. 2015; Jefferies et al. 2007)을 평가하기 위해 OSCE가 사용되었지만, 본질적(즉, 비의료 전문가) 역할(예: 전문성, 협업 등)을 실제로 평가하는데 어려움이 있으며, 이는 테스트 성과가 실제 성과를 얼마나 잘 추정하는가에 영향을 미칩니다. 
Although OSCEs have been used to assess all of the CanMEDS roles (Frank et al. 2015; Jefferies et al. 2007), there are challenges in assessing the intrinsic (i.e. nonMedical Expert) roles authentically (e.g. professionalism, collaboration, etc.), which has an impact on how well the test performance extrapolates to real-world performance. 

평가에 대한 프로그램적 접근방식(Schwirth and van der Vleuten 2011)은 OSCE를 전체 평가 프레임워크의 한 부분으로 볼 것이다. 그러면 OSCE 개발을 안내할 수 있는 두 가지 질문이 제시됩니다. 

• (1) 전체 프로그램에서 중 어디에서 해당 스킬을 평가합니까? (혹은 평가할 수 있습니까?); 
• (2) OSCE에서 평가하기로 선택한 경우, 이를 authentic하게 평가할 수 있습니까?

A programmatic approach to assessment (Schuwirth and van der Vleuten 2011) would view an OSCE as one part of an overall assessment framework. This leads to two questions that can guide OSCE development:

• (1) Where else are (or could) skills be assessed in my overall program?; and
• (2) If I choose to assess this in an OSCE, can I do it authentically? 

팁 3 사례 개발
Tip 3 Develop the cases

OSCE에서 평가할 항목을 결정한 후에는 사례 개발을 신중하게 고려해야 합니다. 사례는 관심 임상 문제를 확실히 나타내기 위해 개발되어야 한다(Extrapolation). 후보자에 대한 지침에는 현재 문제와 관련된 정보, 과제 및 만남을 완료하기 위한 기간(Pugh 및 Smee 2013)이 포함되어야 한다.
Once you have decided what will be assessed by your OSCE, careful consideration should be given to case development. Cases should be developed to ensure that they authentically represent the clinical problem of interest (Extrapolation). Instructions to candidates should include information related to the presenting problem, a task, and a time-frame for completing the encounter (Pugh and Smee 2013).

사례는 OSCE 사례 개발 모범 사례(Pugh 및 Smee 2013)를 반영하기 위해 콘텐츠 전문가와 교육 전문가 모두의 검토를 거쳐야 합니다. 이러한 전문가는 검토 시 다음 질문을 고려해야 합니다. 

• (1) 과제가 명확합니까? (Scoring), 
• (2) 할당된 시간 내에 과제를 완료할 충분한 시간이 있습니까? (Extrapolation)
• (3) 사례가 임상 문제를 실제authentically로 나타냅니까?; (Extrapolation)
• (4) 난이도 수준이 학습자에게 적합한가? (Extrapolation)

이 단계에서 사례를 시범적으로 테스트하면 잠재적 문제를 식별하고 완화할 수 있습니다. 

Cases should undergo review by both content experts as well as educational experts to ensure that the cases reflect best practices of OSCE case development (Pugh and Smee 2013). These experts should consider the following questions in their review:

• (1) Is the task clear? (Kane’s Scoring stage);
• (2) Is there enough time to complete the task in the allotted time?;
• (3) Does the case authentically represent a clinical problem?; and
• (4) Is the level of difficulty appropriate for the learners? (the last three relate to Kane’s Extrapolation stage).

Pilot-testing of cases at this stage can help identify and mitigate potential issues. 

팁 4 OSCE가 후보자를 평가하는 방법 결정(점수 루빅)
Tip 4 Decide how your OSCE should assess candidates (the scoring rubric)

스코어링 루브릭의 개발은 OSCE 타당성에 대한 연구의 많은 부분이 집중된 분야입니다. 루브릭이 개발되거나 선택되는 방법에 대한 설명은 케인의 프레임워크에서 스코어링Scoring에 대한 중요한 타당성 증거를 제공할 수 있습니다. 
The development of scoring rubrics is an area where much of the research on OSCE validity has focused. A description for how rubrics were developed or selected can provide important validity evidence for Scoring in Kane’s framework. 

체크리스트는 관찰 가능한 행동(예: 흡연 이력에 대한 질문, JVP 식별 등)을 평가하는 데 사용됩니다. 체크리스트는 일반적으로 이분법(예: 했거나 하지 않았거나)이지만, 다분법(예: 잘 했거나 시도했지만 잘 안 했거나, 잘 안 했거나)일 수도 있다(Pugh, Halman, et al. 2016). 체크리스트는 매우 어린 의대생과 같은 목표가 아닌 한, 무작위 접근 방식rote approach을 사용하는 학습자에게 보상을 주지 않도록 주의 깊게 구성해야 합니다. 대부분의 학습자는 주제를 이해하는 학습자와 그렇지 않은 학습자를 구별하는 데 도움이 되는 항목(즉, 주요 특성 접근 방식)을 포함하려고 시도해야 합니다(Daniels et al. 2014). 
Checklists are used to assess observable behaviors (e.g. asked about smoking history, identified the JVP, etc.). Checklists are generally dichotomous (e.g. did or did not do), but they can also be polytomous (e.g. done well, attempted but not done well, not done) (Pugh, Halman, et al. 2016). Checklists should be carefully constructed to avoid rewarding learners who use a rote approach unless that is the goal, such as for very junior medical students. For most learners, there should be an attempt to include items that help to discriminate between learners who understand the subject matter and those who do not (i.e. a key features approach) (Daniels et al. 2014). 

병력이나 신체검사에서 임상적으로 구별되는 주요 특징에 초점을 맞추지 않고 [비특정 철저성nonspecific thoroughness]을 보상하는 긴 체크리스트를 사용하는 경우, 이는 사려 깊은 진단 전문가로서 의사들이 원하는 것에 대해 잘 추론하지 못할 것이다. 직관적으로 인식된 중요도에 기초하여 체크리스트 항목에 차등 가중치를 적용하는 것이 타당하지만, 가중치 항목은 전반적인 신뢰성이나 통과/실패 결정에 큰 영향을 미치지 않는 것으로 보인다(Sandilands et al. 2014). 

If one uses long checklists that reward nonspecific thoroughness as opposed to focusing on key clinically discriminating features in a history or physical examination, this will not extrapolate well to what we want in physicians as thoughtful diagnosticians. Although, intuitively, it makes sense to apply differential weights to checklist items based on their perceived importance, weighting items does not appear to affect overall reliability or pass/fail decisions significantly (Sandilands et al. 2014), 

팁 5 평가자 교육
Tip 5 Train your raters

Scoring에 대한 (타당도를) 추가적으로 지지하는 근거로는, 채점자가 의도한 대로 채점 루브릭을 해석했는지 확인하기 위해 교육받았다는 근거가 있다. 평가자에게는 OSCE의 목적, 학습자의 수준 및 학습자와 어떻게 상호작용해야 하는지에 대한 정보가 포함된 오리엔테이션을 제공해야 합니다(예: 학습자에게 프롬프트 또는 피드백을 제공할 수 있습니까?). 또한 체크리스트 항목에 대한 성공의 조작적 정의와 등급 척도에 대한 각 행동 앵커의 의미를 포함하여 채점 루브릭의 예를 제공해야 한다. 
Further support for Scoring includes evidence demonstrating raters were trained to ensure they interpreted scoring rubrics as intended. Raters should be provided with an orientation that includes information about the purpose of the OSCE, the level of the learners, and how they should interact with learners (e.g. can they provide prompts or feedback to learners?). They should also be provided with examples of the scoring rubrics, including the operational definition of success on any checklist items and the meaning of each behavioral anchor for rating scales. 

[기준 체계 훈련frame-of-reference]과 같은 보다 상세한 형태의 오리엔테이션은 때때로 평가자에게 제공되며, 여기에는

• 수행능력 차원performance dimension를 정의하여 원하는 성과에 대한 공유된 정신모델을 만들고
• 각 차원에 대한 행동의 예를 제공한 다음
• 평가자가 표본 퍼포먼스를 가지고 연습한 뒤 피드백을 받을 수 있도록 한다.

A more detailed form of orientation, such as frame-of-reference training, is sometimes provided to raters, which involves

• creating a shared mental model of the desired performance by defining performance dimensions,
• providing examples of behaviors for each dimension, and then
• allowing raters to practice and receive feedback on sample performances (Roch et al. 2012).

이 방법은 시간이 많이 소요될 수 있으며 일반적으로 고부담 시험에서만 주로 사용되지만, 채점에 대한 타당성Scoring 주장을 강화할 수 있습니다. 
This method can be time-consuming and is usually reserved for high-stakes examinations, but can strengthen the validity argument for scoring. 

원하지 않는 등급 점수 변동undesired variation은 [CIV construct irrelevant variance]을 초래할 수 있으므로 점수Scoring 추론의 타당성을 위협할 수 있다는 점을 명심해야 한다. 훈련에도 불구하고, 평가자들은 실수를 할 수 있다. 전통적으로 우리는 종종 일부 평가자를 다른 평가자(즉, 매와 비둘기)에 비해 지나치게 가혹하거나 관대한 것으로 생각하지만, 보다 최근의 연구는 평가자 변동성variability이 이보다 더 복잡하다는 것을 보여준다(Govaerts et al. 2013; Gingerich et al. 2014). 
It is important to remember that any undesired variation in rater scoring may introduce construct irrelevant variance and thus threaten the validity of scoring inferences made. Despite training, raters may make mistakes. Although traditionally we often think of some raters as excessively harsh or lenient compared to other raters (i.e. hawks and doves), more recent research demonstrates that rater variability is more complex than this (Govaerts et al. 2013; Gingerich et al. 2014). 


팁 6 표준화된 환자를 위한 스크립트 개발 및 교육
Tip 6 Develop scripts for and train standardized patients

대부분의 OSCE는 학습자가 임상 기술을 입증할 수 있도록 표준화된 환자(SP)를 사용합니다. [SP 교육에 대한 엄격하고 표준화된 접근 방식]은 SP 묘사portrayals 간의 차이를 줄이기 때문에 스코어링Scoring의 무결성integrity에 대한 추가적인 타당성 증거를 제공합니다. 
Most OSCEs employ the use of standardized patients (SPs) to allow learners to demonstrate their clinical skills. A rigorous and standardized approach to SP training provides further validity evidence for the integrity of Scoring as it reduces the variance between SP portrayals. 

SP에는 묘사portrayal를 안내하는 스크립트가 제공되어야 하며, 실제 환자에 기반한 스크립트가 진실성authenticity를 더해줄 수 있다. 병력청취의 경우, 스크립트에는 다음에 대한 세부 정보가 풍부하게 있어야 한다.

• 제시될 임상표현(타임라인과 및 관련 양성 음성 증상 포함)
• SP의 과거 의료 기록(의약품 사용 포함)
• 필요한 경우 사회력(예: 흡연 및 알코올 사용)을 참조하십시오.

SPs should be provided with a script to guide their portrayal, and basing the script on a real patient adds authenticity. For history stations, the script is relatively rich in details about:

• the presenting problem (including a timeline and pertinent positives and negatives);
• the SP’s past medical history (including medication use); and
• social history (e.g. smoking and alcohol use), as required.

최소한 모든 체크리스트 항목에 대해 스크립트로 작성된 답변이 있어야 하지만 학습자가 예상한 질문에 대한 답변이 제공되어야 합니다. 예상치 못한 질문에 대해 SP는 상황에 따라 "아니오" 또는 "잘 모르겠습니다"라고 대답하도록 교육할 수 있습니다. 반대로 신체검사 스테이션의 경우 세부사항이 적게 요구될 수 있지만, SP는 자극에 반응하도록 훈련될 수 있다(예: 복부 검사 시 경계, 관절의 움직임 범위 제한 등).

At a minimum, there should be a scripted answer for all checklist items, but there should be answers provided for any anticipated questions that learners might ask. For unanticipated questions, SPs can be trained to answer either “no” or “I’m not sure” depending on the context. In contrast, for physical examination stations, fewer details may be required, but SPs can be trained to react to stimuli (e.g. guarding during an abdominal examination, limited range of motion of a joint, etc.).

스크립트에 포함할 다른 세부 사항은 다음과 관련될 수 있습니다. 

• 인구 통계(예: 나이와 성별), 
• 방에서의 SP 시작 위치(예: 앉음 vs 누움), 
• 외모(예: 불안함 vs 침착함), 
• 행동(예: 협동함 vs 회피)

Other details to be included in the script may relate to

• demographics (e.g. age and gender),
• SP starting position in room (e.g. sitting vs lying down),
• appearance (e.g. anxious vs calm), and
• behavior (e.g. cooperative vs evasive).

평가자가 학습자의 문제 이해도를 더 잘 평가할 수 있도록 SP가 질문(예: "나에게 무슨 일이 일어나고 있는 것 같습니까?")하는 문항이나 프롬프트도 스크립트에 포함될 수 있습니다. 
The script may also include statements or prompts for the SP to ask (e.g. “What do you think is going on with me?”)to allow raters to better assess learners’ understanding of the problem. 

팁 7 데이터 수집 프로세스의 무결성 보장
Tip 7 Ensure integrity of data collection processes

데이터 수집에는 데이터 무결성을 보장하기 위한 일종의 품질 보장이 있어야 합니다. 이것은 시험 점수가 관측치를 반영한다는 추가 증거를 제공합니다(Kane의 채점Scoring 단계).
Data collection should have some sort of quality assurance to ensure data integrity. This provides further evidence that test scores reflect the observations (Kane’s Scoring stage).

OSCE를 진행하는 동안 직원은 평가자가 평가지를 올바르게 작성하는지(예: 항목을 건너뛰지 않는지) 주기적으로 확인하고, 질문이 있을 경우 이를 해결할 수 있습니다. OSCE가 끝난 후 컴퓨터에 점수를 수동으로 입력하는 경우, 정확한 데이터 입력을 위해 채점표 중 일부를 무작위로 확인해야 합니다. 스캔 가능한 점수표를 만들 수 있는 합리적인 가격의 소프트웨어 패키지가 있어 무작위 검증의 필요성을 줄이기는 하지만 없앨 수는 없습니다. 
During an OSCE, staff can periodically verify that raters are completing the rating instruments correctly (i.e. not skipping any items) and address any questions they might have. After the OSCE, if scores are manually entered into a computer, a random set of score sheets should be checked to ensure accurate data entry. There are reasonably-priced software packages that allow creating scannable score sheets which reduces, but does not eliminate, the need for random verification. 

일부 센터에서는 코멘트 작성 시간을 단축하고, 누락된 등급 척도 수를 줄여줄 수 있는 추가적인 장점이 있는 태블릿 및 eOSCE 시스템에 액세스할 수 있으며, 수량 피드백이 의 품질과 품질을 높일 수 있습니다(Daniels et al. 2016; Denison et al. 2016). 그러나 인터넷 기반 시스템에 대한 안정적인 인터넷 액세스와 태블릿 또는 eOSCE 시스템에 장애가 발생한 경우를 위한 백업 계획이 반드시 필요합니다. 
Some centers may have access to tablets and eOSCE systems that have an added advantage of reducing time to transcribe comments and number of missed rating scales, and can quantity feedback increase the and quality of (Daniels et al. 2016; Denison et al. 2016). However, having reliable internet access for internet-based systems, and back-up a plans for when tablet or the eOSCE system fails is imperative. 

결측 데이터에 대해 결정해야 합니다(예: 비어 있는 등급 척도). 
Decisions must be made about missing data (e.g. a rating scale that is left blank). 

마지막으로, 다른 평가와 마찬가지로, 테스트 보안 문제를 고려해야 합니다. 학습자의 능력을 정확하게 측정하려면 모든 학생이 평가에 대한 정보에 동등하게 액세스할 수 있어야 합니다. 시험 자료에 대한 무단 접근(예: 학생이 만든 유령 은행을 통해)은 OSCE의 점수 해석의 타당성을 위협하는 부당한 이점을 학습자에게 제공합니다. 

Finally, as with any assessment, one must consider the issue of test security. To ensure an accurate measurement of learners’ abilities, it is important that all students have equal access to information about the assessment. Unauthorized access to test materials (e.g. through student created ghost banks) provides learners with an unfair advantage that threatens the validity of the interpretation of scores from the OSCE. 

팁 8 표준 설정 접근법 선택
Tip 8 Choose a standard setting approach

표준 설정 방법(즉, cut score)의 선택도 평가의 Implication에 영향을 미치므로 점수 해석의 타당성을 뒷받침하기 위해 세심한 주의를 기울여야 한다. 부적절하게 높은 cut-score를 설정하면 실제로 능력이 있는 학습자가 낙제할 수 있고, 너무 낮은 cut-score를 설정하면, 약한 학습자가 자신의 능력에 대해 지나치게 자신감을 가질 수 있습니다. 이는 특히 합격-불합격 결정이 학습자, 교육자 및 환자에게 중요한 영향을 미치는 고부담 평가에 중요합니다.
The choice of standard-setting methods (i.e. cut score) also deserves careful attention in order to support the validity of score interpretations as this impacts the Implications of the assessment. Cut scores that are inappropriately high may result in failing learners who are actually competent, while cut scores that are too low may lead weak learners to be overly confident in their abilities. This is especially important for high-stakes assessments in which pass-fail decisions have important repercussions for learners, educators and patients.

컷 스코어를 설정할 때 gold-standard는 없지만 선택한 방법에 대한 자세한 근거를 제시해야 합니다. OSCE에 가장 일반적으로 사용되는 세 가지 기준 참조 방법은 Angoff, Borderline Group 및 Borderline Regression입니다. 
Although there is no gold standard when setting a cutscore, a detailed rationale for the method chosen should be provided. The three most common criterion-referenced methods used for OSCEs are Angoff, Borderline Group, and Borderline Regression. 

다음 결정은 전체 합격/불합격 결정이 전체 OSCE 점수만 기준으로 이루어져야 하는지, 또는 수험자가 최소 스테이션 수를 통과해야 하는지에 대한 것이다. 후자(conjunctive) 접근방식은 수험자가 광범위한 지식(즉, 여러 관측소의 낙제 성과는 다른 관측소에 대한 매우 강력한 성과로 보상될 수 없다는 것)을 입증하기 위해 일부 교육자가 선호한다(Homer et al. 2017). 
The next decision is whether the overall pass/fail determination should be based on the overall OSCE score alone, or if examinees must also pass a minimum number of stations. The latter (conjunctive) approach is favored by some educators, to ensure that examinees demonstrate a breadth of knowledge (i.e. that a failing performance on several stations cannot be compensated for by very strong performance on others) (Homer et al. 2017). 

팁 9 OSE가 가능한 모든 양식을 얼마나 잘 일반화하는지 고려합니다.
Tip 9 Consider how well the OSCE would generalize to all possible forms

또 다른 중요한 타당성 근거 출처는 결과의 일반화 가능성Generalizability과 관련이 있다. OSCE의 심리측정적 특성을 분석하여, 타당성 주장시 이 요소(generalizability)에 대한 지원을 제공할 수 있습니다.
Another important source of validity evidence relates to the Generalizability of the results. Support for this element of the validity argument can be provided by analyzing the psychometric properties of the OSCE.

점수의 신뢰성(즉, 재현성)은 타당성 증거의 중요한 요소입니다. 알파는 일반적으로 전반적인 신뢰성을 측정하고 문제가 있는 스테이션을 찾는 데 사용됩니다. 단일 스테이션의 성능에 기반하여 결정을 내리는 경우 스테이션 레벨에서 알파를 사용하여 신뢰성을 평가하고 문제가 있는 항목을 식별할 수 있습니다.    
The reliability (i.e. reproducibility) of scores is an important element of validity evidence. Alpha is usually used across stations to measure overall reliability and to look for problematic stations. If decisions are made based on the performance of a single station , then alpha can be usedat the station level to evaluate reliability and identify problematic items.    

OSCE는 본질적으로 다면적이기 때문에(예: 사람, 항목, 평가자, 트랙 등), 일반화가능도 이론(G-이론)은 종종 신뢰성을 계산하고 다양한 오류 발생원의 영향을 결정하는 데 선호된다. 그러나 G-이론은 측점당 여러 등급이 있는 경우에 가장 효과적이며, 그렇지 않은 경우에는 측점이 아닌 평점으로 인한 변동을 제거할 수 없습니다. 구문 기반 GENOVA(Crick and Brennan 1983)와 보다 사용자 친화적인 G-string IV(Bloch and Norman 2015)와 같은 G-스터디를 실행하는 데 무료로 사용할 수 있는 패키지가 있습니다. 
Because OSCEs are inherently multi-faceted (e.g. persons, items, raters, tracks, etc.), generalizability theory (G-theory) is often preferred for calculating reliability as well as determining the impact of the various sources of error. However, G-theory works best if there are multiple raters per station; otherwise, one cannot tease out the variance due to raters as opposed to due to the station. There are freely available packages for running G-studies such as the syntax-based GENOVA (Crick and Brennan 1983) and the more user friendly G-string IV (Bloch and Norman 2015). 

팁 10 검사와 다른 변수와의 상관 관계를 검토합니다.
Tip 10 Review the correlation of your examination with other variables

Tamblyn과 동료들은 라이선스 검사의 낮은 점수가 상담, 처방 및 유방 촬영 검사의 패턴으로 측정되는 낮은 임상 관행과 관련이 있음을 입증했다.
Tamblyn and colleagues demonstrated that lower scores on a licensing examination were associated with lower quality of clinical practice as measured by patterns in consultations, prescribing, and mammography screening.

이 데이터는 면허시험에서 케인의 추정Extrapolation 단계에 대한 증거를 뒷받침합니다. 
This data supports evidence along Kane’s Extrapolation stage of validity of that licensing exam. 

이 증거에서는, 일반적으로 [OSCE 점수를 다른 평가와 비교]하여 증거를 찾습니다. 예를 들어, Pugh와 동료들은 현지에서 개발된 [Internal Medicine OSCE progress test]의 성과가 높은 위험도 [내과 인증 시험의 점수]와 관련이 있음을 입증했습니다.
More commonly, evidence is sought by comparing OSCE scores to other assessments. For example, Pugh and colleagues demonstrated that performance on a locally developed Internal Medicine OSCE progress test correlated with scores on the high stakes Internal Medicine certification examination

모든 상관관계가 기관 외부의 데이터로 이루어질 필요는 없습니다. 로컬 데이터를 사용하여 OSCE 점수를 유사하거나 다른 역량을 측정하는 다른 평가와 상호 연관시킬 수 있습니다. 또 다른 분석에서는 OSCE가 더 많은 상급자 대 하급자를 차별하는지 여부를 조사할 수 있다.
Not all correlations need to be done with data external to the institution. Local data can be used to correlate OSCE scores to other assessments measuring similar and dissimilar competencies. Another analysis could examine if an OSCE discriminates more senior versus junior learners as this also provides validity evidence.

팁 11 OSE가 학습자에게 미치는 영향 평가
Tip 11 Evaluate the effects of the OSCE on learners

형성적이든 총괄적이든 평가가 학습을 촉진한다는 것을 알고 있습니다(Kane의 함의Implication 단계). 
Whether formative or summative, we know that assessment drives learning (Kane’s Implications stage). 

평가는 긍정적이고 부정적인 방식으로 학습에 영향을 미칠 수 있으며, 따라서 OSCE가 학습을 촉진하거나 방해하는 방법에 대한 증거를 찾아야 한다. 
assessment can influence learning in both positive and negative ways , and so one should seek evidence for how an OSCEis promoting or impeding learning. 

고려해야 할 질문은 다음과 같습니다. 

• OSCE는 학습에 어떤 영향을 미칩니까?; 
• 불합격 또는 합격한 학습자에게 수반하는 결과는 무엇입니까?
• 불합격자에게 재교육이 제공되는 경우, 재시험에서 성과가 개선된다는 증거가 있는가?
• OSCE는 커리큘럼의 후속 변화에 어떤 영향을 미칩니까(예: 많은 수의 후보자가 불합격할 경우), 반대로 커리큘럼의 변화는 OSCE 수행능력에 어떤 영향을 미칩니까?
• OSCE가 환자 치료에 어떤 영향을 미칩니까? 
• OSCE의 목적이 학습을 유도하는 것이라면, 학습자가 OSCE의 결과로 학습하고 있음을 보여주는 데이터가 있습니까? 

Questions to be considered include:

• How does the OSCE influence learning?;
• What are the outcomes of learners who fail versus pass?;
• If remediation is provided to those who fail, is there evidence that performance improves on a repeat assessment?;
• How does the OSCE influence subsequent changes in the curriculum (e.g. if a high number of candidates fail a station) and, conversely, do changes to the curriculum influence OSCE performance?; and finally,
• how does the OSCE influence patient care? 
• If the purpose of the OSCE is to drive learning, then is there data to show the learners are learning as a result of the OSCE? 

팁 12 전체 프로세스를 검토하여 유효성에 대한 위협을 찾습니다.
Tip 12 Review the entire process to look for threats to validity

타당성 주장은 평가의 해석과 사용을 제안한 후 유효성의 증거를 검토하는 반복적인 과정으로, 증거가 의도된 해석이나 사용을 뒷받침하지 않는 경우에는, 사용을 수정하거나 평가 과정을 개정한다. 이러한 상황은 평가가 목적에 부합하는지 확인하기 위해 [지속적으로 이뤄져야] 합니다. 이러한 [지속적인 품질 보증ongoing quality assurance]은 신뢰성과 같은 심리측정적인 면에만 초점이 맞춰지는 경우가 많지만, OSCE 개발의 모든 측면을 검토하여 케인 모델의 네 가지 단계와 관련된 문제를 찾아야 합니다. 
An argument for validity is an iterative process where one states the proposed interpretation and use of the assessment, then examines the evidence of validity, and if the evidence does not support the intended interpretation or use, either revise the use or revise the assessment process. This should continually happen to ensure the assessment is meeting its purpose. Too often this ongoing quality assurance is focused solely on psychometrics such as reliability, but all aspects of the development of an OSCE should be reviewed to look for issues related to each of the four stages of Kane’s model. 

종종 간과되는 일부 OSCE 지표로는 다음이 있다.

• 전체 불합격 또는 특정 스테이션 불합격 학생 비율(프로그램 평가 정보일 수 있음),
• 스테이션에서의 [(체크리스트) 합계 점수]와 [Global 등급 척도] 사이의 상관 관계(상관성이 낮으면 점수 시트 내용에 대한 우려가 높아짐) 및
• 동일한 스테이션이지만, 평가자 또는 위치에 차이가 있는 그룹 간의 비교

Some OSCE metrics that are often overlooked are

• the percent of students who fail overall or fail a specific station (can be program evaluation information),
• correlation between a station’s sum score and global rating scale (lower correlation raises concern about score sheet content), and
• comparisons between groups who same encounter the stations, but with differences such as raters or locations, (Pell et al. 2010). 

Fuller R, Homer M, Pell G, Hallam J. 2017. Managing extremes of assessor judgment within the OSCE. Med Teach. 39:58–66. 

Pugh D, Regehr G. 2016. Taking the sting out of assessment: is there a role for progress testing? Med Educ. 50:721–729. 

Yousuf N, Violato C, Zuberi RW. 2015. Standard setting methods for pass/fail decisions on high-stakes objective structured clinical examinations: a validity study. Teach Learn Med. 27:280–291. 

Med Teach. 2018 Dec;40(12):1208-1213.

 doi: 10.1080/0142159X.2017.1390214. Epub 2017 Oct 25.

Twelve tips for developing an OSCE that measures what you want

Vijay John Daniels 1, Debra Pugh 2

Affiliations collapse

Affiliations

• 1a Department of Medicine , University of Alberta , Edmonton , Canada.
• 2b Department of Medicine , University of Ottawa , Ottawa , Canada.

• PMID: 29069965
• DOI: 10.1080/0142159X.2017.1390214Abstract
• The Objective Structured Clinical Examination (OSCE) is used globally for both high and low stakes assessment. Despite its extensive use, very few published articles provide a set of best practices for developing an OSCE, and of those that do, none apply a modern understanding of validity. This article provides 12 tips for developing an OSCE guided by Kane's validity framework to ensure the OSCE is assessing what it purports to measure. The 12 tips are presented in the order they would be operationalized during OSCE development.

OSCE의 퀄리티 측정하기: 계량적 방법 검토 (AMEE Guide no. 49) (Med Teach)
How to measure the quality of the OSCE: A review of metrics – AMEE guide no. 49
GODFREY PELL, RICHARD FULLER, MATTHEW HOMER & TRUDIE ROBERTS
University of Leeds, UK

도입
Introduction

학문 분야에서 높은 수준의 의사결정을 지원하기 위해 사용되는 테크닉의 정밀 조사가 증가함에 따라, 준거 기반 평가(CBA)는 신뢰할 수 있고 구조화된 방법론적 접근방식을 제공한다. 역량 기반 방법론으로서, CBA는 '고부담' 종합 평가(예: 자격 수준 또는 학위 수준 검사)를 제공하고 신뢰성과 타당성을 모두 높은 수준으로 입증할 수 있도록 한다. 이러한 평가 방법론은 [절대평가적이고, 모든 지원자에 대해 신중하게 표준화되었으며, 평가가 성과 목표와 명확하게 설계되고 밀접하게 연관되어 있다는 점]에서 '전통적인' 비정형 평가(예: viva voce)에 비해 많은 주요 편익이 있다는 점에서 매력적이다. 이러한 목표는 커리큘럼 결과 및 적절한 경우 학생과 교사 모두가 이용할 수 있는 규제 및 면허 기관이 정한 표준에 대해 명확하게 매핑할 수 있다. 
With increasing scrutiny of the techniques used to support high-level decision-making in academic disciplines, criterion-based assessment (CBA) delivers a reliable and structured methodological approach. As a competency-based methodology, CBA allows the delivery of ‘high stakes’ summative assessment (e.g. qualifying level or degree level examinations), and the demonstration of high levels of both reliability and validity. This assessment methodology is attractive, with a number of key benefits over more ‘traditional’ unstructured forms of assessment (e.g. viva voce) in that it is absolutist, carefully standardised for all candidates, and assessments are clearly designed and closely linked with performance objectives. These objectives can be clearly mapped against curricular outcomes, and where appropriate, standards laid down by regulatory and licensing bodies that are available to students and teachers alike. 

OSCE(Objective Structured Clinical Examination)는 [사전 정의된 목표에 대한 '청사진' 과정 내용으로 시작]하는 복잡한 프로세스 내에서 CBA 원칙을 사용합니다(Newble 2004). 여기서의 목적은 '올바른' 표준이 평가되고 OSCE의 내용이 커리큘럼 결과에 객관적으로 매핑되도록 하는 것이다. 수행능력은

• 스테이션 수준에서
• 항목 체크리스트를 사용하여 개별(행위의 순서와 함께)적으로 평가되고,
• 전반적 등급으로 평가되는데, 이 때는 평가자에 의해 덜 결정론적 전체 평가에 의존한다(Cohen et al. 1997; Regehr et al. 1998). 

The Objective Structured Clinical Examination (OSCE) uses CBA principles within a complex process that begins with ‘blueprinting’ course content against pre-defined objectives (Newble 2004). The aim here is to ensure both that the ‘correct’ standard is assessed and that the content of the OSCE is objectively mapped to curricular outcomes. Performance is scored,

• at the station level,
• using an item checklist, detailing individual (sequences of) behaviours, and
• by a global grade, reliant on a less deterministic overall assessment by examiners (Cohen et al. 1997; Regehr et al. 1998). 

성공적인 CBA을 제공하려면 충분한 품질과 견고한 표준 설정이 보장되어야 하며, 단순히 후보 성과candidate outcome에 대한 좁은 초점이 아닌, [평가되는 수행능력을 전체적]으로 신중히 고려할 수 있는 [광범위한 메트릭]에 의해 뒷받침된다(Roberts et al. 2006). OSCE는 복잡하고 자원 집약적이며, 대개 많은 수의 검사자, 후보자, 시뮬레이터 및 환자가 참여하며, 종종 병렬 사이트에서 이루어지기 때문에 '평가에 대한 평가assessing the assessment'는 필수적입니다. 
Central to the delivery of any successful CBA is the assurance of sufficient quality and robust standard setting, supported by a range of metrics that allow thoughtful consideration of the performance of the assessment as a whole, rather than just a narrow focus on candidate outcomes (Roberts et al. 2006). ‘Assessing the assessment’ is vital, as the delivery of OSCEs are complex and resource intensive, usually involving large numbers of examiners, candidates, simulators and patients, and often taking place across parallel sites. 

학부생들의 임상 역량을 판단하는 데 있어 [어떤 하나의 평가]도 충분하지 않은 것처럼, [어떤 하나의 계량]도 그 자체로도 평가 과정의 질을 의미 있게 판단하기에 충분하지 않다.
No single metric is sufficient in itself to meaningfully judge the quality of the assessment process, just as no single assessment is sufficient in judging, for example, the clinical competence ofan undergraduate student

OSCE 평가 품질 이해: 통칙, 일반원칙
Understanding quality in OSCE assessments: General principles

OSCE 지표에 대한 검토는 OSCE 품질을 검토하는 전체 프로세스의 일부일 뿐이며, 이는 광범위한 평가 프로세스에서 모든 관계를 수용해야 한다는 것을 인식하는 것이 중요합니다(그림 1). 
It is important to recognise that a review of theOSCE metrics is only part of the overall process of reviewing OSCE quality, which needs to embrace all relationships in the wider assessment process (Figure 1). 

국가단위 시험에서 OSCE가 구조의 일부로 사용되는 경우 스테이션은 공통 표준에 따라 중앙에서 설계되고 일반적으로 중앙 관리부에서 제공합니다. 그러나, 특정 의과대학 내에서 설계된 평가와 같이 지역적 수준에서, 예를 들어, 일부 변동은 시험을 설정하는 기관의 중요성과 복잡성에 따라 달라질 것이다.
Where OSCEs are used as part of a national examination structure, stations are designed centrally to a common standard, and typically delivered froma central administration. However, at the local level with the assessment designed within specific medical schools, some variation, for example instation maxima will result dependant upon the importance andcomplexity of the station to those setting the exam

이 가이드는 주로 개별 의과대학 내 지역 수준에서 임상 평가에 참여하는 사람들을 대상으로 하며, 평가가 여러 분야에 걸쳐 이루어질 수 있지만 단일 투여이다. 국가 임상평가와 관련된 사람들은 다른 관점을 가질 가능성이 높다. 

This guide is aimed primarily at those involved with clinical assessment at the local level within individual medical schools, where, although the assessment may take place across multiple sights, it is a single administration. Those involved with national clinical assessments are likely to have a different perspective. 

합격선 설정 방법은 무엇입니까?
Which method of standard setting?

합격선 설정 방법에 따라 품질 평가에 사용할 수 있는 메트릭이 결정됩니다(Cizek & Bunch 2007;Strainer & Norman 2008). 
The method of standard setting will determine the metrics available for use in assessing quality (Cizek & Bunch 2007;Streiner & Norman 2008)

[합격선]이 방어가능하고 입증가능하며 수용가능해야 한다는 요구사항(Norcini 2003)이 있어서, 일반적으로 절대평가기준을 사용한다. 합격선 설정의 모든 방법은 많은 사후 측정 지표(예: 스테이션 통과율, 고정 효과(현장 간 평가 및 비교 시간) 또는 표시 분포 빈도)를 생성하지만, 추가 품질 측정치를 생성하는 합격선 설정 방법을 선택하는 것이 중요하다. 현재 많은 기관들이 경계선borderline을 선호하고 있지만, 회귀 방법regression만이 글로벌 성적과 체크리스트 점수 사이의 관계와 약자와 강자의 변별 수준을 어느 정도 알려줄 것이다.
With the requirement for standards to be defensible, evidenced and acceptable (Norcini 2003), absolute standards are generally used. Whilst all methods of standard setting will generate a number of post hoc metrics (e.g. station pass rates, fixed effects (time of assessment and comparison across sites)or frequency of mark distribution), it is important to choose a method of standard setting that generates additional quality measures. At present, a large number of institutions favour borderline, but only the regression method will give someindication of the relationship between global grade and checklist score and also the level of discrimination between weaker and stronger students.

Table 1 

저자들은 BLR 방법이 평가자와 후보자 간의 모든 평가 상호작용을 사용하기 때문에 선호하고, 이러한 상호작용은 '실제real'이다. 이는 많은 수의 평가자를 사용하여 사전 결정된 기준에 객관적으로 기반하며 광범위한 메트릭스를 생성합니다.  
The authors favour the BLR method because it uses all theassessment interactions between assessors and candidates, and these interactions are ‘real’. It is objectively based on pre-determined criteria, using a large number of assessors and generates a wide range of metrics.  

BLR 방법에서 평준화된 비판 중 하나는 이상치outliers에 민감하다는 것이다. 이러한 이상치는 세 가지 주요 그룹에서 발생합니다.  
One of the criticisms sometimes levelled at the BLR method is its possible sensitivity to outliers. These outliers occur in three main groups:  

. 성적이 매우 나쁘고 체크리스트 점수가 0에 가까운 학생. 
. Students who perform very badly and obtain a near zero checklist score. 

. 우수한 체크리스트 점수를 획득했지만 평가자에게 전체적으로 깊은 인상을 주지 못한 학생
. Students who achieve a creditable checklist score but whofail to impress the assessor overall. 

. 전반적 점수overall grade를 잘못 매기는 평가자.
. The assessor who gives the wrong overall grade.

스테이션 레벨 품질 메트릭을 생성하는 방법
How to generate station level quality metrics? 

표 2는 일반적인 OSCE의 측정 지표에 대한 '표준' 보고서를 자세히 설명합니다(2일 동안 20개 스테이션, 총 시험 시간 3시간, 4개 검사 센터에 분산). 
Table 2 details a ‘standard’ report of metrics from a typicalOSCE (20 stations over 2 days, total testing time  3 h, spreadover four examination centres). 

응시자는 다음으로 구성된 합격 프로필을 충족해야 합니다.

• 전체 합격 점수, 
• 통과된 스테이션의 최소 수(보상을 방지하고, 유능한 '올라운드' 의사 요건에 충실함)
• 수용가능한 환자 평가의 최소 수

Candidates are required to meet apassing profile comprising of

• an overall pass score,
• minimum number of stations passed (preventing compensation, and adding the fidelity to the requirement for a competent ‘all round’ doctor) and
• a minimum number of acceptable patient ratings.

평가자는 항목 체크리스트를 완료하고 전체 글로벌 등급(OSCE의 글로벌 등급은 0 = 클리어 실패, 1 경계선, 2단계 클리어 패스, 3단계 매우 우수한 합격 및 4단계 합격으로 숫자로 기록됨)  

Assessors complete and item checklist, and then an overall global grade (The global grades in our OSCEs arerecorded numerically as 0 = clear fail, 1¼borderline, 2¼clearpass, 3¼very good pass and 4 ¼excellent pass).  

합격선 설정에 BLR 방법이 사용되었습니다(Pell & Roberts 2006). 일반적으로 이러한 OSCE는 약 60,000개의 데이터 항목을 생성합니다. 
The BLR method was used for standard setting (Pell &Roberts 2006). Typically such an OSCE will generate roughly 60,000 data items 

체크리스트 점수와 더불어 글로벌 등급이 부여되는 합격선 설정의 경계선 방법에서는 함께 제공되는 메트릭이 평가의 품질을 측정하는 데 유용합니다. 에벨과 앙고프 처럼 전역 등급global grade이 합격선 설정 절차의 일부를 형성하지 않는 다른 유형의 합격선 설정의 경우, 등급 간 변별 및 결정 계수(R2)는 적용되지 않는다(Cusimano 1996). 

Under any of the borderline methods of standard setting, where a global grade is awarded in addition to the checklist score, accompanying metrics are useful in measuring the quality of the assessments. For other types of standard setting, where such a global grade does not form part of the standard setting procedure, e.g. Ebel and Angoff, inter-grade discrimination and coefficient of determination (R2) will not apply (Cusimano 1996). 

계량 1: 크론바흐의 알파
Metric 1: Cronbach’s alpha

이것은 내적 일관성(일반적으로 완전히 정확한 것은 아니지만 '신뢰성'으로 생각됨)의 척도이며, 좋은 평가에서는 전반적으로(즉, 각 스테이션의 체크리스트 점수에 대해) 우수한 학생이 대체로 비교적 잘 해야 한다. 두 가지 형태의 알파(비표준화 또는 표준화)를 계산할 수 있으며, 이 가이드에서는 [비표준화 양식](SPSS의 기본 설정)을 참조합니다. 이 값은 [분산에 의해 가중치가 부여된 평균 상호 상관 관계]에 대한 측도로, 후보와 교차하는 단순 항목의 G-계수와 동일한 값을 산출합니다. 표준화된 환자와 실제 환자가 사용되고 개별 스테이션 지표가 표준화되지 않은 경우, 일반적으로 이러한 유형의 고부담 평가에서 허용 가능한 것으로 간주되는 알파의 (전체) 값은 0.7 이상이다. 
This is a measure of internal consistency (commonly, though not entirely accurately, thought of as ‘reliability’), whereby in a good assessment the better students should do relatively well across the board (i.e. on the checklist scores at each station). Two forms of alpha can be calculated – non-standardised or standardised – and in this guide we refer to the nonstandardised form (this is the default setting for SPSS). This is a measure of the mean intercorrelation weighted by variances, and it yields the same value as the G-coefficient for a simple model of items crossed with candidates. The (overall) value for alpha that is usually regarded as acceptable in this type of high stakes assessments, where standardised and real patients are used, and the individual station metrics are not standardised, is 0.7 or above. 

스테이션 메트릭이 [표준화된 경우] 더 높은 알파가 예상됩니다. 이 스테이션 집합에 대한 알파는 0.754였으며, (표 2의 두 번째 열에서) 비록 스테이션 17과 20이 이 점에서 거의 기여하지 못했지만, 전체적인 '신뢰성'에서 벗어난 스테이션은 없음을 알 수 있다. 
Where station metrics are standardised, a higher alpha would be expected. Alpha for this set of stations was 0.754, and it can be seen (fromthe second column of Table 2) that no station detracted from the overall ‘reliability’, although stations 17 and 20 contributed little in this regard. 

알파는 평가 항목 수에 따라 증가하는 경향이 있으므로, 항목/스테이션이 잘 수행되었다면, 특정 항목이 삭제된 경우, 알파는 전체 알파 점수보다 모두 낮아야 합니다. 그렇지 않은 경우에는 다음과 같은 이유로 인해 발생할 수 있습니다. 
Since alpha tends to increase with the number of items in the assessment, the resulting alpha if item deleted scores should all be lower than the overall alpha score if the item/ station has performed well. Where this is not the case, this may be caused by any of the following reasons: 

. [(삭제한) 아이템]이 나머지 항목 집합과 다른 구조를 측정하는 경우
. The item is measuring a different construct to the rest of the set of items.

. [(삭제한) 아이템]의 디자인이 불량한 경우
. The item is poorly designed. 

. [교육]에 문제가 있는 경우. 시험 주제가 제대로 학습되지 않았거나 응시자 그룹 간에 다른 기준에 따라 학습한 경우
. There are teaching issues – either the topic being tested has not been well taught, or has been taught to a different standard across different groups of candidates.  

. [평가자]들이 공통의 기준에 따라 평가하지 않은 경우
. The assessors are not assessing to a common standard.

그러나 평가 품질의 척도로 알파에만 의존할 수는 없습니다. 우리가 표시했듯이, 아이템 수가 증가하면 알파도 증가하게 되고, 따라서 단순히 아이템 수에서 충분한 길이를 갖는 것만으로 실제보다 균질해 보이는 척도를 만들 수 있습니다. 즉, 구별되는 구조를 측정하는 두 척도를 결합하여 하나의 긴 척도를 형성하면 잘못된 알파가 발생할 수 있습니다. 또한 항목 집합은 높은 알파를 가질 수 있지만 다차원적일 수 있습니다. 이러한 현상은 [클러스터 자체]가 딱히 서로 상관관계가 높지 않더라도, 서로 상관관계가 높은 [항목 클러스터(즉, 개별 차원 측정)]가 있을 때 발생합니다.
However, one cannot rely on alpha alone as a measure of the quality of an assessment. As we have indicated, if the number of items increases, so will alpha, and therefore a scale can be made to look more homogenous than it really is merely by being of sufficient length in terms of the number of items it contains. This means that if two scales measuring distinct constructs are combined, to form a single long scale, this can result in a misleadingly high alpha. Furthermore, a set of items can have a high alpha and still be multidimensional. This happens when there are separate clusters of items (i.e. measuring separate dimensions) which intercorrelate highly, even though the clusters themselves particularly do not correlate with each other highly.

알파가 너무 높아(예: >0.9) 평가에서 중복성을 나타낼 수 있는 반면, 낮은 알파 점수는 때로는 잘못 설계된 스테이션의 결과라기 보다는 스테이션 평균 점수의 큰 차이로 인한 것일 수 있다.
It is also possible for alpha to be too high (e.g. 40.9), possibly indicating redundancy in the assessment, whilst low alpha scores can sometimes be attributed to large differences in station mean scores rather than being the result of poorly designed stations.

우리의 철학은 알파를 포함한 하나의 메트릭만으로는 품질을 판단하는 데 항상 불충분하며, 알파는 높지만 다른 메트릭은 낮은 OSCE의 경우에는 이것이 고품질 평가를 나타내지 않는다는 것입니다.

Our philosophy is that one metric alone, including alpha, is always insufficient in judging quality, and that in the case of an OSCE with a high alpha but other poor metrics, this would not indicate a high quality assessment.

계량 2: 결정 계수 R2
Metric 2: Coefficient of determination R2

R2 계수는 독립 변수(글로벌 등급)의 변경으로 인한 종속 변수(체크리스트 점수)의 비례적 변화입니다. 이를 통해 우리는 체크리스트 점수와 각 스테이션의 전체 글로벌 등급 사이의 (선형) 상관 관계의 정도를 결정할 수 있으며, 전반적으로 전체 등급이 높을수록 일반적으로 더 높은 체크리스트 점수와 일치할 것으로 예상합니다. 결정 계수의 제곱근은 단순 Pearsonian 상관 계수입니다. SPSS 및 기타 통계 소프트웨어 패키지는 또한 R2의 조정 값을 제공하며, R2는 표본 크기와 모델의 예측 변수 수를 고려합니다(이 경우 1개). 이상적으로 조정된 값은 조정되지 않은 값에 가까워야 합니다.  

The R2 coefficient is the proportional change in the dependent variable (checklist score) due to change in the independent variable (global grade). This allows us to determine the degree of (linear) correlation between the checklist score and the overall global rating at each station, with the expectation that higher overall global ratings should generally correspond with higher checklist scores. The square root of the coefficient of determination is the simple Pearsonian correlation coefficient. SPSS and other statistical software packages also give the adjusted value of R2, which takes into account the sample size and the number of predictors in the model (one in this case); ideally, this value should be close to the unadjusted value. 

좋은 상관관계(R2 > 0.5)는 체크리스트 점수와 전역 성적 사이의 합리적인 관계를 나타내지만, 지나치게 상세한 global description가 단순히 해당 체크리스트 점수로 자동 변환되어 R2가 인위적으로 부풀어 오르지 않도록 주의해야 한다. 표 2에서, 스테이션 14(실용 및 의료-법률적 기술 스테이션)의 R2 값은 0.697로 양호하며, 이는 학생들의 글로벌 등급 변동 중 69.7%가 체크리스트 점수의 변동에 의해 설명됨을 의미한다. 반대로 스테이션 19는 R2 값이 0.404로 만족도가 낮습니다. 환자의 안전과 바늘 부상 관리에 초점을 맞춘 새로운 스테이션이었다. R2가 낮았던 이유를 이해하려면 (예: SPSS 원곡선 추정을 사용하여) 관계를 그래픽으로 검토하여 체크리스트와 전역 등급 간 연관성의 정확한 특성을 조사하는 것이 도움이 됩니다(그림 2). 
A good correlation (R240.5) will indicate a reasonable relationship between checklist scores and global grades, but care is needed to ensure that overly detailed global descriptors are not simply translated automatically by assessors into a corresponding checklist score, thereby artificially inflating R2. In Table 2, station 14 (a practical and medico-legal skills station) has a good R2 value of 0.697, implying that 69.7% of variation in the students’ global ratings are accounted for by variation in their check list scores. In contrast, station 19 is less satisfactory with an R2 value of 0.404. This was a new station focusing on patient safety and the management of a needlestick injury. To understand why R2 was low, it is helpful to examine the relationship graphically (e.g. using SPSS Curve estimation) to investigate the precise nature of the association between checklist and global grade (Figure 2). 

스테이션 지표에 관계없이 항상 글로벌 등급에 대한 체크리스트 점수의 산포 그래프scatter plot를 일상적으로 표시할 것을 권장합니다. 
We would recommend always plotting a scatter graph of checklist marks against global ratings as routine good practice, regardless of station metrics. 

스테이션 19에서 우리는 두 가지 주요 문제가 있음을 알 수 있습니다. 즉, 각 글로벌 등급에 대한 광범위한 점수분포와 불합격 등급(X축에 0)이 부여된 매우 광범위한 점수분포입니다. 이는 일부 학생이 항목 체크리스트에서 많은 점수를 획득했지만, 전반적인 성과로 인해 평가자의 글로벌 낙제점수로 이어질 수 있다는 것을 나타냅니다. 
In station 19, we can see that there are two main problems – a widespread of marks for each global grade, and a very widespread of marks for which the fail grade (0 on the x-axis) has been awarded. This indicates that some students have acquired many of the marks from the item checklist, but their overall performance has raised concerns in the assessor leading to a global fail grade. 

'소개' 부분에서는 특이치outlier가 회귀법에 미치는 영향을 설명했습니다. 좋지 않은 체크리스트 점수의 예는 그림 3에서 확인할 수 있다. 다른 스테이션에서는 어떤 응시자가 체크리스트 점수에서 아주 낮은 경우를 것을 볼 수 있습니다. 이렇게 하면 [y축 회귀 절편 값을 줄이고 회귀선의 기울기를 늘리는 효과]가 있습니다. 표 2에 표시된 데이터의 경우, 특이치를 제거하고 통과 점수와 개별 스테이션 통과 점수를 재계산하면 차이가 거의 없어져 통과 점수가 0.2% 미만으로 증가합니다.
In ‘Introduction’ section, we raised the impact of outliers on the regression method. Examples of poor checklist scores but with reasonable grades can be observed in Figure 3. In other stations, we sometimes see candidates scoring very few marks on the checklist score. This has the effect of reducing the value of the regression intercept with the y-axis, and increasing the slope of the regression line. For the data indicated in Table 2, the removal of outliers and re-computation of the passing score and individual station pass marks makes very little difference, increasing the passing score by less than 0.2%.

이러한 체크리스트 점수와 전역global 등급 간의 만족스럽지 못한 관계는 첨부 표 3(SPSS에서 제작)에서 알 수 있듯이 어느 정도 비선형성을 유발하며, 여기서 최상의 적합이 분명히 cubic이라는 것이 그래픽적으로 명백하다. 수학적으로 말하면 cubit이 항상 더 나은 적합치를 생성하지만, parsimony를 중시한다면, 고차 모형을 선호하기 위해서는 두 적합치 사이의 차이가 통계적으로 유의해야 한다.
This unsatisfactory relationship between checklist marks and global ratings causes some degree of non-linearity, as demonstrated in the accompanying Table 3 (produced by SPSS), where it is clear graphically that the best fit is clearly cubic. Note that mathematically speaking, a cubic will always produce a better fit, but parsimony dictates that the difference between the two fits has to be statistically significant for a higher order model to be preferred.

중요한 점은 cubic이 기본적인 관계의 결과인지, 아니면 비정상적인 결과인지 여부이며, 이 결과가 부적절한 체크리스트 설계 또는 허용할 수 없는 평가자 채점 행동으로 인한 결과인지 여부이다. 이러한 판단을 할 때, 산란도scattergraph에 표시된 표시의 분포를 검토해야 한다. 우리 자신의 경험에 따르면 스테이션 지표가 일반적으로 품질이 양호한 경우 엄격한 선형성으로부터의 이탈은 우려의 원인이 되지 않습니다. 
The key point to note is whether the cubic expression is the result of an underlying relationship or as a result of outliers, resulting from inappropriate checklist design or unacceptable assessor behaviour in marking. In making this judgement, readers should review the distribution of marks seen on the scattergraph. Our own experience suggests that where stations metrics are generally of good quality, a departure from strict linearity is not a cause for concern. 

특정 스테이션에 [낮은 R2 값]이 존재하거나 특정 등급에 대한 점수분포가 광범위하다면, 항목 점검표 및 스테이션 설계를 검토하는 데 도움이 될 것이다. 이 특별한 경우, 스테이션에서는 안전하고 효과적인 관리에 대한 핵심적 강조가 의도되었지만, 이러한 지표에 비추어 체크리스트를 재평가한 결과 이러한 강조가 잘 표현되지 않았다. 점수가 낮은 응시자들은 '과정process'에서 많은 점수를 획득할 수 있었지만, 스테이션의 더 고차원적 기대(의사 결정의 초점)를 충족하지 못한 것이 분명하다. 이는 본 스테이션의 재작성 및 점검표를 통해 해결되었으며, 본 스테이션의 재이용 계획 및 향후 OSE 내 성과에 대한 후속 분석을 통해 해결되었습니다. 
The existence of low R2 values at certain stations and/or a widespread of marks for a given grade should prompt a review of the item checklist and station design. In this particular case, although there was intended to be a key emphasis on safe, effective management in the station, re-assessment of the checklist in light of these metrics showed that this emphasis was not well represented. It is clear that weaker candidates were able to acquire many marks for ‘process’ but did not fulfil the higher level expectations of the station (the focus on decision making). This has been resolved through a re-write of the station and the checklist, with plans for re-use of this station and subsequent analysis of performance within a future OSCE. 


계량 3: 등급 간 변별
Metric 3: Inter-grade discrimination

이 통계량은 회귀선의 기울기를 나타내며 [전역global 등급 척도에서 한 등급 상승에 해당하는 체크리스트 점수]의 평균 증가를 나타냅니다. '이상적' 값에 대한 명확한 지침은 없지만, 이 변별지수는 이용 가능한 최대 체크리스트 마크(데이터에서 일반적으로 30–35)의 10분의 1이 되어야 한다고 권고한다. 
This statistic gives the slope of the regression line and indicates the average increase in checklist mark corresponding to an increase of one grade on the global rating scale. Although there is no clear guidance on ‘ideal’ values, we would recommend that this discrimination index should be of the order of a tenth of the maximum available checklist mark (which is typically 30–35 in our data). 

낮은 등급 간 변별은 종종 다음과 같은 관측소에 대한 다른 좋지 않은 지표와 함께 동반된다.

• 낮은 R2 값(등급과 체크리스트 점수 사이의 전반적인 관계가 좋지 않음을 나타냄) 또는
• 높은 수준의 평가자 오차 분산(섹션 '측정지표 5: 그룹 간 변동'): 평가자가 공통 표준을 사용하지 못한 경우 

A low value of inter-grade discrimination is often accompanied by other poor metrics for the station such as

• low values of R2 (indicating a poor overall relationship between grade and checklist score), or
• high levels of assessor error variance (Section ‘Metric 5: Between-group variation’) where assessors have failed to use a common standard.

[성적 간 변별intergrade discrimination 수준이 너무 높으면] 합격점이 매우 낮거나 회귀선을 가파르게 만드는 소수의 불량 학생으로 인해 선형성이 부족하다는 의미일 수 있다. 체크리스트 점수의 측면에서 매우 낮은 학생 성적이 발생할 경우, 하향으로 전체 합격 점수에 과도한 영향을 미치지 않도록 매우 낮은very low 점수를 합격선 설정에서 제외해야 하는지 고려할 필요가 있습니다. 

Too high levels of intergrade discrimination may indicate either a very low pass mark, or a lack of linearity caused by a small number of badly failing students who tend to steepen the regression line. Where very poor student performance in terms of the checklist score occurs, consideration needs to be given to whether these very low scores should be excluded from standard setting to avoid excessive impact on overall passing scores in a downward direction. 

표 2에 대한 변별로 돌아가면, 비록 변별 값이 5를 초과하는 세 개의 스테이션이 있지만(예: 스테이션 14) 등급 간 값은 스테이션 전체에 걸쳐 일반적으로 허용될 수 있음은 분명하다. 
Returning discrimination to Table 2, it is clear that the inter-gradevalues are generally acceptable across thestations (station maxima being in the region of 30–35 marks), although there are three stations with discrimination values inexcess of 5 (e.g. station 14 

변별도 메트릭에 기반해서 스테이션의 퍼포먼스가 의심스러운 경우, [분산 및 곡선 추정의 R2 척도]로 복귀하는 것이 유용한 경우가 많습니다. 표 2에서, 스테이션 14는 등급 간 변별이 가장 높으며, 그림 3에서 대부분의 글로벌 등급이 다시 광범위한 표시, 특히 명확한 통과 등급 값 2를 포함하지만, 이 값 중 낮은 것은 분명히 특이치임을 알 수 있습니다. 나머지 스테이션 지표가 허용 가능하기 때문에, 이 스테이션은 변경되지 않을 수 있지만 후속 평가에 사용될 때 주의 깊게 모니터링되어야 합니다. 

Where there is doubt about a station in terms of its performance based on the discrimination metric, returning to the R2 measure of variance and curve estimation is often instructive. In Table 2, station 14 has the highest inter-grade discrimination, and it can be seen in Figure 3 that most global grades again encompass a wide range of marks, especially the clear pass grade – value 2 on the x-axis, ranging from 4 to 27, but that the lower of these values are clearly outliers. As the rest of the station metrics are acceptable, this station can remain unchanged but should be monitored carefully when used in subsequent assessments. 

메트릭 4: 실패 횟수
Metric 4: Number of failures

[비정상적으로 높은 Failure 횟수]만을 가지고 스테이션이 너무 어렵다는 것을 나타내는 것이라고 자동으로 가정하는 것은 실수입니다. 경계선 방식의 필수 요소인 '현실 점검reality check'이 스테이션 난이도 상당 부분을 보완할 것으로 보인다. 이는(reality check은) 최소의 역량을 갖춘 학생의 예상 성과에 대한 글로벌 등급을 결정하기 위해 [훈련된 평가자가 내린 전문가의 판단]을 나타냅니다.
It would be a mistake to automatically assume that an unusually high number of failures indicate a station that is somehow too difficult. The ‘reality check’, which is an essential part of borderline methods, will to a large extent compensate for station difficulty. This represents the expert judgement made by trained assessors in determining the global rating against the expected performance of the minimally competent student. 

앞에서 설명한 것처럼, 다른 심리측정 데이터가 문제를 식별하기 위해 스테이션 설계 및 성능을 조사하는 데 사용될 수 있습니다. 불합격률은 특정 주제에 대한 teaching이 바뀐 영향을 검토하는 데 사용될 수 있으며, 그러한 비율의 높은 값은 내용 및 교수 방법에 대한 검토가 과정 설계에 도움이 될 수 있는 위치를 나타낸다. 

As previously described, other psychometric data can be used to investigate station design and performance in order to identify problems. Failure rates may be used to review the impact of a change in teaching on a particular topic, with higher values of such rates indicating where a review of content and methods of teaching can help course design. 

메트릭 5: 그룹 간 변동(평가자 효과 포함)
Metric 5: Between-group variation (including assessor effects)

OSCE와 같은 복잡한 평가 준비에서 비롯된 데이터에 대한 분석을 수행할 때, 학생들은 필요에 따라 실용적인 목적을 위해 여러 그룹으로 세분화되며, 설계가 완전히 무작위화되는 것이 필수적입니다. 그러나 (시간이 더 많이 필요하고 별도의 주기 내에 독점적으로 관리해야 하는 특수한 요구 사항 학생들을 처리하는 등) 물류 문제의 관리가 항상 가능하지 않을 때도 있다. 모든 [비랜덤 부분군non-random subgroups]은 주요 가정으로 데이터의 랜덤성에 의존하는 통계 기반 분석 유형에서 제외해야 합니다. 
When performing analysis on data resulting from complex assessment arrangements such as OSCEs, where, by necessity, the students are subdivided into groups for practical purposes, it is vital that the design is fully randomised. Sometimes, however, this is not always possible, with logistical issues including dealing with special needs students who may require more time and have to be managed exclusively within a separate cycle. Any non-random subgroups must be excluded from statistically-based types of analysis that rely on randomness in the data as a key assumption. 

[이상적인 평가 프로세스]에서 모든 점수 변동은 [학생의 수행능력 차이]로 인해 생겨야 하며, 아래와 같은 것이 원인이 되어서는 안 된다.

• 환경(예: 배치 또는 장비의 국부적 변화),
• 위치(예: 임상 조건 관리를 위한 지역 정책이 서로 다른 병원 기반 현장) 또는
• 평가자 태도의 차이(즉, 매와 비둘기)

In the ideal assessment process, all the variation in marks will be due to differences in student performance, and not due to differences in

• environment (e.g. local variations in layout or equipment),
• location (e.g. hospital-based sites having different local policies for management of clinical conditions) or
• differences of assessor attitude (i.e. hawks and doves).

이러한 효과를 측정하는 방법에는 측점에 대해 일원 분산 분석(예: 평가자를 고정 효과로 사용)을 수행하거나 그룹별 총 분산 비율을 계산하는 두 가지가 있습니다. 일반적으로 회로에 특정한circuit-specific 분산의 비율로 제공되지만, 후자에서는 위에서 언급한 다른 가능 요인들과 구별되는 학생 성과로 인한 체크리스트 점수의 변동 비율을 추정할 수 있습니다.

There are two ways of measuring such effects, either by performing a one-way analysis of variance (ANOVA) on the station (e.g. with the assessor as a fixed effect) or by computing the proportion of total variance which is group specific. The latter allows an estimation of the proportion of variation in checklist scores that is due to student performance as distinct from other possible factors mentioned above, although this is usually given as the proportion of variance which is circuit specific. 

분산 성분을 계산하면 그룹(즉, 회로)을 랜덤 효과로 사용하여 그룹에 특정된 분산 비율을 계산할 수 있습니다. 이는 그룹 간 평가 프로세스의 균일성을 매우 잘 나타내므로 매우 강력한 메트릭입니다. 계산도 비교적 간단하다. 이상적으로는 그룹 간 분산이 30% 미만이어야 하며 40%를 초과하는 값이 나오면 검토가 필요하다. 40% 이상의 값은 학생 성과보다는 평가자 행동 및 기타 회로 특정 특성으로 인해 발생하는 스테이션 수준에서의 잠재적인 문제를 나타냅니다.
If the variance components are computed, using group (i.e. circuit) as a random effect, then the percentage of variance specific to group can be computed. This is a very powerful metric as it gives a very good indication of the uniformity of the assessment process between groups. It is also relatively straightforward to calculate. Ideally between-group variance should be under 30%, and values over 40% should give cause for concern, indicating potential problems at the station level due to inconsistent assessor behaviour and/or other circuit specific characteristics, rather than student performance.

표 2에서 스테이션 6, 17 및 19는 그룹 간 분산 수준이 가장 높은 이 메트릭과 관련된 원인을 제공합니다. 또한 스테이션 6는 R2도 불량이며, 이 스테이션의 불량 메트릭스의 전체적인 조합은 불량 R2가 아마도 불량한 체크리스트 설계 때문일 것이라는 것을 말해줍니다. 
From Table 2, stations 6, 17 and 19 give cause for concern with regard to this metric, with the highest levels of betweengroup variance. In addition, station 6 has a poor R2, and the overall combination of poor metrics at this station tells us that the poor R2 was probably due to poor checklist design. 

(6번 스테이션의) 체크리스트는 약한 응시자들이 '과정'을 통해서만 높은 점수를 얻을 수 있는 낮은 수준의 기준들로 구성된 것으로 밝혀졌다. 따라서 스테이션을 재설계할 때 당초 의도한 대로 높은 수준의 프로세스를 쉽게 평가하기 위해 낮은 수준의 기준을 여러 개 청크 처리(즉, 상위 수준의 기준을 형성하기 위해 함께 묶음)하였다.

the checklist was found to consist of a large number of lowlevel criteria where weaker candidates could attain high scores through ‘process’ only. Hence, in redesigning the station, a number of the low-level criteria were chunked (i.e. grouped together to form a higher level criterion) in order to facilitate the assessment of higher level processes as originally intended. 

스테이션 17은 이야기가 조금 다르다. (높은) 그룹 간 변동을 양호한 R2와 결합해서 판단했을 때, 평가자들이 그룹 내에서 일관되게 표시하고 있지만 그룹 간에 뚜렷한 매와 비둘기 효과가 있음을 나타내기 때문이다. 이러한 경우에는 일원 분산 분석 분석을 통해 이것이 개별 평가자인지 또는 현장 현상인지를 파악하여 이 문제를 추가로 조사해야 합니다. 서로 다른 부지에 귀속되는 분산의 양은 위에서 설명한 것처럼 스테이션 간 분산의 간단한 계산에 포함된다. 
Station 17 tells a different story, as the good R2 coupled with the high between-group variation indicates that assessors are marking consistently within groups, but that there is a distinct hawks and doves effect between groups. In such a case, this ought to be further investigated by undertaking a one-way ANOVA analysis to determine whether this is an individual assessor or a site phenomenon. The amount of variance attributable to different sites is subsumed in the simple computation of within-station between-group variance as describe above. 

그러나 모집단이 상당히 많은 경우 분산 분석을 개별 관측소에 적용하면 많은 그룹에 걸친 다중 유의성 검정으로 인한 유형 I 오차의 결과로 인해 적어도 하나의 유의한 결과가 나타날 수 있으므로 단일 측정 기준에 근거하여 판단할 때 주의를 기울여야 합니다. 
However, care needs to be exercised in making judgements based on a single metric, since, with quite large populations, applying ANOVA to individual stations is likely to reveal at least one significant result, as a result of a type I error due to multiple significance tests across a large number of groups 

메트릭 6: 군간 분산(기타 효과)
Metric 6: Between group variance (other effects)

일원 분산 분석은 또한 [다중 사이트 평가]가 발생할 수 있는 [대규모 코호트]가 있는 일부 의과대학 및 관련 교습병원에서처럼 평가자 또는 학생 중 한 명이 랜덤하게 할당되지 않은 경우에도 사용할 수 있습니다. 이러한 복잡한 배치로 인해 임상 직원이 작업 장소를 떠나기가 종종 어렵기 때문에 평가자가 회로circuit에 무작위로 할당되지 않을 수 있습니다. 따라서 결과 분석에서 취한 적절한 조치를 통해 식별할 수 있는 '현장 효과site effects'로 인해 상당한 차이가 발생할 수 있다. 
ANOVA analysis can also be of use when there are nonrandom allocations of either assessors or students, as is the case in some medical schools with large cohorts and associated teaching hospitals where multi-site assessment may occur. Such complex arrangements can result in the nonrandom assignment of assessors to circuits since it is often difficult for clinical staff to leave their places of work. This may then lead to significant differences due to ‘site effects’ which can be identified with appropriate action taken in the analysis of results. 

다른 중요한 고정 효과도 분산 분석을 통해 확인할 수 있습니다. 예를 들어, 평가자 교육 효과, 직원/학생 성별 효과 및 관련 상호작용, 
Other important fixed effects can also be identified through use of ANOVA. For example,

• assessor training effects,
• staff/ student gender effects, and
• associated interactions, 

계량 7: 표준화된 환자 등급
Metric 7: Standardised patient ratings

시뮬레이션/표준화된 환자(SP)를 사용하는 대부분의 센터는 후보자를 평가하도록 요구하며, 이는 일반적으로 집중적인 훈련 프로그램을 따른다. 우리 기관 내에서 SP는 "이 의사와 다시 상담하시겠습니까?"와 같은 질문을 받을 것입니다. 다양한 반응(동의함, 동의함, 동의함, 동의하지 않음, 동의하지 않음 또는 강하게 동의하지 않음)에서 후자의 두 반응은 불리한 것으로 간주한다. 메트릭 4(스테이션 Failure 횟수)와 마찬가지로 SP 등급에 불리한 점수를 받는 후보자의 정상 비율보다 비율(예: >10%)이 높다면, 문제라고 볼 수 있습니다. 스테이션 레벨에서 SP 등급의 '허용 가능한' 범위에 대한 사용 가능한 문헌이 없으므로 임의적으로 컷오프 수치 10%를 선택했습니다. 
Most centres that use simulated/standardised patients (SPs) require them to rate candidates, and this typically follows an intensive training programme. Within our own institution, SPs would be asked a question such as Would you like to consult again with this doctor? with a range of responses (strongly agree, agree, neither agree nor disagree, disagree or strongly disagree), the two latter responses being regarded as adverse. Akin to Metric 4 (Number of station failures), a higher than normal proportion of candidates (e.g. 410%) receiving adverse SP ratings may indicate problems. There is no available literature on what constitutes an ‘acceptable’ range of SP ratings at station level, so we have chosen an arbitrary cut off figure of 10%. 


정상보다 높은 Failure률과 결합할 경우 (스테이션에서 다루는) 주제를 제대로 가르치지 못한 결과일 수 있습니다. 
If this is coupled with a higher than normal failure rate, it could be the result of inadequate teaching of the topic. 


평가의 전반적인 신뢰성은 점검표 점수에 SP 등급을 추가하면 높아질 수 있습니다. 일반적으로 SP 등급은 총 스테이션 점수의 10-20%를 기여해야 합니다(Homer & Pell 2009). 
The overall reliability of the assessment may be increased by adding the SP rating to the checklist score; typically the SP rating should contribute 10–20% of the total station score (Homer & Pell 2009). 

OSCE 품질의 360도 그림
The 360 degree picture of OSCE quality

스테이션 8의 측정 지표(상담, 진단 및 의사결정에 초점을 맞춘)의 검토는 전체 평가 신뢰도에 긍정적인 기여를 한다(항목 삭제 시 알파 0.749). 그림 4의 곡선 추정치에서 볼 수 있듯이, R2계수는 0.4로 저조하며, 등급 내 항목 체크리스트 점수가 광범위하며, 상위 등급(통과, 신용, 구별)에 걸쳐 상당히 중복된다. 
Review of the metrics of station 8 (focusing on consultation, diagnosis and decision making) shows a positive contribution to overall assessment reliability (alpha if item deleted 0.749). As can be seen below in the curve estimation in Figure 4, the R2 coefficient is poor at 0.4 with a widespread of itemchecklist scores within grades, and significant overlap across the higher grades (pass, credit and distinction). 

스테이션 9는 아래 그림 5의 곡선 추정으로 표시됩니다. 여기서는 신뢰성에 대한 보다 긍정적인 기여(항목 삭제 시 알파 0.74)와 더 나은 스테이션 수준 메트릭을 확인할 수 있습니다. R2 계수는 0.5에서 허용되지만 군간 분산은 36%로 여전히 높습니다.

Station 9 is represented by the curve estimation seen below in Figure 5. Here we see a more strongly positive contribution to reliability (alpha if item deleted 0.74) and better station-level metrics. The R2 coefficient is acceptable at 0.5, but between group variance is still high at 36%.  

관측치에 의한 품질 관리: OSCE까지 실행 중인 문제 및 당일 탐지 
Quality control by observation: Detecting problems in the run up to OSCEs and on the day 

OSCE에 앞서, 오류 분산에 기여하는 많은 요소들을 예측하고 아래 사항들을 적용하여 수정할 수 있습니다. 
In advance of the OSCE, many of the contributing factors toerror variance can be anticipated and corrected by applying some of the points below 

. 설계가 일치도congruence를 확인하기 위해 여러 스테이션에 걸쳐across stations 검사

. 체크리스트 설계, 가중치 및 고정점 측면에서 신규(그리고 기존) 스테이션이 최신 요구 사항을 준수하는지 확인  

. 여러 병렬적 OSCE circuit의 세팅이 동일한지 검토: 예를 들어 스테이션 외부에 소독제를 배치하게 되면, 평가자는 응시자가 손 위생을 제대로 하는지 평가할 수 없다.

. 스테이션이 동일한 장비 제공(또는 학생들이 [서로 다른 장비]로 [서로 다른 접근 방식]을 배웠다면 유연성을 허용).  

. Checking across stations to ensure congruence in design.

. Ensuring that new (and older, established) stations follow up to date requirements in terms of checklist design,weighting and anchor points.  

. Reviewing the set up of parallel OSCE circuits – for example, differences in the placing of gel disinfectant outside a station may mean that the assessor may not beable to score hand hygiene approaches.  

. Ensuring that stations carry the same provision of equipment (or permit flexibility if students are taught different approaches with different equipment).  

OSCE를 전달하는 동안 오류 분산의 다른 원인이 발생할 수 있습니다.
Other sources of error variance can occur during the delivery of the OSCE:

. 평가 전 브리핑에 늦게 도착하여 지정된 방법론을 제대로 준수하지 못한 평가자.  

. 평가자의 무단 요청prompting(교육 및 사전 시험 브리핑에도 불구하고). 

. 평가자에 의한 부적절한 행동(예: 과도한 상호작용을 통해 스테이션의 '톤'을 바꿈). 

. 질문이 학생들에게 프롬프트 역할을 하는 지나치게 적극/유도자극적인 시뮬레이션 환자. 

. 편향된 실제 환자(예: 성별 또는 인종 편견). 시뮬레이션 환자는 후보자와 상호작용하는 방법에 대한 교육을 받지만, 실제 환자 대다수가 시뮬레이터와 동일한 수준으로 수행하는 것은 가능하지 않을 수 있다.  

. 응시자가 교대할 때, (평가자(또는 보조자)가) 장비를 출발 또는 중립 위치로 되돌리지 않는 것

. Assessors who arrive late and miss the pre-assessment briefing and who therefore fail to adhere adequately to the prescribed methodology.  

. Unauthorised prompting by assessors (despite training andpre-exam briefings). 

. Inappropriate behaviour by assessors (e.g. changing the‘tone’ of a station through excessive interaction). 

. Excessively proactive simulated patients whose questionsact as prompts to the students. 

. Biased real patients (e.g. gender or race bias). Simulated patients receive training on how to interact with the candidates, but this may not be possible with the majorityof real patients to the same level undertaken with simulators.  

. Assessors (or assistants) not returning equipment to the startor neutral position as candidates change over.

사후 교정 조치
Post hoc remedial action

장소 효과에 대한 총 점수 조정
Adjustment of total marks for site effects

가장 쉬운 방법은 모든 사이트에서 공통의 평균으로 조정하는 것입니다. 이러한 조정 후에는 예를 들어 모든 falure가 단일 사이트에 국한되지 않도록 불합격 학생의 사이트 프로파일을 확인해야 합니다. 조정 수준을 계산할 때 단일 특정 사이트 내에 위치한 특수 요구 그룹(예: 후보자에게 건강 요구의 결과로 추가 시간을 제공)의 효과를 할인해야 합니다.
The easiest method is to adjust to a common mean across allsites. After any such adjustment, the site profile of failing students should be checked to ensure that, for example, allfailures are not confined to a single site. The effect of any special needs group (e.g. candidates receiving extra time as aresult of health needs) located within a single specific site needs to be discounted when computing the adjustment level.

측점 레벨 조정
Adjustment at the station level

어떤 부작용도 서로를 취소시키는 경향이 있기 때문에 이것은 거의 필요하지 않습니다. 드문 경우지만 위의 스테이션 레벨 절차를 수행할 수 있습니다. 
This is seldom necessary because any adverse effects will tend to cancel each other out. In the rare cases where this does not happen, a station level procedure as above can be carried out. 

스테이션 제거
Removal of a station

다시 말하지만, 이는 드문 사건이며 그 기준은 일반적으로 복수의 불리한 측정 기준이며, 그 결과는 평가 결정이 항소에 대해 변명의 여지가 없을 정도로 학생들에게 불리하게 작용할 것이다. 
Again, this is a rare event and the criteria for this is usually multiple adverse metrics, the result of which would disadvantage students to such an extent that the assessment decisions are indefensible against appeal. 

결론
Conclusion

저자의 기관에서는 데이터를 분석하는 사람과 임상 평가를 설계 및 관리하고 교육을 개발/제공하는 사람이 서로 밀접하게 관계를 가지고 있다. 스테이션 레벨 메트릭에 대한 일상적이고 자세한 검토에서 체크리스트와 글로벌 등급 간의 불일치가 발견되었습니다. 분석 결과를 바탕으로 특정 OSCE 스테이션을 재설계하고 이후 측정 기준을 개선했습니다. 이러한 재설계에는 다음이 포함됩니다.
In the authors’ institution, there is a close relationship between those who analyse the data, and those who design and administer the clinical assessments and develop/deliver teaching. Routine and detailed review of station level metrics has revealed mismatches between checklists and global ratings. This has lead to the redesign of certain OSCE stations with a subsequent improvement of metrics. Some of these redesigns include: 

. 다수의 단순한 기준을 더 높은 수준의 더 적은 기준으로 청킹(묶음).

. 더 높은 수준의 기준을 허용하기 위해 청킹(Chunking)을 수행함으로써, 더 높은 수준의 프로세스 중심 성과를 평가할 수 있습니다.

. 평가자 체크리스트에 [중간 등급 기술자]를 포함.

. 체크리스트 기준에 해당하는 경우 두 개의 anchor 대신 세 개의 anchor을 두도록 보장함으로써 평가자에 의한 차별이 더 커지도록 한다.

. 서로 다른 회로의 물리적 배열arrangement 간의 획일성uniformity이 높아집니다.

. Chunking of a number of simple criteria into fewer criteria of higher level.

. Chunking to allow for higher level criteria commensurate with the stage of student progression, allowing assessment of higher level, less process-driven performance.

. The inclusion of intermediate grade descriptors on the assessor checklists.

. Ensuring that checklist criteria have three instead of two anchors where appropriate, thereby allowing greater discrimination by assessors.

. A greater degree of uniformity between the physical arrangements of the different circuits.

[평가자 간의 일치도가 좋지 않다는 징후]는 때때로 평가의 품질에 도움이 되는 여러 가지 변화로 이어집니다.
Indications of poor agreement between assessors has, on occasion, lead to a number of changes all of which have been beneficial to the quality of assessment:

. 평가자 훈련 방법 업그레이드.

. 오래전에 교육을 받은 평가자 업데이트('새로 고침')

. 평가자를 위한 보다 상세한 서포트 자료 제공.

. 평가 전 평가자 브리핑 개선

. 평가 전에 SP 브리핑 개선

. 더미는 평가자와 SP 모두에 대한 공식적인 평가 전에 실행됩니다(예: 학생 수가 상대적으로 적은 경우, 그리고 학생 수가 적은 치과 OSCE에서만 실제로 실행 가능합니다).

. Upgrading of assessor training methods.

. Updating (‘refreshing’) assessors who were trained some time ago.

. The provision of more detailed support material for assessors.

. Improved assessor briefings prior to the assessment.

. Improved SP briefings prior to the assessment.

. Dummy runs before the formal assessment for both assessors and SPs (this is only really practicable where students numbers are relatively small, e.g. resits, and in dental OSCEs with smaller cohorts of students).

Med Teach. 2010;32(10):802-11.

 doi: 10.3109/0142159X.2010.507716.

How to measure the quality of the OSCE: A review of metrics - AMEE guide no. 49

Godfrey Pell 1, Richard Fuller, Matthew Homer, Trudie Roberts, International Association for Medical Education

Affiliations collapse

Affiliation

• 1Leeds Institute of Medical Education, University of Leeds, Level 7, Room 7.20, Worsley Building, Clarendon Way, Leeds LS2 9NL, UK. g.pell@leeds.ac.uk

• PMID: 20854155
• DOI: 10.3109/0142159X.2010.507716

Free article

Abstract

With an increasing use of criterion-based assessment techniques in both undergraduate and postgraduate healthcare programmes, there is a consequent need to ensure the quality and rigour of these assessments. The obvious question for those responsible for delivering assessment is how is this 'quality' measured, and what mechanisms might there be that allow improvements in assessment quality over time to be demonstrated? Whilst a small base of literature exists, few papers give more than one or two metrics as measures of quality in Objective Structured Clinical Examinations (OSCEs). In this guide, aimed at assessment practitioners, the authors aim to review the metrics that are available for measuring quality and indicate how a rounded picture of OSCE assessment quality may be constructed by using a variety of such measures, and also to consider which characteristics of the OSCE are appropriately judged by which measure(s). The authors will discuss the quality issues both at the individual station level and across the complete clinical assessment as a whole, using a series of 'worked examples' drawn from OSCE data sets from the authors' institution.

체면을 차리기 위한 헷징: ITER의 서술형 코멘트의 언어학적 분석(Adv in Health Sci Educ, 2015)
Hedging to save face: a linguistic analysis of written comments on in-training evaluation reports
Shiphra Ginsburg1,5 • Cees van der Vleuten2 • Kevin W. Eva3 • Lorelei Lingard4

도입
Introduction

교육 내 평가 보고서(ITERs)와 같은 업무 기반 평가에 대해 교수진이 작성한 논평이 어려움에 처한 학생을 식별하고(Cohen et al. 1993), 순위/정렬 훈련생(Ginsburg et al. 2013), 성공 또는 실패를 예측하는 데 유용할 수 있다는 증거가 증가하고 있다(Guerasio et al. 2012). 그러나, 최근의 연구는 쓰여진 코멘트가 상당부분 모호하고 '습관적dispositional' 언어를 포함하고 있음을 시사한다(Ginsburg et al. 2011). 교수진은 이를 "행간 읽기"로 해독한다(Ginsburg et al. 2015). 교육생에 대한 [교수진의 모호한 논평]이 어제오늘 일이 아님에도 불구하고, 우리는 교수진이 왜 이러한 발언을 하는지, 다른 교수진이 어떻게 그러한 발언을 디코딩할 수 있는지, 교육생에게 미치는 영향이 무엇인지 아직 이해하지 못하고 있다(Watling et al. 2008). 
There is growing evidence that comments written by faculty on work-based assessments such as in-training evaluation reports (ITERs) can be useful for identifying students in difficulty (Cohen et al. 1993), for ranking/sorting trainees (Ginsburg et al. 2013) and for predicting success or failure (Guerrasio et al. 2012). However, recent work suggests that written comments contain a prevalence of vague and ‘dispositional’ language (Ginsburg et al. 2011), which faculty decode by ‘‘reading between the lines’’ (Ginsburg et al. 2015). Despite a well-established tradition of vague comments in faculty evaluation of trainees (Kiefer et al. 2010; Lye et al. 2001), we don’t yet understand why faculty do this, how other faculty are able to decode such comments, or what their implications are for trainees (Watling et al. 2008). 

[글에 막연한 언어가 있는 것]은 그 문장을 해석하려는 독자들에게 좌절의 원인이 될 수 있다. 예를 들어, '함께 일하기 좋은 사람'(Lye et al. 2001)과 같은 의견이나 전공의가 얼마나 열심히 일했는지를 반영하는 의견(Ginsburg et al. 2011)은 매우 일반적이지만, 학습자의 성과를 판단하는 데 특히 도움이 되지 않는다고 한 연구 참가자가 지적한 바 있다(Ginsburg et al.. 2015). 이러한 코멘트에 대한 한 가지 가능한 설명은 교직원들이 교육생들을 잘 알지 못할 수 있기 때문에 "누구에 대해서나 써먹을 수 있는" 코멘트에 의존한다는 것이다(Ginsburg et al. 2015). 또 다른 설명은 모호한 언어를 의도적으로 사용한다는 것이다. 예를 들어, 교수진들은 "좋은 말을 할 수 없다면 아무 말도 하지 말라"는 원칙을 준수하기 위한 실제적 결핍에 대한 언급을 회피할 수 있다(Ginsburg et al. 2015). 막연한 논평에 대한 또 다른 잠재적 이유는 (특히 수련생의 수행능력이 안 좋을 경우) 평가가 어렵고, [애매한 언어를 사용하는 것]이 ITER의 양쪽 모두에게 부정적인 영향을 끼치지 않도록 보호하는 데 도움이 된다는 현실과 관련이 있습니다(Ilott 및 Murphy 1997). 
The presence of vague language in written comments can be a source of frustration to readers who try to interpret them. For example, comments such as ‘‘pleasant to work with’’ (Lye et al. 2001), or those that reflect how hard a resident worked (Ginsburg et al. 2011), are extremely common, yet are considered particularly unhelpful for judging learners’ performance—as a participant in one study noted, ‘‘if you’re a good person you get those’’ comments (Ginsburg et al. 2015). One potential explanation for such comments is that faculty may not know their trainees very well, so they resort to comments that ‘‘you could say about anyone’’ (Ginsburg et al. 2015). Another explanation is that vague language is used deliberately. For example, faculty may avoid commenting on an actual deficiency to abide by the principle that ‘‘if you can’t say anything nice, don’t say anything at all’’ (Ginsburg et al. 2015). Another potential reason for vague comments relates to the reality that evaluation is difficult—especially when a trainee is not performing well—and that the use of vague language helps guard against negative consequences for individuals on both sides of the ITER (Ilott and Murphy 1997). 

ITER에서 모호한 언어의 현상을 체계적으로 탐구하기 위해 실용적 의사소통을 위해 언어가 어떻게 사용되는지 고민하는 실용주의라는 언어학의 한 분야로 눈을 돌렸다. [언어적 실용론Linguistic pragmatics]은 우리가 일상에서 사용하는 언어의 많은 부분이 문자 그대로 해석되는 것이 아니라고 주장한다. 아이러니, 빈정거림, 은유를 표현하는 언어는 이 전제를 쉽게 식별할 수 있는 예이다. 또한 [비문자적 표현Non-literal language]는 관습적인 간접성(Brown and Levinson 1987)의 개념을 포함하는데, 여기서 '좋은' 또는 '기대치를 충족'과 같은 단어와 구절은 (관습적으로) 평균 이하를 의미할 수 있다(Kiefer et al. 2010). 최근의 한 연구에서는 필기 ITER 코멘트에서 비문자적 표현Non-literal language 사용 사례가 많이 보고되었지만(Ginsburg et al. 2015), 교수진들은 그러한 코멘트만을 사용하여 높은 신뢰성으로 전공의의 순위를 매길 수 있는 것으로 밝혀졌다(Ginsburg et al. 2013). 서술적 평가 논평에 언어적 프레임워크linguistic frameworks를 적용하는 것은 모호해 보이는 언어가 어떻게 신뢰성 있게 해석될 수 있는지를 설명하는 데 도움이 될 수 있다. 
To systematically explore the phenomenon of vague language in ITERs in more depth we turned to the branch of linguistics called pragmatics, which is concerned with how language is used for practical communication. Linguistic pragmatics argues that much of the language we use in day to day practice is not meant to be interpreted literally. Language expressing irony, sarcasmand metaphors are readily identifiable illustrations of this premise (Akmajian et al. 2010). Non-literal language also includes the concept of conventional indirectness (Brown and Levinson 1987), whereby words and phrases such as ‘good’ or ‘meets expectations’ can—by virtue of convention—come to mean below average (Kiefer et al. 2010). A recent study reported many examples of non-literal language use in written ITER comments (Ginsburg et al. 2015), but it was also found that faculty were able to rankorder residents using such comments alone with a high degree of reliability (Ginsburg et al. 2013). The application of linguistic frameworks to narrative assessment comments may help to explain how language that seems vague can be reliably interpreted. 

실용주의 안에서, [예의 이론theory of politeness] 은 평가 맥락에 특정한 목적적합성과 적용가능성을 가지고 있다. 1970년대 브라운과 레빈슨(Brown and Levinson 1987)에 의해 처음 개발되었으나, 새로운 이론과 제안된 변경에도 불구하고 여전히 영향력이 있다(Fraser 1990; Mills 2003). 브라운과 레빈슨의 프레임워크는 사회학에서 처음 설명한 것처럼 '체면'이라는 개념에 기반을 두고 있다. '체면'의 개념이 시간이 지나면서 다른 의미를 띠었지만, 브라운과 레빈슨의 관점에서 볼 때, [체면]은 [개인이 보호하려는 공적의 자기 이미지]이다.

• 긍정적인 체면은 사람이 자신에 대해 가지고 있는 긍정적인 이미지(자존심)입니다.
• 부정적인 체면은 자신의 행동을 방해받지 않으려는 욕망(행동의 자유)입니다.

Within pragmatics, the theory of politeness has particular relevance and applicability to an evaluation context. Originally developed by Brown and Levinson in the 1970s (Brown and Levinson 1987), it remains influential in spite of newer theories and suggested modifications (Fraser 1990; Mills 2003). Brown and Levinson’s framework is based on the idea of ‘face’, as first described in sociology (Bakker 2007).The concept of face has taken on different meanings over time but from Brown and Levinson’s perspective, in essence, face is the public self-image that individuals try to protect.

• Positive face is the positive image a person has of him/herself (self-esteem);
• negative face is the desire to not have one’s actions impeded (freedom to act). 

[체면 위협 행위(FTA)]의 상황에서, 우리는 종종 [말하는 사람과 듣는 사람 모두를 위해] 체면 상실을 완화하기 위해 언어 전략을 사용한다(이론으로 사용되는 용어는 대부분 구술 언어에 근거하여 개발되었다). 체면을 위협하는 행동의 흔한 예는 동료에게 부탁을 하는 것이다. 거절당하거나, 청취자에게 은혜를 입히거나, 궁핍한 사람으로 비칠 가능성이 있기 때문이다. 따라서 [부탁을 하는 사람]은 잠재적으로 체면을 위협받을 수 있다. 그것은 또한 [부탁을 받는 사람]에게도 위협적인 면인데, 그녀가 말하는 사람을 불쾌하게 하거나 그녀의 명성에 도움이 되는 것으로 영향을 미치지 않는 방식으로 반응해야 하기 때문이다. 이런 부탁을 하기 위해 발화자speaker는 동료에게 먼저 칭찬(최근 교직상이나 보조금 대회에서의 성공)을 할 수 있는데, 이는 동료의 이미지를 높여 (동료의) 긍정적인 체면을 구제redress해주고, 도움을 청할 수 있는 이유를 설명해줌으로써 자신의 체면을 구제redress해준다.
In the setting of a face threatening act (FTA), we often invoke linguistic strategies to mitigate against potential loss of face, for both the speaker and hearer (the terminology used as the theory was developed based mostly on oral language). One common example of a face threatening act is asking a colleague for a favour. It is potentially face-threatening for the person asking as there is a possibility that he may be turned down, become indebted to the hearer, or be seen as needy. It is also face threatening to the hearer, as she is imposed upon and must respond in a way that does not offend the speaker or affect her reputation as being helpful. To make such a request, the speaker may choose to compliment his colleague on something first (her recent teaching award or success at a grant competition), which redresses her positive face by enhancing her self-image and redresses his face by explaining why one might seek her assistance. 

우리가 더 흔히 접하는 듣는이hearer의 '부정적인 체면'을 구제하는 방법은, '귀찮게 해드려서 정말 죄송합니다' 또는 '당신이 얼마나 바쁜지 알아요'와 같은 문구를 사용하는 것이다. 브라운과 레빈슨(1987)은 이러한 언어 전략이 말하는 사람과 듣는 사람에게 미치는 영향과 함께 체면을 구제하기 위해 사용되는 언어의 종류를 이해하기 위한 명확한 틀을 개발했다. 예의 전략이 사용되는 정도와 채택된 전략의 유형은 행위가 위협적인 상황에 직면해 있다고 간주되는 정도를 반영한다. 
More commonly we redress hearers’ so-called ‘negative face’ by using phrases such as ‘‘I’m so sorry to bother you’’, or ‘‘I know how busy you are’’, which addresses their desire to not be interfered with. Brown and Levinson (1987) developed an explicit framework for understanding the types of language used to redress face along with the effects that these linguistic strategies have on the speaker and hearer (or writer and reader). The degree to which politeness strategies are used—and the types of strategies employed—reflect the degree to which an act is considered to be face threatening. 

[헷징hedging]은 이러한 예의체계 안에 있는 체면상실을 완화하기 위해 사용되는 매우 일반적인 전략 중 하나이다. 브라운과 레빈슨은 헤지(hedge)를 "멤버십 정도를 수정하는 단어 또는 구절"로 정의하며, 멤버십 정도가 "일부적"이거나 특정 측면에서만 진실이라고 말한다(브라운과 레빈슨 1987, 페이지 145). 의사-의사 담론의 위험회피에 대해 연구한 Prince를 포함한 다른 연구자들은 위험회피에 대해 추가로 정의하고 분류하였다(Prince et al. 1982, 페이지 93). 
Hedging is one very common strategy used to mitigate against loss of face that sits within this politeness framework. Brown and Levinson define a hedge as a ‘‘word or phrase that modifies the degree of membership … in a set’’; it says that the membership is ‘‘partial, or true only in certain respects’’ (Brown and Levinson 1987, p. 145). Other researchers have further defined and categorized hedges, including Prince, who studied hedging in physician–physician discourse (Prince et al. 1982, p. 93). 

Prince는 두 가지 주요 유형의 헷지를 보고했다: 근사치와 방패. 

• 근사치는 두 가지 방법 중 하나로 명제의 '진실 조건'에 영향을 미친다. 
  • 어댑터는 용어를 비전형적non-prototypical 상황(예: ''환자의 발이 약간 파랗다'')에 적응시키고, 
  • 라운더는 항이 숫자의 반올림 표현(예: ''혈압은 약 120/80'')임을 나타낸다. 

Prince reported two main types of hedges: approximators and shields.

• Approximators affect the ‘truth conditions’ of a proposition in one of two ways:
  • adaptors adapt a term to a non-prototypical situation (e.g., ‘‘the patient’s feet were a little bit blue’’) and
  • rounders indicate that a term is a rounded-off representation of a number (e.g., ‘‘the blood pressure was about 120 over 80’’).
• 방패는 명제의 '진실 조건'에 영향을 미치지 않는다. 오히려 발언자가 "실제로 얻어진 것affairs의 관련성 상태에 대한 믿음"에 완전히 전념하지 않는다는 것을 암시한다(Prince et al. 1982, 페이지 89).
  • 귀속 방패는 진술을 작성자가 아닌 다른 사람에게 귀속시키는 역할을 하는 반면,
  • 개연성 방패는 발표자/작가가 진술의 진실에 전적으로 헌신하지 않는다는 것을 표시함으로써 의심의 요소를 도입한다(예: 전공의와의 짧은 만남 중…).
• Shields do not affect the ‘truth conditions’ of their propositions; rather they implicate that the speaker ‘‘is not fully committed to the belief that the relevant state of affairs actually obtains’’ (Prince et al. 1982, p. 89).
  • Attribution shields serve to attribute the statement to someone other than the writer, whereas
  • plausibility shields introduce an element of doubt, by allowing the speaker/writer to indicate that s/he is less than fully committed to the truth of the statement (e.g., ‘‘during my brief encounters with the resident…’’).

이는 보다 최근에 Fraser가 제안한 헷징 개념화와 유사하며, Fraser는 헷징이 [언어적 장치]를 사용하여 발표자가 말한 것에 대한 [약속commitment이 없음]을 표시함으로써, 체면을 세울 수 있는 수사적 전략이라고 언급한다(Fraser 2010) . 우리의 맥락에서 위험회피에 대해 이해하기 위해, 전공의의 지식 기반이 "평균보다 약간 낮은" 것처럼 보인다는 주치의의 서면 의견을 생각해보자. 브라운과 레빈슨에 따르면, Prince와 Fraser 모두에게 이 진술은 '헷징'이다.

• '어댑터'(전공의가 평균 이하의 범주에 완전히 포함되지 않음을 나타냄)로 간주될 수도 있고
• '방패'(전공의가 평균 미만이라는 주장을 전적으로 약속하지 않음을 나타냄)로 간주될 수 있다. 

This is similar to a more recent conceptualization of hedging by Fraser, who states that hedging is a rhetorical strategy by which a speaker, using a linguistic device, can save face (for himself or others) by signalling a lack of commitment to what is said (Fraser 2010). To understand hedging in our context, consider an attending’s written comment that a resident’s knowledge base seems ‘‘a little below average’’. According to Brown and Levinson, as well as to both Prince and Fraser, this statement is hedged.

• It could be considered an ‘adaptor’ (indicating the resident isn’t fully in the category of below average) or
• it could be a ‘shield’ (indicating that the attending isn’t fully committed to the assertion that the resident is below average). 

헷지는 [표현의 의미적 범주에 대한 완전한 확약을 나타내지 않는 것]을 뜻하며, 일종의, 거의, 대략 등의 문구로 나타낼 수 있다. 헷지의 또 다른 방법은 speech가 표현하는 힘에 전적으로 전념하지 않는 것입니다. 예를 들어 I suppose, maybe, 또는 I think와 같은 문구를 사용하는 것입니다.
Hedges that indicate less than full commitment to the semantic category of an expression can be represented by phrases such as sort of, almost,or like. Another way to hedge is by not commi tting fully to the force of the speech being expressed, by using phrases such as I suppose, perhaps, or I think.

요약하자면, 서면 평가는 의학 교육의 중요성이 높아질 가능성이 높지만, 종종 모호하고 해독하기 어려울 수 있습니다. 언어적 실용주의, 특히 예의 이론과 헷징은 평가 언어의 모호함을 이해하고 이해하는 데 도움이 될 수 있습니다.
To summarize, written assessments will likely take on increasing importance in medical education, yet are often vague and can be frustrating to decode. Linguistic pragmatics—in particular, politeness theory and hedging—might help us understand and make sense of some of the vagueness in assessment language.

방법 및 분석
Methods and analysis

우리는 토론토 대학교 내과과 1학년 레지던트(PGY1)의 단일 코호트에 대한 ITER 양식을 취합했습니다(n = 63). 이 프로그램의 각 전공의는 평균 9번의 로테이션을 완료하며, 이 회전을 위해 ITER가 생성됩니다. 매 로테이션이 끝날 때마다 담당의사가 평가 대상 레지던트에 대한 단일 ITER를 완료합니다. 
We compiled ITER forms for a single cohort of first year residents (PGY1’s) in Internal Medicine at the University of Toronto (n = 63). Each resident in this program completes an average of nine rotations for which ITERs are generated. The attending physician at the end of every rotation completes a single ITER for the resident being assessed. 

이 분석에서는 극단적 집단이 특이하거나 표준과 다르기 때문에 더 "정보가 풍부"할 수 있고, 비교의 유용한 근거를 제공할 수 있기 때문에 [최고 등급]과 [최저 등급]의 전공의를 포함하기로 결정했다. (Patton 2002) 
For this analysis we chose to include the highest and lowest rated residents, as extreme groups can be more ‘‘information rich’’ because they are unusual or differ from the norm, and can provide a useful basis for comparison. (Patton 2002) 

코딩은 Brown과 Levinson의 예의 프레임워크을 사용하여 (아래에 자세히 설명된 바와 같이) 각 주석 상자에 대한 한 줄씩 접근하는 것으로 시작되었습니다. 프레임워크는 이러한 목적을 위한 두 가지 관련 섹션으로 구성되어 있다: 

• 긍정적인 체면을 다루는 전략 (작성자가 독자가 원하는 것을 표시함으로써) 
• 부정적인 체면을 다루는 전략 (본질적으로 "[작성자]가 수취인의 행동의 자유를 방해하지 않을 것임을 보증하는 것 … 자기 만족, 격식 및 구속"  

Coding began with a line-by-line approach to each comment box (as described in more detail below) using Brown and Levinson’s politeness framework. The framework has two relevant sections for this purpose:

• strategies addressing positive face (by indicating that the writer wants what the reader wants) and
• strategies addressing negative face (which essentially ‘‘consist in assurances that the [writer] will not interfere with the addressee’s freedom of action …self-effacement, formality, and restraint’’ (Brown and Levinson 1987, p. 70). 
  
  

표 1은 우리의 데이터와 관련된 전략의 정의와 대표적인 인용문을 포함하고 있다. 
Table 1 contains definitions of the strategies that were relevant to our data, along with representative quotations. 

반복적인 읽기 및 분석에서 우리는 헷징이 만연하다는 것을 발견하였고, 도입부에서 간략히 언급한 Prince et al.(1982)가 제안한 보다 상세한 개념화를 사용하여 이를 코드화하였다. 저자에 따르면 헷징은 일반적으로 두 개의 부분집합을 갖는 '방패'의 형태로 표현된다. 
On iterative reading and analysis we discovered that Hedging was pervasive so we coded it further by using the more detailed conceptualization proposed by Prince et al. (1982) that was briefly mentioned in the introduction. According to the authors, hedging is commonly expressed in the form of ‘shields’, which have two subsets. 

• [귀인 방패]는 문장을 작성자가 아닌 다른 사람에게 귀속시키는 역할을 합니다. 그들은 전달된 진술이 때로는 특정되고 때로는 그렇지 않은 다른 누군가에게 귀속되어야 한다는 것을 암시한다. 일반적인 예로는 'A의 가르침에 대해 하우스 스태프가 정말 고마워했다' 또는 'B의 수행에 대해 수많은 의견을 받았다'와 같은 문구들이 있다. '분명히 노력한다' 또는 '명백하게 뛰어난 의사소통 능력을 가지고 있다'와 같은 진술도 누구나 또는 모두가 같은 결론에 도달한다는 것을 암시하기 때문에, 이러한 진술도 반드시 작가 자신의 신념에 관한 것은 아니다. 즉, 진술서에 대한 "저자 자신의 헌신commit의 정도"는 쓰여진 내용에서 간접적으로 추론가능할 뿐이다. (Prince et al. 1982) 
  Attribution shields serve to attribute the statement to someone other than the writer. They imply that the statement conveyed is to be attributed to someone else, sometimes specified and sometimes not. Common examples are phrases such as, ‘‘the housestaff really appreciated A’s teaching’’, or ‘‘I received numerous comments about B’s performance’’. Statements such as ‘‘Clearly making an effort’’ or ‘‘Obviously has excellent communication skills’’ are also attribution shields as they imply that anyone – or everyone – would come to the same conclusion and thus these statements are not necessarily about the writer’s own beliefs. That is, the writer’s ‘‘own degree of commitment to the statement is only indirectly inferable’’ from what is written. (Prince et al. 1982) 
  
  
• [개연성 방패]는 스피커/작성자가 자신의 진술의 진실에 완전히 충실하지 못함을 표시함으로써 의심의 요소를 유발합니다. 화자가 [그럴듯한 이유를 근거로 주장]을 하고 있기 때문에 그것들은 [개연성 방패]라고 불립니다. 일반적인 예로는 ‘‘I believe’’, ‘‘I think’’, ‘‘it is possible’’, ‘‘right now’’ 등의 구절이 있습니다. 작성자가 의식적이든 아니든 이러한 문제에 대해 자신의 의견을 해석할 수 있는 그럴듯한 근거로서 주의를 끌기 때문에, [훈련 단계 또는 연중 시기] 를 표시하는 방식으로 서술된 진술도 개연성 방패로 간주될 수 있다. 
  Plausibility shields introduce an element of doubt by allowing the speaker/writer to indicate that s/he is less than fully committed to the truth of the statement. They are called Plausibility shields because the speaker is making an assertion based on plausible reasons. Common examples are phrases such as, ‘‘I believe’’, ‘‘I think’’, ‘‘it is possible’’, ‘‘right now’’, etc. Statements that are marked by notation of stage of training or time of year may also be considered plausibility shields as the writer is – consciously or not – drawing our attention to these issues as a plausible basis on which to interpret their comments. 

일차 코딩은 SG에 의해 수행되었으며, SG와 LL은 함께 프레임워크의 새로운 이해와 적용을 논의했다. SG와 LL은 데이터의 특정 예시와 함께 문헌의 사례를 사용하여 코드의 정의에 대한 이해를 도전하고 확장하며 세분화했다. 익명이기 때문에 우리는 그들의 언어 사용 이면에 있는 작가들의 의도를 파악할 수 없었습니다. 따라서 다른 연구자들과 함께, 우리는 논평이 진심이며, 이 맥락에서 사용되는 언어가 다른 서면 또는 구어 텍스트와 같은 방식으로 해석될 수 있다는 특정한 가정을 가지고 프레임워크를 적용했다.

Primary coding was done by SG, who discussed the emerging understanding and application of the framework with LL. SGand LLworked together to challenge, expand and refine their understanding of the codes’ definitions as they apply to our narrative data using examples from the literature along with specific exemplars from our data. Because the comments were anonymized, we could not determine the writers’ intentions behind their language use. In keeping with other researchers, we therefore applied the frameworks with certain assumptions: that the comments were meant to be sincere and that the language used in this context would be interpretable in the same way as other written or spoken text.

성찰성
Reflexivity

결과
Results

브라운과 레빈슨의 예의 틀의 몇 가지 요소들은 우리의 데이터에 쉽게 적용될 수 있었습니다. 구어에도 상당 부분 적용되는 틀이 꽤 구체적이기 때문에 모든 예의 전략이 관련 있는 것은 아니다.
Several elements of the politeness framework from Brown and Levinson were easily applicable to our data. As the framework is quite detailed, with much of it applying to spoken language, not every politeness strategy was relevant. 

긍정적 체면을 다루기 위한 전략
Strategies to address positive face

브라운과 레빈슨에 따르면 긍정적 체면을 다루기 위해 사용되는 가장 일반적인 전략은 "과장적 관심"이라고 불린다(브라운과 레빈슨 1987, 페이지 104). 이 전략을 통해 작가는 그들의 관심과 찬성을 과장하기 위해 강조 강화적인 수식어를 사용한다. 여기에는 '절대 탁월함', '슈퍼스타', '매우 철저하고 꼼꼼함' 등의 문구가 포함되었습니다. 또한, "모든 면에서 우수한 레지던트!"와 같이 느낌표를 포함한 작가들이 여기에 모두 코드화 된 사례도 있다. 비록 '과장exaggerate'이라는 용어는 주치의가 레지던트를 실제 모습보다 더 나은 것처럼 보이려고 노력한다는 것을 의미할 수 있지만, 이러한 종류의 언어에서 보이는 극단적extreme인 말은 주치의 의견의 진실된 반영일 수도 있다. 고평가군의 약 3분의 1에서 exaggerated interest가 나타났지만, 저평가군의 경우는 2%에 불과했다. 
The most common strategy used to address positive face, according to Brown and Levinson, is called ‘‘exaggerate interest’’ (Brown and Levinson 1987, p. 104), by which the writer uses emphatic intensifying modifiers to exaggerate their interest and approval. This included phrases such as ‘‘Absolutely outstanding’’, ‘‘superstar’’ and ‘‘extremely thorough and meticulous’’. In addition, instances in which writers included exclamation marks were all coded here, such as, ‘‘Excellent resident in all respects!’’ Although the term ‘exaggerate’ may imply that the attending is trying to make the resident seem better than they were, it is possible that the extremes seen in this sort of language may actually be sincere reflections of an attending’s opinion. Exaggerated interest was seen in about a third of the high-rated group but only in 2 % of the low-rated. 

두 번째 전략은 "그룹 내 정체성 표식기"를 저자와 수령자(전공의) 사이의 공통점을 주장하는 방법으로 사용하는 것이다(브라운과 레빈슨 1987, 페이지 107). 레지던트, 수련생, 임상의, 컨설턴트 또는 의사, 또는 존댓말 '닥터'가 포함된 문구가 여기에 포함되었다. 비록 우리 데이터의 맥락(전공의 평가)에 따라 그룹 내 표지를 예상할 수 있지만, 이 용어들은 낮은 등급(59 대 37%; v2 = 17, p\0.001)과 비교하여 높은 등급 그룹에서 더 자주 사용되었음을 주목하는 것이 흥미롭다. 
A second strategy is to use ‘‘in-group identity markers’’ as a way to claim common ground between the writer and recipient (Brown and Levinson 1987, p. 107). Phrases that include the word resident, trainee, clinician, consultant or doctor, or the honorific ‘‘Dr.’’ were included here. Although in-group markers can be expected given the context of our data (evaluation of residents) it is interesting to note that these terms were used more often in the high-rated group compared to the low-rated (59 vs. 37 %; v2 = 17, p\0.001).

세 번째 공통 전략은 비록 상징적으로 레지던트가 ''함께 일하는 것이 정말 즐겁다'' 또는 ''훌륭한 일'' 또는 ''팀으로부터 좋은 호감을 받았다''고 써서 "선물이나 칭찬을 하는 것"이다(브와 레빈슨 1987, 페이지 129이다. 다시 말하지만, 이러한 현상은 낮은 등급(53 대 27%, v2 = 25, p\0.001)보다 높은 등급 그룹에서 더 흔했습니다. 
A third common strategy is to ‘‘Give gifts or compliments’’ (Brown and Levinson 1987, p. 129), albeit symbolically, by writing that a resident is ‘‘a real pleasure to work with’’, or did ‘‘a great job’’ or was ‘‘well-liked by the team’’. Again these were more common in the high-rated group than the low-rated (53 vs. 27 %; v2 = 25, p\0.001). 

부정적 체면을 해결하기 위한 전략
Strategies to address negative face

부정적 체면을 다루기 위해 일반적으로 사용되는 하나의 언어 전략은 '관습적 간접성'이라고 불리며, 관습상 [문자 그대로의 의미와 다른] [모호하지 않은 의미]를 띠게 된 단어나 구를 사용하는 것이다(브라운과 레빈슨 1987, 페이지 132). 보건 전문 교육 맥락에서 전형적인 예는 '좋은'이라는 단어를 사용하는 것이다. 이 단어는 '평균 미만'의 코드 단어로 이해된다(Kiefer et al. 2010). 다른 관례적인 간접 문구로는 "안정적solid"과 "기대 충족"이 있습니다. 이러한 전략은 높은 등급의 그룹(41 대 15%, v2 = 38, p\0.001)보다 낮은 등급의 그룹에서 더 일반적이었다.
One linguistic strategy commonly used to address negative face is called ‘‘conventional indirectness’’, which is the use of words or phrases that, by virtue of convention, have come to take on unambiguous meanings that are different from their literal meanings (Brown and Levinson 1987, p. 132). A classic example in the health professional education context is the use of the word ‘‘good’’, which is understood to be a code word for ‘‘below average’’ (Kiefer et al. 2010). Other conventionally indirect phrases include ‘‘solid’’ and ‘‘met expectations’’. These strategies were more common in the low-rated than the highrated group (41 vs. 15 %; v2 = 38, p\0.001).

브라운과 레빈슨이 보고한 두 번째 공통 전략은 작가가 [자신의 주장] 또는 [수신자(전공의)]로부터 거리를 두기 위해 이름과 대명사를 생략함으로써 '비인간화impersonalize'하는 것이다(브라운과 레빈슨 1987, 페이지 190). 다음 예를 고려해 보십시오.
A second common strategy, reported by Brown and Levinson, is to ‘‘impersonalize’’ by leaving out names and pronouns to distance the writer from the assertions made or from the recipient (Brown and Levinson 1987, p. 190). Consider the following example:

매우 유능한 팀 리더이자 팀 플레이어입니다. 하급 직원들이 존경했다. 좋은 선생님. 환자, 가족 및 기타 의료 전문가에 대해 매우 전문적이고 존중합니다. 매우 열심히 일하며 환자/가족과 함께 많은 시간을 할애하여 문제를 해결하고자 합니다. 철저한 평가 및 퇴원 계획. 
Very competent teamleader and teamplayer. Looked up to by junior housestaff. Great teacher. Very professional and respectful of patients, families, and other health professionals. Very hard working and willing to spend a lot of time with patients/families ensuring issues are addressed. Thorough assessments and discharge plans. 

헤징
Hedging

"약 2주 동안만 그와 교류했지만"이라는 문구 또한 데이터에서 발견한 가장 일반적인 언어 전략을 처음으로 보여줍니다. 데이터에 만연했던 헷징은 저성과 전공의의 의견 94%와 고성능 전공의의 의견 71%에 포함되었다(v2 = 27, p\ 0.001). 일반적인 헷징의 몇 가지 예로는 "진료/진료 차트를 시작하는 데 있어 좀 더 빠르게 진행될 수 있었을 것" 또는 "꽤 독립적으로 잘 작동될 것"과 같은 문구들이 있다. ''could have', ''little more', ''fairy'라는 단어는 [진술의 '진실 상태']나 저자의 [주장에 대한 헌신]에 영향을 미치기 때문에 헷지이다. 첫 번째 경우, 주치의가 ''클리닉을 시작할 때 더 빨리 시작했어야 했다"라고 썼다면 모호함의 여지가 없었을 것이다. 대부분의 위험회피는 [귀인 방패] 또는 [개연성 방패]로 추가로 분류할 수 있었다. 표 2에는 근사치와 보호막을 포함한 하위 유형의 위험회피에 대한 추가 정의와 예가 포함되어 있다. 
The phrase ‘‘Although I only interacted with himfor about 2 weeks’’ also offers a first look at the most common linguistic strategy we found in our data: Hedging, which was pervasive in our data, being present in 94 % of comments from low-performing residents and in 71 % of comments from high-performing residents (v2 = 27, p\0.001). Some examples of general hedging include phrases such as ‘‘could have been a little more rapid in starting the clinic/picking up charts to get going’’ or ‘‘works well, fairly independently’’. The words ‘‘could have’’, ‘‘a little more’’, and ‘‘fairly’’ are hedges because they affect either the ‘truth condition’ of the statement or the writer’s commitment to the assertions made—in the first instance the attending could instead have written ‘‘should have been more rapid in starting the clinic’’ which would leave no room for doubt. Most hedges were further classifiable as either Attribution or Plausibility Shields. Table 2 contains further definitions and examples of subtypes of hedging including Approximators and Shields. 

문장을 작성자가 아닌 다른 사람에게 귀속시키는 [귀인 방패]는 높은 등급의 그룹(39 대 23%, v2 = 12, p = 0.001)보다 낮은 등급의 그룹에서 더 일반적이었다. 어떤 경우는, 명시적인 대상을 포함했다(예: "하급 housestaff들에 의해" 또는 "복수의 직원이 제안하는 …"). 또는 암묵적인 경우도 있어서 (예: "관심 없음" 또는 "약점이 식별되지 않음" 등)은 어떤 사람도 구체적으로 명시하지 않았다. 종종 'X가 훌륭한 컨설턴트가 될 것이라고 확신한다' 또는 '모두가 우수 레지던트가 될 것으로 느낀다'와 같은 속성이 공유되었다. 따라서 귀속 방패는 글쓴이 자신의 주장을 숨김으로써 글쓴이를 보호하는 역할을 한다.
Attribution shields, which attribute statements to someone other than the writer, were more common in the low-rated than the high-rated group (39 vs. 23 %; v2 = 12, p\0.001) and included instances in which attribution was explicit (e.g., ‘‘looked up to by junior housestaff’’, or ‘‘comments from multiple staff suggest …’’) or implicit, such as ‘‘no concerns’’ or ‘‘no weaknesses were identified’’, without specifying by whom. Often the attribution was shared, e.g., ‘‘We are all confident that X will be an excellent consultant’’, or ‘‘Felt by all to be an outstanding resident’’. Attribution shields thus serve to protect the writer by obscuring his or her own contribution to the assertion. 

의심 요소를 도입하는 [신뢰성 방패]는 높은 등급의 그룹 의견 44%보다 낮은 등급 그룹의 의견 67%에서 (v2 = 20, p\0.001)에 더 흔했다. 이러한 의견의 다수는 '나는 믿는다' 또는 '나는 생각한다'와 같은 구절을 포함했는데, 이는 작가가 그럴듯한 이유, 즉 그들 자신의 신념과 관찰에 근거하고 있다는 것을 나타낸다. 
Plausibility shields, which introduce an element of doubt, were more common, being present in 67 % of comments from the low-rated group and 44 % of the high-rated group comments (v2 = 20, p\0.001). Many of these comments included phrases such as ‘‘I believe’’, or ‘‘I think’’, which indicate that the writer is basing the assertions that follow on plausible reasons—their own beliefs and observations. 

글쓴이는 '내가 관찰할 수 있는 한'이라는 오프닝 문구를 사용하여 그들이 지금 말하려는 것을 그들이 본 것 이상의 것을 알고 있다는 주장을 하지 않고 있음을 표시함으로써 회피한다. 이것은 전공의에 대해 (아마 다른 관찰에 근거하여) 다른 결론에 도달했을 수 있는 타인의 정당한 의견 불일치 또는 비판에 개방함으로써 작가와 전공의recipient의 체면을 보호합니다. 글쓴이는 자신이 주장하는 것에 대해 [그럴듯한 의심을 불러일으키기 위한 헷지]를 사용했기 때문에 정말로 "틀릴" 수 없다. 이 의견에는 귀인 방패(타인으로부터 받은 피드-포워드)도 포함되어 있습니다.  
By using the opening phrase ‘‘as far as I have been able to observe’’, the writer hedges what they are about to state by indicating that they are not making claims to know anything beyond what they’ve seen. This protects the writer’s and the recipient’s face, by leaving it open to legitimate disagreement or critique by others, who may have come to different conclusions about that resident (perhaps based on different observations). The writer can’t really be ‘‘wrong’’ because she used a hedge to create plausible doubt about what she asserted. Note that this comment also includes an attribution shield (the feed-forward received from others). 

많은 [개연성 방패]들은 전공의의 훈련 단계나 연도를 나타내는 언어로 표시되었다. 예를 들어, '훈련 단계에 비해 우수한 지식 기반 보유' 또는 '훈련 단계에 비해 판단력 우수' 또는 'PGY2 레벨에서 수행할 수 있는 최고의 성과' 등이 있습니다. 이러한 진술은 전공의의 훈련 단계에 주목함으로써 자격을 갖췄거나 '표시'되었기 때문에 [개연성 방패]이며, 따라서 주장에 대한 그럴듯한 이유가 된다. '우수한 첫 달 레지던트', 또는 '훌륭한 시작'과 같은 비슷한 진술이 일년 중 시기에 이루어졌다. 이 작가들은 아마도 무의식적으로 그들의 논평이 조심스럽게 받아들여질 것이라는 것을 암시하고 있으며 해가 갈수록 상황이 변할 가능성에 대해 스스로 열어두고 있다. 
Many of the plausibility shields were marked by language denoting a resident’s stage of training or the time of year. For example, ‘‘Has an excellent knowledge base for his level of training’’, or ‘‘good judgment for level of training’’, or ‘‘as good as you can perform at the PGY2 level’’. These statements are plausibility shields because they are qualified, or ‘marked’, by noting the resident’s stage of training, and thus serve as plausible reasons for the assertion. Similar statements were made about the time of the year, such as ‘‘excellent first month of residency’’, or ‘‘excellent start’’. These writers may be implying—perhaps unconsciously—that their comments are meant to be taken cautiously, and are leaving themselves open to the possibility that things will change as the year progresses. 

예의 전략이 없는 논평
Comments without politeness strategies

위에서 설명한 많은 예의 전략과 대조적으로, 우리는 또한 "Bald, on record (돌직구)"인 많은 논평의 예를 발견했는데, 이는 예의 언어가 전혀 포함되어 있지 않다는 것을 의미한다(브라운과 레빈슨 1987, 페이지 94). 
By contrast to the many politeness strategies described above, we also found many examples of comments that are ‘‘Bald, on record’’, meaning they include no politeness language at all (Brown and Levinson 1987, p. 94). 

이 언어는 코멘트 전체에 흩어져 있지만 전체 코멘트 상자가 "Bald" 문장만 포함하는 경우는 드물었다(총 12개). 
Although this language could be found scattered throughout the comments it was rare for an entire comment box to contain only ‘‘bald’’ statements (12 in total). 

고찰
Discussion

이러한 연구결과는 ITER 의견을 작성하는 것이 체면을 위협하는 행위라는 개념을 뒷받침한다. 다만 수신자의 체면만 위협하는 것은 아니다. 즉, '방패' 형태의 헷징의 반복적인 사용은 작성자가 자신의 체면을 보호하고 있었다는 것을 시사한다.
These findings support the notion that writing ITER comments is a face-threatening act, but not just for the recipient—the recurrent use of hedging in the form of ‘shields’ suggests that writers were also protecting their own face. 

주치의가 전공의에 대한 서면 코멘트를 하는 것이 왜 체면을 위협하는지 생각해 보는 것이 흥미롭다. 브라운과 레빈슨은 FTA의 가중치를 계산하기 위한 공식을 개발했다: 가중치 = D + P + R. 여기서

• D는 distance로서 말하는 사람과 듣는 사람 사이의 사회적 거리(대칭 관계),
• P는 power로서 듣는 사람이 말하는 사람에 대해 갖는 권력의 척도이다(브라운과 레빈슨 1987, 페이지 76).
• R은 rank로서 특정 상황이나 문화에서 부담imposition의 정도 또는 '순위'이다. 

It is interesting to consider why it is face-threatening for an attending to provide written comments about residents. Brown and Levinson developed a formula for calculating the weightiness of a FTA: Weightiness = D x P x R, where

• D is the social distance between the speaker and hearer (a symmetrical relationship) and
• P is a measure of the power that the hearer has over the speaker (an asymmetrical relationship; Brown and Levinson 1987, p. 76).
• R is the ‘rank’ or degree of imposition of the act in a particular context or culture. 

이 공식에서 참석자/연설자가 우월한 위치에 있기 때문에 상주자/청취자가 큰 힘을 갖지 못하고 FTA의 비중이 낮다고 가정할 수 있다. 그러나 Brown과 Levinson의 다음 예를 생각해 보십시오. 같은 회의보다 임금 인상을 원하는 직원과 은행장 회의를 하는데 직원이 총을 들고 있다. —청취자에게 갑자기 유리한 힘의 차이가 뒤집히고, 요구의 사회적 거리 및 순위가 동일하더라도 직면 위협(및 그 결과)은 매우 높아진다. 이는 극단적인 예이지만, 권력 차이power differential가 중요한 고려 사항이라는 점을 보여준다.  
From this formula one might assume that since the attending/speaker is in the superior position, the resident/hearer doesn’t have much power and the weight of the FTA is low. But consider the following example from Brown and Levinson: a bank manager meeting with an employee who wants a raise versus the same meeting but this time the employee is holding a gun—the power differential suddenly is flipped in favour of the hearer and the threat to face (and its consequences) are now very high, even with the same social distance and rank of the request. Although this is an extreme example, it illustrates the point that the power differential is an important consideration. 

ITER 시스템에서, 전공의는 [(전공의의) 교사에 대한 평가]가 이들의 승진, 미래의 교육 및 감독 기회, 재정적 보상 또는 벌금의 계산 등 중요한 결과를 초래하기 때문에 중요한 권한을 가지고 있습니다. 이것은 우리 교수들은 종종 이해의 상충의 입장에 놓이며, 따라서 건설적인 피드백을 제공할 때 조심해야 하다고 제안했다. 
And in the ITER system, residents do have important power because their assessments of their teachers carry significant consequences, including the ability to affect promotion, future educational and supervisory opportunities, and the calculation of financial rewards or penalties. This suggests that our faculty are often in a position of conflict of interest and must tread carefully when giving constructive feedback. 

헷징 및 기타 예의 전략도 일상적인 커뮤니케이션을 통해 전파된다. 인간은 사회적 존재이며 공손함은 관계를 형성하고 유지하는데 도움을 줍니다. 일렌이 예절 이론의 분석과 통합에서 설명했듯이, 브라운과 레빈슨은 예절을 "사회적 관계의 표현을 구성하고, [사회적 필요 및 지위와 상충되는 의사소통 의도에서 발생하는 대인관계 긴장을 해소]할 언어적 방법을 제공한다는 점에서, 예절은 사회생활과 사회의 구조에 매우 중요하다. "고 이야기한다.  
Hedging and other politeness strategies also pervade regular day-to-day communication. Human beings are social creatures and politeness helps build and maintain relationships. As Eelen explains in an analysis and integration of theories of politeness, Brown and Levinson consider politeness to be ‘‘fundamental to the very structure of social life and society, in that it constitutes the expression of social relationships and provides a verbal way to relieve the interpersonal tension arising fromcommunicative intentions that conflict with social needs and statuses’’ (Eelen 2014). 

교사, 코치, 멘토, 평가자, 심판 등 여러 가지 역할과 교육생과의 관계를 고려했을 때, 그리고 ITER의 여러 가지 동시 목적을 고려할 때, Elen이 설명한 갈등의 종류를 쉽게 상상할 수 있습니다. 그렇다면 피드백을 전달할 때 약간의 예의가 도움이 될 수 있고, 교수진이 덜 긍정적인 메시지를 전달해야 할 때 위험회피가 특히 흔하다는 것은 놀랄 일이 아니다. [귀인 방패]를 사용하면 특히 좋지 않은 뉴스의 요소가 있는 경우 발화자/저자가 자신의 [진술에 대한 책임을 회피]할 수 있습니다. 이러한 회피 동기는 낮은 등급low-rated의 전공의에 대한 언급을 할 때 거의 모든 곳에서 위험회피가 사용되는 원인이 될 수 있다. 
Given the multiple roles and relationships we have with our trainees—teacher, coach, mentor, assessor, judge—and the multiple,simultaneous purposes of ITERs in the first place, we can easily envision the kinds ofconflicts that Eelen describes. It should not be surprising then to see that a little politenesscan go a long way when delivering feedback, and that hedging is particularly commonwhen faculty must convey a less positive message. The use of attribution shields can allowthe speaker/writer to evade responsibility for their statements, especially if there is some element of bad news. This motive of evasion may be responsible for the near ubiquitous use of hedging when commenting on low-rated residents. 

하지만, 이것은 [왜 그것이 높은 등급의 전공의들에게 그렇게 흔한지] 설명하지 못한다. 이 연결실체에서 위험회피에 대한 잠재적 설명 중 하나는 공손함politeness이 원활하고 조화로운 관계를 보장하기 위한 [사회생활의 기본]이라는 개념과 관련된다. 이러한 관점에서 볼 때, 헷징이 필수적인 사회적 기능을 한다는 점에서, 그 자체를 근본적인 문제로 간주하여서는 안 된다. 
However, this doesn’t explain why it would be so common in high-rated residents. One potential explanation for hedging in this group relates to the notion that politeness is fundamental to social life for ensuring smooth, harmonious relationships. Considered in this light, hedging should not be deemed as fundamentally problematic as it serves an essential social function. 

앞 단락의 설명에서는 서면 의견의 [주요 수신자]가 전공의라고 가정하지만, ITER는 프로그램 책임자와 기타 참석자를 포함한 [여러 대상자]에게 [다양한 용도]로 사용됩니다. 이러한 다른 대상자들이 야기하는 표면적 위협은 다른 상황에서 위험회피의 만연성을 고려한다면 더 잘 이해할 수 있을 것이다. 예를 들어, 일부 언어학자들은 과학적 담론의 위험회피에 대해 연구하였고 특히 연구 문헌(Myers 1989; Salager-Meyer 1994)에서 위험회피가 일반적이라는 것을 발견했다. 예를 들어, 성가신 문제나 질병의 "원인"에 대한 "해답"을 찾았다고 주장하는 연구자들을 보기 힘들다. 대신에 연구자들은 "A, B 또는 C가 X, Y, Z의 원인이 될 수 있는 요인일 수 있다는 증거를 발견했다"고 진술할 가능성이 훨씬 더 높다. 
The explanations in the preceding paragraph assume that the main recipient of the written comments is the resident, yet we know that the ITER serves multiple purposes for multiple audiences, including program directors and other attendings. The face-threat created by these other audiences may be better understood by considering the pervasiveness of hedging in other situations. For example, some linguists have studied hedging in scientific discourse and have found that it is the norm especially in the research literature (Myers 1989; Salager-Meyer 1994). For example, one rarely sees authors claiming to have found ‘‘the answer’’ to a vexing problem or ‘‘the cause’’ of a disease. Instead, researchers are far more likely to state that they ‘‘have found evidence that suggests that A, B or C may be factors that could be responsible for X, Y or Z’’. 

'''제시되는 증거''', ''아마도'' 및 ''아마도''라는 문구는 [개연성 방패]이다. 이러한 종류의 위험회피의 한 가지 이유는 작성자의 주장이 후속적으로 신용이 떨어지거나 재현할 수 없는 경우에 대비하여 연구자 본인의 체면을 보호하기 위함이다. 그것은 또한 다른 결과나 의견을 발표했을 수 있는 다른 연구자들의 체면을 보호해줍니다. 이 전략은 또한 전문지식과 연공서열이 다른 (그리고 종종 알려지지 않은) 많은 독자들이 있을 수 있다는 것을 고려한다.; 헷징은 [부정적인 예의 전략]으로서, 작가를 겸손하게 묘사함으로써 넓고 다양한 독자들에게 존경을 표한다.
The phrases ‘‘evidence that suggests’’, ‘‘may be’’ and ‘‘could be’’ are plausibility shields. One reason for this sort of hedging is to protect the face of the author in case his or her claims are subsequently discredited or not reproducible. It also protects the face of other researchers who may have published differing results or opinions. This strategy also takes into account that there may be many different (and often unknown) readers with differing levels of expertise and seniority; hedging, as a negative politeness strategy, pays deference to a broad and diverse audience, by portraying the writer as humble. 

ITER 의견에도 동일한 논리가 적용된다. 작성자(즉, 담당 의사)는 작성자와 비교했을 때 전문성의 수준이나 지식의 수준이 다른 여러 유형의 독자(전공의, 프로그램 감독, 역량 또는 항소 위원회 등)가 있을 것이라고 가정한다. 한 주치의가 다른 주치의보다 특정 전공의를 다소 높거나 낮게 평가하는 것이 이상치outlier일 수도 있고, 레지던트에 대한 그들의 의견이 잘못되었을 가능성도 꽤 있다. 특히 [귀인 방패]와 [개연성 방패]를 사용하여 헷징함으로써, 작성자는 [자신이 잘못될 수 있다는 인식]과 [타당한 근거에 기초한 의견]이라는 인식을 함축imply하는 것이다. 
The same logic applies to ITER comments—writers (i.e., attending physicians) assume there will be different types of readers (residents, program directors, competency or appeals committees, etc.), with different levels of expertise and knowledge relative to the writer. It is also quite possible that an attending might be found to be an outlier, or erroneous in their opinion of a resident, having rated them more or less highly than other attendings. By hedging—especially by using attribution and plausibility shields—the writer implies their awareness that they may turn out to be wrong and that their comments are opinions based on plausible evidence. 

교육생들을 위한 헷징의 교육적 의미는 무엇입니까? 전공의들이 이 발언을 어떻게 읽거나 해석하는지는 아직 알 수 없지만, 여기에 제시된 이론적 틀을 바탕으로 예의 전략이 의도된 메시지를 모호하게 할 수 있다. [간접 언어indirect language]가 많을수록 오해를 받을 가능성이 높다(Bonnefon et al. 2011). 실제로 우리가 예의어를 사용하는 이유 중 하나는 직설성을 피하고 해석적 유연성을 만들기 위해서입니다. 
What are the educational implications of hedging for trainees? We don’t yet know how residents read or interpret these comments but, based on the theoretical frameworks presented here, it is possible that politeness strategies obscure the intended message. The more indirect language is, the more likely it is to be misunderstood (Bonnefon et al. 2011). Indeed, one reason that we use politeness language is to avoid directness and create interpretive flexibility. 

반대로, 전공의는 ITER 문맥에 정통한 사회 구성원으로서 ITER 논평에서 위험회피 및 기타 언어적 예의 전략을 식별하고 디코딩할 수 있습니다. 만약 그렇다면, 이러한 행위는 정중함 전략에도 불구하고 체면을 위협하는 특징을 여전히 유지할 것이며, 더 나아가 전공의들은 헷징을 읽어내어서, 직접 언급하지 않는 '더 나쁜' 것이 있다는 표시로 해석할 수 있다. 브라운과 레빈슨의 설명처럼, 작가가 FTA가 실제로 위험성이 높지 않을 때 고위험high-risk FTA에 적합한 전략을 쓴다면, 독자는 FTA가 예전보다 더 컸다고 추정할 것이다(브라운과 레빈슨 1987, 페이지 74). 따라서 잘못된 전략이나 너무 많은 예의 바른 언어를 사용함으로써 우리는 우리가 의도하는 것보다 받는 사람이 더 나쁘다는 인상을 줄 수 있습니다. 

It is also possible that residents, as savvy social members of the ITER context, are able to discern and decode the hedging and other linguistic politeness strategies in ITER comments. If so, these acts will retain their face-threatening quality despite the politeness strategies and, furthermore, residents may read hedging as an indication that there is something ‘worse’ that is not being said. As Brown and Levinson explain, if a writer uses a strategy appropriate to a high-risk FTA when the FTA is actually not high risk, the reader will assume the FTA was greater than it was (Brown and Levinson 1987, p. 74). Therefore, by using the wrong strategy or too much politeness language, we may give the impression that things are worse for the recipient than we really intend. 

우리 전공의 중 상당수가 영어가 모국어가 아니며, 특히 [문자 그대로의 뜻을 의미하지 않는non-literal 언어]가 오해를 살 수 있다는 문헌도 있다(Danesi 1993). 이러한 우려에도 불구하고, 컴퓨터 기반 과외에 관한 흥미로운 일련의 연구는 언어가 직접적인 것일 때보다 의도적으로 공손할 때 학생들이 실제로 더 많은 것을 배울 수 있다는 것을 시사한다. 이러한 '예절 효과'는 학생이 초보자인지 아니면 더 고급인지에 따라 달라질 수 있으며(McLaren et al. 2011), 온라인 학습 및 시뮬레이션 설정과 같은 의학교육 맥락에서 추가 탐구할 가치가 있을 수 있다. 
Another issue to consider is that for many of our residents English is not the native language, and there is literature suggesting that non-literal language can be particularly prone to misunderstanding (Danesi 1993). Despite these concerns, an intriguing line of research in computer-based tutoring suggests that students may actually learn more when language is deliberately polite than when it is direct (Wang et al. 2008). This ‘politeness effect’ may depend on whether students are novices or more advanced (McLaren et al. 2011) and may be worthy of further exploration in medical education contexts such as online learning and simulation settings. 

목적과 해석 방식에 따라 거의 모든 것을 헷지로 사용할 수 있다(Fraser 2010). 해석은 맥락, 의미적 의미, 사용된 특정 위험회피, 수취인의 신념 체계에 따라 달라진다. 본 연구에서는 익명의 기존 데이터 세트를 사용했기 때문에, 익명성 문제를 무시할 수 없으며, 의도성intentionality에 대한 주장도 할 수 없습니다. 즉, 특정 주치의가 특정 코멘트에 의해 의도된 것이 무엇인지 확실히 알 수 없으며, 우리의 분석은 (불가피하게) 이러한 맥락이 없는 코멘트의 해석을 요구한다. 그러나 이전 연구를 통해 임상 감독자는 친절하고 자신의 코멘트로 인해 다른 사람의 기분을 상하게 하지 않으려는 강한 욕구를 가지고 있다는 것을 알고 있다(Ginsburg et al. 2015; Ilott and Murphy 1997). 
Nearly anything can be used as a hedge depending on how it is intended and interpreted (Fraser 2010). Interpretation depends on the context, the semantic meaning, the particular hedge used, and the belief system of the recipient. Because we used a pre-existing and anonymized data set for this study, we are unable to tease apart these issues and nor can we make claims regarding intentionality. That is, we cannot know for certain what a particular attending intended by any particular comment, and our analyses have, by necessity, required interpretation of these decontextualized comments. However, we do know from previous research that clinical supervisors have a strong desire to be nice and to not offend anyone with their comments (Ginsburg et al. 2015; Ilott and Murphy 1997). 

게다가 밀스가 예의 이론에 대한 비판에서 지적했듯이, "예의는 [의도적이고 의식적인 언어적 선택]에서부터 [무의식적인 규칙이나 대본의 적용]에 이르기까지 모든 범위에 걸쳐 있다." (밀스 2003, 페이지 74) 
Further, as Mills points out in her critique of politeness theories, ‘‘politeness spans the full range from deliberate, conscious linguistic choices to the unconscious application of rules or scripts’’ (Mills 2003, p. 74). 

항상 의도적인 선택이라기 보다는, 일부 [공손함 언어politeness language]는 "주어진 [주어진] 문맥과 관련된 규범에 적합하게 결정될 수 있다(Mills 2003, 페이지 67)". 우리의 맥락에서 이 언어선택의 일부는 상대적으로 무의식적인 것일 수 있으며, 이는 우리의 과학출판 문화처럼 일반적으로 우리의 평가 문화가 정중하고 회피적인 언어를 선호하고 촉진한다는 것을 시사할 수 있다. 
Rather than always being a deliberate choice, some politeness language may be ‘‘determined by conformity to the norms associated with the [given] context (Mills 2003, p. 67)’’. In our context it may be that some of this language choice is relatively unconscious, which might suggest that our culture of assessment in general prefers and promotes polite, hedging language, just as our culture of scientific publishing does. 

Watling(2008)이 지적한 바와 같이, ITER 프로세스 개선을 위한 교수진 개발 노력은 실망스러웠습니다. 부분적으로는 피드백을 전달하는 데 있어 교수진의 기술을 향상시키는 데 중점을 두고 있으며, 이에 대한 전공의들의 수용성을 방치하고 있기 때문입니다. 
As Watling (2008) noted, faculty development efforts to improve the ITER process have been disappointing, in part because they focus largely on enhancing faculty skill in delivering feedback and they neglect residents’ receptivity to it. 

예를 들어, 완료된 ITER의 품질을 평가하는 두데크 외 연구진(2008)은 "Excellent하게 작성된 ITER은 어떤 모습인가"에 대한 교수진의 인식을 반영한다. 흥미롭게도, ITER 품질 체크리스트의 9개 항목 중 7개 항목이 숫자 점수가 아닌 작성된 코멘트에 초점을 맞추고 있었고, 이는 교수 감독관들은 '코멘트'가 양식에서 매우 중요한 부분이라고 느끼고 있음을 시사합니다.
For example, Dudek et al.’s (2008) work on evaluating the quality of completed ITERs reflects their faculty participants’ perceptions of how ‘‘excellent’’ completed ITERs should look. Interestingly, seven of the nine items on their ITER quality checklist focus on the written comments rather than the numeric scores, strongly suggesting that faculty supervisors feel the comments are a critically important part of the form. 

피드백의 내용에 초점을 맞춘 "더 나은" 코멘트를 작성하도록 교수진을 훈련시키려는 노력이 일어났다(Dudek et al. 2013). 예를 들면,

• 강점과 약점을 모두 포함하는 "균형 잡힌" 코멘트를 제공한다.
• '지지적 방식''으로 피드백을 제공한다.
• 피드백 또는 교정조치에 대한 수습생의 반응을 문서화합니다.

Efforts have arisen to train faculty to write ‘‘better’’ comments (Dudek et al. 2013), which focus closely on the content of the feedback, including instructions for faculty

• to provide ‘‘balanced’’ comments that include both strengths and weaknesses,
• to provide feedback in ‘‘a supportive manner’’ and
• to document the trainee’s response to feedback or remediation.

안타깝게도, 교수진을 훈련시키는 것은 원하는 효과를 거두지 못했다(Dudek et al. 2013).
Unfortunately, training faculty has not had the desired effect (Dudek et al. 2013). 

우리의 연구 결과가 그 이유를 설명하는 데 도움이 될 수 있습니다. 첫째, "균형 잡힌" 코멘트는 비교적 열악한 전공의 성과를 나타내는 신호로 해석되는 경우가 많다(Ginsburg et al. 2015). 아마도 평가와 피드백의 개념이 ITER에 통합되기 때문에 좋은 "피드백" 관행이 이 맥락에서 완전히 적용되지 않을 수 있기 때문일 것이다. 둘째, '지원적' 방식으로 서면 피드백을 제공하려는 시도는 역설적으로 감독자가 덜 비판적으로 보이는 방법으로 더 많은 헷징과 간접 언어를 포함하도록 유도할 수 있다. 
Our findings may help to explain why. First, ‘‘balanced’’ comments are often interpreted as signalling relatively poor resident performance (Ginsburg et al. 2015), perhaps because concepts of assessment and feedback are conflated on an ITER, so that good ‘‘feedback’’ practice may not fully apply in this context. Second, the attempt to provide written feedback in ‘‘a supportive manner’’ may, paradoxically, lead supervisors to include more hedging and indirect language as a way to appear less critical.

우리가 연구에서 제시한 바와 같이, 그러한 헷징은 다른 교수들에게 [희미한 칭찬을 사용한 비판]으로 인식될 수 있다. ITER에 대한 교수진의 서면 의견을 개선하기 위한 현재의 접근방식은 역설적으로 교수진의 메시지가 왜곡될 수 있다는 점을 인식하고 신중하게 고려해야 합니다. 최소한, 우리의 결과는 어떻게 그것을 고칠지는 고사하고 서면 논평에서 어떤 것이 '고정fixed'되어야 하는지가 완전히 명확하지 않다는 것을 보여준다. 
Such hedging, as we’ve suggested in our study, may be perceived by other faculty as damning by faint praise. That current approaches to improve faculty’s written comments on ITERs may, paradoxically, distort their messages should be acknowledged and considered carefully. At a minimum, our results reveal that it is not entirely clear what (if anything) needs to be ‘‘fixed’’ in written comments, let alone how to fix it. 

[예의 이론]은 서술적 평가 코멘트를 작성할 때 교수진의 모호하고 겉보기에 도움이 되지 않는 언어의 사용에 바탕을 둔 중요한 사회적 동기를 드러냅니다. 헷징과 같은 전략은 [낮은 등급의 전공의]에게 널리 사용되고, [높은 등급의 전공의]에게도 놀라운 빈도로 사용된다. 이는 교수진이 어려운 사회 평가 맥락에서 자신뿐만 아니라 전공의들을 위해 '체면 유지' 작업을 하고 있을 수 있음을 시사한다. 일반적으로 언어의 사회적 기능과 특히 예의는 필수적이고 중요하며 반드시 교정이 필요한 것으로 여겨져서는 안 된다. 어텐딩들에게 그들의 언어에 더 직접적으로 대해 달라고 부탁하는 것은 의도하지 않은 부정적인 결과를 초래할 수 있으며, 이는 코멘트 작성을 "개선"하기 위한 교수진 개발 이니셔티브에서 고려되어야 한다.
Politeness theory reveals important social motives underlying faculty’s use of vague and seemingly unhelpful language when writing narrative assessment comments. Strategies such as hedging are used pervasively in low-rated residents and with surprising frequency in high-rated residents as well. This suggests that faculty attendings may be working to ‘‘save face’’ for themselves as well as for their residents in the difficult social context of assessment. The social function of language in general and politeness in particular are essential and important and should not necessarily be viewed as something in need of remediation. Asking attendings to be more direct in their language may have unintended adverse consequences which should be considered in faculty development initiatives to ‘‘improve’’ comment writing. 

Adv Health Sci Educ Theory Pract. 2016 Mar;21(1):175-88.

 doi: 10.1007/s10459-015-9622-0. Epub 2015 Jul 17.

Hedging to save face: a linguistic analysis of written comments on in-training evaluation reports

Shiphra Ginsburg 1 2, Cees van der Vleuten 3, Kevin W Eva 4, Lorelei Lingard 5

Affiliations collapse

Affiliations

• 1Department of Medicine and Wilson Centre for Research in Education, University of Toronto, Toronto, ON, Canada. shiphra.ginsburg@utoronto.ca.
• 2Mount Sinai Hospital, 600 University Ave, Ste. 433, Toronto, ON, M5G1X5, Canada. shiphra.ginsburg@utoronto.ca.
• 3School for Health Professions Education, Maastricht University, Maastricht, Netherlands.
• 4Faculty of Medicine, Centre for Health Education Scholarship, University of British Columbia, Vancouver, BC, Canada.
• 5Centre for Education Research and Innovation, Schulich School of Medicine and Dentistry, Western University, London, ON, Canada.

• PMID: 26184115
• DOI: 10.1007/s10459-015-9622-0AbstractKeywords: Assessment; Competence; Linguistics; Qualitative.
• Written comments on residents' evaluations can be useful, yet the literature suggests that the language used by assessors is often vague and indirect. The branch of linguistics called pragmatics argues that much of our day to day language is not meant to be interpreted literally. Within pragmatics, the theory of 'politeness' suggests that non-literal language and other strategies are employed in order to 'save face'. We conducted a rigorous, in-depth analysis of a set of written in-training evaluation report (ITER) comments using Brown and Levinson's influential theory of 'politeness' to shed light on the phenomenon of vague language use in assessment. We coded text from 637 comment boxes from first year residents in internal medicine at one institution according to politeness theory. Non-literal language use was common and 'hedging', a key politeness strategy, was pervasive in comments about both high and low rated residents, suggesting that faculty may be working to 'save face' for themselves and their residents. Hedging and other politeness strategies are considered essential to smooth social functioning; their prevalence in our ITERs may reflect the difficult social context in which written assessments occur. This research raises questions regarding the 'optimal' construction of written comments by faculty.

WBA이해하기: 옳은 질문을, 옳은 방식으로, 옳은 것에 대해서, 옳은 사람에게 (Med Educ, 2012)
Making sense of work-based assessment: ask the right questions, in the right way, about the right things, of the right people
Jim Crossley1 & Brian Jolly2

도입
INTRODUCTION

역사적으로, 평가는 종종 [중요한 것]보다는 [측정 가능한 것]을 측정해 왔다. 그러나 지난 30년 동안 우리는 가장 중요한 것을 가르치고 평가하려고 점점 더 노력했습니다.
Historically, assessments have often measured the measurable rather than the important. Over the last 30 years, however, we increasingly attempt to teach and assess what matters most.

이 개혁은 세 가지 주요 테마를 가지고 있습니다.
This reformation has had three main themes:

첫째, Biggs와 Collis의 SOLO(관측된 학습 결과의 구조) 분류 체계에 반영되어 피상적인 [지식의 테스트]에서 [이해, 구성, 해석 테스트]로의 전환은 지식 테스트 설계의 발전에 대한 정보를 제공했습니다.
First, the move from the testing of superficial knowledge towards the testing of understanding, construction and interpretation, reflected, for example, in Biggs and Collis’ SOLO (structure of observed learning outcomes) taxonomy,1 has informed developments in knowledge test design.

둘째, Bloom의 독창적인 분류법에 반영되어 기술과 태도가 지식만큼이나 중요할 수 있다는 인식이 새로운 형태의 임상 검사에 기여했습니다. 
Second, the recognition that skills and attitudes can be as important as knowledge, reflected in Bloom’s original taxonomy,2 has contributed to new formats of clinical examination. 

마지막으로, 심리측정학적 관점은 평가자의 주관성과 성과에 대한 사례 특수성을 강조하면서 객관적 구조 임상 검사(OSCE)와 동의어 미니 임상 평가 연습(mini-CEX)과 같은 많은 다른 평가 형식에 걸쳐 복수의 '미니' 테스트 샘플을 향한 움직임을 촉발했다. 
Finally, psychometric perspectives, in highlighting assessor subjectivity and the case-specificity of performance,3 have prompted a move towards multiple ‘mini’ test samples across many different assessment formats, such as the objective structured clinical examination (OSCE) and the eponymous miniclinical evaluation exercise (mini-CEX).4 

이러한 개발 중 다수는 [평가를 해체deconstructed]했으며, 일부는 결과적으로 [학습이 해체]되었다고 주장할 것이다. 즉, 평가된 행동을 하위 구성 요소로 나누거나, 그러한 방식으로 단순히 샘플링하는 것조차 학습자들이 [큰 그림]에 덜 집중하고 ['역량'을 뒷받침하는 (세부)요소]에 더 많이 집중하도록 강제mandated했습니다. 
Many of these developments have deconstructed assessments and, some would argue, consequentially deconstructed learning. That is, breaking the assessed behaviour into subcomponents, or even simply sampling it in that way, has mandated learners to focus less on the big picture and more on elements or underpinning ‘competencies’. 

하지만 흥미롭게도, 역량 운동은 완전히 대조적인 방향을 제시하기도 했다. 실제 업무상 문제를 해결하기 위해 역량의 모든 요소들이 함께 통합되어야 한다고 주장했다.5 Miller의 피라미드는 다음의 것을 암시함으로써 이 아이디어를 잘 모델링한다. 

• [이해]에 지식은 필요하지만 충분하지 않다
• [능력(또는 역량)]에 이해는 필요하지만 충분하지 않으며,
• [실제 일상적 성과]에 능력은 필요하지만 충분하지 않다.6 

피라미드의 각각의 새로운 층은 분리된 것을 재구성reconstruct합니다. 
Interestingly, however, the competency movement also provided an altogether contrasting direction. It argued that, in practice, all the component parts of a competence must be marshalled together and integrated to deal with real workplace problems.5 Miller’s pyramid6 models this idea well by implying that knowledge is necessary, but not sufficient, for understanding. Understanding is necessary but not sufficient for ability (or competence), and ability is necessary but not sufficient for actual day-to-day performance.6 Each new layer of the pyramid reconstructs what had been separated. 

이는 통제된(비구축된) 환경에서 의사의 능력을 평가할 때 그들의 [실제 일상적 성과를 신뢰할 수 있게 예측하지 못한다]는 연구 결과가 입증되었기 때문에 평가에 매우 관련성이 높은 것으로 입증되었다. 
This proves to be highly relevant in assessment because studies have demonstrated that doctors’ abilities when assessed in a controlled (deconstructed) environment do not dependably predict their actual day-to-day performance.7,8 

WBA 평가 결과 참여도가 낮고 신뢰성이 떨어짐
WBA evaluations show poor engagement and disappointing reliability

WBA는 다른 어떤 평가도 할 수 없는 것을 측정하기 때문에 전 세계 대학원 평가 프로그램에 빠르게 통합되었다. 예를 들어, 영국에서는 모든 왕립 대학의 프로그램에 등장한다. 그럼에도 불구하고 상대적으로 인기가 없었다. 영국 의과대학 아카데미의 보고서는 다음과 같은 여러 가지 조사를 요약하였다.
Because WBA measures what noother assessments can, it has been rapidly incorporated into postgraduate assessment programmes around the world. In the UK, for example, it features in the programme of every Royal College.9 Nevertheless, it has been relatively unpopular. A report of the UK Academy of Medical Royal Colleges summarised a number of surveys thus:

'전문가는 전문가 행동의 복잡성을 평가하기 위한 환원적 "체크박스" 접근법의 사용을 의심하는 것이 당연하며, 개별 평가 방법의 기준, 방법 및 목표에 대해 광범위한 혼란이 존재한다… 이로 인해 현재 증가하고 있는 WBA에 대한 냉소가 확산되고 있다.'
‘The profession is rightly suspicious of the use of reductive ‘‘tick-box’’ approaches to assess the complexities of professional behaviour, and widespread confusion exists regarding the standards, methods and goals of individual assessment methods… This has resulted in widespread cynicism about WBA within the profession, which is now increasing.’9

많은 대학원 교육 프로그램에서 점수는 평가자 차이에 매우 취약한 것으로 나타났습니다.
in many postgraduate training programmes, scores are found to be very vulnerable to assessor differences,

심리 측정학적인 관점에서, 교육생들 사이에서 [재현 가능한 차별화]를 위해 매우 많은 수의 평가자와 사례가 요구됩니다.
from a psychometric perspective, very large numbers of assessors and cases are required to discriminate reproducibly among trainees.



앞으로 어떻게 하지?
Where do we go from here?

이 백서에서는 몇 가지 기본적인 평가도구 설계 문제를 살펴봄으로써 WBA를 개선하기 위한 몇 가지 제안을 제공합니다.
This paper offers some suggestions for improving WBA by looking at some basic instrument design issues.

방법
METHODS